JP2009296031A - 画像処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】切り出し処理や回転処理が施された画像に対しても光学歪補正を正しく行うことを可能とした画像処理装置、制御方法、及びプログラムを提供する。
【解決手段】撮像装置は、撮像素子１０３、画像処理部１１３、システム制御部１３０を備える。システム制御部１３０は、画像処理部１１３でトリミング処理を行った画像に対して、トリミング処理を行う前の画像の特定の位置を判別するための情報を付加し外部記憶装置１１２に記録する。また、システム制御部１３０は、画像処理部１１３で回転処理を行った画像に対して、回転処理を行う前の画像の特定の位置を判別するための情報を付加し外部記憶装置１１２に記録する。
【選択図】図１

Description

本発明は、撮像した画像の一部を切り取るトリミング機能、画像を回転する回転機能、光学歪を補正する光学歪補正機能等を有する画像処理装置、制御方法、及びプログラムに関する。

従来、撮像装置においては、撮像した画像には撮像光学系の影響で色収差や周辺光量落ち等の光学歪が生じる場合がある。そのため、色収差や周辺光量落ち等の様々な光学歪を補正する手段を搭載した、撮像装置やパーソナルコンピュータ（以下ＰＣ）用の画像処理アプリケーションソフトウェアが市販されている。光学歪を補正するためには、像高（撮像素子の中心から撮像素子に結像した光学像の着目点までの距離）に応じて補正量を変更する必要があるが、この種の技術に関しては各種技術が提案されている（例えば、特許文献１参照）。

他方、撮像装置には、撮像した画像に対して画像の一部を切り取るいわゆるトリミング機能や、画像の一部を切り出して記録するいわゆる電子ズーム機能を搭載した機種がある。また、撮像装置により撮像した画像を記録媒体を介してパーソナルコンピュータ（以下ＰＣ）に取り込み、ＰＣに搭載したアプリケーションソフトウェアを用いて画像のトリミング処理を行う場合もある。
特開２００４−９４１２４号公報

しかしながら、上記のトリミング機能による処理や電子ズーム機能による処理を施した画像においては、必ずしも像高が画像の中心からの距離にならない。即ち、画像処理前の画像中心位置と画像処理後の画像中心位置が変わる場合がある。そのため、一度、トリミング機能による処理や電子ズーム機能による処理を施して記憶装置に記録した画像については、正しい像高を算出することができず、色収差や周辺光量落ち等の光学歪の補正を正しく行うことができない場合があった。

また、撮像装置で撮像した画像に対しては、トリミング機能による処理や電子ズーム機能による処理以外にも、撮像した画像の水平位置を調整するための回転処理を行う場合がある。回転処理を行う場合も、上記同様に、正しい像高を算出することができず、光学歪の補正を正しく行うことができない場合があった。

本発明の目的は、切り出し処理や回転処理が施された画像に対しても光学歪補正を正しく行うことを可能とした画像処理装置、制御方法、及びプログラムを提供することにある。

上述の目的を達成するために、本発明は、画像の一部を切り出す切り出し処理を行う画像処理手段と、前記画像処理手段により前記切り出し処理を行った画像に対して、前記切り出し処理を行う前の画像の特定の位置を判別するための情報を付加して記録する制御手段と、を備えることを特徴とする。

上述の目的を達成するために、本発明は、画像を任意の座標を中心に任意の回転角度で回転する回転処理を行う画像処理手段と、前記画像処理手段により前記回転処理を行った画像に対して、前記回転処理を行う前の画像の特定の位置を判別するための情報を付加して記録する制御手段と、を備えることを特徴とする。

本発明によれば、切り出し処理或いは回転処理を行った後の画像においても、その画像に付加された情報から、切り出し処理或いは回転処理を行う前の画像の特定の位置を把握することが可能となる。これにより、切り出し処理或いは回転処理が施された画像に対しても光学歪補正を正しく行うことが可能となる。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は、本発明の実施の形態に係る画像処理装置としての撮像装置の構成例を示すブロック図である。

図１において、撮像装置は、撮影レンズ１００、絞り１０１、シャッタ１０２、撮像素子１０３、画像処理部１１３（画像処理手段）、システム制御部１３０（制御手段）等を備えたデジタルスチルカメラとして構成されている。

撮像素子１０３は、撮影に伴い撮影レンズ１００に入射した光Ｌの光学像が結像され、光学像を電気信号に変換するものであり、カラーフィルタ（Ｒ、Ｇ、Ｂ）を備える。Ａ／Ｄ変換器１０４は、撮像素子１０３から出力されるアナログ信号をデジタル信号に変換する。タイミング発生部１０５は、メモリ制御部１０８及びシステム制御部１３０により制御され、撮像素子１０３、Ａ／Ｄ変換器１０４、Ｄ／Ａ変換器１０６にクロック信号や制御信号を供給し、それらの動作を制御する。

画像処理部１１３は、Ａ／Ｄ変換器１０４からのデータ或いはメモリ制御部１０８からのデータに対して所定の画素補間処理、色変換処理、顔検出処理を行う。また、画像処理部１１３は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理、色補正処理を行う。また、画像処理部１１３は、撮像した画像の一部を切り出す画像トリミング処理（切り出し処理）、画像を任意の座標を中心に任意の回転角度で回転する画像回転処理、画像を拡大／縮小する画像変倍処理、光学歪を補正する光学歪補正処理を行う。

メモリ制御部１０８は、Ａ／Ｄ変換器１０４、タイミング発生部１０５、画像処理部１１３、画像表示用メモリ１０９、Ｄ／Ａ変換器１０６、メモリ１１０、圧縮／伸張部１１１を制御する。これにより、Ａ／Ｄ変換器１０４によりＡ／Ｄ変換されたデジタルデータは、画像処理部１１３、メモリ制御部１０８を介して或いは直接メモリ制御部１０８を介して、画像表示用メモリ１０９或いはメモリ１１０に書き込まれる。

表示部Ａ１０７は、ＴＦＴ（Thin Film Transistor）、ＬＣＤ（Liquid Crystal Display）等から構成される。画像表示用メモリ１０９は、表示部Ａ１０７に表示する画像データを記憶する。表示部Ａ１０７には、画像表示用メモリ１０９に記憶された画像データがＤ／Ａ変換器１０６を介して表示される。また、表示部Ａ１０７には、撮像装置を制御するための各種メニュー（画像トリミング処理、画像回転処理、画像変倍処理、光学歪補正処理等を選択するための画像処理メニュー、ホワイトバランス選択メニュー等）が表示される。表示部Ａ１０７に対するこれらの各種メニューの表示や選択は操作者が操作部Ａ１２４を操作することで行われる。

メモリ１１０は、撮影した静止画像データを格納するメモリであり、所定枚数の静止画像データを格納するのに十分な記憶容量を備えている。また、メモリ１１０は、システム制御部１３０や画像処理部１１３の作業領域としても使用することが可能である。圧縮／伸張部１１１は、メモリ１１０に格納された画像データを読み込んで圧縮処理を行い、或いは圧縮された画像データを読み込んで伸張処理を行い、処理後の画像データをメモリ１１０に書き込む。

外部記憶装置１１２は、撮像装置に着脱可能な記憶媒体であり、ＣＦ（コンパクトフラッシュ(登録商標)）カード或いはＳＤカード等が用いられる。メモリ１１０に一時的に記録された画像データは、最終的に外部記憶装置１１２に記録される。

測光センサ１１９は、撮影画面と共役に関係付けられた各々の画素の輝度を測定する。システム制御部１３０により測光センサ１１９の出力に応じた適切な露光量が算出されると、露光制御部１１４は、絞り１０１とシャッタ１０２を露光量に応じて制御する。測距センサ１１８は、操作者が任意に選択した測距点の距離情報を検出する。測距制御部１１５は、測距センサ１１８の出力を基に撮影レンズ１００のフォーカシングを制御する。測距点は、操作者が任意に選択する以外にも、測距センサ１１８の検出に基づき自動で最短距離の被写体にフォーカスが合うように設定可能である。

ズーム制御部１１６は、操作者が手動で操作した撮影レンズ１００のズーミング量（焦点距離）を検知する。または、ズーム制御部１１６は、操作者が撮影レンズ１００のズーミングを操作部Ｂ１２５を用いて自動で行う場合に撮影レンズ１００のズーミング量を制御する。自動ストロボユニット１２６は、ＡＦ補助光の投光機能、ストロボ調光機能も有する。角速度センサ１１７は、撮像装置の水平／垂直方向の振れを検知するものであり、公知の手ぶれ補正処理や、縦位置撮影／横位置撮影の判定等に用いられる。

システム制御部１３０は、撮像装置全体の制御を司るものであり、プログラムに基づき、図２ａ、図２ｂ、図２ｃ、図２ｄ、図８の各フローチャートに示す処理を実行する。メモリ１２０は、システム制御部１３０の動作用の定数、変数プログラムを含むプログラム、画像処理用パラメータ等を記憶しており、ワークメモリとしても使用される。不揮発性メモリ１２２は、データを電気的に消去及び記録が可能な例えばＥＥＰＲＯＭ等のメモリである。

表示部Ｂ１２１は、システム制御部１３０でのプログラムの実行に応じて、文字や画像や音声により撮像装置の動作状態やメッセージ等を表示出力／音声出力するＬＣＤ表示ユニット／スピーカを含む。表示部Ｂ１２１の表示内容としては、シングルショット／連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残記録可能枚数表示がある。また、シャッタスピード表示、絞り値表示、露出補正表示、電池残量表示、エラー表示、外部記憶装置１１２の着脱状態表示等がある。

レリーズ釦１２３、操作部Ｂ１２５は、システム制御部１３０に対する各種の動作指示を入力する際に用いる。レリーズ釦１２３は、ＳＷ１とＳＷ２の２段階のスイッチを備えている。ＳＷ１は、レリーズ釦１２３の第１ストロークでＯＮし、測光、測距を開始するスイッチとなる。ＳＷ２は、レリーズ釦１２３の第２ストロークでＯＮし、露光動作を開始するスイッチとなる。操作部Ｂ１２５は、シングルショット／連写撮影／セルフタイマの切り替え、マニュアルフォーカス／オートフォーカスの切り替え、シャッタスピード、絞り値、露出補正の設定等に用いる。

電源スイッチ１２７は、撮像装置のメイン電源をＯＮ／ＯＦＦする。電源制御部１２８は、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロック等を切り替えるスイッチ部等を備えており、電池の装着の有無、電池の種類、電池の残量の検出を行う。更に、電源制御部１２８は、検出結果とシステム制御部１３０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、メモリを含む各部へ供給する。電源１２９は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉ電池等の二次電池、ＡＣアダプタ等を備える。

次に、上記の構成を有する本実施の形態に係る撮像装置の動作について図面を参照しながら詳細に説明する。

まず、撮像装置における画像トリミング処理（以下トリミング処理）、画像回転処理（以下回転処理）、画像変倍処理（以下変倍処理）について図２ａ〜図２ｄのフローチャートを参照しながら説明する。

本実施の形態で説明する後述の光学歪補正には、光学歪補正対象とする画像の撮像に使用した撮像素子１０３の１画素あたりのサイズ（以下、画素ピッチと称する）を示す画素ピッチ情報が必要となる。本実施の形態では、撮像素子１０３により撮像され外部記憶装置１１２に記録されている画像には、予めその画像に対応する画素ピッチ情報が記録されているものとする。

尚、画素ピッチ情報の記録方法としては、画素ピッチ情報をそのまま画像に記録する方法が考えられる。また、撮像装置の機種情報のみ画像に記録しておき、光学歪補正を行う装置に撮像装置の各機種に対応する画素ピッチ情報を予め記録しておき、画像に記録されている機種情報からその画像に対応する画素ピッチを算出する方法が考えられる。また、画素ピッチを算出するための情報として、撮像素子の水平／垂直方向のサイズを示す情報と、画像の水平／垂直方向の画素数を示す情報を記録しておき、それらの情報から画素ピッチを算出する方法が考えられる。

図２ａは、撮像装置により撮像され外部記憶装置１１２に記録された画像に対してトリミング処理、回転処理、変倍処理を行う場合の処理の流れを示すフローチャートである。図２ｂは、トリミング処理を示すフローチャートである。図２ｃは、回転処理を示すフローチャートである。図２ｄは、変倍処理を示すフローチャートである。

図２ａ〜図２ｄにおいて、ユーザが操作部Ａ１２４から画像処理選択メニューの表示を指示すると、システム制御部１３０は、画像処理選択メニュー（不図示）を表示部Ａ１０７に表示する（ステップＳ２００）。画像処理選択メニューからは、トリミング処理、回転処理、変倍処理のうち任意の画像処理を選択することができる。ユーザが画像処理選択メニューからトリミング処理を選択すると、システム制御部１３０は、トリミング処理の選択を検知し（ステップＳ２０１でＹＥＳ）、画像処理部１１３により図２ｂのトリミング処理を実行する（ステップＳ２３１）。

トリミング処理において、ユーザが操作部Ａ１２４から所定操作を行うと、システム制御部１３０は、外部記憶装置１１２に記録されている画像を表示用メモリ１０９に順次読み込み（ステップＳ２０５）、表示部Ａ１０７に１枚ずつ表示する。次に、ユーザが操作部Ａ１２４から所定操作を行いトリミング処理対象とする画像を選択すると、システム制御部１３０は、画像の選択を検知する（ステップＳ２０６）。選択可能な画像としては、ＪＰＥＧ画像、ＲＡＷ画像などが挙げられる。

画像が選択されると、システム制御部１３０は、図３に示すようにステップＳ２０６で選択されたトリミング処理対象の画像３００とトリミング領域指定枠３０１を表示部Ａ１０７に表示する。ユーザが表示部Ａ１０７においてトリミング領域指定枠３０１のサイズや位置を変更することでトリミング領域を任意に選択すると、システム制御部１３０は、トリミング領域の選択を検知する（ステップＳ２０７）。トリミング領域が選択されると、システム制御部１３０は、画像処理部１１３によりトリミング処理を実行する（ステップＳ２０８）。

例えば、図４に示すようにユーザによりトリミング処理を行う前の画像４００に対してトリミング領域指定枠４０１で示す範囲がトリミングされたとする。本実施の形態では、トリミング処理を行う前の画像４００、トリミング領域指定枠４０１で示す範囲内の画像（以下トリミング処理を行った後の画像４０１）、トリミング処理を行う前の画像の中心位置４０２が、それぞれ以下に示す座標及びサイズであるとする。尚、トリミング処理を行う前の画像サイズ、トリミング処理を行った後の画像サイズ、トリミング位置、画像中心位置等は、これに限定されるものではない。

＜トリミング処理を行う前の画像について＞
水平画素数：３００画素
垂直画素数：２００画素
トリミング処理を行う前の画像４００の左上の座標を原点（０、０）としたときの、トリミング処理を行う前の画像４００の中心座標は（１５０、１００）。

＜トリミング処理を行った後の画像について＞
水平画素数：１２０画素
垂直画素数：８０画素
トリミング処理を行う前の画像４００の左上の座標を原点（０、０）としたときの、トリミング処理を行った後の画像４０１の左上の座標は（２０、８０）。

尚、本実施の形態で説明する座標（水平座標、垂直座標）については、水平座標の場合は、全て原点（０、０）に対して右がプラス方向を示し左がマイナス方向を示すものとする。また、垂直座標の場合は、全て原点（０、０）に対して下がプラス方向を示し上がマイナス方向を示すものとする。

ここで、後で画像に対して光学歪補正を行う際に、トリミング処理を行った後の画像４０１に対応する、トリミング処理を行う前の画像４００の画像中心位置情報が必要となる。そこで、システム制御部１３０は、トリミング処理を行う時にトリミング処理を行う前の画像４００の画像中心位置判別情報（画像中心位置特定情報）を算出し（ステップＳ２０９）、画像中心位置判別情報を画像に付加する（ステップＳ２１０）。

トリミング処理を行う前の画像４００の画像中心位置判別情報の形式としては、例えばトリミング処理を行った後の画像４０１の左上の座標を原点（０、０）としたときの、トリミング処理を行う前の画像４００の画像中心位置という形式で記録しておく。この形式に従うと、トリミング処理を行った後の画像４０１に対応する、トリミング処理を行う前の画像４００の画像中心位置判別情報は（１３０、２０）となる。尚、原点（０、０）とする座標はトリミング処理を行った後の画像４０１の左上の座標に限定されるものではなく、任意の座標を原点（０、０）としてもよい。

他にもトリミング処理を行う前の画像４００の画像中心位置判別情報としては、トリミング処理を行う前の画像４００の中心位置４０２を原点（０、０）としたときの、トリミング処理を行った後の画像４０１の左上の座標という形式で持つ方法でもよい。この形式に従うと、トリミング処理を行った後の画像４０１に対応する、トリミング処理を行う前の画像４００の画像中心位置判別情報は（−１３０、−２０）となる。尚、原点（０、０）とする座標はトリミング処理を行う前の画像４００の中心位置の座標に限定されるものではなく、任意の座標を原点（０、０）としてもよい。

また、トリミング処理を行う前の画像４００の画像中心位置判別情報としては、上述した形式に限定されるものではない。

その後、システム制御部１３０は、上述したようにトリミング処理を行う前の画像４００の画像中心位置判別情報を付加（記録）したトリミング処理を行った後の画像４０１を外部記憶装置１１２に書き戻す（ステップＳ２１１）。これにより、トリミング処理が終了となる。

尚、本実施の形態のトリミング処理では、ユーザにより撮影後の画像に対してトリミングを行う場合について説明したが、これに限定されるものではない。例えば電子ズーム機能のように予めトリミングされた画像を記録する場合においても、同様に画像の中心位置判別情報を画像に付加（記録）しておくことで、後で画像に対して光学歪補正を行う際に画像の中心位置判別情報を利用することができる。

以上をまとめると、本実施の形態では、トリミング処理を行った画像に対して、トリミング処理を行う前の画像の特定の位置を判別するための情報を付加して記録する。また、トリミング処理を行った画像に対して、トリミング処理を行う前の画像の特定の位置からトリミング処理を行った画像の各画素までの距離を算出するための情報を付加する。また、前記距離を算出するための情報は、撮像素子１０３の１画素あたりのサイズである。また、トリミング処理を行う前の画像の特定の位置を判別するための情報は、トリミング処理を行う前の画像サイズ、トリミング処理を行った後の画像サイズ、トリミング処理を行う前の画像に対応するトリミング処理を行った後の画像の座標を含む。

画像処理部１１３によるトリミング処理が終了すると、システム制御部１３０は、ユーザが画像処理選択メニューの表示の終了を指示したか否かを判断する（ステップＳ２３４）。ユーザが画像処理選択メニューの表示の終了を指示しない場合は、画像処理選択メニューを表示部Ａ１０７に再度表示し（ステップＳ２００）、ユーザによる画像処理選択メニューからの次の画像処理の選択を待機する。ユーザが画像処理選択メニューの終了を指示した場合は、本処理を終了する。

本実施の形態では、次に回転処理がユーザにより選択されたとして説明を行う。ユーザが画像処理選択メニューから回転処理を選択すると、システム制御部１３０は、回転処理の選択を検知し（ステップＳ２０２でＹＥＳ）、画像処理部１１３により図２ｃの回転処理を実行する（ステップＳ２３２）。

回転処理において、ユーザが操作部Ａ１２４から所定操作を行うと、システム制御部１３０は、外部記憶装置１１２に記録されている画像を表示用メモリ１０９に順次読み込み（ステップＳ２１２）、表示部Ａ１０７に１枚ずつ表示する。次に、ユーザが操作部Ａ１２４から所定操作を行い回転処理対象とする画像を選択すると、システム制御部１３０は、画像の選択を検知する（ステップＳ２１３）。選択可能な画像としては、ＪＰＥＧ画像、ＲＡＷ画像などが挙げられる。

画像が選択されると、システム制御部１３０は、選択された画像の回転量選択メニュー（不図示）を表示部Ａ１０７に表示する。ユーザが回転量選択メニューから画像の回転角度を入力（選択）すると、システム制御部１３０は、選択された画像の回転角度を検知する（ステップＳ２１４）。尚、画像の回転角度としては−３５９°から＋３５９°まで任意の回転角度を選択することができる。

図５に回転角度θ＝−３５９°〜＋３５９°の場合の回転処理における回転前後の画像を示す。図５において、実線で示す５００は回転処理前の画像、点線で示す５０１は回転処理後の画像、５０２は画像中心（回転軸）である。回転処理前の画像５００の画素Ａを回転処理後の画像５０１の画素Ａ’に座標変換する方法を例に挙げ、画像の回転処理方法を説明する。尚、以下の回転処理の説明で使用する座標は、特に断りが無い限り、回転処理前５００の画像の左上の画素の座標を原点（０、０）としたときの座標である。

図５の回転処理前の画像５００の画素Ａの座標を（ｘ、ｙ）、回転処理後の画像５０１の画素Ａ’の座標を（ｘ‘、ｙ’）、画素Ａと画素Ａ’を直線で結んだ距離をｈ、画像中心（回転軸）５０２の座標を（ａ、ｂ）とすると、下記の式１が成立する。

ｈ ＝２ ×｛（（ａ−ｘ）＾２＋（ｂ−ｘ）＾２）＾０．５｝×ｓｉｎ(θ/２)
ｘ’＝ｘ−ｈ×ｓｉｎθ
ｙ’＝ｙ＋ｈ×ｃｏｓθ ・・・（式１）
システム制御部１３０は、式１を用いて、回転処理前の画像の全ての画素に対して座標変換を行い回転処理を実行する（ステップＳ２１５）。尚、図６に示すように回転処理を行うことで回転処理後の画像６００が斜めになるため、回転処理後の画像６００を水平に保てるようにデータの無い部分を黒や白等で塗りつぶした画像６０１を作成する。これにより、撮像装置の表示部Ａ１０７以外の他の表示装置においても画像を表示できるようになる。

本実施の形態では、図６に示すようにデータの無い部分を塗りつぶすことで画像の水平を保つようにしているが、回転処理後の画像の内側を長方形や正方形にトリミングすることで、水平を保つ画像に変換するようにしてもよい。

このようにして回転処理を施した画像の場合、回転軸と画像の中心位置は変わらないため、後で画像に光学歪補正を行う際にも、予め画像に埋め込まれている画像中心位置情報を用いればよい。しかしながら、予めトリミング処理を施した画像を回転する場合、必ずしも回転軸と光学歪補正に用いる画像中心位置（トリミング処理を行う前の画像中心位置）が同じにはならない。そのため、画像に記録されている画像中心位置情報を回転処理後のものに変換する必要がある。

画像中心位置情報の変換方法を図７を用いて説明する。図７に回転処理における回転処理前の画像の中心座標の座標変換処理を示す。図７において、７００は回転処理前の画像、７０１は回転角度θとしたときの回転処理後の画像、７０２は回転処理後の画像の水平を保つ処理を施した塗りつぶした後の画像、７０３は回転軸である。

７０４は回転処理前の画像に記録されている、画像中心位置情報が示す画像中心位置Ａである。７０５は回転処理後の画像に記録されている、画像中心位置情報が示す画像中心位置Ａ’である。７０６は回転処理前の画像中心位置７０４に対応した座標の原点Ｂ（画素Ｂ）である。７０７は回転処理後の画像中心位置７０５に対応した座標の原点Ｂ’（画素Ｂ’）である。

回転処理前の画像７００に記録されている回転処理前の画像中心位置情報から算出した、回転処理前の画像中心位置Ａ７０４の座標を（Ｘ、Ｙ）とする。この回転処理前の画像中心位置Ａ７０４の座標（Ｘ、Ｙ）は、回転処理前の画像の左上の画素Ｂ７０６を原点（０、０）とする座標である。

まず、回転処理前の画像中心位置座標を、上記式１を用いて回転処理後の画像中心位置Ａ’７０５の座標（Ｘ’、Ｙ’）に変換する。更に、画像の回転処理後に図６に示したように画像の水平を保つために周りの画素は塗りつぶしを行うことで、水平を保てる画像に変換する（ステップＳ２１６）。更に、システム制御部１３０は、座標（Ｘ’、Ｙ’）を、塗りつぶした後の画像（回転処理後の画像）７０２の左上の画素７０７が原点（０、０）となる座標（Ｘ’’、Ｙ’’）に変換を行う（ステップＳ２１７）。即ち、回転処理前の画像中心位置判別情報（画像中心位置情報）を算出する。

システム制御部１３０は、以上のようにして算出した、回転処理後の画像７０２の左上の画素７０７を原点（０、０）とした、回転処理前に画像７００に記録されていた画像中心位置判別情報を画像に付加する（画像に再度記録し直す）（ステップＳ２１８）。

このように、回転処理後の画像７０２の左上の画素を常に原点（０、０）として、上記の画像中心位置判別情報を定義しておくことで、後の光学歪補正処理で画像が回転処理されたものかどうかを意識せずに、正しい画像中心位置判別情報を算出することができる。

尚、本実施の形態では、回転処理後の左上の画素を原点（０、０）としたが、他の座標を原点としてもよい。その際は、光学歪補正処理を行う場合にもどの座標が原点かを予め定義しておけばよい。

その後、システム制御部１３０は、上記のようにして回転処理を施した画像を外部記憶装置１１２に再度書き戻す（ステップＳ２１９）。これにより、回転処理が終了となる。

以上をまとめると、本実施の形態では、回転処理を行った画像に対して、回転処理を行う前の画像の特定の位置を判別するための情報を付加して記録する。また、回転処理を行った画像に対して、回転処理を行う前の画像の特定の位置から回転処理を行った画像の各画素までの距離を算出するための情報を付加する。また、前記距離を算出するための情報は、撮像素子１０３の１画素あたりのサイズである。

画像処理部１１３による回転処理が終了すると、システム制御部１３０は、ユーザが画像処理選択メニューの表示の終了を指示したか否かを判断する（ステップＳ２３４）。ユーザが画像処理選択メニューの表示の終了を指示しない場合は、画像処理選択メニューを表示部Ａ１０７に再度表示し（ステップＳ２００）、ユーザによる画像処理選択メニューからの次の画像処理の選択を待機する。ユーザが画像処理選択メニューの終了を指示した場合は、本処理を終了する。

本実施の形態では、次に変倍処理がユーザにより選択されたとして説明を行う。ユーザが画像処理選択メニューから変倍処理を選択すると、システム制御部１３０は、変倍処理の選択を検知し（ステップＳ２０３でＹＥＳ）、画像処理部１１３により図２ｄの変倍処理を実行する（ステップＳ２３３）。

変倍処理において、ユーザが操作部Ａ１２４から所定操作を行うと、システム制御部１３０は、外部記憶装置１１２に記録されている画像を表示用メモリ１０９に順次読み込み（ステップＳ２２０）、表示部Ａ１０７に１枚ずつ表示する。次に、ユーザが操作部Ａ１２４から所定操作を行い変倍処理対象とする画像を選択すると、システム制御部１３０は、画像の選択を検知する（ステップＳ２２１）。選択可能な画像としては、ＪＰＥＧ画像、ＲＡＷ画像などが挙げられる。

画像が選択されると、システム制御部１３０は、選択された画像の変倍率選択メニュー（不図示）を表示部Ａ１０７に表示する。変倍率選択メニューでは、画像の変倍率を拡大（変倍率１倍以上）、縮小（変倍率１倍未満）のどちらにも任意に選択することができる。ユーザが変倍率選択メニューから変倍率：Ｎ倍を指定すると、システム制御部１３０は、変倍率の指定を検知し（ステップＳ２２２）、画像処理部１１３により変倍処理を実行する（ステップＳ２２３）。変倍処理は一般的に知られているバイリニア法やバイキュービック法等を用いて画素を補間しながら行われる。

次に、システム制御部１３０は、上記の実行した変倍処理における最終的な変倍率を示す情報であるトータル変倍率情報（変倍率を示す情報）を算出し（ステップＳ２２４）、該トータル変倍率情報を画像に付加する（画像に記録する）（ステップＳ２２５）。トータル変倍率情報を付加（記録）した画像は後で光学歪補正を行う際に使用する。尚、変倍処理を行わない場合には、画像には変倍率：１倍が変倍率情報として記録されているものとする。

その後、システム制御部１３０は、上記のようにして変倍処理を施した画像を外部記憶装置１１２に書き戻す（ステップＳ２２６）。これにより、変倍処理が終了となる。

画像処理部１１３による変倍処理が終了すると、システム制御部１３０は、ユーザが画像処理選択メニューの表示の終了を指示したか否かを判断する（ステップＳ２３４）。ユーザが画像処理選択メニューの表示の終了を指示しない場合は、画像処理選択メニューを表示部Ａ１０７に再度表示し（ステップＳ２００）、ユーザによる画像処理選択メニューからの次の画像処理の選択を待機する。本実施の形態では、トリミング処理、回転処理、変倍処理が全て終了したので、本処理は終了となる。

次に、上述した画像処理が施された画像に光学歪補正処理を行う方法について図８のフローチャートを参照しながら説明する。

本実施の形態で説明する光学歪補正には、倍率色収差補正、歪曲収差補正、周辺光量落ち補正がある。まず、図８の光学歪補正処理について説明する前に、倍率色収差補正、歪曲収差補正、周辺光量落ち補正の各々においてどのような処理が行われるかについて説明する。

＜倍率色収差補正＞
倍率色収差は、撮像装置の撮像光学系に対する被写体光の入射位置が波長ごとに異なることによって生じる。即ち、撮像素子１０３を構成するカラーフィルタ（Ｒ、Ｇ、Ｂ）に各々対応したＲチャンネル、Ｇチャンネル、Ｂチャンネルのうち、Ｒチャンネル及びＢチャンネルの画素の位置を補正することで、倍率色収差を補正することができる。

倍率色収差補正では、Ｒチャンネル及びＢチャンネルの補正量は像高に応じて変更する必要がある。図９に像高に対する簡易的な倍率色収差補正量のグラフを示す。図９において、実線はＲチャンネルの補正量であり、点線はＢチャンネルの補正量である。

図９に示す補正量に従ってＲチャンネル及びＢチャンネルの画素の座標位置を変更する。例えば、画像における補正前のある画素ＡのＲチャンネルの座標を（Ｒｘ、Ｒｙ）とすると、Ｒチャンネルの補正後の座標は（Ｒｘ×α、Ｒｙ×α）となる。同様に、画像における補正前のある画素ＡのＢチャンネルの座標を（Ｂｘ、Ｂｙ）とすると、Ｂチャンネルの補正後の座標は（Ｒｘ×α、Ｒｙ×α）となる。ここで、α＝座標Ａに対応した像高のＲチャンネルの倍率色収差補正量、β＝座標Ａに対応した像高のＢチャンネルの倍率色収差補正量である。

倍率色収差補正により、ある画素のＲチャンネル及びＢチャンネルの情報がなくなってしまった場合には、隣接する画素のＲチャンネル及びＢチャンネルから上記バイリニア法等を用いて補間する。このように、倍率色収差を補正するためには、補正対象画素の像高を算出する必要がある。

尚、本実施の形態では、倍率色収差補正量を図９のグラフで表示しているが、実際には図９のグラフをテープル化して画像処理部１１３（倍率色収差補正装置）に記録しておくことで倍率色収差補正を行う。或いは、図９のグラフを近似式を用いて算出できるように画像処理部１１３に記録しておくことで倍率色収差補正を行う。また、実際には撮影レンズの種類、焦点距離等によっても倍率色収差補正用のテーブルは異なるため、各撮影レンズ、焦点距離毎に補正値を画像処理部１１３に記録しておく必要がある。

＜歪曲収差補正＞
歪曲収差補正も、本実施の形態で説明する他の光学歪補正と同様に像高に応じて補正量が異なる。図１０に像高に対する簡易的な歪曲収差補正量のグラフを示す。図１０において、実線は一般的に知られている樽型歪曲収差補正用の補正量であり、点線は糸巻型歪曲収差補正用の補正量である。

図１０に示す補正量に従って各画素の座標位置を変更する。例えば、画像における補正前のある画素ａの座標を（Ｘａ、Ｙａ）とすると、歪曲収差補正後の座標は（Ｘａ×γ、Ｙａ×γ）となる。ここで、γ＝座標ａに対応した像高の歪曲収差補正量である。

歪曲収差補正により、ある画素の情報がなくなってしまった場合には、隣接する画素のＲ、Ｇ、Ｂの各チャンネルから上記バイリニア法等を用いて補間する。このように、歪曲収差を補正するためには、補正対象画素の像高を算出する必要がある。

尚、本実施の形態では、歪曲収差補正量を図１０のグラフで表示しているが、実際には図１０のグラフをテープル化して画像処理部１１３（歪曲収差補正装置）に記録しておくことで歪曲収差補正を行う。或いは、図１０のグラフを近似式を用いて算出できるように画像処理部１１３に記録しておくことで歪曲収差補正を行う。また、実際には撮影レンズの種類、焦点距離等によっても歪曲収差補正用のテーブルは異なるため、各撮影レンズ、焦点距離毎に補正値を画像処理部１１３に記録しておく必要がある。

＜周辺光量落ち補正＞
周辺光量落ちは、撮影レンズの中心から離れるほど周辺光量が低下する現象である。周辺光量落ち補正も、本実施の形態で説明する他の光学歪補正と同様に像高に応じて補正量が異なる。図１１に像高に対する簡易的な周辺光量落ち補正量のグラフを示す。図１１において、実線はある撮影レンズの絞りＦ１.８の場合の補正量であり、点線は絞りＦ２２の場合の補正量である。

図１１に示すように、絞りが開放側になるほど周辺光量落ち量は増加するため、周辺光量落ち補正量もそれに伴って大きくする必要がある。図１１の補正テーブルに従って、各画素のＲ、Ｇ、Ｂの各チャンネルに補正を行うことにより周辺光量落ち補正量を行うことができる。

例えば、絞りＦ１.８で撮影された画像における補正前のある画素ｂのＲ、Ｇ、Ｂ値を（Ｒｂ、Ｇｂ、Ｂｂ）とすると、周辺光量落ち補正後のＲ、Ｇ、Ｂ値は（Ｒｂ×μ、Ｇｂ×μ、Ｂｂ×μ）となる。ここで、μ＝座標ｂに対応した絞りＦ１.８の時の像高の周辺光量落ち補正量である。このように、周辺光量落ちを補正するためには、補正対象画素の像高を算出する必要がある。

尚、本実施の形態では、周辺光量落ち補正量を図１１のグラフで表示しているが、実際には図１１のグラフをテープル化して画像処理部１１３（周辺光量落ち補正装置）に記録しておくことで周辺光量落ち補正を行う。或いは、図１１のグラフを近似式を用いて算出できるように画像処理部１１３に記録しておくことで周辺光量落ち補正を行う。また、実際には撮影レンズの種類、焦点距離、絞り等によっても周辺光量落ち補正用のテーブルは異なるため、各撮影レンズ、焦点距離、絞り毎に補正値を画像処理部１１３に記録しておく必要がある。

上述したように、光学歪補正（倍率色収差補正、歪曲収差補正、周辺光量落ち補正）を行うためには、全て像高を算出するための情報が必要であることが分かる。以下、図８のフローチャートを基に光学歪補正処理について説明する。

図８は、撮像装置の光学歪補正処理を示すフローチャートである。

図８において、ユーザが操作部Ａ１２４から所定操作を行うと、システム制御部１３０は、外部記憶装置１１２に記録されている画像を表示用メモリ１０９に順次読み込み（ステップＳ８０１）、表示部Ａ１０７に１枚ずつ表示する。次に、ユーザが操作部Ａ１２４から所定操作を行い光学歪補正処理対象とする画像を選択すると、システム制御部１３０は、画像の選択を検知する（ステップＳ８０２）。選択可能な画像としては、ＪＰＥＧ画像、ＲＡＷ画像などが挙げられる。

画像が選択されると、システム制御部１３０は、画像に予め記録されている光学歪補正処理に必要な像高算出情報を取得する（ステップＳ８０３）。像高算出情報としては、画像中心位置情報（トリミング処理或いは回転処理前の画像中心位置情報）、撮像装置の機種情報、撮像された画像に埋め込まれている撮像素子の画素ピッチ情報、変倍率情報が挙げられる。

ここで、画素ピッチ情報の代わりに撮像装置の機種情報が画像に埋め込まれている場合は、システム制御部１３０は、複数の機種情報に対応した画素ピッチ情報を予め不揮発性メモリ１２２に記録しておく。光学歪補正処理を行う場合は、画像から読み出した機種情報に対応した画素ピッチ情報を不揮発性メモリ１２２から読み出して使用する。

上記の像高算出情報を用いて、光学歪補正処理（倍率色収差補正処理、歪曲収差補正処理、周辺光量落ち補正処理）を画像の各画素に対して行う。ここで、画像の各画素に対応した像高Ｈ（ｉ、ｊ）は下記の式２により算出することができる。

像高Ｈ（ｉ、ｊ）＝｛｛（Ｘｃ−ｉ）＾２＋（Ｘｃ−ｉ）＾２｝×０．５｝×Ｐ×Ｔ
・・・（式２）
ここで（ｉ、ｊ）＝光学歪補正前の画像の左上の画素を原点とする、
画像補正処理を行う画素の座標
Ｐ＝画素ピッチ
Ｔ＝変倍率
（Ｘｃ、Ｙｃ ）＝光学歪補正前の画像の左上の画素を原点とする、
トリミングや回転処理前の画像中心座標
システム制御部１３０は、式２により算出した像高情報を用いて、光学歪補正処理（倍率色収差補正処理、歪曲収差補正処理、周辺光量落ち補正処理）を行う（ステップＳ８０４）。尚、本実施の形態では、倍率色収差補正処理、歪曲収差補正処理、周辺光量落ち補正処理を全て行う構成としているが、これに限定されるものではない。ユーザが倍率色収差補正処理、歪曲収差補正処理、周辺光量落ち補正処理の中から選択した必要な補正処理のみを行う構成としてもよい。

その後、システム制御部１３０は、上記のようにして光学歪補正処理を施した画像を外部記憶装置１１２に書き戻す（ステップＳ８０５）。これにより、光学歪補正処理が終了となる。

以上説明したように本実施の形態によれば、システム制御部１３０は、トリミング処理を行った画像に対し、トリミング処理を行う前の画像の特定の位置を判別するための画像中心位置判別情報を付加し外部記憶装置１１２に記録する。また、回転処理を行った画像に対し、回転処理を行う前の画像の特定の位置を判別するための画像中心位置判別情報を付加し外部記憶装置１１２に記録する。また、撮像素子１０３の１画素あたりの画素サイズを示す情報（画素ピッチ情報）も画像に付加しておく。

従って、画像中心位置判別情報と画素ピッチ情報から、トリミング処理や回転処理等が施された画像に対しても、光学歪補正（倍率色収差補正、歪曲収差補正、周辺光量落ち補正）を行う画像の各画素に対応する像高を算出することが可能となる。これにより、トリミング処理や回転処理等が施された画像に対しても光学歪補正を正しく行うことが可能となる。

〔他の実施の形態〕
上記実施の形態では、撮像装置においてトリミング処理、回転処理、変倍処理、光学歪補正処理を行う構成とした場合を例に挙げたが、これに限定されるものではない。情報処理装置としてのＰＣに搭載したアプリケーションソフトウェアにより上記各処理の一部または全部を行う構成としてもよい。

構成例としては、トリミング処理、回転処理、変倍処理をＰＣ上のアプリケーションソフトウェアで行い、光学歪補正処理を撮像装置で行う構成が考えられる。また、トリミング処理、回転処理、変倍処理を撮像装置で行い、光学歪補正処理をＰＣ上のアプリケーションソフトウェアで行う構成が考えられる。また、トリミング処理、回転処理、変倍処理、光学歪補正処理の全部をＰＣ上のアプリケーションソフトウェアで行う構成が考えられる。

また、本発明の目的は、以下の処理を実行することにより達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はＣＰＵやＭＰＵ等)が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理により前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理により実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の実施の形態に係る画像処理装置としての撮像装置の構成を示すブロック図である。 撮像装置により撮像され外部記憶装置に記録された画像に対してトリミング処理、回転処理、変倍処理を行う場合の処理の流れを示すフローチャートである。 撮像装置のトリミング処理を示すフローチャートである。 撮像装置の回転処理を示すフローチャートである。 撮像装置の変倍処理を示すフローチャートである。 撮像装置の表示部Ａに表示されるトリミング処理対象の画像とトリミング領域指定枠を示す図である。 撮像装置の表示部Ａに表示されるトリミング処理におけるトリミング前後の画像とトリミング処理を行う前の画像の中心位置を示す図である。 回転処理における回転前後の画像を示す図である。 回転処理における回転後の画像を水平に保つための画素埋め処理を示す図である。 回転処理における回転処理前の画像の中心座標の座標変換処理を示す図である。 撮像装置の光学歪補正処理を示すフローチャートである。 像高に対する倍率色収差補正の補正量を示す図である。 像高に対する歪曲収差補正の補正量を示す図である。 像高に対する周辺光量落ち補正の補正量を示す図である。

符号の説明

１０３ 撮像素子
１１２ 外部記憶装置
１１３ 画像処理部
１３０ システム制御部

Claims (20)

1. 画像の一部を切り出す切り出し処理を行う画像処理手段と、
   前記画像処理手段により前記切り出し処理を行った画像に対して、前記切り出し処理を行う前の画像の特定の位置を判別するための情報を付加して記録する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記制御手段は、前記画像処理手段により前記切り出し処理を行った画像に対して、前記切り出し処理を行う前の画像の前記特定の位置から前記切り出し処理を行った画像の各画素までの距離を算出するための情報を付加して記録することを特徴とする請求項１記載の画像処理装置。
3. 前記切り出し処理を行う前の画像の前記特定の位置から前記切り出し処理を行った画像の各画素までの距離を算出するための情報は、画像の撮像に使用された撮像素子の１画素あたりのサイズであることを特徴とする請求項２記載の画像処理装置。
4. 前記制御手段により画像に付加する情報は、色収差補正、歪曲収差補正、周辺光量落ち補正のうちの何れかの光学歪補正に用いる情報であることを特徴とする請求項１記載の画像処理装置。
5. 前記切り出し処理を行う前の画像の前記特定の位置は、前記切り出し処理を行う前の画像の中心であることを特徴とする請求項１記載の画像処理装置。
6. 前記切り出し処理を行う前の画像の前記特定の位置を判別するための情報は、前記切り出し処理を行った後の画像の任意の画素の水平座標或いは垂直座標を原点としたときの、前記切り出し処理を行う前の画像の前記特定の位置に対応した座標であることを特徴とする請求項１記載の画像処理装置。
7. 前記切り出し処理を行う前の画像の前記特定の位置を判別するための情報は、前記切り出し処理を行う前の画像サイズ、前記切り出し処理を行った後の画像サイズ、前記切り出し処理を行う前の画像に対応する前記切り出し処理を行った後の画像の座標を含むことを特徴とする請求項１記載の画像処理装置。
8. 前記画像処理手段は、前記切り出し処理を行った画像を拡大或いは縮小する変倍処理を行い、
   前記制御手段は、前記画像処理手段により前記切り出し処理を行った画像に施した前記変倍処理における変倍率を示す情報を付加して記録することを特徴とする請求項１記載の画像処理装置。
9. 画像を任意の座標を中心に任意の回転角度で回転する回転処理を行う画像処理手段と、
   前記画像処理手段により前記回転処理を行った画像に対して、前記回転処理を行う前の画像の特定の位置を判別するための情報を付加して記録する制御手段と、
   を備えることを特徴とする画像処理装置。
10. 前記制御手段は、前記画像処理手段により前記回転処理を行った画像に対して、前記回転処理を行う前の画像の前記特定の位置から前記回転処理を行った画像の各画素までの距離を算出するための情報を付加して記録することを特徴とする請求項９記載の画像処理装置。
11. 前記回転処理を行う前の画像の前記特定の位置から前記回転処理を行った画像の各画素までの距離を算出するための情報は、画像の撮像に使用された撮像素子の１画素あたりのサイズであることを特徴とする請求項１０記載の画像処理装置。
12. 前記制御手段により画像に付加する情報は、色収差補正、歪曲収差補正、周辺光量落ち補正のうちの何れかの光学歪補正に用いる情報であることを特徴とする請求項９記載の画像処理装置。
13. 前記回転処理を行う前の画像の前記特定の位置は、前記回転処理を行う前の画像の中心であることを特徴とする請求項９記載の画像処理装置。
14. 前記回転処理を行う前の画像の前記特定の位置を判別するための情報は、前記回転処理を行った後の画像の任意の画素の水平座標或いは垂直座標を原点としたときの、前記回転処理を行う前の画像の前記特定の位置に対応した座標であることを特徴とする請求項９記載の画像処理装置。
15. 前記画像処理手段は、前記回転処理を行った画像を拡大或いは縮小する変倍処理を行い、
    前記制御手段は、前記画像処理手段により前記回転処理を行った画像に施した前記変倍処理における変倍率を示す情報を付加して記録することを特徴とする請求項９記載の画像処理装置。
16. 前記制御手段は、記録された画像に対して、前記画像に記録された情報を用いて前記光学歪補正を行うことを特徴とする請求項４又は１２記載の画像処理装置。
17. 前記画像処理装置には、撮像装置、情報処理装置が含まれることを特徴とする請求項１乃至１６のいずれかに記載の画像処理装置。
18. 画像処理手段を備える画像処理装置の制御方法において、
    前記画像処理手段により画像の一部を切り出す切り出し処理を行う画像処理ステップと、
    前記画像処理ステップにより前記切り出し処理を行った画像に対して、前記切り出し処理を行う前の画像の特定の位置を判別するための情報を付加して記録する制御ステップと、を有することを特徴とする制御方法。
19. 画像処理手段を備える画像処理装置の制御方法において、
    前記画像処理手段により画像を任意の座標を中心に任意の回転角度で回転する回転処理を行う画像処理ステップと、
    前記画像処理ステップにより前記回転処理を行った画像に対して、前記回転処理を行う前の画像の特定の位置を判別するための情報を付加して記録する制御ステップと、を有することを特徴とする制御方法。
20. 請求項１８或いは１９のいずれかに記載の画像処理装置の制御方法をコンピュータに実行させるためのコンピュータで読み取り可能なプログラム。

Images