JP2012005056A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】、画像データにデフォーカスした領域がある場合でも、撮像光学系の光学収差を補正し、デフォーカスや絞り状態に応じたぼけを出す良好な画像復元を可能とする。
【解決手段】被写体距離演算部３５は、撮像手段６２により生成された画像データの各測距領域における被写体距離を算出する。フィルタ選択部７３は、画像データの各分割領域の被写体距離として、各分割領域に夫々該当する測距領域の被写体距離を取得する。復元処理部７６は、各分割領域の被写体距離に基づいて各分割領域の光学収差を補正するとともに、各分割領域の被写体距離及び撮像手段６２の絞り状態に基づいて各分割領域に対してぼけを与える。
【選択図】図１

Description

本発明は、撮像により得られた画像に対してぼけや光学収差の復元処理を行う技術に関するものである。

撮影された画像にはぼけ(Blur)が生じており、ぼけが生じた画像を復元するための画像復元アルゴリズムが従来から知られている。ぼけには、収差、焦点ずれ、露光時間中の撮像装置の移動(手ぶれを含む)、露光時間中の被写体の移動、大気のゆらぎ等の要因がある。

画像復元アルゴリズムとしては、例えば、画像の結像状態の特性を点像分布関数（ＰＳＦ: point spread function)で表し、ＰＳＦに基づいてぼけを補正した画像に復元する手法が知られている。例えば特許文献１には、ＰＳＦの逆特性を有する補正関数を用いて、ぼけの補正を行う手法が開示されている。

特開昭６２−１２７９７６号公報

しかしながら、実際に撮影で得られた画像はデフォーカスした領域があり、焦点合わせをした被写体距離でのＰＳＦに基づいて復元処理を行うと、デフォーカスや絞り状態に応じたぼけをもつ良好な復元画像を得ることができないという課題があった。

そこで、本発明の目的は、画像の中にデフォーカスした領域がある場合でも、撮像光学系の光学収差によるぼけを補正し、デフォーカスや絞り状態に応じたぼけを出す良好な復元画像を得ることにある。

本発明の画像処理装置は、撮像手段の各測距領域における被写体距離情報を保持する保持手段と、画像復元を行う画像の各復元領域の被写体距離情報を、前記各測距領域の被写体距離情報に基づいて取得する取得手段と、前記各復元領域の画像内での位置(像高)および被写体距離情報の違いによる光学収差を補正するとともに、前記各分割領域のデフォーカス情報および絞り状態に基づくぼけを前記各復元領域に対して与える補正手段とを有することを特徴とする。

本発明によれば、画像の中にデフォーカスした領域がある場合でも、撮像光学系の光学収差によるぼけを補正し、デフォーカスおよび絞り状態に応じたぼけを出す復元処理を行うことによって、ぼけのある良好な復元画像を得ることができる。

本発明の第１の実施形態に係る画像復元装置の基本構成を示す図である。 測距用エリアセンサから出力される２つの像信号であるＡ像、Ｂ像の相対位置関係を示す図である。 本発明の第１の実施形態における、複数のＡＦ測距領域と画像復元する分割領域の位置関係を示す図である。 本発明の第１の実施形態における、画像内の複数領域の被写体距離情報を取得して画像復元を行う処理を示すフローチャートである。 固体撮像素子上の色モザイクフィルタの配列を示す図である。 復元フィルタのリストの概念図である。 合焦被写体距離にある焦平面上の点が固体撮像素子上に結像している状態と、合焦被写体距離とは異なる被写体距離にある焦平面上にない点がデフォーカスしている状態とを示す図である。 本発明の第２の実施形態に係る画像復元装置の基本構成を示す図である。 本発明の第2の実施形態における、複数のＡＦ測距領域と複数の復元領域との位置関係を示す図である。 本発明の第２の実施形態における、画像内の複数領域の被写体距離情報を取得し、画像復元を行う処理を示すフローチャートである。 各ＡＦ測距領域について、レンズの繰り出し位置とコントラストとの関係を示す図である。

先ず、画像復元の原理について説明する。撮像系の光軸にｚ軸をとり、ｚ軸に垂直な方向にｘ軸及びｙ軸をとる。被写体(対象物)を忠実に画像化したものを原画像と呼び、位置座標（ｘ，ｙ）を用いて、原画像をｆ（ｘ，ｙ）と表すものとする。また、撮像によって得られる画像は、画像上の座標（ｘ，ｙ）を用いてｇ（ｘ，ｙ）と表すものとする。

原画像ｆ（ｘ，ｙ）は、無数の点光源によって構成されていると考えることができる。２次元のデルタ関数δ（ｘ，ｙ）は輝度が１の点光源と考えることができ、原画像ｆ（ｘ，ｙ）は、ｘ−ｙ平面上の位置（ｘ₀，ｙ₀）における輝度がｆ（ｘ₀，ｙ₀）の点光源の線形和として、次の式１のように示される。なお、₀は被写体を示す添字である。

入力として点光源を与えたとき、撮像系を通して、出力としてそれがどれだけぼけた像として現れるかを示す特性であるＰＳＦ（点像分布関数）をｈ（ｘ，ｙ）とする。この応答ｈ（ｘ，ｙ）は撮像システムＬのインパルス応答に対応するものであり、位置（ｘ₀，ｙ₀）にある点光源として、２次元デルタ関数δ（ｘ−ｘ₀，ｙ−ｙ₀）を与えたときの出力は、次の式２で表される。

従って、ｆ（ｘ，ｙ）とｇ（ｘ，ｙ）とｈ（ｘ，ｙ）との間には、次の式３のような関係が成り立つ。

ＰＳＦは、一般には入力及び出力の位置に依存してその値が変わるが、２次元システムの応答が均一で入力の位置による応答が変わらないとみなせる領域内では、次の式４が成り立つ。

ここで、＊は、畳み込み積分(convolution integral)を表している。
これをフーリエ変換して空間周波数領域で表現すると、式４は次の式５のようになる。

ここで、ｕ、ｖはそれぞれｘ方向、ｙ方向の空間周波数、Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）、Ｈ（ｕ，ｖ）は、ｆ（ｘ，ｙ）、ｇ（ｘ，ｙ）、ｈ（ｘ，ｙ）を２次元フーリエ変換したものである。Ｈ（ｕ，ｖ）は、システムの周波数応答特性を示す空間周波数伝達関数、即ち、２次元フィルタの周波数特性を示すもので光学伝達関数（ＯＴＦ:optical transfer function)と呼ばれている。

撮像された画像ｇ（ｘ，ｙ）から画像復元を行うには、式５を変形した次の式６を利用すればよい。

ＯＴＦの逆フィルタである１／Ｈ（ｕ，ｖ）をかけて求めたＦ（ｕ，ｖ）を、逆フーリエ変換して実空間に戻すことで、原画像ｆ（ｘ，ｙ）を求めることができる。また、式６を逆フーリエ変換した式７のように、１／Ｈ（ｕ，ｖ）を逆フーリエ変換して求めた画像復元フィルタを、撮像された画像ｇ（ｘ，ｙ）に対して畳み込み積分することで、原画像ｆ（ｘ，ｙ）を求めることができる。

実際に画像を復元処理する際には、撮影された画像ｇ（ｘ，ｙ）にノイズ成分が含まれるため、画像復元フィルタＦ^-1｛１／Ｈ（ｕ，ｖ）｝をそのまま用いると、ノイズが増幅された画像となってしまう。この問題については、例えば、ウィーナフィルタのようにノイズ成分が存在することを考慮した方法を用いればよい。なお、ＰＳＦであるｈ（ｘ，ｙ）は、ズーム、絞り、被写体位置、像高で変わる。

像平面上に焦点の合った像を形成するのは、物体空間の面である焦平面(focal plane)である。撮像装置では、ＡＦやマニュアル操作で光学系のフォーカス用レンズ群を繰り出し、物体空間の一つの面(焦平面)に焦点を合わせて撮影する。画像復元を行う場合、フォーカス用レンズ群の繰り出しにより焦点の合った被写体距離(以下、合焦被写体距離と称す)に基づく画像復元フィルタが適用されることになる。

しかし、撮像で得られたデフォーカスした領域（以下、デフォーカス領域と称す）の画像は、物体空間では被写体が焦平面上にはなく、合焦被写体距離とは異なる被写体距離にあるため、焦平面上の点とは異なるＰＳＦとなっている。このため、デフォーカス領域では、合焦被写体距離でのＰＳＦではなく、本来は、合焦被写体距離にフォーカス用レンズ群を繰り出した状態での光学配置で、デフォーカスしている物体の被写体距離にある点を結像したときのＰＳＦに基づく画像復元フィルタを適用すべきである。

実際に、デフォーカス領域を含むカラー画像を撮影し、波長帯域毎のＰＳＦを考慮して、Ｒ、Ｇ、Ｂ成分のそれぞれについて、合焦被写体距離のＰＳＦに基づく画像復元フィルタを適用して画像復元を行った。その結果、画像の中で焦点が合っている領域は良好に復元されるが、デフォーカス領域の中において、撮像光学系の収差に起因する色収差が発生している部分で、復元前の画像に比べて復元後の画像で色差が拡大し、良好な復元が得られない場合があることを発見した。この例に限らず、画像復元する領域の実際のＰＳＦと、画像復元フィルタを作成するのに用いたＰＳＦとが異なると、復元前の画像よりも復元後の画像の方が劣化した領域が生じる場合がある。

撮像光学系の実際のＰＳＦには、被写体距離に応じた収差によるぼけの他に、デフォーカスによるぼけと、絞り状態(絞りの大きさと形状)によるぼけとが含まれている。このため、画像復元する領域のデフォーカス状態を考慮したＰＳＦに基づく画像復元フィルタをそのまま適用すると、デフォーカスや絞り状態に応じたぼけをもつ良好な復元画像とならない。

画像のデフォーカス領域において、良好な復元が得られない従来の欠点を解析した結果、撮影光学系により発生する収差が、被写体距離により異なることから生じていることが分かった。デフォーカス領域での被写体距離は、光学系のフォーカス用レンズ群の繰り出しにより焦点の合った被写体距離である合焦被写体距離とは異なる。このため、被写体が合焦被写体距離にある場合に発生する収差と、デフォーカス領域の被写体距離にある場合に発生する収差とは異なっている。それにも関らず、デフォーカス領域の画像復元にも、合焦被写体距離に基づく画像復元フィルタを適用したため、デフォーカス状態の収差情報を補正する画像復元とは差異が生じ、発生する収差の違いにより、色差の拡大が生じたことが分かった。

そして、このような原因によって発生する画像復元による劣化を抑えるためには、フォーカス状態の異なる領域毎に、それぞれの被写体距離情報を使用すればよいことを見出した。それぞれの被写体距離情報を使用すれば、領域毎にフォーカス状態が異なることによる収差の違いを反映した復元フィルタで画像復元を行うという作用により、良い結果が得られる。

この際、画像の中で、フォーカス状態の異なる領域毎に、それぞれの被写体距離情報が必要となる。撮影する画角内の被写体距離情報を取得する手段として、フォーカス用レンズ群の繰り出し量を変えて複数の画像を撮影し、その複数の画像から被写界深度マップを作成する方法や、撮像装置とは別に被写体の配置を測定する三次元測定装置を用いる方法が知られている。

しかし、複数の画像や三次元測定装置を用いる方法は、実際に撮像装置で画像を撮影し、その静止画像や動画像に対して復元処理を行う場合には、領域毎の被写体距離を求めるのに時間や別の測定装置が必要となるため、実用的ではない。これを実現するためには、静止画又は動画の画像取得に対応して、画像内の複数領域の被写体距離情報を取得し、画像復元を行うことが必要である。

そして、被写体距離情報として、複数のＡＦ測距領域の距離情報を利用することが有効であることを見出した。このように、レンズの設計データより、画像復元する領域毎のデフォーカス状態を考慮したＰＳＦを求め、それを用いて画像復元フィルタを作成すれば、被写体距離の違いによる収差を補正できる。しかし、従来のように、画像復元する全ての領域に対して１つの被写体距離(ここでは、合焦被写体距離)に基づくＰＳＦから画像復元フィルタを作成していないため、デフォーカスや絞り状態に応じたぼけをもつ良好な画像とならない。

これは、デフォーカス状態を考慮したＰＳＦには、被写体距離に応じた光学収差によるぼけの他に、デフォーカスや絞り状態によるぼけが含まれているからである。そこで、設計された撮影レンズに対応する無収差レンズのＰＳＦを求め、このぼけを復元フィルタに付加することにより、デフォーカスと絞り状態に応じたぼけをもつ復元画像を作成する。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像復元装置の基本構成を示す図である。本実施形態においては、画像を撮像したカメラ内で画像の復元処理を行い、記憶媒体に画像ファイルを保存する例について説明する。なお、本実施形態に係るカメラは、本発明の画像処理装置の適用例となる構成である。

１は光学系の光軸である。１０は撮影レンズであり、焦点を調整するためのフォーカス用レンズ群１２と、フォーカス用レンズ群１２以外のレンズ群１１と、光量を調整するための絞り１３とを備える。撮影レンズ10は、ズームレンズで、撮像時のズーム位置が、ズーム位置制御部41を通して、検知可能な機能を有している。撮影時の絞り状態は、絞り制御部51を通して、検知可能な機能を有している。また、撮影レンズ10は交換可能で、撮影時に使用したレンズの種類が、検知可能な機能を有している。

２１はメインミラーであり、図示しない被写体からの光束は、撮影レンズ１０を介してメインミラー２１により上方に反射され、焦点板２２に像を形成する。焦点板２２に形成された像は、ペンタプリズム２３による数回の反射を経て、接眼レンズ２４を介して撮影者によって被写体が視認される。

一方、撮像レンズ１０からメインミラー２１に到達した光束のうちの一部は、メインミラー２１のハーフミラー部を透過し、サブミラー３１により下方に反射され、ＡＦ検出部３２に導かれる。撮影の際には、メインミラー２１とサブミラー３１とが上方に跳ね上がり、撮影光束外に退避することで、撮影レンズ１０からの光束は、光学ＬＰＦ６１を介して固体撮像素子６２上に結像する。固体撮像素子６２は、ＣＣＤやＣＭＯＳセンサ等によって構成されており、受光面上に結像した被写体像を光電変換し、画像信号を出力する。光学ＬＰＦ６１は、固体撮像素子６２の空間サンプリングによる折り返し成分を抑える役割をしている。固体撮像素子６２から出力された画像信号は、Ａ／Ｄ変換器６３でアナログ信号からデジタル信号に変換され、RAW画像データがバッファメモリ７１に格納される。

本実施形態におけるＡＦ方式は、複数のＡＦ測距領域を持つ位相差検出方式である。ＡＦ検出部３２は、サブミラー３１からの光束を２つの光束に分離する瞳分割光学系と、分離された２つの像を取り込む一対の測距用エリアセンサと、２つの像の相対的な位置関係を示す位置ずれ量である位相差を演算する位相差演算部とを備える。

図２は、測距用エリアセンサから出力される２つの像信号であるＡ像、Ｂ像の相対位置関係を示したものである。２つの像は、異なる瞳を通過した光束よりなるため、レンズの繰り出し量により、像の相対位置が、前ピン（図２（ａ））、合焦（図２（ｂ））、後ピン（図２（ｃ））の各状態で異なる。この２つの像の相対的なずれ量は、２つの像信号の相関演算が行われることにより計算され、位相差δが求められる。位相差δは、合焦時に零、前ピン時には負の値、後ピン時には正の値をとる。位相差δと光学系のデフォーカスとの関係は一意に決まるので、ＡＦ検出部３２で検出された位相差δはレンズ繰り出し制御部３３に送られる。レンズ繰り出し制御部３３は、位相差δとＡＦ測距時のフォーカス用レンズ群１２の位置とから、合焦を得るのに必要なレンズ繰り出し量を求め、フォーカス用レンズ群１２を繰り出すことで合焦制御を行う。

図３は、撮影で得られる画像と複数のＡＦ測距領域との位置関係を示す図である。１０１〜１３５はＡＦ測距領域であり、ＡＦ測距領域の選択は、撮影者が任意のＡＦ測距領域を選ぶ手動選択と、画像復元装置が主被写体を判断して焦点を合わせる自動選択とがある。手動選択には、ボタン操作でＡＦ測距領域を選択する方法、視線入力でＡＦ測距領域を選択する方法、液晶表示のタッチパネルでＡＦ測距領域を選択する方法等がある。

また、選択手段によって撮影者の撮影意図に従って決定されたＡＦ測距領域についてのデフォーカス演算結果がＮＧであった場合には、選択された領域以外のＡＦ測距領域について、選択されたＡＦ測距領域に近く、且つ撮影画面の中央に近い領域を優先する。手動選択から自動選択に切り替わる等がある。

図４は、本発明の第１の実施形態における、画像内の複数領域の被写体距離情報を取得して画像復元を行う処理を示すフローチャートである。図1と図4を用いて、画像内の複数領域の被写体距離情報を取得し、画像復元を行う動作について説明する。撮影者が図示しないレリーズボタンを一段階の押し下げ操作を行うことにより、ＡＦシーケンスが開始される。

ステップＳ１において、図３の複数のＡＦ測距領域１０１〜１３５について、ＡＦ検出部３２の測距用エリアセンサからの像信号(２つの像信号であるＡ像信号、Ｂ像信号)を検出する。ステップＳ２において、前述したように、ＡＦ検出部３２の位相差演算部で、２つの像信号の相関演算を行うことにより、複数のＡＦ測距領域１０１〜１３５の位相差δを求める。ステップＳ３において、ステップ2で算出された、複数のＡＦ測距領域１０１〜１３５の位相差δが、AF検出部３２から、測距情報保持部３４に送られ保持される。ステップＳ４において、焦点を合わせるＡＦ測距領域を選択する。手動選択の設定となっている場合、撮影者が選択したＡＦ測距領域が選択され、自動選択の設定となっている場合、画像復元装置が主被写体と判断したＡＦ測距領域が選択される。ステップＳ５において、焦点を合わせるＡＦ測距領域の位相差δが、レンズ繰り出し制御部の送られ、合焦を得るのに必要なレンズ繰り出し量を算出する。ステップＳ６において、フォーカス用レンズ群１２を繰り出すことで合焦を行う。ＡＦ測距時及び合焦時のフォーカス用レンズ群１２の位置は、レンズ繰り出し制御部３３を通して検知され、測距情報保持部３４に送られ、保持される。

ステップＳ７において、被写体距離演算部３５は、複数のＡＦ測距領域１０１〜１３５の位相差δと、ＡＦ測距時及び合焦時のフォーカス用レンズ群１２の位置とから、合焦被写体距離と各ＡＦ測距領域の被写体距離とを演算する。なお、ステップＳ５で繰り出し量が算出された時点で合焦時のレンズ位置が分かるので、レンズ繰り出し中にステップＳ７の演算を行ってもよい。

次に、撮影者が図示しないレリーズボタンをもう一段押し下げ操作することにより、撮像シーケンスが開始される。撮像を行うため、メインミラー２１とサブミラー３１とが撮影光束外に退避し、被写体からの光束は、撮影レンズ１０、光学ＬＰＦ６１を介して、固体撮像素子６２に結像する。固体撮像素子６２上には、図５に示すようなＲ、Ｇ、Ｂで構成される色モザイクフィルタが配置され、Ｒ、Ｇ、Ｂの各色成分の信号が取得できるようになっている。ステップＳ８において、固体撮像素子６２上に結像した被写体像は、光電変換されて画像信号として出力され、Ａ／Ｄ変換機６３でデジタル信号に変換されて、バッファメモリ７１に、ＲＡＷ画像データとして格納される。

次に、画像復元処理について説明する。図１において、７４は復元フィルタＤＢであり、画像復元に使用される復元フィルタが格納されている。本実施形態では、復元フィルタは、撮像系の設計データより求まるＰＳＦに基づいて作成されている。

撮像系の設計データとは、撮影レンズ１０の設計データ、絞り１３の大きさと形状、光学ＬＦＰ６１の空間周波数特性、固体撮像素子６２の画素ピッチと画素開口形状、固体撮像素子６２上の色モザイクフィルタの配列等である。また、Ｒ、Ｇ、Ｂの各色成分に対してそれぞれの復元フィルタが用意される。このため、復元フィルタ作成のため、波長帯域毎の透過率特性を考慮する必要がある。これは、波長帯域毎のＰＳＦの重み付け係数に相当し、撮像レンズ１０の分光透過率特性、固体撮像素子６２上の色モザイクフィルタの分光透過特性、固体撮像素子６２の分光感度特性等である。また、図示しない赤外カットフィルタが使用されている場合は、その分光透過特性も考慮する必要がある。

実際に、復元フィルタＤＢ７４に格納されている画像復元フィルタは、撮像レンズ１０の種類毎に、ズーム位置、絞りの各パラメータの範囲を分割して対応する形となっている。図６にその復元フィルタのリストの概念図を示す。撮影レンズ１０は交換可能なので、使用されている撮像レンズ１０の種類、撮影時のズーム位置、絞りのパラメータ毎に、復元フィルタリストが用意されている（図６（ａ））。更に、撮影時の合焦被写体距離ｄｆに応じた復元フィルタ表が用意されており（図６（ｂ））、撮像されたＲＡＷ画像データに対して、該当する復元フィルタを用いて復元処理が行われる。

一つの撮影状態においても撮像光学系の画角(像高)に応じてＰＳＦは変化するので、図３に示すように、画像内を複数の復元領域に分割し、分割した各復元領域２０１〜２３５に対応する復元フィルタを用いて復元処理を行う。

ステップＳ８で取得されたＲＡＷ画像データの画像復元処理を、図１及び図４を用いて説明する。７０はＣＰＵであり、その機能構成として、フィルタ選択部７３、復元処理部７６、後処理部７７を含む。フィルタ選択部７３は、撮影レンズ１０の種類を検知し、ＲＡＷ画像データの撮像時のズーム位置をズーム位置制御部４１から、撮影時の絞り状態を絞り制御部５１から受け取り、復元フィルタＤＢ７４より図６（ａ）の復元フィルタリストを選択する。次に、フィルタ選択部７３は、被写体距離演算部３５で演算された合焦被写体距離ｄｆを基に、図６（ｂ）の中から対応する復元フィルタ表を選択する。なお、復元フィルタ補間生成部７５は、復元フィルタＤＢ７４にある復元フィルタのリストにないパラメータ(ズーム位置、絞り状態、合焦被写体距離、各復元領域の被写体距離)の中間の値に対応する復元フィルタを必要とする際に、隣接する条件の復元フィルタから補間演算を行い、必要な復元フィルタを生成するものである。また、復元フィルタ補間生成部７５は、復元フィルタＤＢ７４内の復元フィルタ表のデータ容量を低減するため、各パラメータの分割数を減らして格納しておき、必要な条件の復元フィルタを生成する際にも用いられる。

ステップＳ９では、各復元領域２０１〜２３５に対応した被写体距離を取得する。本実施形態では、図３に示すように、ＡＦ測距領域１０１〜１３５と復元領域２０１〜２３５との分割位置が合わせてある。このため、各復元領域に対応する被写体距離として、それに対応する各ＡＦ測距領域の被写体距離を用いればよい。この被写体距離は、ＡＦ時に位相差δとして測距情報保持部３４に保持され、ステップＳ７において被写体距離演算部３５で演算された各ＡＦ測距領域の被写体距離ｄを用いる。ステップＳ１０では、各復元領域の復元フィルタを取得する。具体的には、図６（ｂ）の中から、ステップＳ４で焦点を合わせるために選択されたＡＦ測距領域の被写体距離、即ち、ＡＦのための像信号を検出して、フォーカス用レンズ群の繰り出しによって焦点の合った被写体距離である合焦被写体距離ｄｆに対応する復元フィルタ表を選択する。図７は、合焦被写体距離ｄｆにある焦平面上の点が、固体撮像素子６２上に結像している状態と、合焦被写体距離ｄｆとは異なる被写体距離ｄにある焦平面上にない点が、デフォーカスしている状態とを示している。選択された復元フィルタ表は、合焦被写体距離ｄｆにある焦平面に焦点を合わせるようにフォーカス用レンズ群１０を繰り出したときのレンズ配置で、図７のように、合焦被写体距離ｄｆと、画像上でデフォーカスした領域の各被写体距離ｄとにおけるＰＳＦの逆関数に基づく復元フィルタからなっている。復元処理部76で、図３に示す各復元領域２０１〜２３５の各領域毎に、対応するＡＦ測距領域の被写体距離ｄに対応する復元フィルタを、選択された復元フィルタ表より選択する。このように、合焦領域は合焦被写体距離ｄｆのＰＳＦに基づく復元フィルタを選択し、デフォーカス領域はデフォーカスしている被写体距離ｄのＰＳＦに基づく復元フィルタを選択することで、被写体距離の違いによる光学収差を補正することが可能となる。

ステップＳ１１において、図１のぼけ補正フィルタＤＢ７２から、デフォーカスと絞り状態とに応じたぼけを出すための、ぼけ補正フィルタを取得する。絞り状態としては、撮影時のＦ値を用いる。このぼけ補正フィルタは、撮影レンズ１０に対応する無収差レンズのＰＳＦに基づいて作成されており、撮像レンズ１０の種類毎に、ズーム位置、絞り状態の各パラメータの範囲を分割する形のぼけ補正フィルタリストが用意されている。復元フィルタのフィルタリストでは、合焦被写体距離ｄｆに対応する復元フィルタ表を選択した後、復元領域に応じた復元フィルタを選択する形となっている。しかし、無収差レンズのＰＳＦは像高により変化しないので、ぼけ補正フィルタの合焦被写体距離ｄｆに対応するフィルタ表からは、各復元領域のデフォーカス状態、つまり被写体距離ｄに対応するぼけ補正フィルタを選択する。

ステップＳ１２では、復元処理部７６は、ステップＳ１０で選択された復元フィルタに、ステップＳ１１で選択されたぼけ補正フィルタを掛け合わせて、デフォーカスと絞り状態とに応じたぼけを出す復元フィルタを生成する。そして、復元処理部７６は、ＲＡＷ画像データに対して復元領域毎にこのフィルタを畳み込み積分することで、画像復元を行う。

後処理部７７では、画像復元されたＲＡＷ画像データに対して、デモザイキング処理、ホワイトバランス処理、ノイズリダクション処理、γ処理など、所謂、現像処理と呼ばれる画像処理が行われるが、本発明の主眼ではないので省略する。そして、復元処理された画像は、着脱可能なメモリカードからなる記録媒体７８に所定の画像フォーマットで保存される。

本実施形態のように、画像中にデフォーカスした領域がある場合でも、各領域の被写体距離情報を保持し、合焦領域は合焦被写体距離ｄｆのＰＳＦに基づいて、デフォーカス領域はデフォーカスしている被写体距離ｄのＰＳＦに基づいて収差補正を行う。デフォーカスや絞り状態に応じたぼけは、撮影時の絞り状態と復元領域毎の被写体距離ｄに対応する無収差レンズのＰＳＦに基づいてぼけを与える。これにより、画像中にデフォーカスした領域がある場合でも、撮像光学系の光学収差を補正し、デフォーカスや絞り状態に応じたぼけを出す良好な復元画像を得ることができる。

本実施形態では、固体撮像素子６２上に色モザイクフィルタを配置して、Ｒ、Ｇ、Ｂの各色成分の信号を取得する形態について述べたが、色分解光学系でＲ、Ｇ、Ｂの各色成分に光束を分離し、それぞれの光束に対して、Ｒ、Ｇ、Ｂ用の固体撮像素子を配置して画像信号を取得してもよい。

本実施形態では、画像復元フィルタは、撮像系の設計データより求まるＰＳＦに基づいて作成されているが、ＰＳＦはシステムの光学伝達関数（ＯＴＦ）を逆フーリエ変換したものである。従って、撮像系の設計データより求まるＯＴＦに基づいて、画像復元フィルタを作成してもよい。ぼけ補正フィルタは、無収差レンズのＰＳＦに基づいて作成したものなので、同じように、無収差レンズのＯＴＦに基づいて、ぼけ補正フィルタを作成してもよい。

次に、本発明の第２の実施形態について説明する。本実施形態では、ユーザが指定した絞り状態に応じたぼけを出す画像復元を行う場合について説明する。

図８は、本発明の第２の実施形態に係る画像復元装置の基本構成を示す図である。本実施形態では、画像を撮像したカメラ内では画像の復元処理を行わず、当該画像ファイルを記憶媒体に保存し、ＰＣ内で当該画像の復元処理を行う。また、本実施形態では、ＡＦ測距領域の数が復元領域の数より少なくなっている。

図１０は、本発明の第２の実施形態における、画像内の複数領域の被写体距離情報を取得し、画像復元を行う処理を示すフローチャートである。以下では、第１の実施形態と同様な部分の説明は省略し、第１の実施形態と異なる部分のみを説明する。

第２の実施形態では、図８のように、カメラ８０では画像復元処理を行わず、固体撮像素子６２上に結像され、Ａ／Ｄ変換器６３を介してバッファメモリ７１に格納されたＲＡＷ画像データに対し、記録部７９において画像復元に必要な情報を付加して、画像ファイルを記録媒体７８に保存する。ここで、画像復元に必要な情報とは、撮影レンズ１０の種類、ズーム位置、絞り状態、合焦被写体距離ｄｆ及び各ＡＦ測距領域の被写体距離ｄである。他に、カメラ８０を特定するカメラボディＩＤ、レンズＮｏ．ＩＤ、撮影時のＩＳＯ感度等を加えてもよい。

記録部７９は、撮影レンズ１０の種類を検知し、被写体距離演算部３５から合焦被写体距離ｄｆ及び各ＡＦ測距領域の被写体距離ｄを、ＲＡＷ画像データの撮像時のズーム位置をズーム位置制御部４１から、撮影時の絞り状態を絞り制御部５１から受け取る。そして記録部７９は、上記の画像復元に必要な情報を、ＲＡＷ画像データを保存する画像ファイルのヘッダ部分に付加して、着脱可能なカードメモリである記録媒体７８に保存する。なお、画像復元を行うための付加情報は、画像ファイルのヘッダ部分ではなく、別ファイルで記録媒体７８に保存してもよい。

図９は、撮影で得られた画像と、複数のＡＦ測距領域と、複数の復元領域との位置関係を示す図である。ＡＦ測距領域１０９〜１１３、１１６〜１２０、１２３〜１２７、復元領域２０１〜２３５は、図９に示すように配置され、ＡＦ測距領域の数が復元領域の数より少なくなっている。

次に、図８、図９及び図１０を用いて、本実施形態におけるＰＣ９０での画像復元処理について説明する。図１０のステップＳ１〜Ｓ７は、第１の実施形態における図４のステップＳ１〜Ｓ７と同様の処理であるため、説明を省略する。

ユーザは、記録媒体７８をカメラ８０から取り外し、ＰＣ９０に装着する。なお、記録媒体７８には、画像復元に必要な情報がヘッダ部分に付加された画像ファイルが保存されている。復元処理部７６は、記録媒体７８に保存されている画像復元に必要な情報をヘッダ部分に付加した画像ファイルから、ＲＡＷ画像データを取得する(図１０のステップＳ２１)。フィルタ選択部７３は、記録媒体７８に保存されている画像復元に必要な情報をヘッダ部分に付加した画像ファイルから、撮影レンズ１０の種類、撮像時のズーム位置及び撮影時の絞り状態を読み出し、復元フィルタＤＢ７４から図６（ａ）の復元フィルタリストを選択する。ステップＳ２２において、記録媒体７８に保存されている画像復元に必要な情報をヘッダ部分に付加した画像ファイルから、ＡＦ測距領域１０９〜１１３、１１６〜１２０、１２３〜１２７の被写体距離である、合焦被写体距離ｄｆと各ＡＦ測距領域の被写体距離ｄとを読み出し、取得する。本実施形態では、図９に示すように、ＡＦ測距領域１０９〜１１３、１１６〜１２０、１２３〜１２７の数が復元領域２０１〜２３５の数より少なく、一致していない。このため、一致するＡＦ測距領域がない復元領域２０１〜２０８、２１４〜２１５、２２１〜２２２、２２８〜２３５については、一番近傍のＡＦ測距領域の被写体距離を、その復元領域の被写体距離とする。以降、第１の実施形態と同じように、ステップＳ２３において、復元フィルタを取得する。この際、絞り状態のパラメータとしては、撮影時のＦ値を用いて復元フィルタを選択する。

ステップＳ２４において、デフォーカス及び絞り状態に応じたぼけを出すためのぼけ補正フィルタをぼけ補正フィルタＤＢ７２から取得する。この際、本実施形態では、第１の実施形態のように絞り状態として、撮影時のＦ値を用いるのではなく、ユーザが指定したＦ値を用いる。これにより、ユーザが指定したＦ値に対応するぼけ補正フィルタが選択される。ステップＳ２５において、第１の実施形態と同様、復元処理部７６は、ステップＳ２３で取得された復元フィルタと、ステップＳ２４で取得されたぼけ補正フィルタとを用いて画像復元演算を行う。以降の処理は、第１の実施形態と同様なので説明を省略する。

以上により、画像の中にデフォーカスした領域が存在する場合でも、撮像光学系の光学収差を補正し、デフォーカスとユーザが指定した絞りＦ値とに応じたぼけを持つ復元画像が得られる。

なお、一致するＡＦ測距領域がない復元領域について、最も近傍のＡＦ測距領域の被写体距離情報を、その復元領域の被写体距離情報とする例を挙げたが、近傍のＡＦ測距領域のうち、収差特性が一番近いＡＦ領域の被写体距離情報を用いてもよい。軸対称の撮影レンズの場合、光軸からの像高が一番近いＡＦ測距領域が、収差特性が一番近い領域となる。

以上、位相差検出方式のＡＦを用いる形態について述べたが、他の実施形態として、コントラスト方式のＡＦを用いてもよい。この場合、フォーカス用レンズ群１２を至近から無限遠までの範囲で動かし、図１１に示すように、各ＡＦ測距領域について、レンズの繰り出し位置に対して、コントラストを検出する。各ＡＦ測距領域において、コントラストのピーク位置に対応するレンズ繰り出し位置が、各被写体が合焦する位置である。各ＡＦ測距領域の被写体距離ｄは、コントラストがピークとなるレンズの繰り出し位置から演算で求めることができる。また、実際に撮像する際に、焦点合わせをするのに選択されたＡＦ測距領域の被写体距離を合焦被写体距離ｄｆとすればよい。

一つの復元領域の中に、複数のＡＦ測距領域の被写体距離情報があるときには、その中から被写体距離情報を選択すればよい。また、光学系のフォーカス群を繰り出して焦点を合わせる形態について述べたが、焦点を合わせる手段として、撮像光学系と固体撮像素子の相対間隔を移動させてもよい。この場合、フォーカス用レンズ群の位置の代わりに、相対間隔を移動させた位置情報が用いられる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１：光軸、１０： 撮像レンズ、１１：フォーカス用レンズ群以外のレンズ群、１２：フォーカス用レンズ群、１３： 絞り、２１：メインミラー、２２：焦点板、２３：ペンタプリズム、２４： 接眼レンズ、３１：サブミラー、３２：ＡＦ検出部、３３：レンズ繰り出し制御部、３４：測距情報保持部、３５：被写体距離演算部、４１：ズーム位置制御部、５１：絞り制御部、６１： 光学ＬＰＦ、６２：撮像素子、６３：Ａ／Ｄ、７１：バッファメモリ、７２：ぼけ補正フィルタＤＢ、７３：フィルタ選択部、７４：復元フィルタＤＢ、７５：復元フィルタ補間生成部、７６：復元処理部、７７：後処理部、７８：記録媒体、７９：記録部

Claims (8)

1. 撮像手段の各測距領域における被写体距離情報を保持する保持手段と、
   画像復元を行う画像データの各復元領域の被写体距離情報を、前記各測距領域の被写体距離情報に基づいて取得する取得手段と、
   前記各復元領域の画像内での位置および被写体距離情報の違いによる光学収差を補正するとともに、前記各復元領域のデフォーカスおよび絞り状態に基づくぼけを前記各復元領域に対して与える補正手段とを有することを特徴とする画像処理装置。
2. 撮像系の設計データより求まる収差情報に基づいて光学収差を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記各復元領域のデフォーカス情報および絞り状態に基づくぼけとして、前記デフォーカスおよび撮影時の絞り状態での無収差光学系の点像分布関数（ＰＳＦ）又は光学伝達関数（ＯＴＦ）のぼけを用いることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記各復元領域のデフォーカス情報および絞り状態に基づくぼけとして、前記デフォーカスおよびユーザによって指定された絞り状態での無収差光学系の点像分布関数（ＰＳＦ）又は光学伝達関数（ＯＴＦ）のぼけを用いることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記取得手段は、前記復元領域に対応する位置の測距領域の被写体距離情報を、前記復元領域の被写体距離情報として取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記取得手段は、前記復元領域に対応する位置の測距領域が存在しない場合、前記復元領域に対して近傍の位置の測距領域の被写体距離情報を、前記復元領域の被写体距離情報として取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
7. 画像処理装置により実行される画像処理方法であって、
   撮像手段の各測距領域における被写体距離情報を保持する保持ステップと、
   画像復元を行う画像データの各復元領域の被写体距離情報を、前記各測距領域の被写体距離情報に基づいて取得する取得ステップと、
   前記各復元領域の画像内での位置および被写体距離情報の違いによる光学収差を補正するとともに、前記各復元領域のデフォーカスおよび絞り状態に基づくぼけを前記各復元領域に対して与える補正ステップとを有することを特徴とする画像処理方法。
8. 撮像手段の各測距領域における被写体距離情報を算出する算出ステップと、
   画像復元を行う画像データの各復元領域の被写体距離情報を、前記各測距領域の被写体距離情報に基づいて取得する取得ステップと、
   前記各復元領域の画像内での位置および被写体距離情報の違いによる光学収差を補正するとともに、前記各復元領域のデフォーカスおよび絞り状態に基づくぼけを前記各復元領域に対して与える補正ステップとをコンピュータに実行させるためのプログラム。

Images