JP2016163220A - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】撮影画像の品位を向上させる画像処理装置を提供する。
【解決手段】画像処理装置（画像処理回路１２５）は、複数の視差画像のそれぞれの位置に応じて変化する重み係数を決定する決定手段１２５ａと、重み係数に基づいて複数の視差画像を合成して画像を生成する画像生成手段１２５ｂとを有する。
【選択図】図１

Description

本発明は、複数の視差画像を合成して画像を出力する画像処理装置に関する。

従来から、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影可能な撮像装置が知られている。

特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行う。これらの分割された光電変換部のそれぞれの受光信号に基づいて、分割された瞳部分領域に応じた複数の視差画像を生成することができる。特許文献２には、分割された光電変換部のそれぞれの受光信号の全てを加算することにより撮像画像を生成する撮像装置が開示されている。

米国特許第４４１０８０４号 特開２００１−０８３４０７号公報

ところで、特許文献１、２に開示されているような撮像装置において、主被写体にピントを合わせる一方、前景や背景を大きくボカすことにより、主被写体を効果的に際立たせる撮影が行われることがある。しかしながら、撮影シーンによっては、主被写体（例えば、鳥）の手前に位置する前景（花びら）が大きくボケることにより主被写体が隠れてしまう前ボケ被りが生じ、撮影画像の品位が低下する場合がある。

そこで本発明は、撮像画像の品位を向上させる画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、複数の視差画像のそれぞれの位置に応じて変化する重み係数を決定する決定手段と、前記重み係数に基づいて前記複数の視差画像を合成して画像を生成する画像生成手段とを有する。

本発明の他の側面としての撮像装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子と、前記複数の光電変換部から得られた複数の視差画像のそれぞれの位置に応じて変化する重み係数を決定する決定手段と、前記重み係数に基づいて前記複数の視差画像を合成して画像を生成する画像生成手段とを有する。

本発明の他の側面としての画像処理方法は、複数の視差画像のそれぞれの位置に応じて変化する重み係数を決定するステップと、前記重み係数に基づいて前記複数の視差画像を合成して画像を生成するステップとを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮像画像の品位を向上させる画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置のブロック図である。 実施例１における画素配列を示す図である。 実施例１における画素構造を示す図である。 各実施例における撮像素子および瞳分割機能の説明図である。 各実施例における撮像素子および瞳分割機能の説明図である。 各実施例におけるデフォーカス量と像ずれ量と関係図である。 主被写体への前ボケ被り画像の例である。 各実施例における画像処理（ボケ調整処理）の説明図である。 各実施例における画像処理（ボケ調整処理）の効果の説明図である。 各実施例における瞳ずれによる実効絞り値の説明図である。 実施例２における画素配列を示す図である。 実施例２における画素構造を示す図である。 各実施例におけるリフォーカス処理の概略説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置の概略構成について説明する。図１は、本実施例における撮像装置１００（カメラ）のブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系または撮影光学系）とを備えたデジタルカメラシステムである。ただし本実施例は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。

第１レンズ群１０１は、撮影レンズ（結像光学系）を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡの方向（光軸方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸方向に進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。

撮像素子１０７は、結像光学系を介して被写体像（光学像）の光電変換を行い、例えばＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成される。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。

ズームアクチュエータ１１１は、不図示のカム筒を回動（駆動）することで第１レンズ群１０１および第２レンズ群１０３を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して光量（撮影光量）を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。

電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。

ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または、記録などの一連の動作を制御する。

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。

画像処理回路１２５（画像処理装置）は、撮像素子１０７から出力された画像データのγ（ガンマ）変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの処理を行う。本実施例において、画像処理回路１２５は、決定手段１２５ａおよび画像生成手段１２５ｂを有する。決定手段１２５ａは、複数の視差画像のそれぞれの位置に応じて変化する重み係数を決定する。画像生成手段１２５ｂは、その重み係数に基づいて複数の視差画像を合成して画像を生成する。

フォーカス駆動回路１２６（フォーカス駆動手段）は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９（ズーム駆動手段）は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。

表示器１３１（表示手段）は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部１３２（操作スイッチ群）は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。

続いて、図２および図３を参照して、本実施例における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。

図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施例において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、２つの副画素２０１、２０２により構成さている。このため、図２には、副画素の配列が、８列×４行の範囲で示されている。

図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された副画素２０１、２０２により構成されている。副画素２０１は、結像光学系の第１瞳領域を通過した光束を受光する画素である。副画素２０２は、結像光学系の第２瞳領域を通過した光束を受光する画素である。

図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×４行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、副画素の列方向の周期Ｐ_ＳＵＢが２μｍ、副画素の数Ｎ_ＳＵＢが横１１１５０列×縦３７２５行＝約４１５０万画素である。

図３（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（１分割）された光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２は、それぞれ、副画素２０１および副画素２０２に対応する。

光電変換部３０１および光電変換部３０２は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられる。必要に応じて、副画素ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。

図３に示されるように、画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１および光電変換部３０２で受光される。光電変換部３０１および光電変換部３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１および光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

続いて、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。

図４において、副画素２０１（第１副画素）の瞳部分領域５０１（第１瞳部分領域）は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。副画素２０１の瞳部分領域５０１の重心は、瞳面上で＋ｘ側に偏心している。また、副画素２０２（第２副画素）の瞳部分領域５０２（第２瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、副画素２０２で受光可能な瞳領域を表している。副画素２０２の瞳部分領域５０２の重心は、瞳面上で−ｘ側に偏心している。瞳領域５００は、光電変換部３０１、３０２（副画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

入射光は、マイクロレンズ３０５により、焦点位置に集光される。しかし、光の波動性による回折の影響により、集光スポットの直径は、回折限界Δよりも小さくすることができず、有限の大きさとなる。光電変換部３０１、３０２の受光面サイズが約１〜２μｍ程度であるのに対し、マイクロレンズ３０５の集光スポットは約１μｍ程度である。このため、光電変換部３０１、３０２の受光面とマイクロレンズ３０５とを介して共役の関係にある図４の瞳部分領域５０１、５０２は、回折ボケのため、明瞭に瞳分割されず、受光率分布（瞳強度分布）が得られる。

図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面６００に入射し、２×１分割された副画素２０１、２０２で受光される。本実施例では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向に瞳分割を行ってもよい。

本実施例において、撮像素子１０７は、１つのマイクロレンズを共有し、結像光学系（撮影レンズ）の瞳のうち互いに異なる領域（第１瞳部分領域、第２瞳部分領域）を通過する複数の光束を受光する複数の副画素を備えている。撮像素子１０７は、複数の副画素として、第１副画素（複数の副画素２０１）および第２副画素（複数の副画素２０２）を含む。本実施例において、複数の副画素２０１の受光信号を集めて第１視差画像を生成し、複数の副画素２０２の受光信号を集めて第２視差画像を生成する。このように本実施例では、互いに異なる瞳部分領域ごとに複数の副画素の受光信号を集めて、それぞれの視差画像を生成する。

本実施例において、第１視差画像および第２視差画像は、それぞれ、ベイヤー配列の画像である。必要に応じて、第１視差画像および第２視差画像のそれぞれに対して、デモザイキング処理を行ってもよい。また本実施例において、撮像素子１０７の画素ごとに副画素２０１、２０２の信号を加算して読み出すことにより、有効画素数Ｎの解像度を有する撮像画像を生成することができる。このように本実施例では、複数の視差画像（第１視差画像と第２視差画像）から撮像画像を生成する。

次に、図６を参照して、撮像素子１０７の副画素２０１から取得される第１視差画像および副画素２０２から取得される第２視差画像のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面６００に配置されており、図４および図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。

デフォーカス量ｄは、被写体の結像位置から撮像面６００までの距離を｜ｄ｜、結像位置が撮像面６００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面６００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面６００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体６０１、および、前ピン状態（ｄ＜０）である被写体６０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面６００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する副画素２０１（副画素２０２）により受光され、第１視差画像（第２視差画像）が生成される。このため、第１視差画像（第２視差画像）は、撮像面６００上の重心位置Ｇ１（Ｇ２）に、被写体６０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視差画像と第２視差画像との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１視差画像と第２視差画像と間の被写体像の像ずれ方向が前ピン状態と反対となる。

このように本実施例において、第１視差画像と第２視差画像、または、第１視差画像と第２視差画像とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１視差画像と第２視差画像と間の像ずれ量の大きさは増加する。

次に、本実施例におけるボケ調整（主被写体への前ボケ被り低減）の画像処理について説明する。なお、ボケ調整（主被写体への前ボケ被り低減）の画像処理は、ＣＰＵ１２１の指令に基づいて画像処理回路１２５（決定手段１２５ａ、画像生成手段１２５ｂ）により実行される。画像処理回路１２５は、撮像素子１０７により取得される複数の視差画像（第１視差画像および第２視差画像）を入力し、本実施例の画像処理を実行する。

図７は、主被写体への前ボケ被り画像の例である。図７の領域７００において、第１被写体としての主被写体（鳥）の手前（至近側）に位置する第２被写体としての前景（花びら）が大きくボケて主被写体が隠れる前ボケ被りが生じている。

ここで、ｊ、ｉを整数として、第１視差画像（および第２視差画像）の行方向ｊ番目、列方向ｉ番目の位置を（ｊ、ｉ）として表し、位置（ｊ、ｉ）の画素の第１視差画像をＡ（ｊ、ｉ）、第２視差画像をＢ（ｊ、ｉ）とする。

第１ステップとして、ＣＰＵ１２１（画像処理回路１２５）は、主被写体への前ボケ被りを低減する所定領域Ｒ＝［ｊ１、ｊ２］×［ｉ１、ｉ２］、および、所定領域の境界幅σを設定する。そして、以下の式（１）により、所定領域Ｒおよび所定領域の境界幅σに応じたテーブル関数Ｔ（ｊ、ｉ）を算出する。

テーブル関数Ｔ（ｊ、ｉ）は、所定領域Ｒの内側で１、所定領域Ｒの外側で０となり、所定領域Ｒの境界幅σで、概ね、１から０に連続的に変化する。必要に応じて、所定領域Ｒは、円形や、その他の任意の形状としてもよい。また、必要に応じて、複数の所定領域および境界幅を設定してもよい。

第２ステップとして、ＣＰＵ１２１（画像処理回路１２５）は、実係数ｗ（−１≦ｗ≦１）とし、以下の式（２Ａ）により、第１視差画像Ａ（ｊ、ｉ）の第１重み係数Ｗ_ａ（ｊ、ｉ）を算出する。同様に、ＣＰＵ１２１（画像処理回路１２５）は、以下の式（２Ｂ）により、第２視差画像Ｂ（ｊ、ｉ）の第２重み係数Ｗ_ｂ（ｊ、ｉ）を算出する。

第３ステップとして、画像処理回路１２５は、第１視差画像Ａ（ｊ、ｉ）、第２視差画像Ｂ（ｊ、ｉ）、第１重み係数Ｗ_ａ（ｊ、ｉ）、および、第２重み係数Ｗ_ｂ（ｊ、ｉ）から、以下の式（３）により、出力画像Ｉ（ｊ、ｉ）を生成する。

必要に応じて、画像処理回路１２５は、シフト量ｓによるリフォーカス処理と組み合わせ、以下の式（４Ａ）または式（４Ｂ）により、出力画像Ｉ_ｓ（ｊ、ｉ）を生成してもよい。

ここで、図１３を参照して、リフォーカス処理について説明する。図１３は、本実施例の撮像素子１０７により取得された第１信号（第１副画素の受光信号）および第２信号（第２副画素の受光信号）による１次元方向（列方向、水平方向）のリフォーカス処理の説明図である。図１３において、ｉを整数として、撮像面６００に配置された撮像素子１０７の列方向ｉ番目の画素の第１信号をＡｉ、第２信号をＢｉとして模式的に表している。第１信号Ａｉは、（図５の瞳部分領域５０１に対応する）主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２信号Ｂｉは、（図５の瞳部分領域５０２に対応する）主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。

第１信号Ａｉおよび第２信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も含む。このため、第１信号Ａｉを角度θａに沿って仮想結像面６１０まで平行移動させ、第２信号Ｂｉを角度θｂに沿って仮想結像面６１０まで平行移動させ、これらを加算することにより、仮想結像面６１０でのリフォーカス信号を生成できる。第１信号Ａｉを角度θａに沿って仮想結像面６１０まで平行移動させることは、列方向に＋０．５画素シフトに対応し、第２信号Ｂｉを角度θｂに沿って仮想結像面６１０まで平行移動させることは、列方向に−０．５画素シフトに対応する。したがって、第１信号Ａｉと第２信号Ｂｉとを相対的に＋１画素シフトさせ、第１信号Ａｉと第２信号（Ｂｉ＋１）とを対応させて加算することにより、仮想結像面６１０でのリフォーカス信号を生成できる。同様に、第１信号Ａｉと第２信号Ｂｉとを整数シフトさせて（画素整数個分だけシフトさせて）加算することにより、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。

本実施例では、結像光学系の異なる瞳部分領域を通過した光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により取得される、複数の視差画像を入力し、複数の視差画像毎に重み係数を掛けて合成し出力画像を生成する。好ましくは、本実施例では、複数の視差画像ごとの重み係数は、出力画像の領域に応じて連続的に変化する。また好ましくは、本実施例では、出力画像を、複数の視差画像ごとに重み係数を掛けて加算またはシフト加算して生成する。

次に、図８を参照して、主被写体への前ボケ被りを低減するボケ調整の画像処理の原理について説明する。図８は、ボケ調整のための画像処理の説明図である。図８において、本実施例の撮像素子１０７は撮像面６００上に配置されており、図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割される。

図８（ａ）は、主被写体への前ボケ被り画像の例であり、主被写体ｑ１（第１被写体）の像ｐ１（合焦像）に、手前の被写体ｑ２（第２被写体）のボケ像（Γ１＋Γ２）が重なって撮影される状態を示している。図８（ｂ）、（ｃ）は、図８（ａ）の例を、結像光学系の瞳部分領域５０１を通過する光束と瞳部分領域５０２を通過する光束とにそれぞれ分離した図を示している。

図８（ｂ）では、主被写体ｑ１からの光束は、瞳部分領域５０１を通過して合焦状態で像ｐ１に結像し、手前の被写体ｑ２からの光束は、瞳部分領域５０１を通過して、デフォーカス状態でボケ像Γ１に広がり、撮像素子１０７の各画素の副画素２０１で受光される。副画素２０１の受光信号から第１視差画像が生成される。第１視差画像では、主被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ１とが互いに重なることなく撮影される。所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視差画像（第１視差画像と第２視差画像）の中で、至近側の被写体（被写体ｑ２のボケ像Γ１）が最も狭い範囲で撮影されている視差画像の例である。また、所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視差画像（第１視差画像と第２視差画像）の中で、被写体ｑ２のボケ像Γ１の写りが少なく、コントラスト評価値が最も大きい視差画像の例である。

一方、図８（ｃ）では、主被写体ｑ１からの光束は瞳部分領域５０２を通過して合焦状態で像ｐ１に結像し、手前の被写体ｑ２からの光束は瞳部分領域５０２を通過してデフォーカス状態でボケ像Γ２に広がり、撮像素子１０７の各画素の副画素２０２で受光される。副画素２０２の受光信号から第２視差画像が生成される。第２視差画像では、主被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ２が互いに重なって撮影される。所定領域において、複数の視差画像の中で、至近側の被写体が最も狭い範囲で撮影されている視差画像の例である。また、所定領域において、複数の視差画像の中で、ボケ像の写りが少なく、コントラスト評価値が最も大きい視差画像の例である。所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視差画像（第１視差画像と第２視差画像）の中で、至近側の被写体（被写体ｑ２のボケ像Γ２）が最も広い範囲で撮影されている視差画像の例である。また、所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視差画像（第１視差画像と第２視差画像）の中で、被写体ｑ２のボケ像Γ２の写りが多く、コントラスト評価値が最も小さい視差画像の例である。

本実施例では、所定領域（像ｐ１近傍）において、像ｐ１とボケ像Γ１との重なりが少ない第１視差画像の第１重み係数Ｗ_ａを、像ｐ１とボケ像Γ２との重なりが多い第２視差画像の第２重み係数Ｗ_ｂよりも大きく設定し、式（３）により出力画像を生成する。これにより、主被写体への前ボケ被りを低減した画像を生成することができる。

好ましくは、本実施例では、出力画像の所定領域において、複数の視差画像の中で、至近側の被写体が最も広い範囲で撮影されている視差画像の重み係数が最も小さいか、または、至近側の被写体が最も狭い範囲で撮影されている視差画像の重み係数が最も大きい。また好ましくは、本実施例では、出力画像の所定領域において、複数の視差画像の中で、コントラスト評価値が最も小さい視差画像の重み係数が最も小さいか、または、コントラスト評価値が最も大きい視差画像の重み係数が最も大きい。

次に、図９を参照して、本実施例における画像処理（ボケ調整処理）の効果について説明する。図９は、画像処理（ボケ調整処理）の効果の説明図である。図９（ａ）は、図７の所定領域７００における主被写体（鳥）への花びらの前ボケ被りを低減するボケ調整処理前の画像を示している。図９（ｂ）は、ボケ調整処理後の画像を示している。図９（ａ）の画像（ボケ調整処理前の画像）では、鳥のくちばしや目、羽にかけて、花びらの前ボケで白く覆われている（図９（ａ）中の破線で示される円の内側）。一方、図９（ｂ）の画像（ボケ調整処理後の画像）では、このような前ボケが低減されている。本実施例では、必要に応じて、ボケ調整処理を行わない所定領域以外では、結像光学系のボケ形状を変化させないために、複数の視差画像ごとの重み係数（第１重み係数、第２重み係数）を、概ね均等に加算し、出力画像を生成することが好ましい。

次に、図１０を参照して、本実施例における撮像素子１０７の周辺像高での瞳ずれについて説明する。図１０は、瞳ずれによる実効絞り値の説明図であり、撮像素子１０７の周辺像高に配列された各画素の副画素２０１、２０２がそれぞれ受光する瞳部分領域５０１、５０２と結像光学系の射出瞳４００との関係を示している。

図１０（ａ）は、結像光学系の射出瞳距離Ｄｌ（射出瞳４００と撮像素子１０７の撮像面との距離）と、撮像素子１０７の設定瞳距離Ｄｓとが略等しい場合を示している。この場合、中央像高と同様に、周辺像高においても、結像光学系の射出瞳４００は瞳部分領域５０１、５０２により略均等に瞳分割される。

一方、図１０（ｂ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも短い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００は不均一に瞳分割される。図１０（ｂ）の場合、瞳部分領域５０１に対応する第１視差画像の実効絞り値は、瞳部分領域５０２に対応する第２視差画像の実効絞り値よりも小さい（明るい）値となる。一方、反対側の像高では、瞳部分領域５０１に対応する第１視差画像の実効絞り値は、瞳部分領域５０２に対応する第２視差画像の実効絞り値よりも大きい（暗い）値となる。

図１０（ｃ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも長い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００は不均一に瞳分割される。図１０（ｃ）の場合、瞳部分領域５０１に対応する第１視差画像の実効絞り値は、瞳部分領域５０２に対応する第２視差画像の実効絞り値よりも大きい（暗い）値となる。一方、反対側の像高では、瞳部分領域５０１に対応する第１視差画像の実効絞り値は、瞳部分領域５０２に対応する第２視差画像の実効絞り値よりも小さい（明るい）値となる。瞳ずれにより周辺像高で瞳分割が不均一になるのに伴い、第１視差画像および第２視差画像の実効Ｆ値も不均一となる。このため、第１視差画像および第２視差画像のいずれか一方のボケの広がりが大きくなり、他方のボケの広がりが小さくなる。このため本実施例では、必要に応じて、出力画像の所定領域において、複数の視差画像の中で、実効絞り値が最も小さい視差画像の重み係数を最も小さくするか、または、実効絞り値が最も大きい視差画像の重み係数を最も大きくすることが好ましい。

以上の構成により、撮影後に主被写体への前ボケ被りを低減させ、撮像画像としての品位を向上させることができる。

次に、図１１および図１２を参照して、本発明の実施例２における撮像装置について説明する。本実施例は、複数の視差画像として、第１〜第４視差画像から撮影画像を生成する点で、第１視差画像および第２視差画像から撮影画像を生成する実施例１とは異なる。

図１１は、本実施例における撮像素子１０７の画素配列を示す図である。図１２は、撮像素子１０７の画素構造を示す図であり、図１２（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図１２（ｂ）は図１２（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。

図１１は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施例において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、４つの副画素２０１、２０２、２０３、２０４により構成さている。このため、図１１には、副画素の配列が、８列×８行の範囲で示されている。

図１１に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×２行に配列された副画素２０１、２０２、２０３、２０４により構成されている。副画素２０１は、結像光学系の第１瞳領域を通過した光束を受光する画素である。副画素２０２は、結像光学系の第２瞳領域を通過した光束を受光する画素である。副画素２０３は、結像光学系の第３瞳領域を通過した光束を受光する画素である。副画素２０４は、結像光学系の第４瞳領域を通過した光束を受光する画素である。

図１１に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×８行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、副画素の列方向の周期Ｐ_ＳＵＢが２μｍ、副画素の数Ｎ_ＳＵＢが横１１１５０列×縦７４５０行＝約８３００万画素である。

図１２（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（２分割）された光電変換部３０１、３０２、３０３、３０４が形成されている。光電変換部３０１〜３０４は、副画素２０１〜２０４にそれぞれ対応する。

本実施例において、撮像素子１０７は、１つのマイクロレンズを共有し、結像光学系（撮影レンズ）の瞳のうち互いに異なる領域（第１〜第４瞳部分領域）を通過する複数の光束を受光する複数の副画素を備えている。撮像素子１０７は、複数の副画素として、第１副画素（複数の副画素２０１）、第２副画素（複数の副画素２０２）、第３副画素（複数の副画素２０３）、および、第４副画素（複数の副画素２０４）を含む。本実施例において、複数の副画素２０１の受光信号を集めて第１視差画像を生成する。同様に、複数の副画素２０２の受光信号を集めて第２視差画像、複数の副画素２０３の受光信号を集めて第３視差画像、複数の副画素２０４の受光信号を集めて第４視差画像をそれぞれ生成する。また本実施例において、第１〜第４視差画像は、それぞれ、ベイヤー配列の画像である。必要に応じて、第１〜第４視差画像のそれぞれに対して、デモザイキング処理を行ってもよい。

ここで、ｊ、ｉを整数として、第１視差画像〜第４２視差画像のそれぞれの行方向ｊ番目、列方向ｉ番目の位置を（ｊ、ｉ）として表す。そして、位置（ｊ、ｉ）の画素の第１視差画像をＡ（ｊ、ｉ）、第２視差画像をＢ（ｊ、ｉ）、第３視差画像をＣ（ｊ、ｉ）、第４視差画像をＤ（ｊ、ｉ）とする。また、第１視差画像の第１重み係数をＷ_ａ（ｊ、ｉ）、第２視差画像の第２重み係数をＷ_ｂ（ｊ、ｉ）、第３視差画像の第３重み係数をＷ_ｃ（ｊ、ｉ）、第４視差画像の第４重み係数をＷ_ｄ（ｊ、ｉ）とする。

第１ステップとして、ＣＰＵ１２１（画像処理回路１２５）は、主被写体への前ボケ被りを低減する所定領域Ｒ＝［ｊ１、ｊ２］×［ｉ１、ｉ２］、および、所定領域の境界幅σを設定する。そして、式（１）により、所定領域Ｒおよび所定領域の境界幅σに応じたテーブル関数Ｔ（ｊ、ｉ）を算出する。

テーブル関数Ｔ（ｊ、ｉ）は、所定領域Ｒの内側で１、所定領域Ｒの外側で０となり、所定領域Ｒの境界幅σで、概ね、１から０に連続的に変化する。必要に応じて、所定領域Ｒは、円形や、その他の任意の形状としてもよい。また、必要に応じて、複数の所定領域および境界幅を設定してもよい。

第２ステップとして、ＣＰＵ１２１（画像処理回路１２５）は、実数ｗａ、ｗｂ、ｗｃ、ｗｄ（ｗａ＋ｗｂ＋ｗｃ＋ｗｄ＝０）とし、以下の式（５Ａ）により、第１視差画像Ａ（ｊ、ｉ）の第１重み係数Ｗ_ａ（ｊ、ｉ）を算出する。同様に、ＣＰＵ１２１は、以下の式（５Ｂ）〜（５Ｄ）により、第２視差画像Ｂ（ｊ、ｉ）の第２重み係数Ｗ_ｂ（ｊ、ｉ）、第３視差画像Ｃ（ｊ、ｉ）の第３重み係数Ｗ_ｃ（ｊ、ｉ）、第４視差画像Ｄ（ｊ、ｉ）の第４重み係数Ｗ_ｄ（ｊ、ｉ）をそれぞれ算出する。

第３ステップとして、画像処理回路１２５は、以下の式（６）により、出力画像Ｉ（ｊ、ｉ）を生成する。

必要に応じて、画像処理回路１２５は、シフト量ｓ、ｔによるリフォーカス処理と組み合わせ、以下の式（７Ａ）または式（７Ｂ）により、出力画像Ｉ_ｓｔ（ｊ、ｉ）を生成してもよい。

本実施例において、前述以外の構成は実施例１と同様であるため、それらの説明は省略する。以上の構成により、撮影後に主被写体への前ボケ被りを低減させ、撮像画像としての品位を向上させることができる。

このように各実施例において、画像処理装置（画像処理回路１２５）は、決定手段１２５ａおよび画像生成手段１２５ｂを有する。決定手段１２５ａは、複数の視差画像のそれぞれの位置に応じて変化する重み係数を決定する。画像生成手段１２５ｂは、重み係数に基づいて複数の視差画像を合成して画像を生成する。画像処理装置は、決定手段１２５ａに代えて、例えばＣＰＵ１２１などの装置（決定手段１２５ａと同様の機能を有する装置）により決定された重み係数を取得可能な取得手段を有するように構成してもよい。

好ましくは、画像生成手段は、複数の視差画像のそれぞれに重み係数を掛けて加算する（合成する）ことにより画像を生成する。また好ましくは、画像生成手段は、複数の視差画像のそれぞれに重み係数を掛けてシフト加算する（リフォーカス処理を利用して合成する）ことにより画像を生成する。

好ましくは、重み係数は、複数の視差画像のそれぞれの位置に応じて連続的に変化する。これは、例えばテーブル関数Ｔ（ｊ、ｉ）を利用することにより実現可能である。また好ましくは、複数の視差画像のそれぞれの重み係数の和（総和）は、複数の視差画像における全ての位置において一定である。例えば、実施例１のように１つのマイクロレンズに対して２つの副画素を有する撮像素子から得られる第１視差画像の第１重み係数Ｗ_ａと第２視差画像の第２重み係数Ｗ_ｂとの和は、画像中のいずれの位置においても一定となる。または、実施例２のように１つのマイクロレンズに対して４つの副画素を有する撮像素子から得られる第１〜第４視差画像のそれぞれの第１〜第４重み係数Ｗ_ａ〜Ｗ_ｄの和（総和）は、画像中のいずれの位置においても一定となる。

好ましくは、複数の視差画像は、結像光学系の互いに異なる瞳部分領域を通過した光束を受光する複数の光電変換部（複数の副画素）から構成される画素を複数配列した撮像素子により取得される。すなわち、複数の視差画像は、瞳部分領域ごとの副画素の受光信号から生成される。

好ましくは、画像生成手段は、画像の第１領域（例えば、所定領域Ｒおよび境界幅σ）において、重み係数に基づいて複数の視差画像を合成する。より好ましくは、第１領域は、第１被写体（被写体ｑ１）よりも至近側の第２被写体（被写体ｑ２）のボケを低減するために設定された領域である。また好ましくは、画像生成手段は、画像の第１領域とは異なる第２領域（例えば、所定領域Ｒの外側）において、複数の視差画像に互いに等しい重み係数を掛けて加算することにより画像を生成する。

好ましくは、決定手段は、画像の第１領域において、複数の視差画像の複数の重み係数のうち、第１被写体よりも至近側の第２被写体が最も広い範囲で撮影されている視差画像の重み係数を最も小さくする。また好ましくは、決定手段は、画像の第１領域において、複数の視差画像の複数の重み係数のうち、第１被写体よりも至近側の第２被写体が最も狭い範囲で撮影されている視差画像の重み係数を最も大きくする。

好ましくは、決定手段は、画像の第１領域において、複数の視差画像の複数の重み係数のうち、コントラスト評価値が最も小さい視差画像の重み係数を最も小さくする。また好ましくは、決定手段は、画像の第１領域において、複数の視差画像の複数の重み係数のうち、コントラスト評価値が最も大きい視差画像の重み係数を最も大きくする。

好ましくは、決定手段は、画像の第１領域において、複数の視差画像の複数の重み係数のうち、実効絞り値が最も小さい視差画像の重み係数を最も小さくする。また好ましくは、決定手段は、画像の第１領域において、複数の視差画像の複数の重み係数のうち、実効絞り値が最も大きい視差画像の重み係数を最も大きくする。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、撮像画像の品位を向上させる画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１２５ 画像処理回路（画像処理装置）
１２５ａ 決定手段
１２５ｂ 画像生成手段

Claims (20)

1. 複数の視差画像のそれぞれの位置に応じて変化する重み係数を決定する決定手段と、
   前記重み係数に基づいて前記複数の視差画像を合成して画像を生成する画像生成手段と、を有することを特徴とする画像処理装置。
2. 前記画像生成手段は、前記複数の視差画像のそれぞれに前記重み係数を掛けて加算することにより、前記画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成手段は、前記複数の視差画像のそれぞれに前記重み係数を掛けてシフト加算することにより、前記画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記重み係数は、前記複数の視差画像のそれぞれの位置に応じて連続的に変化することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記複数の視差画像のそれぞれの前記重み係数の和は、該複数の視差画像における全ての位置において一定であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記複数の視差画像は、結像光学系の互いに異なる瞳部分領域を通過した光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子により取得されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像生成手段は、前記画像の第１領域において、前記重み係数に基づいて前記複数の視差画像を合成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第１領域は、第１被写体よりも至近側の第２被写体のボケを低減するために設定された領域であることを特徴とする請求項７に記載の画像処理装置。
9. 前記画像生成手段は、前記画像の前記第１領域とは異なる第２領域において、前記複数の視差画像に互いに等しい重み係数を掛けて加算することにより、前記画像を生成することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記決定手段は、前記画像の前記第１領域において、前記複数の視差画像の前記複数の重み係数のうち、第１被写体よりも至近側の第２被写体が最も広い範囲で撮影されている視差画像の前記重み係数を最も小さくすることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
11. 前記決定手段は、前記画像の前記第１領域において、前記複数の視差画像の前記複数の重み係数のうち、第１被写体よりも至近側の第２被写体が最も狭い範囲で撮影されている視差画像の前記重み係数を最も大きくすることを特徴とする請求項７乃至１０のいずれか１項に記載の画像処理装置。
12. 前記決定手段は、前記画像の前記第１領域において、前記複数の視差画像の前記複数の重み係数のうち、コントラスト評価値が最も小さい視差画像の前記重み係数を最も小さくすることを特徴とする請求項７乃至１１のいずれか１項に記載の画像処理装置。
13. 前記決定手段は、前記画像の前記第１領域において、前記複数の視差画像の前記複数の重み係数のうち、コントラスト評価値が最も大きい視差画像の前記重み係数を最も大きくすることを特徴とする請求項７乃至１２のいずれか１項に記載の画像処理装置。
14. 前記決定手段は、前記画像の前記第１領域において、前記複数の視差画像の前記複数の重み係数のうち、実効絞り値が最も小さい視差画像の前記重み係数を最も小さくすることを特徴とする請求項７乃至１３のいずれか１項に記載の画像処理装置。
15. 前記決定手段は、前記画像の前記第１領域において、前記複数の視差画像の前記複数の重み係数のうち、実効絞り値が最も大きい視差画像の前記重み係数を最も大きくすることを特徴とする請求項７乃至１４のいずれか１項に記載の画像処理装置。
16. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子と、
    前記複数の光電変換部から得られた複数の視差画像のそれぞれの位置に応じて変化する重み係数を決定する決定手段と、
    前記重み係数に基づいて前記複数の視差画像を合成して画像を生成する画像生成手段と、を有することを特徴とする撮像装置。
17. 前記撮像素子は、１つのマイクロレンズに対して前記複数の光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項１６に記載の撮像装置。
18. 複数の視差画像のそれぞれの位置に応じて変化する重み係数を決定するステップと、
    前記重み係数に基づいて前記複数の視差画像を合成して画像を生成するステップと、を有することを特徴とする画像処理方法。
19. 複数の視差画像のそれぞれの位置に応じて変化する重み係数を決定するステップと、
    前記重み係数に基づいて前記複数の視差画像を合成して画像を生成するステップと、をコンピュータに実行させるように構成されていることを特徴とするプログラム。
20. 請求項１９に記載のプログラムを記憶していることを特徴とする記憶媒体。