JP6587380B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像用と焦点検出用の両方に利用可能な画素を有する撮像素子から得られる入力画像に対し合成画像を生成する画像処理装置に関する。

従来から、瞳分割画像を用いたダイナミックレンジ拡大手法が提案されている。例えば特許文献１では、分割光電変換部ごとに蓄積時間あるいは読み出しゲインを変えて露出の異なる複数の画像を取得し、それらの画像を合成することでダイナミックレンジを拡大する技術が開示されている。なお、特許文献１のダイナミックレンジ拡大モードにおいて、分割光電変換部を独立に出力するようにすれば、光電変換部の蓄積時間の異なる２つの画像を非加算で読み出したのちに信号処理部で画像合成することも可能である。

また、特許文献２では、撮像素子における瞳分割の概念についての説明が記載され、瞳分割画像ごとに瞳強度分布が異なることが開示されている。

特開２００２−１９９２８４号公報 特開２０１３−１２５０９５号公報

しかしながら、上述の特許文献１では、ダイナミックレンジの拡大幅を広げるためには蓄積時間差あるいは読み出しゲイン差を広げる必要がある。蓄積時間差を広げると、画像ごとに手振れの度合いが変わってしまい、合成した時に手振れが目立つ領域とそうでない領域が混在して不自然な画像になってしまう。読み出しゲイン差を広げると、画像ごとにノイズの程度が変わってしまい、合成した時にノイズが目立つ領域とそうでない領域が混在して不自然な画像になってしまう。つまりいずれの場合も、画質劣化が目立つ領域とそうでない領域が混在して不自然な画像になってしまう。

また、特許文献１の露出の異なる２つの画像に対し特許文献２に示されるような瞳強度分布に基づくシェーディング補正を施した場合、シェーディングの明暗ムラ段差が大きいと、大きなシェーディング補正ゲインを乗算する必要があり、ノイズが劣化する。これについては、後ほど詳細に説明する。

そこで、本発明の目的は、瞳分割画像を用いてダイナミックレンジを拡大する点で有利な画像処理装置を提供することである。

本発明の一側面としての画像処理装置は、単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を受光する第１画素および第２画素のうち一方の画素から第１画像データを取得する第１取得手段と、前記第１画素から得られる画像データおよび前記第２画素から得られる画像データを加算した第２画像データを取得する第２取得手段と、シェーディング補正され、かつシェーディング補正後の画像データと前記第２画像データとの明るさを合わせるべくゲインアップした前記第１画像データと、前記第２画像データとを被写体の明るさに応じて合成して合成画像を生成する画像合成手段と、を有し、前記画像合成手段は、第１の明るさで前記第２画像データを、前記第１の明るさより明るい第２の明るさで前記第１画像データを選択して前記合成画像を生成することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、瞳分割画像を用いてダイナミックレンジを拡大する点で有利な画像処理装置を提供することができる。

本発明の実施形態に係る撮像装置の機能構成を示したブロック図である。 本発明の実施形態に係る画像処理部の構成を説明するための図である。 本発明の実施形態に係る画像合成部の動作を説明するための図である。 実施例１に係る画像処理部の動作を説明するための図である。 実施例２に係る画像処理部の動作を説明するための図である。 実施例２に係るシェーディング補正係数を説明するための図である。 従来例に係るセンサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性を説明するための図である。 従来例に係るシェーディング特性を説明するための図である。 従来例に係る露出の異なる２つの画像を取得する様子を説明するための図である。 従来例に係るシェーディング補正係数を説明するための図である。 本発明の実施形態に係る画像合成部の動作のフローチャートである。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は、デジタルカメラ（撮像装置）に、本発明の画像処理装置を適用した例を説明する。なお、図１では、レンズ一体型の撮像装置に画像処理装置を適用した例について説明するが、本発明はこれに限定されず、レンズ交換型の撮像装置（撮像システム）に適用してもよい。

図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像を撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、特許文献２同様、単一のマイクロレンズの下に配置される主画素を有し、複数の主画素から構成される。主画素は、単一のマイクロレンズによって光学系１０４の異なる瞳領域を通過した光を受光する複数の副画素から構成されている。このように、主画素は、単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を受光する、少なくとも第１画素および第２画素（以下、「副画素」と呼ぶ。）を有している。本実施例においては、１つの主画素に対し副画素が２つ設けられるが、本発明はこれに限定されず、２以上（例えば、３つや４つ）の副画素を有していてもよい。なお、本発明においては、各副画素において画像撮影時のシャッター秒時を同じに設定している。撮像部１０５は、光学系１０４により形成された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データを処理することで、ダイナミックレンジ拡大された画像を生成する。

記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像などが、記録画像として記録される。

次に、複数の副画素から得られる瞳分割画像ごとに瞳強度分布が異なること、及びそれに基づくシェーディング特性について、従来例を交えて図７〜１０を用いて説明する。図７は、センサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性を説明するための図である。

Ｊ１０７はセンサ瞳面である。Ｊ１０８はマイクロレンズアレイ、Ｊ１０９は画素アレイであり、撮像素子を構成している。Ｊ１１１は主画素であり、特許文献２と同様、副画素Ｊ１１０ａと副画素Ｊ１１０ｂから構成されている。

瞳強度分布は特許文献２で示されている通り、瞳のケラレにより副画素Ｊ１１０ａの瞳強度分布はＪ１０１ａ、副画素Ｊ１１０ｂの瞳強度分布はＪ１０１ｂのようになる。

瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面中央での入射角感度特性はＪ１０３ａ、Ｊ１０３ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０３ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０３ｂである。Ｊ１１２は絞りなどで制限される入射光の角度範囲である。像面中央では、副画素Ｊ１１０ａ、Ｊ１１０ｂに入射する光量は等しい。

また瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面端での入射角感度特性はＪ１０５ａ、Ｊ１０５ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０５ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０５ｂである。像面端と像面中央で結像位置が異なるので、像面端の入射角感度特性は像面中央に対して偏心したプロファイルとなる。このため、像面端では、図７の場合だと副画素Ｊ１１０ａに入射する光量よりも副画素Ｊ１１０ｂに入射する光量のほうが多くなる。

上記のことから、像面上の画素位置（Ｘ）と画素値の関係を表すシェーディング特性は、図８のようになる。図８のＪ２０１ａは図７の副画素Ｊ１１０ａのシェーディング特性、Ｊ２０１ｂは図７の副画素Ｊ１１０ｂのシェーディング特性である。図７の像面中央は図８のＸ＝０、像面端はＸ＝５００、に対応する。

図９は、特許文献１と同様、図７の副画素Ｊ１１０ａとＪ１１０ｂで取得された異なる瞳分割画像ごとに、露出の異なる複数の画像を取得する様子を説明するための図である。副画素Ｊ１１０ｂを適正露出にして撮像した瞳分割画像がＪ３０３で、副画素Ｊ１１０ａを１段（１ＥＶ）アンダー露出にして撮像した瞳分割画像がＪ３０２である。それぞれ図８のシェーディング特性の逆特性をシェーディング補正係数として乗算することでシェーディング補正され、Ｊ３０３はＪ３０５、Ｊ３０２はＪ３０４のように補正される。シェーディング補正係数は図１０のようになり、Ｊ４０１ａは副画素Ｊ１１０ａの瞳分割画像、Ｊ４０１ｂは副画素Ｊ１１０ｂの瞳分割画像、に適用される。最終的に、Ｊ３０５が適正露出画像、Ｊ３０４がアンダー露出画像として取得され、像面の全面で１段分（１ＥＶ分）の露出差を得ることができる。このようにすることで、異なる瞳分割画像のそれぞれをシェーディング補正したのちに、ダイナミックレンジ拡大合成することができる。

続いて、図２から図４を用いて、本発明の実施形態における図１の画像処理部１０７の構成と動作を説明する。

図４は、本発明の第１の実施形態における２つの異なる露出の画像を取得する手順を説明するための図であり、横軸が画素位置（Ｘ）、縦軸が画素値である。Ｊ２０１ａは図７の副画素Ｊ１１０ａの瞳分割画像（Ａ像）、Ｊ２０１ｂは図７の副画素Ｊ１１０ｂの瞳分割画像（Ｂ像）、４０１ａｂは図７の副画素Ｊ１１０ａと副画素Ｊ１１０ｂの加算画像（（Ａ＋Ｂ）像）である。

特許文献１で説明されている焦点検出用の非加算読みだしモードを用いれば、図１の撮像部１０５から同じ露出のＡ像とＢ像をそれぞれ独立に読み出して、画像処理部１０７でＡ像とＢ像を加算してより高い露出である（Ａ＋Ｂ）像を作ることも可能である。その一方で、図１の撮像部１０５からＡ像と（Ａ＋Ｂ）像を独立に読み出すことも可能である。つまり、非加算読みだしモードでＡ像読み出しの後にＢ像が読みだされる場合、Ｂ像読み出しの直前のＦＤ領域リセットを発行しなければ、Ｂ像の信号をＦＤ領域に転送した時にＡ像の信号と加算することができる。これにより、Ｂ像の代わりに（Ａ＋Ｂ）像を読み出すことができる。このようにすれば、特許文献１で説明されているように、（Ａ＋Ｂ）像は画素レベルでの信号加算で得られるため、加算時にアンプノイズの影響を受けず、Ａ／Ｄ変換後の画像を加算することでは得られない高Ｓ／Ｎの画像を得ることができる。

（Ａ＋Ｂ）像に対してＡ像は画素の開口が１段分アンダーとなるため、図１の画像処理部１０７でＡ像と（Ａ＋Ｂ）像を画像合成してダイナミックレンジ拡大をすれば、１段分のダイナミックレンジ拡大効果を得ることができる。よって、Ａ像Ｊ２０１ａをアンダー露出画像４０３、（Ａ＋Ｂ）像４０１ａｂを適正露出画像４０２とし、アンダー露出画像４０３をシェーディング補正して補正後アンダー露出画像４０４を生成する。補正後アンダー露出画像４０４と適正露出画像４０２を画像合成してダイナミックレンジ拡大をする。

図２は、図１の画像処理部１０７の構成を説明するための図である。

２０４はシェーディング補正部（シェーディング補正手段）であり、図４のアンダー露出画像４０３（Ａ像）に対して、図１０のシェーディング補正係数Ｊ４０１ａを乗算することで、シェーディング補正をする（分割瞳のケラレ量ムラによる明暗ムラを補正する）。２０１はアンダー露出画像入力部である。アンダー露出画像入力部（第１取得手段）２０１は、副画素Ｊ１１０ａ、Ｊ１１０ｂのうち一方の画素からアンダー露出画像（第１画像データ）を取得する。なお、アンダー露出画像入力部２０１は、該一方の画素からの画像データを取得しない場合、他方の画素からアンダー露出画像（第３画像データ）を取得することができる。２０２はシェーディング補正係数入力部である。シェーディング補正係数は、図１のＲＯＭ１０２から読み出されＲＡＭ１０３に展開されたものが、シェーディング補正入力部２０２から入力される。

２０６は図４の補正後アンダー露出画像４０４と適正露出画像４０２を画像合成してダイナミックレンジ拡大をする（すなわち、階調表現レンジの拡張された合成画像を生成する）画像合成部である。２０３は補正後アンダー露出画像入力部、２０５は適正露出画像入力部である。適正露出画像入力部（第２取得手段）２０５は、副画素Ｊ１１０ａから得られる画像データおよび副画素Ｊ１１０ｂから得られる画像データを加算した適正露出画像（第２画像データ）を取得する。２０７はダイナミックレンジ拡大画像出力部である。画像合成部（画像合成手段）２０６は、被写体の明るさに応じて、補正後アンダー露出画像４０４（詳細には、後述のゲインアップ後アンダー露出画像）と適正露出画像４０２とを合成して合成画像を生成する。

図３は、画像合成部２０６の動作を説明するための図である。縦軸は画素値、横軸は被写体の明るさである。被写体の明るさは例えば補正後アンダー露出画像の画素値を参照すればよい。

３０１は補正後アンダー露出画像、３０３は適正露出画像である。ＴＨ２は画素の飽和レベルで、明るい被写体を適正露出で撮像した場合、画素値は飽和レベルＴＨ２でクリップされる。ＴＨ１は適正露出の飽和レベルに対応する被写体明るさである。３０２は補正後アンダー露出画像３０１を１段ゲインアップしたゲインアップ後アンダー露出画像である。補正後アンダー露出画像３０１は適正露出より１段アンダーなので、１段ゲインアップすることで適正露出画像３０３と明るさを合わせることができる。

画像合成部２０６は、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する判定部２０６ａ（判定手段）を有する。また、判定部２０６ａの判定結果に応じて補正後アンダー露出画像３０１または適正露出画像３０３のいずれかを選択する選択部２０６ｂ（選択手段）を有する。ここで、選択部２０６ｂは、被写体の明るさが閾値未満である場合は適正露出画像３０３を選択し、被写体の明るさが閾値以上である場合は補正後アンダー露出画像３０１を選択する。そして、画像合成部２０６は、選択部２０６ｂにより補正後アンダー露出画像３０１が選択された場合は、補正後アンダー露出画像３０１をゲインアップする。

被写体明るさがＴＨ１未満の画素位置では適正露出画像３０３を、それ以外の画素位置ではゲインアップ後アンダー露出画像３０２を出力することで、ダイナミックレンジ拡大された画像を出力することができる。

次に、本発明の実施形態に係る画像合成部２０６の動作を図１１のフローチャートを用いて説明する。図１１のフローチャートは、制御部１０１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ１０２に格納されているプログラムをＲＡＭ１０３に展開し、ＣＰＵが実行することにより実現される。

ステップＳ１１０１では、画像合成部２０６は、補正後アンダー露出画像入力部２０３を介して、補正後アンダー露出画像３０１を取得する。

ステップＳ１１０２では、画像合成部２０６は、適正露出画像入力部２０５を介して、適正露出画像３０３を取得する。

ステップＳ１１０３では、判定部２０６ａにより、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する。ステップＳ１１０３で被写体の明るさが閾値以上である場合は次のステップＳ１１０４に進み、閾値未満である場合はステップＳ１１０５に進む。

ステップＳ１１０４では、選択部２０６ｂは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、補正後アンダー露出画像３０１を選択する。

ステップＳ１１０５では、選択部２０６ｂは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、適正露出画像３０３を選択する。

ステップＳ１１０６では、画像合成部２０６は、ステップＳ１１０４、ステップＳ１１０５で選択された画像データに基づいて合成画像を生成する。このとき、被写体明るさが閾値以上の画素位置では（すなわち、選択部２０６ｂにより補正後アンダー露出画像３０１が選択された場合は）、補正後アンダー露出画像３０１をゲインアップして、ゲインアップ後アンダー露出画像３０２を生成する。

本実施の形態によれば、瞳分割画像を用いてダイナミックレンジを拡大する際に、蓄積時間差や読み出しゲイン差をつけることなくアンダー露出画像と適正露出画像を撮像することができる。これにより、画質劣化が目立つ領域とそうでない領域が混在して不自然な画像になってしまうのを防ぐことができる。さらに適正露出画像のシェーディング補正をする必要が無いので、適正露出画像が選択される画素位置においてシェーディング補正によるノイズ劣化を低減することができる。したがって、瞳分割画像を用いてダイナミックレンジを拡大する際に、画質劣化が目立つ領域とそうでない領域が混在して不自然な画像になってしまうのを防ぎつつ、シェーディング補正によるノイズ劣化を低減することができる。よって、瞳分割画像を用いてダイナミックレンジを拡大する点で有利な画像処理装置を提供することができる。

以下では、本発明の第２の実施例による画像処理装置について説明する。本実施形態に係る画像処理装置を適用したデジタルカメラ１００の機能構成も実施例１と同様であり、図１に示すものである。

図２、図３、図５、図６を用いて、本実施形態における画像処理部１０７の構成と動作を説明する。

図５は、本発明の第２の実施形態にかかる２つの異なる露出の画像を取得する手順を説明するための図であり、横軸が画素位置（Ｘ）、縦軸が画素値である。Ｊ２０１ａは図７の副画素Ｊ１１０ａの瞳分割画像（Ａ像）、Ｊ２０１ｂは図７の副画素Ｊ１１０ｂの瞳分割画像（Ｂ像）、４０１ａｂは図７の副画素Ｊ１１０ａと副画素Ｊ１１０ｂの加算画像（（Ａ＋Ｂ）像）である。

領域１（第１撮像領域）においては、実施例１と同様に、撮像部１０５からＡ像Ｊ２０１ａと（Ａ＋Ｂ）像Ｊ４０１ａｂを独立に読み出す。領域２（第２撮像領域）においては、実施例１とは読み出しの順番を変えてＢ像Ｊ２０１ｂから読み出すことで、撮像部１０５からＢ像Ｊ２０１ｂと（Ａ＋Ｂ）像４０１ａｂを独立に読み出す。領域１と領域２は、撮像素子の撮像面を、撮像素子の中心（または光学系の光軸）を通る線で２分割した領域である。撮像素子の中心（または光学系の光軸）を通る線は、例えば、副画素Ｊ１１０ａと副画素Ｊ１１０ｂの配列方向（換言すれば、瞳分割方向）と直交する方向の線である。つまり、領域１と領域２は、撮像素子の撮像領域を副画素の瞳分割方向に分割した領域である。撮像素子の中心（または光学系の光軸）から瞳分割方向の第１方向に配置される領域１では、主画素の中心から該第１方向に配置される副画素Ｊ１１０ａからの信号を読み出してＡ像Ｊ２０１ａを取得する。また、撮像素子の中心（または光学系の光軸）から瞳分割方向の第１方向とは反対の第２方向に配置される領域２では、主画素の中心から該第２方向に配置される副画素Ｊ１１０ｂからの信号を読み出してＢ像Ｊ２０１ｂを取得する。図７からも分かるように、Ａ像Ｊ２０１ａは領域１で分割瞳のケラレ量が大きく、Ｂ像Ｊ２０１ｂは領域２で分割瞳のケラレ量が大きい。

本実施の形態においては、Ａ像Ｊ２０１ａとＢ像Ｊ２０１ｂを選択的に用いてアンダー露出画像５０３、（Ａ＋Ｂ）像４０１ａｂを用いて適正露出画像４０２とし、アンダー露出画像５０３をシェーディング補正して補正後アンダー露出画像５０４を生成する。補正後アンダー露出画像５０４と適正露出画像４０２を画像合成してダイナミックレンジ拡大をする。

図２は、画像処理部１０７の構成を説明するための図であり、実施例１と同様である。ただし、図５のアンダー露出画像５０３に適用されるシェーディング補正係数は図６の様になり、領域１にはシェーディング補正係数６０１ａ、領域２にはシェーディング補正係数６０１ｂが適用される。

図３は、画像合成部２０６の動作を説明するための図であり、実施例１と同様である。ただし、図５の補正後アンダー露出画像５０４と適正露出画像４０２の露出段差が１．２６段あるため、ゲイン後アンダー露出画像３０２は補正後アンダー露出画像３０１を１．２６段ゲインアップする。

本実施の形態においては露出段差が１．２６段あるため、実施例１の露出段差１段分よりも広いダイナミックレンジ拡大効果を得ることができる。さらに、図５のアンダー露出画像５０３のシェーディングの明暗ムラ段差は最大で０．６８段となり、実施例１の図４のアンダー露出画像４０３の明暗ムラ段差１段よりも狭くすることができ、シェーディング補正によるノイズ劣化を低減させることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、上述の実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給する場合も本発明に含む。また、そのプログラムを該コンピュータに実行させる場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に搭載される画像処理装置に好適に利用できる。

１０７：画像処理部
２０６：画像合成部

Claims (11)

1. 単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を受光する第１画素および第２画素のうち一方の画素から第１画像データを取得する第１取得手段と、
   前記第１画素から得られる画像データおよび前記第２画素から得られる画像データを加算した第２画像データを取得する第２取得手段と、
   シェーディング補正され、かつシェーディング補正後の画像データと前記第２画像データとの明るさを合わせるべくゲインアップした前記第１画像データと、前記第２画像データとを被写体の明るさに応じて合成して合成画像を生成する画像合成手段と、
   を有し、
   前記画像合成手段は、第１の明るさで前記第２画像データを、前記第１の明るさより明るい第２の明るさで前記第１画像データを選択して前記合成画像を生成することを特徴とする画像処理装置。
2. 前記第１取得手段は、前記第１画素および前記第２画素のうち他方の画素から第３画像データを取得し、
   前記画像合成手段は、前記第１画素および前記第２画素の瞳分割方向において、前記光学系の光軸から第１方向にある第１撮像領域では、前記第１画像データと前記第２画像データとを合成し、前記第１方向とは反対の第２方向にある第２撮像領域では、前記第３画像データと前記第２画像データとを合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１画像データは前記第１撮像領域で分割瞳のケラレ量が大きく、前記第３画像データは前記第２撮像領域で分割瞳のケラレ量が大きいことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１画像データに対して、シェーディング補正を行うシェーディング補正手段を有することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 所定の位置における被写体の明るさが閾値以上であるか否かを判定する判定手段と、
   前記判定手段の判定結果に応じて前記第１画像データまたは前記第２画像データを選択する選択手段と、を有し、
   前記画像合成手段は、前記選択手段により選択された画像データに基づいて前記合成画像を生成することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記選択手段は、前記被写体の明るさが閾値未満である場合は前記第２画像データを選択し、前記被写体の明るさが閾値以上である場合は前記第１画像データを選択し、
   前記画像合成手段は、前記選択手段により前記第１画像データが選択された場合は、前記第１画像データをゲインアップすることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像合成手段は、前記第１画像データと前記第２画像データとを合成して、階調表現レンジの拡張された合成画像を生成することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を受光する第１画素および第２画素を備えた撮像素子と、
   請求項１ないし７のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
9. 単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を受光する第１画素および第２画素のうち一方の画素から第１画像データを取得する第１取得ステップと、前記第１画素から得られる画像データおよび前記第２画素から得られる画像データを加算した第２画像データを取得する第２取得ステップと、
   シェーディング補正され、かつシェーディング補正後の画像データと前記第２画像データとの明るさを合わせるべくゲインアップした前記第１画像データと、前記第２画像データとを被写体の明るさに応じて合成して合成画像を生成する画像合成ステップと、
   を有し、
   前記画像合成ステップは、第１の明るさで前記第２画像データを、前記第１の明るさより明るい第２の明るさで前記第１画像データを選択して前記合成画像を生成することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
11. コンピュータに、請求項９に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。