JP7781591B2 - 撮像処理装置、撮像装置および撮像処理方法 - Google Patents

Description

本発明は、撮像装置（デジタルカメラ）により明るい被写体と暗い被写体を含むシーンを撮像する際に用いられる撮像処理技術に関する。

夜景を背景（被写体）として人物（主被写体）を撮像する場合のように、相対的に明るい被写体と暗い被写体を含むシーンを撮像してそれぞれの明るさ（露出）が適正な画像を得るために、スローシンクロ撮像が行われることが多い。スローシンクロ撮像では、背景に対して長秒露光を行っている間に人物に対してストロボを発光させる また、特許文献１には、ストロボ光により照明した主被写体を撮像して得られた画像とストロボを発光させずに撮像した画像とを合成して背景と主被写体の明るさが適正な画像を得る夜景ポートレート撮像という機能を有する撮像装置が開示されている。ただし、スローシンクロ撮像は長秒露光を行い、夜景ポートレート撮像は複数回の撮像を行うために、どちらも撮像時間が長くなり、手振れによる像振れが生じやすい。

一方、特許文献２には、撮像素子への１回の露光で互いにゲインが異なるＨｉｇｈゲイン画像とＬｏｗゲイン画像を取得し、これらＨｉｇｈゲイン画像とＬｏｗゲイン画像を合成してダイナミックレンジが広い画像を取得する方法が開示されている。この方法によれば、背景の明るさが適正なＬｏｗゲイン画像と主被写体の明るさが適正なＨｉｇｈゲイン画像とを合成することで、主被写体をストロボ光で照明しなくても良好な明るさの画像を取得することができる。

特開２０１０－１１４５６６号公報 特開２０２０－１７８１８６号公報

しかしながら、特許文献２に開示された方法において暗い主被写体をゲインを上げて撮像すると、Ｈｉｇｈゲイン画像に含まれるノイズが多くなり、合成された画像の画質が低下する。

本発明は、相対的に明るさが異なる複数の被写体を撮像素子への１回の露光で撮像する際に、撮像時間を短縮しつつ、互いにゲインが異なり、かつノイズが少ない複数の画像を得られるようにした撮像処理装置等を提供する。

本発明の一側面としての撮像処理装置は、撮像素子への１回の露光によって第１の被写体と該第１の被写体よりも暗い第２の被写体を撮像するための処理を行う。該撮像処理装置は、撮像素子により生成された信号に第１のゲインをかけて第１の画像を生成し、該信号に第２のゲインをかけて第２の画像を生成する画像生成手段と、第１のゲインと第２のゲインを設定するとともに、露光において第２の被写体に照明光を照射する照明手段の発光量を設定する設定手段とを有する。設定手段は、第１のゲインを第１の画像中の第１の被写体の明るさが第１の目標値になるように設定し、第２のゲインを第１のゲインより低く設定するとともに発光量を第２の画像中の第２の被写体の明るさが第２の目標値になるように設定することを特徴とする。なお、撮像素子と上記撮像処理装置を有する撮像装置も、本発明の他の一側面を構成する。

また本発明の他の一側面としての撮像処理方法は、撮像素子への１回の露光によって第１の被写体と該第１の被写体よりも暗い第２の被写体を撮像するための方法である。該方法は、撮像素子により生成された信号に第１のゲインをかけて第１の画像を生成し、該信号に第２のゲインをかけて第２の画像を生成するステップと、第１のゲインと第２のゲインを設定するとともに、露光において第２の被写体に照明光を照射する照明手段の発光量を設定するステップとを有する。該方法は、第１のゲインを第１の画像中の第１の被写体の明るさが第１の目標値になるように設定し、第２のゲインを第１のゲインより低く設定するとともに発光量を第２の画像中の第２の被写体の明るさが第２の目標値になるように設定することを特徴とする。なお、コンピュータに上記撮像処理方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、相対的に明るさが異なる第１および第２の被写体を撮像素子への１回の露光で撮像する際に、撮像時間を短縮しつつ、互いにゲインが異なり、かつノイズが少ない第１および第２の画像を得ることができる。

本発明の実施例であるデジタルカメラの構成を示すブロック図。 実施例のデジタルカメラに備えられた撮像素子の構成を示すブロック図。 実施例における夜景ポートレート撮像処理を示すフローチャート。 実施例における主被写体がストロボ光により照明された場合の背景画像中、被写体画像中および合成画像中の背景と被写体の明るさを示す図。 実施例におけるプリ発光により主被写体が照明されない場合の背景画像中、被写体画像中および合成画像中の背景と被写体の明るさを示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例である撮像処理装置を含む撮像装置としてのデジタルカメラ（以下、単にカメラという）の構成を示している。撮像処理装置は、制御部１００、撮像部１０２、画像取得部１０３、画像処理部１０４および画像合成部１０５により構成される。

制御部１００は、カメラの動作全体を制御するＣＰＵ等を含む。光学系１０１は、不図示の複数のレンズおよび絞りを含み、外部からの光を取り込んで撮像部１０２に光学像を形成する。なお、光学系１０１はカメラに対して一体に設けられてもよいし、着脱（交換）可能に設けられてもよい。

撮像部１０２は、光学系１０１により形成された光学像を撮像信号に変換して出力するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により構成される。撮像部１０２により生成された撮像信号は画像取得部１０３に送られる。

図２は、撮像部１０２を構成する撮像素子の構成を示している。タイミング・パルス制御部２０１は、動作クロック信号やタイミング信号を生成して撮像素子の動作を制御する。

画素部２０３は、それぞれ入射した光を電荷に変換して浮遊拡散容量ＦＤ(Floating Diffusion)に蓄積することで、入射した光量に応じた電圧信号（画素信号）を出力する複数の画素（光電変換素子）を含む。複数の画素は、複数行×複数列で２次元に配置されている。本実施例では、ＦＤの容量を変更可能であり、ＩＳＯ感度に応じて容量を変更することでＳＮを改善することができる。具体的には、低ＩＳＯ感度では容量を大きく設定し、高ＩＳＯ感度では容量を小さく設定する。なお、後述するゲインが互いに異なる２つの画像を出力する際における容量は共通である。なお、設定可能な容量の大きさは２段階に限らず、より多段階としてもよい。

垂直走査回路２０２は、画素部２０３において１フレーム内で生成された画素信号を順次読み出すためのタイミングを制御する。画素信号は、１フレーム内で上部の画素行から下部の画素行にかけて、画素行単位で順次読み出される。

列ＡＭＰ２０４は、画素部２０３から読み出された画素信号を増幅して（画素信号にゲインを乗じて）、後段の列ＡＤＣ２０５で発生するノイズに対する画素信号のレベルを高めることでＳＮを改善させる。列ＡＭＰ２０４のゲインは、タイミング・パルス制御部２０１により変更される。列ＡＭＰ部２０４は、ＨＤＲ画像生成用として入力メモリを２つ有し、これら入力メモリに互いに異なる２つのゲインを保持することができる。入力メモリを２つ有することで、ＦＤからある時刻に読み出された画素信号に対して２つのゲインが乗じられた２種類の画素信号を出力することができる。このように撮像素子への１回の露光によりゲインが互いに異なる２種類の画素信号を出力する機能をＤＧＯ(Dual Gain Output)機能という。なお、互いに異なるゲインの数は、２つより多くてもよい。

列ＡＤＣ２０５は、列ＡＭＰ２０４から読み出された２種類の画素信号をＡ／Ｄ変換する。デジタル化された２種類の画素信号は水平転送回路２０６により順次読み出される。水平転送回路２０６は、順次読み出した１フレーム分の画素信号を含む撮像信号（ここではゲインが異なる２種類の撮像信号）を信号処理回路２０７に出力する。信号処理回路２０７は、２種類の撮像信号に対して各種デジタル処理を行い、処理後の撮像信号を外部出力回路２０８に出力する。外部出力回路２０８は、シリアライザー機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号としての撮像信号をシリアル信号に変換して、図１に示す画像取得部１０３に出力する。

画像取得部１０３は、撮像部１０２から出力された２種類の撮像信号をキャプチャして、それぞれの撮像信号に対して撮像部１０２で発生した固定パターンノイズを除去する処理や黒レベルクランプ処理等を行う。そして、処理後の２種類の撮像信号のそれぞれを、画像生成用信号と露出を制御するための評価用信号とに分離する。なお、撮像素子内で画素信号のＡ／Ｄ変換を行わない場合は、画像取得部１０３にＡ／Ｄ変換を行うアナログフロントエンドを含ませてもよい。

画像処理部１０４は、画像取得部１０３から出力された２種類の画像生成用信号に対して画素加算、ノイズリダクション、ガンマ補正、ニー補正、デジタルゲイン、キズ補正等の各種画像処理を行って、ゲインが互いに異なる２種類の画像信号を生成する。撮像部１０２、画像取得部１０３および画像処理部１０４により画像生成手段が構成される。

合成手段としての画像合成部１０５は、画像処理部１０４から出力された２種類の画像信号（すなわち、第１の画像と第２の画像）にハイダイナミックレンジ合成を行うことによりＨＤＲ(High Dynamic Range)画像を生成する。なお、画像合成部１０５での合成処理の方法は、互いにゲインが異なる複数の画像からＨＤＲ画像を合成できればどのようなものであってもよい。記録部１０６は、画像合成部１０５にて生成されたＨＤＲ画像を、半導体メモリやハードディスク等の記憶媒体に記録する。表示部１１１は、撮像前に生成される構図確認用のライブビュー画像や撮像により生成された記録用画像を表示したり、撮像に関する各種情報を表示したりする。

照明手段としてのストロボ１１０は、被写体を照明するストロボ光を発する。ストロボ１１０は、カメラに内蔵されていてもよいし、カメラに外付けされるものであってもよい。

露出制御部１０７は、画像取得部１０３から受け取った撮像信号から得られる輝度情報を用いて適切な露光量を算出し、該露光量に応じてストロボ発光量を設定して制御部１００に伝達する。制御部１００および露出制御部１０７により設定手段が構成される。

ストロボ制御部１０８は、露出制御部１０７により設定されたストロボ発光量に応じて撮像に際してストロボ１１０を制御してストロボ光（照明光）を発光させる。
図３のフローチャートおよび図４は、制御部１００が実行するＤＧＯ機能を用いた夜景ポートレート撮像処理（撮像処理方法）を示している。コンピュータとしての制御部１００は、コンピュータプログラムに従って本処理を実行する。Ｓはステップを意味する。この処理では、相対的に明るい第１の被写体である背景（夜景）と相対的に暗い第２の被写体である主被写体（人物）を同時に１回の露光で撮像する。そして、ＤＧＯ機能を用いて生成される適正な明るさ（第１の目標値）の背景を含む第１の画像と適正な明るさ（第２の目標値）の主被写体を含む第２の画像を合成してＨＤＲ画像を生成する。以下の説明において、第１の画像を背景画像といい、第２の画像を被写体画像という。また、背景画像における背景の適正な明るさと被写体画像における主被写体の適正な明るさは互いに同じであってもよいし、互いに異なってもよい。また、これらの適正な明るさは、制御部１００が自動で設定してもよいし、ユーザが手動で設定してもよい。

ユーザの操作により夜景ポートレート撮像モードが設定されると、制御部１００は本処理を開始するとともに、撮像部１０２をライブビューモードに設定し、表示部１１１でのライブビュー画像の表示を開始する。

Ｓ３０１では、制御部１００は、ユーザの操作により撮像が指示されたか否かを判断し、撮像が指示されると、画像取得部１０３にてライブビュー画像用の撮像信号から分離された評価用信号から得られる評価値を露出制御部１０７に通知する。そして、露出制御部１０７に該評価値に基づいて露出条件を設定させる。露出条件は、撮像部１０２に設定する電荷蓄積時間およびゲインと光学系１０１の絞り値を含む。ＤＧＯ機能は同じ画素信号に対して互いに異なるゲインを乗じて背景画像用と被写体画像用の２種類の画素信号を生成する。このため、背景画像と被写体画像の電荷蓄積時間および絞り値は必ず共通になり、ゲインのみ画像ごとに設定される。

本実施例では、背景画像のゲイン（第１のゲイン）は背景画像内の背景が適正な明るさ（第１の目標値）となるように設定される。ただし、例えば後述するＳ３０５で生成されるＨＤＲ画像のダイナミックレンジを広くするために、背景の露出がオーバー（第１の目標値）となるゲインを設定してもよい。一方、被写体画像のゲイン（第２のゲイン）は撮像部１０２に設定可能な最低値とし、必要であれば後述するＳ３０３で改めてゲインを設定する。

次にＳ３０２では、制御部１００は、撮像部１０２をライブビューモードから調光モードに切り替えて、ストロボ制御部１０８を通じてストロボ１１０にプリ発光を行わせる。ここでは、調光モード中にストロボ１１０をプリ発光させた状態での画像（ストロボ発光画像）とストロボ１１０をプリ発光させていない状態での画像（ストロボ非発光画像）とを取得する。制御部１００は、ストロボ発光画像とストロボ非発光画像のそれぞれから主被写体の明るさを取得し、それぞれの明るさから反射率を算出する。そして、プリ発光量と反射率とから主被写体までの距離を算出（取得）する。このように制御部１００は、距離取得手段として機能する。

次にＳ３０３では、制御部１００は、Ｓ３０２で取得した被写体距離、主被写体の明るさおよびＳ３０１で設定した被写体画像の露出条件から、被写体画像内の主被写体の明るさが適正な明るさ（第２の目標値）となるようにストロボ１１０の本発光量を設定する。このとき、本発光量を設定可能な最大値に設定しても被写体画像内の主被写体の明るさが適正な明るさに到達しない場合は、Ｓ３０１で設定した被写体画像のゲイン（最低値）を被写体の明るさが適正となる値まで上げてもよい。

次にＳ３０４では、制御部１００は、Ｓ３０１とＳ３０３で設定した背景画像の露出条件と被写体画像の露出条件を撮像部１０２に設定して、背景および主被写体の同時撮像を行わせる。さらに制御部１００は、撮像部１０２における電荷蓄積中に、Ｓ３０３で設定した本発光量をストロボ制御部１０８に設定し、ストロボ１１０に本発光を行わせる。

撮像が終了すると、制御部１００は、画像処理部１０４からゲインが互いに異なる背景画像と被写体画像を画像合成部１０５に出力させる。このときの背景画像中と被写体画像中の背景および主被写体の明るさは、図４に示すようになる。

本実施例では、ユーザがカメラを手で持った状態でも撮像できるように電荷蓄積時間（撮像時間）を短く、例えば１／３０秒に設定する。この短い撮像時間で得られる背景画像に対しては、背景にストロボ光が照射されなくても背景画像内の背景の明るさが適正になるように高いゲイン（以下、Ｈｉｇｈゲインという）を適用する。Ｈｉｇｈゲインは、例えばＩＳＯ６４００相当のゲインである。ただし、このようなＨｉｇｈゲインでは、ストロボ光が照射される主被写体は明るさが飽和して白飛びする。一方、被写体画像に対しては、背景画像と同じ電荷蓄積時間で背景画像よりも低いゲイン（以下、Ｌｏｗゲインという）を適用する。Ｌｏｗゲインは、例えばＩＳＯ１００相当のゲインである。これにより、ストロボ光が照射される主被写体の明るさは適正となり、背景の明るさは低く（露出アンダーに）なる。

次にＳ３０５では、制御部１００は、画像合成部１０５に背景画像と被写体画像のＨＤＲ合成を行わせる。ＨＤＲ合成は、Ｈｉｇｈゲイン画像とＬｏｗゲインの画像の合成により白飛びや黒潰れを復元する画像合成手法である。これにより、Ｈｉｇｈゲインの背景画像中にて白飛びしている主被写体の領域にＬｏｗゲインの被写体画像中にて適正な明るさの主被写体が写った、すなわち図４に示すように背景と主被写体がともに適正な明るさを有する合成画像としてのＨＤＲ画像が生成される。

このようにストロボ光により照明された主被写体を撮像して得られるＬｏｗゲインの被写体画像を用いることで、主被写体にストロボ光を照射せずにゲインを高くして明るくした被写体画像を用いる場合に比べて、ノイズが少なく高画質の合成画像を得ることができる。

制御部１００は、ＨＤＲ画像を、記録部１０６を通じて記録媒体に格納したり表示部１１１に表示したりする。

なお、Ｓ３０５では、背景画像と被写体画像のＨＤＲ合成ではなく、被写体画像から主被写体の領域を抽出し、抽出した領域を背景画像内の主被写体に置き換えるような画像合成を行ってもよい。このとき、背景画像と被写体画像はＤＧＯ機能による同時性が保証されているので、両画像の位置合わせは不要である。

本実施例によれば、ストロボ発光を伴う撮像素子への１回の露光で取得されたＨｉｇｈゲインの背景画像とＬｏｗゲインの被写体画像を合成することで、撮像時間を短縮しつつ、背景と主被写体の明るさが適正でノイズが少ない合成画像を得ることができる。

上述した夜景ポートレート撮像処理は、ストロボ光により照明される距離に主被写体が位置する場合に適用される。これに対して、主被写体がストロボ光により照明されない（ストロボ光が到達しない）距離に位置する場合の夜景ポートレート撮像処理について、以下に図３のフローチャートと図５を用いて説明する。図５は、この場合における背景画像中、被写体画像中および合成画像中の背景と主被写体の明るさを示している。

図３に示すＳ３０１およびＳ３０２からＳ３０３に進んだ制御部１００は、Ｓ３０２で算出した被写体距離からストロボ発光が主被写体に到達するか否かを判定する。到達しないと判定した場合は、制御部１００は、Ｓ３０３にて背景画像のゲインを背景画像中の背景が適正な明るさ（第３の目標値）となるＬｏｗゲイン（第３のゲイン）に設定する。Ｌｏｗゲインは、例えば、第１のゲインと同じＩＳＯ６４００相当のゲインである。一方、被写体画像のゲインを被写体画像中の主被写体が適正な明るさ（第４の目標値）となる、Ｌｏｗゲインよりも高いＨｉｇｈゲイン（第４のゲイン）に設定する。Ｈｉｇｈゲインは、例えばＩＳＯ１２８００相当のゲインである。

なお、この場合でも、背景画像における背景の適正な明るさと被写体画像における主被写体の適正な明るさは互いに同じであってもよいし、互いに異なってもよい。また、これらの適正な明るさは、制御部１００が自動で設定してもよいし、ユーザが手動で設定してもよい。

次にＳ３０４では、制御部１００は、Ｓ３０１とＳ３０３で設定した背景画像の露出条件と被写体画像の露出条件を撮像部１０２に設定し、背景および被写体を同時撮像するための撮像素子への１回の露光を行わせる。この際、制御部１００は、既にストロボ光が主被写体に到達しないと判定しているので、ストロボ制御部１０８を通じてストロボ１１０を発光させない。

撮像が終了すると、制御部１００は、画像処理部１０４からゲインが互いに異なる背景画像（第３の画像）と被写体画像（第４の画像）を画像合成部１０５に出力させる。このときの背景画像中と被写体画像中の背景および主被写体の明るさは、図５に示すようになる。

上述したように本実施例ではユーザがカメラを手で持った状態でも撮像できるように電荷蓄積時間を短く設定する。この短い撮像時間で得られる背景画像に対しては、背景の明るさが適正になるようにＬｏｗゲインを適用する。このようなＬｏｗゲインでは、主被写体の明るさは低く（露出アンダーに）なる。一方、被写体画像に対しては、背景画像と同じ電荷蓄積時間で背景画像よりも高いＨｉｇｈゲインを適用する。これにより、主被写体にストロボ光が照射されなくても主被写体の明るさは適正となる。ただし、背景の明るさは高く（露出オーバーに）なる。

次にＳ３０５では、制御部１００は、画像合成部１０５に背景画像と被写体画像のＨＤＲ合成を行わせる。これにより、背景領域にＬｏｗゲインの背景画像中にて適正な明るさの背景が写り、かつ被写体領域にＨｉｇｈゲインの被写体画像中にて適正な明るさの主被写体が写った、図５に示すように背景と主被写体がともに適正な明るさを有する合成画像が生成される。制御部１００は、ＨＤＲ画像を、記録部１０６を通じて記録媒体に格納したり表示部１１１に表示したりする。

以上の撮像処理により、ストロボ発光を伴わない撮像素子への１回の露光により取得されたＬｏｗゲインの背景画像とＨｉｇｈゲインの被写体画像を合成することで、撮像時間を短縮しつつ、背景と主被写体の明るさが適正な合成画像を得ることができる。

なお、前述したように、Ｓ３０５において被写体画像から主被写体の領域を抽出し、抽出した領域を背景画像内の主被写体の領域に置き換えるような画像合成を行ってもよい。

上記実施例では撮像処理装置がカメラに内蔵されている場合について説明したが、撮像処理装置をカメラとは別のコンピュータ（ＰＣ等）により構成し、該コンピュータに露出条件やストロボ発光量の設定、背景／被写体画像の生成および画像合成を行わせてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ 制御部
１０２ 撮像素子
１０５ 画像合成部
１０６ 記録部
１０７ 露出制御部
１０８ ストロボ制御部

Claims (14)

1. 撮像素子への１回の露光によって第１の被写体と該第１の被写体よりも暗い第２の被写体を撮像するための処理を行う撮像処理装置であって、
   前記撮像素子により生成された信号に第１のゲインをかけて第１の画像を生成し、前記信号に第２のゲインをかけて第２の画像を生成する画像生成手段と、
   前記第１のゲインと前記第２のゲインを設定するとともに、前記露光において前記第２の被写体に照明光を照射する照明手段の発光量を設定する設定手段とを有し、
   前記設定手段は、前記第１のゲインを前記第１の画像中の前記第１の被写体の明るさが第１の目標値になるように設定し、前記第２のゲインを前記第１のゲインより低く設定するとともに前記発光量を前記第２の画像中の前記第２の被写体の明るさが第２の目標値になるように設定することを特徴とする撮像処理装置。
2. 前記設定手段は、互いに同じ前記第１の目標値と前記第２の目標値に対して、前記第１および第２のゲインと前記発光量を設定することを特徴とする請求項１に記載の撮像処理装置。
3. 前記設定手段は、互いに異なる前記第１の目標値と前記第２の目標値に対して、前記第１および第２のゲインと前記発光量を設定することを特徴とする請求項１に記載の撮像処理装置。
4. 前記設定手段は、前記第２のゲインを設定可能な最低値に設定し、前記発光量を前記第２の画像中の前記第２の被写体の明るさが前記第２の目標値になるように設定することを特徴とする請求項１から３のいずれか一項に記載の撮像処理装置。
5. 前記設定手段は、前記発光量を設定可能な最大値に設定しても前記第２の画像中の前記第２の被写体の明るさが前記第２の目標値に到達しない場合は、前記第２のゲインを前記最低値から上げることを特徴とする請求項４に記載の撮像処理装置。
6. 前記第１の画像と前記第２の画像を合成して、前記第１の被写体の明るさが前記第１の目標値であり、かつ前記第２の被写体の明るさが前記第２の目標値である合成画像を生成する合成手段を有することを特徴とする請求項１から５のいずれか一項に記載の撮像処理装置。
7. 前記合成手段は、前記第１の画像と前記第２の画像のハイダイナミックレンジ合成を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記合成手段は、前記第２の画像から前記第２の被写体の領域を切り出し、切り出した前記領域を前記第１の画像中の前記第２の被写体の領域に合成することを特徴とする請求項６に記載の撮像処理装置。
9. 前記第２の被写体が前記照明光が到達しない距離に位置する場合は、
   前記画像生成手段は、前記信号に第３のゲインをかけて第３の画像を生成し、前記信号に第４のゲインをかけて第４の画像を生成し、
   前記設定手段は、前記第３のゲインを前記第３の画像中の前記第１の被写体の明るさが第３の目標値になるように設定し、前記第４のゲインを前記第３のゲインより高く、かつ前記第４の画像中の前記第２の被写体の明るさが第４の目標値になるように設定することを特徴とする請求項１から８のいずれか一項に記載の撮像処理装置。
10. 前記第３の画像と前記第４の画像を合成して、前記第１の被写体の明るさが前記第３の目標値であり、かつ前記第２の被写体の明るさが前記第４の目標値である合成画像を生成する合成手段を有することを特徴とする請求項９に記載の撮像処理装置。
11. 前記第２の被写体の距離を取得する距離取得手段を有し、
    該距離取得手段は、前記照明手段を発光させて得られる画像と前記照明手段を発光させずに得られた画像を用いて前記距離を取得することを特徴とする請求項９または１０に記載の撮像処理装置。
12. 前記撮像素子と、
    請求項１から１１のいずれか一項に記載の撮像処理装置とを有することを特徴とする撮像装置。
13. 撮像素子への１回の露光によって第１の被写体と該第１の被写体よりも暗い第２の被写体を撮像するための撮像処理方法であって、
    前記撮像素子により生成された信号に第１のゲインをかけて第１の画像を生成し、前記信号に第２のゲインをかけて第２の画像を生成するステップと、
    前記第１のゲインと前記第２のゲインを設定するとともに、前記露光において前記第２の被写体に照明光を照射する照明手段の発光量を設定するステップとを有し、
    前記第１のゲインを前記第１の画像中の前記第１の被写体の明るさが第１の目標値になるように設定し、前記第２のゲインを前記第１のゲインより低く設定するとともに前記発光量を前記第２の画像中の前記第２の被写体の明るさが第２の目標値になるように設定することを特徴とする撮像処理方法。
14. コンピュータに、請求項１３に記載の撮像処理方法に従う処理を実行させることを特徴とするプログラム。