JP2019176305A - 撮像装置およびその制御方法、並びにプログラム - Google Patents

Abstract

【課題】露出制御の精度低下を抑制する。【解決手段】撮像装置は、被写体を撮像して、露出の異なる複数の画像を取得する撮像手段と、前記撮像手段により取得した画像の輝度分布を検出する検出手段と、前記検出手段により検出された画像の輝度分布を補正する補正手段と、前記複数の画像から生成された所定の画像に所定の画像効果を付与する効果付与手段と、前記所定の画像効果に応じて前記輝度分布の補正が必要か否かを判定する判定手段と、を有する。【選択図】図１

Description

本発明は、露出が異なる複数の画像を取得する撮像装置およびその制御方法、並びにプログラムに関する。

近年、ＣＣＤやＣＭＯＳなどからなる撮像素子のダイナミックレンジを超えるダイナミックレンジを実現するために、ハイダイナミックレンジ（ＨＤＲ）合成と呼ばれる技術が提案されている。このＨＤＲ合成は、露出条件を変えて被写体を撮像することで複数の画像を取得し、各画像における白飛びが少ない部分と黒潰れが少ない部分を合成することでダイナミックレンジを拡大した画像を生成する手法である。特に、ＨＤＲ合成は日向と日陰、または屋外と屋内が混在するような明暗差の大きいシーンにおいて有効である。ここで、ＨＤＲ合成では異なる露出条件で被写体を撮像することで取得した複数枚の画像を合成するため、露出条件の決定の仕方がＨＤＲ合成画像の画質に影響する。特許文献１には、合成画像の輝度積算値と輝度ヒストグラムに基づいて長秒画像と短秒画像を取得するための露光補正制御を行うことが記載されている。

特開２００８−２２８０５８号公報

しかしながら、特許文献１のように合成画像の輝度積算値と輝度ヒストグラムに基づいて露出制御を行う場合、画像処理済みのデータとして露出と輝度の線形な相関関係が崩れたデータが露出制御に用いられてしまう。このため、適正な露出を決めることができず、露出制御の精度が低下してしまう可能性がある。

本発明は、上記課題に鑑みてなされ、その目的は、露出制御の精度低下を抑制する技術を実現することである。

上記課題を解決し、目的を達成するために、本発明は、撮像装置は、被写体を撮像して、露出の異なる複数の画像を取得する撮像手段と、前記撮像手段により取得した画像の輝度分布を検出する検出手段と、前記検出手段により検出された画像の輝度分布を補正する補正手段と、前記複数の画像から生成された所定の画像に所定の画像効果を付与する効果付与手段と、前記所定の画像効果に応じて前記輝度分布の補正が必要か否かを判定する判定手段と、を有する。

本発明によれば、露出制御の精度低下を抑制することができる。

実施形態１の装置構成を示すブロック図。 輝度分布の補正テーブル（ａ）、長秒画像のヒストグラム（ｂ）および短秒画像のヒストグラム（ｃ）を例示する図。 実施形態１の画像効果付与処理を示すフローチャート。 本実施形態の撮像画像の輝度値（ａ）、ガンマカーブ（ｂ）およびトーンカーブ（ｃ）の入力と出力の関係を例示する図。 本実施形態の露出の異なる画像例を示す図。 実施形態２の装置構成を示すブロック図。 実施形態２の分割された領域（ａ）および分割領域ごとの輝度分布補正係数（ｂ）を例示する図。 実施形態２の歪曲補正処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［実施形態１］以下、図１から図５を参照して、実施形態１について説明する。

以下では、本実施形態の撮像装置としてデジタルカメラに適用した例を説明するが、これらには限定されない。例えば、撮像装置として、カメラ機能を有する携帯電話やその一種であるスマートフォン、タブレット端末、ＰＣなどを用いてもよい。

＜装置構成＞まず、図１を参照して、本実施形態の撮像装置の構成および機能について説明する。

図１（ａ）は、本実施形態の撮像装置の全体構成を示すブロック図である。図１（ｂ）は、本実施形態の画像効果付与処理を実現する機能ブロックである。

本実施形態の撮像装置１は、撮像部２、メモリ制御部３、表示部４、ＲＡＭ５、ＲＯＭ６、シャッターボタン７、モード切替スイッチ８、および制御部９を有する。

撮像部２は、光学系１０１、撮像素子１０２、画像処理部１０３を含み、後述する制御部９によりカメラの露出を制御することができる。光学系１０１は、ズームレンズやフォーカスレンズ、絞り、ＮＤフィルタなどを有し、後述する制御部９により絞りなどの制御が可能である。撮像素子１０２は、被写体の光学像を撮像信号に変換するＣＣＤまたはＣＭＯＳなどからなり、撮像素子１０２から出力される撮像信号をデジタル化された画像データに変換するＡ／Ｄ変換器などを有する。また、撮像素子１０２は、電子シャッター機能を有し、後述する制御部９により電荷蓄積時間の制御が可能である。また、撮像部２は、電子シャッターの代わりにメカシャッターなどで蓄積時間を制御してもよい。

画像処理部１０３は、撮像素子１０２から出力される画像データに対し所定の画素補間、リサイズ処理および色変換処理を行う。また、画像処理部１０３は、撮像素子１０２で生成された画像データを用いて所定の演算処理を行い、得られた演算結果を制御部９に供給する。制御部９は、画像処理部１０３から供給された演算結果に基づいて露光制御および測距制御を行う。これにより、制御部９は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行うことができる。画像処理部１０３はさらに、撮像素子１０２で生成された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部１０３は、後述する制御部９による露出制御において撮像素子１０２から出力される画像データを増幅するためのゲインの設定が可能である。

撮像部２から出力される画像データは、メモリ制御部３を介してＲＡＭ５に書き込まれる。ＲＡＭ５は、撮像部２で生成された画像データと、表示部４に表示するための画像データとを格納するワークメモリである。ＲＡＭ５は、所定枚数の静止画と、所定時間の動画および音声とを格納するのに十分な記憶容量を有する。

ＲＡＭ５はさらに、画像表示用のメモリ（ビデオメモリ）として動作する。ＲＡＭ５に書き込まれた画像データはアナログ信号に変換されて表示部４に表示される。表示部４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどの表示デバイスを有する。表示部４が撮像部２で生成された画像データをリアルタイムに表示することにより、表示部４は電子ビューファインダとして動作する。これにより、表示部４は、ライブビュー画像を表示することができる。

ＲＯＭ６は、不揮発性メモリ（例：ＥＥＰＲＯＭ）である。ＲＯＭ６には、撮像装置１の各構成要素を制御するためのプログラムが記憶されている。ＲＯＭ６に記憶されているプログラムは、後述する撮像装置１の動作を制御するためのプログラムを含む。

制御部９は、ＲＯＭ６に記憶されたプログラムを実行することにより撮像装置１の各構成要素を制御するＣＰＵを備える。制御部９は、撮像部２における、絞り、蓄積時間、ゲインなどを設定して、カメラの露出を制御することができる。

シャッターボタン７は、撮影準備指示または撮影指示を行うための操作部材である。シャッターボタン７は、第１シャッタースイッチ７ａと第２シャッタースイッチ７ｂとを含む。第１シャッタースイッチ７ａは、シャッターボタン７が半押し状態になった場合にオンとなり、第１信号ＳＷ１（撮影準備指示）を制御部９に出力する。制御部９は、第１シャッタースイッチ７ａからの第１信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理などを行う。

第２シャッタースイッチ７ｂは、シャッターボタン７が全押し状態になった場合にオンとなり、第２信号ＳＷ２（撮影指示）を制御部９に出力する。制御部９は、第２シャッタースイッチ７ｂからの第２信号ＳＷ２により、撮像部２による画像の撮像と、撮像部２で生成された撮像画像に相当する画像データの生成と、画像データの記録媒体への記録とを行う。

モード切替スイッチ８は、撮像装置１の動作モードを、静止画撮影モード、動画記録モードまたは再生モードに切り替える操作部材である。

次に、図１（ｂ）を参照して、本実施形態の画像効果付与処理を実現する機能ブロックについて説明する。

制御部９は、本実施形態の画像効果付与処理を実現する機能ブロックとして、図１（ｂ）に示す輝度分布検出部１０５、輝度分布補正部１０６、輝度範囲決定部１０７、露出量決定部１０８、露出制御部１０９、画像合成部１１０、画像効果付与部１１１を有する。

なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されてもよい。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されてもよい。また、各機能ブロックの機能は、制御部９のＣＰＵがＲＡＭ５に展開したコンピュータプログラムにより実行されてもよい。

輝度分布検出部１０５は、画像処理部１０３で処理された画像データに対して、画像データを構成する画素単位の輝度を検出し、輝度ごとの画素数の分布を検出する。なお、輝度は、画像処理部１０３から出力される画像データのビット深度によって変わるが、例えば、８ビットで出力された場合、輝度は０〜２５５の２５６段階に区分けされる。また、輝度分布検出部１０５は、非線形のゲイン処理であるガンマ処理が実行される前の輝度分布とガンマ処理が実行された後の輝度分布の両方を検出できる。

輝度分布補正部１０６は、輝度分布検出部１０５で検出された輝度分布を輝度ごとに補正する。輝度分布補正部１０６は、例えば、図２（ａ）に例示する補正テーブルを用いて補正を行う。図２（ａ）において、補正テーブルには左側に輝度値、右側にそれぞれの輝度値ごとに検出された度数を乗ずるための倍率が設定されている。輝度分布補正部１０６は、図２（ａ）の補正テーブルに従って、輝度分布検出部１０５により検出された輝度分布を輝度ごとに倍率を度数に乗ずる。また、倍数によっては、頻度が大きくなる可能性もあるため、頻度に所定の定数を除することで、輝度分布を正規化してもよい。輝度分部補正は、補正テーブルを用いたものに限らず、関数によって補正する方法でもより。

輝度範囲決定部１０７は、輝度分布補正部１０６で補正された輝度分布から、累積度数の画面に占める割合に基づいて輝度範囲を算出する。図２（ｂ）は長秒画像のヒストグラムを例示している。図２（ｂ）における、グラフ左側の累積度数割合が１０％という破線は、輝度０から累積輝度分布を測定した結果、画面全体に占める輝度値が所定の第１の輝度値以下（例えば、１０％以下）の画素の割合である。また、グラフ右側の累積度数割合が３０％という破線は、輝度０から累積輝度分布を測定した結果、画面全体に占める輝度値が所定の第２の輝度値以下（例えば、３０％以下）の画素の割合である。ここでは、説明の容易化のため１０％から３０％の範囲を用いている。図２（ｂ）の累積度数割合の左側と右側は、ユーザ操作などによって、０から１００％の範囲の中で設定される。低輝度側は所定の第１の閾値以上（例えば、５０％以上）、高輝度側は所定の第２の閾値以下（例えば、８０％以下）を用いることが好ましい。

輝度範囲決定部１０７は、輝度分布補正部１０６で補正された輝度分布から所望の累積度数割合に最も近い最小輝度値と最大輝度値からなる輝度範囲を算出する。その他、輝度分布が暗い側と明るい側に２つ分布の山がある場合、その２つの山の間の輝度範囲に設定するなどの方法も考えられる。ここでは、輝度範囲算出方法を２つ例示したが、どのような手法を用いても構わない。

露出量決定部１０８は、複数の画像を取得して輝度分布を検出する際に、輝度範囲算出を行った画像とは異なる画像について、算出された輝度範囲を用いて露出量を決定する。ここでは、ＨＤＲ合成を行う例を説明する。輝度範囲算出までの処理は長秒画像について行い、算出された輝度範囲に基づいて短秒画像の露出量を決定する。

短秒画像について輝度分布補正を行うか否かはどちらでもよいが、本実施形態では、輝度分布補正は行わない。図２（ｃ）は短秒画像のヒストグラムを例示している。輝度範囲決定部１０７で算出された輝度範囲の幅を用いて、短秒画像の輝度分布度数を輝度範囲の幅の分だけ合計して、０からサーチを行い、短秒画像における最頻度領域を算出し、最頻度領域が、算出された輝度範囲に入るように露出量を決定していく。つまり、最頻度領域に対して輝度範囲が右側にあれば、露出を明るくし、最頻度領域に対して輝度範囲が左側にあれば、露出を暗くする。輝度分布補正前の露出量は、露出は線形に対応しているため、算出された輝度範囲に入るように露出量は一意に算出することができる。また、輝度分布補正を行った場合は、フィードバック制御を用いて一定量ずつ輝度範囲に近づけて、最終的な露出量算出のために、時間をかけてサーチするようにしてもよい。

露出制御部１０９は、撮像部２における、絞り、蓄積時間、ゲインなどを設定して、カメラの露出を制御する。

画像合成部１１０は、画像処理部１０３から出力される複数の画像を合成する処理を行う。本実施形態では、画像合成部１１０は、短秒画像と長秒画像のそれぞれの輝度分布に応じて各画像の合成比率を決定し、その合成比率に応じて各画像を合成したＨＤＲ合成画像を生成する。

画像効果付与部１１１は、画像合成部１１０で合成されたＨＤＲ合成画像に対して所定の効果を付与する。所定の効果は、例えば、トーンカーブを用いた逆光補正やコントラスト補正、彩度補正、ノイズリダクション、エッジ強調などの画像の輝度に関する処理である。

表示部４は、画像効果付与部１１１によって効果が付与された画像を出力する。

＜画像効果付与処理＞次に、図３のフローチャートを参照して、本実施形態の撮像装置による画像生成処理について説明を行う。

なお、図３の処理は、制御部９がＲＯＭ６から読み出したプログラムをＲＡＭ５に展開して実行することにより実現される。後述する図８でも同様である。

Ｓ３０１では、制御部９は、撮像部２を制御して、撮像素子１０２により被写体を撮像して長秒画像信号を取得する。

Ｓ３０２では、制御部９は、画像処理部１０３を制御して、Ｓ３０１で取得した長秒画像に対して、ホワイトバランス処理やガンマ処理などの各種の画像処理を適用する。

Ｓ３０３では、輝度分布検出部１０５は、画像処理部１０３で画像処理が施された画像データに対して輝度分布を検出する。画像処理部１０３は、ガンマ処理が施された画像およびガンマ処理が施されていない画像の２種類の画像を輝度分布検出部１０５に出力することができる。

Ｓ３０４では、制御部９は、Ｓ３０３で輝度分布が検出された画像に対して輝度分布補正が必要か否かを判定する。輝度分布補正の有無は、光学系１０１のレンズの種類や画像効果付与部１１１により付与される画像効果の種類に基づいて判定される。本実施形態では、Ｓ３０３で輝度分布を取得しているので、レンズが輝度に影響する構成であった場合や、画像効果が逆光補正やコントラスト補正などの輝度に関する処理であった場合、輝度分布補正が必要であると判定する。Ｓ３０４で輝度分布補正が必要であると判定された場合は、Ｓ３０５に進み、必要ではないと判定された場合はＳ３０６に進む。

Ｓ３０５では、輝度分布補正部１０６は、図２（ａ）に示した補正テーブルを算出し、Ｓ３０３で取得した輝度分布を補正する。ここで、図４を用いて補正テーブルの算出方法を説明する。図４は、画像の画素ごとの輝度値の入力と出力の関係を例示している。図４（ａ）は、撮像素子から出力された輝度値は入力と出力の関係が線形の場合を例示している。図４（ｂ）は、画像に付与するガンマカーブを例示しており、一般的にはディスプレイの特性に応じてガンマ値０．４５などが採用される。また、本実施形態では、画像効果付与部１１１において逆光補正を行っていることを想定しているため、図４（ｃ）に、逆光補正用のトーンカーブを例示している。逆光補正用のトーンカーブは、通常日の当たっていない被写体がシルエット的になって暗く沈んでしまうため、画面の暗い部分においてのみゲインを付加することで、日の当たっていない被写体を見えるようにする。

このように輝度分布を補正して最終的に出力される画像の輝度値は、（ａ）×（ｂ）×（ｃ）で表される。この場合の補正テーブルは、（ｂ）×（ｃ）で出力されるゲインテーブルになる。こうすることで、最終的に出力される画像に対して（ａ）の空間で精度が高くかつ効率的に露出量を算出することができる。

一方で、Ｓ３０４において輝度分布補正が不要と判定された場合は、制御部９は、検出した輝度分布に対して、何ら補正を実施せずに、Ｓ３０６で目標輝度範囲を設定する。

Ｓ３０６では、輝度範囲決定部１０７は、目標となる輝度範囲を算出する。目標輝度範囲は、輝度範囲決定部１０７に目標となる累積度数割合の最小値と最大値を入力することで算出される。本実施形態では、ユーザ設定によって事前に入力されている値である。また、他の方法として、画面上の分割輝度情報などを利用して、明るく白飛びした部分を画面の中で低輝度側みて連続的に推移するようにするなど、適応的に累積度数割合を決定することも可能である。

Ｓ３０７では、制御部９は、Ｓ３０１と同様に撮像部２において短秒画像を取得する。

Ｓ３０８では、制御部９は、Ｓ３０２と同様に画像処理部１０３により短秒画像に対して画像処理を施す。

Ｓ３０９では、輝度分布検出部１０５は短秒画像の輝度分布を算出する。Ｓ３０９で算出される輝度分布は、Ｓ３０３と同様に、ガンマ処理前の画像による輝度分布、またはガンマ処理後の画像による輝度分布のどちらも取得することができる。

Ｓ３１０では、Ｓ３０６で算出された目標輝度範囲に基づいて露出量決定部１０８が露出量を決定する。ここでは、輝度と露出の間に非線形ゲインが入らない場合、２倍の輝度にするためには、露出量を１段明るくすればよいので、非常に精度が高くかつ簡便に露出量を決定できる。そして、補正した輝度分布から算出した目標輝度範囲に関して、補正ゲインの逆数を乗ずることで輝度と露出が線形な相関を持つ形式に戻すことができる。このようにして算出された目標輝度範囲が、短秒画像の輝度分布の最頻度領域と一致するように露出量を算出する。他の露出量決定方法として、例えば、露出を少しずつ動かしながら、最終的な露出量を決定するフィードバック制御を行う方法がある。この場合は、露出が明るい側か暗い側かどちらに動くかが重要であり、輝度と露出を線形な相関に戻す必要がないため、そのまま目標輝度範囲を用いて露出量を少しずつ動かすように算出すればよい。

Ｓ３１１では、Ｓ３１０で決定された露出量に基づいて、露出制御部１０９が撮像部２の絞りや蓄積時間、ゲインなどの露出制御パラメータを算出し、カメラの露出を制御する。

Ｓ３１２では、画像合成部１１０は、Ｓ３０１で取得した長秒画像とＳ３０７で取得した短秒画像を合成する。本実施形態では、それぞれの画像の輝度に従って２枚の画像の合成比率を決めて合成を行うＨＤＲ合成を想定している。なお、ＨＤＲ合成は、どのような手法で行ってもよい。例えば、合成比率決定において、動いている被写体を考慮する、被写体に優先度をつけるなど、単に輝度だけでなく他の要因も合成比率決定に用いることができる。

Ｓ３１３では、Ｓ３１２で合成した画像に対して、画像効果付与部１１１がトーンカーブを用いた逆光補正を行う。本実施形態では逆光補正を行ったが、前述したように画像に対して何らかの効果を及ぼすものであれば画像効果はどのようなものであっても構わない。

ここでは、長秒と短秒の２枚の画像を使用する方法を説明したが、本実施形態は露出の異なる複数の画像に対応しているため、２枚である必要はない。

図５は初期の蓄積時間が１／４０００秒、１／１０００秒、１／２５０秒、１／６０秒で撮影した４枚の露出の異なる画像を撮影した例を示している。露出の異なる画像の中で、基準となる画像を選択する。基準画像は、本実施形態のように長秒の画像に固定してもよいし、複数の画像の場合は、動的に基準画像を決定してもよい。動的に基準画像を選択する場合には、例えば画素の飽和部、黒つぶれ部が最も小さくなるような画素を選択するようにすればよい。ここでは、１／２５０秒の画像を基準画像としている。基準画像を決定した後に、それよりも短秒側の複数の画像に対して、それぞれの輝度目標値を、本実施形態の方法を用いて算出する。そして、算出した輝度目標値から、短秒側の画像、すなわち１／１０００秒、１／４０００秒の画像の露出を調整する。また、露出調整後は、短秒側の画像はそれぞれ新たな蓄積時間を持つ。

このようにすることで、本実施形態で説明した２枚の合成に限らず、任意の枚数での合成においても、精度の高い露出が得られる。

本実施形態によれば、合成画像に付与する画像効果に応じて合成前のそれぞれの画像の輝度分布を補正し、目標輝度範囲を算出して、相対的な暗い側の露出補正を行う。これにより、ＨＤＲ合成を行う際に、露出が正しく認識性の高い画像が得られるとともに、露出制御が線形空間において可能なため、簡便で精度の高い露出を設定することが可能となる。

［実施形態２］次に、図６から図８を参照して、実施形態２について説明する。

まず、図６を参照して、実施形態２の撮像装置としてのデジタルカメラの構成および機能を説明する。

なお、図６において、図１（ｂ）と同様の構成および機能を有するブロックには、同一の符号を付して説明を省略し、異なる点を中心に説明を行う。

図６は、実施形態２の撮像装置の構成の一例を示すブロック図である。

撮像部２は魚眼レンズ６０１を含む。魚眼レンズ６０１は、１８０°の画角で撮影できる代わりに、撮像素子１０２に結像する画像が円形になってしまう。そのため、監視カメラなどの用途であれば、大きく円形に歪曲している画像を補正して、歪みの少ない画像を出力することが多い。

歪曲補正部６０２は、魚眼レンズ６０１による画像の歪みがなくなるように補正（画像効果の付与）を行う。一般的に魚眼レンズによる歪曲は、半円ずつ補正を行っている。例えば上半分の画像の場合は、円弧の部分が画像の上長辺になるように、弦の部分のうち、中心より左側が左短辺、中心より右側が右短辺、中心部分を大きく引き伸ばして下長辺になるように補正を行う。そのため、円形画像の中心部分の認識性が著しく悪くなるため、中心部分をくりぬいて歪曲補正を行うことも多い。

領域分割部６０３は、輝度分布を行うために領域ごとに分割を行う。図７（ａ）に領域分割の例を示す。図７（ａ）では、同心円状に３つの領域に魚眼レンズによって結像された画像を分割している。Ｒ１は、一番外周に近い側の領域で、歪曲補正部６０２が補正を行うと、相対的に画像が縮小する領域になる。Ｒ２は、中心と外周の中央部の領域で、歪曲補正部６０２が補正を行ったときに、画像の縮尺があまり変わらない部分を示している。Ｒ３は、中心を含む領域で、歪曲補正部６０２が補正を行うと、画像が大きく拡大する領域である。分割はさらに細かく分割することも可能であり、同心円状でない形状で分割してもよい。

補正係数設定部６０４は、分割された領域ごとに輝度分布の度数全体の量を調整するための補正係数を設定する。図７（ｂ）に示すように、各領域Ｒ１、Ｒ２、Ｒ３の補正係数を設定している。つまり、歪曲補正後の画像でできるだけ評価をしたいため、Ｒ１はデワープ後画像が縮小するので、輝度分布の度数を小さくするために、０より小さい値を乗じる。Ｒ２はデワープ後画像が拡大するので、輝度分布の同数を大きくするために、０より大きい値を乗じる。

分割輝度分布検出部６０５は、分割された領域ごとの輝度分布を検出する。領域ごとに輝度分布を検出している以外は、輝度分布検出部１０５と同様の機能を有する。

分割輝度分布補正部６０６は、それぞれの領域の輝度分布を補正係数設定部６０４によって設定された係数を、それぞれの領域のすべての輝度分布の度数に乗じる。

分割輝度分布合成部６０７は、分割輝度分布補正部６０６から出力されたそれぞれの領域の輝度分布を輝度ごとに合成している。このようにすることで、画像の全ての領域について補正された輝度分布を算出することができる。

次に、図８のフローチャートを参照して、本実施形態の歪曲補正処理について説明する。

なお、図８において、図３と同様の処理については同一のステップ番号を付して詳細な説明は省略する。

Ｓ３０１では撮像部２において長秒画像を取得し、Ｓ３０２では画像処理部１０３により長秒画像に対して画像処理を実施する。

Ｓ８０１では、制御部９は、輝度分布補正が必要か否かを判定する。補正が必要か否かは、カメラの画像を見るユーザによって歪曲補正を行うと設定されているか否かに応じて判定される。そして、歪曲補正を行わない場合は、Ｓ３０３で画像全体の輝度分布を検出し、Ｓ３０６で目標輝度範囲算出を行い、それ以降は図３のＳ３０８からＳ３１２と同様の処理を行う。

一方、歪曲補正を行う場合は、Ｓ８０２に進み、領域分割部６０３が、画像を事前に設定された方法で複数の領域に分割する。複数領域に分割する場合は、本実施形態のように魚眼レンズの歪曲補正の特徴を使う場合は、同心円状に分割する、または同心円状かつ扇形に分割すればよい。また、空や太陽が画角内に存在するなどして、その部分の影響を下げたい場合は、任意の形に分割するような方法も考えられる。本実施形態では、同心円状に３つの領域に分割した場合を例示している。

Ｓ８０３では、分割輝度分布検出部６０５は、Ｓ８０２で分割した領域ごとに輝度分布の検出を行う。

Ｓ８０４では、補正係数設定部６０４により設定された係数に基づいて、分割輝度分布補正部６０６が、Ｓ８０３で検出された分割領域ごとの輝度分布におけるそれぞれの輝度に係数を乗じて分割領域ごとの輝度分布を補正する。

Ｓ８０５では、分割輝度分布合成部６０７は、Ｓ８０４で補正された領域ごとの輝度分布を合成して画像全体の輝度分布を算出する。Ｓ８０５で算出された輝度分布は輝度範囲決定部１０７へ出力され、Ｓ３０６で目標輝度範囲算出を行い、それ以降は図３のＳ３０８からＳ３１２と同様の処理を行う。

Ｓ８０６では、歪曲補正部６０２が画像の歪曲補正（画像効果付与）を行って、表示部４へ出力する。

本実施形態においても、画像の合成は２枚の画像に限るわけではなく、任意の複数数の画像合成においても、同様の手法で精度の高い露出が得られる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…撮像装置、２…撮像部、９…制御部、１０３…画像処理部、１０５…輝度分布検出部、１０６…輝度分布補正部、１０７…輝度範囲決定部、１０８…露出量決定部、１０９…露出制御部、１１０…画像合成部、１１１…画像効果付与部

Claims (15)

1. 被写体を撮像して、露出の異なる複数の画像を取得する撮像手段と、
   前記撮像手段により取得した画像の輝度分布を検出する検出手段と、
   前記検出手段により検出された画像の輝度分布を補正する補正手段と、
   前記複数の画像から生成された所定の画像に所定の画像効果を付与する効果付与手段と、
   前記所定の画像効果に応じて前記輝度分布の補正が必要か否かを判定する判定手段と、を有することを特徴とする撮像装置。
2. 前記判定手段は、前記効果付与手段により前記所定の画像に前記所定の画像効果が輝度に関する処理であった場合に、前記輝度分布の補正が必要であると判定することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記撮像手段が前記被写体を撮像する際の光学系が輝度に影響する構成であった場合に、前記輝度分布の補正が必要であると判定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記検出手段は、画像の全体または所定の領域の画素において、輝度値ごとの頻度を算出し、
   前記補正手段は、前記輝度値ごとに倍率を設定し、当該倍率を前記頻度に乗ずることで輝度分布を補正することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記補正手段により補正された輝度分布に基づいて目標輝度範囲を決定する輝度範囲決定手段と、
   前記目標輝度範囲から露出量を決定する露出量決定手段と、
   前記撮像装置の露出を制御する露出制御手段と、
   露出の異なる第１の画像と第２の画像を合成する画像合成手段と、をさらに有し、
   前記効果付与手段は、前記第１の画像と前記第２の画像を合成した前記所定の画像に前記所定の画像効果を付与することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記第１の画像は長秒画像であり、前記第２の画像は短秒画像であり、
   前記判定手段は、前記長秒画像について前記輝度分布の補正が必要か否かを判定し、
   前記露出量決定手段は、前記長秒画像について補正された輝度分布に基づいて決定された目標輝度範囲に応じて前記短秒画像の露出量を決定することを特徴とする請求項５に記載の撮像装置。
7. 前記輝度範囲決定手段は、前記補正手段により補正された輝度分布から累積度数割合を算出し、
   前記累積度数割合から、画像に占める所定の輝度値以下の画素の割合が、第１の閾値以上であって、当該第１の閾値よりも大きな第２の閾値以下となる領域を目標輝度範囲として算出することを特徴とする請求項５または６に記載の撮像装置。
8. 前記第１の閾値は５０％であり、前記第２の閾値は８０％であることを特徴とする請求項７に記載の撮像装置。
9. 前記露出量決定手段は、前記補正手段により補正された輝度分布から、複数の輝度の度数を合計し、合計した度数が最大になる最頻度領域を算出し、
   前記目標輝度範囲と前記最頻度領域が一致するように露出量を決定することを特徴する請求項５から８のいずれか１項に記載の撮像装置。
10. 前記画像合成手段は、前記第１の画像と前記第２の画像の輝度に応じて決定される所定の合成比率に応じて各画像を合成することを特徴とする請求項５から９のいずれか１項に記載の撮像装置。
11. 前記所定の画像効果は、輝度に応じて非線形のゲインを画像に対して付与するトーンカーブを補正する処理であることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 魚眼レンズを介して撮像された画像を同心円状に複数の領域に分割する領域分割手段と、
    分割された分割領域ごとに輝度分布を補正するための補正係数を設定する設定手段と、をさらに有し、
    前記検出手段は、分割された領域ごとの輝度分布を検出し、
    前記補正手段は、分割された領域ごとの輝度分布に対して前記補正係数を適用した輝度分布を算出し、
    前記輝度範囲決定手段は、分割された領域ごとに補正された輝度分布を合成した輝度分布に基づいて目標輝度範囲を決定することを特徴とする請求項５から１０のいずれか１項に記載の撮像装置。
13. 前記所定の画像効果は、前記魚眼レンズを介して撮像された画像の歪曲補正であることを特徴とする請求項１２に記載の撮像装置。
14. 被写体を撮像して、露出の異なる複数の画像を取得する撮像装置の制御方法であって、
    撮像手段により取得した画像の輝度分布を検出する検出ステップと、
    前記検出された画像の輝度分布を補正する補正ステップと、
    前記複数の画像から生成された所定の画像に所定の画像効果を付与する効果付与ステップと、
    前記所定の画像効果に応じて前記輝度分布の補正が必要か否かを判定する判定ステップと、を有することを特徴とする制御方法。
15. 請求項１４に記載された制御方法を、撮像装置のコンピュータに実行させるためのプログラム。