JP2013074334A - 画像処理装置及びその方法、撮像装置 - Google Patents

Abstract

【課題】露光量の異なる複数枚の撮像画像を合成し、ダイナミックレンジの広い画像を生成する場合のシステム負荷の増大を抑える。
【解決手段】露光量の異なる２つの画像を合成してダイナミックレンジを拡張した画像を生成する撮像装置は、２種類の異なる露光量で撮影した画像を連続して出力する撮像部を有する。撮像装置のシステム制御部は、撮像部から連続して出力された合成対象の２つのフレームのうちの１フレーム目の画像をメモリに保持し、撮像部から出力される２フレーム目の画像とメモリに保持されている画像とを、ダイナミックレンジを拡張するように、合成する。また、システム制御部は、メモリに保持されている画像と該保持された画像の低解像度化された画像とに基づいて階調圧縮特性を生成し、生成された階調圧縮特性を用いて合成部により合成された画像の階調を圧縮する。
【選択図】図１

Description

本発明は、露光量の異なる複数枚の撮像画像を合成して、ダイナミックレンジの広い画像を生成する画像処理装置及びその方法、撮像装置に関する。

一般に、露光量の異なる複数枚の撮像画像を合成し、ダイナミックレンジを拡大した後、出力機器のダイナミックレンジに合わせて、階調圧縮を行う画像処理装置が提案されている（特許文献１）。また、入力画像を複数の解像度の画像に変換し、それらを用いて、入力画像の着目画素周囲の小領域毎に、階調圧縮特性を最適化して、入力画像のダイナミックレンジを圧縮する画像処理が提案されている（特許文献２）。

特開平０７−１３１７０４号公報 特許第０３７３１５７７号公報

しかし、特許文献１に記載された技術では、露光量の異なる複数枚の画像を合成したダイナミックレンジの広い画像を、図９のように、画面内の輝度に応じた一様な特性で、出力機器のダイナミックレンジに収まるよう階調圧縮を行う。そのため、階調再現性の損なわれる輝度領域が発生するという課題がある。

一方、特許文献２に記載された技術では、階調圧縮特性を生成するために、多重解像度処理を必要とする。すなわち、入力画像から生成した複数種類の解像度の画像を同じタイミングで参照しなければならない。そのため、低解像度画像を生成する間、高解像度画像をフレームメモリにバッファリングしてタイミングを調整する必要がある。フレームメモリを使った画像のバッファリングは、特に、動画撮影時や、画像サイズ、ビット幅が大きい場合に撮像システムへの負荷が高くなるという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、露光量の異なる複数枚の撮像画像を合成し、ダイナミックレンジの広い画像を生成する場合のシステム負荷の増大を抑えることにある。

上記の目的を達成するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、
露光量の異なる２つの画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、
２種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
前記撮像手段から連続して出力された合成対象の２つのフレームのうちの１フレーム目の画像をフレームメモリに保持する保持手段と、
前記撮像手段から出力される前記２つのフレームのうちの２フレーム目の画像と前記フレームメモリに保持されている画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記１フレーム目の画像が前記フレームメモリに保持されていく間に当該画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、を備える。

本発明によれば、露光量の異なる複数枚の撮像画像を合成し、ダイナミックレンジの広い画像を生成する場合のシステム負荷の増大を抑えることができる。

第１及び第２実施形態の撮像装置の構成を示すブロック図。 階調圧縮特性生成部の構成を示すブロック図。 第１実施形態による画像の合成処理を示すタイミングチャート。 撮影中の画像の輝度分布の一例を示す模式図。 低露光画像または高露光画像で階調圧縮特性を生成する際の特徴を説明する図。 第２実施形態による画像の合成処理を示すタイミングチャート。 第３実施形態による撮像装置の構成を示すブロック図。 第３実施形態による画像の合成処理を示すタイミングチャート。 階調圧縮特性の一例を示す図。 撮像素子の画素配置を示す模式図。

以下、添付の図面を参照しながら、本発明の好適な実施形態を説明する。

［第１実施形態］
第１実施形態では、露光量の異なる２つのフレームの画像を合成して、ダイナミックレンジの拡大された１フレーム分の画像を出力する画像処理装置を有する撮像装置について説明する。

図１は、第１実施形態の撮像装置１００の構成を示すブロック図である。図１において、光学系１は撮像レンズ、絞り等の光学素子を含む。撮像素子２は光学系１により撮像面上に結像された光学像を電気信号に変換して画像信号を出力する。本実施意形態の撮像素子２は複数種類の露光量を切り替えて撮像を行うことが可能であり、露光量の切り替えは、例えば光電変換素子における電荷蓄積時間の切り替えにより実現される。フレームメモリ３は、撮像素子２から出力される画像の１フレーム分をバッファリングするためのメモリである。合成部４は、フレームメモリ３から読み出した画像と、撮像素子２から出力される現フレームの画像とを所定の演算によって合成し、ダイナミックレンジの広い画像を生成する。階調圧縮特性生成部５は、合成部４により合成された画像に対する階調圧縮特性を生成する。階調圧縮部６は、合成部４の出力画像が、所定のダイナミックレンジに収まるよう、階調圧縮特性生成部５から出力された階調圧縮特性を用いて階調圧縮を行う。画像解析部７は、撮像素子２から出力される２種類の露光量の画像のうちいずれの露光量の画像を階調圧縮特性の生成に使用すべきかを判定するために、撮像素子２から出力される画像を解析する。システム制御部８は、撮像装置１００の全体の動作を制御する。

次に、第１実施形態による撮像装置１００の動作の概要について説明する。撮像装置１００において撮影が開始されると、システム制御部８は、フレーム毎に、指示された露光量の画像が撮像素子２から出力されるよう、光学系１、撮像素子２を制御する。光学系１を介して撮像素子２から出力された画像は、フレームメモリ３、合成部４、階調圧縮特性生成部５および、画像解析部７に入力される。フレームメモリ３では、撮像素子２からの出力画像の１フレーム分を保持する。

合成部４は、フレームメモリ３に保持された画像と撮像素子２から出力される画像とを、ダイナミックレンジを拡張するように合成する。この結果、フレームメモリ３から読み出された１フレーム前の撮像素子２の出力画像と、撮像素子２から現在出力されている撮像素子２の現フレームの出力画像とが合成される。フレームメモリ３から読み出された１フレーム前の撮像素子２の出力画像と、撮像素子２からの現フレームの出力画像は、それぞれ露光量が異なる。そのため、合成前に露光量の差に応じたゲイン処理を実施し、現フレームおよび１フレーム前の撮像素子２の出力画像のレベル調整を行う。

階調圧縮特性生成部５は、フレームメモリ３から読み出された１フレーム前の出力画像と、撮像素子２からの現フレームの出力画像とを用いて、合成部４の出力画像のための階調圧縮特性を生成する。階調圧縮部６は、階調圧縮特性生成部５から出力される階調圧縮特性を用いることにより、撮影中の画像が好ましい階調再現となり、かつ出力映像フォーマットのダイナミックレンジに収まるよう、合成部４から出力される画像の階調圧縮を行う。

次に、階調圧縮特性生成部５の構成について、図２を参照して説明する。階調圧縮特性生成部５では、着目画素を含む小領域の輝度レベルを参照することにより、画素毎に階調圧縮特性を決定する。

図２において、入力端子５８にはフレームメモリ３の出力画像が、入力端子５９には撮像素子２の出力画像が入力される。輝度生成部５１、輝度生成部５２は、それぞれ、入力端子５８、入力端子５９から入力された画像から輝度信号を生成する。フレームメモリ３の出力画像と撮像素子２の出力画像は、いずれも、ＲＡＷデータであり、ＲＧＢベイヤー等、画素毎に色フィルタによるレベル差がある。したがって、輝度生成部５１、５２では、補間処理、マトリクス演算を行い、色フィルタによるレベル差を解消した輝度信号を生成する。

画像縮小部５３は、輝度生成部５２から出力される１フレーム分の輝度画像を、×１／６４、×１／１２８等の高い縮小率で縮小し、結果を第２のメモリとしてのメモリ５４に格納する。なお、縮小後の画像を格納するメモリ５４の容量は、入力画像１フレーム分をバッファリングするフレームメモリ３と比較して十分に小さく、メモリ５４を用いても撮像システムへの負荷は問題にならない。また、フレームメモリ３とメモリ５４は別個のメモリであってもよいし、同じメモリの異なるメモリ領域であってもよい。画像拡大部５５は、メモリ５４に格納された縮小画像を、輝度生成部５１から出力される輝度画像と等しい画像サイズになるよう、線形補間等を用いて拡大する。

局所輝度レベル推定部５６は、輝度生成部５１から出力される高解像度の輝度画像と、画像拡大部５５から出力される低解像度の輝度画像を用いた演算により、着目画素を含む小領域の輝度レベルを推定する。このような推定演算の一例としては、
・画素毎に、解像度の異なる複数枚の画像の出力を比較し、
・高解像度画像と低解像度画像の差分が小さい場合には、低解像度画像の出力を着目画素における輝度レベルとして出力し、
・高解像度画像と低解像度画像の差分が大きい場合には、低解像度画像と高解像度画像を加重加算して、着目画素における輝度レベルとして出力する、という方法等が挙げられる。このような推定演算を用いることで、ノイズや被写体のエッジ等の影響は排除しつつ、図４（ａ）、図４（ｂ）のように様々な輝度レベルの小領域が混在する画像において、各領域の分離精度を高められる。なお、本実施形態では、２種類の解像度の画像を用いて局所輝度レベルの推定を行ったが、これに限られるものではなく、３種類以上の異なる解像度の画像を用いてもよい。

階調圧縮特性決定部５７は、局所輝度レベル推定部５６の出力を参照して、画素ごとに、適切な階調圧縮特性を決定する。例えば、
・着目画素を含む小領域の輝度レベルが適正露光よりも暗い場合には、着目画素の輝度レベルをゲインアップするような階調圧縮特性を生成し、
・着目画素を含む小領域の輝度レベルが、適正露光よりも明るい場合には、着目画素の輝度レベルをゲインダウンするような階調圧縮特性を生成する。

ところで、局所輝度レベル推定部５６では、低解像度画像と高解像度画像を同じタイミングで参照する必要がある。したがって、画像縮小部５３で、１フレーム分の画像を縮小している間、１フレーム分の高解像度画像をバッファリングして、遅延する必要がある。このような画像のバッファリングは、特に、画像サイズが大きい場合や、撮影画像のフレームレートが高い場合に、撮像装置のシステム負荷を増大させる。そこで、本実施形態の撮像装置１００では、合成部４で用いるフレームメモリ３を、階調圧縮特性生成部５での遅延調整用バッファとして共用することで、システム負荷が増大するのを防いでいる。

一方、合成部４で用いるフレームメモリ３にバッファリングできるのは１フレーム分の画像である。本実施形態では、低露光画像と高露光画像を合成する場合、低露光画像と高露光画像の２つのフレームの画像のうち、最初に撮影された方、すなわち１フレーム目の画像がフレームメモリ３にバッファリングされる。そして、その次に撮像素子２から出力される２フレーム目の画像と、フレームメモリ３にバッファリングされた１フレーム目の画像が合成される。上述したように、２つのフレームの画像は、光学系１、撮像素子２により異なる露光量が適用されて撮影された画像である。したがって、合成用にバッファリングされている画像を、階調圧縮特性生成部５で共用する場合、合成前の１フレーム目の画像、すなわち合成前の低露光画像または高露光画像のいずれかで階調圧縮特性が生成することになる。

図５に、低露光画像、高露光画像のそれぞれを用いて階調圧縮特性を生成した場合のメリット、デメリットを示す。低露光画像は、暗部のＳ／Ｎが高露光画像よりも低いが、明部でも飽和していないため、低露光画像を用いて階調圧縮特性を生成すると暗部から明部まで全ての輝度領域にわたる階調圧縮特性を生成できる。一方、高露光画像は、明部の飽和領域では階調圧縮特性を生成できないが、暗部のＳ／Ｎは低露光画像よりも高いため、高露光画像を用いて階調圧縮特性を生成すると暗部でＳ／Ｎの良い階調圧縮特性を生成できる。すなわち、低露光画像を用いて階調圧縮特性を生成すると明部に適した階調圧縮処理となり、高露光画像を用いて階調圧縮特性を生成すると暗部に適した階調圧縮処理となるといえる。

そこで、本実施形態の撮像装置１００では、撮影中の画像において、支配的な輝度領域が、図４（ａ）のように暗部なのか、図４（ｂ）のように明部なのかを判定する。そして、撮影中の画像において、少なくとも、支配的な輝度領域では、好ましい階調圧縮特性で、階調圧縮処理が行われるよう、階調圧縮特性生成部５で用いる画像、すなわち、フレームメモリ３に保持させる画像を決定する。

撮影中の画像において、支配的な輝度領域を判定する方法としては、以下で説明するように、画像解析部７が撮影中の画像の輝度分布を解析して判定してもよいし、例えば露出設定等の撮影条件や、ユーザの指示などを参照して、システム制御部８が決定してもよい。以下、画像内の輝度分布を解析し、暗部が支配的な画像か、明部が支配的な画像かを判定する画像解析部７の動作について説明する。

画像解析部７における解析方法の一例としては、所定の輝度レベル毎に、当該輝度レベルを持つ画素領域の面積を算出し、最も面積の大きい輝度レベルを、画面内で支配的な輝度レベルとみなす方法がある。この場合、支配的な輝度レベルが所定の閾値よりも低い場合には撮影中の画像において暗部が支配的であると判定する。また、支配的な輝度レベルが所定の値よりも高い場合には撮影中の画像において明部が支配的であると判定する。

また、画像解析部７による別の解析方法として、画面中央の所定の画素領域で輝度の平均値を求め、当該画素領域の平均輝度が所定の値よりも低い場合に、撮影中の画像において暗部が支配的であると判定する。また、当該画素領域の平均輝度が所定の値よりも高い場合には、撮影中の画像において明部が支配的であると判定する。

さらに、画像解析部７による別の解析方法として、画像の輝度、色、動き、エッジ量等から、顔やペットなど特定被写体が画面内に存在するかを検出し、特定被写体領域の平均輝度を求める。そして、特定被写体領域の平均輝度が所定の値よりも低い場合には、撮影中の画像において暗部が支配的であると判定し、特定被写体の平均輝度が所定の値よりも高い場合には、撮影中の画像において、明部が支配的であると判定する。

以上のようにして、画像解析部７は撮影中の画像を解析し、その解析結果をシステム制御部８に送出する。システム制御部８は、画像解析部７の解析結果出力に基づき、撮像素子２の駆動を制御する。例えば、画像解析部７による解析の結果、撮影中の画像において暗部が支配的と判定された場合には、フレームメモリ３に高露光画像が保持されるようにする。本実施形態では、暗部が支配的な画像に対して、合成対象の連続した２つのフレームの画像のうち、露光量の高い画像の方が先に撮影されるよう、撮像素子２を駆動制御する。一方、画像解析部７による解析の結果、撮影中の画像において明部が支配的と判定された場合には、フレームメモリ３に低露光画像が保持されるようにする。本実施形態では、合成対象の連続した２つのフレームの画像のうち、露光量の低い画像の方が先に撮影されるよう撮像素子２を駆動制御する。

撮影中の画像において支配的な領域が明部から暗部に変化した際の撮像動作の一例を、図３のタイミングチャートを参照して説明する。図３において、時刻ｔ１、ｔ２、ｔ３、・・・、ｔ７の間隔は、それぞれ、１フレーム期間（以下１Ｖと表記する。）を示す。撮像素子２からは、１Ｖ毎に、低露光画像または高露光画像が出力され、合成部４において合成される画像は図２の破線で囲まれた組み合わせとなる。

すなわち、時刻ｔ１からｔ３の期間では、撮像素子２から出力された低露光画像Ｌ１と高露光画像Ｈ１が合成されて合成画像（Ｈ１＋Ｌ１）が生成される。同様に、時刻ｔ３からｔ５の期間では、撮像素子２から出力された低露光画像Ｌ２と高露光画像Ｈ２が合成され、時刻ｔ５からｔ７の期間では、撮像素子２出力の低露光画像Ｌ３と高露光画像Ｈ３が合成される。

制御信号Ｓ１〜Ｓ３は、システム制御部８が制御、出力する信号である。制御信号Ｓ１は、フレームメモリ３への画像の書き込み、及び、階調圧縮特性生成部５での処理のＯｎ／Ｏｆｆを制御する２値の制御信号である。制御信号Ｓ１が“１”の場合には撮像素子２の出力画像が１Ｖ期間かけてフレームメモリ３に書き込まれる。同時に、撮像素子２の出力画像が、階調圧縮特性生成部５に入力され、１Ｖ期間かけてその縮小画像が生成され、メモリ５４に保持される。制御信号Ｓ１が“０”の場合には、フレームメモリ３への画像の書き込みは停止され、階調圧縮特性生成部５では、フレームメモリ３に保持されている画像とメモリ５４に保持されている縮小画像とを用いて階調圧縮特性が生成され、順次に出力される。

制御信号Ｓ２は、フレームメモリ３からの画像の読み出し、及び、合成部４での処理のｏｎ／ｏｆｆ、及び、階調圧縮部６での処理のｏｎ／ｏｆｆを制御する２値の信号である。制御信号Ｓ２が“０”の場合は、フレームメモリ３からの画像の読み出しが停止され、合成部４、及び、階調圧縮部６での処理はｏｆｆとなる。制御信号Ｓ２が“１”の場合には、フレームメモリ３に保持されている画像が読み出される。そして、合成部４は、撮像素子２から出力される現フレームの画像と、フレームメモリ３から読み出した画像（現フレームの一つ前の画像）を用いて、ダイナミックレンジを拡張する合成処理を行う。そして、階調圧縮部６は、合成部４から逐次出力される合成後の画像に対して、階調圧縮特性生成部５から逐次出力される階調圧縮特性の出力を用いて、階調圧縮処理を行う。

制御信号Ｓ３は、合成される２つのフレームの画像、すなわち、低露光画像と高露光画像のうち、どちらを先に撮像素子２により撮影するかを決定する２値の制御信号である。制御信号Ｓ３は、例えば画像解析部７での解析結果に基づいて更新される。制御信号Ｓ３が“０”になるのは、画像解析部７の解析の結果、撮影中の画像において明部が支配的であると判定された場合である。制御信号Ｓ３が“０”の場合、次の合成用画像の撮影時には低露光画像が先に撮影されるよう撮像素子２が制御される。他方、制御信号Ｓ３が“１”になるのは、画像解析部７の解析の結果、撮影中の画像において暗部が支配的であると判定された場合である。制御信号Ｓ３が“１”の場合、次の合成用画像の撮影時には、高露光画像が先に撮影されるよう撮像素子２が制御される。

図３において、時刻ｔ１からｔ２の期間では、制御信号Ｓ３が“０”であるので、合成対象の２つのフレームの画像は、１フレーム目が低露光画像Ｌ１、２フレーム目が高露光画像Ｈ１の順となるように撮像素子２から出力される。そして、時刻ｔ１からｔ２までの１Ｖ期間で、低露光画像Ｌ１がフレームメモリ３に書き込まれ、それと並行して低露光画像Ｌ１の縮小画像が生成されメモリ５４に保持される。時刻ｔ２からｔ３では、合成部４がフレームメモリ３に書き込まれた低露光画像Ｌ１と撮像素子２から出力される高露光画像Ｈ１を合成して、画像Ｈ１＋Ｌ１を出力する。それと並行して、階調圧縮特性生成部５がフレームメモリ３に保持されている低露光画像Ｌ１とメモリ５４に保持されている縮小画像から階調圧縮特性ｇ（Ｌ１）を順次生成する。そして、階調圧縮部６が合成後の画像Ｈ１＋Ｌ１に対し階調圧縮特性ｇ（Ｌ１）を用いて階調圧縮処理を行って最終的な画像を生成する。

また、時刻ｔ１からｔ３の期間では、画像解析部７は、合成される低露光画像Ｌ１と高露光画像Ｈ１のうち先に撮影された低露光画像Ｌ１について解析を行い、その解析結果Ａ（Ｌ１）を出力する。そして、システム制御部８は、解析結果Ａ（Ｌ１）に基づいて、時刻ｔ３からの合成で参照する制御信号Ｓ３を“０”に更新する。これは、現在撮影中の画像を解析した結果明部が支配的であると判断できるので、次の合成処理の際も、低露光画像を先に撮影して、明部での階調圧縮特性を最適化した方が好ましい画質になると考えられるためである。

時刻ｔ３からｔ５の期間においても、制御信号Ｓ３が“０”であるので、合成対象の２つのフレームの画像は、低露光画像Ｌ２、高露光画像Ｈ２の順に撮像素子２から出力される。そして、時刻ｔ３からｔ４までの１Ｖ期間で、低露光画像Ｌ２がフレームメモリ３に書き込まれ、それと並行して低露光画像Ｌ１の縮小画像が生成されメモリ５４に保持される。時刻ｔ４からｔ５では、合成部４が、フレームメモリ３に書き込まれた低露光画像Ｌ２と撮像素子２から出力される高露光画像Ｈ２を合成して、画像Ｈ２＋Ｌ２を出力する。それと並行して、階調圧縮特性生成部５がフレームメモリ３に保持されている低露光画像Ｌ２とメモリ５４に保持されている縮小画像から階調圧縮特性ｇ（Ｌ２）を順次生成する。そして、階調圧縮部６が合成後の画像Ｈ２＋Ｌ２に対し階調圧縮特性ｇ（Ｌ２）を用いて階調圧縮処理を行って最終的な画像を生成する。

また、時刻ｔ３からｔ５の期間では、画像解析部７は、合成される２つのフレームの画像、すなわち低露光画像Ｌ２と高露光画像Ｈ２のうち、先に撮影された低露光画像Ｌ２について解析を行い、その解析結果Ａ（Ｌ２）を出力する。今度は、画像解析部７において暗部が支配的であると判断されたとする。この場合、現在撮影中の画像を解析した結果、暗部が支配的になってきていると判断できるので、次の合成処理の際は、高露光画像を先に撮影し、暗部での階調圧縮特性を最適化した方が、好ましい画質となると考えられる。そのため、システム制御部８は、Ａ（Ｌ２）に基づいて、時刻ｔ５からの合成で参照する制御信号Ｓ３を“１”に更新する。

時刻ｔ５からｔ７の期間では、制御信号Ｓ３が“１”なので、合成対象の２つのフレームの画像は、高露光画像Ｈ３、低露光画像Ｌ３の順に撮像素子２から出力される。そして、時刻ｔ５からｔ６までの１Ｖ期間で、高露光画像Ｈ３がフレームメモリ３に書き込まれ、それと並行して、高露光画像Ｈ３の縮小画像が生成され、メモリ５４に保持される。時刻ｔ６からｔ７では、合成部４がフレームメモリ３に書き込まれた高露光画像Ｈ３と撮像素子２から出力される低露光画像Ｌ３を合成して、画像Ｈ３＋Ｌ３を出力する。そして、それと並行して、階調圧縮特性生成部５がフレームメモリ３に保持されている高露光画像Ｈ３とメモリ５４に保持された縮小画像を用いて階調圧縮特性ｇ（Ｈ３）を順次生成する。そして、階調圧縮部６が合成後の画像Ｈ３＋Ｌ３に対し階調圧縮特性ｇ（Ｈ３）を用いて階調圧縮処理を行って最終的な画像を生成する。

また、時刻ｔ５からｔ７の期間では、画像解析部７は、合成される２つのフレーム、すなわち低露光画像Ｌ３と高露光画像Ｈ３のうち、先に撮影された高露光画像Ｈ３を用いて、での処理を行い、解析結果Ａ（Ｈ３）を出力する。そして、システム制御部８は、この解析結果Ａ（Ｈ３）に基づいて、時刻ｔ７からの合成で参照する制御信号Ｓ３を１に更新する。これは、現在撮影中の画像を解析した結果、暗部が支配的であると判断できるので、次の合成処理の際も、高露光画像を先に撮影し、暗部での階調圧縮特性を最適化した方が、好ましい画質となると考えられるためである。

以上のような一連の撮像制御を行うことにより、露光量を変えた複数枚の画像を合成し、合成後の画像に適した階調圧縮特性で、階調圧縮を行って、映像信号を出力することができる。

以上説明したように、本実施形態の撮像装置１００では、ダイナミックレンジの広い画像を生成する合成処理のためにフレームメモリ３にバッファリングする画像と同じ画像を用いて合成後の画像に対する階調圧縮特性を生成することができる。そのため、メモリアクセスによるシステム負荷の増大を回避できる。また、撮影中の画像の特徴を解析して、階調圧縮特性の生成に用いる画像を決定することにより、撮影中の画像に適した階調圧縮処理を行うことができる。

［第２実施形態］
次に、第２実施形態の撮像装置について説明する。第１実施形態では、画像解析部７の解析結果に基づいて合成対象の２つのフレームの１フレーム目と２フレーム目の露光量を切り替える際に、撮像素子２から連続して出力される２つのフレームの露光量の適用の順序を入れ替える構成を示した。例えば、低露光画像Ｌ→高露光画像Ｈから、高露光画像Ｈ→低露光画像Ｌのように順番を切り替えることで、１フレーム目及び２フレーム目が対応する露光量を切り替える構成を採用した。しかしながら、露光量を切り替えるための構成は、第１実施形態に限られるものではない。たとえば、フレームメモリ３が保持するフレームを１フレームずらすことにより、１フレーム目と２フレーム目の露光量を切り替える構成としてもよい。第２実施形態では、このような構成について説明する。

第２実施形態も、露光量の異なる２フレーム分の画像を合成して、ダイナミックレンジの拡大された１フレーム分の画像を出力する撮像装置である。第２実施形態の撮像装置１００の構成は第１実施形態と同じで図１のようになる。第１実施形態と同様、合成部４と階調圧縮特性生成部５でフレームメモリ３を共用するため、合成対象の２つのフレームの画像のうち、フレームメモリ３にバッファリングされる方の画像で合成後の画像用の階調圧縮特性が生成される。

しかし、第２実施形態では、第１実施形態のように、画像解析部７の結果に基づいて、低露光画像を先に撮影するか、高露光画像を先に撮影するかを選択するしくみは不要である。すなわち、第２実施形態の撮像素子２は、常に、低露光画像、または、高露光画像が先に撮影されるよう撮像素子２の駆動が制御される。第２実施形態では、画像解析部７の結果に基づいて合成対象となる２つのフレームの画像のうち、好ましい階調圧縮特性が生成できる方の画像がフレームメモリ３にバッファリングされるよう、フレームメモリ３への画像書き込みのタイミングを制御する。

システム制御部８は、画像解析部７の解析の結果、撮影中の画像において暗部が支配的な場合には、高露光画像がフレームメモリ３にバッファリングされ、明部が支配的な場合には、低露光画像がフレームメモリ３にバッファリングされるように制御する。ここで、撮影中の画像において、支配的な輝度領域が、暗部から明部、または、明部から暗部に変化した場合には、撮像素子２から出力される高露光画像と低露光画像を２フレーム連続してフレームメモリ３にバッファリングする。

そのため、撮像素子２の出力画像をフレームメモリ３にバッファリングしている１Ｖ期間内に、画像解析部７での画像解析処理を終了し、次の１Ｖ期間でフレームメモリ３に画像をバッファリングする必要があるか判断する必要がある。そのため、第２実施形態では、撮像素子２からの信号読み出しを、２ラインずつ間引いて、２回に分けて行う。

例えば、撮像素子２の画素配置が図１０に示すようである場合、１Ｖ期間の前半では、撮像素子２のＬ０、Ｌ１、Ｌ４、Ｌ５、・・・のラインの信号を読み出し、当該１Ｖ期間の後半では、撮像素子２のＬ２、Ｌ３、Ｌ６、Ｌ７、・・・のラインの信号を読み出す。画像解析部７では、１Ｖ期間の前半で撮像素子２から読み出された垂直方向１／２に間引かれた画像を入力し、当該１Ｖ期間の後半で解析処理を行う。したがって、１フレーム分の画像をフレームメモリ３に書き込んでいる間に、次の１Ｖ期間で画像をフレームメモリ３にバッファリングすべきかを決定することができる。

以下、図６を参照して、第２実施形態の撮像装置の制御について説明する。撮像素子２からは、常に、低露光画像、高露光画像の順で合成前の画像が出力される。制御信号Ｓ１は、フレームメモリ３への画像の書き込み、及び、階調圧縮特性生成部５での処理のＯｎ／Ｏｆｆを制御する２値の制御信号であり、１Ｖ期間毎に更新される。制御信号Ｓ１が“１”の場合には、撮像素子２の出力画像が１Ｖ期間かけてフレームメモリ３に書き込まれる。同時に、撮像素子２の出力画像が階調圧縮特性生成部５に入力され、１Ｖ期間かけて、縮小画像が生成され、メモリ５４に保持される。制御信号Ｓ１が“０”の場合には、フレームメモリ３への画像の書き込みは停止され、階調圧縮特性生成部５での縮小画像の生成処理はｏｆｆとなる。

ここで、ある１Ｖ期間で制御信号Ｓ１が“０”の場合には、次の１Ｖ期間では制御信号Ｓ１は常に“１”となる。また、ある１Ｖ期間で制御信号Ｓ１が“１”の場合には、次の１Ｖ期間で制御信号Ｓ１が“０”、“１”のどちらの値をとるかは、画像解析部７に入力された画像に対する解析結果によって決まる。

ある１Ｖ期間の制御信号Ｓ１が“１”で、画像解析部７の入力画像が低露光画像であり、かつ、画像解析部７での解析結果で明部が支配的と判定された場合、システム制御部８は次の１Ｖ期間で制御信号Ｓ１を“０”にする。これは、撮影中の画像において明部が支配的な場合には、フレームメモリ３にバッファリングされている低露光画像で、階調圧縮特性を生成すればよいので、次の１Ｖ期間で、高露光画像をバッファリングする必要がないからである。

一方、ある１Ｖ期間の制御信号Ｓ１が“１”で、画像解析部７の入力画像が低露光画像であり、かつ、画像解析部７での解析結果で暗部が支配的と判定された場合、システム制御部８は、次の１Ｖ期間で制御信号Ｓ１を“１”にする。これは、撮影中の画像において暗部が支配的な場合には、次の１Ｖ期間でフレームメモリ３に高露光画像をバッファリングし、暗部重視の階調圧縮特性を生成する必要があるためである。

また、ある１Ｖ期間の制御信号Ｓ１が“１”で、画像解析部７の入力画像が高露光画像であり、かつ、画像解析部７での解析結果で暗部が支配的と判定された場合、システム制御部８は、次の１Ｖ期間で制御信号Ｓ１を“０”にする。これは、撮影中の画像において明部が支配的な場合には、フレームメモリ３にバッファリングされている高露光画像を用いて階調圧縮特性を生成すればよいので、次の１Ｖ期間で、低露光画像をバッファリングする必要がないからである。

さらに、ある１Ｖ期間の制御信号Ｓ１が“１”で、画像解析部７の入力画像が高露光画像であり、かつ、画像解析部７での解析結果で明部が支配的と判定された場合、システム制御部８は、次の１Ｖ期間で制御信号Ｓ１を“１”にする。これは、撮影中の画像において明部が支配的な場合には、次の１Ｖ期間でフレームメモリ３に低露光画像をバッファリングし、明部重視の階調圧縮特性を生成する必要があるためである。

制御信号Ｓ２は、フレームメモリ３からの画像の読み出し、及び、合成部４での処理のｏｎ／ｏｆｆ、及び、階調圧縮部６での処理のｏｎ／ｏｆｆを制御する２値の信号である。制御信号Ｓ２が“０”の場合は、フレームメモリ３からの画像の読み出しが停止され、合成部４、及び、階調圧縮部６での処理はｏｆｆとなる。制御信号Ｓ２が“１”の場合には、フレームメモリ３に書き込まれている画像を読み出し、合成部４において撮像素子２から出力される画像と、フレームメモリ３から読み出した画像を用いて、ダイナミックレンジを拡張する合成処理を行う。そして、階調圧縮特性部５は、フレームメモリ３から読み出した画像とメモリ５４から読み出した縮小画像を用いて階調特性を生成し、出力する。階調圧縮部６は、合成部４からの合成後の画像に対して、階調圧縮特性生成部５からの階調特性を用いて階調圧縮処理を行う。

また、制御信号Ｓ２で制御されるフレームメモリ３からの読み出し処理、合成部４、階調圧縮部６での処理は、制御信号Ｓ１で制御されるフレームメモリ３への画像の書き込み処理と階調圧縮特性生成部５での処理が終了した１Ｖ後に実行される。したがって、制御信号Ｓ２は制御信号Ｓ１の波形を１Ｖ遅延させたものとなっている。

図６において、時刻ｔ１では、制御信号Ｓ１が１であるので、時刻ｔ１からｔ２までの１Ｖ期間で、低露光画像Ｌ１をフレームメモリ３に書き込み、それと、並行して、時刻ｔ２までに、低露光画像Ｌ１の縮小画像が生成され、メモリ５４に保持される。時刻ｔ２からｔ３において、合成部４は、フレームメモリ３に保持されている低露光画像Ｌ１と撮像素子２から出力される高露光画像Ｈ１を合成して、画像Ｈ１＋Ｌ１を出力する。これと並行して、階調圧縮特性生成部５はフレームメモリ３に保持されている低露光画像Ｌ１とメモリ５４に保持されている縮小画像とから階調圧縮特性ｇ（Ｌ１）を生成する。そして、階調圧縮部６が、合成後の画像Ｈ１＋Ｌ１に対して階調圧縮特性ｇ（Ｌ１）を用いて階調圧縮処理を行う。

また、時刻ｔ１からｔ２の１Ｖ期間の前半で、垂直方向１／２に間引かれた低露光画像Ｌ１が、画像解析部７に入力され、時刻ｔ１からｔ２の１Ｖ期間の後半で、画像解析結果Ａ（Ｌ１）を生成する。そして、Ａ（Ｌ１）に基づき、時刻ｔ２での制御信号Ｓ１を“０”に更新する。これは、現在撮影中の画像を解析した結果、明部が支配的であると判断できるので、次の合成処理でも、低露光画像を用いて階調圧縮特性を最適化した方が好ましく、時刻ｔ２からｔ３の期間で、高露光画像をバッファリングする必要はないと判断したためである。

時刻ｔ２からｔ３の１Ｖ期間、制御信号Ｓ１は“０”なので、時刻ｔ３からｔ４までの１Ｖ期間で、制御信号Ｓ１は“１”に更新される。時刻ｔ３からｔ４の期間では、制御信号Ｓ１が“１”であるので、撮像素子２から出力される低露光画像Ｌ２をフレームメモリ３に書き込み、それと、並行して、時刻ｔ４までに、低露光画像Ｌ２の縮小画像が生成され、メモリ５４に保持される。

また、時刻ｔ３からｔ４の１Ｖ期間の前半で、垂直方向１／２に間引かれた低露光画像Ｌ２が画像解析部７に入力され、時刻ｔ３からｔ４の１Ｖ期間の後半で、画像解析結果Ａ（Ｌ２）が生成される。そして、解析結果Ａ（Ｌ２）に基づき、システム制御部８は、時刻ｔ４での制御信号Ｓ１を“１”に更新する。これは、現在撮影中の画像を解析した結果、暗部が支配的になってきたと判断され、次の合成処理では、高露光画像を用いて階調圧縮特性を最適化した方が好ましく、時刻ｔ４からｔ５の期間で高露光画像をバッファリングする必要があると判断されたためである。

時刻ｔ４からｔ５において、合成部４は、フレームメモリ３に書き込まれた低露光画像Ｌ２と撮像素子２から出力される高露光画像Ｈ２を合成して、画像Ｈ２＋Ｌ２を出力する。これと並行して、階調圧縮特性生成部５はフレームメモリ３に保持されている低露光画像Ｌ１とメモリ５４に保持されている縮小画像とから階調圧縮特性ｇ（Ｌ２）を生成する。そして、階調圧縮部６が、合成後の画像Ｈ２＋Ｌ２に対して階調圧縮特性ｇ（Ｌ２）を用いて階調圧縮処理を行う。

また、時刻ｔ４からｔ５では、制御信号Ｓ１が“１”であるので、フレームメモリ３では、前述の合成処理のために低露光画像Ｌ２が読み出されると、順次、高露光画像Ｈ２で上書きされる。それと、並行して、時刻ｔ５までに、低露光画像Ｌ２の縮小画像が生成され、メモリ５４に保持される。なお、縮小画像のメモリ５４への書き込みは、時刻４３〜ｔ４で生成した圧縮画像がメモリ５４から読み出されてから、順次に上書きされる。

さらに、時刻ｔ４からｔ５の１Ｖ期間の前半で、垂直方向１／２に間引かれた低露光画像Ｈ２が、画像解析部７に入力され、時刻ｔ４からｔ５の１Ｖ期間の後半で、画像解析結果Ａ（Ｈ２）が生成される。そして、解析結果Ａ（Ｈ２）に基づき、システム制御部８は、時刻ｔ５での制御信号Ｓ１を“０”に更新する。これは、現在撮影中の画像を解析した結果、暗部が支配的であると判断でき、次の合成処理でも高露光画像を用いて階調圧縮特性を最適化した方が好ましく、時刻ｔ５からｔ６の期間で低露光画像をバッファリングする必要はないと判断したためである。

時刻ｔ５からｔ６において、合成部４は、フレームメモリ３に書き込まれた高露光画像Ｈ２と撮像素子２から出力される低露光画像Ｌ３を合成して、画像Ｈ２＋Ｌ３を出力する。これと並行して、階調圧縮特性生成部５はフレームメモリ３に保持されている高露光画像Ｈ２とメモリ５４に保持されている縮小画像とから階調圧縮特性ｇ（Ｈ２）を生成する。そして、階調圧縮部６が、合成後の画像Ｈ２＋Ｌ３に対して階調圧縮特性ｇ（Ｈ２）を用いて階調圧縮処理を行う。なお、時刻ｔ５からｔ６の１Ｖ期間、制御信号Ｓ１は“０”なので、時刻ｔ６からｔ７までの１Ｖ期間で、制御信号Ｓ１は“１”に更新される。

以上のような一連の撮像制御を行うことにより、第２実施形態においても露光量を変えた複数枚の画像を合成し、合成後の画像に適した階調圧縮特性で、階調圧縮を行って、映像信号を出力することができる。

以上のように、第２実施形態の撮像装置においても、合成処理のためにフレームメモリ３にバッファリングする画像と同じ画像を用いて、合成後の画像に対する階調圧縮特性を生成することができ、メモリアクセスによるシステム負荷の増大を回避できる。

また、撮影中の画像の特徴を解析して、階調圧縮特性の生成に用いる画像を決定することにより、撮影中の画像に適した階調圧縮処理を行うことができる。また、撮像素子２においては、低露光画像と高露光画像の取得順を切り替えるような構成を持たせる必要がなくなる。

なお、上記第２実施形態では、１フレーム目の画像の入力を終えるまでに１フレーム目と２フレーム目の露光量を切り替えるか否かを決定し、切り替えが必要であれば次のフレームで切り替えを実行するようにした（例えば、ｔ３〜ｔ４）。このように構成することで、合成に使用されない無駄なフレームが発生しなくなる。しかしながら、画像解析部７の解析結果に応じて１フレーム目と２フレーム目の路光量を入れ替えるという観点からすれば、このような構成に限られるものではない。例えば、画像解析部７による解析を１フレームの期間かけて行ない、２つのフレームにおける路光量の順序の切り替えを、その２フレーム後に実施するようにしてもよい。例えば、図６において、ｔ３〜ｔ４の期間で画像を解析して、高露光量の画像をフレームメモリ３に保持するように決定されると、ｔ６のタイミングで制御信号Ｓ１を“１”にするようにしてもよい。

［第３実施形態］
次に、第３実施形態の撮像装置について説明する。第３実施形態では、露光量の異なるｎフレーム分の画像を合成して、ダイナミックレンジの拡大された１フレーム分の画像を出力する撮像装置について説明する。ここで、ｎは３以上の自然数であり、本実施形態では、その一例としてｎ＝３の場合について説明する。

第３実施形態の撮像装置１０１の構成を図７に示す。撮像装置１０１では、第１実施形態の撮像装置１００の構成に対して、選択部９が追加されている。また、選択部９の出力がフレームメモリ３と階調圧縮特性生成部５に入力される点が第１実施形態と異なる。

次に、第３実施形態の撮像装置１０１の動作の概要について説明する。撮影が開始されると、システム制御部８は、撮像素子２から出力される画像の露光量が３Ｖ周期で変化するよう、光学系１、および、撮像素子２を制御する。光学系１を介して撮像撮像素子２から出力された画像は、選択部９、合成部４、および、画像解析部７に入力される。

選択部９には、撮像素子２の出力画像とともに、合成部４からの出力画像も入力され、システム制御部８からの制御信号に基づいて合成部４からの出力画像または撮像素子２からの出力画像のいずれかを選択する。選択部９によって選択された出力画像は、フレームメモリ３および階調圧縮特性生成部５に入力される。フレームメモリ３では、選択部９からの出力画像を１フレーム分バッファリングする。選択部９は合成対象のｎ個のフレームのうち１つ目のフレームのタイミングでは、撮像素子２からの信号をフレームメモリ３に保持させ、２つ目以降、ｎ−１個目までは、合成部４が出力する合成画像をフレームメモリ３に保持させる。合成部４では、フレームメモリ３から読み出された画像と、撮像素子２からの出力画像とを合成する。その結果、フレームメモリ３には、撮像素子２から連続して出力される合成対象のｎ個のフレームのうち、１つ目のフレームの画像、または現フレームの１つ前のフレームまで合成を終えた画像が保持される。

階調圧縮特性生成部５では、フレームメモリ３から読み出された画像と、選択部９からの出力画像とを用いて、合成部４の出力画像に対する、階調圧縮特性を生成する。階調圧縮部６では、階調圧縮特性生成部５から出力される階調圧縮特性を用いて、撮影中の画像に対して好ましい階調再現となり、かつ出力映像フォーマットのダイナミックレンジに収まるよう、合成部４の出力画像に階調圧縮を行う。即ち、フレームメモリ３にｎ−１フレーム目まで合成を終えた画像が保持されると、階調圧縮特性生成部５は、フレームメモリ３に保持された画像とその保持された画像の低解像度化された画像とに基づいて階調圧縮特性を生成する。そして、階調圧縮部６は、生成された階調圧縮特性を用いて合成部４から出力されたｎフレーム目まで合成された画像の階調を圧縮する。

第３実施形態でも、第１実施形態と同様、フレームメモリ３は、１フレーム分の画像をバッファリングする構成となっている。したがって、３フレーム分以上の画像を合成する際には、２フレーム分ずつ、順次画像を合成するような動作となる。３枚合成の場合は、１フレーム目と２フレーム目を合成した後、１フレーム目と２フレーム目の合成結果と３フレーム目の入力画像を合成する。そのため、本実施形態のフレームメモリ３には、合成後の拡張されたダイナミックレンジを有する１フレーム分の画像、すなわち１画素あたりのビット数が増加した１フレーム分の画像を保持できる容量が必要である。ｎフレーム分の画像を合成する場合には、２フレームずつ、ｎ−１回合成を行った後に、階調圧縮処理が行われる。

このため、第３実施形態では、図７に示すように、フレームメモリ３の前段に選択部９が設けられている。そして、ｎフレーム分の画像を合成する際、初回の合成時には、撮像素子２の出力画像をフレームメモリ３に書き込み、２回目以降ｎ−１回目までの合成時には、合成部４の出力画像をフレームメモリ３に書き込むようにしている。

階調圧縮特性生成部５の内部構成は第１実施形態と同様であるが、入力信号が一部異なり、図２の入力端子５８にフレームメモリ３の出力画像が入力され、入力端子５９には、選択部９の出力画像が入力される。

前述のように、本実施形態でｎフレーム分の画像を合成する場合には、フレームメモリ３に、合成途中の画像をバッファリングして、２フレーム分ずつ合成し、ｎフレーム分全ての合成が終了した後に、階調圧縮処理を行う。そのため、階調圧縮特性は、ｎ−１フレーム目までの合成処理（ｎ−２回目の合成処理）で生成された画像を用いて生成される。入力端子５９（図２）には、選択部９から出力される、ｎ−２回目の合成処理後の画像が入力されて、縮小処理が行なわれ、縮小画像がメモリ５４に格納される。また、フレームメモリ３には、ｎ−２回目の合成処理後の画像が格納される。

入力端子５９から画像拡大部５５までの処理は、第１実施形態と同様、１Ｖ期間かかる。低解像度画像と、フレームメモリ３から入力端子５８を介して入力され、輝度生成部５１を経て得られた高解像度画像とは、タイミングが一致した状態で、局所輝度レベル推定部５６に入力される。局所輝度レベル推定部５６、階調圧縮特性決定部５７の処理は、第１実施形態と同様である。

また、第３実施形態においても、１フレーム分の画像をバッファリングするフレームメモリ３を、合成部４と階調圧縮特性部５で共用している。したがって、撮影中の画像に適した階調圧縮特性が生成できるよう、画像解析部７での解析結果に基づいて、階調圧縮特性生成部５で用いるｎ−１フレーム目までの合成後画像の組成を決定する。

例えば、図４（ａ）のように、明部が支配的な場合には、次の合成用画像撮影時に、露光量の低い画像から順に撮影するように撮像素子２の駆動を制御する。これにより、階調圧縮特性生成部５で参照されるｎ−２回目までの合成後画像（ｎ−１フレーム目までの合成後画像）は、低露光画像をベースに生成されることになるので、明部に対して適した階調圧縮特性を生成できるようになる。

また、図４（ｂ）のように、暗部が支配的な場合には、次の合成用画像撮影時に、露光量の高い画像から順に撮影するよう、撮像素子２の駆動を制御する。これにより、階調圧縮特性生成部５で参照されるｎ−２回目までの合成後画像（ｎ−１フレーム目までの合成後画像）は、高露光画像をベースに生成されることになるので、暗部に対して適した階調圧縮特性を生成できるようになる。

以上のように、合成対象となるｎフレームの露光量の順番の変更は、少なくとも、ｎ個のフレームのうちのｎ番目のフレームの画像の露光量が最大の露光量もしくは最小の露光量になるように露光量の順番を切り替えればよい。例えば、本実施形態のように、合成対象が３個のフレームである場合、少なくとも３フレーム目の画像を最大の露光量にするか最小の露光量にするかが、画像解析部７による解析の結果に基づいて決定されればよい。

尚、本実施形態では、画像解析部７において、合成前の撮像素子２からの出力画像を参照しているがこれに限られるものではない。合成部４から出力される合成途中の画像を参照して画像解析を行なってもよい。画像解析部７による解析方法は、第１実施形態と同様である。

次に、第３実施形態の撮像制御の一例を図８のタイミングチャートを参照して説明する。撮像素子２からは、１Ｖ期間毎に、露光量の異なる画像が出力され、１枚の合成画像を生成するために用いられる合成前の画像の組み合わせは、図８の破線で囲まれたものとなる。すなわち、時刻ｔ１からｔ４の期間では、撮像素子２の出力画像Ｌ１、Ｍ１、Ｈ１が合成され、時刻ｔ４からｔ７の期間では、撮像素子２の出力画像Ｈ２、Ｍ２、Ｌ２が合成される。なお、合成される画像の組み合わせの中で、Ｌが表記されている画像は、最も露光量が小さく、Ｈが表記されている画像は、最も露光量が大きく、Ｍが表記されている画像は、ＬとＨの中間の露光量となる。

制御信号Ｓ１は、フレームメモリ３への画像の書き込みを制御する２値の制御信号である。制御信号Ｓ１が“０”の場合には、フレームメモリ３への画像の書き込みは停止され、制御信号Ｓ１が“１”の場合には、選択部９からの出力画像が、１Ｖ期間かけて、フレームメモリ３に書き込まれる。

識別信号Ｉは、ｎフレームの画像のうち、何フレーム目までの画像を合成したかを示す識別信号であり、３枚合成の場合には、０、１、２、０、１、２、・・・と周期的に変化する。識別信号Ｉも、システム制御部８によって制御される信号である。識別信号Ｉが“０”の場合には、選択部９が撮像素子２からの画像を選択して出力し、撮像素子２から出力される画像がフレームメモリ３に書き込まれる。また、識別信号Ｉが“１”の場合には、選択部９が合成部４からの出力画像（合成途中の画像）を選択して出力し、合成部４の出力画像がフレームメモリ３に書き込まれる。識別信号Ｉが“２”の場合は、制御信号Ｓ１が“０”となり、フレームメモリへの画像の書き込みは停止される。

また、識別信号Ｉは、階調圧縮特性生成部５においても参照される。階調圧縮特性生成部５は、識別信号Ｉが１のとき（合成対象がｎフレームの場合はＩが“ｎ−２”のとき）に、選択部９からの合成画像（ｎ−１個目のフレームまでの合成画像）を取り込み、縮小画像を生成し、メモリ５４に保持する。したがって、露光量の異なるｎフレームの画像を合成した結果に対して、階調圧縮を行う際、ｎ−１フレーム目までの画像を合成した結果を参照して、階調圧縮特性を作ることになる。本実施形態のように３枚合成の場合には、２枚目までの画像の合成結果から、階調圧縮特性が生成される。

制御信号Ｓ２は、フレームメモリ３からの画像の読み出しと、合成部４、及び、階調圧縮部６での処理のｏｎ／ｏｆｆを制御する２値の信号である。制御信号Ｓ２が“１”の場合、合成部４は、フレームメモリ３に書き込まれている画像を読み出し、撮像素子２から出力される画像と、フレームメモリ３から読み出した画像を用いて、合成処理が行う。また、制御信号Ｓ２が“１”の場合、階調圧縮部６は、前述の識別信号Ｉを参照し、ｎ枚合成において識別信号Ｉが“ｎ−１”（３枚合成の場合には、Ｉ＝“２”）の場合に、合成部４の出力に対して階調圧縮処理を行う。

制御信号Ｓ３は、合成される露光量の異なる３フレーム分の画像を、どのような順序で撮影するかを決定する制御信号であり、画像解析部７の結果に基づいて決定される。制御信号Ｓ３が“０”になるのは、撮影中の画像において、明部が支配的であると判定された場合であり、制御信号Ｓ３が“１”になるのは、撮影中の画像において、暗部が支配的であると判定された場合である。制御信号Ｓ３が“０”の場合には、合成される３フレームの画像のうち、露光量の小さい２フレーム分の画像が先に撮影されるよう、撮像素子２が制御される。また、制御信号Ｓ３が“１”の場合には、合成される３フレームの画像のうち、露光量の大きい２フレーム分の画像が先に撮影されるよう、撮像素子２が制御される。

また、図８では、識別信号Ｉが“０”のときに、撮像素子２から出力された画像を用いて、画像解析部７での処理を行っているが、識別信号Ｉが“１”のときに撮像素子２から出力される画像、または、合成途中の画像を用いてもよい。

図８において、時刻ｔ１からｔ４までの期間では、制御信号Ｓ３が“０”であるので、合成対象の３フレーム分の画像は、露光量の小さいものから順に、Ｌ１、Ｍ１、Ｈ１と撮像素子２から出力される。

時刻ｔ１からｔ２の期間で、フレームメモリ３には、画像Ｌ１が書き込まれ、時刻ｔ２からｔ３までの期間で合成部４はフレームメモリ３から読み出された画像Ｌ１と、撮像素子２から出力される画像Ｍ１とを合成する。合成後の画像Ｌ１＋Ｍ１は、フレームメモリ３に上書きされるとともに、階調圧縮特性生成部５に入力され、１Ｖ期間かけて低解像度画像が生成され、メモリ５４に保持される。

時刻ｔ３からｔ４までの期間で、合成部４は、フレームメモリ３から合成途中の画像Ｌ１＋Ｍ１を読み出し、それと、撮像素子２から出力される画像Ｈ１を合成して、合成後の画像Ｌ１＋Ｍ１＋Ｈ１を出力する。また、階調圧縮特性生成部５は、フレームメモリ３から読み出された合成途中の画像Ｌ１＋Ｍ１とその縮小画像（１Ｖ前でメモリ５４に保持されている）を用いて階調圧縮特性ｇ（Ｌ１＋Ｍ１）を生成し、出力する。階調圧縮部６は、合成部４から出力される合成後の画像Ｌ１＋Ｍ１＋Ｈ１に対して、階調圧縮特性生成部５からの階調圧縮特性ｇ（Ｌ１＋Ｍ１）を用いて、階調圧縮を行う。

また、時刻ｔ１からｔ４の期間では、画像解析部７は、合成対象の複数フレームの画像の中で、最初に撮像素子２から出力された画像Ｌ１を用いて解析を行い、解析結果Ａ（Ｌ１）を出力する。そして、解析結果Ａ（Ｌ１）に基づいて、時刻ｔ４からの合成で参照する制御信号Ｓ３を“１”に更新する。これは、現在撮影中の画像を解析した結果、暗部が支配的になってきたと判断でき、時刻ｔ４からの合成処理は、高露光画像を先に撮影して、暗部での階調圧縮特性を最適化した方が好ましいと考えられるためである。

時刻ｔ４からｔ７までの期間においては、制御信号Ｓ３が“１”であるので、合成対象の３フレーム分の画像は、露光量の大きいものから順に、すなわちＨ２、Ｍ２、Ｌ２の順に撮像素子２から出力される。

時刻ｔ４からｔ５の期間で、フレームメモリ３には、画像Ｈ２が書き込まれ、時刻ｔ５からｔ６までの期間で合成部４はフレームメモリ３から読み出された画像Ｈ２と、撮像素子２から出力される画像Ｍ２とを合成する。合成後の画像Ｈ２＋Ｍ２は、フレームメモリ３に上書きされるとともに、階調圧縮特性生成部５に入力され、１Ｖ期間かけて低解像度画像が生成され、メモリ５４に保持される。

時刻ｔ６からｔ７までの期間で、合成部４は、フレームメモリ３から読み出された画像Ｈ２＋Ｍ２と、撮像素子２から出力される画像Ｌ２とを合成して、合成後の画像Ｈ２＋Ｍ２＋Ｌ２を出力する。また、階調圧縮特性生成部５は、フレームメモリ３から読み出された合成途中の画像Ｈ２＋Ｍ２とその縮小画像（１Ｖ前でメモリ５４に保持されている）を用いて階調圧縮特性ｇ（Ｈ２＋Ｍ２）を生成し、出力する。階調圧縮部６は、合成部４から出力される合成後の画像Ｈ２＋Ｍ２＋Ｌ２に対して、階調圧縮特性生成部５からの階調圧縮特性ｇ（Ｌ１＋Ｍ１）を用いて、階調圧縮を行う。

また、時刻ｔ４からｔ７の期間において、画像解析部７は、合成される複数フレームの画像の中で最初に撮像素子２から出力された画像Ｈ２を用いて解析処理を行い、その解析結果Ａ（Ｈ２）を出力する。システム制御部８は、Ａ（Ｈ２）に基づいて、時刻ｔ７からの合成で参照する制御信号Ｓ３を更新する。以上のような、一連の撮像制御を行うことにより、露光量を変えた複数枚の画像を合成し、合成後の画像に適した階調圧縮特性で、階調圧縮を行って、映像信号を出力することができる。

以上のように、ｎフレームの画像を合成対象とした場合にも、合成処理のためにフレームメモリ３にバッファリングする画像と同じ画像を用いて、合成後の画像に対する階調圧縮特性を生成することができる。そのため、メモリアクセスによるシステム負荷の増大を回避できる。また、撮影中の画像の特徴を解析して、階調圧縮特性の生成に用いる画像を決定することにより、撮影中の画像に適した階調圧縮処理を行うことができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 露光量の異なる２つの画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、
   ２種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
   前記撮像手段から連続して出力された合成対象の２つのフレームのうちの１フレーム目の画像をフレームメモリに保持する保持手段と、
   前記撮像手段から出力される前記２つのフレームのうちの２フレーム目の画像と前記フレームメモリに保持されている画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
   前記１フレーム目の画像が前記フレームメモリに保持されていく間に当該画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する生成手段と、
   前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、を備えることを特徴とする撮像装置。
2. 前記２種類の露光量のうちいずれの露光量が適用された画像を前記生成手段による階調圧縮特性の生成に使用すべきかを判定するために、前記１フレーム目の画像を解析する解析手段と、
   前記解析手段による解析の結果に基づいて、前記１フレーム目と前記２フレーム目の露光量を切り替える切り替え手段とをさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記切り替え手段は、前記撮像手段における前記２種類の露光量の適用の順序を入れ替えることを特徴とする請求項２に記載の撮像装置。
4. 前記切り替え手段は、前記保持手段が前記フレームメモリに保持させるフレームを１フレームだけずらすことを特徴とする請求項２に記載の撮像装置。
5. 前記解析手段は、前記１フレーム目の画像について、明部が支配的か暗部が支配的かを判定し、
   前記切り替え手段は、明部が支配的であれば露光量の小さい方の画像が前記１フレーム目となるように、暗部が支配的であれば露光量の大きい方の画像が前記１フレーム目となるように前記合成対象の２つのフレームと露光量との対応を切り替えることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 露光量の異なるｎ個（ｎは３以上の自然数）の画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、
   ｎ個の異なる露光量で撮影した画像を連続して出力する撮像手段と、
   前記撮像手段から出力されている現フレームの画像とフレームメモリに保持されている画像とを合成して、ダイナミックレンジが拡張された合成画像を得る合成手段と、
   前記撮像手段から出力される合成対象のｎ個のフレームのうちの１つ目のフレームの画像、または前記合成手段からの合成画像を前記フレームメモリに保持する保持手段と、
   保持手段がｎ−１フレーム目までの合成画像を前記フレームメモリに保持していく間に、当該合成画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する生成手段と、
   前記生成手段で生成された前記階調圧縮特性を用いて前記合成手段によりｎフレーム目まで合成された合成画像の階調を圧縮する階調圧縮手段と、を備えることを特徴とする撮像装置。
7. 前記１フレーム目からｎ−１フレーム目までの画像を、前記ｎ個の露光量のうちの最大の露光量を除く露光量が適用された画像とするか、最小の露光量を除く露光量が適用された画像とするかを判定するために、前記ｎ個のフレームの１フレーム目の画像または前記合成手段が出力した合成途中の画像を解析する解析手段と、
   前記解析手段による解析の結果に基づいて、前記ｎ個のフレームのうちのｎ番目のフレームの画像の露光量が前記最大の露光量もしくは前記最小の露光量になるように、前記合成対象のｎフレームに割り当てる露光量の順番を切り替える切り替え手段とをさらに備えることを特徴とする請求項６に記載の撮像装置。
8. 露光量の異なる２つの画像を合成してダイナミックレンジが拡張された画像を生成する画像処理装置であって、
   ２種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象の２つのフレームのうちの１フレーム目の画像をフレームメモリに保持する保持手段と、
   前記撮像手段から出力される前記２つのフレームのうちの２フレーム目の画像と前記フレームメモリに保持されている画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
   前記１フレーム目の画像が前記フレームメモリに保持されていく間に当該画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する生成手段と、
   前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、を備えることを特徴とする画像処理装置。
9. 露光量の異なるｎ個（ｎは３以上の自然数）の画像を合成してダイナミックレンジが拡張された画像を生成する画像処理装置であって、
   ｎ個の異なる露光量で撮影した画像を連続して出力する撮像手段から出力されている現フレームの画像とフレームメモリに保持されている画像とを合成して、ダイナミックレンジが拡張された合成画像を得る合成手段と、
   前記撮像手段から出力される合成対象のｎ個のフレームのうちの１つ目のフレームの画像、または前記合成手段からの合成画像を前記フレームメモリに保持する保持手段と、
   前記保持手段がｎ−１フレーム目までの合成画像を前記フレームメモリに保持していく間に、当該合成画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する生成手段と、
   前記生成手段で生成された前記階調圧縮特性を用いて前記合成手段によりｎフレーム目まで合成された合成画像の階調を圧縮する階調圧縮手段と、を備えることを特徴とする画像処理装置。
10. 露光量の異なる２つの画像を合成してダイナミックレンジが拡張された画像を生成するための、画像処理装置による画像処理方法であって、
    保持手段が、２種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象の２つのフレームのうちの１フレーム目の画像をフレームメモリに保持する工程と、
    合成手段が、前記撮像手段から出力される前記２つのフレームのうちの２フレーム目の画像と前記フレームメモリに保持されている画像を合成してダイナミックレンジが拡張された合成画像を生成する工程と、
    生成手段が、前記１フレーム目の画像が前記フレームメモリに保持されていく間に当該画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する工程と、
    階調圧縮手段が、前記生成する工程で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する工程と、を有することを特徴とする画像処理方法。
11. 露光量の異なるｎ個（ｎは３以上の自然数）の画像を合成してダイナミックレンジが拡張された画像を生成するための、画像処理装置による画像処理方法であって、
    合成手段が、ｎ個の異なる露光量で撮影した画像を連続して出力する撮像手段から出力されている現フレームの画像とフレームメモリに保持されている画像とを合成して、ダイナミックレンジが拡張された合成画像を得る工程と、
    保持手段が、前記撮像手段から出力される合成対象のｎ個のフレームのうちの１つ目のフレームの画像、または前記合成する工程で得られた合成画像を前記フレームメモリに保持する工程と、
    生成手段が、前記保持する工程でｎ−１フレーム目までの合成画像が前記フレームメモリに保持されていく間に、当該合成画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する工程と、
    階調圧縮手段が、前記生成する工程で生成された前記階調圧縮特性を用いて前記合成する工程によってｎフレーム目まで合成された合成画像の階調を圧縮する工程と、を有することを特徴とする画像処理方法。
12. 請求項１０または１１のいずれか１項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。

Images