JP2018160777A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】露出の異なる画像を合成してダイナミックレンジの広い動画像を生成する場合に、高画素、高フレームレートの動画像を生成可能とする。【解決手段】被写体を撮像して動画像を出力する撮像部と、撮像部から動画像の１フレームにつき少なくとも２枚の露出の異なる画像を取得する取得部と、少なくとも２枚の露出の異なる画像に対し、それぞれ異なる圧縮処理を行って少なくとも２枚の圧縮画像を取得する圧縮部と、少なくとも２枚の圧縮画像を伝送する伝送部と、伝送された少なくとも２枚の圧縮画像を合成して合成画像を生成する合成部と、合成画像の輝度分布情報を取得する輝度分布取得部と、を備え、取得部は、輝度分布取得部により取得された輝度分布情報に基づいて、動画像の次のフレームにおける少なくとも２枚の露出の異なる画像の露出を制御し、圧縮部は、少なくとも２枚の露出の異なる画像の露出と、輝度分布情報とに基づいて、少なくとも２枚の露出の異なる画像の圧縮処理を行う。【選択図】 図１

Description

本発明は、露出の異なる画像を合成してダイナミックレンジの広い動画像を生成する撮像装置に関するものである。

従来より、露出の異なる画像を合成してダイナミックレンジの広い画像を生成する技術が提案されている。

例えば、特許文献１には、異なる露光時間で撮影した画像を圧縮することにより、それらの画像の合成に関わるＤＲＡＭ帯域やメモリ容量を削減する技術が開示されている。また、特許文献２には、ヒストグラムを使用して、画像を撮像する際の露光条件の切り替えを迅速に実行し、高画質の合成画像を生成する技術が開示されている。

特開２０１３−１７９５８４号公報 特開２０１３−１２６１８１号公報

しかしながら、上記の従来技術の構成においては、次のような問題がある。特許文献１に開示された技術においては、画像の圧縮が、撮像素子から異なる露出の複数枚の画像を取得した後であるため、高画素、高フレームレートが要求されるような動画像の画像合成においては、伝送路の帯域により信号の伝送が間に合わない場合がある。

また、特許文献２に開示された技術においては、露出の制御が撮影時に行われるが、高画素、高フレームレートが要求されるような動画像の画像合成においては、やはり伝送路の帯域により信号の伝送が間に合わない場合がある。また、伝送路を常に使用すると、特に動画撮影時に消費電力が増大する。

本発明は上述した課題に鏡みてなされたものであり、その目的は、露出の異なる画像を合成してダイナミックレンジの広い動画像を生成する場合に、高画素、高フレームレートの動画像を生成可能とすることである。

本発明に係わる撮像装置は、被写体を撮像して動画像を出力する撮像手段と、前記撮像手段から前記動画像の１フレームにつき少なくとも２枚の露出の異なる画像を取得する取得手段と、前記少なくとも２枚の露出の異なる画像に対し、それぞれ異なる圧縮処理を行って少なくとも２枚の圧縮画像を取得する圧縮手段と、前記少なくとも２枚の圧縮画像を伝送する伝送手段と、伝送された前記少なくとも２枚の圧縮画像を合成して合成画像を生成する合成手段と、前記合成画像の輝度分布情報を取得する輝度分布取得手段と、を備え、前記取得手段は、前記輝度分布取得手段により取得された輝度分布情報に基づいて、前記動画像の次のフレームにおける前記少なくとも２枚の露出の異なる画像の露出を制御し、前記圧縮手段は、前記少なくとも２枚の露出の異なる画像の露出と、前記輝度分布情報とに基づいて、前記少なくとも２枚の露出の異なる画像の圧縮処理を行うことを特徴とする。

露出の異なる画像を合成してダイナミックレンジの広い動画像を生成する場合に、高画素、高フレームレートの動画像を生成することが可能となる。

本発明の撮像装置の第１の実施形態の構成を示すブロック図。 第１の実施形態における画素の構成を示す図。 第１の実施形態における動画撮影時のタイミングチャート。 第１の実施形態における合成後の画像のヒストグラムを示す図。 第１の実施形態における合成後の画像のヒストグラムを示す図。 露光時間比設定テーブルの例を示す図。 第１の実施形態における高露出画像の画像圧縮を示す図。 第１の実施形態におけるダイナミックレンジが狭い画像の圧縮を示す図。 第１の実施形態におけるダイナミックレンジが広い画像の圧縮を示す図。 低露出画像圧縮率設定テーブルの例を示す図。 第１の実施形態における低露出画像のガンマ補正による圧縮を示す図。 本発明の撮像装置の第２の実施形態の構成を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態の構成を示すブロック図である。図１において、撮像装置１００は、撮影光学系１０１、撮像素子１０２、画像処理部１０８を備える。

撮像素子１０２において、画素部１０３は、撮影光学系１００により結像された被写体の光学像を電気信号に変換する。また、後述する露出制御部１１３からの露光時間の制御により、露出の異なる２つの画像信号を生成する。画素部１０３は、一つのフォトダイオード（以下、ＰＤ）に対して、二つのメモリ部を有するグローバルシャッタ動作が可能な画素が複数配列されて構成されている。画像圧縮部１０４は、第１画像圧縮部１０５と第２画像圧縮部１０６とを有し、画素部１０３から転送された露出の異なる２つの画像信号としての高露出画像と低露出画像とを圧縮する。なお、撮像素子１０２は、積層型の撮像素子で、画素部１０３と画像圧縮部１０４とがそれぞれ異なる半導体基板上に配置され、それらが積層されて構成されている。

画像圧縮部１０４の第１画像圧縮部１０５は、後述する露出制御部１１３からの露出情報に基づいて、高露出画像の上位ビットをクリップ（削除）して圧縮する。また、第２画像圧縮部１０６は、後述する方法で、低露出画像をガンマ補正して（ガンマカーブを調整して）階調圧縮する。

伝送部１０７は、画像圧縮部１０４で圧縮された高露出画像と、低露出画像とを画像処理部１０８へ伝送する。伝送部１０７は、高露出画像と低露出画像の画像圧縮部１０４における圧縮結果に応じて信号の伝送を休止することが可能である。

画像処理部１０８は、圧縮された高露出画像と低露出画像とを伸長して画像合成等を行う。第１画像伸長部１０９は、第１画像圧縮部１０５により圧縮され、伝送部１０７を介して伝送された高露出画像の圧縮画像を伸長する。第２画像伸長部１１０は、第２画像圧縮部１０６により圧縮され、伝送部１０７を介して伝送された低露出画像の圧縮画像を伸長する。画像合成部１１１は、第１画像伸長部１０９が伸長した高露出画像と、第２画像伸長部１１０が伸長した低露出画像とを合成してよりダイナミックレンジの広い画像を生成する。

ヒストグラム生成部（輝度分布取得部）１１２は、画像合成部１１１により生成された合成画像から、ヒストグラム（輝度分布情報）を生成する。露出制御部１１３は、動画撮影中に、ヒストグラム生成部１１２により生成されたヒストグラムと、後述する露光時間比設定テーブルとを用いて、画素部１０３の露光時間を制御する。また、第１画像圧縮部１０５における圧縮率を制御する。露出制御部１１３の詳細については後述する。

露光時間比設定テーブル１１４は、予めＲＯＭやＲＡＭに格納されており、露出制御部１１３において露光時間の比を決定するために用いられる。低露出画像圧縮率決定部１１５は、ヒストグラム生成部１１２により生成されたヒストグラムと、後述する低露出画像圧縮率設定テーブルとを用いて、第２画像圧縮部１０６における低露出画像の圧縮率を決定する。低露出画像圧縮率決定部１１５の詳細については後述する。低露出画像圧縮率設定テーブル１１６は、予めＲＯＭやＲＡＭに格納されており、低露出画像圧縮率決定部１１５において被写体の明るさを判定して、低露出画像の圧縮率を決定する。

次に、図２は、本実施形態における画素の構成を示す図である。図２を用いて本実施形態における画素の構成と動作について説明する。

図２に示すように、画素２０４は、一つのＰＤに対して二つのメモリ部ＭＥＭ１，ＭＥＭ２が配置されて構成されている。そして、本実施形態では、スイッチＴＸ１をＯＮにすることにより、高露出画像をメモリ部ＭＥＭ１に格納し、スイッチＴＸ２をＯＮにすることにより、低露出画像をメモリ部ＭＥＭ２に格納する。メモリ部ＭＥＭ１，ＭＥＭ２に格納された画像は、それぞれＡＤ変換された後に、画像圧縮部１０４に出力される。

次に、図３は、本実施形態における高露出画像（露光量の多い画像）と低露出画像（露光量の少ない画像）を取得する動作を示すタイミングチャートである。図３のタイミングチャートを用いて、本実施形態における画素部１０３に対する露出制御について説明する。本実施形態では、１／６０ｓｅｃ以内の時間で高露出画像と低露出画像の２枚の画像を取得するものとする。

まず、時刻ｔ０において、動画の第１フレームの画像の撮影を開始する。時刻ｔ０〜時刻ｔ１の間の期間で、高露出画像の露光を行う。時刻ｔ１において、スイッチＴＸ１がＯＮとなり、ＰＤに蓄積された電荷が、メモリ部ＭＥＭ１へ一括転送される。時刻ｔ１〜時刻ｔ３の間の期間で、メモリ部ＭＥＭ１からのデータの読出しと、高露出画像の第１画像圧縮部１０５による圧縮が行われる。この場合、第１画像圧縮部１０５では、伝送部１０７の帯域を満たすように高露出画像が圧縮される。また、画像が十分に圧縮されている場合は、伝送路１０７を休止して（図中、休止期間）、低消費電力化を図る動作を行う。第１画像圧縮部１０５における圧縮処理の詳細については後述する。

時刻ｔ１〜時刻ｔ２の間の期間で、低露出画像の露光を行う。時刻ｔ２において、スイッチＴＸ２がＯＮとなり、ＰＤに蓄積された電荷が、メモリ部ＭＥＭ２へ一括転送される。時刻ｔ３〜時刻ｔ５の間の期間で、メモリ部ＭＥＭ２からのデータの読出しと、低露出画像の第２画像圧縮部１０６による圧縮が行われる。この場合、第２画像圧縮部１０６でも、伝送部１０７の帯域を満たすように低露出画像が圧縮される。また、画像が十分に圧縮されている場合は、伝送路１０７を休止して（図中、休止期間）、低消費電力化を図る動作を行う。第２画像圧縮部１０６の圧縮処理の詳細については後述する。

時刻ｔ２において、動画の第２フレームの露光を開始する。第２フレームの高露出画像と低露出画像とを取得するための露光時間の比は、ヒストグラム生成部１１２で生成された第１フレームのヒストグラムと露光時間比設定テーブル１１４とから、露出制御部１１３により決定される。

本実施形態では、第１フレームにおいてダイナミックレンジが所定のレンジより狭いと判定されており、第２フレームでは高露出画像と低露出画像の露光時間の比が小さくなるように設定される。ここで、ダイナミックレンジがより狭いと判定された被写体において、高露出画像と低露出画像の露光時間の比が小さくなるように設定する理由は次のようなものである。すなわち、第１画像圧縮部１０５による高露出画像の上位ビットの削減による画像圧縮において、より多くビットを削減しても画質を損なわずに圧縮率を上げられるようにするためである。また、それにより伝送部１０７を休止させることができ、低消費電力化等に寄与できる。

時刻ｔ２〜時刻ｔ４の間の期間で、第２フレームの画像を生成するための高露出画像の露光を行う。時刻ｔ４において、スイッチＴＸ１がＯＮとなり、ＰＤに蓄積された電荷がメモリ部ＭＥＭ１へ一括転送される。時刻ｔ５〜時刻ｔ７の間の期間で、メモリ部ＭＥＭ１からのデータの読出しと、高露出画像の第１画像圧縮部１０５による圧縮が行われる。時刻ｔ４〜時刻ｔ６の間の期間で、低露出画像の露光を行う。時刻ｔ６において、スイッチＴＸ２がＯＮとなり、ＰＤに蓄積された電荷が、メモリ部ＭＥＭ２へ一括転送される。時刻ｔ７〜時刻ｔ８の間の期間で、メモリ部ＭＥＭ２からのデータの読出しと、低露出画像の第２画像圧縮部１０６による圧縮が行われる。

時刻ｔ６において、動画の第３フレームの露光を開始する。本実施形態では、第２フレームにおいて、ダイナミックレンジがより広いと判定されているものとする。そして、第３フレームの画像を生成する際に、よりダイナミックレンジの広い画像合成を可能にするために、高露出画像と低露出画像の露光時間の比がより大きくなるように設定される。

時刻ｔ６〜時刻ｔ８の間の期間で、第３フレームの高露出画像の露光を行う。時刻ｔ８においてスイッチＴＸ１がＯＮとなり、ＰＤに蓄積された電荷がメモリ部ＭＥＭ１へ一括転送される。時刻ｔ８〜時刻ｔ１０の間の期間で、メモリ部ＭＥＭ１からのデータの読出しと、高露出画像の圧縮が行われる。時刻ｔ８〜時刻ｔ９の間の期間で、低露出画像の露光を行う。時刻ｔ９において、スイッチＴＸ２がＯＮとなり、ＰＤに蓄積された電荷が、メモリ部ＭＥＭ２へ一括転送される。時刻ｔ１０〜時刻ｔ１１の間の期間で、メモリ部ＭＥＭ２からのデータの読み出しと、低露出画像の第２画像圧縮部１０６による圧縮が行われる。

このようにして、動画の１フレーム前のヒストグラムから、被写体のダイナミックレンジが広いか狭いかを判定して、動画の次のフレームの高露出画像と低露出画像の露光時間を制御する。これにより、ダイナミックレンジが狭い被写体においては、高輝度画像のビットを削減し、伝送部１０７を休止させることにより低消費電力化を図ることができる。一方、ダイナミックレンジが広い被写体においては、画像合成に必要な高露出画像と低露出画像の取得が可能となる。

次に、図４〜図９を用いて、露出制御部１１３による露出の制御方法と第１画像圧縮部１０５における圧縮率の制御方法について説明する。

露出制御部１１３は、画像合成部１１１により得られた合成画像からヒストグラム生成部１１２により算出される図４、図５に示すヒストグラムと、予めＲＯＭやＲＡＭに格納されている図６に示す露光時間比設定テーブル１１４とから露光時間を算出する。

まず、図４、図５に示すヒストグラムにおいて、輝度値が輝度値Ｙ１からＹ２の間にある画素数と、輝度値が輝度値Ｙ１より小さい画素数と輝度値が輝度値Ｙ２より大きい画素数の和との比を算出する。次に、算出した比と図６に示す露光時間比設定テーブル１１４とを比較して、露出制御部１１３は露光時間の比を決定する。

ここで図６について説明すると、画素数の比の列は、輝度値が輝度値Ｙ１からＹ２の間にある画素数と、輝度値が輝度値Ｙ１より小さい画素数と輝度値が輝度値Ｙ２より大きい画素数の和との比（図６では例えば８種類）を表している。そして、露光時間の比の列はこれらの８種類の画素数の比に対応する高露出画像と低露出画像の露光時間の比を表している。

図６の露光時間比設定テーブル１１４の上の列になるほど被写体のダイナミックレンジが狭く、下の列になるほど広いことを意味する。例えば、画素数の比が２：１の場合は、輝度値が輝度値Ｙ１からＹ２の間にある画素数が、輝度値が輝度値Ｙ１より小さい画素数と輝度値が輝度値Ｙ２より大きい画素数の和より２倍多いことを示している。そして、その場合の高露出画像と低露出画像の露光時間の比は、９：７であることを示している。

この場合、露光時間比設定テーブル１１４には、輝度値が輝度値Ｙ１からＹ２の間にある画素数が、輝度値が輝度値Ｙ１より小さい画素数と輝度値が輝度値Ｙ２より大きい画素数の和より多い場合はより取得画像のダイナミックレンジが狭いと判断する。そして、取得した高露出画像に対して上位ビットの削減による圧縮効果を高められるように、高露出画像と低露出画像の露光時間の比を小さく設定する。高露出画像の上位ビットの削減効果による圧縮処理の詳細については後述する。

また、露光時間比設定テーブル１１４において、輝度値が輝度値Ｙ１からＹ２の間にある画素数が、輝度値が輝度値Ｙ１より小さい画素数と輝度値が輝度値Ｙ２より大きい画素数の和より少ない場合はより取得画像のダイナミックレンジが広いと判断する。そして、取得画像からよりダイナミックレンジの広い合成画像を取得できるように、高露出画像と低露出画像の露光時間の比を大きく設定する。このようにして、露出制御部１１３による露出の制御がなされる。

次に、第１画像圧縮部１０５における高露出画像の上位ビットの削減による圧縮処理について図７を用いて説明する。図７に示すグラフは、横軸が入射光量を示し、縦軸が、ＰＤに蓄積される信号量を示している。

露光時間の長い高露出画像のグラフ７０１の方が、露光時間の短い低露出画像のグラフ７０２よりも入射光量に対する信号量の増え方は急峻になる。入射光量Ｐ１〜Ｐ２に示す領域は、高露出画像と低露出画像の双方においてカバーされているダイナミックレンジを示す。そのため、第１画像圧縮部１０５により、高露出画像の上位ビットをクリップして、圧縮画像７０３を算出する。

画像合成部１１１による画像合成においては、高露出画像の低輝度部分と、低露出画像の高輝度部が使用されるため、高露出画像の高輝度部分を示す上位ビットにおいて、低露出画像でカバーされている領域をクリップすることで画像の圧縮を行う。

次に、図８を用いて、高露出画像と低露出画像の露光時間の比を小さくすることにより、第１画像圧縮部１０５において、高露出画像の上位ビットの削減による圧縮率を大きくできることについて説明する。

図８は、よりダイナミックレンジの狭い画像を取得する際の、入射光量に対する信号量を示している。そして、高露出画像のグラフ８０１と低露出画像のグラフ８０２におけるダイナミックレンジの共通のカバー領域は、Ｐ３〜Ｐ４で示される入射光量の範囲で表されている。また、図９は、よりダイナミックレンジの広い画像を取得する際の、入射光量に対する信号量を示している。そして、高露出画像のグラフ８０４と低露出画像のグラフ８０５におけるダイナミックレンジの共通のカバー領域は、Ｐ５〜Ｐ６で示される入射光量の範囲で表されている。

この場合、高露出画像８０１の入射光量に対する信号量の増え方は、高露出画像８０４より急峻で、低露出画像８０５の入射光量に対する信号量の増え方は、低露出画像８０２よりなだらかである。そのため、高露出画像８０１は、例えば１２ビットから６ビットに圧縮されるのに対して、高露出画像８０４は、例えば１２ビットから１０ビットまでしか圧縮されない。伝送部１０７において、例えば１０ビットの画像を伝送することが最大伝送量である場合、高露出画像８０４は伝送路を休止させずに伝送しなければならないのに対して、高露出画像８０１は６ビットまで圧縮されて伝送されるため、伝送期間中の４０％は休止させることができる。

このように、高露出画像と低露出画像の露光時間の比を小さくすることにより、第１画像圧縮部１０５において、高露出画像の上位ビットの削減による圧縮率が大きくなり、伝送部１０８を休止させることができる。結果として、低消費電力化を図ることができる。また、高露出画像と低露出画像の露光時間の比が大きい場合でも、第１画像圧縮部１０５における圧縮率の制御において、高露出画像の上位ビットは削減されるので、伝送路の伝送能力の不足を防ぐことが可能となる。

次に、図４、図５、図１０、図１１を用いて、低露出画像圧縮率決定部１１５における低露出画像の圧縮率を決定する方法について説明する。

第２画像圧縮部１０６では、低露出画像をガンマ補正によって圧縮する。低露出画像圧縮率決定部１１５は、ヒストグラム生成部１１２により算出される図４、図５に示すヒストグラムと、予めＲＯＭやＲＡＭに格納されている図１０に示す低露出画像圧縮率設定テーブル１１６とから、低露出画像の圧縮率を決定する。

まず、低露出画像圧縮率決定部１１５は、図４、図５に示すヒストグラムにおいて、輝度値が輝度値Ｙ３以上である画素数と、輝度値が輝度値Ｙ３より小さい画素数との比を算出する。次に、低露出画像圧縮率決定部１１５は、算出した比と、図１０に示す低露出画像圧縮率設定テーブル１１６を比較して、第２画像圧縮部１０６の圧縮率を決定する。

この場合、低露出画像圧縮率設定テーブル１１６により、輝度値が輝度値Ｙ３以上である画素数が、輝度値が輝度値Ｙ３より小さい画素数より多い場合はより被写体が明るいと判定する。そして、取得画像に対してより高輝度側の階調を維持するように、圧縮率が小さく設定される。

一方で、低露出画像圧縮率設定テーブル１１６により、輝度値が輝度値Ｙ３以上である画素数が、輝度値が輝度値Ｙ３より小さい画素数より少ない場合はより被写体が暗いと判定して、取得画像に対してより高輝度側の階調を圧縮するように、圧縮率が大きく設定される。

図１０について説明すると、画素数の比の列は、輝度値が輝度値Ｙ３より小さい画素数と、輝度値が輝度値Ｙ３以上である画素数の比（図１０では３種類）を表している。そして、ガンマ補正の列は、低露出側の画像のガンマ補正による圧縮量を表している。輝度値が輝度値Ｙ３より小さい画素数と、輝度値が輝度値Ｙ３以上である画素数との比が４：１の場合は被写体がより暗いので、その場合の低露出画像のガンマ補正による圧縮は１２ｂｉｔから６ｂｉｔの６／１２圧縮であることを示している。また、画素数の比が４：３の場合は、 被写体がより明るいので、その場合の低露出画像のガンマ補正による圧縮は１２ｂｉｔから１０ｂｉｔの１０／１２圧縮であることを示している。

図１１に示すグラフでは、横軸が入射光量を示し、縦軸がＰＤに蓄積される信号量を示しており、曲線１００１は露光時間の短い低露出画像の入射光量に対する信号量を示している。曲線１００２は、輝度値が輝度値Ｙ３より小さい画素数と、輝度値が輝度値Ｙ３以上である画素数との比が４：３の場合のガンマ補正の曲線を示しており、ガンマ補正により１２ｂｉｔの画像が１０ｂｉｔに圧縮された低露出画像を示している。曲線１００３は、輝度値が輝度値Ｙ３より小さい画素数と、輝度値が輝度値Ｙ３以上である画素数との比が４：２の場合のガンマ補正の曲線を示しており、ガンマ補正により１２ｂｉｔの画像が８ｂｉｔに圧縮された低露出画像を示している。曲線１００４は、輝度値が輝度値Ｙ３より小さい画素数と、輝度値が輝度値Ｙ３以上である画素数の比が４：１の場合のガンマ補正の曲線を示しており、ガンマ補正により１２ｂｉｔの画像が６ｂｉｔに圧縮された低露出画像を示している。

伝送部１０７において、例えば、１０ビットの画像を伝送することが最大伝送量である場合、低露出画像１００２では伝送路１０７を休止させずに伝送しなければならない。これに対して、低露出画像１００４は６ビットまで圧縮されて伝送されるため、伝送部１０７を伝送期間中の４０％は休止させることができる。

このように、被写体がより暗い場合は、第２画像圧縮部１０６における圧縮率の制御において、低露出画像のガンマ補正による圧縮率を大きくでき、伝送部１０７を休止させることができる。これにより、低消費電力化を図ることができる。また、被写体がより明るい場合でも、第２画像圧縮部１０６における圧縮率の制御において、低露出画像のガンマ補正による圧縮率制御が少なからず行われており、伝送路の伝送能力の不足を防ぐことが可能となる。

このような構成とすることにより、動画撮影での伝送路の帯域を満たす画像圧縮において、被写体のダイナミックレンジや、明るさを判定して、より圧縮率を高めて画像を伝送することができる。これにより、高画素、高フレームレートを実現しながらも、動画像の合成画像をより低い消費電力で得ることが可能となる。

（第２の実施形態）
以下、本発明の第２の実施形態について、図１２を用いて説明する。なお、図１２において、図１と同一の構成要素には同じ符号を付してその説明を省略する。

図１２において、ＤＲＡＭインターフェイス部（メモリインターフェイス）１２０７は、記画像圧縮部１０４から高露出画像と低露出画像とを受け取って、所定のデータレートでＤＲＡＭ部（バッファメモリ）１２０８へ書き込み、また画像処理部１０８へ伝送するためにＤＲＡＭ部１２０８から読出しを行う。その他の構成要素は第１の実施形態と同様である。

このような構成とすることにより、動画撮影での図１２に示すＤＲＡＭインターフェイス部１２０７のバス帯域を満たす画像圧縮において、被写体のダイナミックレンジや、明るさを判定して、より圧縮率を高めて画像を伝送する。これにより、高画素、高フレームレートを実現しながらも、動画像の合成画像をより低い消費電力で得ることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：撮影光学系、１０２：撮像素子、１０３：画素部、１０４：画像圧縮部、１０７：伝送部、１０８：画像処理部、１０９：第１画像伸長部、１１０：第２画像伸長部、１１１：画像合成部、１１２：ヒストグラム生成部、１１３：露出制御部、１１４：露光時間比設定テーブル、１１５：低露出画像圧縮率決定部、１１６：低露出画像圧縮率設定テーブル

Claims (14)

1. 被写体を撮像して動画像を出力する撮像手段と、
   前記撮像手段から前記動画像の１フレームにつき少なくとも２枚の露出の異なる画像を取得する取得手段と、
   前記少なくとも２枚の露出の異なる画像に対し、それぞれ異なる圧縮処理を行って少なくとも２枚の圧縮画像を取得する圧縮手段と、
   前記少なくとも２枚の圧縮画像を伝送する伝送手段と、
   伝送された前記少なくとも２枚の圧縮画像を合成して合成画像を生成する合成手段と、
   前記合成画像の輝度分布情報を取得する輝度分布取得手段と、を備え、
   前記取得手段は、前記輝度分布取得手段により取得された輝度分布情報に基づいて、前記動画像の次のフレームにおける前記少なくとも２枚の露出の異なる画像の露出を制御し、
   前記圧縮手段は、前記少なくとも２枚の露出の異なる画像の露出と、前記輝度分布情報とに基づいて、前記少なくとも２枚の露出の異なる画像の圧縮処理を行うことを特徴とする撮像装置。
2. 前記取得手段は、前記合成画像の輝度分布情報により、被写体のダイナミックレンジが小さいと判定されるに従い、前記少なくとも２枚の露出の異なる画像のうちの露光時間の短い画像である低露出画像に対する露光時間の長い画像である高露出画像の露光時間の比を小さくし、被写体のダイナミックレンジが大きいと判定されるに従い、前記低露出画像に対する前記高露出画像の露光時間の比を大きくするように、露出を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記取得手段は、前記合成画像の輝度分布情報により、被写体のダイナミックレンジが小さいと判定されるに従い、前記低露出画像に対する前記高露出画像の露光時間の比を１に近づけることを特徴とする請求項２に記載の撮像装置。
4. 前記輝度分布取得手段は、前記合成画像の輝度のヒストグラムに基づいて、前記合成画像のダイナミックレンジを判定することを特徴とする請求項２または３に記載の撮像装置。
5. 前記圧縮手段は、前記低露出画像に対する前記高露出画像の露光時間の比に基づいて、前記高露出画像の上位ビットを削除する第１の圧縮処理を行うことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の圧縮処理では、前記高露出画像の上位ビットのうち、前記低露出画像でカバーされる範囲の上位ビットを削除することを特徴とする請求項５に記載の撮像装置。
7. 前記圧縮手段は、前記輝度分布情報に基づいて判定される前記合成画像の明るさに基づいて、前記低露出画像を階調圧縮する第２の圧縮処理を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記輝度分布取得手段は、前記合成画像の輝度のヒストグラムに基づいて、前記合成画像の明るさを判定することを特徴とする請求項７に記載の撮像装置。
9. 前記第２の圧縮処理では、ガンマカーブを調整することにより前記低露出画像を階調圧縮することを特徴とする請求項７または８に記載の撮像装置。
10. 前記伝送手段は、前記動画像のそれぞれのフレームごとに生成される前記少なくとも２枚の圧縮画像を所定のフレームレートで伝送することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記伝送手段は、メモリインターフェイスとバッファメモリとを有し、前記動画像のそれぞれのフレームごとに生成される前記少なくとも２枚の圧縮画像を、所定のデータレートで前記バッファメモリに伝送することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 被写体を撮像して動画像を出力する撮像手段を備える撮像装置を制御する方法であって、
    前記撮像手段から前記動画像の１フレームにつき少なくとも２枚の露出の異なる画像を取得する取得工程と、
    前記少なくとも２枚の露出の異なる画像に対し、それぞれ異なる圧縮処理を行って少なくとも２枚の圧縮画像を取得する圧縮工程と、
    前記少なくとも２枚の圧縮画像を伝送する伝送工程と、
    伝送された前記少なくとも２枚の圧縮画像を合成して合成画像を生成する合成工程と、
    前記合成画像の輝度分布情報を取得する輝度分布取得工程と、を有し、
    前記取得工程では、前記輝度分布取得工程において取得された輝度分布情報に基づいて、前記動画像の次のフレームにおける前記少なくとも２枚の露出の異なる画像の露出を制御し、
    前記圧縮工程では、前記少なくとも２枚の露出の異なる画像の露出と、前記輝度分布情報とに基づいて、前記少なくとも２枚の露出の異なる画像の圧縮処理を行うことを特徴とする撮像装置の制御方法。
13. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images