JP2010278890A

JP2010278890A - 画像形成装置、画像形成方法

Info

Publication number: JP2010278890A
Application number: JP2009130936A
Authority: JP
Inventors: Hideyuki Kinoshita; 英之木下
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-05-29
Filing date: 2009-05-29
Publication date: 2010-12-09

Abstract

【課題】良好なＨＤＲ画像を生成する為の技術を提供すること。
【解決手段】合成領域抽出部１０３、同輝度領域抽出部１０４は、露出を変化させながら撮影された複数枚の画像のそれぞれから、設定された輝度レンジ内の輝度値を有する領域を抽出する。位置ずれ補正部１０５は、抽出したそれぞれの領域のうち１以上の領域内の画像の位置ずれを補正する。ＨＤＲ合成部１０６は、補正した領域を含む、抽出した領域内の画像を合成した結果を、ＨＤＲ画像として生成する。ＨＤＲ画像統合部１０７は、複数枚の画像のうち基準として選択された基準画像に対して、それぞれの輝度レンジに対するＨＤＲ画像を合成することで、基準画像を更新する。
【選択図】図１

Description

本発明は、異なる露出条件で撮影した複数の画像を合成してダイナミックレンジの広い画像を作成する為の技術に関するものである。

屋外などにおいてデジタルカメラで撮影するとき、撮影可能な輝度レンジより撮影シーンの輝度レンジが広い場合がある。このとき、撮影可能な輝度レンジ外の被写体については、その階調情報を記録することができないため、白飛び・黒潰れが発生する。例えば、晴天時に屋外で人物を撮影する場合、人物に露出を合わせると背景の空や雲が白飛びしたり、木陰が黒潰れしたりするケースがある。しかし、人間の視覚には、見ている領域の明るさや色に応じて順応状態を切り替える、「局所順応」と呼ばれる特性があり、明るい場所／暗い場所ともに階調を知覚することができる。このため、シーンを見た際の印象と撮影画像を見た際の印象とが異なっている場合があり、この点がデジタルカメラユーザの不満となっている。

このような問題を解決する為の技術の１つに、ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅＩｍａｇｉｎｇ技術（ＨＤＲ技術）がある。ＨＤＲ技術は大きく分けて、「ＨＤＲキャプチャー技術」と「ＨＤＲ再現技術」とから構成される。

ＨＤＲキャプチャー技術は、撮影可能なダイナミックレンジを拡大し、白飛び・黒潰れが発生していた輝度レンジの階調情報を記録するための技術であり、たとえば、複数の露出で撮影した画像を合成するなどの方法がある。以下、このＨＤＲキャプチャー技術により取得される画像をＨＤＲ画像と呼ぶ。

ＨＤＲ再現技術は、ダイナミックレンジの広いＨＤＲ画像をダイナミックレンジの狭い表示／出力機器で好ましく再現するための画像処理技術であり、例えば、ＨＤＲ画像の低周波成分を圧縮するなどの方法がある。

このようにＨＤＲ技術では、ダイナミックレンジ拡大のためのキャプチャー技術と、ダイナミックレンジの広い撮影画像に対応した再現技術により、白飛び・黒潰れを軽減することができる。

ＨＤＲキャプチャー技術において、露出条件を互いに変更して同一被写体に対して複数回の撮影を行う際、当然ながら撮影と撮影の間には時間差が生じる。そのため、撮影装置のぶれや被写体のぶれや移動が生じていると、撮影画像間で相対的な位置ずれが発生することがある。撮影画像間において被写体のずれが生じている場合に、被写体のずれを考慮せずに撮影画像全体を重ね合わせるように合成してＨＤＲ画像を生成すると、その合成画像には被写体が二重に写ってしまうことになってしまう。従って、異なる露出で撮影した画像を合成する際には、合成対象となる画像の重ね合わせを正確に行う必要があるといえる。

擬似輪郭の発生を抑制する手段として、特許文献１には、画像データから被写体のぶれを検出し、ぶれている領域の画像データは合成の際には使用しないという手法が提案されている。

特開２００５−０４５８０４号公報

しかしながら、特許文献１に記載の技術では、露出条件の異なる複数枚の画像を用いてＨＤＲ画像を生成するべき部位に、規定枚数以下の画像の情報のみしか用いないという場合が生じる。これでは、擬似輪郭の発生は抑制できるものの、画像の細部にわたってＨＤＲ画像形成は行えないという課題があった。

従って、擬似輪郭を抑制しつつ細部にわたってＨＤＲ画像を生成する為には、撮影装置のぶれや被写体のぶれや移動を考慮し、画像の位置ずれを細部まで補正して、画像の合成を行うことが必要となる。本発明は、上述の課題に鑑みてなされたものであり、良好なＨＤＲ画像を生成する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、露出を変化させながら撮影された複数枚の画像を入力する手段と、前記複数枚の画像のそれぞれから、設定された輝度レンジ内の輝度値を有する領域を抽出する抽出手段と、前記抽出手段が抽出したそれぞれの領域内の画像の位置ずれを補正する補正手段と、前記補正手段が補正した領域を含む前記抽出手段が抽出した領域内の画像を合成した結果を、ＨＤＲ画像として生成する合成手段と、複数種類の異なる輝度レンジを順次設定し、設定した輝度レンジについて前記抽出手段、前記補正手段、前記合成手段を動作させることで、それぞれの輝度レンジに対するＨＤＲ画像を生成する手段と、前記複数枚の画像のうち基準として選択された基準画像に対して、それぞれの輝度レンジに対するＨＤＲ画像を合成することで、前記基準画像を更新する更新手段とを備えることを特徴とする。

本発明の構成により、良好なＨＤＲ画像を生成することができる。

第１の実施形態に係る画像処理装置の機能構成例を示すブロック図。段階露出画像の例を示す図。ＨＤＲ合成対象領域を抽出する処理のフローチャート。同輝度領域抽出部１０４、位置ずれ補正部１０５、ＨＤＲ合成部１０６、ＨＤＲ画像統合部１０７が行う処理のフローチャート。段階露出画像の各画像の最大輝度値を示す図。ステップＳ４０３における処理のフローチャート。ブロックマッチング法を説明するための図。ステップＳ４０９における処理の詳細を示すフローチャート。コンピュータのハードウェア構成例を示すブロック図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、段階露出（ｂｒａｃｋｅｔｉｎｇ）を使用して取得された画像群を用いてＨＤＲ画像を生成する場合について述べる。段階露出とは、写真技術で用いられる用語であり、最適な露出レベルの写真を１枚得ることを期待して複数の露出設定で同一シーンの写真を複数枚取ることを意味する。図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。

図１に示す如く、本実施形態に係る画像処理装置は、撮像装置１９０、合成領域抽出部１０３、同輝度領域抽出部１０４、位置ずれ補正部１０５、ＨＤＲ合成部１０６、ＨＤＲ画像統合部１０７、により構成されている。

また、撮像装置１９０は、撮像部１０１、撮像制御部１０２、により構成されている。撮像部１０１は、一般的なデジタルカメラのように、絞りやシャッター、レンズ群、撮像素子、を備える。撮像制御部１０２は、シャッター駆動、絞り駆動、焦点駆動、ズーム駆動等を制御する。

撮像制御部１０２による制御の元で、撮像部１０１により、段階露出画像を取得する。本実施形態では、段階露出画像とは、露出時間を段階的に変更して（露出を変化させながら）撮影された画像群を意味する。例えば、段階露出画像には、適正露出の画像（適正露出画像）、適正露出画像取得時の露出時間に比して相対的に長い露出時間の撮影による画像（長露出画像）、相対的に短い露出時間の撮影による画像（短露出画像）のセットが含まれている。ただし、段階露出画像は、露出時間を段階的に変更して得られたものに限定するわけではなく、絞りを段階的に変更して得られたものでもよい。即ち、撮像パラメータをそれぞれ異ならせて撮影することで取得した複数の画像の集合を段階露出画像として良い。

図２は、段階露出画像の例を示す図である。図２に示す如く、本実施形態では、段階露出画像は、露光時間の長い順に画像ＩＭ１、画像ＩＭ２、画像ＩＭ３・・・で構成されるとする。

図１に戻って、合成領域抽出部１０３は、撮像装置１９０から入力された段階露出画像を構成するそれぞれの画像について、白飛び・黒潰れしている領域を除外し、合成対象領域を抽出する（第１の手段）。

同輝度領域抽出部１０４は、合成領域抽出部１０３がそれぞれの画像から抽出した領域のそれぞれから、「撮影シーンで同輝度となる領域」を、同輝度領域として抽出する。位置ずれ補正部１０５は、同輝度領域抽出部１０４が各画像から抽出した同輝領域間での位置のずれを補正する。

ＨＤＲ合成部１０６は、位置ずれ補正部１０５が位置ずれ補正を行ったそれぞれの同輝度領域を合成し、ダイナミックレンジを拡大したＨＤＲ画像を生成する。ＨＤＲ画像統合部１０７は、それぞれの輝度レンジ毎に同輝度領域抽出部１０４、位置ずれ補正部１０５、ＨＤＲ合成部１０６により生成されたＨＤＲ画像を合成し、最終的なＨＤＲ画像を生成する。

以下では、合成領域抽出部１０３、同輝度領域抽出部１０４、位置ずれ補正部１０５、ＨＤＲ合成部１０６、ＨＤＲ画像統合部１０７のそれぞれについてより詳細に説明する。

上述の通り、合成領域抽出部１０３には、撮像装置１９０から送出された段階露出画像が入力される。この段階露出画像を構成する画像群の中には、白飛びが生じている領域を含む画像や、黒潰れが生じている領域を含む画像も含まれ得る。これらの領域では画像の特徴が失われているため、各画像からこれらの領域を除外し、その残りの領域をＨＤＲ合成対象領域として抽出する必要がある。

段階露出画像中のある１つの画像から、合成領域抽出部１０３がＨＤＲ合成対象領域を抽出する処理について、同処理のフローチャートを示す図３を用いて説明する。即ち、実際には、合成領域抽出部１０３は、段階露出画像を構成する各画像について、図３に示すフローチャートに従った処理を行う。

先ず、ステップＳ３０１では、合成領域抽出部１０３は、画像中のｉ（１≦ｉ≦Ｎ：Ｎは１つの画像を構成する画素の数）番目の画素の画素値と、予め定められた閾値Ｔｈ１との大小比較を行う。この閾値Ｔｈ１は、白飛び領域に属する画素の画素値が取りうる下限値として予め定められたものである。

この大小比較の結果、ｉ番目の画素の画素値＜Ｔｈ１の場合には処理をステップＳ３０２に進める。一方、ｉ番目の画素の画素値≧Ｔｈ１の場合、ｉ番目の画素は白飛びしている画素と判断し、処理をステップＳ３０３に進める。

ステップＳ３０２では、合成領域抽出部１０３は、画像中のｉ番目の画素の画素値と、予め定められた閾値Ｔｈ２との大小比較を行う。この閾値Ｔｈ２は、黒潰れ領域に属する画素の画素値が取りうる上限値として予め定められたものである。

この大小比較の結果、ｉ番目の画素の画素値＞Ｔｈ２の場合（上限値より大きい場合）には処理をステップＳ３０４に進める。一方、ｉ番目の画素の画素値≦Ｔｈ２の場合（上限値以下の場合）、ｉ番目の画素は黒潰れしている画素と判断し、処理をステップＳ３０３に進める。

ステップＳ３０３では、ｉ番目の画素についてはＨＤＲ合成の対象外とする。例えば、ｉ番目の画素に対するフラグ値を０（ＨＤＲ合成対象外画素）に設定する。その後、処理をステップＳ３０５に進める。

一方、ステップＳ３０４では、ｉ番目の画素についてはＨＤＲ合成対象とする。例えば、ｉ番目の画素に対するフラグ値を１（ＨＤＲ合成対象画素）に設定する。その後、処理をステップＳ３０５に進める。

ステップＳ３０５では、１つの画像を構成する全ての画素について上記処理を行った否かを判断する（ｉ＝Ｎか否かを判断する）。係る判断の結果、１つの画像を構成する全ての画素について上記処理を行った場合（ｉ＝Ｎ）、本画像に対する処理を終了する。一方、１つの画像を構成する全ての画素について上記処理を行っていない場合（ｉ＜Ｎ）、処理をステップＳ３０１に戻し、次の画素（（ｉ＋１）番目の画素）についてステップＳ３０１以降の処理を行う。

図３のフローチャートに従った処理を行うことで、１つの画像から、ＨＤＲ合成対象画素で構成されたＨＤＲ合成対象領域を求めることができる。これは例えば、フラグ値が１である画素で構成されている領域を、ＨＤＲ合成対象領域として抽出しても良い。なお、上記閾値Ｔｈ１、Ｔｈ２は、画像撮影時の露出条件を考慮して、画像に応じて適宜設定する必要があるので、上記例に限定するものではない。

次に、同輝度領域抽出部１０４、位置ずれ補正部１０５、ＨＤＲ合成部１０６、ＨＤＲ画像統合部１０７が行う処理について、同処理のフローチャートを示す図４を用いて以下説明する。

ステップＳ４０１において、同輝度領域抽出部１０４は先ず、各画像について合成領域抽出部１０３が抽出したＨＤＲ合成対象領域の輝度値を求める処理を行う。本実施形態では、段階露出画像を構成する各画像は何れも、ＲＧＢ色空間で表される色形式を有するものとして説明するが、これに限定するものではない。ＲＧＢ色空間からシーンの輝度値Ｙへの変換には、次の変換式を用いる（第２の手段）。

Ｙ＝（０.２９９×Ｒ＋０.５８７×Ｇ＋０.１１４×Ｂ）×ｋ
ｋは、段階露出画像中のある画像を取得したときの露出時間を基準としたときの、他の画像取得時における露光時間の長さの逆比から求められる係数を指す。ここでは、適正露出画像のｋを１とし、露出時間が長い画像ほど小さい値となる。即ち、画像毎にｋは異なり、ある画像から抽出したＨＤＲ合成対象領域を構成する各画素の輝度値Ｙは、この画像に対するｋを用いて上記式により求める。

段階露出画像の各画像のＲＧＢは、露出時間に比例した大きさとなることが知られている。従って、露出時間の逆比ｋを乗算することで、段階露出画像のデータを撮影シーンの輝度値のデータに統一することができる。

次に、ステップＳ４０２では、同輝度領域抽出部１０４は、輝度レンジを複数種類、設定する。例えば、段階露出画像の各画像の最大輝度値が、図５に示す如く、露出時間が長い画像順に、Ｙ１、Ｙ２、Ｙ３・・・（Ｙ１＜Ｙ２＜Ｙ３＜・・・）であれば、輝度レンジをＹ０〜Ｙ１、Ｙ１〜Ｙ２、Ｙ２〜Ｙ３・・・と設定する。ここで、Ｙ０は、最も露出時間の長い画像ＩＭ１の最小輝度値である。そして、同輝度領域抽出部１０４は、以降の処理で用いる輝度レンジとして先ず、Ｙ０〜Ｙ１を設定する。

ステップＳ４０３では、同輝度領域抽出部１０４は、段階露出画像の各画像から、輝度値がＹ０〜Ｙ１の範囲にある領域を同輝度領域として抽出する処理を行う。なお、係る抽出処理では、ＨＤＲ合成対象領域を対象とし、白飛び領域や黒潰れ領域については対象外とする。

段階露出画像中のある１つの画像から、同輝度領域抽出部１０４が輝度レンジ内の輝度値を有する領域を同輝度領域として抽出する処理、即ち、ステップＳ４０３における処理について、同処理のフローチャートを示す図６を用いて説明する。即ち、実際には、同輝度領域抽出部１０４は、段階露出画像を構成する各画像について、図６に示すフローチャートに従った処理を行う。

先ず、ステップＳ６０１では、同輝度領域抽出部１０４は、画像中のＨＤＲ合成対象領域中のｉ（１≦ｉ≦Ｎ：Ｎはこの画像のＨＤＲ合成対象領域を構成する画素の数）番目の画素の輝度値とＹ０との大小比較を行う。この大小比較の結果、ｉ番目の画素の輝度値≧Ｙ０の場合には処理をステップＳ６０２に進める。一方、ｉ番目の画素の輝度値＜Ｙ０の場合、処理をステップＳ６０４に進める。

ステップＳ６０２では、同輝度領域抽出部１０４は、画像中のＨＤＲ合成対象領域中のｉ番目の画素の輝度値とＹ１との大小比較を行う。この大小比較の結果、ｉ番目の画素の輝度値＜Ｙ１の場合には処理をステップＳ６０３に進める。一方、ｉ番目の画素の輝度値≧Ｙ１の場合、処理をステップＳ６０４に進める。

ステップＳ６０３では、ｉ番目の画素については抽出対象領域とする。例えば、ｉ番目の画素に対するフラグ値を１（抽出対象領域）に設定する。その後、処理をステップＳ６０４に進める。

ステップＳ６０４では、ＨＤＲ合成対象領域を構成する全ての画素について上記処理を行った否かを判断する（ｉ＝Ｎか否かを判断する）。係る判断の結果、ＨＤＲ合成対象領域を構成する全ての画素について上記処理を行った場合（ｉ＝Ｎ）、本画像に対する処理を終了する。一方、ＨＤＲ合成対象領域を構成する全ての画素について上記処理を行っていない場合（ｉ＜Ｎ）、処理をステップＳ６０１に戻し、次の画素（（ｉ＋１）番目の画素）についてステップＳ６０１以降の処理を行う。

図６のフローチャートに従った処理を行うことで、１つの画像のＨＤＲ合成対象領域から、輝度レンジＹ０〜Ｙ１内の輝度値を有する画素群で構成される領域を同輝度領域として抽出することができる。これは例えば、フラグ値が１である画素で構成されている領域を、同輝度領域として抽出しても良い。

図４に戻って、次に、ステップＳ４０４では、位置ずれ補正部１０５は、段階露出画像の各画像を重ね合わせたときに、同輝度領域抽出部１０４が抽出したそれぞれの同輝度領域内の画像が一致するように、段階露出画像の各画像の位置を決める。係る処理では、段階露出画像中の任意の画像から抽出された同輝度領域を基準とし、この基準となる同輝度領域に対して、その他の画像から抽出された同輝度領域を重ね合わせる。

更に、本ステップにおける処理の一例として、並進、回転、拡大縮小に伴う同輝度領域同士の位置ずれを補正する全体位置補正を行った後で、精細位置補正として各画素間で並進のずれによる微小な位置ずれを補正する方法を示す。全体位置補正では、並進や回転、スケール変換を扱うＡｆｆｉｎｅ変換を用いるのが容易である。Ａｆｆｉｎｅ変換によって画像を変換する方法は次式のように定義される。

｜ｘ’｜｜ａｂ｜｜ｘ｜｜ｅ｜
｜｜＝｜｜｜｜＋｜｜
｜ｙ’｜｜ｃｄ｜｜ｙ｜｜ｆ｜
画像Ａに対して画像Ｂの位置ずれを補正する場合、即ち、画像Ｂの位置をＡｆｆｉｎｅ変換によって補正する場合には、この式における（ｘ’、ｙ’）は画像Ａの座標位置、（ｘ、ｙ）はＡｆｆｉｎｅ変換によって補正する対象となる画像の座標位置となる。（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）は、並進、回転、スケール変換等を表すＡｆｆｉｎｅ変換のパラメータである。上記式に基づいて、画像Ｂの位置を補正することとなる。このようなＡｆｆｉｎｅ変換を用いて、同輝度領域抽出部１０４が抽出したそれぞれの同輝度領域内の画像が一致するように、それぞれの画像の位置を補正すればよい。

しかし、同輝度領域中で画素位置によって並進量が異なる場合には、画像中に歪みが生じている。たとえば、被写体の微妙な姿勢の違いは、画像中において数画素単位のずれとなって現れ、画像の歪みとなる。このような画素ごとに現れる歪みは、上記全体位置補正で十分に補正することはできず、ＨＤＲ画像形成の際に擬似輪郭の発生要因となってしまう。

そこで全体位置補正では補正できない画像中の歪みを補正するために、次に、精細位置補正を行う。この精細位置補正は、画素単位で微小な位置ずれを補正することを目的とし、各画素間での並進量のみを補正する。

精細位置補正では、たとえば、ブロックマッチング法を用いる。図７に示すように、位置合わせ対象となっている２つの画像をブロック単位に分割する。そして、ブロックマッチング法により、ブロック中心のずれ量を検出する。係る処理では、ある画像のブロックに対応する、もう一方の画像のブロックを近傍で順次動かしながらサーチすればよい。

すべてのブロックの組み合わせに対して、ブロック中心のずれ量を検出した後、次に、同輝度領域中の各画素についてずれ量を算出する。画素単位でのずれ量の見積もりは、ブロック中心に該当する画素が保持するずれ量から線形補間等によって求めればよい。ブロックマッチング法の計算式については、下記の文献にあるような方法を用いるとよい。

E. De Castro and C. Morandi "Registration of Translated and Rotated Images Using Finite Fourier Transforms", IEEE Transactions on pattern analysis and machine intelligence, Sept. 1987
すべての画素についてずれ量を求めた後、そのずれ量を用いて各画素を移動することで精細位置補正は終了する。以上のような位置補正処理によって、同輝度領域同士の位置合わせを行う。

もちろん、同様の目的を達成することができるのであれば、ステップＳ４０４において行う処理は、上記処理に限定するものではない。次に、ステップＳ４０５では、位置ずれ補正部１０５は、位置補正が十分に行われた否かを判定する。位置補正が十分か否かの判定は例えば、位置補正後の同輝度領域画像間での相関演算を行い、相関値がある閾値以上である場合には位置補正が十分とみなし、相関値がある閾値未満の場合には位置補正が不十分とみなす、といった方法により行うことが可能である。ステップＳ４０４での位置補正を行ったにも関わらず、同輝度領域同士の位置ずれが顕著である場合、ステップＳ４０６でのＨＤＲ合成は行わないとする。即ち、この場合には処理をステップＳ４０７に進める。

ステップＳ４０７では、ＨＤＲ合成部１０６は、適正露出画像から抽出した該輝度レンジの画像領域を、後段のステップＳ４０９で使用するＨＤＲ画像の代替として設定する。

一方、位置補正が十分に行われた場合には、処理をステップＳ４０６に進める。ステップＳ４０６では、ＨＤＲ合成部１０６が、同輝度領域の画像を合成し、ＨＤＲ画像を生成する。ＨＤＲ画像の生成では、ＨＤＲ合成に用いる各画像の画素値ＲＧＢに各画像に対応する前述のｋを乗じた値の平均値を、ＨＤＲ画像の画素値とする。すなわち、ＨＤＲ画像の画素値ＲＧＢは、下記式に基づいて求める。

ＲＧＢ_ＨＤＲ＝Σ（ＲＧＢ_ｉ×ｋ_ｉ）／ｎ
ここで、ｎは合成に用いる画像の数であり、Σはｉについて１からｎまでの総和を示す。ＲＧＢ_ｉは、ｉ番目の画像の画素値を示している。ｋ_ｉは、前述の、ｉ番目の画像に対する露光時間の逆比である。なお、ＨＤＲ画像形成には、特開２００２-２９０８２９号公報に記載の技術を用いても良い。以上の処理により、輝度レンジＹ０〜Ｙ１に属する輝度値を有する画素群で構成される領域、即ち同輝度領域について、擬似輪郭のないＨＤＲ画像を生成することができる。

次に、ステップＳ４０２で設定した全ての輝度レンジについてステップＳ４０３〜ステップＳ４０７の処理を行った場合には処理をステップＳ４０８を介してステップＳ４０９に進める。一方、ステップＳ４０２で設定した全ての輝度レンジについてステップＳ４０３〜ステップＳ４０７の処理を行っていない場合には処理をステップＳ４０８を介してステップＳ４０２に戻し、未だ設定していない輝度レンジを設定し、以降の処理（動作）を行う。例えば本実施形態では最初に輝度レンジＹ０〜Ｙ１を設定したので、次は輝度レンジＹ１〜Ｙ２を設定し、ステップＳ４０３以降の処理を行う。このように、それぞれの輝度レンジを順次設定し、それぞれの輝度レンジに対するＨＤＲ画像を生成する。

これにより、処理をステップＳ４０９に進めた時点では、それぞれの輝度レンジについてＨＤＲ画像を取得していることになるので、ステップＳ４０９においてＨＤＲ画像統合部１０７は、それぞれのＨＤＲ画像を合成（統合）する。

本実施形態では、各輝度レンジのＨＤＲ画像を統合する際には、段階露出画像中の適正露出画像（基準画像）内での輝度分布を参考に、各輝度レンジのＨＤＲ画像データを配置し、最終ＨＤＲ画像の画像データを生成する。適正露出画像内での輝度分布を参考にするのは、適正露出画像は白飛びや黒潰れがないことが多く、撮影シーンの輝度値情報を十分に含んでいるためである。そこで、本実施形態では、最終ＨＤＲ画像の画像データ生成時は、画像データとして適正露出画像の複製を用意しておき、その画像データに対して上書き（更新）する方法を採用する。

ＨＤＲ画像データの配置とは、次のような処理を指す。例えば、輝度レンジＹ０〜Ｙ１のＨＤＲ画像の配置を例にとる。輝度レンジＹ０〜Ｙ１のＨＤＲ画像の重心となる画素位置（ｇｘ、ｇｙ）が、適正露出画像中で輝度レンジＹ０〜Ｙ１の領域の重心となる画素の座標位置（Ｇｘ、Ｇｙ）となるように、輝度レンジＹ０〜Ｙ１のＨＤＲ画像データを割り当てることである。これは、撮影シーンの輝度分布とＨＤＲ画像統合時の輝度分布とが同一となるように、撮影シーンの最終ＨＤＲ画像を生成するためである。他の輝度レンジのＨＤＲ画像を配置する際にも同様のことがいえる。

また本実施形態においてＨＤＲ画像の配置では、配置するＨＤＲ画像の輝度値が昇順又は降順となるように、即ち輝度値の小さいＨＤＲ画像から順に配置し、複製した適正露出画像の画像データを上書きする。または、輝度値の大きいＨＤＲ画像から順に配置し、複製した適正露出画像の画像データを上書きする。

なお、ＨＤＲ画像配置時の輝度の降順、昇順は、輝度レンジごとの面積により決定するとし、輝度レンジごとのＨＤＲ画像のうち、面積の大きいＨＤＲ画像ほど後半で配置する。輝度レンジごとの面積は、適正露出画像の平均輝度Ｙ_ＡＶＥと中間輝度値Ｙ_ＭＩＤから簡易的に推定する。簡易的にとは、本実施形態では、Ｙ_ＡＶＥ＞Ｙ_ＭＩＤであれば、輝度の高い部位の面積が大きいと判断する。

図８は、ＨＤＲ画像統合部１０７が行う画像統合処理、即ち、上記ステップＳ４０９における処理の詳細を示すフローチャートである。先ず、ステップＳ８０１では、適正露出画像の最小輝度値Ｙ_ＭＩＮと最大輝度値Ｙ_ＭＡＸとから、次式より適正露出画像の中間輝度値Ｙ_ＭＩＤを算出する。

Ｙ_ＭＩＤ＝（Ｙ_ＭＩＮ＋Ｙ_ＭＡＸ）／２
次に、ステップＳ８０２では、適正露出画像の平均輝度値Ｙ_ＡＶＥを算出する。次に、ステップＳ８０３では、各輝度レンジのＨＤＲ画像を配置する際の昇順、降順を決定するために、中間輝度値Ｙ_ＭＩＤと平均輝度値Ｙ_ＡＶＥとの大小比較処理を行う。係る大小比較処理の結果、Ｙ_ＡＶＥ＞Ｙ_ＭＩＤである場合には、処理をステップＳ８０４に進める。ステップＳ８０４では、輝度レンジの低いＨＤＲ画像から順に、上述のように適正露出画像への統合処理を行う。なお、確保した画像領域内に各輝度レンジのＨＤＲ画像を順次配置した際に、ＨＤＲ画像同士の領域が重なる際には、輝度レンジの高い方のＨＤＲ画像を優先する。つまり、重なった領域は、輝度レンジの高い方のＨＤＲ画像のデータで上書きする。

一方、Ｙ_ＡＶＥ≦Ｙ_ＭＩＤの場合には、処理をステップＳ８０５に進める。ステップＳ８０５では、輝度レンジの高いＨＤＲ画像から順に、上述のように適正露出画像への統合処理を行う。その際、各輝度レンジのＨＤＲ画像同士で領域が重なる際には、その領域は、輝度レンジの低い方のＨＤＲ画像を優先する。以上のようにして、ＨＤＲ画像統合部１０７は最終ＨＤＲ画像を生成する。

なお、この最終ＨＤＲ画像はその後、ディスプレイなどの表示装置上に表示しても良いし、ファイルとして記憶媒体に記録しても良い。即ち、最終ＨＤＲ画像の出力先については特に限定するものではない。

以上説明したように、第１の実施形態によれば、撮影シーンのＨＤＲ画像を生成する際に、撮影シーンの中で同輝度レンジを持つ領域毎に位置補正とＨＤＲ合成を行うことにより、擬似輪郭のないＨＤＲ画像を生成することができる。

＜変形例＞
第１の実施形態では、輝度レンジを変更しながら、すべての輝度レンジ毎に画像を抽出し、位置補正を施したのちにＨＤＲ画像を生成し、それらのＨＤＲ画像を統合して最終的なＨＤＲ画像を生成した。

しかし、すべての輝度レンジについて位置補正を施す必要はなく、ＨＤＲ画像を生成する際に位置補正処理を施す輝度レンジを指定（選択）してもよい。例えば、各輝度レンジの画像領域の大きさを比較し、面積が最大となる輝度レンジに対してのみ、位置補正を行うとしてもよい。

［第２の実施形態］
第１の実施形態（変形例を含む）では、図１に示した各部は全てハードウェアでもって構成されており、且つ画像処理装置がこれら全てのハードウェアを含むものとして説明した。しかし、合成領域抽出部１０３、同輝度領域抽出部１０４、位置ずれ補正部１０５、ＨＤＲ合成部１０６、ＨＤＲ画像統合部１０７のそれぞれをソフトウェアで実装し、これらのソフトウェアをＰＣ（パーソナルコンピュータ）等のコンピュータに格納しても良い。この場合、このコンピュータが有するＣＰＵが係るソフトウェアを実行することで、このコンピュータは、これらの各部の機能を実現することになる。なお、その場合には当然、このコンピュータには、撮像装置１９０が接続されることになり、このコンピュータはこの撮像装置１９０から段階露出画像を取得し、この段階露出画像を用いて処理を行うことになる。

図９は、合成領域抽出部１０３、同輝度領域抽出部１０４、位置ずれ補正部１０５、ＨＤＲ合成部１０６、ＨＤＲ画像統合部１０７のそれぞれに対応するソフトウェアを実行するコンピュータのハードウェア構成例を示すブロック図である。

ＣＰＵ９０１は、ＲＡＭ９０２やＲＯＭ９０３に格納されているコンピュータプログラムやデータを用いて本コンピュータ全体の制御を行うと共に、上記画像処理装置が行うものとして上述した各処理を実行する。

ＲＡＭ９０２は、外部記憶装置９０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）９０７を介して撮像装置１９０から受信した段階露出画像を一時的に記憶するためのエリアを有する。更にＲＡＭ９０２は、ＣＰＵ９０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ９０２は、各種のエリアを適宜提供することができる。ＲＯＭ９０３には、本コンピュータの設定データや、ブートプログラム等が格納されている。

操作部９０４は、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、各種の指示をＣＰＵ９０１に対して入力することができる。表示装置９０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ９０１による処理結果を画像や文字などでもって表示することができる。例えば、段階露出画像中の各画像や、同輝度領域、上述の最終ＨＤＲ画像等、をこの表示装置９０５の表示画面上に表示しても良い。

外部記憶装置９０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置９０６には、例えば次のような情報が保存されている。即ち、ＯＳ（オペレーティングシステム）や、合成領域抽出部１０３、同輝度領域抽出部１０４、位置ずれ補正部１０５、ＨＤＲ合成部１０６、ＨＤＲ画像統合部１０７の各部の機能をＣＰＵ９０１に実現させる為のコンピュータプログラム等が保存されている。もちろん、段階露出画像を予め取得してこの外部記憶装置９０６に保存しておいても良い。

外部記憶装置９０６に保存されているコンピュータプログラムやデータは、ＣＰＵ９０１による制御に従って適宜ＲＡＭ９０２にロードされ、ＣＰＵ９０１による処理対象となる。

Ｉ／Ｆ９０７には、上記撮像装置１９０が接続され、撮像装置１９０によって撮像された段階露出画像は、このＩ／Ｆ９０７を介してＲＡＭ９０２や外部記憶装置９０６に格納される。９０８は上述の各部を繋ぐバスである。

また、本発明は、前述した実施形態の機能をコンピュータに実現させるためのコンピュータプログラムや、これを記録したコンピュータ読み取り可能な記憶媒体、によっても達成しうることは自明である。

Claims

露出を変化させながら撮影された複数枚の画像を入力する手段と、
前記複数枚の画像のそれぞれから、設定された輝度レンジ内の輝度値を有する領域を抽出する抽出手段と、
前記抽出手段が抽出したそれぞれの領域内の画像の位置ずれを補正する補正手段と、
前記補正手段が補正した領域を含む前記抽出手段が抽出した領域内の画像を合成した結果を、ＨＤＲ画像として生成する合成手段と、
複数種類の異なる輝度レンジを順次設定し、設定した輝度レンジについて前記抽出手段、前記補正手段、前記合成手段を動作させることで、それぞれの輝度レンジに対するＨＤＲ画像を生成する手段と、
前記複数枚の画像のうち基準として選択された基準画像に対して、それぞれの輝度レンジに対するＨＤＲ画像を合成することで、前記基準画像を更新する更新手段と
を備えることを特徴とする画像処理装置。
前記抽出手段は、
白飛び領域に属する画素が取りうる下限値よりも小さく、黒潰し領域に属する画素が取りうる上限値よりも大きい画素値を有する領域を、前記複数枚の画像のそれぞれから抽出する第１の手段と、
前記第１の手段が抽出したそれぞれの領域から、前記設定された輝度レンジ内の輝度値を有する領域を抽出する第２の手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
前記第２の手段は、前記第１の手段が抽出したそれぞれの領域内の輝度値を、各画像の露出時間に応じて補正し、補正した輝度値が、前記設定された輝度レンジ内の輝度値となる領域を抽出することを特徴とする請求項１又は２に記載の画像処理装置。
前記補正手段は、前記複数枚の画像を重ねた場合に、前記抽出手段が抽出したそれぞれの領域が一致するように、それぞれの画像の位置ずれを補正することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
前記合成手段は、合成する領域の重心となる画素位置が、合成される領域の重心となる画素の座標位置となるように、これらの領域を合成する処理を、それぞれの領域について行うことで、ＨＤＲ画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
前記更新手段は、
前記基準画像の平均輝度値Ｙ_ＡＶＥと中間輝度値Ｙ_ＭＩＤとの大小比較を行う手段と、
Ｙ_ＡＶＥ＜Ｙ_ＭＩＤである場合には、輝度レンジの低いＨＤＲ画像から順に前記基準画像に対して合成し、Ｙ_ＡＶＥ≧Ｙ_ＭＩＤである場合には、輝度レンジの高いＨＤＲ画像から順に前記基準画像に対して合成する手段と
を備えることを特徴とする請求項２に記載の画像処理装置。
露出を変化させながら撮影された複数枚の画像を入力する工程と、
前記複数枚の画像のそれぞれから、設定された輝度レンジ内の輝度値を有する領域を抽出する抽出工程と、
前記抽出工程で抽出したそれぞれの領域内の画像の位置ずれを補正する補正工程と、
前記補正工程で補正した領域を含む前記抽出工程で抽出した領域内の画像を合成した結果を、ＨＤＲ画像として生成する合成工程と、
複数種類の異なる輝度レンジを順次設定し、設定した輝度レンジについて前記抽出工程、前記補正工程、前記合成工程を動作させることで、それぞれの輝度レンジに対するＨＤＲ画像を生成する工程と、
前記複数枚の画像のうち基準として選択された基準画像に対して、それぞれの輝度レンジに対するＨＤＲ画像を合成することで、前記基準画像を更新する更新工程と
を備えることを特徴とする画像処理方法。
コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
請求項８に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。