JP3458741B2 - 撮像方法及び撮像装置、画像処理方法及び画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、互いに異なる露光
条件で撮像した複数の画像を合成し、階調再現性の優れ
た画像を生成する撮像方法及び撮像装置に関し、特に、
ビデオカメラやスチルカメラ、監視カメラ、車載カメラ
等に適用されて好適な撮像方法及び撮像装置に関する。
また、本発明は、互いに異なる露光条件で撮像した複数
の画像を入力して、これらの画像を合成し、階調再現性
の優れた画像を生成する画像処理方法及び画像処理装置
に関する。

【０００２】

【従来の技術】露光量が互いに異なる複数の画像を撮像
するための露光量制御方法としては、例えば、撮像素子
としてＣＣＤ（Charge Coupled Device）を用い、電子
シャッタにより露光時間を変化させ、時分割的に複数の
画像を撮像するものがある。この露光量制御方法の原理
を図２６を用いて説明する。同図における横軸は、時間
方向を表し、縦軸は、撮像素子における蓄積電荷量を表
している。この露光量制御方法では、あるフィールド期
間において、通常の撮像と同様に、電荷の蓄積と電荷の
読み出しとを行い、その後の垂直ブランキング期間を利
用して、再度電荷の蓄積と電荷の読み出しとを行う。こ
のように時間分割による露光量制御を行うことで、１フ
ィールド期間に対応して露光時間が互いに異なる２枚の
画像を得ることができる。

【０００３】また、露光量が互いに異なる複数の画像を
撮像するための別の露光量制御方法としては、図２７に
示すように、透過率が互いに異なるＮＤ（Neutral Dens
ity）フィルタを、撮像素子上の各画素の上に配列し、
空間分割的に露光量が互いに異なる画像を撮像するもの
がある。このように空間分割による露光量制御を行うこ
とでも、露光量が互いに異なる複数の画像を得ることが
できる。

【０００４】さらにまた、露光量が互いに異なる複数の
画像を撮像するためのさらに別の露光量制御方法として
は、図２８に示すように、複数の撮像素子を用意し、各
撮像素子の入射光が入射する面に透過率が互いに異なる
ＮＤフィルタを設置して複数の画像を撮像するものもあ
る。このように多板撮像素子による露光量制御を行うこ
とで、空間解像度を落とすことなく、露光量が互いに異
なる複数の画像を得ることができる。

【０００５】一方、露光量が互いに異なる複数の画像を
合成する合成方法としては、撮像された露光量の比に応
じた係数を各画像に乗算し、その後しきい値処理により
各画像を切り替えるものがある。この合成方法の原理を
図２９を用いて説明する。同図における横軸は、撮像素
子への入射光量を表し、縦軸は、撮像素子からの出力信
号のレベル、すなわち撮像された画像の画素レベルを表
している。同図における長い露光時間で撮像された画像
yLは、傾きの大きい直線で表され、入射光量があるレベ
ル以上の領域では、撮像素子の飽和により出力信号のレ
ベルが一定の値となっている。また、短い露光時間で撮
像された画像ySは、傾きの小さい直線で表され、画像yL
の場合よりも高い入射光量で出力信号が飽和する。この
合成方法では、まずはじめに、短時間露光により得られ
た画像ySに対応する出力信号に対し、係数gが乗算さ
れ、画像ySを表す直線部分の傾きが、画像yLを表す直線
部分の傾きに合わせられる。その後、画像yLに対応する
出力信号を参照し、そのレベルがあるしきい値TH以下で
ある場合には、画像yLに対応する出力信号を選択する。
また、画像yLに対応する出力信号を参照し、そのレベル
がしきい値THよりも大きい場合には、画像ySに対応する
出力信号を選択する。このようにして、露光量が互いに
異なる複数の画像を合成する。ここで、合成画像に対応
する出力信号のレベルをy'とすると、上述した合成処理
は、式（１）のように表される。

【０００６】

【数１】

【０００７】また、画像ySに対応する信号に乗算される
係数gは、各露光時間の比であり、式（２）により表さ
れる。

【０００８】

【数２】

【０００９】この式（２）におけるT_long，T_shortは、
それぞれ、長時間露光、短時間露光における露光時間で
ある。したがって、露光時間の比がＮ倍である場合、合
成画像のダイナミックレンジは、Ｎ倍に拡大されたこと
になる。

【００１０】なお、露光時間が３種類以上ある場合に
は、露光時間の長いものから順に、式（１）に示す合成
処理を繰り返し適用すればよい。

【００１１】また、ここでは、図２６に示したように、
露光時間によって露光量を制御することにより得られた
画像を合成することを前提として説明したが、図２７又
は図２８に示した露光量制御方法を行うことにより得ら
れた画像に対しても、同様な合成方法を施すことができ
る。

【００１２】以上のようにして生成されたダイナミック
レンジの広い画像を、出力すべき伝送系或いは表示装置
等の能力に応じて圧縮する圧縮方法としては、入力画像
の各画素に対して、その画素レベルを図３０に示すよう
な入出力関係を有するレベル変換関数により変換するも
のがある。この圧縮方法をレベル変換と称することにす
る。同図におけるレベル変換関数の横軸は、入力画像の
画素レベルlを表し、縦軸は、レベル変換処理による出
力画像の画素レベルT(l)を表している。また、同図にお
けるLinmaxは、入力画像の各画素が取り得る最大レベル
を表し、Loutmaxは、出力画像の各画素が取り得る最大
レベルを表している。このレベル変換においては、例え
ば入力レベルがlk以上である高レベルでのコントラスト
を犠牲にすることによって、低レベル及び中間レベルで
のコントラストを確保した状態で全体のダイナミックレ
ンジを圧縮している。

【００１３】また、別の圧縮方法としては、入力画像の
画素レベルの頻度分布に応じて、レベル変換関数を適応
的に変化させるものがあり、その一例として、ヒストグ
ラムイコライゼーションと呼ばれるものがある。この圧
縮方法の原理を図３１を用いて説明する。同図における
横軸は、入力画像の画素レベルlを表し、縦軸は、入力
画像の画素レベルの頻度を表している。また、同図にお
けるFmaxは、入力画像の画素レベルの累積頻度の最大値
を表すもので、頻度を算出するために用いる画素の総数
である。

【００１４】この圧縮方法においては、はじめに入力画
像の画素レベルlに関する頻度分布H(l)が生成され、そ
の後、次式（３）を用いて累積頻度分布C(l)が生成され
る。

【００１５】

【数３】

【００１６】そして、この圧縮方法においては、以下に
示す式（４）を用いることにより、累積頻度分布C(l)
を、出力画像が取り得るレベル範囲に正規化し、レベル
変換関数T(l)を生成する。この圧縮方法においては、レ
ベル変換関数T(l)を用いることにより、出力頻度の高い
レベルで構成される領域、すなわち面積が大きい領域の
コントラストを確保し、全体のダイナミックレンジを圧
縮することができる。

【００１７】

【数４】

【００１８】ところで、例えば図３２に示すような配列
からなる色フィルタを撮像素子の前面に設置し、カラー
画像を撮像する場合、その出力信号は、図３３に示すよ
うに、輝度信号に周波数変調された色信号が重畳された
ものとなる。ここでは、このような撮像により得られる
複数のカラー画像を合成し、さらに圧縮する方法につい
て説明する。

【００１９】この方法においては、はじめに各露光量で
撮像された画像信号が、式（５）により輝度信号と色信
号とに分離される。

【００２０】

【数５】

【００２１】ここで、xは、輝度信号と色信号とが混合
された画像信号を表す。また、yは、分離された輝度信
号を表し、cは、分離された色信号を表す。LPF_yは、輝
度信号を分離するためのローパスフィルタであり、LPF_c
は、色信号を分離するためのローパスフィルタである。

【００２２】分離された輝度信号yは、上述した各種方
法のいずれかにより、合成及び圧縮が施される。これに
対して分離された色信号cは、多くの露光量で得られた
輝度信号の大きさを参照し、式（６）に示されるような
処理により合成される。

【００２３】

【数６】

【００２４】この式（６）におけるyL，cLは、それぞ
れ、多くの露光量で得られた輝度信号及び色信号であ
り、cSは、少ない露光量で得られた色信号である。ま
た、gは、先に式（２）で示したような露光量の比であ
る。

【００２５】合成された色信号は、輝度信号に対する比
率が変化しないように、式（７）に示される処理により
圧縮される。

【００２６】

【数７】

【００２７】

【発明が解決しようとする課題】理想的な状況において
長時間露光により撮像された画像xLと、同様に理想的な
状況において短時間露光により撮像された画像xSとは、
例えば図３４（ａ）に示すように表される。同図に示す
ように、長時間露光により撮像された画像xLにおいて
は、レベルの低い領域R2におけるコントラストが十分に
確保されているものの、レベルの高い領域R1では、レベ
ルが飽和してしまう。これに対して短時間露光により撮
像された画像xSにおいては、レベルの高い領域R1でも飽
和レベルに到達せず、飽和現象を生じることはないが、
レベルの低い領域R2におけるコントラストを確保するこ
とができない。

【００２８】このような２枚の画像xLとxSとを合成して
圧縮する際には、まず上述した合成方法を適用して、図
３４（ｂ）に示すように、長時間露光により撮像された
画像xLそのものを、レベルの低い領域R2において選択す
るとともに、式（２）で表されるような露光時間比を短
時間露光により撮像された画像xSに対して乗算したもの
を、レベルの高い領域R1において選択して合成する。そ
して、得られた合成画像に対して、例えば図３０に示し
たような圧縮方法を適用した圧縮処理を施すことによ
り、図３４（ｃ）に示すような明部及び暗部ともにコン
トラストを確保した画像yを生成することができる。

【００２９】ところで、実際に撮像された画像信号に
は、撮像される物体境界における光の回折や光学系内で
の光の反射・散乱等による成分が付加されている。その
ため、撮像された画像は、図３５（ａ）に示すように、
画像全体のレベル或いは明るい領域に隣接する暗い領域
におけるレベルが増加したものとなり、黒が浮いた印象
を与えるものとなる。

【００３０】このような現象は、フレアと呼ばれるもの
で、長時間露光により撮像された画像ほど多くのフレア
成分が含まれる。このようなフレア成分の含まれた画像
に対して、上述した合成方法を適用した合成処理を行う
と、図３５（ｂ）に示すような結果が得られる。合成処
理においては、短時間露光により撮像された画像が増幅
されるため、生成される合成画像においては、画像全体
にわたりほぼ一様なフレア成分が含まれることになる。
そして、このような合成画像に、上述した圧縮方法を適
用して圧縮処理を行う際には、例えば図３０に示したよ
うに、通常レベルの高い領域に対して、より大きい圧縮
を施すため、圧縮後の画像は、図３５（ｃ）に示すよう
に、暗い領域のフレア成分が明るい領域に比べて相対的
に多いものとなり、黒浮きがより強調されたものになっ
てしまう。

【００３１】このような現象は、図２６に示したように
露光時間の制御により複数の画像を撮像した場合に限ら
ず、例えば図２７又は図２８に示したような他の異なる
露光量制御方法により撮像した画像に対しても生じるこ
とはいうまでもない。

【００３２】以上説明したように、上述した露光量制御
方法、合成方法、圧縮方法を含めた従来の撮像方法にお
いては、合成される複数の画像がそれぞれ互いに異なる
条件のもとで撮像されていることから、合成及び圧縮後
の画像が不自然なものになるといった問題があった。

【００３３】また、従来の撮像方法においては、特に、
大きい露光量で撮像された画像に、より多くのフレア成
分が含まれていることから、このフレア成分の影響によ
り、合成後の画像における暗い領域のレベルが相対的に
上昇し、全体として浮いたような画像が生成されるとい
った問題があった。

【００３４】本発明は、このような実情に鑑みてなされ
たものであり、不自然な画像が生成される従来の撮像方
法の問題点を解決して、より自然な画像を生成する撮像
方法を提供するとともに、この撮像方法を実現する撮像
装置を提供することを目的とするものである。また、本
発明は、互いに異なる露光条件で撮像された複数の画像
を入力して上述した合成及び圧縮処理を行う画像処理方
法における問題点を解決し、より自然な画像を生成する
画像処理方法を提供するとともに、この画像処理方法を
実現する画像処理装置を提供することを目的とするもの
である。

【００３５】

【課題を解決するための手段】上述した目的を達成する
本発明にかかる撮像方法は、互いに異なる露光条件で撮
像して得られた複数の画像から、階調再現性の優れた単
一の画像を生成する撮像方法であって、互いに異なる露
光条件のもとで撮像することにより、複数の撮像画像を
得る撮像工程と、上記複数の撮像画像のそれぞれに対応
する露光条件に基づいて上記複数の撮像画像のそれぞれ
のレベルを補正して複数の補正画像を得る補正工程と、
上記複数の補正画像を合成してダイナミックレンジの広
い単一の合成画像を生成する合成工程と、出力先の性能
に応じて、上記合成画像を圧縮して圧縮画像を得る圧縮
工程とを備え、上記補正工程は、撮像画像信号のそれぞ
れについて、各撮像画像信号からその撮像画像信号に対
応する正の値を減算することにより行われ、上記正の値
は、対応する撮像画像信号の平均値と対応する係数との
乗算から求められるものであり、上記係数は、上記対応
する撮像画像信号の露光条件に基づき、上記撮像画像信
号毎に定められることを特徴としている。

【００３６】このような本発明にかかる撮像方法は、補
正工程により得られた複数の補正画像に対して、合成及
び圧縮を施し、単一の圧縮画像を生成する。

【００３７】また、本発明にかかる撮像方法は、互いに
異なる露光条件で撮像して得られた複数の画像から、階
調再現性の優れた単一の画像を生成する撮像方法であっ
て、互いに異なる露光条件のもとで撮像することによ
り、複数の撮像画像を得る撮像工程と、上記複数の撮像
画像を合成してダイナミックレンジの広い単一の合成画
像を生成する合成工程と、出力先の性能に応じて、上記
合成画像のダイナミックレンジを圧縮して圧縮画像を得
る圧縮工程と、上記圧縮画像のレベルを補正して補正圧
縮画像を得る補正工程とを備え、上記補正工程は、上記
圧縮画像から上記圧縮画像に対応する正の値を減算する
ことにより行われ、上記正の値は、上記圧縮画像から得
られた平均圧縮画像と上記圧縮画像に対応する係数とを
各画素毎に乗算して求められるものであることを特徴と
している。

【００３８】このような本発明にかかる撮像方法は、複
数の撮像画像に対して合成及び圧縮が施されて生成され
た圧縮画像に対して、補正を行うことによって、単一の
補正圧縮画像を生成する。

【００３９】さらに、上述した目的を達成する本発明に
かかる撮像装置は、互いに異なる露光条件で撮像して得
られた複数の画像から、階調再現性の優れた単一の画像
を生成する撮像装置であって、互いに異なる露光条件の
もとで撮像することにより、複数の撮像画像を得る撮像
手段と、上記複数の撮像画像のそれぞれに対応する露光
条件に基づいて上記複数の撮像画像のそれぞれのレベル
を補正して複数の補正画像を得る補正手段と、上記複数
の補正画像を合成してダイナミックレンジの広い単一の
合成画像を生成する合成手段と、出力先の性能に応じ
て、上記合成画像を圧縮して圧縮画像を得る圧縮手段と
を備え、上記補正手段は、撮像画像信号のそれぞれにつ
いて、各撮像画像信号からその撮像画像信号に対応する
正の値を減算するものであり、上記正の値は、対応する
撮像画像信号の平均値と対応する係数との乗算から求め
られるものであり、上記係数は、上記対応する撮像画像
信号の露光条件に基づき、上記撮像画像信号毎に定めら
れることを特徴としている。

【００４０】このように構成された本発明にかかる撮像
装置は、補正手段により補正されて得られた複数の補正
画像に対して、合成及び圧縮を施し、単一の圧縮画像を
生成する。

【００４１】さらにまた、本発明にかかる撮像装置は、
互いに異なる露光条件で撮像して得られた複数の画像か
ら、階調再現性の優れた単一の画像を生成する撮像装置
であって、互いに異なる露光条件のもとで撮像すること
により、複数の撮像画像を得る撮像手段と、上記複数の
撮像画像を合成してダイナミックレンジの広い単一の合
成画像を生成する合成手段と、出力先の性能に応じて、
上記合成画像のダイナミックレンジを圧縮して圧縮画像
を得る圧縮手段と、上記圧縮画像のレベルを補正して補
正圧縮画像を得る補正手段とを備え、上記補正手段は、
上記圧縮画像から上記圧縮画像に対応する正の値を減算
するものであり、上記正の値は、上記圧縮画像から得ら
れた平均圧縮画像と上記圧縮画像に対応する係数とを各
画素毎に乗算して求められるものであることを特徴とし
ている。

【００４２】このように構成された本発明にかかる撮像
装置は、複数の撮像画像に対して合成及び圧縮が施され
て生成された圧縮画像に対して、補正手段が補正を施
し、単一の補正圧縮画像を生成する。

【００４３】また、上述した目的を達成する本発明にか
かる画像処理方法は、露光条件が互いに異なる複数の入
力画像から、階調再現性の優れた単一の画像を生成する
画像処理方法であって、互いに異なる露光条件の複数の
画像が入力され、これらの複数の入力画像のそれぞれに
対応する露光条件に基づいて上記複数の入力画像のそれ
ぞれのレベルを補正して複数の補正画像を得る補正工程
と、上記複数の補正画像を合成してダイナミックレンジ
の広い単一の合成画像を生成する合成工程と、出力先の
性能に応じて、上記合成画像を圧縮して圧縮画像を得る
圧縮工程とを備え、上記補正工程は、撮像画像信号のそ
れぞれについて、各撮像画像信号からその撮像画像信号
に対応する正の値を減算することにより行われ、上記正
の値は、対応する撮像画像信号の平均値と対応する係数
との乗算から求められるものであり、上記係数は、上記
対応する撮像画像信号の露光条件に基づき、上記撮像画
像信号毎に定められることを特徴としている。

【００４４】このような本発明にかかる画像処理方法
は、補正工程により得られた複数の補正画像に対して、
合成及び圧縮を施し、単一の圧縮画像を生成する。

【００４５】さらに、本発明にかかる画像処理方法は、
露光条件が互いに異なる複数の入力画像から、階調再現
性の優れた単一の画像を生成する画像処理方法であっ
て、互いに異なる露光条件の複数の画像が入力され、こ
れらの複数の入力画像を合成してダイナミックレンジの
広い単一の合成画像を生成する合成工程と、出力先の性
能に応じて、上記合成画像のダイナミックレンジを圧縮
して圧縮画像を得る圧縮工程と、上記圧縮画像のレベル
を補正して補正圧縮画像を得る補正工程とを備え、上記
補正工程は、上記圧縮画像から上記圧縮画像に対応する
正の値を減算することにより行われ、上記正の値は、上
記圧縮画像から得られた平均圧縮画像と上記圧縮画像に
対応する係数とを各画素毎に乗算して求められるもので
あることを特徴としている。

【００４６】このような本発明にかかる画像処理方法
は、複数の入力画像に対して合成及び圧縮が施されて生
成された圧縮画像に対して、補正を行うことによって、
単一の補正圧縮画像を生成する。

【００４７】さらにまた、上述した目的を達成する本発
明にかかる画像処理装置は、露光条件が互いに異なる複
数の入力画像から、階調再現性の優れた単一の画像を生
成する画像処理装置であって、互いに異なる露光条件の
複数の画像を入力し、これらの複数の入力画像のそれぞ
れに対応する露光条件に基づいて上記複数の入力画像の
それぞれのレベルを補正して複数の補正画像を得る補正
手段と、上記複数の補正画像を合成してダイナミックレ
ンジの広い単一の合成画像を生成する合成手段と、出力
先の性能に応じて、上記合成画像を圧縮して圧縮画像を
得る圧縮手段とを備え、上記補正手段は、撮像画像信号
のそれぞれについて、各撮像画像信号からその撮像画像
信号に対応する正の値を減算するものであり、上記正の
値は、対応する撮像画像信号の平均値と対応する係数と
の乗算から求められるものであり、上記係数は、上記対
応する撮像画像信号の露光条件に基づき、上記撮像画像
信号毎に定められることを特徴としている。

【００４８】このように構成された本発明にかかる画像
処理装置は、補正手段により補正されて得られた複数の
補正画像に対して、合成及び圧縮を施し、単一の圧縮画
像を生成する。

【００４９】また、本発明にかかる画像処理装置は、露
光条件が互いに異なる複数の入力画像から、階調再現性
の優れた単一の画像を生成する画像処理装置であって、
互いに異なる露光条件の複数の画像を入力し、これらの
複数の入力画像を合成してダイナミックレンジの広い単
一の合成画像を生成する合成手段と、出力先の性能に応
じて、上記合成画像のダイナミックレンジを圧縮して圧
縮画像を得る圧縮手段と、上記圧縮画像のレベルを補正
して補正圧縮画像を得る補正手段とを備え、上記補正手
段は、上記圧縮画像から上記圧縮画像に対応する正の値
を減算するものであり、上記正の値は、上記圧縮画像か
ら得られた平均圧縮画像と上記圧縮画像に対応する係数
とを各画素毎に乗算して求められるものであることを特
徴としている。

【００５０】このように構成された本発明にかかる画像
処理装置は、複数の入力画像に対して合成及び圧縮が施
されて生成された圧縮画像に対して、補正手段が補正を
施し、単一の補正圧縮画像を生成する。

【００５１】

【発明の実施の形態】以下、本発明を適用した具体的な
実施の形態について図面を参照しながら詳細に説明す
る。本発明を適用した実施の形態は、本発明にかかる撮
像方法を実現する撮像装置である。

【００５２】まず第１の実施の形態として図１に示す撮
像装置１０は、撮像手段である撮像器１１と、補正手段
であるレベル補正器１２ａ，１２ｂと、合成手段である
画像合成器１３と、圧縮手段であるダイナミックレンジ
圧縮器１４とを備える。

【００５３】なお、ここでは、図２に示すように、撮像
装置１０の各部に対する入力信号が、２次元ディジタル
画像を水平方向、垂直方向の順に走査して得られる画素
値の時系列データであって、画像上の位置(i,j)に対応
する画素値をp(i,j)のように表すものとして説明する。

【００５４】図１に示す撮像器１１は、例えばＣＣＤ等
の図示しない撮像素子や露光量を制御するための図示し
ない電子シャッタ等を備えており、互いに異なる露光量
で撮像した複数の画像信号を出力する。撮像器１１は、
長時間露光により撮像した撮像画像である長時間露光画
像xL(i,j)を、後段のレベル補正器１２ａに出力すると
ともに、短時間露光により撮像した撮像画像である短時
間露光画像xS(i,j)を、後段のレベル補正器１２ｂに出
力する。

【００５５】レベル補正器１２ａ，１２ｂは、各露光時
間によって得られた画像に対して、後述するレベル補正
処理を行う。レベル補正器１２ａ，１２ｂは、図３に示
すように、入力された画像の平均レベルaveを算出する
平均値算出手段である平均値算出器１５と、この平均値
算出器１５により算出された平均レベルaveに対して、
予め設定されている係数cEを乗算する乗算手段である乗
算器１６と、乗算器１６により算出された補正量pを保
持するメモリ１７と、入力信号xE(i,j)から補正量pを減
算する減算手段である減算器１８とを備える。レベル補
正器１２ａは、長時間露光画像xL(i,j)を入力してレベ
ル補正処理を行い、補正画像xL'(i,j)を生成する。ま
た、レベル補正器１２ｂは、短時間露光画像xS(i,j)を
入力してレベル補正処理を行い、補正画像xS'(i,j)を生
成する。

【００５６】画像合成器１３は、レベル補正器１２ａ，
１２ｂによってレベル補正処理が施された２枚の補正画
像xL'(i,j)，xS'(i,j)を合成し、ダイナミックレンジの
広い１枚の合成画像x(i,j)を生成する。

【００５７】ダイナミックレンジ圧縮器１４は、出力す
る伝送系、表示装置、記録装置等の能力に応じて、合成
画像信号x(i,j)のダイナミックレンジを圧縮して圧縮画
像y(i,j)を生成し、外部へと出力する。

【００５８】このような構成からなる撮像装置１０は、
図４に示すような一連の工程による処理を行う。

【００５９】まず撮像装置１０は、図４に示すように、
ステップＳ１１において、撮像器１１により、長時間露
光画像xL(i,j)と短時間露光画像xS(i,j)とを生成し、そ
れぞれ、レベル補正器１２ａ，１２ｂに出力する撮像処
理を行う。

【００６０】次に、撮像装置１０は、ステップＳ１２乃
至ステップＳ１４におけるレベル補正処理を行う。

【００６１】すなわち、撮像装置１０においては、ステ
ップＳ１２において、撮像器１１からレベル補正器１２
ａ，１２ｂに入力された２枚の画像xL(i,j)，xS(i,j)
（ここでは、画像xE(i,j)と総して表す。）それぞれの
平均レベルaveを、平均値算出器１５により算出し、乗
算器１６に送る。なお、撮像器１１からレベル補正器１
２ａ，１２ｂに入力された画像xE(i,j)は、減算器１８
にも入力される。

【００６２】次に、撮像装置１０においては、ステップ
Ｓ１３において、乗算器１６が、平均値算出器１５によ
り算出された平均レベルaveに対して、予め設定されて
いる係数cEを乗算し、その結果を補正量pとしてメモリ
１７に送る。ここで、係数cEは、長時間露光画像xL(i,
j)に対する係数cL又は短時間露光画像xS(i,j)に対する
係数cSのいずれかを表し、０以上１未満の値を持つ定数
である。この係数cEは、補正する画像の露光条件に応じ
て予め設定されており、露光時間が長い画像ほど大きな
値が設定される。

【００６３】そして、撮像装置１０においては、ステッ
プＳ１４において、減算器１８が、入力される画素に同
期して、メモリ１７に保持された補正量pを読み出し、
入力信号xE(i,j)から補正量pを減算してレベルの補正を
行い、補正画像xE'(i,j)を生成する。

【００６４】撮像装置１０においては、このようにし
て、互いに異なる露光量で撮像した複数の画像全て、す
なわちここでは、レベル補正器１２ａ，１２ｂにより、
長時間露光画像xL(i,j)と短時間露光画像xS(i,j)とに対
してレベル補正処理が施され、２枚の補正画像xL'(i,
j)，xS'(i,j)を生成する。

【００６５】さらに、撮像装置１０においては、ステッ
プＳ１５において、画像合成器１３により合成処理を行
う。すなわち、撮像装置１０においては、このステップ
Ｓ１５において、レベル補正処理が施された２枚の補正
画像xL'(i,j)，xS'(i,j)を、画像合成器１３に入力して
合成し、ダイナミックレンジの広い１枚の合成画像x(i,
j)を生成する。

【００６６】そして、撮像装置１０においては、ステッ
プＳ１６において、ダイナミックレンジ圧縮器１４によ
り、合成画像x(i,j)に圧縮処理を施し、出力先の状況や
能力に応じた圧縮画像y(i,j)を生成して一連の処理を終
了する。

【００６７】このように、撮像装置１０においては、各
露光時間の画像に対応する係数cEを、露光時間が長い画
像ほど大きく設定することにより、入力した画像xE(i,
j)が露光時間の長いものであるほど補正量pの値が大き
くなるため、補正画像xE'(i,j)の画素レベルが小さくな
る。したがって、撮像装置１０においては、入力された
画像xE(i,j)をそのまま合成及び圧縮するのではなく、
補正画像xE'(i,j)に対して合成及び圧縮処理を行うこと
で、各画像に含まれるフレア成分のバランスがとられ、
フレア成分の影響が少ない処理を行うことができ、より
自然な合成及び圧縮画像の生成が可能となる。

【００６８】なお、撮像装置１０は、長時間露光画像xL
(i,j)と短時間露光画像xS(i,j)とのいずれにもレベル補
正が施されるように、２つのレベル補正器１２ａ，１２
ｂを備えているが、短時間露光画像xS(i,j)への補正量p
を０とすることにより、対応するレベル補正器１２ｂを
省略することもできる。

【００６９】また、撮像装置１０においては、平均値算
出器１５により、画像全体のレベルの平均値が算出され
るが、画像上の任意の領域に着目し、この領域内の画素
の平均値を算出するようにしてもよい。

【００７０】さらに、撮像装置１０においては、入力さ
れる画像の露光時間を各レベル補正器１２ａ，１２ｂ毎
に考慮してある画素レベルの範囲を設定し、この画素レ
ベルの範囲内にある画素のみに着目して、平均値算出器
１５により、平均値を算出するようにしてもよい。

【００７１】さらにまた、撮像装置１０は、動画像に適
用することもできる。この場合、撮像装置１０において
は、平均値算出器１５により平均値を算出するのに、少
なくとも１画像分の時間が必要となるため、算出された
補正量pと補正される画像信号xE(i,j)とが、１画像分ず
れることになる。そこで、撮像装置１０においては、補
正量pと補正される画像信号xE(i,j)とを正確に対応させ
るために、例えば図５に示すように、減算器１８の前段
にメモリ１９を設置し、このメモリ１９により、補正さ
れる画像信号xE(i,j)の１画像分の画素値を保持するよ
うにすることもできる。

【００７２】また、撮像装置１０においては、２つのレ
ベル補正器１２ａ，１２ｂだけではなく、３つ以上のレ
ベル補正器を備えることによって、３枚以上の画像を合
成することが可能となる。

【００７３】さらに、撮像装置１０においては、上述し
たように、互いに異なる露光時間で撮像された画像のみ
ではなく、例えば、撮像器１１として透過率が互いに異
なるＮＤフィルタを図示しない撮像素子上に設置し、空
間分割による露光量制御を行うことにより得られた画像
や、図示しない複数の多板撮像素子による露光量制御を
行うことにより得られた画像に対しても、合成及び圧縮
処理を施すことができるのは勿論である。

【００７４】さらにまた、撮像器１１の後段の各部を１
つの画像処理装置として形成し、撮像器１１のような外
部の撮像器から入力される画像信号を処理するようにし
てもよいことはいうまでもない。この場合、入力される
画像信号としては、例えば各種カメラ等により撮像され
た画像信号と等価なものであればよく、例えばスキャナ
等により走査されて入力された画像信号であってもよ
い。

【００７５】つぎに、上述した撮像装置１０の他の構成
及び動作について、図６乃至図９を参照して説明する。

【００７６】第２の実施の形態として図６に示す撮像装
置２０は、基本構成を図１に示した撮像装置１０と同様
とし、レベル補正器１２ａ，１２ｂの代わりに、異なる
構成を有するレベル補正器２２ａ，２２ｂを備えたこと
に特徴を有している。したがって、先に図１に示した撮
像装置１０と同様の構成については同一符号を付して詳
細な説明を省略する。なお、ここでも、図２に示したよ
うに、撮像装置２０の各部に対する入力信号が、２次元
ディジタル画像を水平方向、垂直方向の順に走査して得
られる画素値の時系列データであって、画像上の位置
(i,j)に対応する画素値をp(i,j)のように表すものとし
て説明する。

【００７７】撮像装置２０は、図６に示すように、上述
した撮像手段である撮像器１１、合成手段である画像合
成器１３、圧縮手段であるダイナミックレンジ圧縮器１
４と、補正手段であるレベル補正器２２ａ，２２ｂとを
備えている。

【００７８】レベル補正器２２ａ，２２ｂは、上述した
レベル補正器１２ａ，１２ｂと同様に、各露光時間によ
って得られた画像に対して、レベル補正処理を行う。レ
ベル補正器２２ａ，２２ｂは、図７に示すように、フィ
ルタリング手段であるローパスフィルタ２５と、このロ
ーパスフィルタ２５により生成された平均画像low(i,j)
の各画素毎に、予め設定されている係数cEを乗算する乗
算手段である乗算器２６と、後述するメモリ２７と、入
力信号xE(i,j)から補正量p(i,j)を減算する減算手段で
ある減算器２８とを備える。レベル補正器２２ａは、長
時間露光画像xL(i,j)を入力してレベル補正処理を行
い、補正画像xL'(i,j)を生成する。また、レベル補正器
２２ｂは、短時間露光画像xS(i,j)を入力してレベル補
正処理を行い、補正画像xS'(i,j)を生成する。

【００７９】ローパスフィルタ２５は、例えば式（８）
に示されるような平均値フィルタであり、入力された画
像xL(i,j)又はxS(i,j)（ここでも、画像xE(i,j)と総称
する。）に対してフィルタリング処理を行い、画像xE
(i,j)の平均値を表す平均画像low(i,j)を生成する。

【００８０】

【数８】

【００８１】ここで、N及びMは、平均値を計算するため
の計算対象となる近傍領域の大きさを表す定数である。

【００８２】メモリ２７は、ローパスフィルタ２５によ
るフィルタリング処理を行うために必要となる時間だ
け、入力する画像xE(i,j)を遅延させるバッファの役割
を果たすものであり、その容量はローパスフィルタ２５
によるフィルタリング処理において用いる近傍領域の大
きさに依存する。

【００８３】このような構成からなる撮像装置２０は、
図８に示すような一連の工程による処理を行う。

【００８４】まず撮像装置２０は、図８に示すように、
ステップＳ２１において、撮像器１１により、長時間露
光画像xL(i,j)と短時間露光画像xS(i,j)とを生成し、そ
れぞれ、レベル補正器２２ａ，２２ｂに出力する撮像処
理を行う。なお、これらの画像xL(i,j)，xS(i,j)は、メ
モリ２７にも入力される。

【００８５】次に、撮像装置２０は、ステップＳ２２乃
至ステップＳ２４におけるレベル補正処理を行う。

【００８６】すなわち、撮像装置２０においては、ステ
ップＳ２２において、撮像器１１からレベル補正器２２
ａ，２２ｂそれぞれに入力された画像xE(i,j)に対し
て、ローパスフィルタ２５により、フィルタリング処理
を行い、平均画像low(i,j)を生成する。

【００８７】次に、撮像装置２０においては、ステップ
Ｓ２３において、乗算器２６が、ローパスフィルタ２５
により生成された平均画像low(i,j)の各画素毎に、予め
設定されている係数cEを乗算し、各画素に対応する補正
量p(i,j)を算出する。ここでも、係数cEは、長時間露光
画像xL(i,j)に対する係数cL又は短時間露光画像xS(i,j)
に対する係数cSのいずれかを表す０以上１未満の値を持
つ定数であり、露光時間が長い画像ほど大きな値が設定
される。

【００８８】そして、撮像装置２０においては、ステッ
プＳ２４において、減算器２８が、補正量p(i,j)を読み
出すとともに、メモリ２７に保持されていた入力信号xE
(i,j)を読み出し、入力信号xE(i,j)から補正量p(i,j)を
減算してレベルの補正を行い、補正画像xE'(i,j)を生成
する。

【００８９】撮像装置２０においては、このようにし
て、互いに異なる露光量で撮像した複数の画像全て、す
なわちここでは、レベル補正器２２ａ，２２ｂにより、
長時間露光画像xL(i,j)と短時間露光画像xS(i,j)とに対
してレベル補正処理が施され、２枚の補正画像xL'(i,
j)，xS'(i,j)を生成する。

【００９０】さらに、撮像装置２０においては、ステッ
プＳ２５において、画像合成器１３により、上述したよ
うに、２枚の補正画像xL'(i,j)，xS'(i,j)に対する合成
処理を行って合成画像x(i,j)を生成した後、ステップＳ
２６において、ダイナミックレンジ圧縮器１４により、
合成画像x(i,j)に圧縮処理を施し、出力先の状況や能力
に応じた圧縮画像y(i,j)を生成して一連の処理を終了す
る。

【００９１】このように、撮像装置２０においては、入
力した画像xE(i,j)のうち、近傍に高いレベルが存在す
る画素ほど大きな値が減算されることから、レベルの高
い領域の近傍に発生するフレアを抑制することが可能と
なる。したがって、撮像装置２０においては、補正画像
xE'(i,j)に対して合成及び圧縮処理を行うことで、各画
像に含まれるフレア成分のバランスがとられ、フレア成
分の影響が少ない処理を行うことができ、より自然な合
成及び圧縮画像を生成することができる。

【００９２】また、撮像装置２０は、動画像に適用する
こともできる。この場合、撮像装置２０においては、図
９に示すように、レベル補正器２２ａ，２２ｂが備える
メモリ２７を乗算器２６と減算器２８との間に設置する
ような構成にすることができる。すなわち、撮像装置２
０においては、入力した画像xE(i,j)の各画素に対応す
る補正量p(i,j)が、メモリ２７に保存され、１画像分の
遅延が施された後、減算器２８に出力される。このよう
にすることで、撮像装置２０においては、入力信号xE
(i,j)に対して補正量p(i,j)が１画像分遅れることにな
る。しかしながら、一般に各補正量を表すために必要と
なるビット数は、画素を表すビット数と比較して小さい
ことから、撮像装置２０においては、ローパスフィルタ
２５によるフィルタリング処理にて大きな近傍領域を用
いる場合、メモリ容量を削減することができる。

【００９３】なお、撮像装置２０においては、２つのレ
ベル補正器２２ａ，２２ｂだけではなく、３つ以上のレ
ベル補正器を備え、３枚以上の画像を合成することがで
きるのは勿論である。

【００９４】また、撮像装置２０においては、互いに異
なる露光時間で撮像された画像のみではなく、例えば、
上述した空間分割による露光量制御や複数の多板撮像素
子による露光量制御を行うことにより得られた画像に対
しても、合成及び圧縮処理を施すことができるのはいう
までもない。

【００９５】さらに、撮像器１１の後段の各部を１つの
画像処理装置として形成し、撮像器１１のような外部の
撮像器から入力される画像信号を処理することもでき
る。この場合、入力される画像信号としては、例えば各
種カメラ等により撮像された画像信号と等価なものであ
ればよく、例えばスキャナ等により走査されて入力され
た画像信号であってもよい。

【００９６】つぎに、上述した撮像装置２０の他の構成
及び動作について、図１０乃至図１２を参照して説明す
る。

【００９７】第３の実施の形態として図１０に示す撮像
装置３０は、基本構成を図６に示した撮像装置２０と同
様とし、画像合成器１３の前段に設けていたレベル補正
器２２ａ，２２ｂとは異なる構成を有する１つのレベル
補正器３２を、ダイナミックレンジ圧縮器１４の後段に
設けたことに特徴を有している。したがって、先に図６
に示した撮像装置２０と同様の構成については同一符号
を付して詳細な説明を省略する。なお、ここでも、図２
に示したように、撮像装置３０の各部に対する入力信号
が、２次元ディジタル画像を水平方向、垂直方向の順に
走査して得られる画素値の時系列データであって、画像
上の位置(i,j)に対応する画素値をp(i,j)のように表す
ものとして説明する。

【００９８】撮像装置３０は、図１０に示すように、上
述した撮像手段である撮像器１１、合成手段である画像
合成器１３、圧縮手段であるダイナミックレンジ圧縮器
１４と、補正手段であるレベル補正器３２とを備えてい
る。

【００９９】レベル補正器３２は、ダイナミックレンジ
圧縮器１４により得られた圧縮画像y(i,j)に対して、レ
ベル補正処理を行う。レベル補正器３２は、図１１に示
すように、フィルタリング手段であるローパスフィルタ
３５と、後述する正規化圧縮画像low'(i,j)の各画素毎
に、設定された係数cEを乗算する乗算手段である乗算器
３６と、後述するメモリ３７と、入力された圧縮信号y
(i,j)から補正量p(i,j)を減算する減算手段である減算
器３８と、正規化手段である正規化器３９とを備える。
レベル補正器３２は、ダイナミックレンジ圧縮器１４に
より圧縮された圧縮画像y(i,j)を入力してレベル補正処
理を行い、補正圧縮画像y'(i,j)を生成する。

【０１００】ローパスフィルタ３５は、上述したローパ
スフィルタ２５と同様に、例えば式（８）に示されるよ
うな平均値フィルタであり、入力された圧縮画像y(i,j)
に対してフィルタリング処理を行い、圧縮画像y(i,j)の
平均値を表す平均圧縮画像low(i,j)を生成する。

【０１０１】正規化器３９は、ローパスフィルタ３５か
ら出力された平均圧縮画像low(i,j)に対して、式（９）
に示されるような正規化処理を行う。

【０１０２】

【数９】

【０１０３】ここで、Lmax，Lminは、正規化するための
定数であり、算出される正規化圧縮画像low'(i,j)の各
画素値は、０以上１以下の値をとる。

【０１０４】メモリ３７は、ローパスフィルタ３５によ
るフィルタリング処理及び正規化器３９による正規化処
理を行うために必要となる時間だけ、入力する圧縮画像
y(i,j)を遅延させるバッファの役割を果たす。

【０１０５】このような構成からなる撮像装置３０は、
図１２に示すような一連の工程による処理を行う。

【０１０６】まず撮像装置３０は、図１２に示すよう
に、ステップＳ３１において、撮像器１１により、長時
間露光画像xL(i,j)と短時間露光画像xS(i,j)とを生成
し、これらの画像xL(i,j)，xS(i,j)を画像合成器１３に
出力する撮像処理を行う。

【０１０７】次に、撮像装置３０は、ステップＳ３２に
おいて、画像合成器１３により、上述したように、２枚
の画像xL(i,j)，xS(i,j)に対する合成処理を行い、合成
画像x(i,j)を生成した後、ステップＳ３３において、ダ
イナミックレンジ圧縮器１４により、合成画像x(i,j)に
圧縮処理を施し、レベル補正器３２へと出力する。

【０１０８】そして、撮像装置３０は、ステップＳ３４
乃至ステップＳ３７におけるレベル補正処理を行う。

【０１０９】すなわち、撮像装置３０においては、ステ
ップＳ３４において、ダイナミックレンジ圧縮器１４か
らレベル補正器３２に入力された圧縮画像y(i,j)に対し
て、ローパスフィルタ３５により、フィルタリング処理
を行い、平均圧縮画像low(i,j)を生成する。なお、ダイ
ナミックレンジ圧縮器１４からレベル補正器３２に入力
された圧縮画像y(i,j)は、メモリ３７にも入力される。

【０１１０】次に、撮像装置３０においては、ステップ
Ｓ３５において、正規化器３９により、平均圧縮画像lo
w(i,j)に対して、正規化処理を行い、各画素値が０以上
１以下である正規化圧縮画像low'(i,j)を生成する。

【０１１１】さらに、撮像装置３０においては、ステッ
プＳ３６において、乗算器３６が、正規化圧縮画像low'
(i,j)の各画素毎に、設定された係数cEを乗算し、各画
素に対応する補正量p(i,j)を算出する。ここで、係数cE
は、減算器３８で減算される補正量p(i,j)として許容さ
れる最大の値として設定される。

【０１１２】そして、撮像装置３０においては、ステッ
プＳ３７において、減算器３８が、補正量p(i,j)を読み
出すとともに、メモリ３７に保持されていた入力信号y
(i,j)を読み出し、入力信号y(i,j)から補正量p(i,j)を
減算してレベルの補正を行い、補正圧縮画像y'(i,j)を
生成して一連の処理を終了する。

【０１１３】このように、撮像装置３０においては、レ
ベルの低い領域から補正量p(i,j)を減算することから、
圧縮画像y(i,j)に生じていた黒浮きが軽減された補正圧
縮画像y'(i,j)を生成することができる。

【０１１４】なお、撮像装置３０においては、先に図９
に示したように、メモリ３７を乗算器３７と減算器３８
との間に設置し、入力信号y(i,j)に対して補正量p(i,j)
を１画像分遅らせるように構成することもできる。この
ようにすることによって、撮像装置３０においては、動
画像に適用することが可能となるとともに、その際のメ
モリ容量を削減することができる。

【０１１５】また、撮像装置３０においては、２枚の画
像に対する画像処理を行うのみではなく、撮像器１１に
より撮像された互いに異なる露光量の３枚以上の画像に
対する処理が可能であることは勿論である。

【０１１６】さらに、撮像装置３０においては、互いに
異なる露光時間で撮像された画像のみではなく、例え
ば、上述した空間分割による露光量制御や複数の多板撮
像素子による露光量制御を行うことにより得られた画像
に対しても一連の処理を施し、補正圧縮画像y'(i,j)を
生成できることはいうまでもない。

【０１１７】さらにまた、撮像器１１の後段の各部を１
つの画像処理装置として形成し、撮像器１１のような外
部の撮像器から入力される画像信号を処理するようにし
てもよい。この場合、入力される画像信号としては、例
えば各種カメラ等により撮像された画像信号と等価なも
のであればよく、例えばスキャナ等により走査されて入
力された画像信号であってもよい。

【０１１８】つぎに、上述した撮像装置１０の他の構成
及び動作について、図１３乃至図１５を参照して説明す
る。

【０１１９】第４の実施の形態として図１３に示す撮像
装置４０は、動画像に適用するものであって、基本構成
を図１に示した撮像装置１０と同様とし、レベル補正器
１２ａ，１２ｂの代わりに、異なる構成を有するレベル
補正器４２ａ，４２ｂを備えたことに特徴を有してい
る。したがって、先に図１に示した撮像装置１０と同様
の構成については同一符号を付して詳細な説明を省略す
る。なお、ここでも、図２に示したように、撮像装置４
０の各部に対する入力信号が、２次元ディジタル動画像
を水平方向、垂直方向の順に走査して得られる画素値の
時系列データであって、画像上の位置(i,j)に対応する
画素値をp(i,j)のように表すものとして説明する。

【０１２０】撮像装置４０は、図１３に示すように、上
述した撮像手段である撮像器１１、合成手段である画像
合成器１３、圧縮手段であるダイナミックレンジ圧縮器
１４と、補正手段であるレベル補正器４２ａ，４２ｂと
を備えている。

【０１２１】レベル補正器４２ａ，４２ｂは、各露光時
間によって得られた動画像に対して、レベル補正処理を
行う。レベル補正器４２ａ，４２ｂは、図１４に示すよ
うに、入力された動画像の平均レベルaveを算出する平
均値算出手段である平均値算出器４５と、この平均値算
出器４５により算出された平均レベルaveに対して、予
め設定されている係数cEを乗算する乗算手段である乗算
器４６と、後述する時間平滑化器４９から出力された補
正量p'_kを保持するメモリ４７と、入力信号xE(i,j)から
補正量p'_kを減算する減算器４８と、時間平滑化手段で
ある時間平滑化器４９とを備える。レベル補正器４２ａ
は、長時間露光動画像xL(i,j)を入力してレベル補正処
理を行い、補正動画像xL'(i,j)を生成する。また、レベ
ル補正器４２ｂは、短時間露光動画像xS(i,j)を入力し
てレベル補正処理を行い、補正動画像xS'(i,j)を生成す
る。

【０１２２】時間平滑化器４９は、乗算器４６から送ら
れてくる値p_kに対して、式（１０）に示すような再帰的
平滑化処理を施して補正量p'_kを算出する。

【０１２３】

【数１０】

【０１２４】ここで、p_kは、時刻kにおける乗算器４６
からの出力値である。また、p'_kは、時刻kに時間平滑化
器４９によって算出された補正量であり、p'_k-1は、１
画像分前の時刻k-1に時間平滑化器４９によって算出さ
れ、メモリ４７に保持されていた補正量である。さら
に、tは、予め設定された０以上１以下の定数であり、
現在時刻に算出された補正量への重みを表すものであ
る。

【０１２５】このような構成からなる撮像装置４０は、
図１５に示すような一連の工程による処理を行う。

【０１２６】まず撮像装置４０は、図１５に示すよう
に、ステップＳ４１において、撮像器１１により、長時
間露光動画像xL(i,j)と短時間露光動画像xS(i,j)とを生
成し、それぞれ、レベル補正器４２ａ，４２ｂに出力す
る撮像処理を行う。

【０１２７】次に、撮像装置４０は、ステップＳ４２乃
至ステップＳ４５におけるレベル補正処理を行う。

【０１２８】すなわち、撮像装置４０においては、ステ
ップＳ４２において、撮像器１１からレベル補正器４２
ａ，４２ｂに入力された２つの動画像xL(i,j)，xS(i,j)
（ここでは、動画像xE(i,j)と総して表す。）それぞれ
の各時刻における平均レベルaveを、平均値算出器４５
により算出し、乗算器４６に送る。なお、撮像器１１か
らレベル補正器４２ａ，４２ｂに入力された動画像xE
(i,j)は、減算器４８にも入力される。

【０１２９】次に、撮像装置４０においては、ステップ
Ｓ４３において、乗算器４６が、平均値算出器４５によ
り算出された平均レベルaveに対して、予め設定されて
いる係数cEを乗算し、得られた値p_kを時間平滑化器４９
に送る。ここで、係数cEは、長時間露光動画像xL(i,j)
に対する係数cL又は短時間露光動画像xS(i,j)に対する
係数cSのいずれかを表し、０以上１未満の値を持つ定数
である。この係数cEは、補正する動画像の露光条件に応
じて予め設定されており、露光時間が長い動画像ほど大
きな値が設定される。

【０１３０】そして、撮像装置４０においては、ステッ
プＳ４４において、時間平滑化器４９が、１画像分前の
時刻k-1に算出してメモリ４７に保持されていた補正量
p'_k-1を読み出し、この補正量p'_k-1に基づき、乗算器４
６から送られてきた値p_kに対して再帰的平滑化処理を施
し、補正量p'_kを算出する。

【０１３１】さらに、撮像装置４０においては、ステッ
プＳ４５において、減算器４８が、入力される画素に同
期して、メモリ４７に保持された補正量p'_kを読み出
し、入力信号xE(i,j)から補正量p'_kを減算してレベルの
補正を行い、補正動画像xE'(i,j)を生成する。

【０１３２】撮像装置４０においては、このようにし
て、互いに異なる露光量で撮像した複数の動画像全て、
すなわちここでは、レベル補正器４２ａ，４２ｂによ
り、長時間露光動画像xL(i,j)と短時間露光動画像xS(i,
j)とに対してレベル補正処理が施され、２つの補正動画
像xL'(i,j)，xS'(i,j)を生成する。

【０１３３】さらに、撮像装置４０においては、ステッ
プＳ４６において、画像合成器１３により合成処理を行
い、ダイナミックレンジの広い１つの合成動画像x(i,j)
を生成する。

【０１３４】そして、撮像装置４０においては、ステッ
プＳ４７において、ダイナミックレンジ圧縮器１４によ
り、合成動画像x(i,j)に圧縮処理を施し、出力先の状況
や能力に応じた圧縮動画像y(i,j)を生成して一連の処理
を終了する。

【０１３５】なお、撮像装置４０においては、これらの
一連の処理が、２つの動画像xL(i,j)，xS(i,j)の各時刻
における各画像の全ての画素について行われる。

【０１３６】このように、撮像装置４０においては、補
正量の時間的変動を緩和することにより、時間的に安定
した動画像を再現することが可能となるとともに、各画
像に含まれるフレア成分のバランスがとられ、フレア成
分の影響が少ない処理を行うことができ、より自然な合
成及び圧縮動画像の生成が可能となる。

【０１３７】なお、撮像装置４０は、長時間露光動画像
xL(i,j)と短時間露光動画像xS(i,j)とのいずれにもレベ
ル補正が施されるように、２つのレベル補正器４２ａ，
４２ｂを備えているが、短時間露光動画像xS(i,j)への
補正量p'_kを０とすることにより、対応するレベル補正
器４２ｂを省略することもできる。

【０１３８】また、撮像装置４０においては、平均値算
出器４５により、各時刻における画像全体のレベルの平
均値が算出されるが、画像上の任意の領域に着目し、こ
の領域内の画素の平均値を算出するようにしてもよい。

【０１３９】さらに、撮像装置４０においては、各時刻
において入力される画像の露光時間を各レベル補正器４
２ａ，４２ｂ毎に考慮してある画素レベルの範囲を設定
し、この画素レベルの範囲内にある画素のみに着目し
て、平均値算出器４５により、平均値を算出するように
してもよい。

【０１４０】さらにまた、撮像装置４０においては、先
に図５に示したように、メモリ４７の他に、減算器４８
の前段にメモリを設置し、補正される動画像信号xE(i,
j)を遅延させることで、補正量p'_kと補正される動画像
信号xE(i,j)とを正確に対応付けることもできる。

【０１４１】また、撮像装置４０においては、２つのレ
ベル補正器４２ａ，４２ｂだけではなく、３つ以上のレ
ベル補正器を備えることによって、３つ以上の動画像を
合成することが可能となる。

【０１４２】さらに、撮像装置４０においては、上述し
たように、互いに異なる露光時間で撮像された動画像の
みではなく、例えば、空間分割による露光量制御や複数
の多板撮像素子による露光量制御を行うことにより得ら
れた動画像に対しても、合成及び圧縮処理を施すことが
できるのは勿論である。

【０１４３】さらにまた、撮像器１１の後段の各部を１
つの画像処理装置として形成し、撮像器１１のような外
部の撮像器から入力される画像信号を処理するようにし
てもよいことはいうまでもない。この場合、入力される
画像信号としては、例えば各種カメラ等により撮像され
た画像信号と等価なものであればよく、例えばスキャナ
等により走査されて入力された画像信号であってもよ
い。

【０１４４】つぎに、上述した撮像装置２０の他の構成
及び動作について、図１６乃至図１８を参照して説明す
る。

【０１４５】第５の実施の形態として図１６に示す撮像
装置５０は、基本構成を図６に示した撮像装置２０と同
様とし、この撮像装置２０を動画像に適用するためのレ
ベル補正器５２ａ，５２ｂを設けたことに特徴を有して
いる。したがって、先に図６に示した撮像装置２０と同
様の構成については同一符号を付して詳細な説明を省略
する。なお、ここでも、図２に示したように、撮像装置
５０の各部に対する入力信号が、２次元ディジタル動画
像を水平方向、垂直方向の順に走査して得られる画素値
の時系列データであって、画像上の位置(i,j)に対応す
る画素値をp(i,j)のように表すものとして説明する。

【０１４６】撮像装置５０は、図１６に示すように、上
述した撮像手段である撮像器１１、合成手段である画像
合成器１３、圧縮手段であるダイナミックレンジ圧縮器
１４と、補正手段であるレベル補正器５２ａ，５２ｂと
を備えている。

【０１４７】レベル補正器５２ａ，５２ｂは、上述した
レベル補正器４２ａ，４２ｂと同様に、各露光時間によ
って得られた動画像に対して、レベル補正処理を行う。
レベル補正器５２ａ，５２ｂは、図１７に示すように、
フィルタリング手段であるローパスフィルタ５５と、こ
のローパスフィルタ５５により生成された平均動画像lo
w(i,j)の各画素毎に、予め設定されている係数cEを乗算
する乗算手段である乗算器５６と、後述するメモリ５７
ａ，５７ｂと、入力信号xE(i,j)から補正量p'_k(i,j)を
減算する減算手段である減算器５８と、時間平滑化手段
である時間平滑化器５９とを備える。レベル補正器５２
ａは、長時間露光動画像xL(i,j)を入力してレベル補正
処理を行い、補正動画像xL'(i,j)を生成する。また、レ
ベル補正器５２ｂは、短時間露光動画像xS(i,j)を入力
してレベル補正処理を行い、補正動画像xS'(i,j)を生成
する。

【０１４８】ローパスフィルタ５５は、上述したローパ
スフィルタ２５と同様に、例えば式（８）に示されるよ
うな平均値フィルタであり、入力された動画像xL(i,j)
又はxS(i,j)（ここでも、動画像xE(i,j)と総称する。）
に対してフィルタリング処理を行い、動画像xE(i,j)の
各時刻における平均値を表す平均動画像low(i,j)を生成
する。

【０１４９】メモリ５７ａは、ローパスフィルタ５５に
よるフィルタリング処理及び後述する時間平滑化器５９
による再帰的平滑化処理を行うために必要となる時間だ
け、入力する動画像xE(i,j)を遅延させるバッファの役
割を果たすものである。

【０１５０】また、メモリ５７ｂは、後述する時間平滑
化器５９から出力された補正量p'_k(i,j)を保持するもの
である。

【０１５１】時間平滑化器５９は、乗算器５６から送ら
れてくる値p_k(i,j)に対して、式（１１）に示すような
再帰的平滑化処理を施して補正量p'_k(i,j)を算出する。

【０１５２】

【数１１】

【０１５３】ここで、p_k(i,j)は、時刻kにおける乗算器
５６からの出力値である。また、p'_k(i,j)は、時刻kに
時間平滑化器５９によって算出された補正量であり、p'
_k-1(i,j)は、１画像分前の時刻k-1に時間平滑化器５９
によって算出され、メモリ５７ｂに保持されていた補正
量である。さらに、tは、予め設定された０以上１以下
の定数であり、現在時刻に算出された補正量への重みを
表すものである。

【０１５４】このような構成からなる撮像装置５０は、
図１８に示すような一連の工程による処理を行う。

【０１５５】まず撮像装置５０は、図１８に示すよう
に、ステップＳ５１において、撮像器１１により、長時
間露光動画像xL(i,j)と短時間露光動画像xS(i,j)とを生
成し、それぞれ、レベル補正器５２ａ，５２ｂに出力す
る撮像処理を行う。

【０１５６】次に、撮像装置５０は、ステップＳ５２乃
至ステップＳ５５におけるレベル補正処理を行う。

【０１５７】すなわち、撮像装置５０においては、ステ
ップＳ５２において、撮像器１１からレベル補正器５２
ａ，５２ｂそれぞれに入力された２つの動画像xL(i,
j)，xS(i,j)（ここでも、動画像xE(i,j)と総して表
す。）それぞれに対して、ローパスフィルタ５５によ
り、フィルタリング処理を行い、各時刻における平均動
画像low(i,j)を生成する。なお、撮像器１１からレベル
補正器５２ａ，５２ｂに入力された動画像xE(i,j)は、
メモリ５７ａにも入力される。

【０１５８】次に、撮像装置５０においては、ステップ
Ｓ５３において、乗算器５６が、ローパスフィルタ５５
により生成された平均動画像low(i,j)の各画素毎に、予
め設定されている係数cEを乗算し、各画素に対応する値
p_k(i,j)を時間平滑化器５９に送る。ここでも、係数cE
は、長時間露光動画像xL(i,j)に対する係数cL又は短時
間露光動画像xS(i,j)に対する係数cSのいずれかを表す
０以上１未満の値を持つ定数であり、露光時間が長い動
画像ほど大きな値が設定される。

【０１５９】そして、撮像装置５０においては、ステッ
プＳ５４において、時間平滑化器５９が、１画像分前の
時刻k-1に算出してメモリ５７ｂに保持されていた補正
量p'_{k -1}(i,j)を読み出し、この補正量p'_k-1(i,j)に基づ
き、乗算器５６から送られてきた値p_k(i,j)に対して再
帰的平滑化処理を施し、補正量p'_k(i,j)を算出する。

【０１６０】さらに、撮像装置５０においては、ステッ
プＳ５５において、減算器５８が、メモリ５７ｂに保持
された補正量p'_k(i,j)を読み出すとともに、メモリ５７
ａに保持されていた入力信号xE(i,j)を読み出し、入力
信号xE(i,j)から補正量p'_k(i,j)を減算してレベルの補
正を行い、補正動画像xE'(i,j)を生成する。

【０１６１】撮像装置５０においては、このようにし
て、互いに異なる露光量で撮像した複数の動画像全て、
すなわちここでは、レベル補正器５２ａ，５２ｂによ
り、長時間露光動画像xL(i,j)と短時間露光動画像xS(i,
j)とに対してレベル補正処理が施され、２つの補正動画
像xL'(i,j)，xS'(i,j)を生成する。

【０１６２】さらに、撮像装置５０においては、ステッ
プＳ５６において、画像合成器１３により、上述したよ
うに、２つの補正動画像xL'(i,j)，xS'(i,j)に対する合
成処理を行って合成動画像x(i,j)を生成した後、ステッ
プＳ５７において、ダイナミックレンジ圧縮器１４によ
り、合成動画像x(i,j)に圧縮処理を施し、出力先の状況
や能力に応じた圧縮動画像y(i,j)を生成して一連の処理
を終了する。

【０１６３】このように、撮像装置５０においては、ロ
ーパスフィルタ５５を用いて補正量を算出する際にも、
補正量の時間的変動を緩和して時間的に安定した動画像
を再現でき、各動画像に含まれるフレア成分のバランス
がとられ、フレア成分の影響が少ない処理を行うことが
でき、より自然な合成及び圧縮動画像を生成することが
できる。

【０１６４】なお、撮像装置５０においては、時間平滑
化器５９の後段に設置されたメモリ５７ｂから補正量p'
_k(i,j)を読み出して減算器５８へと入力するタイミング
を、次の時刻の入力信号xE(i,j)と同期させることによ
って、入力信号xE(i,j)に対して補正量p'_k(i,j)を１画
像分遅延させることができる。このようにすることで、
撮像装置５０においては、入力信号xE(i,j)を遅延させ
るメモリ５７ａを削除してメモリ容量を削減することが
できる。

【０１６５】また、撮像装置５０においては、２つのレ
ベル補正器５２ａ，５２ｂ以外の第３以上のレベル補正
器を備えることにより、３つ以上の動画像を合成するこ
ともできる。

【０１６６】さらに、撮像装置５０においては、互いに
異なる露光時間で撮像された動画像のみではなく、例え
ば、空間分割による露光量制御や複数の多板撮像素子に
よる露光量制御を行うことにより得られた動画像に対し
ても、合成及び圧縮処理を施すことができる。

【０１６７】さらにまた、撮像器１１の後段の各部を１
つの画像処理装置として形成し、撮像器１１のような外
部の撮像器から入力される画像信号を処理するようにし
てもよいことはいうまでもない。この場合、入力される
画像信号としては、例えば各種カメラ等により撮像され
た画像信号と等価なものであればよく、例えばスキャナ
等により走査されて入力された画像信号であってもよ
い。

【０１６８】つぎに、上述した撮像装置３０の他の構成
及び動作について、図１９乃至図２１を参照して説明す
る。

【０１６９】第６の実施の形態として図１９に示す撮像
装置６０は、基本構成を図１０に示した撮像装置３０と
同様とし、この撮像装置３０を動画像に適用するための
１つのレベル補正器６２を設けたことに特徴を有してい
る。したがって、先に図１０に示した撮像装置３０と同
様の構成については同一符号を付して詳細な説明を省略
する。なお、ここでも、図２に示したように、撮像装置
６０の各部に対する入力信号が、２次元ディジタル動画
像を水平方向、垂直方向の順に走査して得られる画素値
の時系列データであって、画像上の位置(i,j)に対応す
る画素値をp(i,j)のように表すものとして説明する。

【０１７０】撮像装置６０は、図１９に示すように、上
述した撮像手段である撮像器１１、合成手段である画像
合成器１３、圧縮手段であるダイナミックレンジ圧縮器
１４と、補正手段であるレベル補正器６２とを備えてい
る。

【０１７１】レベル補正器６２は、上述したレベル補正
器５２ａ，５２ｂと同様に、各露光時間によって得られ
た動画像に対して、レベル補正処理を行う。レベル補正
器６２は、図２０に示すように、フィルタリング手段で
あるローパスフィルタ６４と、正規化手段である正規化
器６５と、後述する正規化圧縮動画像low'(i,j)の各画
素毎に、設定された係数cEを乗算する乗算手段である乗
算器６６と、後述するメモリ６７ａ，６７ｂと、入力さ
れた圧縮信号y(i,j)から補正量p'_k(i,j)を減算する減算
手段である減算器６８と、時間平滑化手段である時間平
滑化器６９とを備える。レベル補正器６２は、ダイナミ
ックレンジ圧縮器１４により圧縮された圧縮動画像y(i,
j)を入力してレベル補正処理を行い、補正圧縮動画像y'
(i,j)を生成する。

【０１７２】ローパスフィルタ６４は、上述したローパ
スフィルタ２５と同様に、例えば式（８）に示されるよ
うな平均値フィルタであり、入力された圧縮動画像y(i,
j)に対してフィルタリング処理を行い、圧縮動画像y(i,
j)の平均値を表す平均圧縮動画像low(i,j)を生成する。

【０１７３】正規化器６５は、ローパスフィルタ６４か
ら出力された平均圧縮動画像low(i,j)に対して、先に式
（９）に示したような正規化処理を行い、各画素値が０
以上１以下の値をとる正規化圧縮動画像low'(i,j)を生
成する。

【０１７４】メモリ６７ａは、ローパスフィルタ６４に
よるフィルタリング処理、正規化器６５による正規化処
理及び後述する時間平滑化器６９による再帰的平滑化処
理を行うために必要となる時間だけ、入力する圧縮動画
像y(i,j)を遅延させるバッファの役割を果たす。

【０１７５】また、メモリ６７ｂは、後述する時間平滑
化器６９から出力された補正量p'_k(i,j)を保持するもの
である。

【０１７６】時間平滑化器６９は、乗算器６６から送ら
れてくる値p_k(i,j)に対して、先に式（１１）に示した
ような再帰的平滑化処理を施して補正量p'_k(i,j)を算出
する。

【０１７７】このような構成からなる撮像装置６０は、
図２１に示すような一連の工程による処理を行う。

【０１７８】まず撮像装置６０は、図２１に示すよう
に、ステップＳ６１において、撮像器１１により、長時
間露光動画像xL(i,j)と短時間露光動画像xS(i,j)とを生
成し、これらの動画像xL(i,j)，xS(i,j)を画像合成器１
３に出力する撮像処理を行う。

【０１７９】次に、撮像装置６０は、ステップＳ６２に
おいて、画像合成器１３により、上述したように、２つ
の動画像xL(i,j)，xS(i,j)に対する合成処理を行い、合
成動画像x(i,j)を生成した後、ステップＳ６３におい
て、ダイナミックレンジ圧縮器１４により、合成動画像
x(i,j)に圧縮処理を施し、レベル補正器６２へと出力す
る。

【０１８０】そして、撮像装置６０は、ステップＳ６４
乃至ステップＳ６８におけるレベル補正処理を行う。

【０１８１】すなわち、撮像装置６０においては、ステ
ップＳ６４において、ダイナミックレンジ圧縮器１４か
らレベル補正器６２に入力された圧縮動画像y(i,j)に対
して、ローパスフィルタ６４により、フィルタリング処
理を行い、各時刻における平均圧縮動画像low(i,j)を生
成する。なお、ダイナミックレンジ圧縮器１４からレベ
ル補正器６２に入力された圧縮動画像y(i,j)は、メモリ
６７ａにも入力される。

【０１８２】次に、撮像装置６０においては、ステップ
Ｓ６５において、正規化器６５により、平均圧縮動画像
low(i,j)に対して、正規化処理を行い、各画素値が０以
上１以下である正規化圧縮動画像low'(i,j)を生成す
る。

【０１８３】さらに、撮像装置６０においては、ステッ
プＳ６６において、乗算器６６が、正規化圧縮動画像lo
w'(i,j)の各画素毎に、設定された係数cEを乗算し、各
画素に対応する値p_k(i,j)を時間平滑化器６９に送る。
ここで、係数cEは、減算器６８で減算される補正量p'
_k(i,j)として許容される最大の値として設定される。

【０１８４】そして、撮像装置６０においては、ステッ
プＳ６７において、時間平滑化器６９が、１画像分前の
時刻k-1に算出してメモリ６７ｂに保持されていた補正
量p'_{k -1}(i,j)を読み出し、この補正量p'_k-1(i,j)に基づ
き、乗算器６６から送られてきた値p_k(i,j)に対して再
帰的平滑化処理を施し、補正量p'_k(i,j)を算出する。

【０１８５】さらに、撮像装置６０においては、ステッ
プＳ６８において、減算器６８が、メモリ６７ｂに保持
された補正量p'_k(i,j)を読み出すとともに、メモリ６７
ａに保持されていた入力信号y(i,j)を読み出し、入力信
号y(i,j)から補正量p'_k(i,j)を減算してレベルの補正を
行い、補正圧縮動画像y'(i,j)を生成して一連の処理を
終了する。

【０１８６】このように、撮像装置６０においては、ダ
イナミックレンジの圧縮された圧縮動画像y(i,j)に対し
てレベル補正処理を行う場合にも、補正量p'_k(i,j)の時
間的変動を緩和して時間的に安定した動画像を再現で
き、レベルの低い領域から補正量p'_k(i,j)を減算するた
め、圧縮動画像y(i,j)に生じていた黒浮きが軽減された
補正圧縮動画像y'(i,j)を生成することができる。

【０１８７】なお、撮像装置６０においては、時間平滑
化器６９の後段に設置されたメモリ６７ｂから減算器６
８へと補正量p'_k(i,j)を読み出すタイミングを、次の時
刻の入力信号y(i,j)と同期させることによって、入力信
号y(i,j)に対して補正量p'_k(i,j)を１画像分遅延させ、
入力信号y(i,j)を遅延させるためのメモリ６７ａを削除
してメモリ容量を削減することができる。

【０１８８】また、撮像装置６０においては、２つの動
画像に対する画像処理を行うのみではなく、撮像器１１
により撮像された互いに異なる露光量の３つ以上の動画
像に対する処理が可能であることは勿論である。

【０１８９】さらに、撮像装置６０においては、互いに
異なる露光時間で撮像された動画像のみではなく、例え
ば、上述した空間分割による露光量制御や複数の多板撮
像素子による露光量制御を行うことにより得られた動画
像に対しても一連の処理を施し、補正圧縮動画像y'(i,
j)を生成できることはいうまでもない。

【０１９０】さらにまた、撮像器１１の後段の各部を１
つの画像処理装置として形成し、撮像器１１のような外
部の撮像器から入力される画像信号を処理することもで
きる。この場合、入力される画像信号としては、例えば
各種カメラ等により撮像された画像信号と等価なもので
あればよく、例えばスキャナ等により走査されて入力さ
れた画像信号であってもよい。

【０１９１】つぎに、上述した撮像装置１０の他の構成
及び動作について、図２２及び図２３を参照して説明す
る。

【０１９２】第７の実施の形態として図２２に示す撮像
装置７０は、例えば単板カラーカメラ等への適用を目的
とするものである。なお、ここでも、図２に示したよう
に、撮像装置７０の各部に対する入力信号が、２次元デ
ィジタル画像を水平方向、垂直方向の順に走査して得ら
れる画素値の時系列データであって、画像上の位置(i,
j)に対応する画素値をp(i,j)のように表すものとして説
明する。

【０１９３】撮像装置７０は、図２２に示すように、撮
像手段である撮像器７１と、分離手段であるＹＣ分離器
７２ａ，７２ｂと、補正手段であるレベル補正器７３
ａ，７３ｂと、遅延器７４ａ，７４ｂ，７４ｃ，７４ｄ
と、補正手段である色補正器７５ａ，７５ｂと、合成手
段である画像合成器７６と、合成手段である色合成器７
７と、圧縮手段であるダイナミックレンジ圧縮器７８
と、遅延器７９ａ，７９ｂと、圧縮手段である色圧縮器
８０と、混合手段であるＹＣ混合器８１とを備える。

【０１９４】撮像器７１は、例えばＣＣＤ等の図示しな
い撮像素子の前面に、例えば先に図３２に示したような
配列の色フィルタを設置したものであり、先に図３３に
示したように、輝度信号に周波数変調の施された色信号
が重畳された信号を出力する。撮像器７１は、図示しな
い電子シャッタ等により露光量が制御され、長時間露光
により撮像した長時間露光画像xL(i,j)を、後段のＹＣ
分離器７２ａに出力するとともに、短時間露光により撮
像した短時間露光画像xS(i,j)を、後段のＹＣ分離器７
２ｂに出力する。

【０１９５】ＹＣ分離器７２ａ，７２ｂは、撮像器７１
から送られてくる画像を、図示しないローパスフィルタ
等により、輝度信号と色信号とに分離する。具体的に
は、ＹＣ分離器７２ａは、撮像器７１から送られてくる
長時間露光画像xL(i,j)を、先に式（５）に示したよう
な処理により、輝度信号yL(i,j)と色信号cL(i,j)とに分
離し、ＹＣ分離器７２ｂは、撮像器７１から送られてく
る短時間露光画像xS(i,j)を、同様の処理により、輝度
信号yS(i,j)と色信号cS(i,j)とに分離する。

【０１９６】レベル補正器７３ａ，７３ｂは、ＹＣ分離
器７２ａ，７２ｂにより分離された輝度信号yL(i,j)，y
S(i,j)に対して、レベル補正処理を行う。このレベル補
正器７３ａ，７３ｂは、上述した第１の実施の形態、第
２の実施の形態、第４の実施の形態、第５の実施の形態
に示したレベル補正器のうちのいずれかと同様の構成か
らなる。そのため、その詳細は、ここでは省略する。レ
ベル補正器７３ａは、輝度信号yL(i,j)を入力してレベ
ル補正処理を行い、補正輝度信号yL'(i,j)を生成する。
また、レベル補正器７３ｂは、輝度信号yS(i,j)を入力
してレベル補正処理を行い、補正輝度信号yS'(i,j)を生
成する。

【０１９７】遅延器７４ａ，７４ｃは、ＹＣ分離器７２
ａ，７２ｂにより分離された輝度信号yL(i,j)，yS(i,j)
を入力し、これらの輝度信号yL(i,j)，yS(i,j)を、レベ
ル補正器７３ａ，７３ｂにおけるレベル補正処理に要す
る時間だけ遅延して、後段の色補正器７５ａ，７５ｂに
出力する。

【０１９８】遅延器７４ｂ，７４ｄは、ＹＣ分離器７２
ａ，７２ｂにより分離された色信号cL(i,j)，cS(i,j)を
入力し、これらの色信号cL(i,j)，cS(i,j)を、レベル補
正器７３ａ，７３ｂにおけるレベル補正処理に要する時
間だけ遅延して、後段の色補正器７５ａ，７５ｂに出力
する。

【０１９９】色補正器７５ａ，７５ｂは、補正の前後に
おいて輝度信号yL(i,j)，yS(i,j)との比が変化しないよ
うに、次式（１２）に示されるような色信号cL(i,j)，c
S(i,j)の補正を行い、補正色信号cL'(i,j)，cS'(i,j)を
生成する。

【０２００】

【数１２】

【０２０１】ここで、cE'(i,j)は、補正後の色信号であ
る補正色信号であり、cL'(i,j)又はcS'(i,j)を表すもの
である。また同様に、cE(i,j)は、上述した色信号cL(i,
j)又はcS(i,j)を表し、yE(i,j)は、レベル補正前の輝度
信号yL(i,j)又はyS(i,j)を表し、yE'(i,j)は、レベル補
正後の補正輝度信号yL'(i,j)又はyS'(i,j)を表してい
る。

【０２０２】画像合成器７６は、レベル補正器７３ａ，
７３ｂによってレベル補正処理が施された２つの補正輝
度信号yL'(i,j)，yS'(i,j)を上述した各種合成処理によ
って合成し、ダイナミックレンジの広い１つの合成輝度
信号y'(i,j)を生成する。

【０２０３】色合成器７７は、色補正器７５ａ，７５ｂ
から入力した補正色信号cL'(i,j)，cS'(i,j)を入力する
とともに、レベル補正器７３ａからの補正輝度信号yL'
(i,j)を入力し、この補正輝度信号yL'(i,j)を参照し
て、２つの補正色信号cL'(i,j)，cS'(i,j)を合成し、合
成色信号c'(i,j)を生成する。

【０２０４】ダイナミックレンジ圧縮器７８は、出力す
る伝送系、表示装置、記録装置等の能力に応じて、上述
した各種圧縮処理によって合成輝度信号y'(i,j)のダイ
ナミックレンジを圧縮して圧縮輝度信号y''(i,j)を生成
し、この圧縮輝度信号y''(i,j)を後段のＹＣ混合器８１
へと出力するとともに、色圧縮器８０へと出力する。

【０２０５】遅延器７９ａは、画像合成器７６からの合
成輝度信号y'(i,j)を、ダイナミックレンジ圧縮器７８
における圧縮処理に要する時間だけ遅延させた後、色圧
縮器８０へと出力する。

【０２０６】遅延器７９ｂは、色合成器７７から入力し
た合成色信号c'(i,j)を、ダイナミックレンジ圧縮器７
８における圧縮処理に要する時間だけ遅延させた後、色
圧縮器８０へと出力する。

【０２０７】色圧縮器８０は、上述した各種圧縮処理に
よって合成色信号c'(i,j)を圧縮して圧縮色信号c''(i,
j)を生成し、この圧縮色信号c''(i,j)を後段のＹＣ混合
器８１へと出力する。

【０２０８】ＹＣ混合器８１は、次式（１３）に示す処
理により、色圧縮器８０からの圧縮色信号c''(i,j)に対
して周波数変調を施し、この信号にダイナミックレンジ
圧縮器７８からの圧縮輝度信号y''(i,j)を加算して、混
合信号x''(i,j)を生成し、外部へと出力する。

【０２０９】

【数１３】

【０２１０】このような構成からなる撮像装置７０は、
図２３に示すような一連の工程による処理を行う。

【０２１１】まず撮像装置７０は、図２３に示すよう
に、ステップＳ７１において、撮像器７１により、長時
間露光画像xL(i,j)と短時間露光画像xS(i,j)とを生成
し、これらの画像xL(i,j)，xS(i,j)を、それぞれＹＣ分
離器７２ａ，７２ｂに出力する。

【０２１２】次に、撮像装置７０は、ステップＳ７２に
おいて、ＹＣ分離器７２ａ，７２ｂにより、２枚の画像
xL(i,j)，xS(i,j)それぞれを、輝度信号yL(i,j)，yS(i,
j)と色信号cL(i,j)，cS(i,j)とに分離する。撮像装置７
０においては、輝度信号yL(i,j)，yS(i,j)が、それぞ
れ、後段のレベル補正器７３ａ，７３ｂに入力されると
ともに、後段の遅延器７４ａ，７４ｃに入力される。ま
た、撮像装置７０においては、色信号cL(i,j)，cS(i,j)
が、それぞれ、後段の遅延器７４ｂ，７４ｄに入力され
る。

【０２１３】そして、撮像装置７０は、ステップＳ７３
において、レベル補正器７３ａ，７３ｂにより、輝度信
号yL(i,j)，yS(i,j)に上述したレベル補正処理を施す。
撮像装置７０においては、レベル補正がなされた補正輝
度信号yL'(i,j)，yS'(i,j)が、それぞれ、後段の色補正
器７５ａ，７５ｂに入力される。また、撮像装置７０に
おいては、補正輝度信号yL'(i,j)，yS'(i,j)が、それぞ
れ、後段の画像合成器７６に入力される。さらに、補正
輝度信号yL'(i,j)は、後段の色合成器７７にも入力され
る。

【０２１４】さらに、撮像装置７０は、ステップＳ７４
において、色補正器７５ａ，７５ｂにより、色信号cL
(i,j)，cS(i,j)の補正を行い、補正色信号cL'(i,j)，c
S'(i,j)を生成する。この際、撮像装置７０において
は、補正の前後において輝度信号yL(i,j)，yS(i,j)との
比が変化しないように、補正輝度信号yL'(i,j)，yS'(i,
j)と、レベル補正器７３ａ，７３ｂにおけるレベル補正
処理に要する時間だけ遅延器７４ａ，７４ｃにより遅延
された輝度信号yL(i,j)，yS(i,j)とを参照して、補正を
行う。撮像装置７０においては、生成された補正色信号
cL'(i,j)，cS'(i,j)が、ともに色合成器７７に入力され
る。

【０２１５】次に、撮像装置７０は、ステップＳ７５に
おいて、画像合成器７６により、補正輝度信号yL'(i,j)
と補正輝度信号yS'(i,j)とを上述した各種合成処理によ
って合成し、ダイナミックレンジの広い１つの合成輝度
信号y'(i,j)を生成し、この合成輝度信号y'(i,j)を、後
段のダイナミックレンジ圧縮器７８と遅延器７９ａに出
力する。

【０２１６】また、撮像装置７０は、ステップＳ７６に
おいて、色合成器７７により、多くの露光量で得られた
補正輝度信号yL'(i,j)の大きさを参照して、補正色信号
cL'(i,j)と補正色信号cS'(i,j)とを合成し、合成色信号
c'(i,j)を生成する。撮像装置７０においては、この合
成色信号c'(i,j)が、後段の遅延器７９ｂに入力され
る。

【０２１７】さらに、撮像装置７０は、ステップＳ７７
において、ダイナミックレンジ圧縮器７８により、上述
した各種圧縮処理によって合成輝度信号y'(i,j)のダイ
ナミックレンジを圧縮して圧縮輝度信号y''(i,j)を生成
し、後段のＹＣ混合器８１及び色圧縮器８０へと出力す
る。

【０２１８】また、撮像装置７０は、ステップＳ７８に
おいて、ダイナミックレンジ圧縮器７８における圧縮処
理に要する時間だけ遅延器７９ｂにより遅延させた合成
色信号c'(i,j)に対して、色圧縮器８０により、上述し
た各種圧縮処理を施し、圧縮色信号c''(i,j)を生成し、
この圧縮色信号c''(i,j)を後段のＹＣ混合器８１へと出
力する。この際、撮像装置７０においては、圧縮輝度信
号y''(i,j)と、ダイナミックレンジ圧縮器７８における
圧縮処理に要する時間だけ遅延器７９ａにより遅延させ
た合成輝度信号y'(i,j)とを参照して、圧縮色信号c''
(i,j)を生成する。

【０２１９】そして、撮像装置７０は、ステップＳ７９
において、ＹＣ混合器８１により、色圧縮器８０から入
力した圧縮色信号c''(i,j)に対して周波数変調を施すと
ともに、この信号にダイナミックレンジ圧縮器７８から
入力した圧縮輝度信号y''(i,j)を加算して、混合信号
x''(i,j)を生成する。撮像装置７０においては、混合信
号x''(i,j)を、図示しない伝送系、表示装置、記録装置
等へと出力し、一連の処理を終了する。

【０２２０】このように、撮像装置７０においては、輝
度信号yL(i,j)，yS(i,j)に、色信号cL(i,j)，cS(i,j)が
周波数変調されて重畳されている画像xL(i,j)，xS(i,j)
に対しても、適切にレベル補正を行うことができ、様々
な形式により表現されたカラー画像に対しても、色偽を
生じることなく自然な合成及び圧縮画像を生成すること
ができる。

【０２２１】なお、撮像装置７０においては、カラー画
像に対しても自然な合成及び圧縮を可能とするレベル補
正処理を本質とするものであり、画像の合成及び圧縮方
法としては、ここで説明したものに限定されることはな
く、どのようなものでも組み合わせて用いることができ
る。

【０２２２】また、撮像装置７０においては、長時間露
光画像xL(i,j)と短時間露光画像xS(i,j)とのいずれにも
レベル補正が施される構成になっているが、短時間露光
画像xS(i,j)への補正量を０とすることで、対応するレ
ベル補正器７３ｂを省略することができる。

【０２２３】さらに、撮像装置７０においては、２つの
画像に対する画像処理を行うのみではなく、レベル補正
器の数を増やすことにより、撮像器７１により撮像され
た互いに異なる露光量の３つ以上の画像に対する処理が
可能であることは勿論である。

【０２２４】さらにまた、撮像装置７０においては、互
いに異なる露光時間で撮像された画像のみではなく、例
えば、上述した空間分割による露光量制御や複数の多板
撮像素子による露光量制御を行うことにより得られた画
像に対しても一連の処理を施し、混合信号x''(i,j)を生
成することもできる。

【０２２５】また、撮像器７１の後段の各部を１つの画
像処理装置として形成し、撮像器７１のような外部の撮
像器から入力される画像信号を処理するようにしてもよ
いことはいうまでもない。この場合、入力される画像信
号としては、例えば各種カメラ等により撮像された画像
信号と等価なものであればよく、例えばスキャナ等によ
り走査されて入力された画像信号であってもよい。

【０２２６】つぎに、上述した撮像装置７０の他の構成
及び動作について、図２４及び図２５を参照して説明す
る。

【０２２７】第８の実施の形態として図２４に示す撮像
装置９０は、上述した撮像装置７０と同様に、例えば単
板カラーカメラ等への適用を目的とするものであって、
圧縮された画像に対して補正を行うように構成したもの
である。なお、ここでも、図２に示したように、撮像装
置９０の各部に対する入力信号が、２次元ディジタル画
像を水平方向、垂直方向の順に走査して得られる画素値
の時系列データであって、画像上の位置(i,j)に対応す
る画素値をp(i,j)のように表すものとして説明する。

【０２２８】撮像装置９０は、図２４に示すように、撮
像手段である撮像器９１と、分離手段であるＹＣ分離器
９２ａ，９２ｂと、合成手段である画像合成器９３と、
合成手段である色合成器９４と、圧縮手段であるダイナ
ミックレンジ圧縮器９５と、遅延器９６ａ，９６ｂと、
圧縮手段である色圧縮器９７と、補正手段であるレベル
補正器９８と、遅延器９９ａ，９９ｂと、補正手段であ
る色補正器１００と、混合手段であるＹＣ混合器１０１
とを備える。

【０２２９】撮像器９１は、上述した撮像器７１と同様
に、例えばＣＣＤ等の図示しない撮像素子の前面に、例
えば先に図３２に示したような配列の色フィルタを設置
したものであり、先に図３３に示したように、輝度信号
に周波数変調の施された色信号が重畳された信号を出力
する。撮像器９１は、図示しない電子シャッタ等により
露光量が制御され、長時間露光により撮像した長時間露
光画像xL(i,j)を、後段のＹＣ分離器９２ａに出力する
とともに、短時間露光により撮像した短時間露光画像xS
(i,j)を、後段のＹＣ分離器９２ｂに出力する。

【０２３０】ＹＣ分離器９２ａ，９２ｂは、上述したＹ
Ｃ分離器７２ａ，７２ｂと同様に、撮像器９１から送ら
れてくる画像を、図示しないローパスフィルタ等によ
り、輝度信号と色信号とに分離する。具体的には、ＹＣ
分離器９２ａは、撮像器９１から送られてくる長時間露
光画像xL(i,j)を、先に式（５）に示したような処理に
より、輝度信号yL(i,j)と色信号cL(i,j)とに分離する。
一方、ＹＣ分離器９２ｂは、撮像器９１から送られてく
る短時間露光画像xS(i,j)を、同様の処理により、輝度
信号yS(i,j)と色信号cS(i,j)とに分離する。

【０２３１】画像合成器９３は、ＹＣ分離器９２ａ，９
２ｂによって分離された２つの輝度信号yL(i,j)，yS(i,
j)を上述した各種合成処理によって合成し、ダイナミッ
クレンジの広い１つの合成輝度信号y'(i,j)を生成す
る。

【０２３２】色合成器９４は、ＹＣ分離器９２ａ，９２
ｂによって分離された２つの色信号cL(i,j)，cS(i,j)を
入力するとともに、ＹＣ分離器９２ａからの輝度信号yL
(i,j)を入力し、この輝度信号yL(i,j)を参照して、２つ
の色信号cL(i,j)，cS(i,j)を合成し、合成色信号c'(i,
j)を生成する。

【０２３３】ダイナミックレンジ圧縮器９５は、上述し
た各種圧縮処理によって合成輝度信号y'(i,j)のダイナ
ミックレンジを圧縮して圧縮輝度信号y''(i,j)を生成
し、この圧縮輝度信号y''(i,j)を後段のレベル補正器９
８へと出力するとともに、色圧縮器９７及び遅延器９９
ａへと出力する。

【０２３４】遅延器９６ａは、画像合成器９３からの合
成輝度信号y'(i,j)を、ダイナミックレンジ圧縮器９５
における圧縮処理に要する時間だけ遅延させた後、色圧
縮器９７へと出力する。

【０２３５】遅延器９６ｂは、色合成器９４から入力し
た合成色信号c'(i,j)を、ダイナミックレンジ圧縮器９
５における圧縮処理に要する時間だけ遅延させた後、色
圧縮器９７へと出力する。

【０２３６】色圧縮器９７は、上述した各種圧縮処理に
よって合成色信号c'(i,j)を圧縮して圧縮色信号c''(i,
j)を生成し、この圧縮色信号c''(i,j)を後段の遅延器９
９ｂへと出力する。

【０２３７】レベル補正器９８は、ダイナミックレンジ
圧縮器９５により圧縮されて生成された圧縮輝度信号
y''(i,j)に対して、レベル補正処理を行う。このレベル
補正器９８は、上述した第３の実施の形態と第６の実施
の形態とに示したレベル補正器のうちのいずれかと同様
の構成からなる。そのため、その詳細は、ここでは省略
する。レベル補正器９８は、圧縮輝度信号y''(i,j)を入
力してレベル補正処理を行い、補正圧縮輝度信号y'''
(i,j)を生成する。

【０２３８】遅延器９９ａは、ダイナミックレンジ圧縮
器９５により圧縮されて生成された圧縮輝度信号y''(i,
j)を入力し、この圧縮輝度信号y''(i,j)を、レベル補正
器９８におけるレベル補正処理に要する時間だけ遅延し
て、後段の色補正器１００に出力する。

【０２３９】遅延器９９ｂは、色圧縮器９７により圧縮
されて生成された圧縮色信号c''(i,j)を入力し、この圧
縮色信号c''(i,j)を、レベル補正器９８におけるレベル
補正処理に要する時間だけ遅延して、後段の色補正器１
００に出力する。

【０２４０】色補正器１００は、式（１４）に示される
ような圧縮色信号c''(i,j)の補正を行い、補正圧縮色信
号c'''(i,j)を生成する。

【０２４１】

【数１４】

【０２４２】ＹＣ混合器１０１は、次式（１５）に示す
処理により、色補正器１００からの補正圧縮色信号c'''
(i,j)に対して周波数変調を施し、この信号にレベル補
正器９８からの補正圧縮輝度信号y'''(i,j)を加算し
て、混合信号x''(i,j)を生成し、外部へと出力する。

【０２４３】

【数１５】

【０２４４】このような構成からなる撮像装置９０は、
図２５に示すような一連の工程による処理を行う。

【０２４５】まず撮像装置９０は、図２５に示すよう
に、ステップＳ８１において、撮像器９１により、長時
間露光画像xL(i,j)と短時間露光画像xS(i,j)とを生成
し、これらの画像xL(i,j)，xS(i,j)を、それぞれＹＣ分
離器９２ａ，９２ｂに出力する。

【０２４６】次に、撮像装置９０は、ステップＳ８２に
おいて、ＹＣ分離器９２ａ，９２ｂにより、２枚の画像
xL(i,j)，xS(i,j)それぞれを、輝度信号yL(i,j)，yS(i,
j)と色信号cL(i,j)，cS(i,j)とに分離する。撮像装置９
０においては、輝度信号yL(i,j)，yS(i,j)が、それぞ
れ、後段の画像合成器９３に入力される。また、撮像装
置９０においては、輝度信号yL(i,j)が、後段の色合成
器９４に入力される。さらに、撮像装置９０において
は、色信号cL(i,j)，cS(i,j)が、それぞれ、後段の色合
成器９４に入力される。

【０２４７】そして、撮像装置９０は、ステップＳ８３
において、画像合成器９３により、輝度信号yL(i,j)と
輝度信号yS(i,j)とを上述した各種合成処理によって合
成し、ダイナミックレンジの広い１つの合成輝度信号y'
(i,j)を生成し、この合成輝度信号y'(i,j)を、後段のダ
イナミックレンジ圧縮器９５と遅延器９６ａに出力す
る。

【０２４８】また、撮像装置９０は、ステップＳ８４に
おいて、色合成器９４により、多くの露光量で得られた
輝度信号yL(i,j)の大きさを参照して、色信号cL(i,j)と
色信号cS(i,j)とを合成し、合成色信号c'(i,j)を生成す
る。撮像装置９０においては、この合成色信号c'(i,j)
が、後段の遅延器９６ｂに入力される。

【０２４９】さらに、撮像装置９０は、ステップＳ８５
において、ダイナミックレンジ圧縮器９５により、上述
した各種圧縮処理によって合成輝度信号y'(i,j)のダイ
ナミックレンジを圧縮して圧縮輝度信号y''(i,j)を生成
し、後段のレベル補正器９８及び遅延器９９ａへと出力
する。また、撮像装置９０は、圧縮輝度信号y''(i,j)を
後段の色圧縮器９７へと出力する。

【０２５０】また、撮像装置９０は、ステップＳ８６に
おいて、ダイナミックレンジ圧縮器９５における圧縮処
理に要する時間だけ遅延器９６ｂにより遅延させて色圧
縮器９７に入力した合成色信号c'(i,j)に対して、色圧
縮器９７により、上述した各種圧縮処理を施し、圧縮色
信号c''(i,j)を生成し、この圧縮色信号c''(i,j)を後段
の遅延器９９ｂへと出力する。この際、撮像装置９０に
おいては、圧縮輝度信号y''(i,j)と、ダイナミックレン
ジ圧縮器９５における圧縮処理に要する時間だけ遅延器
９６ａにより遅延させた合成輝度信号y'(i,j)とを参照
して、圧縮色信号c''(i,j)を生成する。

【０２５１】次に、撮像装置９０は、ステップＳ８７に
おいて、レベル補正器９８により、圧縮輝度信号y''(i,
j)に上述したレベル補正処理を施す。撮像装置９０にお
いては、レベル補正がなされた補正圧縮輝度信号y'''
(i,j)が、後段のＹＣ混合器１０１に入力される。ま
た、撮像装置９０においては、補正圧縮輝度信号y'''
(i,j)が、後段の色補正器１００にも入力される。

【０２５２】さらに、撮像装置９０は、ステップＳ８８
において、レベル補正器９８におけるレベル補正処理に
要する時間だけ遅延器９９ｂにより遅延されて色補正器
１００に入力した圧縮色信号c''(i,j)に対して、色補正
器１００により、補正を行い、補正圧縮色信号c'''(i,
j)を生成する。この際、撮像装置９０においては、補正
圧縮輝度信号y'''(i,j)と、レベル補正器９８における
レベル補正処理に要する時間だけ遅延器９９ａにより遅
延された圧縮輝度信号y''(i,j)とを参照して、補正を行
う。

【０２５３】そして、撮像装置９０は、ステップＳ８９
において、ＹＣ混合器１０１により、色補正器１００か
ら入力した補正圧縮色信号c'''(i,j)に対して周波数変
調を施すとともに、この信号にレベル補正器９８から入
力した補正圧縮輝度信号y'''(i,j)を加算して、混合信
号x''(i,j)を生成する。撮像装置９０においては、混合
信号x''(i,j)を、図示しない伝送系、表示装置、記録装
置等へと出力し、一連の処理を終了する。

【０２５４】このように、撮像装置９０においては、輝
度信号yL(i,j)，yS(i,j)に、色信号cL(i,j)，cS(i,j)が
周波数変調されて重畳されている画像xL(i,j)，xS(i,j)
をＹＣ分離して合成し、さらに圧縮して得られた圧縮輝
度信号y''(i,j)又は圧縮色信号c''(i,j)に対しても、適
切にレベル補正又は色補正を行うことができ、様々な形
式により表現されたカラー画像に対しても、色偽を生じ
ることなく自然な合成及び圧縮画像を生成することがで
きる。

【０２５５】なお、撮像装置９０においては、画像の合
成及び圧縮方法としては、ここで説明したものに限定さ
れることはなく、どのようなものでも組み合わせて用い
ることができることは、上述した通りである。

【０２５６】また、撮像装置９０においては、２つの画
像に対する画像処理を行うのみではなく、撮像器９１に
より撮像された互いに異なる露光量の３つ以上の画像に
対する処理が可能であることは勿論である。

【０２５７】さらに、撮像装置９０においては、互いに
異なる露光時間で撮像された画像のみではなく、例え
ば、上述した空間分割による露光量制御や複数の多板撮
像素子による露光量制御を行うことにより得られた画像
に対しても一連の処理を施し、混合信号x''(i,j)を生成
できることはいうまでもない。

【０２５８】さらにまた、撮像器９１の後段の各部を１
つの画像処理装置として形成し、撮像器９１のような外
部の撮像器から入力される画像信号を処理することもで
きる。

【０２５９】以上のように、本発明を適用した第１乃至
第８の実施の形態として示した撮像装置は、撮像した画
像や入力した画像に含まれるフレア成分のバランスがと
られた画像を生成することができる。

【０２６０】なお、上述した第１乃至第８の実施の形態
として示した構成は、本発明を実現するために具現化し
た一例として示したものであって、本発明は、これらの
構成に限定されるものではない。例えば、本発明は、上
述した第１乃至第８の実施の形態として示した構成以外
にも、補正器におけるメモリ量や信号の流れ、取り扱う
信号等に対して、本発明の趣旨を逸脱しない範囲で様々
なバリエーションをもたせてもよく、このようにするこ
とで、白黒及びカラー、静止画像及び動画像といった画
像の分類を問わず、種々の画像に対して適用することが
可能な撮像装置又は画像処理装置を提供することができ
る。

【０２６１】

【発明の効果】以上詳述に説明したように、本発明にか
かる撮像方法は、互いに異なる露光条件で撮像して得ら
れた複数の画像から、階調再現性の優れた単一の画像を
生成する撮像方法であって、互いに異なる露光条件のも
とで撮像することにより、複数の撮像画像を得る撮像工
程と、上記複数の撮像画像のそれぞれに対応する露光条
件に基づいて上記複数の撮像画像のそれぞれのレベルを
補正して複数の補正画像を得る補正工程と、上記複数の
補正画像を合成してダイナミックレンジの広い単一の合
成画像を生成する合成工程と、出力先の性能に応じて、
上記合成画像を圧縮して圧縮画像を得る圧縮工程とを備
え、上記補正工程は、撮像画像信号のそれぞれについ
て、各撮像画像信号からその撮像画像信号に対応する正
の値を減算することにより行われ、上記正の値は、対応
する撮像画像信号の平均値と対応する係数との乗算から
求められるものであり、上記係数は、上記対応する撮像
画像信号の露光条件に基づき、上記撮像画像信号毎に定
められる。

【０２６２】したがって、本発明にかかる撮像方法は、
補正工程により得られた複数の補正画像に対して、合成
及び圧縮を施し、単一の圧縮画像を生成することによっ
て、圧縮画像が自然なものになる。本発明にかかる撮像
方法は、特に、各撮像画像に含まれるフレア成分のバラ
ンスがとられ、フレア成分の影響が少ない処理を行うこ
とができ、より自然な圧縮画像の生成が可能となる。

【０２６３】また、本発明にかかる撮像方法は、互いに
異なる露光条件で撮像して得られた複数の画像から、階
調再現性の優れた単一の画像を生成する撮像方法であっ
て、互いに異なる露光条件のもとで撮像することによ
り、複数の撮像画像を得る撮像工程と、上記複数の撮像
画像を合成してダイナミックレンジの広い単一の合成画
像を生成する合成工程と、出力先の性能に応じて、上記
合成画像のダイナミックレンジを圧縮して圧縮画像を得
る圧縮工程と、上記圧縮画像のレベルを補正して補正圧
縮画像を得る補正工程とを備え、上記補正工程は、上記
圧縮画像から上記圧縮画像に対応する正の値を減算する
ことにより行われ、上記正の値は、上記圧縮画像から得
られた平均圧縮画像と上記圧縮画像に対応する係数とを
各画素毎に乗算して求められるものである。

【０２６４】したがって、本発明にかかる撮像方法は、
複数の撮像画像に対して合成及び圧縮が施されて生成さ
れた圧縮画像に対して補正を行うことによって、自然な
補正圧縮画像を生成することができる。本発明にかかる
撮像方法は、特に、レベルの低い領域から補正量である
正の値を減算することから、圧縮画像に生じていた黒浮
きが軽減された補正圧縮画像を生成することができる。

【０２６５】さらに、本発明にかかる撮像装置は、互い
に異なる露光条件で撮像して得られた複数の画像から、
階調再現性の優れた単一の画像を生成する撮像装置であ
って、互いに異なる露光条件のもとで撮像することによ
り、複数の撮像画像を得る撮像手段と、上記複数の撮像
画像のそれぞれに対応する露光条件に基づいて上記複数
の撮像画像のそれぞれのレベルを補正して複数の補正画
像を得る補正手段と、上記複数の補正画像を合成してダ
イナミックレンジの広い単一の合成画像を生成する合成
手段と、出力先の性能に応じて、上記合成画像を圧縮し
て圧縮画像を得る圧縮手段とを備え、上記補正手段は、
撮像画像信号のそれぞれについて、各撮像画像信号から
その撮像画像信号に対応する正の値を減算するものであ
り、上記正の値は、対応する撮像画像信号の平均値と対
応する係数との乗算から求められるものであり、上記係
数は、上記対応する撮像画像信号の露光条件に基づき、
上記撮像画像信号毎に定められる。

【０２６６】したがって、本発明にかかる撮像装置は、
補正手段により補正されて得られた複数の補正画像に対
して、合成及び圧縮を施すことによって、自然な圧縮画
像を生成することが可能となる。本発明にかかる撮像装
置は、特に、各撮像画像に含まれるフレア成分のバラン
スがとられた圧縮画像を生成することができる。

【０２６７】さらにまた、本発明にかかる撮像装置は、
互いに異なる露光条件で撮像して得られた複数の画像か
ら、階調再現性の優れた単一の画像を生成する撮像装置
であって、互いに異なる露光条件のもとで撮像すること
により、複数の撮像画像を得る撮像手段と、上記複数の
撮像画像を合成してダイナミックレンジの広い単一の合
成画像を生成する合成手段と、出力先の性能に応じて、
上記合成画像のダイナミックレンジを圧縮して圧縮画像
を得る圧縮手段と、上記圧縮画像のレベルを補正して補
正圧縮画像を得る補正手段とを備え、上記補正手段は、
上記圧縮画像から上記圧縮画像に対応する正の値を減算
するものであり、上記正の値は、上記圧縮画像から得ら
れた平均圧縮画像と上記圧縮画像に対応する係数とを各
画素毎に乗算して求められるものである。

【０２６８】したがって、本発明にかかる撮像装置は、
複数の撮像画像に対して合成及び圧縮が施されて生成さ
れた圧縮画像に対して、補正手段が補正を施すことによ
って、自然な補正圧縮画像を生成することが可能とな
る。本発明にかかる撮像装置においては、特に、レベル
の低い領域から補正量である正の値を減算することによ
って、生成された補正圧縮画像は、圧縮画像に生じてい
た黒浮きが軽減されたものになる。

【０２６９】また、本発明にかかる画像処理方法は、露
光条件が互いに異なる複数の入力画像から、階調再現性
の優れた単一の画像を生成する画像処理方法であって、
互いに異なる露光条件の複数の画像が入力され、これら
の複数の入力画像のそれぞれに対応する露光条件に基づ
いて上記複数の入力画像のそれぞれのレベルを補正して
複数の補正画像を得る補正工程と、上記複数の補正画像
を合成してダイナミックレンジの広い単一の合成画像を
生成する合成工程と、出力先の性能に応じて、上記合成
画像を圧縮して圧縮画像を得る圧縮工程とを備え、上記
補正工程は、撮像画像信号のそれぞれについて、各撮像
画像信号からその撮像画像信号に対応する正の値を減算
することにより行われ、上記正の値は、対応する撮像画
像信号の平均値と対応する係数との乗算から求められる
ものであり、上記係数は、上記対応する撮像画像信号の
露光条件に基づき、上記撮像画像信号毎に定められる。

【０２７０】したがって、本発明にかかる画像処理方法
は、補正工程により得られた複数の補正画像に対して、
合成及び圧縮を施し、単一の圧縮画像を生成することに
よって、圧縮画像が自然なものになる。本発明にかかる
画像処理方法は、特に、各入力画像に含まれるフレア成
分のバランスがとられ、フレア成分の影響が少ない処理
を行うことができ、より自然な圧縮画像の生成が可能と
なる。

【０２７１】さらに、本発明にかかる画像処理方法は、
露光条件が互いに異なる複数の入力画像から、階調再現
性の優れた単一の画像を生成する画像処理方法であっ
て、互いに異なる露光条件の複数の画像が入力され、こ
れらの複数の入力画像を合成してダイナミックレンジの
広い単一の合成画像を生成する合成工程と、出力先の性
能に応じて、上記合成画像のダイナミックレンジを圧縮
して圧縮画像を得る圧縮工程と、上記圧縮画像のレベル
を補正して補正圧縮画像を得る補正工程とを備え、上記
補正工程は、上記圧縮画像から上記圧縮画像に対応する
正の値を減算することにより行われ、上記正の値は、上
記圧縮画像から得られた平均圧縮画像と上記圧縮画像に
対応する係数とを各画素毎に乗算して求められるもので
ある。

【０２７２】したがって、本発明にかかる画像処理方法
は、複数の入力画像に対して合成及び圧縮が施されて生
成された圧縮画像に対して補正を行い、自然な単一の補
正圧縮画像を生成することができる。本発明にかかる画
像処理方法は、特に、レベルの低い領域から補正量であ
る正の値を減算することにより、圧縮画像に生じていた
黒浮きが軽減された補正圧縮画像を生成することができ
る。

【０２７３】さらにまた、本発明にかかる画像処理装置
は、露光条件が互いに異なる複数の入力画像から、階調
再現性の優れた単一の画像を生成する画像処理装置であ
って、互いに異なる露光条件の複数の画像を入力し、こ
れらの複数の入力画像のそれぞれに対応する露光条件に
基づいて上記複数の入力画像のそれぞれのレベルを補正
して複数の補正画像を得る補正手段と、上記複数の補正
画像を合成してダイナミックレンジの広い単一の合成画
像を生成する合成手段と、出力先の性能に応じて、上記
合成画像を圧縮して圧縮画像を得る圧縮手段とを備え、
上記補正手段は、撮像画像信号のそれぞれについて、各
撮像画像信号からその撮像画像信号に対応する正の値を
減算するものであり、上記正の値は、対応する撮像画像
信号の平均値と対応する係数との乗算から求められるも
のであり、上記係数は、上記対応する撮像画像信号の露
光条件に基づき、上記撮像画像信号毎に定められる。

【０２７４】したがって、本発明にかかる画像処理装置
は、補正手段により補正されて得られた複数の補正画像
に対して、合成及び圧縮を施すことによって、生成され
る圧縮画像を自然なものにすることができる。本発明に
かかる画像処理装置は、特に、各入力画像に含まれるフ
レア成分のバランスがとられた圧縮画像を生成すること
ができる。

【０２７５】また、本発明にかかる画像処理装置は、露
光条件が互いに異なる複数の入力画像から、階調再現性
の優れた単一の画像を生成する画像処理装置であって、
互いに異なる露光条件の複数の画像を入力し、これらの
複数の入力画像を合成してダイナミックレンジの広い単
一の合成画像を生成する合成手段と、出力先の性能に応
じて、上記合成画像のダイナミックレンジを圧縮して圧
縮画像を得る圧縮手段と、上記圧縮画像のレベルを補正
して補正圧縮画像を得る補正手段とを備え、上記補正手
段は、上記圧縮画像から上記圧縮画像に対応する正の値
を減算するものであり、上記正の値は、上記圧縮画像か
ら得られた平均圧縮画像と上記圧縮画像に対応する係数
とを各画素毎に乗算して求められるものである。

【０２７６】したがって、本発明にかかる画像処理装置
は、複数の入力画像に対して合成及び圧縮が施されて生
成された圧縮画像に対して、補正手段が補正を施し、自
然な単一の補正圧縮画像を生成することができる。本発
明にかかる画像処理装置においては、特に、レベルの低
い領域から補正量である正の値を減算することによっ
て、圧縮画像に生じていた黒浮きが軽減され、生成され
た補正圧縮画像が自然なものとすることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態として示す撮像装置
の構成を説明するブロック図である。

【図２】画像の走査方向を説明する図である。

【図３】同撮像装置が備えるレベル補正器の構成を説明
するブロック図である。

【図４】同撮像装置における一連の処理工程を説明する
図である。

【図５】同撮像装置が備えるレベル補正器の他の構成を
説明するブロック図である。

【図６】本発明の第２の実施の形態として示す撮像装置
の構成を説明するブロック図である。

【図７】同撮像装置が備えるレベル補正器の構成を説明
するブロック図である。

【図８】同撮像装置における一連の処理工程を説明する
図である。

【図９】同撮像装置が備えるレベル補正器の他の構成を
説明するブロック図である。

【図１０】本発明の第３の実施の形態として示す撮像装
置の構成を説明するブロック図である。

【図１１】同撮像装置が備えるレベル補正器の構成を説
明するブロック図である。

【図１２】同撮像装置における一連の処理工程を説明す
る図である。

【図１３】本発明の第４の実施の形態として示す撮像装
置の構成を説明するブロック図である。

【図１４】同撮像装置が備えるレベル補正器の構成を説
明するブロック図である。

【図１５】同撮像装置における一連の処理工程を説明す
る図である。

【図１６】本発明の第５の実施の形態として示す撮像装
置の構成を説明するブロック図である。

【図１７】同撮像装置が備えるレベル補正器の構成を説
明するブロック図である。

【図１８】同撮像装置における一連の処理工程を説明す
る図である。

【図１９】本発明の第６の実施の形態として示す撮像装
置の構成を説明するブロック図である。

【図２０】同撮像装置が備えるレベル補正器の構成を説
明するブロック図である。

【図２１】同撮像装置における一連の処理工程を説明す
る図である。

【図２２】本発明の第７の実施の形態として示す撮像装
置の構成を説明するブロック図である。

【図２３】同撮像装置における一連の処理工程を説明す
る図である。

【図２４】本発明の第８の実施の形態として示す撮像装
置の構成を説明するブロック図である。

【図２５】同撮像装置における一連の処理工程を説明す
る図である。

【図２６】時間分割による露光量制御方法の原理を説明
する図である。

【図２７】空間分割による露光量制御方法を説明する図
である。

【図２８】多板撮像素子による露光量制御方法を説明す
る図である。

【図２９】合成方法の原理を説明する図である。

【図３０】レベル変換処理の際に用いるレベル変換関数
の一例を説明する図である。

【図３１】ヒストグラムイコライゼーションの原理を説
明する図である。

【図３２】単板カラーカメラの色フィルタの配列の一例
を説明する図である。

【図３３】単板カラーカメラの出力信号の一例を説明す
る図である。

【図３４】一連の画像処理を説明する図であって、理想
的な状況において撮像された画像に対して画像処理を行
った際の信号の様子を説明する図である。

【図３５】一連の画像処理を説明する図であって、実際
に撮像された画像に対して画像処理を行った際の信号の
様子を説明する図である。

【符号の説明】

１０，２０，３０，４０，５０，６０，７０，９０ 撮
像装置、 １１，７１，９１ 撮像器、 １２ａ，１２
ｂ，２２ａ，２２ｂ，３２，４２ａ，４２ｂ，５２ａ，
５２ｂ，６２，７３ａ，７３ｂ，９８ レベル補正器、
１３，７６，９３ 画像合成器、 １４，７８，９５
ダイナミックレンジ圧縮器、 １５，４５ 平均値算
出器、 １６，２６，３６，４６，５６，６６ 乗算
器、 １７，１９，２７，３７，４７，５７ａ，５７
ｂ，６７ａ，６７ｂ メモリ、 １８，２８，３８，４
８，５８，６８ 加算器、 ２５，３５，５５，６４
ローパスフィルタ、 ３９，６５ 正規化器、 ４９，
５９，６９ 時間平滑化器、７２ａ，７２ｂ，９２ａ，
９２ｂ ＹＣ分離器、 ７４ａ，７４ｂ，７４ｃ，７４
ｄ，７９ａ，７９ｂ，９６ａ，９６ｂ，９９ａ，９９ｂ
遅延器、 ７５ａ，７５ｂ，１００ 色補正器、 ７
７，９４ 色合成器、 ８０，９７ 色圧縮器、 ８
１，１０１ ＹＣ混合器

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−154201（ＪＰ，Ａ) 特開 平10−51795（ＪＰ，Ａ) 特開 平10−294911（ＪＰ，Ａ) 特開 平10−294892（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/222 - 5/247

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 互いに異なる露光条件で撮像して得られ
   た複数の画像から、階調再現性の優れた単一の画像を生
   成する撮像方法であって、 互いに異なる露光条件のもとで撮像することにより、複
   数の撮像画像を得る撮像工程と、 上記複数の撮像画像のそれぞれに対応する露光条件に基
   づいて上記複数の撮像画像のそれぞれのレベルを補正し
   て複数の補正画像を得る補正工程と、 上記複数の補正画像を合成してダイナミックレンジの広
   い単一の合成画像を生成する合成工程と、 出力先の性能に応じて、上記合成画像を圧縮して圧縮画
   像を得る圧縮工程とを備え、 上記補正工程は、撮像画像信号のそれぞれについて、各
   撮像画像信号からその撮像画像信号に対応する正の値を
   減算することにより行われ、 上記正の値は、対応する撮像画像信号の平均値と対応す
   る係数との乗算から求められるものであり、 上記係数は、上記対応する撮像画像信号の露光条件に基
   づき、上記撮像画像信号毎に定められることを特徴とす
   る撮像方法。
2. 【請求項２】 上記複数の撮像画像のそれぞれの各画素
   レベルから、上記複数の撮像画像のそれぞれに対応する
   露光条件に基づいて与えられる正の値を減算して上記補
   正画像を生成する減算工程を備えることを特徴とする請
   求項１記載の撮像方法。
3. 【請求項３】 上記撮像工程により得られた上記複数の
   撮像画像は、それぞれ、周波数変調の施された色信号が
   輝度信号に重畳された画像信号であり、 上記画像信号を上記輝度信号と上記色信号とに分離する
   分離工程を備え、 上記補正工程では、上記分離工程により分離された上記
   輝度信号と上記色信号とをそれぞれ補正して補正輝度信
   号及び補正色信号を生成し、 上記合成工程では、上記補正輝度信号と上記補正色信号
   とをそれぞれ合成して合成輝度信号及び合成色信号を生
   成し、 上記圧縮工程では、上記合成輝度信号及び上記合成色信
   号のそれぞれを圧縮して圧縮輝度信号及び圧縮色信号を
   生成することを特徴とする請求項１記載の撮像方法。
4. 【請求項４】 互いに異なる露光条件で撮像して得られ
   た複数の画像から、階調再現性の優れた単一の画像を生
   成する撮像方法であって、 互いに異なる露光条件のもとで撮像することにより、複
   数の撮像画像を得る撮像工程と、 上記複数の撮像画像を合成してダイナミックレンジの広
   い単一の合成画像を生成する合成工程と、 出力先の性能に応じて、上記合成画像のダイナミックレ
   ンジを圧縮して圧縮画像を得る圧縮工程と、 上記圧縮画像のレベルを補正して補正圧縮画像を得る補
   正工程とを備え、 上記補正工程は、上記圧縮画像から上記圧縮画像に対応
   する正の値を減算することにより行われ、 上記正の値は、上記圧縮画像から得られた平均圧縮画像
   と上記圧縮画像に対応する係数とを各画素毎に乗算して
   求められるものであることを特徴とする撮像方法。
5. 【請求項５】 互いに異なる露光条件で撮像して得られ
   た複数の画像から、階調再現性の優れた単一の画像を生
   成する撮像装置であって、 互いに異なる露光条件のもとで撮像することにより、複
   数の撮像画像を得る撮像手段と、 上記複数の撮像画像のそれぞれに対応する露光条件に基
   づいて上記複数の撮像画像のそれぞれのレベルを補正し
   て複数の補正画像を得る補正手段と、 上記複数の補正画像を合成してダイナミックレンジの広
   い単一の合成画像を生成する合成手段と、 出力先の性能に応じて、上記合成画像を圧縮して圧縮画
   像を得る圧縮手段とを備え、 上記補正手段は、撮像画像信号のそれぞれについて、各
   撮像画像信号からその撮像画像信号に対応する正の値を
   減算するものであり、 上記正の値は、対応する撮像画像信号の平均値と対応す
   る係数との乗算から求められるものであり、 上記係数は、上記対応する撮像画像信号の露光条件に基
   づき、上記撮像画像信号毎に定められることを特徴とす
   る撮像装置。
6. 【請求項６】 互いに異なる露光条件で撮像して得られ
   た複数の画像から、階調再現性の優れた単一の画像を生
   成する撮像装置であって、 互いに異なる露光条件のもとで撮像することにより、複
   数の撮像画像を得る撮像手段と、 上記複数の撮像画像を合成してダイナミックレンジの広
   い単一の合成画像を生成する合成手段と、 出力先の性能に応じて、上記合成画像のダイナミックレ
   ンジを圧縮して圧縮画像を得る圧縮手段と、 上記圧縮画像のレベルを補正して補正圧縮画像を得る補
   正手段とを備え、 上記補正手段は、上記圧縮画像から上記圧縮画像に対応
   する正の値を減算するものであり、 上記正の値は、上記圧縮画像から得られた平均圧縮画像
   と上記圧縮画像に対応する係数とを各画素毎に乗算して
   求められるものであることを特徴とする撮像装置。
7. 【請求項７】 露光条件が互いに異なる複数の入力画像
   から、階調再現性の優れた単一の画像を生成する画像処
   理方法であって、 互いに異なる露光条件の複数の画像が入力され、これら
   の複数の入力画像のそれぞれに対応する露光条件に基づ
   いて上記複数の入力画像のそれぞれのレベルを補正して
   複数の補正画像を得る補正工程と、 上記複数の補正画像を合成してダイナミックレンジの広
   い単一の合成画像を生成する合成工程と、 出力先の性能に応じて、上記合成画像を圧縮して圧縮画
   像を得る圧縮工程とを備え、 上記補正工程は、撮像画像信号のそれぞれについて、各
   撮像画像信号からその撮像画像信号に対応する正の値を
   減算することにより行われ、 上記正の値は、対応する撮像画像信号の平均値と対応す
   る係数との乗算から求められるものであり、 上記係数は、上記対応する撮像画像信号の露光条件に基
   づき、上記撮像画像信号毎に定められることを特徴とす
   る画像処理方法。
8. 【請求項８】 上記複数の入力画像のそれぞれの各画素
   レベルから、上記複数の入力画像のそれぞれに対応する
   露光条件に基づいて与えられる正の値を減算して上記補
   正画像を生成する減算工程を有することを特徴とする請
   求項７記載の画像処理方法。
9. 【請求項９】 上記複数の入力画像は、それぞれ、周波
   数変調の施された色信号が輝度信号に重畳された画像信
   号として入力され、 上記画像信号を上記輝度信号と上記色信号とに分離する
   分離工程を備え、 上記補正工程では、上記分離工程により分離された上記
   輝度信号と上記色信号とをそれぞれ補正して補正輝度信
   号及び補正色信号を生成し、 上記合成工程では、上記補正輝度信号と上記補正色信号
   とをそれぞれ合成して合成輝度信号及び合成色信号を生
   成し、 上記圧縮工程では、上記合成輝度信号及び上記合成色信
   号のそれぞれを圧縮して圧縮輝度信号及び圧縮色信号を
   生成することを特徴とする請求項７記載の画像処理方
   法。
10. 【請求項１０】 露光条件が互いに異なる複数の入力画
    像から、階調再現性の優れた単一の画像を生成する画像
    処理方法であって、 互いに異なる露光条件の複数の画像が入力され、これら
    の複数の入力画像を合成してダイナミックレンジの広い
    単一の合成画像を生成する合成工程と、 出力先の性能に応じて、上記合成画像のダイナミックレ
    ンジを圧縮して圧縮画像を得る圧縮工程と、 上記圧縮画像のレベルを補正して補正圧縮画像を得る補
    正工程とを備え、 上記補正工程は、上記圧縮画像から上記圧縮画像に対応
    する正の値を減算することにより行われ、 上記正の値は、上記圧縮画像から得られた平均圧縮画像
    と上記圧縮画像に対応する係数とを各画素毎に乗算して
    求められるものであることを特徴とする画像処理方法。
11. 【請求項１１】 露光条件が互いに異なる複数の入力画
    像から、階調再現性の優れた単一の画像を生成する画像
    処理装置であって、 互いに異なる露光条件の複数の画像を入力し、これらの
    複数の入力画像のそれぞれに対応する露光条件に基づい
    て上記複数の入力画像のそれぞれのレベルを補正して複
    数の補正画像を得る補正手段と、 上記複数の補正画像を合成してダイナミックレンジの広
    い単一の合成画像を生成する合成手段と、 出力先の性能に応じて、上記合成画像を圧縮して圧縮画
    像を得る圧縮手段とを備え、 上記補正手段は、撮像画像信号のそれぞれについて、各
    撮像画像信号からその撮像画像信号に対応する正の値を
    減算するものであり、 上記正の値は、対応する撮像画像信号の平均値と対応す
    る係数との乗算から求められるものであり、 上記係数は、上記対応する撮像画像信号の露光条件に基
    づき、上記撮像画像信号毎に定められることを特徴とす
    る画像処理装置。
12. 【請求項１２】 露光条件が互いに異なる複数の入力画
    像から、階調再現性の優れた単一の画像を生成する画像
    処理装置であって、 互いに異なる露光条件の複数の画像を入力し、これらの
    複数の入力画像を合成してダイナミックレンジの広い単
    一の合成画像を生成する合成手段と、 出力先の性能に応じて、上記合成画像のダイナミックレ
    ンジを圧縮して圧縮画像を得る圧縮手段と、 上記圧縮画像のレベルを補正して補正圧縮画像を得る補
    正手段とを備え、 上記補正手段は、上記圧縮画像から上記圧縮画像に対応
    する正の値を減算するものであり、 上記正の値は、上記圧縮画像から得られた平均圧縮画像
    と上記圧縮画像に対応する係数とを各画素毎に乗算して
    求められるものであることを特徴とする画像処理装置。