JP2009152669A - 撮像装置、撮像処理方法及び撮像制御プログラム - Google Patents

Abstract

【課題】長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置において、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たない合成画像信号を得る。
【解決手段】第１の輝度信号処理部５Ｙで、撮像素子部２により得た長時間露光信号の輝度信号の第１の信号レベル以上及び短時間露光信号から得られる輝度信号の第２の信号レベル以下をクリップし、輝度信号合成部７Ｙにより合成して、少なくとも長時間露光画像信号又は短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する。短時間露光信号のクリップレベルは、長時間露光信号のクリップレベルを長時間露光信号を得るための長時間露光時間と短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上とする。
【選択図】図１

Description

本発明は、長時間露光画像信号と短時間露光画像とを合成してダイナミックレンジの広い合成画像信号を生成する撮像装置、撮像処理方法及び撮像制御プログラムに関する。

従来のＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ（露光過多：overexposure）が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ（露光不足：underexposure）が発生しないように露光量を多くするように、露光量を調節している。

しかしながら、明暗の差が大きいシーンの撮像（逆光撮像、屋内外同時撮像）する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。

この問題を解決するために、フィールド内で二つの異なる電子シャッタースピードを使用したり、フィールドごとに電子シャッタースピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を１枚の画像に合成する方法が既に開発されている（例えば、特許文献１参照）。

また、これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置（ワイドダイナミックレンジカメラ）があり、その合成画像の品質を向上させる装置・方法が提案されている（例えば、特許文献２、３参照）。

一般に、撮像素子は、図１３（Ａ）に示すように、入射光量に対して出力電圧があるレベルで飽和する特性を持っており、画面全体では図１３（Ｂ）に示すように画素毎に飽和レベルにバラツキがあり、映像としてはムラ状に見える問題となる。

図１３（Ｃ）に示すように、画素毎に飽和レベルにバラツキがある長時間露光信号と短時間露光信号とを合成してワイドダイナミックレンジ化を図ると、この飽和ムラは、図１３（Ｄ）に示すように、合成後の信号では短時間露光信号の飽和ムラが出る高輝度側のみでなく長時間露光信号の飽和ムラが中輝度領域に出ることになる。

飽和ムラを軽減する手法としては、撮像素子出力をピーククリップしてからＡＤ変換する方法の他、ＡＤ変換する際の上限値を飽和ムラの発生するレベルより小さくする、ＡＤ変換後のデジタル信号に対して一定レベル以上の信号をクリップするなどの方法が知られている。

例えば、固体撮像素子を通常のｎ倍速で駆動させるとともに、１フィールド内にｎ個のシャッタパルスを供給してシャッタ蓄積期間をきめ細かく制御することによって連続した諧調の画像出力が得られ、これらの画像出力をｎ個のフィールドメモリへホワイト・クリップをかけた後記憶させ、垂直同期パルスＶＤに同期して出力させた後に加算器により加算し合成出力することにより、１つの固体撮像素子を用いて安価に、飽和むらのないダイナミックレンジの広い固体撮像装置を提供することが出来るようにした固体撮像装置が提案されている（例えば、特許文献４参照）。

また、露光量の異なる２種類の映像信号を合成してダイナミックレンジを拡大する固体撮像装置において、長時間露光信号のゲインおよび短時間露光信号のゲインを異なる値に設定するとともに、前記長時間露光信号のニーポイントおよび前記短時間露光信号のニーポイントを異なる値に設定する手段を備え、前記長時間露光信号のニーポイントを前記所定の輝度レベルより低いポイントに設定し、前記短時間露光信号のニーポイントを前記所定の輝度レベルより高いポイントに設定するものであり、長時間露光信号と短時間露光信号を合成することでダイナミックレンジの拡大を行い、長時間露光信号のニーポイントを合成レベルである所定の輝度レベルより低いポイントに設定し、短時間露光信号のニーポイントを合成レベルである所定の輝度レベルより高いポイントに設定することで、合成部分の階調感を改善することが行われている（例えば、特許文献５参照）。

特開平０６−１４１２２９号公報 特開２００２−８４４４９号公報 特開２００４−１２０２０５号公報 特開平０９−２００６２１号公報 特許第３６４２２４５号公報

しかしながら、長時間露光信号と短時間露光信号を合成してワイドダイナミックレンジ化を行う撮像装置においては、ピーククリップ処理のみでは中輝度部の飽和ムラに見える現象が完全になくならない問題が生じていた。１垂直同期期間に２回露光を行う形式の撮像素子においては短時間露光時間が垂直ブランキング期間以内にしないといけないために、長時間露光時間を最長として使用すると長時間露光時間と短時間露光時間の比率は約２０倍以上となり、同一光量から得られる撮像素子出力信号量はその露光比分異なることになって露光比分短時間露光側の信号はＳＮが劣っている。

また、長時間露光信号のレベルの高い方と短時間露光信号のレベルの低い方の諧調をなめらかにつなぐ特性を重視した処理を行うと、短時間露光信号側の低輝度部のＳＮの悪さなどが目立ち、短時間露光信号側の暗部が合成によって中輝度部の出力レベルとなるために、中輝度部の飽和ムラなどに見える現象が目立つ問題があった。

そこで、本発明の目的は、上述の如き従来の実情に鑑み、長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置において、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では、撮像素子により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得て、長時間露光信号から得られる輝度信号の第１の信号レベル以上をクリップし、短時間露光信号から得られる輝度信号の一定レベル以下をクリップし、各クリップ処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する。

すなわち、本発明に係る撮像装置は、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像素子と、上記撮像素子により得られた長時間露光信号から得られる輝度信号の第１の信号レベル以上をクリップする第１のクリップ処理手段と、上記撮像素子により得られた短時間露光信号から得られる輝度信号の第１の信号レベル以下をクリップする第２のクリップ処理手段と、上記第１のクリップ手段によるクリップ処理が施された長時間露光画像信号と上記第１のクリップ手段によるクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段とを備え、上記第２のクリップ処理手段による短時間露光信号のクリップレベルは、上記第１のクリップ処理手段による長時間露光信号のクリップレベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする。

また、本発明に係る撮像処理方法は、撮像素子により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第１の信号レベル以上をクリップする第１のクリップ処理ステップと、上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第１の信号レベル以下をクリップする第２のクリップ処理ステップと、上記第１のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第１のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、上記第２のクリップ処理ステップにおける短時間露光信号のクリップレベルは、上記第１のクリップ処理ステップにおける長時間露光信号のクリップレベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする。

さらに、本発明は、撮像制御プログラムであって、撮像素子を制御して単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第１の信号レベル以上の部分をクリップする第１のクリップ処理ステップと、上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第２の信号レベル以下の部分をクリップする第２のクリップ処理ステップと、上記第１のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第１のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、上記第２の信号レベルは、上記第１の信号レベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像処理方法をコンピュータに実行させることを特徴とする。

本発明によれば、長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置において、長時間露光信号から得られる輝度信号の第１の信号レベル以上をクリップし、短時間露光信号から得られる輝度信号の第２の信号レベル以下をクリップし、各クリップ処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成することにより、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることができる。

すなわち、短時間露光信号の低輝度部をクリップしても、該クリップ部には長時間露光信号側に有効な映像があるので、ワイドダイナミック化した映像信号において失われる映像部分は少なくできる。ワイドダイナミック化を求められる撮影条件は撮像素子自体のダイナミックレンジを数倍大きくすることでなく、長時間露光で有効となる被写体と短時間露光で有効となる被写体の光量比が１０数倍以上ある時であるので、ワイドダイナミックレンジ化の効果はほとんど低下しない。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の撮像装置１０に適用される。

この撮像装置１０は、撮像光学系１、撮像素子部２、前処理部３、ＹＣ分離部４、第１の輝度信号処理部５Ｙ、第１の色信号処理部５Ｃ 遅延部６Ｙ，６Ｃ、輝度信号合成部７Ｙ、色信号合成部７Ｃ、第２の輝度信号処理部８Ｙ、第２の色信号処理部８Ｃ、出力部９、タイミングジェネレータ１１、制御部１２などを備える。

撮像光学系１は、レンズや不要な波長を除去する光学フィルタ、絞り等の光学部品を備える。被写体から入射された光は撮像光学系１における各光学部品を介して撮像素子部２に導かれる。

撮像素子部２は、例えばＣＣＤセンサアレイ、ＣＭＯＳセンサアレイなどの固体撮像素子部として構成される。この撮像素子部２は、撮像光学系１を介して導かれた光を光電変換し、撮像画像としての電気信号を出力するもので、この撮像装置１０では、図２に示すように、１垂直同期期間に、長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。この撮像素子部２は、例えば、通常の２倍の段数の垂直転送段数が設けられたインターライントランスファ型ＣＣＤイメージセンサを備え、１垂直同期期間毎の垂直ブランキング期間内で光電変換部からを垂直転送段に撮像電荷の読み出しを２度行い、その２度の読み出しの間に垂直転送段に読み出した撮像電荷の転送することによって、垂直有効期間の始まりの直前に垂直転送段には長時間露光の信号電荷と短時間露光の信号電荷が並び、水平転送段を２倍の速度で駆動して撮像電荷を読み出すことで、図３に示すように、１水平同期期間に１列分の長時間露光信号Ｓ_ＳＬと短時間露光信号Ｓ_Ｓを出力し、１列目の長時間露光信号と短時間露光信号、２列目の長時間露光信号と短時間露光信号、３列目の長時間露光信号と短時間露光信号、・・・と順次出力するものである。

なお、撮像素子部２は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることは可能である。

ここで、合成撮像モードについて述べておく。

一般的に使用される撮像装置における通常の撮像動作では、被写体における非常に暗い部分から非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に，屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。

これに対して合成撮像モードの撮像動作では、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得るようにしている。

ここで、図２は、撮像素子部２での、１垂直同期期間内の露光時間と蓄積される露光量（電荷量）を示している。

この図２では、１／６０秒の１垂直同期期間において、１／６４秒の長時間露光と、１／２０００秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。

この長時間露光と短時間露光を行うことで、１垂直同期期間に、長時間露光画像信号Ｓ_Ｌと短時間露光画像信号Ｓ_Ｓを得る。そしてこの両画像信号を合成することで１フィールドの撮像画像データが生成される。

なお、長時間露光と短時間露光は、必ずしも１垂直同期期間に行わなければならないものではなく、或る垂直同期期間に長時間露光を行い、次の垂直同期期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。

この撮像装置１０における前処理部３は、いわゆるアナログフロントエンドであり、撮像素子部２から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプによるゲイン処理、Ａ／Ｄ変換処理を行う。そして、これらの処理を行った露光画像信号をＹＣ分離部４に供給する。

ＹＣ分離部４は、前処理部３から供給される長時間露光信号と短時間露光信号それぞれを長時間露光輝度信号Ｙ_Ｌ及び短時間露光輝度信号Ｙ_Ｓと長時間露光色信号Ｃ_Ｌ及び短時間露光色信号Ｃ_Ｓに分離する。そして、このＹＣ分離部４により分離された長時間露光輝度信号Ｙ_Ｌ及び短時間露光輝度信号Ｙ_Ｓは、第１の輝度信号処理部５Ｙに時分割的に順次供給され、また、長時間露光色信号Ｃ_Ｌ及び短時間露光色信号Ｃ_Ｓは、第１の色信号処理部５Ｃに時分割的に順次供給される。

第１の輝度信号処理部５Ｙは、上記ＹＣ分離部４から時分割的に順次供給される長時間露光輝度信号Ｙ_Ｌ及び短時間露光輝度信号Ｙ_Ｓを合成する前に、長時間露光画像信号Ｙ_Ｌに対して短時間露光画像信号Ｙ_Ｓの輝度レベルを一致させるゲイン処理等を行う。この第１の輝度信号処理部５Ｙによる信号処理が施された長時間露光輝度信号Ｙ_Ｌ及び短時間露光輝度信号Ｙ_Ｓは、輝度信号合成部７Ｙに直接供給されるとともに、同時化するための遅延部６Ｙを介して輝度信号合成部７Ｙに供給される。

輝度信号合成部７Ｙは、上記第１の輝度信号処理部５Ｙから直接及び遅延部６Ｙを介して供給される同時化された長時間露光輝度信号Ｙ_Ｌと短時間露光輝度信号Ｙ_Ｓとを合成してダイナミックレンジの広い輝度信号Ｙ_Ｗを生成する。この輝度信号合成部７Ｙにより合成された輝度信号Ｙ_Ｗは、第２の輝度信号処理部８Ｙを介して出力部９に供給される。

第２の輝度信号処理部８Ｙは、上記輝度信号合成部７Ｙにより合成されたワイドダイナミックレンジ化された輝度信号Ｙ_Ｗに対してガンマ補正処理等の輝度信号処理を施す。

また、第１の色信号処理部５Ｃは、上記ＹＣ分離部４から時分割的に順次供給される長時間露光色信号Ｃ_Ｌ及び短時間露光色信号Ｃ_Ｓを合成する前に、長時間露光色信号Ｃ_Ｌに対して長時間露光色信号Ｃ_Ｓの信号レベルを一致させるゲイン処理等を行う。この第１の色信号処理部５Ｃによる信号処理が施された長時間露光色信号Ｃ_Ｌ及び短時間露光色信号Ｃ_Ｓは、色信号合成部７Ｃに直接供給されるとともに、同時化するための遅延部６Ｃを介して色信号合成部７Ｃに供給される。

色信号合成部７Ｃは、上記第１の色信号処理部５Ｃから直接及び遅延部６Ｃを介して供給される同時化された長時間露光色信号Ｃ_Ｌと短時間露光色信号Ｃ_Ｓとを合成してダイナミックレンジの広い色信号Ｃ_Ｗを生成する。この色信号合成部７Ｃにより生成された色信号Ｃ_Ｗは、第２の色信号処理部８Ｃを介して出力部９に供給される。

第２の色信号処理部８Ｃは、上記色信号合成部７Ｃにより合成されたワイドダイナミックレンジ化された色信号Ｃ_Ｗに対してホワイトバランス処理等の色信号処理を施す。

出力部９は、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行うもので、上記第２の輝度信号処理部８Ｙを介して供給されるワイドダイナミックレンジ化された輝度信号Ｙ_Ｗと上記第２の色信号処理部８Ｃを介して供給されるワイドダイナミックレンジ化された色信号Ｃ_Ｗから、出力フォーマットに合致した映像信号にエンコードした撮像出力信号を出力する。

タイミングジェネレータ１１は、例えばＣＣＤイメージセンサなどの撮像素子部２に必要な動作パルスを生成する。例えば垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部２に供給する。このタイミングジェネレータ１１により撮像素子部２を駆動（電子シャッタ機能）させることが可能となる。このタイミングジェネレータ１１は、制御部９から合成撮像モードが指示されることにより、撮像素子部２に図２のような露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光を実行させる。

また、このタイミングジェネレータ１１は、合成撮像モードにおける長時間露光期間をハイレベルで示し、また、短時間露光期間をローレベルで示す露光判別信号を上記第１の第１の輝度信号処理部５Ｙと第１の色信号処理部５Ｃに供給する。

制御部１２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを有するマイクロコンピュータによって構成され、撮像装置１０の全体の動作を制御する。制御部９におけるＲＯＭには、これらの制御処理を実行させる撮像制御プログラムが格納されており、該撮像制御プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。

この撮像装置１０において、第１の輝度信号処理部５Ｙでは、長時間露光輝度信号Ｙ_Ｌには、その飽和信号のばらつきの発生する信号レベルより小さい値Ｌ_ＬＰ以上をクリップするピーククリップ処理を施すことにより、図４に示すような特性を与え、また、短時間露光輝度信号Ｙ_Ｓには、その飽和信号のばらつきの発生する信号レベルより小さい値Ｌ_ＳＰ以上をクリップするピーククリップ処理を施すとともに一定値Ｌ_ＳＤ以下の信号をクリップするダーククリップ処理を施すことにより、図５に示すような特性を与える。

ここで、長時間露光時間をＴ_Ｌ、短時間露光時間をＴ_Ｓとしたときに、短時間露光信号Ｙ_Ｓに施すダーククリップ処理のクリップレベルの値Ｌ_ＳＤを
Ｌ_ＳＤ≧Ｌ_ＬＰ÷(Ｔ_Ｌ/Ｔ_Ｓ)
に設定してある。

すなわち、上記短時間露光輝度信号Ｙ_Ｓに施すダーククリップ処理のクリップレベルの値Ｌ_ＳＤは、上記長時間露光輝度信号Ｙ_Ｓに施すピーククリップのクリップレベルの値Ｌ_ＬＰを上記撮像素子部２により長時間露光信号を得るための長時間露光時間Ｔ_Ｌと短時間露光信号を得るための短時間露光時間Ｔ_Ｓとの時間比(Ｔ_Ｌ/Ｔ_Ｓ)で除算して得られる信号レベル以上としてある。

そして、輝度信号合成部７Ｙにおいて、図６に示すように、Ｌ_ＬＰ＝Ｌ_ＳＤとして、長時間露光輝度信号Ｙ_Ｌと短時間露光輝度信号Ｙ_Ｓを合成してワイドダイナミックレンジ化した輝度信号Ｙ_Ｗを生成する。

すなわち、この撮像装置１０では、撮像素子部２により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得て、第１の輝度信号処理部５Ｙにより、上記長時間露光信号から得られる輝度信号Ｙ_Ｌの第１の信号レベル以上をクリップするピーククリップ処理を施し、上記短時間露光信号から得られる輝度信号Ｙ_Ｓの第２の信号レベル以下をクリップするダーククリップ処理を施し、上記短時間露光輝度信号Ｙ_Ｓに施すダーククリップ処理のクリップレベルの値Ｌ_ＳＤは、上記長時間露光輝度信号Ｙ_Ｓに施すピーククリップのクリップレベルの値Ｌ_ＬＰを上記撮像素子部２により長時間露光信号を得るための長時間露光時間Ｔ_Ｌと短時間露光信号を得るための短時間露光時間Ｔ_Ｓとの時間比(Ｔ_Ｌ/Ｔ_Ｓ)で除算して得られる信号レベル以上とし、輝度信号合成部７Ｙにおいて、Ｌ_ＬＰ＝Ｌ_ＳＤとして、長時間露光輝度信号Ｙ_Ｌと短時間露光輝度信号Ｙ_Ｓを合成してワイドダイナミックレンジ化した輝度信号Ｙ_Ｗを生成する。

このように、長時間露光信号と短時間露光信号を合成してワイドダイナミック化する撮像装置１０において、長時間露光信号から得られる輝度信号Ｙ_Ｌの第１の信号レベル以上をクリップし、短時間露光信号から得られる輝度信号Ｙ_Ｓの第２の信号レベル以下をクリップし、各クリップ処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成することにより、長時間露光信号の高輝度部の飽和ムラや短時間露光信号の低輝度部の輝度信号や色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることができる。

すなわち、短時間露光信号の低輝度部をクリップしても、該クリップ部には長時間露光信号側に有効な映像があるので、ワイドダイナミック化した映像信号において失われる映像部分は少なくできる。ワイドダイナミック化を求められる撮影条件は撮像素子自体のダイナミックレンジを数倍大きくすることでなく、長時間露光で有効となる被写体と短時間露光で有効となる被写体の光量比が１０数倍以上ある時であるので、ワイドダイナミックレンジ化の効果はほとんど低下しない。

ここで、上述の如きクリップ処理を行う上記第１の輝度信号処理部５Ｙは、原理的には、長時間露光信号から得られる輝度信号の第１の信号レベル以上をクリップする第１のクリップ処理手段と、上記撮像素子により得られた短時間露光信号から得られる輝度信号の第２の信号レベル以下をクリップする第２のクリップ処理手段を備えるものであるが、例えば、図７に示すように、単一のクリップ回路で上述のクリップ処理を行うものとすることができる。

この図７に示す第１の輝度信号処理部５Ｙは、入力端子５１に供給される輝度信号にクリップ処理を施し、クリップ処理済みの輝度信号を出力端子５２から出力するクリップ回路５０と、上記タイミングジェネレータ１１から露光判別信号入力端子５３に供給される露光判別信号により切り換え制御される切り替え回路５４と、上記制御部１２により与えられる短時間露光時間用クリップレベル値を保持するレジスタ５５と、上記制御部１２により与えられる長時間露光時間用クリップレベル値を保持するレジスタ５６を備え、上記レジスタ５５、５６に保持された各クリップレベル値が上記切り替え回路５４を介して上記クリップ回路５０に与えられるようになっている。

この第１の輝度信号処理部５Ｙにおいて、切り替え回路５４は、上記タイミングジェネレータ１１から、図８に示しように、長時間露光期間をハイレベル「Ｈ」で示し、また、短時間露光期間をローレベル「Ｌ」で示す露光判別信号が露光判別信号入力端子５３に供給されることにより、上記露光判別信号がローレベル「Ｌ」となる短時間露光期間にレジスタ５５側の値を有効にし、上記露光判別信号がハイレベル「Ｈ」となる長時間露光期間にレジスタ５６側の値が有効にするように動作する。

そして、クリップ回路５０は、図９に示すように入力レベルＩ_Ａ以下を出力レベルＯ_Ａにクリップして、入力レベルＩ_Ｂ以上を出力レベルＯ_Ｂにクリップするもので、上記制御部１２により短時間露光時間用クリップレベル値としてレジスタ５５に与えられる設定値をＩ_Ａ＝Ｅ_ＳＤ、Ｉ_Ｂ＝Ｅ_ＳＰとし、また、上記制御部１２により長時間露光時間用クリップレベル値としてレジスタ７６に与えられる設定値をＩ_Ａ＝０、Ｉ_Ｂ＝Ｅ_ＬＰとすることによって、長時間露光輝度信号Ｙ_Ｌに対しては上述の図４に示した特性を与え、短時間露光輝度信号Ｙ_Ｓに対しては上述の図５に示した特性を与えることができる。

ここで、上記撮像装置１０において、第１の色信号処理部５Ｃ〜色信号合成部８Ｃは、上記第１の輝度信号処理部５Ｙ〜輝度信号合成部８Ｙにより生成されるワイドダイナミックレンジ化した輝度信号Ｙ_Ｗに対応する色信号Ｃ_Ｗを上記第１の輝度信号処理部５Ｙ〜輝度信号合成部８Ｙと同様な動作により生成するが、色信号合成部７Ｃにおいて、短時間露光輝度信号Ｙ_Ｓのクリップレベル以下の領域の短時間露光色信号Ｃ_Ｓを用いずに色信号を合成するようにすれば、低輝度部分での色信号のノイズをさらに目立たないようにすることができる。

上記撮像装置１０における低輝度部分での色信号のノイズをさらに目立たないように改良した撮像装置１００の構成を図１０のブロック図に示す。

図１０に示す撮像装置１００において、上記撮像装置１０と同一の構成要素には同一符号を付して、その詳細な説明を省略する。

この撮像装置１００では、第１の輝度信号処理部５Ｙから第１の色信号処理部５Ｃに制御信号が与えられるようになっている。

上記制御信号は、図１１に示すように、短時間露光輝度信号Ｙ_Ｓがダーククリップレベル以下の時にハイレベル「Ｈ」でそれ以外がローレベル「Ｌ」である信号である。

第１の色信号処理部５Ｃでは、図１２に示すように、長時間露光色信号Ｃ_Ｌと短時間露光色信号Ｃ_Ｓが１列ずつ順次入力され、上記タイミングジェネレータ１１から供給される露光判別信号がハイレベル「Ｈ」となる長時間露光期間には、長時間露光に対応した色信号ゲインを長時間露光色信号Ｃ_Ｌにかけ、また、上記露光判別信号がローレベル「Ｌ」となる短時間露光期間には、短時間露光に対応した色信号ゲインを短時間露光色信号Ｃ_Ｓにかける。

さらに、上記第１の色信号処理部５Ｃは、上記第１の輝度信号処理部５Ｙから与えられる制御信号がハイレベル「Ｈ」の期間、すなわち、短時間露光輝度信号Ｙ_Ｓがダーククリップ以下のレベルである期間に短時間露光色信号Ｃ_Ｓにかける色信号ゲインを０にする処理を行う。

このように、短時間露光輝度信号Ｙ_Ｓがダーククリップ以下のレベルである期間に短時間露光色信号Ｃ_Ｓにかかる色信号ゲインを０にすることによって、低輝度部分での色信号のノイズが目立たないダイナミックレンジが広い合成画像信号を得ることができる。

この撮像装置１０において、上記制御部１２は、当該制御部１２を構成するマイクロコンピュータによって撮像制御プログラムを実行することにより、上記第１の輝度信号処理部５Ｙにおける短時間露光輝度信号Ｙ_Ｓのクリップレベルは、上記長時間露光輝度信号Ｙ_Ｌのクリップレベルを上記撮像素子部２により上記長時間露光信号を得るための長時間露光時間Ｔ_Ｌと上記短時間露光信号を得るための短時間露光時間Ｔ_Ｓとの時間比（Ｔ_Ｌ/Ｔ_Ｓ）で除算して得られる信号レベル以上とし、輝度信号合成部７Ｙにおいて、Ｌ_ＬＰ＝Ｌ_ＳＤとして、長時間露光信号のクリップレベルと短時間露光信号のクリップレベルを一致させた状態で上記各クリップ処理が施された長時間露光輝度信号と短時間露光輝度信号を上記長時間露光信号のクリップレベルと上記短時間露光信号のクリップレベルを一致させた状態で合成してワイドダイナミックレンジ化した輝度信号を生成する制御を行う。

さらに、この撮像装置１０において、本発明に係る撮像制御プログラムは、上述した制御部１２を構成するマイクロコンピュータによって実行される撮像制御プログラムであって、上記制御部１２は、当該制御部１２を構成するマイクロコンピュータによって撮像制御プログラムを実行することにより、上記第１の輝度信号処理部５Ｙにおける短時間露光輝度信号Ｙ_Ｓのクリップレベルは、上記長時間露光輝度信号Ｙ_Ｌのクリップレベルを上記撮像素子部２により上記長時間露光信号を得るための長時間露光時間Ｔ_Ｌと上記短時間露光信号を得るための短時間露光時間Ｔ_Ｓとの時間比（Ｔ_Ｌ/Ｔ_Ｓ）で除算して得られる信号レベル以上とし、輝度信号合成部７Ｙにおいて、Ｌ_ＬＰ＝Ｌ_ＳＤとして、長時間露光信号のクリップレベルと短時間露光信号のクリップレベルを一致させた状態で上記各クリップ処理が施された長時間露光輝度信号と短時間露光輝度信号を上記長時間露光信号のクリップレベルと上記短時間露光信号のクリップレベルを一致させた状態で合成してワイドダイナミックレンジ化した輝度信号を生成する制御を行う。

このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。

あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

以上、実施の形態を説明してきたが、本発明としては多様な変形例が考えられる。

例えば、本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至までのモニタリング中に、各フィールド期間で上述のような露光制御（短時間露光時間の制御）を行えばよい。また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。もちろん、スキャン方式に限らず、画像信号の単位期間とは、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに１回の割合で、露光制御処理が行われるような動作例も考えられる。

本発明を適用した構成の撮像装置の構成を示すブロック図である。 上記撮像装置における長時間露光と短時間露光の説明図である。 上記撮像装置において撮像素子部から１水平同期期間毎に出力される長時間露光信号と短時間露光信号を模式的に示す図である。 上記撮像素子部において得られる長時間露光信号を模式的に示す図である。 上記撮像素子部において得られる短時間露光信号を模式的に示す図である。 上記撮像装置における長時間露光信号と短時間露光信号の合成処理の説明図である。 上記撮像装置においてクリップ処理を行う第１の輝度信号処理部の構成例を示すブロック図である。 上記撮像装置において、 図７に示した第１の輝度信号処理部に上記タイミングジェネレータ１１から与えられる露光判別信号を模式的に示す図である。 上記図７に示した第１の輝度信号処理部におけるクリップ回路の動作を模式的に示す図である。 本発明を適用した構成の撮像装置の他の構成例を示すブロック図である。 上記撮像装置において、第１の輝度信号処理部から第１の色信号処理部に与えられる制御信号を模式的に示す図である。 上記上記撮像装置における長時間露光色信号と短時間露光色信号に対する上記第１の色信号処理部によるゲイン処理を模式的に示す図である。 画素毎に飽和レベルにバラツキがある長時間露光信号と短時間露光信号とを合成してワイドダイナミックレンジ化を図ることにより生じる飽和ムラの発生状況を模式的に示す図である。

符号の説明

１ 撮像光学系、２ 撮像素子部，３ 前処理部、４ ＹＣ分離部、５Ｙ 第１の輝度信号処理部 ５Ｃ 第１の色信号処理部、６Ｙ，６Ｃ 遅延部、７Ｙ 輝度信号合成部、７Ｃ 色信号合成部、８Ｙ 第２の輝度信号処理部 ８Ｃ 第２の色信号処理部、９ 出力部、１０，１００ 撮像装置、１１ タイミングジェネレータ、１２ 制御部、５０ クリップ回路、５１ 入力端子、５２ 出力端子、５３ 露光判別信号、入力端子５４ 切り換え回路、５５，５６ レジスタ

Claims (4)

1. 単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像素子と、
   上記長時間露光信号から得られる輝度信号の第１の信号レベル以上の部分をクリップする第１のクリップ処理手段と、
   上記撮像素子により得られた短時間露光信号から得られる輝度信号の第２の信号レベル以下の部分をクリップする第２のクリップ処理手段と、
   上記第１のクリップ手段によるクリップ処理が施された長時間露光画像信号と上記第１のクリップ手段によるクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段とを備え、
   上記第２の信号レベルは、上記第１の信号レベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像装置。
2. 上記長時間露光信号から得られる色信号と上記短時間露光信号から得られる色信号を合成して色信号とする色信号処理手段を備え、
   上記色信号処理手段は、上記第２のクリップ処理手段による短時間露光輝度信号のクリップレベル以下の領域の上記短時間露光色信号を用いずに色信号を合成することを特徴とする請求項１記載の撮像装置。
3. 撮像素子により単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、
   上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第１のレベル以上をクリップする第１のクリップ処理ステップと、
   上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第２のレベル以下をクリップする第２のクリップ処理ステップと、
   上記第１のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第１のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、
   上記第２のクリップ処理ステップにおける短時間露光信号のクリップレベルは、上記第１のクリップ処理ステップにおける長時間露光信号のクリップレベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像処理方法。
4. 撮像素子を制御して単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像ステップと、
   上記撮像ステップで得られた長時間露光信号から得られる輝度信号の第１の信号レベル以上の部分をクリップする第１のクリップ処理ステップと、
   上記撮像ステップで得られた短時間露光信号から得られる輝度信号の第２の信号レベル以下の部分をクリップする第２のクリップ処理ステップと、
   上記第１のクリップ処理ステップでクリップ処理が施された長時間露光画像信号と上記第１のクリップ処理ステップでクリップ処理が施された短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップとを有し、
   上記第２の信号レベルは、上記第１の信号レベルを上記撮像素子により上記長時間露光信号を得るための長時間露光時間と上記短時間露光信号を得るための短時間露光時間との時間比で除算して得られる信号レベル以上としたことを特徴とする撮像処理方法をコンピュータに実行させる撮像制御プログラム。

Images