JP2018074199A - 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】広い輝度範囲を表現可能な表示装置用の映像を、狭い輝度範囲を表現可能な表示装置用の明るさに補正することができる技術を実現する。【解決手段】画像処理装置は、第１の表示装置用に第１の映像信号を生成する画像処理手段と、前記第１の表示装置で表現可能な輝度範囲よりも狭い輝度範囲を表現可能な第２の表示装置において前記第１の映像信号を表示する場合に、表現可能な輝度範囲の違いによって前記第２の表示装置において低下する明るさを補正するための補正情報を生成する補正手段と、前記補正手段により生成された補正情報を前記第１の映像信号に関連付けて記録する記録手段と、を有する。【選択図】図７

Description

本発明は、映像を表現可能な輝度範囲が異なる表示装置用の明るさに補正する画像処理技術に関する。

近年、表示装置による映像の出力性能が向上し、実被写体に近い広いダイナミックレンジを表現することが可能な表示装置が開発されている。そして、映像の臨場感を向上させるため、被写体を見たままの明るさで表示する、つまり被写体の絶対輝度値を表示装置で表示される被写体の輝度値に合わせて撮影を行う技術（絶対輝度表示モード）が提案されている。このような絶対輝度表示モードで撮影された映像は、広いダイナミックレンジを有する表示装置から出力することで、実被写体と同等の明るさで表示され臨場感のある映像が視聴可能となる。特許文献１には、１回の撮影指示で主被写体と背景に対してそれぞれ適切な明るさで撮影することが可能となる技術が提案されている。

特開２００８−１８７５９０号公報

しかしながら、絶対輝度表示モードで撮影された映像を実被写体のダイナミックレンジに及ばない狭いダイナミックレンジの表示装置で出力する場合、視聴映像は低い輝度で出力されるため暗くなってしまう。また、従来の自動露出制御で撮影された場合と比較しても相対的に暗い映像となってしまう。このような場合、映像編集ソフトを用いてモニタ上で映像を確認しながら明るさを補正することは可能であるが、適切な明るさにする補正量は、被写体の明るさやコントラストによって異なるため撮影シーン毎に編集を施すには手間がかかる。また、上記特許文献１では、絶対輝度表示用に撮影された映像を実被写体のダイナミックレンジに及ばない狭いダイナミックレンジの表示装置で出力することが考慮されていない。

本発明は、上記課題に鑑みてなされ、その目的は、広い輝度範囲を表現可能な表示装置用の映像を、狭い輝度範囲を表現可能な表示装置用の明るさに補正することができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、第１の表示装置用に第１の映像信号を生成する画像処理手段と、前記第１の表示装置で表現可能な輝度範囲よりも狭い輝度範囲を表現可能な第２の表示装置において前記第１の映像信号を表示する場合に、表現可能な輝度範囲の違いによって前記第２の表示装置において低下する明るさを補正するための補正情報を生成する補正手段と、前記補正手段により生成された補正情報を前記第１の映像信号に関連付けて記録する記録手段と、を有する。

本発明によれば、広い輝度範囲を表現可能な表示装置用の映像を、狭い輝度範囲を表現可能な表示装置用の明るさに補正することができる。

実施形態のデジタルビデオカメラの構成を示すブロック図。 実施形態の画像処理部とシステム制御部の内部構成を示すブロック図。 実施形態の画像処理を示すフローチャート。 実施形態の表示装置の入出力特性および映像のガンマ特性を示す図。 実施形態のカメラのガンマ特性とモニタの入出力特性を示す図。 本実施形態の露出制御からメタデータ生成までの処理を示すフローチャート。 本実施形態の被写体輝度、露出制御量、補正輝度値の時間経過に対する変化を示す図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜装置構成＞まず、図１を参照して、本実施形態のデジタルビデオカメラ１００の構成および機能について説明する。

図１において、撮像レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は、入射光量を調整するために使用される。ＮＤフィルタ１０４は絞り１０１とは別に入射光量を調整（減光）するために使用される。撮像部１２２は、被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等で構成される撮像素子である。また、撮像部１２２には電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器１２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１２３は、撮像部１２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルビデオカメラ（以下、カメラ）１００の、撮像レンズ１０３を含む撮像系を覆うことにより、撮像レンズ１０３、絞り１０１、撮像部１２２を含む撮像系の汚れや破損を防止する。

画像処理部１２４は、Ａ／Ｄ変換器１２３からのデータ、又は、メモリ制御部１１５からのデータに対して色変換処理、ガンマ補正、デジタルゲイン付加等の処理を行う。また、画像処理部１２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１５０が露出制御、測距制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。画像処理部１２４の詳細は後述する。

Ａ／Ｄ変換器１２３からの出力データは、画像処理部１２４及びメモリ制御部１１５を介して、或いは、メモリ制御部１１５を介してメモリ１３２に直接書き込まれる。メモリ１３２は、撮像部１２２によって得られ、Ａ／Ｄ変換器１２３によりデジタルデータに変換された画像データや、表示部１２８に表示するための画像データを格納する。メモリ１３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ１３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１１３は、メモリ１３２に格納されている画像表示用のデータをアナログ信号に変換して表示部１２８に供給する。こうして、メモリ１３２に書き込まれた表示用の画像データはＤ／Ａ変換器１１３を介して表示部１２８により表示される。表示部１２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器１２３によって一度Ａ／Ｄ変換され、メモリ１３２に蓄積されたデジタル信号をＤ／Ａ変換器１１３においてアナログ変換し、表示部１２８に逐次転送して表示することで、電子ビューファインダ（ＥＶＦ）として機能し、ライブビュー画像の表示を行える。

不揮発性メモリ１５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部１５０は、カメラ１００全体を制御する。前述した不揮発性メモリ１５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。１５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１５２には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１５６から読み出したプログラム等を展開する。また、システム制御部１５０はメモリ１３２、Ｄ／Ａ変換器１１３、表示部１２８等を制御することにより表示制御も行う。

システムタイマー１５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ１６０、録画スイッチ１６１、操作部１７０はシステム制御部１５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ１６０は、システム制御部１５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ１６０で、動画記録モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ１６０で動画記録モードに一旦切り替えた後に、動画記録モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ１６１は撮影待機状態と撮影状態を切り替える。システム制御部１５０は、録画スイッチ１６１により、撮像部１２２からの信号読み出しから記録媒体１９０への録画データの書き込みまでの一連の動作を開始する。

操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１２８に表示される。ユーザは、表示部１２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部１８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１８０は、その検出結果及びシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１９０を含む各部へ供給する。

電源部１３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる。Ｉ／Ｆ１１８は、メモリカードやハードディスク等の記録媒体１９０、または外部機器とのインターフェースである。図１では記録媒体１９０との接続状態を示している。記録媒体１９０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

＜画像処理部の内部構成＞次に、図２（ａ）を参照して、本実施形態の画像処理部１２４の内部構成について説明する。

図２（ａ）は画像処理部１２４の周辺部と内部構成を示している。以下では、通常、画像処理部１２４が行うＷＢ制御やシャープネス制御などの説明は省略する。なお、画像処理部１２４の内部の各機能ブロックは、システム制御部１５０を通じて、絞り、ＮＤ情報（ＮＤフィルタの濃度などに関する情報）、ＩＳＯ感度、ゲイン、シャッター速度などの露出制御に必要な要素（露出パラメータ）を含むカメラ内部のあらゆるデータを取得可能である。

図２（ａ）において、検波部２０１は、Ａ／Ｄ変換器１２３からのデータ、又は、メモリ制御部１１５からのデータに対し検波を行うことでデータの代表値を求める。ＢＶ（Ｂｒｉｇｈｔｎｅｓｓ Ｖａｌｕｅ）算出部２０２は、基準信号、絞り、ＩＳＯ感度、ゲイン、シャッター速度、検波部２０１で取得した代表値からＢＶ値（絶対輝度値）を算出する。

絶対輝度コード決定部２０３は、不揮発性メモリ１５６またはメモリ制御部１１５から表示装置の入出力特性を取得する。そして、絶対輝度コード決定部２０３は、表示装置の入出力特性に基づいて表示装置において出力される輝度値（出力輝度）がＢＶ算出部２０２で算出したＢＶ値（絶対輝度値）となる絶対輝度コードを決定する。表示装置の入出力特性は、予め不揮発性メモリ１５６に記録していてもよいし、ユーザ操作により入力されてもよいし、接続中の表示装置から取得してもよく、取得方法に制限はない。

ガンマ補正部２０５は、Ａ／Ｄ変換器１２３からのデータ、又は、メモリ制御部１１５からのデータに対してガンマ補正を行う。

＜システム制御部の内部構成＞次に、図２（ｂ）を参照して、本実施形態のシステム制御部１５０の内部構成について説明する。

図２（ｂ）はシステム制御部１５０の周辺部と内部構成を示している。第１露出算出部２１１は、ガンマ補正部２０５からガンマ特性を取得し、絶対輝度コード決定部２０３からは決定した絶対輝度コードを取得し、これらに基づき映像を表示装置から絶対輝度で出力するための第１露出制御量を決定する。システム制御部１５０は、決定された第１露出制御量に基づき露出制御を行う。

第２露出算出部２１２は、不揮発性メモリ１５６に記憶されている人物の顔や、撮像面全体の平均輝度などの明るさの目標値に基づいて、所定被写体の明るさが所定の目標範囲内に収まるような露出制御量を算出する。

補正輝度生成部２１３は、映像を撮影時の想定とは異なる輝度範囲を持つ表示装置用の明るさに補正するための補正情報としての補正輝度値を生成する。メタデータ生成部２１４は、補正輝度生成部２１３で生成した輝度補正値を記録データにするメタデータ生成部である。信号重畳部２１５は画像処理部１２４で処理された映像信号にメタデータ生成部２１４で生成された記録データを重畳する。

＜画像処理＞次に、本実施形態の画像処理について説明する。

以下では、映像視聴用の表示装置が被写体輝度に近い第１の輝度範囲を表現可能な広いダイナミックレンジを有する表示装置（モニタＡ）であり、絶対輝度表示モードで映像が撮影される例を説明する。また、第１の輝度範囲よりも狭い第２の輝度範囲を表現可能なダイナミックレンジを有する表示装置（モニタＢ）で映像が視聴されることを想定し、絶対輝度表示モードで撮影された映像を、従来の自動露出制御で撮影された映像と同等の明るさにするための輝度補正値を生成しメタデータとして関連付けて記録する例を説明する。

ここで、従来の自動露出制御とは、所定被写体の出力輝度が所定の目標範囲内に収まるように露出パラメータを調整するものであり、例えば人物の顔などが表示装置で表現可能な最大出力輝度の約７０％の状態を維持するよう露出制御を行う。このような制御を行うことでダイナミックレンジが狭い表示装置であっても常に人物の顔の出力輝度をダイナミックレンジが狭い表示装置用の明るさに保つことを可能としている。以下では、所定被写体の出力輝度が異なる輝度範囲を持つ表示装置用の明るさを保つように映像を撮影し記録するモードを相対輝度表示モードと呼ぶものとする。

次に、図３を参照して、本実施形態の絶対輝度表示モード時の画像処理について説明する。

なお、図３の処理はシステム制御部１５０が不揮発性メモリ１５６に格納されたプログラムをシステムメモリ１５２に展開して実行することにより実現される。

Ｓ３０１では、システム制御部１５０は、Ａ／Ｄ変換器１２３からのデータ、又は、メモリ制御部１１５からのデータに対して検波部２０１により検波を行う。検波を行うことでデータの代表値を求める。代表値の求め方は、例えば、中央部分の平均輝度を算出したり、顔などの特定被写体の平均輝度を算出したり、指定した１点の輝度を取得したりする方法などがあるが、本実施形態はこれらに限定されず、他の手法を適用してもよい。検波対象の選定には注意が必要である。すなわち、後に露出制御を行うことによりカメラ１００のダイナミックレンジが変化してしまう可能性があるため、ダイナミックレンジが変化した後でも検波できるような検波対象を選定する方が好適な場合がある。カメラ１００のダイナミックレンジに応じて上限と下限の閾値を設けその間にある対象を選定対象とするなどの方法が考えられる。

Ｓ３０２では、システム制御部１５０は、ＢＶ算出部２０２により代表値のＢＶ値（絶対輝度値）を算出する。ＢＶ値の算出方法として、例えば、基準信号、絞り、ＩＳＯ感度、ゲイン、シャッター速度、検波部２０１で取得した代表値から求める方法がある。ＡＰＥＸ（Ａｄｄｉｔｉｖｅ Ｓｙｓｔｅｍ ｏｆ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｏｓｕｒｅ ）表現における基準信号のＢＶ値、基準ＢＶ値の求め方は、

基準ＢＶ値＝２^(Av+Tv-Sv)×（０．３２×ｋ）[ｃｄ／ｍ²]・・・（式１）
ここで、式１において、Ａｖは絞り値、Ｔｖはシャッター速度、Ｓｖは撮影感度をＡＰＥＸ単位に換算した露出（露出制御値）である。また、ｋは校正係数であって、入力１８％グレーとなるように、ＡＰＥＸ単位で表わされた輝度値を絶対輝度の単位であるｃｄ／ｍ²（またはｎｉｔ）に換算する際に用いられる。本実施形態ではｋ＝１２．５としている。なお、ＡＰＥＸ単位で表わされた輝度値Ｚを絶対輝度値Ｘに換算するには、ｌｏｇ₂（Ｘ／０．３２×ｋ）＝Ｚという関係式に基づき、Ｘ＝２^Z×（０．３２×ｋ）により求めることができる。例えば、Ａｖ＝Ｆ４．０、Ｔｖ＝１／１２８、Ｓｖ＝ＩＳＯ感度２００である場合、式１から基準ＢＶ値が算出される。

基準ＢＶ値＝２^{(4(Av)+7(Tv)-6(Sv))}×（０．３２×１２．５）
＝１２８[ｃｄ／ｍ²]
このとき、カメラ１００のダイナミックレンジを１２００％、基準輝度値の輝度値の上限値に対する割合を２０％、データのｂｉｔ数を１４とすると、
基準信号のコード
＝（２^bit数）×（基準輝度値[％]／ダイナミックレンジ[％]）・・（式２）

基準信号のコードを求める式２に数値を代入して、
基準信号のコード＝（２¹⁴）×（２０／１２００）
＝２７３
基準信号のコードは２７３と求められる。

ここで、代表値のコードが２１３２の場合、Ｘを代表値のＢＶ値と基準ＢＶ値の差分とすると、
代表値のコード＝基準信号のコード×（２^X）・・・（式３）
式３に各数値を当てはめると、
２１３２＝２７３×（２^X）
Ｘ＝２．９６
以上より、代表値のＢＶ値は、
代表値のＢＶ値＝２^2.96×１２８［ｃｄ／ｍ²］
＝１０００［ｃｄ／ｍ²］
と求められる。ここに挙げた算出方法は一例であり、本実施形態は上述した算出方法に限定されるものではなく、他の方法で代表値のＢＶ値を求めてもよい。また、外部のセンサなどから取得した信号からＢＶ値を算出してもよい。

Ｓ３０３では、システム制御部１５０は、絶対輝度コード決定部２０３により、出力輝度が代表値のＢＶ値となる絶対輝度コードを決定する。絶対輝度コードは、例えば、表示装置の入出力特性とＳ３０２で算出した代表値のＢＶ値に基づいて算出される。図４（ａ）は代表値のＢＶ値と表示装置の入出力特性の関係を例示している。図４（ａ）に示す表示装置の入出力特性の場合には、出力輝度が代表値のＢＶ値となるような入力コードが一意に決まる。このように、絶対輝度コードを図４（ａ）のような関数から求めてもよいし、入出力特性の式と代表値のＢＶ値から算出してもよい。また、入出力関係をテーブルデータとして保持し、その中から代表値のＢＶ値に基づいて選択してもよい。本実施形態はこれらの方法に限定されず、他の方法を適用してもよい。

Ｓ３０４では、システム制御部１５０は、第１露出算出部２１１において、Ｓ３０３で決定された絶対輝度コードに基づき信号変換係数を算出する。第１露出算出部２１１は、代表値に対してガンマ補正部２０５からの出力を絶対輝度コードにするための露出制御量を算出する。例えば、ガンマ補正部２０５からガンマ特性を取得し、ガンマ特性に基づいて第１露出制御量を算出する。図４（ｂ）はガンマ特性を示し、このようなガンマ特性に対し、出力コードが絶対輝度コードとなるような入力コードはＹとなる。ガンマが表示装置の入出力特性に対して逆ガンマの関係であれば、データが代表値の場合に出力コードを絶対輝度コードにする露出制御量は式４により求められる。
露出制御量＝Ｙ／代表値・・・（式４）
本実施形態ではガンマ特性が逆ガンマ特性を持っている例を示したが、これに限定されず、必ずしもガンマ特性が逆ガンマ特性を持っていなくてもよい。

Ｓ３０５では、システム制御部１５０は、第１露出算出部２１１で算出した露出制御量に基づき露出制御を行う。例えば、露出制御量が式４で与えられたものである場合、現状の露出制御値から露出制御量を加算または減算して変更するような露出制御を行う。具体例として、露出制御量が１／２であった場合は絞りを１段絞る露出制御を行う。露出制御方法は、露出制御量によって変わる可能性がある。例えば、大きく露出を変更するような露出制御量の場合には、一度に露出制御量を満たすほど露出制御値を変更しないで、時間をかけて徐々に変更することで映像としてつなぎがスムーズになる場合がある。また、本実施形態において露出制御量を算出する露出パラメータは特に限定されず、絞り、ＮＤ情報、ＩＳＯ感度、ゲイン、シャッター速度を変えてもよいし、これの値を同時に変更してもよい。

Ｓ３０６では、システム制御部１５０は、Ａ／Ｄ変換器１２３からのデータ、又は、メモリ制御部１１５からのデータに対して、ガンマ補正部２０５によりガンマ補正を行う。

このような処理を行うことで、代表値のデータがカメラ１００からの出力では絶対輝度コードとなり、表示装置に絶対輝度コードが入力されることで、代表値のＢＶ値で表示されるようになる。つまり、被写体を絶対輝度値で表示できるようになり、ユーザは臨場感のある映像を視聴することができる。

次に、図３を用いて、相対輝度表示モード時の画像処理について、上述した絶対輝度表示モードと比較しながら説明を行う。

Ｓ３０１では、システム制御部１５０は、絶対輝度表示モードと同様に検波を行う。代表値の求め方は、絶対輝度表示モードと同様でもよいし、別の被写体、別の方法でも構わない。

Ｓ３０２では、システム制御部１５０は、代表値のＢＶ値を算出する。Ｓ３０２の処理は、後段の第１露出算出部でＢＶ値を使用しない場合は省略してもよい。

Ｓ３０３の絶対輝度コード決定処理は相対輝度モードでは必要ないため実行しない。

Ｓ３０４では、システム制御部１５０は、露出制御量を算出する。相対輝度表示モードでは、代表値に基づき予め決められた目標値に達するための露出制御量を算出する。例えば、代表値が顔の明るさで、目標値が顔の明るさを７０％の明るさで表示する場合の例を説明する。この場合、ガンマ特性が表示装置の入出力特性の逆ガンマであると、データのｂｉｔ数１４とすると、式５から露出制御量が算出される。
露出制御量＝（７０％＊（２¹⁴））／代表値・・・（５）
本例では目標値が代表値に直接関係するものとしたが、代表値から算出される値、例えばＢＶ値に関係した目標値でもよく、代表値と目標値の関係は特に限定されない。

Ｓ３０５では、システム制御部１５０は第１露出算出部２１１で算出した露出制御量に基づき露出制御を行う。

Ｓ３０６は、絶対輝度表示モードと同様である。

このように、相対輝度表示モードの場合、絶対輝度表示モードとの違いは、絶対輝度コード決定処理がない点と、第１露出算出部２１１で絶対輝度コードに基づいて露出制御量を算出していない点である。

本実施形態では代表値は顔の明るさとしたが、これに限定されず、撮影面全体の平均輝度値でもよいし、撮影領域中の中心付近の重み付けを上げた所謂中央重点測光した輝度評価値を利用してもよい。また、目標値は被写体や撮影条件に応じて任意の値としてもよい。

また、本実施形態では、相対輝度表示モードと絶対輝度表示モードの相違点を分かりやすくするために相対輝度表示モードにおいても、第１露出算出部２１１を利用した例を説明した。本実施形態では、絶対輝度表示モード時の露出制御量を第１露出算出部２１１で算出し、撮影時の露出制御は、第１露出算出部２１１で算出した露出制御値、またはユーザ操作により指定された露出制御値で行うものである。また、相対輝度表示モード時の露出制御量を第２露出算出部２１２で算出する。第２露出算出部２１２は、撮影時に検波部２０１の検波値と、所定被写体の明るさの目標値を不揮発性メモリ１５６から取得することで相対輝度表示モードの露出制御量の算出を行う。

次に、絶対輝度表示モードで撮影された映像を補正しないで異なるダイナミックレンジを持つモニタＡとモニタＢに出力した場合について説明する。

モニタＡは１００００ｃｄ／ｍ²、データのｂｉｔ数１２。モニタＢは１００ｃｄ／ｍ²、データのｂｉｔ数８。カメラガンマのデータのｂｉｔ数は１２であり、モニタＡの入出力特性はカメラガンマの逆ガンマの関係で、モニタＢの入出力特性はγ２．２。被写体は人物の顔であり、その絶対輝度値は１００ｃｄ／ｍ²である場合を例として説明を行う。図５はカメラのガンマ特性と各モニタの入出力特性を示している。図５（ａ）はカメラのガンマ特性６０１を示し、入力コードＡは１００ｃｄ／ｍ²である顔を撮影した場合の入力コードを示している。図５（ｂ）はモニタＡの入出力特性６０２を示し、図５（ｃ）モニタＢの入出力特性６０３を示している。

ここで、前述した絶対輝度表示モードでは、モニタＡにおいて顔領域が１００ｃｄ／ｍ²で出力されるよう、撮影された顔領域の映像信号がカメラのガンマの入力コードＡとなるようカメラの露出や映像信号の制御が行われる。

まず、モニタＡでの映像出力について説明する。入力コードＡはカメラガンマ６０１によって、出力コード２０４８に変換され記録されている。変換されたコード値２０４８は、モニタＡに入力された場合、モニタＡの入出力特性６０２によって変換され１００ｃｄ／ｍ²として出力される。

続いて、モニタＢでの映像出力について説明する。入力コードＡはカメラガンマ６０１によって、出力コード２０４８に変換され記録されている。変換されたコード値２０４８は、モニタＢに入力された場合、まず１２ビット信号を８ビットへ変換するため１６で除算された１２８のコード値となる。入力コード１２８は、モニタＢの入出力特性６０３によって変換され約１５ｃｄ／ｍ²として出力される。

このように、絶対輝度表示モードで撮影された映像は、モニタＡの場合は被写体の絶対輝度値と、モニタＡ上に表示される被写体の輝度値が一致した状態で出力されるが、モニタＢの場合は、約１５ｃｄ／ｍ²と暗い状態で出力されてしまう。仮に相対輝度表示モードで撮影を行った場合は、モニタＢの出力輝度の７０％となるように露出が制御されるためモニタＢで人物の顔が７０ｃｄ／ｍ²で出力されることになり、従来の自動露出制御に対しても暗い映像となることが分かる。

＜露出制御からメタデータ生成までの処理＞次に、図６および図７を参照して、本実施形態による露出制御からメタデータ生成までの処理について説明する。

図７は、被写体輝度、露出制御量、補正輝度値の時間変化を示している。図７において、７０１は撮影被写体である顔領域の平均輝度値、７０２は絶対輝度表示モードの露出制御量、７０３は相対輝度制御モードの露出制御量をそれぞれ示している。また、７０４はモニタＡでの表示用に絶対輝度表示モードで撮影された映像をモニタＢで表示する場合に低下する明るさを補正するための補正輝度値を示している。

以下では、図７の７０１に示すように時間経過とともに被写体である顔の明るさが変化する場合を例とし、被写体はＴ１のタイミングで明るく、Ｔ２で暗くなり、そしてＴ３で最初の明るさに戻る場合について説明する。

Ｓ６０１では、システム制御部１５０は、ユーザからの露出指示の有無を判定する。露出指示の有無は、ユーザが操作部１７０を介して露出をマニュアルで操作して設定したか否かを判定し、露出設定がユーザ操作で指定された場合は露出制御値を追加設定する。Ｓ６０１で露出指示がある場合はＳ６０３に進み、露出指示がない場合はＳ６０２に進む。

Ｓ６０２では、システム制御部１５０は、第１露出算出部２１１で絶対輝度表示モード時の露出制御値である第１露出制御量を算出し、Ｓ６０３に進む。

Ｓ６０３では、システム制御部１５０は、前述した絶対輝度表示モード時の露出制御を行う。また、Ｓ６０２を経由する場合は第１露出制御値で露出制御を行う。本実施形態では絶対輝度制御モードで撮影するため、撮影時に第１露出制御値が採用される。また、露出制御量は、ＡＰＥＸ値の合計値であり、Ｆ７．０、シャッターが１／１２８、感度がＩＳＯ２００、ＮＤＯｆｆであれば、１１（Ｆ７．０）＋７（１／１２８）−６（ＩＳＯ２００）＋０（ＮＤＯｆｆ）＝１２となる。

また、７０２に示すように、被写体の明るさの変化に対して、絶対輝度表示モードでは露出制御量は変わらない。露出制御量は変えずに被写体の輝度変化はそのままモニタに出力される。すなわち被写体の輝度値の変化量だけ、モニタに出力される被写体の輝度値は増減する。本実施形態では、露出変更を行わない例を説明しているが、これに限定されず、階調特性などを考慮して露出変更を行ってもよい。

Ｓ６０４では、システム制御部１５０は、撮影時の露出制御量である撮影露出制御量を取得する。この処理の詳細な説明は省略する。

Ｓ６０５では、システム制御部１５０は、第２露出算出部２１２で相対輝度表示モード時の露出制御値である第２露出制御量を算出する。絶対輝度表示モードでの露出制御が行われている状態で、映像の明るさの検波を行い、相対輝度表示モード時の第２露出制御量の算出を行う。すなわち、第２露出制御量は、顔の明るさがモニタＢの出力輝度の約７０％を保つような露出制御量として算出される。７０３に示すように、被写体の明るさの変化量に応じて第２露出制御量は変更される。

Ｓ６０６では、システム制御部１５０は、補正輝度生成部２１３で撮影露出制御量と第２の露出制御量の差分値を算出して補正輝度値を生成する。本実施形態では、絶対輝度表示モード時の露出制御値である第１露出制御量を撮影時に採用しているため、差分値は第１露出制御量７０２と第２露出制御量７０３の差である。差分はＡＰＥＸ値の合計値の差分となる。よって、補正輝度値は７０４に示す特性となり、時間経過とともに増減する特性となっている。なお、補正輝度値は露出制御量の差分に限定されず、モニタの出力輝度範囲の差に起因する映像の明るさの差を補正できればよい。

Ｓ６０７では、システム制御部１５０は、メタデータ生成部２１４により、補正輝度生成部２１３で生成された輝度補正値をメタデータとして生成する。続いて、信号重畳部２１５でメタデータを映像に重畳する処理を行い、メタデータが重畳された映像信号は記録媒体１９０に記録される。

＜明るさ補正処理＞次に、図７を参照して、映像信号に記録されたメタデータに基づき絶対輝度表示モードで撮影された映像を、モニタＢでの表示用の明るさに補正する処理について説明する。

Ｔ１までは補正輝度値が、４段分であることから映像信号に１６倍のゲインを乗算すればよい。同様にして、Ｔ１からＴ２の区間では、補正輝度値が３段分であることから８倍のゲイン、Ｔ２からＴ３の区間では５段分であるから３２倍のゲイン、Ｔ３以降では１６倍のゲインを映像信号にそれぞれ乗算すればよい。ゲインを乗算する補正処理はカメラで行ってもよいし、表示装置側で行ってもよい。また、補正処理はＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）やガンマ補正を変えて行ってもよい。

このように、モニタＡでの表示用に絶対輝度表示モードで撮影された映像を、モニタＡよりも狭いダイナミックレンジを有するモニタＢでの表示用の明るさに補正することで、例えばモニタＢの最大出力輝度が１００ｃｄ／ｍ²の場合であっても表示される映像の最大出力輝度の７０％である７０ｃｄ／ｍ²となるため顔が暗くならず、また、被写体を照射する光源の輝度変化によって、顔の明るさが変化してもモニタに表示される顔の輝度値が７０ｃｄ／ｍ²を保つような明るさへの変換を容易に行うことが可能となる。

また、相対輝度表示モードでは、所定目標値に明るさを制御する際に急峻な明るさ変化を避けるため、撮影シーンに応じて適応的に変更される露出制御の応答性を変更する制御が行われる。具体的には露出制御の単位時間あたりの変化量であるステップ量に上限を設けたり、目標値との乖離度に応じてステップ量を変更する。そのため、補正輝度値として露出制御の応答性に関する情報を生成してメタデータとして関連付けて記録しておき、モニタＢでの表示用に補正する映像の明るさを露出制御の応答性に応じて調整してもよい。

また、相対輝度表示モードでは、撮影シーンのコントラストや出力輝度に応じてダイナミックレンジを変更することで映像の白飛びを軽減することができる。具体的にはガンマ特性の二―ポイントを変更することで高輝度部を圧縮し、ダイナミックレンジを拡張する。そして、補正輝度値としてモニタＢでの表示用のダイナミックレンジ情報を生成してメタデータとして記録しておき、モニタＢでの表示用に映像の明るさに補正する際、ダイナミックレンジ情報に基づき高輝度部を圧縮処理して白飛びを軽減するようにしてもよい。また、ダイナミックレンジ制御は、急峻な明るさ変化を避けるために露出制御と同様に応答性を持たせる場合がある。ダイナミックレンジ制御の応答性に関して補正輝度値を生成してメタデータとして記録しておき、モニタＢでの表示用に補正する映像の高輝度圧縮処理の応答性を変更するなどしてもよい。

本実施形態では、絶対輝度表示モード時において狭いダイナミックレンジを持つモニタでの表示用の相対輝度表示モード時の露出制御値を算出する例を示したが、これに限らず、表現可能な輝度範囲が異なるモニタであれば適用可能である。

本実施形態では、モニタＡでの表示用の露出制御を絶対輝度表示モード、モニタＢでの表示用の露出制御を相対輝度表示モードを想定して説明したが、モニタでの表示用の露出制御方法はこれに限定されるものではない。モニタＡ、Ｂとも絶対輝度表示モードを想定してもよいし、モニタＡ、Ｂとも相対輝度表示モードを想定した露出制御を実施してもよい。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルビデオカメラ、１２４…画像処理部、１５０…システム制御部、２１１…第１露出算出部、２１２…第２露出算出部、２１３…補正輝度生成部、２１４…メタデータ生成部

Claims (14)

1. 第１の表示装置用に第１の映像信号を生成する画像処理手段と、
   前記第１の表示装置で表現可能な輝度範囲よりも狭い輝度範囲を表現可能な第２の表示装置において前記第１の映像信号を表示する場合に、表現可能な輝度範囲の違いによって前記第２の表示装置において低下する明るさを補正するための補正情報を生成する補正手段と、
   前記補正手段により生成された補正情報を前記第１の映像信号に関連付けて記録する記録手段と、を有することを特徴とする画像処理装置。
2. 画像を撮像して映像信号を生成する撮像手段と、
   撮影時の露出を制御する露出制御手段と、
   前記第１の表示装置用の映像を撮像する場合の露出制御値を算出する第１露出算出手段と、をさらに有し、
   前記露出制御手段は、前記第１露出算出手段により算出された露出制御値、または、ユーザにより指定された露出制御値に基づいて撮影時の露出制御を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１露出算出手段は、前記第１の表示装置において出力される所定被写体の輝度値と所定被写体の絶対輝度値とが同等となるような露出制御値を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１露出算出手段は、前記第１の表示装置において出力される所定被写体の輝度値が所定の目標範囲内に収まるような露出制御値を算出することを特徴とする請求項２または３に記載の画像処理装置。
5. 撮影時の露出制御値を取得する取得手段と、
   前記第２の表示装置用の映像を撮像する場合の露出制御値を算出する第２露出算出手段と、をさらに有し、
   前記補正手段は、前記撮影時の露出制御値と前記第２露出算出手段により算出された露出制御値の差分を補正情報として生成することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記第２露出算出手段は、前記第２の表示装置において出力される所定被写体の輝度値と所定被写体の絶対輝度値とが同等となるような露出制御値を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記第２露出算出手段は、前記第２の表示装置において出力される所定被写体の輝度値が所定の目標範囲内に収まるような露出制御値を算出することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記補正手段は、前記第２の表示装置での表示用のダイナミックレンジ情報を補正情報として生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記補正手段は、前記第２の表示装置で表現可能な輝度範囲の映像信号への変更の応答性に関する情報を補正情報として生成することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
10. 前記応答性に関する情報は、撮影シーンに応じて適応的に変更される露出制御の変化量、ダイナミックレンジ制御の変化量であることを特徴とする請求項９に記載の画像処理装置。
11. 前記露出の制御に必要なパラメータは、絞り、ＮＤ情報、感度、ゲインおよびシャッター速度のうちいずれかを含むことを特徴とする請求項２から１０のいずれか１項に記載の画像処理装置。
12. 第１の表示装置用に第１の映像信号を生成する画像処理ステップと、
    前記第１の表示装置で表現可能な輝度範囲よりも狭い輝度範囲を表現可能な第２の表示装置において前記第１の映像信号を表示する場合に、表現可能な輝度範囲の違いによって前記第２の表示装置において低下する明るさを補正するための補正情報を生成する補正ステップと、
    前記補正ステップにより生成された補正情報を前記第１の映像信号に関連付けて記録する記録ステップと、を有することを特徴とする画像処理方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
14. コンピュータを、請求項１から１１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images