JP2019033470A - 画像処理システム、撮像装置、画像処理装置、制御方法およびプログラム - Google Patents

Abstract

【課題】 互いに異なる入出力特性（ガンマ曲線）が画像内の複数の部分領域に其々適用されている画像について、補正処理をする場合に不具合が生じるおそれがある。
【解決手段】 撮像画像について、第１の入出力特性を適用する第１領域と、第２の入出力特性を適用する第２領域の少なくとも一方を示す領域情報を取得することで、前記第１領域と前記第２領域とを区別して表示させユーザーが意図する補正を実施することで色再現性を高める。
【選択図】 図５

Description

本発明は、複数の画像を合成した撮影画像について領域毎の補正処理を適用する技術に関する。

近年、ネットワークカメラを利用した監視システムが広く普及している。ネットワークカメラは大規模な公共機関や量販店などにおける監視カメラとして幅広い分野で利用されているため、屋内および屋外などの照度差の大きな環境または照明が異なる環境などに対してダイナミックレンジの拡大が課題になっている。

また、色をより正確に表示することも要求されている。例えば特許文献１では、被写体の認識を行って異なる領域を区分し、区分された複数の領域に対して露出条件と画像処理条件とを含む撮像条件を決定する方法が記載されている。また、特許文献２では、複数の領域ごとにホワイトバランスを算出し補正することが提案されている。

特開２０１６−１９２６０６号公報 特開２０１５−１９２１５２号公報

しかし、ダイナミックレンジの拡大などのために、互いに異なる入出力特性（ガンマ曲線）が画像内の複数の部分領域に其々適用されている画像について、補正処理をする場合に不具合が生じるおそれがある。詳細には、ユーザーが部分領域毎に適用された入出力特性を意識せずに画像全体を対象としたホワイトバランスなどの調整処理を行うと、好ましい色再現を得ることが困難である。

上記課題を解決するために、本発明に係る画像処理システムは、撮像装置と画像処理装置とを有する画像処理システムであって、前記撮像装置は、撮像画像を取得する撮像手段と、前記撮像手段により取得した撮像画像について、第１の入出力特性を適用する第１領域と、第２の入出力特性を適用する第２領域とを設定する設定手段と、前記第１領域または前記第２領域の少なくとも一方を示す領域情報を出力する出力手段と、を備え、前記画像処理装置は、前記撮像装置から前記領域情報を取得し、前記第１領域と前記第２領域とを区別して表示させる表示制御手段を備えることを特徴とする。

本発明によれば、異なるガンマカーブなどを適用した領域をユーザーが識別し易い様にすることで、領域毎にホワイトバランス調整などの補正処理を適用しやすくし、好ましい色再現性を得ることができる。

システム構成を示す模式図である。 カメラの構成を示すブロック図である。 クライアントの構成を示すブロック図である。 カメラの画像処理部の構成の詳細を示すブロック図である。 ガンマ調整処理のフローチャートである。 （ａ）シーンの例を示す模式図である。（ｂ）ヒストグラムを説明するための模式図である。（ｃ）ガンマカーブを説明するための模式図である。（ｄ）マップを示す模式図である。 ＧＵＩの概略を示す模式図である。 画像処理部の処理の概略を示すフローチャートである。 （ａ）〜（ｄ）其々露出が異なるシーンの例を示す模式図である。 （ａ）画像合成比率を説明するための模式図である。（ｂ）マップを示す模式図である。 （ａ）ＧＵＩの概略を示す模式図である。（ｂ）優先モードを適用した場合のカメラ設定について示す表である。 ホワイトバランスの設定をするための処理を示すフローチャートである。 画像処理部の各構成に其々設定される複数のパラメータの例を示す模式図である。 画像処理部の構成の詳細を示すブロック図である。 画像処理部の処理の概略を示すフローチャートである。 ＧＵＩの概略を示す模式図である。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。

＜＜実施形態１＞＞
以下、図１〜図１０を参照して、本発明の実施形態１について説明する。以下においては、本発明の一実施形態としてネットワークカメラについて説明する。

図１は、実施形態１にかかる画像処理システムとしてのネットワークカメラシステムの概略構成の一例を示す図である。図１に示すように、ネットワークカメラシステム１００は撮像装置としてのネットワークカメラ１１０（以降、カメラと称す）とビューワークライアント１２０（以降、クライアントと称す）とネットワーク１３０とを有している。カメラ１１０とクライアント１２０はネットワーク１３０によって互いに通信可能に接続されている。なお、撮影装置は、ネットワークカメラに限らず、たとえば、デジタル一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダ、タブレット端末、ＰＨＳ、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の携帯の装置に置き換えてもよい。

カメラ１１０は撮影（撮像）した画像を含む画像データを、ネットワーク１３０を介して配信する。クライアント１２０はカメラ１１０にアクセスして、カメラ１１０の初期設定をして、カメラ１１０の撮像パラメータを設定したり、配信設定をしたりする等して、所望の画像データを取得できるようにする。そして、クライアント１２０はカメラ１１０から配信された画像データを処理したり、配信された画像データを蓄積したり、蓄積された画像データなどを処理したりして、処理後の画像データに基づいて画像の表示を行う。

ネットワーク１３０は、カメラ１１０とクライアント１２０とを通信可能に接続するものであり、例えば、Ｅｔｈｅｒｎｅｔ等の通信規格を満足する複数のルータ、スイッチ、ケーブル等を含んでいる。なお、本実施形態において、ネットワーク１３０はカメラ１１０とクライアント１２０との間の通信（画像配信用とカメラの設定用）が支障なく行えるものであれば、その通信規格や規模、構成は問わない。したがって、ネットワーク１３０としては、インターネットから有線ＬＡＮ、無線ＬＡＮにいたるまで適用が可能である。

図２は、本実施形態におけるカメラ１１０の構成を示すブロック図である。撮像光学系２０１は対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り等を備えており、被写体の光情報を後述の撮像素子部２０２へ集光する。撮像素子部２０２は、撮像光学系２０１にて集光された光情報を電流値へと変換する素子でＣＣＤまたはＣＭＯＳセンサを備え、カラーフィルタなどと組み合わせることで色情報を取得する。ここで、撮像素子部２０２は基本的に、各画素について任意の露光時間を設定可能な撮像センサとする。

ＣＰＵ２０３は、バス２１０に接続されている各構成の処理に関わる。例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０４や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５に格納された命令をＣＵＰ２０３が順次に読み込み、解釈し、その結果に従って処理を実行する。撮像系制御部２０６は撮像光学系２０１に対して、フォーカスレンズを駆動しフォーカスを合わせたり、ＣＰＵ２０３から絞りを調整するなどの指示があれば指示されたとおりの制御を行ったりする。

より詳細には、絞りの駆動制御はプログラムＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）、シャッター速度優先ＡＥ、絞り優先ＡＥなど、ユーザーが設定する撮影モードにより指定されるＡＥ機能に基づいて計算された露出値に基づいて行われる。

また、ＣＰＵ２０３はＡＥ制御に併せてＡＦ（Ａｕｔｏｆｏｃｕｓ）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。なお、この種のＡＥおよびＡＦの構成および制御については周知の一般的な技術を利用すればよいため、ここで詳細な説明は省略する。

撮像素子部２０２においてデジタル化された画像信号は、画像処理部２０７に入力される。画像処理部２０７では、後述の画像処理を行い、輝度信号Ｙ、色差信号Ｃｂ・Ｃｒを生成する。

エンコーダ部２０８は、画像処理部２０７にて処理した画像データをＪｐｅｇやＨ．２６４、Ｈ．２６５などの所定のフォーマットに変換する符号化処理を行う。

通信部２０９は、クライアント１２０とｏｎｖｉｆなどのカメラ制御用プロトコルに従った通信をしたり、撮影された画像データをネットワーク１３０経由でクライアント１２０へ配信したりする。カメラ制御用プロトコルを用いた通信とは、クライアント１２０からのカメラ操作コマンドやカメラ設定コマンド、機能の問合せ等を受信し、そのレスポンスや画像データ以外の必要なデータの送信を行うことである。

図３は、本実施形態におけるクライアント１２０の概略構成を示すブロック図である。ＣＰＵ３０１は、クライアント１２０における動作を統括的に制御するものである。ＲＯＭ３０２は、ＣＰＵ３０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ３０１は、処理の実行に際してＲＯＭ３０２から必要なプログラム等をＲＡＭ３０３にロードし、ロードしたプログラム等を実行することで各種の機能動作を実現したり、後述の図５や図８に示す処理を実施したりする。

ＨＤＤ３０４は大容量の２次記憶部であって、例えば、ＣＰＵ３０１が処理を行う際に必要な各種データや、画像データ、各種情報等を記憶している。また、ＨＤＤ３０４には、ＣＰＵ３０１がプログラム等を用いた処理を行うことにより得られた各種データや、画像データ、各種情報等が記憶される。

操作入力部３０５は電源ボタンやキーボードやマウス等の操作デバイスを備える入力部であり、ユーザーからの各種設定（後述する、領域毎の画像処理設定や優先度の設定）を受け付ける受付部として機能する。通信部３０６は、クライアント１２０とネットワーク１３０との通信の処理を行う。具体的には、カメラ１１０において撮影された画像データをネットワーク１３０経由で受信する。また、カメラ操作コマンドをカメラ１１０へ送信し、そのレスポンスや画像データ以外の必要なデータを受信する。

表示部３０７は、カメラ１１０の各種制御パラメータ入力のためのＧＵＩ（詳細は後述）やディスプレイを備えている。表示部３０７は、外部のディスプレイに後述するＧＵＩなどを表示させるように表示制御する構成であってもよい。また。クライアント１２０の各要素の一部または全部の機能は、ＣＰＵ３０１がプログラムを実行することで実現することができる。ただし、クライアント１２０の各要素のうち少なくとも一部（ＧＰＵやＤＭＡなど）が専用のハードウェアとしてＣＰＵ３０１とは別に動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３０１の制御に基づいて動作する。

図４は本実施形態の画像処理部２０７の構成の詳細を示すブロック図である。画像処理部２０７は現像処理部４００とダイナミックレンジ拡張処理部４１０の２つのブロックに大きく分かれておりローカルバス４３０を介してメモリ４２０と接続している。

現像処理部４００は、撮像素子部２０２より入力された画像データに対して、レンズ収差の補正や周辺光量の補正など撮像光学系２０１の補正を行う光学補正部４０１、センサのキズや欠陥の補正やオフセット調整など撮像素子部２０２の補正を行うセンサ補正部４０２、センサのゲインと合わせてデジタル値でゲイン調整を行うゲイン調整部４０３を備える。さらに現像処理部４００は、ノイズリダクション処理を行うＮＲ処理部４０４、ホワイトバランスの調整を行うＷＢ調整部４０５、ガンマ補正を行うガンマ補正部４０６、シャープネス処理を行うシャープネス処理部４０７、コントラスト調整処理や彩度調整処理や色変換処理などの色処理を行う色処理部４０８などの画像内容の補正処理を実施する構成を備える。現像処理部４００の出力は、メモリ４２０に一時的に蓄えられる。

ダイナミックレンジ拡張処理部４１０は、ヒストグラム解析処理部４１１と後述するマップ作成処理部４１２、ガンマ調整部４１３、ＷＤＲ合成処理部４１４を備える。マップ作成処理４１２で作成されたマップ情報もメモリ４２０に蓄えられる。ダイナミックレンジ拡張処理部４１０の有する各機能モジュールの説明は後述する。

アトリビュート生成部４０９では、画素の輝度に基づいて画像処理の内容を変えるために、アトリビュート情報を画像処理部２０７（現像処理部４００）の各構成に出力する。各構成はアトリビュート生成部４０９から出力されたアトリビュート情報を参照して、画像データを処理する際の処理パラメータを変更することが可能なように構成されている。

例えば、輝度しきい値Ｙ^ｔｈをアトリビュート生成部４０９に設定する。そして、アトリビュート生成部４０９は、処理画素ごとに輝度値を輝度しきい値Ｙ^ｔｈと比較し、しきい値よりも大きいか否かを示す情報を、画素の輝度情報にアトリビュート情報として付加する。例えば、アトリビュート情報はブーリアン値でよく、画素の輝度値がＹ^ｔｈより大きければ”１”、小さければ”０”の値を保持する。光学補正部４０１〜色処理部４０８は、アトリビュート情報を参照し、アトリビュート情報に対応する処理パラメータを設定する。

次に図５において、画像処理部２０７の動作フローについて説明する。ステップＳ５０１では、画像処理部２０７が撮像素子部２０２から画像データを受信する。次に、ステップＳ５０２において、現像処理部４００の各構成が受信した画像データについて種々の処理を実施する。

次に、ステップＳ５０３で画像処理部２０７が、クライアント１２０からマップ作成についての指示を受けたか判定する。この指示は、本実施形態においては、ユーザーがホワイトバランスなどの画像調整の作業を開始する際にクライアントから送られてくるコマンドのことである。例えば、明るさによって現像処理の内容が異なる領域がある際に、そのマップ情報をクライアント１２０から要求があったことを意味するコマンドである。このコマンドを受信していなければ、後述のステップＳ５０７においてガンマ調整処理を行い、処理を終了する。一方で、マップ作成指示がある場合は、ステップＳ５０４に遷移する。

ステップＳ５０４ではヒストグラム解析処理部４１１がヒストグラム解析を行う。ヒストグラムについては図６を用いて説明する。図６（ａ）は、撮影シーンの一例を示しており、網掛けで示す窓６０１の外と室内６０２を含む範囲が撮影されている。窓６０１の外と室内６０２は異なる光源の影響を受けており、窓６０１の画像領域と室内６０２の画像領域とでは輝度差が大きいとする。このような輝度差のあるシーンの場合、ヒストグラムは、図６（ｂ）に示すように室内６０２に対応するピーク７０２を持つヒストグラムと、窓６０１に対応するピーク７０１を持つヒストグラムとが、谷７０３を挟んでいる様になる。

ヒストグラム解析部４１１は、ステップＳ５０４において、画像データから画素毎の輝度値についてのヒストグラムを生成し、生成したヒストグラムについて２つの山ができるか、１つしか山がないかを検知する。解析結果となるピークの数によってステップＳ５０５において処理を分岐する。

検出されたピークが１つ以下である場合は、後述のガンマ調整処理５０７を行い画像処理部２０７の処理を終了する。ピークが２つある場合、ステップＳ５０６においてマップ作製の処理を行う。さらに、ピークが２つある場合、ピークの谷７０３の輝度値をヒストグラム解析部４１１がアトリビュート生成部４０９に設定する。なお、３つ以上のピークを検出するように構成してもよく、検出されたピークに対応する分だけ領域を分割してもよいし、含まれる画素数が少なければ（ピークが属する領域のサイズが小さければ）無視するように構成してもよい。

ステップＳ５０６ではマップ作成処理部４１２がマップを作成する。ピークが２つ検出された画像に対して、マップは、ヒストグラムの２つのピークのどちらに属する領域であるかを画像上で示している。まず、マップ作成処理部４１２が画像を複数の輝度領域に分割する。本実施形態では、処理画像６０４の解像度は、１９２０×１０８０であり、６４×３６のブロック６０３に分割する。このブロックの中でヒストグラムの谷７０３の輝度値よりも大きい輝度値の画素がブロック内の画素数の２／３を超えるブロック６０３と、そうでないブロック６０３とに分割しマップとして示す。図６に示した画像に対応するマップを図６（ｃ）に示す。窓の部分が明るいため窓６０１の部分と、それ以外とで領域がわかれていることがわかる。このマップ情報と、ステップＳ５０５で検出されたピーク数とはダイナミックレンジ拡張処理部４１０がメモリ４２０に出力し、通信部２０９がクライアント１２０へ通知する。

ステップＳ５０７では、ガンマ調整部４１３がガンマ調整処理を実施する。ステップＳ５０６のマップ作成処理を行っていない場合は、調整用のガンマは図６（ｃ）において点線８０１で示されたガンマカーブ（ガンマ曲線）となっている。ここで、マップを作成した場合、調整用のガンマは、図８において実線８０２（第１の入出力特性）、８０３（第２の入出力特性）に示されるような特性となるように調整する。図６（ｃ）に示す通り、ガンマ特性として不連続な階調特性となる。この不連続な輝度を境界に輝度領域を分割する。つまり、図６（ｂ）において谷７０３以降の明るさの領域の明るさを下げるように調整されており、全体的なダイナミックレンジを確保する処理となる。谷７０３に相当する輝度値でいったん出力値が下がっており、このようなガンマカーブで輝度調整を行うことで、ダイナミックレンジが拡大され明るいエリアの視認性が向上する。以上のように画像処理部２０７の処理が完了する。

次に、後述するクライアント１２０から送信された設定パラメータをカメラ１１０が受信した後の処理について説明する。クライアント１２０から受信する設定パラメータは、各画像処理モジュール（図４の構成４０１〜４０９）の画像処理のパラメータとして反映され、アトリビュート生成部４０９で設定されたしきい値によって切り替えられる。詳しくは、アトリビュート生成部４０９へ輝度しきい値としてヒストグラムの谷の値の７０３に相当する輝度しきい値が設定され、この値を境に各画像処理パラメータが変更される。そのため、被写体が移動した場合においても、同一の被写体であれば同様のガンマ補正が適用され続ける。また同様に、輝度の明るい画素に対するホワイトバランスの処理も維持される。

ここで、ホワイトバランス処理について詳細に説明する。ホワイトバランスは自動設定と、手動設定の２つの動作モードを有している。この動作モードは、クライアント１２０から指定されるが、クライアントの動作については後述する。

また、ホワイトバランスの自動モードが指定される場合は、ホワイトバランスの測定領域を示す領域情報もクライアント１２０からカメラ１１０に送られてくる。手動モードでは、クライアント１２０からホワイトバランスの色温度情報や光源情報を受信する。この手動モード、自動モードの設定はステップＳ５０４のヒストグラム解析において２つの領域が検出された際は、其々の領域に対応する設定が可能であるため、２つの設定情報をカメラ１１０で受信することになる。

自動モードが選択された際には、クライアント１２０から指定された測定領域から白と思われる画素を抽出する（例えば、ノイズ以外であって、一番、白の値に近い画素値を有する画素を抽出する）。次に抽出された白と思われる画素の値を、白の値に近づけるような色変換の係数を算出し、算出された係数に基づく色変換の処理を処理対象の画素全体にかけることで、ホワイトバランス調整を行う。一方で、クライアント１２０から測定領域の指定がない場合は、マップにより分割されたそれぞれの領域から白と思われる画素を抽出して、各領域の其々について係数を算出し色変換してホワイトバランス調整を実施する。

手動モードの場合は、マップで分けられたそれぞれの領域ごとにクライアント１２０から指定された色温度や光源情報に基づいてホワイトバランスの調整を行うが、輝度値しきい値を持ち、しきい値を超える画素と超えない画素で処理パラメータを異ならせることでホワイトバランスの設定を行うように構成する。

さらに、ホワイトバランス調整以外の画像処理、例えば、ノイズリダクション処理やシャープネス処理、コントラスト調整、彩度調整も同様にアトリビュート生成部４０９に設定された輝度しきい値により処理設定を変えることができる。

図１３にアトリビュート生成部４０９が設定するしきい値により画像処理部２０７の各構成のパラメータが切り替えられる様子を示す。各画像処理部２０７の構成毎に、アトリビュート生成部４０９に設定された輝度しきい値との比較によって処理内容を設定可能となる。ホワイトバランスは、しきい値未満の暗い領域ではＡｕｔｏ、しきい値以上の明るい領域ではＭａｎｕａｌ（５５００Ｋ）に設定する。また、ノイズリダクション、シャープネス等についても同様に、図１３に示す様に設定する。

例えば、ノイズリダクションについては、しきい値以上の明るい領域については、しきい値未満の領域よりもノイズリダクションが弱めに実施される様なパラメータを設定する。シャープネス、コントラスト調整、彩度調整については、しきい値以上の明るい領域については、しきい値未満の領域よりも各処理が強めに実施されるようなパラメータを設定する。以上の様に明るい領域として合成されている領域について、パラメータを切り替えることで、より好ましい色再現性を得ることができる。

次に、クライアント１２０の処理について説明する。クライアント１２０においては、カメラ１１０から配信される動画像を表示するとともに、カメラ１１０へ撮影に関する設定やネットワークに関する設定を行うことができる。

ここで、ユーザーのホワイトバランスの設定について図１２を用いて説明する。まず、ステップＳ１２０１においてクライアント１２０は、ホワイトバランス設定のモードに遷移するとカメラ１１０に対して、画像処理部２０７におけるステップＳ５０４で検出されたピーク数と、ステップＳ５０５で作成されたマップに更新があるかどうかを確認する。更新がある場合にステップＳ１２０２およびステップＳ１２０３において、画像処理部２０７におけるステップＳ５０４で検出されたピーク数と、ステップＳ５０５で作成されたマップをカメラ１１０の通信部２０９が配信しクライアント１２０の通信部３０６が受信する。

次に、ステップＳ１２０４において通信部３０６が１１０カメラ１１０の配信画像を受信する。さらに、ステップＳ１２０５において、表示部３０７が、ユーザーが使用するモニターやディスプレイなどの表示画面上にカメラ１１０から配信される撮影画像に上記で受信したマップを重畳して表示する。この時、マップ上で入出力特性が異なる領域を枠で囲ってもよいし、異なる色で塗りつぶしてもよいし、どちらか一方を点滅表示させたりクリック選択時に入出力特性に対応する文字列やシンボルを表示させたりしてもよい。

図７にユーザーがホワイトバランス調整領域およびホワイトバランス調整方法（動作モード）を選択する表示画面の一例を示す。本図は窓のある部屋を撮影した例の模式図であり左側に明るい窓があり外を歩く人物が写っている。また室内の人と植物が写っている例を示している。ユーザーは表示されたマップにより分けられた領域毎にホワイトバランス調整の白の基準の抽出領域を選択することができる。図７では、互いに異なるガンマカーブが適用される領域として、窓の外の明るい領域１００１と、室内を撮影し、窓の外に比べて暗い領域１００２とが区別可能な様にマップとして表示されている。そのため、各々の領域に対応するホワイトバランス調整方法を選択することができる。

ここで、指定した領域に対してホワイトバランス調整モードは複数選ぶことができ、自動（Ａｕｔｏ）で処理するモード、手動で光源または環境の種類などの色温度を選択するモードを選択することもできる。図７に示す例では、領域１００１に対応する領域１と領域１００２に対応する領域２の其々について、表示されている各種のホワイトバランス調整モードからユーザーが選択欄１００６、選択欄１００７から１つずつ指定できる。ホワイトバランス調整モードとしては「ＡＷＢ（オート・ホワイト・バランス）」、「Ｆｌｕｏｒｅｓｃｅｎｔ３０００Ｋ，４０００Ｋ，６５００Ｋ（蛍光灯と色温度ケルビン）」、「Ｉｎｄｏｏｒ（屋内）」、「Ｏｕｔｄｏｏｒ（屋外）」がある。もちろん、プルダウン形式で選択可能であってもよい。なお、初期設定は各領域「Ａｕｔｏ」設定がされており、選択欄１００６を選択することで「Ｍａｎｕａｌ」設定がされる。

さらに、自動で処理するモードの場合、マップにより分けられた領域ごとにホワイトバランスの測定領域として画像上の任意の位置（例えば、図７の領域１００３、領域１００４）をドラック＆ドロップ等の操作で指定することもできる。このため、例えばユーザーが白基準となる領域（基準領域）をあらかじめ指定することでホワイトバランスの補正精度が高まる。図７では、白い壁が写っている場合に矩形１００４を指定することで、ホワイトバランスの補正精度が好ましくなる。

このホワイトバランスの測定領域をユーザーが指定した場合、この測定領域を示す領域情報は画像処理部２０７のＷＢ調整部４０５の設定値としてカメラ１１０へ送信される。ユーザーが指定し、カメラ１１０へ送信される領域の形は矩形以外の任意の形でもよい。また、特にユーザーがホワイトバランス領域を指定しない場合は、カメラ１１０にＡｕｔｏを通知し、カメラ１１０において自動的にマップ毎のホワイトバランス調整を行うようにしてもよい。

以上のとおり、本発明によれば、ガンマカーブ毎にホワイトバランス補正を適用することで、照度差または環境が異なる領域に対して色を正確に再現することができる。

さらに、本実施形態においては、位置的な領域ではなく、輝度の高い低いといった輝度領域において処理を変えているため、例えばカメラの画角がパンやチルトといった変化がある場面や、夜間の交通監視のように画面中を明るい被写体が移動するような場面においても、照度差または環境が異なる領域に対して色を正確に再現することができる。

＜＜実施形態２＞＞
次に、本発明の実施形態２について説明する。実施形態１では、１枚の画像中の明部をヒストグラム解析し、輝度で分割した部分領域毎に異なるガンマ調整値（ガンマ曲線）を用いて画像を作成し、ホワイトバランスを明部と暗部で異ならせる実施形態について述べた。本実施形態においては、さらに露出の異なる複数枚の画像を合成して合成画像を生成する実施形態について説明する。

なお、実施形態１と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的に変わらないものについては、その説明を省略する。

本実施形態では、互いに露出が異なる撮像条件で撮像した２枚のフレーム（撮像画像）を取得し、そのうち明るい被写体側に対応するフレームを実施形態１の方法でヒストグラム解析、現像処理、ガンマ調整処理を行い、その後にすべてのフレームを合成して合成画像として出力する。もちろん、露出を変えて撮像した画像を合成する数は２つに限定されるものではなく、３枚以上の撮像画像を合成してもよい。また、本実施形態では、簡便のため撮影エリア全体を合成する例について説明するが、これに限らず撮影される画像の少なくとも一部について合成するようにしてもよい。

まず、図８を用いて画像処理部２０７の動作フローについて説明する。ステップＳ５０１、Ｓ５０２は実施形態１と同様で、本実施形態ではステップＳ１１０１において画像処理部２０７が、合成のために必要なフレーム分の画像を受信し現像処理をしたかを判断する。なお、本実施形態では互いに露出条件の異なる撮影で得られた２枚の画像を取得する。露出の条件としては、シャッター速度を変えてもよいし、撮像素子のゲインを変えてもよいし、シャッター速度とゲインの双方を変えてもよい。合成に必要な枚数が受信されていれば、ステップＳ５０３に遷移し、必要な枚数に達していなければ、ステップＳ５０１に戻る。

次にステップＳ５０４において、実施形態１におけるステップＳ５０３と同様にクライアント１２０からマップ作成の指示があるかどうかを判定する。ここで、実施形態２におけるマップ作成について説明する。マップ作成が必要な場合は、実施形態１と同様にステップＳ５０４においてヒストグラム解析を行い、ステップＳ５０５においてピークの数を判定する。ここで、ヒストグラム解析処理部４１１がヒストグラム解析を行うフレームは、高ＥＶフレーム（後述する）とする。ヒストグラムの解析方法については、実施形態１と同様であるため説明を省略する。ここで、高ＥＶ・低ＥＶフレームについて説明を補足する。図９のように、明るい対象物に露出を合わせて撮影したフレーム（以降、高ＥＶフレーム）を図９（ａ）、暗い対象物に露出を合わせて撮影したフレーム（以降、低ＥＶフレーム）を図９（ｃ）に示す。低ＥＶフレーム図９（ｃ）では、明るい窓の外などは白飛んでしまう一方、暗い室内は適正値に近い露出が得られる。ここで、ＥＶとは露出値（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）のことを示す。

ステップＳ５０５でピークの数が２つである場合に、ステップＳ５０６においてマップを作成する。本実施形態では、２枚の露出の異なるフレームの合成を想定しているため、マップは複数画像の合成比率に応じたマップとなる。具体的には、輝度の低い側から、低ＥＶフレーム比率が１００％のエリア、低ＥＶフレームと高ＥＶフレームの混合エリア、高ＥＶフレーム比率１００％のエリア、高ＥＶフレーム比率１００％であり、かつ複数のピークが検出されガンマ特性の異なるエリアの４カテゴリーを持つマップとなる。もちろんマップ作成は、高ＥＶフレーム、もしくは低ＥＶフレームに対して行ってもよい。図９の撮影シーンにおいて本実施形態で作成されたマップの例を図１０（ｂ）に示す。

陰になっている暗いエリア１４０１は、低ＥＶフレーム比率が１００％のエリアである。もっとも広いエリア１４０２は、低ＥＶフレームと高ＥＶフレームの混合エリアとなっている。室内の人が明るく映っているため、エリア１４０３は高ＥＶフレーム比率１００％のエリアとなっている。窓の外が写っているエリア１４０４はもっとも明るく、高ＥＶフレーム比率１００％であり、複数ピークが検出されガンマ特性の異なるエリアとなっている。ここで作成されたマップはクライアント１２０へ送信される。

その後、ステップＳ５０７の処理は、実施形態１と同様である。図９（ａ）に示す明るい対象物に露出を合わせて撮影した画像に、ヒストグラム解析を行い、現像、ガンマ調整処理を行った画像を図９（ｂ）に示す。ガンマを調整したことで、窓の外の明るい領域の輝度が下がり適切な輝度になる。

次に、ステップＳ１１０３で高ＥＶフレームのガンマ調整後の画像と低ＥＶフレームの合成処理をＷＤＲ合成処理部４１４により行う。ＷＤＲ合成処理部４１４による合成処理について、図１０（ａ）を参照して説明する。図１０（ａ）の横軸は基準輝度を、縦軸は画像を加算合成する際の合成比率を表す。実線１３０１で示す合成比率は、基準輝度に対する低ＥＶフレームの合成比率を表し、１点鎖線１３０２で示す合成比率は、基準輝度に対する高いＥＶフレームの合成比率を表している。合成する際の基準輝度の閾値Ｙ１より暗い領域は低ＥＶフレームのみを使用し、基準輝度の閾値Ｙ２より明るい領域では高ＥＶフレームのみを用いる。また、基準輝度の閾値付近の境界Ｙ１〜Ｙ２の中間領域では、合成比率を徐々に変化させることで画像の切り替えを滑らかにすることができる。基準輝度として用いるのは、本実施形態では高ＥＶフレームとなる。

図９（ｄ）に合成処理後の画像を示す。図９（ａ）と図９（ｃ）が合成されることで、明るいエリアから暗いエリアまで表現できるダイナミックレンジの広い画像となっている。なお、クライアント１２０における処理は、マップ情報の領域数が４つになること以外は、実施形態１と同様である。

以上により、ＷＤＲ撮影においてもガンマカーブ毎にホワイトバランス補正を適用することで、照度差または環境が異なる領域に対して色を正確に再現することができる。

さらに、本実施形態においては、位置的な領域ではなく、輝度の高い低いといった輝度領域において処理を変えているため、例えばカメラの画角についてパンやチルトといった変化がある場面や、夜間の交通監視のように画面中を明るい被写体が移動するような場面においても、照度差または環境が異なる領域に対して色をより正確に再現することができる。

＜＜実施形態３＞＞
次に、本発明の実施形態３について説明する。実施形態１および実施形態２では、輝度に基づいて分割した範囲の其々に異なるガンマ調整値を設定しホワイトバランス調整を行うのに対して、本実施形態では輝度に基づいて分割した範囲の其々に異なるガンマ調整値と優先モードとを適用する。なお、実施形態１、２と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的に変わらないものについては、その説明を省略する。

クライアントの動作について説明する。図１１（ａ）はユーザーが設定するための表示画面（ＧＵＩ）の一例である。ユーザーは、クライアント１２０で表示画面に重畳されたマップ情報をもとに優先させたいモード、例えば「動き優先」、「ノイズ優先」または「解像度優先」などを選択することができる。本実施形態では、マップは最大４つの領域を持つが、例えば、シャッター速度を変える変更の場合、本実施形態では２枚の合成となるため、高ＥＶフレームと高ＥＶフレームのガンマ特性の異なる領域を分けることは意味をなさないため、設定項目によってユーザーに表示する領域を削減してもよい。

ユーザーが選択した優先モードを適用した場合のカメラ設定変更の一例を図１１（ｂ）に示す。例として、図１１（ａ）に示すように領域６０１で「動き優先」が選択された場合について説明する。

図１１（ｂ）にあるように、領域６０１に対応するフレームのシャッター速度はそれ以外が選択された場合に比べ短い値になる。これにより、動きブレの少ない画像を取得することができる。なお、実施形態１において、ノイズリダクション強度を弱めることでも同様に動きブレを弱めることができるため、この方法を用いてもよい。

さらに、領域６０２について「解像度」優先が設定されている場合は、図１１（ｂ）に示すようにエッジ強調などのシャープネス調整、またはガンマカーブの調整をすることでコントラストの高めた解像感の高い画像を得ることができる。なお、ノイズリダクションを弱めることでコントラストを強める補正などをしてもよい。

本発明によれば、異なるガンマカーブ毎に優先モードを適用することで、照度差または環境が異なる領域ごとに動きぶれが少ない、ノイズが低い、シャープネスが高い画像などを詳細に設定することで、ユーザーの所望の画像を得ることができる。

また、上述の実施形態では、互いに異なるガンマカーブを適用する領域（第１領域、第２領域）を主とした説明をしているが、互いに異なる露出設定を適用する領域についても、本発明を適用することもできる。詳細には、合成画像について領域毎に異なる露出補正を適用する場合について、領域毎に上述の実施形態で示す補正処理を設定し、適用できるようにしてもよい。

＜＜実施形態４＞＞
次に、本発明の実施形態４について説明する。実施形態１および実施形態２では、輝度に基づいて分割した範囲の其々に異なるガンマ調整値を設定しホワイトバランス調整を行うのに対して、本実施形態ではフォーカスの調整を行う。なお、実施形態１、２と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的に変わらないものについては、その説明を省略する。

本実施形態では、実施形態２における露出の異なる複数枚の画像を合成して合成画像を生成する実施形態に基づいて説明するが、実施形態１に基づく１枚の画像に適応してもよい。

まず、図１４に本実施形態の画像処理部２０７の構成の詳細を示す。本実施形態においては、画像処理部２０７の現像処理部４００にフォーカス評価値取得部１７０１を持つ。フォーカス評価値取得部１７０１は、指定されたエリアのフォーカスの評価値を取得する取得部であり、露出の異なる複数枚の画像それぞれについてフォーカス評価値を取得する。

次に、図１５を用いて撮像系制御部２０６および画像処理部２０７の動作フローについて説明する。本実施形態では、Ｓ５０１の画像受信ののちに、フォーカス評価値取得部１７０１においてフォーカス評価値を取得する（ステップＳ１５０１）。次のＳ５０２、Ｓ１１０１は実施形態２と同様の処理であり説明を省略する。

次に、Ｓ１５０２においてＳ１５０１で取得したフォーカス評価値を用いてフォーカス処理を行う。フォーカス評価値は、ユーザーから指定されたエリアの評価値が、露出の異なる画像ごとに保持されている。本ステップにおいてユーザーから指定された露出の画像のフォーカス評価値を基にフォーカスを駆動する。

ここで、ユーザー指定エリアとフォーカス評価値について詳細に説明する。ユーザーは、実施形態１及び２と同様の図１０（ｂ）に示すマップの領域エリア１４０１〜１４０４からフォーカス判定に用いる領域を選択する。

エリア１４０１は、低ＥＶフレーム比率が１００％のエリアであるため、ユーザーがこのエリアを選択した場合には、低ＥＶフレームを基にフォーカス評価値を算出する。エリア１４０３、およびエリア１４０４は、高ＥＶフレーム比率が１００％のエリアであるため、ユーザーがこのエリアを選択した場合には、高ＥＶフレームを基にフォーカス評価値を算出する。

エリア１４０２は、低ＥＶフレームと高ＥＶフレームの混合エリアとなっている。このエリアを指定した場合は、高ＥＶ，低ＥＶどちらのフレームを用いてもよい。本実施形態では、フォーカス評価値が高い値であるフレームのフォーカス評価値を採用した。

以降のＳ５０３〜Ｓ１１０３は実施形態２と同様の処理になるため説明を省略する。

以上説明してきた構成により、ユーザーはフォーカス対象となるエリアを指定できるため、フォーカスしたい領域と露出を選択でき、所望のエリアに対して視認性を向上することができる。さらに、被写体に動きがある場合においても、露出を指定してフォーカス評価値を取得しているため、被写体の動きによって評価値が変化することなく安定した値を取得できる。

また、実施形態１及び２において実施しているＳ５０７ガンマ調整処理は、本実施形態とは依存せずに実行の可否を設定可能である。

＜＜その他の実施形態＞＞
その他の実施形態として、実施形態１および２においてホワイトバランス調整を行い、実施形態３では画像パラメータ調整、実施形態４においてはフォーカス調整を行っていたが、本実施形態では指定されたエリアに対して上述の複数の調整機能を選択的に実施してもよい。

図１６にユーザーが設定するための表示画面（ＧＵＩ）の一例を示す。ユーザーはクライアント１２０で表示画面に重畳されたマップ情報をもとに調整したいモード、例えば「ノイズ優先」、「フォーカス」、「ホワイトバランス」など複数選択可能である。ただし、フォーカスについては、一つのマップ情報でのみ有効に設定可能となる。

これにより、ユーザーが注目している露出エリアに対して、前述の調整処理を選択的に一括して設定することが可能となり、容易に所望の画像を得ることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (22)

1. 撮像装置と画像処理装置とを有する画像処理システムであって、
   前記撮像装置は、
   撮像画像を取得する撮像手段と、
   前記撮像手段により取得した撮像画像について、第１の入出力特性を適用する第１領域と、第２の入出力特性を適用する第２領域とを設定する設定手段と、
   前記第１領域または前記第２領域の少なくとも一方を示す領域情報を出力する出力手段と、を備え、
   前記画像処理装置は、
   前記撮像装置から前記領域情報を取得し、前記第１領域と前記第２領域とを区別して表示させる表示制御手段を備えることを特徴とする画像処理システム。
2. 前記撮像手段は互いに異なる撮像条件で撮像した複数の撮像画像を取得し、前記設定手段は前記複数の撮像画像の輝度値に基づいて前記第１領域と前記第２領域とを設定することを特徴とする請求項１に記載の画像処理システム。
3. 前記撮像条件は露出条件であり、前記撮像装置は前記設定手段により設定した第１領域の輝度と第２領域の輝度と、前記複数の撮像画像とに基づいて、ダイナミックレンジを拡張した合成画像を取得する合成手段を更に備えることを特徴とする請求項２に記載の画像処理システム。
4. 前記入出力特性はガンマ曲線であって、前記第１の入出力特性に対応する第１のガンマ曲線と前記第２の入出力特性に対応する第２のガンマ曲線とは不連続であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 前記画像処理装置は、前記表示制御手段で表示させている前記第１領域と前記第２領域の其々について、補正処理の適用を受け付ける受付手段を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
6. 前記撮像手段は、前記受付手段で受け付けた補正処理を実施する現像処理手段を更に備えることを特徴とする請求項５に記載の画像処理システム。
7. 前記補正処理は、ホワイトバランスを調整する処理であることを特徴とする請求項５または６に記載の画像処理システム。
8. 前記補正処理は、ノイズリダクション処理、シャープネス処理、色処理の少なくとも１つを含むことを特徴とする請求項５乃至７のいずれか１項に記載の画像処理システム。
9. 前記画像処理装置は、前記表示制御手段に表示させている前記第１領域と前記第２領域のいずれかについて、合焦度の評価値を算出する処理の指示を受け付ける受付手段を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
10. 撮像画像を取得する撮像手段と、
    前記撮像手段により取得した撮像画像について、第１の入出力特性を適用する第１領域と、第２の入出力特性を適用する第２領域とを設定する設定手段と、
    前記第１領域または前記第２領域の少なくとも一方を示す領域情報を出力する出力手段とを有することを特徴とする撮像装置。
11. 複数のホワイトバランスの設定値を持ち、前記第１領域または前記第２領域の輝度値に基づいて、前記複数のホワイトバランスの設定値を切り替えてホワイトバランスを調整する補正処理手段を更に備ることを特徴とする請求項１０に記載の撮像装置。
12. 撮像画像について、第１の入出力特性を適用する第１領域と第２の入出力特性を適用する第２領域の少なくとも一方を示す領域情報を撮像装置から取得する取得手段と、
    前記第１領域と前記第２領域とを区別して表示させる表示制御手段と
    を有することを特徴とする画像処理装置。
13. 前記第１領域と前記第２領域の其々について、ホワイトバランスを調整するための設定を受付ける受付手段を更に有することを特徴とする請求項１１に記載の画像処理装置。
14. 前記第１領域と前記第２領域の其々について、ホワイトバランス調整のための基準領域の設定を受付ける受付手段を更に有することを特徴とする請求項１１に記載の画像処理装置。
15. 前記第１領域と前記第２領域の其々について、撮影の優先度の設定を受付ける受付手段を更に有することを特徴とする請求項１１に記載の画像処理装置。
16. 前記第１領域と前記第２領域の其々について、画像処理パラメータの設定を受付ける受付手段を更に有することを特徴とする請求項１１に記載の画像処理装置。
17. 前記第１領域と前記第２領域は互いに露出設定が異なる領域であることを特徴とする請求項１１乃至１５のいずれか１項に記載の画像処理装置。
18. 撮像装置と画像処理装置とを有する画像処理システムの制御方法であって、
    前記撮像装置が、
    撮像画像を取得する取得工程と、
    前記取得工程において取得した撮像画像について、第１の入出力特性を適用する第１領域と、第２の入出力特性を適用する第２領域とを設定する設定工程と、
    前記第１領域または前記第２領域の少なくとも一方を示す領域情報を出力する出力工程と、を実施し、
    前記画像処理装置が、
    前記撮像装置から前記領域情報を取得する取得工程と、
    前記第１領域と前記第２領域とを区別して表示させる表示制御工程とを実施することを特徴とする画像処理システムの制御方法。
19. 撮像装置の制御方法であって、
    撮像画像を取得する取得工程と、
    前記取得工程において取得した撮像画像について、第１の入出力特性を適用する第１領域と、第２の入出力特性を適用する第２領域とを設定する設定工程と、
    前記第１領域または前記第２領域の少なくとも一方を示す領域情報を出力する出力工程とを有することを特徴とする撮像装置の制御方法。
20. 撮像装置と通信可能に接続されている画像処理装置の制御方法であって、
    前記撮像装置から領域情報を取得する取得工程と、
    前記第１領域と前記第２領域とを区別して表示させる表示制御工程と
    を有することを特徴とする画像処理装置の制御方法。
21. コンピュータを、
    撮像画像を取得する撮像手段と、
    前記撮像手段により取得した撮像画像について、第１の入出力特性を適用する第１領域と、第２の入出力特性を適用する第２領域とを設定する設定手段と、
    前記第１領域または前記第２領域の少なくとも一方を示す領域情報を出力する出力手段として機能させることを特徴とするプログラム。
22. コンピュータを、
    撮像画像について、第１の入出力特性を適用する第１領域と第２の入出力特性を適用する第２領域の少なくとも一方を示す領域情報を撮像装置から取得する取得手段と、
    前記第１領域と前記第２領域とを区別して表示させる表示制御手段と
    して機能させることを有することを特徴とするプログラム。
    

Images