JP2012010105A - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】カラーローリングをよりロバストに検出し、抑制することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供する。
【解決手段】露光時間の異なる複数の撮像画像から色フリッカの発生を検出する色フリッカ検出部１２５を有し、色フリッカ検出部１２５は、記複数の撮像画像のそれぞれにおける複数の色信号うち、一の色信号に対する他の色信号の比を取得し、取得した比から色フリッカの評価値を求め、この評価値の大きさにより色フリッカが発生しているか否かを判定する。
【選択図】図４

Description

本発明は、露光時間の異なる複数の画像を用いて広ダイナミックレンジ画像を生成する画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。
より詳細には、各種の撮像装置で被写体の撮影を行なう場合に、その照明光に含まれる電源周波数に起因した周波数変動によって映像に生じるフリッカ（光源フリッカとも称する）を抑制する仕組みに関するものである。

被写体画像を撮像する撮像装置においては、たとえばＣＣＤ(Charge Coupled Device)型やＭＯＳ型あるいはＣＭＯＳ型などの固体撮像装置の画素部（撮像部や画素アレイ部ともいう）に入射する光量を制御する仕組み（以下入射光量制御という）が採られている。
この入射光量制御には、撮像レンズにメカニカルな絞り機構（以下メカアイリスともいう）を設けたもの、撮像レンズにメカニカルなシャッタ機構（以下メカシャッタともいう）を設けたものがある。あるいは固体撮像装置の画素部における信号電荷の蓄積時間（露光時間）の制御が可能ないわゆる電子シャッタ機能を利用するものなどがある。
これらは、単独で使用されてもよいが、メカアイリスはメカシャッタや電子シャッタと組み合わせて使用されることもある。

ところで、各種の撮像装置においては、定常的に明るさが変化しない光源下での撮像の場合は問題ないが、たとえば蛍光灯のように周期的な発光特性を有しかつ固体撮像装置の露光周期と同期していない光源下での撮像の場合、光源フリッカが発生する。
簡単に言えば、フィールド周波数と蛍光灯などの光源の発光周期とが異なることに起因して光源フリッカが発生する。
なお、画面輝度のちらつきを輝度フリッカ、色再現のちらつきを色フリッカもしくはカラーローリングと、区別して称することもある。

ここで、「光源フリッカ」とは、光源の照度変化と、撮像装置の露光周期との関わりで映像信号が変化する現象のことである。
たとえば、周波数ｆの商用電源を使用した光源における＝1／ｎｆ（ｎは通常２）秒周期の照度変化と、撮像装置のフィールド周期ｆｖのビート成分で映像信号の輝度信号成分が変化する。これにより出力画像が変化し、この周期が人間の目の残像特性にも関係して画像がちらついて感じられる現象を輝度フリッカと称している。

たとえば、フィールド周波数が６０ＨｚのＮＴＳＣ方式での商用電源周波数ｆ＝５０Ｈｚの地域や、フィールド周波数が５０ＨｚのＰＡＬ方式での商用電源周波数ｆ＝６０Ｈｚの地域では極端に輝度フリッカが発生しやすい。しかも白熱電球より蛍光灯の方が、発光特性上照度変化があり、顕著である。
なお、フィールド周波数が６０Ｈｚとは換言すればフレームレートが３０ｆｐｓ、より正確には５９．９４Ｈｚである。また、フィールド周波数が５０Ｈｚとは換言すればフレームレートが２５ｆｐｓである。
たとえば、蛍光灯の発光周期は１０ｍｓで、ＮＴＳＣ方式での６０Ｈｚの露光動作の１周期は１６．７ｍｓであると、これらの最小公倍数は５０ｍｓとなり、３回の露光動作で両者の関係は元に戻る。したがって、露光期間の種類としては３種類となり、これらの間で固体撮像装置の出力信号レベルが異なることが、フリッカ周波数Ｆ＝２０Ｈｚのフリッカ発生の原因となる。

また、電子シャッタ機能を使用する場合、高速シャッタモードにすればするほど１フィールド期間に固体撮像装置に電荷を蓄積する蓄積時間が短くなる。
このため、フリッカの振幅が通常のシャッタ速度である１／６０秒の場合よりも大きくなり、電子シャッタ速度が速くなればなるほどフリッカが顕著となり、画面上のチラツキ（特に画像輝度）として画質を著しく劣化させる。

また、蛍光灯に使用されている蛍光体には緑色と赤色と青色との３色があり、各色の発色しはじめるタイミングは同じであるが、光量が減少し、最後に消えるまでの時間には差がある。つまり、蛍光灯の発光は時間とともにそのスペクトルを変える。
一般的には、前記３色のうち、特に緑色の発光時間が長く、ついで赤色、最も短いのが青色である。
したがって、高速シャッタのシャッタタイミングによっては、前記発色光のうち１色あるいは２色のみの光成分しかとらえることができない場合が発生する。
高速の電子シャッタを用いて撮像した場合には、捉えるスペクトルの差が出てくるため、それが色の変化となって現れるのである（色フリッカ，カラーローリング）。
特に、色フリッカとして青色の成分をとらえることができず、普通に撮像すると黄色くなってしまうような場合が多々存在する。

特開平７−３２２１４７号公報 特開平１１−７５１０９号公報

ところで、特許文献１に記載されているような、露光量の異なる画像を合成してダイナミックレンジの広い映像信号を得る固定撮像装置が存在する。
この撮像装置の場合、広ダイナミックレンジを得るために、明るい部分を通常撮影の露光時間で撮像すると、出力がセンサの飽和レベルを超える値となり、その値を使用することができないため、少ない露光量の画像を撮像してそれらを合成する必要がある。

図１は、広ダイナミックレンジ画像生成に必要な画像の概念図である。
通常の露光時間で撮像した画像において取得できない画像（光量がセンサ出力の飽和レベルを超えているもの）については、短い露光時間で撮像することで、センサ出力が飽和することなく、有意な情報を取得することができる。
この短い露光時間で撮像した画像に対し、露光比の逆数を掛けたり、オフセットを付けたりして、どちらの画素を使用するかを画素毎に選択することで、ダイナミックレンジの広い合成画像を生成している。
なお、露光比とは通常撮影画像のシャッタースピードと短い露光時間で撮像した画像のシャッタースピードの比をいう。

このように、広ダイナミックレンジ画像を生成するためには、露光時間（シャッター時間）を数千分の１秒といったシャッタースピードで比較的短く切る必要が生じる。
このため、短い露光時間で得られた画像（以後、短時間露光画像と称す）は前記の色フリッカが生じることになる。

一方、標準映像信号と同じか、もしくは、より長い露光時間で得られた画像（前記短時間露光画像に対して、以後、長時間露光画像と称す）は、通常１／６０秒や１／１００秒といったシャッタースピードで撮影されることが多い。したがって、長時間露光画像は、前記の通り、色フリッカの影響を受けにくい。
このため、色フリッカの影響は短時間露光画像に対しては大きく、長時間露光画像に対しては小さいことになる。これにより結果的にダイナミックレンジの広い合成画像の一部に色フリッカが生じることになり、その画像はユーザーが実際に目で見ているものとは異なるため、不自然に感じられることとなってしまう。

前記の問題を改善するため、短時間露光および長時間露光で撮像した画像に対し、それぞれ別々のホワイトバランス調整処理を行うことが提案されている。

図２は、短時間露光および長時間露光で撮像した画像に対し、それぞれ別々のホワイトバランス調整処理を行う撮像装置の第１例を示すブロック図である。
この撮像装置１は、固体撮像素子２、前段処理部３−１，３−２、ＲＡＷデータからＲＧＢへの変換処理部４−１，４−２、および積算値算出処理部５を有する。
撮像装置１は、ホワイトバランス調整処理部６−１，６−２、アンプ７−１，７−２、合成処理部８、後段処理部９、およびＣＰＵ１０を有する。

撮像装置１では、積算値算出処理部５で長時間露光および短時間露光のＲＧＢの積算値が算出される。算出された積算値は、ＣＰＵ１０に送られ、ＣＰＵ１０ではその積算値に基づいて長時間露光画像および短時間露光画像のそれぞれにかけるホワイトバランスゲイン値を算出する。
算出されたホワイトバランスゲイン値はＣＰＵ１０からホワイトバランス調整処理部６−１，６−２に送られ、処理部内でそれぞれの画像データにゲインを掛けることでホワイトバランスの調整が行われる。
以上のように、このシステム構成を用いることで長時間露光画像および短時間露光画像のそれぞれに異なるホワイトバランスゲイン値を掛けることが可能となる。

図３は、短時間露光および長時間露光で撮像した画像に対し、それぞれ別々のホワイトバランス調整処理を行う撮像装置の第２例を示すブロック図である。
図３の撮像装置１Ａは、図２の撮像装置１の変形例である。

図３においては、積算値算出処理部５およびホワイトバランス調整処理部６が合成処理部８の後段に置かれている。
図３の合成処理時に長時間露光画像、短時間露光画像のどちらの画素を選択したかという情報をフラグとして画素毎に後段に送ることができれば、合成後の画像で図２と同様の処理（積算処理、ホワイトバランス調整処理）を行うことが可能である。

図３の構成のメリットとしては、積算値算出処理およびホワイトバランス調整処理を行う画素数が、図２と比較して半分で済む。すなわち、図２の構成では長時間露光画像、短時間露光画像の２枚分の画素数処理するのに対し、図３は合成画像１枚分の画素処理で済むため、回路規模等が小さくなるといった点が挙げられる。

以上のような図２または図３といったシステム構成を用いることで、長時間露光画像、短時間露光画像のそれぞれに対し、異なったホワイトバランスゲインを掛けることが可能となる。

しかしながら、短時間露光画像および、長時間露光画像それぞれに対し積算処理を行う場合、それぞれの画像の積算に有効な画素（センサ出力の最大値に振りきれている画素や、値が０もしくは小さすぎる値の画素を除いた画素）が少ない。
このため、移動物体の色等の抑制対象である光源の変化（色フリッカ）ではないものにつられて補正をかけてしまうことがある。
この場合、光源による色フリッカが起きていない通常の場合でも、合成画像の一部にホワイトバランス処理の誤処理によって、色がついてしまうことになる。
さらに、前記のような不都合を改善するため、シャッタースピードが短いと起こる可能性があるという、既知の制約を入れた処理を行ったり、特許文献２で述べられているようなフリッカ光源であるかどうかの検出を行っていたりするものが存在する。
しかしながら、現状は前記のような移動物体の誤検出と実際に生じている色フリッカの検出を、精度よく切り分けるのは難しい。

本発明は、カラーローリングをよりロバストに検出し、抑制することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。

本発明の第１の観点の画像処理装置は、露光時間の異なる複数の撮像画像から色フリッカの発生を検出する色フリッカ検出部を有し、上記色フリッカ検出部は、上記複数の撮像画像のそれぞれにおける複数の色信号うち、一の色信号に対する他の色信号の比を取得し、取得した比から色フリッカの評価値を求め、当該評価値の大きさにより色フリッカが発生しているか否かを判定する。

本発明の第２の観点の撮像装置は、露光時間の異なる複数の撮像画像を撮像する撮像素子と、露光時間の異なる複数の撮像画像から色フリッカの発生を検出する色フリッカ検出部と、を有し、上記色フリッカ検出部は、上記複数の撮像画像のそれぞれにおける複数の色信号うち、一の色信号に対する他の色信号の比を取得し、取得した比から色フリッカの評価値を求め、当該評価値の大きさにより色フリッカが発生しているか否かを判定する。

本発明の第３の観点の画像処理方法は、露光時間の異なる複数の撮像画像から色フリッカの発生を検出する色フリッカ検出ステップを有し、上記色フリッカ検出ステップは、上記複数の撮像画像のそれぞれにおける複数の色信号うち、一の色信号に対する他の色信号の比を取得するステップと、取得した比から色フリッカの評価値を求めるステップと、当該評価値の大きさにより色フリッカが発生しているか否かを判定するステップとを含む。

本発明の第４の観点は、露光時間の異なる複数の撮像画像から色フリッカの発生を検出する色フリッカ検出処理を有し、上記色フリッカ検出処理は、上記複数の撮像画像のそれぞれにおける複数の色信号うち、一の色信号に対する他の色信号の比を取得する処理と、取得した比から色フリッカの評価値を求める処理と、当該評価値の大きさにより色フリッカが発生しているか否かを判定する処理とを含む画像処理をコンピュータに実行させるプログラムである。

本発明によれば、カラーローリングをよりロバストに検出し、抑制することができる。

広ダイナミックレンジ画像生成に必要な画像の概念図である。 短時間露光および長時間露光で撮像した画像に対し、それぞれ別々のホワイトバランス調整処理を行う撮像装置の第１例を示すブロック図である。 短時間露光および長時間露光で撮像した画像に対し、それぞれ別々のホワイトバランス調整処理を行う撮像装置の第２例を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図であって、後段にホワイトバランス処理がある構成例を示す図である。 本実施形態に係る色フリッカ検出処理のフローチャートである。 ＲＧＢの積算処理のフローチャートである。 ノイズマージンがない場合の積算範囲指定の概念図である。 ノイズマージンがある場合の積算範囲指定の概念図である。 短時間露光画像の場合のＲおよびＢのＧに対する比の概念図である。 長時間露光画像の場合のＲおよびＢのＧに対する比の概念図である。 式で求めた色フリッカ評価値の例を示す図である。 色フリッカ判定方法の一例を説明するための図である。 色フリッカ検出処理部の構成例を示すブロック図である。 色フリッカ検出および確度算出処理のフローチャートである。 色フリッカ検出の確度（確からしさ）の算出方法について示す図である。 色フリッカ検出の確度（確からしさ）を示す図である。 色フリッカ検出の確度（確からしさ）の他の算出方法について示す図である。 長短独立のホワイトバランス算出系を示す図である。 混合比αの算出方法について説明するための図である。 長短独立のホワイトバランス算出系の他の例を示す図である。 色フリッカ抑制機能を有する色フリッカ検出処理部の構成例を示す図である。 本発明の第２の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本第２の実施形態に係る色フリッカ検出処理のフローチャートである。 本第２の実施形態に係る色フリッカ検出処理部の構成例を示すブロック図である。 本発明の第３の実施形態に係るＲＧＢ積算値に対し、静動判定を条件に加える場合の処理を説明するためのフローチャートである。 本第３の実施形態に係る静動判定機能を有する色フリッカ検出処理部の構成例を示す図である。 本発明の第４の実施形態に係るＲＧＢ積算値の積算ではなく、本評価値を積算する場合の処理を説明するためのフローチャートである。 評価値の積算処理を行った場合の色フリッカ判定処理のフローチャートである。 本発明の第５の実施形態に係る色フリッカ検出の領域分割処理する場合を説明するための図であって、複数の光源が存在するシチュエーション例を示す図である。 本発明の第５の実施形態に係る色フリッカ検出の領域分割処理を説明するための図である。 本発明の第６の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第７の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第８の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第９の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第１０の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本第１０の実施形態に係る混合領域の偽色を抑制するための合成方法を採用した合成処理部の構成例を示す図である。 本実施形態に係る長短選択フラグの決定処理を説明するためのフローチャートである。 本第１０の実施形態を適用した用いた場合の混在領域に偽色を抑制できる理由を説明するための概念図である。 本発明の第１１の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本第１１の実施形態に係る混合領域の偽色を抑制するための合成方法を採用した合成処理部の構成例を示す図である。 本第１１の実施形態に係る混合領域の偽色を抑制するための合成方法を採用したホワイトバランス調整処理部の構成例を示す図である。 本第１１の実施形態に係る合成処理部およびホワイトバランス調整処理部を適用した場合の混在領域に偽色を抑制できる理由を説明するための概念図である。 本発明の第１２の実施形態に係る混合比の算出処理を説明するためのフローチャートである。 図３６の変形例として本第１２の実施形態に係る静動判定機能を有する合成処理部の構成例を示す図である。 図４０の変形例として本第１２の実施形態に係る静動判定機能を有する合成処理部の構成例を示す図である。 本発明の第１３の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第１４の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第１５の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。

以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．第１の実施形態（撮像装置の画像処理装置の第１の構成例）
２．第２の実施形態（撮像装置の画像処理装置の第２の構成例）
３．第３の実施形態（撮像装置の画像処理装置の第３の構成例）
４．第４の実施形態（撮像装置の画像処理装置の第４の構成例）
５．第５の実施形態（撮像装置の画像処理装置の第５の構成例）
６．第６の実施形態（撮像装置の画像処理装置の第６の構成例）
７．第７の実施形態（撮像装置の画像処理装置の第７の構成例）
８．第８の実施形態（撮像装置の画像処理装置の第８の構成例）
９．第９の実施形態（撮像装置の画像処理装置の第９の構成例）
１０．第１０の実施形態（撮像装置の画像処理装置の第１０の構成例）
１１．第１１の実施形態（撮像装置の画像処理装置の第１１の構成例）
１２．第１２の実施形態（撮像装置の画像処理装置の第１２の構成例）
１３．第１３の実施形態（撮像装置の画像処理装置の第１３の構成例）
１４．第１４の実施形態（撮像装置の画像処理装置の第１４の構成例）
１５．第１５の実施形態（撮像装置の画像処理装置の第１５の構成例）

＜１．第１の実施形態＞
図４は、本発明の第１の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。

［撮像装置の構成］
本撮像装置１００は、固体撮像素子１１０および画像処理装置１２０を有する。
画像処理装置１２０は、前段処理部１２１，１２２、アンプ１２３，１２４、および色フリッカ検出処理部１２５を有する。
画像処理装置１２０は、合成処理部１２６、ＲＡＷ−ＲＧＢ変換処理部１２７、積算値算出処理部１２８、ホワイトバランス調整処理部１２９、後段処理部１３０、および制御部としてのＣＰＵ１３１を有する。

以下、広ダイナミックレンジ画像を生成する処理順序および処理内容に沿って各ブロックの説明を行う。

固体撮像素子１１０は、ＣＣＤイメージセンサもしくはＣＭＯＳイメージセンサ等のイメージセンサにより形成される。
固体撮像素子１１０は、図示しない光学系により結像された被写体像を光電変換し、デジタル信号に変換等して、画像処理装置１２０の前段処理部１２１，１２２に出力する。
固体撮像素子１１０においては、広ダイナミックレンジ画像生成のために、複数（少なくとも２つ以上）の異なる露光時間で撮像された画像が出力される。
図では、広ダイナミックレンジを実現するために短い露光時間で撮像された画像である短時間露光画像をShortと表し、それよりも長い、通常の露光時間もしくはより長い露光時間で撮像された画像である長時間露光画像をLongと表している。

前段処理とは、黒レベル合わせ処理やノイズ除去処理、シェーディング補正処理といった比較的センサ出力に近い所で処理を行う必要がある処理を示す。
前段処理部１２１は、長時間露光画像に対して、黒レベル合わせ処理やノイズ除去処理、シェーディング補正処理等を行う。
前段処理部１２２は、短時間露光画像に対して、黒レベル合わせ処理やノイズ除去処理、シェーディング補正処理等を行う。

アンプ１２３は、前段処理部１２１が施された長時間露光画像に対して、ＣＰＵ１３１からのゲイン値に従い、ゲインを掛け後段の合成処理部１２６に出力する。
アンプ１２４は、前段処理部１２２が施された短時間露光画像に対して、ＣＰＵ１３１からのゲイン値に従い、ゲインを掛け後段の合成処理部１２６に出力する。
ここでのゲイン値は、露光比（通常撮影画像のシャッタースピードと短い露光時間で撮像した画像のシャッタースピードの比）の逆数であったり、その値に補正がかかったものであったりしても良い。

一方、前段処理後の長時間露光画像および短時間露光画像は、色フリッカ検出処理部１２５へも入力される。
色フリッカ検出処理部１２５は、入力されたデータから色フリッカの有無を判別し、さらに、その確度（確からしさ）を算出し、ＣＰＵ１３１へと出力する。色フリッカ検出処理部１２５の検出方法の詳細については後述する。

合成処理部１２６は、長時間露光画像および短時間露光画像を画素毎に合成する処理を行う。
合成方法としては、長時間露光画像および短時間露光画像のそれぞれの画素値を比較し、どちらかの画素を選択もしくは両者をブレンドする処理でも良いし、オフセットを加算して両者の値を加算する処理を行っても良い。
この合成処理部１２６ブロックの出力としては、１枚の合成画像と画素毎に長時間露光画像もしくは短時間露光画像のどちらの画素を選択したかといったフラグ情報となる。

変換処理部１２７は、合成画像に対してＲＡＷ−ＲＧＢ変換処理を行う。
ＲＡＷ−ＲＧＢ変換処理とは、センサ出力であるＲＡＷデータから各画素にＲＧＢ３つのデータが存在するように変換する処理のことを指し、デモザイク処理と呼ばれてもいる。
なお、ＲＡＷデータは、ＲＧＢもしくは補色の市松（ベイヤ）配列の値、各画素に対し、１つのカラーフィルタを通過して光電変換した値を含む。
変換処理部１２７は、ＲＡＷ−ＲＧＢ変換処理後の合成画像（ＲＧＢ）を算値算出処理部１２８およびホワイトバランス調整処理部１２９に出力する。
先にホワイトバランス調整処理部１２９および後段処理部１３０の構成および機能について示す。

ホワイトバランス調整処理部１２９は、ＣＰＵ１３１から入力される長時間露光画像もしくは短時間露光画像の画素に対するＲＧＢそれぞれのゲイン値を合成処理部から送られてきた長短選択フラグに基づいて、それぞれ該当するゲインを掛ける。
以後、ＣＰＵ１３１から入力される長時間露光画像もしくは短時間露光画像の画素に対するＲＧＢそれぞれのゲイン値を、WBG_R_Long，WBG_G_Long，WBG_B_Long，WBG_R_Short，WBG_G_Short，WBG_B_Shortと表記する。
また、後段処理部１３０、ホワイトバランス調整処理部１２９の出力画像に対して、ノイズ除去やエッジ強調、諧調変換やガンマ処理等を行う。

一方、ＲＡＷ−ＲＧＢ変換処理後の合成画像（ＲＧＢ）は積算値算出処理部１２８へも送られる。
積算値算出処理部１２８は、入力されるＲＧＢ画像と長短選択フラグＦＬＧＬＳに基づき、任意の条件に該当する画素に対し、その値を積算する処理を行い、最終的に、画面全体の画素を処理した後のＲＧＢそれぞれの積算結果をＣＰＵ１３１に出力する。
ここで言う「任意の条件」とは、画像の位置座標（領域指定）や、画素値のあるレベルからあるレベルといった範囲指定となる。また、フラグを利用した長時間露光画像であるもしくは短時間露光画像であるといった条件でも良い。

［色フリッカ検出の詳細な説明］
以下に、色フリッカ検出方法の詳細を説明する。
図５は、本実施形態に係る色フリッカ検出処理のフローチャートである。以下、順に説明を行う。

まず、ＲＡＷ−ＲＧＢ変換処理後（ＳＴ１）、長時間露光画像および短時間露光画像のそれぞれに対し、ＲＧＢそれぞれの積算値を算出する（ＳＴ２）。これは、図２，図３にも存在する積算値算出部と類似した処理を行う。
主な処理内容は、任意の条件に該当する画素に対し、積算する処理を行い、最終的に、画面全体の画素を処理した後の積算結果を出力することである。
図６にそのフローチャートを示す。図６のフローチャートでは、前記の「任意の条件」として、画素の位置が指定領域内であるかどうかおよび、その画素値が指定範囲内の値であるかを条件としている。この２つの条件を共に満たす画素に関し、ＲＧＢそれぞれの値の積算を行うことになる（ＳＴ１１〜ＳＴ１６）。
ここで、画素値の指定方法について説明を行う。

図７はそれぞれ短時間露光および長時間露光における光量に対するセンサ出力を示す図であって、ノイズマージンがない場合の積算範囲指定の概念図である。
本実施形態では、少なくとも、長時間露光画像および短時間露光画像に共通して値が存在する画素を積分の対象とする様な指定をするのを特徴とする。
図７において、ある光量（Pa）までは長時間露光画像がセンサの飽和レベルに達しないため、その値は存在するが、それ以上はセンサの飽和レベルに達してしまうため、有意な情報が存在しない。
したがって、光量がＰａに達するまでの長時間露光画像および短時間露光画像の値を範囲指定すれば良いことになる。今回の例では、図中符号Ｘで示す部分に該当する画素がそれぞれ積算対象となる。
図７はノイズに関して考慮しない場合の積算範囲の指定方法を示した図である。
しかしながら、実際の撮像系ではノイズが存在し、露光比が大きくなればなるほど、短時間露光画像のわずかな信号レベルの画素を使用して積算しなければならなくなるため、その判定精度は低下する。このため、予めノイズのマージンをとった範囲指定を行うこともできる。

図８は、ノイズを考慮した積算範囲の指定方法の概念図である。図では、ノイズのマージンをセンサ出力の０と飽和レベルに設けており、図８においてノイズマージン内に該当する画素は積算対象としない。
したがって積算対象となる画素は、図中符号Ｙで示す部分に該当する画素であり、ノイズを考慮に入れない場合の画素よりも少なくなる。

前記のような範囲指定を行い、それに該当する画素を積分することにより、最終的な積分結果が導出される。
最終的な出力結果は、長時間露光画像および短時間露光画像それぞれに対しＲ，Ｇ，Ｂの積算値となるため、６つの積算結果（以下、Sum_R_Long，Sum_G_Long，Sum_B_Long，Sum_R_Short，Sum_G_Short，Sum_B_Shortと記す）が出力されることになる。

次に、算出された積分値を用いて、以下の式（1-1）〜式（1-4）を用いて、長時間露光画像および短時間露光画像それぞれにおいてＲおよびＢのＧに対する比を算出する（ＳＴ３）。

［数１］
(R/G)_Long ＝ Sum_R_Long / Sum_G_Long …(1-1)
(B/G)_Long ＝ Sum_B_Long / Sum_G_Long …(1-2)
(R/G)_Short ＝ Sum_R_Short / Sum_G_Short …(1-3)
(B/G)_Short ＝ Sum_B_Short / Sum_G_Short …(1-4)

式（1-1）〜（1-4）を用いて算出した値の例を図９および図１０に示す。
図９は、短時間露光画像の場合のＲおよびＢのＧに対する比の概念図である。
図１０は、長時間露光画像の場合のＲおよびＢのＧに対する比の概念図である。
両図はそれぞれ色フリッカが生じている場合の例を示したものである。グラフの凹凸や値の上下等は、シチュエーションによって変わるため、あくまで一例である。したがって、必ずしもＲ/ＧがＢ/Ｇよりも大きいとか、Ｂ/Ｇは下に凸な曲線であると言った決まりは無い。

前記の通り、短時間露光画像は、シャッタースピードが比較的短いため、色フリッカの影響を受けやすく、Ｒ/ＧおよびＢ/Ｇの時間変動は図９のようになる。
一方、長時間露光画像は、前記の通り、比較的長いシャッタースピードで撮像するため、色フリッカの影響を受けにくい。ただし、全く色フリッカの影響を受けないというわけではないため、短時間露光画像の曲線と比べ、その変動が小さい図１０のような曲線を描く。

次に、色フリッカの評価値を算出する（ＳＴ４）。
評価値は以下の式（2-1），式（2-2）を用いて算出する。

［数２］
CR_Est_R = (R/G)_Short / (R/G)_Long …(2-1)
CR_Est_B = (B/G)_Short / (B/G)_Long …(2-2)

図１１は、前記式で求めた色フリッカ評価値の例を示す図である。
長時間露光画像と短時間露光画像の比を求めることで長時間露光にも影響を与えている色フリッカ分を短時間露光側からキャンセルすることができ、さらに、自動的に正規化される。
長時間露光画像と短時間露光画像は露光時間の異なる画像であるが、同じ位置の画素での比較であるため、同じ被写体の撮像情報のはずである。
したがって、もし、色フリッカが起きていない場合は、長時間露光画像、短時間露光画像とも、露光時間によらず、Ｂ/Ｇ，Ｒ/Ｇは同じ値となる。この時、比較するのは比の値であるため、短時間露光画像および長時間露光画像の値の大きさ（絶対値）が異なることは問題ではない。このため、色フリッカが起きていない場合、その比である評価値は１．０となるはずである。
一方、色フリッカが起きている場合、前記の通り、同じ被写体でも、照明光の残光特性の影響をうけ、その色合いが変わってくる。この場合、その比である評価値は１．０よりも大きくなったり、小さくなったりする値を取る。
このような理由により、色フリッカが起きている場合のこの評価値の時間変動は、図１１に示すような曲線を描く。

次に、前記の評価値を用いて、色フリッカのありなしの判定を行う（ＳＴ５〜ＳＴ８）。
前記の通り、理想状態では、色フリッカが起きていない場合、その値は１．０となるはずである。
しかしながら、１）ノイズ等による誤差があること、２）前記の式でキャンセルされたとはいえ長時間露光画像の色フリッカの影響が０では無いこと、３）積算値は評価値の積算値ではなくＲＧＢそれぞれの値で積算している。このため、ＲＧＢ積算値から評価値を求めた場合と差分が生じることから、ジャスト１．０となることはほとんどありえない。
このため、図１２に示すような不感帯ＮＺＮを定義し、不感帯ＮＺＮ内の値であれば、色フリッカは生じていないと判断する。
Ｒ、Ｂそれぞれの評価値（CR_Est_R，CR_Est_B）に対し、前記不感帯ＮＺＮ内かどうかの判定を行い、どちらかもしくは両方の評価値が不感帯ＮＺＮから逸脱していた場合、色フリッカありと判定する。

以上が色フリッカ判定方法についての説明となる。
前記色フリッカ判定を用い、色フリッカがありと判定された場合、前記の従来の抑制方法を適応することが可能となる。

図１３に、色フリッカ検出処理部１２５の構成例を示す
この色フリッカ検出処理部１２５は、ＲＡＷ−ＲＧＢ変換部１２５１、条件判定部１２５２、ＲＧＢ積算部１２５３、評価値算出部１２５４、および検出部１２５５を有する。
これらにより、前記の各処理が行われる。

［色フリッカ抑制方法］
前記の通り、本実施形態の色フリッカ検出を行い、色フリッカと判定された場合、一般的な抑制方法を適応することができる。
一方、本実施形態の色フリッカ検出に更に処理を加え、その検出結果の確からしさ（確度）を算出し、それを利用した抑制方法も適用可能である。
以下にその算出方法および抑制方法について説明を行う。

まず、検出結果の確からしさ（確度）の算出を行う。
図１４は、色フリッカ検出および確度算出処理のフローチャートである
図１４の処理において、ステップＳＴ２１の「色フリッカ検出」については前記の色フリッカ検出と同じであり、図６に示すフローチャート内容の処理となる。

フリッカ検出後（ＳＴ２１）、フリッカが無いと判定された場合（ＳＴ２２）、図１４に示すようにＲＧＢの積算値から長時間露光画像および短時間露光画像の両方に掛ける共通したホワイトバランスゲインを算出する（ＳＴ２３）。
このときに使用するＲＧＢそれぞれの積算値は、前記フリッカ検出時に算出した積算値でも良いし、図２〜図４に示した、積算値算出部で算出された値を用いても良い。両者の違いの１つとしては、積算範囲等の条件が異なると考えられる。
また、各ＲＧＢ値にかけるホワイトバランスゲイン値の算出方法は、式（3-1）〜式（3-3）に示すような算出方法で構わない。式（3-1）〜式（3-3）はあくまで一例であり、既存の算出方法であればなんでも良い。

［数３］
WBG_R = (Sum_G_Long + Sum_G_Short) / (Sum_R_Long + Sum_R_Short) …(3-1)
WBG_G = 1.0 …(3-2)
WBG_B = (Sum_G_Long + Sum_G_Short) / (Sum_B_Long + Sum_B_Short) …(3-3)

その後、算出されたホワイトバランスゲイン（WBG_R，WBG_G，WBG_B）を用いて、ホワイトバランス調整処理ブロックでホワイトバランスの調整が行われる（ＳＴ２４）。

一方、色フリッカが発生していると判定された場合は、以下に示す、その確度（確からしさ）の算出が行われる。
図１５は、色フリッカ検出の確度（確からしさ）の算出方法について示す図である。
図１６は、色フリッカ検出の確度（確からしさ）を示す図である。
色フリッカ検出時に算出した評価値を用い、不感帯領域からの逸脱量を確度（確からしさ）として定義する。図１５で示す矢印の量がその値となる。ここで、逸脱量はスカラ量としているため、必ず正数となる。このような方法で求めた確度（確からしさ）は、図１６のようになる。

図１７は、色フリッカ検出の確度（確からしさ）の他の算出方法について示す図である。
図１５では不感帯ＮＺＮからの逸脱量を確度（確からしさ）として定義したが、図１７に示すように理論値１．０からの距離を確度（確からしさ）と定義しても良い。図１５でTH_high = TH_Low = 0とすれば同様の結果となる。

次に、算出された確度（確からしさ）に基づいて色フリッカ抑制用のホワイトバランスゲインの算出方法について示す。
まず、ＲＧＢの積算値から長時間露光画像、短時間露光画像それぞれにかけるホワイトバランスゲイン値の算出を行う（ＳＴ２６）。
算出方法としては、以下の式（4-1）〜式（4-6）に示すような算出方法が適用可能である。こちらの場合も前記と同様、式（4-1）〜式（4-6）はあくまで一例であり、既存の算出方法も適用可能である。

［数４］
R_gain_Long = Sum_G_Long / Sum_R_Long …(4-1)
G_gain_Long = 1.0 …(4-2)
B_gain_Long = Sum_G_Long / Sum_B_Long …(4-3)
R_gain_Short = Sum_G_Short / Sum_R_Short …(4-4)
G_gain_Short = 1.0 …(4-5)
B_gain_Short = Sum_G_Short / Sum_B_Short …(4-6)

このときに使用するＲＧＢ、それぞれの積算値は、フリッカ検出時に算出した積算値でも良いし、図２〜図４に示した積算値算出部で算出された値を用いても良い。両者の違いは、積算範囲等の条件が異なることである。
前記の式を用いて算出された６つのホワイトバランスゲイン値（R_gain_Long，G_gain_Long，B_gain_Long，R_gain_Short，G_gain_Short，B_gain_Short）から、最終的に長時間露光画像，短時間露光画像のそれぞれにかけるホワイトバランスゲイン値を算出する。

図１８は、長短独立のホワイトバランス算出系を示す図である。
このホワイトバランス算出系１４０は、乗算器１４１，１４２、および加算器１４３を有する。
前ステップＳＴ２５で求めた色フリッカの確度（確からしさ）から混合比αを算出し、そのα値に基づいて、長時間露光画像用のホワイトバランスゲイン値と短時間露光画像用のホワイトバランスゲイン値のブレンドを行う。

図１９は、混合比αの算出方法について説明するための図である。
混合比αの算出方法については図１９に示すようになる。図１９の横軸は前ステップで算出された確度（確からしさ）を示し、縦軸は対応する混合比を示す。
確からしさ（確度）が下限閾値TH_minより小さい場合は混合比αが０となり、上限閾値TH_maxよりも大きい場合は１．０となる。
確度（確からしさ）がTH_minからTH_maxに間では、それぞれ、TH_minからの距離に応じて０から１．０までの値をとる。このとき、図１９で示す直線の傾きは 1.0 / (TH_max - TH_min)となる。

以上のような方法で、長時間露光画像、短時間露光画像のそれぞれに掛ける６つのホワイトバランスゲイン（WBG_R_Long，WBG_G_Long，WBG_B_Long，WBG_R_Short，WBG_G_Short，WBG_B_Short）が決定される。そして、その値を用いて、ホワイトバランス調整処理ブロックでホワイトバランスの調整が行われる。
図１８はそれぞれのホワイトバランスゲイン値をα値でブレンドして最終的なゲイン値を決定していたが、それぞれのホワイトバランスゲイン値ではなく、ＲＧＢの積算値のブレンドで最終的なゲインを決定しても良い。この場合、図２０に示すようにブレンド後の積算値に対してホワイトバランスゲインを算出する必要がある。

以上が、本実施形態の色フリッカ検出を用いた色フリッカの抑制方法についての説明である。
図２１に、色フリッカ抑制機能を有する色フリッカ検出処理部１２５Ａの構成例を示す。
この色フリッカ検出処理部１２５Ａは、条件判定部１２５２、ＲＧＢ積算部１２５３、評価値算出部１２５４、検出部１２５５、確度算出部１２５６、およびホワイトバランス算出部１２５７を有する。
これらにより、前記の各処理が行われる。

＜２．第２の実施形態＞
図２２は、本発明の第２の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
図２３は、本第２の実施形態に係る色フリッカ検出処理のフローチャートである。
図２４は、本第２の実施形態に係る色フリッカ検出処理部の構成例を示すブロック図である。

本第２の実施形態に係る撮像装置１００Ｂが第１の実施形態に係る撮像装置１００と異なる点は、次の通りである。
第１の実施形態は、後段にホワイトバランス処理があるものに対しての実施形態である（図３に対応している）。
これに対して、本第２の実施形態は、前段にホワイトバランス処理があるものに対しての実施形態である（図２に対応している）。
これに伴い、本第２の実施形態では、図２３および図２４に示すように、色フリッカ検出処理においてＲＡＷ−ＲＧＢ変換処理が不要となっている。

＜３．第３の実施形態＞
以下、本発明の第３の実施形態として、ＲＧＢ積算値に対し、静動判定を条件に加える例について説明する。
図２５は、本発明の第３の実施形態に係るＲＧＢ積算値に対し、静動判定を条件に加える場合の処理を説明するためのフローチャートである。

［ＲＧＢ積算値に対し、静動判定を条件に加える例］
第１の実施形態では、長時間露光画像および短時間露光画像の両方に有意な値が存在する画素を積算することをしており、同じ画素であれば色フリッカ以外では長時間露光画像と短時間露光画像で比の値が異なるという仮定を用いていた。理想的には評価値が１．０となる。
しかしながら、長時間露光画像と短時間露光画像の撮像されたわずかな時間差の間に、移動物体が通過した場合、前記の前提（同じ被写体である）が崩れてしまい、検出結果に影響を及ぼす。
そこで、本第３の実施形態においては、画素毎もしくはある領域（ブロック）毎に静動判定を行い、静止と言う条件を新たに追加することで、より精度のよい色フリッカ検出を行うことができる（図２５のフローチャート）。
このとき、静動判定としては既存技術にあるような、動きベクトルを求める仕組みもしくは動きベクトルを求める途中の情報を用いたり、時間的に前後のフレームとの差分値等から判定しても良い。

図２６に、本第３の実施形態に係る静動判定機能を有する色フリッカ検出処理部１２５Ｃの構成例を示す。
色フリッカ検出処理部１２５Ｃは、条件判定部１２５２、ＲＧＢ積算部１２５３、評価値算出部１２５４、検出部１２５５、静動判定部１２５８、および遅延回路（メモリ）１２５９を有する。
これらにより、前記の各処理が行われる。

＜４．第４の実施形態＞
以下、本発明の第４の実施形態として、ＲＧＢ積算値の積算ではなく、本評価値を積算する例について説明する。
図２７は、本発明の第４の実施形態に係るＲＧＢ積算値の積算ではなく、本評価値を積算する場合の処理を説明するためのフローチャートである。
図２８は、評価値の積算処理を行った場合の色フリッカ判定処理のフローチャートである。

［ＲＧＢ積算値の積算ではなく、本評価値を積算する例］
前記の実施形態ではＲＧＢの積算値を算出し、その積算値から色フリッカの評価値を求めていた。
しかしながら、前記の通り、ＲＧＢの積算値から評価値を求めた場合と、評価値を画素毎に求め、その積算値（平均値）を求めた場合に差分が生じる。
これに対応するため、後者の場合の積分方法のフローチャートと、色フリッカ検出のフローチャートを図２７および図２８に示す。
図２８のフローチャートのうちの評価値の平均を算出する処理が図２７のフローチャートの内容となる。

まず、色フリッカの評価値の積算値がリセットされ（ＳＴ３１）、画素が入力される（ＳＴ３２）。
そして、画素の位置が指定領域内で（ＳＴ３３）、画素のレベルが指定領域内であれば（ＳＴ３４）、長短それぞれにおいてＲおよびＢのＧに対する比が算出され（ＳＴ３５）、色フリッカの評価値が算出され積算される（ＳＴ３６）。
画素数がカウントされ（ＳＴ３７）、以上の処理が画像の最終画素まで行われる（ＳＴ３８）。

また、図２８のＳＴ４１に示すように、評価値の積算値をカウント値で割り、評価値の平均が算出される（ＳＴ４１）。
そして、ＢＧの評価値の不感帯の範囲内で（ＳＴ４２）、ＲＧの評価値が不感帯の範囲内であれば（ＳＴ４３）、色フリッカなしと判定される（ＳＴ４４）。
そして、ＢＧの評価値の不感帯の範囲内でなく（ＳＴ４２）、またＲＧの評価値が不感帯の範囲内でなければ（ＳＴ４３）、色フリッカありと判定される（ＳＴ４５）。

＜５．第５の実施形態＞
以下、本発明の第５の実施形態として、色フリッカ検出の領域分割処理例について説明する。
図２９は、本発明の第５の実施形態に係る色フリッカ検出の領域分割処理する場合を説明するための図であって、複数の光源が存在するシチュエーション例を示す図である。
図３０は、本発明の第５の実施形態に係る色フリッカ検出の領域分割処理を説明するための図である。

［色フリッカ検出の領域分割処理例］
前記実施形態によれば、よりロバストな色フリッカ検出が可能となり、色フリッカ発生時の効果的な抑制が可能となる。
しかしながら、前記実施形態では、長時間露光画像および短時間露光画像に対し、それぞれ１組のホワイトバランスゲイン（Ｒ，Ｇ，Ｂのゲイン値）しか掛けることができない。
これは、短時間露光画像に複数の特性の異なる光源が存在する場合、どちらか一方の光源による色フリッカのみしか対応できないことになる。
たとえば、図２９に示すようなシチュエーションの場合、短時間露光画像に有意情報が存在する光源は、室内の電灯による光源ＯＳ１と窓から見える外の光源（太陽光）ＯＳ２の二種類の光源が存在する。この場合、室内の電灯による色フリッカの抑制を行うと、窓の外の景色のホワイトバランス調整ができなくなってしまう。
そこで、本色フリッカ検出処理を図３０のように画面をいくつかの領域ＤＶＡに分割し、領域毎に同様の処理を行うことが可能である。
この場合、領域によっては短時間露光画像が存在しなかったり、その画素数が少な過ぎて正しい値がされない場合が存在する。この場合は、積算したカウント数が少ない場合は、色フリッカの抑制を行わない等の処理を行う。

＜６．第６の実施形態＞
図３１は、本発明の第６の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。

本第６の実施形態に係る撮像装置１００Ｃが第１の実施形態に係る撮像装置１００と異なる点は、次の通りである。
第１の実施形態の前記処理例は、評価値算出等をハードウェア（ＨＷ）として実装する例を示していた。
しかしながら、比を求める等では除算器が必要となり、回路が大きくなる可能性がある。
そこで、本第６の実施形態では、一部の処理をＣＰＵ１３１Ｃで行う方法を採用している。本第６の実施形態では、色フリッカ検出用積算処理部１２５Ｃで積算処理までをＨＷで行い、評価値演算および色フリッカ判定をＣＰＵ１３１Ｃで行う。

＜７．第７の実施形態＞
図３２は、本発明の第７の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。

本第７の実施形態に係る撮像装置１００Ｄが第２の実施形態に係る撮像装置１００Ｂと異なる点は、次の通りである。
第２の実施形態の前記処理例は、評価値算出等をハードウェア（ＨＷ）として実装する例を示していた。
しかしながら、比を求める等では除算器が必要となり、回路が大きくなる可能性がある。
そこで、本第７の実施形態では、一部の処理をＣＰＵ１３１Ｄで行う方法を採用している。本第６の実施形態では、色フリッカ検出用積算処理部１２５Ｄで積算処理までをＨＷで行い、評価値演算および色フリッカ判定をＣＰＵ１３１Ｄで行う。

＜８．第８の実施形態＞
以下、本発明の第８および第９の実施形態として、色フリッカ検出および抑制処理用のホワイトバランスゲイン値の遅延合わせを利用する例について説明する。
図３３は、本発明の第８の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。

本第８の実施形態に係る撮像装置１００Ｅが第１の実施形態に係る撮像装置１００と異なる点は、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ１３２，１３３を追加したことにある。

＜９．第９の実施形態＞
図３４は、本発明の第９の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。

本第９の実施形態に係る撮像装置１００Ｆが第２の実施形態に係る撮像装置１００Ｂと異なる点は、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ１３２，１３３を追加したことにある。

［色フリッカ検出および抑制処理用のホワイトバランスゲイン値の遅延合わせ］
前記実施形態の処理例では、積算処理に１フレーム全体の画素を使うため、積算処理が完了するのに、１フレームかかる。また、評価値からＣＰＵ１３１で演算を行い、ホワイトバランス調整処理ブロックへのホワイトバランスゲイン値を算出するまでにも時間がかかる。
したがって、前記処理例では、積算処理から評価値を算出したフレームと、実際にホワイトバランス調整処理を実行するフレームは異なっている。
これに対し、第８および第９の実施形態においては、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ１３２，１３３を追加している。
このように、メモリ１３２，１３３の追加により図４および図２２に対し遅延合わせを行うことが可能となる。

なお、上記各実施形態を適宜組み合わせることも可能である。

以上説明したように、本第１〜第９の実施形態によれば、以下の効果を得ることができる。
よりロバストな色フリッカ検出が可能となる。
色フリッカの確度（確からしさ）に伴い、適正なホワイトバランスの補正処理が可能となり、色フリッカの効果的な抑制が可能となる。
広ダイナミックレンジ画像に対しても、適正なホワイトバランスの補正処理が可能となり、色フリッカの効果的な抑制が可能となる。
時間方向の周期性等を見て判断しておらず、フレーム毎に判定を行うため、周期的な色フリッカでないものにも対応可能であり、適正な抑制処理が可能となる。

＜１０．第１０の実施形態＞
以下、本発明の第１０の実施形態として、色フリッカ検出機能に加えて、長時間露光画像と短時間露光画像の混合部分の偽色の発生を抑制する機能を追加したことにある。
図３５は、本発明の第１０の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
これには、合成処理部１２６Ｇ、ＲＡＷ−ＲＧＢ処理部１２７Ｇ、積算値算出処理部１２８Ｇ、ホワイトバランス調整処理部１２９Ｇ、およびＣＰＵ１３１Ｇの処理がかかわる。
以下の偽色発生を抑制する機能部分について説明する。

合成処理部１２６Ｇは、長時間露光画像および短時間露光画像を画素毎に合成する処理を行う。本合成方法の詳細については後述する。
この合成処理部１２６Ｇの出力としては、１枚の合成画像と画素毎に長時間露光画像もしくは短時間露光画像のどちらの画素を選択したかといったフラグ情報（以後、長短選択フラグと表記する）ＦＬＧＬＳ、または／および合成の混合比αとなる。

変換処理部１２７Ｇは、合成画像に対してＲＡＷ−ＲＧＢ変換処理を行う。
ＲＡＷ−ＲＧＢ変換処理とは、センサ出力であるＲＡＷデータから各画素にＲＧＢ３つのデータが存在するように変換する処理のことを指し、デモザイク処理と呼ばれてもいる。
なお、ＲＡＷデータは、ＲＧＢもしくは補色の市松（ベイヤ）配列の値、各画素に対し、１つのカラーフィルタを通過して光電変換した値を含む。
変換処理部１２７Ｇは、ＲＡＷ−ＲＧＢ変換処理後の合成画像（ＲＧＢ）を算値算出処理部１２８Ｇおよびホワイトバランス調整処理部１２９Ｇに出力する。
先にホワイトバランス調整処理部１２９Ｇおよび後段処理部１３０の構成および機能について示す。

ホワイトバランス調整処理部１２９Ｇは、ＣＰＵ１３１Ｇから入力される長時間露光画像もしくは短時間露光画像の画素に対するＲＧＢそれぞれのゲイン値を合成処理部から送られてきた長短選択フラグＦＬＧＬＳ、混合比αに基づいて、それぞれ該当するゲインを掛ける。
以後、ＣＰＵ１３１Ｇから入力される長時間露光画像もしくは短時間露光画像の画素に対するＲＧＢそれぞれのゲイン値を、WBG_R_Long，WBG_G_Long，WBG_B_Long，WBG_R_Short，WBG_G_Short，WBG_B_Short 表記する。
また、長短選択フラグＦＬＧＬＳは長時間露光画像Longもしくは短時間露光画像Shortのどちらを選択したかを示すフラグである。
また、後段処理部１３０は、上述したように、ホワイトバランス調整処理部１２９Ｇの出力画像に対して、ノイズ除去やエッジ強調、諧調変換やガンマ処理等を行う。

一方、ＲＡＷ−ＲＧＢ変換処理後の合成画像（ＲＧＢ）は積算値算出処理部１２８Ｇへも送られる。
積算値算出処理部１２８Ｇは、入力されるＲＧＢ画像と長短選択フラグＦＬＧＬＳに基づき、任意の条件に該当する画素に対し、その値を積算する処理を行い、最終的に、画面全体の画素を処理した後のＲＧＢそれぞれの積算結果）をＣＰＵ１３１Ｇに出力する。
ここで言う「任意の条件」とは、画像の位置座標（領域指定）や、画素値のあるレベルからあるレベルといった範囲指定となる。また、長短選択フラグＦＬＧＬＳを利用した長時間露光画像であるもしくは短時間露光画像であるといった条件でも良い。
以後、積算値算出処理部１２８Ｇの積算結果をSum_R_Long，Sum_G_Long，Sum_B_Long，Sum_R_Short，Sum_G_Short，Sum_B_Shortで表記する。

ＣＰＵ１３１Ｇで、送られてきたＲＧＢの積算値から長時間露光画像、短時間露光画像それぞれにかけるホワイトバランスゲイン値（WBG_R_Long，WBG_G_Long，WBG_B_Long，WBG_R_Short，WBG_G_Short，WBG_B_Short）の算出を行う。
算出方法としては、以下の式（5-1）〜式（5-6）に示す様な算出方法が採用可能である。ただし、式（5-1）〜（5-6）はあくまで一例であり、先行技術に既存の算出方法であれば特に限定はしない。

［数５］
WBG_R_Long = Sum_G_Long / Sum_R_Long …(5-1)
WBG_G_Long = 1.0 …(5-2)
WBG_B_Long = Sum_G_Long / Sum_B_Long …(5-3)
WBG_R_Short = Sum_G_Short / Sum_R_Short …(5-4)
WBG_G_Short = 1.0 …(5-5)
WBG_B_Short = Sum_G_Short / Sum_B_Short …(5-6)

［合成処理の詳細な説明］
以下に、混合領域の偽色を抑制するための合成方法の詳細を説明する。
図３６は、本実施形態に係る混合領域の偽色を抑制するための合成方法を採用した合成処理部１２６Ｇの構成例を示す図である。以下、順に説明を行う。

合成処理部１２６Ｇは、ＲＡＷ−ＹＣ変換処理部１２６１，１２６２、セレクタ１２６３、ブレンド比算出部１２６４、乗算器１２６５，１２６６、減算器１２６７、加算器１２６８、およびＹＣ−ＲＡＷ変換処理部１２６９を有する。

ＲＡＷ‐ＹＣ変換処理部１２６１は、入力された長時間露光画像のＲＡＷデータ（RAW_Long）に対し、それぞれＲＡＷ−ＹＣ変換処理を行う。
ＲＡＷ‐ＹＣ変換処理部１２６２は、入力された短時間露光画像のＲＡＷデータ（RAW_Short）に対し、それぞれＲＡＷ−ＹＣ変換処理を行う。
ここで、ＲＡＷ−ＹＣ変換処理とは、ＲＡＷデータから輝度（Ｙ）成分、色（Ｃ）成分への変換を行う処理のことを指す。

この処理の変換式は、ＲＡＷデータの素性や輝度（Ｙ）成分、色（Ｃ）成分としてどのような評価量を用いるかによって変わってくる。ここで、
ＲＡＷデータの素性とは、撮像素子がどの様な色フィルタ（RGB（Red, Green, Blue）、CMYG(Cyan, Magenta, Yellow, Green)等）を用いて撮像情報を取得したである。また、評価量としてYCrCb、YUV、YPrPbといった既存の色空間のことを指す。

以下の式（6-1）〜式（6-3）は撮像素子の色フィルタが原色系（ＲＧＢ）の場合のＹＣｒＣｂへの変換式の一例を示したものである。
原色系（ＲＧＢ）と補色系（ＣＭＹＧ）との間には、式（7-1）〜式（7-3）で表される関係式があるため、前記式（6-1）〜式（6-3）に代入することにより、補色系（ＣＭＹＧ）からＹＣｒＣｂへ変換も可能である。

［数６］
Y = 0.257 x R + 0.504 x G +0.098 x B …(6-1)
Cr = -0.148 x R - 0.291 x G + 0.439 x B …(6-2)
Cb = 0.439 x R -0.368 x G - 0.071 x B …(6-3)

［数７］
C = 1.0 - R …(7-1)
M = 1.0 - G …(7-2)
Y = 1.0 - B …(7-3)

前記変換式は一例であり、その他の変換式や式を簡略化したもの、もしくはその他の評価量を用いても良い。また、上記の変換処理時に、どの画素情報（周辺の画素情報）を用いるかについても特に制限は無い。

ＲＡＷ−ＹＣ変換処理部１２６１，１２６２で変換されて得られた輝度（Ｙ）成分および色（Ｃ）成分に対し、輝度（Ｙ）成分に関しては、ブレンド比算出部１２６４、乗算器１２６５，１２６６、減算器１２６７による混合比ｍαを用いた混合処理を行う。
この際、ブレンド比（混合比）算出部１２６４において、長時間露光画像および短時間露光画像の輝度（Ｙ）成分を用いて混合比ｍαを算出する。混合比の算出方法としては既存手法でも良い。

色（Ｃ）成分に関しては、混合処理を行わず、長時間露光画像もしくは短時間露光画像の色（Ｃ）成分を、Ｃ成分選択信号ＣＳＥＬに応じてセレクタ１２６３で選択し使用する。
どちらの画像の色（Ｃ）成分を利用するかについては、どちらでも問題は無いが、広ダイナミックレンジ画像を生成するシステムの場合、短時間露光画像は取得される信号レベルが小さいため、ノイズが多い可能性がある。
したがって、長時間露光画像の色（Ｃ）成分を使用する方が多くの場合で良い可能性がある。

最後に、混合された輝度（Ｙ）成分および選択された色（Ｃ）成分を用いてＲＡＷデータに変換する処理を行う。変換方法については、前記の式の逆変換を用いれば良い。
また、合成処理部１２６Ｇの出力は前記の通り、合成処理が行われた合成画像および画素毎に長時間露光画像の画素もしくは短時間露光画像の画素のどちらが選択されたかを示す長短選択フラグＦＬＧＬＳである。
ここで、本第１０の実施形態において、混在領域の長短選択フラグの値は、色（Ｃ）成分としてどちらを選択したかの値である。したがって、長短選択フラグＦＬＧＬＳの決定方法についてのフローチャートは図３６の通りとなる。

図３７は、本実施形態に係る長短選択フラグの決定処理を説明するためのフローチャートである。

この処理では、画素が入力されると（ＳＴ５１）、混合比ｍαが算出される（ＳＴ５２）。
混合比ｍαの値が０．０の場合（ＳＴ５３）、短時間露光画像のＩＤ（識別子）を出力する（ＳＴ５４）。
混合比ｍαの値が０．０＜ｍα＜１．０の場合、色（Ｃ）成分で選択した画像のＩＤ（識別子）を出力する（ＳＴ５５）。
混合比ｍαの値が１．０の場合、長時間露光画像のＩＤ（識別子）を出力する（ＳＴ５６）。
以上の処理が画像の最終画素まで行われる（ＳＴ５７）。

以上が第１０の実施形態の合成処理部についての説明になる。
図３８（Ａ）および（Ｂ）は、本本第１０の実施形態を適用した場合の混在領域に偽色を抑制できる理由を説明するための概念図である。
図３８（Ａ）が、本実施形態で実現する混合処理方法の概念図を示している。
本実施形態では、色（Ｃ）成分を混合せずにどちらかの露光画像の色（Ｃ）成分をそのまま利用したため、後段のホワイトバランス調整処理部１２８においても、利用した色（Ｃ）成分に対応するホワイトバランスゲイン値を掛ければ良いことになる。
これにより、図３８（Ｂ）に示すように、混在領域において適切なホワイトバランスゲイン値を掛けることが可能になり、混在領域ＰＸＭＸの偽色の抑制が可能となる。

以下、長時間露光画像と短時間露光画像の混合部分の偽色の発生を抑制する処理を中心とした実施形態を第１１〜第１５の実施形態として説明する。

＜１１．第１１の実施形態＞
図３９は、本発明の第１１の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。

本第１１の実施形態に係る撮像装置１００Ｈが第１０の実施形態に係る撮像装置１００Ｇと異なる点は、合成処理部１２６Ｈおよびホワイトバランス調整処理部１２９Ｈと両ブロック間で伝送する新たな信号（混合比）である。それぞれのブロックの詳細については、後述する。
合成処理部１２６Ｈの出力として、合成画像信号および長短選択フラグＦＬＧＬＳの他に、本第１１の実施形態は合成処理時の混合比ｍα（ＢＬＤ）が画素毎に出力され、合成処理部１２６Ｈからホワイトバランス調整処理部１２９Ｈに送られる。
その他の部分については、第１０の実施形態と同じため、説明を割愛する。

［合成処理の詳細な説明］
以下に、第１１の実施形態の混合領域の偽色を抑制するための合成方法の詳細を説明する。
図４０は、本第１１の実施形態に係る混合領域の偽色を抑制するための合成方法を採用した合成処理部の構成例を示す図である。以下、順に説明を行う。

図４０の合成処理部１２６Ｈは、混合比算出部１２６４Ｈ、乗算器１２６５Ｈ，１２６６Ｈ、減算器１２６７Ｈ、および加算器１２６８Ｈを有する。

合成処理部１２６Ｈにおいて、まず、入力された長時間露光画像および短時間露光画像のＲＡＷデータ（RAW_Long，RAW_Short）に対し、混合処理を行う。
この際、混合比算出部１２６４Ｈにおいて、長時間露光画像および短時間露光画像のＲＡＷデータ（RAW_Long，RAW_Short）を用いて混合比ｍαを算出する。混合比の算出方法としては、画素のレベルによって混合処理を行う手法でも良いし、変形例で後述する方法を用いても良い。
算出された混合比ｍαに基づいて、ＲＡＷデータの混合が乗算器１２６５Ｈ，１２６６Ｈで行われる一方、混合比ｍα自体も合成処理部１２６Ｈから出力され、後段のホワイトバランス調整処理部１２９Ｈに送られる。
また、合成処理部１２６Ｈの出力の１つである長短選択フラグＦＬＧＬＳの値の決定方法は、前記の第１０の実施形態において説明した図３７のフローチャートの通りとなる。
以上が本第１１の実施形態に係る合成処理部１２６Ｈについての説明になる。

［ホワイトバランス調整処理の詳細な説明］
以下に、本第１１の実施形態に係るホワイトバランス調整処理部１２９Ｈにおいて混合領域の偽色を抑制するためのホワイトバランス調整方法の詳細を説明する。
図４１は、本第１１の実施形態に係る混合領域の偽色を抑制するための合成方法を採用したホワイトバランス調整処理部の構成例を示す図である。

図４１のホワイトバランス調整処理部１２９Ｈは、乗算器１２９１〜１２９３、減算器１２９４、および加算器１２９５を有する。

先行技術では、図４に示すように長短選択フラグを用いてホワイトバランス調整処理を行っていた。
これに対して、本第１１の実施形態のホワイトバランス調整処理部１２９Ｈでは、長短選択フラグは用いず、合成処理部１２６Ｈから送られて来る画素毎の合成処理時の混合比を利用して処理を行う。以下、順に説明を行う。

入力信号として、ＲＡＷ−ＲＧＢ変換後のＲＧＢ画像および合成時の混合比ｍαが入力される。さらに入力信号として、ＲＧＢの積分値を元にＣＰＵ１３１で算出された長時間露光画像および短時間露光画像用のホワイトバランスゲイン値（WBG_R_Long，WBG_G_Long，WBG_B_Long，WBG_R_Short，WBG_G_Short，WBG_B_Short）が入力される。
合成時の混合比ｍαに基づいて、長時間露光画像および短時間露光画像用の上記ホワイトバランスゲイン値から図４１の回路を用いて、最終的なホワイトバランスゲイン値（WBG_R，WBG_G，WBG_B）を画素毎に算出される。
算出されたホワイトバランスゲイン値を用いて、ＲＧＢ画像に対し、ホワイトバランス調整処理が行われる。

以上が本提案のホワイトバランス調整処理部１２９Ｈについての説明である。
従来のホワイトバランス調整処理部の場合、１画面の画素に掛けられるホワイトバランスゲイン値は２通り（WBG_R_Long，WBG_G_Long，WBG_B_Long、もしくはWBG_R_Short，WBG_G_Short，WBG_B_Short）である。
これに対し、本第１１の実施形態に係るホワイトバランス調整処理部１２９Ｈを用いることで、画素毎に異なるホワイトバランスゲイン値を掛けることが可能であり、結果的に、１画面で数多くのホワイトバランスゲイン値の組み合わせが存在することになる。

以上が第１１の実施形態の合成処理部１２６Ｈおよびホワイトバランス調整処理部１２９Ｈついての説明になる。
図４２（Ａ）および（Ｂ）は、本第１１の実施形態に係る合成処理部１２６Ｈおよびホワイトバランス調整処理部１２９Ｈを適用した場合の混在領域に偽色を抑制できる理由を説明するための概念図である。
図４２（Ａ）が、本第１１の実施形態を用いた場合の合成処理の概念図を示している。
本第１１の実施形態では、先行技術と同様に長時間露光画像および短時間露光画像のＲＡＷデータに対し混合処理を行っている。
混合された混在領域の画素に対し、本第１１の実施形態のホワイトバランス調整処理部１２９Ｈで画素毎に求めたホワイトバランスゲイン値を掛けることにより、画素毎に、合成された混合比に基づいたホワイトバランス調整を行うことが可能となる。
その結果、従来手法で課題となっていた混在領域の偽色を、図４２（Ｂ）に示すように、大幅に抑制することが可能となる。

＜１２．第１２の実施形態＞
以下、本発明の第１２の実施形態として、合成処理のｍα値算出時に静動判定を利用する例について説明する。
図４３は、本発明の第１２の実施形態に係る混合比の算出処理を説明するためのフローチャートである。

［合成処理のｍα値算出時に静動判定を利用する例］
第１０の実施形態および第１１の実施形態では、混合比ｍαを算出する方法として、図７示す方法で算出すると説明した。
しかしながら、長時間露光画像と短時間露光画像の間で、撮像に時間差が生じるため、そのわずかな時間差の間に、移動物体が通過した場合、長時間露光画像もしくは短時間露光画像のどちらかのみしか移動物体が存在しない場合も出てくる。
このような場合、前記の画素のレベルによって混合処理を行うと、結果的に全く異なる被写体の画素情報を混合してしまうことになってしまう。これにより生成された合成画像が、破綻していることは容易に想像できる。
そこで、本第１２の実施形態においては、図４３のフローチャートに示すように画素毎もしくはある領域（ブロック）毎に静動判定を行う（ＳＴ６２）。
その画素もしくはその領域が静止と判断された時、前記ｍα値の算出を行う（ＳＴ６３）。
動きと判断された場合は、混合を行わず、画素値もしくは輝度値と閾値ＬＶ ＴＨとの比較を行って（ＳＴ６４）、長時間露光画像もしくは短時間露光画像のどちらかを選択することを行う（ＳＴ６５、ＳＴ６６）。
このフローチャートに基づく処理は、前記第１０の実施形態および第１１の実施形態のどちらの場合にも利用可能である。

図４４に、図３６の変形例として本第１２の実施形態に係る静動判定機能を有する合成処理部１２６Ｉの構成例を示す。
図４４の合成処理部１２６Ｉは、ＲＡＷ−ＹＣ変換処理部１２６１Ｉ，１２６２Ｉ、ブレンド比算出部１２６４Ｉ、乗算器１２６５Ｉ，１２６６Ｉ、減算器１２６７Ｉ、加算器１２６８Ｉ、ＹＣ−ＲＡＷ変換処理部１２６９、および静動判定部１２７０を有する。
これらにより、前記の各処理が行われる。

図４５に、図４０の変形例として本第１２の実施形態に係る静動判定機能を有する合成処理部１２６Ｊの構成例を示す。
図４５の合成処理部１２６Ｊは、混合比（ブレンド比）算出部１２６４Ｊ、乗算器１２６５Ｊ，１２６６Ｊ、減算器１２６７Ｊ、加算器１２６８Ｊ、および静動判定部１２７０Ｊ有する。
これらにより、前記の各処理が行われる。

＜１３．第１３の実施形態＞
以下、本発明の第１３および第１４の実施形態として、混合比ｍαおよび抑制処理用のホワイトバランスゲイン値の遅延合わせを利用する例について説明する。
図４６は、本発明の第１３の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。

本第１３の実施形態に係る撮像装置１００Ｋが第１０の実施形態に係る撮像装置１００と異なる点は、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ１３２を追加したことにある。

＜１４．第１４の実施形態＞
本発明の第１４の実施形態として、混合比ｍαおよび抑制処理用のホワイトバランスゲイン値の遅延合わせを利用する例について説明する。
図４７は、本発明の第１４の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。

本第１４の実施形態に係る撮像装置１００Ｌが第１１の実施形態に係る撮像装置１００Ｈと異なる点は、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ１３２を追加したことにある。

［混合比ｍαおよび抑制処理用のホワイトバランスゲイン値の遅延合わせ］
第１０の実施形態および第１１の実施形態では、長時間露光画像および短時間露光画像それぞれのホワイトバランスゲイン値の算出は一般的な手法と同じであるため、図３５および図３９の積算値算出処理部１２８での積算処理に１フレーム全体の画素を使用する。
そのため、積算処理が完了するのに、少なくとも１フレーム以上の時間がかかってしまう。
また、評価値からＣＰＵ１３１で演算を行い、ホワイトバランス調整処理部１２９Ｇ，１２９Ｈへのホワイトバランスゲイン値を算出するまでにも時間がかかるのも同じである。したがって、第１０および第１１の実施形態では、積算処理から評価値を算出したフレームと、実際にホワイトバランス調整処理を実行するフレームは異なっている。
第１０の実施形態および第１１の実施形態に係る回路および処理方法を用いることで、一般的手法と比べて、画素毎に最適なホワイトバランス調整が可能になったのに対し、この適用フレームのずれによって、偽色の抑制性能が落ちる可能性もある。
これに対し、第１３および第１４の実施形態においては、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ１３２を追加している。
このように、メモリ１３２の追加により図３５および図３９に対し遅延合わせを行うことが可能となる。

＜１５．第１５の実施形態＞
本発明の第１５の実施形態として、長短選択フラグを省略する例について説明する。
図４８は、本発明の第１５の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。

本第１５の実施形態に係る撮像装置１００Ｍが第１１の実施形態に係る撮像装置１００Ｈと異なる点は、長短選択フラグを省略したことにある。

［長短選択フラグを省略する例］
前記の長短選択フラグは、合成処理において、長時間露光画像もしくは短時間露光画像のどちらの画素を選択したかを示す信号である。
これに対し、第１１の実施形態で提案した混合比ｍαは、その混合比ｍαの値で、長時間露光画像の画素のみ、短時間露光画像の画素のみを表現することが可能である。
具体的にはｍα＝１．０のとき、長時間露光画像の画素が選択され、ｍα＝０．０の時、短時間露光画像の画素が選択されたことを意味する。
以上のことから、第１１の実施形態の場合はｍα値で代用できるため、長短選択フラグは不要となる。
上記の点から、本第１５の実施形態の図４８においては、第１１の実施形態の図３９の構成から、長短選択フラグを省略した例を示している。

［第１０の実施形態および第１１の実施形態の利点］
第１０の実施形態および第１１の実施形態について、それぞれの利点について述べる。

［第１０の実施形態の利点］
本実施形態の処理がほぼ合成処理部１２６内で完結するため、後段への信号の遅延回路等が存在しない。このため、ハードウェア（ＨＷ）規模が小さくて済む。
短時間露光の画像信号と比較して、ノイズ量の少ない長蓄信号の色（Ｃ）成分を利用することが可能である（色（Ｃ）成分に長時間露光画像を選択した場合）。

［第１１の実施形態の利点］
画素毎に異なるホワイトバランスゲイン値を掛けることが可能なため、第１１の実施形態と比較して、より最適な偽色抑制が掛けられる。
ＲＡＷデータで混合しているため、色（Ｃ）成分に関して、空間的に長時間露光画像と短時間露光画像の切り替え点が無い（滑らかに切り替わる）ため、偽色に対し、十分な抑制ができなかった場合でも、その偽色はユーザーに対し認識しにくい。

本第１０〜第１５の実施形態によれば、以下の効果を得ることができる。
異なる露光時間で撮像した複数枚の画像を用いた広ダイナミックレンジ画像生成において、画像毎に光源が異なったり、色フリッカ（カラーローリング）が起こったりしている際に問題となる異なる画像の混在領域の偽色に対し、効果的な抑制が可能となる。
従来のホワイトバランス調整処理と比べて、より多様なホワイトバランス調整処理をかけることが可能となり、これにより、より最適なホワイトバランス調整処理が可能となる。

上記撮像装置は、たとえば携帯電話、ビデオカメラ、デジタルスチルカメラなどの各種撮像機能を持つ装置に適用可能である。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

１００，１００Ｂ〜１００Ｇ、１１０・・・固体撮像素子、１２０，１２０Ｂ〜１２０Ｇ・・・画像処理装置、１２１，１２２・・・前段処理部、１２３，１２４・・・アンプ、１２５・・・・色フリッカ検出処理部、１２６・・・合成処理部、１２７・・・ＲＡＷ−ＲＧＢ変換処理部、１２８・・・積算値算出処理部、１２８，１２８Ｇ・・・ホワイトバランス調整処理部、１３０・・・後段処理部、１３１・・・ＣＰＵ、１３２，１３３・・・メモリ。

Claims (20)

1. 露光時間の異なる複数の撮像画像から色フリッカの発生を検出する色フリッカ検出部を有し、
   上記色フリッカ検出部は、
   上記複数の撮像画像のそれぞれにおける複数の色信号うち、一の色信号に対する他の色信号の比を取得し、取得した比から色フリッカの評価値を求め、当該評価値の大きさにより色フリッカが発生しているか否かを判定する
   画像処理装置。
2. 上記色フリッカ検出部は、
   上記評価値があらかじめ設定した不感帯にあれば色フリッカは発生していないと判断し、不感帯外であれば色フリッカが発生していると判断する
   請求項１記載の画像処理装置。
3. 上記色フリッカ検出部は、
   上記複数の画像間の比により上記評価値を取得する
   請求項１または２記載の画像処理装置。
4. 上記色フリッカ検出部は、
   各色信号それぞれの積算値を取得し、当該積算値を用いて上記一の色信号に対する他の色信号の比を取得し、
   上記積算値の取得は、上記複数の画像が存在する領域において行う
   請求項１から３のいずれか一に記載の画像処理装置。
5. 上記色フリッカ検出部は、
   上記積算値の取得を、上記複数の画像が存在する領域にノイズマージンを加味した範囲において行う
   請求項４記載の画像処理装置。
6. 上記色フリッカ検出部は、
   色フリッカの検出結果から当該色フリッカの発生確度を算出する
   請求項１から５のいずれか一に記載の画像処理装置。
7. 上記複数の画像または当該複数の画像が合成された合成画像に対してゲイン値を掛け合わせてホワイトバランス調整処理を行うホワイトバランス調整処理部を有し、
   上記ゲイン値は、
   上記色フリッカの発生確度から求めた混合比の値に基づいて上記複数の画像それぞれのゲイン値を混合したゲイン値を含む
   請求項６記載の画像処理装置。
8. 上記色フリッカ検出部は、
   動き判定を行う動き判定部を含み、動き判定の結果を用いて色フリッカの検出を行う
   請求項１から７のいずれか一に記載の画像処理装置。
9. 上記色フリッカ検出部は、
   入力画像を複数の小領域に分け、当該小領域毎に色フリッカの検出を行う
   請求項１から８のいずれか一に記載の画像処理装置。
10. 露光時間の異なる複数の撮像画像を撮像する撮像素子と、
    露光時間の異なる複数の撮像画像から色フリッカの発生を検出する色フリッカ検出部と、を有し、
    上記色フリッカ検出部は、
    上記複数の撮像画像のそれぞれにおける複数の色信号うち、一の色信号に対する他の色信号の比を取得し、取得した比から色フリッカの評価値を求め、当該評価値の大きさにより色フリッカが発生しているか否かを判定する
    撮像装置。
11. 上記色フリッカ検出部は、
    上記評価値があらかじめ設定した不感帯にあれば色フリッカは発生していないと判断し、不感帯外であれば色フリッカが発生していると判断する
    請求項１０記載の撮像装置。
12. 上記色フリッカ検出部は、
    上記複数の画像間の比により上記評価値を取得する
    請求項１０または１１記載の撮像装置。
13. 上記色フリッカ検出部は、
    各色信号それぞれの積算値を取得し、当該積算値を用いて上記一の色信号に対する他の色信号の比を取得し、
    上記積算値の取得は、上記複数の画像が存在する領域において行う
    請求項１０から１２のいずれか一に記載の撮像装置。
14. 上記色フリッカ検出部は、
    上記積算値の取得を、上記複数の画像が存在する領域にノイズマージンを加味した範囲において行う
    請求項１３記載の撮像装置。
15. 上記色フリッカ検出部は、
    色フリッカの検出結果から当該色フリッカの発生確度を算出する
    請求項１０から１４のいずれか一に記載の撮像装置。
16. 上記複数の画像または当該複数の画像が合成された合成画像に対してゲイン値を掛け合わせてホワイトバランス調整処理を行うホワイトバランス調整処理部を有し、
    上記ゲイン値は、
    上記色フリッカの発生確度から求めた混合比の値に基づいて上記複数の画像それぞれのゲイン値を混合したゲイン値を含む
    請求項１５記載の撮像装置。
17. 上記色フリッカ検出部は、
    動き判定を行う動き判定部を含み、動き判定の結果を用いて色フリッカの検出を行う
    請求項１０から１６のいずれか一に記載の撮像装置。
18. 上記色フリッカ検出部は、
    入力画像を複数の小領域に分け、当該小領域毎に色フリッカの検出を行う
    請求項１０から１７のいずれか一に記載の撮像装置。
19. 露光時間の異なる複数の撮像画像から色フリッカの発生を検出する色フリッカ検出ステップを有し、
    上記色フリッカ検出ステップは、
    上記複数の撮像画像のそれぞれにおける複数の色信号うち、一の色信号に対する他の色信号の比を取得するステップと、
    取得した比から色フリッカの評価値を求めるステップと、
    当該評価値の大きさにより色フリッカが発生しているか否かを判定するステップと
    を含む画像処理方法。
20. 露光時間の異なる複数の撮像画像から色フリッカの発生を検出する色フリッカ検出処理を有し、
    上記色フリッカ検出処理で、
    上記複数の撮像画像のそれぞれにおける複数の色信号うち、一の色信号に対する他の色信号の比を取得する処理と、
    取得した比から色フリッカの評価値を求める処理と、
    当該評価値の大きさにより色フリッカが発生しているか否かを判定する処理と
    を含む画像処理をコンピュータに実行させるプログラム。

Images