JP4877561B2

JP4877561B2 - デジタル撮像システム用の自動カラーバランス方法および装置

Info

Publication number: JP4877561B2
Application number: JP2008545730A
Authority: JP
Inventors: シー．フー，シェーン
Original assignee: マイクロンテクノロジー，インク．
Priority date: 2005-12-14
Filing date: 2006-12-13
Publication date: 2012-02-15
Anticipated expiration: 2026-12-13
Also published as: US7848569B2; KR20080078064A; TWI338513B; EP1969859A2; US20070133868A1; CN101361374B; US20110037873A1; WO2007070502A8; WO2007070502A3; TW200803537A; EP1969859B1; US8401288B2; JP2009520405A; US8180150B2; CN101361374A; WO2007070502A2; KR100993047B1; US20070133870A1

Description

本発明は、撮像デバイスに関し、より詳細には、撮像システム用の自動カラーバランス技術に関する。

電荷結合素子（ＣＣＤ）、ＣＭＯＳ撮像素子などを含む固体撮像素子が、光撮像の用途で用いられてきた。固体撮像素子回路は画素セルの焦点面配列を備え、各セルのそれぞれはフォトセンサを備えるが、このフォトセンサは、光ゲート、光導電体、または、光によって誘起された電荷を蓄積するためのドープト領域を備えたフォトダイオードでもよい。各画素セルは、基板の上または中に形成された電荷蓄積領域を有しており、これは読み出し回路の一部である出力トランジスタのゲートに接続されている。この電荷蓄積領域は、フローティング拡散領域として構成されていてもよい。撮像素子回路のなかには、各画素セルが、電荷をフォトセンサから蓄積領域へ転送するトランジスタなどの少なくとも１つの電子デバイスと、電荷の転送に先立って蓄積領域を所定の電荷レベルにリセットするデバイス、典型的にはトランジスタを含むものもありうる。

ＣＭＯＳ撮像素子においては、画素セルのアクティブ素子が、（１）光を電荷に変換する機能、（２）画像電荷を蓄積する機能、（３）蓄積領域を既知の状態にリセットする機能、（４）電荷を蓄積領域に転送する機能、（５）読み出しのための画素を選択する機能、（６）画素電荷を表す信号を出力および増幅する機能、を実行する。光蓄積領域での電荷は、典型的には、ソースフォロワ出力トランジスタにより画素出力電圧に変換される。

上述したタイプのＣＭＯＳ撮像素子は、例えば、マイクロンテクノロジー社に譲渡された米国特許第６１４０６３０号明細書、米国特許第６３７６８６８号明細書、米国特許第６３１０３６６号明細書、米国特許第６３２６６５２号明細書、米国特許第６２０４５２４号明細書、および米国特許第６３３３２０５号明細書において議論されているように、広く知られている。これらの文献は、その参照をもって、その全体が本明細書に含まれる。

色彩恒常は、人間の視覚システムの特徴の１つである。人間の視覚システムには、さまざまな照明条件下でカラー物体を識別する非常に優れた能力がある。物体の色は、太陽光、月光、白熱灯、蛍光灯、および、ろうそくの明かりなどの、大いに異なる自然および人工の光源下で、実質的に同じに見える。しかしながら、照明の分光分布の変化により、知覚される光景の明度および色の見え方が変化する。人間の視覚システムが、光源の影響を完全に除去することはない。

考えられる解釈は、人間の視覚システムは絶対的な測色デバイスとしては機能しない、とうことである。知覚されるイメージは、光源および物体の反射率による干渉を含んでいる。したがって、撮像デバイスから取り込まれたイメージが自然に見えるためには、人間の視覚システムが機能するのと同様に、光源による影響が保持されなければならない。例えば、再現される日没の光景は日没の光景のように見えなければならない。この仮説は、グレーがグレーとして印刷されるような正確なカラーバランスの代わりに、写真全体を積算するとグレーになるような調節がなされた場合に、より満足のいく効果がカラープリントの際にしばしば得られる、というＲ．Ｗ．Ｇ．Ｈｕｎｔの観察によって支持される。Ｒ．Ｗ．Ｇ．Ｈｕｎｔの、「ＴｈｅＲｅｐｒｏｄｕｃｔｉｏｎｏｆＣｏｌｏｕｒ」１６．７項を参照されたい。グレーワールド理論(Ｔｈｅｇｒａｙｗｏｒｌｄｔｈｅｏｒｙ）においては、写真の中のすべての色を積算するとグレーになる、すなわち、平均するとグレーになる、と仮定されている。それに応じて、取り込まれたイメージをより正確にカラーバランスする撮像デバイスの必要性および要望がある。

本発明は、それによって異なった照明下でのイメージのカラーバランスをより綿密に保持できる、カラーバランス方法および装置を提供する。本発明の例示的な実施形態によると、撮像素子カラースーペース、例えば、レッド−グリーン−ブルー（ＲＧＢ）カラースペース、を有する入力イメージからグレーワールド統計(ｇｒａｙｗｏｒｌｄｓｔａｔｉｓｔｉｃｓ）のために画素をサンプリングする。飽和領域による影響を避けるために、画素は刈り込み（ｐｒｕｎｅｄ）される。所定の比率の画素がグレーワールド統計に包括されたら、利得が、ニュートラルホワイトポイントに関連したそれぞれのＲＧＢチャネルに対して演算される。チャネル利得は、ＲＧＢイメージに適用される。このプロセスは、表示に適した、変換／カラーバランスされたイメージを生成する。

本発明は、アナログまたはデジタルのイメージデータ上で動作するように実装されてもよく、ハードウェアまたはソフトフェア中、あるいはその組み合わせの中で実行されてもよい。

本発明の、上記および他の、効果および特徴が、付随する図面に関連して後述される例示的な実施形態の詳細な説明からより明らかになるであろう。

以下の説明において、例示的な撮像素子カラースペースはＲＧＢカラースペースとして説明されるが、例えば、減法混色ＣＭＹＫ（シアン、マゼンタ、イエロー、ブラック）カラースペースを含む、他のカラーイメージングプロトコルを本発明中で使用してもよい。

本発明の一般的なプロセスの流れが図面に関連して説明される。図１を参照すると、ＲＧＢカラースペースからの画像センサデータが、ベイヤ（Ｂａｙｅｒ）モザイクフィルタパターンなどのタイル（ｔｉｌｅｄ）カラーフィルタ配列を用いて画像センサ２から得られる。タイル（ｔｉｌｅｄ）ベイヤＲＧＢ(Ｂａｙｅｒ−ＲＧＢ)信号を補間するデモザイク（ｄｅ−ｍｏｓａｉｃ）プロセス３は、Ｒｉ、Ｇｉ、およびＢｉ信号を生成するのに適用される。Ｒｉ、Ｇｉ、およびＢｉ信号を、図３および図４を参照してより詳細に説明されるように、イメージの色度統計を集め、チャネル利得を計算することにより、カラーバランスすることによって、Ｒｂ、Ｇｂ、およびＢｂ信号を生成する。Ｒｂ、Ｇｂ、およびＢｂ信号には、次に、従来のカラー補正法を応用することによってカラー補正プロセス５が施されて、Ｒｔ、Ｇｔ、およびＢｔ信号が生成される。ディスプレイマッピング６を、カラー補正されたＲｔ、Ｇｔ、およびＢｔ信号に適用して、出力プロセス７でのＲＧＢイメージを表示か何らかの出力をするのに適したＲ´、Ｇ´、Ｂ´信号を生成する。任意の知られているモザイク、デモザイク（ｄｅ−ｍｏｓａｉｃ）、カラー補正、ディスプレイマッピング、およびディスプレイの技術を、プロセスブロック２、３、５、６、７においてそれぞれ使用できることが理解されよう。

図１、ブロック４の、カラーバランスプロセスが、図２を参照して、より詳細に説明される。まず、刈り込みされたグレーワールド統計、Ｒ＿Ｓｕｍ、Ｇ＿Ｓｕｍ、Ｂ＿Ｓｕｍ、およびカウント（Ｃｏｕｎｔ）が、プロセス４ａで計算される。次いで、チャネル利得Ｒ＿Ｇａｉｎ、Ｇ＿Ｇａｉｎ、およびＢ＿Ｇａｉｎが、プロセスブロック４ｂで計算され、入力信号Ｒｉ、Ｇｉ、およびＢｉに適用されることで、カラーバランスされたＲｂ、Ｇｂ、およびＢｂが生成される。

図２に示されるプロセスが、本発明の例示的な実施形態に関連して、以下により詳細に
説明される。まず、プロセスブロック４ａを参照すると、グレーワールド統計が、入力イメージをグレーへと積算することによって得られる。その開示が参照により本明細書に含まれる、Ｒ．Ｗ．Ｇ．Ｈｕｎｔの、「ＴｈｅＲｅｐｒｏｄｕｃｔｉｏｎｏｆＣｏｌｏｕｒ」第４版、１９８７年、ＦｏｕｎｔａｉｎＰｒｅｓｓ社、を参照されたい。本発明の例示的な実施形態では、入力イメージのすべての画素が、プロセスブロック４ａでサンプリングされ、グレーへと積算される。それぞれの画素のカラーチャネルの色度の合計（Ｒ＿ＳＵＭ、Ｇ＿ＳＵＭ、およびＢ＿ＳＵＭ）がプロセスブロック４ａで計算され、次いで、プロセスブロック４ｂにおいてグレーワールドサマリ（ｇｒａｙｗｏｒｌｄｓｕｍｍａｒｙ）の色度を計算するために用いられる。グレーワールドサマリの色度は、次のように示される。レッド値は、ＧＷ＿ＣＲ＝Ｒ＿ＳＵＭ／（Ｒ＿ＳＵＭ＋Ｇ＿ＳＵＭ＋Ｂ＿ＳＵＭ）、グリーン値は、ＧＷ＿ＣＧ＝Ｇ＿ＳＵＭ／（Ｒ＿ＳＵＭ＋Ｇ＿ＳＵＭ＋Ｂ＿ＳＵＭ）、および、ブルー値は、ＧＷ＿ＣＢ＝Ｂ＿ＳＵＭ／（Ｒ＿ＳＵＭ＋Ｇ＿ＳＵＭ＋Ｂ＿ＳＵＭ）、である。例示的な実施形態では、３つのすべての成分の色度を足すと1になる。つまり、ＧＷ＿ＣＲ＋ＧＷ＿ＣＧ＋ＧＷ＿ＣＢ＝１、である。イメージ内の画素のランダムサンプリング、または、画素を選択するいかなる方法または動作を含む、しかしそれに限定はされない、いかなる周知の画素選択方法が、プロセスブロック４ａで採用されてもよいことが理解されよう。

グレーワールド統計の精度は、刈り込み、すなわち、飽和に近い画素などの明らかなアウトライアー（外れ値）を除去して、完全に飽和したカラーオブジェクト等を補償することによって、さらに高められる。例示的な刈り込みプロセスは、図３のフローチャートで示される。初めに、画素が選択される（ステップ１０）。例示的な刈り込みプロセスにおいては、グリーン値がプリセットの小さめの値(ＬＯＷ＿ＧＲＥＥＮ＿ＶＡＬＵＥ)より高くプリセットの大きめの値（ＨＩＧＨ＿ＧＲＥＥＮ＿ＶＡＬＵＥ）より低い場合、レッド値をグリーン値で割ったときの値がプリセットの小さめの値（ＬＯＷ＿ＲＥＤ＿ＧＲＥＥＮ＿ＦＲＡＣＴＩＯＮ）より高くプリセットの大きめの値（ＨＩＧＨ＿ＲＥＤ＿ＧＲＥＥＮ＿ＦＲＡＣＴＩＯＮ）より低い場合、および、ブルー値をグリーン値で割ったときの値がプリセットの小さめの値（ＬＯＷ＿ＢＬＵＥ＿ＧＲＥＥＮ＿ＦＲＡＣＴＩＯＮ）より高くプリセットの大きめの値（ＨＩＧＨ＿ＢＬＵＥ＿ＧＲＥＥＮ＿ＦＲＡＣＴＩＯＮ）より低い場合に、画素がグレーワールド統計に含まれる。これらのテストは、図３のステップ２０で行われる。

画素が上記の基準（ステップ２０）をパスした場合、画素のレッド値、グリーン値、およびブルー値が、Ｒ＿ＳＵＭ、Ｇ＿ＳＵＭ、およびＢ＿ＳＵＭの成分の総計に加えられ、有効な画素カウント（ＣＯＵＮＴ）が増加する（ステップ３０）。選択された画素がサンプリングされる最後の画素でない場合（ステップ４０）、次の画素が選択され（ステップ１０）、刈り込み基準判定が再度行われる（ステップ２０）。図３を参照して上述されたように、同じ動作ステップが、グレーワールド統計に含まれるべき最後の画素が選択されたと判定されるまで行われる（ステップ４０）。画素が、ステップ２０で刈り込み基準を満たさないと判定された場合、ステップ４０が上述されたように実行される。

選択された画素がサンプリングされるイメージの中で最後の画素だと判定された場合（ステップ４０において、「ｙｅｓ」）、カラーバランスシステムは、ステップ５０において、ＣＯＵＮＴが、サンプリングされたイメージ画素の合計数のうちの所定の比率であるか、例えば、サンプリングされた画素の合計数の４分の１以上であるか、を判定する。ＣＯＵＮＴがサンプリングされたイメージ画素の合計数の所定の比率以上である場合、カラーチャネル利得が有効であると見なされ（ステップ６０）、次いで、プロセスブロック４ｂで計算され、イメージデータＲｉ、Ｇｉ、およびＢｉに適用される。そうでない場合、利得は無効であると見なされ、カラーチャネルは変更されない（ステップ７０）。ステップ５０、すなわち、サンプリングされた画素の合計が所定の比率であるかの判定は、チャネル利得が計算される前に行なわれた方が効率的であるが、チャネル利得が計算された後に行なわれることも可能であることが留意されるべきである。

プロセスブロック４ｂ（図２）内のチャネル利得の計算は、所定のニュートラルホワイトポイント色度に対するグレーワールドサマリ色度のバランシングを中心に回る。色度は、国際照明委員会（ＣＩＥ）ＸＹＺ標準観測器三刺激表色系（ｓｔａｎｄａｒｄｏｂｓｅｒｖｅｒｔｒｉ−ｓｔｉｍｕｌｕｓｃｏｌｏｒｉｍｅｔｒｉｃｓｙｓｔｅｍ）と同様の概念に規定される。その開示が参照によって本明細書中に組み込まれる、ＷｙｓｚｅｃｋｉａｎｄＳｔｉｌｅｓ著、Ｗｉｌｅｙ出版、ＩＳＢＮ０−４７１−３９９１８−３の、「ＣｏｌｏｒＳｃｉｅｎｃｅＣｏｎｃｅｐｔｓａｎｄＭｅｔｈｏｄｓ，ＱｕａｎｔｉｔａｔｉｖｅＤａｔａａｎｄＦｏｒｍｕｌａｅ」を参照されたい。イメージセンサのスペクトル感度は、通常、ＣＩＥ標準観測器と同じではない。カラーバランスは光景の照明に依存するので、光景のニュートラルホワイトポイントを、周知の光源に対して較正する必要がある。

ニュートラルホワイトポイントの色度は、プロセスブロック４ｂで判定される。その判定は、イメージセンサのスペクトル感度、ユーザーの基本設定に基づいたプリセット、または、その２つの組み合わせとして自動的に計算される。ニュートラルホワイトポイントを選択する周知の方法のうち、いずれが用いられてもよいことが理解されよう。ニュートラルホワイトポイントの色度は、レッド値、Ｎ＿ＣＲ、グリーン値、Ｎ＿ＣＧ、ブルー値、Ｎ＿ＣＢの３つの成分で構成されている。好適な実施形態では、３つすべての成分の色度の合計が１になる。つまり、Ｎ＿ＣＲ＋Ｎ＿ＣＧ＋Ｎ＿ＣＢ＝１、である。

好適な実施形態では、システムチューニングパラメータ、Ｇ＿ＢＩＡＳが、イメージセンサのカラーチャネル感度に関連して、レンダリングされたイメージを微調整するために用いられてもよい。Ｇ＿ＢＩＡＳは、イメージセンサのカラーチャネル感度、ユーザーの基本設定に基づいたプリセット、または、その２つの組み合わせに関連して、自動的に計算される。システムチューニングパラメータを選択する方法のうち、いずれが用いられてもよいことが理解されよう。

本発明の実施形態では、グリーンチャネル利得、Ｇ＿ＧＡＩＮが、ニュートラルホワイトポイントの色度（Ｎ＿ＣＲ、Ｎ＿ＣＧ、Ｎ＿ＣＢ）、グレーワールドサマリの色度（ＧＷ＿ＣＲ、ＧＷ＿ＣＧ、ＧＷ＿ＣＢ）、および、オプションのシステムチューニングパラメータ（Ｇ＿ＢＩＡＳ）の関数として計算される。レッドチャネル利得を独立して計算するのではなく、レッドチャネル利得をグリーンチャネル利得の関数として計算する。最後に、ブルーチャネル利得が、レッドチャネル利得およびグリーンチャネル利得の関数として計算される。本発明のある実施形態では、上述されたパラメータが、プロセスブロック４ｂで、それぞれのカラーチャネルに対する利得を計算するために、次のように用いられる。

好適な実施形態における、チャネル利得の再帰的計算は、プロセスブロック４ｂで行なわれ、チャネル利得のより完全な正規化（または規格化：ｎｏｒｍａｌｉｚａｔｉｏｎ）を可能にする。再帰的(反復的：ｒｅｃｕｒｓｉｖｅ)計算は、（式１）、（式２）、（式３）の計算、および、次の各再帰的計算から成り、これらの計算は、所望の回数繰り返されることが可能である。

好適な実施形態では、式（１）、（２）、および（３）、または、式（４）、（５）、および（６）、のいずれかで計算された、便宜上、Ｒ＿ＧＡＩＮ、Ｇ＿ＧＡＩＮ、Ｂ＿ＧＡＩＮ、と表されるチャネル利得が、各カラーチャネル間の比率を維持する一方、プロセスブロック４ｂで正規化されて、輝度信号のばらつきを最小限にする。グリーンチャネルが輝度信号の大部分を占めるので、輝度信号のばらつきは、グリーンチャネルを１．０にセットすることで最小化され、レッドチャネル利得およびブルーチャネル利得が、レッドチャネル利得、グリーンチャネル利得、およびブルーチャネル利得の間の比率を維持する一方、再計算される。これは、次の各式により実現される。

好適な実施形態では、プロセスブロック４ｂで計算され上述されたレッドチャネル利得、グリーンチャネル利得、およびブルーチャネル利得が、信号Ｒｉ、Ｇｉ、およびＢｉをそれぞれプロセスブロック４で調節するために用いられて、信号Ｒｂ、Ｇｂ、およびＢｂが生成される。単一スナップ写真の用途では、得られたチャネル利得を、続くカラープロセス段階に応用することができる。ビデオの用途では、ビデオデータフローが連続的である必要があるが、それぞれのフレームに対する新しいチャネル利得をプロセスブロック４ｃで保存して次のフレームに適用できる。よりスムースな移行が望まれる場合は、チャネル利得のローパスフィルタリングが、多数の過去のチャネル利得を保存し、かつ、過去のチャネル利得と現在のチャネル利得のローパスフィルタリングを行なうことにより、実装できる。ローパスフィルタリングを、プロセスブロック４ｃに示すように、移動平均（ｒｕｎｎｉｎｇｍｅａｎ）または移動平均化フィルタ（ｍｏｖｉｎｇａｖｅｒａｇｅｆｉｌｔｅｒ）によって、実装することができる。いかなるローパスフィルタリング方法が用いられてもよいことが理解されよう。

上記の記述から明らかなように、本発明は、有意なカラーバランスを実現し、明瞭であり、比較的その実装が容易である。結果として、カラーバランスが、容易かつ効率的な方法で実現される。

図４は、図１のブロック２に示されるプロセスを供給するのに適切な画素配列２４０を有する例示的な撮像デバイス３００を示す。図４の撮像デバイスは、ベイヤフィルタを採用し、Ｒ、Ｇ、Ｂ画素出力信号を生成する。配列２４０の行ラインは、行アドレスデコーダ２５５に対応して、行ドライバ２４５により選択的に活性化される。撮像デバイス３００は、列ドライバ２６０および列アドレスデコーダ２７０も含む。撮像デバイス３００は、アドレスデコーダ２５５およびアドレスデコーダ２７０を制御するタイミング・制御回路２５０により動作される。また、制御回路２５０は、行ドライバ回路２４５および列ドライバ回路２６０も制御する。

列ドライバ２６０に関連するサンプルアンドホールド回路２６１は、配列２４０の選択された画素に対して、画素リセット信号Ｖｒｓｔおよび画素イメージ信号Ｖｓｉｇを読み出す。差分信号（Ｖｒｓｔ−Ｖｓｉｇ）が、差動増幅器２６２によりそれぞれの画素に対して生成され、アナログ／デジタルコンバータ２７５（ＡＤＣ）によってデジタル化される。アナログ／デジタルコンバータ２７５は、デジタル化された信号をイメージプロセッサ２８０に供給し、このイメージプロセッサ２８０は、デジタルイメージを形成してもよく、出力してもよい。イメージプロセッサ２８０は、本発明のカラーバランスプロセス（図１、ブロック４）を画素アレイ２４０で行なうことが可能な回路（例えば、プロセッサ）を有している。

一方、カラーバランスプロセスは、増幅器２６２とＡＤＣ２７５との間に位置するハードワイヤード回路または論理回路（図示せず）によって、画素配列のアナログ出力上で行なわれることも可能であり、あるいは、別のデバイスによって、ソフトウェア内またはハードウェア内のイメージプロセッサのデジタルイメージ出力上で行なわれることも可能である。

図５は、本発明によるカラーバランス方法を内蔵する撮像デバイス３００（図４）を含むように変形された典型的なプロセッサシステムである、システム１１００を示す。システム１１００は、イメージセンサデバイスを備えうるデジタル回路を有するシステムの例示である。限定するものではないが、システムは例として、コンピュータシステム、スチルまたはビデオカメラシステム、スキャナ、マシンビジョン、テレビ電話、オートフォーカスシステム、あるいは、他の撮像素子システムを含むことが可能である。

システム１１００、例えばカメラシステムは、一般に、マイクロプロセッサなどの中央処理ユニット（ＣＰＵ）１１０２を備えており、この中央処理ユニットはバス１１０４を介して入力／出力（Ｉ／Ｏ）デバイス１１０６と通信する。撮像デバイス３００も、バス１１０４を介してＣＰＵ１１０２と通信する。プロセッサベースのシステム１１００は、ランダムアクセスメモリ（ＲＡＭ）１１１０をも含んでおり、フラッシュメモリなどのリムーバブルメモリ１１１５を含んでいてもよく、これらのメモリもバス１１０４を介してＣＰＵ１１０２と通信する。撮像デバイス３００は、単一の集積回路上またはプロセッサとは異なるチップ上のメモリ記憶装置と共に、またはそのメモリ記憶装置なしで、ＣＰＵ、デジタル信号プロセッサ、またはマイクロプロセッサのようなプロセッサと組み合わされてもよい。

本発明の好適な各実施形態が上述されたが、それらの実施形態は、本発明を例示するものであって限定するものではないことが理解されるべきである。例えば、例示的な実施形態はＣＭＯＳ画像センサと関連して説明されたが、本発明は、例えばＣＣＤ画像センサなど他の電子画像センサなどにも適用することができる。追加、削除、代替、および他の変更形態を実施することが、本発明の趣旨および特許請求の範囲から逸脱することなく可能である。したがって、本発明は、上記の説明によって限定されることはなく、特許請求の範囲によってのみ限定される。

本発明の例示的な一実施形態によるカラーバランスプロセスを示す機能ブロック図である。図１に示したプロセスの一部をより詳細に示した機能ブロック図である。図２に示したプロセスの一部をより詳細に示したフローチャートである。本発明の例示的な一実施形態に従って構成された撮像素子のブロック図である。本発明の一実施形態に従って構成された、カラーバランスを計算する回路を含む少なくとも１つの撮像素子デバイスを内蔵するプロセッサシステムを示す図である。

Claims

イメージセンサからの複数のカラーチャネルを有する入力イメージデータ上でカラーバランス処理を行なう方法であって、
複数の画素についての各カラーチャネルに対する色度値の合計を該複数の画素についての全てのカラーチャネルに対する色度値の合計で割ることにより、前記入力イメージデータの各カラーチャネルに対する第１の色度値を判定し、
前記カラーチャネルのそれぞれについてのではなく前記複数のカラーチャネルのうち全てのカラーチャネルについての前記第１の色度値を、ニュートラルホワイトポイントのカラーチャネルと対応する第２の色度値の合計で割ることにより、前記入力イメージデータの各カラーチャネルのそれぞれに対するカラーチャネル利得を計算する処理回路を使用するステップと、
前記カラーチャネル利得を前記入力イメージデータの前記複数のカラーチャネルのそれぞれに適用することによって、前記入力イメージデータを出力イメージに変換するステップと、
を含む方法。
前記処理回路を用いて、所定の判断基準に基づいて前記第１の色度値の判定に使用された前記複数の画素を刈り込みするステップをさらに含む、
請求項１に記載の方法。
前記刈り込みするステップが、それぞれのカラーチャネルに対する高閾値および低閾値の範囲に基づいて、前記複数の画素に含める画素を選択することをさらに含む、
請求項２に記載の方法。
前記刈り込みするステップが、前記所定の判断基準に適合する画素の合計数が画素の合計数のうちの所定の比率を満たすかあるいは超えるかを判定するステップをさらに含む、
請求項２に記載の方法。
前記イメージセンサのカラーチャネル感度に関連して前記出力イメージを微調整するためにシステムチューニングパラメータを使用するステップをさらに含む、
請求項１に記載の方法。
前記処理回路を用いて、前記チャネル利得を再帰的に再計算するステップをさらに含む、
請求項１に記載の方法。
前記カラーチャネルが、レッド、グリーン、およびブルーを含み、前記処理回路が、前記カラーチャネル利得を、
により計算し、
ここで、Ｇ＿ＧＡＩＮはグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮはレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮはブルーカラーチャネルに対するカラーチャネル利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記レッド、ブルー、およびグリーンのカラーチャネルの前記第１の色度値をそれぞれ表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記ニュートラルホワイトポイントの前記レッド、ブルー、およびグリーンの第２の色度値をそれぞれ表す、
請求項１に記載の方法。
前記処理回路を用いて、前記カラーチャネル利得を、それぞれ
のように再帰的に計算するステップをさらに含み、
ここで、Ｇ＿ＧＡＩＮ´は再計算されたグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーカラーチャネルに対するカラーチャネル利得である、
請求項７に記載の方法。
前記カラーチャネルが、レッド、グリーン、およびブルーを含み、前記処理回路が、前記カラーチャネル利得を、
により計算し、
ここで、Ｇ＿ＧＡＩＮはグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮはレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮはブルーカラーチャネルに対するカラーチャネル利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記レッド、ブルー、およびグリーンのカラーチャネルの前記第１の色度値をそれぞれ表し、
Ｇ＿ＢＩＡＳはチューニングパラメータを表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記レッド、ブルー、およびグリーンの前記ニュートラルホワイトポイントの第２の色度値をそれぞれ表す、
請求項１に記載の方法。
前記処理回路を用いて、前記チャネル利得を、
のように再帰的に計算するステップをさらに含み、
ここで、Ｇ＿ＧＡＩＮ´は再計算されたグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーカラーチャネルに対するカラーチャネル利得である、
請求項９に記載の方法。
前記処理回路を用いて、前記計算されたカラーチャネル利得を正規化するステップをさらに含む、
請求項１に記載の方法。
前記処理回路を用いて、前記計算されたカラーチャネル利得を、
のように正規化するステップをさらに含む、
請求項１１に記載の方法。
前記計算されたカラーチャネル利得をローパスフィルタでフィルタリングするステップをさらに含む、
請求項１に記載の方法。
所定数のカラーチャネル利得を保存するステップと、
前記保存された所定数のカラーチャネル利得を平均化することによって、前記カラーチャネル利得を計算するステップと、をさらに含む、
請求項１に記載の方法。
前記入力イメージセンサがビデオカメラの一部である、
請求項１に記載の方法。
前記入力イメージデータがＲＧＢイメージデータである、
請求項１に記載の方法。
前記入力イメージデータがアナログである、
請求項１に記載の方法。
前記入力イメージデータがデジタルである、
請求項１に記載の方法。
イメージセンサからの複数のカラーチャネルを有する入力イメージデータ上でカラーバランス処理を行なう撮像デバイスであって、
少なくとも前記イメージの中のある画素のグループを選択し、
前記画素のグループについての各カラーチャネルに対する色度値の合計を、該画素のグループについての全てのカラーチャネルに対する色度値の合計で割ることにより、各カラーチャネルに対するグレーワールドのサマリの色度値を判定する
ことによって、複数のカラーチャネルを有する前記入力イメージデータに対するグレーワールド情報を計算し、
前記カラーチャネルのそれぞれについてのではなく前記複数のカラーチャネルのうち全てのカラーチャネルについての前記グレーワールドのサマリの色度値を、ニュートラルホワイトポイントのカラーチャネルと対応する色度値の合計で割ることにより、前記入力イメージデータの各カラーチャネルのそれぞれに対するカラーチャネル利得を計算し、
前記カラーチャネル利得を前記入力イメージデータの前記複数のカラーチャネルのそれぞれに適用することによって、前記入力イメージデータを出力イメージに変換する回路、
を含むデバイス。
前記回路がプロセッサである、
請求項１９に記載のデバイス。
前記回路がさらに、所定の判断基準に基づいて前記グレーワールド情報の計算に使用された画素を刈り込みする、
請求項１９に記載のデバイス。
前記回路がさらに、それぞれのカラーチャネルに対する高閾値および低閾値の範囲に基づいて前記グレーワールド情報へと含める画素を選択する、
請求項２１に記載のデバイス。
前記回路が、前記所定の判断基準に適合する画素の合計数が画素の合計数のうちの所定の比率であるかどうかを判定する、
請求項２１に記載のデバイス。
前記回路が、前記イメージセンサのカラーチャネル感度に関連して前記出力イメージを微調整する、
請求項１９に記載のデバイス。
前記回路が、前記カラーチャネル利得を再帰的に再計算する、
請求項１９に記載のデバイス。
前記カラーチャネルが、レッド、グリーン、およびブルーを含み、前記回路が、前記カラーチャネル利得を、
により計算し、
ここで、Ｇ＿ＧＡＩＮはグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮはレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮはブルーカラーチャネルに対するカラーチャネル利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記レッド、ブルー、およびグリーンのカラーチャネルの前記グレーワールドのサマリの色度値をそれぞれ表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記レッド、ブルー、およびグリーンの前記ニュートラルホワイトポイントの色度値をそれぞれ表す、
請求項１９に記載のデバイス。
前記回路が、前記カラーチャネル利得を、それぞれ
のように再帰的に計算し、
Ｇ＿ＧＡＩＮ´は再計算されたグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーカラーチャネルに対するカラーチャネル利得である、
請求項２６に記載のデバイス。
前記カラーチャネルが、レッド、グリーン、およびブルーを含み、前記回路が、前記カラーチャネル利得を、
により計算し、
ここで、Ｇ＿ＧＡＩＮはグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮはレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮはブルーカラーチャネルに対するカラーチャネル利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記レッド、ブルー、およびグリーンのカラーチャネルの前記グレーワールドのサマリの色度値をそれぞれ表し、
Ｇ＿ＢＩＡＳはチューニングパラメータを表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記レッド、ブルー、およびグリーンの前記ニュートラルホワイトポイントの色度値をそれぞれ表す、
請求項１９に記載のデバイス。
前記回路が、前記チャネル利得を、
のように再帰的に計算し、
ここで、Ｇ＿ＧＡＩＮ´は再計算されたグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドカラーチャネルに対する利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーカラーチャネルに対するカラーチャネル利得である、
請求項２８に記載のデバイス。
前記回路がさらに、前記計算されたカラーチャネル利得を正規化する、
請求項１９に記載のデバイス。
前記回路が、前記計算されたカラーチャネル利得を、
のように正規化する、
請求項３０に記載のデバイス。
前記計算されたカラーチャネル利得をローパスフィルタでフィルタリングする回路をさらに含む、
請求項１９に記載のデバイス。
所定数のカラーチャネル利得を保存し、
前記保存された所定数のカラーチャネル利得を平均化することによって、前記カラーチャネル利得を計算する回路、をさらに含む、
請求項１９に記載のデバイス。
前記入力イメージセンサがビデオカメラの一部である、
請求項１９に記載のデバイス。
前記入力イメージデータがＲＧＢイメージデータである、
請求項１９に記載のデバイス。
前記入力イメージデータがアナログである、
請求項１９に記載のデバイス。
前記入力イメージデータがデジタルである、
請求項１９に記載のデバイス。
イメージセンサからの複数のカラーチャネルを有する入力イメージデータ上でカラーバランス処理を行なうバランシングユニットであって、
少なくとも前記イメージの中の画素のグループを選択し、該画素のグループに対して、
前記画素のグループの各画素についての各カラーチャネルに対する色度値を判定し、
各カラーチャネルに対する色度値の合計を、全てのカラーチャネルに対する色度値の合計で割ることにより、カラーチャネルについてのグレーワールドのサマリの色度値を判定し、
前記カラーチャネルのそれぞれについてのではなく前記複数のカラーチャネルのうち全てのカラーチャネルについての前記グレーワールドのサマリの色度値を、ニュートラルホワイトポイントのカラーチャネルと対応する色度値の合計で割ることにより、各カラーチャネルのそれぞれに対するカラーチャネル利得を判定して、
前記入力イメージデータに対するグレーワールド情報を計算し、前記グレーワールド情報およびニュートラルホワイトポイントに基づいて、前記入力イメージデータに対するカラーチャネル利得を計算する回路と、
前記カラーチャネル利得を前記入力イメージデータの複数のカラーチャネルのそれぞれに適用することによって、出力イメージを生成する回路と、
を含むユニット。
前記計算する回路がさらに、所定の判断基準に基づいて前記グレーワールド情報の計算に使用された画素を刈り込みする、
請求項３８に記載のユニット。
前記計算する回路がさらに、それぞれのカラーチャネルに対する高閾値および低閾値の範囲に基づいて前記グレーワールド情報へと含める色度値を選択する、
請求項３９に記載のユニット。
前記計算する回路がさらに、所定の判断基準に適合する画素の合計数が画素の合計数のうちの所定の比率であるかどうかを判定する、
請求項３９に記載のユニット。
前記計算する回路がさらに、前記イメージセンサのカラーチャネル感度に関連して前記出力イメージを微調整するためにシステムチューニングパラメータを使用する、
請求項３８に記載のユニット。
前記計算する回路がさらに、前記カラーチャネル利得を再帰的に計算する、
請求項３８に記載のユニット。
前記計算する回路がさらに、前記計算されたカラーチャネル利得を正規化する、
請求項３８に記載のユニット。
前記計算されたカラーチャネル利得をフィルタリングするローパスフィルタをさらに含む、
請求項３８に記載のユニット。
所定数のカラーチャネル利得を保存するメモリと、をさらに含み、
前記適用する回路はさらに、前記保存された所定数のカラーチャネル利得を平均化することによって、前記カラーチャネル利得を計算する、
請求項３８に記載のユニット。
イメージ信号を供給する画素配列と、
イメージ信号を読み出す読み出し回路と、
読み出されたイメージ信号から決定された、複数のカラーチャネルを有する入力イメージデータ上でカラーバランス処理を行なう撮像デバイスと、
を含み、前記デバイスが、
少なくとも前記イメージの中の画素のグループを選択することにより、複数のカラーチャネルを有する前記入力イメージデータに対するグレーワールド情報を計算し、該画素のグループに対して、
前記画素のグループの各画素の各カラーチャネルに対する色度値を合計し、
前記合計した各カラーチャネルに対する色度値を、前記カラーチャネルの全てに対する色度値の合計で割ることにより、各カラーチャネルに対するグレーワールドのサマリの色度値を判定し、
前記カラーチャネルのそれぞれについてのではなく前記複数のカラーチャネルのうち全てのカラーチャネルについての前記グレーワールドのサマリの色度値を、ニュートラルホワイトポイントのカラーチャネルと対応する色度値の合計で割ることにより、前記グレーワールド情報に基づいて、前記入イメージデータの各カラーチャネルのそれぞれに対するカラーチャネル利得を計算し、
前記カラーチャネル利得を前記入力イメージデータの複数のカラーチャネルのそれぞれに適用することによって、前記入力イメージデータを出力イメージに変換する、
イメージプロセッサを含む、撮像素子システム。
前記撮像デバイスの出力を受信するプロセッサをさらに含む、
請求項４７に記載のシステム。
前記イメージプロセッサがさらに、所定の判断基準に基づいて前記グレーワールド情報の計算に使用された画素を刈り込みする、
請求項４７に記載のシステム。
前記刈り込みするステップが、それぞれのカラーチャネルに対する高閾値および低閾値の範囲に基づいてイメージデータを前記グレーワールド情報へと含めるか否かを判定するステップをさらに含む、
請求項４９に記載のシステム。
前記刈り込みするステップが、前記所定の判断基準に適合する画素の合計数が画素の合計数のうちの所定の比率であるかどうかを判定するステップをさらに含む、
請求項４９に記載のシステム。
前記イメージプロセッサが、前記イメージセンサのカラーチャネル感度に関連して前記出力イメージを微調整するためにシステムチューニングパラメータを使用する、
請求項４７に記載のシステム。
前記イメージプロセッサがさらに、前記カラーチャネル利得を再帰的に計算する、
請求項４７に記載の方法。
前記カラーチャネルが、レッド、グリーン、およびブルーを含み、前記イメージプロセッサが前記カラーチャネル利得を、
により計算し、
ここで、Ｇ＿ＧＡＩＮはグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮはレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮはブルーカラーチャネルに対するカラーチャネル利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記レッド、ブルー、およびグリーンのカラーチャネルの前記グレーワールドのサマリの色度値をそれぞれ表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記ニュートラルホワイトポイントの前記レッド、ブルー、およびグリーンの色度値をそれぞれ表す、
請求項４７に記載のシステム。
前記イメージプロセッサが、前記チャネル利得を、
のように再帰的に計算し、
ここで、Ｇ＿ＧＡＩＮ´は再計算されたグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーカラーチャネルに対するカラーチャネル利得である、
請求項５４に記載のシステム。
前記カラーチャネルが、レッド、グリーン、およびブルーを含み、前記イメージプロセッサが、前記カラーチャネル利得を、
のように計算し、
ここで、Ｇ＿ＧＡＩＮはグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮはレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮはブルーカラーチャネルに対するカラーチャネル利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記レッド、ブルー、およびグリーンのカラーチャネルのグレーワールドのサマリの色度値をそれぞれ表し、
Ｇ＿ＢＩＡＳはチューニングパラメータを表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記ニュートラルホワイトポイントの前記レッド、ブルー、およびグリーンの色度値をそれぞれ表す、
請求項４７に記載のシステム。
前記イメージプロセッサが、前記カラーチャネル利得を、
のように再帰的に計算するステップをさらに含み、
ここで、Ｇ＿ＧＡＩＮ´は再計算されたグリーンカラーチャネルに対するカラーチャネル利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドカラーチャネルに対するカラーチャネル利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーカラーチャネルに対するカラーチャネル利得である、
請求項５６に記載のシステム。
前記イメージプロセッサが、前記計算されたカラーチャネル利得を正規化する、
請求項４７に記載のシステム。
前記イメージプロセッサが、前記計算されたカラーチャネル利得を、
のように正規化する、
請求項５８に記載のシステム。
前記イメージプロセッサが、前記計算されたカラーチャネル利得をローパスフィルタでフィルタリングする、
請求項４７に記載のシステム。
前記イメージプロセッサが、
所定数のカラーチャネル利得を保存し、
前記保存された所定数のカラーチャネル利得を平均化することによって、前記カラーチャネル利得を計算する、
請求項４７に記載のシステム。
前記入力イメージセンサがビデオカメラの一部である、
請求項４７に記載のシステム。
前記入力イメージデータがＲＧＢイメージデータである、
請求項４７に記載のシステム。
前記入力イメージデータがアナログである、
請求項４７に記載のシステム。
前記入力イメージデータがデジタルである、
請求項４７に記載のシステム。