JP4966021B2 - 赤目フィルターの性能を最適化する方法及びその装置 - Google Patents

Description

本発明は、フラッシュ写真撮影の分野に関し、より詳しくは、デジタルカメラで撮影されたデジタル画像から“赤目現象”を除去（フィルタリング）する技術に関する。

“赤目”は、フラッシュ撮影における現象であり、フラッシュ（光）が被写体の目内で反射され、通常、写真撮影において被写体の目が黒目として現れる箇所が、赤点（red dot）として現れる現象である。このように目が不自然に赤く輝くのは、網膜の後側の血管膜（血液が充満した血管の膜）の内部反射のためである。この好ましくない現象は、カメラのフラッシュとレンズとの間の小さなアングル（角度）によって部分的に引き起されるものとして理解できるが、このアングルは、フラッシュ機能を備えたカメラの小型化によって低減されている。また、赤目現象のさらなる誘因としては、被写体とカメラとの近接関係、環境光レベルがある。

赤目現象は、瞳孔の開き具合を減少させることにより最小限に抑えることができる。これは、通常、フラッシュ撮影の直前にフラッシュや照明の光を短時間の間に被写体に照射するプレフラッシュを行うことにより、虹彩（アイリス）を閉じさせて赤目現象を低減させる。このプレフラッシュ技術は、アイリスを閉じさせるが、残念なことに、フラッシュ写真撮影に先立って０．２秒から０．６秒の間行われるため好ましくない。すなわち、この０．２秒から０．６秒の間に被写体は容易にリアクションを起すことができる。その結果、被写体は、プレフラッシュが実際のフラッシュ写真撮影と信じ、実際のフラッシュ撮影写真の際に被写体は、好ましい位置にいない場合がある。このため、被写体は、その都度プレフラッシュが行われることを知らされる必要があり、写真撮影で撮られた被写体の自然さが一般的に損なわれてしまうことになる。

また、プレフラッシュの起動に先立ち、カメラ内部で複雑な解析処理動作を行う従来のよく知られた技術が開発され、環境光レベルやカメラから被写体までの距離などの各種状況が、写真撮影に先立ってプレフラッシュが生成される前に測定される。このような技術は、特許文献１に記載されている。しかしながら、当該特許文献１に記載された技術は、プレフラッシュが使用された場合に発生する赤目現象を最小化するものであり、プレフラッシュにとって必要な赤目現象の除去するものではない。つまり、プレフラッシュに注意を払うことなく、フラッシュを備える小型のカメラの赤目現象を除去する方法が望まれている。

デジタルカメラは、よりポピュラーとなり小型化されている。デジタルカメラは、フィルムカメラよりも幾つかの有利な点があり、例えば、電子的に取得した画像としてのフィルムを必要に応じて消去（削除）したり、カメラの表示スクリーンに取得した画像を表示するために、記憶手段（memory array）に当該画像を格納することができる。フィルムカメラのようにフィルム処理（現像処理）を待つのとは対照的に、撮影写真における画像をほとんど瞬間的に見て楽しむことができる。さらに、デジタル的に得られた画像は、パーソナルコンピュータやカラープリンタなどの他の表示デバイスにダウンロードすることができる。また、デジタルカメラは、画像処理、圧縮処理及びカメラシステム制御のためのマイクロプロセッサを備えている。しかしながら、それでもなお、プレフラッシュが行わないと、デジタルカメラ及びフィルムカメラの両カメラにおいて、被写体の目の内部でフラッシュが反射する赤目現象が捉えられてしまう。したがって、プレフラッシュに注意を払うことなく、フラッシュを備える小型のデジタルカメラの赤目現象を除去する方法が望まれている。
米国特許第５,０７０,３５５号公報（Inoue）

本発明の目的は、赤目フィルターの性能を最適化する方法及びその装置を提供するにある。

本発明の１つの側面としてのデジタル装置は、デジタル画像の選択された領域のサブサンプリングリプレゼンテーションの解析に基づいて、赤目現象が表すデジタル画像内のあるエリアを修正するための赤目フィルターを備えていることを特徴とする。

また、上記解析は、決められた（測定された）エリアに対して少なくとも部分的に行われ、及び／または、決められた（測定された）修正が少なくとも部分的に行われる。上記デジタル画像の選択された領域は、画像全体を含んでおり、また、当該領域は、１つ以上の領域を除外してもよい。選択された領域は、符号化（エンコード化）されているマルチ解像度の画像を含む。上記解析は、全ての解像度画像について部分的に行われ、かつデジタル画像のサブサンプル解像度について部分的に行われる。

また、上記装置は、上記サブサンプリングの度合いを変更するモジュールを含むように構成することが可能である。このサブサンプリングの度合いの変更は、画像のサイズや選択された領域自身、若しくは、画像取得時のカメラのセッティングに関係するカメラから得られるデータなど、経験的又は実験的に決められる。後者の場合において、カメラから得られるデータは、レンズ開口設定、カメラの焦点（フォーカス）、カメラから被写体までの距離、又はこれらの組み合わせを含んでいる。上記サブサンプリングの度合いの変更もまた、デジタル化された画像のメタデータ情報、赤目フィルターのための複雑な計算に基づいて決められる。

上記領域の修正は、デジタル画像の全ての解像度を含んでいるものに対して行われる。赤目フィルターは、マルチプル（複合的な、多様な）サブフィルタを含む。画像の選択された領域について動作するサブフィルタに対するサブサンプリングは、画像サイズ、赤目領域として疑わしいサイズ、複雑なフィルター演算処理、経験又は実験に基づくサブフィルタの成功率、経験又は実験に基づくサブフィルタの失敗検出率、サブフィルタの失敗確率、赤目として疑わしい領域間の相関、及び他のサブフィルタにおける前回の解析結果の１つ以上によって決められる。

また、上記装置は、画素を修正するためのフィルターを適用した後のデジタル化された画像を、修正画像として保存するためのメモリと画像のサブサンプルリプレゼンテーションを保存するためのメモリとを有する。また、画像の選択された領域のサブサンプルリプレゼンテーションは、ハードウェア内で決定される。上記解析は、フル解像度画像について部分的に行われ、サブサンプル解像度の画像について、部分的に行われる。

上記サブサンプルリプレゼンテーションは、スプライン補間又は双３次補間を使用して決定される。

また、本発明の他の側面としてのデジタル装置は、画像格納部と赤目フィルター部とを含んでいる。プレキャプチャ画像として知られる処理前の画像の一時コピー、デジタル処理された取得画像の保存用コピー、及び画像（例えば、上記プレキャプチャ画像）の少なくとも１つの選択された領域についてのサブサンプルリプレゼンテーションを保持するためのものである。上記赤目フィルターは、サブサンプルリプレゼンテーションの解析に基づいて赤目現象が現れている少なくとも１つの画像内の特定の領域を修正するためのものである。好ましくは、少なくとも１つの画像は、デジタル処理された取得画像を含んでいる。また、当該本発明の他の側面としてのデジタル装置は、上記本発明の１つの側面としてのデジタル画像の特徴を含んでいる。

また、サブサンプリングの度合いの変更は、上記プレキャプチャ画像の画像処理解析に関連するカメラから得られるデータに基づいて決められる。この画像処理解析は、プレキャプチャ画像から得られるヒストグラムデータ、又は色相関データ（色相関曲線データ）、若しくはヒストグラムデータと色相関データの両方に基づくものである。また、画像処理解析は、プレキャプチャ画像から得られる広範囲の輝度又はホワイトバランスデータ、若しくは輝度及びホワイトバランスデータの両方にも基づいて行われる。また、上記画像処理解析は、プレキャプチャ画像の顔検出解析、又は赤目を指し示す特徴的な色を有する画素領域の判別、若しくはこれら顔検出解析及び画素領域の判別の両者に基づいて行われる。この画像処理解析は、ハードウェア内で実行される。サブサンプリングの度合いの変更は、画像メタデータ情報に基づいて決定及び判別される。

デジタル化された画像から赤目現象をフィルタリングする方法は、上記本発明の他の側面としてのデジタル装置に従うように設けられ、この画像は、色を指し示す非常に多くの画素を含んでいる。当該方法は、デジタル化された画像のサブサンプルリプレゼンテーション内の１つ以上の領域が赤目人工物を含んでいるとして疑わしいか否かを決定するステップを含んでいる。

また、上記方法は、画像若しくは画像に基づいて生成したサブサンプルリプレゼンテーションに基づいた１つ以上の各領域に対するサブサンプルリプレゼンテーションの多様な度合いを含んでいる。上記サブサンプルリプレゼンテーションは、ハードウェアに実装されたサブサンプリングエンジンを利用して、生成されたり、また度合いが変化されたりする。赤目人工物が含まれるとして決定された上記サブサンプルリプレゼンテーション内の１つ以上の領域は、幾つかの誤り赤目グルーピング（誤り赤目画素グループ）を決定するために精査（テスト）処理される。

また、上記方法は、デジタル化された画像内の１つ以上の該当する領域を有する画像のサブサンプルリプレゼンテーション内の１つ以上の領域を関連付け、かつそのデジタル化された画像内の１つ以上の該当する領域を修正する。その決定は、画像取得デバイス固有の情報を含むメタデータ情報の解析処理を含んでいる。

また、上記方法は、デジタル化された画像についての選択された領域のサブサンプルリプレゼンテーションを解析するステップと、赤目人工物を含むと決定された特定の小域を修正するステップとを含む。上記解析ステップは、上記特定の領域の決定及び/又はその領域の修正のために、少なくとも部分的に行われる。デジタル化された画像の選択された領域は、全体画像を含み、また、１つ以上の領域を除外する。デジタル化された画像の選択された領域は、コード化されている複数の解像度の画像を含んでいる。上記解析ステップは、フル解像度の画像について部分的に行われ、かつ上記サブサンプル解像度の画像について部分的に行われる。

上記方法は、サブサンプリングの度合いの変更ステップを含んでも良い。このサブサンプリングの度合い変更ステップは、画像又は選択された領域自身の画像サイズに基づいて実験的又は経験的に決められる。

また、上記方法は、修正された画像として画素を修正するための上記フィルター処理を適用した後のデジタル化された画像を保存するステップと、上記画像のサブサンプルリプレゼンテーションを保存するステップとを含む。また、上記方法は、ハードウェアにおいて画像のサブサンプルリプレゼンテーションを、スプライン補間又は双３次補間を使用して決定するステップを含む。

また、赤目人工物を有する領域として決定された上記特定の領域の修正は、フル解像度の画像を含む範囲で行われる。また、上記方法は、複数のサブフィルタを利用して上記サブサンプルリプレゼンテーションを決定するステップを含む。複数のサブフィルタの決定ステップは、画像サイズ、赤目領域として疑わしいサイズ、複雑なフィルター演算処理、経験又は実験に基づくサブフィルタの成功率、経験又は実験に基づくサブフィルタの失敗検出率、サブフィルタの失敗確率、赤目として疑わしい領域間の相関、及び他のサブフィルタにおける前回の解析結果の、１つ以上に基づくものである。

本発明によれば、プレフラッシュに注意を払うことなく、フラッシュ機能を有する小型のデジタルカメラ内での赤目現象を取り除くための改善された方法及び装置を提供することが可能となる。

図１は、本発明の赤目フィルターの性能を最適化する方法が実現されたカメラ装置のブロック構成図を示している。カメラ２０は、デジタル写真撮影処理におけるユーザの入力、初期化及び制御に応答して露光(Exposure）制御を行う露出制御手段３０を備えている。また、フラッシュが使用された場合に自動的に測定（測光）するための光センサ４０を用いて環境光を測定する。被写体までの距離は、フォーカシング手段（焦点制御手段）を用いて測定され、このフォーカシング手段は、画像取得手段６０上の画像のフォーカシング（焦点調節）を行う。画像取得手段６０は、カラーでデジタル的に画像を記録する。当該画像取得手段としては、従来からよく知られているように、デジタル記録を手助けするＣＣＤ（Charge Coupled Device）を含むように構成される。フラッシュが使用される場合、露出制御手段３０は、フラッシュ手段７０に十分な光量の写真撮影フラッシュを生成するように制御信号を出力してフラッシュ（閃光）を生成させ、同時に画像取得手段６０によって画像が取得及び保存される。当該フラッシュ、すなわち、閃光装置等により発生されるフラッシュは、光センサ４０による測光又は当該カメラのユーザからのマニュアル入力のどちらか一方に応答して選択的に生成される。画像取得手段６０により記録された画像（画像データ）は、ＤＲＡＭ若しくは不揮発性メモリのようなコンピュータメモリからなる画像格納手段８０に格納（保存）される。赤目フィルター手段９０は、格納された画像を解析する。すなわち、格納された画像に対して赤目特性（赤目の特徴）の解析、検出、修正を行い、撮影写真から赤目現象を除去する。詳細については後述する。赤目フィルター手段９０は、赤目を示す色を有する画素（ピクセル）を探知するためのピクセル探知手段９２、ピクセル探知手段９２によって探知された画素の少なくとも一部の画素配置群（グルーピング）が赤目を示す形状を含むもの（若しくは赤目を示す形状からなるもの）であるかを判別（決定）するための形状解析部９４、上記グルーピング内の画素の色を修正するためのピクセル修正手段９６、及び上記グルーピング周囲の画像をさらに処理して目の画像を詳細に処理するための誤り（falsing）解析手段９８とを含んでいる。そして、赤目フィルター手段９０により修正された画像は、画像表示手段１００に表示されたり、パーソナルコンピュータなどの他の表示デバイス若しくはプリンタに画像出力手段１１０を介してダウンロードされる。なお、デジタルカメラで実行される処理の多くは、マイクロコンピュター（μC）、デジタルシグナルプロセッサ（DSP）、特定用途向け集積回路（エーシック：application specific integrated circuits）でのソフトウェアオペレーションによって実行若しくは制御される。

１つの態様としての図１の画像取得手段６０は、最適画像サブサンプリング手段を含み、ここで、画像がアクティブにダウンサンプルされる。このサブサンプリングの具体的な態様としては、従来の技術としてよく知られている信号及び画像処理における双三次スプラインアルゴリズムを使用して行われる。これらのよく知られた技術は、より小さいデータの利用可能な限界（制限）を与えることが可能な最適な画素関係の補間及び保持（維持）のサブサンプリングアルゴリズムとして知られている。言い換えれば、サブサンプリング処理段階は、画像サイズを最小化しつつ有効なデータを保持する段階であり、それゆえ、画素に関する処理全体に必要とされ、一般的に処理負担が大きい。

サブサンプリングリプレゼンテーション（subsampling representation）は、複数の解像度の画像を含み、画像全体に対してサブサンプリング率が一定ではない状態におけるリプレゼンテーションと同様である。例えば、赤目として疑わしい領域は、明確に赤目を含んでいないと判別された領域よりも異なる解像度を有し、ほとんどの場合、高い解像度を有する。

他の態様としてのサブサンプリング手段は、サブサンプリング動作における高い動作速度の優位性を提供するために専門的にサブサンプリングを行うサブサンプリングエンジンを組み込んだデジタルイメージング装置の処理ユニットを利用する態様がある。すなわち、サブサンプリング手段が、サブサンプリングエンジンを組み込んだデジタルイメージング装置の処理ユニット等のハードウェアを利用する態様がある。このような専用サブサンプリングエンジンを備えるデジタルイメージング装置は、ハードウェアを組み込んでいる最先端のデジタルイメージング装置に基づくものであり、サムネイル画像の素早い生成を手助けするものである。

画像に対するサブサンプリングの決定は、部分的にオリジナル画像（元画像）のサイズに依存する。ユーザが低い解像度の画像フォーマットを選択した場合には、赤目検出ステップと誤り回避ステップの性能において小さなゲインとなり、それ故、サブサンプリングの手段、ステップ、及び動作を含めることは、任意とする。

好ましい態様としての赤目検出フィルターは、引き続いて若しくは並行して処理するように考慮されるサブフィルタの選択処理を含む。このようなケースの場合、サブフィルタは、選択された領域のみ、若しくは疑わしい領域について動作する。このように選択された領域、若しくは疑わしい領域は、画像全体よりもかなり小さい。このため、画像に対するサブサンプリングの決定は、疑わしい領域のサイズ、前回行われた又は並行して行われているサブフィルタ処理の成功又は失敗、領域とサブフィルタの演算処理の複雑性との間の隔たり、の１つ若しくはこれらの組み合わせに、部分的に依存している。どの程度までの領域をサブサンプリングするか否かの決定に際して必要となるパラメータの多くは、成功率、失敗率及び演算処理時間の間の最適化の実験的若しくは経験的な処理によって決定される。

サブサンプリング手段又はサブサンプリングステップ若しくは動作が実行される場合には、その後、オリジナル画像及びサブサンプルされた画像の両画像が、なるべく図１の画像格納手段８０に格納されるように構成することが好ましい。このサンプリングされた画像は、図１の赤目フィルター手段９０及び誤り回避解析手段９８によって使用されるように利用される。

また、他の態様としての図１の画像取得手段６０及び当該画像取得手段６０に組み込まれた画像サブサンプリング手段は、個別のイメージング装置で構成することも可能である。従来技術として知られているように、画像取得する際、図１のシステムコンポーネントである露出制御手段３０、光センサ４０、焦点制御手段５０及びフラッシュ７０のステータスに関係するデータは、標準的なメタデータタグを使用してデジタル画像のへダーに格納される。それ故、サブサンプリング手段及び赤目フィルタリング手段は、画像取得の後に同時に行うことができ、その時点で利用する全ての必要なデータは、デジタル画像内にメタデータとして格納可能である。したがって、実際のサブサンプリング処理及び赤目フィルタリング処理は、物理的に別々のイメージング装置で実行されるように構成してもよい。実際の一例を挙げると、例えば、デジタルカメラによって取得された画像を、プリンタに伝送された後実際の画像印刷処理前に、より遅い段階でサブサンプルし、かつ赤目フィルタリング処理を行うように構成することも可能である。

上述のように、本発明の好ましい態様のシステム及び方法は、赤目人工物の検出処理及び除去処理を含んでいる。実際の赤目の除去処理は、最終的にはフル解像度画像について行われる。しかしなから、赤目の検出の全て若しくは複数部分の候補画素グルーピング処理、誤り赤目グルーピングを決定するための上記候補画素グルーピングの次の検証処理、及び修正のユーザ確認のためにユーザに画像を提示する際の除去処理の初期ステップは、全体画像、サブサンプルされた画像、若しくは全体画像若しくはサブサンプルされた画像の領域の一部について行われる。

一般に、処理スピードと正確性はトレードオフの関係にある。このため、上記他の態様に含まれるサブサンプリングされた画像についての全ての検出処理、検出処理及び次の誤り判定処理の実行は、個別に行うように構成し、例えば、場合によって赤目として疑わしいフル解像度画像の領域について実行したり、サブサンプリングされた解像度画像について実行したり、その時々によって個別に実行するように構成することが可能である。図８のステップ２００は、実験的又は経験的な実施形態において、取得された画像の画素サーチ処理によって初期画素の反復改良に基づいて、連続的に適用される多くのカラーフィルター処理を含んでいる。また、赤色をサーチするために、赤目領域の輝度若しくは明るさが所定の値の適合範囲にあるか否かを判別することが好ましい。さらに、色と輝度のローカル空間分布は、赤目画素グルーピングの初期サーチにおいて関係のあるファクターである。各々次に実行されるフィルター処理は、赤目画素として可能性のあるグルーピングに近接近した中の局所的な画素群についてのみ適用されることが好ましく、フルサイズ画像における対応する領域に同様に好適に適用される。

それ故、特定のカラーベースのフィルター処理の正確性の有効な場合、サブサンプリングされた画像よりも、フルサイズの画像にフィルター処理を提供することが可能である。これは、誤り判別解析手段９８で用いられるフィルター処理と同様に適用される。

非カラーベースの誤り判別解析フィルター処理の一例としては、局所的コントラスト、潜在的な赤目画素グルーピングの周辺における飽和分布若しくはテクスチャ分布の検討処理と、局所的なエッジ処理若しくはシャープ検出処理と誤り判別解析処理の結果としての正確性を高めるために、多数のシンプルローカルフィルターの結果を統計的に重ね合わせ処理するより洗練されたフィルター処理との実行とが含まれる。

好ましくは、より高感度でかつ精巧なフィルター処理をフル解像度画像の対応する領域に適用しつつ、画像の大きな部分について動作するコンピュータ的（計算的）により高級なフィルター処理がサブサンプリング処理で利用されるように構成するとよい。また、フル解像度のケースでは、画像の小さい部分にのみ、そのようなフィルター処理を使用するとよい。

例えば、背景色間を識別するフィルター処理がサブサンプルの画像に使用されつつ、唇と目との違いを探すフィルター処理がフル解像度画像部分に利用される。さらには、異なる画素の把握処理及び誤り判別フィルター処理の感度に適合するように、サブサンプリングされた画像についての幾つかの異なるサイズが、各々個別に生成されて用いられる。

また、フィルター処理がサブサンプルされたリプレゼンテーションを使用するか否かの決定及びダウンサンプリング率の決定は、成功率と、サブサンプリング率及び公知の画像技術を備えたフィルター処理の検出ミス率とを統計的に比較することで、実験的又は経験的に行われる。なお、この実験的又は経験的な決定は、特定のカメラモデル特有な場合が多く、フルサイズの画像又はサブサンプルされた画像データを使用するかの決定は、特定画素位置決め処理若しくは誤り判定フィルター処理に対して、各々のカメラ毎に実験的又は経験的に決められる。

また、他の側面として、本発明の実施形態ではプレ取得画像は、効果的に利用される。画像のサブサンプルされたリプレゼンテーションのもう１つのタイプは、取得された画像から時間的に異なるものであり、追加的に若しくはスプライン及び双３次のような他の上述のアルゴリズムを備えた空間分化により代替される。画像のサブサンプルリプレゼンテーションは、最終的な画像が取得される前に取得された画像であり、好ましくは、最終的な画像が取得される直前の画像である。カメラは、画像の連続的なサブサンプルバージョンである画像のデジタル的なレビューを提供する。このようなプレ取得処理は、カメラ及びカメラのユーザによって使用されるもので、例えば、露出、フォーカス、又は構図の修正を定めるために使用される。

プレ取得画像処理は、センサードメイン、好ましくはＲＡＷ−ＣＣＤ、演算のために使用している赤目フィルターの公知の色空間からの変換ステップを追加的に必要とする。プレビュー又はプレ取得画像が使用されるケースでは、位置決め等の追加的な調整処理ステップが、例えば、カメラ又は物体の移動において、最終的な画像とプレ取得処理とが異なるケースにおいて使用される。

プレ取得画像は、通常は、カメラのメモリにロードされることなくイメージセンサーから直接処理される。この処理を手助けするために、専用ハードウェアサブシステムがプレ取得画像処理の実行を遂行する。このハードウェアサブシステムのセッティングに依存し、プレ取得画像処理は、所定の基準についてレポートデータ、できればメタデータを一緒にメインシステムメモリー内にイメージングセンサーのバッファからＲＡＷ画像データをローディングする処理を遂行する幾つかの所定の基準を満足する。このようなテスト基準の一例として、カメラのフラッシュモジュールの起動に先立って、プレ取得画像内の赤色領域の存在がある。また、そのような赤色領域のレポートデータは、赤目検出処理からそのような領域を除外するために赤目フィルター処理を通過することができる。なお、注意すべき点として、プレ取得画像処理によって適用されたテスト基準は、その次にループ処理により得られたイメージングセンサーから新たなプレ取得テスト画像と適合しない。このループ処理は、他のテスト基準が満足されるまで、若しくはシステムタイムアウトが生じるまで続けて行われる。またさらに注意すべき点として、プレ取得画像処理ステップは、センサバッファとデータを処理するために使用される専用ハードウェアサブシステムから直接的に画像データを取得するための動作についての次の画像処理連鎖(image processing chain)よりも著しく処理スピードが高い。

そして、一旦、テスト基準を満たすと、ＲＡＷ画像データは、その後適切にメインシステムメモリー内にロードされ、ＲＡＷ画像データを最終的な画素化された画像に変換するための画像処理動作が実行される。標準的な処理ステップとしては、Bayer画像データ、若しくはＲＧＧＢ画像データをＹＣＣ若しくはＲＧＢの画素化された画像データに変換する処理、画像のホワイトバランスの演算及び調整処理、画像のカラーレンジの演算及び調整処理、及び画像輝度の演算及び調整処理を含む。

この画像処理連鎖の適用に続いて、最後に、フルサイズ画像がシステムメモリー内で利用可能となり、その後、赤目フィルターサブシステムによるさらなる処理に対して、コピーされて格納される。カメラには、ＲＡＷ画像データ又は／及び最終画像データについて広範囲の輝度及び／又はカラー／グレースケールヒストグラム演算処理を行うための専用ハードウェアが搭載されている。例えば、ローカル演算処理を行うために、画像内の１つ以上のウインドウが選択される。このため、有効なデータは、「ファーストパス処理」若しくはプレ取得画像処理を使用して、より最終的な写真の生成に近づくメイン画像処理に移行する前に得られることになる。

サブサンプルされた画像、加えてプレ取得画像及びより最終的な画像は、メイン画像処理のツール連鎖（toolchain）によって、最終画像の生成と並行して生成される。このような処理は、好ましくは、図１の画像取得手段６０内で遂行されることが好ましい。例示的な処理としては、以下の動作を含む。まず、ＲＡＷ画像が取得若しくはプレ取得され、このＲＡＷ画像は、格納処理に先立って処理される。この処理は、幾つかの所定のテスト基準に基づいた幾つかのレポートデータを生成し、もし基準を満たさなければ、プレ取得画像処理動作は、このようなテスト基準を満たすまで、イメージングセンサーバッファからもう一つの（追加的に１以上の）プレ取得画像を取得する。

そして、一旦テスト基準を満たすと、フルサイズＲＡＷ画像がシステムメモリー内にロードされ、フルのメイン画像処理連鎖が画像に適用される。最終的な画像とサブサンプルされた画像は、その後好ましい形で生成される。

図１１は、プレ取得画像処理の利用に従う例示的な配置を示したブロック構成図である。プレ取得のテスト局面の後に、ＲＡＷ画像は、センサから画像取得モジュールにロードされる。そして、画像をＲＡＷフォーマット（例えば、Bayer RGGB）からＹＣＣやＲＧＢなどのより標準化された画素フォーマットに変換した後に、最終的にフルサイズの最終画像及びオリジナル画像の１つ以上のサブサンプルされたコピーを生成するポスト取得画像処理をする必要がある。これらは、好ましくは、画像格納手段に受け渡され、そして、赤目フィルター処理がその後適用される。注意すべき点として、図１１の画像取得及び画像格納の各機能ブロックは、図１に描かれたブロック６０及びブロック８０に対応している。

図２は、目の画像に焦点を当てた画素グリッドを示したものである。デジタルカメラは、少なくとも６４０×４８０ピクセルの画素グリットを含む画像を記録する。図２は、行Ａ−Ｘ、列１−１２にラベルされたラージグリッドの２４×１２ピクセル部分を示している。

図３は、図２の瞳部分に相当する画素を示している。瞳は、暗い環状部分であり、おおよそ１７画素（Ｋ７、Ｋ８、Ｌ６、Ｌ７、Ｌ８、Ｌ９、Ｍ５、Ｍ６、Ｍ７、Ｍ８、Ｍ９、Ｎ６、Ｎ７、Ｎ８、Ｎ９、Ｏ７及びＯ８の上述した斜線の四角によって指し示された画素）を含んでいる。フラッシュがない様態での撮影写真では、これらの瞳画素は、実質的には色的にブラック（黒色）である。赤目現象が生じる撮影写真では、これらの瞳ピクセルは、実質的には色的にレッド（赤色）である。上述の瞳画素は、被写体の瞳を指し示す形状を有しており、その形状は、画素（ピクセル）がグルーピングされた、ほぼ円形（環状）、半円形若しくは楕円形をしている。ほぼ円形若しくは楕円形を形作る実質的な赤目画素のグループの位置の特定は、赤目フィルター処理において有効である。

図４は、図２のアイリス部分の画素を示している。このアイリス画素は、図２の瞳画素に隣接している。アイリス画素は、Ｊ５、Ｊ６、Ｊ７、Ｊ８、Ｊ９、Ｋ５、Ｋ１０、Ｌ１０、Ｍ１０、Ｎ１０、Ｏ５、Ｏ１０、Ｐ５、Ｐ６、Ｐ７、Ｐ８及びＰ９で指し示された斜線の四角の画素である。このアイリス画素は、大体が瞳ピクセルの周囲にあり、瞳の兆候（しるし、指標）としてさらに有効的に活用できる。典型的な被写体では、アイリス画素は、大体が一定の色を有している。しかしながら、この色は、個々の被写体の違いによって各々の目の自然色が異なるように、変化するであろう。アイリス画素の存在は、写真撮影時のアイリスサイズに依存するので、瞳がとても大きい状態若しくは瞳がとても大きい場合には、アイリス画素は現れない。

図５は、図２のアイリスと瞳の色の組み合わせを含む画素を示したものである。瞳／アイリス画素は、Ｋ６、Ｋ９、Ｌ５、Ｎ５、Ｏ６及びＯ９に位置しており、この瞳／アイリス画素は、瞳画素に隣接し、かつ幾つかのアイリス画素にも隣接している。また、瞳／アイリス画素は、肌の色合い及び目の白色領域を含んでいる被写体の目の他の領域の色も包含している。

図６は、図２の白目領域の画素を示すものであり、当該図６の７１個の画素がそれに相当する。そして、この白目領域の７１個の画素は、実質的に白色であり、図２の瞳画素の近くでかつ実質的に瞳画素の周囲に位置している。

図７は、図２の眉領域の画素を示すものであり、この眉画素は、図７において、四角い斜線で黒色に表示されている。眉画素は、瞳画素の近くにおいて連続したライン状をしており、ラインの色は、個々の被写体によって異なる眉の自然色のように異なる。更に、被写体によっては、眉が全く見えない場合がある。

なお、これら図２から図７は、例示的に示した被写体の目の画素を詳細に説明するものであり、目の画像に含まれている画素の位置及び実際の画素数は、撮影写真内の被写体の位置、被写体とカメラとの距離、及びカメラの画素密集度（有効画素数）により変化する。

図１の赤目フィルター手段９０は、デジタル的に格納された画像から実質的に赤色を有する画素をサーチし、その後画素グルーピングが、図３の画素に似た円形又は楕円形を有するか否かを判別する。そして、画素グルーピングが図３の画素に似た円形又は楕円形を有している場合、その画素グルーピングの色を修正する。好ましくは、黒色に修正する。

円形若しくは楕円形の画素クルーピングのサーチは、赤目現象に起因しない赤色画素
に対する修正処理を素早く除外することに役立つ。図２の例では、赤目現象は、図３の５×５の画素グルーピングの中で見つけることができる。また、他の例としては、画素グルーピングは、目の画像を含んでいる実際の画素数によって決まる同様の画素を包含するが、当該画素グルーピングの色及び形状は、類似している。このため、例えば、赤色画素が長いライン状である場合には、その形状が実質的に円形若しくは楕円形でないために、素早く修正処理を行うことができない。

また、付加的なテストが、赤目現象を指し示す色を有する円形の画素グループを素早く修正することを避けるために使用され、画素グルーピングの周囲の画素のさらなる解析処理によって行われる。例えば、赤目現象を引き起こしてしまう撮影写真においては、同様の赤色を有する画素グルーピングに基を発する範囲（半径）の周囲には、通常、他の画素は存在しない。これは、瞳は、被写体の顔の構成要素によって取り囲まれており、赤目色は、被写体の顔についての自然な色のように、通常は見つけることができない。この画素グルーピングに基を発する範囲（半径）は、誤検出を回避するために十分な画素を解析するために十分な大きさであるけれども、赤目現象を有する被写体の他の目を除外するには小さい。好ましくは、この範囲は、画素グルーピングの半径の２倍から５倍の間の範囲であるとよい。また、他の兆候（しるし、指標）は、図４の瞳画素の周りのアイリス画素と同一性を含む赤目の存在を確認するために使用される。このアイリス画素は、通常共通の色を有しているが、サイズとアイリスの色は、被写体によって変化する。さらに、目の白目部分は、図６に示すような瞳画素を取り囲んでいる周囲の白色画素のグルーピングを指し示す。しかしながら、瞼が開いている状態での瞳の位置は、写真撮影時の被写体の頭の方向によって変化する。その結果、アイリスの周囲の白画素の数は、画素グルーピングを取り囲んでいる要件を要せずに、赤目現象の指標を確認することができ、他の赤色画素グルーピングの誤り修正を提示できる。好ましくは、白色画素数は、瞳画素グルーピングの画素数の２倍から２０倍の間とする。なお、さらなる検証として、図７には眉画素が示されている。

さらに、追加的な基準を、赤色画素グルーピングの修正処理を素早く回避するために使用することができる。この基準は、撮影写真のコンディションが赤目現象を指し示したものであった場合の判別を含む。この撮影写真のコンディション（条件）には、フラッシュの使用の有無、環境光レベル、被写体距離を含み、このような赤目現象を指し示す撮影写真時のコンディション（条件）がなければ、その後赤目フィルター手段９０は、連動して動作しない。

図５は、アイリス若しくは目の白色領域の色要素が組み合わされた赤目現象の色要素を有する瞳／アイリス画素の組み合わせを示している。本発明は、赤目に関係する色要素を分離し、分離された色要素の色を修正し、その後当該画素に修正された色として黒色を加えることでこれらの画素を修正する。黒色要素を有する赤色要素の修正の結果は、より自然なものとなる。例えば、アイリスが緑色であれば、瞳／アイリス画素は、赤色と緑色を有する。そこで、赤目フィルター処理は、赤色要素を取り除き、画素を黒色に置き換え、結果として、黒緑画素に修正する。

図８は、本発明の動作方法を説明するためのフローチャートであり、赤目フィルター処理は、カメラ内で動作する従来技術における公知の他の処理に対して追加的に適用される。公知の他の処理としては、フラッシュ制御、焦点制御、画像の記録、格納及び表示制御がある。この赤目フィルター処理は、好ましくは、マイクロコンピュター（μC）又はデジタルシグナルプロセッサ（DSP）内のソフトウェア内で動作し、画像格納手段８０に格納された画像を処理する。赤目フィルター処理は、ステップ２００から開始され、ステップ２１０の条件（判別処理）は、赤目現象の可能性をチェックするためのものである。このステップ２１０の条件は、赤目フィルターと直接通信する露出制御手段３０からの信号に含まれている。けれども、露出制御手段３０は、画像格納手段８０にデジタル画像とともにこの信号を格納する。ステップ２１０において、当該条件が赤目現象の可能性を指し示すものではない場合には、その後、ステップ２１５に進む。ステップ２１０は、図９において、さらに詳細に示されており、当該ステップ２１０は、オプショナル処理ステップであり、当該ステップ２１０を行わないように構成することも可能である。その後、ステップ２２０において、赤目を指し示す色を有する画素のサーチ処理をデジタル画像に対して行う。赤目画素グルーピングは、その後のステップ２３０で解析される。赤目は、当該グルーピングの形状が赤目現象を指し示すものであるか否かによって判別される。このステップは、２つの赤目を有する被写体若しくは赤目を有する複数の被写体に応じて、複数の赤目画素グルーピングを把握する。赤目を指し示す画素グルーピングが無い場合には、その後、ステップ２１５に進む。また、その他に、オプショナルステップ２４０において誤り赤目画素グルーピングが精査される。このステップ２４０は、図１０においてさらに詳細に示しており、さらに被写体に目の兆候を有していない赤色画素グルーピングの素早い修正処理以降の処理を示している。誤り画素グループングを除外する処理の後、画素グルーピングが残っていなければ、ステップ２１５の処理に進む。また、ステップ２５０は、ステップ２４０を通過した画素グルーピングの色を修正する。好ましくは、画素グルーピング内の赤色を黒色に置き換える色修正処理を行う。その後、オプショナルステップ２６０において、赤目画素グルーピングを取り囲んでいる画素の赤色要素について解析する。これらは、図５の画素と同等である。赤色要素は、赤目フィルター処理によって黒色に置き換えられる。その後処理はステップ２１５に進む。

なお、画素の色修正、すなわち色修正された画素は、赤目フィルター処理によって赤目画素を修正された画素に置き換えることによって、画像格納手段に直接的に格納することが可能である。修正された画素は、画像格納手段にオーバーレイとして格納することも可能であるが、記録された画像を提示し、画像表示部１００に表示された際にのみ修正することも可能である。好ましくは、フィルタリングされた画像は、画像出力手段１００を通じて通信される。オーバーレイを有するフィルタリングされていない画像は、画像出力手段を通じて上述のような処理が可能なパーソナルコンピュータのような外部デバイスに伝送される。

図９は、図８のステップ２１０に相当する赤目現象の可能性を指し示す条件の精査処理を示すフローチャートである。この処理はステップ３００から開始され、ステップ３１０は、写真撮影時にフラッシュが使用されたか否かをチェックする。もし、フラッシュが使用されていなければ、赤目現象の可能性がないものとしてステップ３１５に進む。また、オプショナルステップ３２０は、写真撮影時に環境光レベルが低いか否かをチェックする。環境光レベルが低く無い場合は、赤目現象の可能性がないものとしてステップ３１５に進む。また、オプショナルステップ３３０は、被写体が写真撮影時にカメラに相対的に近いか否かをチェックする。被写体が写真撮影時にカメラに相対的に近くなければ、赤目現象の可能性がないものとしてステップ３１５に進む。また、ステップ３４０は、赤目が存在する可能性を示すものである。

図１０は、図８のステップ２４０に相当し、誤り赤目画素グルーピングの可能性を指し示す条件の精査処理を示すフローチャートである。ステップ４００から始まり、ステップ４１０は、画素グルーピングの範囲内に赤目画素が見つかるか否かをチェックする。好ましくはこの画素グルーピングの範囲は、当該画素グルーピングの半径の２倍から５倍の範囲であるとよい。画素グルーピングの範囲内に赤目画素が見つかれば、ステップ４１５に進み、当該画素グルーピングが誤り赤目画素グルーピングを指し示すものとして処理する。また、ステップ４２０は、画素グルーピングの周囲に白色領域の画素があるか否かをチェックする。この領域は、被写体の目の白色領域の指標であり、かつ画素グルーピング内の画素数の２倍から２０倍の間の画素数を有する。画素グルーピングの周囲に白色領域の画素が見つからなければ、ステップ４１５に進み、当該画素グルーピングが誤り赤目画素グルーピングを指し示すものとして処理する。また、ステップ４３０では、画素グルーピングの周囲の虹彩環又は眉ラインをサーチする。画素グルーピングの周囲に虹彩環又は眉ラインが見つからなければ、ステップ４１５に進み、当該画素グルーピングが誤り赤目画素グルーピングを指し示すものとして処理する。また、ステップ４４０は、赤目画素グルーピングが誤りでないことを指し示すものであり、各々のステップ４１０、４２０及び４３０の処理は、誤り赤目画素グループをチェックする処理である。なお、画像の誤り修正についても提示する処理を行うことも可能であり、また、図１０の精査処理は、単独で、又は組み合わせて使用することも可能である。

なお、図８の赤目現象の条件精査ステップ２１０又は赤目現象の誤り精査ステップ２４０は、好適な結果に到達するために使用され、他の形態としては、当該ステップ２４０は、ステップ２１０を除外した処理においても十分に適用可能である。赤目現象の色及びグルーピングの解析処理の各々は、図８のステップ２１０及びステップ２４０の両処理を除外しても差し支えない。さらに、上述した色としての赤色は、赤目現象の指標を指し示す色、鮮やかさ、明るさのレンジ（範囲）を意味し、上述した色としての白色は、人間の目の白色領域を指し示す色、鮮やかさ、明るさのレンジ（範囲）を意味する。

このように、プレフラッシュに注意を払うことなく、フラッシュ機能を有する小型のデジタルカメラ内での赤目現象を取り除くための改善された方法及び装置を提供することが可能となる。

本発明に従って動作するカメラ装置のブロック構成図である。 目の画像の焦点を当てた画素グリッドを示す図である。 上記図２の瞳の画素を示したものである。 上記図２のアイリスの画素を示したものである。 上記図２の瞳及びアイリス色の組み合わせを包含する画素を示した図である。 上記図２の白目領域の画素を示したものである。 上記図２の眉領域の画素を示したものである。 本発明に従う動作方法を説明するためのフローチャートである。 赤目現象写真撮影の可能性を指し示す条件を精査する処理を説明するためのフローチャートである。 誤り赤目画素グルーピングを指し示す条件を精査する処理を説明するためのフローチャートである。 プレ取得画像処理の利用に従う例示的なブロック配置を示した構成図である。

符号の説明

２０ カメラ
３０ 露出制御部
４０ 光センサ
５０ 焦点制御部
６０ 画像取得部
７０ フラッシュ（照明装置）
８０ 画像格納部
９０ 赤目フィルター部
９２ ピクセル（画素）探知部
９４ 形状解析部
９６ ピクセル（画素）修正部
９８ 誤り回避解析部
１００ 画像表示部
１１０ 画像出力部

Claims (6)

1. 画像取得手段により取得されたデジタル画像における、予め選択された赤目現象に起因する画素を含む領域に対してダウンサンプリングし、前記デジタル画像に関するサブサンプリング画像を生成する画像サブサンプリング手段と、
   前記赤目現象に起因する画素を含む画素グループの形状に基づいて前記生成されたサブサンプリング画像内の赤目現象を指し示す特定の領域を決定し、前記デジタル画像又は前記サブサンプリング画像における前記特定の領域の前記赤目現象に起因する画素を修正する赤目フィルター処理を遂行する赤目フィルター手段と、
   前記画像取得手段によるプレ取得画像処理を通じて取得されるプレ取得画像又は前記プレ取得画像処理を介して最終的に取得される画像を格納する画像格納手段と、を備え、
   前記画像サブサンプリング手段は、前記プレ取得画像又は前記プレ取得画像処理を介して最終的に取得される画像の前記赤目現象に起因する画素を含む領域をダウンサンプリングして前記サブサンプリング画像を生成し、
   前記赤目フィルター手段は、前記赤目現象に起因する画素を含む画素グループの形状に基づいて、前記生成されたサブサンプリング画像内の赤目現象を指し示す特定の領域を決定し、前記プレ取得画像又は前記最終的に取得される画像における前記特定の領域の前記赤目現象に起因する画素を修正することを特徴とするデジタルカメラ。
2. 前記画像サブサンプリング手段は、スプライン補間又は双３次補間処理を用いた前記ダウンサンプリングを遂行することを特徴とする請求項１に記載のデジタルカメラ。
3. 前記赤目フィルター手段は、撮影時のフラッシュの使用有無、環境光レベルの高低、又は相対的な被写体距離に基づいて、前記デジタル画像内における赤目現象の可能性の有無を判別し、前記赤目現象の可能性が無いと判別された場合に、前記赤目フィルター処理を遂行しないことを特徴とする請求項１に記載のデジタルカメラ。
4. デジタル画像の赤目フィルタリング方法であって、
   プレ取得画像処理を通じて取得されるプレ取得画像又は前記プレ取得画像処理を介して最終的に取得される画像を格納するステップと、
   前記プレ取得画像又は前記プレ取得画像処理を介して最終的に取得される画像の予め選択された赤目現象に起因する画素を含む領域に対してダウンサンプリングし、前記プレ取得画像又は前記プレ取得画像処理を介して最終的に取得される画像に関するサブサンプリング画像を生成するステップと、
   前記赤目現象に起因する画素を含む画素グループの形状に基づいて前記生成されたサブサンプリング画像内の赤目現象を指し示す特定の領域を決定するステップと、
   前記プレ取得画像又は前記最終的に取得される画像における前記特定の領域の前記赤目現象に起因する画素を修正する赤目フィルター処理を遂行するステップと、
   を含むことを特徴とする赤目フィルタリング方法。
5. 前記サブサンプリング画像を生成するステップは、スプライン補間又は双３次補間処理を用いた前記ダウンサンプリングを遂行するステップであることを特徴とする請求項４に記載の赤目フィルタリング方法。
6. 撮影時のフラッシュの使用有無、環境光レベルの高低、又は相対的な被写体距離に基づいて、前記デジタル画像内における赤目現象の可能性の有無を判別するステップをさらに含むことを特徴とする請求項４に記載の赤目フィルタリング方法。