JP2010045770A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 複数の顔画像データを用いずとも、認証精度が得られる、顔認証に使用する特徴量データを抽出可能な画像処理装置を提供する。
【解決手段】 撮像画像から検出された人間の顔の領域内の輝度のばらつきを抑制する補正ゲインを求め（Ｓ１１０）、輝度補正を行う（Ｓ１１４）。そして、輝度補正された顔の領域から、認証に用いるための、顔の領域内の特徴量データを抽出する（Ｓ１１７）。
【選択図】 図３

Description

本発明は画像処理装置及び画像処理方法に関し、特に顔認証に用いるための特徴量データの抽出が可能な画像処理装置及び画像処理方法に関する。

従来、人間の顔を撮影して得られた画像データから、認証処理を行う顔照合装置が知られている。顔照合装置は、固体撮像素子を用いた撮像装置で撮像された認証対象者の顔画像の入力を受け付ける。顔照合装置は、顔画像から、目、鼻、口、輪郭等、認証対象者の顔部品の特徴量を示す認証者特徴量データを取得する。そして、顔照合装置は、事前に記憶された登録者の登録者特徴量データの各々について認証者特徴量データと照合し、その認証対象者の登録者に対する類似度を求める。そして、認証対象者を、ここで求めた類似度が最大であった登録者であると認証する。

なお、最大であった類似度が予め定められた認証閾値よりも小さければ、認証対象者を未登録者であるとする（認証対象者を登録者であると認証しない）。また、最大の類似度が認証閾値と同じであった場合、認証対象者を登録者であるとするか、未登録者であるとするかについては、どちらかに決められている。

顔照合装置は、例えば、施設のドアの施錠／開錠の制御装置に認証結果を供給し、制御装置が、認証結果に応じてドアの施錠／開錠を行う。また、ＡＴＭ（Automated Teller Machine）で取引する利用者の特定に、顔照合装置を利用することも提案されている。具体的には、ＡＴＭに撮像装置を取り付けておき、この撮像装置で撮像した利用者の顔画像を用いて利用者を特定することが提案されている。このようにすることで、これまで利用者の認証に利用していたカード（例えば、キャッシュカード）の挿入や、暗証番号の入力等の操作を不要にし、操作性の向上を図ることができる。

ところで、従来の顔照合装置は、登録者を正面から撮像した顔画像から得た登録者特徴量データを記憶している。一方、照合時に撮像される認証対象者の顔画像における照明条件（照明の向き、明るさ、色等）は、撮像装置の設置環境や、撮像時における認証対象者の姿勢により決まる。このため、撮像装置の設置環境によっては、撮像された認証対象者の顔画像から取得した認証者特徴量データと、この認証対象者について記憶している登録者特徴量データとの類似度が小さくなることがある。その結果、登録者である認証対象者を未登録者であると誤判別することがある。

なお、登録者である認証対象者を未登録者であるとする誤判別の発生確率（所謂、誤排除率）を抑えるには、認証閾値を低めに設定すればよい。しかし、認証閾値を低めに設定すると、逆に、登録者でない認証対象者を登録者であるとする誤判別の発生確率（所謂、誤受入率）が増大し、セキュリティレベルを低下させてしまう。このため、認証閾値は、顔照合装置が適用されるシステムにおいて確保すべきセキュリティレベルに応じて設定される。具体的には、確保すべきセキュリティレベルの高いシステムほど、認証閾値を高く設定し、誤排除率の低減よりも誤受入率の低減を優先させている。

誤排除率と誤受入率の両者を低減させて、認証精度を向上させるため、１人の登録者について、照明条件が異なる複数の顔画像から得た登録者特徴量データを記憶することが開示されている（特許文献１参照）。具体的には、登録者の顔画像を３Ｄモデル画像（３次元モデル画像）とし、この３Ｄモデル画像から照明条件が異なる複数の２Ｄモデル画像（２次元モデル画像）を生成する。そして、生成した複数の２Ｄモデル画像から取得した登録者特徴量データを記憶するというものである。

特開２００５−５６００４号公報

しかしながら、特許文献１では、１人の登録者について照明条件が異なる複数の顔画像から得た、複数の登録者特徴量データを記憶する必要があり、登録作業が非常に煩わしいという課題があった。
そして、これは登録者特徴量データを記憶するときのみならず、登録者特徴量データとの類似度を求めるための認証者特徴量データを求めるときについても、同様の課題が存在する。すなわち、認証者特徴量データを求めるときも、照明条件の影響を排除するためには、照明条件を変えながら複数の顔画像から認証者特徴量データを求める必要が生じてしまうという課題があった。

本発明はこのような従来技術の課題に鑑みなされたものであり、複数の顔画像データを用いずとも、高い認証精度が得られる特徴量データを抽出できる画像処理装置及び画像処理方法を提供することを１つの目的とする。

上述の目的は、画像から、人間の顔を検出する顔検出手段と、顔検出手段が検出した顔の領域内の輝度を求め、画像に対して、顔の領域内の輝度のばらつきを抑制する補正を行う輝度補正手段と、輝度補正手段にて補正された画像から、認証に用いるための、顔の領域の特徴量データを抽出する抽出手段とを有することを特徴とする画像処理装置によって達成される。

また、上述の目的は、画像から、人間の顔を検出する顔検出手段と、顔検出手段が検出した顔の領域内におけるスミア発生領域、および、スミアの発生量を求め、スミア発生領域に含まれる画素値を、発生量に基づいて補正するスミア補正手段と、スミア補正手段にて補正された画像から、認証に用いるための、顔の領域の特徴量データを抽出する抽出手段とを有することを特徴とする画像処理装置によっても達成される。

また、上述の目的は、画像から、人間の顔を検出する顔検出工程と、検出した顔の領域内の輝度を求め、画像に対して、顔の領域内の輝度のばらつきを抑制する補正を行う輝度補正手段と、輝度のばらつきを抑制する補正が行われた画像から、認証に用いるための、顔の領域の特徴量データを抽出する抽出工程とを有することを特徴とする画像処理方法によっても達成される。

また、上述の目的は、画像から、人間の顔を検出する顔検出工程と、検出した顔の領域内におけるスミア発生領域、および、スミアの発生量を求め、スミア発生領域に含まれる画素値を、発生量に基づいて補正するスミア補正工程と、スミア発生領域に含まれる画素値を発生量に基づいて補正した画像から、認証に用いるための、顔の領域の特徴量データを抽出する抽出工程とを有することを特徴とする画像処理方法によっても達成される。

このような構成により、本発明によれば、複数の顔画像データを用いずとも、高い認証精度が得られる特徴量データを抽出できる画像処理装置及び画像処理方法が実現できる。

本発明の第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの構成例を示す図である。 本画像処理装置の信号処理ブロック概略図である。 第１の実施形態における顔画像データ取得手段の動作フロー図である。 顔領域のブロック分割を示した図である。 ブロックの重みを示した図である。 ブロックの輝度平均値を示した図である。 ブロックの重みと輝度平均値を乗算した結果を示した図である。 ブロックの補正ゲインを示した図である。 撮影感度毎の補正ゲイン閾値を示した図である。 第２の実施形態における顔画像データ取得手段の動作フロー図である。 検出された顔および、撮像素子における受光領域、遮光領域を示した図である。

（第１の実施形態）
以下、図面を参照して本発明の好適且つ例示的な実施形態について詳細に説明する。
図１は、本発明の第１の実施形態に係る画像処理装置の一例としての、デジタルカメラの構成を示す図である。

撮像素子１４は、ＣＣＤやＣＭＯＳセンサの光電変換素子で構成され、撮影レンズ１０を透過した光学像を電気信号に変換する。Ａ／Ｄ変換器１６は、撮像素子１４のアナログ信号の出力をデジタル信号に変換する。
タイミング発生部１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。

画像処理部２０は、Ａ／Ｄ変換器１６からのデータ、或いは、メモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。
また、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行う。この所定の演算処理については後述する。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸張部３２を制御する。
Ａ／Ｄ変換器１６の出力データは、メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介してＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ等で構成された画像表示部２８により表示される。撮像した画像データを画像表示部２８で逐次表示すれば、被写体の像をリアルタイムで表示する電子ファインダ機能を実現することが可能である。

メモリ３０は撮影した静止画像や動画像を格納する記憶装置であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。そのため、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

圧縮伸張部３２は、メモリ３０に格納された画像を読み込んで、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等を用いた周知のデータ圧縮処理或いは伸張処理を行い、処理を終えたデータをメモリ３０に書き込む。

システム制御部５０は例えばＣＰＵであり、メモリ５２に記憶されたプログラムを実行することによりデジタルカメラ１００全体を制御する。メモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。

不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
操作部７０は、システム制御部５０に各種の動作指示を入力するための操作手段を構成する。

第１シャッタースイッチＳＷ１（６２）は、デジタルカメラ１００に設けられたシャッターボタン（図示せず）の第１ストローク（例えば半押し）でオンとなる。第１シャッタースイッチＳＷ１（６２）がオンになると、システム制御部５０は、合焦制御、露出制御、および、調光制御等の動作開始を不図示の回路に指示する。

第２シャッタースイッチ（ＳＷ２）６４は、デジタルカメラ１００に設けられたシャッターボタンの第２ストローク（例えば全押し）でＯＮとなり、露光処理、現像処理及び記録処理からなる一連の処理の開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮伸張部３２で圧縮を行い、外部記録媒体１２０に画像データを書き込む記録処理が行われる。

本実施形態において、ＪＰＥＧ圧縮のモードにおいては、圧縮伸張部３２が、メモリ３０に書き込まれた画像データを読み出し、設定された圧縮率に圧縮した後、外部記録媒体１２０に記録する。
ＲＡＷモードでは、撮像素子１４の色フィルタの画素配列に応じて、ライン毎にそのまま画像データを読み出し、Ａ／Ｄ変換器１６、メモリ制御部２２を介して、メモリ３０に書き込まれた画像データを読み出し、外部記録媒体１２０に記録する。

インタフェース９１は、画像処理部２０やメモリ制御部２２と、外部記録媒体１２０とのインタフェースである。

顔認証部１０１は、画像処理部２０で処理された画像データや画像表示メモリ２４に保存されている撮像画像データを解析し、撮像画像に含まれる人間の顔を検出する。具体的には、顔認証部１０１は、人間の顔と思われる領域（顔領域）を検出する。顔認証部１０１は、顔領域が検出された場合には、人間の顔と思われる確からしさ（信頼度）、画像中の位置、サイズなどを、顔領域情報として出力する。また、顔認証部１０１は、検出した顔領域について、目、鼻、口、輪郭等の顔部品（特徴点）の特徴量を示す登録者特徴量データ（辞書データ）を算出し、出力する。

外部記録媒体１２０は、不揮発性半導体メモリカード、カード型ハードディスク等であり、デジタルカメラ１００に対して着脱可能である。

本実施形態のデジタルカメラ１００は、撮像画像から人間の顔の領域を検出し、目、鼻、口、輪郭等の顔部品の特徴量を示す特徴量データ（顔認証に用いるための辞書データ）を生成する。顔領域の検出及び特徴量データの生成は、上述の通り顔認証部１０１で行う。

本実施形態では、この特徴量データの生成処理を行う際に、斜光や逆光で撮像された画像など、光源と顔との位置関係によって顔に影がある場合には、影の領域に対して部分階調補正を実施してから特徴量データの生成を行うことを特徴とする。
また、部分階調補正は、８ビット以上の階調を有するガンマ補正前の信号、具体的にはＲＡＷ信号で実施することで、階調とびを防ぎ、より精度の高い辞書データが取得できる。

本実施形態において、顔認証部１０１は、画像表示部２８をリアルタイムで被写体を観察するために用いる電子ビューファインダー（ＥＶＦ）として機能させるために生成した表示用画像から、辞書データを取得する。

図２は、本実施形態のデジタルカメラ１００において、特徴量データの取得に関わる構成について詳細に示したブロック図である。また、図３は、図２の動作を説明するためのフローチャートである。図２、図３を用いて、本実施形態のデジタルカメラ１００における特徴量データの取得動作について説明する。

図３のＳ１０１において、撮像素子１４は予め設定された周期（ここでは１／３０秒に１回）で被写体（不図示）の撮影を行い、撮影画像に対応した画像信号を出力する。

Ｓ１０２において、撮像素子１４から読み出されたアナログ画像信号をＡ／Ｄ変換器１６はデジタル画像信号に変換し、メモリ３０は一時的に記録する。この時点での画像信号をＲＡＷ信号またはＲＡＷデータと呼ぶ。

Ｓ１０３において、ＯＢ処理部２０４は撮像素子１４のオプチカルブラック領域のデータを用いて、ＲＡＷ信号の黒レベルを０とする黒レベル補正処理を行う。また、ＷＢ（ホワイトバランス）処理部２０５は、周知のオートホワイトバランス補正処理により、光源を推定し、白色レベルを調整するために各色信号に乗じるゲイン（ＷＢゲイン）を求める。そして、ＷＢ処理部２０５はＷＢゲインをＲＡＷ信号に適用する。

Ｓ１０４において、ＷＢゲイン適用後の信号はＹＵＶ変換処理部２０６でＲＧＢ信号からＹＵＶ信号に変換される。ＲＧＢ信号とは、撮像素子１４のＲ（Red）、Ｇ（Green）、Ｂ（Blue）それぞれの色フィルタに対応した画素の出力値で表した信号であり、ＹＵＶ信号とは、輝度信号（Ｙ）と、色差信号（Ｕ、Ｖ）で表した信号である。また、リサイズ処理部２０７は、ＹＵＶ信号の縦横比を１：１にリサイズし、画像表示メモリ２４に書き込む。Ｓ１０１〜Ｓ１０４の処理を１／３０秒周期で繰り返すことで、画像表示部２８は３０フレーム／秒でＹＵＶ信号を用いて撮影画像を表示し、ＥＶＦとして機能する。

Ｓ１０５において、リサイズ処理部２０７からのＹＵＶ信号、即ち表示用画像を表す信号は顔検出処理部２０９にも供給される。顔検出処理部２０９は、表示用画像から人間の顔と思われる画像領域（顔領域）を検出し、その大きさや画像中の位置、信頼度などの情報を顔検出結果としてブロック積分処理部２１０へ出力する。

なお、本実施形態における顔検出には、公知の顔検出技術を利用できる。
公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。
具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

Ｓ１０６以下の処理では、検出された顔領域内の輝度のばらつきを抑制する補正を行い、顔領域内の影の影響を軽減させる。
Ｓ１０６において、ブロック積分処理部２１０は、顔検出処理部２０９からの顔検出結果に従い、顔領域を矩形状と見なして、図４に示すようなブロックに分割する。ブロックの大きさは、例えば、平均的な大きさの顔領域が予め定めた数に分割されるように予め定めておくことができる。

本実施形態では、分割したブロックの位置を、左上隅のブロックについて(0,0)とした２次元座標で表すものとする。図４の例では、顔領域を水平７ブロック、垂直８ブロックの計５６ブロックに分割しており、ブロックの座標は(0,0)から(6,7)である。

Ｓ１０７において、ブロック積分処理部２１０は、各ブロックに重みを設定する。本実施形態では、目の付近より上のブロックの重みを０、また、背景が含まれるブロックの重みを０し、それ以外のブロックの重みを１と設定する。なお、以下の説明では、ブロック(x,y)の重みをBLW[x][y]と表記する。

図５は、図４のブロック(0,4)〜(6,7)までに設定する重みの例を示す図である。目から上のブロック(0,0)〜(6,3)までは演算に用いないため、図５では記載を省略している。また、以下の説明で、全ブロックとは演算に用いるブロックの全て、すなわちブロック(0,4)〜(6,7)を意味し、ブロック(0,0)〜(6,3)は含まれない。

Ｓ１０８において、ブロック積分処理部２１０は、ブロック毎に、輝度平均値を算出する。なお、以下の説明では、ブロック(x,y)の平均輝度をYAV[x][y]と表記する。図６に、ブロック(0,4)〜(6,7)について算出した輝度平均値の例を示す。

Ｓ１０９において、ブロック積分処理部２１０は、Ｓ１０７及びＳ１０８にて算出したブロック重みBLW[x][y]と各ブロックの輝度平均値YAV[x][y]とを用いて、顔領域内の輝度平均値AYAVを算出する。
AYAV = (YAV[0][4]×BLW[0][4]+YAV[0][5]×BLW[0][5]+・・・YAV[6][3]×BLW[6][3])/(BLW[0][4]+・・・BLW[6][3])

図７は、各ブロックについてブロック重みBLW[x][y]と各ブロックの輝度平均値YAV[x][y]とを乗じた値を示している。従って、図７の各ブロックの値の合計(1510)を、重みの合計値(22)で除すことにより輝度平均値AYAV(68.6)が得られる。

Ｓ１１０において、補正ゲイン算出処理部２１１は、ブロックごとの輝度平均値を予め定めた１つの輝度値にするための補正ゲインを算出する。本実施形態では、ブロックごとの輝度平均値を全ブロックの輝度平均値にするための補正ゲイン（ブロック補正ゲイン）を求める。

以下の式を用いてブロック(x,y)の補正ゲインCGA[x][y]を算出する。なお、重みが０のブロックについては、補正しない（すなわち、補正ゲイン＝１）とする。
CGA[x][y] = AYAV / YAV[x][y] (BLW[x][y]＞0)
CGA[x][y] = 1 (BLW[x][y]=0)

図８（ａ）は、平均輝度値AYAVが68.6である場合に算出されるブロック補正ゲインの例を示している。
なお、このブロック補正ゲインは、必ずしも平均輝度値を用いて求める必要はない。例えば、顔領域としての適正輝度値を予め設定しておいて、ブロックごとの輝度平均値をこの適正輝度値にするためのブロック補正ゲインを求めるようにしてもよい。
図８（ｂ）は、適正輝度値が120である場合に算出されるブロック補正ゲインの例を示している。

Ｓ１１１において、補正ゲイン算出処理部２１１は、ブロック補正ゲインの平均値CGAAverageを、以下のように算出する。
CGAAverage = (CGA[0][4]+CGA[0][5]+・・・CGA[6][3])/28

Ｓ１１２において、補正ゲイン算出処理部２１１は、図９に示すように予め設定した、撮影感度ごとの補正ゲイン上限値と補正ゲイン平均値とを比較する。そして、補正ゲイン算出処理部２１１は、補正ゲイン平均値が上限値を超える場合、現在の画像から特徴量データは取得しないことを決定し、次の撮影動作に処理を戻す。これは、ゲインの値が大きくなるにつれて補正後の画像のノイズが増大するため、特徴量データの信頼性が低下するためである。撮影感度が高いほど、もともとのゲインが大きいため、補正ゲインは小さいことが望ましい。従って、撮影感度が高いほど上限値は小さく設定する。

Ｓ１１３において、一方、補正ゲイン平均値が上限値以下であれば、補正ゲイン算出処理部２１１は、ブロック単位であるブロック補正ゲインから、線形補間などの補間処理によってブロック内の画素毎の補正ゲイン（画素補正ゲイン）を算出する。

Ｓ１１４において、輝度補正処理部２１２は、ブロック内の画素に画素補正ゲインを乗算して、輝度補正を行う。
Ｓ１１５において、ＹＵＶ変換処理部２１３は、輝度補正後の画像信号をＹＵＶ信号へ変換する。
Ｓ１１６において、リサイズ処理部２１４は、ＹＵＶ信号の縦横比が１：１となるようリサイズ処理する。

Ｓ１１７において、特徴点抽出処理部２１５は、リサイズ後のＹＵＶ信号と顔検出結果とに基づいて、周知の方法により、目、鼻、口、輪郭等、認証対象者の顔部品と、その特徴量データを抽出する。
Ｓ１１８において、デジタルカメラ１００が、抽出した特徴量データを辞書データとして登録する辞書登録モードに設定されていれば、Ｓ１１９に進む。デジタルカメラ１００が、画像から抽出した特徴量データを、不揮発性メモリ５６に辞書データとして既に記録されている特徴量データと照合する認証モードに設定されていれば、Ｓ１２０に進む。

Ｓ１１９において、特徴点抽出処理部２１５は、抽出した特徴量データを、例えば不揮発性メモリ５６に、辞書データとして記録する。
Ｓ１２０において、特徴点抽出処理部２１５は、抽出した特徴量データを特徴量データ比較部２１６に出力する。特徴量データ比較部２１６は、不揮発性メモリ５６からすべての辞書データを読み出し、特徴点抽出処理部２１５から出力された特徴量データとの類似度を算出する。そして、読み出した辞書データのうち、最も類似度の高かった辞書データと、特徴点抽出処理部２１５から出力された特徴量データとが同一人物であると判断することで、認証を行う。

このように、本実施形態によれば、顔認証に必要な特徴量データを抽出するための画像に対し、顔領域の輝度補正を行ってから特徴量データを抽出する。従って、逆光や斜光などの環境下で撮像された画像など、照明条件などにより顔に影などが発生した場合でも、その影響を軽減した、精度の良い辞書データを登録することができる。

また、輝度補正処理をガンマ補正前のＲＡＷ信号の状態で実施することにより、輝度補正による階調とびの発生が抑制され、目、鼻、口、輪郭等の顔部品について、精度の良い特徴量データを取得することが可能になる。

また、辞書データとして登録する特徴量データを抽出する場合の動作のみならず、登録済みの辞書データを用いて顔認証する際にも、輝度補正処理を適用した画像から特徴量データを抽出することで、認証精度を向上させることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
本実施形態に係る画像処理装置は、目、鼻、口、輪郭等、認証対象者の顔部品の特徴量を示す登録者特徴量データ（辞書データ）を抽出する際に、顔領域におけるスミアの発生を検出し、スミアの影響のない顔部品の特徴量を算出することを特徴とする。

本実施形態においても、第１の実施形態と同様の構成を有するデジタルカメラ１００を用いることが可能であるため、構成についての重複する説明は省略し、辞書データとして登録する特徴量データ抽出動作について説明する。

図１０は、本実施形態の画像処理装置としてのデジタルカメラ１００の、特徴量データの抽出処理を説明するフローチャートである。本実施形態においても、顔認証に用いるための、顔部品の特徴量データ（辞書データ）を表示用画像を用いて抽出するものとする。

まず、第１の実施形態におけるＳ１０１〜Ｓ１０４と同様にして、ＥＶＦ表示用の画像の撮影からＹＵＶ信号の生成、リサイズ処理までが行われる。

Ｓ９０３において、ＹＵＶ信号は顔検出処理部２０９（図２）に供給され、人間の顔領域が検出される。
Ｓ９０４において、画像処理部２０は、スミア発生量を算出する。
図１１は、撮像素子１４を、便宜上、水平方向２６画素×垂直方向３０画素の受光画素１１０と、水平方向２６画素×垂直３画素のスミア検出用の遮光画素１１２を備えた構成として示す図である。以下の説明において、水平方向ｍ番目、垂直方向ｎ番目の画素の出力値をPIX(m,n)と記述する。

スミアは撮像素子１４がＣＣＤである場合に、飽和画素からの電荷が垂直転送路に漏れこむことによって発生する。そのため、垂直転送路に沿って伝播し、例えば図のＸ座標７から９までの列方向の全ての画素がスミアの影響を受ける。また、遮光画素１１２は遮光されているため通常その出力は０であるが、スミアが発生すると、ＣＣＤの垂直転送動作によってスミアが伝播し、０より大きな値を出力するようになる。よって、スミア検出領域の出力画素値を縦方向に加算平均することで、各列におけるスミア発生量SME[m]を算出できる。

例えば０列目のスミア発生量SME[0]は、
SME[0]= (PIX(0,30)+PIX(0,31)+PIX(0,32))/3
で算出できる。

図１１の例では、７列目から９列目にスミアが発生しており、その値が例えば
SME[7] = 400
SME[8] = 400
SME[9] = 200 （いずれも10ビットA/Dの場合）
である場合を示している。

なお、本実施形態において、スミア発生量の算出は、画像処理部２０が行う。
また、画像処理部２０は、スミア発生量に加え、スミア発生領域及び飽和画素領域も検出する。スミア発生領域と飽和画素領域は、スミア発生が検出された列における画素値に基づいて検出することができる。

次に、Ｓ９０５において、画像処理部２０は、列毎に算出したスミア値を、対応する列に含まれる全ての画素の値から減算し、スミアによる画素値の増加分を補正する。すなわち、
PIX(m,n) = PIX(m,n) - SME[m]
との演算を行う。

Ｓ９０６において、第１の実施形態において説明したように、周知の手法を用いて、顔認証に必要な顔部品とその特徴量データを抽出する。
Ｓ９０７において、顔検出処理部２０９が顔検出結果として出力する顔領域の位置に関する情報（顔座標）が、顔領域を含む矩形領域の対角点座標であるとする。そして、図１１に示す例において、顔検出処理部２０９が顔座標として、座標（５，２）と座標（１８，２７）を出力したとする。

図１１の例では、座標（７，１）と座標（９，２９）を対角頂点とする矩形領域にスミアが発生している。また、７列目と８列目の受光画素はスミア発生により画素値がすべて１０２３（１０ビットのＡ／Ｄ変換器１６を用いた場合）と飽和しており、９列目はスミア値が比較的小さく、画素値が１０２３以下（８００）となる場合を例にとる。

本実施形態において、特徴点抽出処理部２１５は、スミア補正後の顔画像より顔部品を抽出するとともに、スミア補正前に画素値が飽和していた領域を含んだ顔部品は特徴量データの抽出対象から除外することを特徴としている。

図１１の例では、顔部品のうち、右目及び右ほお輪郭信号はスミアにより飽和した画像を含んでいるため、顔部品として抽出できても、その特徴量データを辞書データとして登録しない。この場合、特徴量データの抽出は行うが、登録しない方法、特徴量データの抽出自体を行わない方法のいずれでもよい。一方、口については、右端が９列目のスミア発生領域に掛かっているが、９列目の画素は飽和していないので、スミア補正後の画像から顔部品として抽出され、特徴量データの抽出も行う。従って、図１１の例においては、口、左目、鼻、左ほお輪郭信号の特徴量データが抽出され、辞書データとして登録される。なお、顔部品の種類は本発明と直接関係しないため、これらの顔部品は単なる例示であり、他の顔部品の抽出を排除したり、例示した顔部品の全ての抽出が必須であることを示す意図はない。

以上説明したように、本実施形態によれば、撮像画像から顔認証に必要な辞書データを登録する際、撮像画像中のスミア発生領域を検出し、スミア補正後の画像に対して顔部品及び特徴量データの抽出を行う。そのため、外光などの強い光源下においても、スミアの影響が少ない、より精度の高い辞書データを登録することが可能となる。

また、スミア補正前の飽和画素領域を含む顔部品は、特徴量データの登録対象から除外するので、認証に用いる特徴量データの登録量を削減することができるほか、特徴量データの精度を向上させることができ、認証精度の向上を実現することができる。
さらに、辞書データを登録するときのみならず、登録済みの辞書データを用いて顔認証する際にも、同様の処理を適用した画像から特徴量データを抽出することができ、認証精度の向上が実現できる。

上述の実施形態では、デジタルカメラにて本発明を実施する例をあげて説明を行ったが、これに限定されるものではない。デジタルビデオカメラで本発明を実施することももちろん可能である。また、装着された記録媒体や受けとった画像データや、ネットワークを介して受信した画像データから、顔の特徴量データを検出するようにすれば、パーソナルコンピュータ上のアプリケーションにおいても本発明を実施することが可能である。

Claims (15)

1. 画像から、人間の顔を検出する顔検出手段と、
   前記顔検出手段が検出した顔の領域内の輝度を求め、前記画像に対して、前記顔の領域内の輝度のばらつきを抑制する補正を行う輝度補正手段と、
   前記輝度補正手段にて補正された画像から、認証に用いるための、前記顔の領域の特徴量データを抽出する抽出手段とを有することを特徴とする画像処理装置。
2. 前記輝度補正手段が、
   前記顔の領域を複数のブロックに分割し、
   ブロックごとの輝度平均値を予め定めた１つの輝度値とするためのブロック補正ゲインを前記ブロックごとに求め、
   前記ブロックごとの補正ゲインから画素毎の画素補正ゲインを生成し、前記画素補正ゲインを前記顔の領域内の画素に適用して前記補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度補正手段が、前記ブロック補正ゲインの平均値を求め、
   前記抽出手段は、前記平均値が予め定めた値を超える場合には、前記特徴量データの抽出を行わないことを特徴とする請求項２に記載の画像処理装置。
4. 前記予め定めた値が、前記画像を撮影する際に設定された感度が低いほど、高い値に設定されることを特徴とする請求項３に記載の画像処理装置。
5. 前記抽出手段が抽出した特徴量データを、前記認証に用いる辞書データとして登録するメモリを有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記抽出手段が抽出した特徴量データと、予めメモリに記憶された辞書データとの類似度を算出することで、前記認証を行う比較手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記輝度補正手段が、前記補正を前記画像のＲＡＷ信号に対して行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 画像から、人間の顔を検出する顔検出手段と、
   前記顔検出手段が検出した顔の領域内におけるスミア発生領域、および、スミアの発生量を求め、前記スミア発生領域に含まれる画素値を、前記発生量に基づいて補正するスミア補正手段と、
   前記スミア補正手段にて補正された画像から、認証に用いるための、前記顔の領域の特徴量データを抽出する抽出手段とを有することを特徴とする画像処理装置。
9. 前記抽出手段が抽出した特徴量データを、前記認証に用いる辞書データとして登録するメモリを有し、
   前記スミア補正手段は、前記スミア発生領域における飽和画素領域を検出し、
   前記メモリは、前記飽和画素領域にかかる特徴量データは前記辞書データとして登録しないことを特徴とする請求項８に記載の画像処理装置。
10. 前記スミア補正手段が、前記補正を前記画像のＲＡＷ信号に対して行うことを特徴とする請求項８または９に記載の画像処理装置。
11. 画像から、人間の顔を検出する顔検出工程と、
    検出した前記顔の領域内の輝度を求め、前記画像に対して、前記顔の領域内の輝度のばらつきを抑制する補正を行う輝度補正手段と、
    輝度のばらつきを抑制する補正が行われた画像から、認証に用いるための、前記顔の領域の特徴量データを抽出する抽出工程とを有することを特徴とする画像処理方法。
12. 抽出した前記特徴量データを、前記認証に用いる辞書データとしてメモリに登録することを特徴とする請求項１１に記載の画像処理方法。
13. 抽出した前記特徴量データと、予めメモリに記憶された辞書データとの類似度を算出することで、前記認証を行うことを特徴とする請求項１１または１２に記載の画像処理方法。
14. 画像から、人間の顔を検出する顔検出工程と、
    検出した前記顔の領域内におけるスミア発生領域、および、スミアの発生量を求め、前記スミア発生領域に含まれる画素値を、前記発生量に基づいて補正するスミア補正工程と、
    前記スミア発生領域に含まれる画素値を前記発生量に基づいて補正した画像から、認証に用いるための、前記顔の領域の特徴量データを抽出する抽出工程とを有することを特徴とする画像処理方法。
15. 前記スミア発生領域における飽和画素領域を検出し、
    前記特徴量データのうち、前記飽和画素領域にかからない特徴量データは、前記認証に用いる辞書データとしてメモリに登録し、前記飽和画素領域にかかる特徴量データは、前記認証に用いる辞書データとしてメモリに登録しないことを特徴とする請求項１４に記載の画像処理方法。

Images