JP4617121B2 - 個人認証装置及び個人認証方法 - Google Patents

Description

本発明は、個人認証装置及び個人認証方法にかかり、特に、個人の眼の瞬きを利用して個人照合を行なことで個人認証を行なう個人認証装置及び個人認証方法に関する。

近年、バイオメトリクスは、生物学的な特徴に基づく個人性、及び行動学的な特徴に基づいて個人を照合し、個人の正当性、すなわち認証を行なう本人認証（個人認証）に用いられつつある。このバイオメトリクスでは、指紋、虹彩、声紋、口唇の動き等の生体情報が用いられる。指紋、虹彩に代表される静的生体情報による個人認証は、高精度である一方、その脅威耐性に関しては問題がある。すなわち、虹彩は市販の特殊用紙にプリントアウトするだけで認証でき、指紋は食用グミで作成された人工指で容易に認証され、声紋は録音された音声で、口唇の動きは模写によって認証に対応することが可能である。

一方、動的生体情報による個人認証は、静的生体情報による個人認証に比べて精度は劣るものの、その受容性、及び脅威耐性については静的生体情報による個人認証より優れている。したがって、静的生体情報と動的生体情報を複合的に個人認証に用いることで、バイオメトリクスの信頼度を高めることができる。

また、眼の瞬きを用いた認証技術として、瞬きによって暗証データを入力することで個人認証を行なうことが提案されている（特許文献１）。
特開２００３−１８７２３２号公報

しかしながら、従来技術では単に暗証データを用いた個人認証であって、動的生体情報による個人認証ではないため、暗証データの流出には対応することができない、という問題がある。

本発明は、動的生体情報の中でも模写が極めて困難である眼の瞬き動作に着目し、瞬きに関連する特徴量を抽出して個人の照合を行い、個人認証することができる個人認証装置及び個人認証方法を提供することを目的とする。

人間は一日に約２万回の瞬きをしているが、瞬きを常時意識的に行なっている者はいない。また、自分がどのように瞬きをしているかは、特別な機械を用いなければ観測できない。これらのことから、個人照合に瞬きを用いた個人認証は、指紋や虹彩などの静的生体情報による個人認証より、脅威耐性が高いということができる。

本発明は、上記の点に着目して成されたもので、本発明の個人認証装置は、認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して複数フレーム画像からなる動画情報を出力する撮影手段と、前記動画情報に基づいて、各フレーム画像において黒眼領域の画像及び白眼領域の画像の何れか一方を、瞬きに関連する特徴画像として抽出する特徴画像抽出手段と、抽出された前記特徴画像に基づいて、閉眼動作画像のフレームが第１の個数で開眼動作画像のフレームが第２の個数となるようにフレーム数を正規化する正規化手段と、前記正規化手段で正規化されたフレーム数の特徴画像からなる入力画像と予め求められた認証対象者の瞬き時の各フレーム画像から得られる、前記正規化手段で正規化されたフレーム数の前記特徴画像からなるテンプレート画像とを比較し、各フレーム毎に算出される前記入力画像の総画素数と前記テンプレート画像の総画素数との絶対差分値の和を、類似度として演算し、この類似度が予め設定した所定値を超えたか否かに基づいて認証対象者が正当な利用者であるか否かを判定する判定手段と、を含んで構成したものである。

また、本発明の個人認証方法は、認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して得られる複数フレーム画像からなる動画情報に基づいて、各フレーム画像において黒眼領域の画像及び白眼領域の画像の何れか一方を、瞬きに関連する特徴画像として抽出し、抽出された前記特徴画像に基づいて、閉眼動作画像のフレームが第１の個数で開眼動作画像のフレームが第２の個数となるようにフレーム数を正規化し、前記正規化されたフレーム数の特徴画像からなる入力画像と予め求められた認証対象者の瞬き時の各フレーム画像から得られる、前記正規化されたフレーム数の前記特徴画像からなるテンプレート画像とを比較し、各フレーム毎に算出される前記入力画像の総画素数と前記テンプレート画像の総画素数との絶対差分値の和を、類似度として演算し、この類似度が予め設定した所定値を超えたか否かに基づいて認証対象者が正当な利用者であるか否かを判定することを特徴とする。

本発明では、認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して得られた複数フレーム画像からなる動画情報に基づいて、各フレーム画像において黒眼領域の画像及び白眼領域の画像の何れか一方を、瞬きに関連する特徴画像として抽出する。撮影位置から認証対象者までの距離等の撮影状態によって、撮影時の動画情報のフレーム数が異なることがあるため、閉眼動作画像のフレームが第１の個数で開眼動作画像のフレームが第２の個数となるように、フレーム数を正規化する。

そして、正規化されたフレーム数の特徴画像からなる入力画像と予め求められた認証対象者の瞬き時の各フレーム画像から得られる、正規化されたフレーム数の特徴画像からなるテンプレート画像とを比較し、各フレーム毎に算出される入力画像の総画素数とテンプレート画像の総画素数との絶対差分値の和を、類似度として演算し、類似度に基づいた照合を行い、照合結果に基づいて認証対象者が正当な利用者であるか否かを判定する。

本発明によれば、瞬きに関連する特徴画像を抽出して個人の照合を行い、照合結果に基づいて個人認証を行なっているため、受容性、及び脅威耐性に優れた個人認証を行なうことができる。

以上説明したように本発明の個人認証装置及び個人認証方法によれば、瞬きに関連する特徴画像を抽出して個人の照合を行い、照合結果に基づいて個人認証を行なっているため、受容性、及び脅威耐性に優れた個人認証を行なうことができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態は、特徴画像として黒眼領域の画像（以下、単に黒眼領域という）を抽出し、複数回の瞬きを撮影して得られた黒眼領域の総画素数から演算されたテンプレートデータ（総画素数の平均値）と、認証対象者が瞬きを行なったときに得られた黒眼領域の総画素数とを用いて類似度を演算し、演算した類似度を用いて認証対象者を認証するようにしたものである。

本実施の形態の個人認証装置は、図１に示すように、認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して複数フレーム画像からなる動画情報を出力する高速カメラ１０、認証対象者の顔を照明するハロゲンランプ等で構成された照明装置１２、高速カメラで撮影された動画情報に基づいて、個人照合を行ない、照合結果に基づいて個人認証を行なうパーソナルコンピュータ１４から構成されている。

高速カメラとしては、 ＶＦＣ‐１０００ＳＢ （朋栄社製、商品名；最大１０００ｆｐｓ）を使用することができる。

次に、図２及び図３を参照して、テンプレートデータの作成ルーチン及びパーソナルコンピュータで実行される個人認証ルーチンについて説明する。まず、図２を参照してテンプレートデータの作成ルーチンについて説明する。

ステップ１００では照明装置１２を点灯させて瞬きを行なっている認証対象者の顔を照明し、カメラを用いて所定フレームレート（例えば、５００ｆｐｓ）で認証対象者の顔を撮影する。これにより、所定フレーム数からなる動画情報が得られる。本実施の形態では、照明装置として点光源を用いているため、図４の特定フレームの原画像に示すように各フレームの黒眼領域内に照明装置の光源部分が反射点光源として撮影される。この光源からの光の反射により、瞳部分が明るくその周辺が暗くなった画像が得られる。

ステップ１０２では、反射点光源の位置を眼の中心とみなし、ロバーツオペレータを用いたエッジ検出を行なうことで図５に示す画像のように、例えば７０×６０ピクセルサイズの領域を切り出す。これによって、黒眼領域を含む黒眼近傍領域の画像を切り出すことができる。

次のステップ１０４では、２値化処理によって黒眼領域を抽出する。すなわち、黒眼領域の輝度値は閾値（例えば、７０）未満であるので、黒眼近傍領域の画像に対して、輝度値が閾値未満の画素の輝度値を０（黒画素）に、輝度値が閾値以上の画像の輝度値を２５５（白画素）にする２値化処理を行なう。また、光源の反射部分である反射点光源も黒眼領域なので、２値化処理により抽出された黒眼領域の周囲にフラグを立て、その内部の全ての画素の輝度値を０にする処理を行なう。これにより、図６及び図７に示すよう、各フレーム毎に黒眼領域が特徴画像として抽出される。

２値化処理された画像では、開眼状態から閉眼状態へ移行するにつれて、図７に示すように本来黒眼領域ではない睫毛等の画素の輝度値が２値化処理により０となり、正確な黒眼領域の総画素数（面積に相当する）を算出できなくなる。

そこで、ステップ１０６では、睫毛等の画素が含まれていない第１フレームの画像をその１回の瞬きにおける基準画像とし、下記（１）式より基準画像と第ｎフレームにおける画像との和により共通部分を求める（ｎは第２フレームから最終フレームまでのフレーム番号を示す。）。黒眼領域に含まれる画素であれば、第１フレームの画像及び第ｎフレームにおける画像のいずれの画像にも輝度値が０の画素として含まれている。このため、黒眼領域に含まれる画素について輝度値の和を求めても０のままであるので、和によって輝度値が２５５以上となった画素の輝度値を（１）式の括弧に示すように２５５とすることにより、図８に示す画像のように、第ｎフレームにおける睫毛等の画素を除いた黒眼領域を特定することができる。そして、（２）式に基づいて黒眼領域の総画素数、すなわち黒眼領域の面積を求める。

ここで、Ｉ_base（ｘ，ｙ）は２値化処理を施した基準画像の座標（ｘ，ｙ）における画素の輝度値、Ｉ_n（ｘ，ｙ）は２値化処理を施した第ｎフレームの画像の座標（ｘ，ｙ）における画素の輝度値、Ｂ（ｘ，ｙ）は第ｎフレームの画像の座標（ｘ，ｙ）における画素の輝度値を各々表す。

また、（２）式のｘｓｉｚｅ，ｙｓｉｚｅは黒眼領域の縦幅と横幅、ｘｓｉｚｅ×ｙｓｉｚｅはｘｓｉｚｅ×ｙｓｉｚｅの領域内の総画素数、右辺第２項はｘｓｉｚｅ×ｙｓｉｚｅの領域内の白画素の総画素数、Ｓｎは第ｎフレームにおける黒眼領域の総画素数を表す。

撮影状態によってカメラと認証対象者との距離や瞬き動作を撮影した場合の動画情報のフレーム数が相違するため、ステップ１０８では、撮影状態に応じて黒眼領域の総画素数及び動画情報のフレーム数の正規化処理を行う。

まず、黒眼領域の総画素数は、以下の（３）式を用いて基準撮影状態における黒眼領域の基準画素数に対応するように正規化する。すなわち、図５の黒眼領域近傍の画像から両目間の距離ｌを算出し、このｌをカメラから認証対象者までの距離を基準距離として撮影したときの両目間の距離（定数）ｌ₀に統一することで総画素数の正規化を行う。これにより、黒眼領域の総画素数がカメラから認証対象者までの基準距離に応じた値になるように正規化される。

ここで、Ｓは正規化前の黒眼領域の総画素数、Ｓ’は正規化後の黒眼領域の総画素数を表す。なお、本実施の形態ではｌ₀＝２５０とした。

総画素数の正規化を行った後、フレーム数の正規化を行う。フレーム数の正規化は、全フレームを閉眼動作画像フレームと開眼動作画像フレームとに分類し、線形補間処理によって各動作フレームのフレーム数を統一した後、両フレームを結合するという手順で行う。

まず、図９に示すように、全フレーム画像を、フレーム番号を横軸、黒眼領域の総画素数を縦軸とする座標にプロットし、黒眼領域の総画素数が最小値となるフレームを境界フレームとし、この境界フレームが複数個連続して存在する場合を考慮して閉眼動作画像フレームＡと開眼動作画像フレームＢとに分類する。

本実施の形態では、黒眼領域の総画素数の最小値を０％、最大値を１００％とし、閉眼動作画像フレームは総画素数が９５％以下になるフレームから０％になるフレームまで、開眼動作画像フレームは総画素数が０％になるフレームから８０％になるフレームまでとして分類した。

次に、１回の瞬き毎に各動作画像フレームのフレーム数に相違が生じているため、線形補間によりフレーム数を統一する。本実施の形態では、閉眼動作画像フレームを５０フレーム、開眼動作画像フレームを１００フレームに統一した。また、線形補間後、図１０に示すように閉眼動作画像フレームＡ´と開眼動作画像フレームＢ´とを結合し、重複する最小値を除いた合計１４９フレームを１回の瞬きに要するフレームとした。

ステップ１１０では、次の（４）式より各フレームにおける黒眼領域の総画素数の平均値を算出し、算出した各フレームにおける黒眼領域の総画素数の平均値の各々をテンプレートデータとして、パソコンのメモリに記憶する。

ここで、Ｔ_nは第ｎフレームにおける黒眼領域の総画素数の平均値（テンプレートデータ）、ｉはテンプレートデータ作成に使用した１人当たりの瞬きの回数、Ｓｎ（ｋ）はｋ回目の瞬きの第ｎフレームにおける黒眼領域の総画素数を表す。

また、ステップ１１２において、作成したテンプレートデータとその作成に使用したデータから各フレームにおける分散値及び偏差を次の（５）式及び（６）式に基づいて算出してメモリに記憶し、後述する類似度を判定する演算の際に用いるようにする。

ここで、σ_n ²は第ｎフレームにおける分散値、σ_nは第ｎフレームにおける偏差を表す。

次に、図３を参照して本実施の形態の個人認証ルーチンについて説明する。なお、この個人認証ルーチンにおいてテンプレートデータ作成ルーチンと対応する処理を行なう部分には、図２と同一の符号を付して説明を省略する。

まず、上記と同様に、認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して得られた複数フレーム画像からなる動画情報に基づいて、各フレーム画像毎に黒眼領域を抽出し、抽出した黒眼領域の総画素数を正規化すると共に、閉眼動作画像フレームと開眼動作画像フレームとに分類し、閉眼動作画像フレーム及び開眼動作画像フレームの数がテンプレートデータの個数と同一となるように、閉眼動作画像フレームが例えば５０個で開眼動作画像フレームが例えば１００個となるように正規化する。

次のステップ１２０では、フレーム数及び総画素数が正規化された入力画像（黒眼領域）の総画素数とテンプレートデータとを用いて、入力画像とテンプレートデータで表されるテンプレート画像との類似度を以下のように演算する。

類似度の演算には以下の４つの方式のいずれかを用いることができる。類似度の演算を行う際の対象は、右目、左目、利き目、両目の４種類に分類して行うことができる。本実施の形態では、右目と左目の類似度演算結果の和を両目の類似度演算結果として用いた。

第１の方式（方式１）は、（７）式より各フレーム毎に、テンプレートデータと認証対象データである入力画像の総画素数との絶対差分値の和を類似度として算出するものである。

ここで、Ｓ_kは入力画像である黒眼領域の第ｋフレームにおける総画素数、Ｔ_kは第ｋフレームにおけるテンプレートデータ（黒眼領域の総画素数の平均値）、ｎは１回の瞬きのフレーム数、Ｒは１回の瞬きにおけるＳ_kとＴ_kとの差分値の絶対値の和（絶対差分値の和）を表す。

第２の方式（方式２）は、上記の（５）式より算出した各人の本人データの各フレーム毎の分散値を用い、図１１に示すように分散値に閾値を設け、分散値が閾値以上のフレームは不安定であるとみなして比較対象から除去するマスキング処理を施し、マスキング処理後、（７）式より算出した絶対差分値の和を類似度として算出するものである。すなわち、分散値が閾値以上のフレームをテンプレートデータから除去すると共に、除去したフレームに対応するフレームの画像を入力画像のフレーム画像から除去し、上記（７）式により類似度を演算するものである。

第３の方式（方式３）は、上記（６）式より算出した偏差を用いてオフセット処理を行い、下記（８）式より類似度Ｄを算出するものである。このオフセット処理は、偏差に係数αを乗算して与えられている。また、フレーム毎のＤ_kが負の値になるときは、Ｄ_kを０として類似度Ｄを演算する。

そして、第４の方式（方式４）は、上記の第２の方式で述べたマスキング処理後、上記（８）式より算出したＤを類似度として算出するものである。

そして、ステップ１２４において、上記のようにして演算した類似度と所定値とを比較し、類似度が所定値未満の場合は、テンプレート画像と認証対象者の入力画像とが照合したと判断し、ステップ１２６で個人が認証されたとする。一方、類似度が所定値を越える場合はテンプレート画像と認証対象者の画像とは照合しない、と判断してステップ１２８で不認証とする。

上記の実施の形態では、各フレームの黒眼領域の総画素数を用いて、入力画像とテンプレート画像との類似度を求める例について説明したが、各フレーム毎に特徴画像のパターンマッチングを行なって入力画像とテンプレート画像との類似度を求めるようにしてもよい。

次に、本実施の形態における照合率の算出について説明する。本実施の形態では、個人照合率としてＥＲＲ（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ）用いた。このＥＲＲは、図１２に示すように、入力された情報が本人の情報であるにも関わらずシステムが他人であると判断してしまう誤り率（Ｆａｌｓｅ Ｒｅｊｅｃｔ Ｒａｔｅ（ＦＲＲ）：本人拒否率）と入力された情報が他人の情報であるにも関わらずシステムが本人であると判断してしまう誤り率（Ｆａｌｓｅ Ａｃｃｅｐｔ Ｒａｔｅ（ＦＡＲ）：他人受入れ率）が等しくなる点のことである。

認証対象者とカメラとの距離を１ｍ、認証対象者を１５名、１名当たり２０回の瞬き画像を１回当たり１５０フレームで撮影した。

また、第１フレームにおける黒眼領域の総画素数を特徴情報とし、絶対差分法を用いて個人照合率を算出した。これは静的生体情報による個人照合を意味する。比較対象は右目、左目、利き目、両目の４種類とし、被験者１５名分の平均ＥＲＲを表１に示す。

黒眼領域に着目した瞬き動作による個人照合として、比較対象を右目、左目、利き目、両目の４種類とし、上記で述べた４つの類似度を用いて照合したときの被験者１５名分の平均ＥＲＲを表２に示す。

また、本実施の形態の黒眼領域に着目した瞬き動作の個人照合に対する寄与度を評価するために、下記（９）式より演算した寄与度を用た。

ここで、ＥＲＲ_Sは第１フレームにおける黒眼領域の総画素数による個人照合率、ＥＲＲ_Mは黒眼領域に着目した瞬き動作による個人照合率を表す。各比較対象における各方式の寄与度を表３に示す。表３より両目を比較対象とした場合の寄与度が８．２０％と最も高かった。また、類似度を演算する第４の方式を用いることで全ての比較対象において高い寄与度が得られて。この結果から、瞬き動作は個人照合に充分寄与している。
表２より、両目を比較対象とし、類似度を演算する第４の方式を用いた場合が最も高く、平均ＥＲＲは１３．６８％であった。

類似度を演算する４つの方式は、全ての比較対象において第４の方式が最も高い照合率が得られた。これにより、比較演算の際に各登録本人のデータのバラつきを考慮し、分散値によるマスキング処理と偏差による重み付けを用いることが有効である。

また、全ての照合において両目を用いる場合が、最も高い照合率が得られた。３種類の片目の中では利き目が最も高い照合率を示すと推測されたが、今回の結果からは特にそのような傾向は得られず、右目が最も高い照合率を実現した。これより、両目を比較対象として利用できない場合は右目を比較対象とするのが効果的である。

本実施の形態の個人照合装置を適用した個人認証装置を示す概略図である。 本実施の形態の個人認証装置のテンプレート画像作成ルーチンを示す流れ図である。 本実施の形態の個人認証装置の個人認証ルーチンを示す流れ図である。 フレームに記憶された原画像の例を示す図である。 原画像の黒眼領域近傍を切り出した画像を示す図である。 ２値化処理による黒眼領域の特定画像を示す図である。 第ｎフレームおける２値化処理後の画像を示す図である。 基準画像との比較による黒眼領域の特定画像を示す図である。 フレームに対する正規化前の黒眼領域の総画素数変化を示す線図である。 フレームに対する正規化後の黒眼領域の総画素数変化を示す線図である。 分散値に対するマスキング処理を説明するための図である。 ＦＡＲ，ＦＲＲ，ＥＲＲの関係を示す線図である。

符号の説明

１０ 高速カメラ
１２ 照明装置
１４ パーソナルコンピュータ

Claims (6)

1. 認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して複数フレーム画像からなる動画情報を出力する撮影手段と、
   前記動画情報に基づいて、各フレーム画像において黒眼領域の画像及び白眼領域の画像の何れか一方を、瞬きに関連する特徴画像として抽出する特徴画像抽出手段と、
   抽出された前記特徴画像に基づいて、閉眼動作画像のフレームが第１の個数で開眼動作画像のフレームが第２の個数となるようにフレーム数を正規化する正規化手段と、
   前記正規化手段で正規化されたフレーム数の特徴画像からなる入力画像と予め求められた認証対象者の瞬き時の各フレーム画像から得られる、前記正規化手段で正規化されたフレーム数の前記特徴画像からなるテンプレート画像とを比較し、各フレーム毎に算出される前記入力画像の総画素数と前記テンプレート画像の総画素数との絶対差分値の和を、類似度として演算し、この類似度が予め設定した所定値を超えたか否かに基づいて認証対象者が正当な利用者であるか否かを判定する判定手段と、
   を含む個人認証装置。
2. 以下の式で得られる類似度Ｄを演算し、演算した類似度Ｄが所定値を越えているか否かを判断することにより前記入力画像と前記テンプレート画像とを照合する請求項１記載の個人認証装置。
   ただし、Ｔ_kは複数回の瞬きについて抽出されかつ各瞬きに対するフレーム数が前記正規化手段で正規化されると共に、撮影状態に応じて総画素数が基準画素数に対応するように正規化された特徴画像における総画素数の平均値で表された第ｋフレームのテンプレートデータ、Ｓ_kはテンプレートデータのフレームに対応するフレームの入力画像の総画素数、αは定数、σ_kは瞬きの回数、テンプレートデータ、及びテンプレートデータ作成に使用した総画素数から演算される偏差である。
   
3. Ｔｋを、特徴画像における総画素数の分散値が閾値以下の第ｋフレームテンプレートデータとした請求項２記載の個人認証装置。
4. 以下の式で得られる類似度Ｄを演算し、演算した類似度Ｄが所定値を越えているか否かを判断することにより前記入力画像と前記テンプレート画像とを照合する請求項１記載の個人認証装置。
   ただし、Ｔ _k は複数回の瞬きについて抽出されかつ各瞬きに対するフレーム数が前記正規化手段で正規化されると共に、撮影状態に応じて総画素数が基準画素数に対応するように正規化された特徴画像における総画素数の平均値で表された第ｋフレームのテンプレートデータ、及びＳ _k はテンプレートデータのフレームに対応するフレームの入力画像の総画素数である。
   
5. Ｔｋを、特徴画像における総画素数の分散値が閾値以下の第ｋフレームのテンプレートデータとした請求項４記載の個人認証装置。
6. 認証対象者が瞬きを行なったときの顔を所定フレームレートで撮影して得られる複数フレーム画像からなる動画情報に基づいて、各フレーム画像において黒眼領域の画像及び白眼領域の画像の何れか一方を、瞬きに関連する特徴画像として抽出し、
   抽出された前記特徴画像に基づいて、閉眼動作画像のフレームが第１の個数で開眼動作画像のフレームが第２の個数となるようにフレーム数を正規化し、
   前記正規化されたフレーム数の特徴画像からなる入力画像と予め求められた認証対象者の瞬き時の各フレーム画像から得られる、前記正規化されたフレーム数の前記特徴画像からなるテンプレート画像とを比較し、各フレーム毎に算出される前記入力画像の総画素数と前記テンプレート画像の総画素数との絶対差分値の和を、類似度として演算し、この類似度が予め設定した所定値を超えたか否かに基づいて認証対象者が正当な利用者であるか否かを判定する、
   個人認証方法。