JP3855025B2

JP3855025B2 - 個人認証装置

Info

Publication number: JP3855025B2
Application number: JP2005067706A
Authority: JP
Inventors: 清実中村; 博史高野
Original assignee: Toyama Prefecture
Current assignee: Toyama Prefecture
Priority date: 2004-08-30
Filing date: 2005-03-10
Publication date: 2006-12-06
Anticipated expiration: 2025-03-10
Also published as: JP2006099718A

Description

この発明は、人の目の虹彩模様を取得して個人を識別し認証可能とするもので、特にニューラルネットワークを利用した個人認証装置に関する。

従来、コンピュータ技術やインターネットの発展とともに、コンピュータが企業のみならず一般の家庭でも広く使われるようになり、セキュリティに関する要求が高まっている。さらに、国際的な犯罪の増加や各種施設における安全対策のため、指紋や顔などの肉体的特徴を用いて個人を識別する研究が盛んに行われている。近年、肉体的特徴を用いた個人識別（バイオメトリクス認証）のための情報として、虹彩が注目されている。虹彩は、妊娠７、８カ月で作られ始めて、誕生後の２年間で安定する。虹彩の構成は、色素や筋肉によって複雑なランダムパターンができあがっていて、一卵性双生児や同一人物の左眼、右眼でも虹彩パターンが異なる。虹彩による個人識別の利点として、誕生後の２年間で安定し、それ以降、変化することはないため再登録の必要がなく、偽造も困難である。また、指や顔よりも怪我の可能性が低い点等が挙げられる。従って、虹彩認識は、パーソナルコンピュータや携帯電話のパスワード、入退出のゲート管理などにおけるセキュリティシステムとして期待できる。

従来の虹彩認識に用いられる手法としては、特許文献１〜６に開示されているように、虹彩模様のパターンマッチング法がある。特許文献１は、虹彩認識において、瞳孔と虹彩の中心位置と径を検出して目位置を特定する方法を開示している。特許文献２は、虹彩認識において、人の目の特定領域の濃度を抽出してなりすましを判定する方法を開示している。特許文献３は、虹彩認識において、眼球の運動等により生体の虹彩であるか否かを検知する虹彩認証装置を開示している。特許文献４は、虹彩認識において、被識別者の位置測定後、その被識別者が動いても虹彩撮像を可能にした虹彩撮像装置を開示している。特許文献５は、虹彩認識において、離れた位置にいる被識別者の虹彩を撮像し識別可能にした個人識別装置を開示している。特許文献６は、虹彩認識において、被識別者のシルエットから目の位置を探索して虹彩画像の撮像を可能にした虹彩画像取得装置を開示している。

しかし、虹彩認識に用いられている従来のパターンマッチング法は、虹彩が円形であることから、認識虹彩の回転に対して脆弱であり、認識時に登録画像とマッチングさせるため認識に時間がかかるという問題があった。また、システム利用の際に、被験者が目をシステムの指定位置に合わせる必要があった。このことは、虹彩認識システムを小型化し、ＰＣや携帯電話のパスワード等として利用する際には非常に問題となる。

一方、脳の空間認識・記憶系（頭頂連合野）の情報処理過程に着目して、非特許文献１，２に開示されているように、物体の回転方位と形状を認識できる回転拡散型ニューラルネットワークが、本願発明者等によって発表されている。回転拡散型ニューラルネットワークは、拡散パターンベクトル生成部、形状記憶行列生成部および方位記憶行列生成部から構成されている。この回転拡散型ニューラルネットワークは、極座標変換画像を用いるため、虹彩のような同心円状パターンの形状と回転方位認識に適している。また、方位不変の形状認識と形状不変の方位認識が同時に可能である。さらに、学習（登録）時に記憶行列を作成しているため、認識時間が非常に短いという特徴がある。
特開２００４−２１４０６号公報特開２００２−３１２７７２号公報特開２００１−３４７５４号公報特開２０００−１１１６３号公報特開平１０−１３７２２０号公報特開平１０−１３７２１９号公報電子情報通信学会論文誌,D-II, VOL.J81-D-II,No.6,pp.1194-1204,1998 電子情報通信学会信学技報,NC2002-207,pp.25-30,2003

しかしながら、従来の回転拡散型ニューラルネットワークでは、静止画による文字や顔認識を行うもので、静止画を用いたオフライン処理での認識に利用用途が限定され、実用性に劣るものであった。また、実用上において認識時に虹彩模様の回転方位を学習（登録）画像と同じ方位で撮像することは不可能である。従って、実際に認識に用いる虹彩画像には回転補正がされていないため、実用可能な精度の認識率を得るまでに至っていないものであった。さらに、未登録の虹彩模様に対する識別（拒否）率が調査、検証されておらず、個人認証装置に応用するには不十分であった。

この発明は、上記従来の技術の問題点に鑑みて成されたもので、人の虹彩画像を認識して、正確に高精度で高速に個人の識別と認証を行うことができ、情報システムやその他の管理業務に広く利用することができる個人認証装置を提供することを目的とする。

この発明は、動画撮像可能なカメラと、このカメラにより撮像した画像を所定周期で記憶する記憶装置を有したコンピュータを備え、前記コンピュータは、前記カメラにより撮像した人の顔の画像情報を、人の目の虹彩もしくは瞳孔の大きさの範囲内に入るテンプレートと比較しながらスキャンし、目の虹彩もしくは瞳孔部分を検知する虹彩・瞳孔検出を行い、この虹彩・瞳孔検出により検出した目の虹彩・瞳孔部分から虹彩模様を取得し、取得した虹彩模様を極座標変換し、前記極座標変換により作成された極座標変換画像に、方位方向に周期的なガウス関数を乗じて、個人の虹彩模様の形状および方位を特徴づける複数方位の拡散パターンベクトルを作成し、前記複数方位の拡散パターンベクトルとそれに対応した教師信号を用いて虹彩模様の方位を学習・記憶する方位記憶行列を作成し、虹彩模様の登録のための、前記拡散パターンベクトルおよび方位記憶行列を前記記憶装置内に記憶して登録し、個人認証に際しての方位認識は、任意方向から入力される認証用虹彩画像から前記と同様の手法で作成した認証用拡散パターンベクトルに前記方位記憶行列を乗じて得られる方位認識ニューロン出力を用いてポピュレーションベクタ法により方位認識を行い、前記方位認識により得られた虹彩模様の認識方位を用いて、認証する前記認証用拡散パターンベクトルの方位を、登録された特定方位の前記拡散パターンベクトルの方位に一致させるように、認証する虹彩画像を回転させて補正し、前記各個人ごとの特定方位の登録拡散パターンベクトルと、認証する前記特定方位に回転方位補正した認証用拡散パターンベクトルとの、内積と最小距離の少なくとも一方を求めて、前記各個人ごとの特定方位の登録拡散パターンベクトルと前記回転方位補正した認証用拡散パターンベクトルとの一致・不一致を、あらかじめ設定された閾値と比較して判断し個人識別を行う個人認証装置である。

また、前記個人認証に際しての方位認識は、方位認識ニューロン出力を用いたポピュレーションベクタ法による認識に代えて、任意方向から入力される認証用虹彩画像から前記と同様の手法で作成した認証用拡散パターンベクトルと前記各個人ごとの複数方位の登録拡散パターンベクトルとの、内積と最小距離の少なくとも一方を計算し、認識方位ベクトルの成分を求め、ベクトル合成を行うことにより入力方位を認識するものである。

さらに、形状認識に用いる登録情報である拡散パターンベクトルに加えて、前記虹彩模様の取得により得られる虹彩の所定方位の原画像またはその極座標変換画像をベクトル情報として登録し、認識時には、任意方位で入力された虹彩画像を、前記方位認識により得られた虹彩模様の認識方位を用いて回転させて補正し、原画像またはその極座標変換画像をベクトル情報として求め、登録した原画像またはその極座標変換画像と比較し個人認証を行うものである。

前記虹彩模様の取得は、ラベリングによる瞳孔中心位置検出手段と、最小２乗法による中心補正、ラプラシアンフィルタおよび同心円状の累積画素値算出による虹彩端検出手段、線形補間を用いた虹彩サイズの規格化手段によるものである。

前記虹彩模様の取得は、瞳孔反応を起こさせるフラッシュ光発光装置と、撮像用の赤外線光源と、前記カメラのレンズに取り付けられた赤外線透過フィルタとを用い、前記瞳孔の大きさがほぼ一定の状態で虹彩画像を取得するものである。さらに、前記虹彩模様の取得は、虹彩径を基準として算出される相対的な瞳孔径の時間変化を連続的に計測することにより行うものであり、写真などの静止画像を用いたなりすましに対応可能としたものである。

前記虹彩模様の取得は、認識する人の顔や目の位置を、間引きによる低解像度画像で検索し、目の位置を特定した後、高解像度の画像で虹彩の領域を検出することにより行うものでも良い。

また、人の目を含む画像の一定領域の各画素値を測定し平均輝度を求め、これを一定値に規格化して虹彩の輝度を設定するものである。さらに、測定者の瞳孔と虹彩の輝度平均と標準偏差を求め、標準偏差の比により決定された２値化閾値により瞳孔と虹彩の領域を決定する個人認証装置である。

また、フラッシュ光の照射により生じる対光反射時の瞳孔径変化を計測し、その最大瞳孔径と最小瞳孔径の差もしくは比率から生体反応を検出し、この差もしくは比率が基準値範囲外であれば測定した虹彩画像はなりすましであると判定する個人認証装置である。

この発明の個人認証装置は、虹彩模様を利用して正確に迅速に個人識別を行うことができ、認証時の対象者の負担も少なく、虹彩の偽造によるなりすましも、確実に防止することができる。特に、虹彩模様の回転および位置ずれを補正することができるため、本認証装置の設置状況など使用形態に制限されないものである。

以下、この発明の個人認証装置の第一実施形態について、図１〜図１４を基にして説明する。この実施形態の個人認証装置は回転拡散型ニューラルネットワークを利用しているものであり、まず、この回転拡散型ニューラルネットワークについて簡単に説明する。回転拡散型ニューラルネットワークは、極座標変換した画像に回転方位で周期的なガウス関数を乗じる拡散層により拡散パターンベクトルを作成し、さらに拡散パターンベクトルを用いて形状記憶行列および方位記憶行列を作成したもので、物体の回転角度を認識する方位認識系と物体の形状を認識する形状認識系から構成されている。この実施形態の回転拡散型ニューラルネットワークの概念図を図２に示す。このネットワークの方位認識記憶系ニューロン（方位認識ニューロン）は、例えば円周上に１２°毎に３０個配置され、形状認識記憶系のニューロン（形状認識ニューロン）は適宜の数、例えば１０個とし、それぞれの物体の形状に対応している。

この回転拡散型ニューラルネットワークは、原画像から生成された極座標上での変換画像を拡散層に入力し、周囲空間に回転の情報を拡散させる。そして、拡散層の出力である拡散パターンを用いて物体方位と形状の認識を行う。この発明では、慣用的に用いられている非回転状態と、数学の直交座標系の一般的なｘｙ平面における回転の基準点（例えば原点から（ｘ，ｙ）＝（１，０）を指す位置ベクトル）を一致させるため、座標系を９０°反時計回りに回転させた。図３の説明図に示すように直交座標上の点（ｘ，ｙ）は、極座標上の点（Ｒ，θ）に対応し、ｘ＝Ｒcosθ、ｙ＝Ｒsinθである。物体方位は、非回転状態を回転角度０°とし、非回転状態から反時計方向への回転角度として定義する。また、物体方位認識では物体の位置ずれが問題となるが、これに対する対策は別の方法により物体の位置ずれを補正できる。従って、物体方位認識では、図形(物体)は画像中心に位置し、物体の回転中心と原画像のｘｙ座標上での原点は一致する。

図３の説明図では、学習および想起に用いた原画像（アラビア数字の１）は４８０×４８０ドットの２値画像であるとして、原画像を一定の半径と角度で極座標上で分割し、作成された画像を変換画像とする。図３は、これによる回転角度０°のアラビア数字１と、その変換画像の例を示す。物体方位認識は、物体位置認識がすでに行われているという前提のもとに行い、物体の位置ずれの影響はないものと考える。変換画像の生成は式（１）で行う。

ここで、Ｉ(ｘ_ij,ｙ_ij)は原画像の中心を原点としたｘｙ座標上の点（ｘ_ij＝Ｒcosθ,ｙ_ij＝Ｒsinθ）の画素値、Ｔ_r,θは変換画像上の座標（ｒ，θ）における画素値である。式（１）は、原画像に対し半径２００ドットを２０に、角度は３°毎に分割し、さらに、その境界線で囲まれる小領域を１０×１０に分割し、各々の点の値を調べ、それらを合計したものを変換画像の１要素の値として用いることを示す。このため，変換画像の１要素は０〜１００の値を持ち、ｒは１〜２０，θは１〜１２０の整数値の範囲をとる。図３は、変換画像の座標（ｒ，θ）における画素値Ｔ_r,θを求めるにあたり、対応する原画像上の半径１０ドット×角度３°の小領域を１０×１０に分割し、その分割された各点を(ｘ_ij,ｙ_ij)で表し、画素値Ｉ(ｘ_ij,ｙ_ij)の合計を計算する様子を示す。

一方、図２に示すこの実施形態の回転拡散型ニューラルネットワークの場合は、まず３００×３００ピクセルの入力パターンを、瞳孔（中心）部分を除いた２５×１２０ピクセルの極座標上の画像に変換する。次に、極座標変換画像を拡散層に入力して、ベクトル情報である拡散パターンベクトルを得る。この拡散パターンベクトルに方位記憶行列、及び形状記憶行列を作用させることによって、方位認識ニューロン出力及び形状認識ニューロン出力を得る。得られた３０個の方位認識ニューロンの出力からポピュレーションベクタ法を用いて方位を認識する。また、形状認識は各認識物体にそれぞれ異なる形状認識ニューロンを１対１に対応させ、これらのニューロンの最大出力により形状認識を行う。

この回転拡散型ニューラルネットワークの動作は、まず記銘（登録）過程では回転拡散型ニューラルネットワークで直交学習法を用いて学習を行う。学習パターン数は、学習虹彩数×学習方位数によって決定し、例えば１０人の虹彩の場合、１０（虹彩）×６（方位）＝６０（パターン）である。記憶を形成する記銘過程では、式（２）〜（７）により学習用虹彩画像の極座標変換画像から求めた拡散パターンベクトルＶ ⁽¹⁾ 〜Ｖ ⁽⁶⁰⁾ と方位認識ニューロンの教師信号TO ⁽¹⁾ 〜TO ⁽⁶⁰⁾ および形状認識ニューロンの教師信号TF ⁽¹⁾ 〜TF ⁽⁶⁰⁾ との間で学習を行い、方位記憶行列Ｍ _Ｏおよび形状記憶行列Ｍ _Ｆを生成した。

次に、記憶を呼び起こす想起（認識）過程では、任意の方位における入力虹彩画像の極座標変換画像を拡散層に入力し、その出力である認証用拡散パターンベクトルＶと方位記憶行列Ｍ _Ｏの積により、図２に示すように、30個の方位認識ニューロン出力ＹＯ（YO ₁ 〜YO ₃₀ ）を、認証用拡散パターンベクトルＶと形状記憶行列Ｍ _Ｆの積により10個の形状認識ニューロン出力ＹＦ（YF ₁ 〜YF ₁₀ ）を得る（式（８）、（９））。

認証用虹彩画像の回転方位φは、式（８）で得られる方位認識ニューロン出力ＹＯを用いて、公知のポピュレーションベクタ法により求める。

一方、ベクトル合成による方法による回転方位認識では、例えば登録した６方位分の拡散パターンベクトルを記憶装置から読み出し、６方位に対応する登録拡散パターンベクトルと、認証用拡散パターンベクトルとの内積もしくは最小距離を計算し、認識方位ベクトルを求め、ベクトル合成を行うことにより認証用虹彩画像の回転方位を求める。

次に、この発明の一実施形態のシステム構成図を図１に示す。このシステムは、人の目１０の虹彩１２を撮影するための動画撮像可能な小型カメラ１４とレンズ１５、撮像した虹彩画像を取り込むコンピュータ１６、及びディスプレイ１８を有する。コンピュータ１６の本体には、ＣＰＵに画像データを取り込むための画像入力ボード、虹彩画像を操作・処理するためのＤＬＬ（Dynamic Link Library）、その他記憶装置等を備える。また、小型カメラ１４には、虹彩模様を鮮明に撮影するための赤外線光源である近赤外投光器２０、瞳孔反射を引き起こすためのフラッシュ光発光装置２２、虹彩１２に映る可視光ノイズをカットするためのプラスティック赤外線透過フィルタ２４が取り付けられている。

発光装置２２は、コンピュータ１６の画像入力ボードからの外部トリガ出力信号に同期して、任意のタイミング（フレーム単位）で発光可能である。入力画像は、６４０×４８０ピクセルの２５６階調のグレイスケール画像である。このシステムは、約１３フレーム／ｓでのリアルタイム画像取り込みが可能である。なお、コンピュータ１６とそのＯＳは、市販のパーソナルコンピュータを利用した。

次に、この発明の一実施形態の虹彩画像取得処理のフローを、図４のフローチャートに示す。まず小型カメラ１４で認識対象の人の目１０を撮影する（ｓ１０）。次に、撮像フレーム数が１９フレーム、または５０ｎ＋１９フレーム（ｎ＝１，２・・・）の時に、撮像した虹彩径の初期化を行う（ｓ１１）。次に、フレーム数が２０フレーム、または５０ｎ＋２０フレーム〜５０ｎ＋２０＋ｎフレーム（ｎ＝１，２・・・）の間、目１０に、フラッシュ光発光装置２２によりフラッシュ光を当てる（ｓ１２）。このシステムでは図５に示すように、瞳孔反応を利用して、瞳孔径が一定瞳孔サイズ（２．９ｍｍ〜３．０ｍｍ）時の虹彩１２の画像を取得する。虹彩画像を取得するために、図９に示すような目１０を含む一定領域の平均輝度を用いて一定輝度に規格化し、図６に示すような片目部分テンプレート２６により、撮像した顔画像の中から瞳孔２７部分を検出する（ｓ１３）。そして、片目部分テンプレートによって検出された部分が瞳孔２７であるかどうかを、既存の判定法であるラベリングを用いて判定する（ｓ１４）。ラベリングは、図７に示すように、つながっているすべての画素（連結成分）に同じラベル（番号）を付け、異なった連結成分には異なった番号を付けることにより、虹彩等の特定部位を検出する方法である。

検出した部位が瞳孔であると判断された場合、瞳孔中心と瞳孔径、瞳孔面積を同時に計測し瞳孔検出が終了する（ｓ１５）。瞳孔検出後、最小２乗法を用いて上記ラベリングによって計測された瞳孔中心を補正する。瞳孔中心補正後、虹彩径の初期化が行われている場合は虹彩径を測定し、初期化が行われていない場合は前回測定した値をそのまま使用する（ｓ１６）。さらに、虹彩径の測定において、ラプラシアン処理を行う。瞳孔を抜かした各半径において、右虹彩は瞳中心から上方を０°として、反時計回りを＋として、角度−７５°〜−１３５°、左虹彩は角度７５°〜１３５°まで、1°ごとの画素値を足し合わせる。累積画素値が最大の部分をそれぞれ虹彩右端と虹彩左端とする。画素値を同心円状に足し合わせて累積画素値を求めることにより、局所的に存在する虹彩模様などの急峻なエッジを誤って瞳孔端として検出することを防いでいる。

次に、虹彩径が人によらずほぼ一定であることを利用して、虹彩１２と瞳孔の画像上の計測サイズ（ピクセル）の相対比率から導出した瞳孔の直径が２．９ｍｍ〜３．０ｍｍの時の画像を基準画像として取得する（ｓ１７）。ここで、瞳孔の直径を２．９ｍｍ〜３．０ｍｍとしたのは、虹彩画像取得を円滑にするため多少のサイズ誤差を許容するためである。図８に虹彩画像取得時のディスプレイ１８の画面を示す。得られた画像から、瞳孔を中心として３００×３００ピクセルの画像を切り出す（ｓ１８）。虹彩、瞳孔の画像上の計測サイズはカメラ１４からの距離やズームによって変化するので、虹彩サイズを一定にするため、公知の線形補間法を用いてサイズの規格化を行う。また、周辺の光環境の影響を低減させるため、複数の画像の平均輝度を求めて修正係数を設定し、輝度の規格化を行う（ｓ１９）。この規格化画像を、基準虹彩パターン（回転拡散型ニューラルネットワークの入力画像）とし（ｓ２０）、回転拡散型ニューラルネットワークによって基準虹彩パターンの学習記憶を行う。

ここで、瞳孔および虹彩検出のための輝度の規格化基準の決定方法について述べる。ここでは、図９に示すように、目を含む画像の一定領域Ａの各画素値を測定し平均輝度を求め、これを各測定画像について一定値に規格化することにより、各測定者毎の取得画像の輝度のばらつきをなくしたものである。領域Ａの平均輝度を測定したのは、輝度の規格化後でも強膜、虹彩、瞳孔が鮮明になるようにするために、強膜、虹彩、瞳孔のうち中間輝度を持つ虹彩の輝度を２５６段階表示の中間に設定するためである。内側の線で囲まれた範囲Ｂは、瞳孔検出範囲である。

さらに、瞳孔検出のための２値化閾値の決定方法について述べる。輝度の規格化後に、虹彩と瞳孔の輝度を測定する。測定方法は、輝度の規格化基準を決定したときと同様である。最適な２値化閾値は、複数の測定者の瞳孔と虹彩の輝度平均と標準偏差を求め、標準偏差の比から決定する。閾値Ｙは以下の式で決定する。
Ｙ＝（ＡＶ_２−ＡＶ_１）・ＳＤ_１／（ＳＤ_１＋ＳＤ_２）＋ＡＶ_１
ここで、ＡＶ_１は、瞳孔輝度の平均、ＡＶ_２は、虹彩輝度の平均、ＳＤ_１は、瞳孔輝度の標準偏差、ＳＤ_２は、虹彩輝度の標準偏差である。

輝度の規格化後の全被験者のデータを用いて、各輝度値に対する累積画素数のグラフを図１０に示す。図１０によれば２値化閾値によって虹彩輝度と瞳孔輝度が明確に分けられていることが分かる。これにより、片目テンプレートで瞳孔の位置が検出され、瞳孔端・虹彩端が正確に検出される。

一方、他の人物の虹彩の認識時の虹彩入力パターンも、基準虹彩パターン取得時と同様の手順で得る。得られた画像を用いて、形状認識により個人識別を行う。本システムでは拡散パターンベクトルを正規化して使用し、上述の回転拡散型ニューラルネットワークによる学習及び認識を行う。

さらに、この発明では未学習虹彩の識別精度を上げるために、新たに形状認識判定基準を追加した。新たな形状認識判定基準には、ベクトルの類似性を調査するのによく使われる内積（Inner product）と最小距離（Minimum distance）を使用した。しかし、これらの手法はパターンの変動に弱いことが知られている。また、虹彩認識の場合、パターン変動には色々とあるがその一つに方位ずれがある。カメラ１４からの画像で認識を行う場合、学習画像と認識画像を全く同じ方位で取り込むことは不可能に近い。そこで，回転拡散型ニューラルネットワークの特徴である方位認識を用いて方位を補正することにより、内積や最小距離を形状認識判定基準として導入可能となる。

次に、内積や最小距離を形状認識判定基準として個人認証を行う際のポピュレーションベクタ法を用いた方位補正について説明する。学習画像の方位を０°と定義すると、認識を行う際の入力画像の方位は必ずしも０°とは限らないため、たとえ本人であっても入力画像である虹彩パターンが学習時のものとは異なり他人と判断してしまう。そこで、内積や最小距離を形状認識判定基準とする個人認証では、まず方位認識を行い、入力画像の方位補正を行う。

まず、方位補正の範囲、きざみ角度および認識方法を選択する。方位補正の範囲およびきざみ角度について、方位補正の下限を−3°、上限を3°、きざみ角度を１°と設定した場合を考える。回転拡散型ニューラルネットワークによる方位認識の結果が10°であった場合、認識に用いた入力画像の方位は学習画像（登録した人物の虹彩パターン）に対して反時計回りに10°回転していることになる。そこで、入力画像の方位を学習画像の方位と一致させるために−10°±3°、きざみを1°ごとに回転させる。この場合、補正方位は−13°から−7°であり、７種類の方位補正を行った虹彩パターンを得る。補正方位を−10°だけにしない理由は、ポピュレーションベクタ法により得られる認識方位の分解能や誤差を考慮するためである。方位補正を行った虹彩パターンを使用して、指定した認識方法（内積、最小距離、形状認識ニューロン出力）により個人の虹彩模様（形状）認証を行う。内積および最小距離による認識では、回転拡散型ニューラルネットワークにより認識した回転方位をもとに、指定した範囲の回転補正を行った入力画像の拡散パターンベクトルと学習画像の拡散パターンベクトルのベクトル演算（内積、最小距離）を行う。この例では、７種類の回転補正（補正方位：−13°〜−7°）を行った入力画像の拡散パターンベクトルと学習画像の拡散パターンベクトルの内積または最小距離を計算することになる。

内積の場合は最大値を、最小距離の場合は最小値を用いて、あらかじめ設定した閾値と比較することにより判別する。内積の場合は、最大値が判定閾値より大きい場合は本人と判別し、閾値より小さい場合は他人と判断する。最小距離の場合は、最小値が判定閾値より小さい場合は本人と判別し、閾値より大きい場合は他人と判断する。これらのベクトル演算を登録した学習画像すべてについて行い、個人を特定する。どの学習画像についても本人と判定されない場合、登録されていないと判定する。形状認識ニューロン出力を形状判定（個人認証）に用いる場合は、登録した人物を表す形状認識ニューロン出力が、あらかじめ設定した判定閾値より大きい場合、入力虹彩画像がそのニューロンを表す人物の虹彩であると判定する。どの形状認識ニューロン出力も判定閾値を超えない場合は、登録されていないと判定する。

ここで、内積について定義式は
と表される。Ｖ_Ｌは学習虹彩画像の拡散パターンベクトル、Ｖ_Ｒは認識に用いる虹彩画像の拡散パターンベクトルである。また、｜Ｖ_Ｌ｜，｜Ｖ_Ｒ｜は、それぞれ、Ｖ_Ｌ，Ｖ_Ｒの絶対値であり各ベクトルの長さを表す。ここでは、｜Ｖ_Ｌ｜＝１、｜Ｖ_Ｒ｜＝１に規格化（正規化）されている。従って、
となり、cosθが二つのベクトルＶ_Ｌ，Ｖ_Ｒの類似度を表す。つまり、Ｖ_Ｌ＝Ｖ_Ｒになるとcosθ＝１となり類似度が最も高いことを示す。

最小距離は、｜Ｖ_Ｌ−Ｖ_Ｒ｜と表され、図１２に示すように、２つのベクトル差（距離）を示している。Ｖ_Ｌ＝Ｖ_Ｒになると距離はゼロになり、最も高い類似度を示す。Ｖ_Ｌ，Ｖ_Ｒの大きさを１に規格化した場合、最小距離の二乗は内積で表される。
よって、最小距離と内積の関係は以下のように表される。

式（１３）より、二つのベクトルの類似度が最も高い場合（Ｖ_Ｌ＝Ｖ_Ｒ）、内積は最大値Ｖ_Ｌ・Ｖ_Ｒ＝１となるので、最小距離は｜Ｖ_Ｌ−Ｖ_Ｒ｜＝０となり最小値をとる。よって、Ｖ_Ｌ，Ｖ_Ｒの大きさを１に規格化した場合、最小距離と内積による形状識別（個人認証）結果は同じになる。

図１１に個人認証装置の登録処理を簡単にまとめた処理フローを示す。まず、登録する虹彩をカメラで撮像し、登録虹彩画像を取得する。次に、取得した虹彩画像をxy座標系から極座標（r,θ）に変換する。極座標に変換された画像にθ方向に周期的なガウス関数を用いて積和計算することにより拡散パターンベクトルを得る。求められた拡散パターンベクトルと教師信号を用いて、方位認識に使用する方位記憶行列および形状認識に使用する形状記憶行列を作成する。認証時の虹彩模様形状判定に形状認識ニューロンを用いる場合は、形状記憶行列を登録する。認証時の虹彩模様形状判定にポピュレーションベクタ法により方位補正を行い、内積もしくは最小距離を用いる場合は、拡散パターンと方位記憶行列を登録する。認証時の虹彩模様形状判定にベクトル合成による方法により方位補正を行い、内積もしくは最小距離を用いる場合は、拡散パターンを登録する。内積や最小距離による虹彩模様形状判定に用いる拡散パターンベクトルに代えて極座標変換画像や原画像を用いる場合は、極座標変換画像や原画像と方位補正のために方位記憶行列または拡散パターンベクトルを登録する。

この実施形態による上述した虹彩模様認識における回転拡散型ニューラルネットワークの認識フローチャートを図１３に示す。認識過程で方位補正を行うのは、内積及び最小距離を使用する場合、学習（登録）画像に０°の虹彩画像を使用しているため、認識対象が０°の方位にある必要があるからである。

この実施形態の個人認証装置によれば、回転拡散型ニューラルネットワークにより、虹彩模様の方位認識を行うことができるため、方位補正をすることにより回転変化に対応することができる。さらに、内積と最小距離を形状認識判定基準として導入することにより、方位補正した虹彩模様を用いて０％の他人受け入れ率を実現することが可能となる。また、取得した虹彩画像に対して、ラベリングによる瞳孔中心位置検出、最小２乗法による中心補正、ラプラシアンフィルタおよび同心円状の累積画素値算出を用いたエッジ検出により瞳孔中心、瞳孔端および虹彩端の自動検出が可能である。画像上での虹彩、瞳孔サイズはカメラ１４からの距離やズームにより変化するが、線形補間を用いて拡大・縮小を行い、虹彩サイズを規格化することによりサイズ変化に対応することができる。さらに、目１０にフラッシュ光を当て瞳孔反応を誘起し、瞳孔径の時間変化を計測することにより、虹彩写真等を使用したなりすましを拒否することができる。

そして、この発明の個人認証装置は、学習した各虹彩を特徴づける記憶行列を作成するため計算量が少なく、認識時間が短い。また、瞳孔中心位置、瞳孔端および虹彩端を自動検出するため、目の位置合わせが不要であり、幅広い用途に使用可能である。

なお、この発明の個人認証装置は上記実施形態に限定されるものでなく、動画撮像可能なカメラから虹彩画像を直接ＣＰＵに取り込むことができれば、画像入力ボードや虹彩画像を操作・処理するためのＤＬＬは必ずしも必要ではない。また、フラッシュ光発光装置を使用しなくても、この発明の個人認証装置を使用することができる。この場合、前記線形補間により一定の相対瞳孔サイズに変換した虹彩画像を取り込む。

さらに、認識に用いるベクトル情報は、上述のように撮像した原画像若しくはその極座標変換画像のみならず、ラプラシアンフィルタを用いて原画像や極座標変換画像に画像処理を行ったものでも良い。

また、なりすましの防止方法として、以下の処理を行うことにより、さらに確実になりすましを防止することができる。ここでは、瞳孔の対光反射が起きなければなりすましであると判定するものであり、図４のフローチャートにおいて、ｓ１６，ｓ１７以下の処理を、図１４に示すように行うものである。この処理は、一定瞳孔サイズを得るためにＬＥＤをフラッシュ発光させ、発光前と発光後の相対瞳孔径の比較を行うことにより、なりすまし判定を行うものである。図１４の処理では、認識時に最初のＬＥＤが発光してから瞳孔の対光反応が生じるまでの相対瞳孔径をなりすまし判定に用いる。この実施形態では、最初のフラッシュ光は測定画像の２０フレームの時に発光するため、対光反応は３０フレームまでに起こる。よって、フラッシュ光が発光し対光反射が起こる２０から２９フレームの相対瞳孔径を保存するようにした。保存した相対瞳孔径の中から最大と最小を求めて差もしくは比率を算出し、差もしくは比率が基準範囲外であればなりすましであると判定する。

以下に、この発明の虹彩模様による個人認証装置の実施結果について説明する。まず、学習及び認識に用いる虹彩画像を、3人，5人，10人と変化させ認識実験を行った。学習及び認識に用いた虹彩画像（300×300 ピクセル）を図１５に示す。学習、認識は、すべて被験者の右眼の虹彩画像で行った。学習方位は０°から３６０°を６０°ごとに６方位とした。学習パターン数は、（認識虹彩数）×（学習方位数）で与えられ，各被験者数に対してそれぞれ１８パターン、３０パターン、６０パターンである。方位認識にはポピュレーションベクタ法を用いた。

１０人で認識実験を行った時の方位認識特性を図１６（ａ）、形状認識特性を図１６（ｂ）に示す。（ａ）図の方位認識特性において、横軸が虹彩の入力回転方位、縦軸が認識方位である。これにより、虹彩の入力回転方位と認識方位には、非常に良い直線性が見られ、方位を正しく認識できたことが分かった。方位誤差は、平均±標準偏差=-0.83±0.75°であった。このことから、１０人の虹彩の回転方位を、全方位において認識可能であるといえる。また、（ｂ）図の形状認識特性において、横軸が虹彩の入力回転方位、縦軸が形状認識ニューロン出力であり、○がターゲットニューロン（Target neuron）出力の平均値、×がノンターゲットニューロン（Non-target neuron）出力の平均値を表す。各入力方位における縦線は、標準偏差を表す。ターゲットニューロン出力は、0.67〜1.15（平均±標準偏差=0.94±0.11）、ノンターゲットニューロン出力は、-0.86〜0.51（0.02±0.18）であった。０°から３６０°の虹彩の入力回転方位において、ターゲットニューロンの平均値はほぼ１．０を、ノンターゲットニューロンの平均値はほぼ０．０を出力しており、ターゲットニューロン出力は、ノンターゲットニューロン出力より常に大きい。このことから、１０人の被験者による虹彩認識が、全方位で可能であるといえる。３人、５人で認識実験を行った結果も、１０人の場合と同様に、方位、形状共に正しく認識できた。

次に、学習及び認識に用いる虹彩画像を３人、５人と変化させ、あらかじめ学習した後にリアルタイム認識実験を行った。学習に用いた虹彩画像（300×300 pixels）は、図１５中から選んだ。学習・認識は、すべて同じ被験者の右眼の虹彩で行った。学習パターン数は、（認識虹彩数）×（学習方位数）で与えられ、被験者数３人と５人に対してそれぞれ１８パターン、３０パターンである。学習に使用した画像は、実験の当日にあらかじめ撮ったものである。方位認識には同様にポピュレーションベクタ法を用いた。

５人で認識実験を行った時の方位認識特性を図１７（ａ）に、形状認識特性を図１７（ｂ）に示す。図１７（ａ）の方位認識特性において、横軸が虹彩の入力回転方位、縦軸が認識方位である。虹彩の入力回転方位と認識方位には良好な直線性が見られ、方位をほぼ正しく認識できたことが分かった。方位誤差は、平均±標準偏差=-3.92±0.22°であった。このことから、この実施例の個人認証装置では、５人の虹彩の回転方位を全方位においてリアルタイムで認識可能であるといえる。また、図１７（ｂ）の形状認識特性において、横軸が虹彩の入力回転方位、縦軸が形状認識ニューロン出力であり、○がターゲットニューロン出力の平均値、×がノンターゲットニューロン出力の平均値を表す。各入力方位における縦線は標準偏差を表す。ターゲットニューロン出力は、0.67〜1.27（平均±標準偏差=0.99±0.20）、ノンターゲットニューロン出力は、-0.69〜0.58（0.03±0.24）であった。0°から360°の虹彩の入力回転方位において、ターゲットニューロンの平均値はほぼ1.0を、ノンターゲットニューロンの平均値はほぼ0.0を出力しており、ターゲットニューロン出力はノンターゲットニューロン出力より常に大きい。このことから、５人の被験者によるリアルタイム虹彩認識が全方位で可能であることが分かった。３人でリアルタイム認識実験を行った結果も５人の場合と同様に、方位・形状共に正しく認識できた。

次に、図１３に示すフローチャートによる認証システムを用いて、カメラからの取り込み画像による人物認証実験を行った。実験は１０人の被験者で行った。１０人のうち５人を学習し、５人を未学習とした。学習に使用する画像は、認証実験の当日にあらかじめ撮ったものを使用した。学習に使用する５人の虹彩画像を１人ずつ入れ替えることにより、合計１０セットで学習を行った。学習虹彩画像は、虹彩の入力回転方位が0°の時の虹彩画像を使用した。１０セットの学習に対して被験者１０人を認識するので、合計１００試行（学習人物５０試行、未学習人物５０試行）の認識結果が得られた。

図１８に形状認識ニューロン出力、図１９に内積、図２０に最小距離をそれぞれ判定基準として用いた誤り率を示す。点線は本人拒否率（誤って本人を拒否した率）、実線は他人受け入れ率（過って他人を受け入れた率）を表す。縦軸はそれぞれの誤り率、横軸は評価基準の判定閾値を示す。本人拒否率の計算方法は、本人に対応する形状ニューロンや内積の出力値が判定閾値よりも小さな場合、また最小距離の出力値が判定閾値よりも大きな場合本人を拒否したとみなし、試行数をカウントしていくことで本人拒否率を求めた。本人拒否の特例として、本人に対応する形状認識ニューロンや内積の出力値が判定閾値を超えていて、他人に対応する出力値がそれらを上回る場合、また、本人に対応する最小距離の出力値が判定閾値より小さいが、他人に対応する出力値がそれらをより下回る場合が考えられる。認識実験結果では、形状認識ニューロン出力で８％、内積、最小距離で２％の本人拒否の特例があった。

一方、他人に対するノンターゲットニューロン出力や内積の最大値が判定閾値よりも大きな場合、また最小距離の最小値が判定閾値よりも小さな場合他人を受け入れたとみなし、試行数をカウントしていくことで他人受け入れ率を求めた。実験結果より、形状認識ニューロン出力を判定基準に使用したときは、本人拒否率と他人受け入れ率の交点は判定閾値が約0.78のときであり約４３％の等誤り率であった。内積を判定基準に使用したときは、本人拒否率と他人受け入れ率の交点は、判定閾値が約0.94のときであり約１５％の等誤り率であった。しかし、判定閾値を0.96にすると、本人拒否率は２０％となるが、他人を完全に拒否できる。上記最小距離による判断を判定基準に使用したときは、本人拒否率と他人受け入れ率の交点は、判定閾値が約0.35のときであり約１３％の等誤り率であった。しかし、判定閾値を0.25にすると、本人拒否率は２６％となるが、他人を完全に拒否できた。

この発明の一実施形態の個人認証装置の機器構成とコンピュータを示す構成ブロック図である。この実施形態の個人認証装置に用いられる回転拡散型ニューラルネットワークを示す概念図である。この実施形態の個人認証装置に用いられる回転拡散型ニューラルネットワークの画像変換を示す概念説明図である。この実施形態の個人認証装置に用いられる虹彩画像取得を示す概略フローチャートである。この実施形態の個人認証装置のフラッシュ照射による瞳孔径の変化を示すグラフである。この実施形態の個人認証装置による虹彩画像取得における目とテンプレートを示す正面図である。この実施形態の個人認証装置のラベリングを示す模式図である。この実施形態の個人認証装置による虹彩画像取得時のディスプレイ画面を示す正面図である。この実施形態の個人認証装置による虹彩画像取得のための平均輝度を求めるための画像を示す正面図である。この実施形態の個人認証装置による虹彩画像取得における虹彩と瞳孔の輝度値と累積画素数を示すグラフである。この実施形態の個人認証装置の登録処理を示す概略フローチャートである。この実施形態の個人認証装置による処理に用いる内積と最小距離の関係を示すベクトル図である。この実施形態の個人認証装置の認識処理を示すフローチャートである。この実施形態の個人認証装置の認識処理におけるなりすまし判定のフローチャートである。この発明の個人認証装置の一実施例に用いる虹彩模様を認識するための目の画像である。この発明の個人認証装置の一実施例による認識実験結果の方位認識特性（ａ）と、形状認識特性（ｂ）を示すグラフである。この発明の個人認証装置の一実施例により、５人でリアルタイム認識実験を行ったときの方位認識特性（ａ）と、形状認識特性（ｂ）を示すグラフである。この発明の個人認証装置の一実施例により、形状認識ニューロン出力による本人拒否率と他人受け入れ率を示すグラフである。この発明の個人認証装置の一実施例により、内積を判断基準として用いた本人拒否率と他人受け入れ率を示すグラフである。この発明の個人認証装置の一実施例により、最小距離を判断基準として用いた本人拒否率と他人受け入れ率を示すグラフである。

符号の説明

１０目
１２虹彩
１４カメラ
１５レンズ
１６コンピュータ
１８ディスプレイ
２０近赤外投光器
２２フラッシュ光発光装置
２４赤外線透過フィルタ
２６テンプレート
２７瞳孔

Claims

動画撮像可能なカメラ（１４）と、このカメラ（１４）により撮像した画像を所定周期で記憶する記憶装置を有したコンピュータ（１６）を備え、前記コンピュータ（１６）は、
前記カメラ（１４）により撮像した人の顔の画像情報を、人の目の虹彩もしくは瞳孔の大きさの範囲内に入るテンプレートと比較しながらスキャンし、目の虹彩もしくは瞳孔部分を検知する虹彩・瞳孔検出を行い、
この虹彩・瞳孔検出により検出した目の虹彩・瞳孔部分から虹彩模様を取得し、取得した虹彩模様を極座標変換し、
前記極座標変換により作成された極座標変換画像に、方位方向に周期的なガウス関数を乗じて、個人の虹彩模様の形状および方位を特徴づける複数方位の拡散パターンベクトルを作成し、
前記複数方位の拡散パターンベクトルとそれに対応した教師信号を用いて虹彩模様の方位を学習・記憶する方位記憶行列を作成し、虹彩模様の登録のための、前記拡散パターンベクトルおよび方位記憶行列を前記記憶装置内に記憶して登録し、
個人認証に際しての方位認識は、任意方向から入力される認証用虹彩画像から前記と同様の手法で作成した認証用拡散パターンベクトルに前記方位記憶行列を乗じて得られる方位認識ニューロン出力を用いてポピュレーションベクタ法により方位認識を行い、
前記方位認識により得られた虹彩模様の認識方位を用いて、認証する前記認証用拡散パターンベクトルの方位を、登録された特定方位の前記拡散パターンベクトルの方位に一致させるように、認証する虹彩画像を回転させて補正し、
前記各個人ごとの特定方位の登録拡散パターンベクトルと、認証する前記特定方位に回転方位補正した認証用拡散パターンベクトルとの、内積と最小距離の少なくとも一方を求めて、前記各個人ごとの特定方位の登録拡散パターンベクトルと前記回転方位補正した認証用拡散パターンベクトルとの一致・不一致を、あらかじめ設定された閾値と比較して判断し個人識別を行うことを特徴とする個人認証装置。
前記個人認証に際しての方位認識は、前記方位認識ニューロン出力を用いたポピュレーションベクタ法による認識に代えて、任意方向から入力される認証用虹彩画像から前記と同様の手法で作成した認証用拡散パターンベクトルと前記各個人ごとの複数方位の登録拡散パターンベクトルとの、内積と最小距離の少なくとも一方を計算し、認識方位ベクトルの成分を求め、ベクトル合成を行うことにより入力方位を認識する請求項１記載の個人認証装置。
形状認識に用いる登録情報である拡散パターンベクトルに加えて、前記虹彩模様の取得により得られる虹彩の所定方位の原画像またはその極座標変換画像をベクトル情報として登録し、
認識時には、任意方位で入力された虹彩画像を、前記方位認識により得られた虹彩模様の認識方位を用いて回転させて補正し、原画像またはその極座標変換画像をベクトル情報として求め、登録した原画像またはその極座標変換画像と比較し個人認証を行う請求項１または２記載の個人認証装置。
前記虹彩模様の取得は、ラベリングによる瞳孔中心位置検出手段と、最小２乗法による中心補正、ラプラシアンフィルタおよび同心円状の累積画素値算出による虹彩端検出手段、及び線形補間を用いた虹彩サイズの規格化手段によるものである請求項１または２記載の個人認証装置。
前記虹彩模様の取得は、瞳孔反応を起こさせるフラッシュ光発光装置と、撮像用の赤外線光源と、前記カメラのレンズに取り付けられた赤外線透過フィルタとを用い、前記瞳孔の大きさがほぼ一定の状態で虹彩画像を取得する請求項１または２記載の個人認証装置。
前記虹彩模様の取得は、虹彩径を基準として算出される相対的な瞳孔径の時間変化を連続的に計測することにより行う請求項５記載の個人認証装置。
前記虹彩模様の取得は、認識する人の顔や目の位置を、間引きによる低解像度画像で検索し、目の位置を特定した後、高解像度の画像で虹彩の領域を検出することにより行う請求項１または２記載の個人認証装置。
前記コンピュータは、人の目を含む画像の一定領域の各画素値を測定し平均輝度を求め、これを一定値に規格化して虹彩の輝度を設定する請求項１または２記載の個人認証装置。
前記コンピュータは、測定者の瞳孔と虹彩の輝度平均と標準偏差を求め、標準偏差の比により決定された２値化閾値により瞳孔と虹彩の領域を決定する請求項１または２記載の個人認証装置。
前記コンピュータは、フラッシュ光照射により生じる対光反射時の瞳孔径変化を計測し、その最大瞳孔径と最小瞳孔径の差もしくは比率から生体反応を検出し、この差もしくは比率が基準範囲外であれば測定した虹彩画像はなりすましであると判定する請求項１または２記載の個人認証装置。