JP2012238060A - 照合装置 - Google Patents

Abstract

【課題】高精度と高速処理を両立させる。
【解決手段】参照画像と登録画像とを照合する際、参照画像について、その原画像を最も解像度の高い高解像度画像（階層画像Ｉ０）とし、その下層に第１の低解像度画像（階層画像Ｉ１）、さらにその下層に第２の低解像度画像（階層画像Ｉ２）を作成する。登録画像を１つずつ読み出し、任意の低解像度の階層画像、例えば、参照画像の階層画像Ｉ１と登録画像の階層画像Ｊ１との類似度に基づいて、読み出した登録画像と参照画像とを照合する。
【選択図】 図４

Description

この発明は、参照画像と登録画像とを照合する照合装置に関するものである。

近年、コンピュータ室や重要機械室への入退室管理、コンピュータ端末や銀行の金融端末へのアクセス管理などの個人認証を必要とする分野において、これまでの暗証番号やＩＤカードに代わって、生体情報に基づいて個人の認証を行うシステムが開発されている。

生体情報を用いた個人認証システムは、記憶や所持を必要としないこと、盗難の危険性が低いことから注目されている。生体情報による個人認証では、指紋・虹彩・顔・掌紋・筆跡などが利用されるが、その中でも顔を用いた個人認証は、利便性と受容性が高いことから注目されている。

例えば、ビルなどの入退室管理に用いられる個人認証システムでは、入室しようとする人の顔を撮像して参照画像とし、この参照画像と予め登録されている人の顔の画像（登録画像）との照合を行い、参照画像と登録画像とが一致した場合に、その人の入室を許可するようにする。

この参照画像と登録画像との照合処理において、本出願人は、参照画像および登録画像のそれぞれについて、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成し、この階層画像の低解像度画像から高解像度画像に向かって位相限定相関法（ＰＯＣ：Phase-Only Correlation）を用いた対応点の探索を行い（例えば、特許文献１，２参照）、探索後の対応領域の位相限定相関値に基づいて、参照画像と登録画像との照合を行うようにしている。以下、この階層画像を用いての対応点探索による照合方式を階層ＰＯＣと呼ぶ。

この階層ＰＯＣでは、例えば、参照画像について、その原画像（１２８×１２８の画素の画像）を高解像度画像とし、この高解像度画像の下層に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層に３２×３２の画素の画像（第２の低解像度画像）を作成する。また、登録画像について、参照画像と同様に、その原画像（１２８×１２８の画素の画像）を高解像度画像とし、この高解像度画像の下層に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層に３２×３２の画素の画像（第２の低解像度画像）を作成する。この原画像を含む階層画像において、高解像度画像の階層を第０層、第１の低解像度画像の階層を第１層、第２の低解像度画像の階層を第２層とする。

そして、登録画像の原画像に対してｘ軸方向にｍ個、ｙ軸方向にｎ個の基準点を定め、この登録画像の原画像に定めた基準点毎に、最下層（第２層）の階層画像から、探索ウィンドウ（局所領域）を定めて、その局所領域に対応する参照画像における対応領域の探索を開始する。この対応領域の探索はＰＯＣ照合によって行い、当該階層画像についてその対応領域の探索が終了すると、当該階層画像についての探索結果を次の階層（第１層）での探索に反映させるというようにして、順次解像度の高い階層画像について対応領域の探索を行い、最上層（第０層）の階層画像に至るまで順に対応領域の探索を繰り返す。

そして、最上層（第０層）の階層画像において、対応領域が見つかれば、その対応領域の位相限定相関値を求める。以下、同様にして、登録画像の局所領域毎に、参照画像の対応領域を低解像度画像から高解像度画像に向かって探索し、探索後の対応領域の位相限定相関値を求め、この求めた位相限定相関値に基づいて参照画像と登録画像との照合を行う。

なお、ＰＯＣは、もとになる画像のデータとこれと照合すべき画像のデータとをフーリエ変換で数学的に処理して、振幅（濃淡データ）と位相（像の輪郭データ）とに分解し、このうち位相情報のみを用いて、両画像の相関を求めるアルゴリズムであり、外乱に強く、高精度な演算結果を得られるという特色がある。

ＰＯＣについては、上述した特許文献１，２の他、特許文献３などにもその詳細が説明されている。ＰＯＣでは、一方の画像に２次元離散的フーリエ変換を施してフーリエ画像を作成する。そして、このフーリエ画像と同様の処理を施して作成されている他方の画像のフーリエ画像とを合成し、この合成フーリエ画像に対して振幅を１とする処理を行ったうえ、２次元離散的フーリエ変換を施して相関データとする。この相関データ（ＰＯＣ関数）は、周波数空間における振幅が１とされ、位相のみとされているが、基本的には一方の画像と他方の画像とを畳み込んだデータと考えることができ、一方の画像と他方の画像との相関を表すものである。

特開２００８−２０９２７５号公報 特開２００８−１２３１４１号公報 特開平１０−６３８４７号公報

しかしながら、上述した階層ＰＯＣによる照合では、参照画像と登録画像との照合を高精度で行うことができるが、参照画像を複数の登録画像と総当たりで照合する１：Ｎ照合に適用すると、処理量が多くなり、照合速度が低下するという問題がある。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、高精度と高速処理を両立させることが可能な照合装置を提供することにある。

このような目的を達成するために本発明は、参照画像と登録画像とを照合する照合装置において、参照画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成する階層画像作成手段と、参照画像と同一解像度の複数の登録画像を記憶する登録画像記憶手段と、登録画像記憶手段に記憶されている登録画像を１つずつ読み出す登録画像読出手段と、階層画像作成手段によって作成された参照画像の低解像度の階層画像と登録画像読出手段によって読み出された登録画像の参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、登録画像読出手段によって読み出された登録画像と参照画像との照合を行う照合手段とを備えることを特徴とする。

この発明では、参照画像と登録画像とを照合する際、参照画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成する。そして、登録画像記憶手段から登録画像を１つずつ読み出し、参照画像の低解像度の階層画像と登録画像の同一の低解像度の階層画像との類似度に基づいて、読み出された登録画像と参照画像との照合を行う。これにより、１：Ｎ照合における処理量を減らし、高精度と高速処理を両立させる。

本発明において、登録画像記憶手段には、参照画像と同一解像度の複数の登録画像が記憶されている。この場合、登録画像は、その登録画像の原画像のみを記憶させるようにしてもよいし、その登録画像の原画像を含む階層画像を記憶させるようにしてもよい。登録画像の階層画像を記憶させる場合、参照画像の階層画像に対応させて、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を記憶させるようにする。

本発明において、登録画像の階層画像を記憶させるようにした場合、登録画像としてその原画像を含む階層画像が読み出される。そして、作成された参照画像の低解像度の階層画像と読み出された登録画像の同一の低解像度の階層画像との類似度に基づいて、登録画像と参照画像との照合が行われる。この同一の低解像度の階層画像の照合によって、すなわち低解像度でありながらも全体の画像を照合することによって、高精度を確保しつつ、高速処理が実現される。

本発明において、登録画像の原画像のみを記憶させるものとした場合、登録画像としてその原画像が読み出され、この原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像が作成される。この登録画像の階層画像は参照画像の階層画像に対応して作成される。そして、作成された参照画像の低解像度の階層画像と作成された登録画像の参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、登録画像と参照画像との照合が行われる。この同一の低解像度の階層画像の照合によって、すなわち低解像度でありながらも全体の画像を照合することによって、高精度を確保しつつ、高速処理が実現される。

本発明において、同一の低解像度の階層画像の類似度の算出は、例えば、任意の低解像度の階層画像から行うようにする。この場合、算出された類似度が所定の基準値を満たす場合に、読み出された登録画像と参照画像とが一致すると判断する。また、この場合、階層画像の階層毎に、基準値として、その階層の解像度に応じて定められた基準値を用いるようにする。

本発明において、登録画像記憶手段に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合、登録画像読出手段に対して登録画像の再読出しを指示するとともに、これによって読み出される登録画像を再照合登録画像とし、階層画像作成手段によって作成された参照画像の階層画像および登録画像読出手段によって読み出された再照合登録画像の参照画像の階層画像に対応する階層画像の何れか一方に対して予め定められた特徴領域を設定し、特徴領域が設定された一方の階層画像の当該特徴領域に対応する対応領域を他方の階層画像から探索し、一方の階層画像に設定された特徴領域と他方の階層画像から探索された対応領域との類似度に基づいて、再照合登録画像と参照画像との照合を行うようにしてもよい。

本発明によれば、登録画像を１つずつ読み出し、参照画像の低解像度の階層画像と登録画像の参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、読み出された登録画像を参照画像とを照合するようにしたので、１：Ｎ照合における照合回数を減らし、高精度と高速処理を両立させることが可能となる。

本発明の一実施の形態を示す照合装置のブロック構成図である。 この照合装置における対象物の登録処理を示すフローチャートである。 この照合装置における対象物の照合処理１を示すフローチャートである。 照合処理１において作成された参照画像の階層画像および読み出された登録画像の階層画像を例示する図である。 この照合装置における対象物の照合処理２を示すフローチャートである。 この照合装置における対象物の照合処理３の第１例を示すメインのフローチャートである。 この照合装置における対象物の照合処理３の第２例を示すメインのフローチャートである。 図６に示したフローチャートに続く照合処理３の第１例および第２例のフローチャートである。 照合処理３において作成された参照画像の階層画像および読み出された登録画像の階層画像を特徴領域および対応領域と合わせて例示する図である。 特徴領域を規定する点として予め定められた基準点およびこの基準点を中心として登録画像の最上層の階層画像（高解像度画像（原画像））に対して設定された特徴領域を示す図である。 図６および図７に示したフローチャートに続く照合処理４および５のフローチャートである。 図１１に示したフローチャートに続く照合処理４のフローチャートである。 図１１に示したフローチャートに続く照合処理５のフローチャートである。 照合処理４において基準点を変更して登録画像の最上層の階層画像に他の特徴領域を再設定した状態を示す図である。 照合処理４において基準点を変更して登録画像の最上層の階層画像に他の特徴領域を再設定した状態を示す図である。 照合処理５において基準点密度を増やして登録画像の最上層の階層画像に特徴領域を再設定した状態を示す図である。 照合処理１の変形例を示すフローチャートである。 照合処理２の変形例を示すフローチャートである。 照合処理４の変形例を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図１はこの発明の一実施の形態を示す照合装置のブロック構成図である。同図において、１０は第１のＣＣＤカメラ、１１は第２のＣＣＤカメラ、１２は液晶表示装置（ＬＣＤ）、２０は処理部であり、処理部２０は、ＣＰＵを有する制御部２０−１と、ＲＯＭ２０−２と、ＲＡＭ２０−３と、ハードディスク（ＨＤ）２０−４と、フレームメモリ（ＦＭ）２０−５と、外部接続部（Ｉ／Ｆ）２０−６と、フーリエ変換部（ＦＦＴ）２０−７とを備えており、ＲＯＭ２０−２には登録プログラムと照合プログラムが格納されている。また、ＣＣＤカメラ１０，１１は、所定の距離Ｌを隔てて設置されている。すなわち、ＣＣＤカメラ１０，１１は、そのレンズ１０−１，１１−１間の距離をＬとして、横方向に並んで配置されている。図では分かり易いように、照合装置は上方向から見た図とし、対象物（人間の顔）は横方向から見た図としている。

〔対象物の登録〕
この照合装置において、対象物を人間の顔Ｍ１とした場合、この対象物（登録対象物）Ｍ１の登録は次のようにして行われる。運用する前に、利用者は、ＣＣＤカメラ１０，１１に顔Ｍ１を向け、登録スタートスイッチ（図示せず）を押す。

〔画像キャプチャ〕
制御部２０−１は、登録スタートスイッチが押されると（図２：ステップＳ１０１のＹＥＳ）、フレームメモリ２０−５を介して、ＣＣＤカメラ１０からの登録対象物Ｍ１を捉えた画像を左カメラの画像として取り込み、ＣＣＤカメラ１１からの登録対象物Ｍ１を捉えた画像を右カメラの画像として取り込む（ステップＳ１０２）。

〔顔領域の検出〕
そして、制御部２０−１は、取り込んだ左カメラの画像および右カメラの画像から画像処理によって顔領域を検出する（ステップＳ１０３）。なお、この際、顔領域の輝度が一定範囲でなければ、ゲインコントロールし、左カメラの画像および右カメラの画像の取り込みを再度行う。また、この例では、左右の顔領域を検出するようにしたが、左か右の何れか一方の顔領域を検出するようにしてもよい。

〔瞳領域の検出および顔画像の正規化〕
そして、制御部２０−１は、検出した左右の顔領域の画像（左右の顔画像）から画像処理によって瞳領域を検出し（ステップＳ１０４）、３Ｄ計測によってカメラから登録対象物Ｍ１までの距離Ｒを算出し（ステップＳ１０５）、この算出した距離Ｒに基づいて右の顔画像のサイズを正規化する（ステップＳ１０６）。

〔階層画像の作成〕
そして、制御部２０−１は、ステップＳ１０６で正規化した顔画像を登録画像の原画像として、その原画像（１２８×１２８の画素の画像）を最上層（第０層）の高解像度画像とし、この高解像度画像の下層（第１層）に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層（第２層）に３２×３２の画素の画像（第２の低解像度画像）を作成する（ステップＳ１０７）。

そして、制御部２０−１は、この原画像を含む階層画像（高解像度画像、第１の低解像度画像、第２の低解像度画像）を利用者の登録画像としてＨＤ２０−４に保存する（ステップＳ１０８）。以下、同様にして、全ての利用者について、その利用者の登録画像（原画像を含む階層画像）をＨＤ２０−４に保存して行く。この実施の形態では、利用者の数を数千人規模とし、これら利用者の登録画像をＨＤ２０−４に保存させる。

なお、この例では、右の顔画像を登録するようにしたが、左の顔画像を登録するようにしてもよく、左右の顔画像を登録するようにしてもよい。この実施の形態では、説明上、右の顔画像を登録するものとした。

〔対象物の照合：照合処理１（照合処理の第１例）〕
この照合装置において、照合対象物を人間の顔Ｍ１とした場合、この顔Ｍ１の照合は次のようにして行われる。図３に制御部２０−１がＲＯＭ２０−２に格納されている照合プログラムに従って実行する照合処理１（照合処理の第１例）のフローチャートを示す。

〔画像キャプチャ〕
利用者は、ＣＣＤカメラ１０，１１の前に立つ。すると、制御部２０−１は、ＣＣＤカメラ１０，１１の撮像領域に顔Ｍ１が入ったことを認識し、フレームメモリ２０−５を介して、ＣＣＤカメラ１０からの顔Ｍ１を捉えた画像を左カメラの画像として取り込み、ＣＣＤカメラ１１からの顔Ｍ１を捉えた画像を右カメラの画像として取り込む（ステップＳ２０１）。

〔顔領域の検出〕
そして、制御部２０−１は、取り込んだ左カメラの画像および右カメラの画像から画像処理によって顔領域を検出する（ステップＳ２０２）。なお、この際、顔領域の輝度が一定範囲でなければ、ゲインコントロールし、左カメラの画像および右カメラの画像の取り込みを再度行う。また、この例では、左右の顔領域を検出するようにしたが、左か右の何れか一方の顔領域を検出するようにしてもよい。

〔瞳領域の検出および顔画像の正規化〕
そして、制御部２０−１は、検出した左右の顔領域の画像（左右の顔画像）から画像処理によって瞳領域を検出し（ステップＳ２０３）、３Ｄ計測によってカメラから照合対象物Ｍ１までの距離Ｒを算出し（ステップＳ２０４）、この算出した距離Ｒに基づいて右の顔画像のサイズを正規化する（ステップＳ２０５）。

〔参照画像の階層画像の作成〕
そして、制御部２０−１は、ステップＳ２０５で正規化した顔画像を参照画像の原画像とし、この参照画像の階層画像を作成する。この場合、制御部２０−１は、ステップＳ２０５で得た参照画像の原画像（１２８×１２８の画素の画像）を最上層（第０層）の高解像度画像とし、この高解像度画像の下層（第１層）に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層（第２層）に３２×３２の画素の画像（第２の低解像度画像）を作成する。

そして、制御部２０−１は、ＨＤ２０−４に保存されている第１番目の登録画像（原画像を含む階層画像）を読み出す（ステップＳ２０７）。すなわち、第１番目の登録画像について、最上層（第０層）に位置する高解像度画像（１２８×１２８の画素の画像）と、この高解像度画像の下層（第１層）に位置する第１の低解像度画像（６４×６４の画素の画像）と、この第１の低解像度画像の下層（第２層）に位置する第２の低解像度画像（３２×３２の画素の画像）とを読み出す。

図４（ａ），（ｂ）にステップＳ２０６で作成された参照画像の階層画像とステップＳ２０７で読み出された登録画像の階層画像を例示する。図４（ａ）において、Ｊ０は登録画像の第０層に位置する階層画像（高解像度画像（１２８×１２８の画素の画像））、Ｊ１は登録画像の第１層に位置する階層画像（第１の低解像度画像（６４×６４の画素の画像））、Ｊ２は登録画像の第２層に位置する階層画像（第２の低解像度画像（３２×３２の画素の画像））であり、図４（ｂ）において、Ｉ０は参照画像の第０層に位置する階層画像（高解像度画像（１２８×１２８の画素の画像））、Ｉ１は参照画像の第１層に位置する階層画像（第１の低解像度画像（６４×６４の画素の画像））、Ｉ２は参照画像の第２層に位置する階層画像（第２の低解像度画像（３２×３２の画素の画像））である。

制御部２０−１は、このような参照画像の階層画像Ｉ０，Ｉ１，Ｉ２および登録画像の階層画像Ｊ０，Ｊ１，Ｊ２を得た後、Ｎ＝Ｎｘとし（ステップＳ２０８）、参照画像の第Ｎ層の階層画像と登録画像の第Ｎ層の階層画像との類似度を算出する（ステップＳ２０９）。なお、Ｎｘは予め定められた任意の低解像度の階層であり、この例ではＮｘ＝１として定められているものとする。この場合、Ｎｘ＝１であるので、参照画像の第１層の階層画像Ｉ１と登録画像の第１層の階層画像Ｊ１との類似度を算出する。

そして、予め定められている第１層の基準値ＴＨを読み出し（ステップＳ２１０）、算出した類似度と読み出した第１層の基準値ＴＨとを比較する（ステップＳ２１１）。ここで、第１層の基準値ＴＨは、その階層の解像度に応じて定められている。

算出した類似度が第１層の基準値ＴＨ以上であれば（ステップＳ２１１のＹＥＳ）、制御部２０−１は、参照画像と登録画像との照合結果を一致として（ステップＳ２１２）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

算出した類似度が第１層の基準値ＴＨ以上でなければ（ステップＳ２１１のＮＯ）、制御部２０−１は、ＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ２１３のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ２０７）、ステップＳ２０８以下の処理を繰り返す。

これにより、次々に登録画像の階層画像がＨＤ２０−４から読み出され、登録画像の第１層の階層画像と参照画像の第１層の階層画像との類似度が算出され、算出された類似度と第１層の基準値ＴＨとが比較され、類似度が基準値ＴＨ以上であった場合に参照画像と登録画像とが一致したと判断される。

これに対して、ＨＤ２０−４に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合、制御部２０−１は、参照画像と登録画像との照合結果を不一致として（ステップＳ２１４）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。

このようにして、本実施の形態では、同一の低解像度の階層画像を照合することによって、すなわち低解像度でありながらも全体の画像を照合することによって、高精度を確保しつつ、高速処理が実現される。

なお、この照合処理１では、ステップＳ２０８においてＮｘ＝１とし、第１層の階層画像から類似度の算出を開始するようにしたが、ステップＳ２０８においてＮｘ＝２とし、第２層の階層画像から類似度の算出を開始するようにしてもよい。

〔対象物の照合：照合処理２（照合処理の第２例）〕
上述した照合処理１では、予め定められた任意の低解像度の階層のみの階層画像の類似度を算出して照合を行うようにしたが、解像度が低い順に登録画像の階層画像と参照画像の階層画像との類似度を算出し、算出された類似度とその階層の基準値ＴＨとを比較することによって、登録画像と参照画像との照合を行うようにしてもよい。この場合の照合処理を照合処理２（照合処理の第２例）とし、そのフローチャートを図５に示す。

この照合処理２において、制御部２０−１は、図３に示したステップＳ２０１〜Ｓ２０７に対応するステップＳ３０１〜Ｓ３０７の処理を実行し、参照画像の階層画像Ｉ０，Ｉ１，Ｉ２（図４（ａ）参照）および登録画像の階層画像Ｊ０，Ｊ１，Ｊ２（図４（ｂ）参照）を得る。そして、Ｎ＝２とし（ステップＳ３０８）、参照画像の第Ｎ層の階層画像と登録画像の第Ｎ層の階層画像との類似度を算出する（ステップＳ３０９）。この場合、Ｎ＝２であるので、参照画像の第２層の階層画像Ｉ２と登録画像の第２層の階層画像Ｊ２との類似度を算出する。

そして、予め定められている第２層の基準値ＴＨを読み出し（ステップＳ３１０）、算出した類似度と読み出した第２層の基準値ＴＨとを比較する（ステップＳ３１１）。ここで、第２層の基準値ＴＨは、その階層の解像度に応じて定められている。

算出した類似度が第２層の基準値ＴＨ以上であれば（ステップＳ３１１のＹＥＳ）、制御部２０−１は、参照画像と登録画像との照合結果を一致として（ステップＳ３１２）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

算出した類似度が第２層の基準値ＴＨ以上でなければ（ステップＳ３１１のＮＯ）、制御部２０−１は、より解像度の高い階層画像があることを確認のうえ（ステップＳ３１３のＹＥＳ）、Ｎ＝Ｎ−１とし（ステップＳ３１４）、ステップＳ３０９へ戻る。この場合、Ｎ＝１とされるので、制御部２０−１は、参照画像の第１層の階層画像Ｉ１と登録画像の第１層の階層画像Ｊ１との類似度を算出する。

そして、予め定められている第１層の基準値ＴＨを読み出し（ステップＳ３１０）、算出した類似度と読み出した第１層の基準値ＴＨとを比較する（ステップＳ３１１）。ここで、第１層の基準値ＴＨは、その階層の解像度に応じて定められている。

算出した類似度が第１層の基準値ＴＨ以上であれば（ステップＳ３１１のＹＥＳ）、制御部２０−１は、参照画像と登録画像との照合結果を一致として（ステップＳ３１２）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

算出した類似度が第２層の基準値ＴＨ以上でなければ（ステップＳ３１１のＮＯ）、制御部２０−１は、より解像度の高い階層画像があることを確認のうえ（ステップＳ３１３のＹＥＳ）、Ｎ＝Ｎ−１とし（ステップＳ３１４）、ステップＳ３０９へ戻る。この場合、Ｎ＝０とされるので、制御部２０−１は、参照画像の第０層の階層画像Ｉ０と登録画像の第０層の階層画像Ｊ０との類似度を算出する。

そして、予め定められている第０層の基準値ＴＨを読み出し（ステップＳ３１０）、算出した類似度と読み出した第０層の基準値ＴＨとを比較する（ステップＳ３１１）。ここで、第０層の基準値ＴＨは、その階層の解像度に応じて定められている。

算出した類似度が第０層の基準値ＴＨ以上であれば（ステップＳ３１１のＹＥＳ）、制御部２０−１は、参照画像と登録画像との照合結果を一致として（ステップＳ３１２）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

算出した類似度が第０層の基準値ＴＨ以上でなければ（ステップＳ３１１のＮＯ）、制御部２０−１は、より解像度の高い階層画像があるか否かをチェックする（ステップＳ３１３）。この場合、第０層よりも解像度の高い階層画像はないので（ステップＳ３１３のＮＯ）、ＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ３１５のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ３０７）、ステップＳ３０８以下の処理を繰り返す。

これにより、次々に登録画像の階層画像がＨＤ２０−４から読み出され、解像度が低い順に登録画像の階層画像と参照画像の階層画像との類似度が算出され、算出された類似度とその階層の基準値ＴＨとが比較され、何れかの階層で類似度が基準値ＴＨ以上であった場合に参照画像と登録画像とが一致したと判断される。

これに対して、ＨＤ２０−４に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合、制御部２０−１は、参照画像と登録画像との照合結果を不一致として（ステップＳ３１６）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。

なお、この照合処理２では、ステップＳ３０８においてＮ＝２とし、第２層の階層画像から類似度の算出を開始するようにしたが、ステップＳ３０８においてＮ＝１とし、第１層の階層画像から類似度の算出を開始するようにしてもよい。

〔対象物の照合：照合処理３（照合処理の第３例）〕
上述した照合処理１，２では、ＨＤ２０−４に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合（ステップＳ２１３のＮＯ、ステップＳ３１５のＮＯ）、参照画像と登録画像との照合結果を不一致として処理を終了するようにした。

これに対して、照合処理３（照合処理の第３例）では、図６および図８にそのフローチャートを分割して示すように（照合処理３の第１例）、また図７および図８にそのフローチャートを分割して示すように（照合処理３の第２例）、ＨＤ２０−４に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合（ステップＳ２１３のＮＯ、ステップＳ３１５のＮＯ）、参照画像と登録画像との照合結果を不一致とはせずに、ステップＳ４０１の処理へ進むようにする。

この場合、制御部２０−１は、ＨＤ２０−４に保存されている第１番目の登録画像（原画像を含む階層画像）を再度読み出す（ステップＳ４０１）。すなわち、第１番目の登録画像を再照合登録画像とし、この再照合登録画像について、最上層（第０層）に位置する高解像度画像（１２８×１２８の画素の画像）と、この高解像度画像の下層（第１層）に位置する第１の低解像度画像（６４×６４の画素の画像）と、この第１の低解像度画像の下層（第２層）に位置する第２の低解像度画像（３２×３２の画素の画像）とを読み出す（図９（ａ）参照）。

そして、制御部２０−１は、予め定められた基準点を読み込んで、対応領域探索のための特徴領域を再照合登録画像の階層画像Ｊ０，Ｊ１，Ｊ２に設定する（ステップＳ４０２）。

この例では、再照合登録画像の原画像に対して設定されている図１０（ａ）に示すような基準点プレートＰＬから、特徴領域を規定する点として予め定められた基準点Ｐ１を読み込み、この基準点Ｐ１を中心とする３２×３２の画素の領域を特徴領域Ｓ０として再照合登録画像の階層画像Ｊ０に設定する。この例において、基準点Ｐ１は、階層画像Ｊ０において、特徴領域Ｓ０のゾーン内に特徴的な部分として右目が入るような点として定められている。

同様にして、再照合登録画像の階層画像Ｊ１に対して、基準点Ｐ１に対応する点を中心とする３２×３２の画素の領域を特徴領域Ｓ１として設定し、再照合登録画像の階層画像Ｊ２に対して、基準点Ｐ１に対応する点を中心とする３２×３２の画素の領域を特徴領域Ｓ２として設定する。なお、階層画像Ｊ２は３２×３２の画素の画像であるので、階層画像Ｊ２の全領域が特徴領域Ｓ２として設定される。

そして、制御部２０−１は、Ｎ＝２とし（ステップＳ４０３）、再照合登録画像の第Ｎ層の階層画像の特徴領域に対応する参照画像の第Ｎ層の階層画像の対応領域の探索を行う（ステップＳ４０４）。この場合、Ｎ＝２であるので、再照合登録画像の第２層の階層画像Ｊ２の特徴領域Ｓ２に対応する参照画像の第２層の階層画像Ｉ２の対応領域Ｓ２’の探索をＰＯＣ照合によって行う。

そして、制御部２０−１は、この探索した再照合登録画像の第２層の階層画像Ｊ２における特徴領域Ｓ２と参照画像の第２層の階層画像Ｉ２における対応領域Ｓ２’との類似度を算出し（ステップＳ４０５）、予め定められている第２層の基準値ＴＨを読み出し（ステップＳ４０６）、算出した類似度と読み出した第２層の基準値ＴＨとを比較する（ステップＳ４０７）。ここで、第２層の基準値ＴＨは、その階層の解像度と特徴領域Ｓ２の位置とに応じて定められている。

算出した類似度が第２層の基準値ＴＨ以上であれば（ステップＳ４０７のＹＥＳ）、制御部２０−１は、参照画像と登録画像との照合結果を一致として（ステップＳ４０８）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

算出した類似度が第０層の基準値ＴＨ以上でなければ（ステップＳ４０７のＮＯ）、制御部２０−１は、より解像度の高い階層画像があることを確認のうえ（ステップＳ４０９のＹＥＳ）、Ｎ＝Ｎ−１とし（ステップＳ４１０）、ステップＳ４０４へ戻る。この場合、Ｎ＝１とされるので、制御部２０−１は、第２層の階層での探索結果を反映させて、登録画像の第１層の階層画像Ｊ１の特徴領域Ｓ１に対応する参照画像の第１層の階層画像Ｉ１の対応領域Ｓ１’の探索をＰＯＣ照合によって行う（ステップＳ４０４）。

そして、制御部２０−１は、この探索した登録画像の第１層の階層画像Ｊ１における特徴領域Ｓ１と参照画像の第１層の階層画像Ｉ１における対応領域Ｓ１’との類似度を算出し（ステップＳ４０５）、予め定められている第１層の基準値ＴＨを読み出し（ステップＳ４０６）、算出した類似度と読み出した第１層の基準値ＴＨとを比較する（ステップＳ４０７）。ここで、第１層の基準値ＴＨは、その階層の解像度と特徴領域Ｓ１の位置とに応じて定められている。

算出した類似度が第１層の基準値ＴＨ以上であれば（ステップＳ４０７のＹＥＳ）、制御部２０−１は、参照画像と登録画像との照合結果を一致として（ステップＳ４０８）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

算出した類似度が第０層の基準値ＴＨ以上でなければ（ステップＳ４０７のＮＯ）、制御部２０−１は、より解像度の高い階層画像があることを確認のうえ（ステップＳ４０９のＹＥＳ）、Ｎ＝Ｎ−１とし（ステップＳ４１０）、ステップＳ４０４へ戻る。この場合、Ｎ＝０とされるので、制御部２０−１は、第０層の階層での探索結果を反映させて、登録画像の第０層の階層画像Ｊ０の特徴領域Ｓ０に対応する参照画像の第０層の階層画像Ｉ０の対応領域Ｓ０’の探索をＰＯＣ照合によって行う（ステップＳ４０４）。

そして、制御部２０−１は、この探索した登録画像の第０層の階層画像Ｊ０における特徴領域Ｓ０と参照画像の第０層の階層画像Ｉ０における対応領域Ｓ０’との類似度を算出し（ステップＳ４０５）、予め定められている第０層の基準値ＴＨを読み出し（ステップＳ４０６）、算出した類似度と読み出した第０層の基準値ＴＨとを比較する（ステップＳ４０７）。ここで、第０層の基準値ＴＨは、その階層の解像度と特徴領域Ｓ０の位置とに応じて定められている。

算出した類似度が第０層の基準値ＴＨ以上であれば（ステップ４０７のＹＥＳ）、制御部２０−１は、参照画像と登録画像との照合結果を一致として（ステップＳ４０８）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

算出した類似度が第０層の基準値ＴＨ以上でなければ（ステップＳ４０７のＮＯ）、制御部２０−１は、より解像度の高い階層画像があるか否かをチェックする（ステップＳ４０９）。この場合、第０層よりも解像度の高い階層画像はないので（ステップＳ４０９のＮＯ）、ＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ４１１のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ４０１）、ステップＳ４０２以下の処理を繰り返す。

これにより、次々に登録画像の階層画像がＨＤ２０−４から再度読み出され、解像度が低い順に再照合登録画像の階層画像の特徴領域と参照画像の階層画像の対応領域との類似度が算出され、算出された類似度とその階層の基準値ＴＨとが比較され、何れかの階層で類似度が基準値ＴＨ以上であった場合に参照画像と再照合登録画像とが一致したと判断される。

これに対して、ＨＤ２０−４に記憶されている登録画像を再照合登録画像として全て読み出したにも拘わらず、再照合登録画像と参照画像とが一致するという結果が得られなかった場合、制御部２０−１は、参照画像と再照合登録画像との照合結果を不一致として（ステップＳ４１２）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。

なお、この照合処理３では、ステップＳ４０３においてＮ＝２とし、第２層（最下層）の階層画像から特徴領域に対応する対応領域の探索および類似度の算出を開始するようにしたが、ステップＳ４０３においてＮ＝１とし、第１層の階層画像から特徴領域に対応する対応領域の探索および類似度の算出を開始するようにしてもよい。

〔対象物の照合：照合処理４（照合処理の第４例）〕
上述した照合処理３では、ＨＤ２０−４に記憶されている登録画像を再照合登録画像として全て再読み出したにも拘わらず、再照合登録画像と参照画像とが一致するという結果が得られなかった場合（ステップＳ４１１のＮＯ）、参照画像と登録画像との照合結果を不一致として処理を終了するようにした。

これに対して、照合処理４（照合処理の第４例）では、図１１および図１２にそのフローチャートを分割して示すように、ＨＤ２０−４に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合（ステップＳ４１１のＮＯ）、参照画像と登録画像との照合結果を不一致とはせずに、ステップＳ４１３の処理へ進むようにする。

この場合、制御部２０−１は、対応領域探索のための他の特徴領域を規定する基準点があるか否かをチェックし（ステップＳ４１３）、対応領域探索のための他の特徴領域を規定する基準点があれば（ステップＳ４１３のＹＥＳ）、その基準点を特徴領域を規定するための基準点として再設定する（ステップＳ４１４）。

これにより、例えば、図１４に示すように、対応領域探索のための他の特徴領域を規定する基準点Ｐ２があれば、次回のステップＳ４０２では、この基準点Ｐ２を中心とする３２×３２の画素の領域が特徴領域Ｓ０として登録画像の階層画像Ｊ０に再設定される。また、基準点Ｐ２に対応して、登録画像の階層画像Ｊ１，Ｊ２にも特徴領域が再設定される。この例において、基準点Ｐ２は、階層画像Ｊ０において、特徴領域Ｓ０のゾーン内に特徴的な部分として左目が入るような点として定められている。

また、例えば、図１５に示すように、対応領域探索のための他の特徴領域を規定する基準点Ｐ３があれば、次回のステップＳ４０２では、この基準点Ｐ３を中心とする３２×３２の画素の領域が特徴領域Ｓ０として登録画像の階層画像Ｊ０に再設定される。また、基準点Ｐ２に対応して、登録画像の階層画像Ｊ１，Ｊ２にも特徴領域が再設定される。この例において、基準点Ｐ３は、階層画像Ｊ０において、特徴領域Ｓ０のゾーン内に特徴的な部分として鼻が入るような点として定められている。

そして、この特徴領域を規定する基準点の再設定後、ステップＳ４０１へ戻り、ＨＤ２０−４から登録画像をもう一度読み出して、上述と同様の処理を繰り返す。この処理は、登録画像と参照画像とが一致するという結果が得られるまで繰り返され、この処理の繰り返し中、対応領域探索のための他の特徴領域を規定する基準点がなくなると（ステップＳ４１３のＮＯ）、制御部２０−１は、参照画像と登録画像との照合結果を不一致として（ステップＳ４１５）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。

〔対象物の照合：照合処理５（照合処理の第５例）〕
照合処理４では、ＨＤ２０−４に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合（ステップＳ４１１のＮＯ）、図１２に示したフローチャートのステップＳ４１３に進むようにしたが、照合処理５（照合処理の第５例）では、図１３に示したフローチャートのステップＳ４１６へ進むものとする。

この場合、制御部２０−１は、基準点密度の増大パターンがあるか否かをチェックし、基準点密度の増大パターンがあれば（ステップＳ４１６のＹＥＳ）、その基準点密度の増大パターンに従って特徴領域を規定する基準点の数を増やす（ステップＳ４１７）。

例えば、図１６に示すように、基準点密度の増大パターンとして基準点Ｐ１₁，Ｐ１₂，Ｐ１₃，Ｐ１₄，Ｐ１₅，Ｐ１₆があれば、次回のステップＳ４０２では、この基準点Ｐ１₁，Ｐ１₂，Ｐ１₃，Ｐ１₄，Ｐ１₅，Ｐ１₆のそれぞれを中心とする３２×３２の画素の領域が特徴領域Ｓ０₁，Ｓ０₂，Ｓ０₃，Ｓ０₄，Ｓ０₅，Ｓ０₆として登録画像の階層画像Ｊ０に再設定される。また、基準点Ｐ１₁，Ｐ１₂，Ｐ１₃，Ｐ１₄，Ｐ１₅，Ｐ１₆に対応して、登録画像の階層画像Ｊ１，Ｊ２にも特徴領域が再設定される。

そして、この特徴領域を規定する基準点の再設定後、ステップＳ４０１へ戻り、ＨＤ２０−４から登録画像をもう一度読み出して、上述と同様の処理を繰り返す。この場合、特徴領域毎に対応領域を探索し、対応領域毎の類似度に基づいて照合を行う。この処理は、登録画像と参照画像とが一致するという結果が得られるまで繰り返され、この処理の繰り返し中、基準点密度の増大パターンがなくなると（ステップＳ４１６のＮＯ）、制御部２０−１は、参照画像と登録画像との照合結果を不一致として（ステップＳ４１８）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。

なお、上述した照合処理１〜５において、類似度の計算方法（例えば、ステップＳ２０９（図３、図６）、ステップＳ３０９（図５、図７）、ステップＳ４０５（図８、図１１）などでの類似度の計算方法）についてはその詳細を述べなかったが、この場合の類似度の計算方法として次のような方法が考えられる。

〔特定の顔データ、特定の階層、特定のエリアで類似度を算出する方法〕
案１．対応点毎の相関値の平均値を類似度にする。
案２．閾値Tより高い対応点の数を類似度にする。
⇒ 特定エリアの外乱（着用物など）に影響をうけにくくなる。
案３．上下左右全体などエリア毎に閾値 "T_high" より高い対応点の数を類似度にする。閾値 "T_high" はエリア毎に変えても良い。
⇒ サングラス、メガネ、ひげの発生、傷、眼帯などの影響を受けにくい照合が実現できる。
案４．上下左右全体などエリア毎に閾値 "T_high" より高い対応点の数を類似度にする。このとき、いずれかのエリア毎に閾値 "T_low" より低い対応点の数が多い場合、後段の類似度判定処理でＮＧとする。閾値 "T_high"、"T_low" はエリア毎に変えても良い。
⇒ 同一の着用物による他人誤認を防ぐことができる。例えば、フレームの太い眼鏡による誤認がなくなる。

なお、例えば照合処理１（図３）では、ステップＳ２０９で類似度の算出を行い、ステップＳ２１１で類似度と基準値との比較を行うようにしているが、類似度の算出と基準値との比較を１ステップで行うようにしてもよい。他の照合処理でも同様。

また、上述した実施の形態では、登録画像の階層画像を登録画像としてＨＤ２０−４に記憶させるようにしたが、登録画像の原画像のみを記憶させるようにしてもよい。登録画像の原画像のみを記憶させる場合には、登録画像（原画像）の読み出しを行った後、この読み出した登録画像の原画像を最上層（第０層）の高解像度画像とし、この高解像度画像の下層（第１層）に第１の低解像度画像を作成し、この第１の低解像度画像の下層（第２層）に第２の低解像度画像を作成するようにする。

図１７に照合処理１において、登録画像（原画像）の読み出しを行った後、登録画像の階層画像を作成するようにした場合のフローチャートを示す。この場合、ステップＳ２０７で登録画像の原画像を読み出すようにし、このステップＳ２０７の後に、登録画像の階層画像を作成するステップＳ２１５を設けるようにする。照合処理３，４においても、同様にして、ステップＳ２０７の後に、登録画像の階層画像を作成するステップＳ２１５を設けるようにする。

図１８に照合処理２において、登録画像（原画像）の読み出しを行った後、登録画像の階層画像を作成するようにした場合のフローチャートを示す。この場合、ステップＳ３０７で登録画像の原画像を読み出すようにし、このステップＳ３０７の後に、登録画像の階層画像を作成するステップＳ３１７を設けるようにする。照合処理３，４においても、同様にして、ステップＳ３０７の後に、登録画像の階層画像を作成するステップＳ３１７を設けるようにする。

図１９に照合処理４において、登録画像（原画像）の再読み出しを行った後、再照合登録画像の階層画像を作成するようにした場合のフローチャートを示す。この場合、ステップＳ４０１で登録画像を再照合特録画像として読み出すようにし、ステップＳ４０１の後に、読み出した再照合登録画像の階層画像を作成するステップＳ４１９を設けるようにする。

また、上述した実施の形態では、照合処理４において、登録画像の階層画像と参照画像の階層画像との類似度に基づく照合を行った後、登録画像の階層画像の特徴領域と参照画像の階層画像の対応領域との類似度に基づく照合（再照合）を行うようにしたが、登録画像の階層画像の特徴領域と参照画像の階層画像の対応領域との類似度に基づく照合を行った後、登録画像の階層画像と参照画像の階層画像との類似度に基づく照合（再照合）を行うようにしてもよい。

本発明の照合装置は、参照画像と登録画像とを照合する照合装置として、入退室を管理するシステムに限らず、各種の対象物を認証するシステム（例えば、印刷などの画像チェック、半田基板チェックなど）において利用することが可能である。

１０，１１…ＣＣＤカメラ、１０−１，１１−１…レンズ、１２…液晶表示装置（ＬＣＤ）、２０…処理部、２０−１…制御部、２０−２…ＲＯＭ、２０−３…ＲＡＭ、２０−４…ハードディスク（ＨＤ）、２０−５…フレームメモリ（ＦＭ）、２０−６…外部接続部（Ｉ／Ｆ）、２０−７…フーリエ変換部（ＦＦＴ）、Ｉ０，Ｉ１，Ｉ２…参照画像の階層画像、Ｊ０，Ｊ１，Ｊ２…登録画像の階層画像、Ｓ０，Ｓ１，Ｓ２，Ｓ０₁〜Ｓ０₆…特徴領域、Ｓ０’，Ｓ１’，Ｓ２’…対応領域、ＰＬ…基準テンプレート、Ｐ１，Ｐ２，Ｐ３，Ｐ１₁〜Ｐ１₆…基準点。

Claims (4)

1. 参照画像と登録画像とを照合する照合装置において、
   前記参照画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成する階層画像作成手段と、
   前記参照画像と同一解像度の複数の登録画像を記憶する登録画像記憶手段と、
   前記登録画像記憶手段に記憶されている登録画像を１つずつ読み出す登録画像読出手段と、
   前記階層画像作成手段によって作成された参照画像の低解像度の階層画像と前記登録画像読出手段によって読み出された登録画像の前記参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、前記登録画像読出手段によって読み出された登録画像と前記参照画像との照合を行う照合手段と
   を備えることを特徴とする照合装置。
2. 請求項１に記載された照合装置において、
   前記照合手段は、
   前記同一の低解像度の階層画像の類似度の算出を任意の低解像度の階層画像から行い、算出された類似度が所定の基準値を満たす場合に、前記登録画像読出手段によって読み出された登録画像と前記参照画像とが一致すると判断する
   ことを特徴とする照合装置。
3. 請求項２に記載された照合装置において、
   前記照合手段は、
   前記階層画像の階層毎に、前記基準値として、その階層の解像度に応じて定められた閾値を用いる
   ことを特徴とする照合装置。
4. 請求項１〜３の何れか１項に記載された照合装置において、
   前記照合手段は、
   前記登録画像読出手段が前記登録画像記憶手段に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合、前記登録画像読出手段に対して前記登録画像の再読出しを指示するとともに、これによって読み出される登録画像を再照合登録画像とし、前記階層画像作成手段によって作成された参照画像の階層画像および前記登録画像読出手段によって読み出された再照合登録画像の前記参照画像の階層画像に対応する階層画像の何れか一方に対して予め定められた特徴領域を設定し、特徴領域が設定された一方の階層画像の当該特徴領域に対応する対応領域を他方の階層画像から探索し、一方の階層画像に設定された特徴領域と他方の階層画像から探索された対応領域との類似度に基づいて、前記再照合登録画像と前記参照画像との照合を行う
   ことを特徴とする照合装置。