JP4061405B2

JP4061405B2 - 顔画像分類登録装置

Info

Publication number: JP4061405B2
Application number: JP2003166779A
Authority: JP
Inventors: 育士依田; 勝彦坂上
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2003-06-11
Filing date: 2003-06-11
Publication date: 2008-03-19
Anticipated expiration: 2023-06-11
Also published as: JP2005004454A

Description

【０００１】
【発明の属する技術分野】
本発明は、室内空間など利用者がその位置を全く拘束されないような広い空間内において撮影された多数の画像データから、顔領域を抽出して顔画像認識のための顔画像データ辞書として登録にするに相応しい顔画像データを抽出して登録することのできる顔画像分類登録装置に関するものである。
【０００２】
【従来の技術】
顔画像の認識技術は、ヒューマンインタフェースあるいはセキュリティシステムなど広い応用のために基礎的な要素技術であるため、従来から、様々な手法が開発されている。
【０００３】
顔画像の認識処理は、顔領域の抽出、顔領域から特徴量を抽出した顔データ辞書の作成、顔データ辞書を用いる識別処理などの処理要素により行われる。顔画像識別の手法は、特徴から大きく分けると、顔の構造の特徴を利用する方法、顔のパターン（濃淡画像）をそのまま識別する方法、その両方を用いる方法に分類できる。
【０００４】
顔の構造の特徴を利用する方法は、目、鼻、口などの特徴点の位置、形状、サイズをパラメータ化して特徴ベクトルを生成し、予め登録されている対象人物の特徴ベクトルとの類似度を計算して顔画像を認識する方法である。
【０００５】
顔認識のためのパターンとして濃淡画像をそのまま識別する方法は、顔画像の濃淡画像から、顔画像部分を抽出した後、顔の位置や大きさの正規化を行い、予め登録されている顔画像データとのパターンの類似度に基づき顔画像を認識する方法である。
【０００６】
その両方の特徴を用いた方法は、顔の構造的な特徴の関係を利用しながら、その顔の部分部分の画像をパターンとして利用する方法である。より多くの人の顔の識別を可能にするためには、この両方の特徴を利用する方法が用いられる。
【０００７】
これらのどのような顔認識方法を用いる場合にも、顔認識の実際の適用に際しては、上記の顔認識処理に加えて使用者の登録、つまり、登録する使用者の顔画像認識のための顔データ辞書の生成が不可欠になってくる。顔認識は、特に、文字認識などと比較し、照明条件、顔向き、表情変化などの形状や輝度の変動が大きく、大量の学習サンプル画像が必要となる。また、顔は時間と共に変化する。このため、高い認識率を維持するためには顔データ辞書は一定時間ごとに更新される必要がある。
【０００８】
高い認識率で顔認識を行うための顔画像の登録については、例えば、特許文献１に示されるように、入力された画像中から顔領域を抽出して自動的に顔データを辞書登録する顔画像登録装置が提案されている。また、後述するように、顔認識処理に関係するパターン認識技術、特徴データの自動分類に関する技術について、例えば、「高次局所自己相関特徴を用いた認識」の原理については、非特許文献１が参照できる。ＳＯＭを用いた自己組織化マップ作成の原理については、非特許文献２が参照できる。
【特許文献１】
特開平１０−２３２９３４号公報
【非特許文献１】
大津展之、栗田多喜夫、関田巌著「パターン認識理論と応用」朝倉書店１９９６年７月１０日初版発行
【非特許文献２】
Ｔ．コホネン著「自己組織化マップ」シュプリンガー・フェアラーク東京１９９６年６月１５日初版発行
【０００９】
【発明が解決しようとする課題】
ところで、顔認識に関する従来の技術の多くは、例えば、パソコンを利用しているユーザの顔認識であったり、現金自動支払い機（ＡＴＭ）を利用している人の顔認識であったり、インターホンの前に立っている人の顔認識であったり、あるいは玄関など一定の狭い空間を通過する人の顔認識であったり、など、何れも特定の場所の非常に狭い場所に座ったり、立ったり、通過することを前提としての顔認識であった。この場合には、その認識対象となる人は基本的に正面を向いていることを前提としており、よそ見をしていたり、明後日の方向を見ていたりすることを想定していない。
【００１０】
したがって、そこでの顔画像の登録方法は、静止した正面向きの顔を登録する方法であったり、その正面向きの顔の中で認識に不向きな顔画像を取り除く方法であったりする。また、顔向きの角度別に辞書を作成する方法であっても、例えば、正面、左右１５°、上下１５°刻みの方向に登録者の顔を向けて撮影した画像から人手により顔の切り出し及び画像の選択を行っていた。
【００１１】
さらに、これらを自動的に登録可能であるか否かを判定する手法も提案されているが、想定しているのは、前述のような狭い空間や、左右１５度程度のずれのある顔画像であり、室内全体のようなより広い空間で撮影された顔画像から、顔認識するのに相応しい顔画像を選択することについては想定されていない。
【００１２】
本発明は、このような問題点を解決するためになされたものであり、本発明の目的は、室内空間など利用者がその位置を全く拘束されないような広い空間内において撮影された多数の画像データから、正面に近い顔画像を選び出して登録することのできる顔画像分類登録装置を提供することにある。また、本発明の他の目的は、顔認識に利用する場合において利用者にあらゆる拘束をしないで顔認識のための顔画像データを登録することのできる顔画像分類登録装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記の目的を達成するため、本発明による顔画像分類登録装置は、第１の形態として、利用者がその位置を全く拘束されないような広い空間内において撮影された多数の画像データから、正面に近い顔画像の顔画像データを抽出して登録する顔画像分類登録装置であって、室内空間にいる人物をいろいろな方向から撮影して多数の画像データを取得する撮像手段と、前記撮像手段により撮影した画像データに対して基本的な画像処理を行いディジタル画像データとする画像処理手段と、前記ディジタル画像データから顔領域を抽出し、当該顔領域の画像データからエッジ特徴を抽出し、エッジ特徴の画像データから高次局所自己相関特徴を取得してベクトル化を行い、顔パターンの特徴として抽出する特徴抽出手段と、前記顔パターンの特徴の高次局所自己相関特徴のベクトル化されたデータを利用して、顔向き特徴による２次元マップを作成し、顔パターンを顔向きの特徴により分類する顔自動分類手段と、作成された顔向き特徴による２次元マップを登録する顔マップデータベースとを備えることを特徴とするものである。
【００１４】
また、第２の態様として、本発明による顔画像分類登録装置においては、さらに、顔識別装置の顔画像データ辞書として利用する顔画像データを登録する顔画像データベースを備え、前記顔自動分類手段が、顔向き特徴による２次元マップの作成を、自己組織化マップの作成により行い、作成された自己組織化マップに基づいて、顔パターンの顔向き特徴による分類を、正面向きの顔画像、横向きの顔画像、それ以外の顔向きの顔画像に分類し、正面向きの顔画像に分類された顔パターンの顔画像データのみを前記顔画像データベースに登録することを特徴とするものである。
【００１５】
また、これらの形態において、顔画像分類登録装置では、室内空間にいる人物の個人が特定される場合、正面向きの顔画像に分類された顔パターンの顔画像データを個人別の顔画像データ辞書の顔画像データとして顔画像データベースに登録するようにしてもよい。
【００１６】
本発明の顔画像分類登録装置によれば、室内空間にいる人のいろいろな方向から得られた顔画像データから、顔領域を抽出し、顔領域の顔パターンの特徴を高次局所自己相関特徴のベクトルデータとして抽出し、得られた特徴から顔画像データを分類して、例えば、顔認識が可能な正面に近い顔画像群を抽出する。ここでは、顔画像データを自動的に分類するため、自己組織化マップを作成する。作成された自己組織化マップに基づき顔画像データが分類される。この場合の分類結果は、顔領域の顔パターンの特徴により自己組織化マップを作成しているので、顔領域の特徴から顔の向きに対応して分類されており、この分類結果を用いることで、顔向きごとの辞書、例えば、その正面に近い顔画像群から正面顔画像データ辞書を構成することが可能となる。この顔画像データ辞書を用いることにより、顔認識の識別性能を高めることができる。
【００１７】
また、顔画像の分類結果から顔向きマップを作成すると、顔認識時には、その顔向きマップから、対象とする顔画像が認識するのに相応しい正面に近い顔画像であるかどうかを判断した後に、識別可能な顔画像の画像データを用いて識別することにより、その識別性能を高めるようにすることができる。
【００１８】
【発明の実施の形態】
以下、本発明を実施する場合の一形態について、図面を参照して、具体的に説明する。図１は、本発明を実施する場合のシステム構成の第１の例を示す図であり、図２は、本発明を実施する場合のシステム構成の第２の例を示す図である。図３は顔自動分類装置の詳細な構成を説明するブロック図である。
【００１９】
図１において、１０ａ，１０ｂ，１０ｃ，…，１０ｎはカメラ、１１は画像処理装置、１２は顔自動分類装置、１３は顔識別装置、１４は室内空間、１５はユーザである。複数のカメラ１０ａ，１０ｂ，１０ｃ，…，１０ｎによって囲まれる広い室内空間１４において、ユーザ１５は室内空間１４の中を自由に移動する。その際に、ユーザ１５の顔画像は、複数のカメラ１０ａ，１０ｂ，１０ｃ，…，１０ｎによって、いろいろな方向から撮影される。複数のカメラ１０ａ，１０ｂ，１０ｃ，…，１０ｎにより、一定時間ごとに撮影されて得られた多数の顔画像データは、画像処理装置１１に送出される。
【００２０】
図１のシステム構成では、複数のカメラ１０ａ，１０ｂ，１０ｃ，…，１０ｎにより、ユーザ１５の顔画像を様々な方向から撮影して、その顔画像データを画像処理装置１１に送出するようにしているが、このカメラは複数台でも、単体であってもよく、カメラの視野に入って来たとき、そのユーザの顔を含む画像を、顔画像認識で必要とされる所定以上の解像度で撮影して得られた顔画像データを画像処理装置１１に送出できるものであればよい。
【００２１】
このため、カメラ１０ａ，１０ｂ，１０ｃ，…，１０ｎは、一般的な単体のカメラであったり、ステレオカメラであったりする。ステレオカメラ自体は既存のものを利用できる。例えば、ポイントグレイ社のデジクロップスやサーノフ研究所のアケーディアのようなものを用いることができる。
【００２２】
画像処理装置１１は各カメラ１０ａ，１０ｂ，１０ｃ，…，１０ｎからの顔画像データ（映像）を入力として、毎秒１０枚〜３０枚程度の画像処理を行い、そこから得られた顔画像を含む顔画像データを顔自動分類装置１２に送出する。
【００２３】
また、図１に示すシステム構成では、室内空間１４を全て覆うように、複数のカメラ１０ａ，１０ｂ，１０ｃ，…，１０ｎが設けられたシステム構成を示しているが、例えば、図２に示すシステム構成例のように、顔画像を取得する対象となるユーザ１５に対して、ディスプレイ、インターホン、パソコンなどの操作対象１６の前に設置された１台のカメラ１７を用いるようにしてもよい。
【００２４】
この場合、１台のカメラ１７のみをユーザ１５の顔位置を撮影する向きに設置して、その１台のカメラ１７から顔画像データを得るようにしてもよい。ユーザ１５は、顔位置を固定することが要求されないので、操作対象１６を自由に操作中のユーザ１５は、顔がカメラ１７によりその動きによって様々な方向から撮影されて顔画像データとして取得される。操作対象１６の近傍に設置されたカメラ１７から得られた顔画像データは、画像処理装置１１に送出される。
【００２５】
これは、例えば、現金自動支払い機（ＡＴＭ）やインターホン、パソコン利用者など、１人のユーザのみを対象とする場合の実施例として好適である。この場合においても、ユーザ１５がカメラ１７の方を必ずしも見ていない場合を想定しており、ユーザ１５の顔画像は、いろいろな方向から撮影された顔画像データとして画像処理装置１１に送出される。基本的な仕組みは、図１におけるシステム構成例の場合と同様である。画像処理装置１１は、得られた顔画像データに対して、シェーディング補正等の基本的な画像処理を行い、ディジタル画像データとして顔自動分類装置１２に送出される。
【００２６】
顔自動分類装置１２は、図３に示すように、顔領域抽出部３１、特徴抽出部３２、顔自動分類部３３、全体顔向き特徴データベース３４、全顔マップデータベース３５、個人顔マップデータベース３６、個人正面付近顔データベース３７から構成されている。
【００２７】
顔領域抽出部３１は、例えば、顔画像を含む顔画像データから顔領域（ユーザの顔部分のみ）を抽出する処理モジュールである。ここでは顔の色相などを用いた肌色領域を利用し、顔周辺部分のみを抽出する。この顔領域を抽出する手法に関しては、例えば、肌色領域だけでなく、目、鼻、口を利用する方法など数々の手法が、従来から提案されており、それらを利用するようにしても良い。
【００２８】
特徴抽出部３２は、その得られた顔部分のみの画像（顔領域の画像データ）から、顔の向きを判定するのに相応しい特徴を抽出する処理モジュールである。ここでは、例えば、エッジ特徴を抽出した後、そのエッジ画像から、高次局所自己相関特徴を取得してベクトル化を行い、顔パターンの特徴を抽出する。このベクトル化した特徴は、顔向きを判定できる特徴を有している。抽出した特徴の顔パターンは、全体顔向き特徴データベース３４に保存される。
【００２９】
顔自動分類部３３は、特徴抽出部３２で抽出した高次局所自己相関特徴のベクトルを利用して、顔の向き特徴による２次元マップを作成して自動分類する処理モジュールである。ここで作成された２次元マップは、全顔マップデータベース３５、個人顔マップデータベース３６に保存されて、後述する自動分類の処理が行われる。そして、最終的に分類された結果、各個人に対しては、個人顔マップデータベース３６から判断して認識しやすい正面画像に近い顔データのみが個人正面付近顔画像データベース３７に登録される。そして、顔認識を行う識別時には、入力された画像が認識可能な顔向きの顔画像であるかを全顔マップデータベース３５から判断し、識別可能時のみ顔識別装置１３にその顔特徴を送り、顔認識のための識別を行う。このとき個人正面付近顔画像データベース３７に登録された正面顔画像に近い顔データが、顔画像データ辞書のデータとなる。この顔データは、取り出されて必要に応じて顔認識する場合に利用される。
【００３０】
ここでの顔識別装置１３は、顔自動分類部３３における判断により識別可能となった顔画像データについてのみ識別を行う。顔識別装置１３は、本発明の主要部ではないので、その説明を省略するが、構成については公知のものがそのまま利用できる。なお、その手法は、いろいろなものが既に提案されているので、それらを利用する。画像処理装置１１から顔自動分類装置１２を通過した顔画像データは、既に正面顔画像に近い顔パターンのみが出力され、顔識別装置１３に入力されるので、顔画像データの顔パターンから必要とする特徴を抽出して利用すればよい。
【００３１】
図４〜６は、この発明にかかる顔画像分類登録の処理の例を用途に対応してそれぞれに説明するフローチャートである。図４は、個人の顔を学習する場合の処理を説明するフローチャートである。図５は、全体の顔から顔分布マップを作成する場合の処理を説明するフローチャートである。また、図６は、実際に個人を識別する場合の処理を説明するフローチャートである。
【００３２】
これらのフローチャートに係る処理は、主に図３により説明した顔自動分類装置１２の処理モジュールにより行われるものであり、図３を部分的に詳細化したものとなっている。
【００３３】
なお、図１のシステム構成および図２のシステム構成は、室内における実施例であるが、本発明はこの実施例に限定されるものではなく、例えば、室内空間を工場や公共の空間などに置き換えて、頭部領域を含む画像を利用するあらゆる場面にも適用できる。その場合においても、室内空間に出入りする全ての人は複数のカメラによって撮影され、この撮像出力は画像処理装置１１に与えられる。画像処理装置１１は、得られた頭部を含む画像を顔自動分類装置１２に与える。
【００３４】
図４を参照して、個人の顔を学習する場合について説明する。この場合、カメラにより撮影された顔画像データとして一定の画像群が与えられる。顔画像データとして登録する顔画像を撮影する場合、今まではカメラに対して静止し、カメラの方向を見たりすることが必須であったが、本発明による顔画像分類登録方法を利用する場合においては、頭部が撮影範囲に含まれていれば良い。そのかわりに一定枚数以上の画像群（例えば１００枚以上）を撮影する。この画像群が画像処理装置１１から与えられる（ステップ４１）。
【００３５】
与えられた画像群は、色情報などにより、顔領域のみを含む部分が取り出されて、それ以外の部分は黒色（Ｒ、Ｇ、Ｂの画素値が０）などの情報量をゼロにする処理が行われる（ステップ４２）。この処理においては、あきらかに顔の領域が少ない画像（後ろ向きなど）は全体を黒色の画像にして完全に情報量をゼロとしておく。
【００３６】
次に、この顔領域のみが表示された画像から、その部分のエッジ特徴を抽出する（ステップ４３）。このエッジ特徴の画像から、高次局所自己相関特徴を使って３５次元のベクトルを取得し、このベクトルを全体顔向き特徴データベース３４に保存する処理を行う（ステップ４４）。なお、ここでの高次局所自己相関特徴によるベクトル化の処理はついては、公知の処理方法を用いる。「高次局所自己相関特徴を用いた認識」の原理については、詳しくは、非特許文献１に記載されている。
【００３７】
本発明においては、位置フリーである高次局所自己相関特徴を用いることにより、顔領域の厳密な正規化をする必要がなくなり、データ処理量を軽減できる。ただし、顔の構造（目、鼻、口など）に基づき顔領域の正規化を行えば、別途、その特徴を用いてベクトル化することもできる。
【００３８】
また、本発明においては、撮影時に対象者を拘束しないため、いろいろな顔向き画像が得られており、これらの顔画像を処理対象としているが、ここでの顔画像そのものは、正面顔から横顔へと連続的に変化しており、顔から得られた特徴も連続的に変化している。したがって、その連続的に変化している画像群を２次元平面上に自動的に（教師なしで）配置するため、自己組織化マップによる顔マップを作成する（ステップ４５）。
【００３９】
ここでは、顔の自動分類を行うために自己組織化マップ（ＳＯＭ）を用いる。ＳＯＭを用いた自己組織化マップ作成の原理の詳細については、非特許文献２に詳しく説明されているので、詳細な説明は省略するが、本発明の要部に関係して概略を説明すると、自己組織マップとは、Kohonenの学習則を用いた教師なし学習の一種であり、ある非線形な多次元の特徴量が与えられたとき、自己組織化マップはその特徴の分布を２次元のマップ上に連続的に表すことができる。したがって、本発明において、マップを利用して、顔画像データの分類を自動で行うようにしている。マップ上では、よく似た特徴が近くに集まるように表現されるので、この性質を利用して、顔画像データを顔向きごとに分類する。
【００４０】
自己組織化マップは、出力ニューロンの集合によって構成される。それは次の式（数式１）により表される。
【数１】

ここで、各出力ニューロンは、ｎ次元の重みベクトルｍ＝｛ｍ_１，ｍ_２，…ｍ_ｎ｝として定義されている。学習ベクトルとして、Ｘがサンプルとして入力されたとき、全ての重みベクトルｍに対してユークリッド距離の計算を行い、入力ベクトルに対して最も距離の近い出力ニューロンを勝者ニューロンｍ_ｃとして決定する。
【００４１】
自己組織化マップの学習は、周囲の出力ニューロン間の位置関係を考慮しながら行われていくという特徴がある。つまり、出力ニューロンへの学習は、勝者ニューロンｍ_ｃだけに対して行われるのではなく、周囲の出力ニューロンに対しても同時に行われる。ある重みベクトルｍ_ｉに対する自己組織化マップの学習則は次の式（数式２）により表される。
【数２】

このような式の自己組織化マップによる学習の様子は、模式的には図７に示されるようなものとなる。概略を説明すると、この式において、α（ｔ）は、ある時間ｔにおける学習強度を示しており、ｈ_ci（ｔ）は、ある時間ｔにおける勝者ニューロンｍ_ｃが近傍に対して影響を及ぼす範囲を示している。学習は、入力ベクトルを使って繰り返し行われ、学習の第一段階では、大きなα（ｔ）、ｈ_ci（ｔ）を用いて大局的な学習が行われる。これらの値は学習を進めるにつれて減少していき、徐々に学習範囲を狭めながら局所的な微調整が行われる。
【００４２】
このように、出力ニューロンの位置関係を維持しながら学習を行うことによって、入力データ空間における多次元特徴量は、その関係を保ったまま２次元平面に射影される。また、自己組織化マップ上において、隣接ニューロン間の類似度は、ニューロン間の距離によって表されている。したがって、この距離を用いてマップにおけるクラス分けを行うことにより、類似した特徴ごとに分類することができる。
【００４３】
識別しようとする個人の全特徴を用いた自己組織化マップは、顔向きを２次元平面に配置した結果である。この結果を、個人顔マップデータベース３６に保存する。
【００４４】
このように、自己組織化マップを用いて行う分類処理を具体例で説明すると、図８は、２次元平面に分布された１人の配置結果を示しており、多くの点が集まっているＢ点には、特徴を取る際にゼロとされた点が集中している。さらに学習を続けると、図９に示すようになり、分類されていく様子がうかがえる。図９においては、マップ上には特徴の類似度がグレー階調によって表されている。色の黒い部分は隣接するニューロン間の距離が遠く、特徴が類似していないことを表している。
【００４５】
このようにして得られたマップを構成するニューロン間の距離を用いてクラス分けを行い、顔画像データを自動分類するが、ここではｋ−ｍｅａｎｓクラスタリングによって得られたマップを、正面側、横向き、それ以外（後ろ向きや下向きなどで顔領域が少なく特徴量が少ない画像）を想定して、３つに自動分類を行う。後ろ向きなどの画像は顔領域が少ないので、それが集まる領域の反対側が、正面画像になり、中間が横向きの顔画像となる。この場合の分類結果は、図１０に示すようになり、明確に３つの領域に分類されている様子が現れている。
【００４６】
ここで多くの点が集まっているＢ点には、特徴を取る際にゼロとされた点が集中している。これを手がかりとし、Ｂ点から距離の最も遠い集合を選ぶことによって正面顔の集合を決定できる。その場合、エッジ特徴を基にしているので、３つに自動分類された黒色の部分には、後ろ向きの顔画像が、その後ろ向きから連続して変化している横向き顔画像が中央のグレーの部分に、反対側の白色の部分には正面向き付近の顔画像が集まっているものとなっている。
【００４７】
このようにして自動分類を行い、正面付近の顔画像と判断された顔領域の顔画像データを各個人の顔データベースとして保存する。これにより、正面向き付近のみの顔画像を集めた顔データベースを作ることが可能になる。このとき横向きの領域のみを集めれば、横向きの画像群データを作ることが可能である。
【００４８】
次に、図５を参照して、全体の顔から顔分布マップを作成する場合について、各個人に依存しない顔向きマップを作成する処理を説明する。この処理においては、各個人のデータを登録する際に保存しておいた個人の顔向きの特徴ベクトルを全て読み込む（ステップ５１）。次に前述の場合と同様にして、自己組織化による顔マップの自動作成処理を行い、顔向きマップを作成し（ステップ５２）、３つ分類に顔マップの自動クラスタリングを行い、その結果を全顔マップデータベース３５に登録する（ステップ５３，ステップ５４）。このとき、マップ内の特徴点を均等に数十個程度抽出して、比較のためのベクトル群としておく。これら全体のデータベースはリアルタイムでの認識時に利用される。
【００４９】
図６は、実際に個人を識別する場合の処理を説明するフローチャートである。図６に示すフローチャートを参照して、リアルタイムで顔認識する動作を説明する。顔認識時には、オンラインリアルタイムで、画像処理装置１１から画像処理を行った画像が１枚単位で与えられる（ステップ６１）。与えられた画像は、色情報などにより顔領域のみを含む部分を取り出し、それ以外の部分は黒色（Ｒ、Ｇ、Ｂの画素値が０）などの情報量をゼロにする処理を行う（ステップ６２）。次に、この顔領域のみが表示された画像から、顔領域のみの特徴抽出およびエッジ特徴を抽出する（ステップ６３）。このエッジ特徴の画像から、高次局所自己相関特徴によるベクトル化を行い、高次局所自己相関特徴を使った３５次元のベクトルを取得する（ステップ６４）。
【００５０】
次に、全顔マップデータベース３５を参照して、識別を行う全個人から作られた全顔マップデータベース３５の分布マップのどこに（正面向き、横向き、それ以外）近いかを判定する（ステップ６５）。この結果、対象とする正面顔でない場合は、識別処理を行わず次のフレームの画像の処理に戻る。
【００５１】
正面向きと判断された場合は、その顔領域画像から、顔識別のための特徴を抽出して（ステップ６６）、その特徴を個人正面付近顔データベースの特徴と比較して顔識別を行い、その結果を出力する（ステップ６７）。識別の精度を上げるために複数枚の顔を識別する場合には、処理の継続をするかどうかの判断を行って（ステップ６８）、処理を継続する場合には、この処理を繰り返す（ステップ６１〜ステップ６８）。
【００５２】
【発明の効果】
以上、説明したように、本発明の顔画像分類登録装置によれば、顔画像データの登録時には、入力された画像群から顔向き別に分類を行うことができ、あらゆる顔向きの画像の中から正面顔などの顔認識に相応しい顔画像データのみを辞書に登録することができる。また、同時に、顔向きのマップを作成しておくことによって、顔認識時にはそのマップから正面向きであるかを自動に判断し、認識可能な顔画像のみを識別することで認識精度を上げることができる。
【図面の簡単な説明】
【図１】本発明を実施する場合のシステム構成の第１の例を示す図である。
【図２】本発明を実施する場合のシステム構成の第２の例を示す図である。
【図３】顔自動分類装置の詳細な構成を説明するブロック図である。
【図４】個人の顔を学習する場合の処理を説明するフローチャートである。
【図５】全体の顔から顔分布マップを作成する場合の処理を説明するフローチャートである。
【図６】実際に個人を識別する場合の処理を説明するフローチャートである。
【図７】自己組織化マップによる学習の様子を模式的に示す図である。
【図８】２次元平面に分布された１人の配置結果を示す図である。
【図９】２次元平面に分布された特徴点が分類されていく様子を説明する図である。
【図１０】２次元平面に分布された特徴点が分類された分類結果を説明する図である。
【符号の説明】
１０ａ，１０ｂ，１０ｃ，…，１０ｎカメラ
１１画像処理装置
１２顔自動分類装置
１３顔識別装置
１４室内空間（識別対象空間）
１５ユーザ
１６操作対象（ディスプレイ、インターホン、パソコンなど）
３１顔領域抽出部
３２特徴抽出部
３３顔自動分類部
３４全体顔向き特徴データベース
３５全顔マップデータベース
３６個人顔マップデータベース
３７個人正面付近顔画像データベース

Claims

利用者がその位置を全く拘束されないような広い空間内において撮影された多数の画像データから、正面に近い顔画像の顔画像データを抽出して登録する顔画像分類登録装置であって、
室内空間にいる人物をいろいろな方向から撮影して多数の画像データを取得する撮像手段と、
前記撮像手段により撮影した画像データに対して基本的な画像処理を行いディジタル画像データとする画像処理手段と、
前記ディジタル画像データから顔領域を抽出し、当該顔領域の画像データからエッジ特徴を抽出し、エッジ特徴の画像データから高次局所自己相関特徴を取得してベクトル化を行い、顔パターンの特徴として抽出する特徴抽出手段と、
前記顔パターンの特徴の高次局所自己相関特徴のベクトル化されたデータを利用して、顔向き特徴による２次元マップを作成し、顔パターンを顔向きの特徴により分類する顔自動分類手段と、
作成された顔向き特徴による２次元マップを登録する顔マップデータベースと、
を備えることを特徴とする顔画像分類登録装置。
請求項１に記載の顔画像分類登録装置において、さらに、
顔識別装置の顔画像データ辞書として利用する顔画像データを登録する顔画像データベースを備え、
前記顔自動分類手段が、顔向き特徴による２次元マップの作成を、自己組織化マップの作成により行い、作成された自己組織化マップに基づいて、顔パターンの顔向き特徴による分類を、正面向きの顔画像、横向きの顔画像、それ以外の顔向きの顔画像に分類し、正面向きの顔画像に分類された顔パターンの顔画像データのみを前記顔画像データベースに登録する
ことを特徴とする顔画像分類登録装置。
請求項２に記載の顔画像分類登録装置において、
前記室内空間にいる人物の個人が特定される場合、正面向きの顔画像に分類された顔パターンの顔画像データを個人別の顔画像データ辞書の顔画像データとして前記顔画像データベースに登録する
ことを特徴とする顔画像分類登録装置。