JP2018525718A - 顔認識システム及び顔認識方法 - Google Patents

Abstract

本発明は、身分認識の分野に関し、特に顔認識システム及び顔認識方法に関するものであり、主に、光の前処理モジュールと、特徴を生成するモジュールと、顔特徴のライブラリモジュールと、特徴を照合及び認識するモジュールとを含む。当該顔認識方法は、まず光の前処理モジュールにより、読み込まれた顔画像に対して光線の差分を最適化して、次いで、特徴を生成するモジュールにより、当該顔画像の特徴ベクトルを生成して、それから、待認識の特徴ベクトルを特徴ライブラリにおける全ての特徴ベクトルとマッチング計算し、最後に待認識の特徴ベクトルに対応する身分結果が与えられる。本発明の技術案により、計算資源が制限されているシステム上に、リアルタイムで待認識の顔画像の身分を判断することができ、かかる時間が短くて、正確率が高いというメリットがある。

Description

本発明は、身分認識に関し、特に顔認識システム及び顔認識方法に関する。

既存の技術で、アクセス制御セキュリティシステムに適用されている顔認識技術案が解決したのは、特定の位置、特定の光条件下で採集された特定の角度での顔画像の身分認識問題である。当該方案は、高性能のコンピューター上で使用されることができ、計算資源が制限されている組み込み式のコンピューターに使用されることもできる。アクセス制御セキュリティシステムは応答時間が１秒以上、ひいてはもっと長い時間の遅延を許可するため、また、一般に一回限りの身分認証のため、連続的な処理シナリオが少なく、したがって、計算上で複雑なアルゴリズムを使用しなければならない。

アクセル制御セキュリティシステムで使用された顔認識の技術案は以下の欠陥がある。１、光源補償によって、光線条件を固定する必要があり、光線に非常に敏感である。２、正面など、固定されている顔の姿勢しか採集できない。３、一般的に計算上で複雑で、一回の結果を出す時間がかなり長く、連続に認証する場合にリアルタイムで応答できない。

上述問題に対して、本発明では、ロボット視覚システムに適用される顔認識システム及び顔認識方法を提供し、顔のパーツを検出した後の顔認識身分識別は各々の偏光あるいは無補償光源の状況を含む光線条件に使用されることができ、また、左側、右側、上側、下側、ひいては横向きの顔など、姿勢の多くの顔を認識することができ、同時に計算量を削減することもでき、計算資源の消費をロボット視野に現れた顔をリアルタイムで認識することができる程度まで低減することができ、応答速度が早く、それに、顔の身分が変化する場合、連続的な認識によりリアルタイムでフィードバックすることも実現された。

本発明において、上述した問題を解決するために採用された技術案は、
顔認識システムを提供し、すなわち、
読み込まれた待認識の顔画像を接収して、前記待認識の顔画像に対して、光線の差分を最適化して、処理された待認識の顔画像を次のモジュールに送信する光の前処理モジュールと、
前記光の前処理モジュールに連接され、前記光の前処理された待認識の顔画像を接収して、特徴を生成した後に、顔の細部の特徴を記述する待認識の特徴ベクトルを出力する特徴を生成するモジュールと、
既存の全ての顔の特徴ベクトルを予め格納する顔特徴のライブラリモジュールと、
前記特徴を生成するモジュール及び顔特徴のライブラリモジュールに連接され、前記特徴を生成するモジュールから出力された待認識の特徴ベクトルを前記特徴ライブラリにおける全ての特徴ベクトルとマッチング計算し、前記待認識の特徴ベクトルに対応する身分結果を出力する特徴を照合及び認識するモジュールと、
を含む。

好ましくは、前記光の前処理モジュールはガウス差分という方法を用いて、前記待認識の顔画像を処理する。

好ましくは、前記特徴を生成するモジュールは局部２値パターン特徴を用いて顔の細部の特徴ベクトルを記述する。

好ましくは、前記顔特徴のライブラリモジュールは新しい顔の特徴を追加するインターフェースを提供して、当該インターフェースにより、前記顔特徴のライブラリモジュールに既存の身分の人の新しい顔の特徴あるいは未知身分の新人の顔の特徴を増加することができる。

本発明は、前記顔認識システムに基づく顔認識方法をさらに提供し、すなわち、
前記顔特徴のライブラリモジュールに既存の顔の特徴ベクトルを予め格納するため、前記顔特徴のライブラリモジュールを初期化する工程１と、
前記光の前処理モジュールは読み込まれた待認識の顔画像を接収して、前記待認識の顔画像に対して、光線の差分を最適化してから、光の前処理された待認識の顔画像を出力する工程２と、
前記特徴を生成するモジュールは前記光の前処理された待認識の顔画像を接収して、当該待認識の顔画像に対して特徴を生成する操作をした後、顔の細部の特徴を記述するための特徴ベクトルを出力する工程３と、
前記特徴を照合及び認識するモジュールは前記特徴を生成するモジュールから出力された待認識の特徴ベクトルを前記特徴ライブラリにおける全ての特徴ベクトルとマッチング計算し、前記待認識の特徴ベクトルに対応する身分結果を出力する工程４と、
を含む。

好ましくは、前記工程２において、前記光の前処理モジュールはガウス差分方法を用いて、前記顔画像を処理する。

好ましくは、前記工程３において、局部２値パターン特徴を用いて、前記顔の細部の特徴ベクトルを記述する。

好ましくは、前記工程４において、前記特徴を照合及び認識するモジュールは待認識の顔が未知顔であることを判断する場合、未知識別結果を出力して、それに、当該未知顔の特徴ベクトルを顔特徴のライブラリモジュールに格納する。

本発明の技術案により、顔のパーツを検出した後の顔認識身分識別は各々の偏光あるいは無補償光源の状況を含む光線条件に使用されることができ、また、左側、右側、上側、下側、ひいては横向きの顔など姿勢の多くの顔を認識することができ、同時に計算量を削減することもでき、計算資源の消費をロボット視野に現れた顔をリアルタイムで認識することができる程度まで低減することができ、応答速度が早く、それに、顔の身分が変化する場合、連続的な認識によりリアルタイムでフィードバックすることも実現された。

図１は、本発明の顔認識システムの機能ブロック図である。

以下本発明の実施例の図面を参照しながら、本発明の実施例の技術案を明確に、完全に説明する。明らかに、記載されている実施例はただ本発明の実施例の一部だけであり、全ての実施例ではない。図面全体を通して、同じ参照番号は同じ部分を示す。一定の縮尺で描かれた図面ではなく、本発明の要旨を示すだけである。

図１に示したように、本発明の顔認識システムは、主にロボットの視覚システムに適用し、主に、光の前処理モジュール１と、特徴を生成するモジュール２と、顔特徴のライブラリモジュール３と、特徴を照合及び認識するモジュール４とを含む。

ここで、光の前処理モジュール１は読み込まれた待認識の顔画像に対して光線の差分を最適化して、光の変化がシステムの識別率に与える影響を減少することができる。当該モジュールはガウス差分を用いて画像を処理する。光の変化が同じ顔画像に及ぼす影響が当該画像に低周波信号を重ね合わせたと見なすことができ、顔画像にガウス畳み込み演算を行うことことをローパスフィルタを用いて行うことと見なすことができ、２つのサイズの違う畳み込みカーネルを利用するガウス畳み込み演算は１つのガウス差分演算を構成することができ、その効果がバンドパスフルタが果たす効果と一緒と見なすことができ、顔認識に用いる有効な特徴の周波数は常にライト信号の周波数より高いため、適切の２つサイズの畳み込みカーネルからなる差分フィルターは顔画像に光線変化により与えた影響を除去することができる。通常、画像処理技術または画像強調技術に光線変化を処理する方法が１０種類以上あり、効果と計算資源を総合的に考えた後、本実施例ではガウス差分という方法を選別した。特徴を生成するモジュール２は光の前処理モジュール１に連接され、光の前処理モジュール１から出力された光の前処理された顔画像に対して特徴を生成し、それに、顔の細部の特徴を記述する特徴ベクトルを出力する。現在、顔の特徴を記述するタイプは主要成分分析（ＰＣＡ）、独立成分分析（ＩＣＡ）、局部２値パターン特徴（ＬＢＰ）及び深いニューラルネットワークによって訓練された特徴などいくつかあり、私たちの適用ニーズに対して、ＬＢＰが最良の選択である。ＬＢＰには２つの利点があり、第１は純粋な定点計算であり、計算量は他の特徴より大幅に削減され、特に、ＡＲＭ（命令セットを簡素化するマイクロプロセッサーであり、ここで、当該プロセッサを利用して構築された計算システムも指す）により構築された浮動小数点演算能力を持たないプロセッサ上で、計算量のメリットはより明らかであり、第２はＬＢＰは本質的には差分と類似する特徴を記述するタイプであり、一定の光線変化に抵抗することができる。これで、光の前処理モジュールで除去できなかった光線変化情報がシステムの識別率に与える悪影響をさらに弱化することができる。特徴を生成するモジュール２は待認識の顔画像に対して、特徴を生成した後、待認識の特徴ベクトルを顔特徴のライブラリモジュール３に格納し、顔特徴のライブラリモジュール３に既存の顔の特徴ベクトルが予め格納されている。顔画像を認識する必要がある場合、システムの認識ロジックは待認識の顔画像の特徴ベクトルを顔特徴のライブラリモジュール３における既存の身分の顔の特徴ベクトルとマッチングし、特徴がもっと類似する顔を探し出す。この工程では、顔特徴のライブラリモジュール３を検索することより認識ステップを完成する。単一の顔画像のＬＢＰ特徴が角度範囲の小さい顔画像を認識することにしか用いられないため、本発明の技術案はより多くの角度の顔画像を収集することにより、同じ人の違う角度の特徴ベクトルコレクションを管理する。特徴をマッチング及び認識するモジュール４は顔特徴のライブラリモジュール３と特徴を生成するモジュール２とに連接され、認識の申し込みが来た場合、特徴をマッチング及び認識するモジュール４は特徴を生成するモジュール２から出力された待認識の顔特徴ベクトルを顔特徴のライブラリモジュール３における全ての特徴ベクトルとマッチング計算して、最も近い特徴ベクトルを探し出して、類似値を与え、類似値の予め設定された閾値により、待認識の顔が特徴に最も近似する顔であるかどうかを判定する。そうであれば、相応する身分結果を出し、そうでなければ、待認識の顔が未知顔であるを判定し、この際、要求があるなら、当該未知顔の特徴ベクトルを顔特徴のライブラリモジュール３に追加しもよく、次回の認識を便利にするため、身分情報を追加する必要もある。

上述した機能モジュールから顔認識システムを構成した。既存の技術に、また顔の姿勢を矯正できる技術があり、それは顔画像を収集するときに、顔の違う姿勢が認識の精度に与えた影響を減少できるが、比較的に良い効果を得るためには、当該機能モジュールはより多い計算資源が必要になり、これでは、計算量上で低資源システムのリアルタイム処理能力を超える結果につながる。したがって、我々はより多くの角度の顔を収集して、同時に、特徴をマッチング及び認識するモジュール４のマッチング方法により、違う姿勢の顔認識の問題を解決可能とし、効果の近い結果を得ることもできる。

以下は具体的な実施例を参照して、本発明の顔認識システム及び顔認識方法をもっと詳しく説明する。

本発明の資源需要の低い顔認識システムは、ロボットに搭載するビジョンシステムに適用することができ、本実施例では、使われているハードウェアリソースはSamsung（登録商標） Exynos 5410処理プラットフォームであり、使われているソフトウェアは処理プラットフォームにキュアされ、Ｃ＋＋言語に基づく全ての機能モジュールである。そして、顔特徴のライブラリモジュール３を初期化して、つまり、個々の身分既存の顔の左２、左１、中、右１、右２という５つの位置及び上、中、下という３つの位置、共に８つの位置の顔画像の特徴ベクトルを収集して、顔特徴のライブラリモジュール３に格納し、次に、任意の顔画像を入力して、当該顔画像の身分を判断する。その識別速度は約２００ｍｓで、ロボットのインタラクティブアプリケーションのシナリオを満たす。

以上述べたように、本発明は、顔認識システム及び顔認識方法を公開し、光と撮影角度が明らかに変化し、計算資源が比較的に制限されている場合の顔認識の問題を解決し、本発明の技術案は、計算資源が限られているシステム上でリアルタイムで待認識の顔の最も可能な身分を判断し、且つ、信頼度を出すことができる。当該案は２０〜５０人の身分認識をサポートする。顔画像上の光線の輝度は均一に変化し、すなわち違う顔画像に輝度が違ってもいいが、同じ顔画像にはどこでも明暗のサイドライトの状況がなくて輝度が同じという光線条件と、左右向きの偏向は各４０度以内にあるという角度条件とのもとで、上下向きの偏向は各３０度以内の場合、２０人の識別正確率が９０％以上に達し、５０人の識別正確率が８０％以上に達する。

当業者は、既存の技術及び上述した実施例に基づいて全ての実施例を実現することができることを理解すべきであり、ここでは贅言しない。このような変形例は本発明の要旨に影響せず、ここでは贅言しない。

以上では本発明の好ましい実施例を記述した。本発明は上記の特定の実施例に制限されない。上記の実施例で記述されなかった設備や構造は当該技術分野において通常の方法で実施することができることを理解すべきであり、当業者は、本発明技術案の範囲から逸脱することなく、上記に開示された方法及び技術的な内容に基づいて、本発明の技術案に様々な修正や置換など均等の変更をすることができ、これらは本発明の本質に影響しない。したがって、本発明の技術方案の内容から逸脱しない本発明の技術的な要旨により、上記の実施例に対して作り出された簡単な修正、均等な変更及び修飾は全て本発明の技術方案の保護範囲に属する。

Claims (8)

1. 読み込まれた待認識の顔画像を接収して、前記待認識の顔画像に対して、光線の差分を最適化して、処理された待認識の顔画像を次のモジュールに送信する光の前処理モジュールと、
   前記光の前処理モジュールに連接され、前記光の前処理モジュールに処理された待認識の顔画像を接収して、特徴を生成した後に、顔の細部の特徴を記述するための待認識の特徴ベクトルを出力する特徴を生成するモジュールと、
   既存の全ての顔の特徴ベクトルを予め格納する顔特徴のライブラリモジュールと、
   前記特徴を生成するモジュール及び顔特徴のライブラリモジュールに連接され、前記特徴を生成するモジュールから出力された待認識の特徴ベクトルを前記特徴ライブラリにおける全ての特徴ベクトルとマッチング計算し、前記待認識の特徴ベクトルに対応する身分結果を出力する特徴を照合及び認識するモジュールと、
   を含むことを特徴とする顔認識システム。
2. 前記光の前処理モジュールはガウス差分という方法を用いて、前記待認識の顔画像を処理することを特徴とする請求項１記載の顔認識システム。
3. 前記特徴を生成するモジュールは局部２値パターン特徴を用いて顔の細部の特徴ベクトルを記述することを特徴とする請求項１記載の顔認識システム。
4. 前記顔特徴のライブラリモジュールは新しい顔の特徴を追加するインターフェースを提供して、当該インターフェースにより、前記顔特徴のライブラリモジュールに既存身分の人の新しい顔の特徴あるいは未知身分の新人の顔の特徴を増加することができることを特徴とする請求項１記載の顔認識システム。
5. 前記顔特徴のライブラリモジュールに既存の顔の特徴ベクトルを予め格納するため、前記顔特徴のライブラリモジュールを初期化する工程１と、
   前記光の前処理モジュールは読み込まれた待認識の顔画像を接収して、前記待認識の顔画像に対して、光線の差分を最適化してから、光の前処理された待認識の顔画像を出力する工程２と、
   前記特徴を生成するモジュールは前記光の前処理された待認識の顔画像を接収して、当該待認識の顔画像に対して特徴を生成した後、顔の細部の特徴を記述する特徴ベクトルを出力する工程３と、
   前記特徴を照合及び認識するモジュールは前記特徴を生成するモジュールから出力された待認識の特徴ベクトルを前記特徴ライブラリにおける全ての特徴ベクトルとマッチング計算し、前記待認識の特徴ベクトルに対応する身分結果を出力する工程４と、
   を含むことを特徴とする請求項１乃至４のいずれか１項に記載の顔認識システムに基づく顔認識方法。
6. 前記工程２において、前記光の前処理モジュールはガウス差分方法を用いて、前記顔画像を処理することを特徴とする請求項５記載の顔認識方法。
7. 前記工程３において、局部２値パターン特徴を用いて、前記顔の細部の特徴ベクトルを記述することを特徴とする請求項５記載の顔認識方法。
8. 前記工程４において、前記特徴を照合及び認識するモジュールは待認識の顔が未知顔であることを判断する場合、未知識別結果を出力して、それに、当該未知顔の特徴ベクトルを顔特徴のライブラリモジュールに格納することを特徴とする請求項５記載の顔認識方法。

Images