[go: up one dir, main page]

JP2018173891A - Authentication device, authentication method, authentication program, and database - Google Patents

Authentication device, authentication method, authentication program, and database Download PDF

Info

Publication number
JP2018173891A
JP2018173891A JP2017072635A JP2017072635A JP2018173891A JP 2018173891 A JP2018173891 A JP 2018173891A JP 2017072635 A JP2017072635 A JP 2017072635A JP 2017072635 A JP2017072635 A JP 2017072635A JP 2018173891 A JP2018173891 A JP 2018173891A
Authority
JP
Japan
Prior art keywords
gesture
authentication
face
person
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017072635A
Other languages
Japanese (ja)
Other versions
JP7004379B2 (en
Inventor
純 近藤
Jun Kondo
純 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2017072635A priority Critical patent/JP7004379B2/en
Publication of JP2018173891A publication Critical patent/JP2018173891A/en
Application granted granted Critical
Publication of JP7004379B2 publication Critical patent/JP7004379B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

PROBLEM TO BE SOLVED: To prevent spoofing with photos and movies.SOLUTION: A database registers, for a plurality of users to be authenticated, a plurality of face reference images, a plurality of gesture types, and data representing a plurality of gesture operations, which are association with each other in a one-to-one relationship. An authentication device receives a face input image, collates the face input image with the face reference images registered in the database. If the face input image is registered, the authentication device displays a gesture selection screen for prompting to select one of a plurality of gestures that can be chosen. If the selected one gesture matches with a particular gesture type, the authentication device prompts a person to perform a gesture, recognizes the gesture operation performed by the person, and determines whether the recognized gesture operation matches with data of a specific gesture operation associated with a specific face authentication image.SELECTED DRAWING: Figure 3

Description

本発明は、個人(本人)の認証を行なう認証装置、認証方法、認証プログラム、およびデータベースに関する。   The present invention relates to an authentication apparatus, an authentication method, an authentication program, and a database for authenticating an individual (person).

個人(本人)を認証する方法として、様々な手法が用いられている。認証方法としては、数桁の暗証番号やパスワードを用いた認証方法やパターン認証方法がある。それら以外の認証方法として、生体認証方法も知られている。この生体認証方法は、漏洩、忘却、成りすましなどの危険性に対して頑強な認証方法である。   Various methods are used as a method for authenticating an individual (person). As an authentication method, there are an authentication method using a several-digit password or a password and a pattern authentication method. Biometric authentication methods are also known as other authentication methods. This biometric authentication method is an authentication method that is robust against risks such as leakage, forgetting, and impersonation.

生体認証方法は、バイオメトリクス認証方法とも呼ばれ、人間の生体的特徴を用いて個人(本人)認証を行なう方法のことである。生体的特徴といっても、人間には様々な特徴があるため、どの特徴を利用するかにより手法が分けられる。   The biometric authentication method is also called a biometric authentication method, and is a method of performing personal (personal) authentication using human biometric features. Even if it is said to be a biological feature, since there are various features in humans, the method is divided according to which feature is used.

生体認証方法は、静的特徴による認証方法と、動的特徴による認証方法とに大別される。静的特徴には、人の指紋、静脈、顔、虹彩等がある。動的特徴には、声紋、歩容、署名、ジェスチャ等がある。以下、静的特徴による認証方法を「静的認証方法」とも略称し、動的特徴による認証方法を「動的認証方法」とも略称する。   Biometric authentication methods are roughly classified into static authentication methods and dynamic feature authentication methods. Static features include human fingerprints, veins, faces, and irises. Dynamic features include voiceprints, gaits, signatures, gestures and the like. Hereinafter, an authentication method using static features is also abbreviated as “static authentication method”, and an authentication method using dynamic features is also abbreviated as “dynamic authentication method”.

静的認証方法については、多くの実用化例が存在する。しかしながら、指紋、静脈等については、汚れ、外傷、乾燥などに弱いという決定がある。また、顔認証方法についても、ディスプレイでの登録者の顔を拡大表示する(例えば、登録者の写真等を用いて成りすます)ことで照合できてしまう課題がある。また、人の身体的特徴は変更することができないので、一度盗用されてしまうと、その特徴は使用できなくなってしまう危険性がある。   There are many practical examples of static authentication methods. However, there is a decision that fingerprints, veins, etc. are vulnerable to dirt, trauma, and dryness. Further, the face authentication method also has a problem that it can be collated by enlarging and displaying the registrant's face on the display (for example, using a photograph of the registrant). In addition, since the physical characteristics of a person cannot be changed, there is a risk that the characteristics cannot be used once stolen.

それに対して、動的認証方法では、個人の癖を利用して個人認証を行うため、パターンが盗まれた場合でも真似するのは困難である。   On the other hand, in the dynamic authentication method, since personal authentication is performed using a personal bag, it is difficult to imitate even when a pattern is stolen.

上述したように、画像での顔認証システムが実用化されているが、更に本人認証のセキュリティを向上させた安心・安全なシステムが期待されている。   As described above, a face authentication system using images has been put into practical use, but a safe and secure system that further improves the security of personal authentication is expected.

この種の認証システムが、種々、提案されている。   Various authentication systems of this type have been proposed.

例えば、特許文献1は、装置に直接触れずに生体の照合を行い、写真撮影による成りすましを防止し、より簡便で安全性の高い、「生体照合装置」を開示している。特許文献1に開示された生体照合装置は、目を所定時間閉じて開くという特定の動作を規定しておき、この特定の動作の検出を条件として、顔画像の照合を行っている。   For example, Patent Document 1 discloses a “biometric collation apparatus” that performs biometric collation without directly touching the apparatus and prevents impersonation by taking a photograph, and is simpler and safer. The biometric matching device disclosed in Patent Literature 1 prescribes a specific action of closing and opening eyes for a predetermined time, and performs face image matching on the condition that this specific action is detected.

また、特許文献2は、認証しようとする人物の顔が生体の顔か、写真などの疑似的な顔なのかを判断して成りすましを防ぎつつ、成りすましの対象となった人物の確認を後ですることが可能な「顔認証装置」を開示している。特許文献2に開示された顔認証装置は、保持手段と、撮像カメラと、A/D変換手段と、認証手段と、生体識別手段と、判定結果出力手段と、音声発生手段とを有する。保持手段は、許可された人物の顔画像を予めテンプレート画像として登録保持している。認証手段は、テンプレートマッチングを行い、抽出した顔画像の人物が登録されている何れかの人物と同一か否かを判断する。生体識別手段は、A/D変換された複数フレームの顔画像を用いて写っている顔が生体か否かの判断を行う。判定結果出力手段は、認証手段が登録人物であると認証し、且つ生体識別手段が生体であると識別したときにのみ、当該人物の入室を許可する判定結果を出力する。音声発生手段は、予め登録してある音声により撮影対象者に瞬き或いは口の開閉を要求する。   Japanese Patent Laid-Open No. 2004-228688 later checks whether the person to be authenticated is a living body face or a pseudo face such as a photograph and prevents impersonation while confirming the person to be impersonated later. A “face recognition device” that can be used is disclosed. The face authentication apparatus disclosed in Patent Document 2 includes a holding unit, an imaging camera, an A / D conversion unit, an authentication unit, a biometric identification unit, a determination result output unit, and a voice generation unit. The holding unit registers and holds the face image of the authorized person as a template image in advance. The authentication unit performs template matching and determines whether or not the person of the extracted face image is the same as any registered person. The biometric identification means determines whether or not the face captured using the A / D converted face images of a plurality of frames is a living organism. The determination result output means outputs a determination result that permits entry of the person only when the authentication means authenticates that the person is a registered person and the biometric identification means identifies that it is a living body. The sound generation means requests the subject to be blinked or open / close the mouth with a sound registered in advance.

特許文献2では、顔面上の中で動かし易い2箇所の部位の組み合わせとして、目と口の組み合わせや、口と眉毛(眉毛を吊り上げる、眉毛を寄せる)の組み合わせを記載している。また、特許文献2では、音声発生手段により瞬き或いは口の開閉を要求する音声を発している。   Patent Document 2 describes a combination of eyes and mouth and a combination of mouth and eyebrows (lifting eyebrows or bringing eyebrows close) as a combination of two portions that can be easily moved on the face. Moreover, in patent document 2, the audio | voice which requests | requires blink or opening / closing of a mouth is uttered by the audio | voice generation means.

特許文献3は、効率的なユーザ認証を行う「情報処理装置」を開示している。特許文献3は、3種類のログイン処理1〜3を記載している。このうち、ログイン処理3は、情報処理装置がカメラの撮像画像を利用してユーザの顔認証を行った後、ユーザの顔が所定の領域に動かされたことを検出してユーザ認証を行っている。   Patent Document 3 discloses an “information processing apparatus” that performs efficient user authentication. Patent Document 3 describes three types of login processes 1 to 3. Among these, the login process 3 performs user authentication by detecting that the user's face has been moved to a predetermined area after the information processing apparatus has performed user face authentication using a captured image of the camera. Yes.

特許文献4は、認証環境が異なる複数のユーザが共用するシステムにおいて、個々のユーザが、その認証環境が提供する認証手順をそのまま利用して認証を行なえるようにした「認証装置および方法」を開示している。特許文献4に開示された認証システムは、認証装置と、認証デバイス群とを含む。認証装置は、認証デバイス制御部、ルール記憶部、ルール実行部、認証判定部、および認証結果通知部等を含んで構成される。認証デバイス群は、例えば、ICカードリーダライタ、磁気カードレーダライタ、キー入力装置、指紋読取装置等の認証デバイスを含んでいる。   Patent Document 4 discloses an “authentication apparatus and method” that enables individual users to perform authentication using the authentication procedure provided by the authentication environment as it is in a system shared by a plurality of users having different authentication environments. Disclosure. The authentication system disclosed in Patent Literature 4 includes an authentication device and an authentication device group. The authentication device includes an authentication device control unit, a rule storage unit, a rule execution unit, an authentication determination unit, an authentication result notification unit, and the like. The authentication device group includes, for example, authentication devices such as an IC card reader / writer, a magnetic card radar writer, a key input device, and a fingerprint reader.

特許文献4において、認証デバイスは個人識別情報を取得する。ルール記憶部は、個人識別情報の取得後に行う処理を定義したルールを記憶する。ルール実行部は、ルール記憶部からルールを読み出し、使用するルールを決定して、そのルールを実行する。認証デバイス制御部は、ルール実行部の指示により認証デバイスの開始、および停止処理を行い、個人識別情報とその個人識別情報を取得した認証デバイスをルール実行部に伝える。認証判定部は、個人識別情報によって特定されるユーザの正当性を確認する。認証結果通知部は、ルール実行部がルールを実行した結果(認証の成功、失敗等)を、認証を必要としているサービスに伝える。   In Patent Document 4, the authentication device acquires personal identification information. The rule storage unit stores a rule defining a process to be performed after acquisition of personal identification information. The rule execution unit reads a rule from the rule storage unit, determines a rule to be used, and executes the rule. The authentication device control unit starts and stops the authentication device according to an instruction from the rule execution unit, and notifies the rule execution unit of the personal identification information and the authentication device that has acquired the personal identification information. The authentication determination unit confirms the validity of the user specified by the personal identification information. The authentication result notifying unit notifies the result of the rule execution by the rule executing unit (success or failure of authentication) to a service that requires authentication.

特許文献4において、認証手順の情報を外部装置から取得して記憶装置に記憶させる手段をさらに設けても良い。例えば手順の情報(ルール)の雛型を用意しておき、設置環境に併せて選択的に手順の情報を採用するようにできる。外部装置は認証手順の一覧を表示して選択させるウェブサーバを含んでもよい。   In Patent Document 4, a means for acquiring authentication procedure information from an external device and storing it in a storage device may be further provided. For example, a template of procedure information (rule) is prepared, and the procedure information can be selectively adopted according to the installation environment. The external device may include a web server that displays and selects a list of authentication procedures.

特開2002−251614号公報JP 2002-251614 A 特開2006−330936号公報JP 2006-330936 A 特開2015−090661号公報Japanese Patent Laying-Open No. 2015-090661 特開2006−072468号公報JP 2006-072468 A

しかしながら、特許文献1〜4には、それぞれ、次に述べるような問題がある。   However, Patent Documents 1 to 4 have the following problems.

特許文献1では、特定の動作の検出を条件(トリガ−)として、顔画像の照合を行っている。この特定の動作は、ユーザに共通のものである。したがって、その特定の動作が一旦盗まれてしまうと、成りすましを防止することが困難になってしまう。   In Patent Document 1, face images are collated under the condition (trigger) of detection of a specific action. This specific operation is common to users. Therefore, once the specific operation is stolen, it becomes difficult to prevent impersonation.

特許文献2は、予め登録してある音声により撮影対象者に瞬き或いは口の開閉を要求している。この要求はユーザに共通のものである。したがって、悪意を持った人物が、成りすましたい人物であってその要求している動作をしている動画を用いることにより、成りすますことが可能になってしまう。   Japanese Patent Application Laid-Open No. 2004-228561 requests the subject to be blinked or to open / close the mouth with a previously registered voice. This request is common to users. Therefore, it becomes possible to impersonate a malicious person by using a moving image that is a person impersonating and performing the requested action.

特許文献3では、カメラの撮像画像を利用してユーザの顔認証を行った後、ユーザの顔が所定の領域に動かされたことを検出してユーザ認証を行っている。所定の領域に動かすことはユーザに共通のものである。したがって、特許文献3では、登録者の顔写真を所定の領域に動かすことによって、成りすますことが可能になってしまう。   In Patent Literature 3, user authentication is performed using a captured image of a camera, and then user authentication is performed by detecting that the user's face has been moved to a predetermined area. Moving to a predetermined area is common to users. Therefore, in Patent Document 3, it is possible to impersonate by moving a registrant's face photograph to a predetermined area.

特許文献4は、設置環境に併せて選択的に認証手順の情報(ルール)を採用することによって、設置環境に併せて認証手段を変更できるようにした技術を開示しているに過ぎない。   Patent Document 4 merely discloses a technique that allows authentication means to be changed according to the installation environment by selectively adopting authentication procedure information (rules) according to the installation environment.

本発明の目的は、上述した課題を解決する認証装置、認証方法、認証プログラム、およびデータベースを提供することにある。   The objective of this invention is providing the authentication apparatus, the authentication method, authentication program, and database which solve the subject mentioned above.

本発明の認証装置は、人物の本人認証を行なう認証装置であって、認証されるべき複数の利用者に対応して、それぞれ、複数の顔参照画像、複数のジェスチャ種別および複数のジェスチャ動作データを一対一に紐付けて登録するデータベースと、カメラで撮影された、前記人物の顔の顔入力画像を受け付ける入力部と、前記顔入力画像と前記データベースに登録されている前記複数の顔参照画像とを照合して、顔認証を行なう顔認証部と、該顔認証部において、前記データベースに前記顔入力画像と照合した特定の顔認証画像が登録されていると判断された場合に、前記複数のジェスチャ種別に含まれる複数のジェスチャ選択肢を記述したジェスチャ選択画面を表示して、前記人物に対して前記複数のジェスチャ選択肢の1つを選択するのを促し、前記人物が選択した1つのジェスチャ選択肢が、前記特定の顔認証画像と紐付いている特定のジェスチャ種別と一致するか否かを判断する種別選択部と、該種別選択部において、前記選択した1つのジェスチャ選択肢が前記特定のジェスチャ種別と一致したと判断された場合に、前記人物に対してジェスチャすることを促すジェスチャ催促部と、前記人物が行ったジェスチャ動作を認識して、該認識したジェスチャ動作が前記特定の顔認証画像と紐付けられた特定のジェスチャ動作データとマッチングするか否かを判断するジェスチャ動作認識・認証部と、を備え、前記認識したジェスチャ動作が前記特定のジェスチャ動作データとマッチングしたときに前記人物が本人であると判断することを特徴とする。   An authentication apparatus according to the present invention is an authentication apparatus that performs personal authentication of a person, and corresponds to a plurality of users to be authenticated, respectively, a plurality of face reference images, a plurality of gesture types, and a plurality of gesture operation data. A one-to-one database for registration, an input unit that receives a face input image of the person's face photographed by a camera, the face input image, and the plurality of face reference images registered in the database And when the face authentication unit determines that a specific face authentication image matched with the face input image is registered in the database, the face authentication unit performs face authentication. Displaying a gesture selection screen describing a plurality of gesture options included in the gesture type, and selecting one of the plurality of gesture options for the person. A type selection unit that determines whether or not one gesture option selected by the person matches a specific gesture type associated with the specific face authentication image; When it is determined that one gesture option matches the specific gesture type, the gesture prompting unit that urges the person to make a gesture, and the gesture operation performed by the person are recognized and recognized. A gesture motion recognition / authentication unit that determines whether or not a gesture motion matches specific gesture motion data associated with the specific face authentication image, and the recognized gesture motion is the specific gesture motion. When matching with data, it is determined that the person is the person himself / herself.

本発明の認証方法は、人物の本人認証を行なう認証方法であって、データベースに、認証されるべき複数の利用者に対応して、それぞれ、複数の顔参照画像、複数のジェスチャ種別および複数のジェスチャ動作データを一対一に紐付けて予め登録し、カメラで撮影された、前記人物の顔の顔入力画像を受け付け、前記顔入力画像と前記データベースに登録されている前記複数の顔参照画像とを照合して、顔認証を行ない、前記データベースに前記顔入力画像と照合した特定の顔認証画像が登録されていると判断された場合に、前記複数のジェスチャ種別に含まれる複数のジェスチャ選択肢を記述したジェスチャ選択画面を表示して、前記人物に対して前記複数のジェスチャ選択肢の1つを選択するのを促し、前記人物が選択した1つのジェスチャ選択肢が、前記特定の顔認証画像と紐付いている特定のジェスチャ種別と一致するか否かを判断し、前記選択した1つのジェスチャ選択肢が前記特定のジェスチャ種別と一致したと判断された場合に、前記人物に対してジェスチャすることを促し、前記人物が行ったジェスチャ動作を認識して、該認識したジェスチャ動作が前記特定の顔認証画像と紐付けられた特定のジェスチャ動作データとマッチングするか否かを判断する。   The authentication method of the present invention is an authentication method for performing personal authentication of a person, and a plurality of face reference images, a plurality of gesture types, and a plurality of gestures corresponding to a plurality of users to be authenticated in a database. Gesture motion data is pre-registered in a one-to-one correspondence, accepts a face input image of the person's face photographed by a camera, the face input image and the plurality of face reference images registered in the database Face recognition is performed, and when it is determined that a specific face authentication image matched with the face input image is registered in the database, a plurality of gesture options included in the plurality of gesture types are selected. The described gesture selection screen is displayed to prompt the person to select one of the plurality of gesture options, and one gesture selected by the person If a gesture option matches a specific gesture type associated with the specific face authentication image, and it is determined that the selected gesture option matches the specific gesture type , Prompting the person to make a gesture, recognizing the gesture action performed by the person, and whether the recognized gesture action matches the specific gesture action data associated with the specific face authentication image Judge whether or not.

本発明の認証プログラムは、コンピュータに、人物の本人認証を行なわせる認証プログラムであって、データベースには、認証されるべき複数の利用者に対応して、それぞれ、複数の顔参照画像、複数のジェスチャ種別および複数のジェスチャ動作データが一対一に紐付けて、予め登録されており、前記認証プログラムは、前記コンピュータに、カメラで撮影された、前記人物の顔の顔入力画像を受け付ける入力手順と、前記顔入力画像と前記データベースに登録されている前記複数の顔参照画像とを照合して、顔認証を行なう顔認証手順と、該顔認証手順において、前記データベースに前記顔入力画像と照合した特定の顔認証画像が登録されていると判断された場合に、前記複数のジェスチャ種別に含まれる複数のジェスチャ選択肢を記述したジェスチャ選択画面を表示して、前記人物に対して前記複数のジェスチャ選択肢の1つを選択するのを促し、前記人物が選択した1つのジェスチャ選択肢が、前記特定の顔認証画像と紐付いている特定のジェスチャ種別と一致するか否かを判断する種別選択手順と、該種別選択手順において、前記選択した1つのジェスチャ選択肢が前記特定のジェスチャ種別と一致したと判断された場合に、前記人物に対してジェスチャすることを促すジェスチャ催促手順と、前記人物が行ったジェスチャ動作を認識して、該認識したジェスチャ動作が前記特定の顔認証画像と紐付けられた特定のジェスチャ動作データとマッチングするか否かを判断するジェスチャ動作認識・認証手順と、を実行させる。   An authentication program according to the present invention is an authentication program that causes a computer to authenticate a person. The database includes a plurality of face reference images and a plurality of face reference images corresponding to a plurality of users to be authenticated. Gesture types and a plurality of gesture operation data are preliminarily registered in a one-to-one relationship, and the authentication program includes an input procedure for receiving a face input image of the person's face photographed by the camera on the computer. A face authentication procedure for performing face authentication by comparing the face input image with the plurality of face reference images registered in the database, and collating the face input image with the database in the face authentication procedure. Describe a plurality of gesture options included in the plurality of gesture types when it is determined that a specific face authentication image is registered The gesture selection screen is displayed to prompt the person to select one of the plurality of gesture options, and the one gesture option selected by the person is associated with the specific face authentication image. A type selection procedure for determining whether or not a particular gesture type matches, and if it is determined in the type selection procedure that the selected one gesture option matches the specific gesture type, A gesture prompting procedure for urging the user to make a gesture, and a gesture action performed by the person is recognized, and whether the recognized gesture action matches the specific gesture action data associated with the specific face authentication image. And a gesture motion recognition / authentication procedure for determining whether or not.

本発明のデータベースは、認証されるべき複数の利用者に対応して、それぞれ、複数の顔参照画像、複数のジェスチャ種別および複数のジェスチャ動作データを一対一に紐付けて登録して成る。   The database of the present invention is formed by registering a plurality of face reference images, a plurality of gesture types, and a plurality of gesture operation data in a one-to-one correspondence with each other, corresponding to a plurality of users to be authenticated.

本発明によれば、写真や動画での成りすましを防止することができる。   According to the present invention, it is possible to prevent impersonation with a photograph or a moving image.

本発明の一実施形態に係る認証システムのハードウェア構成を示す外観斜視図である。It is an external appearance perspective view which shows the hardware constitutions of the authentication system which concerns on one Embodiment of this invention. 図1に示された認証システムの構成を示すブロック図である。It is a block diagram which shows the structure of the authentication system shown by FIG. 図2に示した認証システムに用いられる認証装置の内部構成を詳細に示すブロック図である。It is a block diagram which shows in detail the internal structure of the authentication apparatus used for the authentication system shown in FIG. 図3に示した認証装置に使用される記憶装置に格納されているデータベースを示す図である。It is a figure which shows the database stored in the memory | storage device used for the authentication apparatus shown in FIG. 図3に示した認証システムの動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the authentication system shown in FIG. 図1に示された認証システムに用いられる表示装置上に表示された、ジェスチャ選択画面の一例を示す図である。It is a figure which shows an example of the gesture selection screen displayed on the display apparatus used for the authentication system shown by FIG.

以下、図面を参照して本発明の実施形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1乃至図3を参照して、本発明の一実施形態に係る認証システムについて説明する。図1は認証システムのハードウェア構成を示す外観斜視図である。図2は認証システムの構成を示すブロック図である。図3は図2に示した認証システムに用いられる認証装置20の内部構成を詳細に示すブロック図である。   With reference to FIG. 1 thru | or FIG. 3, the authentication system which concerns on one Embodiment of this invention is demonstrated. FIG. 1 is an external perspective view showing the hardware configuration of the authentication system. FIG. 2 is a block diagram showing the configuration of the authentication system. FIG. 3 is a block diagram showing in detail the internal configuration of the authentication device 20 used in the authentication system shown in FIG.

認証システムは、利用者を撮影する為のカメラ10と、人物の本人認証を行なう認証装置20と、利用者に案内するための画面を備えた表示装置30と、情報を入力するための入力装置40とから成る。   The authentication system includes a camera 10 for photographing a user, an authentication device 20 for authenticating a person, a display device 30 having a screen for guiding the user, and an input device for inputting information. 40.

カメラ10の情報入力ポートとしては、例えば、USB(Universal Serial Bus)を使用できる。情報入力ポートは、それ以外に、MIPI−CSI(Mobile Industry Processor Interface-Camera Serial Interface)等の他の一般的なカメラインタフェースを使用してもよい。   As the information input port of the camera 10, for example, a USB (Universal Serial Bus) can be used. In addition, the information input port may use another general camera interface such as MIPI-CSI (Mobile Industry Processor Interface-Camera Serial Interface).

表示装置30は、例えば、液晶ディスプレイ(LCD:liquid crystal display)から成る。LCD用の画像情報出力ポートは、例えば、LVDS(Low Voltage Differential Signaling)インタフェースを使用できる。画像情報出力ポートは、それ以外に、Display Port等の別のインタフェースを使用してもよい。   The display device 30 includes, for example, a liquid crystal display (LCD). The image information output port for the LCD can use, for example, an LVDS (Low Voltage Differential Signaling) interface. In addition, the image information output port may use another interface such as Display Port.

入力装置40は、例えば、タッチパネルを使用できる。入力装置40は、キーボードやマウスであってもよい。   The input device 40 can use a touch panel, for example. The input device 40 may be a keyboard or a mouse.

尚、図示の例では、表示装置30と入力装置40とが別々の装置であるように示しているが、それらが一体であってもよい。例えば、表示装置30は、タッチパネル付き表示装置であってもよい。   In the illustrated example, the display device 30 and the input device 40 are shown as separate devices, but they may be integrated. For example, the display device 30 may be a display device with a touch panel.

図2に示されるように、認証装置20は、CPU(central processing unit)50と、記憶装置60と、プログラムメモリ70と、ワークメモリ80とを備える。   As shown in FIG. 2, the authentication device 20 includes a central processing unit (CPU) 50, a storage device 60, a program memory 70, and a work memory 80.

CPU50は、カメラ10、入力装置40および表示装置40を制御して、データを受け取り、そのデータを使って演算し、記憶し結果を出力する処理を行う。   The CPU 50 controls the camera 10, the input device 40, and the display device 40 to receive data, perform calculation using the data, store it, and output the result.

記憶装置60は、例えば、ハードディスクドライブ(HDD:hard disk drive)から成る。記憶装置60は、ソリッドステートドライブ(SSD:solid state drive)から成ってもよい。記憶装置60は、後述するデータベースを格納している。   The storage device 60 is composed of, for example, a hard disk drive (HDD). The storage device 60 may comprise a solid state drive (SSD). The storage device 60 stores a database to be described later.

ワークメモリ80は、例えば、RAM(random access memory)から成る。ワークメモリ80は、CPU50での処理結果を一時的に記憶する。   The work memory 80 is composed of, for example, a RAM (random access memory). The work memory 80 temporarily stores the processing result in the CPU 50.

プログラムメモリ70は、例えば、ROM(read only memory)やRAMから成る。プログラムメモリ70は、後述する認証プログラムを記憶している。   The program memory 70 is composed of, for example, a ROM (read only memory) or a RAM. The program memory 70 stores an authentication program described later.

図4は、記憶装置60に格納されているデータベースを示す図である。   FIG. 4 is a diagram illustrating a database stored in the storage device 60.

図4から明らかなように、記憶装置60に格納されたデータベースは、認証されるべき複数の利用者に対応して(利用者ID(identification number)ごとに)、それぞれ、複数の顔参照画像、複数のジェスチャ種別および複数のジェスチャ動作データを一対一に紐付けて登録している。   As is clear from FIG. 4, the database stored in the storage device 60 corresponds to a plurality of users to be authenticated (for each user ID (identification number)), and each includes a plurality of face reference images, A plurality of gesture types and a plurality of gesture motion data are registered in one-to-one correspondence.

なお、本実施形態において、データベース60に登録される複数のジェスチャ種別の数は、N個(Nは3以上の整数)であるとする。具体的は、Nは20に等しい。   In the present embodiment, it is assumed that the number of gesture types registered in the database 60 is N (N is an integer of 3 or more). Specifically, N is equal to 20.

ジェスチャ種別は、例えば、ジェスチャの種類を区別する名前で表される。具体的には、ジェスチャの種類としてN=20個規定してある場合、それに応じて20個のジェスチャの名前が与えられる。具体的には、ジェスチャの種類(名前)としては、「まばたき」、「右目をつぶる」、「左目をつぶる」、「右手を挙げる」、「左手を挙げる」、「首をかしげる」等が考えらえる。このジェスチャ種別は、利用者がデータベースに登録するときに、20個のジェスチャ種別の中から任意の1つが選択される。したがって、選択したジェスチャ種別は、通常は本人しか知り得ない情報である。   The gesture type is represented by, for example, a name that distinguishes the type of gesture. Specifically, when N = 20 gesture types are defined, 20 gesture names are given accordingly. Specifically, gesture types (names) include “blink”, “close right eye”, “close left eye”, “raise right hand”, “raise left hand”, “raise neck”, etc. Get it. As the gesture type, when the user registers in the database, any one of the 20 gesture types is selected. Therefore, the selected gesture type is information that is normally only known by the user.

ジェスチャ動作データは、各ジェスチャ種別に対応したジェスチャ動作の特徴を表すデータである。このジェスチャ動作データは、カメラで撮像した画像(ジェスチャ動作の画像)に対して、予め、ソフトウェアの画像解析システムを用いて解析を行い、どのようなジェスチャ動作であったかを認識して得られるデータである。   The gesture motion data is data representing the characteristics of the gesture motion corresponding to each gesture type. This gesture motion data is data obtained by previously analyzing an image (gesture motion image) captured by a camera using a software image analysis system and recognizing the gesture motion. is there.

ここで、具体的なジェスチャ動作それ自体は、実際には、個人ごとに異なっているけれども、概念としてのジェスチャ動作は、利用者において共通である。したがって、本実施形態における「ジェスチャ動作」とは、利用者において共通に認識可能なジェスチャ動作のことを意味し、個人ごとに異なる個別のジェスチャ動作を意味しない。したがって、本実施形態では、複数のジェスチャ種別と複数のジェスチャ動作データとは、一対一に対応している。   Here, although the specific gesture operation itself is actually different for each individual, the gesture operation as a concept is common to users. Therefore, the “gesture operation” in the present embodiment means a gesture operation that can be commonly recognized by users, and does not mean individual gesture operations that are different for each individual. Therefore, in this embodiment, a plurality of gesture types and a plurality of gesture motion data correspond one-to-one.

図3は、CPU50の機能をブロックで表した図である。CPU50は、入力部10、顔認証部52、種別選択部53、ジェスチャ催促部54、およびジェスチャ動作認識・認証部55を備えている。   FIG. 3 is a block diagram showing functions of the CPU 50. The CPU 50 includes an input unit 10, a face authentication unit 52, a type selection unit 53, a gesture prompting unit 54, and a gesture motion recognition / authentication unit 55.

入力部10は、カメラ10で撮影された、人物の顔の顔入力画像を受け付ける。   The input unit 10 receives a face input image of a person's face photographed by the camera 10.

顔認証部52は、顔入力画像とデータベース60に登録されている複数の顔参照画像とを照合して、顔認証を行なう。   The face authentication unit 52 performs face authentication by comparing the face input image with a plurality of face reference images registered in the database 60.

この顔認証部52において、データベース60に、顔入力画像と照合した特定の顔認証画像が登録されていると判断されたとする。この場合、種別選択部53は、上記N=20個のジェスチャ種別の中からランダムに選択されたM個(例えば、3個)のジェスチャ選択肢を記述したジェスチャ選択画面を表示装置30上に表示する。これにより、種別選択部53は、人物に対してその表示された複数のジェスチャ選択肢の1つを選択するのを促す。ここで、表示装置30上に表示された、人物が選択すべきM個のジェスチャ選択肢の1つは、上記特定の顔認証画像と紐付いている特定のジェスチャ種別であることに注意されたい。   It is assumed that the face authentication unit 52 determines that a specific face authentication image collated with the face input image is registered in the database 60. In this case, the type selection unit 53 displays on the display device 30 a gesture selection screen that describes M (for example, three) gesture options randomly selected from the N = 20 gesture types. . Accordingly, the type selection unit 53 prompts the person to select one of the displayed plurality of gesture options. Here, it should be noted that one of the M gesture options displayed on the display device 30 to be selected by the person is a specific gesture type associated with the specific face authentication image.

そして、種別選択部53は、選択した1つのジェスチャ選択肢が、上記特定の顔認証画像と紐付いている特定のジェスチャ種別と一致するか否かを判断する。   Then, the type selection unit 53 determines whether or not one selected gesture option matches a specific gesture type associated with the specific face authentication image.

ジェスチャ催促部54は、選択した1つのジェスチャ選択肢が特定のジェスチャ種別と一致した場合に、人物に対してジェスチャすることを促す。例えば、ジェスチャ催促部54は、表示装置30上に「ジェスチャをしてください」のメッセージを表示する。或いは、ジェスチャ催促部54は、図示しないスピーカから「ジェスチャをしてください」との音声を発生するようにしてもよい。   The gesture prompting unit 54 urges a person to make a gesture when one selected gesture option matches a specific gesture type. For example, the gesture prompting unit 54 displays a “Please do gesture” message on the display device 30. Alternatively, the gesture prompting unit 54 may generate a voice “Please do gesture” from a speaker (not shown).

ジェスチャ動作認識・認証部55は、人物が行ったジェスチャ動作を認識して、その認識したジェスチャが上記特定の顔認証画像と紐付けられた特定のジェスチャ動作データとマッチングするか否かを判断する。認識したジェスチャ動作が特定のジェスチャ動作データとマッチングした場合、ジェスチャ動作認識・認証部55は、その人物が本人であると判断する。   The gesture motion recognition / authentication unit 55 recognizes a gesture motion performed by a person and determines whether or not the recognized gesture matches specific gesture motion data associated with the specific face authentication image. . When the recognized gesture action matches the specific gesture action data, the gesture action recognition / authentication unit 55 determines that the person is the person himself / herself.

上述したように、認証装置20の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。ハードウェアとソフトウェアとを組み合わせた形態では、プログラムメモリ70に認証プログラムが格納され、該認証プログラムに基づいてCPU50等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該認証プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された認証プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。   As described above, each unit of the authentication device 20 can be realized using a combination of hardware and software. In a form in which hardware and software are combined, an authentication program is stored in the program memory 70, and each unit is realized as various means by operating hardware such as the CPU 50 based on the authentication program. The authentication program may be recorded on a recording medium and distributed. The authentication program recorded on the recording medium is read into the memory via a wired, wireless, or recording medium itself, and operates a control unit or the like. Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.

上記実施の形態を別の表現で説明すれば、認証装置20として動作させるコンピュータ(CPU50)を、ROMに格納された認証プログラムに基づき、入力部51、顔認証部52、種別選択部53、ジェスチャ催促部54、およびジェスチャ動作認識・認証部55として動作させることで実現することが可能である。   To describe the above-described embodiment in another expression, a computer (CPU 50) that operates as the authentication apparatus 20 is input based on an authentication program stored in a ROM, an input unit 51, a face authentication unit 52, a type selection unit 53, a gesture. This can be realized by operating as the prompting unit 54 and the gesture motion recognition / authentication unit 55.

次に、図5を参照して、認証システムの動作について説明する。   Next, the operation of the authentication system will be described with reference to FIG.

まず、カメラ10で人物の顔画像を撮影する(ステップS101)。すなわち、入力部51は、人物の顔入力画像を受け付ける。   First, a face image of a person is taken with the camera 10 (step S101). That is, the input unit 51 receives a human face input image.

次に、顔認証部52は、顔入力画像がデータベース60に登録されているか否かを判断する(ステップS102)。すなわち、顔認証部52は、顔入力画像とデータベース60に登録されている複数の顔参照画像とを照合して、顔認証を行なう。   Next, the face authentication unit 52 determines whether a face input image is registered in the database 60 (step S102). That is, the face authentication unit 52 performs face authentication by comparing the face input image with a plurality of face reference images registered in the database 60.

データベース60に登録されていない場合(ステップS102のNo)、顔認証部52は認証NGであると判断し(ステップS107)、以後の処理を行わない。   If it is not registered in the database 60 (No in step S102), the face authentication unit 52 determines that the authentication is NG (step S107) and does not perform the subsequent processing.

一方、データベース60に顔入力画像と照合した特定の顔認証画像が登録されている判断された場合(ステップS102のYes)、種別選択部53は、ジェスチャ動作のジェスチャ選択肢を複数画面表示する(ステップS103)。すなわち、種別選択部53は、N個のジェスチャ種別からランダムに選択されたM個のジェスチャ選択肢を記述したジェスチャ選択画面を表示して、人物に対してM個のジェスチャ選択肢の1つを選択するのを促す。   On the other hand, when it is determined that a specific face authentication image that is collated with the face input image is registered in the database 60 (Yes in step S102), the type selection unit 53 displays a plurality of gesture options for gesture operation (step S102). S103). That is, the type selection unit 53 displays a gesture selection screen describing M gesture options randomly selected from N gesture types, and selects one of the M gesture options for the person. Encourage

図6は、表示装置30上に表示された、ジェスチャ選択画面の一例を示している。図6は、Mが3に等しい例を示している。   FIG. 6 shows an example of a gesture selection screen displayed on the display device 30. FIG. 6 shows an example where M is equal to 3.

図6の例では、種別選択部53は、上記20個のジェスチャ種別の中からランダムに選択された「まばたき」、「右手を挙げる」、および「首をかしげる」の3つのジェスチャ選択肢を記述したジェスチャ選択画面を、表示装置30上に表示している。   In the example of FIG. 6, the type selection unit 53 describes three gesture options randomly selected from the 20 gesture types: “blink”, “raise right hand”, and “raise the neck”. A gesture selection screen is displayed on the display device 30.

前述したように、表示装置30上に表示された、人物が選択すべきジェスチャ選択肢の1つは、上記特定の顔認証画像と紐付いている特定のジェスチャ種別である。以下では、特定のジェスチャ種別が「右手を挙げる」であると仮定して説明を続ける。   As described above, one of the gesture options to be selected by the person displayed on the display device 30 is a specific gesture type associated with the specific face authentication image. In the following, the description will be continued assuming that the specific gesture type is “raise the right hand”.

利用者である人物は、表示装置30上に表示されたジェスチャ選択画面のジェスチャ選択肢のなかから、あらかじめデータベース60に登録しておいたジェスチャ選択肢(ジェスチャ種別)を選択する。具体的には、表示装置30がタッチパネル付き表示装置であった場合には、人物はジェスチャ選択画面の「まばたき」、「右手を挙げる」、および「首をかしげる」の1つを選択する。   A person who is a user selects a gesture option (gesture type) registered in advance in the database 60 from the gesture options on the gesture selection screen displayed on the display device 30. Specifically, when the display device 30 is a display device with a touch panel, the person selects one of “blink”, “raise his right hand”, and “raise his neck” on the gesture selection screen.

尚、本実施形態では、種別選択部53は、選択したM個のジェスチャ選択肢を、認証の度に(毎回〉、それらの表示箇所をランダムに切り替えて、ジェスチャ選択画面を表示する。そのようにした理由は次の通りである。   In the present embodiment, the type selection unit 53 displays the gesture selection screen by randomly switching the display locations of the selected M gesture options for each authentication (every time). The reason for this is as follows.

仮に、悪意をもってジェスチャを盗み見ようとする人(第三者)がいたとする。この場合、ジェスチャ選択肢を、毎回固定的に表示させるよりも、毎回ランダムに切り替えて表示させることで、第三者が本人が登録しているジェスチャ種別を把握するのを困難にしている。   Suppose there is a person (a third party) who tries to steal a gesture with malicious intent. In this case, it is difficult for a third party to grasp the gesture type registered by the person by displaying the gesture options at random each time, rather than displaying the gesture options fixedly each time.

より詳細に説明すると、M個のジェスチャ選択肢を毎回固定表示した場合には、以下のような点で、第三者に、本人がデータベースに登録しているジェスチャ種別が判別されてしまう可能性が懸念される。   More specifically, when M gesture options are fixedly displayed each time, there is a possibility that the gesture type registered in the database by the third person may be determined by a third party in the following points. Concerned.

例)第三者が見て「この人は、毎回首をしげる動作をしている」
例)第三者が見て「この人は、毎回、一番上に表示されるジェスチャ選択肢の動作をしている」
したがって、本実施形態では、M個のジェスチャ選択肢を毎回ランダムに表示位置を変えて表示させ、その場で利用者本人に選択させることで、第三者が利用者本人のジェスチャを把握するのをより困難にしている。
Example) A third person sees, "This person is moving his neck every time."
Example) A third party sees, "This person is acting as a gesture option displayed at the top every time."
Therefore, in the present embodiment, the M gesture options are displayed at different display positions at random times, and the third party can grasp the user's own gesture by allowing the user to select the gesture on the spot. Making it more difficult.

引き続いて、種別選択部53は、選択した1つのジェスチャ選択肢が、上記特定の顔認証画像と紐付いている特定のジェスチャ種別と一致するか否かを判断する(ステップS104)。換言すれば、種別選択部53は、データベース60にて特定の顔認証画像/特定のジェスチャ種別の紐付けが一致するか否かを判断する。   Subsequently, the type selection unit 53 determines whether the selected gesture option matches the specific gesture type associated with the specific face authentication image (step S104). In other words, the type selection unit 53 determines whether or not the association between the specific face authentication image / specific gesture type matches in the database 60.

このデータベース60の照合の結果、あらかじめ登録された特定のジェスチャ種別が選択されなかった場合(具体的には、その人物が「まばたき」または「首をかしげる」のジェスチャ選択肢を選択した場合)(ステップS104のNo)、種別選択部53は、本人ではないと判断し、認証NGであるとして(ステップS107)、以後の処理を行わない。   When a specific gesture type registered in advance is not selected as a result of collation of the database 60 (specifically, when the person selects a gesture option of “blink” or “raise his neck”) (step The type selection unit 53 determines that the person is not the user and determines that the authentication is NG (step S107), and does not perform the subsequent processing.

一方、このデータベース60の照合の結果、あらかじめ登録された特定のジェスチャ種別が選択された場合(具体的には、その人物が「右手を挙げる」のジェスチャ選択肢を選択した場合)(ステップS104のYes)、引き続き、ジェスチャ催促部54はその人物に対してジェスチャすることを促す。具体的には、例えば、ジェスチャ催促部54は、表示装置30上に「ジェスチャをしてください」のメッセージを表示する。   On the other hand, when a specific gesture type registered in advance is selected as a result of the collation of the database 60 (specifically, when the person selects a gesture option of “lifting the right hand”) (Yes in step S104). Subsequently, the gesture prompting unit 54 prompts the person to make a gesture. Specifically, for example, the gesture prompting unit 54 displays a “Please do gesture” message on the display device 30.

ジェスチャ動作認識・認証部55は、特定のジェスチャ動作が正しく行われた否かを判断する(ステップS106)。具体的には、ジェスチャ動作認識・認証部55は、カメラ10で撮像されたその人物が行ったジェスチャ動作の画像(以下、「ジェスチャ動作画像」と呼ぶ)を、画像解析システムを用いて解析して、そのジェスチャ動作がどのようなジェスチャ動作であったかを認識する。そして、ジェスチャ動作認識・認証部55は、その認識したジェスチャ動作が特定の顔認証画像と紐付けられた特定のジェスチャ動作データとマッチングするか否かを判断する。   The gesture motion recognition / authentication unit 55 determines whether or not the specific gesture motion is correctly performed (step S106). Specifically, the gesture motion recognition / authentication unit 55 analyzes an image of a gesture motion performed by the person captured by the camera 10 (hereinafter referred to as “gesture motion image”) using an image analysis system. Then, it recognizes what kind of gesture action the gesture action was. Then, the gesture motion recognition / authentication unit 55 determines whether the recognized gesture motion matches the specific gesture motion data associated with the specific face authentication image.

本例の場合、特定のジェスチャ種別が「右手を挙げる」である。したがって、ジェスチャ動作認識・認証部55は、画像解析システムを用いて認識したジェスチャ動作画像が、「右手を挙げる」のジェスチャ動作の画像とマッチングするか否かを判断する。   In this example, the specific gesture type is “raise the right hand”. Accordingly, the gesture motion recognition / authentication unit 55 determines whether or not the gesture motion image recognized using the image analysis system matches the image of the gesture motion of “raising the right hand”.

特定のジェスチャ動作が正しく行われなかった場合(すなわち、認識したジェスチャ動作画像が「右手を挙げる」のジェスチャ動作の画像とマッチングしなかった場合)(ステップS105のNo)、ジェスチャ動作認識・認証部55は、その人物が本人でないと判断して、認証NGであるとして(ステップS107)、以後の処理を行わない。   When the specific gesture operation is not performed correctly (that is, when the recognized gesture operation image does not match the image of the gesture operation of “lifting the right hand”) (No in step S105), the gesture operation recognition / authentication unit 55 determines that the person is not the person himself, and determines that the person is an authentication NG (step S107), and does not perform the subsequent processing.

一方、特定のジェスチャ動作が正しく行われた場合(すなわち、認識したジェスチャ動作画像が「右手を挙げる」のジェスチャ動作の画像とマッチングした場合)(ステップS105のYes)、ジェスチャ動作認識・認証部55は、その人物が本人であると判断して、認証OKとなり(ステップS106)、以後の処理の続行を許可する。   On the other hand, when the specific gesture motion is performed correctly (that is, when the recognized gesture motion image matches the image of the gesture motion of “lifting the right hand”) (Yes in step S105), the gesture motion recognition / authentication unit 55 Determines that the person is the person himself / herself, authentication is OK (step S106), and the continuation of the subsequent processing is permitted.

このように、本実施形態の認証方法では、顔認証、あらかじめ登録されたジェスチャ種別の選択、およびジェスチャ動作の3段階で、本人認証を行なっている。   As described above, in the authentication method of the present embodiment, personal authentication is performed in three stages: face authentication, selection of a pre-registered gesture type, and gesture operation.

次に本実施形態の効果について説明する。   Next, the effect of this embodiment will be described.

本実施形態の認証方法によれば、写真や動画での成りすましをより困難にすることが可能となる。その理由は、顔認証だけでなく、あらかじめ登録されたジェスチャ種別の選択と、実際にジェスチャ動作をさせるとの2つの認証を加えて、本人認証を行なっているからである。   According to the authentication method of the present embodiment, it is possible to make it more difficult to impersonate a photo or a moving image. The reason is that not only face authentication but also two types of authentication, that is, selection of a pre-registered gesture type and actual gesture operation are added to perform personal authentication.

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。   The present invention has been described above with reference to the embodiments, but the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

本発明は、パソコンやスマートフォン等による本人認証や、クレジットカード支払い/ATM(automatic teller’s machine)等の本人認証にも利用可能である。   The present invention can also be used for personal authentication using a personal computer, a smartphone, or the like, or for personal authentication such as credit card payment / ATM (automatic teller's machine).

10 カメラ
20 認証装置
30 表示装置
40 入力装置
50 CPU
51 入力部
52 顔認証部
53 種別選択部
54 ジェスチャ催促部
55 ジェスチャ動作認識・識別部
60 記憶装置(データベース)
70 プログラムメモリ
80 ワークメモリ
10 Camera 20 Authentication Device 30 Display Device 40 Input Device 50 CPU
DESCRIPTION OF SYMBOLS 51 Input part 52 Face authentication part 53 Type selection part 54 Gesture prompting part 55 Gesture movement recognition / identification part 60 Storage device (database)
70 Program memory 80 Work memory

Claims (7)

人物の本人認証を行なう認証装置であって、
認証されるべき複数の利用者に対応して、それぞれ、複数の顔参照画像、複数のジェスチャ種別および複数のジェスチャ動作データを一対一に紐付けて登録するデータベースと、
カメラで撮影された、前記人物の顔の顔入力画像を受け付ける入力部と、
前記顔入力画像と前記データベースに登録されている前記複数の顔参照画像とを照合して、顔認証を行なう顔認証部と、
該顔認証部において、前記データベースに前記顔入力画像と照合した特定の顔認証画像が登録されていると判断された場合に、前記複数のジェスチャ種別に含まれる複数のジェスチャ選択肢を記述したジェスチャ選択画面を表示して、前記人物に対して前記複数のジェスチャ選択肢の1つを選択するのを促し、前記人物が選択した1つのジェスチャ選択肢が、前記特定の顔認証画像と紐付いている特定のジェスチャ種別と一致するか否かを判断する種別選択部と、
該種別選択部において、前記選択した1つのジェスチャ選択肢が前記特定のジェスチャ種別と一致したと判断された場合に、前記人物に対してジェスチャすることを促すジェスチャ催促部と、
前記人物が行ったジェスチャ動作を認識して、該認識したジェスチャ動作が前記特定の顔認証画像と紐付けられた特定のジェスチャ動作データとマッチングするか否かを判断するジェスチャ動作認識・認証部と、
を備え、
前記認識したジェスチャ動作が前記特定のジェスチャ動作データとマッチングしたときに前記人物が本人であると判断することを特徴とする認証装置。
An authentication device for authenticating a person,
Corresponding to a plurality of users to be authenticated, a database for registering a plurality of face reference images, a plurality of gesture types, and a plurality of gesture operation data in a one-to-one correspondence,
An input unit for receiving a face input image of the face of the person photographed by a camera;
A face authentication unit that performs face authentication by comparing the face input image and the plurality of face reference images registered in the database;
In the face authentication unit, when it is determined that a specific face authentication image collated with the face input image is registered in the database, a gesture selection describing a plurality of gesture options included in the plurality of gesture types A screen is displayed to prompt the person to select one of the plurality of gesture options, and the one gesture option selected by the person is a specific gesture associated with the specific face authentication image. A type selection unit for determining whether or not the type matches,
In the type selection unit, when it is determined that the selected one gesture option matches the specific gesture type, a gesture prompting unit that prompts the person to make a gesture;
A gesture motion recognition / authentication unit for recognizing a gesture motion performed by the person and determining whether the recognized gesture motion matches specific gesture motion data associated with the specific face authentication image; ,
With
An authentication apparatus, wherein the person is determined to be the person when the recognized gesture action matches the specific gesture action data.
前記データベースに登録される前記複数のジェスチャ種別の数がN個の場合、
前記種別選択部は、前記N個のジェスチャ種別のなかから、前記特定のジェスチャ種別を含み、かつN個より少ないM個のジェスチャ選択肢を選択し、該選択したM個のジェスチャ選択肢を記述したジェスチャ選択画面を表示する、請求項1に記載の認証装置。
When the number of the plurality of gesture types registered in the database is N,
The type selection unit selects, from the N gesture types, M gesture options that include the specific gesture type and fewer than N, and describes the selected M gesture options. The authentication device according to claim 1, wherein a selection screen is displayed.
前記種別選択部は、前記N個のジェスチャ種別の中からランダムに前記M個のジェスチャ種別を選択し、該選択したM個のジェスチャ選択肢を記述したジェスチャ選択画面を表示する、請求項2に記載の認証装置。   The said type selection part selects the said M gesture types at random from the said N gesture types, and displays the gesture selection screen which described the selected M gesture options. Authentication device. 前記種別選択部は、該選択したM個のジェスチャ選択肢を、認証の度に、それらの表示箇所をランダムに切り替えて、前記ジェスチャ選択画面を表示する、請求項2又は3に記載の認証装置。   The authentication apparatus according to claim 2, wherein the type selection unit displays the gesture selection screen by randomly switching the display locations of the selected M gesture options for each authentication. 認証されるべき複数の利用者に対応して、それぞれ、複数の顔参照画像、複数のジェスチャ種別および複数のジェスチャ動作データを一対一に紐付けて登録して成るデータベース。   A database formed by associating a plurality of face reference images, a plurality of gesture types, and a plurality of gesture operation data in a one-to-one correspondence with a plurality of users to be authenticated. 人物の本人認証を行なう認証方法であって、
データベースに、認証されるべき複数の利用者に対応して、それぞれ、複数の顔参照画像、複数のジェスチャ種別および複数のジェスチャ動作データを一対一に紐付けて予め登録し、
カメラで撮影された、前記人物の顔の顔入力画像を受け付け、
前記顔入力画像と前記データベースに登録されている前記複数の顔参照画像とを照合して、顔認証を行ない、
前記データベースに前記顔入力画像と照合した特定の顔認証画像が登録されていると判断された場合に、前記複数のジェスチャ種別に含まれる複数のジェスチャ選択肢を記述したジェスチャ選択画面を表示して、前記人物に対して前記複数のジェスチャ選択肢の1つを選択するのを促し、前記人物が選択した1つのジェスチャ選択肢が、前記特定の顔認証画像と紐付いている特定のジェスチャ種別と一致するか否かを判断し、
前記選択した1つのジェスチャ選択肢が前記特定のジェスチャ種別と一致したと判断された場合に、前記人物に対してジェスチャすることを促し、
前記人物が行ったジェスチャ動作を認識して、該認識したジェスチャ動作が前記特定の顔認証画像と紐付けられた特定のジェスチャ動作データとマッチングするか否かを判断する、
認証方法。
An authentication method for authenticating a person,
Corresponding to a plurality of users to be authenticated, a plurality of face reference images, a plurality of gesture types, and a plurality of gesture motion data are pre-registered in a one-to-one correspondence in the database,
Accept the face input image of the person's face taken with the camera,
Collating the face input image with the plurality of face reference images registered in the database, and performing face authentication,
When it is determined that a specific face authentication image collated with the face input image is registered in the database, a gesture selection screen describing a plurality of gesture options included in the plurality of gesture types is displayed. Prompt the person to select one of the plurality of gesture options, and whether one gesture option selected by the person matches a specific gesture type associated with the specific face authentication image Determine whether
Prompting the person to make a gesture when it is determined that the selected gesture option matches the specific gesture type;
Recognizing a gesture motion performed by the person, and determining whether the recognized gesture motion matches specific gesture motion data associated with the specific face authentication image;
Authentication method.
コンピュータに、人物の本人認証を行なわせる認証プログラムであって、
データベースには、認証されるべき複数の利用者に対応して、それぞれ、複数の顔参照画像、複数のジェスチャ種別および複数のジェスチャ動作データが一対一に紐付けて、予め登録されており、
前記認証プログラムは、前記コンピュータに、
カメラで撮影された、前記人物の顔の顔入力画像を受け付ける入力手順と、
前記顔入力画像と前記データベースに登録されている前記複数の顔参照画像とを照合して、顔認証を行なう顔認証手順と、
該顔認証手順において、前記データベースに前記顔入力画像と照合した特定の顔認証画像が登録されていると判断された場合に、前記複数のジェスチャ種別に含まれる複数のジェスチャ選択肢を記述したジェスチャ選択画面を表示して、前記人物に対して前記複数のジェスチャ選択肢の1つを選択するのを促し、前記人物が選択した1つのジェスチャ選択肢が、前記特定の顔認証画像と紐付いている特定のジェスチャ種別と一致するか否かを判断する種別選択手順と、
該種別選択手順において、前記選択した1つのジェスチャ選択肢が前記特定のジェスチャ種別と一致したと判断された場合に、前記人物に対してジェスチャすることを促すジェスチャ催促手順と、
前記人物が行ったジェスチャ動作を認識して、該認識したジェスチャ動作が前記特定の顔認証画像と紐付けられた特定のジェスチャ動作データとマッチングするか否かを判断するジェスチャ動作認識・認証手順と、
を実行させるための認証プログラム。
An authentication program that causes a computer to authenticate a person,
Corresponding to a plurality of users to be authenticated, a plurality of face reference images, a plurality of gesture types, and a plurality of gesture operation data are respectively registered in the database in a one-to-one correspondence,
The authentication program is stored in the computer.
An input procedure for receiving a face input image of the person's face shot with a camera;
A face authentication procedure for performing face authentication by comparing the face input image with the plurality of face reference images registered in the database;
In the face authentication procedure, when it is determined that a specific face authentication image collated with the face input image is registered in the database, a gesture selection describing a plurality of gesture options included in the plurality of gesture types A screen is displayed to prompt the person to select one of the plurality of gesture options, and the one gesture option selected by the person is a specific gesture associated with the specific face authentication image. A type selection procedure for determining whether or not the type matches,
In the type selection procedure, when it is determined that the selected one gesture option matches the specific gesture type, a gesture prompting procedure for prompting the person to perform a gesture;
A gesture motion recognition / authentication procedure for recognizing a gesture motion performed by the person and determining whether or not the recognized gesture motion matches specific gesture motion data associated with the specific face authentication image; ,
Authentication program to execute
JP2017072635A 2017-03-31 2017-03-31 Authentication device, authentication method, and authentication program Active JP7004379B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017072635A JP7004379B2 (en) 2017-03-31 2017-03-31 Authentication device, authentication method, and authentication program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017072635A JP7004379B2 (en) 2017-03-31 2017-03-31 Authentication device, authentication method, and authentication program

Publications (2)

Publication Number Publication Date
JP2018173891A true JP2018173891A (en) 2018-11-08
JP7004379B2 JP7004379B2 (en) 2022-01-21

Family

ID=64108726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017072635A Active JP7004379B2 (en) 2017-03-31 2017-03-31 Authentication device, authentication method, and authentication program

Country Status (1)

Country Link
JP (1) JP7004379B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087235A (en) * 2019-05-08 2019-08-02 北京芯盾时代科技有限公司 A kind of method and device of authentication, authentication mode adjustment
WO2021181527A1 (en) * 2020-03-10 2021-09-16 日本電気株式会社 Imaging control device, system, method, and non-transitory computer-readable medium storing program therein
JP2022037845A (en) * 2020-08-25 2022-03-09 ネイバー コーポレーション User authentication methods, systems and programs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233816A (en) * 2002-02-13 2003-08-22 Nippon Signal Co Ltd:The Access control system
JP2012050749A (en) * 2010-09-02 2012-03-15 Konami Digital Entertainment Co Ltd Game apparatus, method of controlling game apparatus, and program
JP2014056576A (en) * 2012-09-11 2014-03-27 Sony Corp Gesture- and expression-based authentication
JP2016018264A (en) * 2014-07-04 2016-02-01 株式会社リコー Image forming apparatus, image forming method, and program
JP2017004398A (en) * 2015-06-15 2017-01-05 株式会社セキュア Authentication apparatus and authentication method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233816A (en) * 2002-02-13 2003-08-22 Nippon Signal Co Ltd:The Access control system
JP2012050749A (en) * 2010-09-02 2012-03-15 Konami Digital Entertainment Co Ltd Game apparatus, method of controlling game apparatus, and program
JP2014056576A (en) * 2012-09-11 2014-03-27 Sony Corp Gesture- and expression-based authentication
JP2016018264A (en) * 2014-07-04 2016-02-01 株式会社リコー Image forming apparatus, image forming method, and program
JP2017004398A (en) * 2015-06-15 2017-01-05 株式会社セキュア Authentication apparatus and authentication method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087235A (en) * 2019-05-08 2019-08-02 北京芯盾时代科技有限公司 A kind of method and device of authentication, authentication mode adjustment
CN110087235B (en) * 2019-05-08 2022-07-29 北京芯盾时代科技有限公司 Identity authentication method and device, and identity authentication method and device adjustment method and device
WO2021181527A1 (en) * 2020-03-10 2021-09-16 日本電気株式会社 Imaging control device, system, method, and non-transitory computer-readable medium storing program therein
JPWO2021181527A1 (en) * 2020-03-10 2021-09-16
JP7287571B2 (en) 2020-03-10 2023-06-06 日本電気株式会社 Imaging control device, system, method and program
JP2022037845A (en) * 2020-08-25 2022-03-09 ネイバー コーポレーション User authentication methods, systems and programs
JP7125460B2 (en) 2020-08-25 2022-08-24 ネイバー コーポレーション User authentication method, system and program
JP2022163168A (en) * 2020-08-25 2022-10-25 ネイバー コーポレーション User authentication method, system, and program
JP7402940B2 (en) 2020-08-25 2023-12-21 ネイバー コーポレーション User authentication methods, systems and programs

Also Published As

Publication number Publication date
JP7004379B2 (en) 2022-01-21

Similar Documents

Publication Publication Date Title
US10482230B2 (en) Face-controlled liveness verification
CN114077726B (en) Systems, methods, and machine-readable media for authenticating a user
US9547760B2 (en) Method and system for authenticating user of a mobile device via hybrid biometics information
US9773151B2 (en) System and methods for contactless biometrics-based identification
US9531710B2 (en) Behavioral authentication system using a biometric fingerprint sensor and user behavior for authentication
EP1990770B1 (en) Face authentication device, face authentication method, and program
US11494474B2 (en) Brain activity-based authentication
JP2023145582A (en) Multi-factor authentication for virtual reality
JP7428242B2 (en) Authentication device, authentication system, authentication method and authentication program
CN110169032A (en) System and method for the registration of smart card biometric
JP7006584B2 (en) Biometric data processing device, biometric data processing system, biometric data processing method, biometric data processing program, storage medium for storing biometric data processing program
TW201512880A (en) Electronic device, authenticating system and method
US11997087B2 (en) Mobile enrollment using a known biometric
JP6267025B2 (en) Communication terminal and communication terminal authentication method
US12013956B2 (en) Systems and methods for verifying user activity using behavioral models
JP7004379B2 (en) Authentication device, authentication method, and authentication program
JP4760049B2 (en) Face authentication device, face authentication method, electronic device incorporating the face authentication device, and recording medium recording the face authentication program
JP7402940B2 (en) User authentication methods, systems and programs
US11507646B1 (en) User authentication using video analysis
US11995167B2 (en) Systems and methods for authenticating user identity using supplemental environment data
KR20170061989A (en) Complex authentication apparatus using biometric information and touch pattern and method thereof
WO2022084444A1 (en) Methods, systems and computer program products, for use in biometric authentication
CN114519892A (en) Challenge-response method for biometric authentication
WO2021234727A2 (en) A multi-factor authentication system using gesture recognition and object presentation and method thereof
KR100974294B1 (en) Biometric Systems and Methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210525

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211104

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211115

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211223

R150 Certificate of patent or registration of utility model

Ref document number: 7004379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150