WO2024042674A1

WO2024042674A1 - 情報処理装置、認証方法および記憶媒体

Info

Publication number: WO2024042674A1
Application number: PCT/JP2022/032039
Authority: WO
Inventors: 政人佐々木
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2022-08-25
Filing date: 2022-08-25
Publication date: 2024-02-29
Anticipated expiration: 2025-02-25
Also published as: JPWO2024042674A1

Abstract

対象がなりすましである度合を示すなりすましスコアと、対象の生体情報の照合スコアとに基づいて、所定の条件下において、取得した生体情報が対象に対応すると判断される確率または、取得した生体情報が対象に対応しないと判断される確率を算出する。当該確率に基づいて、対象に関する認証を行う。

Description

情報処理装置、認証方法および記憶媒体

　この開示は、情報処理装置、認証方法および記憶媒体に関する。

　個人を識別する認証技術の一つとして、生体認証がある。生体認証では顔や虹彩といった生体情報から特徴を抽出することで個人が識別可能であり、パスワード入力といった操作が不要となることから利用者の利便性の高い認証方法である。しかしながら、このような生体認証技術では他者へなりすます、なりすまし問題が存在する。例えばなりすまし問題では、印刷物やディスプレイなどを用いて他人の生体情報を認証装置に提示することで、認証機が誤って登録者であると判定してしまうなどの問題である。

　このようななりすましを防止するためのなりすまし判定手法の例が特許文献１に示されている。特許文献１では顔認証において、２地点の距離から実際の顔のような凹凸や背景との距離の違いを用いてなりすましを判定する。認証についてはなりすましと判定されなかった場合のみ行う。

　特許文献２では複数種類の生体情報を用いて認証するマルチモーダル認証でのなりすまし判定手法が示されている。特許文献２では対象者から取得される生体情報から登録者との類似度表す照合スコアを算出し、それぞれの生体情報の前記照合スコアを利用してなりすましスコアを算出してなりすましを判定する。

特開２００７－２４１４０２号公報特願２０１５－５０２７３９号公報

　この開示は、上述の先行技術文献を改善することを目的とする情報処理装置、認証方法および記憶媒体を提供することを目的とする。

　本発明の第１の態様によれば、情報処理装置は、対象がなりすましである度合を示すなりすましスコアと、前記対象の生体情報の照合スコアとに基づいて、所定の条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出する確率算出手段と、前記確率に基づいて、前記対象に関する認証を行う認証手段と、を備える。

　本発明の第２の態様によれば、認証方法は、対象がなりすましである度合を示すなりすましスコアと、前記対象の生体情報の照合スコアとに基づいて、所定の条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出し、前記確率に基づいて、前記対象に関する認証を行う。

　本発明の第３の態様によれば、記憶媒体は、情報処理装置のコンピュータを、対象がなりすましである度合を示すなりすましスコアと、前記対象の生体情報の照合スコアとに基づいて、所定の条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出する確率算出手段、前記確率に基づいて、前記対象に関する認証を行う認証手段、として機能させるプログラムを記憶する。

本開示による第１実施形態の情報処理装置の機能ブロック図である。第１実施形態において情報処理装置の実行する処理のフローチャートを示す図である。本開示による第２実施形態の情報処理装置の機能ブロック図である。第２実施形態において情報処理装置の実行する処理のフローチャートを示す図である。本開示による第３実施形態の情報処理装置の機能ブロック図である。第３実施形態において情報処理装置の実行する処理のフローチャートを示す図である。本開示による第４実施形態の情報処理装置の機能ブロック図である。第４実施形態において情報処理装置の実行する処理のフローチャートを示す図である。本開示による第５実施形態の情報処理装置の機能ブロック図である。第５実施形態において情報処理装置の実行する処理のフローチャートを示す図である。情報処理装置のハードウェア構成を示す図である。

　以下、本開示の一実施形態による情報処理装置について図面を参照して説明する。
(第１実施形態)

［構成の説明］
　図１は、本開示による第１実施形態の情報処理装置の機能ブロック図である。
　情報処理装置１０１は、ユニモーダル認証装置である。ユニモーダルは単様式を意味し、ユニモーダル認証装置は、１つの生体情報を用いて認証を行う。情報処理装置１０１は、複数の生体情報を用いてマルチモーダルの（複数様式の）認証を行う認証装置であってもよい。情報処理装置１０１は、照合スコア算出部(照合スコア算出手段)１０２、なりすましスコア算出部(なりすましスコア算出手段)１０３、確率算出部(確率算出手段)１０４から構成される生体情報処理部１０５と、判定部１０６（認証手段）の機能を発揮する。第１実施形態の説明では情報処理装置１０１がユニモーダル認証装置として動作する場合について説明する。

　照合スコア算出部１０２は、照合を行う対象から取得した生体情報から、事前に登録されている当該対象の同じ部位の生体情報と一致するか照合し、登録された生体情報との類似度を照合スコアとして算出する。
　なりすましスコア算出部１０３は、照合を行う対象から取得した生体情報から、なりすましであるか生体であるかを数値化したなりすましスコアを算出する。当該なりすましスコアは対象がなりすましである度合を示す。
　確率算出部１０４は、なりすましスコアと、対象の生体情報の照合スコアとに基づいて、所定の条件下において、取得した生体情報が対象に対応すると判断される確率（本人確率）または、取得した生体情報が対象に対応しないと判断される確率（他人確率）、を算出する。
　生体情報処理部１０５は、照合スコア算出部１０２、なりすましスコア算出部１０３、確率算出部１０４を備え、入力された１種類の生体情報からなりすましを考慮したうえで本人確率または他人確率を算出する。このため、生体情報処理部１０５は、なりすましの生体情報によって他人が登録者として誤って認証される事象を抑制する。
　判定部１０６は、認証手段の一態様であり、確率算出部１０４で算出した本人確率又は他人確率から、入力した生体情報が登録された対象の生体情報であるか、あるいは登録されたどの対象の生体情報でもないかを判定する。

［動作の説明］
　図２は、情報処理装置１０１の実行する処理のフローチャートを示す図である。
　次に、情報処理装置１０１の動作について、図２のフローチャートに従って説明する。
　情報処理装置１０１は本人確認を行う対象者の生体情報を取得する（ステップＳ１００）。すると生体情報処理部１０５は、照合スコア算出部１０２、なりすましスコア算出部１０３に対して生体情報を受け渡す。生体情報とは、例えば、顔画像や、虹彩画像、指紋画像、静脈画像、発話音声信号など個人を識別可能な情報である。

　照合スコア算出部１０２は取得した生体情報と、事前の登録により記憶する生体情報との類似度に基づいて照合スコアを算出する（ステップＳ２００）。照合スコアの算出する手法は複数提案されており、深層学習を用いて生体情報から特徴を抽出して、事前に記憶する生体情報との類似度を算出する手法など様々あるが、本開示では、取得した生体情報と、事前の登録により記憶する生体情報との類似度を示す値の算出手法であれば、どのような手法が採用されてもよい。

　なりすましスコア算出部１０３は、取得した生体情報から生体又はなりすましの特徴を抽出し、なりすましスコアを算出する(ステップＳ３００)。ステップＳ２００とステップＳ３００の処理は、並列に行われてもよい。生体認証における画像を使用したなりすましの例として、印刷物によるなりすまし、またはディスプレイを用いたなりすましが挙げられる。これらのなりすましでは、他者の生体情報を印刷もしくはディスプレイに表示して、認証を行う装置に提示することで他者へなりすます。このような、なりすましを検出するために、生体情報からなりすましスコアを算出する手法についても様々な手法が提案されている。一例として、虹彩を用いたなりすましにおける当該なりすましの検出手法では、虹彩画像を入力として深層学習によりなりすましのスコアを算出する手法や、画像の濃淡変化による局所特徴量や画質指標などから機械学習を用いてなりすましのスコアを算出する手法、動画から生体特有の眼球運動や視線からなりすましのスコアを算出する手法などがある。なお画像の濃淡変化による局所特徴量は、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＨＯＧ（Histograms of Oriented Gradients）などの手法により算出する。本開示の情報処理装置１０１におけるなりすましスコア算出部１０３の処理は、これらの何れの手法を用いてもよい。

　なりすましスコア算出部１０３は特許文献１のように生体情報取得時に付随して取得される距離情報といった情報を利用してなりすましスコアを算出してもよい。また、なりすましスコア算出部１０３は複数のなりすましスコアの算出手法を備えていてもよい。この場合、なりすましスコアは複数のなりすましスコア値を確率算出部１０４で参照できるようにベクトル形式として表されてもよい。

　確率算出部１０４は、照合スコアを照合スコア算出部１０２から取得する。また確率算出部１０４は、なりすましスコアをなりすましスコア算出部１０３から取得する。確率算出部１０４は、取得した照合スコアとなりすましスコアとに基づいて、ステップＳ１００で取得した認証の対象者の生体情報についての本人確率を算出する（ステップＳ４００）。確率算出部１０４は、ステップＳ１００で取得した認証の対象者の生体情報についての他人確率を算出してもよい。なお本人確率とは、確率算出部１０４が取得したなりすましスコアの算出された条件下において、確率算出部１０４の取得した照合スコアに基づいて取得した生体情報が予め記憶した生体情報の本人に対応すると判断される確率である。また他人確率とは、確率算出部１０４が取得したなりすましスコアの算出された条件下において、確率算出部１０４の取得した照合スコアに基づいて取得した生体情報が予め記憶した生体情報とは異なる他人に対応すると判断される確率である。確率算出部１０４は、本開示では本人確率または他人確率のいずれの確率を算出してもよい。一例として、確率算出部１０４は、他人確率ｐを以下の式を用いて算出する。

　式（１）においてfは照合スコアを表し、gはなりすましスコアを表す。このように他人確率pは、なりすましスコアｇおよび照合スコアｆの条件付き確率Ｐとして表すことができる。

　上述の処理によれば、確率算出部１０４は、照合スコアと本人確率（又は他人確率）の関係を補正している。すなわち、確率算出部１０４は、取得した照合スコアと、なりすましスコアとから、なりすましの可能性が高い場合には、本人確率が低下し、他人確率は上昇するように補正を行っている。つまり、確率算出部１０４は、算出された照合スコアが、本人に近いと判定されるような値であった場合であっても、なりすましスコアが高い場合には本人確率は低く、他人確率は高くなるように補正する。

　確率算出部１０４は、本人確率又は他人確率を、なりすましスコアと照合スコアと本人確率又は他人確率との関係を示すルックアップテーブルを用いて算出してもよい。このルックアップテーブルでは、照合スコアとなりすましスコアとの２つを入力として、本人確率又は他人確率を出力とする。ルックアップテーブルは、取得した生体情報に応じて照合スコア算出部１０２から取得した照合スコアおよび、取得した生体情報に応じてなりすましスコア算出部１０３から取得したなりすましスコアの分布を予め求め、これら各スコアの分布と、当該スコアの分布における所定のスコアの各値に対応する本人確率や他人確率の関係を示す。確率算出部１０４は、ルックアップテーブルを使用する場合には、ルックアップテーブルに関する情報を記憶するメモリから当該ルックアップテーブルを読み取り、本人確率又は他人確率を算出する。このルックアップテーブルを用いることにより確率算出部１０４は、取得した照合スコアおよびなりすましスコアに基づいて、本人確率又は他人確率を高速に算出することが期待できる。

　確率算出部１０４は、照合スコアおよびなりすましスコアと本人確率や他人確率の関係の数式化や、当該関係を機械学習した学習モデルの生成、当該関係を深層学習した学習モデルの生成を行って、これら数式や学習モデルを利用して本人確率や他人確率を算出してもよい。この学習モデルを生成する場合、照合スコアおよびなりすましスコアの２つを入力として、本人又は他人確率を出力として回帰モデルにより生成する。この学習モデルのパラメータ算出には、生体やなりすました態様から取得した生体情報に対する照合スコアおよびなりすましスコアのデータに対して、登録者本人であるか、他人であるか、またはなりすましであるかを学習することで、パラメータを算出する。回帰モデルを使用する場合には、学習モデルの複雑さによって処理時間は増加するが、ルックアップテーブルに比べてメモリに保存するパラメータ数を削減でき、本開示の情報処理装置１のメモリ効率の向上が期待できる。

　判定部１０６は、算出された本人確率又は他人確率を取得する。判定部１０６は取得した本人確率または他人確率に基づいて、本人確認の対象者の生体情報が、情報処理装置１０１に登録された人物のものであるかを判定する（ステップＳ５００）。または判定部１０６は取得した本人確率または他人確率に基づいて、本人確認の対象者の生体情報が、情報処理装置１０１に登録された特定のどの人物のものであるかを判定してもよい。判定部１０６は、本人確率又は他人確率と予め設定した閾値とを比較して、情報処理装置１０１の取得した生体情報が登録された人物のものであるか、あるいは登録された特定のどの人物のものであるかの判定を行い、本人確認対象者に対して、認証成功もしくは認証失敗の提示を行う。

　判定部１０６で使用する本人確率または他人確率についての閾値は、予め複数の本人およびなりすましを含む他人の生体情報を用いて、本人確率又は他人確率を算出し、この本人確率又は他人確率の本人分布およびなりすましを含む他人分布から、誤検出および誤受入が最も少なくなるように設定する。

　上述の情報処理装置１０１の処理によれば、確率算出部１０４が、なりすましスコアが算出した値である条件下における、本人確率又は他人確率を算出するため、なりすましを考慮した本人確率又は他人確率を算出することができる。これにより、照合スコアとなりすましスコアを用いて、なりすましである可能性が高い場合には、本人確率は低く、他人確率は高くなるように補正する。したがって、情報処理装置１０１は、ある対象になりすました認証の対象を、ある対象本人として認証することによる誤受入の危険性を抑制できる。また、情報処理装置１０１は、なりすましスコアに対する２値判定ではなく、本人確率又は他人確率を使用して対象が本人か他人かを判定する。したがって、なりすましスコアに対して２値判定する場合には、閾値付近のスコアを示す際に誤検出および誤受入が増加するが、上述の情報処理装置１０１では、なりすましスコアと照合スコアの２つから算出した本人確率又は他人確率を使用して、なりすましスコアのみでは曖昧な判定結果となる状況を回避して、より精度の高い、また頑健性の高い認証手法を提供することができる。

(第２実施形態)
［構成の説明］
　図３は、本開示による第２実施形態の情報処理装置の機能ブロック図である。
　第２実施形態の情報処理装置１０１は、第１実施形態で説明した生体情報処理部１０５が、さらに品質スコア算出部(品質スコア算出手段)１０７を備える。第２実施形態の説明では情報処理装置１０１がユニモーダル認証装置として動作する場合について説明する。

［動作の説明］
　図４は、第２実施形態による情報処理装置の実行する処理のフローチャートを示す図である。
　次に、情報処理装置１０１の動作について、図４のフローチャートに従って説明する。第２実施形態における情報処理装置１の処理において、ステップＳ１００、ステップＳ２００、ステップＳ３００の処理は、第１実施形態の処理と同様の為その説明を省略する。

　ステップＳ２００、ステップＳ３００でそれぞれ照合スコアとなりすましスコアが算出され、品質スコア算出部１０７が、取得した生体情報から品質を表す品質スコアを算出する（ステップＳ６００）。なお、ステップＳ６００ステップの処理は、Ｓ２００とステップＳ３００の処理と並列に行われてもよい。ここで、生体情報の品質を示す情報の例として、生体情報が画像に含まれる場合には、品質スコア算出部１０７は、ピントのボケや動きブレ、画像全体の暗さおよび明るさ、撮像された画像のノイズなどを品質の情報として算出する。本開示において品質スコア算出部１０７は、取得した生体情報の品質に関するどのような要素を、品質の情報として算出してもよい。また、画像から取得できる生体情報の一般的な品質に留まらず、生体情報が虹彩画像を例とした場合には、瞼や眼鏡反射による虹彩の隠蔽度合やカメラに対する目の姿勢などにより画像に映る虹彩領域の面積減少の度合を示す情報を品質に関する情報としてもよい。情報処理装置１は、このような生体情報の一部の隠れ具合や対象の姿勢などの情報を、対象となる生体情報に関する品質の情報として用い、その品質スコアを算出してもよい。

　品質スコア算出部１０７は、品質スコアの算出方法についてもどのような手法を用いてもよい。一例として、品質スコア算出部１０７は、画像から生体情報を取得する場合には、画像にフィルタ処理を施してピントがボケを表す数値を示す品質スコアを算出してよい。または品質スコア算出部１０７は、複数の手法によりそれぞれの品質スコアを算出してもよい。この場合、品質スコアは、各手法に応じて算出した品質に関する値を持つベクトル形式の値であってよい。この、品質スコア算出部１０７は、品質スコアの算出を、ステップＳ２００における照合スコアの算出および、ステップＳ３００におけるなりすましスコアの算出と並列に行ってもよい。

　確率算出部１０８は、照合スコアを照合スコア算出部１０２から取得する。また確率算出部１０４は、なりすましスコアをなりすましスコア算出部１０３から取得する。また確率算出部１０４は、品質スコアを品質スコア算出部１０７から取得する。確率算出部１０４は、取得した照合スコアと、なりすましスコアと、品質スコアとに基づいて、ステップＳ１００で取得した認証の対象者の生体情報についての本人確率を算出する（ステップＳ７００）。確率算出部１０４は、取得した照合スコアと、なりすましスコアと、品質スコアとに基づいて、ステップＳ１００で取得した認証の対象者の生体情報についての他人確率を算出してもよい。なお本人確率とは、確率算出部１０４が取得したなりすましスコアと、品質スコアとが算出された条件下において、確率算出部１０４の取得した照合スコアの算出に用いた生体情報が予め記憶した生体情報の本人に対応すると判断される確率である。また他人確率とは、確率算出部１０４が取得したなりすましスコアと、品質スコアとが算出された条件下において、確率算出部１０４の取得した照合スコアの算出に用いた生体情報が予め記憶した生体情報とは異なる他人に対応すると判断される確率である。第１実施形態と同様に、第２実施形態による確率算出部１０４は、本人確率または他人確率のいずれの確率を算出してもよい。一例として、第２実施形態による確率算出部１０４は、他人確率ｐを以下の式（２）を用いて算出する。

　式（２）においてfは照合スコアを表し、gはなりすましスコアを表し、ｈは品質スコアを表す。このように他人確率pは、なりすましスコアｇ、品質スコアｈ、および照合スコアｆの条件付き確率Ｐとして表すことができる。

　画像に含まれる生体情報を用いて照合スコアを算出する際に、画像にピントのボケが生じていた場合には、照合スコア算出部１０２は、画像から十分に生体情報の特徴を抽出することができず、照合スコアの信頼度が、ピントのボケが生じていない場合と比べて低下する。確率算出部１０８では、品質スコアを用いることで、照合スコアの信頼度の変化を考慮して本人確認又は他人確率を算出することができる。

　確率算出部１０８は、本人確率又は他人確率を、なりすましスコアと、品質スコアと、照合スコアと、本人確率又は他人確率との関係を示すルックアップテーブルを用いて算出してもよい。このルックアップテーブルでは、照合スコアと、なりすましスコアと、品質スコアとの３つを入力として、本人確率又は他人確率を出力とする。ルックアップテーブルは、取得した生体情報に応じて照合スコア算出部１０２の算出した照合スコアと、取得した生体情報に応じてなりすまし算出部１０３の算出したなりすましスコアと、取得した生体情報に応じて品質スコア算出部１０７の算出した品質スコアと、の分布を予め求め、これら各スコアの分布と、当該スコアの分布における所定のスコアの各値に対応する本人確率や他人確率の関係を示す。確率算出部１０４は、ルックアップテーブルを使用する場合には、ルックアップテーブルに関する情報を記憶するメモリから当該ルックアップテーブルを読み取り、本人確率又は他人確率を算出する。このルックアップテーブルを用いることにより確率算出部１０４は、取得した照合スコア、なりすましスコア、品質スコアに基づいて、本人確率又は他人確率を高速に算出することが期待できる。

　確率算出部１０４は、照合スコアと、なりすましスコアと、品質スコアと、本人確率や他人確率との関係の数式化や、当該関係を機械学習した学習モデルの生成、当該関係を深層学習した学習モデルの生成を行って、これら数式や学習モデルを利用して本人確率や他人確率を算出してもよい。この学習モデルを生成する場合、照合スコアと、なりすましスコアと、品質スコアとの３つを入力として、本人又は他人確率を出力として回帰モデルにより生成する。この学習モデルのパラメータ算出には、生体やなりすました態様から取得した生体情報に対する照合スコア、なりすましスコア、品質スコアのデータに対して、登録者本人であるか、他人であるか、またはなりすましであるかを学習することで、パラメータを算出する。回帰モデルを使用する場合には、学習モデルの複雑さによって処理時間は増加するが、メモリに保存するパラメータ数を削減でき、本開示の情報処理装置１のメモリ効率の向上が期待できる。

　判定部１０６は、第１実施形態と同様に、算出された本人確率又は他人確率を取得する。判定部１０６は取得した本人確率または他人確率に基づいて、本人確認の対象者の生体情報が、情報処理装置１０１に登録された人物のものであるかを判定する（ステップＳ５００）。または判定部１０６は取得した本人確率または他人確率に基づいて、本人確認の対象者の生体情報が、情報処理装置１０１に登録された特定のどの人物のものであるかを判定してもよい。判定部１０６は、本人確率又は他人確率と予め設定した閾値とを比較して、情報処理装置１０１の取得した生体情報が登録された人物のものであるか、あるいは登録された特定のどの人物のものであるかの判定を行い、本人確認対象者に対して、認証成功もしくは認証失敗の提示を行う。

　第２実施形態の情報処理装置１は、取得した生体情報の品質を考慮して本人確率や他人確率を算出するため、低品質な生体情報が入力された際に、判定の正確性の向上を期待することができる。また生体情報の品質は照合スコアや、なりすましスコアの両方の値に影響するため、第２実施形態の情報処理装置１は、品質スコアを追加で用いることで、生体情報の誤受入や対象の認証の誤判定を抑制することができる。

(第３実施形態)
［構成の説明］
　図５は、本開示による第３実施形態の情報処理装置の機能ブロック図である。
　第３実施形態の情報処理装置１０１は、第１実施形態で説明した生体情報処理部１０５を複数備える。各生体情報処理部１０５を、生体情報処理部１０５（１）・・・１０５（ｎ）と呼ぶ。生体情報処理部１０５（１）・・・１０５（ｎ）を総称して生体情報処理部１０５と呼ぶ。なお、第３実施形態における情報処理装置１０１において、全ての生体情報処理部１０５がなりすまし算出部１０３を備える必要はなく、ｎ個の生体情報処理部１０５のうち１つ以上の生体情報処理部１０５が、なりすまし算出部１０３を備えていればよい。また第５実施形態による情報処理装置１０１は、統合部１０９をさらに備える。

　第３実施形態の情報処理装置１０１は、認証の対象の複数の異なる種類の生体情報を用いて認証を行うマルチモーダル認証装置である。したがって、情報処理装置１０１は、このｎ種類の生体情報に対応した生体情報処理部１０５を、１…ｎまでの合計ｎ個備える。このｎ種類の生体情報には、顔画像や、虹彩画像、指紋画像、静脈画像、発話音声信号などが含まれてよい。第３実施形態の情報処理装置１０１ではこれらの生体情報のうち２種類以上の生体情報を組み合わせで認証処理に使用してもよい。

　また、情報処理装置１０１が１種類の生体情報を入力とするユニモーダル認証においても、入力される生体情報が左右の虹彩や異なる指の指紋など、複数箇所の情報となる場合に、複数箇所の生体情報を組み合わせて使用して認証処理を行ってもよい。

［動作の説明］
　図６は、第３実施形態による情報処理装置の実行する処理のフローチャートを示す図である。
　次に、情報処理装置１０１の動作について、図６のフローチャートに従って説明する。第３実施形態における情報処理装置１の処理において、第１実施形態の処理と同様の処理についてはその説明を省略する。

　情報処理装置１は複数の生体情報を入力する。生体情報処理部１０５（１）は一つ目の生体情報を取得する。生体情報処理部１０５（１）において、照合スコア算出部１０２、なりすましスコア算出部１０３、確率算出部１０４は、第１実施形態と同様の処理を行う。つまり、第１実施形態の処理と同様に、情報処理装置１０１の生体情報処理部１０５（１）は、ステップＳ１００で生体情報を取得し、ステップＳ２００で照合スコアを算出し、ステップＳ３００でなりすましスコアを算出する。そして、生体情報処理部１０５（１）の確率算出部１０４は、第１実施形態と同様に、照合スコアとなりすましスコアとを用いて本人確率または他人確率を算出する（ステップＳ８００）。また生体情報処理部１０５（２）～生体情報処理部１０５（ｎ）も、生体情報処理部１０５（１）と同様の処理を行う。統合部１０９は、生体情報処理部１０５（１），生体情報処理部１０５（２）…生体情報処理部１０５（ｎ）から本人確率または他人確率を取得する。なお、生体情報処理部１０５（１）～生体情報処理部１０５（ｎ）の内の何れか一つまたはｎ未満の複数の生体情報処理部１０５は、照合スコアのみを用いて本人確率または他人確率を算出するようにしてもよい。つまり、複数の生体情報処理部１０５の少なくとも一つの生体情報処理部１０５が、照合スコアとなりすましスコアの両方のスコアを用いて式（１）により本人確率または他人確率を算出するようにしてもよい。

　なお確率算出部１０４が照合スコアのみを用いて本人確率または他人確率を算出する場合には、予め生体情報を用いて算出した照合スコアと本人確率（又は他人確率）の対応関係を記憶しておく。そして確率算出部１０４は、取得した照合スコアと当該対応関係とに基づいて、本人確率（又は他人確率）を算出すればよい。当該対応関係はルックアップテーブルに記録されていてもよい。または情報処理装置１０１が、当該対応関係を回帰モデルにより学習して、照合スコアを入力とし、本人確率（又は他人確率）を出力とする学習モデルを生成しておき、確率算出部１０４はその学習モデルを用いて本人確率（又は他人確率）を算出してもよい。

　統合部１０９は、生体情報処理部１０５（１）…（ｎ）から受け取ったｎ種類の生体情報に対応する本人確率又は他人確率を一つの値に統合した、統合確率を出力する（ステップＳ９００）。統合部１０９は、この統合確率の算出において、様々な手法が考えられる。一例として、統合部１０９は、他人確率を算出する場合であって、生体情報処理部１０５（１）…（ｎ）から受け取る他人確率ｐがそれぞれ独立であると考える場合には、統合確率ｍ（ｐ）を式（３）を用いて算出する。

　式（３）において、他人確率をｐ＝｛ｐ_１，ｐ_２，…，ｐ_ｉ，…ｐ_ｎ｝とする。この他人確率ｐがそれぞれ独立であると仮定できる場合には数式（３）のように統合確率ｍ（ｐ）を、取得した各他人確率ｐの積として求めることが可能である。

　また、統合部１０９に入力される本人確率又は他人確率について事前に大量のデータを試行した際の誤検出・誤受入率の違いが見られた場合や、なりすましスコア算出部１０３で扱うなりすまし検出手法の種類がそれぞれ異なる場合には、算出される統合確率に重みをつけてもよい。この場合には、統合確率ｍ（ｐ）は、他人確率ｐを用いて式（４）を用いて算出してよい。

　ここで、他人確率はｐ＝｛ｐ_１，ｐ_２，…，ｐ_ｉ，…ｐ_ｎ｝であり、他人確率ｐの重み（信頼度）を、ｑ＝｛ｑ_１，ｑ_２，…，ｑ_ｉ，…ｑ_ｎ｝として表す。この他人確率ｐに対応する信頼度ｑは予め定められていてよい。例えば、他人確率ｐに対応する信頼度ｑは、異なる種類の各生体情報についての他人確率ｐの誤検出の度合や、誤受入率などに基づく認証に用いる情報としての信頼の性能差に基づいて定めてよい。

　確率算出部１０４は、第１実施形態と同様に生成したルックアップテーブルを用いて、本人確率又は他人確率を算出してもよい。
　または確率算出部１０４は、第１実施形態と同様に、生成した学習モデルを利用して、本人確率又は他人確率を算出してもよい。

　判定部１０６は、算出された統合確率を取得する。判定部１０６は取得した統合確率に基づいて、本人確認の対象者の生体情報が情報処理装置１０１に登録された人物のものであるか、あるいは登録された特定のどの人物のものであるかを判定する（ステップＳ５００）。判定部１０６は、統合確率と予め設定した閾値とを比較して、情報処理装置１０１の取得した生体情報が登録された人物のものであるか、あるいは登録された特定のどの人物のものであるかの判定を行い、本人確認対象者に対して、認証成功もしくは認証失敗の提示を行う。

　第３実施形態では、確率算出部１０４が、なりすましスコアが算出した値である条件下における、本人確率又は他人確率を算出し、異なる種類の生体情報それぞれについて算出したその本人確率又は他人確率を統合した値である統合確率を用いて認証の判定を行っている。これにより、取得した生体情報の一部に欠損などが発生したとしても認証の精度が向上する。
　また、第３実施形態の処理によれば、複数のなりすましスコアに対して、それぞれの閾値を設ける必要が無く、本人確率又は他人確率を統合した統合確率に対してのみ判定を行えばよいため、ｎ種類の生体情報の内、なりすまし判定が困難な品質の生体情報が一部紛れ込んでしまう場合にも、それ以外の種類の生体情報から認証の判定を行えるため、本人拒否率の増加を防ぐことができる。

(第４実施形態)
［構成の説明］
　図７は、本開示による第４実施形態の情報処理装置の機能ブロック図である。
　図７に示す情報処理装置１０１は、複数の生体情報から認証を行うマルチモーダル認証装置である。第４実施形態の情報処理装置１０１は、第２実施形態で説明した生体情報処理部１０５を複数備える。各生体情報処理部１０５を、生体情報処理部１０５（１）・・・１０５（ｎ）と呼ぶ。生体情報処理部１０５（１）・・・１０５（ｎ）を総称して生体情報処理部１０５と呼ぶ。第４実施形態の情報処理装置１０１は、さらに、統合部１０９と、判定部１０６を備えている。

　全ての生体情報処理部１０５（１）…１０５（ｎ）が、なりすまし算出部１０３および品質スコア算出部１０７を備える必要はなく、ｎ個の生体情報処理部１０５のうち、１つ以上の生体情報処理部１０５がなりすまし算出部１０３を備えていればよい。

［動作の説明］
　図８は、第４実施形態による情報処理装置の実行する処理のフローチャートを示す図である。
　次に、情報処理装置１０１の動作について、図８のフローチャートに従って説明する。第４実施形態における情報処理装置１の処理において、第２実施形態の処理と同様の処理についてはその説明を省略する。

　第２実施形態の処理と同様に、情報処理装置１０１の生体情報処理部１０５（１）は、ステップＳ１００で生体情報を取得し、ステップＳ２００で照合スコアを算出し、ステップＳ３００でなりすましスコアを算出する。また生体情報処理部１０５（１）は、ステップＳ６００において品質スコアを算出する。生体情報処理部１０５（１）の確率算出部１０４は、算出された照合スコアおよびなりすましスコアおよび品質スコアを用いて、第２実施形態と同様に本人確率又は他人確率を算出する（ステップＳ１０００）。また生体情報処理部１０５（２）～生体情報処理部１０５（ｎ）も、生体情報処理部１０５（１）と同様の処理を行う。統合部１０９は、生体情報処理部１０５（１），生体情報処理部１０５（２）…生体情報処理部１０５（ｎ）から本人確率または他人確率を取得する。

　なお、生体情報処理部１０５（１）～生体情報処理部１０５（ｎ）の内の何れか一つまたはｎ未満の複数の生体情報処理部１０５は、第２実施形態の説明と同様に、照合スコアのみを用いて本人確率または他人確率を算出するようにしてもよい。この場合、複数の生体情報処理部１０５の少なくとも一つの生体情報処理部１０５が、照合スコアとなりすましスコアと品質スコアの３つのスコアを用いて式（２）により本人確率または他人確率を算出する。

　または、生体情報処理部１０５（１）～生体情報処理部１０５（ｎ）の内の何れか一つまたはｎ未満の複数の生体情報処理部１０５は、第１実施形態の説明と同様に、照合スコアとなりすましスコアの２つのスコアを用いて本人確率または他人確率を算出するようにしてもよい。この場合も、複数の生体情報処理部１０５の少なくとも一つの生体情報処理部１０５が、照合スコアとなりすましスコアと品質スコアの３つのスコアを用いて式（２）により本人確率または他人確率を算出する。

　生体情報の品質は照合スコアの算出に影響を及ぼすため、算出された照合スコアが照合を行う際に十分な品質を備えているかといった信頼度を本人確率又は他人確率に付加するために、品質スコアを用いて、照合スコアと本人確率又は他人確率との対応関係を補正する。この照合スコアおよび品質スコアの２つの入力を用いた本人確率あるいは他人確率の算出は、第２実施形態と同様に、入力を照合スコアおよび品質スコア、出力を本人確率あるいは他人確率とするルックアップテーブルや回帰モデルによる算出方法などいずれを用いてもよい。

　情報処理装置１０１において、他の生体情報処理部１０５（２）～（ｎ）も同様に処理する。そして、統合部１０９は、生体情報処理部１０５から入力した本人確率又は他人確率を用いて、第３実施形態と同様に統合確率を算出する（ステップＳ９００）。判定部１０６は、算出された統合確率を取得する。判定部１０６は取得した統合確率に基づいて、本人確認の対象者の生体情報が情報処理装置１０１に登録された人物のものであるか、あるいは登録された特定のどの人物のものであるかを判定する（ステップＳ５００）。判定部１０６は、統合確率と予め設定した閾値とを比較して、情報処理装置１０１の取得した生体情報が登録された人物のものであるか、あるいは登録された特定のどの人物のものであるかの判定を行い、本人確認対象者に対して、認証成功もしくは認証失敗の提示を行う。

　第４実施形態の情報処理装置１０１は、なりすましスコアおよび品質スコアを考慮して、統合確率を算出している。照合スコアやなりすましスコアは、取得された生体情報の品質が低い場合にはスコアの信頼性も低下してしまう。そのため、確率算出部１０８でなりすましおよび品質を考慮した本人確率又は他人確率に変換したうえで、統合部１０９で統合確率を算出する。これにより、低品質な生体情報が入力された場合の誤検出および誤受入を抑制することができる。

　また、第４実施形態の情報処理装置１０１は、複数のなりすましスコアに対して、それぞれ閾値を設ける必要が無く、統合された本人確率又は他人確率に対してのみ判定を行えばよいため、異なるｎ種類の生体情報のうち、なりすまし判定が困難な品質の生体情報が一部紛れ込んでしまう場合にも、品質を考慮することで、統合された本人確率又は他人確率における低品質な生体情報の重みを少なくすることができ、本人拒否率の増加を防ぐことができる。

（第５実施形態）
［構成の説明］
　図９は、本開示による第５実施形態の情報処理装置の機能ブロック図である。
　第５実施形態の情報処理装置１０１は、認証対象の照合スコアとなりすましスコアを入力して認証を行う。図９で示すように第５実施形態による最小構成の情報処理装置１０１は、少なくとも確率算出部１０４と、判定部１０６とを備える。

　確率算出部１０４は、対象がなりすましである度合を示すなりすましスコアと、対象の生体情報の照合スコアとに基づいて、所定の条件下において、取得した生体情報が対象に対応すると判断される確率（本人確率）または、取得した生体情報が対象に対応しないと判断される確率（他人確率）、を算出する。所定の条件とは、取得したなりすましスコアの値が算出された条件であってよい。
　判定部１０６は、本人確率または他人確率に基づいて、対象の生体情報に関連する認証を行う。この認証において、判定部１０６は、確率算出部１０４で算出した本人確率または他人確率に基づいて、対象の生体情報が、登録された人物のものであるかを判定する。または判定部１０６は、確率算出部１０４で算出した本人確率または他人確率に基づいて、対象の生体情報が、登録された特定のどの人物のものであるかを判定する。

　情報処理装置１０１は、このような機能を備えることにより、なりすましの生体情報によって登録者以外の対象が、登録者であるとして誤って認証されてしまう事象を抑制する。

［動作の説明］
　図１０は、第５実施形態による情報処理装置の実行する処理のフローチャートを示す図である。
　次に、第５実施形態における情報処理装置１０１の動作について、図１０のフローチャートに従って説明する。

　情報処理装置１０１に確率算出部１０４は、本人確認等の認証を行う対象の生体情報から算出された照合スコアと、なりすましスコアとを取得する（ステップS２１００）。生体情報とは、例えば、顔画像、虹彩画像、指紋画像、静脈画像、発話音声信号など個人を識別可能な情報である。確率算出部１０４が取得する照合スコアおよびなりすましスコアを算出する手段は複数提案されており、一例として、深層学習を用いて生体情報から特徴を抽出して各スコアを算出する手法など様々あるが、本開示ではどの手法が採用されてもよい。

　確率算出部１０４は、なりすましスコアが取得した値を示す場合に、取得した照合スコアの値に基づいて取得した生体情報が対象に対応すると判断される場合の確率（本人確率）、または対象に対応しないと判断される場合の確率（他人確率）を算出する(ステップＳ２４００)。当該確率の算出手法は上述した他の実施形態と同様である。

　そして、判定部１０６は、算出された本人確率又は他人確率に基づいて、本人確認の対象の生体情報が情報処理装置１０１に登録された人物のものであるかを判定する(ステップＳ２５００)。または判定部１０６は、算出された本人確率又は他人確率に基づいて、本人確認の対象の生体情報が情報処理装置１０１に登録された特定のどの人物のものであるかを判定する。判定部１０６は、その判定の結果に基づいて、本人確認の対象に対して、認証成功もしくは認証失敗の提示を行う。

　判定部１０６で使用する閾値については、予め複数の本人および、なりすましを含む他人の生体情報から、本人確率又は他人確率を算出し、本人の生体情報を用いた場合の本人確率又は他人確率の分布や、なりすましを含む他人の生体情報を用いた場合の本人確率又は他人確率の分布から、誤検出および誤受入が最も少なくなるように設定する。

　上述の第５実施形態の情報処理装置１０１の処理によれば、確率算出部１０４が、なりすましスコアが算出した値である条件下における、本人確率又は他人確率を算出するため、なりすましを考慮した本人確率又は他人確率を算出することができる。これにより、照合スコアとなりすましスコアを用いて、なりすましである可能性が高い場合には、本人確率は低く、他人確率は高くなるように補正する。したがって、情報処理装置１０１は、ある対象になりすました認証の対象を、ある対象本人として認証することによる誤受入の危険性を抑制できる。また、情報処理装置１０１は、なりすましスコアに対する２値判定ではなく、本人確率又は他人確率を使用して対象が本人か他人かを判定する。したがって、なりすましスコアに対して２値判定する場合には、閾値付近のスコアを示す際に誤検出および誤受入が増加するが、上述の情報処理装置１０１では、なりすましスコアと照合スコアの２つから算出した本人確率又は他人確率を使用して、なりすましスコアのみでは曖昧な判定結果となる状況を回避して、より精度の高い、また頑健性の高い認証手法を提供することができる。

[その他の実施形態]
　図１１は情報処理装置のハードウェア構成を示す図である。
　情報処理装置１０１はコンピュータ装置であり、照合スコア算出部１０２、なりすましスコア算出部１０３、品質スコア算出部１０７から構成される生体情報処理部１０５、確率算出部１０４（１０８）、判定部１０６、統合部１０９等の各機能は、ＣＰＵ（central processing unit）あるいは、ＧＰＵ（graphics processing unit）、あるいはＦＰＧＡ(field programmable gate array)を含む制御装置１０００により実現される。すなわち、情報処理装置１０１は図１１の制御装置１０００および記憶装置１００１を有し、記憶装置１００１には、情報処理装置１０１の動作を制御するコンピュータプログラム１００２が記憶されている。制御装置１０００は、記憶装置１００１からコンピュータプログラム１００２を読み出し、このコンピュータプログラム１００２に従って動作することにより、上述の各実施形態による情報処理装置１０１の各機能を実現する。したがって、このコンピュータプログラム１００２には、情報処理装置１０１の各機能を実現する処理を制御装置１０００に実行させるコンピュータプログラムが含まれている。

［産業上の利用可能性］
本開示の活用例として、認証技術を利用する入退管理や決済におけるセキュリティ向上に有効である。

　上記実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。また上記各実施形態の構成は自由にそれぞれ組み合わせや変形が可能である。

（付記１）
　対象がなりすましである度合を示すなりすましスコアと、前記対象の生体情報の照合スコアとに基づいて、所定の条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出する確率算出手段と、
　前記確率に基づいて、前記対象に関する認証を行う認証手段と、
　を備える情報処理装置。

（付記２）
　前記生体情報は前記対象についての異なる種類の複数の生体情報であり、
　前記確率算出手段は、前記異なる種類の複数の生体情報それぞれについての前記確率を算出し、
　前記認証手段は、前記異なる種類の複数の生体情報それぞれについての前記確率を用いて算出した値に基づいて、前記対象に関する認証を行う
　付記１に記載の情報処理装置。

（付記３）
　前記確率算出手段は、前記所定の条件は、前記なりすましスコアが得られた値となった条件であり、当該条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出する
　付記１または付記２に記載の情報処理装置。

（付記４）
　前記生体情報の品質を数値化した品質スコアを算出する品質スコア算出手段と、を備え、
　前記確率算出手段は、前記なりすましスコアと前記品質スコアとが得られた条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出する
　付記１から付記３の何れか一つに記載の情報処理装置。

（付記５）
　前記品質スコア算出手段は、前記生体情報が前記対象についての異なる種類の複数の生体情報である場合に、それら生体情報のうちの少なくとも一つの生体情報の品質スコアを算出し、
　前記確率算出手段は、
　前記異なる種類の複数の生体情報のそれぞれに対し、前記照合スコアと前記なりすましスコアまたは、前記照合スコアと前記品質スコアまたは、前記照合スコアと前記なりすましスコアと前記品質スコアまたは、前記照合スコアのみに基づいて、前記確率を算出する
　付記４に記載の情報処理装置。

（付記６）
　前記対象の生体情報と予め記憶する生体情報とを用いて前記照合スコアを算出する照合スコア算出手段と、
　前記対象の生体情報から前記なりすましスコアを算出するなりすましスコア算出手段と、を備える
　付記１から付記５の何れか一つに記載の情報処理装置。

　１０１・・・情報処理装置
　１０２・・・照合スコア算出部
　１０３・・・なりすまし算出部
　１０４，１０８・・・確率算出部（確率算出手段）
　１０５・・・生体情報処理部
　１０６・・・判定部（認証手段）
　１０７・・・品質スコア算出部
　１０９・・・統合部
　１０００・・・制御装置
　１００１・・・記憶装置
　１００２・・・コンピュータプログラム

Claims

　対象がなりすましである度合を示すなりすましスコアと、前記対象の生体情報の照合スコアとに基づいて、所定の条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出する確率算出手段と、
　前記確率に基づいて、前記対象に関する認証を行う認証手段と、
　を備える情報処理装置。
　前記生体情報は前記対象についての異なる種類の複数の生体情報であり、
　前記確率算出手段は、前記異なる種類の複数の生体情報それぞれについての前記確率を算出し、
　前記認証手段は、前記異なる種類の複数の生体情報それぞれについての前記確率を用いて算出した値に基づいて、前記対象に関する認証を行う
　請求項１に記載の情報処理装置。
　前記確率算出手段は、前記所定の条件は、前記なりすましスコアが得られた値となった条件であり、当該条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出する
　請求項１または請求項２に記載の情報処理装置。
　前記生体情報の品質を数値化した品質スコアを算出する品質スコア算出手段と、を備え、
　前記確率算出手段は、前記なりすましスコアと前記品質スコアとが得られた条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出する
　請求項１または請求項２に記載の情報処理装置。
　前記品質スコア算出手段は、前記生体情報が前記対象についての異なる種類の複数の生体情報である場合に、それら生体情報のうちの少なくとも一つの生体情報の品質スコアを算出し、
　前記確率算出手段は、
　前記異なる種類の複数の生体情報のそれぞれに対し、前記照合スコアと前記なりすましスコアまたは、前記照合スコアと前記品質スコアまたは、前記照合スコアと前記なりすましスコアと前記品質スコアまたは、前記照合スコアのみに基づいて、前記確率を算出する
　請求項４に記載の情報処理装置。
　前記対象の生体情報と予め記憶する生体情報とを用いて前記照合スコアを算出する照合スコア算出手段と、
　前記対象の生体情報から前記なりすましスコアを算出するなりすましスコア算出手段と、を備える
　請求項１または請求項２に記載の情報処理装置。
　対象がなりすましである度合を示すなりすましスコアと、前記対象の生体情報の照合スコアとに基づいて、所定の条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出し、
　前記確率に基づいて、前記対象に関する認証を行う
　認証方法。
　情報処理装置のコンピュータを、
　対象がなりすましである度合を示すなりすましスコアと、前記対象の生体情報の照合スコアとに基づいて、所定の条件下において、取得した前記生体情報が前記対象に対応すると判断される確率または、取得した前記生体情報が前記対象に対応しないと判断される確率、を算出する確率算出手段、
　前記確率に基づいて、前記対象に関する認証を行う認証手段、
　として機能させるプログラムを記憶する記憶媒体。