JP2017054210A

JP2017054210A - 人物検索システムおよび人物検索方法

Info

Publication number: JP2017054210A
Application number: JP2015176118A
Authority: JP
Inventors: 廣大齊藤; Hiroo Saito; 佐藤　俊雄; Toshio Sato; 俊雄佐藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2015-09-07
Filing date: 2015-09-07
Publication date: 2017-03-16
Anticipated expiration: 2035-09-07
Also published as: US10303927B2; EP3139308A1; US20170068845A1; JP6548998B2

Abstract

【課題】所定人物の検索率および検索精度を安定化させる人物検索システム及び方法を提供する。【解決手段】受信部と、検出部と、検索部と、表示部と、を備える。受信部は、第１位置を通過する人物を撮像可能に設けられた撮像部の撮像により得られた画像データを受信する。検出部は、画像データが含む第１顔画像から、顔画像に基づく所定人物の検索の阻害要因を検出する。検索部は、阻害要因が検出されなかった場合、第１顔画像の特徴量と所定人物の第２顔画像の特徴量を求め、第１顔画像の特徴量と第２顔画像の特徴量との類似度に基づいて、所定人物を検索し、阻害要因が検出された場合、第２顔画像と阻害要因とを合成した第３顔画像を生成し、第１顔画像の特徴量および第３顔画像の特徴量を求め、第１顔画像の特徴量と第３顔画像の特徴量との類似度に基づいて、所定人物を検索する。表示部は、検索部による所定人物の検索結果を表示する。【選択図】図１

Description

本発明の実施形態は、人物検索システムおよび人物検索方法に関する。

所定位置を通過する人物を撮像可能に設けられた撮像部の撮像により得られた監視画像に含まれる顔画像と、所定人物の顔画像との類似度を算出し、当該類似度に基づいて、所定人物を検索する人物検索システムがある。

特開２０１４−１８２４８０号公報

しかしながら、従来技術においては、監視画像に含まれる顔画像に、マスクやサングラスなど、顔画像に基づく所定人物の検索を阻害する要因が含まれている場合、顔画像と所定人物の顔画像との類似度が低下して、所定人物の検索精度が低下する。また、所定人物の検索精度の低下を防止するために、所定人物であると判断する類似度の閾値を低下させると、所定人物の誤検索が増加して、所定人物の検索効率が低下する。

実施形態の人物検索システムは、受信部と、検出部と、検索部と、表示部と、を備える。受信部は、第１位置を通過する人物を撮像可能に設けられた撮像部の撮像により得られた画像データを受信する。検出部は、画像データが含む第１顔画像から、顔画像に基づく所定人物の検索の阻害要因を検出する。第２検索部は、阻害要因が検出されなかった場合、第１顔画像の特徴量と所定人物の第２顔画像の特徴量を求め、第１顔画像の特徴量と第２顔画像の特徴量との類似度に基づいて、所定人物を検索し、阻害要因が検出された場合、第２顔画像と阻害要因とを合成した第３顔画像を生成し、第１顔画像の特徴量および第３顔画像の特徴量を求め、第１顔画像の特徴量と第３顔画像の特徴量との類似度に基づいて、所定人物を検索する。表示部は、検索部による所定人物の検索結果を表示する。

図１は、本実施形態にかかる人物検索システムの構成の一例を示す図である。図２は、本実施形態にかかる人物検索システムにおける所定人物の検索処理の流れの一例を示すフローチャートである。図３は、本実施形態にかかる人物検索システムにおける合成顔画像の生成処理の一例を説明するための図である。図４は、本実施形態にかかる人物検索システムにおける所定人物の検索結果の表示例を示す図である。

以下、添付の図面を用いて、本実施形態にかかる人物検索システムおよび人物検索方法について説明する。

図１は、本実施形態にかかる人物検索システムの構成の一例を示す図である。本実施形態にかかる人物検索システムは、公共施設、重要施設、オフィスビル、商業施設等の大量の人が通行する施設における入退室管理システムや映像監視システムに適用される。図１に示すように、本実施形態にかかる人物検索システムは、画像入力部１０１と、画像条件検出部１０２と、画像合成部１０３と、特徴抽出部１０４と、照合処理部１０５と、第１生体情報管理部１０６と、第２生体情報管理部１０７と、表示制御部１０８と、検索結果表示部１０９と、を有している。

画像入力部１０１は、カメラ等により構成され、人物検索システムが設けられた施設の入口や出口等の所定の位置（第１位置の一例）を通過する人物を撮像可能に設けられている。そして、画像入力部１０１は、所定の位置を撮像して得られた画像データ（以下、入力画像データと言う）を、画像条件検出部１０２に出力する。

画像条件検出部１０２（受信部の一例）は、画像入力部１０１から出力された入力画像データを受信する。そして、画像条件検出部１０２（検出部の一例）は、受信した入力画像データが含む顔画像である撮像顔画像（第１顔画像の一例）から、阻害要因を検出する。ここで、阻害要因とは、顔画像に基づく所定人物の検索を阻害する要因であり、笑顔や目つぶり等の表情、髭、前髪による顔画像の隠蔽、人種、顔の向き、帽子、メガネ、サングラス、アクセサリ、照明条件、画質などである。

本実施形態では、画像条件検出部１０２は、撮像顔画像と、笑顔や目つぶりを含む予め登録された顔画像との関係を分析する回帰分析を行って、当該撮像顔画像が、笑顔や目つぶりを含むか否かを判断する。また、画像条件検出部１０２は、撮像顔画像の下方の領域の輝度値に基づいて、当該撮像顔画像が、髭を含むか否かを判断する。また、画像条件検出部１０２は、撮像顔画像と、前髪によって隠蔽された予め登録された顔画像との関係を分析する回帰分析を行って、当該撮像顔画像が、前髪によって隠蔽された顔画像であるか否かを判断する。

また、画像条件検出部１０２は、撮像顔画像に含まれる目や鼻の位置を検出し、当該目や鼻の位置の検出結果と、三次元モデルにおける目や鼻の位置とを比較して、撮像顔画像の顔の向きが、横向きや下向きなど、所定人物の検索を阻害する向きであるか否かを判断する。また、画像条件検出部１０２は、ＳＶＭ（Support Vector Machine）等のパターン認識モデルによって、撮像顔画像に、帽子やメガネやサングラスやアクセサリ等が含まれるか否かを判断する。また、画像条件検出部１０２は、画像入力部１０１における画像条件や撮像顔画像の輝度値の分布等に基づいて、画像入力部１０１の撮像時の照明条件が、所定人物の検索を阻害する照明条件か否かを判断する。さらに、画像条件検出部１０２は、撮像顔画像を含む入力画像データのＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方法における圧縮係数に基づいて、撮像顔画像の画質が、所定人物の検索を阻害する画質であるか否かを判断する。

画像合成部１０３は、画像条件検出部１０２によって阻害要因が検出された場合、後述する第１生体情報管理部１０６に記憶された顔画像である登録顔画像（第２顔画像の一例）と、画像条件検出部１０２によって検出された阻害要因とを合成した顔画像である合成顔画像（第３顔画像の一例）を生成する。そして、画像合成部１０３は、生成した合成顔画像を特徴抽出部１０４に出力する。本実施形態では、画像合成部１０３は、画像条件検出部１０２によって阻害要因が検出された場合、登録顔画像に対して、当該検出された阻害要因のみを合成した合成顔画像を生成する。これにより、登録顔画像に対して、当該検出された阻害要因以外の他の阻害要因を合成する必要が無くなるので、合成顔画像の生成処理に要する時間を短縮することができる。一方、画像合成部１０３は、画像条件検出部１０２によって阻害要因が検出されなかった場合、合成顔画像の生成を行わず、登録顔画像を特徴抽出部１０４に出力する。

特徴抽出部１０４は、画像入力部１０１から受信した入力画像データが含む撮像顔画像の特徴量を求める。本実施形態では、特徴抽出部１０４は、まず、入力画像データ内で、所定のテンプレートを移動させながら、当該入力画像データ内の各領域とテンプレートとの相関値を求める。ここで、所定のテンプレートは、顔画像を特定するための予め設定されたテンプレートである。特徴抽出部１０４は、入力画像データ内において、テンプレートとの相関値が最も高い領域を、撮像顔画像として抽出する。本実施形態では、特徴抽出部１０４は、所定のテンプレートを用いて、入力画像データ内から撮像顔画像を抽出しているが、これに限定するものではなく、例えば、固有区間法や部分空間法等によって、入力画像データ内から撮像顔画像を抽出しても良い。

次いで、特徴抽出部１０４は、抽出した撮像顔画像から、目や鼻などの顔画像における特徴的な部位（以下、顔部位と言う）の位置を検出する。そして、特徴抽出部１０４は、検出した顔部位の位置に基づいて、顔画像を数値で表す特徴量を求める。具体的には、特徴抽出部１０４は、検出した顔部位の位置に基づいて、撮像顔画像内の所定の大きさの領域を切り出す。そして、特徴抽出部１０４は、切り出した領域の濃淡情報を特徴量として求める。例えば、特徴抽出部１０４は、検出した顔部位の位置に基づいて、撮像顔画像内におけるｍ×ｎ画素の領域を切り出し、当該切り出したｍ×ｎ画素の領域の濃淡を表すｍ×ｎ次元の特徴ベクトルを特徴量として求める。

また、特徴抽出部１０４は、画像条件検出部１０２によって撮像顔画像から阻害要因が検出されなかった場合、画像合成部１０３から入力された登録顔画像の特徴量を求める。一方、特徴抽出部１０４は、画像条件検出部１０２によって撮像顔画像から阻害要因が検出された場合、画像合成部１０３から入力された合成顔画像の特徴量を求める。本実施形態では、特徴抽出部１０４は、撮像顔画像の特徴量と同様にして、登録顔画像または合成顔画像の特徴量を求める。

照合処理部１０５は、画像条件検出部１０２によって阻害要因が検出されなかった場合、撮像顔画像の特徴量と登録顔画像の特徴量との類似度に基づいて、所定人物を検索する検索処理を実行する。そして、照合処理部１０５は、検索処理の結果を、第２生体情報管理部１０７に保存する。本実施形態では、照合処理部１０５は、撮像顔画像の特徴量と登録顔画像の特徴量との類似度を算出し、当該算出した類似度が、所定閾値を超えた場合、所定人物を検索したと判断する。一方、照合処理部１０５は、算出した類似度が所定閾値以下である場合、所定人物を検索しないと判断する。ここで、所定閾値は、撮像顔画像が所定人物の顔画像であると判断する類似度の下限である。

本実施形態では、照合処理部１０５は、撮像顔画像の特徴量の部分空間、および登録顔画像の特徴量の部分空間を求める。そして、照合処理部１０５は、求めた部分空間同士の類似度を、撮像顔画像の特徴量と登録顔画像の特徴量の類似度とする。具体的には、照合処理部１０５は、部分空間法や複合類似度法等によって、２つの部分空間のなす角度を、当該２つの部分空間の類似度として算出する。また、照合処理部１０５は、類似度以外の類似性指標として、特徴空間上でのユークリッド距離やマハラノビス距離といった距離を用いて、撮像顔画像の特徴量と登録顔画像の特徴量の類似度を求めても良い。類似性指標として距離を用いた場合、数値が大きくなるほど類似性が低くなる。

一方、照合処理部１０５は、画像条件検出部１０２によって阻害要因が検出された場合、撮像顔画像の特徴量と合成顔画像の特徴量との類似度に基づいて、所定人物を検索する検索処理を実行する。これにより、画像条件検出部１０２によって阻害要因が検出された場合、登録顔画像に阻害要因を合成した合成顔画像を用いて所定人物の検索が行われるので、阻害要因を含まない登録顔画像を用いて所定人物を検索する場合と比較して、所定人物の検索率および検索精度を安定化させることができる。そして、照合処理部１０５は、検索処理の結果を、第２生体情報管理部１０７に保存する。本実施形態では、照合処理部１０５は、撮像顔画像の特徴量と登録顔画像の特徴量との類似度と同様にして、撮像顔画像の特徴量と合成顔画像の特徴量の類似度を算出する。そして、照合処理部１０５は、算出した類似度が、所定閾値を超えた場合、所定人物を検索したと判断する。一方、照合処理部１０５は、算出した類似度が、所定閾値以下である場合、所定人物を検索しないと判断する。本実施形態では、画像合成部１０３、特徴抽出部１０４、および照合処理部１０５が、検索部の一例として機能する。

第１生体情報管理部１０６は、照合処理部１０５によって所定人物が検索された場合に、当該所定人物の検索に用いた撮像顔画像を登録顔画像として、当該撮像顔画像の特徴量と、当該所定人物を識別可能とするＩＤ情報（例えば、所定人物の氏名、性別、年齢、身長）とを対応付けて記憶する。また、第１生体情報管理部１０６は、照合処理部１０５による所定人物の検索に合成顔画像を用いた場合には、当該合成顔画像を登録顔画像として、当該合成顔画像の特徴量と、ＩＤ情報とを対応付けて記憶する。第１生体情報管理部１０６は、撮像顔画像または合成顔画像の特徴量に代えて、撮像顔画像または合成顔画像の部分空間、相関行列等を記憶しても良い。第２生体情報管理部１０７は、照合処理部１０５による検索処理の結果を記憶する。

表示制御部１０８は、照合処理部１０５による所定人物の検索結果を、検索結果表示部１０９に表示する。本実施形態では、表示制御部１０８は、撮像顔画像の特徴量と合成顔画像の特徴量の類似度が所定閾値以上である場合、撮像顔画像と、登録顔画像と、合成顔画像と、を検索結果表示部１０９に表示する。一方、表示制御部１０８は、撮像顔画像の特徴量と合成顔画像の特徴量の類似度が所定閾値より低い場合、登録顔画像を除いて、撮像顔画像および合成顔画像を検索結果表示部１０９に表示する。

検索結果表示部１０９（表示部の一例）は、ＬＣＤ（Liquid Crystal Display）等で構成され、各種情報を表示可能である。本実施形態では、検索結果表示部１０９は、人物検索システムの監視員等によって視認可能に設けられている。そして、人物検索システムの監視員は、検索結果表示部１０９に表示された情報を見て、所定人物が検索されたか否かを認識することができる。

次に、図２〜４を用いて、本実施形態にかかる人物検索システムにおける所定人物の検索処理について説明する。図２は、本実施形態にかかる人物検索システムにおける所定人物の検索処理の流れの一例を示すフローチャートである。図３は、本実施形態にかかる人物検索システムにおける合成顔画像の生成処理の一例を説明するための図である。図４は、本実施形態にかかる人物検索システムにおける所定人物の検索結果の表示例を示す図である。

画像条件検出部１０２は、画像入力部１０１から入力画像データを受信する（ステップＳ２０１）。次いで、画像条件検出部１０２は、受信した入力画像データに含まれる撮像顔画像を検出する（ステップＳ２０２）。本実施形態では、画像条件検出部１０２は、特徴抽出部１０４と同様に、入力画像データ内において、所定のテンプレートを移動させながら、入力画像データ内の各領域とテンプレートとの相関値を求め、当該相関値が最も高い領域を撮像顔画像として検出する。

画像条件検出部１０２は、入力画像データから撮像顔画像が検出されなかった場合（ステップＳ２０３：Ｎｏ）、当該入力画像データに基づく所定人物の検索処理を終了して、新たな入力画像データを受信するのを待つ。一方、画像条件検出部１０２は、入力画像データから撮像顔画像が検出された場合（ステップＳ２０３：Ｙｅｓ）、検出した撮像顔画像から、サングラス等の阻害要因を検出する（ステップＳ２０４）。撮像顔画像から阻害要因が検出された場合（ステップＳ２０５：Ｙｅｓ）、画像合成部１０３は、第１生体情報管理部１０６に記憶された登録顔画像を読み出し、当該読み出した登録顔画像と当該検出した阻害要因とを合成した合成顔画像を生成する（ステップＳ２０６）。

例えば、検出された阻害要因がマスクである場合、画像合成部１０３は、図３に示すように、登録顔画像Ｇに、マスクのみを合成した合成顔画像ＧＭを生成する。また、検出された阻害要因がサングラスである場合、画像合成部１０３は、図３に示すように、登録顔画像Ｇに、サングラスのみを合成した合成顔画像ＧＳを生成する。また、検出された阻害要因が髭である場合、画像合成部１０３は、図３に示すように、登録顔画像Ｇに髭のみを合成した合成顔画像ＧＴを生成する。これにより、登録顔画像Ｇに対して、当該検出された阻害要因以外の他の阻害要因を合成する必要が無くなるので、合成顔画像の生成処理に要する時間を短縮することができる。

図２に戻り、特徴抽出部１０４は、画像合成部１０３により生成された合成顔画像の特徴量および撮像顔画像の特徴量を算出する（ステップＳ２０７）。その後、照合処理部１０５は、撮像顔画像の特徴量と合成顔画像の特徴量との類似度を算出し、当該算出した類似度に基づいて、所定人物を検索する（ステップＳ２０８）。これにより、画像条件検出部１０２によって阻害要因が検出された場合、登録顔画像に阻害要因を合成した合成顔画像を用いて所定人物の検索が行われるので、阻害要因を含まない登録顔画像を用いて所定人物を検索する場合と比較して、所定人物の検索率および検索精度を安定化させることができる。

その後、照合処理部１０５は、算出した類似度など、所定人物の検索に関わる情報を、所定人物の検索結果として第２生体情報管理部１０７に保存する（ステップＳ２０９）。また、照合処理部１０５は、算出した類似度に基づいて、所定人物を検索した場合、合成顔画像を登録顔画像として、当該合成顔画像の特徴量と、所定人物のＩＤ情報とを対応付けて、第１生体情報管理部１０６に保存する。

次いで、照合処理部１０５は、第１生体情報管理部１０６に記憶された全ての登録顔画像を読み出したか否かを判断する（ステップＳ２１０）。全ての登録顔画像を読み出していないと判断した場合（ステップＳ２１０：Ｎｏ）、画像合成部１０３は、ステップＳ２０６に戻り、第１生体情報管理部１０６から他の登録顔画像を読み出し、当該読み出した登録顔画像と当該検出した阻害要因とを合成した合成顔画像を生成する。

全ての登録顔画像を読み出したと判断した場合（ステップＳ２１０：Ｙｅｓ）、表示制御部１０８は、照合処理部１０５による所定人物の検索結果を、検索結果表示部１０９に表示する（ステップＳ２１１）。本実施形態では、図４に示すように、表示制御部１０８は、撮像顔画像の特徴量と合成顔画像の特徴量との類似度が所定閾値以上である場合（すわなち、照合処理部１０５によって所定人物が検索された場合）、撮像顔画像ｇ、画像合成部１０３によって生成された合成顔画像のうち撮像顔画像との類似度が所定閾値以上の合成顔画像である所定人物画像ｇ１、および当該生成された合成顔画像のうち撮像顔画像との類似度が所定閾値より低いと判断された合成顔画像である候補画像ｇ２を含む画面Ｍを、検索結果表示部１０９に表示する。表示制御部１０８は、複数の候補画像ｇ２を画面Ｍに含める場合、撮像顔画像ｇとの類似度が高い順に並べて画面Ｍに表示させる。

一方、表示制御部１０８は、撮像顔画像の特徴量と合成顔画像の特徴量との類似度が所定閾値より低い場合（すなわち、照合処理部１０５によって所定人物が検索されなかった場合）、撮像顔画像と類似する合成顔画像が無いため、所定人物画像ｇ１を画面Ｍに含めない。これにより、人物検索システムの監視員は、検索結果表示部１０９に所定人物画像が表示されているか否かを確認することによって、所定人物が検索されたか否かを容易に認識することができる。

図２に戻り、撮像顔画像から阻害要因が検出されなかった場合（ステップＳ２０５：Ｎｏ）、特徴抽出部１０４は、第１生体情報管理部１０６から登録顔画像を読み出す。そして、特徴抽出部１０４は、撮像顔画像の特徴量および当該読み出した登録顔画像の特徴量を算出する（ステップＳ２１２）。その後、照合処理部１０５は、撮像顔画像の特徴量と登録顔画像の特徴量との類似度を算出し、当該算出した類似度に基づいて、所定人物を検索する（ステップＳ２１３）。これにより、画像条件検出部１０２によって阻害要因が検出されなかった場合には、合成顔画像の生成が行われず、登録顔画像を用いて所定人物の検索が行われるので、合成顔画像の生成に要する時間を削減することができ、所定人物の検索処理の効率化を図ることができる。さらに、照合処理部１０５は、算出した類似度など、所定人物の検索に関わる情報を、所定人物の検索結果として第２生体情報管理部１０７に保存する（ステップＳ２１４）。

次いで、照合処理部１０５は、第１生体情報管理部１０６に記憶された全ての登録顔画像を読み出したか否かを判断する（ステップＳ２１５）。全ての登録顔画像を読み出していないと判断した場合（ステップＳ２１５：Ｎｏ）、画像合成部１０３は、ステップＳ２１２に戻り、第１生体情報管理部１０６から他の登録顔画像を読み出し、当該読み出した登録顔画像を特徴抽出部１０４に出力する。

一方、全ての登録顔画像を読み出したと判断した場合（ステップＳ２１５：Ｙｅｓ）、表示制御部１０８は、照合処理部１０５による所定人物の検索結果を、検索結果表示部１０９に表示する（ステップＳ２１１）。表示制御部１０８は、撮像顔画像の特徴量と登録顔画像の特徴量との類似度に基づいて所定人物の検索を行った場合も、撮像顔画像の特徴量と合成顔画像の特徴量との類似度に基づいて所定人物の検索を行った場合と同様にして、所定人物の検索結果を表示する。

具体的には、表示制御部１０８は、撮像顔画像の特徴量と登録顔画像の特徴量との類似度が所定閾値以上である場合（すわなち、照合処理部１０５によって所定人物が検索された場合）、撮像顔画像と、登録顔画像のうち撮像顔画像との類似度が所定閾値以上であると判断された登録顔画像である所定人物画像と、登録顔画像のうち撮像顔画像との類似度が所定閾値より低いと判断された合成顔画像である候補画像とを含む画面を、検索結果表示部１０９に表示する。表示制御部１０８は、複数の候補画像を画面に含める場合、撮像顔画像との類似度が高い順に並べて画面に表示させる。

一方、表示制御部１０８は、撮像顔画像の特徴量と登録顔画像の特徴量との類似度が所定閾値より低い場合（すなわち、照合処理部１０５によって所定人物が検索されなかった場合）、撮像顔画像と類似する登録顔画像が無いため、所定人物画像を画面に含めない。これにより、人物検索システムの監視員は、検索結果表示部１０９に所定人物画像が表示されているか否かを確認することによって、所定人物が検索されたか否かを容易に認識することができる。

このように、本実施形態の人物検索システムによれば、撮像顔画像から阻害要因が検出された場合、登録顔画像に阻害要因を合成した合成顔画像を用いて所定人物の検索が行われるので、阻害要因を含まない登録顔画像を用いて所定人物を検索する場合と比較して、所定人物の検索率および検索精度を安定化させることができる。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１画像入力部
１０２画像条件検出部
１０３画像合成部
１０４特徴抽出部
１０５照合処理部
１０６第１生体情報管理部
１０７第２生体情報管理部
１０８表示制御部
１０９検索結果表示部

Claims

第１位置を通過する人物を撮像可能に設けられた撮像部の撮像により得られた画像データを受信する受信部と、
前記画像データが含む第１顔画像から、顔画像に基づく所定人物の検索の阻害要因を検出する検出部と、
前記阻害要因が検出されなかった場合、前記第１顔画像の特徴量と前記所定人物の第２顔画像の特徴量を求め、前記第１顔画像の特徴量と前記第２顔画像の特徴量との類似度に基づいて、前記所定人物を検索し、前記阻害要因が検出された場合、前記第２顔画像と前記阻害要因とを合成した第３顔画像を生成し、前記第１顔画像の特徴量および前記第３顔画像の特徴量を求め、前記第１顔画像の特徴量と前記第３顔画像の特徴量との類似度に基づいて、前記所定人物を検索する検索部と、
前記検索部による前記所定人物の検索結果を表示する表示部と、
を備えた人物検索システム。
前記検索部は、前記第１顔画像から検出した前記阻害要因のみを前記第２顔画像に合成して前記第３顔画像を生成する請求項１に記載の人物検索システム。
前記表示部は、前記第１顔画像の特徴量と前記第３顔画像の特徴量との類似度が所定閾値以上である場合、前記第１顔画像、前記第２顔画像、および前記第３顔画像を表示し、前記第１顔画像の特徴量と前記第３顔画像の特徴量との類似度が前記所定閾値より低い場合、前記第２顔画像を除いて、前記第１顔画像および前記第３顔画像を表示する請求項１に記載の人物検索システム。
第１位置を通過する人物を撮像可能に設けられた撮像部の撮像により得られた画像データを受信し、
前記画像データが含む第１顔画像から、顔画像に基づく所定人物の検索の阻害要因を検出し、
前記阻害要因が検出されなかった場合、前記第１顔画像の特徴量と前記所定人物の第２顔画像の特徴量を求め、前記第１顔画像の特徴量と前記第２顔画像の特徴量との類似度に基づいて、前記所定人物を検索し、
前記阻害要因が検出された場合、前記第２顔画像と前記阻害要因とを合成した第３顔画像を生成し、前記第１顔画像の特徴量および前記第３顔画像の特徴量を求め、前記第１顔画像の特徴量と前記第３顔画像の特徴量との類似度に基づいて、前記所定人物を検索し、
前記所定人物の検索結果を表示部に表示する、
ことを含む人物検索方法。
前記第１顔画像から検出した前記阻害要因のみを前記第２顔画像に合成して前記第３顔画像を生成する請求項４に記載の人物検索方法。
前記第１顔画像の特徴量と前記第３顔画像の特徴量との類似度が所定閾値以上である場合、前記第１顔画像、前記第２顔画像、および前記第３顔画像を前記表示部に表示し、
前記第１顔画像の特徴量と前記第３顔画像の特徴量との類似度が前記所定閾値より低い場合、前記第２顔画像を除いて、前記第１顔画像および前記第３顔画像を前記表示部に表示する請求項４に記載の人物検索方法。