JP2018151840A - 照合システム、照合方法および照合プログラム - Google Patents

Abstract

【課題】同一人物としての検出が適切であったか否かを容易に確認できる手段を提供する。【解決手段】照合システムは、検出対象人物の顔画像またはその特徴量である検出顔データと、入力された顔画像またはその特徴量である入力顔データとを照合し、検出対象人物と同一人物の入力顔データを検出する検出部と、検出部による検出対象人物と同一人物の入力顔データの検出回数を検出対象人物ごとに計数する計数部と、検出回数が複数回である検出対象人物についての人物並列画面を表示させる表示制御部とを有し、人物並列画面は、検出部が検出対象人物と同一人物として検出した入力顔データに関する人物画像Ｅが複数並んで配置された画面である。【選択図】図２

Description

本発明は、照合システム、照合方法および照合プログラムに関する。

店舗や施設等にて人物を撮影し、その撮像データを利用して様々なサービスを行うシステムが提案されている。

特許文献１の来店者管理システムでは、撮像された来店者の顔画像に基づいて来店者数が集計管理される。また、撮像された来店者の顔画像データに基づいて、来店者が要報知来店者か否かが判定され、要報知来店者が来店すると、そのことが報知される。

特許文献２の顔画像管理装置では、遊技者の顔画像を店舗入口、店内および店舗出口で撮影して、その撮影データに基づいて不審者フラグが登録される。例えば、店舗の出入りを１時間当たり３回以上繰り返したり、１日で１０回以上繰り返したり、トイレの出入りを１時間当たり５回以上繰り返した場合に、不審者フラグが登録される。

特許文献３の本人画像提供システムでは、遊園施設で遊んでいる人物が撮影され、不特定多数の被写体が写った画像の中から、自分が自然な表情で写った画像を検索して入手することができる。

特開２００８−２８７６５８号公報 特許第５８２４８０６号明細書 特許第３９９２９０９号明細書

不審者を検出するために、例えば、店舗等に短時間で繰り返し入場する人物を検出したいという要望がある。そのような検出は、撮影した人物画像を用いた顔照合により実現可能である。しかし、顔照合により同一人物の繰り返しの来店を検出する場合、誤って他の人物をその同一人物と判断する場合があるため、検出された顔画像を店員が視認して、それらが同一人物であるか否かを確認することが好ましい。

特許文献１の来店者管理システムは、来店者の数を数えるシステムであって、撮像された来店者が集計期間中に来店済みか否かを判定し、来店済みでない場合には、来店者数に加算する。つまり、撮像された来店者が過去に来店した人物と同一か否かが判定されるが、その判定が適切であったか否かをシステムの使用者が確認する手段は設けられていない。

特許文献２の顔画像管理装置では、遊技者の撮影データに基づいて、複数回の来店等があった場合に不審者として登録される。しかし、顔画像管理装置が同じ人物の複数回の来店と判断した撮影データが、同一人物のものであったか否かをシステムの使用者が確認する手段は、設けられていない。

特許文献３の本人画像提供システムでは、自分の写真を選ぶために、顔の特徴に基づいて検索された画像が表示される。しかし、一覧される画像は、おのおのが全体として何を写した画像かが分かるように原画像を縮小したサムネイル形式で表示されるため、個々の顔画像は小さく表示されることが多く、写っている人物が同一人物であるか否かをシステムの使用者が確認するのは困難である。

以上述べた様に、従来の装置等には、システムの使用者が、同一人物としての検出が適切であったか否かを容易に確認できる手段は設けられていない。複数回に亘る同一人物としての検出が適切であったか否かを確認するには、過去の検出履歴を一つ一つ表示させて確認するしかなく、非常に手間がかかってしまう。

本発明は上述の課題に鑑みてなされたものであり、同一人物としての検出が適切であったか否かを容易に確認できる手段を提供することを目的とする。

〔構成１〕
本発明の照合システムは、
検出対象人物の顔画像またはその特徴量である検出顔データと、入力された顔画像またはその特徴量である入力顔データとを照合し、前記検出対象人物と同一人物の前記入力顔データを検出する検出部と、
前記検出部による前記検出対象人物と同一人物の前記入力顔データの検出回数を前記検出対象人物ごとに計数する計数部と、
前記検出回数が複数回である前記検出対象人物についての人物並列画面を表示させる表示制御部とを有し、
前記人物並列画面は、前記検出部が前記検出対象人物と同一人物として検出した前記入力顔データに関する人物画像が複数並んで配置された画面である。

〔構成１４〕
本発明の照合方法は、
検出対象人物の顔画像またはその特徴量である検出顔データと、入力された顔画像またはその特徴量である入力顔データとを照合し、前記検出対象人物と同一人物の前記入力顔データを検出する検出ステップと、
前記検出部による前記検出対象人物と同一人物の前記入力顔データの検出回数を前記検出対象人物ごとに計数する計数ステップと、
前記検出回数が複数回である前記検出対象人物についての人物並列画面を表示させる表示ステップとを有し、
前記人物並列画面は、前記検出部が前記検出対象人物と同一人物として検出した前記入力顔データに関する人物画像が複数並んで配置された画面である。

〔構成１５〕
本発明の照合プログラムは、
検出対象人物の顔画像またはその特徴量である検出顔データと、入力された顔画像またはその特徴量である入力顔データとを照合し、前記検出対象人物と同一人物の前記入力顔データを検出する検出処理と、
前記検出部による前記検出対象人物と同一人物の前記入力顔データの検出回数を前記検出対象人物ごとに計数する計数処理と、
前記検出回数が複数回である前記検出対象人物についての人物並列画面を表示させる表示処理とをコンピュータに実行させる照合プログラムであって、
前記人物並列画面は、前記検出部が前記検出対象人物と同一人物として検出した前記入力顔データに関する人物画像が複数並んで配置された画面である。

上述の構成によれば、検出回数が複数回となった際に人物並列画面が表示され、人物並列画面は、検出対象人物と同一人物として検出した入力顔データに関する画像である人物画像が複数並んで配置された画面であるから、それらの顔データの同一人物としての検出が、適切であったか否かを容易に確認することができる。

〔構成２〕
また本発明の照合システムは、前記表示制御部が、前記検出回数が所定の検出閾値に達した際に、前記人物並列画面を表示させるように構成されてもよい。

上述の構成によれば、検出回数が所定の検出閾値に達した際に人物並列画面が表示されるから、同一人物としての検出が適切であったか否かの確認が更に容易になる。

〔構成３〕
また本発明の照合システムは、前記計数部は、所定期間内の前記検出回数を計数するように構成されてもよい。

上述の構成によれば、計数部が所定期間内の検出回数を計数するから、所定期間内の同一人物としての検出が適切であったか否かの確認ができ好適である。

〔構成４〕
また本発明の照合システムは、前記人物画像が前記検出対象人物と同一人物として検出された前記入力顔データに関する人物の顔が含まれる画像であるように構成されてもよい。

上述の構成によれば、人物画像に検出対象人物と同一人物として検出された入力顔データに関する人物の顔が含まれるから、画像の比較が更に容易となり、同一人物としての検出が適切であったか否かの確認を更に容易に行うことができる。

〔構成５〕
また本発明の照合システムは、前記人物画像が前記検出対象人物と同一人物として検出された前記入力顔データに関する人物の上半身が含まれる画像であるように構成されてもよい。

上述の構成によれば、人物画像に検出対象人物と同一人物として検出された入力顔データに関する人物の上半身が含まれるから、人物の服装や体型を確認することができ、同一人物としての検出が適切であったか否かの確認が更に容易になる。

〔構成６〕
また本発明の照合システムは、前記人物画像が前記検出対象人物と同一人物として検出された前記入力顔データに関する人物の全身が含まれる画像であるように構成されてもよい。

上述の構成によれば、人物画像に検出対象人物と同一人物として検出された入力顔データに関する人物の全身が含まれるから、人物の全身の服装や体型・身長を確認することができ、同一人物としての検出が適切であったか否かの確認が更に容易になる。

〔構成７〕
また本発明の照合システムは、前記人物並列画面において並んで配置される複数の前記人物画像には、前記検出対象人物と同一人物として検出された前記入力顔データに関する人物が略同一の大きさで表示されるように構成されてもよい。

上述の構成によれば、検出対象人物と同一人物として検出された入力顔データに関する人物が略同一の大きさで表示されるから、画像の比較が更に容易となり、同一人物としての検出が適切であったか否かの確認を更に容易に行うことができる。

〔構成８〕
また本発明の照合システムは、前記人物並列画面において並んで配置される複数の前記人物画像には、前記検出対象人物と同一人物として検出した前記入力顔データに関する人物の顔が略同一の大きさで表示され、前記人物並列画面において前記検出対象人物と同一人物として検出した前記入力顔データに関する人物の顔が略同一の高さとなるよう、前記人物画像が配置されるように構成されてもよい。

上述の構成によれば、人物並列画面において検出対象人物と同一人物として検出した入力顔データに関する人物の顔が略同一の大きさ・高さで表示されるから、画像の比較が更に容易となり、同一人物としての検出が適切であったか否かの確認を更に容易に行うことができる。

〔構成９〕
また本発明の照合システムは、前記人物並列画面は、前記検出対象人物と同一人物として検出された前記入力顔データに係る顔画像であって、撮影時刻が最も早い顔画像と撮影時刻が最も遅い顔画像のうち少なくとも一つが配置された画面であるように構成されてもよい。

上述の構成によれば次の利点がある。撮影時刻が最も早い顔画像が配置される場合は、他の人物画像と比較して照合がどのように行われたか把握することができる。撮影時刻が最も遅い顔画像が配置される場合は、その顔画像は検出対象人物に係る最新の顔画像であるから、実際にその人物を探す際に有用である。すなわち上述の構成により照合システムの利便性を向上させることができる。

〔構成１０〕
また本発明の照合システムは、前記検出回数が所定期間内に所定の報知閾値に達した際に報知を行う報知部を更に有し、前記表示制御部は、当該報知が行われるときに前記人物並列画面を表示させるように構成されてもよい。

上述の構成によれば、検出回数が所定期間内に所定の報知閾値に達した際に報知を行い、当該報知が行われるときに人物並列画面が表示されるから、その報知に基づいて照合システムの使用者が人物並列画面を確認することができ、照合システムの利便性を向上させることができる。

〔構成１１〕
また本発明の照合システムは、前記報知部が報知を行った際に不審者検知の警報を発するか否かの入力を受け付ける入力受付部を更に有するように構成されてもよい。

上述の構成によれば、入力受付部が、警報を発するか否かの入力を受け付けた上で不審者検知の警報を発するから、警報の発行が適切なものとなり好ましい。

〔構成１２〕
また本発明の照合システムは、前記人物並列画面に配置された前記人物画像に係る前記入力顔データについて前記計数部による計数の対象から除外する旨の入力を受け付ける除外受付部を有するように構成されてもよい。

上述の構成によれば、除外受付部が、人物画像に係る入力顔データについて計数の対象から除外する旨の入力を受け付けるから、不適切な人物画像（例えば他の人物画像と明らかに別人など）について計数対象から除外でき好適である。

〔構成１３〕
また本発明の照合システムは、前記表示制御部に制御されて前記人物並列画面を表示する表示部を更に有し、前記表示部は、携帯可能な端末装置の表示画面であるように構成されてもよい。

上述の構成によれば、人物並列画面において検出対象人物の顔が略同一の大きさ・高さで表示されるから、画像の比較が更に容易となり、同一人物としての検出が適切であったか否かの確認を更に容易に行うことができる。

本発明によれば、同一人物としての検出が適切であったか否かを容易に確認できる手段を提供することができる。

照合システムの構成を示す図 人物並列画像の例を示す図 画像生成部による人物画像の生成手法の説明図 照合方法の処理手順を示すフローチャート 照合方法の処理手順を示すフローチャート

（第１実施形態）
以下図面を参照して、本実施形態に係る照合システム、照合方法および照合プログラムについて説明する。これらシステム等は、例えば遊技店や小売店、銀行などの店舗や、市役所、図書館などの施設等に適用されて、これらに短時間で繰り返し入場する不審な人物を検出するために用いることができる。そして照合システム、照合方法および照合プログラムは、上述の検出に関して、同一人物としての検出が適切であったか否かを容易に確認できる手段として、人物並列画面を表示させる。

本実施形態では、照合システムが店舗に設置され、繰り返し入場する人物を検出する場合を例として説明する。具体的には、店舗に入場する人物が撮影され、その撮影データが順次保存される。併せて、撮影された人物の顔画像と、保存された撮影データとが照合され、同一人物の繰り返しの入場が検出される。そして複数回の入場が検出されると、その旨が係員に報知され、人物並列画面が事務所のモニタや係員のスマートフォンに表示される。

照合システム１は図１に示すように、カメラ１０、コントローラ２０、表示入力装置３０を有して構成される。

カメラ１０は、静止画または動画を撮影するカメラである。カメラ１０は、図１に示すように、店舗の入口Ａに配置されて、入口Ａから店舗へ入場する人物Ｂを撮影する。撮影された画像（撮影画像）は、コントローラ２０へ送信される。

コントローラ２０は、照合システム１の全体の動作を制御し、各種の処理を行う。コントローラ２０は、制御部２１、記憶部２２、通信部２３を有して構成される。

制御部２１は、入力部２１ａ、検出部２１ｂ、計数部２１ｃ、画像生成部２１ｄ、表示制御部２１ｅ、入力受付部２１ｆ、警報制御部２１ｇ、および除外受付部２１ｈを有して構成される。制御部２１は、例えば、各種の処理を実現するためのソフトウェアプログラムと、該ソフトウェアプログラムを実行するＣＰＵと、該ＣＰＵによって制御される各種ハードウェア等によって構成されている。制御部２１の動作に必要なソフトウェアプログラムやデータは記憶部２２に保存されるが、保存先は特に限定されず、別途専用に設けられたディスクやフラッシュメモリ等の記憶装置に保存される態様であってもよいし、通信可能に接続されたサーバや記憶装置等に保存される態様であっても構わない。

入力部２１ａは、照合システム１に入力された顔画像またはその特徴量である入力顔データについての処理を行う。本実施形態では入力部２１ａは、カメラ１０が撮影した撮影画像（すなわちカメラ１０によって照合システム１に入力されたデータ）から、撮影された人物Ｂの顔画像およびその特徴量を画像処理により抽出し、記憶部２２に保存する。なお特徴量とは、顔画像における人物の顔の特徴を数値化した量である。以下、「顔画像およびその特徴量」を「顔データ」と記す場合がある。

具体的には、開店時間となって店舗が開店すると、カメラ１０による撮影と入力部２１ａによる処理が開始される。そして入力部２１ａが生成した人物Ｂの顔データは、検出対象人物の検出顔データとして記憶部２２に順次記憶されると共に、都度、入力顔データとして検出部２１ｂによる照合の対象となる。

なおカメラ１０による撮影画像が動画の場合や、短い時間間隔で複数の静止画が撮影される場合には、入力部２１ａが、人物Ｂの１回の入場に対して１つの入力顔データを生成するように構成されると好ましい。例えば、人物Ｂが撮影場所を通過するのに５秒程度かかる場合は、余裕をみて短い時間間隔を１０秒と定め、人物Ｂが複数回検出されても１０秒以内に検出されたものは１回の検出とする。この時間間隔は、人物の移動速度を分析して自動で設定してもよく、係員が任意に設定できるようにしてもよい。
また、複数の入力顔データ候補から１つを選択する際には、検出された顔の解像度、鮮鋭度、顔の向きなど顔画像の品質を基準として選択してもよく、検出開始から終了までの間で最初や最後や中間などタイミングで選択してもよく、撮影された画面中の位置で選択してもよく、これらの組み合わせて選択してもよい。

検出部２１ｂは、検出対象人物の顔画像またはその特徴量である検出顔データと、入力された顔画像またはその特徴量である入力顔データとを照合し、検出対象人物と同一人物の入力顔データを検出する。

計数部２１ｃは、所定期間の、例えば、所定の開始時刻以降から現時点までの、検出部２１ｂによる検出対象人物と同一人物の入力顔データの検出回数を検出対象人物ごとに計数する。所定期間は、照合システム１の使用者により任意に設定することができる。例えば、開始時刻を店舗の開店時刻（例えば、１０：００）に設定すれば、開店から現時点までの繰り返しの入店を検出することができる。例えば、開始時刻を現時点から６０分前に設定すれば、６０分間に繰り返し入店した人物を検出することができる。

画像生成部２１ｄは、カメラ１０が撮影した撮影画像から、人物画像および人物並列画像を生成する。すなわち画像生成部２１ｄは、人物並列画面に表示させるための画像を撮影画像から生成する。人物画像は、検出対象人物と同一人物として検出した入力顔データに関する画像であり、その人物画像には、検出部が開始時刻以降に検出対象人物と同一人物のものであるとして検出した入力顔データが含まれる。人物並列画像は、検出対象人物と同一人物として検出した入力顔データに関する画像であり、上述の人物画像が複数並んで配置された画像である。

表示制御部２１ｅは、検出回数が複数回である検出対象人物についての人物並列画面を表示させる。人物並列画面は、検出部２１ｂが検出対象人物と同一人物として検出した入力顔データに関する人物画像が複数並んで配置された画面である。具体的には表示制御部２１ｅは、表示入力装置３０を制御して、画像生成部２１ｄが生成した人物並列画像を表示入力装置３０に表示させる。なお人物並列画像の生成を行わず、表示制御部２１ｅが複数の人物画像を表示入力装置３０に送信して、それらを並列に表示させる表示制御や、人物並列画像と同様の表示を行わせる表示制御も可能である。

入力受付部２１ｆは、報知部（表示入力装置３０）が報知を行った際に不審者検知の警報を発するか否かの入力を受け付ける。例えば入力受付部２１ｆは、表示入力装置３０が係員等に対して報知を行った際、表示入力装置３０を制御して不審者検知の警報を発するか否かの入力画面を表示させる。係員等が「警報を発する」旨の入力を表示入力装置３０に対して行うと、警報制御部２１ｇが警報の発する制御を行う。

警報制御部２１ｇは、入力受付部２１ｆが「警報を発する」旨の入力を受け付けた場合に、不審者検知の警報を発する。例えば警報制御部２１ｇは、表示入力装置３０や係員向けの無線通信機等を制御して、係員等に対して不審者検知の警報を発する。

除外受付部２１ｈは、人物並列画面に配置された人物画像に係る入力顔データについて計数部２１ｃによる計数の対象から除外する旨の入力を受け付ける。例えば除外受付部２１ｈは、表示入力装置３０が人物並列画面の表示を行った際に、表示入力装置３０からの入力を待機する。そして係員等が、表示入力装置３０を操作して一つ（あるいは複数）の人物画像を選択して除外操作を行うと、除外受付部２１ｈは、それらの人物画像に係る入力顔データについて、計数部２１ｃによる計数の対象から除外する制御を行う。そうすると計数部２１ｃは、該当する入力顔データを除外して検出回数の計数を行う。

記憶部２２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や不揮発性ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といった記憶デバイスで構成され、検出顔データ、入力顔データ、撮影画像、人物画像および人物並列画像等を記憶する。

通信部２３は、無線ＬＡＮや有線ＬＡＮ等を介して照合システム１の各構成とデータ通信を行なうためのインタフェース部である。

表示入力装置３０は、例えばデスクトップパソコンやタッチパネル式液晶モニタ、スマートフォン等であって、画面表示を行い、また係員等からの入力を受け付けるデバイスである。すなわち表示入力装置３０は、携帯可能な端末装置の表示画面を含む。そして表示入力装置３０は、表示制御部２１ｅに制御されて人物並列画面を表示する表示部として機能する。また表示入力装置３０は、検出回数が所定期間内に所定の報知閾値に達した際に報知を行う報知部として機能する。表示入力装置３０による係員等への報知は、例えば音、音声、画面への表示、振動などにより行うことができる。検出閾値および報知閾値は、照合システム１の使用者により任意に設定される。

以下、照合システム１の動作について具体例に沿って説明する。

開店時刻１０：００から現在時刻１２：１０までに３５人が入店したとする。この間にカメラ１０がこれら３５人を撮影し、入力部２１ａが顔データＸ１〜Ｘ３５を作成し、記憶部２２がこれら顔データＸ１〜Ｘ３５を記憶している。

そして時刻１２：１０に人物Ｂ１が入店したとする。同様にカメラ１０が人物Ｂ１を撮影し、入力部２１ａが顔データＸ３６を作成し、記憶部２２が顔データＸ３６を記憶する。

ここで検出部２１ｂが、今般入店した人物Ｂ１の顔データＸ３６と、記憶部に記憶されている顔データＸ１〜Ｘ３６とを照合し、人物Ｂ１と同一人物の顔データを検出する。例えば、５つの顔データＸ１６、Ｘ２０、Ｘ２８、Ｘ３２、Ｘ３６が検出されたとする（顔データＸ３６は人物Ｂ１の顔データであるから、当然に検出される）。

照合システム１が、６０分以内の繰り返し入店を検出するよう設定されているとする。そうすると、計数部２１ｃの動作に係る「開始時刻」は、１２：１０の６０分前の１１：１０である。検出部２１ｂは、検出された５つの検出顔データについて、開始時刻１１：１０以降の検出回数を計数する。Ｘ１６の生成時刻（すなわち撮影時刻）が１１：１３、Ｘ２０が１１：２１、以下同様に１１：１０以降の生成時刻であったとする。そうすると計数部２１ｃは、今般入店した人物Ｂ１に係る検出回数を「５」と計数する。

なおここで、顔データＸ１〜Ｘ３５から、生成時刻（撮影時刻）が６０分以内であるもの（所定期間内に生成された顔データ）を抽出しておき、それらに対して検出処理を行うことも可能である。

照合システム１が、５回の繰り返し入店を検出した場合に、人物並列画面を表示し、報知を行うよう設定されているとする。すなわちこの具体例では、検出閾値および報知閾値は「５」である。検出回数が「５」に達したので、人物並列画像を表示入力装置３０に表示すべく、画像生成部２１ｄが人物並列画像の生成を行う。そして生成された人物並列画像が、コントローラ２０から表示入力装置３０へ送信され、表示入力装置３０の画面に人物並列画面が表示される。併せて、表示入力装置３０から店舗の係員等へ繰り返しの入店の検出の報知が行われる。

なお検出閾値が「２」に設定されている場合には、検出回数が「２」、すなわち複数回となった際に、表示入力装置３０に人物並列画面が表示される。例えば、人物Ｂ１が過去に１回入店し（このとき、人物Ｂ１の顔データが検出対象データとして記憶部に送られて、検出顔データとなる）、次に入店した際、先の入店と今般の入店とで検出回数が「２」となって、表示入力装置３０に人物並列画面が表示される。そして検出回数が「５」となって報知閾値に達した際に、報知が行われる。

表示入力装置３０の画面に人物並列画面が表示され、上述の報知が行われると、入力受付部２１ｆは、不審者検知の警報を発するか否かの入力画面を表示させ、不審者検知の警報を発するか否かの入力を待機する。係員等が「警報を発する」旨の入力を表示入力装置３０に対して行うと、警報制御部２１ｇが警報の発する制御を行う。例えば警報制御部２１ｇは、係員の持つ表示入力装置３０に不審者検知の旨の警報画面を表示させたり、係員向けの無線通信機で不審者検知の旨を係員等に伝達する。

表示入力装置３０に人物並列画面が表示されている際に、係員等が表示入力装置３０を操作して一つ（あるいは複数）の人物画像を選択して除外操作を行うと、除外受付部２１ｈは、それらの人物画像に係る入力顔データについて、計数部２１ｃによる計数の対象から除外する制御を行う。そうすると計数部２１ｃは、該当する入力顔データを除外して検出回数の計数を行い、その結果に基づいて照合システム１の上述の動作が実行される。このとき、選択された人物画像に係る入力顔データについて、その入力顔データと類似度が高い入力顔データは、その検出対象人物として検出されないよう、検出部２１ｂを設定してもよい。

以上のようにして照合システム１では、検出部２１ｂが、今般入店した人物Ｂ１（検出対象人物）の顔データＸ３６（検出顔データ）と、記憶されている顔データＸ１〜Ｘ３６（入力顔データ）とを照合し、検出対象人物と同一人物の入力顔データを検出する。そして計数部２１ｃが、検出部２１ｂによる所定の開始時刻（１１：１０）以降の検出対象人物と同一人物の入力顔データの検出回数を計数する。そして表示制御部２１ｅが、検出回数が複数回となった際に、検出対象人物についての人物並列画面を表示入力装置３０（表示部）に表示させる。

次に、画像生成部２１ｄが生成し表示入力装置３０が表示する人物並列画像（人物並列画面）について説明する。図２は、人物並列画像Ｃの一例を示している。

人物並列画像Ｃの左側には、顔画像Ｄ１およびＤ２が横に並んで配置されている。人物並列画像Ｃの中央〜右側には、５つの人物画像Ｅ１ないしＥ５が横に並んで配置されている。これらの画像はいずれも、今般入店した人物Ｂ１に係る画像であり、詳しくは、検出対象人物と同一人物として検出した入力顔データに係る人物の画像である。

本実施形態では、顔画像Ｄ１は、人物Ｂ１の顔画像のうち撮影時刻が最も早い顔画像、すなわち顔データＸ１６の画像である。顔画像Ｄ２は、人物Ｂ１の顔画像のうち撮影時刻が最も遅い顔画像、すなわち今般撮影された人物Ｂ１の顔データＸ３６である。

そして５つの人物画像Ｅ１ないしＥ５はそれぞれ、検出部２１ｂが人物Ｂ１と同一人物のものであるとして検出した５つの顔データＸ１６、Ｘ２０、Ｘ２８、Ｘ３２、Ｘ３６を含む画像である。人物並列画像Ｃにおいて、人物画像Ｅ１〜Ｅ５は、検出顔データの生成時刻（すなわち撮影時刻）の早いものから、左側から順に配置されている。

５つの人物画像Ｅ１ないしＥ５には、人物Ｂ１の顔が含まれており、それらは略同一の大きさで表示されている。そして人物並列画像Ｃにおいて、人物Ｂ１の顔が略同一の高さとなるよう、人物画像Ｅ１ないしＥ５が配置されている。

また本実施形態では、５つの人物画像Ｅ１ないしＥ５には、人物Ｂ１の全身が含まれ、すなわち人物Ｂ１の上半身が含まれている。そして５つの人物画像Ｅ１ないしＥ５において、人物Ｂ１は略同一の大きさで表示されている。

カメラ１０が人物Ｂ１を撮影する際、カメラ１０と人物Ｂ１との距離に応じて、カメラ１０の撮影画像における人物Ｂ１の顔および全身の大きさは変化する。カメラ１０と人物Ｂ１との距離が大きい場合（すなわち人物Ｂ１が遠い場合）、撮影画像における顔・全身の大きさは小さくなり、距離が小さい場合（近い場合）、撮影画像における顔・全身の大きさは大きくなる。人物並列画像Ｃにおいて、表示される人物Ｂ１の顔・全身の大きさ・位置が、複数の人物画像Ｅの間で異なっていると、同一人物のものであったか否かの確認が困難となる。そこで本実施形態では、画像生成部２１ｄが人物画像および人物並列画像を生成する際に、表示される人物Ｂ１の顔・全身の大きさ・位置が調整される。

図３を用いて、画像生成部２１ｄがカメラ１０の撮影画像Ｆから人物画像Ｅを生成する手法について説明する。図中左側の撮影画像Ｆには３人の人物が写っているが、一番手前の人物Ｂ１の人物画像Ｅを生成する場合について説明する。まず画像生成部２１ｄは、画像処理により、人物Ｂ１の顔を認識して、顔検出枠Ｇおよび顔中心Ｈを設定する。次に画像生成部２１ｄは、顔検出枠Ｇの縦方向長さを取得して、顔中心Ｈから下方向に上述の縦方向長さ移動した位置を、切出中心Ｋとして設定する。そして画像生成部２１ｄは、上述の縦方向長さが所定画素数（例えば、５０画素）になるよう、撮影画像Ｆを拡大または縮小する。そして画像生成部２１ｄは、切出中心Ｋを基準として、所定の大きさの切出枠Ｊ（例えば、２４０画素×３２０画素）にて、撮影画像Ｆのトリミングを行い、さらに人物並列画像での表示幅に合わせて所定幅（例えば、８５画素）にトリミングし、図中右側の人物画像Ｅを生成する。

このように、撮影画像Ｆにて検出された人物Ｂ１の顔中心Ｈ（あるいは顔検出枠Ｇ）と、顔検出枠Ｇの大きさに基づいて人物画像Ｅを生成することにより、人物画像Ｅにおいて人物Ｂ１の顔・全身を所定の大きさに揃えることができ、人物画像Ｅにおける顔・全身の位置も適切なものとすることができる。

ここで撮影画像Ｆにおいて、人物Ｂ１の位置が上側に偏っていた場合、切出枠Ｊが撮影画像Ｆの上側にはみ出ることになる。そうすると、図２の人物画像Ｅ３のように、上側が切れた画像となる場合がある。反対に、撮影画像Ｆにおいて人物Ｂ１の位置が下側に偏った場合、図２の人物画像Ｅ５のように下側が切れた画像となる場合がある。このような場合でも、人物Ｂ１の顔が略同一の高さに配置されることにより、人物画像Ｅ１〜Ｅ５が同一人物であるか否かの確認が容易となっている。

以上の説明では、撮影画像Ｆにおいて一番手前に写っている人物Ｂ１について、顔認識を行い、人物画像Ｅを生成する例を説明したが、同じ撮影画像Ｆから、人物Ｂ１の後ろに立っている男性および女性の顔認識、および人物画像Ｅの生成を行うことも可能である。

以上説明した照合システム１で行われる照合方法について、図４のフローチャートを参照しながら説明する。

ステップＳ１０１の入力ステップでは、カメラ１０によって、入口Ａから店舗へ入場する人物Ｂが撮影される。撮影された画像（撮影画像）は、コントローラ２０へ送信される。そして入力部２１ａによって、人物Ｂの顔データＸが作成される。作成された顔データＸ１は、記憶部２２に記憶される。

ステップＳ１０２の検出ステップでは、検出部２１ｂによって、検出対象人物の顔画像またはその特徴量である検出顔データと、入力された顔画像またはその特徴量である入力顔データとが照合され、検出対象人物と同一人物の入力顔データが検出される。本実施形態では、記憶部２２に記憶された顔データ（Ｘ１〜Ｘ３６）と、今般入店した人物Ｂ１の顔データＸ３６とが照合され、過去に入場した人物と、今般入場した人物Ｂ１が同一人物であるかが検出される。

ステップＳ１０３の計数ステップでは、計数部２１ｃによって、検出ステップによる所定の開始時刻以降の検出対象人物と同一人物の入力顔データの検出回数が計数される。

ステップＳ１０４では、検出回数が検出閾値に達したか否かが判定される。検出回数が検出閾値に達していない場合、ステップＳ１０１へ戻る。検出回数が検出閾値に達している場合、ステップＳ１０５へ進む。

ステップＳ１０５の画像生成ステップでは、画像生成部２１ｄによって、人物画像および人物並列画像が生成される。人物画像は、検出対象人物の画像であり、その人物画像には、検出部が開始時刻以降に検出対象人物と同一人物のものであるとして検出した入力顔データが含まれる。人物並列画像は、検出対象人物についての画像であり、上述の人物画像が複数並んで配置された画像である。そしてステップＳ１０６へ進む。

ステップＳ１０６の表示ステップでは、表示制御部２１ｅよって、コントローラ２０から送信された検出対象人物についての人物並列画像が表示入力装置３０に表示される（人物並列画面の表示）。そして処理を終了する。

（第２実施形態）
第２実施形態に係る照合システム１では、検出顔データの記憶部２２への保存や、計数部２１ｃによる検出回数の計数が、第１実施形態とは異なった態様により行われる。なお以降の説明では、第１実施形態と同様の構成については同じ符号を付し、説明を省略する場合がある（他の実施形態も同様）。

上述の第１実施形態では、入力部２１ａがカメラ１０の撮影画像から人物Ｂ１の顔データＸ１を生成した際に、その顔データが記憶部２２に送られ、検出対象人物の検出顔データとして記憶部２２に順次記憶される。そして検出部２１ｂが顔データＸ１と検出顔データとを順次照合し、人物Ｂ１と同一人物と判断された検出顔データが抽出される。そして抽出された検出顔データの数に基づいて、計数部２１ｃが検出回数を計数する。

本実施形態では、入力部２１ａがカメラ１０の撮影画像から人物Ｂの顔データＸ１を生成すると、まず検出部２１ｂが顔データＸ１と検出顔データとを順次照合する。人物Ｂ１と同一人物と判断された検出顔データが抽出された場合に、計数部２１ｃが、人物Ｂ１に係る検出回数に「１」を加算する。人物Ｂ１と同一人物の検出顔データが抽出されない場合に、計数部２１ｃが、人物Ｂ１に係る検出回数を「１」（すなわち初めての検出）とし、このときに顔データＸ１が、検出対象人物の検出顔データとして記憶部２２に記憶される。つまり本実施形態では、記憶部２２に検出対象人物の検出顔データが、同一人物についての重複がない状態で記憶されている。なお記憶部２２には、人物画像および人物並列画像の生成のため、カメラ１０の撮影画像が保存される。

本実施形態の照合システム１で行われる照合方法について、図５のフローチャートを参照しながら説明する。

ステップＳ２０１の入力ステップでは、カメラ１０によって、入口Ａから店舗へ入場する人物Ｂが撮影される。撮影された画像（撮影画像）は、コントローラ２０へ送信される。そして入力部２１ａによって、人物Ｂの顔データＸ１が作成される。作成された顔データＸ１は、検出部２１ｂに送られる。

ステップＳ２０２の検出ステップでは、検出部２１ｂによって、検出対象人物の顔画像またはその特徴量である検出顔データと、入力された顔画像またはその特徴量である入力顔データとが照合される。すなわち、記憶部２２に記憶された検出顔データと、入力部２１ａが生成した人物Ｂの顔データＸ１（入力顔データ）とが照合され、検出対象人物、すなわち過去に入場した人物と、今般入場した人物Ｂが同一人物であるかが検出される。

検出対象人物と同一人物の入力顔データが検出された場合、すなわち検出対象人物、すなわち過去に入場した人物と、今般入場した人物Ｂが同一人物である場合（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０５へ進む。検出対象人物と同一人物の入力顔データが検出されない場合、すなわち人物Ｂ１の入場が初めての場合（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０４へ進む。

ステップＳ２０４の登録ステップでは、入力部２１ａが生成した人物Ｂの顔データＸ１が、検出対象人物の検出顔データとして記憶部２２に登録される。そしてステップＳ２０５へ進む。

ステップＳ２０５の計数ステップでは、計数部２１ｃによって、検出ステップによる所定の開始時刻以降の検出対象人物と同一人物の入力顔データの検出回数が計数される。具体的には、今般入店した人物Ｂに係る検出回数に「＋１」される。

ステップＳ２０３がＹｅｓ、すなわち検出対象人物と同一人物の入力顔データが検出された場合には、過去に人物Ｂ１が１回以上入店している。したがって検出回数は１以上の数となっている筈であり、今般の入店・検出によって、検出回数が１増加する。

ステップＳ２０３がＮｏ、すなわち検出対象人物と同一人物の入力顔データが検出されなかった場合には、人物Ｂ１の入場は初めてである。したがって検出回数は「０」であり、今般の入店・検出によって、検出回数が「１」となる。

ステップＳ２０６では、検出回数が検出閾値に達したか否かが判定される。検出回数が検出閾値に達した場合には（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０７へ進む。検出回数が検出閾値に達していない場合には（ステップＳ２０６：Ｎｏ）、ステップＳ２０１へ戻る。

ステップＳ２０７の画像生成ステップでは、第１実施形態のステップＳ１０５と同様に、画像生成部２１ｄによって、人物画像および人物並列画像が生成される。生成された人物並列画像は、表示入力装置３０へ送信される。そしてステップＳ２０８へ進む。

ステップＳ２０８の表示ステップでは、表示制御部２１ｅよって、コントローラ２０から送信された検出対象人物についての人物並列画像が表示入力装置３０に表示される（人物並列画面の表示）。そして処理を終了する。

（他の実施形態）
（１）上述の実施形態では、照合システム１を店舗や施設等の、入口を有し閉じられた空間に適用し、その入口から繰り返し入場する人物を検出する場合について説明した。照合システム１を、市街地の一角や、店舗・施設等の一領域に対して適用し、そこに進入する人物を撮影して検出する場合にも適用可能である。また照合システム１は、道路・通路・歩道等を通る人物に対しても適用可能である。

（２）上述の実施形態では、カメラ１０で人物を撮影して入力顔データを取得する場合について説明した。照合システム１の態様としてはこれに限られず、既に保存してある動画や静止画などの撮影済み画像について適用することも可能である。また、ネットワークや記憶媒体を介して撮影済み画像を照合システム１に取り込んで、上述の実施形態と同様の処理を行わせることも可能である。

また上述の実施形態では、所定の開始時刻から現時点までの検出回数を計数する例を説明したが、任意の第１の時刻から任意の第２の時刻までを所定期間として処理を行うことも可能である。特に撮影済み画像に対して照合・検出の処理を行う場合に、任意の期間を所定期間と設定し、撮影時刻がその期間に含まれる撮影画像に対して処理を行わせることも可能である。

また上述の実施形態では、検出回数が所定の検出閾値に達した際に人物並列画面が表示された。これを改変して、撮影画像（例えば上述の撮影済み画像）の全体に対して検出を行った後に、検出回数が所定の検出閾値に達した検出対象人物について、人物並列画面を表示させてもよい。並列される人物画像が多数となり、表示入力装置３０の画面に収まりきらない場合は、複数ページにわたって表示させたり、スクロールによって全体を閲覧可能な形態で表示させてもよい。またリスト表示も可能である。

（３）上述の実施形態では、人物画像は人物の全身を含む場合を例として説明した。人物画像としては、人物の上半身（腰より上）を表示する画像を用いてもよい。また、人物の胸像（胸から上）を表示する画像を用いてもよい。

（４）上述の実施形態では、検出回数が検出閾値に達した場合に画像生成ステップを行う例を説明したが、人物画像や人物並列画像の生成タイミングはこれに限られない。例えば、カメラ１０による撮影画像Ｆの生成の都度、あるいは撮影画像Ｆにて人物を検出する都度、人物画像あるいは人物並列画像を生成してもよい。

（５）人物並列画面を表示入力装置３０に表示した際に、その後の処理についての入力を受け付けてもよい。例えばその後の処理の選択肢として、（ａ）以後その人物についての表示を行わない、（ｂ）以後その人物の入場が検出される度に人物並列画面を表示、などの選択肢を表示入力装置３０に表示して、店舗の係員に選択させてもよい。特に（ｂ）については、次の様な運用をする場合に好適である。初めて複数回検知・報知された人物については、直ぐに対処するのは危険な場合があるので、その人物を照合システム１に登録しておき、次の来店時に人物並列画面を表示させて報知ができるようにする。

上述の実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

以上のように、本発明に係る照合システム等は、同一人物としての検出が適切であったか否かを容易に確認できる手段を提供することができる。

１ ：照合システム
１０ ：カメラ
２０ ：コントローラ
２１ ：制御部
２１ａ ：入力部
２１ｂ ：検出部
２１ｃ ：計数部
２１ｄ ：画像生成部
２１ｅ ：表示制御部
２１ｆ ：入力受付部
２１ｇ ：警報制御部
２１ｈ ：除外受付部
２２ ：記憶部
２３ ：通信部
３０ ：表示入力装置（表示部、報知部）
Ａ ：入口
Ｂ、Ｂ１：人物
Ｃ ：人物並列画像
Ｄ１、Ｄ２：顔画像
Ｅ，Ｅ１〜Ｅ５：人物画像
Ｆ ：撮影画像
Ｇ ：顔検出枠
Ｈ ：顔中心
Ｊ ：切出枠
Ｋ ：切出中心

Claims (15)

1. 検出対象人物の顔画像またはその特徴量である検出顔データと、入力された顔画像またはその特徴量である入力顔データとを照合し、前記検出対象人物と同一人物の前記入力顔データを検出する検出部と、
   前記検出部による前記検出対象人物と同一人物の前記入力顔データの検出回数を前記検出対象人物ごとに計数する計数部と、
   前記検出回数が複数回である前記検出対象人物についての人物並列画面を表示させる表示制御部とを有し、
   前記人物並列画面は、前記検出部が前記検出対象人物と同一人物として検出した前記入力顔データに関する人物画像が複数並んで配置された画面である、照合システム。
2. 前記表示制御部は、前記検出回数が所定の検出閾値に達した際に、前記人物並列画面を表示させる請求項１に記載の照合システム。
3. 前記計数部は、所定期間内の前記検出回数を計数する請求項１または２に記載の照合システム。
4. 前記人物画像は、前記検出対象人物と同一人物として検出された前記入力顔データに関する人物の顔が含まれる画像である請求項１から３のいずれか１項に記載の照合システム。
5. 前記人物画像は、前記検出対象人物と同一人物として検出された前記入力顔データに関する人物の上半身が含まれる画像である請求項１から４のいずれか１項に記載の照合システム。
6. 前記人物画像は、前記検出対象人物と同一人物として検出された前記入力顔データに関する人物の全身が含まれる画像である請求項１から５いずれか１項に記載の照合システム。
7. 前記人物並列画面において並んで配置される複数の前記人物画像には、前記検出対象人物と同一人物として検出した前記入力顔データに関する人物が略同一の大きさで表示される請求項１から６のいずれか１項に記載の照合システム。
8. 前記人物並列画面において並んで配置される複数の前記人物画像には、前記検出対象人物と同一人物として検出した前記入力顔データに関する人物の顔が略同一の大きさで表示され、前記人物並列画面において前記検出対象人物と同一人物として検出した前記入力顔データに関する人物の顔が略同一の高さとなるよう、前記人物画像が配置される請求項１から７のいずれか１項に記載の照合システム。
9. 前記人物並列画面は、前記検出対象人物と同一人物として検出された前記入力顔データに係る顔画像であって、撮影時刻が最も早い顔画像と撮影時刻が最も遅い顔画像のうち少なくとも一つが配置された画面である、請求項１から８のいずれか１項に記載の照合システム。
10. 前記検出回数が所定期間内に所定の報知閾値に達した際に報知を行う報知部を更に有し、前記表示制御部は、当該報知が行われるときに前記人物並列画面を表示させる請求項１から９のいずれか１項に記載の照合システム。
11. 前記報知部が報知を行った際に不審者検知の警報を発するか否かの入力を受け付ける入力受付部を更に有する請求項１０に記載の照合システム。
12. 前記人物並列画面に配置された前記人物画像に係る前記入力顔データについて前記計数部による計数の対象から除外する旨の入力を受け付ける除外受付部を有する請求項１から１１のいずれか１項に記載の照合システム。
13. 前記表示制御部に制御されて前記人物並列画面を表示する表示部を更に有し、前記表示部は、携帯可能な端末装置の表示画面である請求項１から１２のいずれか１項に記載の照合システム。
14. 検出対象人物の顔画像またはその特徴量である検出顔データと、入力された顔画像またはその特徴量である入力顔データとを照合し、前記検出対象人物と同一人物の前記入力顔データを検出する検出ステップと、
    前記検出部による前記検出対象人物と同一人物の前記入力顔データの検出回数を前記検出対象人物ごとに計数する計数ステップと、
    前記検出回数が複数回である前記検出対象人物についての人物並列画面を表示させる表示ステップとを有し、
    前記人物並列画面は、前記検出部が前記検出対象人物と同一人物として検出した前記入力顔データに関する人物画像が複数並んで配置された画面である、照合方法。
15. 検出対象人物の顔画像またはその特徴量である検出顔データと、入力された顔画像またはその特徴量である入力顔データとを照合し、前記検出対象人物と同一人物の前記入力顔データを検出する検出処理と、
    前記検出部による前記検出対象人物と同一人物の前記入力顔データの検出回数を前記検出対象人物ごとに計数する計数処理と、
    前記検出回数が複数回である前記検出対象人物についての人物並列画面を表示させる表示処理とをコンピュータに実行させる照合プログラムであって、
    前記人物並列画面は、前記検出部が前記検出対象人物と同一人物として検出した前記入力顔データに関する人物画像が複数並んで配置された画面である、照合プログラム。

Images