JP2004171240A

JP2004171240A - Fraud monitoring systems and programs

Info

Publication number: JP2004171240A
Application number: JP2002335868A
Authority: JP
Inventors: Masanori Kunii; 正徳国井
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2002-11-20
Filing date: 2002-11-20
Publication date: 2004-06-17

Abstract

【課題】顧客や陳列商品を撮影し、この撮影画像に基づいて商品が不正に持ち出されるかを自動監視できるようにする。
【解決手段】管理センタ１は、商品が取り出された際に、通路監視カメラ５、商品監視カメラ６からの撮影画像に基づいて当該商品を監視対象商品として特定すると共に、商品が取り出された際に当該顧客を撮影した顧客画像と監視対象商品とを対応付けて商品監視データベース内に記憶管理しておく。ＰＯＳ端末２側において１取引分の商品を登録する精算時に当該顧客が撮影された際に、この顧客画像に対応付けられている監視対象商品と登録済み商品とを比較することによって登録済み商品を監視対象外として処理するが、全ての商品が監視対象外とならず、監視対象商品が有る場合には、不正持ち出しの可能性が有ると判断してその旨を報知する。
【選択図】図１An object of the present invention is to photograph a customer or a displayed product and automatically monitor whether the product is illegally taken out based on the captured image.
When a product is taken out, a management center identifies the product as a monitoring target product based on images taken by a passage monitoring camera and a product monitoring camera, and when the product is taken out. The customer image obtained by photographing the customer is associated with the monitoring target product and stored and managed in the product monitoring database. When the customer is photographed at the time of payment for registering a product for one transaction on the POS terminal 2 side, the registered product is compared with the monitoring target product associated with the customer image and the registered product. Although it is processed as a non-monitoring target, if all products are not excluded from the monitoring target and there is a monitoring target product, it is determined that there is a possibility of illegal take-out, and the fact is notified.
[Selection diagram] Fig. 1

Description

【０００１】
【発明の属する技術分野】
この発明は、撮影画像に基づいて陳列商品が不正に持ち出されるかを監視したり、過去に商品を不正に持ち出した不正者を監視する不正監視システムおよびプログラムに関する。
【０００２】
【従来の技術】
一般に、店舗において陳列商品が不正に持ち出されることを防止する万引き防止策としては、店内に各箇所に顧客監視用のカメラを配置し、この監視カメラによるモニタ画面を見ながら係員が不正者を見つけ出すようにしているが、専任の係員を必要としたり、見落としも多く、万引き防止策としては、万全ではなかった。
そこで、従来においては、予め商品の個々に感知タグと呼ばれる万引き防止用のタグを取り付けておき、出口において未精算の商品を検知するようにしたものが知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−０７４２８６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、この種の感知タグ方式においては、万引き防止策としては有効に機能するが、予め販売対象の全ての商品に専用タグを取り付る作業を必要とすると共に、精算時においては商品からタグを取り外す等の特殊な作業を必要とする為に、万引き防止用として店側に特別な労力を強要することになり、その改善が要望されていた。
【０００５】
第１の発明の課題は、顧客や陳列商品を撮影し、この撮影画像に基づいて商品が不正に持ち出されるかを自動監視できるようにすることである。
第２の発明の課題は、顧客を撮影し、この撮影画像に基づいて過去に商品を不正に持ち出した不正者かを自動監視できるようにすることである。
【０００６】
【課題を解決するための手段】
請求項１記載の発明（第１の発明）は、撮影画像に基づいて陳列商品が不正に持ち出されるかを監視する不正監視システムであって、各商品の陳列位置に対応してその商品の識別情報を記憶管理する商品情報記憶手段と、陳列商品がその位置から取り出された際に、その陳列位置に基づいて前記商品情報記憶手段を検索して当該商品を監視対象商品として特定する特定手段と、この特定手段によって特定された監視対象商品の識別情報と、陳列商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて記憶管理する監視情報記憶手段と、顧客が買い上げた１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に基づいて前記監視情報記憶手段を検索し、その顧客に対応付けられている監視対象商品の識別情報と登録済み商品の識別情報とを比較することによって登録済み商品を監視対象外とする精算手段と、この精算手段によって前記監視情報記憶手段内の監視対象商品が全て監視対象外となったかを顧客毎に判別する判別手段と、この判別手段によって監視対象商品が存在していることが判別された場合に、不正持ち出しの可能性が有ると判断してその旨を報知する報知手段とを具備するものである。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１４記載の発明）。
【０００７】
したがって、請求項１、１４記載の発明は、陳列商品がその位置から取り出された際に、その商品を監視対象商品として特定することによって得られた商品識別情報と、商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて記憶管理しておき、１取引分の商品を登録する精算時において当該顧客を撮影すると共に、この顧客画像に対応付けられている監視対象商品の識別情報と登録済み商品の識別情報とを比較することによって登録済み商品を監視対象外として処理するが、全ての商品が監視対象外とならず、監視対象商品が有る場合には、不正持ち出しの可能性が有ると判断してその旨を報知するようにしたから、商品が不正に持ち出されるかを撮影画像に基づいて自動監視することができ、万引き防止策として面倒な作業を必要としたり、人手を要することなく不正監視が可能となる他、不正持ち出しされる個々の商品を具体的に指摘することができる等、実用的効果の高い不正監視システムを提供することが可能となる。
【０００８】
なお、請求項１記載の発明は次のようなものであってもよい。
前記判別手段は、１取引分の登録終了時において監視対象商品が全て監視対象外となったかを判別し、前記報知手段は、監視対象商品が存在していることが判別された場合に、１取引分の登録終了時に不正持ち出しの可能性が有る旨を報知する（請求項２記載の発明）。
したがって、請求項２記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、１取引分の登録終了時に未登録商品（監視対象商品）が残っている場合には、不正持ち出しの可能性が有る旨を報知するようにしたから、一部の商品の精算忘れの場合（過失）や隠し持っている場合（故意）、１取引分の登録終了時にその旨を指摘することができ、故意過失を問わず、未精算商品の持ち出しを確実に防止することが可能となる。
【０００９】
前記判別手段は、顧客が退場する際に、その退場者を撮影した退場者画像に基づいて前記監視情報記憶手段を検索し、その顧客に対応する監視対象商品が全て監視対象外となったかを判別し、前記報知手段は、監視対象商品が存在していることが判別された場合に、その顧客の退場時に不正持ち出しの報知を行う（請求項３記載の発明）。
したがって、請求項３記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、顧客が退場する際に、未登録商品（監視対象商品）があれば、不正持ち出しの可能性が有る旨を報知するようにしたから、店から退場する寸前にその顧客を引き止めることができる他、会計（精算）を通さずに、そのまま退場しようとした顧客を不正者としてみなすことができる。
【００１０】
前記特定手段は、商品陳列付近を撮影した撮影画像を解析することによってその付近に顧客が存在しているかを認識し、商品陳列付近に顧客が居る場合には、当該撮影画像を解析することによって顧客の手の動きを監視し、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する（請求項４記載の発明）。
したがって、請求項４記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、商品陳列付近を撮影した撮影画像を解析することによって顧客の手の動きを監視し、商品が取り出されたかを認識するようにしたから、商品の取り出しを画像解析という新たな手法によって検知することができると共に、商品が取り出される毎にその商品の特定も可能となる。なお、手の動きを解析する際には、手の平部分を拡大撮影し、その拡大画像に基づいて商品が取り出されたか、つまり、商品を掴んだかを認識すればよい。
【００１１】
この場合、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する際に、複数台のカメラによって撮影された各撮影画像を照らし合わせることによって商品が取り出されたかを認識するようにすれば（請求項５記載の発明）、例えば、顧客の背後・横・正面、上方向等、様々な方向（少なくとも２方向）から撮影した各撮影画像を照らし合わせて顧客の手の動き監視することができ、商品の取り出しをより確実に検知することが可能となる。
【００１２】
前記特定手段は、陳列商品がその位置から取り出された際に、取り出された商品を監視対象として特定する他に、その商品個数を特定し、前記監視情報記憶手段は、監視対象商品毎にその個数を合わせて記憶管理し、前記精算手段は、監視対象商品と登録済み商品とを比較した結果、監視対象商品のうち登録された個数分を監視対象外とする（請求項６記載の発明）。
したがって、請求項６記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、同一商品が１度にあるいは別々に複数個取り出されたとしても、その個数を特定し、監視対象商品のうち登録された個数分を監視対象外とするようにしたから、例えば、複数の同一商品のうち、その一部だけを精算し、他の商品を隠し持っている場合でも、それを監視することができ、確実な不正監視が可能となる。
【００１３】
前記特定手段は、陳列商品がその位置から取り出された後において当該商品が戻されたかを監視し、商品が戻された場合には、当該商品を監視対象外とする（請求項７記載の発明）。
したがって、請求項７記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、商品を取り出したり、戻したり思案中の手の動きを監視し、商品が戻された場合には、その商品を監視対象外とするようにしたから、実際に取り出された商品のみを監視対象商品として特定することができる。
【００１４】
前記各顧客画像は、顧客の全体を撮影した全身画像であり、各顧客画像を比較する際には、顧客の性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色の各特徴要素のうち、少なくとも、その顔画像と他の要素とを総合的に解析して画像比較を行う（請求項８記載の発明）。
したがって、請求項８記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、各顧客画像を比較する際に、顧客の顔画像の他に、性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色のうち、少なくともその何れかを含めて総合的に解析することによって画像比較を行うようにしたから、確実な顧客認識が可能となり、誤認識によって正規な顧客に不愉快な思いをさせることを防止することができる。
【００１５】
顧客が入場してから最初に商品を取り出した際に、その時の顧客画像を前記監視対象商品に対応付けて保存し、次に同一顧客が商品を取り出す際に、今回撮影された顧客画像と保存画像とを比較処理し、その結果、保存画像よりも今回の画像の方が顧客の特徴をより現している場合には、保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新する（請求項９記載の発明）。
したがって、請求項９記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、監視対象商品に対応付けて保存される顧客画像を顧客の特徴をより現している最適画像に自動的に更新するようにしたから、同一顧客が商品を取り出す毎に撮影された各顧客画像を全て保存する必要が無くなると他に、精算時等において画像比較によって顧客照合を行う際に、その照合を確実に行うことが可能となる。
【００１６】
請求項１０記載の発明（第２の発明）は、撮影画像に基づいて陳列商品を不正に持ち出した不正者かを監視する不正監視システムであって、過去に商品を不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録する不正者登録手段と、顧客を撮影した顧客画像に基づいて前記不正者リストを検索し、その顧客が不正者に該当するかを判別する判別手段と、この判別手段によって顧客が過去に不正を行った不正者であることが判別された場合には、その旨を報知する報知手段とを具備するものである。
更に、コンピュータに対して、上述した請求項１０記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１５記載の発明）。
【００１７】
したがって、請求項１０、１５記載の発明は、過去に商品を不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録しておき、顧客を撮影した顧客画像に基づいて不正者リストを検索し、その顧客が不正者に該当するか場合には、その旨を報知するようにしたから、過去に不正を行った不正者を撮影画像に基づいて自動監視することができ、人手を要さずに常習的な不正者を効果的に監視してその取り締まりが可能となる等、実用的効果の高い不正監視システムを提供することが可能となる。
【００１８】
なお、請求項１０記載の発明は次のようなものであってもよい。
入場者を撮影した入場者画像を取得する入場者画像取得手段を設け、前記判別手段は、この入場者画像に基づいて不正者リストを検索し、入場者が不正者に該当するかを判別する（請求項１１記載の発明）。
したがって、請求項１１記載の発明によれば、請求項１０記載の発明と同様の効果を有する他に、入場者画像に基づいて不正者リストを検索するようにしたから、不正者を入場時に検知することができ、例えば、監視カメラによる追跡監視が可能となる。つまり、入場者が過去に不正を行った者であれば、その不正者を特定し、複数台の監視カメラによって追跡監視してモニタ表示するようにすれば、常習的な不正者の行動を監視することが可能となる。
【００１９】
前記報知手段は、顧客が過去に不正を行った不正者であることが判別された場合に、その旨を警備員所持の携帯端末へ通知して注意報知を行う（請求項１２記載の発明）。
したがって、請求項１２記載の発明によれば、請求項１０記載の発明と同様の効果を有する他に、警備員所持の携帯端末へ注意報知を行うようにしたから、警備員による追跡監視が可能となる。
【００２０】
前記不正者登録手段は、不正者画像を不正者リストに登録する他に、その商品に関する各種の情報を登録し、不正者リストの出力が指示された際に、商品に関する情報に基づいて前記不正者リストの内容を集計すると共にその集計結果を出力する（請求項１３記載の発明）。
したがって、請求項１３記載の発明によれば、請求項１０記載の発明と同様の効果を有する他に、不正者画像およびその商品に関する各種の情報を不正者リストに登録し、不正者リストの出力が指示された際に、商品に関する情報に基づいて不正者リストの内容を集計すると共にその集計結果を出力するようにしたから、例えば、どの商品、どの棚位置が万引きされ易いか等を判断可能とする万引き対策用の資料を容易に入手することができる。
【００２１】
【発明の実施の形態】
以下、図１〜図１６を参照してこの発明の一実施形態を説明する。
図１は、この実施形態における店舗内システムの全体構成を概念的に示したブロック図である。
この店舗内システムは、例えば、デパート、スーパーマーケット、ショッピングモール等の店舗内に構築された構内通信システム（ＬＡＮ）である。そして、この店舗内システムは、通常のＰＯＳ（ポイント・オブ・セールス）システムとして機能する他に、撮影画像に基づいて陳列商品が不正に持ち出されたか否かを監視したり、過去に商品を不正に持ち出した不正者が入場したか否かを監視する不正監視（万引き監視）システムとして機能するもので、管理センタ１を中核とする構成となっている。
【００２２】
この管理センタ１には、有線ＬＡＮを介して複数台のＰＯＳ端末２が接続されている他に、各種のカメラ装置が接続されている。すなわち、入口側に設置されて入場者をその正面方向から撮影する為の入口監視カメラ３と、出口側に設置されて退場者をその正面方向から撮影する為の出口監視カメラ４と、店内の通路毎に設置されて通路全体を撮影する為の通路監視カメラ５と、店内の各所に配置されて陳列商品をエリア別に撮影する為の商品監視カメラ６とを有し、これらの各カメラ装置は、有線ＬＡＮを介して管理センタ１に接続されている。また、管理センタ１には、アクセスポイント等を含む無線ＬＡＮを介して出入り口付近等に居る警備員が所持している携帯端末７に接続されている。
【００２３】
管理センタ１は、機能別に設けられた複数のデータ処理装置を集合した集合体であり、後述する「商品監視処理」、「センタ応答処理」、「退場者監視処理」、「入場者監視処理」等の処理機能を別個独立して実行可能なもので、各ＰＯＳ端末２が登録処理した売上データを定期的に収集して売上集計を行ったり、各種の設定データを各ＰＯＳ端末２へ送信するＰＯＳ管理処理を行う他に、各種のカメラ３〜６から取得した撮影画像を解析して不正監視処理を行う。なお、この管理センタ１側には、ＰＯＳ管理処理用としてのデータベース群の他に、不正監視用としての後述するデータベース群および画像ファイル群が設けられている。
【００２４】
ＰＯＳ端末２は、顧客が買い上げた１取引分の商品を登録する精算処理を実行するもので、１取引分の登録終了時にレシートを発行する。
各種カメラ３〜６は、動画撮影を行うビデオカメラあるいは所定タイミング毎（例えば、０．５秒あるいは１秒毎）に連続撮影を行うスチールカメラであり、管理センタ１からの制御命令にしたがってその撮影開始／停止が制御されると共に、この各種カメラ３〜６によって撮影された撮影画像（カラー画像）は、管理センタ１に転送されて画像解析される。
【００２５】
図２は、店舗内の一部に配置されているカメラの配置状態を示した図である。
すなわち、商品陳列棚８によって仕切られた通路９には、その一端方向から通路全体を撮影する通路監視カメラ５が配置されている。なお、通路９の床面には、顧客位置や商品陳列位置を確認する為の床マーカＭがペインティングされており、通路監視カメラ５によって撮影された撮影画像の中に含まれている床マーカＭを基準として、顧客が通路内のどのエリアに居るかを認識したり、その顧客が取り出した商品は、どのエリアに陳列されていたか認識可能としている。また、通路９の両側には、商品陳列エリアＡ１、Ａ２、‥‥毎にそのエリア全体を前方方向から撮影する商品監視カメラ６が配置されている。
【００２６】
図３は、顧客の行動（商品の取り出し）を複数台のカメラによって監視することを説明する為の図である。
ここで、何れかの商品陳列エリアの前面に居る顧客Ｘは、通路監視カメラ５によってその横方向から撮影されると共に、その商品陳列エリア対応の商品監視カメラ６によって顧客の背後方向から撮影される。つまり、顧客の行動は、少なくとも２台のカメラによって監視されており、管理センタ１は、各カメラから取得した撮影画像を解析することによって商品陳列エリア付近に顧客が存在しているか否かを認識し、商品陳列付近に顧客が居る場合には、その解析結果にしたがって顧客の手の動きを監視し、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識するようにしている。
この場合、図示の例では、商品陳列エリアＡ１付近に居る顧客Ｘは、通路監視カメラ５の他に、２台の商品監視カメラ６（顧客の後方に配置されている商品監視カメラ６と横方向に配置されている商品監視カメラ６）によってその顧客の手の動きが監視される。
【００２７】
図４は、管理センタ１側に設けられている陳列商品管理データベース１１の構成を示した図である。
この陳列商品管理データベース１１は、販売対象である全商品の陳列位置を管理する為にその商品陳列エリア毎に、どの商品が何処に陳列されているかを記憶する構成となっている。つまり、陳列商品管理データベース１１は、商品陳列エリアＡ１、Ａ２、‥‥毎に、そのエリアを識別する為の「エリアＮｏ」と、エリア毎に陳列されている商品毎に、その商品を識別する為の「商品コード」および「陳列位置」とを記憶する構成となっている。この場合、管理センタ１は、顧客が商品を取り出した際に、その撮影画像を解析することによって商品陳列位置を特定すると共に、この陳列位置に基づいて陳列商品管理データベース１１を検索して当該商品を不正監視の対象商品として特定してその商品コードを読み出すようにしている。
【００２８】
図５（Ａ）は、管理センタ１側に設けられている商品監視データベース１２の構成を示した図である。
この商品監視データベース１２は、顧客が商品を取り出した際にその顧客に関する情報と商品に関する情報とを対応付けた監視レコードを記憶管理するもので、顧客が取り出した商品は、不正監視対象の商品としてその顧客に対応付けて記録される。すなわち、この商品監視データベース１２は、商品を取り出した顧客画像をアクセスする為の「顧客画像Ｎｏ」と、取り出し商品の「商品コード」および「個数」を記憶すると共に、精算時において当該商品が正規に登録された際にセットされる「登録済みフラグ」とを記憶する構成となっている。
なお、顧客の退場時においてその顧客に関する全ての監視レコードを商品監視データベース１２内から削除するようにしている為、この商品監視データベース１２は、現在、店舗内に居る顧客に関する監視レコードのみを記録するようにしている。
【００２９】
図５（Ｂ）は、管理センタ１側に設けられている顧客画像ファイル群１３を示した図である。
この場合、１人の顧客が商品を取り出す毎に、その顧客の全身を撮影する他に、その顔画像を拡大撮影し、この全身画像と顔画像とを“対”にして顧客画像として顧客画像ファイル群１３内に保存するようにしている。その際、同一顧客が商品を取り出す毎に撮影された全ての顧客画像を保存せず、その顧客が入場してから退場するまでの間において顧客照合として最適な顧客画像のみを記憶管理するようにしている。つまり、顧客が入場してから最初に商品を取り出した際には、その時の顧客画像を保存するが、次に同一顧客が商品を取り出す際には、今回撮影された顧客画像と保存画像とを比較処理し、その結果、保存画像よりも今回の画像の方が顧客の特徴をより現している場合には、保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新するようにしている。
【００３０】
ここで、商品監視データベース１２内の「顧客画像Ｎｏ」は、上述のようにして更新された顧客画像（最適画像）ファイル群１３をアクセスする為の識別情報であり、管理センタ１は、顧客が入場してから最初に商品を取り出した際に「顧客画像Ｎｏ」を自動生成し、この「顧客画像Ｎｏ」を含む監視レコードを商品監視データベース１２内に新規登録するようにしている。
また、商品監視データベース１２内の「商品コード」は、顧客の手の動きに基づいて陳列商品がその位置から取り出されたことが認識された際に陳列商品管理データベース１１から読み出されたものである。つまり、管理センタ１は、商品が取り出された際に、その画像解析によってその商品の陳列エリアおよび陳列位置を特定すると共に、この陳列エリアおよび陳列位置に基づいて陳列商品管理データベース１１から読み出した「商品コード」を当該「顧客画像Ｎｏ」対応の監視レコード内にセットする。また、商品監視データベース１２内の「個数」は、同一商品の取り出した個数を示している。この場合、商品を取り出した後においても顧客の手の動きを画像解析し、商品が戻された場合には、その戻された商品個数を認識し、実際に取り出された個数だけをセットするようにしている。
【００３１】
図６は、ＰＯＳ端末２側に設けられている売上データ合計器２１の構成を示した図である。
この売上データ合計器２１は、商品別の売上合計等を記憶管理するもので、商品毎に「商品コード」、「単価」、「売上個数」、「その他」の項目を有した通常の構成となっている。ここで、ＰＯＳ端末２は、顧客が買い上げた１取引分の商品を登録する精算処理を行うが、その際、ＰＯＳ端末２側に備えられている後述の精算顧客カメラによって精算時に撮影された顧客画像を管理センタ１へ転送する他に、１取引分の登録終了時には、精算終了通知を管理センタ１へ送信するようにしている。
【００３２】
この場合、管理センタ１とＰＯＳ端末２との間では次のようなやり取りを行うようにしている。すなわち、管理センタ１は、ＰＯＳ端末２から送信されて来た精算顧客画像に基づいて画像ファイル群１３を検索し、該当する「顧客画像Ｎｏ」を取得すると共に、この「顧客画像Ｎｏ」に基づいて商品監視データベース１２を検索し、この「顧客画像Ｎｏ」対応の各監視レコードから監視対象商品である各「商品コード」および「個数」を読み出してＰＯＳ端末２へ送信する。ＰＯＳ端末２は、監視対象商品と登録済み商品とを商品毎に比較し、その結果を管理センタ１へ送信する。管理センタ１は、監視対象商品が登録済みであれば、当該商品対応の監視レコード内に「登録済みフラグ」をセットして、登録済み商品を監視対象外とする。その後、管理センタ１は、ＰＯＳ端末２から精算終了通知を受取った際に、「登録済みフラグ」を参照して未登録商品があるかを判別し、未登録商品があれば、そ旨をＰＯＳ端末２へ通知する。ＰＯＳ端末２は、この未登録通知を受けた際に、不正持ち出しの可能性が有ると判断してその旨を報知する出力処理を行う。
【００３３】
このような不正持出報知は、精算時の他に、精算を行わずに、そのまま退場しようとした顧客に対しても行うようにしている。つまり、管理センタ１は、顧客の退場時に出口監視カメラ４によって撮影された退場者画像を取得し、この退場者画像に基づいて商品監視データベース１２を検索し、その顧客に対応付けられている監視対象商品の全てが登録済みであるか否かを判別し、１つでも未登録商品があれば、不正持ち出しの可能性が有ると判断してその旨を警備員所持の携帯端末７へ通知して不正報知を行うようにしている。
【００３４】
図７は、管理センタ１側に設けられているブラックリスト１４の構成を示した図である。
このブラックリスト１４は、過去に商品を不正に持ち出そうとした不正者を管理する為の不正者リストであり、不正が行われる毎に、その「不正日付」と、不正者を撮影した不正者画像をアクセスする為の「顧客画像Ｎｏ」と、不正に持ち出そうとした商品の「商品コード」、その商品が陳列されている「陳列エリア」および「陳列位置」の各項目を記憶する構成となっている。つまり、精算時に一部の商品を隠し持って持ち出そうとした顧客あるいは精算を行わずにそのまま退場しようとした顧客に関する情報とその商品に関する情報とを対応付けて記憶管理するもので、管理センタ１は、ブラックリスト１４の出力指示に応じてその内容を集計処理してリスト印刷を行うようにしている。
また、管理センタ１は、入口監視カメラ３によって撮影された入場者画像に基づいてブラックリスト１４を検索し、過去に不正を行った顧客が再入場した場合には、その旨を警備員所持の携帯端末７へ通知して注意報知を行うようにしている。
【００３５】
図８は、管理センタ１を構成する機能別の各データ処理装置、つまり、「商品監視処理」、「センタ応答処理」、「退場者監視処理」、「入場者監視処理」等の処理機能に対応するデータ処理装置のうち、その１つのデータ処理装置の基本的な構成要素を示したブロック図である。
ＣＰＵ１０１は、記憶装置１０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのデータ処理装置の全体動作を制御する中央演算処理装置である。記憶装置１０２は、プログラム記憶領域とデータ記憶領域とを有し、このプログラム記憶領域内には、オペレーティングシステムの他に、各種のアプリケーションプログラムが格納され、また、データ記憶領域には、上述したデータベース群や画像ファイル群等が格納され、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。この記録装置１０２はハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。
【００３６】
この記憶装置１０２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）１０３にロードされたり、ＲＡＭ１０３内のデータが記憶装置２にセーブされる。なお、ＲＡＭ１０３内には、プログラム実行領域と作業領域とを有している。更に、ＣＰＵ１０１は通信装置１０４を介して他の電子機器側のプログラム／データを直接アクセスして使用したり、通信装置１０４を介してダウンロード受信することもできる。通信装置１０４は、有線／無線の通信インターフェイスである。一方、ＣＰＵ１０１にはその入出力周辺デバイスである入力装置１０５、表示装置１０６、印字装置１０７がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１０１はそれらの動作を制御する。
【００３７】
なお、入力装置１０５はキーボードやタッチパネルあるいはマウスやタッチ入力ペン等のポインティングデバイスを構成する操作部であり、文字列データや各種コマンドを入力する。表示装置１０６は、例えば、液晶表示素子やＣＲＴあるいはプラズマ表示装置などであり、入力された売上データ等を表示すると共に、各種のメッセージ表示を行う。印字装置１０７は、例えば、熱転写やインクジェットなどのノンインパクトプリンタあるいはドットインパクトプリンタであり、例えば、売上集計レポートやブラックリストを印字発行する。
なお、入力装置１０５、表示装置１０６、印字装置１０７は、そのデータ処理装置の機能に応じて設けられたものである。
【００３８】
図９は、ＰＯＳ端末２の基本的構成要素を示したブロック図である。
ＰＯＳ端末２は、管理センタ１と同様の構成要素としてＣＰＵ２０１、記憶装置２０２、ＲＡＭ２０３、通信装置２０４、入力装置２０５、表示装置２０６、印字装置２０７の他に、精算顧客カメラ２０８が設けられ、更に、入力装置２０５には、登録モード、設定モード、点検モード等を切り換えるモードスイッチ、商品登録キー、１取引分の登録終了時に操作される現金キー等の締めキー、テンキー等を有し、顧客が買い上げた１取引分の商品を登録する精算処理を実行するもので、１取引分の登録終了時にレシートを発行する。精算顧客カメラ２０８は、端末本体に取り付けられ、顧客側に指向するもので、精算時（１取引分の登録開始時）に顧客の正面方向からその顔画像と共に全身画像を撮影すると、この顧客画像は管理センタ１へ転送される。
【００３９】
次に、この実施形態における店舗内システムの動作概念を図１０〜図１６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００４０】
図１０および図１１は、管理センタ１が常時実行する商品監視処理を示したフローチャートである。
先ず、管理センタ１は、複数台の通路監視カメラ５からの撮影画像を取得して（ステップＡ１）、画像解析を行い（ステップＡ２）、商品陳列付近に顧客が居るかをチェックする（ステップＡ３）。この場合、通路撮影画像の中に人物像が写っており、しかも、人物像の位置が商品陳列付近であれば、商品をその陳列位置から取り出される可能性がある為に、この顧客位置付近に設置されている１台あるいは複数台の商品監視カメラ６からの撮影画像を取得し（ステップＡ４）、通路監視カメラ５および商品監視カメラ６によって顧客の背後方向や横方向等から撮影された各撮影画像を照らし合わせながら顧客の手の動きを立体的（３次元的）に解析する（ステップＡ５）。
【００４１】
この解析結果にしたがって顧客の手が商品陳列方向に伸びて商品位置に近づいたかをチェックすると共に（ステップＡ６）、顧客が商品を取り出したかをチェックする（ステップＡ７）。この場合、手に商品を持っていれば、確実に取り出したと認識することができるが、商品を掴み込んでいるような状態、例えば、小さい商品を手の平に隠し持っているような不自然に状態であれば、万引きの可能性が極めて高い為、商品を取り出したものと認識するようにしている。このように手の動きを解析する際には、手の平部分を拡大撮影し、その拡大画像に基づいて商品が取り出されたかをチェックするようにしている。
【００４２】
いま、顧客が商品を見ているだけで取り出さなかった場合には、ステップＡ３に戻って商品陳列付近に顧客が居るかをチェックするが、顧客の手が商品陳列位置に近づいて商品を取り出した場合には、その商品の陳列エリアおよび陳列位置を特定する（ステップＡ８）。この場合、撮影画像内の床マーカＭを基準として、この基準位置からの距離等を考慮して、顧客位置およびその商品の陳列エリア、陳列位置を特定するようにしている。そして、撮影画像の解析によって取り出した商品の個数を特定する（ステップＡ９）。この場合、顧客の手の動きを監視し続けており、１度に同一商品を複数取り出した場合や同一商品を何回にも分けて取り出した場合には、その取り出し個数を特定する。更に、顧客の手の動きを監視し続け、その商品が戻されたかをチェックし（ステップＡ１０）、商品が戻された場合には、その個数を特定する（ステップＡ１１）。以下、顧客が商品陳列付近から立ち去ったかをチェックし（ステップＡ１２）、その顧客が立ち去るまでステップＡ６に戻って上述の動作を繰り返す。
【００４３】
ここで、その顧客が商品陳列付近から立ち去った場合には（ステップＡ１２）、取り出された商品個数から戻された商品個数を減算することによって実際に取り出された商品の個数（実商品数）を求める（図１１のステップＡ１３）。そして、この実商品数が“１”以上であるか否かをチェックする（ステップＡ１４）。いま、商品を取り出さずに立ち去った場合には、実商品数が“０”であるから、図１０のステップＡ１に戻るが、商品を取り出した場合には、実商品数は“１”以上であるから、以下、その商品を監視対象商品として、商品監視データベース１２内に記録する処理に移る（ステップＡ１５〜Ａ２６）。
【００４４】
先ず、顧客が商品陳列位置に近づいてから立ち去るまでの間に撮影された各顧客画像の中からその顧客の特徴を最も良く現している画像（顔画像および全身画像）を抽出する（ステップＡ１５）。そして、この抽出画像に基づいて顧客画像ファイル群１３をアクセスし、該当する顧客画像の有無をチェックする（ステップＡ１６）。その際、撮影画像との特徴比較を行う。つまり、撮影画像の中から特徴部分を抽出して特徴比較を行うが、その際、撮影画像の顔の向き、大きさを補正した後、顔の輪郭、目、口、鼻、額等の形、位置、大きさ等を比較する。ここで、顧客の顔画像を比較する他、性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色を総合的に比較して顧客特定を行う。つまり、顔画像だけで顧客を特定することができなかった場合には、身長、体型、衣服、髪型等の他の要素も考慮して画像比較を総合的に行う。なお、このような顧客画像の比較処理は、以下の処理においても同様に行われる。
【００４５】
これによって該当顧客が無ければ（ステップＡ１６）、新規入場顧客として判断し、「顧客画像Ｎｏ」を新規生成すると共に（ステップＡ１７）、今回の抽出画像に「顧客画像Ｎｏ」を付加して顧客画像ファイル群１３内に新規保存する（ステップＡ１８）。一方、該当顧客が有れば（ステップＡ１６）、顧客画像ファイル群１３内から当該顧客対応の保存画像を取得し（ステップＡ１９）、今回の抽出画像と保存画像とを比較し、保存画像よりも今回の抽出画像の方が顧客の特徴をより現している場合には（ステップＡ２０）、この保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新する（ステップＡ２１）。この場合、顧客の特徴をより現している画像として顧客の正面方向から撮影した顔画像および全身画像が最適画像となる。
【００４６】
そして、上述の図１０のステップＡ８で特定した取り出し商品の陳列エリアおよび陳列位置に基づいて陳列商品管理データベース１１をアクセスし、該当する「商品コード」を読み出すと共に（ステップＡ２２）、上述のステップＡ１３で求められた実商品個数を読み出し（ステップＡ２３）、更に、新規生成した「顧客画像Ｎｏ」あるいは上書保存先の「顧客画像Ｎｏ」を読み出す（ステップＡ２４）。そして、「顧客画像Ｎｏ」、「商品コード」、「個数（実商品数）」を含む監視レコードを新規生成して（ステップＡ２５）、商品監視データベース１２に追加記録する（ステップＡ２６）。
以下、図１０のステップＡ１に戻り、上述の動作を繰り返す結果、同一顧客が商品を取り出す毎に、その監視レコードが生成されて商品監視データベース１２内に追加記録される。
【００４７】
図１２は、ＰＯＳ端末２における売上データを登録して精算する精算処理を示したフローチャートである。
図１３は、ＰＯＳ端末２側での精算処理に応答して実行されるセンタ応答処理を示したフローチャートである。
先ず、ＰＯＳ端末２において、商品登録の開始かをチェックし（ステップＢ１）、１取引分の最初の登録操作が行われた場合には、精算顧客カメラ２０８を作動させて精算顧客画像を取得し（ステップＢ２）、この精算顧客画像を管理センタ１へ送信する（ステップＢ３）。この場合、顧客の正面方向から撮影した顔画像および全身画像を取得して送信する。
【００４８】
そして、通常の売上データ登録処理を行って、売上データ合計器２１の内容を更新すると共に（ステップＢ４）、その登録商品コードおよび登録個数を管理センタ１へ送信する（ステップＢ５）。以下、１取引分の登録を終了させる締めキーが操作されるまで（ステップＢ６）、売上データ登録処理および登録結果の送信処理を繰り返す（ステップＢ４〜Ｂ６）。ここで、締めキーが操作された場合には、当該取引分の精算終了通知を管理センタ１へ送信する（ステップＢ７）。
【００４９】
一方、管理センタ１側においては、ＰＯＳ端末２からの精算顧客画像を受信すると（ステップＣ１）、この精算顧客画像に基づいて顧客画像ファイル群１３を検索して該当顧客を特定すると共に（ステップＣ２）、特定顧客対応の「顧客画像Ｎｏ」を読み出して商品監視データベース１２をアクセスし、この「顧客画像Ｎｏ」対応の監視レコードを全て抽出しておく（ステップＣ３）。
この状態において、管理センタ１は、ＰＯＳ端末２から送信されて来た登録商品コードおよび登録個数を受信すると（ステップＣ４）、上述の各抽出レコードの中から当該登録商品コード対応のレコードをアクセスして該当商品が存在するかをチェックし（ステップＣ５）、該当商品が有れば、そのレコード内の個数と登録個数とを比較して、両者が一致するかをチェックする（ステップＣ６）。この結果、該当商品があり、しかもその個数が一致していれば、当該レコード内に「登録済みフラグ」をセットする（ステップＣ７）。そして、ＰＯＳ端末２から送信されて来る精算終了通知を受信したかをチェックし（ステップＣ８）、精算終了通知を受信するまでステップＣ４に戻り、以下、上述の動作を繰り返す（ステップＣ４〜Ｃ８）。
【００５０】
管理センタ１は、ＰＯＳ端末２から送信されて来た精算終了通知を受信すると（ステップＣ８）、各抽出レコード内の「登録済みフラグ」を参照し、全商品分の登録が完了したかをチェックする（ステップＣ９）。この結果、１商品でも未登録商品が存在していれば、当該レコード内には「登録済みフラグ」がセットされていないので、未登録商品に関する情報（商品名および未登録数）を特定し（ステップＣ１０）、未登録商品に関する情報と共に未登録商品有り通知をＰＯＳ端末２に対して送信する（ステップＣ１１）。
【００５１】
ここで、ＰＯＳ端末２は、精算終了後において（ステップＢ７）、管理センタ１から未登録商品有り通知を受取ると（ステップＢ８）、不正持ち出しの可能性が有ると判断してその旨を報知する（ステップＢ９）。つまり、未登録商品有りを示す案内メッセージと共に未登録商品に関する情報（商品名、未登録数）を表示出力させると共に、レシート用紙に未登録商品に関する情報を印字出力させて不正確認レシートを発行させる。この場合、オペレータは、不正確認レシートを顧客に提示してその旨を伝え、不正有無の確認を行い、一部の商品の精算忘れなのか、故意に商品を隠し持っていたのかを顧客の態度や応答の仕方によって判断する。ここで、故意であると判断した場合には、不正者発見用のキーを操作すると（ステップＢ１０）、管理センタ１へ不正者発見の通知を送信するが（ステップＢ１１）、過失であること判断した場合には、その商品分を次の取引分として新たな登録操作を行う（ステップＢ１）。
【００５２】
管理センタ１は、不正者発見通知を受け取ると（ステップＣ１２）、警備員所持の携帯端末７へ不正者発見通知を行う他に（ステップＣ１３）、必要事項をブラックリスト１４へ登録する処理を行う（ステップＣ１４〜Ｃ１６）。すなわち、当該顧客対応の「顧客画像Ｎｏ」に基づいて商品監視データベース１２から未登録商品の「商品コード」を取得すと共に、この「商品コード」に基づいて陳列商品管理データベース１１をアクセスしてその商品対応の「陳列エリアＮｏ」、「陳列位置」を取得し、更に現在の日付を「不正日付」として取得する（ステップＣ１４）。そして、「不正日付」、「顧客画像Ｎｏ」、「商品コード」、「陳列エリアＮｏ」、「陳列位置」を含むブラックリストレコードを生成して（ステップＣ１５）、ブラックリスト１４へ追加登録する（ステップＣ１６）。
【００５３】
図１４は、顧客の退場に伴って管理センタ１が実行する退場者監視処理を示したフローチャートである。
先ず、管理センタ１は、出口監視カメラ４によって撮影された撮影画（退場者画像）を取得し（ステップＤ１）、その画像解析によって退場者の有無をチェックし（ステップＤ２）、退場者が居れば、この退場者画像に基づいて顧客画像ファイル群１３をアクセスして該当顧客の画像を特定すると共に（ステップＤ３）、特定顧客対応の「顧客画像Ｎｏ」を読み出し（ステップＤ４）、この「顧客画像Ｎｏ」に基づいて商品監視データベース１２をアクセスし、この「顧客画像Ｎｏ」対応の各監視レコードを全て抽出する（ステップＤ５）。
【００５４】
そして、各抽出レコード内の「登録済みフラグ」を参照し、１商品分でも未登録商品が有るかをチェックする（ステップＤ６）。この場合、精算を行わずに退場しようとした顧客は不正者とみなし、上述の場合と同様、警備員所持の携帯端末７へ不正者発見通知を行うと共に（ステップＤ７）、必要事項をブラックリスト１４へ登録する処理を行う（ステップＤ８）。
一方、未登録商品が１商品も無ければ（ステップＤ６）、「顧客画像Ｎｏ」に対応して抽出された各監視レコードを商品監視データベース１２から削除する（ステップＤ９）。これによって、商品監視データベース１２の内容は、現在、店舗内に居る顧客に関する監視レコードのみとなる。
【００５５】
図１５は、顧客の入場に伴って管理センタ１が実行する入場者監視処理を示したフローチャートである。
先ず、管理センタ１は、入口監視カメラ３によって撮影された撮影画像（入場者画像）を取得し（ステップＥ１）、その画像解析によって入場者の有無をチェックし（ステップＥ２）、入場者が居れば、この入場者画像に基づいて顧客画像ファイル群１３をアクセスして該当顧客の画像を特定すると共に（ステップＥ３）、特定顧客対応の「顧客画像Ｎｏ」を読み出し（ステップＥ４）、この「顧客画像Ｎｏ」に基づいてブラックリスト１４をアクセスし、該当する「顧客画像Ｎｏ」の有無に基づいて過去に不正を行った不正者が入場したかをチェックする（ステップＥ５）。ここで、リスト登録されている不正者が入場した場合には、不正者入場通知を警備員所持の携帯端末７へ送信して注意報知を行う（ステップＥ６）。
【００５６】
図１６は、ブラックリスト１４の内容を出力すべきことが指示された際に管理センタ１が実行するブラックリスト出力処理を示したフローチャートである。
先ず、管理センタ１は、リスト内容を所望の集計内容にしたがって出力すべきことを指示する為の集計対象項目の入力を受け付ける（ステップＦ１）。ここで、例えば、商品別集計、陳列エリア別集計等のように任意の集計対象項目が入力されると、集計対象項目を判別し（ステップＦ２）、この集計対象項目に基づいてブラックリスト１４の内容を集計処理する（ステップＦ３）。そして、この集計結果を表示出力させると共に（ステップＦ４）、その印字指示を受けた場合には（ステップＦ５）、この集計結果を所定のフォーマットで印字させて集計レポートを発行させる（ステップＦ６）。
【００５７】
以上のように、この実施形態において店舗内システムを構成する管理センタ１は、陳列商品がその位置から取り出された際に、通路監視カメラ５、商品監視カメラ６によって撮影された撮影画像に基づいて当該商品を監視対象商品として特定することによって得られた商品コードと、商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて商品監視データベース１２内に記憶管理しておき、ＰＯＳ端末２側において１取引分の商品を登録する精算時に当該顧客が撮影された際に、この顧客画像に対応付けられている監視対象商品の商品コードと登録済み商品の商品コードとを比較することによって登録済み商品を監視対象外として処理するが、全ての商品が監視対象外とならず、監視対象商品が有る場合には、不正持ち出しの可能性が有ると判断してその旨を報知するようにしたから、商品が不正に持ち出されるかを撮影画像に基づいて自動監視することができ、万引き防止策として面倒な作業を必要としたり、人手を要することなく不正監視が可能となる他、不正持ち出しされる個々の商品を具体的に指摘することができる等、実用的効果の高い不正監視システムを提供することが可能となる。
【００５８】
この場合、ＰＯＳ端末２は１取引分の登録終了時に未登録商品（監視対象商品）があれば、不正持ち出しの可能性が有る旨を報知するようにしたから、一部の商品の精算忘れの場合（過失）や隠し持っている場合（故意）、１取引分の登録終了時にその旨を指摘することができ、故意過失を問わず、未精算商品の持ち出しを確実に防止することが可能となる。
また、管理センタ１は、顧客が退場する際に、未登録商品（監視対象商品）があれば、不正持ち出しの可能性が有る旨を報知するようにしたから、店から退場する寸前にその顧客を引き止めることができる他、会計（精算）を通さずに退場する顧客を不正者としてみなすことができる。
【００５９】
また、管理センタ１は、商品陳列付近を撮影した撮影画像を解析することによって顧客の手の動きを監視し、商品が取り出されたかを認識するようにしたから、商品の取り出しを画像解析という新たな手法によって検知することができると共に、商品が取り出される毎にその商品の特定も可能となる。
この場合、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する際に、複数台のカメラによって撮影された各撮影画像を照らし合わせることによって商品が取り出されたかを認識するようにしたから、例えば、顧客の背後・横・正面、上方向等、様々な方向から撮影した各撮影画像を照らし合わせて顧客の手の動き監視することができ、商品の取り出しをより確実に検知することが可能となる。
【００６０】
この場合、陳列商品がその位置から取り出された際に、取り出された商品を監視対象として特定する他に、同一商品が１度にあるいは別々に複数個取り出されたとしても、その個数を特定しておき、精算時に監視対象商品のうち登録された個数分を監視対象外とするようにしたから、例えば、複数の同一商品のうち、その一部だけを精算し、他の商品を隠し持っている場合でも、それを監視することができ、確実な不正監視が可能となる。
また、商品を取り出したり、戻したり思案中の手の動きを監視し、商品が戻された場合には、その商品を監視対象外とするようにしたから、実際に取り出された商品のみを監視対象商品として特定することができる。
【００６１】
更に、各顧客画像を比較する際に、顧客の顔画像の他に、性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色を含めて総合的に解析することによって画像比較を行うようにしたから、確実な顧客認識が可能となり、誤認識によって正規な顧客に不愉快な思いをさせることを防止することができる。
また、監視対象商品に対応付けて保存される顧客画像を顧客の特徴をより現している最適画像に自動的に更新するようにしたから、同一顧客が商品を取り出す毎に撮影された各顧客画像を全て保存する必要が無くなると他に、精算時等において画像比較によって顧客照合を行う際に、その照合を確実に行うことが可能となる。
【００６２】
一方、管理センタ１は、過去に商品を不正に持ち出した不正者を撮影した不正者画像をブラックリスト１４に登録しておき、顧客を撮影した顧客画像に基づいてブラックリスト１４を検索し、その顧客が不正者に該当するか場合には、その旨を報知するようにしたから、過去に不正を行った不正者を撮影画像に基づいて自動監視することができ、人手を要さずに常習的な不正者を効果的に監視してその取り締まりが可能となる等、実用性の高い不正監視システムを提供することが可能となる。この場合、入場者画像に基づいてブラックリスト１４を検索するようにしたから、不正者を入場時に検知することができる。その際、顧客が過去に不正を行った不正者であることが判別された場合に、警備員所持の携帯端末７へ注意報知を行うようにしたから、警備員による追跡監視が可能となる。
【００６３】
また、不正者画像をブラックリスト１４に登録する他に、その商品に関する各種の情報をブラックリスト１４に登録し、このブラックリスト１４の出力が指示された際に、商品に関する情報に基づいてブラックリスト１４の内容を指定された項目別に集計すると共に、その集計結果を出力するようにしたから、例えば、どの商品、どの棚位置が万引きされ易いか等を判断可能とする万引き対策用の資料を容易に入手することができる。
【００６４】
なお、上述した実施形態においては、各種のカメラ装置として、入口監視カメラ３、出口監視カメラ４、通路監視カメラ５、商品監視カメラ６を常時作動させるようにしたが、入口監視カメラ３によって顧客の入場が検知され、店内に顧客が居る場合に限って他のカメラを作動させるようにしてもよい。また、機能別に通路監視カメラ５と商品監視カメラ６とを分けたが、それらの機能を兼用するようにしてもよい。
また、陳列商品管理データベース１１は、商品陳列エリ毎に商品を識別する為の「商品コード」を記憶する構成としたが、「商品コード」に代わって商品の種類を示す商品「分類コード」あるいは商品の陳列位置を示す「位置コード」等を記憶するものであってもよい。つまり、取り出し商品の特定は、商品の種類やその陳列位置であってもよい。
【００６５】
上述した実施形態においては、商品の不正持ち出しを警備員所持の携帯端末７へ通知するようにしたが、その他に、各店員が所持している携帯端末へ通知するようにしてもよく、更に、警備員が待機している警備システム側へ通知するようにしてもよい。
また、上述した実施形態においては、顧客が過去に不正を行った不正者が入場した際に、警備員所持の携帯端末７へ注意報知を行うようにしたが、例えば、監視カメラによってその不正者を追跡監視するようにしてもよい。つまり、入場者が過去に不正を行った者であれば、その撮影画像に基づいて不正者を特定し、複数台の監視カメラによって店内を移動する不正者を追跡監視してモニタ表示するようにすれば、常習的な不正者の行動を監視することが可能となる。
【００６６】
その他、上述した実施形態においては、精算時に撮影された顧客画像に対応付けられている監視対象商品の商品コードと登録済み商品の商品コードとを比較して登録済み商品を監視対象外とする処理を管理センタ１側で行うようにしたが、この処理をＰＯＳ端末２側が行うようにしてもよい。
上述した実施形態においては、構内通信システムに適用した場合を示したが、例えば、コンビニエンスストア等において、広域通信回線を介して複数の支店間と本部側の管理センタとを接続した広域通信システムにも勿論、適用可能である。この場合、管理センタは、各支店毎に撮影された撮影画像を取得して不正監視を行えばよい。また、ブラックリストを各支店共通の資料として活用し、何れかの支店で過去に不正を行った者が他の支店に入場した際に、その旨を報知するようにしてもよい。
【００６７】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、各商品の陳列位置に対応してその商品の識別情報を記憶管理する機能と、陳列商品がその位置から取り出された際に、その陳列位置に基づいて当該商品を監視対象として特定する機能と、特定された監視対象商品の識別情報と、陳列商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて記憶管理する機能と、顧客が買い上げた１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に対応付けられている監視対象商品の識別情報と登録済み商品の識別情報とを比較することによって登録済み商品を監視対象外とする機能と、監視対象商品が全て監視対象外となったかを顧客毎に判別する機能と、監視対象商品が存在していることが判別された場合に、不正持ち出しの可能性が有ると判断してその旨を報知する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００６８】
また、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、過去に商品が不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録する機能と、顧客を撮影した顧客画像に基づいて前記不正者リストを検索し、その顧客が不正者に該当するかを判別する機能と、顧客が過去に不正を行った不正者であることが判別された場合には、その旨を報知する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００６９】
【発明の効果】
第１の発明（請求項１記載の発明）によれば、陳列商品がその位置から取り出された際に、その商品を監視対象商品として特定することによって得られた商品識別情報と、商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて記憶管理しておき、１取引分の商品を登録する精算時において当該顧客を撮影すると共に、この顧客画像に対応付けられている監視対象商品の識別情報と登録済み商品の識別情報とを比較することによって登録済み商品を監視対象外として処理するが、全ての商品が監視対象外とならず、監視対象商品が有る場合には、不正持ち出しの可能性が有ると判断してその旨を報知するようにしたから、商品が不正に持ち出されるかを撮影画像に基づいて自動監視することができ、万引き防止策として面倒な作業を必要としたり、人手を要することなく不正監視が可能となる他、不正持ち出しされる個々の商品を具体的に指摘することができる等、実用的効果の高い不正監視システムを提供することが可能となる。
第２の発明（請求項１０記載の発明）によれば、過去に商品を不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録しておき、顧客を撮影した顧客画像に基づいて不正者リストを検索し、その顧客が不正者に該当するか場合には、その旨を報知するようにしたから、過去に不正を行った不正者を撮影画像に基づいて自動監視することができ、人手を要さずに常習的な不正者を効果的に監視してその取り締まりが可能となる等、実用的効果の高い不正監視システムを提供することが可能となる。
【図面の簡単な説明】
【図１】店舗内システムの全体構成を概念的に示したブロック図。
【図２】店舗内の一部に配置されているカメラの配置状態を示した図。
【図３】顧客の行動（商品の取り出し）を複数台のカメラによって監視することを説明する為の図。
【図４】管理センタ１側に設けられている陳列商品管理データベース１１の構成を示した図。
【図５】（Ａ）は、管理センタ１側に設けられている商品監視データベース１２の構成を示した図、（Ｂ）は、管理センタ１側に設けられている顧客画像ファイル群１３を示した図。
【図６】ＰＯＳ端末２側に設けられている売上データ合計器２１の構成を示した図。
【図７】管理センタ１側に設けられているブラックリスト１４の構成を示した図。
【図８】管理センタ１を構成する機能別の各データ処理装置のうち、その１つのデータ処理装置の基本的な構成要素を示したブロック図。
【図９】ＰＯＳ端末２の基本的構成要素を示したブロック図。
【図１０】管理センタ１が常時実行する商品監視処理を示したフローチャート。
【図１１】図１０に続く、商品監視処理を示したフローチャート。
【図１２】ＰＯＳ端末２における売上データを登録して精算する精算処理を示したフローチャート。
【図１３】ＰＯＳ端末２側での精算処理に応答して実行されるセンタ応答処理を示したフローチャート。
【図１４】顧客の退場に伴って管理センタ１が実行する退場者監視処理を示したフローチャート。
【図１５】顧客の入場に伴って管理センタ１が実行する入場者監視処理を示したフローチャート。
【図１６】ブラックリスト１４の内容を出力すべきことが指示された際に管理センタ１が実行するブラックリスト出力処理を示したフローチャート。
【符号の説明】
１管理センタ
２ＰＯＳ端末
３入口監視カメラ
４出口監視カメラ
５通路監視カメラ
６商品監視カメラ
７警備員所持の携帯端末
８商品陳列棚
９通路
１１陳列商品管理データベース
１２商品監視データベース
１３顧客画像ファイル群
１４ブラックリスト
２１売上データ合計器
１０１、２０１ＣＰＵ
１０２、２０２記憶装置
１０４、２０４通信装置
１０５、２０５入力装置
１０６、２０６表示装置
１０７、２０７印字装置
２０８精算顧客カメラ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a fraud monitoring system and a program for monitoring whether or not a displayed product is illegally taken out based on a photographed image, and for monitoring a fraudulent person who has illegally taken out a product in the past.
[0002]
[Prior art]
Generally, as a measure against shoplifting to prevent illegally taking out displayed products at a store, a camera for customer monitoring is arranged at each location in the store, and a staff member looks for a fraudulent person while looking at the monitor screen by the monitoring camera. However, it required a full-time staff and often overlooked it, and it was not perfect as a measure to prevent shoplifting.
Therefore, conventionally, there has been known an apparatus in which a tag for preventing shoplifting, which is called a sensing tag, is attached to each product in advance, and an unpaid product is detected at an exit (for example, see Patent Document 1). ).
[0003]
[Patent Document 1]
JP-A-2002-074286
[0004]
[Problems to be solved by the invention]
However, this type of sensing tag method works effectively as a measure to prevent shoplifting, but requires the work of attaching special tags to all the products to be sold in advance, and also requires the tag from the products at the time of settlement. Since special work such as removal of the garbage is required, special efforts are required on the shop side to prevent shoplifting, and improvements have been demanded.
[0005]
It is an object of the first invention to photograph a customer or a displayed product and automatically monitor whether the product is illegally taken out based on the captured image.
A second object of the present invention is to automatically monitor a customer who has photographed a customer and who has illegally taken out a product in the past based on the photographed image.
[0006]
[Means for Solving the Problems]
The invention according to claim 1 (first invention) is a fraud monitoring system that monitors whether a displayed product is illegally taken out based on a photographed image, and identifies the product in accordance with the display position of each product. Product information storage means for storing and managing information, and identification means for, when a displayed product is taken out from the position, searching the product information storage device based on the display position and specifying the product as a monitored product Monitoring information storage means for storing and managing the identification information of the monitoring target product specified by the specifying means in association with a customer image of the customer when the displayed product is taken out; At the time of settlement for registering the product for the transaction, the monitoring information storage unit is searched based on the customer image of the customer, and the identification information of the monitoring target product associated with the customer is registered. A settlement unit for comparing the registered product with the identification information of the completed product to exclude the registered product from the monitoring target; and for each customer, it is determined whether or not all the monitoring target products in the monitoring information storage unit have been excluded from the monitoring target by the settlement device. A discriminating means for discriminating, and a notifying means for notifying that there is a possibility of unauthorized removal when the discrimination means determines that the monitoring target product is present, and notifying the user of the possibility. is there.
Further, the present invention provides a computer with a program for realizing the main functions shown in the first aspect of the invention (the invention of the fourteenth aspect).
[0007]
Therefore, the invention according to claims 1 and 14 is characterized in that, when the displayed product is taken out from the position, the product identification information obtained by specifying the product as the monitored product and the product taken out The customer image is stored and managed in association with the customer image taken, and the customer is photographed at the time of settlement for registering the product for one transaction, and the monitoring target product associated with the customer image is identified. By comparing the information with the identification information of registered products, registered products are processed as non-monitored items, but if all products are not excluded from monitoring and there are monitored products, unauthorized removal is possible Since it is judged that there is sex, it is notified that it is, so it is possible to automatically monitor whether the product is illegally taken out based on the captured image, which is a troublesome work as a measure to prevent shoplifting It is possible to provide a fraud monitoring system with a high practical effect, such as being able to perform fraud monitoring without requiring or manpower, as well as being able to specifically point out individual products taken out fraudulently. Become.
[0008]
The invention described in claim 1 may be as follows.
The determination means determines whether or not all of the monitoring target products have been excluded from the monitoring target at the end of registration of one transaction. If the notification means determines that the monitoring target product exists, 1 At the end of the registration of the transaction, the user is notified that there is a possibility of unauthorized removal (the invention according to claim 2).
Therefore, according to the second aspect of the present invention, in addition to having the same effect as the first aspect of the present invention, when unregistered products (monitored products) remain at the end of registration of one transaction, The system informs the user that there is a possibility of fraudulent take-out, so if some of the goods have been forgotten to be settled (negligence) or hidden (intentional), this should be pointed out at the end of registration for one transaction. It is possible to reliably prevent unpaid products from being taken out regardless of intentional negligence.
[0009]
When the customer leaves, the determination unit searches the monitoring information storage unit based on the exiting person image of the exiting person, and determines whether all the monitoring target products corresponding to the customer have been excluded from monitoring. In the case where it is determined that the monitoring target product is present, the notifying unit notifies the unauthorized removal when the customer leaves the facility (the invention according to claim 3).
Therefore, according to the third aspect of the present invention, in addition to having the same effect as the first aspect of the invention, if there is an unregistered product (monitored product) when the customer leaves, it is possible to take it out illegally. The customer is notified that there is sex, so that the customer can be stopped immediately before leaving the store, and the customer who wants to leave without any accounting (payment) can be regarded as a fraudulent person .
[0010]
The identifying means recognizes whether or not a customer is present in the vicinity by analyzing a photographed image of the vicinity of the product display, and analyzes the photographed image when there is a customer in the vicinity of the product display. The movement of the customer's hand is monitored, and it is recognized based on the movement of the customer's hand whether the displayed product has been taken out of the position (the invention according to claim 4).
Therefore, according to the invention described in claim 4, in addition to having the same effect as the invention described in claim 1, the movement of the customer's hand is monitored by analyzing the photographed image photographing the vicinity of the commodity display, and Since it is recognized whether or not the product has been taken out, the taking out of the product can be detected by a new method called image analysis, and the product can be specified each time the product is taken out. When analyzing the movement of the hand, the palm portion may be photographed in an enlarged manner, and it may be recognized whether or not the product has been taken out based on the enlarged image, that is, whether or not the product has been grasped.
[0011]
In this case, when recognizing whether or not the displayed product has been taken out of the position based on the movement of the customer's hand, it is recognized whether or not the product has been taken out by comparing the images taken by the plurality of cameras. By doing so (the invention according to claim 5), for example, the movement of the customer's hand is illuminated by comparing the images taken from various directions (at least two directions) such as behind, side, front, and upward of the customer. Monitoring can be performed, and the removal of the product can be more reliably detected.
[0012]
The specifying means, when the displayed product is taken out from the position, in addition to specifying the taken-out product as a monitoring target, specifies the number of the product, and the monitoring information storage means, for each monitoring target product, The number is stored together and managed, and as a result of comparing the monitoring target product with the registered product, the settlement unit excludes the registered number of the monitoring target products from the monitoring target (the invention according to claim 6). .
Therefore, according to the invention of claim 6, in addition to having the same effect as the invention of claim 1, even if a plurality of the same products are taken out at once or separately, the number is specified, Since the registered number of monitored products is excluded from monitoring, for example, only some of the same products are settled, and even if other products are hidden, Monitoring can be performed, and reliable fraud monitoring can be performed.
[0013]
The invention according to claim 7, wherein the specifying unit monitors whether the displayed product is returned after the product is taken out of the position, and if the product is returned, excludes the product from monitoring. ).
Therefore, according to the seventh aspect of the present invention, in addition to having the same effect as the first aspect of the present invention, when the product is taken out or returned, the movement of the hand under consideration is monitored, and the product is returned. In this case, since the product is excluded from the monitoring target, only the actually extracted product can be specified as the monitoring target product.
[0014]
Each of the customer images is a full-body image of the entire customer, and when comparing the customer images, each characteristic element of the customer's gender, face, presence or absence of glasses, height, body type, clothing, hairstyle, and color Among them, at least the face image and other elements are comprehensively analyzed to perform image comparison (the invention according to claim 8).
Therefore, according to the invention described in claim 8, in addition to having the same effect as the invention described in claim 1, when comparing each customer image, in addition to the face image of the customer, gender, face, glasses, etc. Image comparison is performed by comprehensively analyzing at least one of presence, height, body type, clothing, hairstyle, and color. It is possible to prevent the customer from feeling unpleasant.
[0015]
When the customer first takes out the product after entering, the customer image at that time is stored in association with the monitored product, and when the same customer takes out the product, the customer image and the currently taken customer image are stored. If the image is compared with the image and, as a result, the current image shows more customer characteristics than the stored image, the current customer image is overwritten and stored instead of the stored image to save the customer image. Is updated to the optimum image (the invention according to claim 9).
Therefore, according to the ninth aspect of the present invention, in addition to having the same effect as the first aspect of the present invention, the customer image stored in association with the monitored product is an optimal image that more expresses the characteristics of the customer. Automatically updated, so that it is not necessary to save all customer images taken each time the same customer takes out the product.In addition, when performing customer verification by image comparison at the time of settlement, etc. The collation can be performed reliably.
[0016]
An invention according to claim 10 (a second invention) is a fraud monitoring system for monitoring whether a fraudulent person has taken out a displayed product based on a photographed image. Fraudulent person registering means for registering a photographed fraudulent image in a fraudulent list; determining means for searching the fraudulent list based on a customer image photographing a customer to determine whether the customer is a fraudulent person; If the determination unit determines that the customer is a fraudulent person who has committed fraud in the past, a notification unit is provided for notifying that fact.
Further, the present invention provides a computer with a program for realizing the main functions shown in the invention described in claim 10 (the invention described in claim 15).
[0017]
Therefore, according to the tenth and fifteenth aspects of the present invention, a fraudulent image of a fraudulent person who has taken out a product in the past is registered in a fraudulent list, and the fraudulent list is registered based on the customer image of the customer. And if the customer is a fraudulent person, that fact is notified, so that the fraudulent person who committed fraud in the past can be automatically monitored based on the captured image, It is possible to provide a fraud monitoring system with a high practical effect, for example, it is possible to effectively monitor a habitual fraudulent person and control it without the need.
[0018]
The invention according to claim 10 may be as follows.
A visitor image acquisition unit for acquiring an attendee image of the visitor is provided, and the determination unit searches a fraudster list based on the visitor image, and determines whether the visitor is a fraudulent person. (The invention according to claim 11).
Therefore, according to the eleventh aspect of the present invention, in addition to having the same effect as that of the tenth aspect of the present invention, the injustice list is searched based on the image of the visitors, so that the injustice is detected upon entry. For example, tracking and monitoring by a monitoring camera can be performed. In other words, if a visitor has committed a fraud in the past, the fraudulent behavior can be monitored by identifying the fraudulent person, tracking and monitoring with multiple surveillance cameras, and displaying it on a monitor. It is possible to do.
[0019]
The notification means, when it is determined that the customer is a fraudulent person who has committed fraud in the past, notifies the fact to a portable terminal possessed by a security guard to give a cautionary notice (the invention according to claim 12). .
Therefore, according to the twelfth aspect of the present invention, in addition to having the same effect as the tenth aspect of the present invention, a warning is issued to the mobile terminal carried by the guard, so that the guard can track and monitor. It becomes.
[0020]
In addition to registering a fraudulent image in a fraudulent list, the fraudulent person registration means registers various kinds of information on the product, and when an output of the fraudulent list is instructed, the fraudulent person is registered based on the information on the product. The contents of the user list are totalized and the totaling result is output (the invention according to claim 13).
Therefore, according to the thirteenth aspect of the present invention, in addition to having the same effect as the tenth aspect of the present invention, various information relating to the improper person image and the product thereof is registered in the improper person list, and the improper person list is output. When the user is instructed, the contents of the fraudulent person list are totaled based on the information about the product and the result of the totaling is output, so that it is possible to determine, for example, which product, which shelf position is likely to be shoplifted, etc. It is possible to easily obtain materials for countermeasures against shoplifting.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram conceptually showing the overall configuration of the in-store system in this embodiment.
The in-store system is, for example, a local communication system (LAN) built in a store such as a department store, a supermarket, and a shopping mall. This in-store system not only functions as a normal POS (point of sales) system, but also monitors whether or not a displayed product has been illegally taken out based on a photographed image, or has previously identified an unauthorized product. It functions as a fraud monitoring (shoplifting monitoring) system for monitoring whether or not a fraudulent person brought out to the factory has entered, and has a configuration centered on the management center 1.
[0022]
The management center 1 is connected to a plurality of POS terminals 2 via a wired LAN and various camera devices. That is, an entrance monitoring camera 3 installed on the entrance side for photographing a visitor from the front direction, an exit monitoring camera 4 installed on the exit side for photographing the exiting person from the front direction, It has a passage monitoring camera 5 installed for each passage to photograph the entire passage, and a product monitoring camera 6 disposed at various places in the store for photographing displayed products by area. , Is connected to the management center 1 via a wired LAN. Further, the management center 1 is connected to a portable terminal 7 carried by a security guard near an entrance or the like via a wireless LAN including an access point or the like.
[0023]
The management center 1 is an aggregate of a plurality of data processing devices provided for respective functions, and is described below as “commodity monitoring processing”, “center response processing”, “exiter monitoring processing”, “entry monitoring processing”. And other processing functions can be executed separately and independently. The sales data registered and processed by each POS terminal 2 is periodically collected and totaled, and various setting data is transmitted to each POS terminal 2. In addition to performing the POS management processing, it analyzes captured images obtained from various cameras 3 to 6 and performs fraud monitoring processing. The management center 1 has a database group and an image file group for fraud monitoring in addition to a database group for POS management processing.
[0024]
The POS terminal 2 executes a checkout process for registering a product for one transaction purchased by a customer, and issues a receipt at the end of registration for one transaction.
The various cameras 3 to 6 are video cameras for shooting moving images or still cameras for continuously shooting at predetermined timings (for example, every 0.5 seconds or 1 second), and the shooting is performed according to a control command from the management center 1. The start / stop is controlled, and the images (color images) captured by the various cameras 3 to 6 are transferred to the management center 1 and analyzed.
[0025]
FIG. 2 is a diagram showing an arrangement state of cameras arranged in a part of a store.
That is, the passage monitoring camera 5 that photographs the entire passage from one end thereof is disposed in the passage 9 partitioned by the product display shelves 8. A floor marker M for confirming a customer position or a product display position is painted on the floor of the passage 9, and the floor marker M included in the image captured by the passage monitoring camera 5 is included. Based on M, it is possible to recognize in which area in the aisle the customer is located, and in which area the product taken out by the customer is displayed. Also, on both sides of the passage 9, product monitoring cameras 6 for photographing the entire product display area A1, A2,.
[0026]
FIG. 3 is a diagram for explaining monitoring of a customer's behavior (product removal) using a plurality of cameras.
Here, the customer X in front of any product display area is photographed from the side by the passage monitoring camera 5 and from behind the customer by the product monitoring camera 6 corresponding to the product display area. . That is, the behavior of the customer is monitored by at least two cameras, and the management center 1 recognizes whether or not the customer is present in the vicinity of the product display area by analyzing the captured images acquired from each camera. If a customer is present near the product display, the movement of the customer's hand is monitored in accordance with the analysis result, and it is recognized whether the displayed product has been taken out of the position based on the movement of the customer's hand. I have.
In this case, in the illustrated example, the customer X in the vicinity of the product display area A1 has two product monitoring cameras 6 (a product monitoring camera 6 disposed behind the customer and a The movement of the customer's hand is monitored by the product surveillance camera 6) disposed in the customer.
[0027]
FIG. 4 is a diagram showing the configuration of the displayed product management database 11 provided on the management center 1 side.
The displayed product management database 11 is configured to store which products are displayed and where for each product display area in order to manage the display positions of all products to be sold. That is, the displayed product management database 11 identifies, for each product display area A1, A2, $, an "area No." for identifying the area and for each product displayed for each area, the product. And a "display code" and a "display position". In this case, when the customer takes out the product, the management center 1 analyzes the photographed image to specify the product display position, searches the displayed product management database 11 based on the display position, and searches the product display database. Is identified as a product to be monitored for fraud and its product code is read.
[0028]
FIG. 5A is a diagram showing a configuration of the product monitoring database 12 provided on the management center 1 side.
The merchandise monitoring database 12 stores and manages a monitoring record in which information on the customer is associated with information on the merchandise when the customer takes out the merchandise. It is recorded in association with the customer. That is, the product monitoring database 12 stores the “customer image No.” for accessing the customer image from which the product was taken out, the “product code” and “number” of the taken-out product, and the And a "registered flag" that is set when the information is registered in the.
When a customer leaves, all the monitoring records related to the customer are deleted from the product monitoring database 12, so that the product monitoring database 12 records only monitoring records related to the customer who is currently in the store. Like that.
[0029]
FIG. 5B is a diagram showing a customer image file group 13 provided on the management center 1 side.
In this case, every time one customer takes out a product, in addition to photographing the whole body of the customer, the face image is magnified and photographed, and the whole body image and the face image are paired to form a customer image as a customer image. It is stored in the file group 13. At that time, all the customer images taken each time the same customer takes out the product are not stored, and only the optimal customer image for customer verification is stored and managed between the time the customer enters and the time the customer leaves. ing. In other words, when the customer first takes out the product after entering, the customer image at that time is stored, but when the same customer takes out the product next time, the customer image and the stored image taken this time are stored. If the comparison result shows that the current image shows the characteristics of the customer better than the stored image, the customer image is overwritten and stored instead of the stored image, so that the customer image is optimized. To update.
[0030]
Here, “customer image No.” in the product monitoring database 12 is identification information for accessing the customer image (optimal image) file group 13 updated as described above, and the management center 1 A “customer image No.” is automatically generated when a product is first taken out after entering, and a monitoring record including the “customer image No.” is newly registered in the product monitoring database 12.
The “product code” in the product monitoring database 12 is read from the displayed product management database 11 when it is recognized that the displayed product is taken out of the position based on the movement of the customer's hand. is there. That is, when the product is taken out, the management center 1 specifies the display area and the display position of the product by image analysis, and reads out from the display product management database 11 based on the display area and the display position. "Product code" is set in the monitoring record corresponding to the "customer image No." The “number” in the product monitoring database 12 indicates the number of the same product taken out. In this case, even after the product is taken out, the movement of the customer's hand is image-analyzed, and when the product is returned, the number of returned products is recognized, and only the actually taken out number is set. I have to.
[0031]
FIG. 6 is a diagram showing a configuration of the sales data totalizer 21 provided on the POS terminal 2 side.
The sales data totalizer 21 stores and manages the total sales of each product and the like, and has a normal configuration having items of “product code”, “unit price”, “sales quantity”, and “other” for each product. Has become. Here, the POS terminal 2 performs a checkout process for registering the merchandise for one transaction purchased by the customer. At that time, the customer photographed at the time of checkout by a later-described checkout customer camera provided in the POS terminal 2 side. In addition to transferring the image to the management center 1, when the registration of one transaction is completed, a settlement end notification is transmitted to the management center 1.
[0032]
In this case, the following exchange is performed between the management center 1 and the POS terminal 2. That is, the management center 1 searches the image file group 13 based on the adjusted customer image transmitted from the POS terminal 2 and obtains the corresponding “customer image No.”, and based on the “customer image No.” The product monitoring database 12 is searched for, and the “product code” and “quantity” that are the monitoring target products are read from each monitoring record corresponding to the “customer image No.” and transmitted to the POS terminal 2. The POS terminal 2 compares the monitored product with the registered product for each product, and transmits the result to the management center 1. If the monitoring target product has been registered, the management center 1 sets the “registered flag” in the monitoring record corresponding to the product, and excludes the registered product from monitoring. Thereafter, when receiving the settlement completion notification from the POS terminal 2, the management center 1 refers to the “registered flag” to determine whether or not there is an unregistered product. Notify the terminal 2. When the POS terminal 2 receives the non-registration notification, the POS terminal 2 determines that there is a possibility of unauthorized removal and performs an output process for notifying the user.
[0033]
Such an illegal take-out notification is performed not only at the time of settlement but also to a customer who intends to leave without performing settlement. In other words, the management center 1 acquires the exit image captured by the exit monitoring camera 4 when the customer leaves, searches the product monitoring database 12 based on the exit image, and monitors the monitoring associated with the customer. It is determined whether or not all of the target products have been registered. If there is at least one unregistered product, it is determined that there is a possibility of unauthorized removal, and the fact is notified to the mobile terminal 7 possessed by a guard. To inform fraud.
[0034]
FIG. 7 is a diagram showing a configuration of the blacklist 14 provided on the management center 1 side.
The blacklist 14 is a fraudulent list for managing fraudulent persons who attempted to fraudulently take out products in the past. Each time fraud is performed, the “fraud date” and the fraudulent image of the fraudulent person are taken. Is stored, the "customer image No." for accessing the item, the "product code" of the product that was attempted to be illegally taken out, and the "display area" and "display position" where the product is displayed are stored. I have. That is, at the time of settlement, information relating to a customer who intends to take some products secretly or to leave without performing settlement is stored and managed in association with information relating to the product. According to the output instruction of the black list 14, the contents are totaled and the list is printed.
In addition, the management center 1 searches the blacklist 14 based on the image of the visitors taken by the entrance monitoring camera 3, and when a customer who has committed fraud in the past re-enters, the security center carries the information. The portable terminal 7 is notified to give a caution notice.
[0035]
FIG. 8 shows data processing devices for each function constituting the management center 1, that is, processing functions such as “article monitoring processing”, “center response processing”, “exiter monitoring processing”, and “entry monitoring processing”. FIG. 3 is a block diagram showing basic components of one of the corresponding data processing devices.
The CPU 101 is a central processing unit that controls the overall operation of the data processing device according to the operating system and various application software in the storage device 102. The storage device 102 has a program storage area and a data storage area. In the program storage area, in addition to an operating system, various application programs are stored. In the data storage area, the above-described database is stored. A group, an image file group, and the like are stored, and are configured by a magnetic, optical, semiconductor memory, and the like and a drive system thereof. The recording device 102 may have a configuration in which a removable storage medium such as a CD-ROM or a DVD can be mounted in addition to a fixed memory such as a hard disk.
[0036]
The programs and data in the storage device 102 are loaded into a RAM (for example, a static RAM) 103 as necessary, or the data in the RAM 103 is saved in the storage device 2. The RAM 103 has a program execution area and a work area. Further, the CPU 101 can directly access and use a program / data of another electronic device via the communication device 104, and can receive a download via the communication device 104. The communication device 104 is a wired / wireless communication interface. On the other hand, an input device 105, a display device 106, and a printing device 107, which are input / output peripheral devices, are connected to the CPU 101 via a bus line, and the CPU 101 controls the operation according to an input / output program.
[0037]
The input device 105 is an operation unit that constitutes a pointing device such as a keyboard, a touch panel, a mouse, or a touch input pen, and inputs character string data and various commands. The display device 106 is, for example, a liquid crystal display device, a CRT, a plasma display device, or the like, and displays input sales data and the like, and displays various messages. The printing device 107 is, for example, a non-impact printer such as thermal transfer or inkjet or a dot impact printer, and prints and issues a sales summary report and a black list, for example.
The input device 105, the display device 106, and the printing device 107 are provided according to the functions of the data processing device.
[0038]
FIG. 9 is a block diagram showing basic components of the POS terminal 2.
The POS terminal 2 is provided with a checkout customer camera 208 in addition to the CPU 201, the storage device 202, the RAM 203, the communication device 204, the input device 205, the display device 206, and the printing device 207 as the same components as the management center 1. The input device 205 has a mode switch for switching between a registration mode, a setting mode, an inspection mode, etc., a product registration key, a closing key such as a cash key operated at the end of registration of a transaction, a numeric keypad, and the like. A payment process for registering purchased products for one transaction is executed, and a receipt is issued at the end of registration for one transaction. The payment customer camera 208 is attached to the terminal body and is directed to the customer side. When a full-length image is taken together with the face image from the front of the customer at the time of payment (at the start of registration for one transaction), the customer image is displayed. Is transferred to the management center 1.
[0039]
Next, an operation concept of the in-store system according to this embodiment will be described with reference to flowcharts shown in FIGS. Here, the functions described in these flowcharts are stored in the form of readable program codes, and sequentially execute operations according to the program codes. Further, the operation according to the above-described program code transmitted via the transmission medium can be sequentially performed. That is, an operation unique to this embodiment can be executed using a program / data externally supplied via a transmission medium in addition to a recording medium.
[0040]
FIG. 10 and FIG. 11 are flowcharts illustrating the product monitoring process that the management center 1 constantly executes.
First, the management center 1 acquires captured images from a plurality of passage monitoring cameras 5 (step A1), performs image analysis (step A2), and checks whether a customer is present near the product display (step A3). ). In this case, if a person image appears in the passage photographed image, and the position of the person image is near the product display, products may be taken out from the display position. Images taken from one or a plurality of installed product surveillance cameras 6 are acquired (step A4), and each image taken by the aisle surveillance camera 5 and the product surveillance cameras 6 from behind or sideways of the customer. The movement of the customer's hand is analyzed three-dimensionally (three-dimensionally) while comparing the images (step A5).
[0041]
In accordance with this analysis result, it is checked whether the customer's hand has extended in the product display direction and approached the product position (step A6), and it is checked whether the customer has taken out the product (step A7). In this case, if you have the product in your hand, you can recognize that it has been securely taken out, but in a state where you are grasping the product, for example, unnaturally like hiding a small product in the palm of your hand If there is, the possibility of shoplifting is extremely high, so we recognize that the product has been taken out. When analyzing the movement of the hand in this way, the palm portion is magnified and photographed, and it is checked whether or not a product has been taken out based on the magnified image.
[0042]
If the customer just looks at the product and does not take it out, the process returns to step A3 to check whether the customer is near the product display, but the customer's hand approaches the product display position and takes out the product. In this case, the display area and the display position of the product are specified (step A8). In this case, based on the floor marker M in the captured image as a reference, the customer position and the display area and display position of the product are specified in consideration of the distance from the reference position and the like. Then, the number of products taken out is specified by analyzing the photographed image (step A9). In this case, the movement of the customer's hand is continuously monitored, and when a plurality of the same products are taken out at once or when the same products are taken out many times, the number of taken out products is specified. Further, the movement of the customer's hand is continuously monitored, and it is checked whether or not the product has been returned (step A10). If the product has been returned, the number thereof is specified (step A11). Thereafter, it is checked whether the customer has left the vicinity of the commodity display (step A12), and the process returns to step A6 and repeats the above operation until the customer leaves.
[0043]
Here, when the customer has left the vicinity of the product display (step A12), the number of products actually taken out (the actual number of products) is calculated by subtracting the number of products returned from the number of products taken out. (Step A13 in FIG. 11). Then, it is checked whether or not the actual number of commodities is “1” or more (step A14). If the user has left without taking out the product, the actual number of products is "0", so the process returns to step A1 in FIG. 10. However, if the product is taken out, the actual number of products is "1" or more. Therefore, the process proceeds to a process of recording the product as a monitoring target product in the product monitoring database 12 (steps A15 to A26).
[0044]
First, an image (a face image and a whole body image) that best represents the characteristics of the customer is extracted from among the customer images captured during a period from when the customer approaches the commodity display position until the customer leaves (step A15). . Then, the customer image file group 13 is accessed based on the extracted image, and the presence or absence of the corresponding customer image is checked (step A16). At that time, feature comparison with the captured image is performed. In other words, feature comparison is performed by extracting a characteristic portion from the captured image. At this time, after correcting the face direction and size of the captured image, the shape of the face outline, eyes, mouth, nose, forehead, etc. , Position, size, etc. are compared. Here, in addition to comparing the face image of the customer, the customer is identified by comprehensively comparing the gender, face, presence or absence of glasses, height, body shape, clothing, hairstyle, and color. In other words, when the customer cannot be identified only by the face image, the image comparison is comprehensively performed in consideration of other factors such as height, body shape, clothes, and hairstyle. It should be noted that such comparison processing of customer images is similarly performed in the following processing.
[0045]
As a result, if there is no corresponding customer (step A16), the customer image is determined as a new entrance customer, a "customer image No." is newly generated (step A17), and a "customer image No." The file is newly stored in the file group 13 (step A18). On the other hand, if there is a corresponding customer (step A16), a stored image corresponding to the customer is obtained from the customer image file group 13 (step A19), the current extracted image is compared with the stored image, and the stored image is compared with the stored image. If the current extracted image shows the characteristics of the customer more (step A20), the customer image is updated to the optimum image by overwriting and storing the current customer image instead of the stored image (step A20). A21). In this case, a face image and a whole-body image taken from the front of the customer as images that further show the characteristics of the customer are optimal images.
[0046]
Then, the display product management database 11 is accessed based on the display area and the display position of the retrieved product specified in step A8 in FIG. 10 described above, and the corresponding “product code” is read (step A22), and the above-described step A13 is performed. Is read out (step A23), and the newly generated "customer image No." or "customer image No." at the overwriting storage destination is read out (step A24). Then, a monitoring record including "customer image No.", "product code", and "number (actual number of products)" is newly generated (step A25), and additionally recorded in the product monitoring database 12 (step A26).
Thereafter, the process returns to step A1 in FIG. 10, and as a result of repeating the above-described operation, each time the same customer takes out a product, a monitoring record is generated and additionally recorded in the product monitoring database 12.
[0047]
FIG. 12 is a flowchart showing a settlement process for registering sales data in the POS terminal 2 to make a settlement.
FIG. 13 is a flowchart showing a center response process executed in response to the settlement process on the POS terminal 2 side.
First, the POS terminal 2 checks whether or not to start merchandise registration (step B1). When the first registration operation for one transaction is performed, the payment customer camera 208 is operated to acquire a payment customer image. (Step B2), the settlement customer image is transmitted to the management center 1 (Step B3). In this case, a face image and a whole body image taken from the front of the customer are acquired and transmitted.
[0048]
Then, normal sales data registration processing is performed to update the contents of the sales data totalizer 21 (step B4), and the registered merchandise code and the registered number are transmitted to the management center 1 (step B5). Hereinafter, the sales data registration processing and the registration result transmission processing are repeated (steps B4 to B6) until the closing key for ending the registration for one transaction is operated (step B6). Here, when the closing key is operated, a settlement completion notice for the transaction is transmitted to the management center 1 (step B7).
[0049]
On the other hand, when receiving the checkout customer image from the POS terminal 2 (step C1), the management center 1 searches the customer image file group 13 based on the checkout customer image to specify the corresponding customer (step C2). ), The “customer image No.” corresponding to the specific customer is read out, the product monitoring database 12 is accessed, and all the monitoring records corresponding to the “customer image No” are extracted (step C3).
In this state, when the management center 1 receives the registered merchandise code and the number of registrations transmitted from the POS terminal 2 (step C4), the management center 1 accesses the record corresponding to the registered merchandise code from the above-described extracted records. Then, it is checked whether or not the corresponding product exists (step C5). If there is the corresponding product, the number in the record is compared with the registered number to check whether both match (step C6). As a result, if there is a corresponding product and the numbers match, a “registered flag” is set in the record (step C7). Then, it is checked whether the settlement end notification transmitted from the POS terminal 2 is received (step C8), and the process returns to step C4 until the settlement end notification is received, and thereafter, the above operation is repeated (steps C4 to C8). .
[0050]
When the management center 1 receives the settlement end notification transmitted from the POS terminal 2 (step C8), the management center 1 refers to the “registered flag” in each extracted record and checks whether registration for all products has been completed. (Step C9). As a result, if there is at least one unregistered product, the “registered flag” is not set in the record, and information (product name and unregistered number) on the unregistered product is specified ( (Step C10), an unregistered product presence notification is transmitted to the POS terminal 2 together with information on the unregistered product (step C11).
[0051]
Here, when the POS terminal 2 receives the notification of the presence of the unregistered product from the management center 1 (Step B8) after the settlement (Step B7), the POS terminal 2 determines that there is a possibility of unauthorized removal and informs the fact. (Step B9). That is, information (product name, unregistered number) on the unregistered product is displayed and output together with a guide message indicating the presence of the unregistered product, and information on the unregistered product is printed out on a receipt sheet to issue an unauthorized confirmation receipt. In this case, the operator presents a fraud confirmation receipt to the customer and informs the customer of the fraud, confirms the presence or absence of fraud, checks whether the customer has forgotten to pay for some products, or intentionally concealed the products. Judge by the way of response. Here, if it is determined that the key is intentional, the key for fraud detection is operated (step B10), and a notification of fraud detection is transmitted to the management center 1 (step B11). If so, a new registration operation is performed using the product as the next transaction (step B1).
[0052]
Upon receiving the fraudulent person discovery notification (step C12), the management center 1 performs a process of registering necessary items in the blacklist 14 in addition to making a fraudulent person discovery notification to the mobile terminal 7 possessed by the guard (step C13). (Steps C14 to C16). That is, the “product code” of the unregistered product is acquired from the product monitoring database 12 based on the “customer image No” corresponding to the customer, and the displayed product management database 11 is accessed based on the “product code” to The “display area No.” and “display position” corresponding to the product are acquired, and the current date is acquired as “illegal date” (step C14). Then, a blacklist record including “illegal date”, “customer image No”, “product code”, “display area No”, and “display position” is generated (step C15), and additionally registered in the blacklist 14 (step C15). Step C16).
[0053]
FIG. 14 is a flowchart showing a leaving person monitoring process executed by the management center 1 when a customer leaves.
First, the management center 1 acquires a photographed image (exited person image) taken by the exit monitoring camera 4 (step D1), checks the presence or absence of the exited person by analyzing the image (step D2), and finds out the exited person. For example, the customer image file group 13 is accessed based on the exited image to specify the image of the corresponding customer (step D3), and the “customer image No” corresponding to the specific customer is read (step D4). The product monitoring database 12 is accessed based on the "image No.", and all monitoring records corresponding to the "customer image No." are extracted (step D5).
[0054]
Then, referring to the “registered flag” in each extracted record, it is checked whether there is an unregistered product even for one product (step D6). In this case, the customer who tries to leave without performing the settlement is regarded as a fraudulent person, and in the same manner as described above, a notice of fraudulent person detection is sent to the mobile terminal 7 possessed by the guard (step D7), and necessary items are blacklisted. 14 is performed (step D8).
On the other hand, if there is no unregistered product (step D6), each monitoring record extracted corresponding to "customer image No." is deleted from the product monitoring database 12 (step D9). As a result, the contents of the product monitoring database 12 are only monitoring records relating to customers who are currently in the store.
[0055]
FIG. 15 is a flowchart showing the visitor monitoring process executed by the management center 1 when a customer enters.
First, the management center 1 acquires a captured image (entry image) captured by the entrance monitoring camera 3 (step E1), checks the presence or absence of an attendant by analyzing the image (step E2), and finds that the visitor is present. For example, the customer image file group 13 is accessed based on the visitor image to specify the image of the customer (step E3), and read out the "customer image No" corresponding to the specific customer (step E4). The blacklist 14 is accessed based on the "image No.", and it is checked whether a fraudulent person who committed fraud in the past has entered based on the presence or absence of the corresponding "customer image No." (step E5). Here, when an unauthorized person registered in the list has entered, an unauthorized person entrance notification is transmitted to the portable terminal 7 possessed by the guard to give a caution notice (step E6).
[0056]
FIG. 16 is a flowchart showing a blacklist output process executed by the management center 1 when an instruction to output the contents of the blacklist 14 is given.
First, the management center 1 accepts input of a tallying target item for instructing that the list contents be output according to desired tallying contents (step F1). Here, for example, when an arbitrary item to be totaled such as totaling by product, totaling by display area, or the like is input, the item to be totaled is determined (step F2), and the blacklist 14 is determined based on this totaling item. The contents are totaled (step F3). Then, the totaling result is displayed and output (step F4), and when the printing instruction is received (step F5), the totaling result is printed in a predetermined format and a totaling report is issued (step F6).
[0057]
As described above, the management center 1 configuring the in-store system in this embodiment, based on the images captured by the passage monitoring camera 5 and the product monitoring camera 6 when the displayed product is taken out from the location, A merchandise code obtained by specifying the merchandise as a monitoring target merchandise is associated with a customer image of the customer when the merchandise is taken out, and is stored and managed in the merchandise monitoring database 12, and the POS is stored. When the customer is photographed at the time of payment for registering a product for one transaction on the terminal 2 side, the product code of the monitored product associated with the customer image is compared with the product code of the registered product. Registered products are processed as non-monitored items, but if all products are not excluded from monitoring and there are monitored products, unauthorized removal is possible. Since it is judged that there is a possibility that the product is illegal, it is possible to automatically monitor whether the product is illegally taken out based on the captured image, requiring troublesome work as a measure to prevent shoplifting, It is possible to provide a fraud monitoring system with a high practical effect, for example, it is possible to perform fraud monitoring without the need for such a method, and it is possible to specifically point out individual commodities brought out fraudulently.
[0058]
In this case, if there is an unregistered product (monitoring target product) at the end of the registration of one transaction, the POS terminal 2 notifies the user that there is a possibility that the product may be illegally taken out. In the case of (negligence) or concealment (intentional), that fact can be pointed out at the end of registration for one transaction, and it is possible to reliably prevent unpaid products from being taken out regardless of intentional negligence. .
In addition, when the customer leaves the store, if there is an unregistered product (monitored product), the management center 1 notifies the user that there is a possibility of unauthorized removal. In addition, customers who leave without going through accounting (payment) can be regarded as fraudulent.
[0059]
In addition, the management center 1 monitors the movement of the customer's hand by analyzing a photographed image of the vicinity of the product display and recognizes whether or not the product has been taken out. This can be detected by a simple method, and the product can be specified each time the product is taken out.
In this case, when recognizing whether or not the displayed product has been taken out of the position based on the movement of the customer's hand, it is recognized whether or not the product has been taken out by comparing the images taken by the plurality of cameras. Thus, for example, it is possible to monitor the movement of the customer's hand by comparing the images taken from various directions, such as behind, side, front, and upward of the customer, and more reliably take out the product. It becomes possible to detect.
[0060]
In this case, when the displayed product is taken out from that position, in addition to specifying the taken-out product as a monitoring target, even if a plurality of the same products are taken out at once or separately, the number is specified. In addition, since the registered number of monitored products is excluded from monitoring at the time of settlement, for example, only a part of a plurality of identical products is settled and other products are hidden. Even in such a case, it can be monitored and reliable fraud monitoring can be performed.
In addition, we monitor the movement of the hand as we take out or return the product, and when the product is returned, we exclude the product from monitoring, so we monitor only the product actually removed It can be specified as a target product.
[0061]
Further, when comparing each customer image, in addition to the face image of the customer, image comparison is performed by comprehensively analyzing gender, face, presence or absence of glasses, height, body shape, clothing, hairstyle, and color. By doing so, it is possible to reliably recognize the customer, and it is possible to prevent a legitimate customer from feeling unpleasant due to erroneous recognition.
In addition, since the customer image stored in association with the monitored product is automatically updated to an optimal image that more closely expresses the characteristics of the customer, each customer image taken each time the same customer takes out the product. In addition, when it is not necessary to save all of the data, it is possible to surely perform the collation when performing the customer collation by the image comparison at the time of settlement or the like.
[0062]
On the other hand, the management center 1 registers a fraudulent image of a fraudulent person who has taken out a product illegally in the past in the blacklist 14 and searches the blacklist 14 based on the customer image of the customer. If a customer is a fraudulent person, he will be informed of that fact. Thus, it is possible to provide a highly practical fraud monitoring system, for example, it is possible to effectively monitor and control the illegal fraudsters. In this case, since the blacklist 14 is searched based on the visitor image, an unauthorized person can be detected at the time of entry. At that time, if it is determined that the customer is a fraudulent person who has committed fraud in the past, a warning is issued to the mobile terminal 7 possessed by the guard, so that the guard can perform tracking and monitoring.
[0063]
In addition to registering an unauthorized person image in the blacklist 14, various information on the product is registered in the blacklist 14, and when the output of the blacklist 14 is instructed, the blacklist based on the information on the product is registered. Since the contents of 14 are totalized for each designated item and the totaling result is output, for example, materials for shoplifting countermeasures that can determine which product, which shelf position is easily shoplifted, and the like can be easily obtained. Can be obtained.
[0064]
In the above-described embodiment, the entrance monitoring camera 3, the exit monitoring camera 4, the passage monitoring camera 5, and the product monitoring camera 6 are always operated as various camera devices. Another camera may be operated only when entry is detected and a customer is present in the store. Further, although the passage monitoring camera 5 and the product monitoring camera 6 are divided according to functions, these functions may be shared.
Further, the displayed product management database 11 is configured to store a “product code” for identifying a product for each product display area, but instead of the “product code”, a product “classification code” or a product code indicating the type of the product. A "position code" or the like indicating the display position of the product may be stored. In other words, the product to be taken out may be specified by the type of the product or its display position.
[0065]
In the above-described embodiment, the fraudulent removal of the product is notified to the mobile terminal 7 possessed by the guard, but in addition, it may be notified to the mobile terminal possessed by each clerk. The security system in which the security system is on standby may be notified.
Further, in the above-described embodiment, when a fraudulent person who has committed fraud in the past enters, the caution is notified to the mobile terminal 7 possessed by a security guard. May be tracked and monitored. In other words, if the visitor is a person who has committed fraud in the past, the fraudulent person is identified based on the captured image, the fraudulent person moving in the store is tracked and monitored by a plurality of surveillance cameras, and displayed on a monitor. Then, it becomes possible to monitor the behavior of habitual fraudsters.
[0066]
In addition, in the above-described embodiment, the process of comparing the product code of the monitored product and the product code of the registered product associated with the customer image photographed at the time of settlement to exclude the registered product from the monitoring target Is performed on the management center 1 side, but this processing may be performed on the POS terminal 2 side.
In the above-described embodiment, the case where the present invention is applied to the local communication system is described.For example, in a convenience store or the like, a wide area communication system in which a plurality of branches and a management center on the head office side are connected via a wide area communication line. Of course, it is applicable. In this case, the management center only needs to acquire the captured image captured for each branch and perform the fraud monitoring. In addition, the blacklist may be used as a common material for each branch, and when a person who has committed fraud in any branch in the past enters another branch, that fact may be notified.
[0067]
On the other hand, a recording medium (for example, a CD-ROM, a floppy disk, a RAM card, or the like) in which a program code for causing each of the above-described units to be executed may be provided to the computer.
That is, a storage medium having a computer-readable program code, a function of storing and managing the identification information of each product corresponding to the display position of each product, and when the displayed product is taken out from the position, A function for specifying the product as a monitoring target based on the display position, the identification information of the specified monitoring target product, and storage management in association with a customer image of the customer when the displayed product is taken out. And comparing the identification information of the monitored product and the identification information of the registered product associated with the customer image of the customer at the time of payment for registering the product for one transaction purchased by the customer. The function that excludes the registered products from the monitoring target according to the above, the function that determines for each customer whether or not all the monitoring target products are excluded from the monitoring target, and the function that the monitoring target product exists If it is determined that there is a possibility of unauthorized take-out, a computer-readable recording medium that records a program for realizing a function of notifying the user of the possibility of unauthorized removal may be provided. .
[0068]
Further, a recording medium having a program code readable by a computer, a function for registering a fraudulent image of a fraudulent person who has taken out a fraudulent product in the past in a fraudulent list, and A function for searching the fraudulent list based on the above, and determining whether the customer is a fraudulent person, and, when it is determined that the customer is a fraudulent person who has committed fraud in the past, a notification to that effect. A computer-readable recording medium that stores a program for realizing the function of performing the function may be provided.
[0069]
【The invention's effect】
According to the first invention (the invention described in claim 1), when the displayed product is taken out from the position, the product identification information obtained by specifying the product as the monitored product and the product are taken out. At the time of payment, the customer image is stored in association with a customer image, and the customer is photographed at the time of settlement for registering a product for one transaction, and the monitoring associated with the customer image is performed. By comparing the identification information of the target product with the identification information of the registered product, the registered product is processed as non-monitoring target, but if all products are not excluded from monitoring target and there is a monitoring target product, Judging that there is a possibility of unauthorized removal, the system informs the user of the possibility of unauthorized removal, so it can automatically monitor whether or not a product has been illegally removed based on the captured image. It is possible to provide a fraud monitoring system with a high practical effect, such as the fact that fraud monitoring can be performed without the need for human resources and human labor can be specifically pointed out. It becomes.
According to the second invention (invention of claim 10), a fraudster image of a fraudulent person who has taken out a product illegally in the past is registered in a fraudster list, and based on the customer image of the photographed customer. By searching the list of fraudsters and informing the customer if the customer is a fraudulent person, the fact is notified, so it is possible to automatically monitor fraudulent persons who have committed fraud in the past based on the captured images. This makes it possible to provide a practically effective fraud monitoring system, for example, it is possible to effectively monitor and crack down on habitual illicit persons without requiring human intervention.
[Brief description of the drawings]
FIG. 1 is a block diagram conceptually showing the overall configuration of an in-store system.
FIG. 2 is a view showing an arrangement state of cameras arranged in a part of a store.
FIG. 3 is a diagram for explaining monitoring of a customer's behavior (product removal) with a plurality of cameras.
FIG. 4 is a diagram showing a configuration of a displayed product management database 11 provided on the management center 1 side.
5A is a diagram showing a configuration of a product monitoring database 12 provided on the management center 1 side, and FIG. 5B is a diagram showing a customer image file group 13 provided on the management center 1 side; Figure.
FIG. 6 is a diagram showing a configuration of a sales data totalizer 21 provided on the POS terminal 2 side.
FIG. 7 is a diagram showing a configuration of a blacklist 14 provided on the management center 1 side.
FIG. 8 is a block diagram showing basic components of one of the data processing devices for each function constituting the management center 1;
FIG. 9 is a block diagram showing basic components of the POS terminal 2.
FIG. 10 is a flowchart showing a product monitoring process that is always executed by the management center 1;
FIG. 11 is a flowchart showing a product monitoring process following FIG. 10;
FIG. 12 is a flowchart showing a settlement process in which sales data is registered and settled in the POS terminal 2.
FIG. 13 is a flowchart showing a center response process executed in response to the settlement process on the POS terminal 2 side.
FIG. 14 is a flowchart showing an exited person monitoring process executed by the management center 1 when a customer leaves.
FIG. 15 is a flowchart showing an attendee monitoring process executed by the management center 1 when a customer enters.
FIG. 16 is a flowchart showing a blacklist output process executed by the management center 1 when it is instructed to output the contents of the blacklist 14.
[Explanation of symbols]
1 management center
2 POS terminals
3 Entrance surveillance camera
4 Exit surveillance camera
5 Aisle surveillance camera
6 Product surveillance camera
7 Mobile terminal possessed by security guard
8 Product display shelves
9 passage
11 Display product management database
12 Product monitoring database
13 Customer image file group
14 Blacklist
21 Sales data totalizer
101, 201 CPU
102, 202 storage device
104, 204 communication device
105, 205 input device
106, 206 display device
107, 207 printing device
208 Checkout customer camera

Claims

A fraud monitoring system that monitors whether displayed goods are illegally taken out based on a photographed image,
Product information storage means for storing and managing the identification information of the product corresponding to the display position of each product;
When a displayed product is taken out from the position, a specifying unit that searches the product information storage unit based on the displayed position and specifies the product as a monitored product,
Monitoring information storage means for storing and managing the identification information of the monitoring target product specified by the specifying means and a customer image of the customer when the displayed product is taken out,
At the time of settlement for registering a product for one transaction purchased by the customer, the monitoring information storage unit is searched based on a customer image of the customer, and identification information of the monitoring target product associated with the customer is registered. Payment means for removing registered products from monitoring by comparing the identification information of the registered products,
Determining means for determining for each customer whether or not all of the monitoring target products in the monitoring information storage means have been excluded from the monitoring target by the settlement means;
When it is determined by the determination unit that the monitoring target product exists, a notification unit that determines that there is a possibility of unauthorized removal and notifies the user of the fact,
A fraud monitoring system comprising:

The determination means determines whether or not all monitored products have been excluded from monitoring at the end of registration for one transaction,
The notification means, when it is determined that the monitoring target product is present, notifies that there is a possibility of unauthorized removal at the end of registration of one transaction.
2. The fraud monitoring system according to claim 1, wherein:

The determination means, when the customer leaves, searches the monitoring information storage means based on the exiting person image of the exiting person, and determines whether all the monitoring target products corresponding to the customer have been excluded from monitoring. Determine,
The notification means, when it is determined that the monitoring target product is present, performs notification of unauthorized removal when the customer leaves.
2. The fraud monitoring system according to claim 1, wherein:

The identifying means recognizes whether or not a customer is present near the commodity display by analyzing a photographed image of the vicinity of the commodity display. If the customer is present near the commodity display, the identifying means detects the customer's hand in accordance with the analysis result. Monitoring the movement of the customer and recognizing whether the displayed product has been removed from that location based on the customer's hand movements,
2. The fraud monitoring system according to claim 1, wherein:

The identifying means, when recognizing whether or not the displayed product has been taken out of the position based on the movement of the customer's hand, checks whether or not the product has been taken out by comparing each of the images taken by the plurality of cameras. recognize,
5. The fraud monitoring system according to claim 4, wherein:

The specifying means, when a displayed product is taken out from the position, in addition to specifying the taken-out product as a monitoring target, specifying the number of the product,
The monitoring information storage unit stores and manages the number of monitoring target products together with each other, and the settlement unit compares the monitoring target products with the registered products, and as a result, the registered number of monitoring target products is counted. Excluded from monitoring,
2. The fraud monitoring system according to claim 1, wherein:

The specifying means monitors whether the displayed product is returned after the product is taken out of the position, and when the product is returned, excludes the product from monitoring.
2. The fraud monitoring system according to claim 1, wherein:

Each of the customer images is a full-body image of the entire customer, and when comparing the customer images, each characteristic element of the customer's gender, face, presence or absence of glasses, height, body type, clothing, hairstyle, and color Among them, at least, the face image and other elements are comprehensively analyzed and image comparison is performed.
The fraud monitoring system according to claim 1 or 3, wherein the system is configured as follows.

When the customer first takes out the product after entering, the customer image at that time is stored in association with the monitored product, and when the same customer takes out the product, the customer image taken this time is saved. If the image is compared with the image and, as a result, the current image shows more customer characteristics than the stored image, the current customer image is overwritten and stored instead of the stored image to save the customer image. To the optimal image,
2. The fraud monitoring system according to claim 1, wherein:

A fraud monitoring system that monitors whether a fraudulent person has taken out a displayed product based on a captured image,
A fraudulent person registration means for registering a fraudulent image of a fraudulent person who has taken goods in the past in a fraudulent list;
Determining means for searching the fraudulent list based on a customer image of a customer, and determining whether the customer corresponds to a fraudulent person;
When the determination unit determines that the customer is a fraudulent person who committed fraud in the past, a notification unit that notifies the user of the determination;
A fraud monitoring system comprising:

Providing a visitor image acquisition means for acquiring a visitor image of the visitor,
The determining means searches a fraudster list based on the visitor image, and determines whether the visitor is a fraudulent person,
The fraud monitoring system according to claim 10, wherein:

The notifying means, when it is determined that the customer is a fraudulent person who has committed fraud in the past, performs a warning notification by notifying the fact to a mobile terminal possessed by a security guard,
The fraud monitoring system according to claim 10, wherein:

The fraudulent person registration means, in addition to registering a fraudulent person image in a fraudulent person list, registers various information on the product,
When output of a fraudulent list is instructed, the contents of the fraudulent list are totaled based on information on the product, and the totaling result is output.
The fraud monitoring system according to claim 10, wherein:

Against the computer
A function of storing and managing the identification information of each product corresponding to the display position of each product;
When a displayed product is taken out of the position, a function of specifying the product as a monitoring target based on the displayed position;
A function of storing and managing the identification information of the specified monitoring target product in association with a customer image of the customer when the displayed product is taken out,
Registered product by comparing the identification information of the monitored product and the registered product identification information associated with the customer image of the customer at the time of payment for registering the product for one transaction purchased by the customer. Function to exclude from monitoring,
A function to determine for each customer whether or not all monitored products have been excluded from monitoring;
When it is determined that the monitoring target product exists, a function of determining that there is a possibility of unauthorized removal and notifying the user of the possibility,
The program to realize.

Against the computer
A function to register a fraudulent image of a fraudulent person who took a product illegally in the past in the fraudulent list,
A function of searching the fraudster list based on a customer image of a customer, and determining whether the customer is a fraudulent person;
If it is determined that the customer is a fraudulent person who committed fraud in the past, a function to notify that fact,
The program to realize.