JP2004171240A - 不正監視システムおよびプログラム - Google Patents

Abstract

【課題】顧客や陳列商品を撮影し、この撮影画像に基づいて商品が不正に持ち出されるかを自動監視できるようにする。
【解決手段】管理センタ１は、商品が取り出された際に、通路監視カメラ５、商品監視カメラ６からの撮影画像に基づいて当該商品を監視対象商品として特定すると共に、商品が取り出された際に当該顧客を撮影した顧客画像と監視対象商品とを対応付けて商品監視データベース内に記憶管理しておく。ＰＯＳ端末２側において１取引分の商品を登録する精算時に当該顧客が撮影された際に、この顧客画像に対応付けられている監視対象商品と登録済み商品とを比較することによって登録済み商品を監視対象外として処理するが、全ての商品が監視対象外とならず、監視対象商品が有る場合には、不正持ち出しの可能性が有ると判断してその旨を報知する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、撮影画像に基づいて陳列商品が不正に持ち出されるかを監視したり、過去に商品を不正に持ち出した不正者を監視する不正監視システムおよびプログラムに関する。
【０００２】
【従来の技術】
一般に、店舗において陳列商品が不正に持ち出されることを防止する万引き防止策としては、店内に各箇所に顧客監視用のカメラを配置し、この監視カメラによるモニタ画面を見ながら係員が不正者を見つけ出すようにしているが、専任の係員を必要としたり、見落としも多く、万引き防止策としては、万全ではなかった。
そこで、従来においては、予め商品の個々に感知タグと呼ばれる万引き防止用のタグを取り付けておき、出口において未精算の商品を検知するようにしたものが知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−０７４２８６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、この種の感知タグ方式においては、万引き防止策としては有効に機能するが、予め販売対象の全ての商品に専用タグを取り付る作業を必要とすると共に、精算時においては商品からタグを取り外す等の特殊な作業を必要とする為に、万引き防止用として店側に特別な労力を強要することになり、その改善が要望されていた。
【０００５】
第１の発明の課題は、顧客や陳列商品を撮影し、この撮影画像に基づいて商品が不正に持ち出されるかを自動監視できるようにすることである。
第２の発明の課題は、顧客を撮影し、この撮影画像に基づいて過去に商品を不正に持ち出した不正者かを自動監視できるようにすることである。
【０００６】
【課題を解決するための手段】
請求項１記載の発明（第１の発明）は、撮影画像に基づいて陳列商品が不正に持ち出されるかを監視する不正監視システムであって、各商品の陳列位置に対応してその商品の識別情報を記憶管理する商品情報記憶手段と、陳列商品がその位置から取り出された際に、その陳列位置に基づいて前記商品情報記憶手段を検索して当該商品を監視対象商品として特定する特定手段と、この特定手段によって特定された監視対象商品の識別情報と、陳列商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて記憶管理する監視情報記憶手段と、顧客が買い上げた１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に基づいて前記監視情報記憶手段を検索し、その顧客に対応付けられている監視対象商品の識別情報と登録済み商品の識別情報とを比較することによって登録済み商品を監視対象外とする精算手段と、この精算手段によって前記監視情報記憶手段内の監視対象商品が全て監視対象外となったかを顧客毎に判別する判別手段と、この判別手段によって監視対象商品が存在していることが判別された場合に、不正持ち出しの可能性が有ると判断してその旨を報知する報知手段とを具備するものである。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１４記載の発明）。
【０００７】
したがって、請求項１、１４記載の発明は、陳列商品がその位置から取り出された際に、その商品を監視対象商品として特定することによって得られた商品識別情報と、商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて記憶管理しておき、１取引分の商品を登録する精算時において当該顧客を撮影すると共に、この顧客画像に対応付けられている監視対象商品の識別情報と登録済み商品の識別情報とを比較することによって登録済み商品を監視対象外として処理するが、全ての商品が監視対象外とならず、監視対象商品が有る場合には、不正持ち出しの可能性が有ると判断してその旨を報知するようにしたから、商品が不正に持ち出されるかを撮影画像に基づいて自動監視することができ、万引き防止策として面倒な作業を必要としたり、人手を要することなく不正監視が可能となる他、不正持ち出しされる個々の商品を具体的に指摘することができる等、実用的効果の高い不正監視システムを提供することが可能となる。
【０００８】
なお、請求項１記載の発明は次のようなものであってもよい。
前記判別手段は、１取引分の登録終了時において監視対象商品が全て監視対象外となったかを判別し、前記報知手段は、監視対象商品が存在していることが判別された場合に、１取引分の登録終了時に不正持ち出しの可能性が有る旨を報知する（請求項２記載の発明）。
したがって、請求項２記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、１取引分の登録終了時に未登録商品（監視対象商品）が残っている場合には、不正持ち出しの可能性が有る旨を報知するようにしたから、一部の商品の精算忘れの場合（過失）や隠し持っている場合（故意）、１取引分の登録終了時にその旨を指摘することができ、故意過失を問わず、未精算商品の持ち出しを確実に防止することが可能となる。
【０００９】
前記判別手段は、顧客が退場する際に、その退場者を撮影した退場者画像に基づいて前記監視情報記憶手段を検索し、その顧客に対応する監視対象商品が全て監視対象外となったかを判別し、前記報知手段は、監視対象商品が存在していることが判別された場合に、その顧客の退場時に不正持ち出しの報知を行う（請求項３記載の発明）。
したがって、請求項３記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、顧客が退場する際に、未登録商品（監視対象商品）があれば、不正持ち出しの可能性が有る旨を報知するようにしたから、店から退場する寸前にその顧客を引き止めることができる他、会計（精算）を通さずに、そのまま退場しようとした顧客を不正者としてみなすことができる。
【００１０】
前記特定手段は、商品陳列付近を撮影した撮影画像を解析することによってその付近に顧客が存在しているかを認識し、商品陳列付近に顧客が居る場合には、当該撮影画像を解析することによって顧客の手の動きを監視し、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する（請求項４記載の発明）。
したがって、請求項４記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、商品陳列付近を撮影した撮影画像を解析することによって顧客の手の動きを監視し、商品が取り出されたかを認識するようにしたから、商品の取り出しを画像解析という新たな手法によって検知することができると共に、商品が取り出される毎にその商品の特定も可能となる。なお、手の動きを解析する際には、手の平部分を拡大撮影し、その拡大画像に基づいて商品が取り出されたか、つまり、商品を掴んだかを認識すればよい。
【００１１】
この場合、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する際に、複数台のカメラによって撮影された各撮影画像を照らし合わせることによって商品が取り出されたかを認識するようにすれば（請求項５記載の発明）、例えば、顧客の背後・横・正面、上方向等、様々な方向（少なくとも２方向）から撮影した各撮影画像を照らし合わせて顧客の手の動き監視することができ、商品の取り出しをより確実に検知することが可能となる。
【００１２】
前記特定手段は、陳列商品がその位置から取り出された際に、取り出された商品を監視対象として特定する他に、その商品個数を特定し、前記監視情報記憶手段は、監視対象商品毎にその個数を合わせて記憶管理し、前記精算手段は、監視対象商品と登録済み商品とを比較した結果、監視対象商品のうち登録された個数分を監視対象外とする（請求項６記載の発明）。
したがって、請求項６記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、同一商品が１度にあるいは別々に複数個取り出されたとしても、その個数を特定し、監視対象商品のうち登録された個数分を監視対象外とするようにしたから、例えば、複数の同一商品のうち、その一部だけを精算し、他の商品を隠し持っている場合でも、それを監視することができ、確実な不正監視が可能となる。
【００１３】
前記特定手段は、陳列商品がその位置から取り出された後において当該商品が戻されたかを監視し、商品が戻された場合には、当該商品を監視対象外とする（請求項７記載の発明）。
したがって、請求項７記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、商品を取り出したり、戻したり思案中の手の動きを監視し、商品が戻された場合には、その商品を監視対象外とするようにしたから、実際に取り出された商品のみを監視対象商品として特定することができる。
【００１４】
前記各顧客画像は、顧客の全体を撮影した全身画像であり、各顧客画像を比較する際には、顧客の性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色の各特徴要素のうち、少なくとも、その顔画像と他の要素とを総合的に解析して画像比較を行う（請求項８記載の発明）。
したがって、請求項８記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、各顧客画像を比較する際に、顧客の顔画像の他に、性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色のうち、少なくともその何れかを含めて総合的に解析することによって画像比較を行うようにしたから、確実な顧客認識が可能となり、誤認識によって正規な顧客に不愉快な思いをさせることを防止することができる。
【００１５】
顧客が入場してから最初に商品を取り出した際に、その時の顧客画像を前記監視対象商品に対応付けて保存し、次に同一顧客が商品を取り出す際に、今回撮影された顧客画像と保存画像とを比較処理し、その結果、保存画像よりも今回の画像の方が顧客の特徴をより現している場合には、保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新する（請求項９記載の発明）。
したがって、請求項９記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、監視対象商品に対応付けて保存される顧客画像を顧客の特徴をより現している最適画像に自動的に更新するようにしたから、同一顧客が商品を取り出す毎に撮影された各顧客画像を全て保存する必要が無くなると他に、精算時等において画像比較によって顧客照合を行う際に、その照合を確実に行うことが可能となる。
【００１６】
請求項１０記載の発明（第２の発明）は、撮影画像に基づいて陳列商品を不正に持ち出した不正者かを監視する不正監視システムであって、過去に商品を不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録する不正者登録手段と、顧客を撮影した顧客画像に基づいて前記不正者リストを検索し、その顧客が不正者に該当するかを判別する判別手段と、この判別手段によって顧客が過去に不正を行った不正者であることが判別された場合には、その旨を報知する報知手段とを具備するものである。
更に、コンピュータに対して、上述した請求項１０記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１５記載の発明）。
【００１７】
したがって、請求項１０、１５記載の発明は、過去に商品を不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録しておき、顧客を撮影した顧客画像に基づいて不正者リストを検索し、その顧客が不正者に該当するか場合には、その旨を報知するようにしたから、過去に不正を行った不正者を撮影画像に基づいて自動監視することができ、人手を要さずに常習的な不正者を効果的に監視してその取り締まりが可能となる等、実用的効果の高い不正監視システムを提供することが可能となる。
【００１８】
なお、請求項１０記載の発明は次のようなものであってもよい。
入場者を撮影した入場者画像を取得する入場者画像取得手段を設け、前記判別手段は、この入場者画像に基づいて不正者リストを検索し、入場者が不正者に該当するかを判別する（請求項１１記載の発明）。
したがって、請求項１１記載の発明によれば、請求項１０記載の発明と同様の効果を有する他に、入場者画像に基づいて不正者リストを検索するようにしたから、不正者を入場時に検知することができ、例えば、監視カメラによる追跡監視が可能となる。つまり、入場者が過去に不正を行った者であれば、その不正者を特定し、複数台の監視カメラによって追跡監視してモニタ表示するようにすれば、常習的な不正者の行動を監視することが可能となる。
【００１９】
前記報知手段は、顧客が過去に不正を行った不正者であることが判別された場合に、その旨を警備員所持の携帯端末へ通知して注意報知を行う（請求項１２記載の発明）。
したがって、請求項１２記載の発明によれば、請求項１０記載の発明と同様の効果を有する他に、警備員所持の携帯端末へ注意報知を行うようにしたから、警備員による追跡監視が可能となる。
【００２０】
前記不正者登録手段は、不正者画像を不正者リストに登録する他に、その商品に関する各種の情報を登録し、不正者リストの出力が指示された際に、商品に関する情報に基づいて前記不正者リストの内容を集計すると共にその集計結果を出力する（請求項１３記載の発明）。
したがって、請求項１３記載の発明によれば、請求項１０記載の発明と同様の効果を有する他に、不正者画像およびその商品に関する各種の情報を不正者リストに登録し、不正者リストの出力が指示された際に、商品に関する情報に基づいて不正者リストの内容を集計すると共にその集計結果を出力するようにしたから、例えば、どの商品、どの棚位置が万引きされ易いか等を判断可能とする万引き対策用の資料を容易に入手することができる。
【００２１】
【発明の実施の形態】
以下、図１〜図１６を参照してこの発明の一実施形態を説明する。
図１は、この実施形態における店舗内システムの全体構成を概念的に示したブロック図である。
この店舗内システムは、例えば、デパート、スーパーマーケット、ショッピングモール等の店舗内に構築された構内通信システム（ＬＡＮ）である。そして、この店舗内システムは、通常のＰＯＳ（ポイント・オブ・セールス）システムとして機能する他に、撮影画像に基づいて陳列商品が不正に持ち出されたか否かを監視したり、過去に商品を不正に持ち出した不正者が入場したか否かを監視する不正監視（万引き監視）システムとして機能するもので、管理センタ１を中核とする構成となっている。
【００２２】
この管理センタ１には、有線ＬＡＮを介して複数台のＰＯＳ端末２が接続されている他に、各種のカメラ装置が接続されている。すなわち、入口側に設置されて入場者をその正面方向から撮影する為の入口監視カメラ３と、出口側に設置されて退場者をその正面方向から撮影する為の出口監視カメラ４と、店内の通路毎に設置されて通路全体を撮影する為の通路監視カメラ５と、店内の各所に配置されて陳列商品をエリア別に撮影する為の商品監視カメラ６とを有し、これらの各カメラ装置は、有線ＬＡＮを介して管理センタ１に接続されている。また、管理センタ１には、アクセスポイント等を含む無線ＬＡＮを介して出入り口付近等に居る警備員が所持している携帯端末７に接続されている。
【００２３】
管理センタ１は、機能別に設けられた複数のデータ処理装置を集合した集合体であり、後述する「商品監視処理」、「センタ応答処理」、「退場者監視処理」、「入場者監視処理」等の処理機能を別個独立して実行可能なもので、各ＰＯＳ端末２が登録処理した売上データを定期的に収集して売上集計を行ったり、各種の設定データを各ＰＯＳ端末２へ送信するＰＯＳ管理処理を行う他に、各種のカメラ３〜６から取得した撮影画像を解析して不正監視処理を行う。なお、この管理センタ１側には、ＰＯＳ管理処理用としてのデータベース群の他に、不正監視用としての後述するデータベース群および画像ファイル群が設けられている。
【００２４】
ＰＯＳ端末２は、顧客が買い上げた１取引分の商品を登録する精算処理を実行するもので、１取引分の登録終了時にレシートを発行する。
各種カメラ３〜６は、動画撮影を行うビデオカメラあるいは所定タイミング毎（例えば、０．５秒あるいは１秒毎）に連続撮影を行うスチールカメラであり、管理センタ１からの制御命令にしたがってその撮影開始／停止が制御されると共に、この各種カメラ３〜６によって撮影された撮影画像（カラー画像）は、管理センタ１に転送されて画像解析される。
【００２５】
図２は、店舗内の一部に配置されているカメラの配置状態を示した図である。
すなわち、商品陳列棚８によって仕切られた通路９には、その一端方向から通路全体を撮影する通路監視カメラ５が配置されている。なお、通路９の床面には、顧客位置や商品陳列位置を確認する為の床マーカＭがペインティングされており、通路監視カメラ５によって撮影された撮影画像の中に含まれている床マーカＭを基準として、顧客が通路内のどのエリアに居るかを認識したり、その顧客が取り出した商品は、どのエリアに陳列されていたか認識可能としている。また、通路９の両側には、商品陳列エリアＡ１、Ａ２、‥‥毎にそのエリア全体を前方方向から撮影する商品監視カメラ６が配置されている。
【００２６】
図３は、顧客の行動（商品の取り出し）を複数台のカメラによって監視することを説明する為の図である。
ここで、何れかの商品陳列エリアの前面に居る顧客Ｘは、通路監視カメラ５によってその横方向から撮影されると共に、その商品陳列エリア対応の商品監視カメラ６によって顧客の背後方向から撮影される。つまり、顧客の行動は、少なくとも２台のカメラによって監視されており、管理センタ１は、各カメラから取得した撮影画像を解析することによって商品陳列エリア付近に顧客が存在しているか否かを認識し、商品陳列付近に顧客が居る場合には、その解析結果にしたがって顧客の手の動きを監視し、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識するようにしている。
この場合、図示の例では、商品陳列エリアＡ１付近に居る顧客Ｘは、通路監視カメラ５の他に、２台の商品監視カメラ６（顧客の後方に配置されている商品監視カメラ６と横方向に配置されている商品監視カメラ６）によってその顧客の手の動きが監視される。
【００２７】
図４は、管理センタ１側に設けられている陳列商品管理データベース１１の構成を示した図である。
この陳列商品管理データベース１１は、販売対象である全商品の陳列位置を管理する為にその商品陳列エリア毎に、どの商品が何処に陳列されているかを記憶する構成となっている。つまり、陳列商品管理データベース１１は、商品陳列エリアＡ１、Ａ２、‥‥毎に、そのエリアを識別する為の「エリアＮｏ」と、エリア毎に陳列されている商品毎に、その商品を識別する為の「商品コード」および「陳列位置」とを記憶する構成となっている。この場合、管理センタ１は、顧客が商品を取り出した際に、その撮影画像を解析することによって商品陳列位置を特定すると共に、この陳列位置に基づいて陳列商品管理データベース１１を検索して当該商品を不正監視の対象商品として特定してその商品コードを読み出すようにしている。
【００２８】
図５（Ａ）は、管理センタ１側に設けられている商品監視データベース１２の構成を示した図である。
この商品監視データベース１２は、顧客が商品を取り出した際にその顧客に関する情報と商品に関する情報とを対応付けた監視レコードを記憶管理するもので、顧客が取り出した商品は、不正監視対象の商品としてその顧客に対応付けて記録される。すなわち、この商品監視データベース１２は、商品を取り出した顧客画像をアクセスする為の「顧客画像Ｎｏ」と、取り出し商品の「商品コード」および「個数」を記憶すると共に、精算時において当該商品が正規に登録された際にセットされる「登録済みフラグ」とを記憶する構成となっている。
なお、顧客の退場時においてその顧客に関する全ての監視レコードを商品監視データベース１２内から削除するようにしている為、この商品監視データベース１２は、現在、店舗内に居る顧客に関する監視レコードのみを記録するようにしている。
【００２９】
図５（Ｂ）は、管理センタ１側に設けられている顧客画像ファイル群１３を示した図である。
この場合、１人の顧客が商品を取り出す毎に、その顧客の全身を撮影する他に、その顔画像を拡大撮影し、この全身画像と顔画像とを“対”にして顧客画像として顧客画像ファイル群１３内に保存するようにしている。その際、同一顧客が商品を取り出す毎に撮影された全ての顧客画像を保存せず、その顧客が入場してから退場するまでの間において顧客照合として最適な顧客画像のみを記憶管理するようにしている。つまり、顧客が入場してから最初に商品を取り出した際には、その時の顧客画像を保存するが、次に同一顧客が商品を取り出す際には、今回撮影された顧客画像と保存画像とを比較処理し、その結果、保存画像よりも今回の画像の方が顧客の特徴をより現している場合には、保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新するようにしている。
【００３０】
ここで、商品監視データベース１２内の「顧客画像Ｎｏ」は、上述のようにして更新された顧客画像（最適画像）ファイル群１３をアクセスする為の識別情報であり、管理センタ１は、顧客が入場してから最初に商品を取り出した際に「顧客画像Ｎｏ」を自動生成し、この「顧客画像Ｎｏ」を含む監視レコードを商品監視データベース１２内に新規登録するようにしている。
また、商品監視データベース１２内の「商品コード」は、顧客の手の動きに基づいて陳列商品がその位置から取り出されたことが認識された際に陳列商品管理データベース１１から読み出されたものである。つまり、管理センタ１は、商品が取り出された際に、その画像解析によってその商品の陳列エリアおよび陳列位置を特定すると共に、この陳列エリアおよび陳列位置に基づいて陳列商品管理データベース１１から読み出した「商品コード」を当該「顧客画像Ｎｏ」対応の監視レコード内にセットする。また、商品監視データベース１２内の「個数」は、同一商品の取り出した個数を示している。この場合、商品を取り出した後においても顧客の手の動きを画像解析し、商品が戻された場合には、その戻された商品個数を認識し、実際に取り出された個数だけをセットするようにしている。
【００３１】
図６は、ＰＯＳ端末２側に設けられている売上データ合計器２１の構成を示した図である。
この売上データ合計器２１は、商品別の売上合計等を記憶管理するもので、商品毎に「商品コード」、「単価」、「売上個数」、「その他」の項目を有した通常の構成となっている。ここで、ＰＯＳ端末２は、顧客が買い上げた１取引分の商品を登録する精算処理を行うが、その際、ＰＯＳ端末２側に備えられている後述の精算顧客カメラによって精算時に撮影された顧客画像を管理センタ１へ転送する他に、１取引分の登録終了時には、精算終了通知を管理センタ１へ送信するようにしている。
【００３２】
この場合、管理センタ１とＰＯＳ端末２との間では次のようなやり取りを行うようにしている。すなわち、管理センタ１は、ＰＯＳ端末２から送信されて来た精算顧客画像に基づいて画像ファイル群１３を検索し、該当する「顧客画像Ｎｏ」を取得すると共に、この「顧客画像Ｎｏ」に基づいて商品監視データベース１２を検索し、この「顧客画像Ｎｏ」対応の各監視レコードから監視対象商品である各「商品コード」および「個数」を読み出してＰＯＳ端末２へ送信する。ＰＯＳ端末２は、監視対象商品と登録済み商品とを商品毎に比較し、その結果を管理センタ１へ送信する。管理センタ１は、監視対象商品が登録済みであれば、当該商品対応の監視レコード内に「登録済みフラグ」をセットして、登録済み商品を監視対象外とする。その後、管理センタ１は、ＰＯＳ端末２から精算終了通知を受取った際に、「登録済みフラグ」を参照して未登録商品があるかを判別し、未登録商品があれば、そ旨をＰＯＳ端末２へ通知する。ＰＯＳ端末２は、この未登録通知を受けた際に、不正持ち出しの可能性が有ると判断してその旨を報知する出力処理を行う。
【００３３】
このような不正持出報知は、精算時の他に、精算を行わずに、そのまま退場しようとした顧客に対しても行うようにしている。つまり、管理センタ１は、顧客の退場時に出口監視カメラ４によって撮影された退場者画像を取得し、この退場者画像に基づいて商品監視データベース１２を検索し、その顧客に対応付けられている監視対象商品の全てが登録済みであるか否かを判別し、１つでも未登録商品があれば、不正持ち出しの可能性が有ると判断してその旨を警備員所持の携帯端末７へ通知して不正報知を行うようにしている。
【００３４】
図７は、管理センタ１側に設けられているブラックリスト１４の構成を示した図である。
このブラックリスト１４は、過去に商品を不正に持ち出そうとした不正者を管理する為の不正者リストであり、不正が行われる毎に、その「不正日付」と、不正者を撮影した不正者画像をアクセスする為の「顧客画像Ｎｏ」と、不正に持ち出そうとした商品の「商品コード」、その商品が陳列されている「陳列エリア」および「陳列位置」の各項目を記憶する構成となっている。つまり、精算時に一部の商品を隠し持って持ち出そうとした顧客あるいは精算を行わずにそのまま退場しようとした顧客に関する情報とその商品に関する情報とを対応付けて記憶管理するもので、管理センタ１は、ブラックリスト１４の出力指示に応じてその内容を集計処理してリスト印刷を行うようにしている。
また、管理センタ１は、入口監視カメラ３によって撮影された入場者画像に基づいてブラックリスト１４を検索し、過去に不正を行った顧客が再入場した場合には、その旨を警備員所持の携帯端末７へ通知して注意報知を行うようにしている。
【００３５】
図８は、管理センタ１を構成する機能別の各データ処理装置、つまり、「商品監視処理」、「センタ応答処理」、「退場者監視処理」、「入場者監視処理」等の処理機能に対応するデータ処理装置のうち、その１つのデータ処理装置の基本的な構成要素を示したブロック図である。
ＣＰＵ１０１は、記憶装置１０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのデータ処理装置の全体動作を制御する中央演算処理装置である。記憶装置１０２は、プログラム記憶領域とデータ記憶領域とを有し、このプログラム記憶領域内には、オペレーティングシステムの他に、各種のアプリケーションプログラムが格納され、また、データ記憶領域には、上述したデータベース群や画像ファイル群等が格納され、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。この記録装置１０２はハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。
【００３６】
この記憶装置１０２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）１０３にロードされたり、ＲＡＭ１０３内のデータが記憶装置２にセーブされる。なお、ＲＡＭ１０３内には、プログラム実行領域と作業領域とを有している。更に、ＣＰＵ１０１は通信装置１０４を介して他の電子機器側のプログラム／データを直接アクセスして使用したり、通信装置１０４を介してダウンロード受信することもできる。通信装置１０４は、有線／無線の通信インターフェイスである。一方、ＣＰＵ１０１にはその入出力周辺デバイスである入力装置１０５、表示装置１０６、印字装置１０７がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１０１はそれらの動作を制御する。
【００３７】
なお、入力装置１０５はキーボードやタッチパネルあるいはマウスやタッチ入力ペン等のポインティングデバイスを構成する操作部であり、文字列データや各種コマンドを入力する。表示装置１０６は、例えば、液晶表示素子やＣＲＴあるいはプラズマ表示装置などであり、入力された売上データ等を表示すると共に、各種のメッセージ表示を行う。印字装置１０７は、例えば、熱転写やインクジェットなどのノンインパクトプリンタあるいはドットインパクトプリンタであり、例えば、売上集計レポートやブラックリストを印字発行する。
なお、入力装置１０５、表示装置１０６、印字装置１０７は、そのデータ処理装置の機能に応じて設けられたものである。
【００３８】
図９は、ＰＯＳ端末２の基本的構成要素を示したブロック図である。
ＰＯＳ端末２は、管理センタ１と同様の構成要素としてＣＰＵ２０１、記憶装置２０２、ＲＡＭ２０３、通信装置２０４、入力装置２０５、表示装置２０６、印字装置２０７の他に、精算顧客カメラ２０８が設けられ、更に、入力装置２０５には、登録モード、設定モード、点検モード等を切り換えるモードスイッチ、商品登録キー、１取引分の登録終了時に操作される現金キー等の締めキー、テンキー等を有し、顧客が買い上げた１取引分の商品を登録する精算処理を実行するもので、１取引分の登録終了時にレシートを発行する。精算顧客カメラ２０８は、端末本体に取り付けられ、顧客側に指向するもので、精算時（１取引分の登録開始時）に顧客の正面方向からその顔画像と共に全身画像を撮影すると、この顧客画像は管理センタ１へ転送される。
【００３９】
次に、この実施形態における店舗内システムの動作概念を図１０〜図１６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００４０】
図１０および図１１は、管理センタ１が常時実行する商品監視処理を示したフローチャートである。
先ず、管理センタ１は、複数台の通路監視カメラ５からの撮影画像を取得して（ステップＡ１）、画像解析を行い（ステップＡ２）、商品陳列付近に顧客が居るかをチェックする（ステップＡ３）。この場合、通路撮影画像の中に人物像が写っており、しかも、人物像の位置が商品陳列付近であれば、商品をその陳列位置から取り出される可能性がある為に、この顧客位置付近に設置されている１台あるいは複数台の商品監視カメラ６からの撮影画像を取得し（ステップＡ４）、通路監視カメラ５および商品監視カメラ６によって顧客の背後方向や横方向等から撮影された各撮影画像を照らし合わせながら顧客の手の動きを立体的（３次元的）に解析する（ステップＡ５）。
【００４１】
この解析結果にしたがって顧客の手が商品陳列方向に伸びて商品位置に近づいたかをチェックすると共に（ステップＡ６）、顧客が商品を取り出したかをチェックする（ステップＡ７）。この場合、手に商品を持っていれば、確実に取り出したと認識することができるが、商品を掴み込んでいるような状態、例えば、小さい商品を手の平に隠し持っているような不自然に状態であれば、万引きの可能性が極めて高い為、商品を取り出したものと認識するようにしている。このように手の動きを解析する際には、手の平部分を拡大撮影し、その拡大画像に基づいて商品が取り出されたかをチェックするようにしている。
【００４２】
いま、顧客が商品を見ているだけで取り出さなかった場合には、ステップＡ３に戻って商品陳列付近に顧客が居るかをチェックするが、顧客の手が商品陳列位置に近づいて商品を取り出した場合には、その商品の陳列エリアおよび陳列位置を特定する（ステップＡ８）。この場合、撮影画像内の床マーカＭを基準として、この基準位置からの距離等を考慮して、顧客位置およびその商品の陳列エリア、陳列位置を特定するようにしている。そして、撮影画像の解析によって取り出した商品の個数を特定する（ステップＡ９）。この場合、顧客の手の動きを監視し続けており、１度に同一商品を複数取り出した場合や同一商品を何回にも分けて取り出した場合には、その取り出し個数を特定する。更に、顧客の手の動きを監視し続け、その商品が戻されたかをチェックし（ステップＡ１０）、商品が戻された場合には、その個数を特定する（ステップＡ１１）。以下、顧客が商品陳列付近から立ち去ったかをチェックし（ステップＡ１２）、その顧客が立ち去るまでステップＡ６に戻って上述の動作を繰り返す。
【００４３】
ここで、その顧客が商品陳列付近から立ち去った場合には（ステップＡ１２）、取り出された商品個数から戻された商品個数を減算することによって実際に取り出された商品の個数（実商品数）を求める（図１１のステップＡ１３）。そして、この実商品数が“１”以上であるか否かをチェックする（ステップＡ１４）。いま、商品を取り出さずに立ち去った場合には、実商品数が“０”であるから、図１０のステップＡ１に戻るが、商品を取り出した場合には、実商品数は“１”以上であるから、以下、その商品を監視対象商品として、商品監視データベース１２内に記録する処理に移る（ステップＡ１５〜Ａ２６）。
【００４４】
先ず、顧客が商品陳列位置に近づいてから立ち去るまでの間に撮影された各顧客画像の中からその顧客の特徴を最も良く現している画像（顔画像および全身画像）を抽出する（ステップＡ１５）。そして、この抽出画像に基づいて顧客画像ファイル群１３をアクセスし、該当する顧客画像の有無をチェックする（ステップＡ１６）。その際、撮影画像との特徴比較を行う。つまり、撮影画像の中から特徴部分を抽出して特徴比較を行うが、その際、撮影画像の顔の向き、大きさを補正した後、顔の輪郭、目、口、鼻、額等の形、位置、大きさ等を比較する。ここで、顧客の顔画像を比較する他、性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色を総合的に比較して顧客特定を行う。つまり、顔画像だけで顧客を特定することができなかった場合には、身長、体型、衣服、髪型等の他の要素も考慮して画像比較を総合的に行う。なお、このような顧客画像の比較処理は、以下の処理においても同様に行われる。
【００４５】
これによって該当顧客が無ければ（ステップＡ１６）、新規入場顧客として判断し、「顧客画像Ｎｏ」を新規生成すると共に（ステップＡ１７）、今回の抽出画像に「顧客画像Ｎｏ」を付加して顧客画像ファイル群１３内に新規保存する（ステップＡ１８）。一方、該当顧客が有れば（ステップＡ１６）、顧客画像ファイル群１３内から当該顧客対応の保存画像を取得し（ステップＡ１９）、今回の抽出画像と保存画像とを比較し、保存画像よりも今回の抽出画像の方が顧客の特徴をより現している場合には（ステップＡ２０）、この保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新する（ステップＡ２１）。この場合、顧客の特徴をより現している画像として顧客の正面方向から撮影した顔画像および全身画像が最適画像となる。
【００４６】
そして、上述の図１０のステップＡ８で特定した取り出し商品の陳列エリアおよび陳列位置に基づいて陳列商品管理データベース１１をアクセスし、該当する「商品コード」を読み出すと共に（ステップＡ２２）、上述のステップＡ１３で求められた実商品個数を読み出し（ステップＡ２３）、更に、新規生成した「顧客画像Ｎｏ」あるいは上書保存先の「顧客画像Ｎｏ」を読み出す（ステップＡ２４）。そして、「顧客画像Ｎｏ」、「商品コード」、「個数（実商品数）」を含む監視レコードを新規生成して（ステップＡ２５）、商品監視データベース１２に追加記録する（ステップＡ２６）。
以下、図１０のステップＡ１に戻り、上述の動作を繰り返す結果、同一顧客が商品を取り出す毎に、その監視レコードが生成されて商品監視データベース１２内に追加記録される。
【００４７】
図１２は、ＰＯＳ端末２における売上データを登録して精算する精算処理を示したフローチャートである。
図１３は、ＰＯＳ端末２側での精算処理に応答して実行されるセンタ応答処理を示したフローチャートである。
先ず、ＰＯＳ端末２において、商品登録の開始かをチェックし（ステップＢ１）、１取引分の最初の登録操作が行われた場合には、精算顧客カメラ２０８を作動させて精算顧客画像を取得し（ステップＢ２）、この精算顧客画像を管理センタ１へ送信する（ステップＢ３）。この場合、顧客の正面方向から撮影した顔画像および全身画像を取得して送信する。
【００４８】
そして、通常の売上データ登録処理を行って、売上データ合計器２１の内容を更新すると共に（ステップＢ４）、その登録商品コードおよび登録個数を管理センタ１へ送信する（ステップＢ５）。以下、１取引分の登録を終了させる締めキーが操作されるまで（ステップＢ６）、売上データ登録処理および登録結果の送信処理を繰り返す（ステップＢ４〜Ｂ６）。ここで、締めキーが操作された場合には、当該取引分の精算終了通知を管理センタ１へ送信する（ステップＢ７）。
【００４９】
一方、管理センタ１側においては、ＰＯＳ端末２からの精算顧客画像を受信すると（ステップＣ１）、この精算顧客画像に基づいて顧客画像ファイル群１３を検索して該当顧客を特定すると共に（ステップＣ２）、特定顧客対応の「顧客画像Ｎｏ」を読み出して商品監視データベース１２をアクセスし、この「顧客画像Ｎｏ」対応の監視レコードを全て抽出しておく（ステップＣ３）。
この状態において、管理センタ１は、ＰＯＳ端末２から送信されて来た登録商品コードおよび登録個数を受信すると（ステップＣ４）、上述の各抽出レコードの中から当該登録商品コード対応のレコードをアクセスして該当商品が存在するかをチェックし（ステップＣ５）、該当商品が有れば、そのレコード内の個数と登録個数とを比較して、両者が一致するかをチェックする（ステップＣ６）。この結果、該当商品があり、しかもその個数が一致していれば、当該レコード内に「登録済みフラグ」をセットする（ステップＣ７）。そして、ＰＯＳ端末２から送信されて来る精算終了通知を受信したかをチェックし（ステップＣ８）、精算終了通知を受信するまでステップＣ４に戻り、以下、上述の動作を繰り返す（ステップＣ４〜Ｃ８）。
【００５０】
管理センタ１は、ＰＯＳ端末２から送信されて来た精算終了通知を受信すると（ステップＣ８）、各抽出レコード内の「登録済みフラグ」を参照し、全商品分の登録が完了したかをチェックする（ステップＣ９）。この結果、１商品でも未登録商品が存在していれば、当該レコード内には「登録済みフラグ」がセットされていないので、未登録商品に関する情報（商品名および未登録数）を特定し（ステップＣ１０）、未登録商品に関する情報と共に未登録商品有り通知をＰＯＳ端末２に対して送信する（ステップＣ１１）。
【００５１】
ここで、ＰＯＳ端末２は、精算終了後において（ステップＢ７）、管理センタ１から未登録商品有り通知を受取ると（ステップＢ８）、不正持ち出しの可能性が有ると判断してその旨を報知する（ステップＢ９）。つまり、未登録商品有りを示す案内メッセージと共に未登録商品に関する情報（商品名、未登録数）を表示出力させると共に、レシート用紙に未登録商品に関する情報を印字出力させて不正確認レシートを発行させる。この場合、オペレータは、不正確認レシートを顧客に提示してその旨を伝え、不正有無の確認を行い、一部の商品の精算忘れなのか、故意に商品を隠し持っていたのかを顧客の態度や応答の仕方によって判断する。ここで、故意であると判断した場合には、不正者発見用のキーを操作すると（ステップＢ１０）、管理センタ１へ不正者発見の通知を送信するが（ステップＢ１１）、過失であること判断した場合には、その商品分を次の取引分として新たな登録操作を行う（ステップＢ１）。
【００５２】
管理センタ１は、不正者発見通知を受け取ると（ステップＣ１２）、警備員所持の携帯端末７へ不正者発見通知を行う他に（ステップＣ１３）、必要事項をブラックリスト１４へ登録する処理を行う（ステップＣ１４〜Ｃ１６）。すなわち、当該顧客対応の「顧客画像Ｎｏ」に基づいて商品監視データベース１２から未登録商品の「商品コード」を取得すと共に、この「商品コード」に基づいて陳列商品管理データベース１１をアクセスしてその商品対応の「陳列エリアＮｏ」、「陳列位置」を取得し、更に現在の日付を「不正日付」として取得する（ステップＣ１４）。そして、「不正日付」、「顧客画像Ｎｏ」、「商品コード」、「陳列エリアＮｏ」、「陳列位置」を含むブラックリストレコードを生成して（ステップＣ１５）、ブラックリスト１４へ追加登録する（ステップＣ１６）。
【００５３】
図１４は、顧客の退場に伴って管理センタ１が実行する退場者監視処理を示したフローチャートである。
先ず、管理センタ１は、出口監視カメラ４によって撮影された撮影画（退場者画像）を取得し（ステップＤ１）、その画像解析によって退場者の有無をチェックし（ステップＤ２）、退場者が居れば、この退場者画像に基づいて顧客画像ファイル群１３をアクセスして該当顧客の画像を特定すると共に（ステップＤ３）、特定顧客対応の「顧客画像Ｎｏ」を読み出し（ステップＤ４）、この「顧客画像Ｎｏ」に基づいて商品監視データベース１２をアクセスし、この「顧客画像Ｎｏ」対応の各監視レコードを全て抽出する（ステップＤ５）。
【００５４】
そして、各抽出レコード内の「登録済みフラグ」を参照し、１商品分でも未登録商品が有るかをチェックする（ステップＤ６）。この場合、精算を行わずに退場しようとした顧客は不正者とみなし、上述の場合と同様、警備員所持の携帯端末７へ不正者発見通知を行うと共に（ステップＤ７）、必要事項をブラックリスト１４へ登録する処理を行う（ステップＤ８）。
一方、未登録商品が１商品も無ければ（ステップＤ６）、「顧客画像Ｎｏ」に対応して抽出された各監視レコードを商品監視データベース１２から削除する（ステップＤ９）。これによって、商品監視データベース１２の内容は、現在、店舗内に居る顧客に関する監視レコードのみとなる。
【００５５】
図１５は、顧客の入場に伴って管理センタ１が実行する入場者監視処理を示したフローチャートである。
先ず、管理センタ１は、入口監視カメラ３によって撮影された撮影画像（入場者画像）を取得し（ステップＥ１）、その画像解析によって入場者の有無をチェックし（ステップＥ２）、入場者が居れば、この入場者画像に基づいて顧客画像ファイル群１３をアクセスして該当顧客の画像を特定すると共に（ステップＥ３）、特定顧客対応の「顧客画像Ｎｏ」を読み出し（ステップＥ４）、この「顧客画像Ｎｏ」に基づいてブラックリスト１４をアクセスし、該当する「顧客画像Ｎｏ」の有無に基づいて過去に不正を行った不正者が入場したかをチェックする（ステップＥ５）。ここで、リスト登録されている不正者が入場した場合には、不正者入場通知を警備員所持の携帯端末７へ送信して注意報知を行う（ステップＥ６）。
【００５６】
図１６は、ブラックリスト１４の内容を出力すべきことが指示された際に管理センタ１が実行するブラックリスト出力処理を示したフローチャートである。
先ず、管理センタ１は、リスト内容を所望の集計内容にしたがって出力すべきことを指示する為の集計対象項目の入力を受け付ける（ステップＦ１）。ここで、例えば、商品別集計、陳列エリア別集計等のように任意の集計対象項目が入力されると、集計対象項目を判別し（ステップＦ２）、この集計対象項目に基づいてブラックリスト１４の内容を集計処理する（ステップＦ３）。そして、この集計結果を表示出力させると共に（ステップＦ４）、その印字指示を受けた場合には（ステップＦ５）、この集計結果を所定のフォーマットで印字させて集計レポートを発行させる（ステップＦ６）。
【００５７】
以上のように、この実施形態において店舗内システムを構成する管理センタ１は、陳列商品がその位置から取り出された際に、通路監視カメラ５、商品監視カメラ６によって撮影された撮影画像に基づいて当該商品を監視対象商品として特定することによって得られた商品コードと、商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて商品監視データベース１２内に記憶管理しておき、ＰＯＳ端末２側において１取引分の商品を登録する精算時に当該顧客が撮影された際に、この顧客画像に対応付けられている監視対象商品の商品コードと登録済み商品の商品コードとを比較することによって登録済み商品を監視対象外として処理するが、全ての商品が監視対象外とならず、監視対象商品が有る場合には、不正持ち出しの可能性が有ると判断してその旨を報知するようにしたから、商品が不正に持ち出されるかを撮影画像に基づいて自動監視することができ、万引き防止策として面倒な作業を必要としたり、人手を要することなく不正監視が可能となる他、不正持ち出しされる個々の商品を具体的に指摘することができる等、実用的効果の高い不正監視システムを提供することが可能となる。
【００５８】
この場合、ＰＯＳ端末２は１取引分の登録終了時に未登録商品（監視対象商品）があれば、不正持ち出しの可能性が有る旨を報知するようにしたから、一部の商品の精算忘れの場合（過失）や隠し持っている場合（故意）、１取引分の登録終了時にその旨を指摘することができ、故意過失を問わず、未精算商品の持ち出しを確実に防止することが可能となる。
また、管理センタ１は、顧客が退場する際に、未登録商品（監視対象商品）があれば、不正持ち出しの可能性が有る旨を報知するようにしたから、店から退場する寸前にその顧客を引き止めることができる他、会計（精算）を通さずに退場する顧客を不正者としてみなすことができる。
【００５９】
また、管理センタ１は、商品陳列付近を撮影した撮影画像を解析することによって顧客の手の動きを監視し、商品が取り出されたかを認識するようにしたから、商品の取り出しを画像解析という新たな手法によって検知することができると共に、商品が取り出される毎にその商品の特定も可能となる。
この場合、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する際に、複数台のカメラによって撮影された各撮影画像を照らし合わせることによって商品が取り出されたかを認識するようにしたから、例えば、顧客の背後・横・正面、上方向等、様々な方向から撮影した各撮影画像を照らし合わせて顧客の手の動き監視することができ、商品の取り出しをより確実に検知することが可能となる。
【００６０】
この場合、陳列商品がその位置から取り出された際に、取り出された商品を監視対象として特定する他に、同一商品が１度にあるいは別々に複数個取り出されたとしても、その個数を特定しておき、精算時に監視対象商品のうち登録された個数分を監視対象外とするようにしたから、例えば、複数の同一商品のうち、その一部だけを精算し、他の商品を隠し持っている場合でも、それを監視することができ、確実な不正監視が可能となる。
また、商品を取り出したり、戻したり思案中の手の動きを監視し、商品が戻された場合には、その商品を監視対象外とするようにしたから、実際に取り出された商品のみを監視対象商品として特定することができる。
【００６１】
更に、各顧客画像を比較する際に、顧客の顔画像の他に、性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色を含めて総合的に解析することによって画像比較を行うようにしたから、確実な顧客認識が可能となり、誤認識によって正規な顧客に不愉快な思いをさせることを防止することができる。
また、監視対象商品に対応付けて保存される顧客画像を顧客の特徴をより現している最適画像に自動的に更新するようにしたから、同一顧客が商品を取り出す毎に撮影された各顧客画像を全て保存する必要が無くなると他に、精算時等において画像比較によって顧客照合を行う際に、その照合を確実に行うことが可能となる。
【００６２】
一方、管理センタ１は、過去に商品を不正に持ち出した不正者を撮影した不正者画像をブラックリスト１４に登録しておき、顧客を撮影した顧客画像に基づいてブラックリスト１４を検索し、その顧客が不正者に該当するか場合には、その旨を報知するようにしたから、過去に不正を行った不正者を撮影画像に基づいて自動監視することができ、人手を要さずに常習的な不正者を効果的に監視してその取り締まりが可能となる等、実用性の高い不正監視システムを提供することが可能となる。この場合、入場者画像に基づいてブラックリスト１４を検索するようにしたから、不正者を入場時に検知することができる。その際、顧客が過去に不正を行った不正者であることが判別された場合に、警備員所持の携帯端末７へ注意報知を行うようにしたから、警備員による追跡監視が可能となる。
【００６３】
また、不正者画像をブラックリスト１４に登録する他に、その商品に関する各種の情報をブラックリスト１４に登録し、このブラックリスト１４の出力が指示された際に、商品に関する情報に基づいてブラックリスト１４の内容を指定された項目別に集計すると共に、その集計結果を出力するようにしたから、例えば、どの商品、どの棚位置が万引きされ易いか等を判断可能とする万引き対策用の資料を容易に入手することができる。
【００６４】
なお、上述した実施形態においては、各種のカメラ装置として、入口監視カメラ３、出口監視カメラ４、通路監視カメラ５、商品監視カメラ６を常時作動させるようにしたが、入口監視カメラ３によって顧客の入場が検知され、店内に顧客が居る場合に限って他のカメラを作動させるようにしてもよい。また、機能別に通路監視カメラ５と商品監視カメラ６とを分けたが、それらの機能を兼用するようにしてもよい。
また、陳列商品管理データベース１１は、商品陳列エリ毎に商品を識別する為の「商品コード」を記憶する構成としたが、「商品コード」に代わって商品の種類を示す商品「分類コード」あるいは商品の陳列位置を示す「位置コード」等を記憶するものであってもよい。つまり、取り出し商品の特定は、商品の種類やその陳列位置であってもよい。
【００６５】
上述した実施形態においては、商品の不正持ち出しを警備員所持の携帯端末７へ通知するようにしたが、その他に、各店員が所持している携帯端末へ通知するようにしてもよく、更に、警備員が待機している警備システム側へ通知するようにしてもよい。
また、上述した実施形態においては、顧客が過去に不正を行った不正者が入場した際に、警備員所持の携帯端末７へ注意報知を行うようにしたが、例えば、監視カメラによってその不正者を追跡監視するようにしてもよい。つまり、入場者が過去に不正を行った者であれば、その撮影画像に基づいて不正者を特定し、複数台の監視カメラによって店内を移動する不正者を追跡監視してモニタ表示するようにすれば、常習的な不正者の行動を監視することが可能となる。
【００６６】
その他、上述した実施形態においては、精算時に撮影された顧客画像に対応付けられている監視対象商品の商品コードと登録済み商品の商品コードとを比較して登録済み商品を監視対象外とする処理を管理センタ１側で行うようにしたが、この処理をＰＯＳ端末２側が行うようにしてもよい。
上述した実施形態においては、構内通信システムに適用した場合を示したが、例えば、コンビニエンスストア等において、広域通信回線を介して複数の支店間と本部側の管理センタとを接続した広域通信システムにも勿論、適用可能である。この場合、管理センタは、各支店毎に撮影された撮影画像を取得して不正監視を行えばよい。また、ブラックリストを各支店共通の資料として活用し、何れかの支店で過去に不正を行った者が他の支店に入場した際に、その旨を報知するようにしてもよい。
【００６７】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、各商品の陳列位置に対応してその商品の識別情報を記憶管理する機能と、陳列商品がその位置から取り出された際に、その陳列位置に基づいて当該商品を監視対象として特定する機能と、特定された監視対象商品の識別情報と、陳列商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて記憶管理する機能と、顧客が買い上げた１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に対応付けられている監視対象商品の識別情報と登録済み商品の識別情報とを比較することによって登録済み商品を監視対象外とする機能と、監視対象商品が全て監視対象外となったかを顧客毎に判別する機能と、監視対象商品が存在していることが判別された場合に、不正持ち出しの可能性が有ると判断してその旨を報知する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００６８】
また、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、過去に商品が不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録する機能と、顧客を撮影した顧客画像に基づいて前記不正者リストを検索し、その顧客が不正者に該当するかを判別する機能と、顧客が過去に不正を行った不正者であることが判別された場合には、その旨を報知する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００６９】
【発明の効果】
第１の発明（請求項１記載の発明）によれば、陳列商品がその位置から取り出された際に、その商品を監視対象商品として特定することによって得られた商品識別情報と、商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて記憶管理しておき、１取引分の商品を登録する精算時において当該顧客を撮影すると共に、この顧客画像に対応付けられている監視対象商品の識別情報と登録済み商品の識別情報とを比較することによって登録済み商品を監視対象外として処理するが、全ての商品が監視対象外とならず、監視対象商品が有る場合には、不正持ち出しの可能性が有ると判断してその旨を報知するようにしたから、商品が不正に持ち出されるかを撮影画像に基づいて自動監視することができ、万引き防止策として面倒な作業を必要としたり、人手を要することなく不正監視が可能となる他、不正持ち出しされる個々の商品を具体的に指摘することができる等、実用的効果の高い不正監視システムを提供することが可能となる。
第２の発明（請求項１０記載の発明）によれば、過去に商品を不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録しておき、顧客を撮影した顧客画像に基づいて不正者リストを検索し、その顧客が不正者に該当するか場合には、その旨を報知するようにしたから、過去に不正を行った不正者を撮影画像に基づいて自動監視することができ、人手を要さずに常習的な不正者を効果的に監視してその取り締まりが可能となる等、実用的効果の高い不正監視システムを提供することが可能となる。
【図面の簡単な説明】
【図１】店舗内システムの全体構成を概念的に示したブロック図。
【図２】店舗内の一部に配置されているカメラの配置状態を示した図。
【図３】顧客の行動（商品の取り出し）を複数台のカメラによって監視することを説明する為の図。
【図４】管理センタ１側に設けられている陳列商品管理データベース１１の構成を示した図。
【図５】（Ａ）は、管理センタ１側に設けられている商品監視データベース１２の構成を示した図、（Ｂ）は、管理センタ１側に設けられている顧客画像ファイル群１３を示した図。
【図６】ＰＯＳ端末２側に設けられている売上データ合計器２１の構成を示した図。
【図７】管理センタ１側に設けられているブラックリスト１４の構成を示した図。
【図８】管理センタ１を構成する機能別の各データ処理装置のうち、その１つのデータ処理装置の基本的な構成要素を示したブロック図。
【図９】ＰＯＳ端末２の基本的構成要素を示したブロック図。
【図１０】管理センタ１が常時実行する商品監視処理を示したフローチャート。
【図１１】図１０に続く、商品監視処理を示したフローチャート。
【図１２】ＰＯＳ端末２における売上データを登録して精算する精算処理を示したフローチャート。
【図１３】ＰＯＳ端末２側での精算処理に応答して実行されるセンタ応答処理を示したフローチャート。
【図１４】顧客の退場に伴って管理センタ１が実行する退場者監視処理を示したフローチャート。
【図１５】顧客の入場に伴って管理センタ１が実行する入場者監視処理を示したフローチャート。
【図１６】ブラックリスト１４の内容を出力すべきことが指示された際に管理センタ１が実行するブラックリスト出力処理を示したフローチャート。
【符号の説明】
１ 管理センタ
２ ＰＯＳ端末
３ 入口監視カメラ
４ 出口監視カメラ
５ 通路監視カメラ
６ 商品監視カメラ
７ 警備員所持の携帯端末
８ 商品陳列棚
９ 通路
１１ 陳列商品管理データベース
１２ 商品監視データベース
１３ 顧客画像ファイル群
１４ ブラックリスト
２１ 売上データ合計器
１０１、２０１ ＣＰＵ
１０２、２０２ 記憶装置
１０４、２０４ 通信装置
１０５、２０５ 入力装置
１０６、２０６ 表示装置
１０７、２０７ 印字装置
２０８ 精算顧客カメラ

Claims (15)

1. 撮影画像に基づいて陳列商品が不正に持ち出されるかを監視する不正監視システムであって、
   各商品の陳列位置に対応してその商品の識別情報を記憶管理する商品情報記憶手段と、
   陳列商品がその位置から取り出された際に、その陳列位置に基づいて前記商品情報記憶手段を検索して当該商品を監視対象商品として特定する特定手段と、
   この特定手段によって特定された監視対象商品の識別情報と、陳列商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて記憶管理する監視情報記憶手段と、
   顧客が買い上げた１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に基づいて前記監視情報記憶手段を検索し、その顧客に対応付けられている監視対象商品の識別情報と登録済み商品の識別情報とを比較することによって登録済み商品を監視対象外とする精算手段と、
   この精算手段によって前記監視情報記憶手段内の監視対象商品が全て監視対象外となったかを顧客毎に判別する判別手段と、
   この判別手段によって監視対象商品が存在していることが判別された場合に、不正持ち出しの可能性が有ると判断してその旨を報知する報知手段と、
   を具備したことを特徴とする不正監視システム。
2. 前記判別手段は、１取引分の登録終了時において監視対象商品が全て監視対象外となったかを判別し、
   前記報知手段は、監視対象商品が存在していることが判別された場合に、１取引分の登録終了時に不正持ち出しの可能性が有る旨を報知する、
   ようにしたことを特徴とする請求項１記載の不正監視システム。
3. 前記判別手段は、顧客が退場する際に、その退場者を撮影した退場者画像に基づいて前記監視情報記憶手段を検索し、その顧客に対応する監視対象商品が全て監視対象外となったかを判別し、
   前記報知手段は、監視対象商品が存在していることが判別された場合に、その顧客の退場時に不正持ち出しの報知を行う、
   ようにしたことを特徴とする請求項１記載の不正監視システム。
4. 前記特定手段は、商品陳列付近を撮影した撮影画像を解析することによってその付近に顧客が存在しているかを認識し、商品陳列付近に顧客が居る場合には、その解析結果にしたがって顧客の手の動きを監視し、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する、
   ようにしたことを特徴とする請求項１記載の不正監視システム。
5. 前記特定手段は、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する際に、複数台のカメラによって撮影された各撮影画像を照らし合わせることによって商品が取り出されたかを認識する、
   ようにしたことを特徴とする請求項４記載の不正監視システム。
6. 前記特定手段は、陳列商品がその位置から取り出された際に、取り出された商品を監視対象として特定する他に、その商品個数を特定し、
   前記監視情報記憶手段は、監視対象商品毎にその個数を合わせて記憶管理し、前記精算手段は、監視対象商品と登録済み商品とを比較した結果、監視対象商品のうち登録された個数分を監視対象外とする、
   ようにしたことを特徴とする請求項１記載の不正監視システム。
7. 前記特定手段は、陳列商品がその位置から取り出された後において当該商品が戻されたかを監視し、商品が戻された場合には、当該商品を監視対象外とする、
   ようにしたことを特徴とする請求項１記載の不正監視システム。
8. 前記各顧客画像は、顧客の全体を撮影した全身画像であり、各顧客画像を比較する際には、顧客の性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色の各特徴要素のうち、少なくとも、その顔画像と他の要素とを総合的に解析して画像比較を行う、
   ようにしたことを特徴とする請求項１あるいは３記載の不正監視システム。
9. 顧客が入場してから最初に商品を取り出した際に、その時の顧客画像を前記監視対象商品に対応付けて保存し、次に同一顧客が商品を取り出す際に、今回撮影された顧客画像と保存画像とを比較処理し、その結果、保存画像よりも今回の画像の方が顧客の特徴をより現している場合には、保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新する、
   ようにしたことを特徴とする請求項１記載の不正監視システム。
10. 撮影画像に基づいて陳列商品を不正に持ち出した不正者かを監視する不正監視システムであって、
    過去に商品を不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録する不正者登録手段と、
    顧客を撮影した顧客画像に基づいて前記不正者リストを検索し、その顧客が不正者に該当するかを判別する判別手段と、
    この判別手段によって顧客が過去に不正を行った不正者であることが判別された場合には、その旨を報知する報知手段と、
    を具備したことを特徴とする不正監視システム。
11. 入場者を撮影した入場者画像を取得する入場者画像取得手段を設け、
    前記判別手段は、この入場者画像に基づいて不正者リストを検索し、入場者が不正者に該当するかを判別する、
    ようにしたことを特徴とする請求項１０記載の不正監視システム。
12. 前記報知手段は、顧客が過去に不正を行った不正者であることが判別された場合に、その旨を警備員所持の携帯端末へ通知して注意報知を行う、
    ようにしたことを特徴とする請求項１０記載の不正監視システム。
13. 前記不正者登録手段は、不正者画像を不正者リストに登録する他に、その商品に関する各種の情報を登録し、
    不正者リストの出力が指示された際に、商品に関する情報に基づいて前記不正者リストの内容を集計すると共にその集計結果を出力する、
    ようにしたことを特徴とする請求項１０記載の不正監視システム。
14. コンピュータに対して、
    各商品の陳列位置に対応してその商品の識別情報を記憶管理する機能と、
    陳列商品がその位置から取り出された際に、その陳列位置に基づいて当該商品を監視対象として特定する機能と、
    特定された監視対象商品の識別情報と、陳列商品が取り出された際に当該顧客を撮影した顧客画像とを対応付けて記憶管理する機能と、
    顧客が買い上げた１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に対応付けられている監視対象商品の識別情報と登録済み商品の識別情報とを比較することによって登録済み商品を監視対象外とする機能と、
    監視対象商品が全て監視対象外となったかを顧客毎に判別する機能と、
    監視対象商品が存在していることが判別された場合に、不正持ち出しの可能性が有ると判断してその旨を報知する機能と、
    を実現させるためのプログラム。
15. コンピュータに対して、
    過去に商品が不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録する機能と、
    顧客を撮影した顧客画像に基づいて前記不正者リストを検索し、その顧客が不正者に該当するかを判別する機能と、
    顧客が過去に不正を行った不正者であることが判別された場合には、その旨を報知する機能と、
    を実現させるためのプログラム。

Images