JP2005115504A - 画像検索システムおよび画像データベース - Google Patents

Abstract

【課題】ＰＯＳターミナルを用いて行われる取引において、ジャーナルデータを参照するだけでは特定することのできない問題を解決可能な検索システムを提供することを課題とする。
【解決手段】カメラ１はＰＯＳターミナル１０を撮影し、カメラ２は客４２がレジカウンター４０に置いた商品４３周辺を撮影する。これら撮影された画像はフォトジャーナルレコーダー２０に蓄積される。また、ＰＯＳターミナル１０からはジャーナルデータＪＤ（取引履歴データ）と操作履歴データＰＤが出力され、これらのデータもフォトジャーナルレコーダー２０に記録される。これらデータＶＤ,ＪＤ,ＰＤは、各データに含まれている時刻情報に基づいて関連付け可能である。検索端末では、これら３つのデータを相互に指定して検索処理を実行することが可能である。
【選択図】図１

Description

本発明は、店舗を撮影した画像の検索システムに関する。

コンビニエンスストア、スーパー、飲食店、電気店など様々な店舗において、商品の会計処理、飲食代の会計処理などがＰＯＳターミナルを利用して行われる。商品を購入する客は、商品かごを持ってレジに向かう。そして、商品かごをレジカウンターに置いて店員によるレジ操作を待つ。あるいは、飲食を済ませた客は、伝票を持ってレジに向かう。そして、店員によるレジ操作を待つのである。

店員は、商品かごに入っている商品を１つづつキー操作しながらＰＯＳターミナルに入力操作を行う。最近では殆どのＰＯＳターミナルはバーコード読取機を備えており、レジ操作が簡便なものとなっている。あるいは、店員は、手書きあるいは印字された伝票を参照しながら、飲食代金をＰＯＳターミナルに入力するのである。

店員によるＰＯＳターミナルへの入力操作が終了すると、客は代金を支払う。店員は代金をＰＯＳターミナルのドロワに収納する。また、釣銭が必要な場合には、ドロワから現金を取り出し、客に釣銭を返す。

以上のような一連の動作により会計処理が行われるが、この間、ＰＯＳターミナルに入力された情報はジャーナルデータとして蓄積される。ジャーナルデータには、何時、どの商品が何個販売されたのか、合計金額はいくらであったか、釣銭はいくら返したか、といった情報が蓄積されている。

上記のように、ＰＯＳターミナルはジャーナルデータを蓄積している。このデータを参照することによって、過去の取引履歴を知ることができる。また、ジャーナルデータを残すことで、誤ったレジ操作が行われた場合でも、後でミスの発生個所を特定することが可能である。また、不正な取引をある程度防止することが可能である。

しかし、ジャーナルデータのみを参照しても、特定することのできない不正な取引がある。たとえば、店員が商品についてＰＯＳターミナルに入力操作を行わず、現金のみを客から受け取ったとする。そして、この現金を店員がＰＯＳターミナルに収納しなかった場合であっても、ジャーナルデータには何の記録も残らないだけである。

そこで、本発明は前記問題点に鑑み、ＰＯＳターミナルから取得可能な情報と、カメラによる撮影画像を利用して、適正な会計処理が行われることを確保するためのシステムを提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、店舗の所定の領域を撮影する撮影手段と、前記撮影手段から出力された撮影時刻情報を含む画像データと、前記店舗に設置されたＰＯＳターミナルが出力した取引時刻情報を含む取引履歴データとを蓄積するデータ記憶手段と、検索手段と、を備え、前記検索手段は、検索条件を指定させる指定手段と、前記データ記憶手段に蓄積された前記取引履歴データの中から前記検索条件を満たす前記取引履歴データを検索し、さらに、前記取引時刻情報と前記撮影時刻情報とを参照することにより、検索された前記取引履歴データが記録された時間帯の前記画像データを特定し、検索された前記取引履歴データと特定された前記画像データとをディスプレイに表示する手段と、を含むことを特徴とする。

請求項２記載の発明は、請求項１に記載の画像検索システムにおいて、前記データ記憶手段は、前記ＰＯＳターミナルが出力した操作時刻情報を含む操作履歴データを蓄積する手段、を含み、前記検索手段は、前記データ記憶手段に蓄積された前記取引履歴データの中から前記検索条件を満たす前記取引履歴データを検索し、さらに、前記取引時刻情報と前記操作時刻情報とを参照することにより、検索された前記取引履歴データが記録された時間帯の前記操作履歴データを特定し、検索された前記取引履歴データと特定された前記操作履歴データを前記ディスプレイに表示する手段、を含むことを特徴とする。

請求項３記載の発明は、店舗の所定の領域を撮影する撮影手段と、前記撮影手段から出力された撮影時刻情報を含む画像データと、前記店舗に設置されたＰＯＳターミナルが出力した操作時刻情報を含む操作履歴データとを蓄積するデータ記憶手段と、検索手段と、を備え、前記検索手段は、前記操作履歴データに記録されたいずれかの操作情報を指定させる指定手段と、前記データ記憶手段に蓄積されている前記操作時刻情報と前記撮影時刻情報とを参照することにより、前記指定手段によって指定された操作情報が記録された時間帯の前記画像データを特定し、特定された前記画像データをディスプレイに表示する手段と、を含むことを特徴とする。

請求項４記載の発明は、請求項３に記載の画像検索システムにおいて、前記データ記憶手段は、前記ＰＯＳターミナルが出力した取引時刻情報を含む取引履歴データを蓄積する手段、を含み、前記検索手段は、前記データ記憶手段に蓄積されている前記操作時刻情報と前記取引時刻情報とを参照することにより、前記指定手段によって指定された操作情報が記録された時間帯の前記取引履歴データを特定し、特定された前記取引履歴データを前記ディスプレイに表示する手段、を含むことを特徴とする。

請求項５記載の発明は、請求項１ないし請求項４のいずれかに記載の画像検索システムにおいて、前記ＰＯＳターミナルは、前記画像データの記録が行われていない状態で任意の入力操作が行われた際に開始情報を出力するとともに、所定の入力操作が行われた後所定時間経過後に終了情報を出力する手段、を含み、前記データ記憶手段は、前記開始情報を受信してから前記終了情報を受信するまで前記画像データを蓄積することを特徴とする。

請求項６記載の発明は、請求項１ないし請求項４のいずれかに記載の画像検索システムにおいて、前記ＰＯＳターミナルは、前記画像データの記録が行われていない状態で任意の入力操作が行われた際に開始情報を出力するとともに、所定の入力操作が行われた後所定時間経過後に終了情報を出力する手段、を含み、前記データ記憶手段は、前記開始情報を受信した時刻より所定時間前の時刻から前記終了情報を受信するまで前記画像データを蓄積することを特徴とする。

請求項７記載の発明は、請求項１ないし請求項６のいずれかに記載の画像検索システムにおいて、前記撮影手段は、店舗に設置されたＰＯＳターミナルを含む領域を撮影する手段、を含むことを特徴とする。

請求項８記載の発明は、請求項１ないし請求項６のいずれかに記載の画像検索システムにおいて、前記撮影手段は、店舗に設置されたカウンターにおいて購入商品が載置される領域を撮影する手段、を含むことを特徴とする。

請求項９記載の発明は、請求項１ないし請求項６のいずれかに記載の画像検索システムにおいて、前記撮影手段は、会計対象である伝票が載置される領域を撮影する手段、
を含むことを特徴とする。

請求項１０記載の発明は、請求項１ないし請求項６のいずれかに記載の画像検索システムにおいて、前記撮影手段は、複数の撮影手段を含み、前記データ記憶手段は、これら複数の撮影手段から出力された前記画像データをそれぞれ蓄積するものであり、前記検索手段は、検索結果としてそれぞれの前記画像データを前記ディスプレイに表示させることを特徴とする。

請求項１１記載の発明は、請求項１ないし請求項１０のいずれかに記載の画像検索システムにおいて、前記データ記憶手段は、前記ＰＯＳターミナルとはネットワークを介して接続されたデータ記憶装置に収容され、前記検索手段は、前記データ記憶装置とはネットワークを介して接続された検索端末に収容されており、前記検索手段は、ネットワーク経由で前記データ記憶手段にアクセスして検索処理を実行することを特徴とする。

請求項１２記載の発明は、請求項１ないし請求項１０のいずれかに記載の画像検索システムにおいて、前記データ記憶手段は、前記ＰＯＳターミナルとはネットワークを介して接続されたデータ記憶装置が備えるリムーバブル記憶媒体であり、前記検索手段は、前記リムーバブル記憶媒体を挿入して前記リムーバブル記憶媒体に格納されたデータにアクセス可能な検索端末に収容され、前記検索端末に挿入された前記リムーバブル記憶媒体にアクセスして検索処理を実行することを特徴とする。

請求項１３記載の発明は、請求項１１または請求項１２に記載の画像検索システムにおいて、前記検索端末は、ＰＯＳターミナル、を含むことを特徴とする。

請求項１４記載の発明は、画像データベースであり、店舗に設置され所定の領域を撮影する撮影手段から出力された画像データと、前記店舗に設置されたＰＯＳターミナルが出力した操作履歴データと、を含み、前記画像データに含まれる撮影時刻情報と、前記操作履歴データに含まれる操作時刻情報とから、前記画像データと前記操作履歴データとが関連付けられて蓄積される。

請求項１５記載の発明は、画像データベースであり、店舗に設置され所定の領域を撮影する撮影手段から出力された画像データと、前記店舗に設置されたＰＯＳターミナルが出力した取引履歴データと、を含み、前記画像データに含まれる撮影時刻情報と、前記取引履歴データに含まれる取引時刻情報とから、前記画像データと前記取引履歴データとが関連付けられて蓄積される。

請求項１ないし請求項１３記載の発明は、店舗を撮影した画像データと、取引履歴あるいは操作履歴とを関連付けて参照する検索システムであり、過去の取引状態を把握し易くなり、店舗において適正な会計処理を行われることを確保することができる。

また、請求項１４または請求項１５の発明は、店舗を撮影した画像データと、取引履歴あるいは操作履歴とを関連付けたデータベースを構築するので、過去の取引状態を把握するために利便性がよい。

｛第１の実施の形態｝
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、画像撮影、記録、検索を行うシステムの全体図である。第１の実施の形態は、たとえばコンビニエンスストアなどのレジで利用されるシステムである。レジカウンター４０には、ＰＯＳターミナル１０が設置されている。ＰＯＳターミナル１０は、購買トランザクションを処理および記録する装置であり、各種キーで構成される入力部１２および入力部１２による操作内容や合計金額などを表示するディスプレイ１１を備えている。また、入力部１２には、図示せぬバーコード読取機が含まれる。なお、本実施の形態において、ＰＯＳターミナル１０は、レジスターとしての機能を備えている。

店員４１は、レジカウンター４０の内側でレジ操作などを行う。客４２は、購入する商品４３をレジカウンター４０の上に置く。ここで、ＰＯＳターミナル１０の位置などから客４２が商品４３を載置する位置はある程度限られる。この商品４３が載置される領域を領域４４として図示している。

レジカウンター４０の上方あるいは側方には、カメラ１,２が設置されている。カメラ１は、ＰＯＳターミナル１０を撮影するようにアングルが固定されている。カメラ１は、特に、ＰＯＳターミナル１０の入力部１１や現金の出し入れが行われる場所が撮影されるように設定される。多くはＰＯＳターミナル１０の下部側にドロワ（金庫）が設けられているので、ドロワに対する現金の出し入れ操作が撮影可能にカメラ１が設置されている。

また、カメラ２は、商品４３が載置される領域４４を中心として、店員４１と客４２を含むような領域を撮影するようにアングルが固定されている。この領域４４は、店員４１がたとえば、バーコード読取機を利用して商品４３のバーコードを読み取る操作を行う領域も含まれている。

カメラ１,２が撮影した画像データは、ケーブルを介してフォトジャーナルレコーダー２０にリアルタイムで送信される。また、ＰＯＳターミナル１０とフォトジャーナルレコーダー２０は、ＬＡＮ６を介して接続されており、ＰＯＳターミナル１０とフォトジャーナルレコーダー２０は、ネットワーク経由でデータの送受信を行うことが可能である。

図２は、ＰＯＳターミナル１０およびフォトジャーナルレコーダー２０の機能ブロック図である。各種キーおよびバーコード読取機などを備える入力部１２において、購入する商品４３の情報が入力されると、これらの情報がディスプレイ１１に表示されるとともに、制御部１３は、売上会計処理を実行する。売上会計処理とは売上合計金額の計算、釣銭の計算などを含む。また、制御部１３が、取引履歴データであるジャーナルデータＪＤを記憶装置に蓄積する。ある客についての全ての会計が終了すると、ジャーナルデータＪＤに基づいて図示せぬ出力部よりレシートが出力される。また、記憶されたジャーナルデータＪＤは、通信部１４を介してリアルタイムでフォトジャーナルレコーダー２０に送信される。

また、入力部１２を用いて行われた全ての操作に関する情報は、操作履歴データＰＤとして記憶装置に格納される。操作履歴データＰＤは、各種キーが選択操作されるごとに、あるいは、バーコード読取機によって読取操作が行われるごとに、全ての操作内容が操作時刻情報とともに逐次記録されたものである。従って、いったん行った操作は取り消し操作を行っても必ず操作履歴データＰＤに記録されることになる。記憶された操作履歴データＰＤは、通信部１４を介してリアルタイムでフォトジャーナルレコーダー２０に送信される。

記録指示部１５は、入力部１２における操作入力を監視して、画像データの記録タイミングを指示する機能部である。画像データの記録操作が行われていない状態で、入力部１２によりいずれかの入力操作が行われた場合には、記録指示部１５は、通信部１４を介してフォトジャーナルレコーダー２０に対して画像記録の開始情報を送信する。一方、所定の入力操作が行われた後、所定時間経過後に、記録指示部１５は、通信部１４を介してフォトジャーナルレコーダー２０に対して画像記録の終了情報を送信する。たとえば、レジ操作の最後に、"合計"キーが選択された後、３０秒経過後に終了情報を送信する。

フォトジャーナルレコーダー２０は、画像入力部２１によりカメラ１,２から出力される画像データを受信する。受信した画像データは、画像処理部２２において圧縮処理などが行われ、メモリ２５に格納される。メモリ２５は、画像処理部２２より受け取った所定フレーム数の画像データを格納可能としている。たとえば、メモリ２５には、１０秒前の画像データ（画像フレーム）から最新の画像データ（画像フレーム）までが格納される。

そして、記録部２４により画像記録処理が行われると、メモリ２５に格納されている画像データが順次、記憶装置５に画像データＶＤとして蓄積されるのである。記録部２４は、ＰＯＳターミナル１０より受信した画像記録の開始情報および終了情報に基づいて画像記録の開始および停止制御を行う。

第１の方法としては、記録部２４は、開始情報を受け取った時点から画像データＶＤの記録を開始し、終了情報を受け取った時点で画像データＶＤの記録を終了する。第２の方法としては、記録部２４は、開始情報を受け取った時点から所定時間遡った時点から画像データＶＤの記録を開始し、終了情報を受け取った時点で画像データＶＤの記録を終了する。記録部２４は、メモリ２５に格納されている画像データの分だけ過去に遡って画像を記録することが可能である。たとえば、メモリ２５に１０秒間の画像データがバッファリングされている場合には、１０秒前に遡って画像データの記録を開始することが可能である。このように、第１の方法によれば、レジ操作を行っている間だけ画像の記録を行うので、不要な画像データＶＤの記録を行うことなく、記憶領域を節約することが可能である。第２の方法によれば、記憶領域の節約を行いながら、過去に遡って記録を開始するので、レジ操作直前の状態を確認することが可能である。

また、前述したように、画像記録の終了情報は、所定の入力操作が行われた後、所定時間経過後に送信される。したがって、レジ操作が終了した後、店員４１と客４２との間で現金の受け渡しを行っている場合にも画像データＶＤが記録されるので、一連の会計動作の一部始終を画像として蓄積することが可能である。

ここで、記憶装置５に格納される画像データＶＤのうち、カメラ１より受信した画像データＶＤをレジ画像データＶＤ１、カメラ２より受信した画像データＶＤをカウンタ画像データＶＤ２とする。

本実施の形態において、記憶装置５は、フォトジャーナルレコーダー２０に着脱可能なリムーバブルメディアである。記憶装置５としては、たとえば、コンパクトフラッシュ（Ｒ）が利用可能である。

前述したように、ＰＯＳターミナル１０からはジャーナルデータＪＤと操作履歴データＰＤが送信される。記録部２４は、通信部２３を介して受信したジャーナルデータＪＤと操作履歴データＰＤを順次記憶装置５に記録する。

このようにして、フォトジャーナルレコーダー２０の記憶装置５には、カメラ１が撮影したレジ画像データＶＤ１と、カメラ２が撮影したカウンタ画像データＶＤ２と、ＰＯＳターミナル１０において処理された取引履歴を記録したジャーナルデータＪＤと、ＰＯＳターミナル１０において行われた全ての操作履歴を記録した操作履歴データＰＤが蓄積されるのである。

次に、各データの内容について説明する。図３は、画像データＶＤの内容を模式的に示す図である。この図で示す画像データＶＤのフォーマットは、レジ画像データＶＤ１およびカウンタ画像データＶＤ２に共通である。画像データＶＤは、各時間において取得された画像フレームであり、各画像データＶＤは、ヘッダ部ＨＰとデータ部ＤＰとを含んでいる。そして、ヘッダ部ＨＰには、この画像データＶＤが撮影された時刻情報が含まれている。

図４は、ジャーナルデータＪＤの内容を示す図である。ジャーナルデータＪＤは、図に示すように、複数の項目についての情報を含んでいる。「取引Ｎｏ情報」とは、１つの取引単位ごとに採番される番号である。この取引単位とはレシートが発行される単位である。「取引日時情報」とは、取引が行われた年月、時間を示す情報である。「商品別取引情報」は、さらに複数の情報を含んでいる。「商品別取引情報」は、販売した商品の商品Ｎｏ、販売した商品の個数、販売した商品別の合計金額を示す情報などが含まれる。「清算情報」とは、全ての販売商品の合計金額、受け取った現金を示す情報、釣銭の額を含んでいる。「レジ情報」とは、複数台のレジが設置されている場合にレジを特定する情報や、レジ操作を行った店員４１の識別番号、レジ操作を行った店員４１の氏名などを含んでいる。「顧客情報」とは、買い物を行った客４２の年齢範囲、性別などを含む情報である。

図５は、操作履歴データＰＤの内容を示す図である。操作履歴データＰＤは、操作が行われた年月、時間を示す「操作日時情報」、操作が行われたキーの種別を示す「操作キー情報」が含まれている。また、バーコード読取機による操作も「操作キー情報」として記録される。

フォトジャーナルレコーダー２０の記憶装置５には、以上説明したような画像データＶＤとジャーナルデータＪＤと操作履歴データＰＤとが記録される。そして、これら各データは時間情報に基づいて関連付けられる。すなわち、画像データＶＤには、ヘッダ部ＨＰに「撮影時刻情報」が記録されており、ジャーナルデータＪＤには「取引日時情報」が記録されており、操作履歴データＰＤには「操作日時情報」が記録されているからである。したがって、記憶装置５をデータベースとして利用することにより、画像データＶＤとジャーナルデータＪＤと操作履歴データＰＤを相互に検索することが可能である。たとえば、操作履歴データＰＤに基づいて同じ時間帯に撮影された画像データＶＤを検索することや、ジャーナルデータＪＤ（取引履歴情報）に基づいて同じ時間帯に撮影された画像データＶＤを検索することなどが可能である。

そして、上述したように、記憶装置５に蓄積される各データＶＤ,ＪＤ,ＰＤは、カメラ１,２からリアルタイムにフォトジャーナルレコーダー２０に転送され、あるいは、ＰＯＳターミナル１０からリアルタイムにフォトジャーナルレコーダー２０に転送される。そして、画像の圧縮処理などもフォトジャーナルレコーダー２０において実行されるので、ＰＯＳターミナル１０に対する処理負荷を小さくしている。したがって、店舗の営業時間中においてＰＯＳターミナル１０が会計処理を行い際に、データベース作成処理等のためＰＯＳターミナル１０の処理負荷が大きくなることはない。

次に、記憶装置５に格納されたデータを利用した検索処理について説明する。図６は、検索処理を行う検索端末３０の機能ブロック図である。ここで、ＰＯＳターミナル１０あるいは図２で示したコンピュータ７またはコンピュータ９が検索端末３０として動作することが可能である。したがって、ＰＯＳターミナル１０あるいはコンピュータ７,８が検索端末として動作するために必要な共通の機能部を図３に示している。なお、コンピュータ７は、ＬＡＮ６を介してフォトジャーナルレコーダー２０に接続されており、コンピュータ９は、ＬＡＮ６および別のネットワーク８（インターネットなどの広域ネットワークを含む）を介してフォトジャーナルレコーダー２０に接続されている。

ＰＯＳターミナル１０が検索端末３０を兼ねている場合には、別個の検索端末を用意する必要はなく、営業時間終了後などに、ＰＯＳターミナル１０を検索端末３０として利用することができる。また、店舗とは離れた遠隔地にある本部監視センタなどにおいては、コンピュータ９を検索端末として利用することが可能である。

検索端末３０は、ディスプレイ３１、入力部３２、検索処理部３３、カードＩ／Ｆ３４、通信部３５を備えている。入力部３２は、各種キーやマウスなどから構成される。入力部３２を操作して各種の検索処理指示が行われると、検索処理部３３は、カードＩ／Ｆ３４を介してカードスロットに挿入された記憶装置５にアクセスし、検索処理を実行する。あるいは、検索処理部３３は、通信部３５を介してフォトジャーナルレコーダー２０に挿入されている記憶装置５にアクセスし、検索処理を実行する。また、検索処理部３３は、検索結果をディスプレイ３１に出力する機能や、各種の検索用画面をディスプレイ３１に出力する機能を備える。

したがって、ＰＯＳターミナル１０が検索端末３０を兼ねている場合には、オペレータは、ＰＯＳターミナル１０の入力部１２を操作して検索処理を実行することができる。そして、検索用画面や検索結果はＰＯＳターミナル１０のディスプレイ１１に表示される。

図７は、検索端末３０のディスプレイ３１に表示される検索画面５０の一例を示す図である。図で示すように、オペレータは、"取引Ｎｏ"、"取引日時"、"店員Ｎｏ"、"商品名"、"現金種別"、"レジＮｏ"・・・などを指定することにより、検索処理を実行することが可能である。ここで、"取引Ｎｏ"には、取引ごとに付与されたＮｏが指定される。"取引日時"には、取引が行われた年月や時間が指定される。"店員Ｎｏ"には、レジを担当する店員にあらかじめ付与された番号、記号等が指定される。"商品名"としては、実際の商品名が指定される形態でもよいし、商品番号が指定される形態でもよい。"現金種別"とは、客が支払った現金の種別（千円札、５千円札、１万円札・・・など）が指定される。"レジＮｏ"には、店舗に複数設置されたＰＯＳターミナルの中で各ＰＯＳターミナルを識別する番号、記号等が指定される。

ここで、検索条件である"取引Ｎｏ"、"取引日時"、"店員Ｎｏ"、"商品名"、"レジＮｏ"は、ジャーナルデータＪＤに対応する情報が入力されているので、ジャーナルデータＪＤを検索することによって、該当情報を探すことができる。一方、検索条件である"現金種別"は、操作履歴データＰＤに対応する情報が入力されている。つまり、各現金種別に対応したキー操作（千円札キーなど）が行われることによって、現金種別が操作履歴データＰＤに記録されている。

検索画面５０に検索条件が入力され、検索指示が行われると、図８で示すような検索結果画面６０が表示される。図に示すように、検索結果画面６０の上部には、取引Ｎｏが表示され、現在の表示内容が明確となるようにしている。画像表示領域６１,６２には、それぞれカメラ１,２の撮影した画像が表示されている。つまり、画像表示領域６１にはレジ画像データＶＤ１が表示され、画像表示領域６２にはカウンタ画像データＶＤ２が表示されている。

レシート表示領域６３には、ジャーナルデータＪＤに基づいて作成されたレシートイメージが表示されている。レシート表示領域６３には、ジャーナルデータＪＤをそのまま加工せずに表示させてもよいが、図で示したように、ジャーナルデータＪＤの表示レイアウトをレシートのレイアウトにあわせることで、確認作業を行い易いようにしている。図に表したレシートイメージの中で、「取引Ｎｏ．１２３４５６７８９」は、ジャーナルデータＪＤの「取引Ｎｏ情報」に対応し、「０３年６月４日（水）０９：１８」は、「取引日時情報」に対応し、「りんご ０１２ ×１ ２５０ 牛乳 ・・・」は、「商品別取引情報」に対応し、「小計 ・・・ お釣 ￥２１５」は「清算情報」に対応し、「レジＮｏ１３ 係員：３７６ 田中」は「レジ情報」に対応している。なお、この図では顧客情報は表示されていないが、客の人数、性別等が表示される場合もある。

操作履歴表示領域６４には、操作履歴データＰＤが表示されている。操作履歴表示領域６４は、表示領域６４１,６４２からなり、表示領域６４１には、操作履歴データＰＤの「操作日時情報」が表示され、表示領域６４２には、操作履歴データＰＤの「操作キー情報」が表示されている。

そして、この検索結果画面６０に表示されている画像データＶＤ１と画像データＶＤ２とジャーナルデータＪＤと操作履歴データＰＤとは、それぞれ撮影時刻情報と取引日時情報と操作日時情報で関連付けられたものである。したがって、表示されているレシートイメージが発行された際の、カメラ画像が表示されるとともに、その際行われたキー操作内容が表示されているのである。

また、検索結果画面６０には、画像操作メニュー６５が配置されている。この操作メニューを利用して、画像表示領域６１,６２に表示されている画像の再生、早送り、逆再生、巻き戻し、停止、一時停止などの操作を行うことができる。たとえば、取引単位で画像の頭出しを可能としておけば、取引の開始時点からの画像を参照する際に便利である。

さらに、この検索結果画面６０は、検索画面としての機能も有する。第１に、操作履歴表示領域６４に表示されている操作履歴の中で、オペレータはいずれかの操作履歴を選択することが可能である。この操作はキーボードやマウスを利用して行われる。図８において、網掛けされた部分は操作履歴の１つが選択された状態を示している。この操作に応答して、検索処理部３３は検索処理を実行し、同じ時間帯の画像データＶＤ１,ＶＤ２およびジャーナルデータＪＤを取得し、その結果を検索結果画面６０に反映させるのである。このようにして、操作履歴データＰＤから画像データＶＤ１,ＶＤ２やジャーナルデータＪＤを検索することが可能である。

また、レシート表示領域６３には、ジャーナルデータＪＤが取引Ｎｏ順に上下スクロール可能に表示されている。したがって、オペレータは、上下スクロール操作を行うことで、表示しているジャーナルデータＪＤを前後の取引Ｎｏのものに変更することが可能である。この操作に応答して、検索処理部３３は検索処理を実行し、同じ時間帯の画像データＶＤ１,ＶＤ２および操作履歴データＰＤを取得し、その結果を検索結果画面６０に反映させるのである。このようにして、ジャーナルデータＪＤから画像データＶＤ１,ＶＤ２や操作履歴データＰＤを検索することが可能である。

以上説明したように、本実施の形態によれば、画像データＶＤとジャーナルデータＪＤと操作履歴データＰＤを時間情報で関連付けて検索を行うので、同一時間帯における画像や取引情報を一覧することが可能であり、利便性がよい。

また、操作履歴データＰＤは、操作が行われた際にのみ記録されるが、画像データＶＤは、レジにおける取引単位の最初から最後まで継続的に記録されているので、キー操作とキー操作の間や、現金の受け渡しを行っている間など、キー操作が行われていない間の画像も参照することが可能である。

｛第２の実施の形態｝
次に、本発明の第２の実施の形態について、図９ないし図１１を参照しながら説明する。なお、第１の実施の形態と同様の機能、処理についての説明は省略し、第２の実施の形態の特徴部を中心に説明する。

第２の実施の形態は、たとえば、飲食店などの店舗で利用されるシステムである。飲食店では、第１の実施の形態のように、客４２が商品を持ってレジカウンター４０に来るということはない。飲食店では、食事を済ませた客４２は、手書きや印字された伝票４５を持ってレジカウンター４０に来る。

そして、この実施の形態では、伝票４５を撮影するカメラ３が設置されている。カメラ３もカメラ１と同様に、ケーブルを介してフォトジャーナルレコーダー２０に接続されており、カメラ３で撮影した画像がフォトジャーナルレコーダー２０にリアルタイムで転送されるようにしている。

図１０に示すように、ＰＯＳターミナル１０の機能構成およびフォトジャーナルレコーダー２０の機能構成も第１の実施の形態と同様である。ただし、記憶装置５には、カメラ３が撮影した画像データＶＤとして伝票画像データＶＤ３が蓄積されている。したがって、カメラ３が撮影した画像も、第１の実施の形態と同様の処理が行われることによって、伝票画像データＶＤ３として蓄積されるのである。また、伝票画像データＶＤ３のフォーマットも、図３で示したものと同様である。

このようにして、レジ画像データＶＤ１と伝票画像データＶＤ３とジャーナルデータＪＤと操作履歴データＰＤとが、時間情報によって関連付け可能な状態で蓄積されるのである。そして、このデータベースを利用して様々な検索処理を実行することが可能である。

図１１は、検索結果画面７０を示す図である。画像表示領域７１には、カメラ１の撮影画像が表示されている。画像表示領域７２には、カメラ３が撮影した伝票４５の画像が表示されている。レシート表示領域７３には、ジャーナルデータＪＤに基づいて生成されたレシートイメージが表示されている。操作履歴表示領域７４は表示領域７４１,７４２からなり、表示領域７４１には、操作履歴データＰＤの「操作日時情報」が表示され、表示領域７４２には、「操作キー情報」が表示されている。画像操作メニュー７５の内容は、図８で示した画像操作メニュー６５と同様である。そして、画像データＶＤ１,ＶＤ３とジャーナルデータＪＤと操作履歴データＰＤとの時間が関連付けられて、すなわち、同じ時間帯の画像とレシートイメージと操作履歴が表示されているので、同じ時間帯のこれらの情報を一覧して比較することが可能である。そして、第１の実施の形態と同様に各種の検索処理を実行して、所望の画像やジャーナルデータＪＤ、操作履歴データＰＤを参照することが可能である。

特に、この実施の形態においては、伝票４５をカメラ３で撮影するようにしているので、伝票４５の内容と、ジャーナルデータＪＤや操作履歴データＰＤとの照合を容易に行うことが可能である。たとえば、伝票４５の画像とジャーナルデータＪＤを比較することで、入力誤りなどを容易に見つけることが可能である。

｛変形例｝
上記第１または第２の実施の形態では、それぞれ２台のカメラを設置し、２台のカメラが撮影した画像を蓄積することとしたが、他の領域を撮影するカメラを増設し、増設したカメラが撮影した画像も蓄積するようにしてもよい。この場合にも、同様に、撮影時刻情報によってジャーナルデータＪＤや操作履歴データＰＤと関連付けることが可能である。あるいは、カメラを１台だけ設置する形態でもよい。たとえば、ＰＯＳターミナル１０を撮影するカメラのみを設置し、レジ画像データＶＤ１のみをデータベースとして蓄積するようにしてもよい。

また、上記各実施の形態においては、レジカウンター４０が１つの場合を例に説明したが、レジカウンター４０が複数設置され、ＰＯＳターミナル１０が複数台稼動しているような場合でも、本発明を適用させることが可能である。この場合、全てのレジに関するジャーナルデータＪＤおよび操作履歴データＰＤや、全てのレジに関する画像データＶＤを１つのフォトジャーナルレコーダー２０に蓄積するようにしてもよいが、複数台のフォトジャーナルレコーダー２０を準備して、分散して蓄積するようにしてもよい。

また、上記各実施の形態においては、ＰＯＳターミナル１０において、キー操作が行われることをトリガとしてフォトジャーナルレコーダー２０における記録処理を開始することとしているが、ＰＯＳターミナル１０周辺に人体検知センサを設け、店員４１がＰＯＳターミナル１０周辺に近づいて、人体検知センサが人体を検知した際に、画像記録の開始情報を送出するようにしてもよい。そして、店員４１がＰＯＳターミナル１０周辺から遠ざかり人体検知センサが人体を検知しなくなった際に、画像記録の終了情報を送出するようにすればよい。

この場合にも、フォトジャーナルレコーダー２０が開始情報を受信した時点より過去に遡って画像データＶＤを蓄積することにより、店員４１がＰＯＳターミナル１０に近づく少し前の時間帯についても画像を参照することが可能である。また、終了情報を受信した後所定時間経過するまでは画像データＶＤを蓄積することにより、店員４１がＰＯＳターミナル１０を離れた後の状況も把握することが可能である。

第１の実施の形態における画像撮影、記録、検索システムの全体図である。 第１の実施の形態におけるシステムの機能ブロック図である。 画像データのフォーマットを示す図である。 ジャーナルデータの内容を示す図である。 操作履歴データの内容を示す図である。 検索端末の機能ブロック図である。 検索画面を示す図である。 検索結果画面を示す図である。 第２の実施の形態における画像撮影、記録、検索システムの全体図である。 第２の実施の形態におけるシステムの機能ブロック図である。 検索結果画面を示す図である。

符号の説明

１,２,３ カメラ
５ 記憶装置（リムーバブルメディア）
１０ ＰＯＳターミナル
２０ フォトジャーナルレコーダー
４０ レジカウンター
４１ 店員
４２ 客
ＪＤ ジャーナルデータ
ＰＤ 操作履歴データ
ＶＤ 画像データ

Claims (15)

1. 店舗の所定の領域を撮影する撮影手段と、
   前記撮影手段から出力された撮影時刻情報を含む画像データと、前記店舗に設置されたＰＯＳターミナルが出力した取引時刻情報を含む取引履歴データとを蓄積するデータ記憶手段と、
   検索手段と、
   を備え、
   前記検索手段は、
   検索条件を指定させる指定手段と、
   前記データ記憶手段に蓄積された前記取引履歴データの中から前記検索条件を満たす前記取引履歴データを検索し、さらに、前記取引時刻情報と前記撮影時刻情報とを参照することにより、検索された前記取引履歴データが記録された時間帯の前記画像データを特定し、検索された前記取引履歴データと特定された前記画像データとをディスプレイに表示する手段と、
   を含むことを特徴とする画像検索システム。
2. 請求項１に記載の画像検索システムにおいて、
   前記データ記憶手段は、
   前記ＰＯＳターミナルが出力した操作時刻情報を含む操作履歴データを蓄積する手段、を含み、
   前記検索手段は、
   前記データ記憶手段に蓄積された前記取引履歴データの中から前記検索条件を満たす前記取引履歴データを検索し、さらに、前記取引時刻情報と前記操作時刻情報とを参照することにより、検索された前記取引履歴データが記録された時間帯の前記操作履歴データを特定し、検索された前記取引履歴データと特定された前記操作履歴データを前記ディスプレイに表示する手段、
   を含むことを特徴とする画像検索システム。
3. 店舗の所定の領域を撮影する撮影手段と、
   前記撮影手段から出力された撮影時刻情報を含む画像データと、前記店舗に設置されたＰＯＳターミナルが出力した操作時刻情報を含む操作履歴データとを蓄積するデータ記憶手段と、
   検索手段と、
   を備え、
   前記検索手段は、
   前記操作履歴データに記録されたいずれかの操作情報を指定させる指定手段と、
   前記データ記憶手段に蓄積されている前記操作時刻情報と前記撮影時刻情報とを参照することにより、前記指定手段によって指定された操作情報が記録された時間帯の前記画像データを特定し、特定された前記画像データをディスプレイに表示する手段と、
   を含むことを特徴とする画像検索システム。
4. 請求項３に記載の画像検索システムにおいて、
   前記データ記憶手段は、
   前記ＰＯＳターミナルが出力した取引時刻情報を含む取引履歴データを蓄積する手段、を含み、
   前記検索手段は、
   前記データ記憶手段に蓄積されている前記操作時刻情報と前記取引時刻情報とを参照することにより、前記指定手段によって指定された操作情報が記録された時間帯の前記取引履歴データを特定し、特定された前記取引履歴データを前記ディスプレイに表示する手段、
   を含むことを特徴とする画像検索システム。
5. 請求項１ないし請求項４のいずれかに記載の画像検索システムにおいて、
   前記ＰＯＳターミナルは、
   前記画像データの記録が行われていない状態で任意の入力操作が行われた際に開始情報を出力するとともに、所定の入力操作が行われた後所定時間経過後に終了情報を出力する手段、
   を含み、
   前記データ記憶手段は、前記開始情報を受信してから前記終了情報を受信するまで前記画像データを蓄積することを特徴とする画像検索システム。
6. 請求項１ないし請求項４のいずれかに記載の画像検索システムにおいて、
   前記ＰＯＳターミナルは、
   前記画像データの記録が行われていない状態で任意の入力操作が行われた際に開始情報を出力するとともに、所定の入力操作が行われた後所定時間経過後に終了情報を出力する手段、
   を含み、
   前記データ記憶手段は、前記開始情報を受信した時刻より所定時間前の時刻から前記終了情報を受信するまで前記画像データを蓄積することを特徴とする画像検索システム。
7. 請求項１ないし請求項６のいずれかに記載の画像検索システムにおいて、
   前記撮影手段は、
   店舗に設置されたＰＯＳターミナルを含む領域を撮影する手段、
   を含むことを特徴とする画像検索システム。
8. 請求項１ないし請求項６のいずれかに記載の画像検索システムにおいて、
   前記撮影手段は、
   店舗に設置されたカウンターにおいて購入商品が載置される領域を撮影する手段、
   を含むことを特徴とする画像検索システム。
9. 請求項１ないし請求項６のいずれかに記載の画像検索システムにおいて、
   前記撮影手段は、
   会計対象である伝票が載置される領域を撮影する手段、
   を含むことを特徴とする画像検索システム。
10. 請求項１ないし請求項６のいずれかに記載の画像検索システムにおいて、
    前記撮影手段は、複数の撮影手段を含み、前記データ記憶手段は、これら複数の撮影手段から出力された前記画像データをそれぞれ蓄積するものであり、前記検索手段は、検索結果としてそれぞれの前記画像データを前記ディスプレイに表示させることを特徴とする画像検索システム。
11. 請求項１ないし請求項１０のいずれかに記載の画像検索システムにおいて、
    前記データ記憶手段は、前記ＰＯＳターミナルとはネットワークを介して接続されたデータ記憶装置に収容され、前記検索手段は、前記データ記憶装置とはネットワークを介して接続された検索端末に収容されており、前記検索手段は、ネットワーク経由で前記データ記憶手段にアクセスして検索処理を実行することを特徴とする画像検索システム。
12. 請求項１ないし請求項１０のいずれかに記載の画像検索システムにおいて、
    前記データ記憶手段は、前記ＰＯＳターミナルとはネットワークを介して接続されたデータ記憶装置が備えるリムーバブル記憶媒体であり、前記検索手段は、前記リムーバブル記憶媒体を挿入して前記リムーバブル記憶媒体に格納されたデータにアクセス可能な検索端末に収容され、前記検索端末に挿入された前記リムーバブル記憶媒体にアクセスして検索処理を実行することを特徴とする画像検索システム。
13. 請求項１１または請求項１２に記載の画像検索システムにおいて、
    前記検索端末は、
    ＰＯＳターミナル、
    を含むことを特徴とする画像検索システム。
14. 店舗に設置され所定の領域を撮影する撮影手段から出力された画像データと、
    前記店舗に設置されたＰＯＳターミナルが出力した操作履歴データと、
    を含み、
    前記画像データに含まれる撮影時刻情報と、前記操作履歴データに含まれる操作時刻情報とから、前記画像データと前記操作履歴データとが関連付けられて蓄積される画像データベース。
15. 店舗に設置され所定の領域を撮影する撮影手段から出力された画像データと、
    前記店舗に設置されたＰＯＳターミナルが出力した取引履歴データと、
    を含み、
    前記画像データに含まれる撮影時刻情報と、前記取引履歴データに含まれる取引時刻情報とから、前記画像データと前記取引履歴データとが関連付けられて蓄積される画像データベース。
    

Images