【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラと、ビデオカメラで撮影した画像を処理するコントローラを備えた監視システムに関する。
【０００２】
【従来の技術】
金融機関やＡＴＭを設置したコンビニエンスストアなどでは、各種取引を行う利用者を撮影する監視用のビデオカメラが備わっている。またこの監視カメラには、撮影した映像データを録画するためのビデオ等の記録装置が備わっており、例えば記録制御の方式としてタイムラプス方式が主流となっている。このタイムラプス方式の記録制御は、通常の動画記録を行う他に、例えば数秒や数分に１フレームといった記録モードを実行可能とする。この記録モードで撮影した画像を記録した場合、再生画像が駒落ちされた如き画像になる。しかしその一方で記録媒体毎の記録時間が長時間化でき、効率的なシステム運営が可能となる。
【０００３】
【特許文献１】特開平１１−９８４５５号公報
【０００４】
【特許文献２】特開２００１−２５６４９６号公報（Ｐ２００１−２５６４９６Ａ）
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のビデオカメラを用いた監視システムでは、不審人物の存在の有無を確認するために、記録装置に記録されたすべての記録画像を再生しなければならなかったため、その確認作業に長時間を要していた。特に、ビデオカメラが撮影した人物の顔は、記録画像中に含まれているため、それを探し出し、確認や照合するのに手間がかかっていた。
【０００６】
【課題を解決するための手段】
そこで、本発明はビデオカメラが撮影した画像に各種の画像処理を施して記録し、その記録画像の検索を高速に行えるようにした監視システムを提供するものである。
【０００７】
本発明の監視システムは、ビデオカメラ、コントローラ、ハードディスク等の記憶装置、ＬＣＤ等の表示装置を備えている。コントローラと記憶装置は処理装置として１つのボックスに収納することができる。また、マウスやキーボード等の入力装置を設け、コントローラに接続してもよい。
【０００８】
コントローラは、３つの処理を行う。第１の処理は、ビデオカメラが所定時間間隔で撮影した背景画像を記憶装置に記録する処理である。また、第２の処理は、ビデオカメラが撮影した画像の動きを検出し、モーション画像として記憶装置に記録する処理である。第３の処理は、ビデオカメラが撮影した画像から人物の顔画像、又は人物画像を検出してこれを抽出し、顔画像又は人物画像として記憶装置に記録する処理である。これら３つの画像処理は互いに独立に行われる。
【０００９】
そして、コントローラは、記憶装置に記録された背景画像、モーション画像、顔画像又は人物画像を表示装置に時系列的に転送し、それらの表示を行う。
【００１０】
また、コントローラは、外部から入力される検索要求情報に応じて、記憶装置に記録された顔画像、モーション画像、顔画像又は人物画像の検索を行い、その検索されたモーション画像、顔画像又は人物画像を表示装置に表示する。この検索要求情報は入力装置からコントローラに入力することができる。
【００１１】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照しながら詳細に説明する。図１は本実施形態の監視システムのシステム構成図である。
【００１２】
この監視システムは、処理装置１００、監視ビデオカメラ１２０、表示装置１２１、入力装置１２２等から構成されている。
【００１３】
処理装置１００は、中央演算装置としてのコントローラ１０１、各種記憶手段やインターフェイス装置、および各機能部から構成されるコンピュータである。勿論、コンピュータ内の各部はデータ経路としてのバスが結んでいる。
【００１４】
金融機関や事業所等の所定領域を撮影し続ける監視ビデオカメラ１２０のビデオ出力からは、撮影画像であるビデオデータが出力され、これをインターフェイス装置１０２を介して受けたコントローラ１０１が第１の記憶装置１０３または作業用メモリ（不図示）に格納する。
【００１５】
第１の記憶装置１０３または作業用メモリに格納されたビデオデータは、コントローラ１０１により顔画像が検出され、その顔画像の抽出、すなわち、切り取り処理がなされる。この切り取り処理は、ビデオデータから肌色を示す領域を検出し、この検出された肌色領域の画像が前向き顔画像であることを判別する処理から構成される。これらの処理に際しては各種パラメータ等の参照用の情報を格納した参照データベース１０４が利用される。そして、コントローラ１０１は、顔画像の画質補正（輝度信号と色差信号の補正、ピンぼけ等の補正）を行った後に、そのシステムクロック１０５から取得した時刻情報を付与して第１の記憶装置１０３の所定記憶領域に格納する。ここで、時刻情報は、顔画像が抽出された画像が撮影された時刻（年月日と時分秒）の情報である。
【００１６】
コントローラ１０１が検出した顔画像には、前向き顔画像や横向き顔画像など様々な向きの顔画像が含まれる。そこで、コントローラ１０１は、顔画像の左右対称に基づいて、前向き顔画像を判別し、これを第１の記憶装置１０３の所定記憶領域に格納するようにしてもよい。これは、後述する顔画像照合に利用することができる。
【００１７】
上記処理に加えて、コントローラ１０１は、第１の記憶装置１０３または作業用メモリに格納されたビデオデータから、人物画像を検出して、その顔画像の切り取り処理を行い、同様に、人物画像の画質補正を行った後に、そのシステムクロック１０５から取得した時刻情報を付与して第１の記憶装置１０３の所定記憶領域に格納するようにしてもよい。これは、顔画像が小さくてそれと判別できない場合でも、画像中に少なくとも人物が存在することを判別できる点で有効である。
【００１８】
また、コントローラ１０１は、監視ビデオカメラ１２０からインターフェイス装置１０２を介して受けた撮影画像の動きを検出する。この動き検出には、ビデオデータの動きの量を検出する一般的な画像処理手法を用いることができる。画像の動きを検出したコントローラ１０１は、インターフェイス装置１０２を介して、監視ビデオカメラ１２０が検出の直後に静止画像を所定回数（例えば、３回）だけ、あるいは動画を所定時間（例えば、５秒）だけ撮影するように制御する。監視ビデオカメラ１２０のビデオ出力から、この撮影画像であるビデオデータが出力され、インターフェイス装置１０２を介してコントローラ１０１に入力される。コントローラ１０１は、その撮影画像の画質補正を行った後に、そのシステムクロック１０５から取得した時刻情報を付与して、モーション画像として、第１の記憶装置１０３の所定記憶領域に格納する。ここで、時刻情報は、画像の動きが検出された時刻（年月日と時分秒）の情報である。なお、コントローラ１０１は、監視ビデオカメラ１２０からのビデオデータを第１の記憶装置１０３または作業用メモリに格納し、そのビデオデータに対して動きの検出を行うようにしてもよい。
【００１９】
また、コントローラ１０１は、インターフェイス装置１０２を介して監視ビデオカメラ１２０が所定時間間隔（例えば、３０秒）で静止画像を撮影するように制御する。監視ビデオカメラ１２０のビデオ出力からは、静止画像であるビデオデータが出力され、これをインターフェイス装置１０２を介してコントローラ１０１に入力される。コントローラ１０１は、その静止画像の画質補正を行った後に、そのシステムクロック１０５から取得した時刻情報を付与して、背景画像として、第１の記憶装置１０３に格納する。ここで、時刻情報は、画像が撮影された時刻（年月日と時分秒）の情報である。
【００２０】
こうして、第１の記憶装置１０３には、背景画像、モーション画像、顔画像、人物画像がそれぞれ時刻情報を付与されて格納される。勿論、これら３種類の画像はそれぞれ別々の記憶装置に格納してもよい。また、第１の記憶装置１０３は例えば、ハードディスクで構成することができる。
【００２１】
そして、コントローラ１０１は、これら３種類の画像をそれらに伴う時刻情報と共に、インターフェイス装置１０６を介して、表示装置１２１に転送し、後述する表示装置１２１の画面に、逐次表示する。この逐次表示はリアルタイム表示であるが、表示領域が限られているため、古い画像は新しい画像に常に更新される。
【００２２】
この監視システムは上記の画像処理・記録機能に加えて、画像検索表示機能を備えている。コントローラ１０１は、マウスやキーボードのような入力装置１２２から、インターフェイス装置１０７を介して入力された、時刻情報をキーとする検索要求情報に応じて、時刻情報が付与されて第１の記憶装置１０３に記録された、モーション画像、顔画像又は人物画像の検索を行い、その検索されたモーション画像、顔画像又は人物画像を、インターフェイス装置１０６を介して、表示装置１０１に転送し、表示装置１０１に表示する。これらの表示装置１０１上の画面構成については、後述する。
【００２３】
また、この監視システムは、上記の画像記録機能に加えて、音声記録機能を備えてもよい。コントローラ１０１によってオンオフ制御された、マイク等の集音装置１２３の音声出力からは、音声データが出力され、インターフェ−ス１０２を介して入力され、録音装置１０８に録音される。録音装置１０８は第１の記憶装置１０３でも代用できる。また、コントローラ１０１が、監視ビデオカメラ１２０が撮影した画像の動きを検出した時に、一定時間（例えば、３０秒間）だけ集音装置１２３、録音装置１０８の録音動作をさせるように制御してもよい。さらに、コントローラ１０１は、監視ビデオカメラ１２０による背景画像の撮影に同期して集音装置１２３、録音装置１０８の録音動作をさせるように制御してもよい。例えば、背景画像の撮影を１分間隔で行う場合、それぞれの撮影時から１０秒間だけ録音する。
【００２４】
また、この監視システムは、上記の画像記録・検索機能に加えて、顔画像照合機能を備えてもよい。この場合、複数の人物の顔画像が人物プロフィール情報と共に、あらかじめ記録された第２の記憶装置１０９を設ける。
【００２５】
コントローラ１０１は、第１の記憶装置１０３に記録された顔画像が、第２の記憶装置１０９に記録された複数の人物の顔画像のいずれかと一致するか否かを照合する。このとき、第１の記憶装置１０３に記録された前向き顔画像を利用すれば照合精度が向上する。
【００２６】
そして、コントローラ１０１は、第１の記憶装置１０３に記録された顔画像が、第２の記憶装置１０９に記録された複数の人物の顔画像のいずれかと一致した場合には、該当する人物プロフィール情報、例えば、氏名、住所、所属部署等をインターフェイス装置１０６を通して表示装置１２１に転送し、表示装置１２１に表示する。あるいは、コントローラ１０１は、該当する人物プロフィール情報と共に警報情報、例えばその人物が危険人物である旨の警報情報、を表示装置１２１に転送する。
【００２７】
また、コントローラ１０１は、第１の記憶装置１０３に記録された顔画像が、第２の記憶装置１０９に記録された複数の人物の顔画像のいずれとも一致しない場合には、その旨を知らせる情報をインターフェイス装置１０６を通して表示装置１２１に転送し、表示装置１２１に表示する。あるいは、コントローラ１０１は、その旨を知らせる情報と共に警報情報、例えばその人物が危険人物である旨の警報情報、を表示装置１０１に転送する。
【００２８】
また、この監視システムはコントローラ１０１によって検索されたモーション画像、顔画像を、ネットワーク１２４又は外部通信装置１２５に転送するためのモデム等のインターフェース装置１１０を備えてもよい。これにより、検索されたモーション画像、顔画像が、ネットワーク１２４に接続されたクライアント１２６や外部通信装置１２５に提供される。また、入力装置１２２の代わりに、ネットワーク１２４又は外部通信装置１２５から検索要求情報を、インターフェース装置１１０を介して、コントローラ１０１に送信してもよい。
【００２９】
ネットワーク１２４としては、インターネットの他に、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ、専用線、電灯線ネットワーク、ＡＴＭ、無線ネットワークなど様々なネットワークを採用することができる。
【００３０】
外部通信装置１２５、クライアント１２６としては、ＰＤＡや携帯電話のような携帯情報端末、パーソナルコンピュータ、ゲーム機、ファックス、デジタルＴＶなど、本システムの処理装置１００と接続可能な機器を採用することができる。
【００３１】
また、ネットワーク１２４又は外部通信装置１２５に転送されるデータは、モーション画像、顔画像に限られず、表示装置１２１に転送されるすべてのデータが対象となり得る。
【００３２】
次に、本実施形態の監視システムの利用例について、図１及び図２を参照しながら説明する。図２は、表示装置１２１の画面構成を示す図である。画面の左上には、監視ビデオカメラ１２０によって撮影された最新の背景画像を表示する最新画像表示領域３００が設けられている。また、最新画像表示領域３００に隣接して、背景画像表示領域３１０、モーション画像表示領域３２０、顔画像表示領域３３０が設けられている。背景画像表示領域３１０、モーション画像表示領域３２０、顔画像表示領域３２０はそれぞれが、５つのフレームに分割され、各フレーム毎に画像が表示される。また、各フレームに隣接して、時刻情報３１１，３２１，３３１が表示される。５つのフレームには、撮影時刻の順に各画像が配列され、逐次、新しい画像に更新されて表示される。
【００３３】
図２の画面の下半分が検索画面である。以下の説明では、検索要求情報の入力装置１２２がマウスである場合を例にして説明するが、勿論、これには限られない。また、以下の画像検索は、入力装置１２２から入力された検索要求情報を受けたコントローラ１０１によって制御される。また、コントローラ１０１は、画像検索を、上述したシステムの画像処理・記録機能と独立に制御しているので、画像検索しながら、画像処理及び記録を行うことができる。
【００３４】
カレンダー表示領域３４０には、ある年のある月のカレンダーが表示される。この例では２００３年２月のカレンダーが表示されているが、入力装置１２２を用いて年、月の情報を入力することで、所望の年、月を選択することができる。
【００３５】
そして、入力装置１２２を操作して画面上のカーソルを移動させ、例えばカレンダーの２０日に合わせて、入力装置１２２の決定ボタンをクリックする。すると、カレンダー表示領域３４０の下に配置された画像モード表示画面３５０に、２０日の２４時間分の画像モードが表示される。この画像モードは、第１の記憶領域１０３に格納されたモーション画像、顔画像を分類して表示したものである。例えば、モーション画像については青領域３５１として、顔画像については赤領域３５２として、画像モード表示画面３５０の時間軸上に表示される。また、モーション画像と顔画像が同時に記録されている場合には、緑領域３５３として画面モード表示画面３５０の時間軸上に表示される。
【００３６】
したがって、画面モード表示画面３５０から、どの時間帯にどの画像モードが現れているかを即座に知ることができる。
【００３７】
また、カレンダー表示領域３４０に隣接して、背景画像検索表示領域３６０、モーション画像検索表示領域３７０、顔画像検索表示領域３８０が設けられている。例えば、入力装置１２２を操作して画面上のカーソルを画面モード表示画面３５０の緑領域３５３に合わせて入力装置１２２の決定ボタンをクリックする。すると、背景画像検索表示領域３７０には緑領域３５３の時間帯の背景画像が表示され、モーション画像検索表示領域３８０には、その時間帯のモーション画像が表示され、顔画像検索表示領域３９０にはその時間帯の顔画像が表示される。
【００３８】
背景画像検索表示領域３６０には、画像を１コマずつ戻して表示するためのコマ戻しボタン３６１、緑領域３５３に記録されている画像を連続的に表示するための連続表示ボタン３６２、画像を停止させるための停止ボタン３６３、画像を１コマずつ先送りして表示するためのコマ送りボタン３６４、各画像の撮影時刻を示す時刻表示領域３６５が設けられている。
【００３９】
同様に、モーション画像検索表示領域３７０にも、コマ戻しボタン３７１、連続表示ボタン３７２、停止ボタン３７３、コマ送りボタン３７４、時刻表示領域３７５が設けられている。同様に、顔画像検索表示領域３８０にも、コマ戻しボタン３８１、連続表示ボタン３８２、停止ボタン３８３、コマ送りボタン３８４、時刻表示領域３８５が設けられている。また、顔画像検索表示領域３８０に隣接して、表示停止ボタン３９０が設けられている。
【００４０】
また、本実施形態の監視システムが上述した顔画像照合機能を備えている場合には、顔画像検索表示領域３８０には、顔画像と共に、人物プロフィール情報、警報情報を表示させる。
【００４１】
本実施形態の監視システムによれば、表示装置１２１の画面を見ながら、時間情報をキーとして、システムに記録された各種画像の検索を実行することができ、監視ビデオカメラ１２０の監視領域に発生した異常事態を迅速に検知することができる。
【００４２】
以上、本発明の実施の形態について、その実施の形態に基づき具体的に説明したが、これに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【００４３】
【発明の効果】
本発明の監視システムによれば、ビデオカメラが撮影した画像から、顔画像の抽出やモーション画像の検出を行い、これらの画像を記録し、その記録画像の検索を高速に行うことができる。特に、顔画像を抽出して、その顔画像の記録・検索可能にしているので、従来の監視システムに比して不審人物の検出を速やかに実行することができる。
【００４４】
また、本発明の監視システムは、不特定の人物が出入りするあらゆる場所、例えば、各種の事務所、空港、金融機関、コンビニエンスストア、病院、展示会、競技場、劇場、住宅等に、セキュリティ機器として設置して好適なものである。
【図面の簡単な説明】
【図１】本発明の実施形態に係る監視システムの構成図である。
【図２】本発明の実施形態に係る監視システムの表示装置の画面構成図である。
【符号の説明】
１００ 処理装置 １０１ コントローラ
１０２ インターフェイス装置 １０３ 第１の記憶装置
１０４ 参照データベース １０５ システムクロック
１０６ インターフェイス装置 １０７ インターフェイス装置
１０８ 録音装置 １０９ 第２の記憶装置
１１０ インターフェイス装置 １２０ 監視ビデオカメラ
１２１ 表示装置 １２２ 入力装置
１２３ 集音装置 １２４ ネットワーク
１２５ 外部通信装置 １２６ クライアント
３００ 最新画像表示領域 ３１０ 背景画像表示領域
３２０ モーション画像表示領域 ３３０ 顔画像表示領域
３４０ カレンダー表示領域 ３５０ 画面モード表示領域
３６０ 背景画像検索表示領域 ３７０ モーション画像検索表示領域
３８０ 顔画像検索表示領域[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a surveillance system including a video camera and a controller that processes an image captured by the video camera.
[0002]
[Prior art]
Surveillance video cameras for photographing users who make various transactions are provided in financial institutions and convenience stores where ATMs are installed. The surveillance camera also has a recording device for recording video data such as video, and for example, a time lapse method is mainly used as a recording control method. The time-lapse recording control enables a recording mode such as one frame every several seconds or several minutes besides performing normal moving image recording. When an image captured in this recording mode is recorded, the reproduced image becomes an image as if a frame were dropped. However, on the other hand, the recording time for each recording medium can be lengthened, and efficient system operation becomes possible.
[0003]
[Patent Document 1] JP-A-11-98455
[Patent Document 2] Japanese Patent Application Laid-Open No. 2001-256496 (P2001-256496A)
[0005]
[Problems to be solved by the invention]
However, in a conventional surveillance system using a video camera, all recorded images recorded in the recording device had to be reproduced in order to confirm the presence of a suspicious person. Was required. In particular, since the face of a person photographed by the video camera is included in the recorded image, it has been troublesome to find, check, and collate the face.
[0006]
[Means for Solving the Problems]
Accordingly, the present invention provides a surveillance system in which an image captured by a video camera is subjected to various types of image processing and recorded, and the recorded image can be searched at high speed.
[0007]
The monitoring system of the present invention includes a video camera, a controller, a storage device such as a hard disk, and a display device such as an LCD. The controller and the storage device can be housed in one box as a processing device. Further, an input device such as a mouse or a keyboard may be provided and connected to the controller.
[0008]
The controller performs three processes. The first process is a process of recording a background image captured by a video camera at predetermined time intervals in a storage device. The second process is a process of detecting a motion of an image captured by a video camera and recording the motion as a motion image in a storage device. The third process is a process of detecting a face image of a person or a person image from an image captured by a video camera, extracting the image, and recording the extracted image as a face image or a person image in a storage device. These three image processes are performed independently of each other.
[0009]
Then, the controller transfers the background image, the motion image, the face image, or the person image recorded in the storage device to the display device in chronological order, and displays them.
[0010]
In addition, the controller performs a search for a face image, a motion image, a face image, or a person image recorded in the storage device according to search request information input from the outside, and searches for the searched motion image, face image, or person. Display the image on a display device. This search request information can be input to the controller from the input device.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a system configuration diagram of the monitoring system of the present embodiment.
[0012]
The monitoring system includes a processing device 100, a monitoring video camera 120, a display device 121, an input device 122, and the like.
[0013]
The processing device 100 is a computer including a controller 101 as a central processing unit, various storage units and interface devices, and various functional units. Of course, each section in the computer is connected to a bus as a data path.
[0014]
Video data, which is a captured image, is output from a video output of the surveillance video camera 120 that continuously captures a predetermined area such as a financial institution or a business office, and the controller 101 receiving the video data via the interface device 102 stores the video data in the first storage. It is stored in the device 103 or a working memory (not shown).
[0015]
A face image is detected by the controller 101 from the video data stored in the first storage device 103 or the work memory, and the face image is extracted, that is, cut out processing is performed. The clipping process includes a process of detecting a region indicating a flesh color from video data and determining that an image of the detected flesh color region is a forward-looking face image. In performing these processes, a reference database 104 storing reference information such as various parameters is used. Then, the controller 101 performs the image quality correction of the face image (correction of the luminance signal and the color difference signal, correction of out-of-focus, etc.), and then adds the time information acquired from the system clock 105 to the first storage device 103. It is stored in a predetermined storage area. Here, the time information is information on the time (year, month, day, hour, minute, second) at which the image from which the face image was extracted was captured.
[0016]
The face images detected by the controller 101 include face images in various directions, such as a face image facing forward and a face image facing sideways. Therefore, the controller 101 may determine the forward-looking face image based on the left-right symmetry of the face image, and store this in a predetermined storage area of the first storage device 103. This can be used for face image collation to be described later.
[0017]
In addition to the above processing, the controller 101 detects a person image from the video data stored in the first storage device 103 or the working memory, performs a cut-out process of the face image, and similarly, After the image quality correction, the time information acquired from the system clock 105 may be added and stored in a predetermined storage area of the first storage device 103. This is effective in that even if the face image is too small to be identified, it is possible to determine at least the presence of a person in the image.
[0018]
Further, the controller 101 detects a motion of a captured image received from the surveillance video camera 120 via the interface device 102. For this motion detection, a general image processing method for detecting the amount of motion of video data can be used. The controller 101 that has detected the motion of the image transmits a still image a predetermined number of times (for example, three times) or a moving image for a predetermined time (for example, five seconds) immediately after the monitoring video camera 120 detects the motion via the interface device 102. Only control to shoot. From the video output of the surveillance video camera 120, video data as the captured image is output and input to the controller 101 via the interface device 102. After correcting the image quality of the captured image, the controller 101 adds the time information obtained from the system clock 105 and stores the motion image in a predetermined storage area of the first storage device 103. Here, the time information is information on the time (year, month, day, hour, minute, second) at which the motion of the image is detected. Note that the controller 101 may store the video data from the surveillance video camera 120 in the first storage device 103 or the working memory, and perform motion detection on the video data.
[0019]
Further, the controller 101 controls the surveillance video camera 120 via the interface device 102 to capture a still image at a predetermined time interval (for example, 30 seconds). Video data that is a still image is output from the video output of the surveillance video camera 120, and is input to the controller 101 via the interface device 102. After correcting the image quality of the still image, the controller 101 adds the time information obtained from the system clock 105 and stores the information in the first storage device 103 as a background image. Here, the time information is information on the time (year, month, day, hour, minute, second) at which the image was captured.
[0020]
In this manner, the first storage device 103 stores the background image, the motion image, the face image, and the person image with the time information added thereto. Of course, these three types of images may be stored in separate storage devices. Further, the first storage device 103 can be constituted by a hard disk, for example.
[0021]
Then, the controller 101 transfers these three types of images together with the time information accompanying them to the display device 121 via the interface device 106, and sequentially displays them on a screen of the display device 121 described later. This sequential display is a real-time display, but an old image is constantly updated with a new image because the display area is limited.
[0022]
This monitoring system has an image search and display function in addition to the image processing and recording functions described above. The controller 101 receives the time information from the input device 122 such as a mouse or a keyboard via the interface device 107 in response to the search request information using the time information as a key. Search for a motion image, a face image, or a person image recorded on the display device 101, and transfer the searched motion image, face image, or person image to the display device 101 via the interface device 106, and indicate. The screen configuration on the display device 101 will be described later.
[0023]
Further, the monitoring system may include a sound recording function in addition to the image recording function. Audio data is output from the audio output of the sound collection device 123 such as a microphone, which is on / off controlled by the controller 101, input via the interface 102, and recorded on the recording device 108. The recording device 108 can be replaced with the first storage device 103. Further, when the controller 101 detects the movement of the image captured by the surveillance video camera 120, the controller 101 may perform control such that the sound collection device 123 and the recording device 108 perform the recording operation for a fixed time (for example, 30 seconds). . Further, the controller 101 may control the sound collection device 123 and the recording device 108 to perform the recording operation in synchronization with the shooting of the background image by the monitoring video camera 120. For example, when the background images are taken at one-minute intervals, recording is performed only for 10 seconds from the time of each shooting.
[0024]
Further, the monitoring system may include a face image collating function in addition to the image recording / searching function. In this case, a second storage device 109 in which face images of a plurality of persons are recorded in advance together with the person profile information is provided.
[0025]
The controller 101 checks whether or not the face image recorded in the first storage device 103 matches any of the face images of a plurality of persons recorded in the second storage device 109. At this time, the use of the forward-looking face image recorded in the first storage device 103 improves the matching accuracy.
[0026]
If the face image recorded in the first storage device 103 matches any of the face images of a plurality of persons recorded in the second storage device 109, the controller 101 For example, the name, address, department, etc. are transferred to the display device 121 through the interface device 106 and displayed on the display device 121. Alternatively, the controller 101 transfers alarm information together with the corresponding person profile information, for example, alarm information indicating that the person is a dangerous person to the display device 121.
[0027]
If the face image recorded in the first storage device 103 does not match any of the face images of a plurality of persons recorded in the second storage device 109, the controller 101 informs the user of the fact. Is transferred to the display device 121 through the interface device 106 and is displayed on the display device 121. Alternatively, the controller 101 transfers alarm information, for example, alarm information indicating that the person is a dangerous person, to the display device 101 together with information notifying the fact.
[0028]
In addition, the monitoring system may include an interface device 110 such as a modem for transferring the motion image and the face image searched by the controller 101 to the network 124 or the external communication device 125. As a result, the searched motion image and face image are provided to the client 126 and the external communication device 125 connected to the network 124. Further, instead of the input device 122, search request information may be transmitted from the network 124 or the external communication device 125 to the controller 101 via the interface device 110.
[0029]
As the network 124, besides the Internet, various networks such as a WAN (Wide Area Network), a LAN, a dedicated line, a power line network, an ATM, and a wireless network can be adopted.
[0030]
As the external communication device 125 and the client 126, devices that can be connected to the processing device 100 of the present system, such as a portable information terminal such as a PDA or a mobile phone, a personal computer, a game machine, a facsimile, and a digital TV can be adopted. .
[0031]
The data transferred to the network 124 or the external communication device 125 is not limited to a motion image or a face image, and may be any data transferred to the display device 121.
[0032]
Next, a usage example of the monitoring system according to the present embodiment will be described with reference to FIGS. FIG. 2 is a diagram illustrating a screen configuration of the display device 121. At the upper left of the screen, a latest image display area 300 for displaying the latest background image captured by the surveillance video camera 120 is provided. Further, a background image display area 310, a motion image display area 320, and a face image display area 330 are provided adjacent to the latest image display area 300. The background image display area 310, the motion image display area 320, and the face image display area 320 are each divided into five frames, and an image is displayed for each frame. Time information 311, 321 and 331 are displayed adjacent to each frame. The images are arranged in the order of the photographing times in the five frames, and are sequentially updated to new images and displayed.
[0033]
The lower half of the screen in FIG. 2 is a search screen. In the following description, a case where the input device 122 of the search request information is a mouse will be described as an example, but it is not limited to this. Further, the following image search is controlled by the controller 101 having received the search request information input from the input device 122. Further, since the controller 101 controls the image search independently of the image processing / recording function of the system described above, the controller 101 can perform the image processing and the recording while searching for the image.
[0034]
The calendar display area 340 displays a calendar for a certain month in a certain year. In this example, a calendar for February 2003 is displayed. However, by inputting year and month information using the input device 122, a desired year and month can be selected.
[0035]
Then, the user moves the cursor on the screen by operating the input device 122, and clicks the determination button of the input device 122, for example, in accordance with the 20th day of the calendar. Then, the image mode for 24 hours on the 20th is displayed on the image mode display screen 350 arranged below the calendar display area 340. In this image mode, motion images and face images stored in the first storage area 103 are classified and displayed. For example, a motion image is displayed on the time axis of the image mode display screen 350 as a blue area 351 and a face image is displayed as a red area 352. When a motion image and a face image are recorded at the same time, they are displayed as a green area 353 on the time axis of the screen mode display screen 350.
[0036]
Therefore, from the screen mode display screen 350, it is possible to immediately know which image mode appears in which time zone.
[0037]
A background image search display area 360, a motion image search display area 370, and a face image search display area 380 are provided adjacent to the calendar display area 340. For example, the user operates the input device 122 to move the cursor on the screen to the green area 353 of the screen mode display screen 350 and clicks the enter button of the input device 122. Then, the background image of the time zone of the green area 353 is displayed in the background image search display area 370, the motion image of the time zone is displayed in the motion image search display area 380, and the face image search display area 390 is displayed. The face image in that time zone is displayed.
[0038]
In the background image search display area 360, a frame return button 361 for returning the image one frame at a time and displaying it, a continuous display button 362 for continuously displaying the images recorded in the green area 353, and stopping the image A stop button 363 for moving the image forward, a frame advance button 364 for displaying the image one frame at a time, and a time display area 365 indicating the photographing time of each image are provided.
[0039]
Similarly, the motion image search display area 370 is also provided with a frame return button 371, a continuous display button 372, a stop button 373, a frame advance button 374, and a time display area 375. Similarly, the face image search display area 380 is also provided with a frame return button 381, a continuous display button 382, a stop button 383, a frame advance button 384, and a time display area 385. A display stop button 390 is provided adjacent to the face image search display area 380.
[0040]
When the monitoring system of the present embodiment has the above-described face image collating function, the face image search display area 380 displays the person profile information and the alarm information together with the face image.
[0041]
According to the surveillance system of the present embodiment, it is possible to search for various images recorded in the system using the time information as a key while looking at the screen of the display device 121, and the search is performed in the surveillance area of the surveillance video camera 120. An abnormal situation that has occurred can be quickly detected.
[0042]
As described above, the embodiment of the present invention has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and can be variously modified without departing from the gist of the invention.
[0043]
【The invention's effect】
According to the monitoring system of the present invention, a face image is extracted and a motion image is detected from an image captured by a video camera, these images are recorded, and a search for the recorded image can be performed at high speed. In particular, since the face image is extracted and the face image can be recorded and searched, the detection of the suspicious person can be performed more quickly than in the conventional monitoring system.
[0044]
In addition, the monitoring system of the present invention can be used in any place where unspecified persons enter and exit, for example, various offices, airports, financial institutions, convenience stores, hospitals, exhibitions, stadiums, theaters, houses, etc. It is suitable to be installed as.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a monitoring system according to an embodiment of the present invention.
FIG. 2 is a screen configuration diagram of a display device of the monitoring system according to the embodiment of the present invention.
[Explanation of symbols]
Reference Signs List 100 processing device 101 controller 102 interface device 103 first storage device 104 reference database 105 system clock 106 interface device 107 interface device 108 recording device 109 second storage device 110 interface device 120 monitoring video camera 121 display device 122 input device 123 collection Sound device 124 Network 125 External communication device 126 Client 300 Latest image display area 310 Background image display area 320 Motion image display area 330 Face image display area 340 Calendar display area 350 Screen mode display area 360 Background image search display area 370 Motion image search display Area 380 Face image search display area