JP2013179498A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】市街地や構造物に設置された監視カメラで撮像された監視カメラ映像データに含まれる各移動体の画像データを効率的に検索すること。
【解決手段】監視カメラ１０ａ〜１０ｂにより撮像された監視映像データ３４ａに含まれる移動体画像データ３４ｂを移動体抽出処理部３５ｂにより抽出処理し、識別処理部３５ｃが移動体画像データ３４ｂに基づいて該移動体の種別を識別処理し、グループ化処理部３５ｄが複数の移動体画像データ３４ｂを移動体の種別ごとにグループ化して記憶部３４に格納する。
【選択図】図２

Description

この発明は、市街地や構造物に設置された監視カメラで撮像された監視カメラ映像データに含まれる各移動体の画像データを効率的に検索することができる画像処理方法及び画像処理装置に関する。

従来、ＴＶ番組や監視映像などの映像データを形成する画像データから特定の人物を検索する技術が知られている。例えば、特許文献１には、検索処理とフィルタリング処理に異なる特徴量を用いることによって、異なるシーンに登場した同一人物を効率的に検索することができる人物画像検索装置が開示されている。

具体的には、この特許文献１には、ユーザが指定した検索キーと類似したデータを映像コンテンツ内から探してその結果を提示する類似検索技術並びに映像コンテンツ内の類似した顔画像やシーンを一括りにして画像群を作成し、その画像群の代表画像のみをユーザに提示することにより、所望の顔画像やシーンをユーザが選択しやすいように提示するグループ化技術を用いている。

また、長時間記録した監視映像データを録画時間の数十分の一で閲覧・検索を可能とする技術も知られている。例えば、特許文献２には、監視イベントと呼ばれる画像データ上の変化状態やターゲットをあらかじめ設定し、その変化状態が起こったフレーム（画像データ）を記憶するよう構成した画像記憶装置が開示されている。

特開２００９−１１０４６０号公報 特許第４６７８０４３号公報

しかしながら、上記特許文献１及び２のものは、特定の人物に係る画像データを抽出する場合には有効である反面で、市街地や構造物の様々な箇所に設置された監視カメラにより撮像された道路周辺の監視カメラ映像データを解析する場合には、必ずしも有効ではない。特に、多数の監視カメラにより撮像された監視カメラ映像データをまとめて解析する場合に、上記特許文献１及び２に代表される従来技術では、映像解析に多大の時間を要する結果となる。

この点を具体的に説明すると、市街地や構造物に設置された監視カメラで撮像される監視カメラ映像データには、道路を歩行する歩行者、二輪車及び自動車等の様々な移動体が含まれる。このため、かかる監視カメラ映像データを解析する場合には、特定の人物だけではなく、不特定多数の移動体の挙動を解析する必要がある。

このような場合に、上記特許文献１及び２のように、特定の人物や特定の車両にのみ注目した処理を繰り返すこととすれば、監視カメラ映像データに含まれる移動体の数だけ、同様の処理を繰り返さねばならなくなる。特に、監視カメラが監視カメラ映像データをテープ等の順次アクセス方式の記録媒体に格納する場合には、記録媒体に格納された監視カメラ映像データを繰り返し再生して、各移動体に関する画像データを抽出しなければならず、処理時間が遅延する。

加えて、上記特許文献１及び２を用いた場合には、各移動体の画像データの集合からなる映像データが抽出されたとしても、あくまでも個々の移動体の映像データを再生することができるだけであり、移動体の相互関係を解析する際に時間を要する。例えば、車両Ａが車両Ｂに追突し、その結果人物Ｘが車両Ｂに轢かれた状況を解析する場合には、人物Ｘ、車両Ａ、車両Ｂを含む各移動体の映像データをそれぞれ独立に再生しないと、状況を把握することができず、効率的ではない。

本発明は、上記従来技術の課題を解消するためになされたものであって、市街地や構造物に設置された監視カメラで撮像された監視カメラ映像データに含まれる各移動体の画像データを効率的に検索することができる画像処理方法及び画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、所定の監視用撮像装置により撮像された監視映像データを形成する時系列の複数の監視画像データから移動体を含む領域を切り出した移動体画像データを検出する画像処理装置における画像処理方法であって、前記複数の監視画像データに含まれる複数の移動体画像データをそれぞれ抽出処理する抽出処理工程と、前記抽出処理工程により抽出された移動体画像データに基づいて、該移動体の種別を識別処理する識別処理工程と、前記抽出処理工程により抽出処理された複数の移動体画像データを、前記識別処理工程により識別処理された移動体の種別ごとにグループ化して所定の記憶部に格納するグループ化処理工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記抽出処理工程は、所定の大きさ以上の移動体が前記複数の監視画像データに含まれる場合に、各監視画像データから移動体画像データを抽出処理することを特徴とする。

また、本発明は、上記発明において、前記抽出処理工程は、前記監視用撮像装置のフレームレート、前記監視用撮像装置から前記移動体までの撮影距離並びに前記監視用撮像装置により撮像されるシーンに応じた大きさ以上の移動体が前記複数の監視画像データに含まれる場合に、各監視画像データから移動体画像データを抽出処理することを特徴とする。

また、本発明は、上記発明において、前記グループ化処理工程は、前記移動体画像データに含まれる移動体の特徴量、大きさ及び移動距離に基づいて、該移動体画像データをグループ化することを特徴とする。

また、本発明は、上記発明において、前記監視用撮像装置により撮像された監視映像データを再生処理する監視映像再生処理工程をさらに含み、前記抽出処理工程による抽出処理及び前記識別処理工程による識別処理は前記監視映像再生処理工程による前記監視映像データのフレームをなす監視画像データの再生処理と並行して行い、前記グループ化処理工程によるグループ化処理は前記監視映像再生処理工程による再生処理の終了後に行うことを特徴とする。

また、本発明は、上記発明において、前記グループ化処理工程によるグループ化処理は前記監視映像再生処理工程による一部の再生処理の終了後に行うことを特徴とする。

また、本発明は、上記発明において、前記グループ化処理工程は、同一のグループに属する移動体に関する複数の移動体画像データを前記記憶部の同一フォルダ内に格納し、所定の移動体が指定された際に、該移動体に対応するフォルダ内の複数の移動体画像データを映像データとして所定の表示部に表示制御する表示制御工程をさらに含んだことを特徴とする。

また、本発明は、上記発明において、前記抽出処理工程により抽出された移動体画像データに基づいて、複数の移動体の交錯関係を判定する交錯関係判定工程をさらに含み、前記表示制御工程は、前記移動体が指定された際に、該移動体並びに前記交錯関係判定工程により該移動体と交錯関係にあると判定された移動体に対応するフォルダ内の複数の移動体画像データを映像データとして所定の表示部に表示制御することを特徴とする。

また、本発明は、所定の監視用撮像装置により撮像された監視映像データを形成する時系列の複数の監視画像データから移動体を含む領域を切り出した移動体画像データを検出する画像処理装置であって、前記複数の監視画像データに含まれる複数の移動体画像データをそれぞれ抽出処理する抽出処理手段と、前記抽出処理手段により抽出された移動体画像データに基づいて、該移動体の種別を識別処理する識別処理手段と、前記抽出処理手段により抽出処理された複数の移動体画像データを、前記識別処理手段により識別処理された移動体の種別ごとにグループ化して所定の記憶部に格納するグループ化処理手段とを備えたことを特徴とする。

本発明によれば、複数の監視画像データに含まれる複数の移動体画像データをそれぞれ抽出処理し、抽出した移動体画像データに基づいて、該移動体の種別を識別処理し、抽出処理された複数の移動体画像データを移動体の種別ごとにグループ化して所定の記憶部に格納するよう構成したので、監視画像データに含まれる複数の移動体の移動体画像データがそれぞれグループ化されるため、監視カメラ映像データに含まれる各移動体の画像データを効率的に検索することが可能となる。

図１は、実施例１に係る画像処理装置の概念を説明するための説明図である。 図２は、実施例１に係る画像処理装置の内部構成を示すブロック図である。 図３は、グループの指定を受け付けるための表示画面について説明する説明図である。 図４は、グループの指定を受け付けた後の表示を説明するための説明図である。 図５は、画像処理装置の処理手順を示すフローチャートである。 図６は、画像処理装置の動作を説明するための説明図である。 図７は、接触の可能性の判定を説明するための説明図である。 図８は、実施例２に係る画像処理装置の内部構成を示すブロック図である。 図９は、交錯判定部による処理手順を示すフローチャートである。 図１０は、移動体映像再生処理部による処理手順を示すフローチャートである。

以下に、添付図面を参照して、本発明に係る画像処理方法及び画像処理装置の好適な実施例を詳細に説明する。なお、以下に示す実施例では、建物に監視カメラを固着し、この監視カメラにより道路上に所在する移動体（人、二輪車及び自動車）を検索する場合を示すこととする。

まず、本実施例１に係る画像処理装置の概念について説明する。図１は、本実施例１に係る画像処理装置の概念を説明するための説明図である。同図に示すように、この画像処理装置は、シーケンシャルな監視映像データを監視カメラから受信したならば、この監視映像データを表示部上に再生処理する（監視映像データ再生処理）。ここでは、車Ａと人Ｂが各フレーム０〜２に映っている状況を示している。なお、監視カメラからオンラインで受信した監視映像データではなく、別途録画された監視映像データを表示部上に再生処理してもよい。

画像処理装置は、かかる監視映像データの再生処理と並行して、監視映像データを形成する監視画像データ（フレーム）から移動体を含む移動体画像データを切り出して抽出する移動体抽出処理を行う。なお、ここではあらかじめ指定された特定の移動体の移動体画像データのみを抽出するのではなく、原則としては、各フレームに含まれる全ての移動体の移動体画像データを抽出する。

具体的には、あらかじめ学習した初期背景画像と監視画像データとを比較し、差分を移動体画像データとして切り出して抽出する。かかる処理により、フレーム０〜２のそれぞれから車Ａを含む移動体画像データと、人Ｂを含む移動体画像データが切り出される。

画像処理装置は、移動体画像データの抽出を終えたならば、引き続き移動体画像データに含まれる各移動体の識別処理を行う。具体的には、移動体画像データに含まれる各移動体が、人、二輪車、自動車のいずれの種別に属するかをパターンマッチング等により識別する。かかる処理により、車Ａを含む移動体画像データの種別が「車」となり、人Ｂを含む移動体画像データの種別が「人」となる。

画像処理装置は、監視映像データの再生処理及び識別処理の後、移動体画像データを移動体毎にグループ分けするグループ化処理を行なう。このグループ化処理により、同一の移動体が複数のフレームに映っている場合に、該移動体を含む移動体画像データを一つのグループとしてまとめることができる。

具体的には、種別が同一であり、移動体の速度が別途設定された所定範囲内であることが、同一グループに属する条件となる。移動体の速度は、フレーム間における移動体画像データの位置の変化並びにフレーム間における移動体画像データのサイズの変化により判定することができる。

なお、種別が「車」である場合には所定範囲を大きくし、種別が「人」である場合には所定範囲を小さくすることが好ましい。また、所定範囲の設定には、監視カメラから移動体までの距離を用いてもよい。監視カメラを固定した場合には、フレーム内における移動体画像データの位置が監視カメラから移動体までの距離に対応する。この距離が大きい場合には、所定範囲を小さく設定し、距離が小さい場合には所定範囲を大きく設定する。

また、移動体の色が同一であることを同一グループに属するための条件として用いてもよい。具体的には、移動体の色についてヒストグラムをとり、最も高い値となる色を移動体の色情報として、色情報が一致するか否かを判定する。

かかるグループ化処理により、車Ａの移動体画像データと、人Ｂの移動体画像データとがそれぞれグループ分けされる。なお、フレーム内に複数の車が存在する場合のように、同一の種別であっても異なる移動体が存在するならば、移動体毎にグループ分けを行なう。

画像処理装置は、グループ化処理の後、グループの指定を受け付けることで、該グループに属する移動体画像データを用いた移動体映像再生処理を行なうことができる。この移動体映像再生処理により、グループ分けされた移動体毎に個別に再生が可能となる。また、移動体画像データを含むフレーム全体の画像データの再生も可能である。したがって、車Ａのグループが指定されたならば、車Ａの映像が表示部上に再生されるが、この時に人Ｂの映像は再生されないこととなる。

このように、監視カメラで撮像された監視映像データから移動体画像データを抽出して移動体の種別を識別し、移動体画像データを移動体毎にグループ分けすることにより、移動体の画像データを効率的に検索することができる。

次に、本実施例１に係る画像処理装置の内部構成について説明する。図２は、本実施例１に係る画像処理装置の内部構成を示すブロック図である。図２に示すように、画像処理装置３０は、ネットワーク２０を介して複数の監視カメラ１０ａ〜１０ｂに接続されている。監視カメラ１０ｂには、映像データを記録するビデオレコーダ１１が接続されている。このため、監視カメラ１０ａ〜１０ｂで撮像された監視映像データを画像処理装置３０に出力することができるほか、ビデオレコーダ１１の設定に応じて該ビデオレコーダ１１に記録された監視映像データを画像処理装置３０に出力することもできる。なお、本実施例では、説明の便宜上、監視カメラ１０ａを画像処理装置３０に直結する場合や、ビデオレコーダ１１を経由して画像処理装置３０に接続する場合を示すこととするが、ノートパソコンやＰＤＡ等に蓄積した映像データを画像処理装置３０に入力することもできる。

画像処理装置３０は、Ｉ／Ｆ部３１、表示部３２、入力部３３、記憶部３４及び制御部３５を有する。Ｉ／Ｆ部３１は、監視カメラ１０ａ〜１０ｂにより撮像された監視映像データ又はビデオレコーダ１１に記録された監視映像データをネットワーク２０経由で受信するためのインタフェース部である。表示部３２は、液晶パネルやディスプレイ装置等であり、入力部３３は、キーボードやマウス等である。

記憶部３４は、フラッシュメモリ又はハードディスク装置等からなる記憶デバイスであり、監視映像データ３４ａ及び移動体画像データ３４ｂを記憶する。監視映像データ３４ａは、監視カメラ１０ａ〜１０ｂにより撮像された映像データであり、撮像した監視カメラに対応して個別に記憶される。また、監視映像データ３４ａは、数時間などの所定の時間単位（シーケンス）で区切って個別に記憶してもよい。

移動体画像データ３４ｂは、監視映像データ３４ａから切り出された移動体の画像データである。この移動体画像データ３４ｂは、上述したように移動体の種別等に基づいて、移動体毎にグループ化して記憶される。

制御部３５は、画像処理装置３０を全体制御する制御部であり、監視映像再生処理部３５ａ、移動体抽出処理部３５ｂ、識別処理部３５ｃ、グループ化処理部３５ｄ及び移動体映像再生処理部３５ｅを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵ（Central Processing Unit）が実行することにより、監視映像再生処理部３５ａ、移動体抽出処理部３５ｂ、識別処理部３５ｃ、グループ化処理部３５ｄ及び移動体映像再生処理部３５ｅにそれぞれ対応するプロセスを実行させることになる。

監視映像再生処理部３５ａは、シーケンシャルな監視映像データ３４ａを監視カメラ１０ａ〜１０ｂ又はビデオレコーダ１１から受信したならば、この監視映像データ３４ａを監視カメラ毎に記憶部３４に格納するとともに、表示部３２上に再生処理する処理部である。具体的には、監視映像データ３４ａを映像ストリームとして順次受信する都度、該映像ストリームを表示部３２上に表示しつつ、一方で画像キャプチャーを行い、監視映像データ３４ａとして記憶部３４に格納する。なお、受信した監視映像データ３４ａの格納及び表示を一連の処理として行うだけではなく、監視映像データ３４ａを受信した場合に該監視映像データ３４ａを一旦記憶部３４に格納し、別のタイミングで記憶部３４に格納された監視映像データ３４ａを読み出して表示部３２上に再生処理することもできる。

移動体抽出処理部３５ｂは、監視映像再生処理部３５ａから監視映像データ（フレーム）を受けて１個の移動体の移動体画像データを切り出して抽出する処理部である。

切り出しの対象としては、所定の大きさ以上の移動体であることを条件とする。移動体の大きさは、画素数により求められる。具体的には、監視カメラ１０ａ〜１０ｂのフレームレート、監視カメラ１０ａ〜１０ｂから移動体までの距離並びに監視カメラ１０ａ〜１０ｂにより撮像されるシーンに応じた大きさ以上の移動体がフレームに含まれる場合に、移動体抽出処理部３５ｂがその移動体画像データを抽出処理する。

識別処理部３５ｃは、移動体画像データから移動体の識別処理を行う処理部である。具体的には、移動体画像データに含まれる各移動体が、人、二輪車、自動車のいずれの種別に属するかをパターンマッチング等により識別する。また、移動体画像データの抽出元のフレームを特定するフレーム識別情報、抽出元のフレームにおける移動体画像データの位置情報、移動体画像データの画素数、色情報並びに該当フレームの監視映像再生処理部３５ａの再生開始点からの経過時間を移動体画像データに関連付ける。そして、全てのフレームの移動体について上記の抽出、識別の処理が繰り返される。

グループ化処理部３５ｄは、移動体画像データを移動体毎にグループ分けして記憶部３４にグループのＩＤが付与された移動体画像データ３４ｂとして格納する処理部である。具体的には、種別が同一であり、移動体の速度が別途設定された所定範囲内であり、色情報が一致する移動体画像データを同一グループとする。また、所定の特徴量を算定して一致判定を行なってもよい。一致判定のアルゴリズムは任意のものを用いることができる。このグループ化処理は、数秒〜数分で終了する。なお、このグループ化処理は前述の各フレームの移動体についての抽出、識別処理の途中から始めることも可能である。

移動体映像再生処理部３５ｅは、ユーザ（操作者）からグループの指定を受け付けた場合に、指定されたグループに属する移動体データ３４ｂを記憶部３４から読み出して表示部３２上に再生処理する処理部である。なお、この再生処理はグループ化処理されたものがあればいつでも実行可能である。

ユーザからグループの指定を受け付ける場合には、指定可能なグループをサムネイル画像とともに表示部３２に一覧表示する。図３は、グループの指定を受け付けるための表示画面について説明する説明図である。

図３（ａ）は、指定可能なグループの情報をテーブル形式で表示している。具体的には、グループを一意に特定する番号を示す「Ｎｏ．」に、フレーム番号、検出サムネイル、経過時間、種別、フレーム数を対応付けたテーブルである。フレーム番号は、該グループに属する移動体画像データ３４ｂが、監視映像データ３４ａの何番目のフレームから出現したかを示す。検出サムネイルは、該グループに属する移動体画像データ３４ｂのうち、最初の移動体画像データ３４ｂのサムネイル画像である。

また、経過時間は、最初の移動体画像データ３４ｂが出現するまでの監視映像再生処理部３５ａの再生開始点からの経過時間を示す。種別は、識別処理部３５ｃにより識別された移動体の種別であり、フレーム数は、該グループに属する移動体画像データ３４ｂの数である。

図３（ａ）は、Ｎｏ．１のグループが、監視映像データ３４ａの１５６番目のフレーム（３２分３０秒）から１５フレーム出現する車の画像であることを示している。また、Ｎｏ．２のグループが、監視映像データ３４ａの２６３番目のフレーム（４２分４４秒）から５３フレーム出現する人の画像であることを示している。また、Ｎｏ．３のグループが、監視映像データ３４ａの１０４４番目のフレーム（１時間２１分５１秒）から９フレーム出現する車の画像であることを示している。また、Ｎｏ．４のグループが、監視映像データ３４ａの１５５２番目のフレーム（２時間７分２９秒）から３フレーム出現する種別「二輪車」の画像であることを示している。

図３（ｂ）は、指定可能なグループの表示方法の変形例である。図３（ｂ）では、各グループの検出サムネイルを並べて表示し、検出サムネイルの下に、グループを一意に特定する番号、フレーム番号、経過時間、種別、フレーム数を表示している。

図３（ａ）及び図３（ｂ）に示した表示画面のいずれかからグループの指定を受け付けると、移動体映像再生処理部３５ｅは、指定されたグループに属する移動体画像データを表示部３２上に再生処理する。また、指定されたグループに属する移動体画像データを一覧表示するようにしてもよい。図４は、グループの指定を受け付けた後の表示を説明するための説明図である。

図４（ａ）は、再生表示を行なう場合の表示画面を示す。この図４（ａ）に示す再生表示では、監視映像データ３４ｂのうち、指定されたグループに属する移動体画像データ３４ｂが含まれる監視画像フレームを動画像として再生する。従って、指定されたグループに対応する移動体と、該移動体と同時に撮像された他の移動体とを全て確認することができる。このとき、指定されたグループに対応する移動体を矩形などで囲み、他の移動体と識別できるようにしてもよい。また、再生の制御のために、「逆コマ送り」ボタン、「再生／一時停止」ボタン、「コマ送り」ボタンを表示し、表示画面の印刷操作を受け付けるために「印刷」ボタンを表示している。

図４（ｂ）は、指定されたグループに属する移動体画像データを一覧表示した表示画面を示す。この場合には、指定されたグループに属する全ての移動体画像データのサムネイル画像を表示し、各サムネイル画像の下にフレーム番号と経過時間を表示している。また、一画面内に全てのサムネイル画像を表示できなかった場合には、「前の画面」ボタン及び「次の画面」ボタンの操作によって画面を推移させることで全てのサムネイル画像を確認できるようにする。また、「印刷」ボタンの操作により、表示画面を印刷することができる。

ユーザがいずれかのサムネイル画像をマウス等で選択したならば、選択されたサムネイル画像に対応する移動体画像データ３４ｂを表示する。このとき、移動体画像データ３４ｂの表示サイズは任意に拡大及び縮小できるようにすることが望ましい。

また、指定されたグループに属する移動体画像データを単純に一覧表示するだけでなく、移動体画像データを動画像として再生表示可能としてもよい。移動体画像データを動画像として再生表示することで、指定されたグループに対応する移動体の動きを選択的に確認することができる。

次に、画像処理装置３０による処理手順について説明する。図５は、画像処理装置３０の処理手順を示すフローチャートである。図５に示すように、画像処理装置３０は、まず、初期背景を設定する（ステップＳ１０１）。この初期背景は、監視カメラ１０ａ〜１０ｂを設置した際に取得した画像を初期背景として設定してもよいし、各シーケンスの１枚目のフレームを初期背景として使用するように設定してもよい。

初期背景の設定（ステップＳ１０１）の後、画像処理装置３０は、ユーザの入力を受け付けて識別用のパラメータを設定する（ステップＳ１０２）。識別用のパラメータには、移動体画像データとして切り出すべき移動体の最低サイズ、種別を識別するためのパターンマッチング用データ等が含まれる。

識別用パラメータの設定（ステップＳ１０２）の後、画像処理装置３０は、監視カメラ１０ａ〜１０ｂにより撮像された監視映像データの入力を受け付ける（ステップＳ１０３）。この監視映像データの入力は、監視カメラ１０ａ〜１０ｂから受信したデータをリアルタイムで入力として用いてもよいし、記憶部３４に格納した監視映像データ３４ａのうち、ユーザが指定した監視映像データ３４ａを入力として用いてもよい。

画像処理装置３０は、入力された監視映像データから移動体画像データを抽出する処理を行ない（ステップＳ１０４）、抽出した移動体画像データに対して識別処理を実行する（ステップＳ１０５）。この識別処理により、移動体の種別が識別される。識別された種別、抽出元のフレームを特定するフレーム識別情報、抽出元のフレームにおける移動体画像データの位置情報、移動体画像データを縮小した画像サムネイル、移動体画像データの画素数、色情報並びに監視映像データの起点からの経過時間は、移動体画像データに関連付けられ、移動体画像データとともに記憶部３４に記憶される。

画像処理装置３０は、識別処理（ステップＳ１０５）の後、１つのシーケンスが終了したか否かを判定する（ステップＳ１０６）。シーケンスが終了していなければ（ステップＳ１０６；Ｎｏ）、画像処理装置３０は、移動体抽出処理（ステップＳ１０４）に移行する。

シーケンスが終了したならば（ステップＳ１０６；Ｙｅｓ）、画像処理装置３０は、移動体画像データのグループ化処理を実行する（ステップＳ１０７）。このグループ化処理により、移動体画像データは移動体毎にグループ分けされ、グループ毎に生成されたフォルダ内に格納される。

画像処理装置３０が行なったグループ化の結果が適切なものでなければ（ステップＳ１０８；Ｎｏ）、グループ化の条件を変更してグループ化処理を実行する（ステップＳ１０７）。

そして、グループ化の結果が適切となれば（ステップＳ１０８；Ｙｅｓ）、画像処理装置３０は、処理を終了する。このように適切なグループ化を行なった移動体画像データは、ユーザが所望の移動体の画像を検索する際に有用である。

次に、画像処理装置３０の動作についてさらに説明する。図６は、画像処理装置３０の動作を説明するための説明図である。図６に示すように、ユーザにより監視映像データの入力操作（ステップＳ２０１）並びに識別用パラメータの設定操作（ステップＳ２０２）が行なわれると、画像処理装置３０は、監視映像データからの移動体画像データの抽出及び識別を開始する（ステップＳ３０１）。

移動体画像データの抽出及び識別を開始（ステップＳ３０１）してから、移動体画像データの抽出及び識別が終了する（ステップＳ３０２）までに抽出及び識別された移動体画像データは、一旦記憶部３４に格納される。

ユーザは、入力部３３から抽出及び識別された移動体画像データの閲覧の操作をし（ステップＳ２０３）、画像処理装置３０が移動体画像データを表示する（ステップＳ３０３）。グループ化の必要が無いと判定したならば（ステップＳ２０４；Ｎｏ）、そのまま処理を終了する。

一方、グループ化の必要があると判定したならば（ステップＳ２０４；Ｙｅｓ）、ユーザはグループ化条件の設定操作を行なう（ステップＳ２０５）。グループ化条件には、同一のグループに分類するための速度の範囲設定、グループ化の対象にする移動体の大きさ、一致を判定する際に使用する特徴量の算出方法並びにアルゴリズムが含まれる。また、移動体や周囲の状況をシーンとして分類し、シーン毎に設定を行ってもよい。ここで言う「シーン」とは、例えば歩道及び車道等を意味する。

画像処理装置３０は、ユーザにより設定されたグループ化条件に基づいて、移動体画像データをグループ化し（ステップＳ３０４）、移動体画像データをグループ毎にフォルダ分けして記憶部３４に格納する。

ユーザは、グループ化の結果の画像データを閲覧し（ステップＳ２０６）、適切にグループ化されていなければ（ステップＳ２０６；Ｎｏ）、グループ化条件を変更する（ステップＳ２０５）。そして、適切にグループ化された場合に（ステップＳ２０６；Ｙｅｓ）、処理を終了する。

上述してきたように、本実施例１では、監視カメラ１０ａ〜１０ｂにより撮像された監視映像データ３４ａに含まれる複数の移動体画像データ３４ｂをそれぞれ抽出処理し、抽出された移動体画像データ３４ｂに基づいて、該移動体の種別を識別処理し、複数の移動体画像データ３４ｂを移動体の種別ごとにグループ化して記憶部３４に格納するよう構成したので、移動体の画像データを効率的に検索することが可能である。

実施例１では、監視映像データに含まれる移動体画像データを移動体毎にグループ化し、個別に表示可能とする構成について説明したが、本実施例２では、関係する可能性のある移動体を判定し、表示制御する構成について説明する。

車と車、車と人など、複数の移動体が監視映像データの同一のフレームに映っている場合には、移動体同士が接触事故などを起こしている可能性がある。そこで、本実施例２に係る画像処理装置では、監視映像データの同一のフレームに映っている複数の移動体について接触の可能性を判定し、移動体画像データを表示する場合に接触の可能性のある他の移動体の移動体画像データを合わせて表示制御する。

図７は、接触の可能性の判定を説明するための説明図である。図７（ａ）に示すように、監視映像データの同一のフレームに車Ａの移動体画像データと人Ｂの移動体画像データとが同時に存在する場合であっても、車Ａの移動体画像データと人Ｂの移動体画像データとが交錯しない、すなわち重ならない場合には、車Ａと人Ｂとが接触している可能性はない。

一方、図７（ｂ）に示すように、車Ａの移動体画像データと人Ｂの移動体画像データとが交錯する、すなわち重なるフレームが存在する場合には、車Ａと人Ｂとが接触している可能性がある。

そこで、本実施例２に係る画像処理装置１３０は、複数の移動体画像データの交錯関係を判定し、移動体間の交錯の有無を交錯関係データとして記憶する。図８は、本実施例２に係る画像処理装置１３０の内部構成を示すブロック図である。

図８に示すように、画像処理装置１３０は、記憶部３４が交錯関係データ１３４をさらに記憶し、制御部３５が交錯判定部１３１をさらに備える点が図２に示した画像処理装置３０と異なる。また、移動体映像再生処理部１３２の処理動作も図２に示した移動体映像再生処理部３５ｅと異なる。その他の構成及び動作は図２に示した画像処理装置３０と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

交錯判定部１３１は、グループ化された移動体画像データを用いて、交錯関係を判定する。具体的には、グループ内の各移動体画像データについて、他のグループに属する移動体画像データと同一フレーム上で重複するか否かを判定する。判定の結果、交錯するグループが存在する場合には、交錯するグループのＩＤと交錯したフレーム番号情報を交錯関係データ１３４として記憶部３４に格納する。

移動体映像再生処理部１３２は、移動体映像再生処理部３５ｅは、ユーザからグループの指定を受け付けた場合に、交錯関係データ１３４を参照し、指定されたグループと交錯関係にあるグループが存在するならば、指定されたグループとともに交錯関係にあるグループを再生処理の対象とする。

次に、交錯判定部１３１による処理手順について説明する。図９は、交錯判定部１３１による処理手順を示すフローチャートである。図９に示すように、交錯判定部１３１は、グループを一つ選択し（ステップＳ４０１）、選択したグループ内の移動体画像データを選択する（ステップＳ４０２）。

交錯判定部１３１は、選択した移動体画像データについて、他のグループに属する移動体画像データと同一フレーム上で重複するか否かを判定する（ステップＳ４０３）。他のグループに属する移動体画像データと同一フレーム上で重複するならば（ステップＳ４０３；Ｙｅｓ）、交錯判定部１３１は、選択したグループと交錯するグループとの間に交錯関係を設定する（ステップＳ４０４）。

交錯関係の設定（ステップＳ４０４）後若しくは他のグループに属する移動体画像データとの重複が無い場合（ステップＳ４０３；Ｎｏ）、交錯判定部１３１は、選択したグループの全ての移動体画像データについて交錯判定を行なったかを判定する（ステップＳ４０５）。

交錯判定を行なっていない移動体画像データが残っている場合（ステップＳ４０５；Ｎｏ）、交錯判定部１３１は、交錯判定を行なっていない移動体画像データを選択する（ステップＳ４０２）。

選択したグループの全ての移動体画像データを選択したならば（ステップＳ４０５；Ｙｅｓ）、交錯判定部１３１は、全てのグループを選択済であるか否かを判定する（ステップＳ４０６）。

未選択のグループが残っている場合には（ステップＳ４０６；Ｎｏ）、交錯判定部１３１は、未選択のグループを選択する（ステップＳ４０１）。そして、全てのグループを選択したならば（ステップＳ４０６；Ｙｅｓ）、処理を終了する。

次に、移動体映像再生処理部１３２による処理手順について説明する。図１０は、移動体映像再生処理部１３２による処理手順を示すフローチャートである。図１０に示すように、移動体映像再生処理部１３２は、再生するグループの指定を受け付けたならば（ステップＳ５０１；Ｙｅｓ）、交錯関係データ１３４に基づいて指定されたグループと交錯するグループが存在するか否かを判定する（ステップＳ５０２）。

指定されたグループと交錯するグループが存在するならば（ステップＳ５０２；Ｙｅｓ）、移動体映像再生処理部１３２は、指定されたグループと交錯するグループの双方を再生して（ステップＳ５０３）、処理を終了する。一方、指定されたグループと交錯するグループが存在しないならば（ステップＳ５０２；Ｎｏ）、移動体映像再生処理部１３２は、指定されたグループのみを再生して（ステップＳ５０４）、処理を終了する。

上述してきたように、本実施例２に係る画像処理装置１３０は、移動体画像データ１３４に基づいて複数の移動体の交錯関係を判定し、移動体が指定された際に、移動体並びに該移動体と交錯関係にある移動体に対応するグループの移動体画像データ３４ｂを表示制御するよう構成したので、関係する可能性のある複数の移動体を一括して表示することができる。

なお、上記実施例１及び２では、１つのシーケンスが終了した後にグループ化処理を行なう場合を例示したが、シーケンスの途中であってもグループ化処理は実行可能である。したがって、監視映像データを所定時間分再生する毎にグループ化処理を実行する等、グループ化処理を実行するタイミングは任意に設定することができる。

また、上記実施例１及び２で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部または一部を各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、監視カメラ１０ａ〜１０ｂが撮像した監視映像データを他のサーバに蓄積した後、所定時間毎のバッチ処理にて画像処理装置に送信するよう構成してもよい。

また、移動体の抽出に使用する抽出特徴量やグループ化された移動体画像データから所望の移動体を検索するための検索特徴量を記憶部３４に格納するよう構成してもよい。また、抽出特徴量や検索特徴量は、記憶部３４とは異なる記憶部に格納するよう構成してもよいし、外部の装置に格納するよう構成してもよい。

以上のように、本発明に係る画像処理方法及び画像処理装置は、市街地や構造物に設置された監視カメラで撮像された監視カメラ映像データに含まれる各移動体画像データを効率的に検索する場合に有用である。

１０ａ〜１０ｂ 監視カメラ
２０ ネットワーク
３０、１３０ 画像処理装置
３１ Ｉ／Ｆ部
３２ 表示部
３３ 入力部
３４ 記憶部
３４ａ 監視映像データ
３４ｂ 移動体画像データ
３５ 制御部
３５ａ 監視映像再生処理部
３５ｂ 移動体抽出処理部
３５ｃ 識別処理部
３５ｄ グループ化処理部
３５ｅ、１３２ 移動体映像再生処理部
１３１ 交錯判定部
１３４ 交錯関係データ

上述した課題を解決し、目的を達成するため、本発明は、所定の監視用撮像装置により撮像された監視映像データを形成する時系列の複数の監視画像データから異なるカテゴリーに種別分けされる移動体を含む領域を切り出した移動体画像データを抽出する画像処理装置における画像処理方法であって、前記複数の監視画像データから移動体画像データを抽出処理する抽出処理工程と、前記抽出処理工程により抽出された移動体画像データに基づいて、該移動体の種別を識別処理する識別処理工程と、前記抽出処理工程により抽出処理された複数の移動体画像データを、前記識別処理工程により識別処理された移動体の種別ごとにグループ化して所定の記憶部に格納するグループ化処理工程とを含んだことを特徴とする。
また、本発明は、上記発明において、前記所定の監視用撮像装置或いは記憶再生装置から取得した監視映像データを再生表示する再生表示工程と、前記再生表示工程で表示された監視映像データのキャプチャーを行い、前記監視画像データとして記憶部に格納する監視画像格納工程とを更に含んだことを特徴とする。
また、本発明は、上記発明において、前記抽出処理工程において、前記所定の監視用撮像装置或いは記憶再生装置から取得した監視映像データを再生表示し、前記再生表示された監視映像データのキャプチャーを行い、前記監視画像データとして移動体画像データの抽出処理をすることを特徴とする。

また、本発明は、上記発明において、前記グループ化処理工程は、前記移動体画像データに含まれる移動体の種別が同一であることに加えて、移動体の速度が別途設定された範囲内であること、移動体の色が同一であること、移動体の大きさが同一であることの条件のうち、いずれか一つ又は複数の組み合わせを満すことを同じグループに属する条件として、各移動体画像データをグループ化することを特徴とする。
また、本発明は、上記発明において、前記グループは、人、二輪車、自動車のグループを含むことを特徴とする。
また、本発明は、上記発明において、前記抽出処理工程により各監視画像データから抽出処理された各グループに属する複数の移動体画像データのうちの一つの移動体画像データのサムネイル画像をそれぞれ表示する工程を含んだことを特徴とする。
また、本発明は、上記発明において、ユーザからの前記サムネイル画像の選択をうけて、選択されたサムネイル画像に対応する移動体画像データを表示する工程をさらに有することを特徴とする。
また、本発明は、上記発明において、ユーザからの前記サムネイル画像の選択をうけて、選択されたサムネイル画像に対応する移動体画像データを動画像として再生表示する工程をさらに有することを特徴とする。

また、本発明は、上記発明において、前記監視用撮像装置により撮像された監視映像データを再生処理する監視映像再生処理工程をさらに含み、前記抽出処理工程による抽出処理及び前記識別処理工程による識別処理は前記監視映像再生処理工程による前記監視映像データのフレームをなす監視画像データの再生処理と並行して行い、前記グループ化処理工程によるグループ化処理は前記監視映像再生処理工程による再生処理の終了を待たずに行うことを特徴とする。

また、本発明は、所定の監視用撮像装置により撮像された監視映像データを形成する時系列の複数の監視画像データから異なるカテゴリーに種別分けされる移動体を含む領域を切り出した移動体画像データを抽出する画像処理装置であって、前記複数の監視画像データから移動体画像データを抽出処理する抽出処理手段と、前記抽出処理手段により抽出された移動体画像データに基づいて、該移動体の種別を識別処理する識別処理手段と、前記抽出処理手段により抽出処理された複数の移動体画像データを、前記識別処理手段により識別処理された移動体の種別ごとにグループ化して所定の記憶部に格納するグループ化処理手段とを備えたことを特徴とする。

本発明によれば、複数の監視画像データから移動体画像データを抽出処理し、抽出した移動体画像データに基づいて、該移動体の種別を識別処理し、抽出処理された複数の移動体画像データを移動体の種別ごとにグループ化して所定の記憶部に格納するよう構成したので、監視画像データに含まれる複数の移動体の移動体画像データがそれぞれグループ化されるため、監視カメラ映像データに含まれる各移動体の画像データを効率的に検索することが可能となる。

Claims (9)

1. 所定の監視用撮像装置により撮像された監視映像データを形成する時系列の複数の監視画像データから移動体を含む領域を切り出した移動体画像データを検出する画像処理装置における画像処理方法であって、
   前記複数の監視画像データに含まれる複数の移動体画像データをそれぞれ抽出処理する抽出処理工程と、
   前記抽出処理工程により抽出された移動体画像データに基づいて、該移動体の種別を識別処理する識別処理工程と、
   前記抽出処理工程により抽出処理された複数の移動体画像データを、前記識別処理工程により識別処理された移動体の種別ごとにグループ化して所定の記憶部に格納するグループ化処理工程と
   を含んだことを特徴とする画像処理方法。
2. 前記抽出処理工程は、所定の大きさ以上の移動体が前記複数の監視画像データに含まれる場合に、各監視画像データから移動体画像データを抽出処理することを特徴とする請求項１に記載の画像処理方法。
3. 前記抽出処理工程は、前記監視用撮像装置のフレームレート、前記監視用撮像装置から前記移動体までの撮影距離並びに前記監視用撮像装置により撮像されるシーンに応じた大きさ以上の移動体が前記複数の監視画像データに含まれる場合に、各監視画像データから移動体画像データを抽出処理することを特徴とする請求項２に記載の画像処理方法。
4. 前記グループ化処理工程は、前記移動体画像データに含まれる移動体の特徴量、大きさ及び移動距離に基づいて、該移動体画像データをグループ化することを特徴とする請求項１及び２に記載の画像処理方法。
5. 前記監視用撮像装置により撮像された監視映像データを再生処理する監視映像再生処理工程をさらに含み、
   前記抽出処理工程による抽出処理及び前記識別処理工程による識別処理は前記監視映像再生処理工程による前記監視映像データのフレームをなす監視画像データの再生処理と並行して行い、前記グループ化処理工程によるグループ化処理は前記監視映像再生処理工程による再生処理の終了後に行う
   ことを特徴とする請求項１に記載の画像処理方法。
6. 前記グループ化処理工程によるグループ化処理は前記監視映像再生処理工程による一部の再生処理の終了後に行う
   ことを特徴とする請求項５に記載の画像処理方法。
7. 前記グループ化処理工程は、同一のグループに属する移動体に関する複数の移動体画像データを前記記憶部の同一フォルダ内に格納し、
   所定の移動体が指定された際に、該移動体に対応するフォルダ内の複数の移動体画像データを映像データとして所定の表示部に表示制御する表示制御工程
   をさらに含んだことを特徴とする請求項１に記載の画像処理方法。
8. 前記抽出処理工程により抽出された移動体画像データに基づいて、複数の移動体の交錯関係を判定する交錯関係判定工程をさらに含み、
   前記表示制御工程は、
   前記移動体が指定された際に、該移動体並びに前記交錯関係判定工程により該移動体と交錯関係にあると判定された移動体に対応するフォルダ内の複数の移動体画像データを映像データとして所定の表示部に表示制御する
   ことを特徴とする請求項６に記載の画像処理方法。
9. 所定の監視用撮像装置により撮像された監視映像データを形成する時系列の複数の監視画像データから移動体を含む領域を切り出した移動体画像データを検出する画像処理装置であって、
   前記複数の監視画像データに含まれる複数の移動体画像データをそれぞれ抽出処理する抽出処理手段と、
   前記抽出処理手段により抽出された移動体画像データに基づいて、該移動体の種別を識別処理する識別処理手段と、
   前記抽出処理手段により抽出処理された複数の移動体画像データを、前記識別処理手段により識別処理された移動体の種別ごとにグループ化して所定の記憶部に格納するグループ化処理手段と
   を備えたことを特徴とする画像処理装置。

Images