JP4215781B2 - 異常動作検出装置および異常動作検出方法 - Google Patents

Description

本発明は、動画像を取り込んで自動的に通常とは異なる動作を検出する異常動作検出装置および異常動作検出方法に関するものである。

現在、セキュリティ分野における映像監視や老人介護のモニタリングシステムなど、カメラによる監視システムが多く利用されているが、人による動画像からの異常検出は労力も多大であり、これをコンピュータで代替できるならば大幅な労力削減につながる。また老人介護においても、発作などに対する自動通報システムがあるならば、介護者の負担を減らすことができるため、異常を知らせるなどのカメラによるモニタリングシステムが必要とされている。

そこで、対象に対して動作特徴を抽出するような動画像からの異常動作認識が必要となる。異常動作認識の研究として、本発明者らが出願した下記の特許文献１には、立体高次局所自己相関特徴（以下、CHLAC特徴データとも記す）を用いて異常動作認識を行う技術が開示されている。
特開２００６−０７９２７２号公報

上記した従来の異常動作認識においては、動作特徴として画面全体から抽出した立体高次局所自己相関特徴を用いており、このCHLACデータは対象の場所や時間に依らない位置不変な値である。従って、立体内に複数個の対象がある場合、全体の特徴値はそれぞれの個別の特徴値の和になるという加法性があるという性質によって、通常データとして豊富に得られる正常動作を統計的に部分空間として学習し、異常動作をそこからの逸脱として検出することにより、例えば画面内に複数人いる場合において、個々の人物の切り出しやトラッキングを行うことなく、１人の異常動作をも高速に検出可能であるという効果がある。

しかし、一方で従来の異常動作認識においては、画面全体から抽出したCHLACデータは位置不変性があるために、異常動作の対象の位置を特定できないという問題点があった。また、対象そのもの、あるいは異常動作の種類が複数種ある場合にも検出精度が低下するという問題点もあった。
本発明の目的は、上記したような従来例の問題点を解決し、立体高次局所自己相関特徴を用いて異常動作と共に対象の位置を高い精度で検出できる異常動作検出装置および異常動作検出方法を提供する点にある。

本発明の異常動作検出装置は、複数の画像フレームデータからなる動画像データからフレーム間差分データを生成する差分データ生成手段と、画素毎に直近の複数の前記フレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、所定の距離だけ離れた画素毎に、その画素を含む所定の範囲の画素群について前記特徴データ抽出手段によって抽出された前記特徴データを加算する画素対応特徴データ生成手段と、正常動作を示す部分空間に対する前記画素対応特徴データ生成手段により生成された特徴データの異常さを示す指標を計算する指標計算手段と、前記指標が所定値よりも大きい場合に異常と判定する異常判定手段と、前記異常判定手段が異常と判定した画素位置を異常とする判定結果を出力する出力手段とを備えたことを主要な特徴とする。

また、上記した異常動作検出装置において、更に、過去に特徴データ抽出手段によって抽出された複数の特徴データから主成分分析手法により主成分ベクトルに基づく正常動作を示す部分空間を求める主成分部分空間生成手段を備えた点にも特徴がある。

また、上記した異常動作検出装置において、更に、画素対応特徴データ生成手段によって生成された画素対応特徴データから求めた部分空間と前記正常動作を示す部分空間との正準角に基づく類似度の指標を求め、クラスタリング手法を用いて画素毎にクラス分けするクラス分け手段を備え、前記主成分部分空間生成手段は、クラス毎に前記特徴データを加算してクラス対応の部分空間を求め、前記指標計算手段は、前記画素対応特徴データ生成手段により生成された特徴データの前記クラス対応の部分空間に対する異常さを示す指標を計算する点にも特徴がある。

また、上記した異常動作検出装置において、前記部分空間に対する異常さを示す指標は特徴データの前記部分空間との距離あるいは角度の情報のいずれかを含んでいる点にも特徴がある。
また、上記した異常動作検出装置において、前記主成分部分空間生成手段は、逐次的主成分分析手法により主成分ベクトルに基づく部分空間を求める点にも特徴がある。

本発明の異常動作検出方法は、複数の画像フレームデータからなる動画像データからフレーム間差分データを生成するステップ、画素毎に直近の複数の前記フレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出するステップ、所定の距離だけ離れた画素毎に、その画素を含む所定の範囲の画素群について前記特徴データを加算するステップ、正常動作を示す部分空間に対する前記特徴データの異常さを示す指標を計算するステップ、前記指標が所定値よりも大きい場合に異常と判定するステップ、異常と判定された画素位置を異常とする判定結果を出力するステップを含むことを主要な特徴とする。

本発明によれば、以下のような効果がある。
（１）画素対応に異常判定が可能であり、異常動作を行った対象の位置を正確に検出可能である。
（２）従来は対象が多数存在していると異常検出精度が低下してしまうが、画素を中心とする所定の範囲を適切に選択すれば、検出対象が多数あっても異常動作の判定精度が低下することがない。
（３）対象の種類が複数種あっても位置によってクラス分けすることにより、検出精度が更に向上する。また、クラス分けを予め処理してもよいし、クラス分け処理を異常判定と同時に自動的に更新することも可能である。

（４）特徴抽出や異常判定のための計算量が少なく、計算量は対象人数に依らず一定であり、実時間処理が可能である。
（５）正常動作を陽に定義することなく統計的に学習しているため、設計の段階で正常動作とは何かについて定義する必要がなく、監視対象に則した自然な検出を行うことができる。さらに、監視対象についての仮定が不要であり、人の動作に限らず、さまざまな監視対象の動きに対しても、正常、異常を判別できる。また、リアルタイムで動画像を取り込み、正常動作の部分空間を更新することにより、正常動作の緩やかな変化に追従していくことができる。

本明細書においては、異常動作を「正常動作ではないもの」として定義する。正常動作は、動作特徴の統計的な分布を考えた場合に分布の集中する動作であるものとすれば、統計的な分布から学習可能である。そして、その分布から大きく逸脱する動作を異常動作とする。これによって、予め定義が困難であり、学習のためのサンプル採集も困難な異常動作を陽に扱う必要がなく、実用上も有利である。

例えば、通路や道路などに設置された防犯カメラでは、歩く動作のような一般的な動作は正常動作として学習され認識されるが、挙動不審のような動作は歩く動作のような周期運動とは異なり、発生頻度が少ないため、異常動作として認識される。なお、本発明者らは「歩く」動作を正常動作、「走る」動作、「転ぶ」動作を異常動作として実験を行った。

異常動作検出の具体的な手法としては、立体高次局所自己相関特徴による動作特徴空間の中で正常動作特徴の部分空間を生成し、その部分空間からの距離あるいは角度を指標として異常動作を検出する。正常動作部分空間の生成には例えば主成分分析手法を用い、例えば累積寄与率0.99の主成分ベクトルにより主成分部分空間を構成する。

ここで、立体高次局所自己相関特徴には、対象の切りだしが不要で画面内において加法性があるという性質がある。この加法性により、正常動作部分空間を構成すると、画面内に何人の人が正常動作を行っても特徴ベクトルは正常動作部分空間の中に収まることになり、その中の一人でも異常動作を行うと、部分空間から飛び出して異常値として検出できることになる。人を個々にトラッキングし、切り出して計算する必要がないため、計算量は対象人数に比例することなく一定となり、高速に計算可能である。

また、本発明においては、対象の位置を検出するために、所定の距離（１以上の任意の数）だけ離れた画素毎に、この画素を含む（中心とする）所定の領域のCHLACデータを積算した画素対応CHLAC特徴データを求め、このデータと正常動作部分空間との距離あるいは角度によって異常判定を行う。この処理によって画素毎の正常／以上の判定が可能である。

更に、画素対応のCHLAC特徴データから求めた部分空間と正常動作部分空間との正準角に基づく指標を用いてクラスタリング手法により画素位置をクラスに分けることにより、例えば交差点を撮した画像から人が歩いている歩道部分と車が走っている車道部分を自動的に分けて異常判定することができ、判定精度が更に向上する。

図１は、本発明による異常動作検出装置の構成を示すブロック図である。ビデオカメラ１０は対象となる人や装置の動画像フレームデータをリアルタイムで出力する。ビデオカメラ１０はモノクロでもよいしカラーカメラであってもよい。コンピュータ１１は例えば動画像を取り込むためのビデオキャプチャー回路を備えた周知のパソコン（ＰＣ）であってもよい。本発明は、パソコンなどの周知の任意のコンピュータ１１に後述する処理のプログラムを作成してインストールして起動することにより実現される。

モニタ装置１２はコンピュータ１１の周知の出力装置であり、例えば異常動作が検出されたことをオペレータに表示するために使用される。キーボード１３およびマウス１４は、オペレータが入力に使用する周知の入力装置である。なお、実施例においては、例えばビデオカメラ１０から入力された動画像データを実時間で処理してもよいし、一旦動画像ファイルに保存してから順次読み出して処理してもよい。また、ビデオカメラ１０は任意の通信網を介してコンピュータ１１と接続されていてもよい。

図２、図３は本発明による異常動作検出処理の概要を示す説明図である。例えばビデオカメラ１０によって、３６０画素×２４０画素のグレースケール（モノクロ多値）動画像が撮影され、順次コンピュータ１１に取り込まれる。取り込まれたフレームデータ（ａ）から直前のフレームの同じ画素の輝度値との差分の絶対値を求め、この値が例えば所定の閾値以上である場合に１、そうでない場合に０とする差分２値化フレームデータ（ｃ）を得る。

次に、直近の３枚の差分２値化フレームデータ（ｄ）から後述する方法で、画素対応のCHLACデータ（ｆ）を計算してフレーム対応に保存する。そして、過去の比較的長い所定時間幅の全CHLACデータ（ｇ）を加算（ｉ）して全CHLAC特徴データ（ｋ）を得る。
一方、直近の所定時間幅（例えば１０フレーム分）の画素対応CHLACデータ（ｈ）から、注目画素を移動させながら、注目画素を中心とする所定領域（例えば１０画素×１０画素）の画素対応CHLACデータを加算する処理（ｊ）を実行することにより、画素対応CHLAC特徴データ（ｌ）を得る。

図３に移行して、全CHLAC特徴データ（ｋ）および画素対応CHLAC特徴データ（ｌ）から、主成分分析あるいは逐次的主成分分析（ｍ）によってそれぞれ主成分部分空間を求める。そして、２つの主成分部分空間の正準角に基づく類似度の指標を求め、クラスタリング手法を用いて各画素をクラスに分ける（ｎ）。

（ｏ）は画素毎にクラス分けされ、画面が複数のクラスの領域に分かれていることを示す説明図である。発明者の行った実験においては、例えば道路の動画像から、歩行者の動き特徴を含む歩道のクラス、車の動き特徴を含む車道のクラス、変化のないクラス等に分けることが出来た。

次に、クラス毎に画素対応CHLAC特徴データ（ｌ）を加算し、主成分分析あるいは逐次的主成分分析によって正常部分空間を求める（ｐ）。最後に、画素毎に対応する正常部分空間と画素対応CHLAC特徴データとの距離あるいは角度によって異常判定を行う（ｒ）。（ｓ）は画素毎の正常空間に基づき異常判定が行われ、異常と判定された画素の領域が例えば色分けして表示されていることを示す説明図である。

なお、本発明は、画素ごとのクラス分けを行わなくても実施可能であり、この場合には（ｎ）および（ｐ）の処理を省略し、（ｍ）の処理によって求めた主成分部分空間および画素対応CHLAC特徴データ（ｌ）に基づき（ｒ）の異常判定を行う。

また、本発明においては、正常動作の部分空間やクラス分け処理を予め、あるいは間欠的に実行し、得られた正常動作の部分空間やクラス分け情報に基づき（ｍ）、（ｎ）、（ｐ）の処理を省略して異常判定処理（ｒ）のみを行ってもよい。

以下に、処理の詳細について説明する。図７は、本発明による異常動作検出処理の内容を示すフローチャートである。Ｓ１０においては、ビデオカメラ１０からのフレームデータの入力が完了するまで待つ。Ｓ１１においては、フレームデータを入力（メモリに読み込む）する。このときの画像データは例えば２５６階調のグレイスケールデータである。

Ｓ１２においては、動画像データに対して「動き」の情報を検出し、背景など静止しているものを除去する目的で差分データを生成する。差分の取り方としては、隣接するフレーム間の同じ位置の画素の輝度の変化を抽出するフレーム間差分方式を採用するが、フレーム内における輝度の変化部分を抽出するエッジ差分、あるいは両方を採用してもよい。なお、画素毎にＲＧＢのカラーデータを持っている場合には、２つの画素の差分データとして、２つのＲＧＢカラーベクトル間の距離を算出してもよい。

更に、「動き」に無関係な色情報やノイズを除去するために自動閾値選定による２値化を行う。２値化の方法としては、例えば一定閾値、下記非特許文献１に開示されている判別最小二乗自動閾値法、閾値０及びノイズ処理方式（濃淡画像において差が０以外を全て動き有り＝１とし、公知のノイズ除去法によってノイズを除去する方法）を採用可能である。

判別最小二乗自動閾値法では対象が全く存在しないシーンではノイズを検出してしまうので、二値化を行う輝度差分値の閾値が所定の下限値より小さい場合には、下限値を閾値とする。以上の前処理により入力動画データは画素値に「動いた（１）」「動かない（０）」の論理値をもつフレームデータ（ｃ）の列となる。
大津展之、"判別および最小２乗規準に基づく自動しきい値選定法"電子通信学会論文誌Ｄ、J63-D-4、P349-356、1980年。

Ｓ１３においては、１フレームの画素それぞれについて画素CHLACデータ（ｆ）を抽出する。詳細は後述するが、２５１次元特徴データを生成するCHLAC抽出処理を行う。時系列の二値差分データからの動作特徴の抽出には、立体高次局所自己相関(CHLAC)
特徴を用いる。Ｎ次自己相関関数は次の数式１のようになる。

ここで、f は時系列画素値（差分値）であり、参照点（注目画素）ｒおよび参照点からみたＮ個の変位ａ_i(i = 1，．．．,N) は差分フレーム内の二次元座標および時間も成分として持つ三次元のベクトルである。Ｓ１３におけるフレームCHLACデータは１フレーム分の画素毎のデータである。

変位方向、次数のとり方により高次自己相関関数は無数に考えられるが、これを局所領域に限定したものが高次局所自己相関関数である。立体高次局所自己相関特徴では変位方向を参照点ｒを中心とする３×３×３画素の局所領域内、即ち参照点ｒの２６近傍に限定している。特徴量の計算は１組の変位方向に対して数式１の積分値が１つの特徴量になる。従って変位方向の組み合わせ（＝マスクパターン）の数だけ特徴量が生成される。

特徴量の数、つまり特徴ベクトルの次元はマスクパターンの種類に相当する。２値画像の場合、画素値１を何回乗算しても１であるので、二乗以上の項は乗数のみが異なる１乗の項と重複するものとして削除する。また数式１の積分操作（平行移動：スキャン）で重複するパターンは１つの代表パターンを残して他を削除する。数式１右辺の式は参照点（f(r)：局所領域の中心）を必ず含むので、代表パターンとしては中心点を含み、パターン全体が３×３×３画素の局所領域内に収まるものを選択する。

この結果、中心点を含むマスクパターンの種類は、選択画素数が１個のもの：１個、２個のもの：２６個、３個のもの：２６×２５／２＝３２５個の計３５２個あるが、数式１の積分操作（平行移動：スキャン）で重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、１つの３次元データに対する立体高次局所自己相関特徴ベクトルは２５１次元となる。

なお、画素の値が多値の濃淡画像の場合には、例えば画素値をａとすると、相関値はａ（０次）≠ａ×ａ（１次）≠ａ×ａ×ａ（２次）となり、選択画素が同じでも乗数の異なるものを重複削除できない。従って、多値の場合には、２値の場合より選択画素数が１の場合に２個、選択画素数が２の場合に２６個増加し、マスクパターンの種類は計２７９種類となる。

Ｓ１４においては、画素CHLACデータ群をフレーム対応に保存する。Ｓ１５においては、注目画素を移動させながら、注目画素を中心とする所定領域の画素CHLACデータを加算する処理を実行して、画素対応CHLAC特徴データ（ｊ）を生成する。詳細については後述する。

Ｓ１６においては、過去の所定の時間幅の全CHLACデータ（ｋ）および画素対応CHLAC特徴データ（ｌ）からそれぞれ主成分空間を求め（ｍ）、２つの主成分空間の正準角を計算して画素をクラスに分ける（ｎ）。更に、クラス毎の正常空間を求める（ｐ）。詳細については後述する。Ｓ１７においては、未処理の画素対応CHLAC特徴データとＳ１６で求めたクラス対応の正常部分空間との距離（あるいは角度）ｄ⊥を求める。

図１１は、CHLAC特徴の部分空間の性質を示す説明図である。図１１は、説明を簡単にするために、CHLAC特徴データ空間を２次元（実際には２５１次元）とし、正常動作の部分空間を１次元（実施例では例えば累積寄与率0.99とすると３〜１２次元程度）としたものであり、正常動作のCHLAC特徴データが監視対象の個数ごとの集団を形成している。主成分分析によって求められた正常動作部分空間Ｓは正常動作のCHLAC特徴データを含む形で近傍に存在している。これに対して異常動作のCHLAC特徴データＡは、正常動作部分空間Ｓとの垂直距離ｄ⊥が大きくなる。従って、CHLAC特徴データと通常動作の部分空間との垂直距離ｄ⊥を測ることによって、容易に異常動作を検出することができる。

距離ｄ⊥は以下のように求める。主成分直交基底U_K =[u₁,...,u_K]によって張られた正常部分空間への射影子Ｐおよびそれに対する直交補空間への射影子Ｐ⊥は下記のようになる。

Ｕ’は行列Ｕの転置行列であり、Ｉ_MはＭ次の単位行列である。直交補空間での２乗距離、即ち、部分空間Ｕへの垂線の２乗距離ｄ²⊥は、次のように表すことができる。

本実施例においては、この垂直距離ｄ⊥を異常であるか否かの指標として採用可能である。
但し、上記した垂直距離ｄ⊥はスケール（特徴ベクトルのノルム）により変化する指標である。従って、スケールの違いによって異なる判定結果が出る恐れがある。そこで、他の指標として、以下に示す、よりスケールロバストな指標を採用してもよい。

まず部分空間Ｓとの角度、即ちsinθを指標とする場合を考える。しかしこの指標はノイズなどのスケールが非常に小さい特徴に対しても非常に大きな値が出る指標であり、あまり適切な指標ではない。そこで、スケールが小さい場合でも小さい値とするために、この指標を次のように変更する。

ここでｃは正の定数である。この指標により異常判定値はスケールに対して補正され、ノイズにも強い指標となる。この指標は、図１１のグラフ上では原点から−ｃだけ横軸方向にずらした点からの角度を測ることを意味する。

Ｓ１８においては、垂直距離ｄ⊥が所定の閾値よりも大きいか否かが判定され、判定結果が否定の場合にはＳ１９に移行するが、肯定の場合にはＳ２０に移行する。Ｓ１９においては、この画素位置は正常動作であると判定する。また、Ｓ２０においては、この画素位置は異常動作であると判定する。

Ｓ２１においては、全画素についてＳ１７の処理が完了したか否かが判定され、判定結果が否定の場合にはＳ１７に移行するが、肯定の場合にはＳ２２に移行する。Ｓ２２においては、判定結果をモニタ装置等へ出力する。Ｓ２３においては、例えばオペレータによる終了操作が検出されたか否かによって処理を終了するか否かが判定され、判定結果が否定の場合にはＳ１０に戻るが、肯定の場合には処理を終了する。

図８は、Ｓ１３の画素CHLACデータ抽出処理の内容を示すフローチャートである。Ｓ３０においては、２５１個の相関パターン対応の相関値データをクリアする。Ｓ３１においては、未処理の画素（参照点）を１つ選択する（フレーム内で参照点である注目画素を順にスキャンする）。Ｓ３２においては、参照点の画素値が０か否かが判定され、判定結果が否定の場合にはＳ３３に移行するが、肯定の場合にはＳ３９に移行する。Ｓ３３においては、未処理のマスクパターンを１つ選択する。

図４は、３次元画素空間における自己相関処理座標を示す説明図である。図４においては、ｔ−１フレーム、ｔフレーム、ｔ＋１フレームの３つの差分フレームのｘｙ平面を並べて図示してある。本発明においては、注目する参照画素を中心とする３×３×３（＝２７）画素の立方体の内部の画素について相関を取る。マスクパターンは、相関を取る画素の組合せを示す情報であり、マスクパターンによって選択された画素のデータは相関値の計算に使用されるが、マスクパターンによって選択されなかった画素は無視される。マスクパターンでは注目画素（中心の画素：参照点）は必ず選択される。

図５は、自己相関マスクパターンの例を示す説明図である。図５（１）は注目画素のみの最も簡単な０次のマスクパターンである。（２）はハッチングを施した２つの画素が選択されている１次マスクパターン例、（３）、（４）はハッチングを施した３つの画素が選択されている３次マスクパターン例であり、この他に多数のパターンがある。そして、前記したように、重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、１つの３次元データに対する立体高次局所自己相関特徴ベクトルは２５１次元となる。

図８に戻って、Ｓ３４においては、前記した数式１を用いてパターンと対応する位置の差分値（０または１）を乗算して相関値を計算する。なお、この処理は前記した数式１におけるf(r)f(r+a1)…f(r+aN)の演算に相当する。
Ｓ３５においては、相関値は１か否かが判定され、判定結果が肯定の場合にはＳ３６に移行するが、否定の場合にはＳ３７に移行する。Ｓ３６においては、マスクパターンと対応する相関値を１にセットする。Ｓ３７においては、全てのマスクパターンについて処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ３８に移行するが、否定の場合にはＳ３３に移行する。

Ｓ３８においては、相関値群を画素対応に保存する。Ｓ３９においては、全ての画素について処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ４０に移行するが、否定の場合にはＳ３０に移行する。Ｓ４０においては、１フレーム分の画素毎の相関値群の集合を画素CHLACデータとして出力する。

図９は、Ｓ１５の画素対応CHLAC特徴データ生成処理の内容を示すフローチャートである。Ｓ５０においては、最新のフレーム対応CHLACデータを読み出す。Ｓ５１においては、画素毎に注目画素を含む（中心とする）所定範囲、例えば１０×１０×１０の範囲のCHLACデータを加算する。なお、この処理は、前記した数式１において、注目画素をフレーム内および時間方向に所望の範囲だけ移動（スキャン）させて相関値を足し合わせる（次元毎に相関値を加算する）積分操作に相当する。Ｓ５２においては、画素毎に加算したCHLAC特徴データをフレーム対応に保存する。

Ｓ５３においては、未処理の画素を１つ選択する。Ｓ５４においては、画素対応CHLAC特徴データを読み出す。Ｓ５５においては、現在の画素対応CHLAC特徴データに最新フレームの画素対応CHLACデータを加算し、所定期間以上古いフレームの画素対応CHLACデータを減算して画素対応CHLAC特徴データを更新する。

図６は、本発明による動画像の実時間処理の内容を示す説明図である。動画像のデータはフレームのシーケンスとなっている。そこで時間方向に一定幅の時間窓を設定し、窓内のフレーム集合を１つの３次元データとする。そして、新たなフレームが入力される度に時間窓を移動させ、古いフレームを削除することで有限な３次元データが得られる。この時間窓の長さは、認識しようとする動作の１周期と等しいか、より長く設定することが望ましい。

なお、実際には画像フレームデータは差分を取るために１フレームのみ保存され、フレームと対応するフレームCHLACデータが時間窓分だけ保存される。即ち、図６において時刻ｔに新たなフレームが入力された時点では、直前の時間窓（t-1，t-n-1）に対応するフレームCHLACデータはすでに算出されている。但し、フレームCHLACデータを計算するためには直近の３つの差分フレームが必要であるが、（t-1）フレームは端なのでフレームCHLACデータは（t-2）フレームに対応するものまで算出されている。

そこで、新たに入力されたｔフレームを用いて（t-1）フレームに対応するフレームCHLACデータを生成してCHLACデータに加算する。また、最も古い（t-n-1）フレームと対応するフレームCHLACデータをCHLACデータから減算する。このような処理により、時間窓と対応するCHLAC特徴データが更新される。

図９に戻って、Ｓ５６においては、更新された画素対応CHLAC特徴データを保存する。Ｓ５７においては、全ての画素について処理が完了したか否かが判定され、判定結果が否定の場合にはＳ５３に移行するが、肯定の場合には処理を終了する。

図１０は、Ｓ１６のクラス分け処理の内容を示すフローチャートである。Ｓ６０においては、最新のフレーム対応CHLACデータを読み出す。Ｓ６１においては、このフレームの全てのCHLACデータを加算する。Ｓ６２においては、加算されたCHLACデータをフレーム対応に保存する。Ｓ６３においては、現在の全CHLACデータに最新のフレームCHLACデータを加算し、所定期間以上古いフレームのフレームCHLACデータを読み出して減算し、新たな全CHLACデータを生成して保存する。

Ｓ６４においては、主成分分析手法あるいは逐次的主成分分析手法により全CHLACデータおよび画素対応CHLAC特徴データのそれぞれから主成分ベクトルを求める。主成分分析手法自体は周知であるので概略を説明する。まず、正常動作の部分空間を構成するために、全CHLAC特徴データから主成分分析により主成分ベクトルを求める。Ｍ次元のCHLAC特徴ベクトルｘを以下のように表す。

なお、Ｍ＝２５１である。また、主成分ベクトルを列に並べた行列Ｕ（固有ベクトル）を以下のように表す。

なお、Ｍ＝２５１である。主成分ベクトルを列に並べた行列Ｕは、以下のように求める。自己相関行列Ｒ_ｘを次式に示す。

行列Ｕはこの自己相関行列Ｒ_ｘを用いて、次の式の固有値問題より求まる。

固有値行列Λを次式で表す。

第Ｋ固有値までの累積寄与率α_K は、以下のように表される。

そこで、累積寄与率α_Kが所定値（例えばα_K＝0.99）となる次元までの固有ベクトルu₁,...,u_Kにより張られる空間を、正常動作の部分空間として適用する。なお、累積寄与率α_Kの最適値は監視対象や検出精度にも依存するものと考えられるので実験等により決定する。以上の計算を行うことにより、正常動作の部分空間が生成される。

次に、固有値問題を解かず、共分散行列を求めずに、インクリメンタルに部分空間を求める逐次主成分分析手法を説明する。実世界への応用では大量のデータを扱うため、全てのデータを保持しておくことは難しい。そこで、逐次的に通常動作の部分空間を学習、更新する。

逐次的な主成分分析として考えられる手法としては、まず、ステップごとに固有値問題を解くことが考えられる。固有値問題に必要な自己相関行列Ｒｘは、次のように更新される。

ここでＲｘ(n)はｎステップ目の自己相関行列であり、ｘ(n)はｎステップ目の入力ベクトルである。これは、前記した主成分分析手法に忠実ではあるが、ステップごとに固有値問題を解かなければならないため、計算量が多いという問題がある。そこで、固有値問題を解くことなく相関行列を求めずに固有ベクトルを逐次更新する手法であるCCIPCAを適用する。CCIPCAの内容については、下記の非特許文献２に開示されている。
Juyang Weng, Yilu Zhang andWey-Shiuan Hwang, "Candid Covariance-Free Incremental Principal ComponentAnalysis",IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.25,No.8, pp.1034-1040, 2003。

このアルゴリズムでは、ステップごとに固有値問題を解く必要がないため、非常に高速な手法となっている。また、この手法では、固有値の収束はあまり良くないが、固有ベクトルの収束は速いという性質を持つ。第１固有ベクトルと第１固有値は、次のように更新される。

ここで、固有ベクトルはｖ／‖ｖ‖であり、固有値は‖ｖ‖である。この更新則では、ｎが無限大のときにｖ(n)→±λ₁ｅ₁となることが証明されている。ここでλ₁は、サンプルの相関行列Ｒの最大固有値であり、ｅ₁はそれに対応する固有ベクトルである。第ｎ固有ベクトルと第ｎ固有値については、第１固有ベクトルと第１固有値からGram-Schmidtの直交化法に則って漸化的に更新され、真の固有値、固有ベクトルに収束することが示されている。詳しい更新アルゴリズムは次のようになる。

本発明においては、CCIPCAで求める固有ベクトルについて全次元のＭ個を求めるのではなく、上限値を決める。固有値問題を解く場合には、固有値を求めてから累積寄与率を求め、累積寄与率が例えば0.99999を越える次元まで取るということを行うが、CCIPCAでは、次の二つの理由で上限値を設ける。第一に、従来の方法では計算量が大きいという点である。寄与率を求めるためには、全ての固有値を推定しなければならず、その計算時間は特徴抽出の計算時間を含めない場合でもパソコンで数十秒もかかってしまう。一方、次元を定数の例えば４として計算すると、数ミリ秒で計算出来、実時間で可能な処理時間となる。

２つ目の理由は、このCCIPCA手法においては固有値の収束が遅いという点である。数千フレームのデータ数に対してCCIPCA手法を用いた場合、最終的に通常動作部分空間の次元は二百程度であり、収束値である４に全く収束していないことが分かる。これらの理由により部分空間の次元を一定として求める。このパラメータのおおよその値は、ある時間幅の入力ベクトルに対して一度固有値問題を解くことによって求めることができる。

Ｓ６５においては、Ｓ６４で求めた２つの主成分ベクトルの正準角を求め、正準角に基づく類似度によって画素をクラスに分ける。正準角とは、統計学において二つの部分空間のなす角度を意味し、Ｍ次元部分空間とＮ次元部分空間の間にはＮ（≦Ｍ）個の正準角が定義できる。第２正凖角θ₂は最小正準角θ₁に直交する方向において測った最小角、同様に第３正準角θ₃はθ₂とθ₁に直交した方向で測った最小角となる。Ｆ次元特徴空間における部分空間Ｌ1とＬ2の基底ベクトルをΦ_i、Ψ_i、これらから計算されるＦ×Ｆの射影行列を下記に示す。

Ｐ₁Ｐ₂あるいはＰ₂Ｐ₁のｉ番目に大きい固有値λ_ｉがcos²θ_iとなる。Ｍ次元部分空間Ｌ₁とＮ次元部分空間Ｌ₂の関係はＮ個の正準角により完全に規定される。二つの部分空間が完全に一致している場合にはＮ個の正準角はすべて０度となる。両者が離れるにつれて下位の正準角から大きくなり、両者が完全に直交するときにすべての角度が９０度となる。このように複数の正準角は二つの部分空間の構造的な類似度を表す。そこでｎ（≦Ｎ）個の正準角を用いて類似度Ｓ[n]を以下のように定義し、この指標を用いる。

次に、正準角の類似度によって求めた指標値について、Mean Shift法を用いてクラスタリングを行う。Mean Shift法の内容については下記の非特許文献３に開示されている。Mean Shift法は、クラス数を与えないクラスタリング手法であり、どの程度の近傍を近いものとするかのスケールパラメータを設定する必要がある。本実施例においては、０から１の間の値しか持たない正準角の類似度を指標としているため、スケール自体は、シーンに対してあまり変動するものではなく、およそ０．１程度のスケールパラメータとする。
Dorin Comaniciu and Peter Meer.Mean shift:A robust approach toward feature space analysis.IEEE Transactions onPattern Analysis and Machine Intelligence,Vol.24, No.5, pp.603-619, 2002。

Ｓ６６においては、クラス毎に画素対応CHLAC特徴データを加算する。Ｓ６７においては、加算されたCHLAC特徴データから前記したような主成分分析手法あるいは逐次主成分分析手法でクラス毎の主成分ベクトルを求め、クラス毎の正常動作の部分空間とする。

以上、異常動作の検出を行う実施例について説明したが、本発明には以下のような変形例も考えられる。実施例においては、正常動作の部分空間を更新しながら異常動作の検出を行う例を開示したが、学習フェーズによって予め正常動作の部分空間を生成しておくか、あるいは例えば１分、１時間あるいは１日などのフレーム間隔よりも長い所定の周期で正常動作の部分空間を生成して更新し、次の更新までは固定した部分空間を使用して異常動作の検出を行ってもよい。このようにすれば処理量は更に減少する。

実施例においては、画素毎に特徴データを生成する例を開示したが、位置が近接する特徴データほど類似している。従って、例えば図９に示す処理を所定の距離だけ離れた画素毎に行うことにより、処理負荷が軽くなり、より高速に動作させることができる。但しこの方法は場所を特定する、あるいは検出精度という課題とトレードオフであり、各課題に対して適切な設定が必要である。

複数の正常動作パターンのそれぞれについて部分空間を生成することができれば、それぞれの部分空間を使用して複数の異常判定を行い、複数の判定結果の論理積を取って全てのパターンについて異常と判定されたものを異常とするようにしてもよい。

実施例においては、空間についてクラス分けを行う例を開示したが、空間においてクラスタリングを行うだけではなく、時間方向についてもクラスタリングを行うことが考えられる。時間方向についてクラスタリングを行うことで、朝と昼で込み具合が異なる駅や街頭のような場所や、横断歩道のように時間的にも空間的にも変化するようなシーンに対しても適用することができる。更に、時間的にも適応的に学習可能とすることにより、固定的なカメラだけではなく、適応的な背景推定のようにロボット等のカメラの動きの変化に追随して学習していくことも可能である。

実施例としては、画素毎にその近傍領域内でのCHLACの和を特徴とする例を開示したが、画面を固定の近傍領域（例えば升目）に分割して、それぞれにおいて異常検出してもよい（近傍の範囲とサンプリングする画素の距離が等しい場合）。また、実施例においては、画面全体から異常検出を行う例を開示したが、シーン（画面）の構造に応じた任意の形状領域のみで異常検出するようにしてもよい。例えばクラス分けした画面の車道部分のみで異常検出するようにしてもよい。監視すべき領域にのみ異常検出処理を限定することにより、処理負荷が軽くなる。

本発明による異常動作検出装置の構成を示すブロック図である。 本発明による異常動作検出処理の概要を示す説明図（１）である。 本発明による異常動作検出処理の概要を示す説明図（２）である。 ３次元画素空間における自己相関処理座標を示す説明図である。 自己相関マスクパターンの例を示す説明図である。 本発明による動画像の実時間処理の内容を示す説明図である。 本発明による異常動作検出処理の内容を示すフローチャートである。 画素CHLACデータ抽出処理の内容を示すフローチャートである。 画素対応CHLAC特徴データ生成処理の内容を示すフローチャートである。 クラス分け処理の内容を示すフローチャートである。 CHLAC特徴の加法性と部分空間の性質を示す説明図である。

符号の説明

１０…ビデオカメラ
１１…コンピュータ
１２…モニタ装置
１３…キーボード
１４…マウス

Claims (6)

1. 複数の画像フレームデータからなる動画像データからフレーム間差分データを生成する差分データ生成手段と、
   直近の複数の前記フレーム間差分データからなる３次元データから画素毎に立体高次局所自己相関値群を抽出する立体高次局所自己相関値群抽出手段と、
   所定の距離だけ離れた画素毎に、その画素を含む所定の範囲の画素群について前記立体高次局所自己相関値群抽出手段によって抽出された前記画素毎の立体高次局所自己相関値群を加算して画素対応特徴データを生成する画素対応特徴データ生成手段と、
   前記画素対応特徴データについて、正常動作を示す部分空間に対する異常さを示す指標を計算する指標計算手段であって、前記正常動作を示す部分空間は、予め前記画素対応特徴データから求めた部分空間と、過去に抽出された複数の前記立体高次局所自己相関値群を加算し、主成分分析手法により求めた主成分部分空間との正準角に基づく類似度を求め、クラスタリング手法を用いて画素毎にクラス分けされ、更に、過去に抽出された複数の前記立体高次局所自己相関値群を前記クラス毎に加算し、更に主成分分析手法により各クラス毎に求められた部分空間であるところの指標計算手段と、
   前記指標が所定値よりも大きい場合に異常と判定する異常判定手段と、
   前記異常判定手段が異常と判定した画素位置を異常とする判定結果を出力する出力手段と、
   を備えたことを特徴とする異常動作検出装置。
2. 更に、過去に前記立体高次局所自己相関値群抽出手段によって抽出された複数の立体高次局所自己相関値群からクラス毎に前記立体高次局所自己相関値群を加算し、予めクラス分けされているクラス毎に主成分分析手法により主成分ベクトルに基づく正常動作を示す部分空間を求める部分空間生成手段を備えたことを特徴とする請求項１に記載の異常動作検出装置。
3. 更に、前記画素対応特徴データ生成手段によって生成された画素対応特徴データから求めた部分空間と、過去に前記立体高次局所自己相関値群抽出手段によって抽出された複数の立体高次局所自己相関値群を加算し、主成分分析手法により求めた主成分部分空間との正準角に基づく類似度を求め、クラスタリング手法を用いて画素毎にクラス分けするクラス分け手段を備えたことを特徴とする請求項２に記載の異常動作検出装置。
4. 前記部分空間に対する異常さを示す指標は前記特徴データの前記正常動作を示す部分空間との距離あるいは角度の情報のいずれかを含んでいることを特徴とする請求項１に記載の異常動作検出装置。
5. 前記主成分部分空間生成手段は、逐次的主成分分析手法により主成分ベクトルに基づく部分空間を求めることを特徴とする請求項２に記載の異常動作検出装置。
6. 複数の画像フレームデータからなる動画像データからフレーム間差分データを生成するステップ、
   直近の複数の前記フレーム間差分データからなる３次元データから画素毎に立体高次局所自己相関値群を抽出するステップ、
   所定の距離だけ離れた画素毎に、その画素を含む所定の範囲の画素群について前記立体高次局所自己相関値群抽出手段によって抽出された前記画素毎の立体高次局所自己相関値群を加算して画素対応特徴データを生成するステップ、
   前記画素対応特徴データについて、正常動作を示す部分空間に対する異常さを示す指標を計算するステップであって、
   前記正常動作を示す部分空間は、予め前記画素対応特徴データから求めた部分空間と、過去に抽出された複数の前記立体高次局所自己相関値群を加算し、主成分分析手法により求めた主成分部分空間との正準角に基づく類似度を求め、クラスタリング手法を用いて画素毎にクラス分けされ、
   過去に抽出された複数の前記立体高次局所自己相関値群を前記クラス毎に加算し、更に主成分分析手法により各クラス毎に求められた部分空間である
   ステップ、
   前記指標が所定値よりも大きい場合に異常と判定するステップ、
   前記異常判定手段が異常と判定した画素位置を異常とする判定結果を出力するステップ
   を含むことを特徴とする異常動作検出方法。

Images