JP2018173914A - 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 - Google Patents

Abstract

【課題】設置後早期に異常検出が可能になる画像処理システムを提供すること。【解決手段】撮像装置１０が撮像した画像から異常検出を行う画像処理システム１００であって、異なる設置場所に設置された複数の第一の撮像装置から前記画像を取得する画像取得手段３１、３２と、特徴が類似する前記画像をそれぞれクラスタに分類する分類手段３３と、前記クラスタに分類された前記画像を学習して異常を検出する異常判定手段を前記クラスタごとに構築する学習手段３４と、前記第一の撮像装置とは異なる設置場所に設置された第二の撮像装置が撮像した前記画像と類似する前記画像が分類された前記クラスタを判定し、該クラスタから構築された前記異常判定手段を決定する決定手段３５と、を有する。【選択図】図２

Description

本発明は、画像処理システム、撮像装置、学習モデル作成方法、及び、情報処理装置に関する。

監視カメラなどの撮像装置により映像を撮像して記録しておき、関係者が後で映像を確認して異常の有無やどのような異常があったのかを確認する監視方法が知られている。しかし、関係者としては映像を確認する必要性に気づかないと映像を確認できない場合もあり、事後的にしか映像から異常の有無を確認できなかった。また、関係者が映像を全て見ないと異常の有無を確認できない。

このため、リアルタイムに映像を解析して異常を検出する技術が考案されている（例えば、特許文献１参照。）。異常検出とは、日常起こりうる正常な状態から逸脱した現象を検出することをいう。特許文献１には、カメラが撮像した画像を収集する前に不審者判定を行い対象となる画像のみを送信することで輻輳を抑制する方法が開示されている。

しかし、特許文献１は事前に登録された住人以外が検出された場合に異常であると判定する技術であり、登録内容が適切でないと異常の検出結果も正確でなくなるおそれがある。

このような不都合に対し、情報処理装置が機械学習により正常な種々の映像を学習しておき、カメラが設置された場所で撮像した画像から異常検出する技術が考案されている（例えば、特許文献２参照。）。特許文献２には、オンライン学習部で絞られた情報の中から更に学習実行者又は学習エージェントにより情報を選択させることで学習に適した情報を選別する方法が開示されている。

特開２０１３−２２２２１６号公報 特開２０１６−１７３６８２号公報

しかしながら、従来の技術では、新たに設置されたカメラが異常検出を行うには設置場所で正常な画像を学習する必要があるため、設置後すぐに異常判定を開始することが困難であるという問題があった。例えば、画像処理システムが機械学習した学習モデルを使って不審者を検出する場合、カメラが撮像するシーンに合わせた学習モデルが必要であるが、新たに設置されたカメラには学習に使用する画像データが存在しないため、学習に使用する画像が蓄積されるまでは異常判定できない。

本発明は、上記課題に鑑み、設置後早期に異常検出が可能になる画像処理システムを提供することを目的とする。

本発明は、撮像装置が撮像した画像から異常検出を行う画像処理システムであって、異なる設置場所に設置された複数の第一の撮像装置から前記画像を取得する画像取得手段と、特徴が類似する前記画像をそれぞれクラスタに分類する分類手段と、前記クラスタに分類された前記画像を学習して異常を検出する異常判定手段を前記クラスタごとに構築する学習手段と、前記第一の撮像装置とは異なる設置場所に設置された第二の撮像装置が撮像した前記画像と類似する前記画像が分類された前記クラスタを判定し、該クラスタから構築された前記異常判定手段を決定する決定手段と、を有する。

本発明によれば、設置後早期に異常検出が可能になる画像処理システムを提供することができる。

機械学習による画像の学習と異常検出を説明する図の一例である。 画像処理の概略を説明する図の一例である。 画像処理システムのシステム構成図の一例である。 カメラ装置のハードウェア構成図の一例である。 情報処理装置の概略的なハードウェア構成を示したブロック図である。 画像処理システムが備える各機能を図示した機能ブロック図の一例である。 クラスタリングの処理手順を示す流れ図の一例である。 クラスタ設定部が局所的特徴量と大域的特徴量を抽出する手順を示す流れ図を示す。 K-means法による分類を模式的に示す図である。 クラスタリングを説明する図の一例である。 分離度Ｒを説明する図の一例である。 ＳＡＥの学習方法を説明する図の一例である。 画像から異常の有無を判定する学習モデルを模式的に示す図である。 図１３の学習の手順をより詳細に説明する図の一例である。 異常判定に関する情報処理装置の機能ブロック図の一例である。 既存設置場所の異常検出を模式的に説明する図の一例である。 新規設置場所の異常検出を模式的に説明する図の一例である。 判定結果処理部が行う処理を模式的に説明する図の一例である。 カメラ装置が異常を判定する場合の構成を説明する図の一例である。

以下、本発明を実施するため形態の一例として、画像処理システム及び画像処理システムが行う学習モデル作成方法等について図面を参照しながら説明する。

＜異常検出の具体例＞
本実施形態を説明するに当たって、異常検出の具体例を説明する。異常とは、日常起こりうる正常から逸脱した現象を言う。

図１（ａ）は機械学習による正常な画像６の学習を説明する図の一例である。
（１）異常を含まない大量の画像６（正常な画像６）が用意される。この画像６は動画であるものとする。異常を含まないとは、写っている内容が警報の対象とならないことをいう。正常かどうかはカメラが設置された場所と写っている対象によって異なる。例えば、歩行者が写っている画像６では歩行者が歩行する画像が正常な画像であり、壁を乗り越えたりする画像６は異常である。また、車が写っている画像６では人が乗降したり車が停止、駐車、発進したりする画像６が正常な画像６であり、ドアロックを解除する行動が写った画像６は異常である。自転車の場合も車と同様に正常と異常で異なる画像が得られる。
（２）学習部３４は、ディープラーニングやＳＶＭ（サポートベクトルマシン）などの機械学習を使って正常な画像６に写っている対象の形状及び動きが正常な範囲を学習し、学習モデルを構築する。学習モデルとはこの正常な範囲を推定したものであり、入力される対象の形状及び動きが正常か否かを出力する。
（３）学習モデルの一例を説明する。例えば、歩行者が写っている画像６では、背景が静止しているのに対し歩行者が動くので学習部３４は歩行者の姿勢及び移動速度等を自動で生成する。そして、この歩行者の姿勢及び移動速度等の正常な範囲を推定する。なお、学習部３４にとって歩行者という教師信号等は不要であり、動くモノが歩行者（人）であるという認識は必要でない。学習部３４はある形状（ここでは歩行者）の正常な行動パターン（ここでは移動速度）はこのようなものであると数値化するに過ぎない。

図１（ｂ）は識別装置５が行う異常判定を説明する図の一例である。
（４）異常な画像６として人が壁を乗り越える画像６が撮像される。人が壁を乗り越えることは少なく正常な画像６に含まれていない。
（５）識別装置５は（３）で作成した学習モデルと比較することで異常判定を行う。
（６）例えば、人の姿勢の一致度が２０％、移動速度の一致度が６０％のように判定される。正常な画像６との一致度が低い場合、識別装置５は異常の可能性が高いと判定する。

このように、正常な大量の画像６を学習部３４が学習することで、人が判定した場合と同様に画像６を異常であると判定する識別装置を構築できる。このため、本実施形態の画像処理システムは、侵入者が施設に侵入する前にリアルタイムに異常を検出して、警備員を派遣するなどの適切な対応が可能になる。

しかしながら、一方で、正常な大量の画像６を学習するまでは異常の有無を判定できない。上記のように、画像６が正常かどうかはカメラが設置された場所と写っている対象等によって異なるため、他のカメラが学習に使用した正常な画像６を新規に設置されたカメラの学習にそのまま転用しても、適切な学習モデルが構築されるとは限らない。

＜本実施形態の画像処理の概略＞
そこで、本実施形態の画像処理システムは、既存の多数の設置場所から収集した画像６を類似するシーンでクラスタリングして学習し、新規の設置場所の画像６とシーンが類似する学習モデルを新規の設置場所の学習モデルに使用する。既存設置場所の学習モデルを使用できるので、新規の設置場所にカメラが設置された直後から監視を開始できる。

図２は、本実施形態の画像処理の概略を説明する図の一例である。以下、カメラ装置の設置前の準備フェーズと、新規のカメラ装置が撮像した画像６による異常判定フェーズに分けて説明する。

・準備フェーズ
（１）すでに、カメラ装置１０の複数の既存設置場所８ａ、８ｂ、８ｃ、８ｄ…等がある。複数ある既存設置場所８を区別する場合は符号８にアルファベットを付けて説明する（既存設置場所の数は特に問わない）。これらのカメラ装置１０（第一の撮像装置の一例）が撮像した画像６が画像蓄積部３２に蓄積される。画像蓄積部３２には全ての既存設置場所８のカメラ装置１０が撮像した画像６が蓄積される。
（２）クラスタ設定部３３は蓄積された画像６を類似するシーンごとにクラスタリングする。クラスタリングにより、例えばカメラ装置１０の設置場所及び写っている対象が類似している画像が同じクラスタに分類される。
（３）機械学習部１〜ｎ
機械学習部１〜ｎはクラスタリングされた正常な画像６を機械学習する。図２では機械学習部１〜ｎがクラスタの数（ｎ個）だけあるが、機械学習部１〜ｎは最小で１つあればよい。機械学習部１〜ｎはそれぞれ学習モデルを構築する。各学習モデルは異常判定部３６にて使用される。
（４）次に、クラスタ判定部３５は、新規設置場所７のカメラ装置１０（第二の撮像装置の一例）が撮像する画像６が、既存設置場所８の画像６が分類されたどのクラスタに分類されるかを判定し、分類先のクラスタの学習モデルを適用すると決定する。このように、新規に設置されたカメラ装置１０に適切な学習モデルを設置された直後から決定できる。

・異常判定フェーズ
（５）既存設置場所８のカメラ装置１０に対応する異常判定部３６は、学習モデルを使って画像６が正常か異常かを判定する。例えば、既存設置場所８ａに適した学習モデルは、既存設置場所８ａの画像６のクラスタリング結果によって自動的に決まる。図２で機械学習部１の学習モデルが既存設置場所８ａと８ｂに提供されているのは、既存設置場所８ａと８ｂの画像６が同じクラスタにクラスタリングされたことを表している。
（６）新規設置場所７のカメラ装置１０に対応する異常判定部３６も、（４）で決定された学習モデルを使って画像６が正常か異常かを判定する。
（７）判定結果処理部３７は、各異常判定部３６から異常の有無の判定結果を取得し、警備員の派遣の指示を行ったり、顧客に画像６を送信したりする。

このように、新規に設置されたカメラ装置１０の画像６が既存設置場所８の画像と類似するクラスタにクラスタリングされることで、既存設置場所８のカメラ装置１０の画像６から学習された学習モデルを利用できるので、新規のカメラ装置１０が設置された直後から異常の有無を判定可能になる。また、既存設置場所８についても、１つの設置場所の画像から学習された学習モデルより適切な学習モデルを作れる可能性がある。

＜用語について＞
クラスタとはかたまりを意味し、本実施形態ではシーンが類似する画像の集まりである。クラスタの他、クラス、グループ、カテゴリ、などと称してもよい。

学習とは、人間が行っている学習能力と同様の機能をコンピュータで実現するため、データから有用な規則、ルール、知識表現、又は判定基準などを抽出することをいう。

＜システム構成例＞
図３は、画像処理システム１００のシステム構成図の一例を示す。画像処理システム１００は、ネットワークＮを介して接続されたカメラ装置１０と情報処理装置３０とを主に有する。１つの既存設置場所８には１台以上のカメラ装置１０が設置されている。「既存」とはすでに学習に十分な数の画像６が撮像されている設置場所であることをいう。また、新規設置場所７にも１台以上のカメラ装置１０が設置されている。新規設置場所７とは、過去にはカメラ装置１０がなく新たにカメラ装置１０が設置された場所である。

カメラ装置１０は毎秒数枚以上の画像６を撮像する撮像装置であり、いわゆる動画の撮像が可能である。既存設置場所又は新規設置場所は、主に第三者の侵入が監視されうる場所である。例えば、施設の周辺、個人邸宅の周辺、駐車場、山林、臨海地域、立ち入り禁止区域などが挙げられるがこれらに制限されるものではない。また、屋外に限られず、施設、オフィス、個人邸宅、ホテル、店舗、研究所、倉庫、工場などの屋内に設置される場合もある。

カメラ装置１０は撮像する機能だけでなく動体を検出する画像処理機能等を有していることが好ましいが、本実施形態では必須でない。カメラ装置１０は、毎秒数枚以上の画像６を撮像して、監視センターに送信する。

ネットワークＮは、カメラ装置１０の設置場所に敷設されている電話回線、ＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークＮはＷＡＮと呼ばれ、インターネットが含まれる場合がある。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、カメラ装置１０が、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ(Long Term Revolution)などの無線の公衆回線網に接続する場合は、有線の電話回線やＬＡＮを介さずにプロバイダネットワークに接続することができる。

監視センター９には情報処理装置３０が設置されている。情報処理装置３０は学習モデルを構築したり、異常判定を行ったりする。異常であるとの判定結果は、画像６と共に顧客の携帯端末に送信されたり、監視員の端末に送信されたりする。顧客や監視員は異常であると判定された画像６を確認して、必要であれば警備員を設置場所に派遣したり警察に通報したりする。

情報処理装置３０は、一般的なコンピュータ、ＰＣ（Personal Computer）、サーバなどとよばれる装置である。図３では説明の便宜上、一台の情報処理装置３０を示したが、情報処理装置３０は一台とは限らず、本実施形態で説明される機能を複数の情報処理装置３０が分担して有していてもよい。

＜ハードウェア構成例＞
<<カメラ装置のハードウェア構成例>>
図４は、カメラ装置１０のハードウェア構成図の一例である。カメラ装置１０は、撮像部１０１、画像処理ＩＣ１０３、ＲＯＭ１０５、ＣＰＵ１０６、ＲＡＭ１０７、及び、通信装置１０８を有している。

撮像部１０１は、レンズ、絞り、シャッター（メカ・電子）、ＣＭＯＳやＣＣＤなどの固体撮像素子、及び、メモリ等を有するカメラである。画像６は白黒でもカラーでもよい、撮像部１０１はＣＰＵ１０６からの制御により定期的に所定範囲を撮像し、画像６を画像処理ＩＣ１０３に送出する。画像処理ＩＣ１０３は、画像６に動体を検出する画像処理を施す集積回路である。

ＣＰＵ１０６は、ＲＡＭ１０７を作業メモリにしてＲＯＭ１０５に記憶されたプログラムを実行し、カメラ装置１０の全体を制御する。すなわち、撮像部１０１による撮像を制御する。また、通信装置１０８を制御して監視センター９に画像６を送信したりする。

通信装置１０８は、ネットワークインタフェースやイーサネット（登録商標）カードと呼ばれ、ネットワークに接続する機能を提供する。無線ＬＡＮのアクセスポイントや携帯電話網の基地局に接続してもよい。

<<情報処理装置３０のハードウェア構成例>>
図５は、情報処理装置３０の概略的なハードウェア構成を示したブロック図である。情報処理装置３０は、概ねパーソナル・コンピュータ、ワークステーション又はアプライアンス・サーバとして実装することができる。情報処理装置３０は、ＣＰＵ２０１と、ＣＰＵ２０１が使用するデータの高速アクセスを可能とするメモリ２０２とを備える。ＣＰＵ２０１及びメモリ２０２は、システム・バス２０３を介して、情報処理装置３０の他のデバイス又はドライバ、例えば、グラフィックス・ドライバ２０４及びネットワーク・ドライバ（ＮＩＣ：Network Interface Card）２０５へと接続されている。

ＬＣＤ（表示装置）２０６は、グラフィックス・ドライバ２０４に接続されて、ＣＰＵ２０１による処理結果をモニタする。ＬＣＤ２０６にはタッチパネルが一体に配置されていてもよい。この場合、ユーザは操作手段として指を使って情報処理装置３０を操作できる。

また、ネットワーク・ドライバ２０５は、トランスポート層レベル及び物理層レベルで情報処理装置３０をネットワークＮへと接続して、カメラ装置１０等とのセッションを確立させている。

システム・バス２０３には、更にＩ／Ｏバス・ブリッジ２０７が接続されている。Ｉ／Ｏバス・ブリッジ２０７の下流側には、ＰＣＩなどのＩ／Ｏバス２０８を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢなどにより、ＨＤＤ２０９などの記憶装置が接続されている。ＨＤＤ２０９の代わりに又はＨＤＤ２０９と共にＳＳＤ（Solid State Drive）を有していてもよい。

ＨＤＤ２０９は情報処理装置３０の全体を制御するプログラム２０９ｐを記憶している。情報処理装置３０はプログラム２０９ｐを実行することで、監視員の操作を受け付けたり学習したりする。プログラム２０９ｐは、プログラムを配信するサーバから配信される他、ＵＳＢメモリや光記憶媒体などの可搬性の記憶媒体に記憶された状態で配布されてもよい。

また、Ｉ／Ｏバス２０８には、ＵＳＢなどのバスを介して、キーボード及びマウス（ポインティング・デバイスと呼ばれる）などの入力装置２１０が接続され、オペレータによる入力及び指令を受け付けている。

情報処理装置３０はクラウドコンピューティングに対応していてもよい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。この場合、図５に示したハードウェア構成は、１つの筐体に収納されていたり一まとまりの装置として備えられていたりする必要はなく、情報処理装置３０が備えていることが好ましいハード的な要素を示す。

＜画像処理システム１００の機能構成例＞
図６は、画像処理システム１００が備える各機能を図示した機能ブロック図の一例である。なお、図６では、学習モデルの構築に関する機能を主に説明する。また、各設置場所でカメラ装置１０の機能は共通であるか、又は、異なっていても本実施形態の説明には支障がないとする。このため、図６ではカメラ装置１０を１つだけ示す。

<<カメラ装置の機能構成>>
カメラ装置１０は、画像取得部１１、画像処理部１２、及び通信部１３を有している。これらの各機能は図４に示したＣＰＵ１０６がプログラムを実行してカメラ装置１０のハードウェアと協働することで実現される機能又は手段である。ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがＩＣなどのハードウェア回路により実現されてもよい。

また、カメラ装置１０は、図４に示したＲＯＭ又はＲＡＭ１０７により構築される記憶部１９を有している。記憶部１９には画像ＤＢ１９１が構築されている。画像ＤＢ１９１は、カメラ装置１０が直接有していなくてもよく、カメラ装置１０がアクセス可能なネットワーク上の任意の場所にあればよい。

画像取得部１１は、異常の有無に関係なく定期的に画像６を取得する（撮像する）。十分に短い時間間隔で撮像することで動画を撮像できる。なお、撮像間隔は必ずしも一定でなくよく、時間帯や動体検知結果等で撮像間隔を変更してもよい。画像取得部１１は、図４のＣＰＵ１０６がプログラムを実行し撮像部１０１を制御すること等により実現される。

画像処理部１２は、クラスタリングに有効な画像処理を行う。例えば、画像６の輝度の平均や撮像時刻から撮像時刻が日中か夜間を判定し各画像６にラベルとして添付する。あるいは、ノイズ除去、トリミング、高解像度化などの処理を行ってもよい。画像処理部１２は、撮像された画像６を画像ＤＢ１９１に記憶する。画像ＤＢ１９１では古い画像６から上書きされ常に一定の新しい画像６が保持されている。画像処理部１２は、図４のＣＰＵ１０６がプログラムを実行すること等により実現される。

通信部１３は、画像ＤＢ１９１に記憶された画像６を情報処理装置３０に送信する。異常検出のリアルタイム性を保証するため、記憶された画像６はすぐに情報処理装置３０に送信することが好ましい。このため、通信部１３は継続的に画像６を情報処理装置３０に送信するが、一定量の画像６が蓄積されてからまとめて送信してもよい。通信部１３は、図４のＣＰＵ１０６がプログラムを実行して通信装置１０８を制御すること等により実現される。

<<情報処理装置の機能構成>>
情報処理装置３０は、通信部３１、画像蓄積部３２、クラスタ設定部３３、学習部３４、及び、クラスタ判定部３５を有している。これらの各機能は図５に示したＣＰＵ２０１がプログラム２０９ｐを実行して情報処理装置３０のハードウェアと協働することで実現される機能又は手段である。ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがＩＣなどのハードウェア回路により実現されてもよい。

また、情報処理装置３０は、図５に示したメモリ２０２又はＨＤＤ２０９より構築される記憶部３９を有している。記憶部３９には画像蓄積ＤＢ３９１及び学習モデルＤＢ３９２が構築されている。これらＤＢは、情報処理装置３０が直接有していなくてもよく、情報処理装置３０がアクセス可能なネットワーク上の任意の場所にあればよい。

通信部３１は、カメラ装置１０から画像６を受信する。通信部３１は図５に示したＣＰＵ２０１がプログラム２０９ｐを実行してネットワーク・ドライバ２０５を制御すること等により実現される。

画像蓄積部３２は、通信部３１が受信した画像６をカメラ装置１０の識別情報（設置場所に１台しかカメラ装置１０がない場合は設置場所の識別情報でもよい）に対応付けて画像蓄積ＤＢ３９１に記憶する。画像蓄積部３２は図５に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現される。

クラスタ設定部３３は、画像蓄積ＤＢ３９１に蓄積された画像６から特徴量を抽出し、特徴量を用いて各カメラ装置１０から送信された画像６をシーンが類似したクラスタにクラスタリングする。シーンとは、画像６が撮像される広義の場面ということができる。例えば、駐車場に設置されたカメラ装置１０の画像は異なる駐車場の画像６でもシーンが似ている可能性が高い。クラスタリングの際、最良のクラスタ数の決定を行う。また、日中と夜間では特徴が異なる傾向が強いため、同じカメラ装置１０の画像６でも日中と夜間で別々にクラスタが分けられる可能性が高い。更に上記のラベルを使えば確実に日中と夜間で別々にクラスタにクラスタリングできる。クラスタ設定部３３は図５に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現される。

学習部３４は、更に機械学習部１、機械学習部２，…、機械学習部ｎ（ｎは自然数）を有している。機械学習部１〜ｎの１〜ｎはクラスタリングにより形成されるクラスタの数（ｎ個）に対応している。しかしながら、１つの機械学習部（例えば機械学習部１）が全てのクラスタの画像６を学習してもよく、機械学習部１〜ｎは１つでもよい。機械学習部１は学習により構築した学習モデルＣ１を学習モデルＤＢ３９２に記憶させ、機械学習部２は学習により構築した学習モデルＣ２を学習モデルＤＢ３９２に記憶させ、機械学習部ｎは学習により構築した学習モデルＣｎを学習モデルＤＢ３９２に記憶させる。以下では、説明の便宜上、単に「学習部３４」が学習モデルを構築すると説明する場合がある。学習部３４は図５に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現される。

クラスタ判定部３５は、クラスタ設定部３３が生成したクラスタのうち新規設置場所７のカメラ装置１０が撮像する画像６がクラスタリングされるクラスタを判定する。例えば、特徴量が最も近いクラスタを選択する。カメラ装置１０と学習モデル（クラスタ）の対応は学習モデルＤＢ３９２に登録される。カメラ装置１０が日中か夜間のラベルを付さない場合でも、日中と夜間で特徴量が異なることを利用して日中と夜間のそれぞれで対応するクラスタを判定することが好ましい。なお、画像６が日中に撮像されたのか、夜間に撮像されたのかは情報処理装置３０側でも判定可能である。クラスタ判定部３５は図５に示したＣＰＵ２０１がプログラム２０９ｐを実行すること等により実現される。

また、クラスタ判定部３５は、既存設置場所８ａのカメラ装置１０が撮像する画像６がクラスタリングされるクラスタを判定する。この場合も、クラスタ判定部３５は日中と夜間のそれぞれで対応するクラスタを判定することが好ましい。

表１は、学習モデルＤＢ３９２に格納される情報を模式的に示す。学習モデルＤＢ３９２は、クラスタＩＤに対応付けて、学習モデル、カメラＩＤ、及び、日中／夜間の各項目を有する。クラスタＩＤは、最終的にクラスタリングされた各クラスタを特定する情報である。ＩＤはIdentificationの略であり識別子や識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。他のＩＤについても同様である。カメラＩＤは各カメラ装置１０を特定する情報であり、学習モデルと対応付けられている。日中／夜間の項目は各カメラ装置１０の日中の画像６と夜間の画像６のそれぞれがどの学習モデルと最も近いかを示す。これにより、既存設置場所８及び新規設置場所７の各カメラ装置１０が撮像した画像６をどの学習モデルで異常判定すればよいか決定される。

＜クラスタリングの必要性＞
クラスタリングの必要性を説明する。まず前提として、カメラ装置１０が設置される設置場所の種類は限定的であり、その場所で考えられる正常行動（歩行者等の行動パターン）も限定されるとしてよい。表２は各設置場所の正常行動の一例を示す。

表２に示すように、設置場所が駐車場、家の玄関、建物外周のそれぞれで正常行動は幾つかに限定される。このため、画像６をクラスタリングすることで特徴が類似した画像を集めることができ、類似した画像から学習モデルを構築することで、異常判定の精度を向上できると期待できる。

＜クラスタリングの処理＞
次に、図７を用いてクラスタリングについて詳細に説明する。図７は、クラスタリングの処理手順を示す流れ図の一例である。以下、図７の各ステップを順番に説明する。

（Ｓ１）
クラスタ設定部３３は各画像６からノイズを除去した背景画像を取得する。ノイズの除去には、例えば公知の平滑化フィルタを使用すればよい。

（Ｓ２）
クラスタ設定部３３は背景画像から局所的特徴量及び大域的特徴量を抽出する。局所的特徴量及び大域的特徴量について表３を用いて説明する。

表３は、局所的特徴量と大域的特徴量の利用目的と判定できないことがそれぞれまとめられたものである。局所的特徴量では画像６の一部（局所）の特徴が得られるが、シーンを分類することが得意でない。例えば、車が何台かあっても道路なのか駐車場なのかの特徴が得られない。大域的特徴量はベランダなのか駐車場なのかという画像全体の特徴が得られるが、駐車場と住宅のガレージを分類できない可能性がある。

このように、局所的特徴量と大域的特徴量は補完する関係にあるため、シーンを適切に分類するには局所的特徴量と大域的特徴量の両方を抽出することが有効である。

図８は、クラスタ設定部３３が局所的特徴量と大域的特徴量を抽出する手順を示す流れ図を示す。

S2-1：まず、クラスタ設定部３３は局所的特徴量を検出する。本実施形態では局所的特徴量の一例としてＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を取得する。ＳＩＦＴ特徴量は、スケールスペースを使った照明変化や回転、拡大、縮小に頑強な特徴量であり、１つの画像６から１２８次元の複数の特徴点を取得できる。クラスタ設定部３３はまずキーポイントを検出する。キーポイントは、スケールが変わっても画像６上に特徴的に現れる点である。検出には、解像度の異なるガウシアンフィルターを段階的に適用して解像度の異なる画像６を作成し、ＤｏＧ（Difference of Gaussian）画像の極値を探索する。探索で得られた局所領域の中心部分がキーポイントである。

S2-2：次に、クラスタ設定部３３は、キーポイントの近傍に対し濃度の勾配の強さと勾配の向きを検出する（特徴を抽出する）。各キーポイントの勾配の強さと勾配がＳＩＦＴ特徴量である。クラスタ設定部３３は分類対象の全ての画像６についてＳＩＦＴ特徴量を算出する。

S2-3：次に、クラスタ設定部３３は分類対象の全ての画像６について局所的特徴量を分類する。全ての画像６とは既存設置場所８の全ての画像６である。

図９（ａ）はK-means法による分類を模式的に示す。図９（ａ）は３次元で各特徴点を示すが、実際は１２８次元（ＳＩＦＴ特徴量）×画像一枚から得られた特徴点数×画像枚数、の次元を有する。図９（ａ）の１つの点が１つの特徴点を表す。K-means法では、任意に与えられたクラスタ数の各クラスタに各特徴点を分類する。まず、クラスタ数ｋは、以下の式で算出される。
クラスタ数ｋ＝√｛１２８次元（ＳＩＦＴ特徴量）×画像一枚から得られた特徴点数×画像枚数｝
次に、クラスタ設定部３３は、このクラスタ数のクラスタに全ての画像６を分類する。クラスタの初期の重心をランダムに与え、各特徴点を最も近い重心のクラスタに振り分け、重心を再計算し、再度、各特徴点を最も近い重心のクラスタに振り分る処理をクラスタ間の移動が無くなるまで繰り返す。図９（ｂ）は３つのクラスタ７１に分類された各特徴点を模式的に示す。

S2-4：次に、クラスタ設定部３３は、visual
wordsを決定することで量子化する。すなわち、各クラスタの中心（重心）をvisual words７２に決定する。これにより、クラスタ数であるｋ個のvisual wordsが特定される。図９（ｃ）には一例としてｋ＝３とした場合の３つのvisual words７２を模式的に示す。visual words７２の数はクラスタ数と同じであり、各visual words７２の次元数は１２８次元（ＳＩＦＴ特徴量）×画像一枚から得られた特徴点数×画像枚数である。

S2-5：次に、クラスタ設定部３３は、visual
words７２を次元とする特徴ベクトルにクラスタリング対象の全ての画像６を変換する。１つの画像６の各局所特徴量について一番近いvisual words７２を検索し、そのvisual words７２に投票する。これにより、１つの画像６のヒストグラムがえられる。図９（ｄ）にヒストグラムを模式的に示す。図９（ｄ）の横軸はvisual wordsであり、縦軸はある画像６において各visual wordsに最も近いと判定された局所的特徴（SIFT特徴量）の数である。このヒストグラムが各画像６の特徴ベクトルになる。

S2-6：次に、クラスタ設定部３３は大域的特徴量を検出する。本実施形態では大域的特徴量の一例としてＧＩＳＴ特徴量を取得する。ＧＩＳＴ特徴量は、画像６を小領域に区切り、それらの小領域に対し様々な方向及び周波数のガボールフィルターを適用してシーン情報を記述する特徴量であり、９６０次元の特徴を有する。ＧＩＳＴ特徴量は１枚の画像６から１つ求められるので、ヒストグラムの作成は不要である。

S2-7：次に、クラスタ設定部３３は、局所的特徴量と大域的特徴量を合体して最終的な特徴量を生成する。したがって、次元数はvisual wordsの数＋９６０次元となる。

S2-8：クラスタ設定部３３は特徴量を出力する。

（Ｓ３、Ｓ４）
次に、クラスタ設定部３３は、特徴量をｎ個のクラスタにクラスタリングする。ここで、ｎ個は固定された値ではなく、最良のクラスタ数が動的に決定される。

図１０は、クラスタリングを説明する図の一例である。図１０（ａ）はステップＳ２で特徴量に変換された各画像６の集合を模式的に示している。計算を容易にするため、画像６は１つのカメラ装置１０に対し１枚でよい。

クラスタリングには局所的特徴量の分類に使用したK-means法を用いる他、ガウシアンミクスチャーモデルを利用したＥＭアルゴリズム、又は、ＬＤＡ（Latent Dirichlet Allocation）等の方法を使用してもよい。なお、K-means法とＥＭアルゴリズムではクラスタ数を決定できない（適宜、与える必要がある）。これに対し、ＬＤＡではクラスタリングとクラスタ数を同時に決定することができる。本実施形態では、K-means法、又は、ＥＭアルゴリズムによりクラスタリングされた例として、後述するStacked Auto Encoderを用いて最適なクラスタ数を決定する。

最良のクラスタ数を決定するため、クラスタ設定部３３はクラスタ数ｉを変えてクラスタリングを行う。図１０ではｉ＝５，６，１００のクラスタが模式的に示されている。クラスタ設定部３３は、クラスタ数をｉ＝５〜１００としてクラスタリングを行う。図１０（ｂ）はクラスタ数をｉ＝５、６及び１００のクラスタリングの結果を模式的に示す。

クラスタ数の設定の際は、クラスタ数ｉを１つずつ大きくしてもよいし、クラスタ数ｉを例えば１０ずつ大きくし分離度がよくなるクラスタ数の周辺でより小さくクラスタ数ｉを変えて評価してもよい。

クラスタ数を評価するためクラスタ判定部３５はクラスタリングを行うごとに分離度Ｒを算出する。図１１は分離度Ｒを説明する図の一例である。本実施例では分離度Ｒの算出のため一例としてＳＡＥ（Stacked Auto Encoder）を利用する。図１１ではクラスタ数ｉ＝４の場合を例にして説明する。クラスタリングでそれぞれのクラスタに２５００枚の画像６が分類されたとする。クラスタの画像６の一部（例えば２０００枚）を学習に使用し、残り（例えば５００枚）を識別に使用する。

図１２はＳＡＥの学習方法を説明する図の一例である。まず、オートエンコーダ（Auto Encoder）とは、特徴を圧縮しても元のパターンへ復元が可能な特徴表現力があるネットワークをいう。したがって、オートエンコーダは特徴を圧縮して学習することができ、学習がうまくいくと入力層のデータが圧縮されても復元できる。ＳＡＥは、オートエンコーダが組み合わされた（積み重ねられた）ネットワークである。図１２（ａ）はＳＡＥの一例であり、図１２（ｂ）（ｃ）（ｄ）はオートエンコーダの一例である。通常、中間層が２層以上あると、不適切な極小解に収束してしまい誤差逆伝播がうまくいかない（これを勾配消失問題という）。ＳＡＥではこれを２層連続して計算するのではなくて、１層ずつ積み上げていくことで勾配消失問題に陥りにくくする。ＳＡＥの学習がうまくいくとＳＡＥは画像６を復元できる。ただし、ＳＡＥは異常画像が入力された場合は復元できないので、画像６は正常な画像のみであるとする。

図１２（ａ）に示すように入力層ｘ、隠れ層ｙ、隠れ層ｚ、出力層ｓにかけて特徴（ノード）が減少することが特徴の圧縮に相当し、出力層ｓ、隠れ層ｚ´、隠れ層ｙ´、入力層ｘ´にかけてノード数が元に戻ることが元のパターンへの復元に相当する。ＳＡＥでこのようなニューラルネットワークのパラメータを学習する場合、図１２（ｂ）に示すオートエンコーダで、入力層ｘと隠れ層ｙの間のパラメータ（重み）を学習する。

次に、図１２（ａ）の隠れ層ｙと隠れ層ｚのパラメータ（重み）を得るために、図１２（ｂ）のｙを復元するように、図１２（ｃ）に示すオートエンコーダで隠れ層ｙと隠れ層ｚのパラメータ（重み）を学習する。次に、図１２（ａ）の隠れ層ｚと出力層ｓのパラメータ（重み）を得るために、図１２（ｃ）のｚを復元するように、図１２（ｄ）に示すオートエンコーダで隠れ層ｚと出力層ｓのパラメータ（重み）を学習する。以上で、図１２（ａ）のＳＡＥのパラメータ（重み）が学習される。

図１１に戻って説明する。識別用の５００枚の画像６をｘ、ＳＡＥを関数ｆ（）で表してＳＡＥの出力をｆ（ｘ）とする。スコアＳを以下で定義する。ｉはクラスタの番号である。スコアＳは画像６の特徴量の空間におけるＬ２ノルム（距離）の二乗である。

この計算を各クラスタから抽出した１枚の画像６に対して行う。Ｓ_ciは学習がうまくいくほど小さくなる。

次に、全クラスタの分離度Ｒを次のように定義する。

学習がうまくいくこととクラスタリングがうまくいくことは相関するので、分離度Ｒが小さい方が好ましい。したがって、クラスタ設定部３３は幾つかクラスタ数ｉを変えて分離度Ｒを算出し、分離度Ｒが最も小さい時のクラスタ数ｉでクラスタリングすると判定する。つまり、各クラスタのスコアＳを合計した値が最も小さくなるようにクラスタ数を決定する
なお、ＳＡＥ以外でクラスタ数を決定する方法としては、ＡＩＣ（Akaike’s Information Criterion）、ＢＩＣ（Bayesian Information Criterion）などがある。

（Ｓ５）
次に、学習部３４は、クラスタリングされた画像６から異常判定するための学習モデルを作成する。異常判定するため、学習部３４は正常な画像６のみを学習する。

図１３は画像６から異常の有無を判定する学習モデルを模式的に示す。本実施形態では一例としてディープラーニングとＳＶＭを組み合わせた学習モデルを説明する。図１３に示すように、ディープラーニングのための多層パーセプトロンの入力層３０１には１つの画像６が均等に分割されたパッチ領域が入力される。学習フェーズでは出力層３０３に画像６が正常であることを意味する値（例えば１）が入力される。多層パーセプトロンにおいて入力層３０１と中間層３０２と出力層３０３の重みの学習には誤差逆伝播法が用いられることが一般的である。なお、出力層３０３のノードの数は、画像６の特徴を適切に抽出できる数として適宜、設計される。出力層３０３の各ノードの出力値は動体の特徴を表す値に数値化されるが詳細は図１４で説明する。

ＳＶＭ３０５は本来２クラス判別を行う教師付き学習のアルゴリズムであるが、ＳＶＭは１クラスＳＶＭとしても利用可能である。１クラスＳＶＭでは、２クラス判別がデータの高密度領域を推定する領域判別問題に置き換えられるので、教師信号が不要になる。サポートベクトルの算出にはラグランジュの未定定数法が使用されるが詳細は省略する。図に示すように正常な特徴ベクトルの領域を特定できるため、この領域から外れるほど異常の可能性が高いと異常判定部３６が判定できる。

なお、学習はステップＳ３でクラスタリングされた同じクラスタの画像６ごとに行われる。したがって、シーンごとに正常であることを学習した学習モデルが得られる。

図１４は、図１３の学習の手順をより詳細に説明する図の一例である。図１４（ａ）は各クラスタ７１の複数の画像６を模式的に示す。図１４（ａ）のクラスタ７１はいずれも駐車場の画像６が分類されるクラスタであるが、車の移動、歩行などのシーンごとにクラスタリングされている。なお、それぞれ正常行動のみの画像６である。図１４（ｂ）に示すように、学習部３４は１枚の画像６をパッチ領域（縦横均等に分割）に分割し、図１３に示した多層パーセプトロンの入力層３０１に入力する。パッチ領域に分割することで、シーンの構造を考慮する必要がなくなるという利点がある。例えば、出庫する車はどちらの方向から移動しても同じ特徴になる。図１４（ｂ）では移動中の車が写っているパッチ領域３０４を太枠で示した。パッチ領域ごとに特徴抽出した場合、車などが動くと、同じ車が異なる画像６の異なるパッチ領域で検出される。したがって、学習部３４は抽出された特徴量により同じ車を異なる画像間で追跡することができる。

学習部３４は、多層パーセプトロンの出力層３０３から得られた特徴量から時刻ｔの画像６の各パッチ領域の特徴量を取得し、時刻ｔ−１，ｔ−２…などの過去の画像６の特徴量とマッチングする。これにより、車がどのパッチ領域に移動したか判定できる。例えば、１つ前の画像６（動画の１フレーム）では左端のパッチ領域にあった車が右に１パッチ領域移動したことが分かる。以上から、図１４（ｃ）に示すように、移動している車の形状（特徴量）、及び、動き（移動速度）を数値化できる。車の形状を表す特徴量はディープラーニングにより抽出される。移動速度は、ｎパッチ領域／１画像、ｎパッチ領域／１秒、ｎメートル／１秒、などのように扱いやすい単位で算出すればよい。このように形状（特徴量）、及び、動き（移動速度）が数値化されＳＶＭ３０５に入力される。異常が発生する場合は何らかの動きがあるので、動体が検出されている（移動速度がゼロより大きい）パッチ領域のみから特徴を抽出すればよい。

学習部３４は以上のようにしてクラスタごとに全ての画像６を学習し学習モデルＣ１〜Ｃｎを作成する。

＜異常検出時の機能について＞
学習モデルＣ１〜Ｃｎが得られると、情報処理装置３０は動画に対し異常判定を開始する。図１５は、異常判定に関する情報処理装置３０の機能ブロック図の一例である。図１５の情報処理装置３０は通信部３１、異常判定部３６（区別する場合異常判定部１〜ｎという）、異常判定部ｘ及び判定結果処理部３７を有する。まず、異常判定部１〜ｎは、それぞれ学習モデルＣ１〜Ｃｎを有している。ｎは図７のステップＳ３、Ｓ４のクラスタ数である。クラスタ判定部３５はそれぞれの既存設置場所８の画像６から局所的特徴量と大域的特徴量を求めることで既存設置場所８の画像６が最も近いクラスタを決定できる。クラスタと既存設置場所８（カメラＩＤ）の対応は表１に示した。既存設置場所８と学習モデルの対応付けは、異常判定の開始前に１回行えばよい。

通信部３１は、学習モデルＣ１〜ＣｎとカメラＩＤの対応に基づいて、各既存設置場所８から送信された画像６を異常判定部１〜ｎに割り振る。この時、日中か夜間かのラベルを参照し、日中用の異常判定部３６又は夜間用の異常判定部３６に割り振ることが更に好ましい。新規設置場所７と学習モデルの対応付けは、異常判定の開始前に１回行えばよい。

異常判定部ｘは、新規設置場所７のカメラの画像６を異常判定する。異常判定部ｘは学習モデルＣｘを有している。同様に、クラスタ判定部３５は新規設置場所７の画像６から局所的特徴量と大域的特徴量を求めることで新規設置場所７の画像６が最も近いクラスタを決定できる。日中と夜間の判別も異常判定部１〜ｎと同様でよい。

異常判定部１〜ｎ及び異常判定部ｘは割り当てられている学習モデルを使用して正常な画像６にどれだけ近いかを示す確度を算出する。確度は例えば０〜１の値を取り、正常に近いほど高い値となる。

判定結果処理部３７は、異常判定部１〜ｎ及び異常判定部ｘが算出する確度を取得し、異常があるか否かを判定する。例えば、確度が閾値未満の場合に異常があると判定すればよい。異常があると判定した場合、警備員の派遣や顧客へ異常がある旨を通知したりする。

＜既存設置場所の異常検出＞
図１６は既存設置場所８の異常検出を模式的に説明する図の一例である。図１６では既存設置場所８ａを例にするが、他の既存設置場所８も同様である。
（１）クラスタ判定部３５は、既存設置場所８ａのカメラ装置１０が撮像した画像６をクラスタリングすることで、日中と夜間それぞれの画像６に適した学習モデルを判定する。
（２）異常検出の開始後、既存設置場所８ａのカメラ装置１０は動画を情報処理装置３０に送信する。動画には日中又は夜間のラベルが付与されているものとする。情報処理装置３０が日中又は夜間を判定してもよい。
（３）既存設置場所８ａに対応する異常判定部３６は、既存設置場所８の日中又は夜間に割り当てられた学習モデルを使って、画像６の異常の有無を判定する。
（４）異常判定部３６による判定結果（確度）は判定結果処理部３７に送出される。

このように、既存設置場所８ａの画像６に対しても、クラスタリングされた画像６から作成された学習モデルを使って異常判定することができるので、より精度よく異常判定することが可能になる。

＜新規設置場所の異常検出＞
図１７は新規設置場所７の異常検出を模式的に説明する図の一例である。
（１）クラスタ判定部３５は、新規設置場所７のカメラ装置１０が撮像した画像６をクラスタリングすることで、日中と夜間それぞれの画像６に適した学習モデルを判定する。
（２）異常検出の開始後、新規設置場所７のカメラ装置１０は動画を情報処理装置３０に送信する。動画には日中又は夜間のラベルが付与されているものとする。情報処理装置３０が日中又は夜間を判定してもよい。
（３）新規設置場所７の異常判定部３６は、新規設置場所７の日中又は夜間に割り当てられた学習モデルを使って、画像６の異常の有無を判定する。
（４）異常判定部３６による判定結果（確度）は判定結果処理部３７に送出される。

このように、新規設置場所７にカメラ装置１０が新たに設置された場合、既存設置場所８の画像６をクラスタリングして得た学習モデルを使って異常判定することができるので、カメラ装置１０が新たに設置された当初から、精度よく異常判定することが可能になる。

＜判定結果の処理例＞
図１８を用いて判定結果処理部３７の処理について説明する。図１８は、判定結果処理部３７が行う処理を模式的に説明する図の一例である。
（１）上記のように画像６が異常判定部３６に入力される。異常判定部３６は、異常の判定結果と共にカメラ装置１０の設置場所に関する情報（例えば、顧客ＩＤや顧客名）及び異常の判定に用いた動画を判定結果処理部３７に送出する。
（２）判定結果処理部３７は異常の判定結果と閾値を比較し、異常の可能性が高いか否かを判定する。異常の可能性が高いと判定した場合、少なくとも動画の一部と判定結果を顧客及び警備員に送信する。送信の前に監視員が目視で動画を確認することがより好ましい。なお、送信先は、警備員を派遣する司令塔となるガードセンター、警備員が常駐している待機所、現地周辺の警備員、顧客、などである。

図１８では、顧客又は警備員等が有する携帯端末７４ａ、７４ｂの画面例が示されている。携帯端末７４ａの画面には「異常度８０％」というメッセージ４０１、動画表示欄４０２、及び、動画の再生ボタン４０３等が表示されている。顧客や警備員はメッセージや動画を目視して適切な対応を取ることができる。携帯端末７４ｂには複数のカメラ装置１０のうち１つのカメラ装置１０が強調して表示されている。このように、１つの設置場所に複数のカメラ装置１０が設置されている場合、どのカメラ装置１０で異常が検出されたかを表示することで、顧客や警備員は異常の発生場所を特定しやすくなる。
（３）顧客や警備員は必要に応じて警察に通報したり、警備員が現地に赴いて確認したりする。警備員が現地に赴いたが正常であった場合、警備員はその旨を判定結果処理部３７に通知する（フィードバックする）。通知の際は、携帯端末７４ａ、７４ｂに送信された動画（又はこの動画を特定できる情報）を判定結果処理部３７に送信する。学習部３４はこの動画が正常であることを教師信号にして学習できるため、異常検出の精度を向上させることができる。

＜カメラ装置における学習モデルの利用方法＞
本実施形態では監視センターで異常を判定していたが、カメラ装置１０が異常を判定することも可能である。

図１９（ａ）は新規設置場所７のカメラ装置１０が学習モデルＣｘを使用して異常判定する手順を示す。
（１）新規設置場所７のカメラ装置１０は画像６を撮像する。少なくとも１枚の画像６があればよく動画である必要はない。
（２）カメラ装置１０は画像６を情報処理装置３０に送信する。
（３）情報処理装置３０は画像６を記憶しておく。
（４）情報処理装置３０は新規設置場所７の画像６がどのクラスタに当てはまるかを判定する。
（５）情報処理装置３０は当てはまると判定した学習モデルＣｘをカメラ装置１０に送信する。カメラ装置１０はこの学習モデルＣｘを使って異常判定するので、異常判定フェーズでは動画を情報処理装置３０に送信する必要がない。

図１９（ｂ）は新規設置場所７のカメラ装置１０が撮像した画像６を使用して異常判定する手順を示す。新規設置場所７のカメラ装置１０もある程度の時間が経過すると、学習に十分な画像６を撮像することができる。
（１）新規設置場所７のカメラ装置１０は画像６を撮像する。異常判定するための画像６であるため、複数の画像６（動画）であることが好ましい。
（２）カメラ装置１０は画像６を情報処理装置３０に送信する。
（３）情報処理装置３０は複数の画像６を記憶しておく。
（４）情報処理装置３０はある程度の画像６が蓄積されると正常な画像６を学習し学習モデルＣｘ（Ｖｅｒ２．０）を作成する。
（５）情報処理装置３０は作成した学習モデルＣｘ（Ｖｅｒ２．０）を新規設置場所７のカメラ装置１０に送信する。
（６）カメラ装置１０はこの学習モデルＣｘ（Ｖｅｒ２．０）を使って異常判定することができる。元の学習モデルＣｘと併用してもよい。併用する場合、元の学習モデルＣｘと学習モデルＣｘ（Ｖｅｒ２．０）の一方でも異常と判定した場合、異常を監視センターに送信する。これにより失報を低減できる。

図１９で説明したように、新規設置場所７のカメラ装置１０は設置された直後から異常判定が可能であり、時間が経過すると設置された場所で撮像した画像６の学習モデルで異常判定できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

本実施形態では画像６に基づく異常検出が行われたが、情報処理装置３０は音を識別して異常を検出することも可能である。この場合、カメラ装置１０は音を集音するマイク等を有している。カメラ装置１０が収集した音データは画像６と共に情報処理装置３０に送信される。情報処理装置３０は正常な音データを学習しておき、異常か否かを判定する。この場合も、新規設置場所７への設置の直後から異常を検出できる。

また、図２のシステム構成図ではカメラ装置１０と情報処理装置３０が別体であるが、図１９にて説明したように、カメラ装置１０と情報処理装置３０は一体でもよい。

また、同じ場所のカメラ装置１０でも日中と夜間の画像は異なるクラスタに分類され得ることを説明したが、より細かく時間帯ごとに異なるクラスタに分類されてもよい。また、天候、季節ごとに異なるクラスタに分類されてもよい。このように、クラスタ設定部３３はカメラ装置１０が画像を撮像する環境に応じて各画像を適切なクラスタに分類できる。

また、図６、１５などの構成例は、カメラ装置１０と情報処理装置３０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。カメラ装置１０と情報処理装置３０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、図６，１５では情報処理装置３０が一台であるが、同じ情報処理装置３０が複数台、存在してもよいし、複数の情報処理装置３０に図６，１５の機能が分散されていてもよい。

なお、通信部３１，画像蓄積部３２は画像取得手段の一例であり、クラスタ設定部３３は分類手段の一例であり、学習部３４は学習手段の一例であり、異常判定部３６は異常判定手段の一例であり、学習モデルＣｘ（Ｖｅｒ２．０）を用いた異常判定部３６は第二の異常判定手段の一例であり、クラスタ判定部３５は決定手段の一例である。

６ ：画像
７ ：新規設置場所
８ ：既存設置場所
９ ：監視センター
１０ ：カメラ装置
３０ ：情報処理装置
１００ ：画像処理システム

Claims (11)

1. 撮像装置が撮像した画像から異常検出を行う画像処理システムであって、
   異なる設置場所に設置された複数の第一の撮像装置から前記画像を取得する画像取得手段と、
   特徴が類似する前記画像をそれぞれクラスタに分類する分類手段と、
   前記クラスタに分類された前記画像を学習して異常を検出する異常判定手段を前記クラスタごとに構築する学習手段と、
   前記第一の撮像装置とは異なる設置場所に設置された第二の撮像装置が撮像した前記画像と類似する前記第一の撮像装置の画像が分類された前記クラスタを判定し、該クラスタに分類された前記画像から構築された前記異常判定手段を決定する決定手段と、
   を有する画像処理システム。
2. 前記決定手段が決定した前記異常判定手段は、前記第二の撮像装置が撮像した前記画像から異常検出を行う請求項１に記載の画像処理システム。
3. 前記分類手段は、前記第一の撮像装置が撮像した前記画像から局所的特徴量及び大域的特徴量を抽出し、局所的特徴量及び大域的特徴量が類似する前記画像を、前記設置場所にかかわらず同じ前記クラスタに分類する請求項１又は２に記載の画像処理システム。
4. 前記分類手段は、局所的特徴量及び大域的特徴量が抽出された画像をいくつかの数の前記クラスタに分類し、分類が適切なほど小さくなる分離度を算出し、
   前記分離度が最も小さくなる前記数を決定し、前記数の前記クラスタに前記第一の撮像装置が撮像した前記画像を分類する請求項３に記載の画像処理システム。
5. 前記分類手段は、Stacked
   Auto Encoderにより構築したニューラルネットワークに入力した前記第一の撮像装置が撮像した前記画像と、前記ニューラルネットワークが出力した出力値の差を前記クラスタごとに算出し、各クラスタの前記差を合計した値が最も小さくなるように前記数を決定する請求項４に記載の画像処理システム。
6. 前記分類手段は、同じ前記設置場所の前記第一の撮像装置が撮像した前記画像を、該画像が撮像された環境に応じて異なる前記クラスタに分類し、
   前記学習手段は、前記環境に応じて異なる前記クラスタに分類された前記画像から前記異常判定手段を構築する請求項１〜５のいずれか１項に記載の画像処理システム。
7. 前記学習手段は、領域に分割された前記画像の特徴をディープラーニングで抽出し、
   前記領域の特徴に基づき前記画像に写っている対象の形状と動きを数値化し、
   前記対象の形状と動きを正常であると分類する前記異常判定手段をＳＶＭ（サポートベクトルマシン）で構築する請求項１〜５のいずれか１項に記載の画像処理システム。
8. 異なる設置場所に設置された複数の他の撮像装置から画像を取得する画像取得手段と、
   特徴が類似する前記画像をそれぞれクラスタに分類する分類手段と、
   前記クラスタに分類された前記画像を学習して異常を検出する異常判定手段を前記クラスタごとに構築する学習手段と、を有する情報処理装置から学習モデルを取得して、
   撮像した画像から異常検出を行う撮像装置であって、
   前記画像を前記情報処理装置に送信して、前記画像の特徴が類似する前記画像が分類された前記クラスタから構築された前記異常判定手段を取得し、
   前記情報処理装置から取得した前記異常判定手段により撮像した画像の異常判定を行うことを特徴とする撮像装置。
9. 前記撮像装置が撮像した画像から構築された第二の異常判定手段を前記情報処理装置から取得し、
   前記第二の異常判定手段と前記異常判定手段の両方で異常判定を行うことを特徴とする請求項８に記載の撮像装置。
10. 撮像装置が撮像した画像から異常検出を行う画像処理システムが行う学習モデル作成方法であって、
    画像取得手段が、異なる設置場所に設置された複数の第一の撮像装置から前記画像を取得するステップと、
    分類手段が、特徴が類似する前記画像をそれぞれクラスタに分類するステップと、
    学習手段が、前記クラスタに分類された前記画像を学習して異常を検出する異常判定手段を前記クラスタごとに構築するステップと、
    決定手段が、前記第一の撮像装置とは異なる設置場所に設置された第二の撮像装置が撮像した前記画像と類似する前記画像が分類された前記クラスタを判定し、該クラスタから構築された前記異常判定手段を決定するステップと、
    を有する学習モデル作成方法。
11. 撮像装置が撮像した画像から異常検出を行う学習モデルを作成する情報処理装置であって、
    異なる設置場所に設置された複数の第一の撮像装置から前記画像を取得する画像取得手段と、
    特徴が類似する前記画像をそれぞれクラスタに分類する分類手段と、
    前記クラスタに分類された前記画像を学習して異常を検出する異常判定手段を前記クラスタごとに構築する学習手段と、
    前記第一の撮像装置とは異なる設置場所に設置された第二の撮像装置が撮像した前記画像と類似する前記画像が分類された前記クラスタを判定し、該クラスタから構築された前記異常判定手段を決定する決定手段と、
    を有する情報処理装置。

Images