JP2011198131A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】 少ない記憶容量で、低コストで画像の変化を検出できるようにする。
【解決手段】 取得された画像は画像分割部６３により分割され、更新領域選択部６１により更新対象として選択されたブロックのヒストグラムがヒストグラム演算部６４により演算される。ヒストグラム保存部６２は演算されたヒストグラムを順次更新して保存する。変化判定部６５は、ヒストグラム演算宇６４により演算されたヒストグラムと、ヒストグラム保存部６２に保存されている過去のヒストグラムの類似度を演算し、その演算結果に基づいて、取得された画像の変化を判定する。本発明は監視システムに適用できる。
【選択図】図４

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に少ない記憶容量で画像の変化を検出することができるようにした画像処理装置および方法、並びにプログラムに関する。

所定の空間への人、動物などの侵入者を発見するために、監視カメラにより対象とされる空間を撮影し、撮影画像から侵入者を検知する監視システムが知られている。かかる監視システムは、妨害行為により監視カメラの向きが本来の方向から変更されてしまうと、監視ができなくなる。

そこで監視カメラにより撮像された現在の画像と予め記憶されている参照画像の輝度値の差分を演算し、差分値が一定値以上である場合には、妨害行為があったと判定することが提案されている（例えば特許文献１）。

図１は、監視カメラにより撮像された画像の更新を説明する図である。図１に示されるように、フレームＦ１乃至フレームＦ６が順次得られたとき、例えば１フレームおきに得られる画像が参照画像として記憶され、順次更新される。すなわち、この例の場合、フレームＦ１，Ｆ３，Ｆ５が参照画像として順次更新される。

妨害行為が存在しない場合、時間的に前の背景画像と時間的に後の背景画像とは同じであるので、輝度値の差分は小さい。これに対して、妨害行為により監視カメラの向きが変更された場合、時間的に前の背景画像と時間的に後の背景画像とは異なったものとなるので、輝度値の差分は大きくなる。

そこで、フレームＦ３が得られたとき、そのときの過去の画像である参照画像としてのフレームＦ１との輝度値の差分が演算される。同様に、フレームＦ５が得られたとき、そのときの過去の画像であるフレームＦ３の画像との輝度値の差分が演算される。大きな差分値が得られたとき、妨害行為があったと判定される。

特開２００８−７７５１７号公報

しかしながら現在の画像と参照画像の輝度値の差を演算することで妨害行為を検出するためには、参照画像を記憶する必要があるが、参照画像を記憶するためには記憶容量が大きいメモリを用意しなければならず、システムが高価になる。

本発明はこのような状況に鑑みてなされたものであり、少ない記憶容量で、低コストで画像の変化を検出することができるようにするものである。

本発明の一側面は、画像の画像データを取得する取得手段と、取得された前記画像データのヒストグラムを演算するヒストグラム演算手段と、演算された前記ヒストグラムを順次更新して保存するヒストグラム保存手段と、演算された前記ヒストグラムと、保存されていた過去の前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定手段とを備える画像処理装置である。

取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割手段と、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちの一部のＭ（Ｍ＞１）個の前記ブロックを、更新する前記ブロックとして順次指定する指定手段とをさらに備え、前記ヒストグラム演算手段は、指定されたＭ個の前記ブロックの前記ヒストグラムを演算し、前記変化判定手段は、演算されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定することができる。

前記指定手段は、順次指定するＭ個の前記ブロックのうち、少なくとも２つの前記ブロックの前記画像上の位置の変化の方向が異なるように、前記ブロックを指定することができる。

前記指定手段は、前記指定手段は、Ｍ＝４とし、前記画像を４つのグループに区分し、各グループから１つの前記ブロックを指定することができる。

前記分割手段は、前記グループにおいて、できるだけ離れた位置の前記ブロックを先に選択することで前記ブロックを順次指定することができる。

前記分割手段は、前記ブロックを、前記変化の方向に対して平行な辺より垂直な辺が長くなるように分割することができる。

前記変化判定手段は、演算された前記ブロックの前記ヒストグラムと、保存されていた過去の前記ブロックの前記ヒストグラムの前記類似度を演算する類似度演算手段と、演算された前記類似度を類似度閾値と比較し、前記類似度が前記類似度閾値より大きいとき、前記画像の前記ブロックに変化があったと判定する類似度閾値判定手段とを備えることができる。

前記画像に変化があったとき、アラームを出力するアラーム出力手段をさらに備えることができる。

前記アラーム出力手段は、変化があったと判定された前記ブロックの数をカウントするカウント手段と、前記カウント手段によりカウントされた値をアラーム閾値と比較し、前記カウントされた値が前記アラーム閾値より大きいとき前記アラームを出力するアラーム閾値判定手段とを備えることができる。

本発明の一側面の画像処理方法及びプログラムは、上述した本発明の一側面の画像処理装置に対応する方法及びプログラムである。

本発明の側面においては、画像の画像データが取得され、取得された画像データのヒストグラムが演算され、演算されたヒストグラムが順次更新して保存される。演算されたヒストグラムと、保存されていた過去のヒストグラムの類似度に基づいて、取得された画像の変化が判定される。

以上のように、本発明の一側面によれば、少ない記憶容量で、低コストで画像の変化を検出することができる

従来の画像の更新を説明する図である。 変化領域検出の原理を説明する図である。 本発明の画像処理装置の一実施の形態の構成を示すブロック図である。 画像解析部の機能的構成を示すブロック図である。 変化判定部の機能的構成を示すブロック図である。 変化判定処理を説明するフローチャートである。 更新するブロックの移動を説明する図である。 ヒストグラムの例を示す図である。 ヒストグラムの類似度を説明する図である。 更新するブロックの移動を説明する図である。 更新の間隔を説明する図である。 更新の間隔を説明する図である。 更新の間隔を説明する図である。 更新の間隔を説明する図である。 移動体の移動とブロックの移動との関係を説明する図である。 更新するブロックの移動順序を示す図である。 ブロックの形状を示す図である。 ブロックの形状を示す図である。

［変化領域検出の原理］

図２は変化領域検出の原理を説明する図である。本発明の一実施の形態においては、過去の画像PIと、現在の画像NIが変化領域検出部１に入力される。変化領域検出部１は過去の画像PIと現在の画像NIのそれぞれを、所定の大きさのブロックに分割する。そして各ブロック毎に画素値のヒストグラムが演算される。過去の画像PIの所定の位置のブロックのヒストグラムと、現在の画像NIの対応する位置のブロックのヒストグラムの類似度が演算される。類似度が低いブロックは変化領域VIとして検出される。

妨害判定部２は変化領域VIの数が多い場合、妨害行為があったと判定し、アラームを出力する。

［画像処理装置の構成］

図３は、本発明の画像処理装置の一実施の形態の構成を示すブロック図である。この画像処理装置２１は、取得部３１と画像処理部３２により構成されている。

画像の画像データを取得する取得手段としての取得部３１は、カメラ、ビデオカメラなどの撮像部を内蔵し、撮像部が監視する対象空間などの被写体を撮影することで得られた画像データを取得し、出力する。取得部３１は、またネットワークを介して外部から供給される画像データを取得することもできる。

画像処理部３２は、撮像信号処理部４１、データ保存部４２、および画像解析部４３により構成される。

例えばDSP(Digital Signal Processor)により構成される撮像信号処理部４１は、取得部３１より得られた画像データに対して、黒レベル補正処理、ホワイトバランス処理、γ補正処理、色補正処理等の各種画像処理を施す。例えばRAM(Random Access Memory）により構成されるデータ保存部４２は、撮像信号処理部４１により処理された画像データを保存する。例えばCPU（Central Processing Unit）により構成される画像解析部４３は、撮像信号処理部４１より供給される現在の画像と、データ保存部４２より供給される過去の画像である参照画像を解析する。

［画像解析装置の構成］

図４は、画像解析部４３の機能的構成を示すブロック図である。画像解析部４３は、更新領域選択部６１、ヒストグラム保存部６２、画像分割部６３、ヒストグラム演算部６４、変化判定部６５、変化領域保存部６６、およびアラーム出力部６７により構成されている。

なお、図４に示す構成の全部または一部は、画像解析部４３ではなく映像信号処理部４１またはデータ保存部６２に設けることもできる。ヒストグラム保存部６２は、図３のデータ保存部４２に対応する。

更新領域選択部６１は、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちの一部のＭ（Ｍ＞１）個のブロックを、更新するブロックとして順次指定する指定手段として機能する。この更新新領域選択部６１は、撮像信号処理部４１から供給されるデータから、取得部３１により取得された画像のフレーム番号を抽出し、更新するフレーム番号を決定する。さらに更新領域選択部６１は、更新するフレームの中の更新するブロックを決定する。取得された画像をＮ（Ｎ＞１）個のブロックに分割する分割手段としての画像分割部６３は、撮像信号処理部４１から供給される画像データに基づく各フレームの画像のうち、更新領域選択部６１により指定されるフレームを複数のブロックに分割する。画像分割部６３はまた、分割されたブロックのうち、更新領域選択部６１により指定されるブロックの画像データを、ヒストグラム演算部６４に供給する。

取得された画像データのヒストグラムを演算するヒストグラム演算手段としてのヒストグラム演算部６４は、画像分割部６３から供給されたブロックのヒストグラムを演算する。なお、撮像信号処理部４１がヒストグラム演算機能を備える場合がある。その場合には、ヒストグラム演算部６４は撮像信号処理部４１内に設けることができる。

演算されたヒストグラムを順次更新して保存するヒストグラム保存手段としてのヒストグラム保存部６２は、更新領域選択部６１により更新領域として指定されるブロックのヒストグラムを更新する。すなわち、ヒストグラム演算部６４から供給される現在のフレームの更新対象のブロックのヒストグラムにより、既に記憶されている過去のフレームの対応するブロックのヒストグラムが書き換えられる。

演算されたヒストグラムと、保存されていた過去のヒストグラムの類似度に基づいて、取得された画像の変化を判定する変化判定手段としての変化判定部６５は変化判定処理を行う。すなわち、ヒストグラム演算部６４より供給される現在のフレームの更新対象のブロックのヒストグラムと、ヒストグラム保存部６２から供給される過去のフレームの対応するブロックのヒストグラムに基づいて、画像の変化が判定される。変化領域保存部６６は、変化判定部６５による判定結果を保存する。

画像に変化があったとき、アラームを出力するアラーム出力手段としてのアラーム出力部６７は、カウンタ部９１と閾値判定部９２により構成されている。

変化があったと判定されたブロックの数をカウントするカウント手段としてのカウンタ部９１は、変化判定部６５の出力と変化領域保存部６６の出力に基づいて、1つの監視中の画像中の変化があったブロックの数をカウントする。カウントされた値をアラーム閾値と比較し、カウントされた値がアラーム閾値より大きいときアラームを出力するアラーム閾値判定手段としての閾値判定部９２は、カウンタ部９１によりカウントされたブロックの数を、予め決められている所定の閾値と比較する。カウントされたブロックの数が閾値より大きいとき、妨害行為が検出されたと判断し、検出信号が出力される。この検出信号は例えばアラームとすることができる。

［変化判定部の構成］

図５は、変化判定部の機能的構成を示すブロック図である。変化判定部６５は、類似度演算部１１１と、閾値判定部１１２とにより構成されている。

類似度演算部１１１は、演算されたブロックのヒストグラムと、保存されていた過去のブロックのヒストグラムの類似度を演算する類似度演算手段として機能する。この類似度演算部１１１は、ヒストグラム演算部６４から供給される現在のブロックのヒストグラムh1と、ヒストグラム保存部６２より供給される過去の対応する位置のブロックのヒストグラムh0との類似度を演算する。演算された類似度を類似度閾値と比較し、類似度が類似度閾値より大きいとき、画像のブロックに変化があったと判定する類似度閾値判定手段としての閾値判定部１１２は、演算された類似度と予め定められている所定の閾値とを比較し、比較結果に基づいて検出信号を出力する。

［変化判定処理］

図６は、変化判定処理を説明するフローチャートである。次にこの図を参照して変化判定処理を説明する。

ステップＳ１において取得部３１はカメラ画像を取得する。すなわち撮像部が所定の監視対象を撮像しており、その撮像画像の画像データが取得される。

ステップＳ２において画像分割部６３は、Ｎ個のブロックに画像を分割する。この実施の形態においては、画像データに基づく各フレームの画像が８×８個のブロックに分割される。

ステップＳ３において更新領域選択部６１は、更新領域を選択する。すなわち、８×８個のブロックのうちの所定のＭ（Ｍ＜Ｎ）個のブロックが、更新対象のブロックとして選択される。この更新領域の選択について、図７を参照して説明する。

図７は、更新するブロックの移動を説明する図である。この実施の形態においては、Ｍ＝４とされ、８×８個のブロックが４×４個のブロックからなる４個のグループに区分される。そして、各グループから１個のブロックが選択されて、合計４個のブロックが更新対象のブロックとして選択される。具体的には、図７Ａに示されるように、更新領域選択部６１は、最初のフレームの８×８個のブロックのうちの、１行目の最も左側に位置するブロックb11、最も右側に位置するブロックb18、８行目の最も左側に位置するブロックb81、最も右側に位置するブロックb88の４つのブロックを更新ブロックとして選択する。

なお、図７において、上からｉ番目の行に位置し、左からｊ番目の列に位置するブロックを、bijのように表す。後述する図１１乃至図１８においても同様とする。

次に図７Ｂに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目の最も左側に位置するブロックb11の１つ右側に位置するブロックb12、最も右側に位置するブロックb18の１つ左側に位置するブロックb17、８行目の最も左側に位置するブロックb81の１つ右側に位置するブロックb82、最も右側に位置するブロックb88の１つ左側に位置するブロックb87の４つのブロックを更新ブロックとして選択する。

次に図７Ｃに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目のブロックb12の１つ右側に位置するブロックb13、ブロックb17の１つ左側に位置するブロックb16、８行目のブロックb82の１つ右側に位置するブロックb83、ブロックb87の１つ左側に位置するブロックb86の４つのブロックを更新ブロックとして選択する。

次に図７Ｄに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目のブロックb13の１つ右側に位置するブロックb14、ブロックb16の１つ左側に位置するブロックb15、８行目のブロックb83の１つ右側に位置するブロックb84、ブロックb86の１つ左側に位置するブロックb85の４つのブロックを更新ブロックとして選択する。

以上のようにして最上行と最下行におけるブロックの選択、移動が終了すると、次に第２行目と第７行目とが選択される。そして図７Ｅに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、２行目の最も左側に位置するブロックb21、最も右側に位置するブロックb28、７行目の最も左側に位置するブロックb71、最も右側に位置するブロックb78の４つのブロックを更新ブロックとして選択する。

次に図７Ｆに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、２行目のブロックb21の１つ右側に位置するブロックb22、ブロックb28の１つ左側に位置するブロックb27、７行目のブロックb71の１つ右側に位置するブロックb72、ブロックb78の１つ左側に位置するブロックb77の４つのブロックを更新ブロックとして選択する。

以下、同様の手順により、更新対象のブロックとして、１フレームにおいて４個のブロックが順次選択される。すなわち、左側半分の上側半分の領域においては、行内においては左から右方向に、そして行は上から下方向に順次選択される。右側半分の上側半分の領域においては、行内においては右から左方向に、そして行は上から下方向に順次選択される。左側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。右側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。

図６に戻って、ステップＳ４においてヒストグラム演算部６４は、更新領域のヒストグラムを演算する。

図８は、ヒストグラムの例を示す図である。横軸は輝度値に代表される画素値を表し、縦軸は所定の範囲の画素値を有する画素の数を表している。図８Ａは、ヒストグラム演算部６４により演算された現在のフレームの更新対象の１つのブロックのヒストグラムの例を示している。図８Ｂは、ヒストグラム保存部６２に保存されている過去のフレームの対応する位置のブロックのヒストグラムの例を示している。

ステップＳ５においてヒストグラム保存部６２は、ステップＳ４で演算されたヒストグラムを保存する。ヒストグラム保存部６２は、過去のデータをヒストグラムとして保存するので、例えば画素値などの画像データとして保存する場合に比べて、記憶容量を小さくし、低コスト化することができる。

ステップＳ６において類似度演算部１１１は、ステップＳ４で演算された、現在のフレームの更新対象の１つのブロックのヒストグラムｈ１と、ヒストグラム保存部６２に保存されている過去のフレームの対応する位置のブロックのヒストグラムｈ０の類似度を演算する。

この実施の形態においては、インタセクションにより次式に基づいて類似度が演算される。すなわち各画素値において、画素の数が小さい方の和が求められる。下記式（１）の値Ｄは、類似度が高いとき大きくなり、類似度が低いとき小さくなる。下記式（１）のＡｉ，Ｂｉは、それぞれ現在のフレームの更新対象の１つのブロックのヒストグラムｈ１の１つの画素値と、ヒストグラム保存部６２に保存されている過去の１フレームの対応する位置のブロックのヒストグラムｈ０の１つの画素値を表している。この比較処理は、直近の過去のＮ（Ｎ＞１）フレームについて行われる。
Ｄ＝Σmin(Ai,Bi) （１）

図９はヒストグラムの類似度を説明する図である。図９Ａに示されるように、ヒストグラムｈ１とヒストグラムｈ０の殆どが重なっている場合、式（１）で演算される値Ｄは、大きくなる。それに対して、図９Ｂに示されるように、ヒストグラムｈ１とヒストグラムｈ０の重なりが少ない場合、値Ｄは小さくなる。

ステップＳ７において閾値判定部１１２は、変化領域を判定する。すなわち、ステップＳ６で演算された類似度Ｄが、予め定められた所定の閾値Thdと比較される。類似度Ｄが閾値Thdより小さいとき、そのブロックは変化があった領域であると判定される。直近の過去のＮフレームのうち、類似度Ｄが閾値Thdより小さいフレームが１フレームでもあった場合、領域に変化があったと判定される。

ステップＳ８において変化領域保存部６６は、変化領域を更新する。すなわち変化領域保存部６６は、ブロック毎に１フレーム分の判定結果（つまり、ブロック数分の判定結果）を保存しており、ステップＳ７での判定結果により古い判定結果を更新する。

ステップＳ９において変化判定部６５は、全ての変化領域判定を行ったかを判定する。まだ全ての変化領域の判定が行われていない場合、処理はステップＳ３に戻り、新たな更新領域が選択され、同様の処理が実行される。これにより、例えば図７Ａに示されるブロックの場合、ブロックb11の変化判定が行われた後、ブロックb18の変化判定が行われる。

全ての変化領域判定が行われた場合、例えば図７Ａの例では、ブロックb11,b18,b81,b88の４個のブロックの変化判定が行われた場合、ステップＳ１０においてカウンタ部９１は、全領域の変化領域数をカウントする。変化領域保存部６６には、監視対象の画像のフレームを構成する６４個のブロックのどれに変化があったのかが記憶されている。その時点において、６４個のブロックのうち、変化があったブロックの数がカウントされる。

ステップＳ１１において閾値判定部９２は、変化領域数は閾値より大きいかを判定する。すなわち、ステップＳ１０でカウントされた変化があったと判定されたブロックの数が、予め定められている所定の閾値Thcと比較される。

変化があったと判定されたブロックの数が閾値Thcより大きいとき、ステップＳ１２において閾値判定部６７は、画像に変化があったことを示すアラームなどの信号を出力する。

ステップＳ１１において変化領域数は閾値より小さいと判定された場合、およびステップＳ１２の処理の後、処理は終了する。

以上の処理は、各フレーム毎に実行される。

［ブロックの移動］

図１０は、更新するブロックの移動を説明する図である。同図に示されるように、この実施の形態の場合、更新されるブロックは、各フレーム毎に、横方向であって、左方向と右方向という異なる２つの方向に移動する。その結果、横方向の変化を敏感に検出することができる。その具体例が図１１と図１２に示されている。

図１１は、妨害行為による撮像部の速い移動があった場合の更新の間隔を説明する図である。いま取得部３１の撮像部が妨害行為により、向きを速い速度で左方向に変えられたとする。この場合の画像の変化は次のようになる。すなわち、図１１の左側のフレームＦ５１のブロックｂ１１乃至ｂ８８には何も写っていない。フレームＦ５１から時間α後のフレームＦ５２は、図１１の中央に示されている。このフレームでは、ブロックb14,b15,b24,b25,b34,b35,b43〜b46,b53〜b56,b63〜b66,b72〜b77,b84,b85に１本の樹木の一部が写る。さらに時間α後のフレームＦ５３においては、図１１の右側に示されるように、ブロックb11〜b88のいずれにも樹木は写っていない。

ブロック間の更新間隔は短い。例えばフレームＦ５１でブロックb13が更新された後、次のフレームＦ５２では右隣のブロックb14が更新される。同様に、図７Ｃと図７Ｄに示されているように、フレームＦ５１では、ブロックb16,b83,b86が更新された後、フレームＦ５２では、ブロックb15,b84,b85が更新される。フレームＦ５２においてブロックb14, b15,b84,b85が更新されるとき、直近のＮフレームの画像にフレームＦ５１も含まれるので、これらの更新対象のブロックが変化領域として検出される。従って、ブロックの画像の変化から、妨害行為による撮像部の速い移動を検出することができる。

図１２は、遅い移動があった場合の更新の間隔を説明する図である。いま取得部３１の撮像部が妨害行為により、向きを遅い速度で左方向に変えられたとする。この場合の時間β毎のフレームＦ６１乃至Ｆ６３が示されている。フレームＦ６１では、ブロックb13,b14,b23,b24,b33,b34,b42〜b45,b52〜b55,b62〜b65,b71〜b76,b72〜b77,b83,b84に樹木の一部が写る。フレームＦ６２では、ブロックb14,b15,b24,b25,b34,b35,b43〜b46,b53〜b56,b63〜b66,b72〜b77,b84,b85に樹木の一部が写る。フレームＦ６３では、ブロックb15,b16,b25,b26,b35,b36,b44〜b47,b54〜b57,b64〜b67,b73〜b78,b85,b86に樹木の一部が写る。

同じブロックの更新間隔は長い。６４個のブロックを４個ずつ更新する場合、同じブロックは１６（＝６４／４）フレーム毎に更新されることになる。例えばフレームＦ６１で更新されたブロックb13は１６フレーム後のフレームＦ６３で更新される。同様に、図７Ｃに示されるように、ブロックb16,b83,b86が更新される。フレームＦ６３においてブロックb13,b16,b83,b86が更新されるとき、直近のＮフレームの画像にフレームＦ６１も含まれれば、これらの更新対象のブロックが変化領域として検出される。従って、ブロックの画像の変化から、妨害行為による撮像部の遅い移動を検出することができる。

このように、速い移動を検出するには、ブロックを更新する間隔を短くし、遅い移動を検出するには同じブロックが更新される間隔を長くする必要がある。そしてヒストグラム保存部６２に保存するフレーム数Ｎは、同じ位置のブロックが更新されたフレームから、直前にブロックが更新されたフレームまでの数に設定される。

［フレームの画像全体を更新する場合における画像の変化の検出］

参考のために、本実施の形態のようにブロック単位で更新するのではなく、１フレームの画像全体を更新する場合について説明すると次のようになる。

図１３と図１４は、１フレームの画像全体を更新する場合における画像の更新の間隔を説明する図である。図１３は図１１に対応し、図１４は図１２に対応する。

図１３は、取得部３１の撮像部が妨害行為により、向きを速い速度で左方向に変えられた場合の画像の変化を表している。図１３の左側のフレームＦ８１には何も写っていない。フレームＦ８１から時間α後のフレームＦ８２には、図１３の中央に示されているように、１本の樹木が写っている。さらに時間α後のフレームＦ８３においては、図１３の右側に示されるように、樹木は写っていない。

図１４は、取得部３１の撮像部が妨害行為により、向きを遅い速度で左方向に変えられた場合の画像の変化を表している。図１４の左側のフレームＦ９１には画面の中央よりやや左側に１本の樹木が写っている。フレームＦ９１から時間α後のフレームＦ９２には、図１４の中央に示されているように、樹木が画面のほぼ中央に写っている。さらに時間α後のフレームＦ９３においては、図１４の右側に示されるように、樹木は画面の中央よりやや右側に写っている。

図１３に示されるように、取得部３１の撮像部が妨害行為により、向きが速い速度で左方向に変えられた場合、フレームＦ８２を更新するとき、フレームＦ８２をフレームＦ８１と比較することで、またフレームＦ８３を更新するとき、フレームＦ８３をフレームＦ８２と比較することで、妨害行為を検出することができる。しかし、更新間隔を長くして、例えば、フレームＦ８３を更新するとき、フレームＦ８３をフレームＦ８１と比較する、画像の変化を検出することができない。

これに対して、図１４に示されるように、妨害行為の速度が遅い場合、フレームＦ９２を更新するとき、フレームＦ９２をフレームＦ９１と比較しても、画像の変化が検出できない。同様に、フレームＦ９３を更新するとき、フレームＦ９３をフレームＦ９２と比較しても、画像の変化が検出できない。フレームＦ９３をフレームＦ９１と比較しても、画像の変化が検出できない。つまり、画面内の樹木の位置がさらに右側に移動し、画面から少なくとも樹木の一部が外れるまで移動しないと、画像の変化を検出することができない。すなわち、遅い妨害行為を検出するには更新間隔を長くしなければならない。

このように、フレーム全体を更新する場合、速い妨害行為を検出するには更新間隔を短くする必要があり、逆に遅い妨害行為を検出するには更新間隔を長くする必要があり、両方を検出することが困難である。この点、図１１と図１２に示されるように、本実施の形態は、ブロックを単位として更新するので、速い妨害行為と遅い妨害行為の両方を検出することが可能である。

［ブロックの移動順序］

図１５は、移動体の移動とブロックの移動との関係を説明する図である。同図に示されるように、更新するブロックの移動方向が、常に画面の右から左方向であるとする。この場合、画面内で移動体Ｇがブロックの移動方向と同じ方向に、すなわち右から左方向に移動すると、ブロックb35で検出された移動体Ｇ１が、ブロックb33でも移動体Ｇ２として検出される。その結果、妨害行為に基づく画像の変化があったものとして誤検出が発生する。そこで更新する少なくとも２つのブロックの画像上の位置の変化の方向が、例えば図１０に示されるように、右方向と左方向など、異なる方向になるように指定することが好ましい。さらにランダムに変化させることもできる。

図１６は、更新するブロックの移動順序を示す図である。この実施の形態においても、図７および図１０の実施の形態と同様に、８×８個のブロックが４×４個のブロックからなる４個のグループに区分される。そして、各グループから１個のブロックが選択されて、合計４個のブロックが更新対象のブロックとして選択される。すなわち、左上、右上、左下、および右下の４個の４×４個のブロックのグループに区分され、各グループから１個のブロックが更新対象のブロックとして選択され、１回に４個のブロックが更新対象のブロックとされる。ただし、各グループにおいて１つのブロックを選択する規則が、図７および図１０の実施の形態の場合と異なっている。

図１６の実施の形態においては、各グループにおいては、４×４個のブロックのうち所定のものが、次のような規則に従って順番に更新対象として選択される。この規則を、図１６の左上のグループのブロックに基づいて説明する。他のグループにおいても同じ規則で更新対象のブロックが選択される。

まず、４×４個のブロックが、次の規則に基づいて、４つのサブグループに区分される。
規則１ 各サブグループは、４×４個のブロックのうちの角のブロックを１個有する。
規則２ 同一のサブグループでは、各ブロックのｘ，ｙ座標が重ならない。
規則３ 各サブグループのブロックのうち、１つのペアだけが斜め方向に隣接する。

図１６においてサブグループは、模様を付して表されている。同じ模様が付されたブロックが同じサブグループに属するブロックである。図１６の例では、番号１乃至４が付されたブロックが第１のサブグループを構成し、番号５乃至８が付されたブロックが第２のサブグループを構成する。さらに、番号９乃至１２が付されたブロックが第３のサブグループを構成し、番号１３乃至１６が付されたブロックが第４のサブグループを構成する。

図１６の例では、上記規則１に基づき、第１乃至第４のサブグループは、それぞれ番号１，５，９，１３の角のブロックを有している。規則２に基づき、４×４個のブロックの各行には、異なるサブグループのブロックが１個ずつ配置される。また各列にも、異なるサブグループのブロックが１個ずつ配置される。規則３に基づき、第１のサブグループにおいては番号２，４のブロック、第２のサブグループにおいては番号６，８のブロック、第３のサブグループにおいては番号１０，１２のブロック、第４のサブグループにおいては番号１４，１６のブロックが、それぞれ斜め方向に隣接する。これにより同一のサブグループのブロックの最小の距離を長くすることができる。すなわち、同一のサブグループのブロックをできるだけ離間させることができる。

規則４ 各サブグループの最も小さい番号のブロックは、４×４個の対角線上に位置する。

図１６の例では、第１のサブグループ乃至第４のサブグループの最も小さい番号のブロック１，５，９，１３が、対角線上に位置している。

同一のサブグループ内のブロックの更新の順番は、次の規則に従う。
規則５ ４×４個の角のブロックに最も小さい番号が割り当てられる。
規則６ 規則５で決定された番号のブロックからｘ座標が最も遠い位置のブロックに次の番号が割り当てられる。
規則７ 残った２個のブロックのうち、規則６で決定された番号のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号が割り当てられる。
規則８ 最後に残ったブロックに次の番号が割り当てられる。

図１６の例において、規則５に基づいて、第１のサブグループでは、番号１乃至４のうち、最も小さい番号１が角に位置するブロックに割り当てられている。同様に、第２のサブグループでは、番号５乃至８のうち、最も小さい番号５が角に位置するブロックに割り当てられている。第３のサブグループでは、番号９乃至１２のうち、最も小さい番号９が角に位置するブロックに割り当てられている。第４のサブグループでは、番号１３乃至１６のうち、最も小さい番号１３が角に位置するブロックに割り当てられている。

図１６の例において、規則６に基づいて、第１のサブグループでは、番号１のブロックからｘ座標が最も遠い位置のブロックに次の番号２が割り当てられている。同様に、第２のサブグループでは、番号５のブロックからｘ座標が最も遠い位置のブロックに次の番号６が割り当てられている。第３のサブグループでは、番号９のブロックからｘ座標が最も遠い位置のブロックに次の番号１０が割り当てられている。第４のサブグループでは、番号１３のブロックからｘ座標が最も遠い位置のブロックに次の番号１４が割り当てられている。

図１６の例において、規則７に基づいて、第１のサブグループでは、残った２個のブロックのうち、規則６で決定された番号２のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号３が割り当てられている。第２のサブグループでは、残った２個のブロックのうち、規則６で決定された番号６のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号７が割り当てられている。第３のサブグループでは、残った２個のブロックのうち、規則６で決定された番号１０のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号１１が割り当てられている。第４のサブグループでは、残った２個のブロックのうち、規則６で決定された番号１４のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号１５が割り当てられている。

図１６の例において、規則８に基づいて、第１のサブグループでは、最後に残ったブロックに次の番号４が割り当てられている。第２のサブグループでは、最後に残ったブロックに次の番号８が割り当てられている。第３のサブグループでは、最後に残ったブロックに次の番号１２が割り当てられている。第４のサブグループでは、最後に残ったブロックに次の番号１６が割り当てられている。

以上のようにして、図１６の左上のグループの各ブロックに付した番号１乃至１６が、規則に基づいて決定され、各ブロックはこの番号の順番に更新対象とされる。４個のサブグループの所定のものが順番に選択され、選択された１つのサブグループで、４個のブロックのうち所定のものが順番に選択されている。これにより誤検出の発生が抑制される。また、この規則では、各ブロックのｘ座標、すなわち横方向の座標ができるだけ離れているブロックが先に選択されるように順番が決定される。従って、特に横方向に移動する移動体による誤検出を抑制することができる。

規則６，７で、各ブロックのｙ座標、すなわち縦方向の座標ができるだけ離れているブロックが先に選択されるように順番を決定すれば、縦方向に移動する移動体による誤検出を抑制することができる。

［ブロックの形状］

図７に示す実施の形態においては、ブロックを横長の形状として、その長手方向、すなわち横方向に移動させるようにした。ブロックの形状を、移動方向と垂直な方向に長い形状にすることができる。換言すれば、ブロックをその長手方向と垂直な方向に移動させることができる。

図１７は、ブロックの形状を示す図である。図１７においては、画面が上半分と下半分に区分され、それぞれが８個のブロックb11乃至b18,b21乃至b28に分割されている。その結果、各ブロックは縦長の形状とされている。そして更新時のブロックの移動方向は、長手方向と垂直な方向、すなわち横方向とされている。例えば撮像部が横方向にしか移動できないなどの理由で、妨害行為が横方向に限られる場合、横方向の移動のみが検出できればよい。そこで、図１７に示されるように、変化の方向に対して平行な辺より垂直な辺が長くなる形状のブロックとすることができる。

図１８は、ブロックの形状を示す図である。図１８においては、画面が左半分と右半分に区分され、それぞれが８個のブロックb11乃至b81,b12乃至b82に分割されている。その結果、各ブロックは横長の形状とされている。そして更新時のブロックの移動方向は、長手方向と垂直な方向、すなわち縦方向とされている。例えば撮像部が縦方向にしか移動できないなどの理由で、妨害行為が縦方向に限られる場合、縦方向の移動のみが検出できればよい。そこで、図１８に示されるように、変化の方向に対して平行な辺より垂直な辺が長くなる形状のブロックとすることができる。

[本発明のプログラムへの適用]

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVDを含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなる記録媒体により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROMや、ハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

２１ 画像処理装置， ３１ 取得部， ３２ 画像処理部， ４１ 撮像信号処理部， ４２ データ保存部， ４３ 画像解析部， ６１ 更新領域選択部， ６２ ヒストグラム保存部， ６３ 画像分割部， ６４ ヒストグラム演算部， ６５ 変化判定部， ６６ 変化領域保存部， ６７ アラーム出力部， ９１ カウンタ部９１， ９２ 閾値判定部， １１１ 類似度演算部， １１２ 閾値判定部

Claims (11)

1. 画像の画像データを取得する取得手段と、
   取得された前記画像データのヒストグラムを演算するヒストグラム演算手段と、
   演算された前記ヒストグラムを順次更新して保存するヒストグラム保存手段と、
   演算された前記ヒストグラムと、保存されていた過去の前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定手段と
   を備える画像処理装置。
2. 取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割手段と、
   新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちの一部のＭ（Ｍ＞１）個の前記ブロックを、更新する前記ブロックとして順次指定する指定手段と
   をさらに備え、
   前記ヒストグラム演算手段は、指定されたＭ個の前記ブロックの前記ヒストグラムを演算し、
   前記変化判定手段は、演算されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する
   請求項１に記載の画像処理装置。
3. 前記指定手段は、順次指定するＭ個の前記ブロックのうち、少なくとも２つの前記ブロックの前記画像上の位置の変化の方向が異なるように、前記ブロックを指定する
   請求項２に記載の画像処理装置。
4. 前記指定手段は、Ｍ＝４とし、前記画像を４つのグループに区分し、各グループから１つの前記ブロックを指定する
   請求項３に記載の画像処理装置。
5. 前記分割手段は、前記グループにおいて、できるだけ離れた位置の前記ブロックを先に選択することで前記ブロックを順次指定する
   請求項４に記載の画像処理装置。
6. 前記分割手段は、前記ブロックを、前記変化の方向に対して平行な辺より垂直な辺が長くなるように分割する
   請求項３に記載の画像処理装置。
7. 前記変化判定手段は、
   演算された前記ブロックの前記ヒストグラムと、保存されていた過去の前記ブロックの前記ヒストグラムの前記類似度を演算する類似度演算手段と、
   演算された前記類似度を類似度閾値と比較し、前記類似度が前記類似度閾値より大きいとき、前記画像の前記ブロックに変化があったと判定する類似度閾値判定手段と
   を備える請求項５に記載の画像処理装置。
8. 前記画像に変化があったとき、アラームを出力するアラーム出力手段を
   さらに備える請求項７に記載の画像処理装置。
9. 前記アラーム出力手段は、
   変化があったと判定された前記ブロックの数をカウントするカウント手段と、
   前記カウント手段によりカウントされた値をアラーム閾値と比較し、前記カウントされた値が前記アラーム閾値より大きいとき前記アラームを出力するアラーム閾値判定手段と
   を備える請求項８に記載の画像処理装置。
10. 画像の画像データを取得する取得ステップと、
    取得された前記画像データのヒストグラムを演算するヒストグラム演算ステップと、
    演算された前記ヒストグラムを順次更新して保存するヒストグラム保存ステップと、
    演算された前記ヒストグラムと、保存されていた過去の前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定ステップと
    を含む画像処理方法。
11. 画像の画像データを取得する取得ステップと、
    取得された前記画像データのヒストグラムを演算するヒストグラム演算ステップと、
    演算された前記ヒストグラムを順次更新して保存するヒストグラム保存ステップと、
    演算された前記ヒストグラムと、保存されていた過去の前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定ステップと
    をコンピュータに実行させるプログラム。

Images