JP2012033100A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents
画像処理装置、画像処理方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2012033100A JP2012033100A JP2010173749A JP2010173749A JP2012033100A JP 2012033100 A JP2012033100 A JP 2012033100A JP 2010173749 A JP2010173749 A JP 2010173749A JP 2010173749 A JP2010173749 A JP 2010173749A JP 2012033100 A JP2012033100 A JP 2012033100A
- Authority
- JP
- Japan
- Prior art keywords
- backgrounded
- unit
- background
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像中の新たな変化を持続的に検出しつつ、画像中の実際の物体の状態と、画像中の物体の状態の解析結果とに矛盾が生じることを防止する。
【解決手段】画像中で長時間静止している物体を背景化した後、背景化した物体の形状情報及び経過時間情報を背景化物体情報として生成し、背景化物体記憶部420に記憶しておく。そして、入力した画像の物体情報と、記憶しておいた背景化物体情報とを照合し、背景化物体情報に合致する物体情報がない場合には、当該背景化物体情報に解析ルールを適用し、背景化した物体の状態を解析する。
【選択図】図1
【解決手段】画像中で長時間静止している物体を背景化した後、背景化した物体の形状情報及び経過時間情報を背景化物体情報として生成し、背景化物体記憶部420に記憶しておく。そして、入力した画像の物体情報と、記憶しておいた背景化物体情報とを照合し、背景化物体情報に合致する物体情報がない場合には、当該背景化物体情報に解析ルールを適用し、背景化した物体の状態を解析する。
【選択図】図1
Description
本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、画像処理によって画像中の物体の状態変化を解析するために用いて好適なものである。
近年、画像処理によって画像中の物体の状態変化を解析することが行われるようになった。フレーム間差分法や背景差分法等により画像の変化を検出し、その変化を画像中の物体の状態変化(例えば物体の出現や消滅)として解析する。特に、背景差分法を用いた場合には、画像中に出現した後に静止し続けている物体も検出できるので、物体の置き去りや放置を知ることができる。
背景差分法では、物体の検出精度が、入力画像との比較に用いる背景画像に大きく依存する。そのため、より適切な背景画像を用いるための方法が提案されている。
背景差分法では、物体の検出精度が、入力画像との比較に用いる背景画像に大きく依存する。そのため、より適切な背景画像を用いるための方法が提案されている。
特許文献1では、適応的に背景モデルを生成する方法が開示されている。また、特許文献2では、背景画像とすべきでない物体の背景画像への影響を低減する方法が開示されている。
特許文献1に開示された方法により、静止している物体を検出し続けた後に、当該静止している物体を背景画像にすることができる。また、特許文献2の方法により、出現頻度の低い物体を背景画像にすることなく、長時間静止している(即ち出現頻度が高い)物体を背景画像にすることができる。特許文献1、2に開示された方法では、ともに、静止している物体を背景画像にすることで、その後に画像中に起きる新たな変化を検出できるようにしている。
特許文献1に開示された方法により、静止している物体を検出し続けた後に、当該静止している物体を背景画像にすることができる。また、特許文献2の方法により、出現頻度の低い物体を背景画像にすることなく、長時間静止している(即ち出現頻度が高い)物体を背景画像にすることができる。特許文献1、2に開示された方法では、ともに、静止している物体を背景画像にすることで、その後に画像中に起きる新たな変化を検出できるようにしている。
しかしながら、背景画像になった時点で入力画像との差分がなくなるので、静止している物体は、物体として検出されなくなってしまう。そうすると、実際には、物体は静止している(即ち存在し続けている)にも関わらず、物体が消滅したとして解析されてしまうことになる。その後、物体が移動する等して実際に画像中に存在しなくなった場合、画面上ではそれまで物体の陰になっていた部分が新たに見えるようになり、それが変化として検出される。ところが、物体が消滅したと解析した後なので、その変化を、新規の物体の出現として解析されることになり、物体の状態と物体の状態の解析結果とが矛盾をきたすようになってしまう。
これに対して、特許文献1では、静止している物体として検出させ続ける時間を制御する方法は開示されているが、背景画像化して物体として検出されなくなった際の解析方法については開示されていない。また、特許文献2でも、静止している物体として検出させ続けるために物体を検出した領域の画像処理を停止する方法は開示されているが、特許文献1と同様に、背景画像化して物体として検出されなくなった際の解析方法については開示されていない。
本発明は、このような問題点に鑑みてなされたものであり、画像中の新たな変化を持続的に検出しつつ、画像中の実際の物体の状態と、画像中の物体の状態の解析結果とに矛盾が生じることを防止することを目的とする。
本発明は、このような問題点に鑑みてなされたものであり、画像中の新たな変化を持続的に検出しつつ、画像中の実際の物体の状態と、画像中の物体の状態の解析結果とに矛盾が生じることを防止することを目的とする。
本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像から背景差分法により物体を検出する物体検出手段と、前記物体検出手段により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する背景化手段と、前記物体検出手段により検出された物体が前記背景化された物体に対応するか否かを判断する判断手段と、前記物体検出手段により検出された物体、及び前記背景化された物体の状態を解析する解析手段と、を有し、前記解析手段は、前記判断手段により、前記物体検出手段により検出された物体が前記背景化手段により背景化された物体に対応しないと判断された場合に、前記背景化された物体の状態を解析し、対応すると判断された場合には、前記背景化された物体の状態を解析しないことを特徴とする。
本発明によれば、背景化された物体に対し、検出された物体が背景化された物体に対応しないと判断された場合に、背景化された物体の状態を解析するようにした。したがって、画面上の新たな物体の状態の変化を持続的に検出しつつ、実際の物体の状態と、画像から検出した物体の状態の解析結果とに矛盾が生じることを防止することができる。
(第1の実施形態)
以下、図1〜図5を参照して、本発明の第1の実施形態について説明する。
図1は、第1の実施形態に関わる画像処理装置の構成の一例を示すブロック図である。
画像処理装置100は、画像入力部110、物体検出部120、状態解析部130、及び解析結果出力部140を有する。画像処理装置100は、画像を入力とし、その解析結果を出力する。
以下、図1〜図5を参照して、本発明の第1の実施形態について説明する。
図1は、第1の実施形態に関わる画像処理装置の構成の一例を示すブロック図である。
画像処理装置100は、画像入力部110、物体検出部120、状態解析部130、及び解析結果出力部140を有する。画像処理装置100は、画像を入力とし、その解析結果を出力する。
画像入力部110は、画像処理装置100に接続された図示しない外部装置(ビデオカメラや、ビデオテープ・DVD・半導体メモリ等を用いた画像記憶再生装置)から画像データを連続的に取り込む。画像入力部110は、取り込んだ画像を、物体検出部120が取り扱うことができる所定の画像形式に変換した上で画像データとして物体検出部120に供給する。画像入力部110は、例えば、入力インターフェース及び画像変換装置を用いて実現される。
物体検出部120及び状態解析部130については後述する。
物体検出部120及び状態解析部130については後述する。
解析結果出力部140は、状態解析部130が出力する解析情報を、画像処理装置100に接続された図示しない「画像処理結果を利用する装置」が取り扱うことができる所定の形式に変換した上で解析結果として出力する。解析結果出力部140は、例えば、出力インターフェース及びデータ変換装置を用いて実現される。例えば、画像処理結果を利用する装置として画像記憶再生装置を画像処理装置100に接続する場合、解析結果出力部140は、静止している物体の出現と消失の検索用インデックス形式に解析情報を変換して出力する。また、解析結果出力部140は、入力されたイベントをトリガーに電子メールを発信することにより解析情報を出力することもできる。また、警告音を再生するイベント処理装置を画像処理装置100に接続する場合、解析結果出力部140は、静止している物体の出現と消失のイベント形式に解析情報を変換して出力する。
続いて物体検出部120の構成と動作について、図2及び図3を参照しながら説明する。
図2は、物体検出部120の詳細な構成を示すブロック図である。
物体検出部120は、サンプリング部200、サンプリングデータ記憶部210、差分計算部220、物体データ集約部230、サンプリングデータ更新部240、及び背景化物体データ集約部250を有する。
図2は、物体検出部120の詳細な構成を示すブロック図である。
物体検出部120は、サンプリング部200、サンプリングデータ記憶部210、差分計算部220、物体データ集約部230、サンプリングデータ更新部240、及び背景化物体データ集約部250を有する。
物体検出部120は、画像入力部110からの画像データを入力とし、背景差分法によって検出した物体情報と背景化物体情報とを状態解析部130に対して出力する。背景化物体情報を用いる点が本実施形態の特徴の一つである。物体検出部120は、例えば、プログラム制御により動作するデータ処理装置を用いて実現される。尚、背景差分法に関しては、特許文献1及び2に詳細に開示されているので、以下では、必要最小限の構成と動作について説明し、詳細な説明を省略する。背景差分法は、無論これらに開示されているものに限定されるものではない。
サンプリング部200は、画素単位、又は複数の画素からなるブロック単位で、画像入力部110からの画像データの特徴量を抽出する。特徴量としては、例えば、画素毎、又はブロック毎の輝度や色相の値を用いることができる。サンプリング部200で抽出された特徴量は、差分計算部220を経て、サンプリングデータ更新部240によって、サンプリングデータとして、サンプリングデータ記憶部210に記憶される。
まず、サンプリングデータ記憶部210に記録されるサンプリングデータについて説明する。サンプリングデータ記憶部210には、サンプリング単位である「画素毎又はブロック毎」の背景の特徴量(背景特徴量)と、検出された物体の特徴量(物体特徴量)とが記憶される。このとき、物体特徴量には、その特徴量を持つ物体が最初に検出されてからの経過時間情報が併せて記憶される。
まず、サンプリングデータ記憶部210に記録されるサンプリングデータについて説明する。サンプリングデータ記憶部210には、サンプリング単位である「画素毎又はブロック毎」の背景の特徴量(背景特徴量)と、検出された物体の特徴量(物体特徴量)とが記憶される。このとき、物体特徴量には、その特徴量を持つ物体が最初に検出されてからの経過時間情報が併せて記憶される。
差分計算部220は、サンプリング部200からの「画素毎又はブロック毎の特徴量」と、サンプリングデータ記憶部210に記憶された「該当画素又は該当ブロックの背景特徴量」とを比較する。サンプリングデータ記憶部210には、1画面分の特徴量が記憶されている。差分計算部220は、サンプリング部200が画像データの画像から抽出した特徴量を入力し、サンプリング部200が特徴量を抽出した位置に対応する特徴量をサンプリングデータ記憶部210から読み出して、両者を比較する。ここで両者が予め設定された閾値の範囲内であれば、該当画素又は該当ブロックの特徴量は、背景特徴量と同一又は類似なので、差分計算部220は、該当画素又は該当ブロックは背景であると判断する。逆に、両者が予め設定された閾値の範囲外であれば、差分計算部220は、該当画素又は該当ブロックが、背景とは異なる物体であると判断し、該当画素又は該当ブロックの「座標情報と経過時間情報」を物体データ集約部230に出力する。
物体データ集約部230は、差分計算部220からの「物体が存在する『画素又はブロック』の座標情報」を集約し、物体が存在する画素又はブロックのうち、相互に隣接する画素同士又はブロック同士を連結処理することで物体毎の形状情報を生成する。また、物体データ集約部230は、物体が存在する「画素又はブロック」の経過時間情報を集約し、最初に検出されてからの経過時間情報を物体毎に生成する。物体データ集約部230は、これらの物体毎の「形状情報及び経過時間情報」を物体毎の物体情報として状態解析部130に出力する。
一方、サンプリング部200からの「画素毎又はブロック毎の特徴量」は、差分計算部220を経てサンプリングデータ更新部240にも渡される。サンプリングデータ更新部240は、サンプリングデータ記憶部210に記憶された「画素毎又はブロック毎の背景特徴量と物体特徴量」の更新を行う。以下、図3を参照しながらサンプリングデータ更新部240の詳細な動作について説明する。
一方、サンプリング部200からの「画素毎又はブロック毎の特徴量」は、差分計算部220を経てサンプリングデータ更新部240にも渡される。サンプリングデータ更新部240は、サンプリングデータ記憶部210に記憶された「画素毎又はブロック毎の背景特徴量と物体特徴量」の更新を行う。以下、図3を参照しながらサンプリングデータ更新部240の詳細な動作について説明する。
図3は、サンプリングデータ更新部240の動作の一例を説明するフローチャートである。まず、サンプリングデータ更新部240は、差分計算部220からの特徴量が、サンプリングデータ記憶部210に記憶されている背景特徴量と類似であるか否かを判断する(ステップS300)。この判断の結果、差分計算部220からの特徴量が、サンプリングデータ記憶部210に記憶されている背景特徴量と類似であった場合には、差分計算部220からの特徴量は背景のものであるので、特徴量の更新を行わず、そのまま処理を終了する。一方、差分計算部220からの特徴量が、サンプリングデータ記憶部210に記憶されている背景特徴量と類似でなかった場合には、差分計算部220からの特徴量は物体のものであるのでステップS310に進む。
ステップS310に進むと、サンプリングデータ更新部240は、差分計算部220からの特徴量が、サンプリングデータ記憶部210に記憶されている物体特徴量と類似であるか否かを判断する。この判断の結果、差分計算部220からの特徴量が、サンプリングデータ記憶部210に記憶されている物体特徴量と類似でなかった場合には、差分計算部220からの特徴量は、それまで検出されていた物体とは別の新たな物体のものである。よって、サンプリングデータ更新部240は、サンプリングデータ記憶部210に記憶されている物体特徴量を、差分計算部220からの新たな特徴量に置き換える(ステップS330)。これと共に、サンプリングデータ更新部240は、当該特徴量を持つ物体が最初に検出されてからの経過時間情報をリセットする。
一方、差分計算部220からの特徴量が、サンプリングデータ記憶部210に記憶されている物体特徴量と類似であった場合には、差分計算部220からの特徴量は、それまでと同じ物体のものである。よって、サンプリングデータ更新部240は、サンプリングデータ記憶部210の物体特徴量の経過時間情報をインクリメントする(ステップS320)。ここで、この物体特徴量の経過時間情報が増加を続ける場合は、類似の特徴量が連続して入力される場合であり、同じ物体が、同じ画素の位置又は同じブロックの位置に存在し続けている場合(即ち物体がその場に静止している場合)である。物体の静止状態が長く続く場合、その後に画像中に起きる新たな変化を適切に検出するために、画像中の静止している物体の部分を新たな背景画像として置き換える必要がある。
そこで、続くステップS340では、サンプリングデータ更新部240は、差分計算部220により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する。たとえば、サンプリングデータ更新部240は、サンプリングデータ記憶部210の物体特徴量の経過時間情報が、予め設定された「背景化する時間閾値」を越えたか否かを判断する。この判定の結果、物体特徴量の経過時間情報が、時間閾値以内であった場合には、当該物体特徴量の物体を背景化する必要がないのでそのまま処理を終了する。一方、物体特徴量の経過時間情報が、時間閾値を越えていた場合には、サンプリングデータ更新部240は、サンプリングデータ記憶部210に記憶された背景特徴量を物体特徴量の情報で置き換え、当該物体特徴量の情報をリセットする(ステップS350)。例えば、置き換え前の背景特徴量が500、物体特徴量が300であれば、置き換え後の背景特徴量は300になる。さらに、サンプリングデータ更新部240は、背景化した「画素又はブロック」の「座標情報と経過時間情報」を、背景化物体データ集約部250に出力して処理を終了する(ステップS360)。
背景化物体データ集約部250は、サンプリングデータ更新部240からの「背景化した物体が存在する『画素又はブロック』の座標情報」を集約する。そして、背景化物体データ集約部250は、背景化した物体が存在する画素又はブロックのうち、相互に隣接する画素同士又はブロック同士を連結処理することで物体毎の形状情報を生成する。また、背景化物体データ集約部250は、背景化した物体が存在する「画素又はブロック」の経過時間情報を集約し、最初に検出されてからの経過時間情報を、背景化した物体毎に生成する。背景化物体データ集約部250は、これら背景化した物体毎の「形状情報及び経過時間情報」を、背景化した物体毎の背景化物体情報として状態解析部130に出力する。
続いて状態解析部130の構成と動作の一例について、図4および図5を用いて説明する。
図4は、状態解析部130の詳細な構成を示すブロック図である。
状態解析部130は、解析ルール記憶部400、解析ルール適用部410、背景化物体記憶部420、及び背景化物体検索部430を有する。状態解析部130は、物体検出部120からの「物体情報と背景化物体情報」を入力とし、解析ルールを適用した結果の解析情報を解析結果出力部140に対して出力する。状態解析部130は、例えば、プログラム制御により動作するデータ処理装置を用いて実現される。
図4は、状態解析部130の詳細な構成を示すブロック図である。
状態解析部130は、解析ルール記憶部400、解析ルール適用部410、背景化物体記憶部420、及び背景化物体検索部430を有する。状態解析部130は、物体検出部120からの「物体情報と背景化物体情報」を入力とし、解析ルールを適用した結果の解析情報を解析結果出力部140に対して出力する。状態解析部130は、例えば、プログラム制御により動作するデータ処理装置を用いて実現される。
まず、背景化物体記憶部420から説明する。背景化物体記憶部420は、物体検出部120から出力された背景化物体情報を記憶する。背景化物体記憶部420に記憶された背景化物体情報は、同じ座標・形状値を持つ背景化物体情報が背景化物体記憶部420に入力された際に削除される。
背景化物体検索部430は、背景化物体記憶部420に対して、解析ルール適用部410から指定された「座標・形状や経過時間等の値」をキーに検索を行い、該当する背景化物体情報の全部又は一部を解析ルール適用部410に返す。尚、解析ルール適用部410は、そのとき処理している物体情報の座標・形状や経過時間等をキーとして用いる。解析ルール記憶部400には、後述の解析ルール適用部410で用いる解析ルールが予め設定・記憶されている。ここで、解析とは、画面上の変化を物体に生じた状態変化として判断することをいう。例えば、解析ルール適用部410は、画面上で新たに検出された物体が同じ場所で一定時間以上存在し続けた(所定時間以上静止している)場合、その場に持ち込まれた物体が放置されたと判断するといった解析を行う。解析ルールは、このような物体の状態の判断基準となるものであり、例えば、物体の座標や経過時間の値の範囲で表現される。
背景化物体検索部430は、背景化物体記憶部420に対して、解析ルール適用部410から指定された「座標・形状や経過時間等の値」をキーに検索を行い、該当する背景化物体情報の全部又は一部を解析ルール適用部410に返す。尚、解析ルール適用部410は、そのとき処理している物体情報の座標・形状や経過時間等をキーとして用いる。解析ルール記憶部400には、後述の解析ルール適用部410で用いる解析ルールが予め設定・記憶されている。ここで、解析とは、画面上の変化を物体に生じた状態変化として判断することをいう。例えば、解析ルール適用部410は、画面上で新たに検出された物体が同じ場所で一定時間以上存在し続けた(所定時間以上静止している)場合、その場に持ち込まれた物体が放置されたと判断するといった解析を行う。解析ルールは、このような物体の状態の判断基準となるものであり、例えば、物体の座標や経過時間の値の範囲で表現される。
解析ルール適用部410は、物体検出部120からの物体情報に対して、前述の解析ルール記憶部400に記憶された解析ルールと、背景化物体検索部430による背景化物体情報の検索結果とを適用して解析処理を行う。以下、図5を参照しながら解析ルール適用部410の詳細な動作について説明する。
図5は、解析ルール適用部410の動作の一例を説明するフローチャートである。
最初に、解析ルール適用部410は、背景化物体検索部430を用いて背景化物体情報を検索する(ステップS500)。
図5は、解析ルール適用部410の動作の一例を説明するフローチャートである。
最初に、解析ルール適用部410は、背景化物体検索部430を用いて背景化物体情報を検索する(ステップS500)。
そして、解析ルール適用部410は、背景化物体検索部430の検索の結果に基づいて、背景化物体記憶部420に背景化物体情報があったか否かを判断する(ステップS510)。この判断の結果、背景化物体情報がなかった場合には、解析ルール適用部410は、物体検出部120からの物体情報があるか否かを判断する(ステップS530)。この判断の結果、物体情報がなかった場合にはそのまま処理を終了する。一方、物体情報があった場合には、解析ルール適用部410は、その物体情報に対して解析ルールを適用し、該当する物体の状態を解析する(ステップS540)。例えば、解析ルール適用部410は、物体が放置されたか解析する。そして、解析ルール適用部410は、物体の状態の解析結果である解析情報を解析結果出力部140に出力する(ステップS550)。
ステップS510で、背景化物体情報があったと判断された場合には、ステップS520に進む。そして、解析ルール適用部410は、物体検出部120からの物体情報が背景化物体記憶部420に記憶されている背景化物体情報と対応するか否かを判断する。物体情報と背景化物体情報とが対応するか否かは、例えば、それらの座標と形状値とが等しいか否かで判断する。
この判断の結果、背景化物体情報と物体情報が対応しなかった場合、解析ルール適用部410は、実際には画像中に物体が存在する状態であると判断する。逆に、背景化物体情報と物体情報が対応した場合、解析ルール適用部410は、実際には画像中に物体が存在しない状態であると判断する。図3のステップS350の処理で物体が背景化した時点で、入力した画像の特徴量と、サンプリングデータ記憶部210に記憶された背景特徴量との差分が閾値の範囲内になるので、物体は検出されなくなる。その結果、当該物体の物体情報が物体検出部120出力されないので、背景化物体情報に対応する物体情報がないことになる。その後、背景化していた物体が移動して、当該物体の陰になっていた部分(本来の背景)が見えるようになると、その部分の背景特徴量と、入力した画像の特徴量との差分が生じ、物体情報として出力されるようになる。この部分は、座標値と形状値とが対応する。例えば、床の上に箱が放置され、当該箱が背景化した場合では、背景である床面が物体である箱の陰になって見えなくなるが、箱が取り除かれると、再び床面が見えるようになる。ここで箱と、当該箱の陰になった床面の「画面上の座標と形状」は対応する。この対応した物体は本来の背景であるので、物体は存在しないと判断する。
この判断の結果、背景化物体情報と物体情報が対応しなかった場合、解析ルール適用部410は、実際には画像中に物体が存在する状態であると判断する。逆に、背景化物体情報と物体情報が対応した場合、解析ルール適用部410は、実際には画像中に物体が存在しない状態であると判断する。図3のステップS350の処理で物体が背景化した時点で、入力した画像の特徴量と、サンプリングデータ記憶部210に記憶された背景特徴量との差分が閾値の範囲内になるので、物体は検出されなくなる。その結果、当該物体の物体情報が物体検出部120出力されないので、背景化物体情報に対応する物体情報がないことになる。その後、背景化していた物体が移動して、当該物体の陰になっていた部分(本来の背景)が見えるようになると、その部分の背景特徴量と、入力した画像の特徴量との差分が生じ、物体情報として出力されるようになる。この部分は、座標値と形状値とが対応する。例えば、床の上に箱が放置され、当該箱が背景化した場合では、背景である床面が物体である箱の陰になって見えなくなるが、箱が取り除かれると、再び床面が見えるようになる。ここで箱と、当該箱の陰になった床面の「画面上の座標と形状」は対応する。この対応した物体は本来の背景であるので、物体は存在しないと判断する。
以上のことから、ステップS520で、背景化物体情報と物体情報が対応した場合には、実際には画像中に物体が存在しないのでそのまま処理を終了する。一方、背景化物体情報と物体情報が対応しなかった場合には、ステップS540に進み、解析ルール適用部410は、背景化物体情報、物体情報に対して解析ルールを適用し、該当する物体の状態を解析する。例えば、物体が持ち去られたかどうかを解析する。そして、解析ルール適用部410は、背景化された物体の状態の解析結果である解析情報を解析結果出力部140に出力する(ステップS550)。
以上のように本実施形態では、画像中で長時間静止している物体を背景化した後、背景化した物体の形状情報及び経過時間情報を背景化物体情報として生成し、背景化物体記憶部420に記憶しておく。そして、入力した画像の物体情報と、記憶しておいた背景化物体情報とを照合し、背景化物体情報に対応する物体情報がない場合には、当該背景化物体情報に解析ルールを適用し、背景化した物体の状態を解析する。したがって、静止している物体が背景化しても引き続き物体が存在するものとして状態解析処理を継続できるので、実際の物体の状態と物体の状態の解析結果とに矛盾が生じないようになる。
尚、背景化物体情報と座標値及び形状値が対応する物体情報があるか否かを判定するようにしたが、必ずしもこれらが厳密に合致する物体情報があるか否かを判定する必要はなく、これらが所定の範囲内にある物体情報があるか否かを判定するようにしてもよい。
尚、背景化物体情報と座標値及び形状値が対応する物体情報があるか否かを判定するようにしたが、必ずしもこれらが厳密に合致する物体情報があるか否かを判定する必要はなく、これらが所定の範囲内にある物体情報があるか否かを判定するようにしてもよい。
尚、本実施形態では、例えば、画像入力部110を用いることにより画像入力手段の一例が実現される。また、例えば、サンプリングデータ更新部240が、図3のステップS330、S350の処理を行うことにより、物体検出手段、背景化手段の一例がそれぞれ実現され、背景化物体検索部430を用いることにより判断手段の一例が実現される。また、例えば、背景化物体記憶部420を用いることにより記憶手段の一例が実現される。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態と第1の実施形態とは、背景化物体情報を生成、検索する部分が異なるが、その他の部分は同一である。そのため、本実施形態では、第1の実施形態と同一の部分については、図1〜図5に付した符号を付す等して詳細な説明を省略し、第1の実施形態との差異部分のみを説明する。
本実施形態の画像処理装置の構成を示すブロック図は、図1に示した物体検出部120を図6に示す物体検出部125に、図1に示した状態解析部130を図7に示す状態解析部135にそれぞれ置き換えたものである。
本実施形態の物体検出部125は、第1の実施形態の物体検出部120におけるサンプリングデータ記憶部210、サンプリングデータ更新部240の代わりに、サンプリングデータ記憶部600、サンプリングデータ更新部610をそれぞれ有する。また、本実施形態の物体検出部125は、背景化物体データ集約部250の前段に、基準背景差分計算部620をさらに有する。
次に、本発明の第2の実施形態について説明する。本実施形態と第1の実施形態とは、背景化物体情報を生成、検索する部分が異なるが、その他の部分は同一である。そのため、本実施形態では、第1の実施形態と同一の部分については、図1〜図5に付した符号を付す等して詳細な説明を省略し、第1の実施形態との差異部分のみを説明する。
本実施形態の画像処理装置の構成を示すブロック図は、図1に示した物体検出部120を図6に示す物体検出部125に、図1に示した状態解析部130を図7に示す状態解析部135にそれぞれ置き換えたものである。
本実施形態の物体検出部125は、第1の実施形態の物体検出部120におけるサンプリングデータ記憶部210、サンプリングデータ更新部240の代わりに、サンプリングデータ記憶部600、サンプリングデータ更新部610をそれぞれ有する。また、本実施形態の物体検出部125は、背景化物体データ集約部250の前段に、基準背景差分計算部620をさらに有する。
サンプリングデータ記憶部600は、第1の実施形態におけるサンプリングデータ記憶部210に記憶されるサンプリングデータ(背景特徴量及び物体特徴量)に加えて、基準となる背景の特徴量が記憶される。ここで基準となる背景とは、物体がまったく検出されていない状態の背景のことである。基準となる背景の特徴量は、例えば、画像処理装置100の起動時に、物体検出部120が自動的に生成して記憶する。ただし、必ずしもこのようにする必要はなく、利用者の指示により、基準となる背景の特徴量を生成して記憶するようにしてもよい。基準となる背景の特徴量は、後述の基準背景差分計算部620に対して、その時点の背景特徴量とともに出力される。尚、以下の説明では、「基準となる背景の特徴量」を必要に応じて「基準背景特徴量」と称する。
サンプリングデータ更新部610の動作は、第1の実施形態のサンプリングデータ更新部240の動作から、図3のステップS360の処理を削除した動作となる。
基準背景差分計算部620は、サンプリングデータ記憶部600からの基準背景特徴量と、その時点の背景特徴量との差分を計算する。この差分の計算方法は、差分計算部220と同様である。基準背景差分計算部620は、この差分が閾値の範囲外となった場合、該当画素又は該当ブロックの「座標情報と経過時間情報」を後続の背景化物体データ集約部250に出力する。そして、背景化物体データ集約部250において背景化物体情報が生成される。
基準背景差分計算部620は、サンプリングデータ記憶部600からの基準背景特徴量と、その時点の背景特徴量との差分を計算する。この差分の計算方法は、差分計算部220と同様である。基準背景差分計算部620は、この差分が閾値の範囲外となった場合、該当画素又は該当ブロックの「座標情報と経過時間情報」を後続の背景化物体データ集約部250に出力する。そして、背景化物体データ集約部250において背景化物体情報が生成される。
物体検出部125は、画像データの入力の都度、背景化物体情報を生成する。このため、本実施形態の状態解析部135は、背景化物体記憶部420を持たない。よって、背景化物体検索部700は、物体検出部125からの背景化物体情報に対して直接背景化物体の検索を行う。また、解析ルール適用部410は、図5のステップS500において、背景化物体検索部700を用いて背景化物体情報を検索するが、それ以外の動作は第1の実施形態の動作と同じである。
以上のように本実施形態では、物体の存在しない状態の基準背景画像とその時点の背景画像の差分から背景化物体情報を生成するようにした。よって、画像データの入力の都度、背景化物体情報を生成することができる。したがって、背景化物体情報を記憶する必要がなくなり、メモリ容量の削減を図れる。本実施形態は、特に、基準となる背景が安定していて変動がない入力画像について適用するのが好適である。
以上のように本実施形態では、物体の存在しない状態の基準背景画像とその時点の背景画像の差分から背景化物体情報を生成するようにした。よって、画像データの入力の都度、背景化物体情報を生成することができる。したがって、背景化物体情報を記憶する必要がなくなり、メモリ容量の削減を図れる。本実施形態は、特に、基準となる背景が安定していて変動がない入力画像について適用するのが好適である。
尚、本実施形態では、例えば、画像入力部110を用いることにより画像入力手段の一例が実現される。また、例えば、サンプリングデータ更新部610が、図3のステップS330、S350の処理を行うことにより、物体検出手段、背景化手段の一例がそれぞれ実現され、背景化物体検索部700を用いることにより判断手段の一例が実現される。
(その他の実施例)
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
100 画像処理装置、120 物体検出部、130 状態解析部
Claims (5)
- 画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から背景差分法により物体を検出する物体検出手段と、
前記物体検出手段により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する背景化手段と、
前記物体検出手段により検出された物体が前記背景化された物体に対応するか否かを判断する判断手段と、
前記物体検出手段により検出された物体、及び前記背景化された物体の状態を解析する解析手段と、を有し、
前記解析手段は、前記判断手段により、前記物体検出手段により検出された物体が前記背景化手段により背景化された物体に対応しないと判断された場合に、前記背景化された物体の状態を解析し、対応すると判断された場合には、前記背景化された物体の状態を解析しないことを特徴とする画像処理装置。 - 前記背景化手段により物体が背景化されると、当該背景化された物体の位置の情報を記憶する記憶手段を有し、
前記判断手段は、前記記憶手段に記憶された情報に基づいて、前記物体検出手段により検出された物体が、前記背景化手段により背景化された物体に対し、位置及び形状が所定の範囲内にあるか否かを判断することを特徴とする請求項1に記載の画像処理装置。 - 画像を入力する画像入力工程と、
前記画像入力工程により入力された画像から背景差分法により物体を検出する物体検出工程と、
前記物体検出工程により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する背景化工程と、
前記物体検出工程により検出された物体が前記背景化された物体に対応するか否かを判断する判断工程と、
前記判断工程により、前記物体検出工程により検出された物体が前記背景化工程により背景化された物体に対応しないと判断されると、前記背景化された物体の状態を解析する解析工程と、
を有することを特徴とする画像処理方法。 - 前記背景化工程により物体が背景化されると、当該背景化された物体の位置の情報を記憶する記憶工程を有し、
前記判断工程は、前記記憶工程に記憶された情報に基づいて、前記物体検出工程により検出された物体が、前記背景化工程により背景化された物体に対し、位置及び形状が所定の範囲内にあるか否かを判断することを特徴とする請求項3に記載の画像処理方法。 - 画像を入力する画像入力工程と、
前記画像入力工程により入力された画像から背景差分法により物体を検出する物体検出工程と、
前記物体検出工程により検出された物体が背景化条件を満たすと、当該物体を背景化する背景化工程と、
前記物体検出工程により検出された物体が前記背景化された物体に対応するか否かを判断する判断工程と、
前記判断工程により、前記物体検出工程により検出された物体が前記背景化工程により背景化された物体に対応しないと判断されると、前記背景化された物体の状態を解析する解析工程と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010173749A JP2012033100A (ja) | 2010-08-02 | 2010-08-02 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010173749A JP2012033100A (ja) | 2010-08-02 | 2010-08-02 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012033100A true JP2012033100A (ja) | 2012-02-16 |
Family
ID=45846402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010173749A Pending JP2012033100A (ja) | 2010-08-02 | 2010-08-02 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012033100A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013218612A (ja) * | 2012-04-11 | 2013-10-24 | Canon Inc | 画像処理装置および画像処理方法 |
| KR20160089165A (ko) * | 2015-01-19 | 2016-07-27 | 한화테크윈 주식회사 | 이동 물체 탐지 시스템 및 방법 |
| JP2017033559A (ja) * | 2015-07-31 | 2017-02-09 | 富士通株式会社 | 放置物の検出装置、方法及びシステム |
| JP2018022475A (ja) * | 2016-06-08 | 2018-02-08 | アクシス アーベー | 背景モデルを更新するための方法及び装置 |
-
2010
- 2010-08-02 JP JP2010173749A patent/JP2012033100A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013218612A (ja) * | 2012-04-11 | 2013-10-24 | Canon Inc | 画像処理装置および画像処理方法 |
| KR20160089165A (ko) * | 2015-01-19 | 2016-07-27 | 한화테크윈 주식회사 | 이동 물체 탐지 시스템 및 방법 |
| KR102366521B1 (ko) * | 2015-01-19 | 2022-02-23 | 한화테크윈 주식회사 | 이동 물체 탐지 시스템 및 방법 |
| JP2017033559A (ja) * | 2015-07-31 | 2017-02-09 | 富士通株式会社 | 放置物の検出装置、方法及びシステム |
| JP2018022475A (ja) * | 2016-06-08 | 2018-02-08 | アクシス アーベー | 背景モデルを更新するための方法及び装置 |
| US10489916B2 (en) | 2016-06-08 | 2019-11-26 | Axis Ab | Method and apparatus for updating a background model |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019047789A1 (zh) | 关于增强现实场景的处理方法、终端设备、系统及计算机存储介质 | |
| JP6024658B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
| JP2019536187A (ja) | マッチムーブ用のハイブリッド追跡器のシステム及び方法 | |
| US8417026B2 (en) | Gesture recognition methods and systems | |
| CN109767453B (zh) | 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质 | |
| JP6631641B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2009147911A (ja) | 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム | |
| CN101615296B (zh) | 追踪点检测设备和方法,程序及记录介质 | |
| JP2012033100A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| CN113657218B (zh) | 一种能够减少冗余数据的视频对象检测方法及装置 | |
| JP2018124786A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2010016660A (ja) | シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム | |
| WO2023188264A1 (ja) | 情報処理システム | |
| JP5460239B2 (ja) | スクリーン記録装置 | |
| JP2006244074A (ja) | 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 | |
| JP4449483B2 (ja) | 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム | |
| CN114461987B (zh) | 内容检测方法、装置和计算机可读存储介质 | |
| JP5111269B2 (ja) | 画像処理装置、画像処理方法 | |
| US11361797B2 (en) | Moving image reproduction apparatus, moving image reproduction method, moving image reproduction system, and storage medium | |
| JP6098320B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| CN114973145A (zh) | 一种图像去重方法、装置、设备及可读存储介质 | |
| CN117058565A (zh) | 一种界面滚动速度确定方法、装置、智能设备及存储介质 | |
| JP2008009938A (ja) | 動画像データ処理装置、動画像データ処理方法、動画像データ処理プログラム、およびこれを記録した記録媒体 | |
| KR101908938B1 (ko) | 배경모델 기반 시간축 최소값 필터링 및 로그 히스토그램을 이용한 전경 객체 검출 방법 | |
| JP6308612B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム |