JP5045371B2 - 動画像の各画素の前景背景分類装置、方法及びプログラム - Google Patents

Description

本発明は、動画像を構成する各フレームの各画素について、前景と背景のいずれに対応するのかを判定して分類する技術に関する。

例えば、監視システムや、交通量の測定システム、ビデオ会議における人の追跡のためには、動画像内の移動する対象物、例えば人、動物、車両等を、それら以外の固定物、例えば、建物、道路、樹木、壁、各種備品等とは区別すること、つまり、動画像の各フレームの各画素が、対象物に対応しているのか、固定物に対応しているのかを判定することが必要となる。なお、以後、分離すべき移動する対象物を前景、それら以外の部分を背景と呼ぶ。

この判定のための従来技術として、あらかじめ背景のみを参照画像として撮影しておき、この参照画像に基づき実際に撮影した動画像の各画素の判定を行う方法が提案されている（例えば、非特許文献１及び２、参照。）。しかしながら、背景の色が、光等の影響により、対象物を撮影する時間内において変化する環境においては、非特許文献１及び２に記載の方法を利用することはできないという問題がある。更に、前景と背景の色が似通っている場合に、前景と背景の区別ができず、判定精度が劣化するという問題もある。

これに対して、動画像の各フレームから、画素値の確率的モデルを生成し、閾値に基づき動画像の各フレームの各画素が前景に対応しているのか、背景に対応しているのかを判断する方法が、非特許文献３に記載されている。

Ｔｈａｎａｒａｔ Ｈｏｒｐｒａｓｅｒｔ、ｅｔ ａｌ、"Ａ Ｓｔａｔｉｓｔｉｃａｌ Ａｐｐｒｏａｃｈ ｆｏｒ Ｒｅａｌ−ｔｉｍｅ Ｒｏｂｕｓｔ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ａｎｄ Ｓｈａｄｏｗ Ｄｅｔｅｃｔｉｏｎ"、Ｐｒｏｃ．ＩＥＥＥ、Ｆｒａｍｅ−Ｒａｔｅ Ａｐｐｌｉｃａｔｉｏｎ Ｗｏｒｋｓｈｏｐ、Ｇｒｅｅｃｅ、１９９９年 Ｙｕｔａｋａ Ｓａｔｏｈ、ｅｔ ａｌ、"Ｒｏｂｕｓｔ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ｂａｓｅｄ ｏｎ Ｂｉ−ｐｏｌａｒ Ｒａｄｉａｌ Ｒｅａｃｈ Ｃｏｒｒｅｌａｔｉｏｎ"、ＴＥＮＣＯＮ ２００５、ＩＥＥＥ Ｒｅｇｉｏｎ １０、２００５年１１月 Ａｈｍｅｄ Ｅｌｇａｍｍａｌ、ｅｔ ａｌ、"Ｂａｃｋｇｒｏｕｎｄ ａｎｄ Ｆｏｒｅｇｒｏｕｎｄ Ｍｏｄｅｌｉｎｇ Ｕｓｉｎｇ Ｎｏｎｐａｒａｍｅｔｒｉｃ Ｋｅｒｎｅｌ Ｄｅｎｓｉｔｙ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｖｉｓｕａｌ Ｓｕｒｖｅｉｌｌａｎｃｅ"、Ｐｒｏｃ．ｏｆ Ｉ ＥＥＥ、Ｖｏｌ．９０、Ｎｏ．７、２００２年７月

非特許文献３に記載の方法は、固定的な単一の閾値に基づき各画素を前景又は背景に分類するものであり、このため、例えば、前景による生ずる影と、背景の色が似ている場合、閾値の値によって前景と判定されたり、背景と判定されたりする等、設定する閾値により結果が異なるといった問題が存在する。

この手法の問題は、明るい色（ハイライトや影）やカメラ特性に対して非常に敏感であることである。従って、背景が高周波な境界を有する領域では、（３次元画像表示のように）高い検出精度を要するアプリケーションには不充分であり、このモデルは高感度な検出ができない。この文献では、背景が非常に高周波な分散を有する場合に、このモデルは高感度な検出を実現できない。少数のガウス分布により背景の分散をモデリングすると不正確となる。さらに、輝度分布が背景モデルによってカバーされるため、背景の分布が非常に広い場合に検出を不充分にする。

したがって、本発明は、前景と背景、それぞれの色や、前景により生ずる影等の影響を受けず、従来技術より正確に、各画素を、前景又は背景に分類する装置及び方法、並びに、該装置としてコンピュータを機能させるプログラムを提供することを目的とする。

本発明における装置によれば、
動画像の各フレームの各画素を、前景に対応する前景画素と背景に対応する背景画素に分類する装置であって、処理対象である複数の処理対象フレームの各画素について、画素値の出現確率を示す画素の分布値を、処理対象フレームから選択した所定数のフレームの同一位置にある画素の画素値に基づき求める分布値生成手段と、画素の分布値、第１の閾値及び第２の閾値により、処理対象フレームの各画素を、前景画素、背景画素、不定である不定画素のいずれかに分類する判定手段と、判定手段による分類結果に基づき、処理対象フレームの各画素を前景画素又は背景画素に振り分ける調整手段とを備えていることを特徴とする。

本発明の装置における他の実施形態によれば、
判定手段は、画素の分布値を、第１の閾値及び第２の閾値により区分することで、該画素を前景画素、背景画素、不定画素のいずれかに分類する第１の手段と、フレームを所定サイズのブロックに分割し、第１の手段による画素の分類結果から、各ブロックについて、隣接フレーム間における各分類数の変化を求め、求めた変化に基づき、各ブロックに適用する第１の閾値及び第２の閾値を更新し、更新後の第１の閾値及び第２の閾値により各ブロックの各画素を、前景画素、背景画素、不定画素のいずれかに分類する第２の手段とを備えていることも好ましい。

また、本発明の装置における他の実施形態によれば、
第２の手段は、前景画素、不定画素、背景画素のいずれか２つを、第１の画素及び第２の画素とし、ブロック内にある第１の画素数の隣接フレーム間における変化の、処理対象フレームに渡る平均値及び標準偏差に基づき、該ブロックの第１の許容範囲を算出し、該ブロック内にある第２の画素数の隣接フレーム間における変化の、処理対象フレームに渡る平均値及び標準偏差に基づき、該ブロックの第２の許容範囲を算出する手段と、ブロック内にある第１の画素数の、１つ前のフレームからの変化である第１の変化数が、該ブロックの第１の許容範囲にない場合、又は、該ブロック内にある第２の画素数の、１つ前のフレームからの変化である第２の変化数が、該ブロックの第２の許容範囲にない場合、該ブロックに対する第１の閾値及び第２の閾値を、第１の変化数が第１の許容範囲内となり、第２の変化数が第２の許容範囲内となるまで更新する手段とを備えていることも好ましい。

更に、本発明の装置における他の実施形態によれば、
調整手段は、不定画素を含む第１の領域内における前景画素数及び背景画素数と、第１の領域内における前景画素及び背景画素の分布に基づき、該不定画素を、前景画素、背景画素、不定画素のいずれかに振り分けることを、第１の領域の大きさを変更しながら繰り返し行う第３の手段を含んでいることも好ましい。

更に、本発明の装置における他の実施形態によれば、
調整手段は、不定画素を含む第２の領域であって、第２の領域に含まれる前景画素数と背景画素数の差の該前景画素数と該背景画素数に対する比が第３の閾値未満となる領域を求め、処理対象フレームの一部又は全部のフレームを選択フレームとし、該不定画素の画素値の選択フレームに渡る平均値及び標準偏差と、第２の領域内にある前景画素の画素値の選択フレームに渡る平均値及び標準偏差と、第２の領域内にある背景画素の画素値の選択フレームに渡る平均値及び標準偏差と、該不定画素と第２の領域内にある前景画素の物理距離と、該不定画素と第２の領域内にある背景画素の物理距離とに基づき、該不定画素を、前景画素又は背景画素に振り分ける第４の手段を含んでいることも好ましい。

更に、本発明の装置における他の実施形態によれば、
調整手段は、フレーム内にある総ての不定画素を前景画素又は背景画素とし、前景画素を含む第３の領域内にある背景画素の割合が第４の閾値より大きい場合には、該前景画素を背景画素とし、背景画素を含む第３の領域内にある前景画素の割合が第４の閾値より大きい場合には、該背景画素を前景画素とする第５の手段を含んでいることも好ましい。

更に、本発明の装置における他の実施形態によれば、
分布値生成手段は、処理対象フレームから選択した前記所定数のフレームの同一位置にある画素の組に含まれる各画素の画素値に基づき、該組の標準偏差を推定し、該組の画素、それぞれについて、推定した該組の標準偏差をその標準偏差とし、該画素の画素値を平均値とするガウス分布又はラプラシアン分布を生成し、該組に含まれる画素のガウス分布又はラプラシアン分布の和に基づき、該組のカーネル分布を生成し、該組と同一位置にある処理対象フレームの画素の画素値を、生成した該組のカーネル分布に代入して、該画素の分布値を求めることも好ましい。

本発明における方法によれば、
動画像の各フレームの各画素を、前景に対応する前景画素と背景に対応する背景画素に分類する方法であって、処理対象である複数の処理対象フレームの各画素について、画素値の出現確率を示す画素の分布値を、処理対象フレームから選択した所定数のフレームの同一位置にある画素の画素値に基づき求める分布値生成ステップと、画素の分布値、第１の閾値及び第２の閾値により、処理対象フレームの各画素を、前景画素、背景画素、不定である不定画素のいずれかに分類する判定ステップと、判定ステップでの分類結果に基づき、処理対象フレームの各画素を前景画素又は背景画素に振り分ける調整ステップとを備えていることを特徴とする。

本発明の方法における他の実施形態によれば、
判定ステップは、画素の分布値を、第１の閾値及び第２の閾値により区分することで、該画素を前景画素、背景画素、不定画素のいずれかに分類する第１のステップと、第１のステップによる分類結果に基づき第１の閾値及び第２の閾値を更新し、更新後の第１の閾値及び第２の閾値により各画素を、前景画素、背景画素、不定画素のいずれかに再分類する第２のステップとを備えていることが好ましい。

また、本発明におけるプログラムによれば、上記装置としてコンピュータを機能させることを特徴とする。

閾値で前景又は背景に硬判定するのではなく、判定が微妙である画素については、一旦、不定と判定し、これら不定画素については、近傍にある画素の分類結果やその分布、更には、画素値を考慮して前景又は背景と判定する。これにより、従来技術より精度良く分類することができる。また、閾値も固定的とするのではなく、一旦、ある閾値にて分類した後、この分類結果に基づき閾値を調整する。つまり、動画像の内容に応じて閾値を変化させる。これにより、従来技術における方法より、更に、精度良く分類することが可能になる。なお、各フレームに対して単一の閾値を適用するのではなく、フレームをブロックに分割し、ブロックごとに閾値を変化させることにより、画素の局所的な特性に応じた閾値を設定することができ、分類の精度をより高めることができる。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による、動画像の各フレームの各画素を、前景又は背景に分類する装置のブロック図である。本発明による装置は、Ｗフレーム単位で前景と背景の分類処理を行う。このため、記憶部１に保存されている動画像の全フレームを、Ｗフレームずつバッファ２に読み出し、分布値生成部３、判定部４及び調整部５は、バッファ２に格納されている分類処理対象であるＷフレームの各画素を、前景又は背景に分類し、分類結果を記憶部１に保存する。

図６は、本発明による前景背景分類方法全体のフロー図である。まず、閾値１から閾値６（以後、Ｔｈ１からＴｈ６と表記する。）を初期値に設定する（Ｓ１）。ここで、Ｔｈ１及びＴｈ２は、判定部４が使用し、その値については、処理の最中に動的に変更する。一方、Ｔｈ３からＴｈ６は、調整部５が使用し、その値は固定的である。続いて、処理対象のＷフレームを選択、つまり、バッファ２に読み出す（Ｓ２）。分布値生成部３は、Ｗフレームのうち、Ｎフレームを選択し、選択したＮフレームの画素値に基づき、各画素のカーネル分布を生成する（Ｓ３）。カーネル分布生成の詳細は後述するが、カーネル分布は、赤、緑、青、それぞれの画素値を変数とする関数であり、対応する画素の画素値を代入することで、その画素値の出現確率を示す分布値を出力する。

判定部４は、カーネル分布から得られる画素の分布値を、Ｔｈ１及びＴｈ２により区分けすることにより、当該画素を、前景画素（Ｆ）、背景画素（Ｂ）、不定画素（Ｕ）のいずれかに分類する（Ｓ４）。続いて、判定部４は、各フレームをブロックに分割し、ブロック内の前景画素数及び不定画素数の、隣接フレーム間における変化に基づきＴｈ１とＴｈ２を調整するための値の範囲である許容範囲を各ブロックについて求め、ブロックの許容範囲に基づき当該ブロックの画素に対して適用するＴｈ１及びＴｈ２を適応的に変更し、変更後のＴｈ１及びＴｈ２を用いて当該ブロックの各画素の再分類を行う（Ｓ５）。なお、再分類の詳細は後述する。

調整部５は、Ｔｈ３からＴｈ６により、不定画素の背景画素又は前景画素への振り分けと、最終調整を行い、当該Ｗフレームについての最終的な分類結果を記憶部１に出力する（Ｓ６）。以後、全フレームの前景背景分類処理が終了するまで、Ｓ３からＳ６の処理を繰り返す（Ｓ７及びＳ８）。以下、図６の各処理の詳細について述べる。

まず、分布値生成部３によるカーネル分布の生成について説明する。分布値生成部３は、各画素のカーネル分布を生成するため、バッファ２に格納されているＷフレームからＮフレームを選択する。選択するＮフレームは、Ｗフレームの最初のＮフレームとするが、最後のＮフレームとしたり、１つおきに選択したりしても良い。もちろんＷフレーム総てを利用しても良い。図２は、選択したＮフレームを示しており、カーネル分布の生成は、各フレームの同一位置にある画素を単位として行う。つまり、各フレームがＭ個の画素から構成されている場合、Ｍ個のカーネル分布を生成する。

以下では、各フレームのｊ番目にある画素Ｐ_ｊに対するカーネル分布の生成を述べる。図２によると、Ｐ_ｊの画素値（赤，緑，青）は、第１フレームでは、（ｒ_１，ｇ_１，ｂ_１）であり、第２フレームでは、（ｒ_２，ｇ_２，ｂ_２）であり、第３フレームでは、（ｒ_３，ｇ_３，ｂ_３）であり、以後、同様に、第Ｎフレームでは、（ｒ_Ｎ，ｇ_Ｎ，ｂ_Ｎ）である。

分布値生成部３は、色別に、隣接フレーム間における画素値の差である差分値と、全差分値の中央値を求める。つまり、赤に対しては、Ｎ−１個の差分値ｄｒ_ｋ、ｋ＝１〜Ｎ−１を、
ｄｒ_１＝｜ｒ_１−ｒ_２｜、ｄｒ_２＝｜ｒ_２−ｒ_３｜、・・・、ｄｒ_Ｎ−１＝｜ｒ_Ｎ−１−ｒ_Ｎ｜
により求め、続いて差分値ｄｒ_１からｄｒ_Ｎ−１の中央値ｍｒを求める。同様に、緑についての中央値ｍｇと、青についての中央値ｍｂも求める。

画素値の分布は、一般的にガウス分布に従うと仮定でき、よって、中央値より大きい確率は１／４より大きくなるため、赤、緑、青それぞれの標準偏差σｒ、σｇ、σｂを、以下の式で推定する。
σｒ＝ｍｒ／（０．６８×（２^０．５））
σｇ＝ｍｇ／（０．６８×（２^０．５））
σｂ＝ｍｂ／（０．６８×（２^０．５））

分布値生成部３は、上記、σｒ、σｇ、σｂを標準偏差とし、画素値を平均値とするガウス分布Ｇ（平均値、標準偏差）を、色別に、各フレームについて生成する。具体的には、図２に示す様に、第１フレームの赤については、その画素値がｒ_１であるため、平均値と標準偏差がそれぞれｒ_１とσｒであるガウス分布Ｇ_ｒ１＝Ｇ（ｒ_１、σｒ）を、同様に、緑と青について、ガウス分布Ｇ_ｇ１＝Ｇ（ｇ_１、σｇ）とガウス分布Ｇ_ｂ１＝Ｇ（ｂ_１、σｂ）を、以後、第２から第Ｎのフレームについても同様にして、合計３×Ｎのガウス分布を生成する。

続いて、分布値生成部３は、同一フレームの各色に対するガウス分布の積を求め、その積をＮフレームに渡り合計することにより、各フレームのｊ番目の画素の組に対するカーネル分布を生成する。つまり、第１フレームについては、赤、緑、青に対するガウス分布の積、Ｇ_１＝Ｇ_ｒ１×Ｇ_ｇ１×Ｇ_ｂ１を、同様に、第２から第ＮのフレームそれぞれについてＧ_２〜Ｇ_Ｎを計算し、第ｊ番目の画素の組に対するカーネル分布ＫＤ_ｊ（ｒ，ｇ，ｂ）を、
ＫＤ_ｊ（ｒ，ｇ，ｂ）＝Ｇ_１＋Ｇ_２＋・・・＋Ｇ_Ｎ
により求める。なお、本発明において、カーネル分布の生成には、ガウス分布以外にも、例えば、ラプラシアン分布を使用することができる。

分布値生成部３は、この様にして求めた第ｊ番目の画素の組のカーネル分布に、処理対象フレームそれぞれの第ｊ番目の画素の画素値を代入して、処理対象フレームそれぞれの第ｊ番目の画素の分布値を得る。

続いて、判定部４による前景画素、背景画素、不定画素の判定について説明する。判定部４は、各画素の分布値を、Ｔｈ１とＴｈ２により区分けすることで、各フレームの各画素を、前景画素、背景画素、不定画素のいずれかに分類する。図７は、画素分類の処理フロー図である。まず、対象フレームの全画素を背景画素と仮に分類する（Ｓ１１）。その後、未処理の画素を１つ選択し（Ｓ１２）、選択した画素の分布値がＴｈ１より小さければ前景画素に分類し（Ｓ１３及びＳ１４）、Ｔｈ１以上かつＴｈ２未満であれば不定画素に分類（Ｓ１５及びＳ１６）することを全画素に対して行う（Ｓ１７）。

上記カーネル分布の生成から明らかなように、他のフレームにおいても近い画素値が多く出現した場合には分布値は高くなり、他のフレームでよく出現した画素値とは離れている場合には分布値は低くなる。よって、Ｔｈ２より大きい分布値の画素については、固定物、つまり、背景と判定し、逆に、Ｔｈ１より小さい分布値の画素は、移動している物、つまり、前景と判断し、Ｔｈ１とＴｈ２の間の分布値については、とりあえず不定と判断する。

ただし、Ｔｈ１及びＴｈ２は動画像ごとに適切に調整されるべきものであるため、判定部４は、上記分類結果に基づきＴｈ１及びＴｈ２を適応的に修正して、各画素の再分類を行う。このため、判定部４は各フレームをブロックに分割し、ブロックごとに、２つの許容範囲Ｆ_{ａｌｌｏｗ}とＵ_{ａｌｌｏｗ}を求める。以下、２つの許容範囲Ｆ_{ａｌｌｏｗ}とＵ_{ａｌｌｏｗ}の算出について説明する。

図８は、許容範囲算出のフロー図であり、図３は、許容範囲の算出方法を説明する図である。なお、図３においては、１ブロックを１６画素としている。図３によると、このブロックの画素の分類は、第１フレームにおいて、前景画素が６、不定画素が６、背景画素が４であり、第２フレームにおいて、前景画素が７、不定画素が６、背景画素が３であり、第３フレームにおいて、前景画素が８、不定画素が４、背景画素が４であり、第Ｗフレームにおいて、前景画素が５、不定画素が３、背景画素が８である。

判定部４は、処理対象ブロックを選択（Ｓ３１）し、隣接フレーム間における前景画素数の差ΔＦと、不定画素数の差ΔＵを求め、Ｗ−１個のΔＦの平均値ＭＦ及び標準偏差ｓＦと、Ｗ−１個のΔＵの平均値ＭＵ及び標準偏差ｓＵを求める（Ｓ３２）。この値から、許容範囲Ｆ_{ａｌｌｏｗ}とＵ_{ａｌｌｏｗ}を、０≦ａ＜１である所定のａを用い、
ＭＦ−ａ×ｓＦ≦Ｆ_{ａｌｌｏｗ}≦ＭＦ＋ａ×ｓＦ
ＭＵ−ａ×ｓＵ≦Ｕ_{ａｌｌｏｗ}≦ＭＵ＋ａ×ｓＵ
により算出する（Ｓ３３及びＳ３４）。
なお、これら許容範囲によって判定する対象の値は、以下に述べる様に、整数であるため、下限については小数点以下を切上げ、上限については小数点以下を切り下げる。この処理を全部ブロックに対して行う（Ｓ３５）。

続いて、ブロックの許容範囲Ｆ_{ａｌｌｏｗ}とＵ_{ａｌｌｏｗ}を用いた、判定部４による第２フレームから第Ｗフレームの、当該ブロック内の画素の再分類について説明する。ここでは、最初にＷフレームの全画素の分類に使用したＴｈ１が０．２、Ｔｈ２が０．４、Ｆ_{ａｌｌｏｗ}が−１から１、Ｕ_{ａｌｌｏｗ}が−１から０であるものとして説明する。

図３に示す様に、第２フレームの第１フレームからの前景画素数の変化ΔＦ＝＋１であり、これはＦ_{ａｌｌｏｗ}内である。同様に、不定画素数の変化ΔＵ＝０であり、これは、Ｕ_{ａｌｌｏｗ}内である。したがって、第２フレームの当該ブロックに対するＴｈ１及びＴｈ２の変更は行わず、よって、第２フレームの当該ブロックに対する画素の分類の変更はない。

更に、第３フレームの第２フレームからの前景画素数の変化ΔＦ＝＋１であり、これはＦ_{ａｌｌｏｗ}内である。しかしながら、不定画素数の変化ΔＵ＝−２であり、これは、Ｕ_{ａｌｌｏｗ}内ではない。Ｕ_{ａｌｌｏｗ}内とするためには、ΔＵの数を増加させる必要があり、よって、Ｔｈ２の値を増加させる。なお、この増加の単位はあらかじめ決めておく。ここでは、Ｔｈ２の値を０．４から０．５に変化させたものとする。閾値を変更したため、第３フレームの当該ブロックの全画素を、変更後の閾値に基づき、図７に示す方法で再分類し、再度、第２フレームからのΔＦ及びΔＵが、それぞれ、許容範囲Ｆ_{ａｌｌｏｗ}及びＵ_{ａｌｌｏｗ}内にあるか否かを調べる。

図４は、変更後の閾値による、第３フレームに対する画素の再分類後の状態を示している。ここでは、Ｔｈ２の値の変更により、第３フレームの画素の分類が、前景画素が８、不定画素が５、背景画素が３となり、これによりΔＦ＝＋１、ΔＵ＝−１と、許容範囲内となったため、この段階で第３フレームに対する処理を終了する。なお、許容範囲にない場合には、更に閾値を変更する。

その後、第４フレームの当該ブロックの画素も変更後の閾値に基づき再分類し、第３フレームの分類との差分ΔＦとΔＵを計算し、この値が、それぞれ、Ｆ_{ａｌｌｏｗ}とＵ_{ａｌｌｏｗ}内であれば、第４フレームの分類をそのままとし、いずれかの差分が許容範囲内になければ、閾値を再度変更し、以後、第Ｗフレームまで同様の処理を行う。

なお、上記例においては、ΔＵが下限未満であったためＴｈ２を増加させたが、ΔＵが上限より大きい場合にはＴｈ２を減少させ、ΔＦが下限未満である場合にはＴｈ１を増加させ、ΔＦが上限より大きい場合にはＴｈ１を減少させることになる。更に、前景画素と不定画素の変化を使用したが、前景画素と背景画素であっても、不定画素と背景画素であっても良い。

図９は、画素の再分類のフロー図である。判定部４は、フレーム番号の初期値を２に設定し（Ｓ４１）、処理対象フレームを選択し（Ｓ４２）、前フレームの前景画素数及び背景画素数を、それぞれ、ＮＦ_１及びＮＵ_１とする（Ｓ４３）。続いて、現在のＴｈ１及びＴｈ２により処理対象フレームの処理対象ブロックの画素を分類し、前景画素数ＮＦ_２と、不定画素数ＮＵ_２を求め（Ｓ４４）、ＮＦ_２−ＮＦ_１がＦ_{ａｌｌｏｗ}であり、かつ、ＮＵ_２−ＮＵ_１がＵ_{ａｌｌｏｗ}であるか否かを判定する（Ｓ４５）。共に範囲内であれば、現在の分類を確定し（Ｓ４７）、最終フレームでなければ、次のフレームに対して同じ処理を行う（Ｓ４８及びＳ４９）。また、Ｆ_{ａｌｌｏｗ}又はＵ_{ａｌｌｏｗ}内になければ、Ｔｈ１及び／又はＴｈ２を変更し、共に範囲内となるまで、Ｓ４４及びＳ４５の処理を繰り返す。なお、上記処理は、各ブロックに対してそれぞれ行う。

以上、判定部４は、フレーム間での分類の変化に基づき閾値を適応的に調整して、調整後の閾値で画素を再分類し、分類結果を分類情報として調整部５に出力する。

続いて、調整部５による不定画素の、前景画素又は背景画素への振り分けと、最終調整について説明する。振り分け及び調整は、第１から第３の処理によりフレームを単位として行う。

図１０は、調整部５における第１の処理のフロー図である。まず、半径Ｒ１及びＲ２、ここでＲ１＞Ｒ２、を初期値に設定し（Ｓ５１）、対象フレームの総ての不定画素を未処理とし（Ｓ５２）、未処理の不定画素を１つ選択し（Ｓ５３）、選択画素を背景画素又は不定画素に振り分ける（Ｓ５４）。より詳しくは、所定の条件を満たす場合には、選択画素を背景画素に変更し、所定の条件を満たさない場合には選択画素を不定画素のままとする。

図５は、Ｓ５４での振り分けを説明する図である。選択画素１０を中心とし、半径Ｒ１の円１１と、半径Ｒ２の円１２を描き、円１１内の前景画素の割合Ｐ_Ｌ（Ｆ）と、円１２内の背景画素の割合Ｐ_Ｓ（Ｂ）をそれぞれ算出し、Ｐ_Ｌ（Ｆ）＜Ｔｈ３＜Ｐ_Ｓ（Ｂ）であれば、選択画素１０を背景画素に変更し、それ以外であれば不定画素のままとする。つまり、選択画素１０を中心としたある領域内の前景画素数が比較的少なく、かつ、選択画素の近傍に前景画素が集中していない場合は、背景画素であると判定する。言い換えると、円１１内の前景画素数及び背景画素数とその分布に基づき、選択画素を背景画素とするか、不定画素のままとするかを判定する。よって、Ｔｈ３は、例えば、１０％といった、比較的に小さい値とし、この値については、あらかじめ経験的に決めておく。

フレーム内の各不定画素に対してＳ５４の処理を順次行って、全不定画素の処理が終了した場合（Ｓ５５）、不定画素が存在するか否かを判定する（Ｓ５６）。不定画素が存在しなければ第１の処理は終了し、存在する場合には、当該フレームの不定画素を未処理とする（Ｓ５７）。続いて、未処理の画素を１つ選択し（Ｓ５８）、選択画素を前景画素又は不定画素に振り分ける（Ｓ５９）。

Ｓ５４における背景画素又は不定画素への振り分けと同様、前景画素又は不定画素の振り分けは、図５の円１１内の背景画素の割合Ｐ_Ｌ（Ｂ）と、円１２内の前景画素の割合Ｐ_Ｓ（Ｆ）を、それぞれ算出し、Ｐ_Ｌ（Ｂ）＜Ｔｈ４＜Ｐ_Ｓ（Ｆ）であれば、選択画素１０を前景画素に変更することにより行う。なお、Ｔｈ３とＴｈ４を区別するのではなく、１つの閾値としても良い。

フレームの各不定画素に対してＳ５９の処理を順次行って全不定画素の処理が終了した場合（Ｓ６０）、不定画素が存在するか否かを判定する（Ｓ６１）。不定画素が存在しなければ第１の処理は終了し、存在する場合には、半径Ｒ１及びＲ２を、所定の割合だけ減少させる（Ｓ６２）。減少後のＲ２の大きさが１画素間の距離未満であれば、第１の処理は終了し、１画素以上あれば、変更後のＲ１及びＲ２を用いて、再度、Ｓ５２以降の処理を行う（Ｓ６３）。

続いて、第２の処理について説明する。図１１は、調整部５における第２の処理のフロー図である。第１の処理において不定画素のままとなった画素のうち、未処理の画素を１つ選択し（Ｓ７１）、半径Ｒ３を１画素に設定した上で（Ｓ７２）、選択した画素を中心とする半径Ｒ３の円を描き、半径Ｒ３の円内にある前景画素数ＮＦと、背景画素数ＮＢを、それぞれ、算出する（Ｓ７３）。ＮＦとＮＢの差の絶対値を、ＮＦとＮＢの合計で除した値をＴｈ５と比較し（Ｓ７４）、Ｔｈ５以上である場合には、除した値がＴｈ５未満となるまで、半径Ｒ３を所定の割合で増加（Ｓ７５）させる。ただし、画素間の相関が極端に低くなる程大きな円で処理することを防ぐため、Ｒ３の最大値Ｒ_ｍａｘをあらかじめ定義しておき、Ｒ３がＲ_ｍａｘを超えた場合には、選択した画素を不定画素のままとする（Ｓ７６）。除した値がＴｈ５未満となった場合、半径Ｒ３の円内にある各画素の画素値についてのＮフレームの平均値及び標準偏差に基づき、選択画素を背景画素又は前景画素に分類する（Ｓ７７）。

Ｓ７７における選択画素の前景画素又は背景画素への振り分けは、半径Ｒ３内にある前景画素数と、背景画素数の差が小さい方が分類精度の点で好ましく、Ｓ７４からＳ７６の処理は、前景画素数と背景画素数をできるだけ等しくするために行っている。よって、Ｔｈ５の値は例えば１０％といった比較的小さい値を、あらかじめ経験的に決めておく。以下に、Ｓ７７における分類の詳細について説明する。

まず、調整部５は、以下の４つの値を計算する。
Ｄ（μ，Ｂ）＝Σｄ_ｐＢ ^２｜μ_ｐＢ−μ_Ｕ｜^２ （１）
Ｄ（σ，Ｂ）＝Σｄ_ｐＢ ^２｜σ_ｐＢ−σ_Ｕ｜^２ （２）
Ｄ（μ，Ｆ）＝Σｄ_ｑＦ ^２｜μ_ｑＦ−μ_Ｕ｜^２ （３）
Ｄ（σ，Ｆ）＝Σｄ_ｑＦ ^２｜σ_ｑＦ−σ_Ｕ｜^２ （４）
ここで、μ_Ｕ及びσ_Ｕは、選択画素の画素値のＮフレームに渡る平均値及び標準偏差であり、μ_ｐＢ及びσ_ｐＢは、半径Ｒ３の円内にある背景画素ｐの画素値のＮフレームに渡る平均値及び標準偏差であり、μ_ｑＦ及びσ_ｑＦは、半径Ｒ３の円内にある前景画素ｑの画素値のＮフレームに渡る平均値及び標準偏差であり、ｄ_ｐＢは、背景画素ｐと選択画素との物理距離であり、ｄ_ｑＦは、前景画素ｑと選択画素との物理距離である。また、式（１）及び（２）において、Σは、半径Ｒ３の円内にある総ての背景画素の和を取ることを意味し、式（３）及び（４）において、Σは、半径Ｒ３の円内にある総ての前景画素の和を取ることを意味している。なお、本実施形態において、Ｎフレームは、カーネル分布生成に使用したものと同じとしているが、異なるものでもあってもよく、更に、使用するフレーム数もＮでなくとも良い。

式（１）から（４）の絶対値の部分は、統計的な距離を表しており、式（１）から（４）は、前景画素又は背景画素の、選択画素からの物理距離と統計的距離の積の和を示している。調整部５は、
Ｄ（μ，Ｆ）＜Ｄ（μ，Ｂ）、かつ、Ｄ（σ，Ｆ）＜Ｄ（σ，Ｂ）
である場合、平均値についても標準偏差についても、前景画素への距離が近いため、選択画素を前景画素に振り分け、
Ｄ（μ，Ｆ）＞Ｄ（μ，Ｂ）、かつ、Ｄ（σ，Ｆ）＞Ｄ（σ，Ｂ）
である場合には、選択画素を背景画素に振り分ける。

上記のどちらにも当てはまらない場合には、Ｄ（μ，Ｆ）＋Ｄ（σ，Ｆ）の値と、Ｄ（μ，Ｂ）＋Ｄ（σ，Ｂ）の値を比較し、Ｄ（μ，Ｆ）＋Ｄ（σ，Ｆ）の方が小さければ選択画素を前景画素に、そうでなければ選択画素を背景画素に振り分ける。

調整部５は、総ての不定画素に対して上述した処理を実行することで第２の処理を終了する（Ｓ７８）。

最後に、調整部５による第３の処理について説明する。まず、この時点で不定画素を総て前景画素に分類する。続いて、前景画素を１つ選択し、選択した画素を中心とする半径Ｒ４の円を描き、半径Ｒ４の円内の背景画素の割合とＴｈ６とを比較し、背景画素の割合がＴｈ６より大きい場合、選択画素を背景画素に振り分ける。この処理をフレーム内の総ての前景画素に対して行った後、逆の処理を総ての背景画素に対して行う。すなわち、背景画素を１つ選択し、選択した画素を中心とする半径Ｒ４の円を描き、半径Ｒ４の円内の前景画素の割合とＴｈ６とを比較し、前景画素の割合がＴｈ６より大きい場合、選択画素を前景画素に分類する。

第３の処理は、例えば、１つ又はごく少数の前景画素の周囲が、多数の背景画素に囲まれているような状況を修正するものであり、Ｔｈ６には９０％といった、比較的高い値を、あらかじめ経験的に決めておく。なお、第３の処理において最初に総ての不定画素を前景画素としたが、総ての不定画素を背景画素としても良い。

以上、Ｔｈ１及びＴｈ２の２つの閾値により、前景画素とも背景画素とも判断しにくいものについては一旦、不定画素であると判定し、これら不定画素については、不定画素を中心とするある領域にある画素の、分類結果やその分布、更には、画素値の統計的な距離と物理距離に基づき、どちらであるかを判定する。また、Ｔｈ１及びＴｈ２についても、一旦、Ｔｈ１及びＴｈ２による分類結果から、逆に、Ｔｈ１及びＴｈ２の値を見直して更新し、更新後の値で再分類する。これら処理により、従来技術より正確に前景と背景の分類を行うことが可能になる。

なお、本発明による装置は、上記装置の各部としてコンピュータを機能させるコンピュータプログラムにより実現することができる。また、本発明による方法は、コンピュータに上述した各処理を実行させるコンピュータプログラムにより実現することができる。このコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。更に、本発明は、ハードウェアのみや、ソフトウェアのみならず、それらの組合せによっても実現可能である。

本発明による装置のブロック図である。 カーネル分布生成の説明図である。 許容範囲の算出方法を説明する図である。 画素の再分類を説明する図である。 判定部における第１の処理の説明図である。 本発明による前景背景分離方法全体のフロー図である。 画素分類のフロー図である。 許容範囲の算出のフロー図である。 画素の再分類のフロー図である。 判定部における第１の処理のフロー図である。 判定部における第２の処理のフロー図である

符号の説明

１ 記憶部
２ バッファ
３ 分布値生成部
４ 判定部
５ 調整部
１０ 画素
１１、１２ 円

Claims (8)

1. 動画像の各フレームの各画素を、前景に対応する前景画素と背景に対応する背景画素に分類する装置であって、
   処理対象である複数の処理対象フレームの各画素について、画素値の出現確率を示す画素の分布値を、処理対象フレームから選択した所定数のフレームの同一位置にある画素の画素値に基づき求める分布値生成手段と、
   画素の分布値、第１の閾値及び第２の閾値により、処理対象フレームの各画素を、前景画素、背景画素、不定である不定画素のいずれかに分類する判定手段と、
   判定手段による分類結果に基づき、処理対象フレームの各画素を前景画素又は背景画素に振り分ける調整手段と、
   を備え、
   判定手段は、
   画素の分布値を、第１の閾値及び第２の閾値により区分することで、該画素を前景画素、背景画素、不定画素のいずれかに分類する第１の手段と、
   フレームを所定サイズのブロックに分割し、第１の手段による画素の分類結果から、各ブロックについて、隣接フレーム間における各分類数の変化を求め、求めた変化に基づき、各ブロックに適用する第１の閾値及び第２の閾値を更新し、更新後の第１の閾値及び第２の閾値により各ブロックの各画素を、前景画素、背景画素、不定画素のいずれかに分類する第２の手段と、
   を備えている装置。
2. 第２の手段は、
   前景画素、不定画素、背景画素のいずれか２つを、第１の画素及び第２の画素とし、
   ブロック内にある第１の画素数の隣接フレーム間における変化の、処理対象フレームに渡る平均値及び標準偏差に基づき、該ブロックの第１の許容範囲を算出し、該ブロック内にある第２の画素数の隣接フレーム間における変化の、処理対象フレームに渡る平均値及び標準偏差に基づき、該ブロックの第２の許容範囲を算出する手段と、
   ブロック内にある第１の画素数の、１つ前のフレームからの変化である第１の変化数が、該ブロックの第１の許容範囲にない場合、又は、該ブロック内にある第２の画素数の、１つ前のフレームからの変化である第２の変化数が、該ブロックの第２の許容範囲にない場合、該ブロックに対する第１の閾値及び第２の閾値を、第１の変化数が第１の許容範囲内となり、第２の変化数が第２の許容範囲内となるまで更新する手段と、
   を備えている請求項１に記載の装置。
3. 調整手段は、
   不定画素を含む第１の領域内における前景画素数及び背景画素数と、第１の領域内における前景画素及び背景画素の分布に基づき、該不定画素を、前景画素、背景画素、不定画素のいずれかに振り分けることを、第１の領域の大きさを変更しながら繰り返し行う第３の手段を含んでいる、
   請求項１または２に記載の装置。
4. 調整手段は、
   不定画素を含む第２の領域であって、第２の領域に含まれる前景画素数と背景画素数の差の、該前景画素数と該背景画素数の和に対する比が第３の閾値未満となる領域を求め、処理対象フレームの一部又は全部のフレームを選択フレームとし、該不定画素の画素値の選択フレームに渡る平均値及び標準偏差と、第２の領域内にある前景画素の画素値の選択フレームに渡る平均値及び標準偏差と、第２の領域内にある背景画素の画素値の選択フレームに渡る平均値及び標準偏差と、該不定画素と第２の領域内にある前景画素の物理距離と、該不定画素と第２の領域内にある背景画素の物理距離とに基づき、該不定画素を、前景画素又は背景画素に振り分ける第４の手段を含んでいる、
   請求項１から３のいずれか１項に記載の装置。
5. 調整手段は、
   フレーム内にある総ての不定画素を前景画素又は背景画素とし、前景画素を含む第３の領域内にある背景画素の割合が第４の閾値より大きい場合には、該前景画素を背景画素とし、背景画素を含む第３の領域内にある前景画素の割合が第４の閾値より大きい場合には、該背景画素を前景画素とする第５の手段を含んでいる、
   請求項１から４のいずれか１項に記載の装置。
6. 分布値生成手段は、
   処理対象フレームから選択した前記所定数のフレームの同一位置にある画素の組に含まれる各画素の画素値に基づき、該組の標準偏差を推定し、
   該組の画素、それぞれについて、推定した該組の標準偏差をその標準偏差とし、該画素の画素値を平均値とするガウス分布又はラプラシアン分布を生成し、該組に含まれる画素のガウス分布又はラプラシアン分布の和に基づき、該組のカーネル分布を生成し、
   該組と同一位置にある処理対象フレームの画素の画素値を、生成した該組のカーネル分布に代入して、該画素の分布値を求める、
   請求項１から５のいずれか１項に記載の装置。
7. 動画像の各フレームの各画素を、前景に対応する前景画素と背景に対応する背景画素に分類する方法であって、
   処理対象である複数の処理対象フレームの各画素について、画素値の出現確率を示す画素の分布値を、処理対象フレームから選択した所定数のフレームの同一位置にある画素の画素値に基づき求める分布値生成ステップと、
   画素の分布値、第１の閾値及び第２の閾値により、処理対象フレームの各画素を、前景画素、背景画素、不定である不定画素のいずれかに分類する判定ステップと、
   判定ステップでの分類結果に基づき、処理対象フレームの各画素を前景画素又は背景画素に振り分ける調整ステップと、
   を備え、
   判定ステップは、
   画素の分布値を、第１の閾値及び第２の閾値により区分することで、該画素を前景画素、背景画素、不定画素のいずれかに分類する第１のステップと、
   第１のステップによる分類結果に基づき第１の閾値及び第２の閾値を更新し、更新後の第１の閾値及び第２の閾値により各画素を、前景画素、背景画素、不定画素のいずれかに再分類する第２のステップと、
   を備えている方法。
8. 請求項１から６のいずれか１項に記載の装置としてコンピュータを機能させることを特徴とするプログラム。

Images