JP2005078195A - 背景画像生成装置 - Google Patents

Abstract

【課題】 ノイズの影響を受けにくくした背景画像を生成する背景画像生成装置を提供する。
【解決手段】 本発明の背景画像生成装置は、入力動画像の各画素の入力データから統計的に処理して得た各画素の代表データに基づいて背景画像を生成する背景画像生成装置において、入力動画像フレームの各画素の入力データを画素毎に蓄積するデータ蓄積手段と、入力動画像の処理フレーム数が規定値を超えた場合に、蓄積された各画素の入力データの中から代表データの抽出に利用しないデータを決定して、そのデータを除去するデータ除去手段と、データ除去手段のデータ除去後に、データ蓄積手段が蓄積している各画素のデータの中から代表データを抽出する代表データ抽出手段と、各画素の代表データに基づいて画像を生成する画像生成手段とを備えることを特徴とする。
【選択図】 図１

Description

本発明は、背景画像形成装置に関し、例えば、カメラが撮影した映像に基づいて、移動動体を取り除いた背景画像を生成する装置に適用することができる。

例えば交通流を測定する監視カメラ等が撮影した入力画像の各画素のデータ値を蓄積し、その各画素の蓄積データの中から代表値を選出して、移動物体が存在しない状態の画像（背景画像）を生成する技術として下記の特許文献１に示す技術がある。

特許文献１には、入力画像を一定時間蓄積し、その蓄積したフレーム画像の各画素の輝度から、各画素の輝度値に相当する階級の出現頻度ヒストグラムを作成する。そして、その出現頻度ヒストグラムに基づいて、最大頻度となった輝度値を輝度の代表値として抽出し、その輝度の代表値を使用して画像を再構成することで、移動物体を排斥した背景画像を作成するという技術が記載されている。
特開２０００−３４８１８４号公報

しかしながら、上述した特許文献１の背景画像生成装置は、各画素の輝度の出現頻度ヒストグラムに基づいて、頻度（度数）が最大となった輝度値（階級）を代表値として単純に統計的に求めて背景画像を生成しているため、例えば背景画像の更新頻度を上げようとする場合には入力画像の蓄積期間が短くなり、統計的な代表値にばらつきが生じてしまい、背景画像にノイズの影響が生じてしまうおそれがある。

また、背景画像の更新頻度を上げるためには、各画素の輝度の出現頻度ヒストグラムからの代表値の抽出処理の高速化が求められる。

さらに、精度の高いカラーの背景画像を生成することが望まれている。

そのため、本発明は、かかる問題のうち少なくとも１つを解決する背景画像生成装置を提供することを目的とする。

かかる課題を解決するために、本発明の背景画像生成装置は、入力動画像の各画素の入力データから統計的に処理して得た各画素の代表データに基づいて背景画像を生成する背景画像生成装置において、（１）入力動画像フレームの各画素の入力データを画素毎に蓄積するデータ蓄積手段と、（２）入力動画像の処理フレーム数が規定値を超えた場合に、蓄積された各画素の入力データの中から代表データの抽出に利用しないデータを決定して、そのデータを除去するデータ除去手段と、（３）データ除去手段のデータ除去後に、データ蓄積手段が蓄積している各画素のデータの中から代表データを抽出する代表データ抽出手段と、（４）各画素の代表データに基づいて画像を生成する画像生成手段とを備えることを特徴とする。

本発明の背景画像生成装置によれば、各画素のデータの中から１個のデータを除去した蓄積データに基づいて代表値を抽出しているので、単純に統計的に求める場合よりも、生成する背景画像がノイズの影響を受けにくくすることができる。

また、本発明の背景画像生成装置によれば、代表値の抽出処理を高速化することができる。

また、本発明の背景画像生成装置によれば、精度の高いカラーの背景画像を生成することができる。

以下では、本発明に係る背景画像生成装置を実施するための最良の形態として、次の実施例１〜実施例４を示す。

以下では、本発明に係る背景画像生成装置の実施例１について図面を参照して説明する。

（１）実施例１の構成
図１は、実施例１に係る背景画像生成装置の内部構成を示したブロック図である。

図１に示すように、背景画像生成装置１は、Ａ／Ｄ変換部１０１、蓄積部１０２、排斥部１０３、カウンタ部１４、代表値抽出部１０５を有する。

Ａ／Ｄ変換部１０１は、入力した画像（アナログ信号）をフレーム毎の画像データに変換するものである。本実施例では、Ａ／Ｄ変換部１０１が入力する画像は、例えばカメラ等が撮影した映像であり、その映像をグレースケール画像に変換するものとする。Ａ／Ｄ変換部１０１は、変換したフレーム毎の画像を蓄積部１０２とカウンタ部１０４とに与える。

蓄積部１０２は、Ａ／Ｄ変換部１０１からのフレーム毎の画像を受け取り、１フレームの画像の各画素毎の輝度に基づいて出現頻度ヒストグラムを作成して記憶するものである。蓄積部１０２が記憶する出現頻度ヒストグラムは、各画素毎に設けられており、階級を輝度値としたものである。従って、例えば、１フレームの画像サイズが３２０×２４０画素であり、量子化段階数が２５６段階である場合、蓄積部１０２は、３２０×２４０個の出現頻度ヒストグラムを有することとなり、又各ヒストグラムの階級数は２５６となる。

排斥部１０３は、後述するカウンタ部１０４のカウント値が総度数を超えた場合に、蓄積部１０２が記憶する各出現頻度ヒストグラムから排斥すべき階級を各画素毎に決定し、その決定した階級の度数を１つ排斥するものである。

カウンタ部１０４は、Ａ／Ｄ変換部１０１が生成したグレースケール画像のフレーム数をカウントするものである。カウント部１０４は、出現頻度ヒストグラムの総度数が予め設定されており、カウント値が総度数を超えた場合には、排斥部１０３に排斥処理を行なわせるものである。なお、本実施例では、総度数を奇数値として設定した場合を説明する。

代表値抽出部１０５は、蓄積部１０２から各画素の出現頻度ヒストグラムを取り出し、総度数の中央度数（中央データという）が属する階級に対応する輝度値（これを中央値という）を代表値として抽出し、その代表値を図示しない背景画像生成手段に与えて背景画像を生成させるものである。上述したように、本実施例では、総度数を奇数値として設定するので、その中央値は常に一意に決定することができる。

（２）実施例１の動作
次に、実施例１に係る背景画像生成装置１の動作について図２を参照して説明する。

まず、カウンタ部１０４及び蓄積部１０２の初期化が行われ、カウンタ部１０４のカウンタ値が０にリセットされると共に、蓄積部１０２の各画素の出現頻度ヒストグラムがリセットされる（Ｓ１０１）。

カウンタ部１０４及び蓄積部１０２の初期化が終了すると、例えばカメラ等が撮影した映像（アナログ信号）が、Ａ／Ｄ変換部１０１に入力し、デジタル変換されて、フレーム毎の画像が蓄積部１０２及びカウンタ部１０４に与えられる（Ｓ１０２）。

蓄積部１０２において、Ａ／Ｄ変換部１０１からのフレームの画像の全画素について、各画素毎の輝度の出現頻度ヒストグラムが作成され記憶される（Ｓ１０２）。

この各画素の輝度の出現頻度ヒストグラムの作成は、Ａ／Ｄ変換部１０１から１フレームの画像が入力すると、各画素の輝度が検出され、輝度値に相当する階級をもつ各画素の出現頻度ヒストグラムにおいて、上記検出された各画素の輝度値に相当する階級の度数が１つ増加されることで各画素毎の出現頻度ヒストグラムが作成される。

また、カウンタ部１０４では、Ａ／Ｄ変換部１０１から与えられる画像のフレーム数がカウントされる（Ｓ１０２）。

カウンタ部１０４では、カウント値が総度数以下である場合にはＳ１０２に戻り、カウント値が総度数を超えた場合に次のステップに移り、排斥部１０３に排斥処理を行なわせる（Ｓ１０３）。

カウント値が総度数を超えた場合、排斥部１０３は、蓄積部１０２が記憶している各画素の出現頻度ヒストグラムを参照し、カウンタ部１０４のカウンタ値に応じて、各出現頻度ヒストグラムの中から排斥する輝度値（すなわち階級）を決定し、その決定した輝度値に出現している度数を１つ減少する（Ｓ１０４）。

これにより、各出現頻度ヒストグラム上の総度数が設定された総度数と等しくすることができる。

ここで、排斥部１０３による排斥処理は、カウンタ部１０４のカウンタ値に応じて排斥する輝度値を決定し、例えば、カウンタ値が奇数値である場合には、各画素の出現頻度ヒストグラムの最小の階級から順に階級の度数を調べていき、初めて度数が１以上となる階級を探し出し、その探し出した階級を排斥処理の対象となる階級として決定する。また、カウンタ値が偶数値の場合は、最大の階級から順に階級の度数を調べていき、上述した場合と同様にして初めて度数が１以上となる階級を探し出して排斥する階級を決定する。勿論、カウンタ値が、奇数値の場合に最大の階級から探し出し、偶数値の場合に最小の階級から探し出すようにしてもよい。

上述のように、排斥部１０３による排斥処理が行われると、各画素の出現頻度ヒストグラムの総度数は、予め設定された設定値にすることができる。

代表値抽出部１０５は、蓄積部１０２が蓄積する排斥処理後の各画素の出現頻度ヒストグラムを参照し、設定された総度数の中央度数が属する輝度値（中央値）を割り出し、その中央値を代表値として抽出する（Ｓ１０５）。

この中央値の検出は、例えば、出現頻度ヒストグラムの最大又は最小の階級から、それぞれの階級の度数を加算していき、設定された総度数の半分の値を初めて超えた時の値を中央度数とし、その中央度数の輝度値を中央値として検出する。本実施例では、総度数を奇数値としたので、中央値は必ず一意に決定することができる。

また、代表値抽出部１０５は、各画素の代表値の検出を全ての画素に対して行なう。

代表値抽出部１０５は、抽出された全ての画素についての代表値を、後段の図示しない画像生成手段に与え、その代表値に基づき背景画像を生成させる。また、代表値抽出部１０５から各画素の代表値が出力されると、更にＳ１０２に戻り、Ａ／Ｄ変換部１０１から入力フレーム画像を受け取り、上述した処理を繰り返すことができる。

（３）実施例１の効果
以上、本実施例によれば、代表値から外れたデータを優先的に排斥する排斥部１０３を備えることにより、従来技術のように出現頻度ヒストグラムに基づいて単純に統計的に求めた代表値を抽出する場合よりも、背景画像がノイズの影響を受けにくくすることができる。

また、本実施例によれば、排斥部１０３が排斥する階級の度数は、カウンタ値に応じて２方向から交互に決定するため、各出現頻度ヒストグラムの同じ輝度値が継続的に入力される場合は代表値から外れた値であっても全てをノイズとして排斥してしまうことがなく、撮影画像の変化に追従することができる。

また、本実施例によれば、カウンタ値が総度数を超えた後であっても、蓄積部１０２が蓄積した全てのフレームを考慮した出現頻度ヒストグラムに基づいて背景画像を生成することできる。

次に、本発明の背景画像生成装置の実施例２について図面を参照して説明する。

（１）実施例２の構成
図３は、本実施例の背景画像生成装置の内部構成を示したものである。図３に示すように、本実施例の背景画像生成装置２は、Ａ／Ｄ変換部１０１、バッファ部２０１、蓄積部１０２、排斥部１０３、カウンタ部１０４、中央値変換検出部２０２、パラメータ記憶部２０３、パラメータ抽出部２０４を備える。

なお、図３におけるＡ／Ｄ変換部１０１、蓄積部１０２、排斥部１０３及びカウンタ部１０４は、実施例１で説明した図１に示す各構成要素に対応するものであるため対応する番号を付しここでの詳細な説明は省略する。

バッファ部２０１は、Ａ／Ｄ変換部１０１のデジタル変換により得られた各画素の輝度値を一時的に記憶するものである。

パラメータ抽出部２０４は、蓄積部１０２が蓄積している各画素の出現頻度ヒストグラムを参照して、中央データが属する階級に対応する輝度値（中央値Ｂ）、その中央値の度数Ｓ、及び、その中央値における中央データの位置Ｍを３つのパラメータとして抽出するものである。

ここで、パラメータ抽出部２０２が抽出するパラメータについて図４を参照して説明する。

図４（Ａ）は、階級とその階級の度数との関係を示す説明図であり、図４（Ｂ）は図４（Ａ）に基づいて作成した出現頻度ヒストグラムである。なお、図４では、説明の便宜のために、階級を８とし総度数を１９とした場合である。従って、この場合、１０番目に相当するデータが中央データとなる。

パラメータ抽出部２０４は、各画素の出現頻度ヒストグラムに基づいて、中央データ（本実施例では１０番目の度数）が属する輝度値に相当する階級を求め、これを中央値Ｂ（本実施例では階級「４」に該当）として抽出する。次に、パラメータ抽出部２０４は、その中央値Ｂに属する全度数を、中央値の度数Ｓ（本実施例では「５」になる）として抽出すると共に、その中央値の度数Ｓにおける中央データの位置Ｍ（本実施例では「４」に該当）を求める（図４（Ｃ）参照）。

このようにして、パラメータ抽出部２０４は、中央値Ｂ、中央値の度数Ｓ、及び、中央データの位置Ｍを各画素毎に求める。

パラメータ記憶部２０３は、パラメータ抽出部２０４が抽出した３つのパラメータを各画素毎に記憶するものである。

中央値変化検出部２０２は、カウンタ値が設定された総度数を超えた場合に、全ての画素について、各画素の中央値が変化したか否かを検出するものである。中央値変化検出部２０２は、各画素について、バッファ部２０２に記憶されている当該画素の輝度値が属する階級（これを蓄積値Ｉという）と、排斥部１０３が排斥する度数が属する階級（これを排斥値Ｒという）とを、後述するパラメータ記憶部２０３が記憶する中央値と比較することにより得た結果に基づいて中央値が変化したか否かを検出するものである。

（２）実施例２の動作
次に、実施例２に係る背景画像生成装置２の動作について図面を参照して説明する。

まず、カウンタ部１０４及び蓄積部１０２の初期化が行われ、カウンタ部１０４のカウンタ値が０にリセットされると共に、蓄積部１０２の各画素の出現頻度ヒストグラムがリセットされる（Ｓ２０１）。

カウンタ部１０４及び蓄積部１０２の初期化が終了すると、例えばカメラ等により撮影された入力映像（アナログ信号）が、Ａ／Ｄ変換部１０１によりデジタル変換されて、フレーム毎の画像がバッファ部２０１、蓄積部１０２及びカウンタ部１０４に与えられる（Ｓ２０２）。

バッファ部２０１は、Ａ／Ｄ変換部１０１から入力したフレーム毎の各画素の輝度値を一時的に記憶する。

また、蓄積部１０２は、Ａ／Ｄ変換部１０１から入力したフレーム毎の画像の各画素の輝度値に基づいて、各画素の各出現頻度ヒストグラムを作成して記憶する。

また、カウンタ部１０４では、Ａ／Ｄ変換部１０４からフレーム毎の画像が入力し、そのフレーム数をカウントする。

カウンタ部１０４において、そのカウント値が総度数未満である場合には、Ｓ２０２に戻り繰り返し動作が行われる（Ｓ２０３）。

また、カウンタ部１０４において、カウント値が総度数と等しくなった場合には、Ｓ２０４に進み、パラメータ抽出部２０４は、全ての画素について、各画素の３つのパラメータ（中央値Ｂ、中央値の度数Ｓ、中央データの位置Ｍ）を抽出すると共に、それら抽出した３つのパラメータをパラメータ記憶部２０３に設定させる（Ｓ２０４）。

具体的には、Ｓ２０５では、パラメータ抽出部２０４は、蓄積部１０２に蓄積されている各画素の各出現頻度ヒストグラムに基づいて中央データを求め、その中央データが属する輝度値に相当する階級を中央値Ｂとして求める。そして、パラメータ抽出部２０４が求めた中央値Ｂに出現している度数Ｓ及び中央データの位置Ｍを求める（Ｓ２０５）。

パラメータ抽出部２０４が、各画素の３つのパラメータを抽出した後、パラメータ抽出部２０４は、その抽出した各画素の３つのパラメータを、パラメータ記憶部２０３の各画素毎の記憶領域に記憶させることでパラメータの設定をおこなう（Ｓ２０６）。

パラメータ抽出部２０４は、この３つのパラメータの抽出及びパラメータの設定を全ての画素に対して行われているかを確認し、全ての画素について行われていない場合には、全ての画素について各パラメータを求めるようにＳ２０４に戻り、繰り返し行ない、全ての画素のパラメータ設定を行なう（Ｓ２０７）。

Ｓ２０３に戻り、カウンタ値が総度数を超えた場合には、排斥部１０３は、蓄積部１０２から各画素の出現頻度ヒストグラムを取り出し、カウンタ値に応じて排斥する階級を決定し、出願頻度ヒストグラムの総度数が設定値と等しくなるように、決定された階級の度数を１つ排斥する（Ｓ２０９）。なお、この排斥部１０３により排斥処理の対象が決定された階級を排斥値Ｒとする。

排斥部１０３による排斥処理がなされると、中央値変化検出部２０２は、各画素の上述したパラメータ（中央値Ｂ、中央値の度数Ｓ、中央データの位置Ｍ）の更新を行なう（Ｓ２１０）。

具体的には、中央値変化検出部２０２は、今回入力した画像の全ての画素のうちある画素について、バッファ部２０１が一時的に記憶している当該画素の輝度値を取り出し、その画素の輝度値が蓄積部１０２の出現頻度ヒストグラムのうちのどの階級に属すかを判定する。この当該画素の輝度値が属する階級を蓄積値Ｉとする。

次に、中央値変化検出部２０２は、パラメータ記憶部２０３に記憶されている３つのパラメータ（中央値Ｂ、中央値の度数Ｓ、中央データの位置Ｍ）を取り出す。このパラメータ記憶部２０３から取り出される各パラメータは、今回入力された画像の直前にパラメータ記憶部２０３に設定されている各パラメータである。

次に、中央値変化検出部２０２は、排斥部１０３が排斥した排斥値Ｒ及びパラメータ記憶部２０３から取り出された中央値Ｂの関係と、蓄積値Ｉ及び中央値Ｂの関係との組み合せでなる所定の規則に従って、中央値の度数Ｓの値及び中央データの位置Ｍの値をパラメータ記憶部２０３に記憶させて更新する。

ここで、中央値変化検出部２０２による各パラメータの更新に係る所定の規則は、図５に示すものである。

図５に示すように、蓄積値Ｉが中央値Ｂ未満である場合、中央値Ｂ及び排斥値Ｒの関係に応じて、次のように中央値の度数Ｓ及び中央データの位置Ｍを、中央値変化検出部２０２は更新する。排斥値Ｒが中央値Ｂ未満である場合、中央値の度数Ｓ及び中央データの位置Ｍの更新させない。排斥値Ｒが中央値Ｂに等しい場合、中央値の度数Ｓを１つ減少させると共に、中央データの位置Ｍを１つ減少させる。排斥値Ｒが中央値Ｂを超える場合、中央値の度数Ｓを変更させず、中央データの位置Ｍを１つ減少させる。

また、蓄積値Ｉが中央値Ｂに等しい場合、次のようにして中央値の度数Ｓ及び中央データの位置Ｍを中央値変化検出部２０２が更新する。排斥値Ｒが中央値Ｂ未満である場合、中央値の度数Ｓを１つ増加させると共に、中央データの位置Ｍを１つ増加させる。排斥値Ｒが中央値Ｂに等しい場合、中央値の度数Ｓ及び中央データの位置Ｍの更新させない。排斥値Ｒが中央値Ｂを超える場合、中央値の度数Ｓを１つ増加させ、中央データの位置Ｍを変更させない。

また、蓄積値Ｉが中央値Ｂを超える場合、次のようにして中央値の度数Ｓ及び中央データの位置Ｍを中央値変化検出部２０２が更新する。排斥値Ｒが中央値Ｂ未満である場合、中央値の度数Ｓを変更させず、中央データの位置Ｍを１つ増加させる。排斥値Ｒが中央値Ｂに等しい場合、中央値の度数Ｓを１つ減少させ、中央データの位置Ｍを変更させない。排斥値Ｒが中央値Ｂを超える場合、中央値の度数Ｓ及び中央データの位置Ｍの更新させない。

中央値変化検出部２０２は、上記の手順により、当該画素の各パラメータをパラメータ記憶部２０３の記憶領域に記憶させて更新を行なう。

中央値変化検出部２０２において、当該画素についての各パラメータの更新が行われると、中央値変化検出部２０２は、中央データの位置Ｍと中央値の度数Ｓとの関係が１≦Ｍ≦Ｓの条件を満たしているか否かを判断し、この条件を満たしている場合を中央値Ｂの変化がなかったとし、この条件を満たしていない場合を中央値が変化したとする（Ｓ２１１）。

Ｓ２１１において、中央値変化検出部２０３が中央値Ｂの変化がないと判断した場合、Ｓ２１４に進み、中央値変化検出部２０３は、全ての画素について中央値Ｂの変化があるか否かの検出を行なう（Ｓ２１４）。

中央値変化検出部２０３は、各画素の中央値に変化がないとした場合、その画素の中央値は、パラメータ記憶部２０３に記憶されているパラメータ（すなわち前フレームの中央値）をその画素の中央値として出力させる（Ｓ２１５）。

勿論、すべての画素の中央値に変化がない場合には、そのまま前フレームについての全ての画素の中央値が出力され、全ての画素のうち１画素でも中央値が変化していると判断した場合には、Ｓ２１２に移行し、その画素についての中央値をパラメータ抽出部２０４に求めさせて新たな中央値を抽出させる。

Ｓ２１１に戻り、中央値変化検出部２０３がある画素の中央値Ｂの変化を検出した場合、パラメータ抽出部２０４は、蓄積部１０２の当該画素の出現頻度ヒストグラムに基づいて中央値Ｂ、中央値の度数Ｓ及び中央データの位置Ｍを抽出する（Ｓ２１２）。

パラメータ抽出部２０４が３つのパラメータを抽出すると、パラメータ抽出部２０４は、その抽出した３つのパラメータをパラメータ記憶部２０３の当該画素の記憶領域に設定させる（Ｓ２１３）。

中央値変化検出部２０２は、当該画素のパラメータの設定がなされると、Ｓ２１４に進み、全ての画素について終了しているか否かを確認し、全ての画素について終了していない場合にはＳ２０８に戻り全ての画素について終了するまで繰り返し動作が行われる（Ｓ２１４）。

全ての画素についての中央値が抽出されると、パラメータ記憶部２０３に記憶されている各画素の中央値Ｂが出力し、図示しない画像生成手段に与えられて画像が生成される（Ｓ２１５）。

以上のようにして、背景画像生成装置２は、各画素の中央値の変化しているか否かを検出し、中央値の変化を検出した画素については、新たに中央値を抽出してその中央値を代表値として出力し、中央値の変化を検出しなった画素については前フレームで出力した当該画素の中央値を代表値として出力することで、代表値検出処理の高速化を図ることができる。

（３）実施例２の効果
以上、本実施例によれば、実施例１で説明した同一の効果を奏する。

また、本実施例によれば、中央値変化検出部２０２が、バッファ部２０１の各画素の蓄積値Ｉと排斥部１０３の排斥値Ｒとをそれぞれ、パラメータ記憶部２０３に記憶されている中央値Ｂと比較することに基づいて、中央値Ｂが変化したか否かを容易に検出することができるので、代表値の抽出をより高速に処理することができる。

（１）実施例３の構成
次に、本発明の背景画像生成装置の実施例３について図面を参照して説明する。本実施例では、入力したカラー映像の赤信号、緑信号、青信号の３種類の濃度値を用いたＲＧＢ表色系のデータを用いた場合の背景画像生成装置について説明する。

図７は、本実施例の背景画像生成装置の内部構成を示したブロック図である。図７に示すように、本実施例３の背景画像生成装置３は、カラー用Ａ／Ｄ変換部３０１、カラー用蓄積部３０２、カラー用排斥部３０３、カウンタ部３０４、カラー用代表値抽出部３０５、重心算出部３０６、排斥データ記憶部３０７を備える。

カラー用Ａ／Ｄ変換部３０１は、入力したカラー映像をフレーム毎のカラー画像にデジタル変換するものである。カラー用Ａ／Ｄ変換部３０１は、各画素の赤緑青の３種類の濃度値をカラー用蓄積部３０２に与えるものである。なお、以下ではこの赤緑青の３種類の値をまとめてカラーデータという。カラー用Ａ／Ｄ変換部３０１は、既存するカラー映像用のＡ／Ｄ変換器を適用することができる。

カラー用蓄積部３０２は、各画素のカラーデータを蓄積するデータ表を画素毎に有しており、カラー用Ａ／Ｄ変換部３０１からデジタル化された画像を受け取り、受け取った１フレームの画像について、各画素に対応するデータ表に各画素のカラーデータを記憶するものである。

カラー用排斥部３０３は、後述するカウンタ部３０４のカウンタ値が総度数を超えた場合に、カラー用蓄積部３０２で蓄積されているデータ表に基づいて排斥すべきカラーデータを決定し、その決定したカラーデータを対応するデータ表から取り除くものである。

カウンタ部３０４は、カラー用Ａ／Ｄ変換部３０１からのカラー画像のフレーム数をカウントするものである。カウンタ部３０４は、予め総度数が設定されており、カウンタ値が総度数を超えた場合に、カラー用解析部３０３に排斥処理を行なわせるものである。

カラー用代表値抽出部３０５は、カラー用蓄積部３０２が蓄積している各画素のデータ表から、背景画像を生成するためのカーラーデータを代表値として抽出するものである。

重心算出部３０６は、カラー用蓄積部３０２が蓄積する各画素のデータ表内のカラーデータを取り出し、そのカラーデータの３つの値を３次元ベクトルとみなして、全カラーデータの３次元座標中での距離に基づいて重心位置を算出するものである。

排斥データ記憶部３０７は、カラー用排斥部３０３が排斥した各画素のカラーデータを各画素毎で記憶するものである。なお排斥データ記憶部３０７が記憶する各画素のカラーデータは背景画像生成に係る前フレームのものである。

（２）実施例３の動作
次に、本実施例の背景画像生成装置の動作について図８を参照して説明する。

まず、カウンタ部３０４及びカラー用蓄積部３０２の初期化が行われ、カウンタ部３０４のカウンタ値が０にリセットされると共に、蓄積部３０２の内容も初期化される（Ｓ３０１）。

カラー用Ａ／Ｄ変換部３０１によりデジタル変換された画像について各画素のカラーデータは、カラー用蓄積部３０２に与えられ、カラー用蓄積部３０２の各画素のデータ表に追加されて記憶される（Ｓ３０２）。

また、カラー用Ａ／Ｄ変換部３０１からの１フレームの画像のカラーデータがカウンタ部３０４に入力し、カウンタ部３０４のカウンタ値を１つ増加させる（Ｓ３０２）。

カウンタ部３０４のカウンタ値が総度数以下である場合には、Ｓ３０２に戻り、Ｓ３０２の動作が繰り返される（Ｓ３０３）。

カウンタ部３０４のカウンタ値が総度数を超えた場合には、Ｓ３０４に進み、カラー用排斥部３０３が、カラー用蓄積部３０２のデータ表の中から排斥するカラーデータを決定し、そのカラーデータを削除し、予め設定したデータ総数と全ての総データ数とを等しくなるようにする（Ｓ３０４）。

ここで、カラー用排斥部３０３による排斥するカラーデータの決定方法について説明する。

カラー用排斥部３０３は、重心算出部３０６にカラー用蓄積部３０２の各画素の各データ表の全カラーデータに基づいて形成される３次元空間の重心位置（この重心をＧとする）を算出させる。このカラーデータは、上述したように、色を分類するための３つの値でなり、これら３つの値で示される３次元ベクトルとする。重心算出部３０６は、これら全てのカラーデータの３次元座標中での距離に基づいてこれらの重心位置座標を算出する。

カラー用排斥部３０３は、排斥データ記憶部３０７に記憶されているカラーデータから前回排斥したカラーデータを排斥値Ｐとして取り出し、重心算出部３０６が算出した重心Ｇを通りベクトルＧＰを法線とする平面により、各画素のカラーデータにより形成される３次元空間を２つの領域に分割する。

カラー用排斥部３０３は、カラー用蓄積部３０２のデータ表内のカラーデータの中から、前回排斥値Ｐとは異なる領域に属し、かつ、重心位置座標Ｇから最も離れたカラーデータを排斥するカラーデータとして決定する。

但し、前回排斥値Ｐが存在しない場合は、単にデータ内で重心位置座標Ｇから最も離れた位置のカラーデータを選択すればよい。

なお、前回排斥値Ｐと異なる領域に属すかどうかは、調べる座標をＴとすればベクトルＧＰとベクトルＧＴの内積を使えば簡単に計算することができる。つまり、内積が０以下の場合は、座標Ｔは前回排斥値Ｐと異なる領域に存在する。

カラー用排斥部３０３によるカラーデータの排斥処理後、カラー用排斥部３０３０は、排斥したカラーデータを画素毎に排斥データ記憶部３０７に記憶させる（Ｓ３０４）。

カラー用排斥部３０３が排斥すべきカラーデータを排斥し、その排斥したカラーデータを記憶させた後、カラー用代表値抽出部３０５は、カラー用蓄積部３０２内の全てのデータ表から重心位置座標Ｇに最も近い位置のカラーデータを代表値として抽出する（Ｓ３０５）。

カラー用代表値抽出部３０５が抽出した代表値は、図示しない後段の画像生成手段に与えられ、背景画像を生成させる（Ｓ３０６）。そして、カラー用代表値抽出部３０５が代表値を抽出した後、Ｓ３０２に戻り繰り返し動作がなされる。

（３）実施例３の効果
以上、本実施例によれば、実施例１で説明した同様な効果を奏すると共に、カラーの背景画像を作成することができる。

また、本実施例によれば、カラー用排斥部３０３が、３種類の色信号（赤緑青）を個別に排斥処理をするのではなく、各画素ごとのカラーデータを１つのデータとして排斥することにより、背景画像に表現される画像の色相が撮影時に近い色相で表現することができる。これは、３種類の色信号をそれぞれ個別に排斥しようとすると、それらを組み合せた値が異なってしまい撮影時の色相と異なることが考えられるが、本実施例ではこのような問題を回避することができる。

また、本実施例３によれば、カラー用排斥部３０３が、排斥データ記憶部３０７の前回排斥した排斥値Ｐから離れた領域の中から決定するため、同じ値が継続的に入力される場合は外れた値であっても全てをノイズとして排斥してしまうことがなく、撮影画像の変化に追従することができる。

次に、上述した実施例１〜実施例３以外の他の実施例について説明する。

（１）上述した実施例１では、代表値として中央データが属する階級（中央値）を使用したが、これに限定されることはなく、代表値として、例えば、度数平均値や最頻値を使用しても良い。

（２）上述した実施例３では、色情報を「赤緑青」の３つの値として扱った、つまりＲＧＢ表色系を使用したが、これに限定されるものではない。例えば、ＸＹＺ表色系を用いても良いし、均等色空間を利用しても良い。均等色空間には、例えば、Ｌ＊ａ＊ｂ＊色空間や、Ｌ＊ｕ＊ｖ＊色空間などを適用することができる。

（３）上述した実施例３では、カラーデータを３次元ベクトルとして、３次元座標中での距離を使用したが、これに限られることはなく、例えば、カラーデータの分散を考慮してマハラノビス距離を使うようにしてもよい。

（４）また、実施例１及び実施例２では、排斥部１０３は、カウンタ値が総度数を超えた場合に、蓄積部１０２の各画素の出現頻度ヒストグラムの中から１個の度数を減少させる排斥処理を行なうこととした。

しかし、これに限られることはなく、例えば、設定した総度数の他に、総度数よりも大きい値の排斥実行値を設定し、カウンタ値がその排斥実行値に達した場合に、排斥部１０３が、排斥実行値と総度数との差分に相当する度数を一度に排斥するようにしてもよい。この場合、排斥するデータは、例えば、排斥に係る度数の半分の度数を最小の階級側から順に排斥し、残りの度数を最大の階級側から順に排斥するようにしてもよい。

（５）上述した実施例２では、中央値変化検出部２０２が、蓄積値Ｉと排斥値Ｒとを、それぞれ中央値Ｂと比較した結果を組み合せることで中央値の変化を検出することとして説明した。

しかし、これに限ることなく、例えば、中央値変化検出部２０２が、まず、蓄積値Ｉと中央値Ｂとが等しいか否かを判断し、これらが等しい場合には、その画素の中央値の更新を行なうことなく前フレームの当該画素の中央値を出力させ、蓄積値Ｉが中央値Ｂと異なる場合にのみ、実施例２で説明した中央値変化検出処理を行なわせるようにしてもよい。

（６）更に、上述した実施例３では、ベクトルＧＰとベクトルＧＴの内積が０以下となる座標Ｔを選択することで、角ＴＧＰが９０度以上となる領域の中からＴＧの長さが最大になるデータを排除するカラーデータと決定する構成となっているが、排除するデータを探す領域はこれに限定されるものではなく、前回排斥値Ｐから十分に離れた領域であればよい。例えば、角ＴＧＰが３０度以上となる領域を使ってもよいし、ＴＧ間の距離がＧＰ間の距離よりも長くなる領域を使ってもよい。

実施例１の背景画像生成装置の内部構成を示したブロック図である。 実施例１の背景画像生成装置の動作を示したフローチャートである。 実施例２の背景画像生成装置の内部構成を示したブロック図である。 実施例２における３つのパラメータを説明するための説明図である。 実施例２における中央値変化検出部３０２がパラメータを更新するときの所定規則を説明するための説明図である。 実施例２の背景画像生成装置の動作を示したフローチャートである。 実施例３の背景画像生成装置の内部構成を示したブロック図である。 実施例３の背景画像生成装置の動作を示したフローチャートである。

符号の説明

１、２、３…背景画像生成装置、１０２…蓄積部、１０３…排斥部、
１０４、３０４…カウンタ部、１０５…代表値抽出部、
３０２…カラー用蓄積部、３０３…カラー用排斥部、
３０５…カラー用代表値抽出部。

Claims (9)

1. 入力動画像の各画素の入力データから統計的に処理して得た各画素の代表データに基づいて背景画像を生成する背景画像生成装置において、
   入力動画像フレームの各画素の入力データを画素毎に蓄積するデータ蓄積手段と、
   上記入力動画像の処理フレーム数が規定値を超えた場合に、上記蓄積された各画素の入力データの中から代表データの抽出に利用しないデータを決定して、そのデータを除去するデータ除去手段と、
   上記データ除去手段のデータ除去後に、上記データ蓄積手段が蓄積している各画素のデータの中から代表データを抽出する代表データ抽出手段と、
   上記各画素の代表データに基づいて画像を生成する画像生成手段と
   を備えることを特徴とする背景画像生成装置。
2. 上記データ蓄積手段は、上記入力動画像の各画素の輝度値を出現頻度ヒストグラムとして蓄積することを特徴とする請求項１に記載の背景画像生成装置。
3. 上記データ除去手段は、上記各画素の出現頻度ヒストグラムから、最小の階級から最初に出現する階級のデータ又は最大の階級から最初に出現する階級のデータを除去するデータとして交互に除去することを特徴とする請求項２に記載の背景画像生成装置。
4. 上記代表データ抽出手段が抽出した前フレームの代表データを画素毎に記憶する代表データ記憶手段と、
   上記出現頻度ヒストグラムの総度数の中央度数が属する輝度値を中央値とし、前フレームの各画素の中央値と、当該フレームの各画素の中央値との変化を検出する中央値変化検出手段と
   を備え、
   上記中央値変化検出手段が中央値の変化を検出した場合、上記データ抽出手段は、上記データ蓄積手段の各画素のデータから代表データを抽出して画像を生成させ、
   上記中央値変化検出手段が中央値の変化を検出しない場合、上記代表データ記憶手段に記憶されている前フレームの各画素の代表データに基づいて画像を生成させる
   ことを特徴とする請求項２又は３に記載の背景画像生成装置。
5. 上記データ抽出手段が抽出する代表データが上記中央値であり、
   上記中央値検出手段が、上記データ蓄積手段が蓄積している当該フレームの各画素の輝度値と、上記データ除去手段が除去した各画素のデータの輝度値とを、上記代表データ記憶手段に記憶されている前フレームの中央値と比較し、それら比較結果の組み合せから中央値の変化を検出することを特徴とする請求項４に記載の背景画像生成装置。
6. 上記入力動画像がカラー画像であり、上記データ蓄積手段が、各画素の色を３分類した各値をカラーデータとして蓄積することを特徴とする請求項１に記載の背景画像生成装置。
7. 上記データ除去手段は、上記カラーデータを３次元ベクトルとして、上記データ蓄積手段に蓄積された各画素のカラーデータから重心位置を算出し、上記重心位置との距離が最大となるカラーデータを上記除去するデータとして決定することを特徴とする請求項６に記載の背景画像生成装置。
8. 上記データ除去手段は、当該画素の処理において前回のデータ除去処理によって除去した前回除去データから十分離れた領域に存在して、かつ、上記重心位置との距離が最大となるカラーデータを上記除去するデータとして決定することを特徴とする請求項７に記載の背景画像生成装置。
9. 上記データ抽出手段は、上記重心位置から最も近い位置のカラーデータを上記代表データとすることを特徴とする請求項７又は８に記載の背景画像生成装置。
   
   

Images