JP2003030664A - 移動物体抽出方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数の移動物体の位置が移動前後のフレーム
画像間で重なっている場合であっても、それぞれの移動
物体を個別に抽出することができる移動物体の抽出方法
及び装置を提供すること。 【解決手段】 固定したカメラによって撮影した移動物
体を含む複数のフレーム画像の平均値を求めることによ
って抽出対象の移動物体の背景画像を生成するステップ
と、抽出対象時刻におけるフレーム画像と前記背景画像
との差分画像を生成するステップと、前記差分画像を２
値化してマスク画像を生成するステップと、前記マスク
画像を用いて、抽出対象時刻におけるフレーム画像中の
移動物体の領域を切り出すステップとを備えることを特
徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する分野】本発明は、固定したカメラによっ
て撮影された動画像中の移動物体を抽出する方法及び装
置に関するものである

【０００２】

【従来の技術】従来において、固定したカメラによって
撮影した画像から移動物体を抽出する方法として、２つ
のフレーム画像間の差分を利用する方法が知られてい
る。詳細は「画像処理ハンドブック」（尾上守夫監修：
昭晃堂(１９８７)）記載されている。

【０００３】ある２つのフレーム画像の差分とは、両フ
レームにおける同一画素の画像をf(x, y)、g(x, y)で表
した場合、これらの画像間の濃度値の差、あるいは差の
絶対値のことであり、差分画像h(x, y)は h(x, y) = f(x, y) − g(x, y) または h(x, y) = |f(x, y) − g(x, y)| で定義される。２つのフレーム画像の差分画像を作る
と、背景の部分では差が非常に小さくなり、移動物体の
前後には負の領域と正の領域ができる。すなわち、移動
物体が移動する前に位置していた部分には負の領域が生
成され、移動した新たな位置には正の領域が生成され
る。従って、差分画像において負（または正）の領域を
求めれば、動領域を検出できる。この方法では直接には
移動物体の一部しか検出できないので、この情報を第一
近似とし、他の方法で移動物体全体を検出する必要があ
る。

【０００４】

【発明が解決しようとする課題】ところで、上記の従来
の方法において、移動物体が複数存在する場合、２つの
フレーム画像間で移動物体の重なりがあると、正確に動
領域が検出できないことがある。すなわち、図１３に示
すように、時刻t1で道路１３０１を移動中の車両Ａ，Ｂ
を撮影した第１のフレーム画像では、車両Ａ，Ｂが図１
３（ａ）の位置にあったが、時刻t2で撮影したフレーム
画像では図１３（ｂ）の位置にあったとすると、その差
分画像を求めた場合、車両Ｂの位置には車両Ａが移動し
て来ているので（車両Ａが車両Ｂの元の位置に重なって
いるので）、時刻ｔ１、ｔ２間での動領域は車両Ａの移
動前の位置のみとなり、車両Ｂの動領域を検出できない
という問題がある。これは、例えば道路を所定の車間距
離を保ちながら走行している車両を検出する場合などに
おいて、先行している車両を検出できないことを意味す
る。

【０００５】本発明の目的は、複数の移動物体の位置が
移動前後のフレーム画像間で重なっている場合であって
も、それぞれの移動物体を個別に抽出することができる
移動物体の抽出方法及び装置を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明の方法は、固定したカメラによって撮影した
動画像から移動物体を抽出する方法であって、前記カメ
ラによって撮影した移動物体を含む複数のフレーム画像
の平均値を求めることによって抽出対象の移動物体の背
景画像を生成するステップと、抽出対象時刻におけるフ
レーム画像と前記背景画像との差分画像を生成するステ
ップと、前記差分画像を２値化してマスク画像を生成す
るステップと、前記マスク画像を用いて、抽出対象時刻
におけるフレーム画像中の移動物体の領域を切り出すス
テップとを備えることを特徴とする。

【０００７】また、本発明の装置は、固定したカメラに
よって撮影した動画像から移動物体を抽出する装置であ
って、前記カメラによって撮影した移動物体を含む複数
のフレーム画像の平均値を求めることによって抽出対象
の移動物体の背景画像を生成する手段と、抽出対象時刻
におけるフレーム画像と前記背景画像との差分により差
分画像を生成する手段と、前記差分画像を２値化してマ
スク画像を生成する手段と、前記マスク画像を用いて、
抽出対象時刻におけるフレーム画像中の移動物体の領域
を切り出す手段とを備えることを特徴とする。

【０００８】

【発明の実施の形態】以下、本発明を図示する実施の形
態に基づいて詳細に説明する。図１は、本発明の一実施
形態を示す移動物体抽出装置のハードウェアのブロック
図である。この実施形態の移動物体抽出装置は、キーボ
ード１０１、処理装置１０２、記憶装置１０７、および
ディスプレイ１１２から構成されている。キーボード１
０１はコマンド名やそのパラメータの入力を行う。処理
装置１０２は移動物体抽出システムのコマンドの処理を
行う。より詳細には、動画像から背景画像を生成する背
景画像生成処理１０３と、動画像の任意のフレームと背
景画像から差分画像を生成する差分画像生成処理１０４
と、差分画像からマスク画像を生成するマスク画像生成
処理１０５とマスク画像を用いて原フレーム画像から移
動物体を切り出す移動物体の切り出し処理１０６とを備
えている。

【０００９】記憶装置１０７には処理装置１０２への入
力となる動画像１０８と処理装置１０２のコマンド処理
の入出力データである背景画像１０９と差分画像１１０
とマスク画像１１１を蓄えている。ディスプレイ１１２
は、キーボード１０１が入力した文字列や処理装置１０
２がコマンドの処理した結果などの表示を行う。

【００１０】本実施形態においては、次のようにして移
動物体を抽出する。 （１）複数のフレーム画像から平均値をとって背景画像
を作成する。 （２）抽出対象時刻におけるフレーム画像と背景画像と
の差分により差分画像を生成する。 （３）差分画像を２値化し、移動物体の画素の値を
“１”、背景の画素の値を“０”とするマスク画像を生
成する。 （４）マスク画像を用いて、抽出対象時刻におけるフレ
ーム画像中の移動物体の領域を切り出す。

【００１１】すなわち、固定したカメラによって撮影さ
れた動画像では、背景が静止し、移動物体が移動してい
る。従って、動画像のフレームを重ねると、背景は固定
した位置にあるため、強調される。一方、移動物体はフ
レームごとに様々な場所に位置するため、その像は比較
的不鮮明になる。十分多くのフレームを重ねれば、移動
物体は消滅し、背景だけから成るいわゆる背景画像が得
られる。この手法は写真撮影の場合の長時間露出を行っ
ていることに対応している。正確には、背景画像は、各
フレームの画素の濃度値を加算し、フレームの枚数で割
り算して得られる平均値を画素の値として持つ画像とし
て得られる。抽出対象時刻における移動物体を含んでい
るフレーム画像と移動物体を含んでいない背景画像との
差分画像を求めることによって、抽出対象時刻における
移動物体を容易に抽出できる。差分画像では、移動物体
の領域で値が比較的大きく、背景の所で値が非常に小さ
い。そこで、差分画像から移動物体に対応する画素の値
を“１”、背景に対応する画素の値を“０”とするマス
ク画像を作成する。次に、マスク画像の値が“１”の部
分原フレーム画像から切り出す。すると、移動物体を容
易に抽出することができる。

【００１２】以下、車両が移動している風景を写した動
画像から、その車両を抽出する例を挙げて本実施形態の
処理について説明する。図２は、固定カメラによって撮
影した動画像の時刻t1における原フレーム画像Ｆ１であ
る。ここで原フレーム画像Ｆ１とは、抽出対象時刻のフ
レーム画像のことである。背景は２本の樹木２０１，２
０２と１軒の家屋２０３から成り、その前面の左側に左
から右に移動している車両ＡＭがある。図３は、図２の
原フレーム画像Ｆ１からしばらく経過した時刻t2におい
て撮影されたフレーム画像Ｆ２である。このフレーム画
像Ｆ２では、車両ＡＭは同じ背景の前面の右側に移動し
ている。図４は、図２と図３の平均値をとって生成した
背景画像１０９である。車両ＡＭの像は平均値をとった
ため、破線で示すように不鮮明になっている。一方、背
景は両方の図で同じであったため、平均値をとっても、
不鮮明になっていない。図５は、さらに多くのフレーム
画像を重ねて生成された背景画像１０９である。この画
像では車両ＡＭの像は完全に消滅している。

【００１３】図６は、図２の原フレーム画像Ｆ１と図５
の背景画像１０９の差分をとって差分画像１１０を生成
した後、２値化し、車両ＡＭを黒、背景を白で表したマ
スク画像１１１である。図７は、マスク画像１１１を用
いて、図２のフレーム画像Ｆ１から車両ＡＭを切り出し
たものである。

【００１４】図８は、複数のフレーム画像f(x, y, t)か
ら平均値の画像img1(x, y)を生成するアルゴリズムを説
明するフローチャートである。ここで、xとyは画素の座
標、tはフレームが撮影された時刻を表す。まず、ステ
ップ８０１で、平均の対象となるフレームの枚数Nを計
算する。詳しくは、N=(t2-t1)/dt+1を計算する。ここ
で、t1は図８（ｂ）に示すように最初のフレームの開始
時刻、t2は最後のフレームの開始時刻を示す定数であ
る。dtはフレーム間の時間を示す定数である。ステップ
８０２、ステップ８０３およびステップ８０６は、xに
ついてのループを構成している。ここで、xはx1からx2
まで値を１だけ増やしながら変わる。ステップ８０３で
xがx2を超えたら、処理を終了する。超えなければ、ス
テップ８０４に進む。ステップ８０４、ステップ８０
５、および、ステップ８１１はyについてのループを構
成している。ここで、yはy1からy2まで値を１だけ増や
しながら変わる。なお、x1は図８（ｂ）に示すようにあ
る１つのフレームにおけるｘ座標方向の最初の画素、x2
は最後の画素を表し、またy1はｙ座標方向の最初の画
素、y2は最後の画素を表す。

【００１５】ステップ８０５でyがy2を超えたら、ステ
ップ８０６に進み、xの値を１だけ増やして、xのループ
に戻る。超えなければ、ステップ８０７で変数vの値を
０に設定する。ステップ８０８、ステップ８０９、およ
びステップ８１３はtについてのループを構成してい
る。ここで、tはt1からt2まで値をdtだけ増やしながら
変わる。ステップ８０９でtがt2+dtに達していなけれ
ば、ステップ８１２でvにf(x, y,t)を加え、ステップ８
１３でtの値をdtだけ増やして、ループする。達してい
れば、ステップ８１０でimg1(x, y)に平均値v / Nを代
入し、ステップ８１１でyの値を１だけ増やして、yのル
ープに戻る。

【００１６】すなわち、ステップ８０２でｘ座標を設定
し、かつステップ８０４でｙ座標を設定した後、ステッ
プ８１２、８１３でｔ1からt2までの各フレームにおけ
る該当座標の画像f(x, y, t)を加算し、さらにステップ
８１０で平均値を求めることによってt1からｔ２のフレ
ームまでのｙ座標方向における１ライン分の平均値を求
めたならば、ｙ座標を１つ更新して次の１ライン分の平
均値を求める処理をｘ座標方向の座標値がｘ２を超える
まで実行する。これによって、Ｎフレーム分の画像につ
いて平均値の画像が得られる。

【００１７】図９はフレーム画像f(x, y, t1)と背景画
像img1(x, y)の差分画像img2(x, y)を生成するアルゴリ
ズムを説明するフローチャートである。このフローチャ
ートはxとyの２重のループを含んでいる。xはx1からx2
まで、yはy1からy2までの値をとり、ステップ９０６が
実行される。ステップ９０６ではフレームf(x, y, t1)
と背景画像img1(x, y)の差の絶対値を計算し、差分画像
img2(x, y)にその値を代入する。

【００１８】図１０は、差分画像img2(x, y)を２値化
し、マスク画像img3(x, y)を生成するアルゴリズムを説
明するフローチャートである。このフローチャートはx
とyの２重のループを含んでいる。xはx1からx2まで、y
はy1からy2までの値をとり、ステップ１００６、ステッ
プ１００７およびステップ１００８が実行される。ステ
ップ１００６では、差分画像img2(x, y)が所定のしきい
値Tより大きいか判定する。大きければ、ステップ１０
０７でマスク画像img3(x, y)に“１”を代入する。大き
くなければ、ステップ１００８でマスク画像img3(x, y)
に“０”を代入する。

【００１９】図１１は、マスク画像img3(x, y)を用い
て、原フレーム画像f(x, y, t1)の移動物体の領域を切
り出した画像img4(x, y)を生成するアルゴリズムを説明
するフローチャートである。このフローチャートはxとy
の２重のループを含んでいる。xはx1からx2まで、yはy1
からy2までの値をとり、ステップ１１０６、ステップ１
１０７およびステップ１１０８が実行される。ステップ
１１０６でマスク画像img3(x, y)が“1”であるか判定
する。“１”であれば、ステップ１１０７で画像img4
(x, y)に原フレーム画像f(x, y, t1)の値を代入する。
“１”でなければ、ステップ１１０８で画像img4(x, y)
に“０”を代入する。この画像img4(x, y)が移動物体の
抽出画像として出力される。

【００２０】従って、例えば、図１２（ａ）に示すよう
に移動中の２台の車両ＡＭ１、ＡＭ２が撮影されたフレ
ーム画像があった場合、同じ位置から撮影した複数のフ
レーム画像の平均値をとることによって図１２（ｂ）に
示すような背景画像が生成される。そこで、この背景画
像と図１２（ａ）の原フレーム画像との差分をとると、
図１２（ｃ）に示すような差分画像が生成される。そし
て、この差分画像を２値化すると、図１２（ｄ）に示す
ようなマスク画像が生成される。最後に、２値化画像を
用いて原フレーム画像Ｆ１から２つの車両ＡＭ１、ＡＭ
２を切り出すと、図１２（ｅ）に示すように２台の車両
ＡＭ１、ＡＭ２の画像が得られる。すなわち、本実施形
態によれば、時間経過に伴って後続車両が先行車両の位
置に重なって撮影されている場合であっても、個々の車
両を鮮明に抽出することができる。ちなみに、従来の方
法では、車両ＡＭ１のみが抽出され、ＡＭ２は抽出され
ない。

【００２１】従って、ある間隔をおいて移動している物
体を固定したカメラで撮影した動画像から容易に抽出す
ることが可能になり、例えば、航空写真や衛星画像など
のリモートセンシング画像上で動中の車両を数え上げて
交通量を観測するシステムや、監視カメラによる不審者
の検出する防犯システム、動物の行動の理解を目的とし
た動物実験における動物の動態検出システムに適用する
ことにより、極めて有用な効果を奏する。マスク画像は
移動物体の形状を忠実に反映したものでなく、移動物体
の形状より大き目に広げるようにしてもよい。

【００２２】

【発明の効果】以上の説明から明らかなように、本発明
によれば、複数の移動物体の位置が移動前後のフレーム
画像間で重なっている場合であっても、それぞれの移動
物体を個別に抽出することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態を示す移動物体抽出装置の
ハードウェアのブロック図である。

【図２】固定カメラによって撮影した動画像の時刻t1に
おける原フレーム画像Ｆ１の例を示す図である。

【図３】図２の原フレーム画像Ｆ１からしばらく経過し
た時刻t2において撮影されたフレーム画像Ｆ２の例を示
す図である。

【図４】図２と図３の平均値をとって生成した背景画像
の例を示す図である。

【図５】さらに多くのフレーム画像を重ねて生成された
背景画像の例を示す図である。

【図６】図２の原フレーム画像Ｆ１と図５の背景画像と
の差分をとって差分画像を生成した後、２値化したマス
ク画像の例を示す図である。

【図７】マスク画像を用いて、図２のフレーム画像Ｆ１
から移動物体を切り出した図である。

【図８】複数のフレーム画像から平均値の画像を生成す
るアルゴリズムを示すフローチャートである。

【図９】フレーム画像と背景画像の差分画像を生成する
アルゴリズムを示すフローチャートである。

【図１０】差分画像を２値化し、マスク画像を生成する
アルゴリズムを示すフローチャートである。

【図１１】マスク画像を用いて移動物体の領域を切り出
した画像を生成するアルゴリズムを示すフローチャート
である。

【図１２】移動中の複数の移動物体を抽出する過程を示
す説明図である。

【図１３】従来方法の問題点を説明する図である。

【符号の説明】

１０１…キーボード、１０２…処理装置、１０３…背景
画像生成処理、１０４差分画像生成処理、１０５…マス
ク画像生成処理、１０６…移動物体の切り出し処理、１
０７…記憶装置、１０８…動画像、１０９…背景画像、
１１０…差分画像、１１１…マスク画像、ＡＭ…移動物
体。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小野山 隆 神奈川県横浜市中区尾上町６丁目81番地 日立ソフトウエアエンジニアリング株式会 社内 Ｆターム(参考） 5L096 AA06 DA01 EA37 GA08 HA03 JA09

Claims (2)

【特許請求の範囲】
1. 【請求項１】 固定したカメラによって撮影した動画像
   から移動物体を抽出する方法であって、 前記カメラによって撮影した移動物体を含む複数のフレ
   ーム画像の平均値を求めることによって抽出対象の移動
   物体の背景画像を生成するステップと、 抽出対象時刻におけるフレーム画像と前記背景画像との
   差分画像を生成するステップと、 前記差分画像を２値化してマスク画像を生成するステッ
   プと、 前記マスク画像を用いて、抽出対象時刻におけるフレー
   ム画像中の移動物体の領域を切り出すステップとを備え
   ることを特徴とする移動物体抽出方法。
2. 【請求項２】 固定したカメラによって撮影した動画像
   から移動物体を抽出する装置であって、 前記カメラによって撮影した移動物体を含む複数のフレ
   ーム画像の平均値を求めることによって抽出対象の移動
   物体の背景画像を生成する手段と、 抽出対象時刻におけるフレーム画像と前記背景画像との
   差分により差分画像を生成する手段と、 前記差分画像を２値化してマスク画像を生成する手段
   と、 前記マスク画像を用いて、抽出対象時刻におけるフレー
   ム画像中の移動物体の領域を切り出す手段とを備えるこ
   とを特徴とする移動物体抽出装置。