JP2001060263A - 物体追跡方法及び物体追跡装置 - Google Patents

Abstract

(57)【要約】 【課題】テンプレートマッチングを用いた物体追跡方法
では、対象物体の向きが変化すると、対象物体マッチン
グ位置とのズレが大きくなり正確な物体追跡ができな
い。 【解決手段】テンプレートマッチング位置についてエッ
ジ検出を行い、テンプレート画像の位置補正を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置を用いた
監視装置に係り、特に撮像視野内に侵入した物体を、撮
像装置から入力する映像信号の中から自動的に検出し、
検出した物体の動きを自動的に追跡するようにした物体
追跡方法と、検出した物体の動きに応じて視野方向（撮
像中心方向）を調節するようにした物体追跡装置に関す
る。

【０００２】

【従来の技術】カメラ等の撮像装置を用いた映像監視装
置は、従来から広く用いられている。しかし、このよう
な映像監視装置を用いた監視システムにおいて、その監
視視野内に入り込んでくる人間や自動車などの侵入物体
の検出及び追跡を、監視員がモニタに表示される画像を
見ながら行なう有人監視ではなく、カメラ等の画像入力
手段から入力される画像から侵入物体を自動的に検出
し、その動きを自動的に追跡するようにし、所定の報知
や警報処置が得られるようにしたシステムが要求される
ようになってきている。

【０００３】このようなシステムを実現するためには、
まず、差分法などによって視野内の侵入物体を検出す
る。差分法とは、テレビジョンカメラ（以下、TVカメラ
と称する）等の撮像装置により得られた入力画像と、予
め作成した基準背景画像、即ち、検出すべき物体の写っ
ていない画像とを比較し、画素毎に輝度値の差分を求
め、その差分値の大きい領域を物体として検出するもの
である。このようにして検出された侵入物体の位置に相
当する入力画像の部分画像をテンプレートとして登録
し、逐次入力される画像の中でテンプレート画像と一致
度が最大となる位置を検出する。この方法は、テンプレ
ートマッチングと呼ばれ広く知られ、例えば、１９８５
年に総研出版より出版された田村秀行氏監修による『コ
ンピュータ画像処理入門』と題する書籍のP149〜P153で
解説されている。通常、テンプレートマッチングを用い
て対象物体を追跡する場合、対象物体の姿勢の変化に追
従するため、マッチング処理によって検出された対象物
体の位置の画像を新たにテンプレートとして逐次更新す
る。これらの処理を図４〜図７によって説明する。

【０００４】図４は差分法を用いた侵入物体検出処理の
一例を表すフローチャート、図５はテンプレートマッチ
ングを用いた侵入物体追跡の一例を表すフローチャー
ト、図６は、図４と図５で表される侵入物体検出処理か
ら初期のテンプレート画像登録までの流れを画像の例に
よって説明するための図である。また図７は、図５で表
される侵入物体追跡処理の流れを画像の例を用いて説明
するための図であり、一定の時間間隔で入力された画像
が初期に与えられたテンプレート画像をもとにどのよう
に実行されていくか（初期のテンプレートがどのように
変化していくか）を説明する図である。

【０００５】図６で、601は入力画像、609は入力画像60
1中の人型の物体、602は基準背景画像、606は差分処理
部、603は差分処理部606において差分処理された後の差
分画像、610は人型の物体609に相当する差分画像603中
の人型の差分画像、607は二値化処理部、604は二値化処
理部607によって二値化処理された差分画像603の二値化
画像、611は人型の差分画像610に相当する二値化画像60
4中の人型物体（人型の二値化画像）、612は人型の二値
化画像611の外接矩形、608は画像抽出部、605は入力画
像601から外接矩形612の囲む領域をテンプレート画像と
して切出すことを説明する画像、613は入力画像601から
切出した初期テンプレート画像である。

【０００６】図４と図６において、まず、TVカメラから
例えば320×240画素の入力画像601を入力する（画像入
力ステップ401）。次に、差分処理部606において、入力
画像601と、予め作成した基準背景画像602との画素毎の
差分を計算し、差分画像603を取得する。この時、入力
画像601中の人型の物体609は差分画像603中に、人型の
差分画像610として現れる（差分処理ステップ402）。そ
して、二値化処理部607において、差分画像603の各画素
に対しての差分値が所定のしきい値以下の画素の値を
“0”、しきい値以上の画素の値を“255”（1画素を8ビ
ットとして）に置換えて、二値化画像604を得る。この
時、入力画像601に撮像された人型の物体609は、二値化
画像604中の人型物体611として検出され、人型物体611
の外接矩形612が生成される（二値化処理ステップ40
3）。次に物体存在判定ステップ404では、画像抽出部60
8において、二値化画像604中で画素値が“255”となっ
た画素のかたまりを検出し、画素値が“255”となる画
素のかたまりが存在する場合は物体検出処理を終了し、
存在したかたまりの外接矩形に相当する入力画像に部分
画像を初期テンプレート画像613として後述の画像メモ
リ305（図３）に登録する。また、画素値が“255”とな
る画素のかたまりが存在しない場合は画像入力ステップ
401へ分岐する。

【０００７】物体追跡処理の流れを図５に従って説明す
る。図５の物体検出処理ステップ101と初期テンプレー
ト登録ステップ102とにおいて、図４と図６で説明した
ように物体検出処理と初期テンプレート画像の登録がな
された後の処理について図７を用いて説明する。図４と
図６で説明した物体検出処理が終了した後は、図５に示
すフローチャートに従って物体追跡処理がなされる。

【０００８】図７で、701aは時刻t0-1において更新され
た物体のテンプレート画像、701は時刻t0-1での入力画
像におけるテンプレート画像701aの位置を示す図、702
は時刻t0での入力画像、702aは時刻t0においてテンプレ
ートマッチング処理によって検出された物体の位置（テ
ンプレート画像）、702bは１フレーム前（t0-1）でのテ
ンプレート画像の位置、702cはテンプレートマッチング
処理（例えば、図５のフローチャート）で探索する探索
範囲、702dは時刻t0-1からt0まで人型物体が移動した方
向と軌跡を表す移動矢印（例えば、テンプレート画像70
1aの中心位置からテンプレート画像702aの中心位置へ向
かう矢印）、702eはテンプレートマッチング処理で人型
物体を検出した位置、703aは時刻t0で更新された物体の
テンプレート画像、703は時刻t0での入力画像における
テンプレート画像703aの位置を示す図、704は時刻t0+1
での入力画像、704aは時刻t0+1においてテンプレートマ
ッチング処理によって検出された物体の位置（テンプレ
ート画像）、704bは１フレーム前（t0）でのテンプレー
ト画像の位置、704cはテンプレートマッチング処理で探
索する探索範囲、704dは時刻t0-1からt0+1まで人型物体
が移動した方向と軌跡を表す移動矢印（例えば、テンプ
レート画像701aの中心位置からテンプレート画像703aの
中心位置を経由して704aの中心位置へ向かう矢印）、70
5aは時刻t0+1で更新された物体のテンプレート画像、70
5は時刻t0+1での入力画像におけるテンプレート画像705
aの位置を示す図、706は時刻t0+2での入力画像、706aは
時刻t0+2においてテンプレートマッチング処理によって
検出された物体の位置（テンプレート画像）、706bは１
フレーム前（t0+1）でのテンプレート画像の位置、706c
はテンプレートマッチング処理で探索する探索範囲、70
6dは時刻t0-1からt0+2まで人型物体が移動した方向と軌
跡を表す移動矢印（例えば、テンプレート画像701aの中
心位置からテンプレート画像703aの中心位置、テンプレ
ート画像705aの中心位置を経由して706aの中心位置へ向
かう矢印）、707aは時刻t0+2で更新された物体のテンプ
レート画像、707は時刻t0+2での入力画像におけるテン
プレート画像707aの位置を示す図、708は時刻t0+3での
入力画像、708aは時刻t0+3においてテンプレートマッチ
ング処理によって検出された物体の位置（テンプレート
画像）、708bは１フレーム前（t0+2）でのテンプレート
画像の位置、708cはテンプレートマッチング処理で探索
する探索範囲、708dは時刻t0-1からt0+3まで人型物体が
移動した方向と軌跡を表す移動矢印（例えば、テンプレ
ート画像701aの中心位置からテンプレート画像703aの中
心位置、テンプレート画像705aの中心位置、テンプレー
ト画像707aの中心位置を経由して708aの中心位置へ向か
う矢印）である。

【０００９】即ち、図５と図７において、物体追跡処理
が開始され、二値化画像604中に物体が存在すると判定
され、物体検出処理ステップ101を終了する（図４）。
そして、二値化画像604中の人型の二値化画像のかたま
りの外接矩形に相当する入力画像601の部分画像を、初
期テンプレート画像613（図７のテンプレート画像701
a）として画像メモリ305（図３）に登録する（初期テン
プレート登録ステップ102）。続いて、逐次入力される
入力画像中の探索範囲702c内でテンプレート画像701aと
一致度r(Δx,Δy)が最大となる部分画像702aを検出する
（テンプレートマッチッングステップ103）。即ち、テ
ンプレートマッチッングステップ103では、最大一致度
と、その最大一致度が求められた位置とを得る。

【００１０】この一致度r(Δx,Δy)を算出する方法とし
て、例えば以下の式(1)で得られる正規化相関と呼ばれ
る指標を用いることができる。

【数１】

【００１１】ここで、入力画像702に対してテンプレー
トマッチングを行なった場合、f(x,y)は入力画像702、f
_t(x,y)はテンプレート画像701a、（x₀,y₀）は登録した
テンプレート画像701aの左上の座標（画像は左上を原点
としている）、D_tはテンプレートの探索範囲702cを表
し、探索範囲702c内にテンプレート画像701aとまったく
同じ画素値を持つ画像が存在した場合には、一致度r(Δ
x,Δy)は“1.0”となる。テンプレートマッチングステ
ップ103では、この式(1)で表される指標を(Δx,Δy)∈D
で表される探索範囲702cに対して計算し、その中で一致
度r(Δx,Δy)が最大となる位置（外接矩形）702aを検出
する。この探索範囲702cは、対象物体の見かけの移動量
によって決定される。例えば、速度40km/hで移動する物
体を、50m離れたTVカメラ（素子サイズ6.5mm×4.8mmのC
CD、焦点距離25mmのレンズ、入力画像サイズ320×240画
素（pix）。処理間隔0.1frame/sec）で監視する場合、
水平方向の物体の見かけの移動量は27.4pix/frame、垂
直方向は27.8pix/frameとなり、Dを-30pix＜Δx＜30pi
x,-30pix＜Δy＜30pix程度に設定すればよい。尚、一致
度の算出方法は上述の正規化相関の指標に限られるもの
ではない。例えば、入力画像とテンプレート画像間で各
画素毎の差をとって、その絶対値の累積値の逆数を一致
度としてもよい。

【００１２】次に、最大一致度判定ステップ104では、
テンプレートマッチングステップ103において、テンプ
レート画像701aと一致度が最大となる入力画像702の位
置に、物体が移動した（外接矩形702bから外接矩形702a
に移動した）と判断したあと、次に、最大一致度が所定
値以下に低下した場合（例えば“0.5”未満）、入力画
像中に対象物体がいなくなったものとして、物体検出処
理ステップ101へ分岐し、最大一致度が所定値以上であ
った場合（例えば“0.5”以上）は、テンプレート更新
ステップ106へ分岐する。テンプレート更新ステップ106
では、入力画像中の探索範囲702c内でテンプレート画像
701aと一致度r（△x,△y）が最大となる部分画像702aを
使ってテンプレート画像701aをテンプレート画像703aに
更新する。ここで、テンプレート画像を更新する理由
は、対象物体の姿勢が変化（例えば、対象物体の人が手
を上げたり、腰を曲げたり、足を上げたりして画像が変
化）し、テンプレート画像を更新しないと一致度が低下
してしまい、追跡結果の信頼性が低下するためである。
従って、検出された物体の位置の部分画像702eを新たな
テンプレート画像703aとして更新し、対象物体が姿勢を
変えた場合でも安定な追跡を行なうようにしている。

【００１３】上述の実施例では、差分法によって検出し
た侵入物体について作成したテンプレート画像は、検出
した画素のかたまりの外接矩形を取り込み、この外接矩
形に囲まれた部分画像をテンプレート画像として切出し
た。しかし、切出すテンプレート画像のサイズの決定方
法はこの方法に限らない。例えば、外接矩形に一定の定
数（例えば、0.8、または1.1等）を乗算してもよい。更
に、撮像素子としてCCD（Charge Coupled Device）を使
用した場合には、CCDのサイズ、レンズの焦点距離、CCD
から検出する物体の距離によって、対象とみなす物体の
大きさを予め算出できるので、算出した大きさをテンプ
レート画像サイズとすることもできる。

【００１４】次に、カメラ雲台制御ステップ107に移
る。図１１は入力画像とテンプレートマッチングで検出
された対象物体の位置との関係を説明するための図であ
る。図１１に言及して、カメラ雲台制御ステップ107に
ついて説明する。カメラ雲台制御ステップ107では、テ
ンプレートマッチングによって検出された対象物体の位
置と入力画像中央との変位、即ち、カメラの光軸（カメ
ラの視野方向）に対して対象物体が存在する方向に基づ
いてカメラ雲台302のパン・チルトモータを制御する。
つまり、テンプレートマッチングによって検出された対
象物体の中心位置（x₀＋△x＋dx/2,y₀＋△y＋dy/2）
（（dx,dy）はテンプレート画像の大きさを表す）と入
力画像の中心位置（160,120）（画像サイズを320×240
とする）とを比較し、検出された対象物体の中心位置が
入力画像の中心位置に対して左側に位置する場合は、カ
メラ雲台のパンモータをカメラの光軸方向が左に移動す
るように制御し、右側に位置する場合はカメラ雲台のパ
ンモータをカメラの光軸方向が右に移動するように制御
する。また、検出された対象物体の中心位置が入力画像
の中心位置に対して上側に位置する場合は、カメラ雲台
のチルトモータをカメラの光軸方向が上に移動するよう
に制御し、下側に位置する場合は、カメラ雲台のチルト
モータをカメラの光軸方向が下に移動するように制御す
る。尚、パンモータ、チルトモータは同時に制御可能
で、例えば、検出された対象物体の中心位置が入力画像
の中心位置に対して左上側に位置する場合は、カメラ雲
台のパンモータをカメラの光軸方向が左に移動するよう
に制御し、かつ、チルトモータをカメラの光軸方向が上
に移動するように同時に制御する。このようにすること
で、カメラの光軸上に対する対象物体を捉えるようにカ
メラ雲台を制御することが可能となる。次に、警報・モ
ニタ表示ステップ108では、例えば対象物体が所定の警
報を出す範囲に存在する場合に警報を鳴らしたり、監視
モニタに対象物体の画像を表示したりする。

【００１５】警報・モニタ表示ステップ108が終わる
と、画像入力ステップ401に戻り、新しい入力画像を得
て、この現時刻での入力画像に対して再びテンプレート
マッチッング処理を行う。即ち、時刻t0での入力画像70
2により更新したテンプレート画像703aと、時刻t0+1で
の入力画像704とによりテンプレートマッチング処理を
行う。この時、探索範囲704cは時刻t0で更新されたテン
プレート画像704bを中心とした位置に移動しており、新
しい探索範囲で検索が行われる。そして、最大の一致度
を持った物体が検出され、その検出された物体の位置70
4aを元に新しいテンプレート画像705aが生成される。以
上のように、対象物体が存在する間は、ステップ401，
ステップ103，ステップ104，ステップ106，ステップ10
7，ステップ108の処理を繰返し、新しいテンプレート画
像706a、708a，‥‥‥へと次々にテンプレート画像を更
新しながら、対象物体を追跡し続ける。

【００１６】前述のテンプレートマッチングを用いた侵
入物体の追跡法では、対象物体の向きが変化（例えば、
対象物体の人が右を向いたり、後ろを向いたり）する
と、対象物体とマッチング位置とのズレが大きくなり、
正確かつ安定したな追跡ができないという問題がある。
即ち、テンプレートマッチングは、テンプレート内の高
いコントラストの模様部分が一致するようにマッチング
されるという性質がある。例えば、対象物体が車輌であ
る場合において、はじめは正面を向いていて、車輌のほ
とんどすべてがマッチング対象となっていた場合（図８
の入力画像802）と、その後進行方向（向き）が変わり
横向きになってしまった車輌の前面部分だけがマッチン
グ対象となり、車輌全体がマッチング対象となっていた
時に比べて、マッチング中心が車両の中心から車輌の前
部に移動するため、検出位置ズレが生ずる。

【００１７】これを図８を用いて説明する。図８は、侵
入物体追跡処理の流れを画像の例を用いて説明するため
に、撮像視野内での曲線を描く車道内を通過する車輌を
侵入物体とした場合の図である。801a，803a，805a，80
7aはそれぞれ時刻t1-1，時刻t1，時刻t1+1，時刻t1+2の
テンプレート画像、801，803，805，807はそれぞれテン
プレート画像801a，803a，805a，807aの更新時の位置を
示す画像、802，804，806，808はそれぞれ時刻t1，時刻
t1+1，時刻t1+2，時刻t1+3の入力画像、802a，804a，80
6a，809aは時刻t1，時刻t1+1，時刻t1+2，時刻t1+3にお
いてそれぞれテンプレートマッチング処理によって検出
された物体の位置、802b，804b，806b，808bはそれぞれ
１フレーム前でのテンプレート画像（時刻t1-1，時刻t
1，時刻t1+1，時刻t1+2でのそれぞれのテンプレート画
像）の位置である。図８において、時刻t1-1で登録され
たテンプレート画像801aは、移動車輌のフロント部がほ
ぼ正面を向いている画像である。時刻t1では、このテン
プレート画像801aを用いてテンプレートマッチングを行
ない、対象物体の移動した位置を検出すると共に、テン
プレート画像801aをテンプレート画像803aに更新する。
続いて、時刻t1+1ではテンプレート画像805aに更新さ
れ、更に時刻t1+2ではテンプレート画像807aに更新さ
れ、この処理を時刻t1+3まで行なうと、追跡開始時刻t1
で車輌のライトなどがあるフロント部分をテンプレート
マッチングしていたものが、時刻t1+3では、車輌の左側
にずれてマッチングされてしまう。

【００１８】この現象は、テンプレートマッチングが対
象とする入力画像とテンプレート画像中のコントラスト
が高い画像部分の位置のズレを小さくする様にマッチン
グが行われるように働くためで、この例では車輌のライ
ト部分がそれにあたる。そのため、図８のように、対象
物体が向かって右から左に向きを変えるような場合には
左側にずれ、向って左側から右側に向きを変えるような
場合には右側にずれる。更に、時刻t1では、テンプレー
ト画像801a中には車輌の画像だけが入っていたが、対象
物体が向きを変えてテンプレート位置がずれたことによ
って、テンプレート画像807a中に対象物体以外の背景部
分の画像が入り込んでしまう。このテンプレート画像80
7aのような対象物体以外の画像を多く含んだテンプレー
ト画像を用いて追跡を続けた場合には、対象物体とマッ
チングできずに、テンプレートに入り込んだ背景部分と
マッチングしてしまう。従って、テンプレートマッチン
グを用いた物体追跡法は、対象物体の向きが変化するよ
うな場合には、対象物体の模様が見かけ上移動し、それ
に引張られてテンプレートの位置がずれるため、対象と
している物体を追跡している保証ができず、安定な追跡
を行うことができない。

【００１９】

【発明が解決しようとする課題】前述の従来技術には、
対象物体の向きの変化が大きい場合には安定な追跡を行
うことができない欠点があった。本発明の目的は、上記
のような欠点を除去し、対象物体の向きの変化が大きい
場合にも、正確に物体を検出および追跡することができ
る、信頼性の高く安定に動作する物体追跡方法及び装置
を提供することにある。

【００２０】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の物体追跡方法は、撮像装置によって逐次
取得する入力画像から撮像視野内の物体を検出し、検出
した物体を追跡する物体追跡方法において、現時刻に取
得した入力画像と、テンプレート画像とのテンプレート
マッチングを行い、現時刻に取得した入力画像の中から
テンプレート画像と一致度が最大となる部分画像の位置
を検出するマッチングステップと、マッチングステップ
によって検出した位置の部分画像を包含し、かつ検出し
た位置の部分画像より所定サイズ大きい拡張部分画像の
領域についてエッジ検出を行い、エッジ検出によって検
出した部分画像の位置を物体の現時刻の検出位置に補正
するマッチング位置補正ステップと、マッチング位置補
正ステップによって補正された位置の部分画像を新たな
テンプレートとして更新するテンプレート更新ステップ
とを設け、撮像視野内の物体を追跡するものである。ま
た、本発明の物体追跡方法において、位置補正ステップ
は、現時刻の入力画像の拡張部分画像の領域内で、エッ
ジの密度が最大になる部分画像の位置を検出したもので
ある。

【００２１】更に本発明の物体追跡方法において、位置
補正ステップは、拡張部分画像の領域内に含まれるエッ
ジ成分を抽出し、ｘ軸及びｙ軸上にそれぞれ、ｙ軸方向
及びｘ軸方向のエッジ成分量を累積表示し、ｘ軸及びｙ
軸上の累積エッジ成分量から最大エッジ密度範囲を検出
したものである。また更に本発明の物体追跡方法におい
て、テンプレート画像のサイズは、物体の撮像視野内で
の見かけの移動量に基づき決定することができる。

【００２２】本発明の物体追跡方法はまた、入力画像か
ら差分法によって物体を検出し、検出した物体の少なく
とも一部を含む入力画像の所定サイズの部分画像をテン
プレート画像として登録する初期テンプレート登録ステ
ップを備え、記差分法によって検出した物体を追跡対象
物体として、追跡を行なう。更にまた、別の方法とし
て、位置補正ステップにおいて、取得した最大一致度が
所定の値未満であれば、差分法によって、現時刻の入力
画像から物体を検出し、検出した物体を追跡対象物体と
して追跡する。

【００２３】また更に、本発明の物体追跡方法において
は、位置補正ステップによって検出された位置に基づい
て、撮像装置の視野方向を変えるための制御信号を発生
するカメラ雲台制御ステップを有し、その制御信号によ
って撮像装置の視野方向を、出された位置に常に向け、
検出した物体を追跡するものである。

【００２４】本発明の物体追跡装置は、監視対象範囲を
逐次撮像する撮像装置と、撮像装置が取得した映像信号
を逐次画像信号に変換する画像入力インターフェース
と、画像入力インターフェースによって変換された画像
信号を処理する画像処理手段と、登録されたテンプレー
ト画像を格納する記憶装置とを備え、記画像処理手段
は、撮像装置から現時刻に入力した画像信号を記憶装置
にあらかじめ登録されたテンプレート画像によってテン
プレートマッチングを行ない、現時刻に入力した画像信
号の中から、テンプレート画像と最大の一致度を持つ部
分画像の位置を検出し、検出した位置の部分画像を包含
する、現時刻に入力した画像信号内の部分画像より所定
サイズ大きい拡張部分画像の領域について、エッジの密
度が最大となる部分画像の位置を検出し、エッジの密度
が最大となる部分画像の位置を、物体の現時刻における
検出位置とし、現時刻の検出位置の部分画像をを新たな
テンプレートマッチング位置と更新することによって撮
像装置の撮像視野内に侵入した物体を追跡するものであ
る。

【００２５】また本発明の物体追跡装置は、撮像装置の
視野方向を変えるための雲台と、画像処理手段によって
撮像装置の視野方向を変えるために雲台を制御するため
の制御信号を供給する雲台制御インターフェースとを更
に備え、画像処理手段が、物体の現時刻における検出位
置に基づいて、物体の方向を検出し、得られた方向から
雲台制御インターフェースを介して、撮像装置の視野方
向を調節し、撮像装置の撮像視野内に侵入した物体を追
跡するものである。

【００２６】

【発明の実施の形態】本発明の物体追跡方法では、従来
からの対象物体の模様が見かけ上移動し、それに引張ら
れてテンプレートの位置がずれる問題を解決するため、
対象物体は背景部分に比べてエッジ成分が多いという特
徴を利用して、追跡処理の過程で更新するテンプレート
画像の位置を入力画像のエッジ画像の密度に基いて補正
する。即ち本発明は、差分法によって物体を検出し、検
出物体の画像をテンプレートとして保持し、検出位置の
周辺でエッジ画像の密度が最大となる位置に検出位置を
補正しながら対象物体を追跡することで、特に対象物体
の向きの変化が起こった場合でも安定に追跡を行うこと
ができる。

【００２７】図３に、本発明の各実施例に共通する物体
追跡装置のハードウエア構成の一例を示す。301はTVカ
メラ、303は画像入力I/F、313はデータバス、305は画像
メモリ、306はワークメモリ、307はCPU、308はプログラ
ムメモリ、302はカメラ雲台、304は雲台制御I/F、309は
出力I/F、310は画像出力I/F、311は警告灯、312は監視
モニタである。TVカメラ301は画像入力I/F303に接続さ
れ、カメラ雲台302は雲台制御I/F304に接続され、警告
灯311は出力I/F309に接続され、監視モニタ312は画像出
力I/F310に接続されている。画像入力I/F303、雲台制御
I/F304、画像メモリ305、ワークメモリ306、CPU307、プ
ログラムメモリ308、出力I/F309及び画像出力I/F310
は、データバス313に接続されている。また、TVカメラ3
01はカメラ雲台302に取付けられている。

【００２８】図３において、TVカメラ301は監視対象
（視野範囲）を撮像する。撮像された映像信号は、画像
入力I/F303からデータバス313を介して画像メモリ305に
蓄積される。CPU307はプログラムメモリ308に保存され
ているプログラムに従って、ワークメモリ306内で画像
メモリ305に蓄積された画像の解析を行なう。CPU307
は、処理結果に応じてデータバス313から雲台制御I/F30
4を介してカメラ雲台302を制御してTVカメラ301の撮像
視野を変えたり、出力I/F309を介して警告灯311を点灯
し、画像出力I/F310を介して監視モニタ312に、例えば
侵入物体検出結果画像を表示する。尚、画像メモリ305
は、登録されたテンプレート画像を保存しておくための
テンプレート画像保持装置をも備えている。

【００２９】以降に説明するフローチャートは、すべて
上記図３で説明した物体追跡監視装置のハードウエア構
成を使って説明する。本発明の第１の実施例を図１によ
って説明する。図１は本発明の一実施例の処理プロセス
を説明するフローチャートである。図１は図５で示した
テンプレートマッチング法の処理プロセスにテンプレー
ト位置補正ステップ105を追加したものである。ステッ
プ101、102、401、103、104、106、107、108について
は、図４と図５によって説明したものと同じであるので
説明を省略する。

【００３０】さて、最大一致度判定ステップ104におい
て、最大一致度が所定値以上であった場合、テンプレー
ト位置補正ステップ105へ進む。テンプレート位置補正
ステップ105での処理の内容を、図８において時刻ｔ1+1
に得られた入力画像804と図９を用いて説明する。図９
は侵入物体追跡処理の流れを画像の例を用いて説明する
ために、撮像視野内での曲線を描く車道内を通過する車
輌を侵入物体とした場合の図で、図８の入力画像804に
ついて処理を行った場合の一例ある。901は入力画像で
図８の入力画像804と同じ画像が入力したもの、902は入
力画像901から微分フィルタ（図示しない）を使って抽
出したエッジ画像、903aは探索領域、903bは水平方向
（x軸）への投影像、903cは垂直方向（y軸）への投影
像、903は説明のために領域903aで切出したエッジ画像
に投影像903bと903cとを重ねて表示した図、804aは図８
で既に示したテンプレートマッチングで得られた検出位
置を表す範囲、904はx軸への投影像903bを表すグラフ、
904aはテンプレートマッチングによって得られた検出位
置を表す範囲、904bは累積投影値が最大となる範囲、90
5はy軸への投影像903cを表す図、905aはテンプレートマ
ッチングによって得られた検出位置を表す範囲、905bは
累積投影位置が最大となる範囲である。

【００３１】図９において、テンプレート位置補正ステ
ップ105では、入力画像901に対してエッジ抽出処理を施
し、エッジ画像902を得る。このエッジ抽出処理は、例
えば、入力画像901に対してSobel，Roberts等の微分フ
ィルタを掛け、得られた画像を二値化する（エッジ部分
を“255”、それ以外を“0”とする）ことによって行わ
れる。この例については、例えば、１９８５年に総研出
版より出版された田村秀行氏監修による『コンピュータ
画像処理入門』と題する書籍のP118〜125に解説されて
いる。

【００３２】次にエッジ画像902をテンプレートマッチ
ングステップ103によって得られた検出位置804aの範囲
（図903の実線枠部分：左上の座標(x₀,y₀)、大きさ(dx,
dy)）から上下左右を所定画素d分（dは対象物体の向き
の変化に伴うマッチング位置のズレの許容値、例えばd=
5 pix）拡げた探索領域903a（図903の点線枠部分：左
上の座標(x₀−d,y₀−d)、大きさ(dx+2d,dy+2d)）で切出
し、x軸方向に対するエッジ画像の投影像903bと、y軸方
向に対するエッジ画像の投影像904cを求める。従って、
探索領域903aは、上記検出位置804aの範囲を包含する拡
張部分画像である。

【００３３】グラフ904において、横軸は水平（x軸）方
向、縦軸はx軸方向の各画素（pix）毎のエッジ画像の投
影像903bの値hx(x)であり、グラフ905において、横軸は
垂直（y軸）方向、縦軸はy軸方向の各画素（pix）毎の
エッジ画像の投影像903cの値hy(y)である。ｘ軸方向の
投影像903bのx=x₀における投影値x(x₀)は、探索領域903
aで切出したエッジ画像に対し、(x,y) を、x=x₀におい
て、y₀-d＜y＜y₀+dy+d と変化させ、画素値が“255”と
なる画素数を計数して得る。また、y軸方向の投影像903
cのy=y₀における投影値y(y₀)は、探索領域903aで切出し
たエッジ画像に対し、(x,y)を、y=y₀において、x₀−d＜
x＜x₀+dx+d と変化させ画素値が“255”となる画素数を
計数して得る。次に、図904はx軸への投影像903bを表す
グラフであり、範囲904aはテンプレートマッチングによ
って得られた検出位置を表す。また、範囲904bはその範
囲の累積投影値が最大となる範囲、すなわちエッジの密
度が最大となる範囲（x₁＜x＜x₁+dx）を示しており、こ
の位置は、次の式(2)によって得られる。

【００３４】

【数２】

【００３５】この式(2)は、x₁ を x₀-d＜x₁＜x₀+d と変
化させた場合に、x₁＜x＜x₁+dx において hx(x) の累積
値が最も大きくなる x₁ を求めることを表している。ま
た同様にｙ軸に対する投影像に対してもエッジの累積値
が最大となる範囲（y₁＜y＜y₁+dy）を得る。従って、テ
ンプレートマッチングステップ103によって検出された
対象物体の位置（左上の座標(x₀,y₀)）は、テンプレー
ト位置補正ステップ105によって補正された位置（左上
の座標(x₁,y₁)）に修正される。

【００３６】上記本発明の一実施例の効果について、図
１０を用いて説明する。図１０は、侵入物体追跡処理の
流れを画像の例を用いて説明するために、撮像視野内で
の曲線を描く車道内を通過する車輌を侵入物体とした場
合の図で、図８と同じ条件設定であり、図８で示したマ
ッチング処理の後に位置ズレ補正処理を追加したもので
ある。1001a，1003a，1005a，1007aはそれぞれ時刻t1-
1，時刻t1，時刻t1+1，時刻t1+2のテンプレート画像、1
001，1003，1005，1007はそれぞれテンプレート画像100
1a，1003a，1005a，1007aの更新時の位置を示す画像、1
002，1004，1006，1008はそれぞれ時刻t1，時刻t1+1，
時刻t1+2，時刻t1+3の入力画像、1002a，1004a，1006
a，1009aは時刻t1，時刻t1+1，時刻t1+2，時刻t1+3にお
いてそれぞれテンプレートマッチング処理によって検出
された物体の位置、1002b，1004b，1006b，1008bはそれ
ぞれ１フレーム前でのテンプレート画像（時刻t1-1，時
刻t1，時刻t1+1，時刻t1+2でのそれぞれのテンプレート
画像）の位置である。

【００３７】図８で示された方法では、テンプレートマ
ッチングが対象とする入力画像と、テンプレート画像の
中のコントラストが高い画像部分（図８の例では、車両
のフロント部分）の位置のズレを小さくするようにテン
プレートマッチングが行われるため、対象物体の向きの
変化が起る場面では、テンプレート画像中の車両フロン
ト部分の位置は変らないが、追跡処理を繰返す度に対象
物体以外の画像（背景画像）の画素が含まれる割合が大
きくなってしまう。

【００３８】それに対し、本発明の実施例を適用した図
１０の場合には、テンプレートマッチング処理後にテン
プレート画像の位置をエッジが多く含まれる画素部分、
即ち、対象物体の画素部分に逐次位置補正するため、図
８の方法によるテンプレート画像に比べて、対象物体以
外の画素分が含まれる割合を小さくすることができる。
従って、図８と図１０の同時刻のテンプレート位置、例
えば、809aと1009aとを比較すると、位置809aの場合に
は、テンプレート画像中に含まれる背景部分の画素の割
合が半分以上となっているが、位置1009aの場合には、
テンプレート画像のほとんどの部分が対象物体の画素と
なっている。

【００３９】上述のテンプレート位置補正ステップ105
の次に、テンプレート更新ステップ106の処理がなさ
れ、位置補正された対象物体の位置を新しいテンプレー
ト画像として更新する。以降、図５と同様な処理がなさ
れる。

【００４０】上記のように本発明の実施例によれば、テ
ンプレートマッチングステップ103によって検出された
位置を対象物体に存在するエッジを検出し、そのエッジ
の密度が最大となる位置に検出位置を補正するため、対
象物体が向きを変えたとしてもテンプレートの位置が対
象物体からずれることがなく、正確に対象物体を追跡す
ることができる。

【００４１】本発明の第２の実施例を図２を用いて説明
する。図２は本発明の処理プロセスの一実施例を表すフ
ローチャートである。図２は図１で表される第１の実施
例を表すフローチャートの最大一致度判定ステップ104
の代わりに分岐ステップ201と最大一致度判定ステップ1
04´を置き、テンプレート更新ステップ106の代わりに
複数テンプレート保存ステップ202を置いて構成したも
のである。

【００４２】図２において処理が開始されると、既に説
明した物体検出処理101から初期テンプレート登録ステ
ップ102によって、時刻t0-1における入力画像から取得
した画像を時刻t0-1のテンプレート画像として登録した
後、画像入力ステップ401に進む。画像入力ステップ401
で、時刻t0における入力画像を取得する。次に、テンプ
レートマッチング処理ステップ103では、保存された時
刻t0-1のテンプレート画像と、時刻t0における入力画像
とテンプレートマッチング処理がなされる。そして、分
岐ステップ201（後述する）を通り、最大一致度判定ス
テップ104´に進む。最大一致度判定ステップ104´で
は、最大一致度が所定値以上であった場合にはテンプレ
ート位置補正ステップ105に進み、最大一致度が所定値
未満であった場合には物体検出処理ステップ101に戻
る。

【００４３】テンプレート位置補正ステップ105では、
最大一致度判定ステップ104´において抽出した位置を
時刻t0での検出位置として補正する。そして、次の複数
テンプレート保存ステップ202では、位置補正した時刻t
0の検出位置をもとに時刻t0のテンプレートが新たに保
存される。この時、既に初期テンプレート登録ステップ
102において登録された時刻t0-1のテンプレ−ト画像は
そのまま保存される。次に、カメラ雲台制御ステップ10
7に進み、カメラの視野（光軸方向）を時刻t0における
検出位置に基づき対象物体の方向に向ける。次に、警報
・モニタ表示ステップ108に処理を移し、例えば警報を
鳴らしたり、例えば監視モニタに対象物体の画像を表示
したりする。警報・モニタ表示ステップ108が終了する
と、画像入力ステップ401に戻り、新しい入力画像を取
得し、再びテンプレートマッチッング処理を行う。

【００４４】再びテンプレートマッチッングステップ10
3に戻った時、保存されているテンプレートは時刻t0-2
のテンプレートと時刻t0-1のテンプレートの２つである
（時刻は“1”進んでいるため“-1”が加えられる）。
ここで、テンプレートマッチッングステップ103では時
刻t0の入力画像と、先ず時刻t0-1のテンプレートとのテ
ンプレートマッチング処理がなされ、分岐ステップ201
に進む。分岐ステップ201では、保存されているすべて
のテンプレート画像すべてについてテンプレートマッチ
ング処理がなされているかどうかを調べる。今、時刻t0
-1のテンプレートとのテンプレートマッチング処理がな
されたが、まだ時刻t0-2のテンプレートが残っている。
従って、この時はステップ103に戻り、時刻t0-2のテン
プレートと時刻t0の入力画像とのテンプレートマッチン
グ処理を行う。このようにして、次々と残っているテン
プレートとテンプレートマッチング処理を行い、すべて
のテンプレートについてテンプレートマッチング処理が
終了すれば、分岐ステップ201から処理ステップを最大
一致度判定ステップ104´に進む。

【００４５】最大一致度判定ステップ104´では、テン
プレートマッチング処理によって、複数のテンプレート
画像それぞれについてに得られた最大一致度の中から一
番大きな値を選ぶ。そして、その一番大きな値の最大一
致度が所定値（例えば、0.5）以上であった場合にはテ
ンプレート位置補正ステップ105に進み、その一番大き
な値の最大一致度が所定値未満であった場合には、入力
画像中に対象物体が存在しなくなったものとして、物体
検出処理ステップ101に戻る。

【００４６】テンプレート位置補正ステップ105では、
最大一致度判定ステップ104´において一番値の大きい
最大一値度を得たテンプレート画像について入力画像の
エッジ処理を行い、得られたエッジ画像から対象物体の
位置を補正する。そして、次の複数テンプレート保存ス
テップ202では、位置補正した時刻t0の検出位置をもと
に時刻t0のテンプレートが新たに保存される。この時、
既に初期テンプレート登録ステップ102において登録さ
れた時刻t0-1のテンプレ−ト画像はそのまま保存され
る。この複数テンプレート保存ステップ202で保存する
テンプレート画像の数は、あらかじめ所定数（例えば、
“3”）を定めておき、所定数を超える時は、一番古い
時刻に取得したテンプレートを削除する。次にカメラ雲
台制御ステップ107に進み、カメラの視野方向（光軸方
向）を制御する。そして次に、警報・モニタ表示ステッ
プ108に進み、例えば警報を鳴らしたり、例えば監視モ
ニタに対象物体の画像を表示したりする。警報・モニタ
表示ステップ108が終わると、画像入力ステップ401に戻
り、新しい入力画像を得、再びテンプレートマッチッン
グ処理を続ける。上述の場合には、一番古い時刻に取得
したテンプレートを削除したが、テンプレートマッチン
グステップ103において算出した中で、最小の一致度が
得られたテンプレートを削除することでもよい。

【００４７】この第２の実施例によれば、テンプレート
マッチングステップ103によって検出された位置をもと
に、対象物体に存在するエッジを検出し、そのエッジの
密度が最大となる位置に検出位置を補正し、異なる時刻
に得られた所定フレーム数分のテンプレート画像を独立
にマッチングさせるため、対象物体が向きを変えたり、
対象物体の前を別の物体が横切ったとしても、過去の複
数のテンプレート画像を対象として、最大の一致度を持
つ領域をテンプレートマッチング位置として補正するた
め、テンプレートの位置が対象物体からずれることがな
く、また別の物体を追跡することなく、対象物体を正確
に追跡することができる。

【００４８】

【発明の効果】以上のように本発明によれば、対象物体
の向きが変化する物体を追跡安定に物体を追跡すること
ができ、撮像装置を用いた監視装置の適用範囲を大きく
広げることができる。

【図面の簡単な説明】

【図１】 本発明の一実施例の処理動作を説明するため
のフローチャート。

【図２】 本発明の一実施例の処理動作を説明するため
のフローチャート。

【図３】 本発明が適用された監視装置の一実施例を示
すブロック構成図。

【図４】 従来の差分法による物体検出処理の一例を示
すフローチャート。

【図５】 従来のテンプレートマッチング法による物体
追跡処理の一例を示すフローチャート。

【図６】 従来の差分法による物体検出処理の動作を説
明する図。

【図７】 従来のテンプレートマッチング法による物体
追跡処理の動作を説明する図。

【図８】 従来のテンプレートマッチング法による物体
追跡処理の問題点を説明する図。

【図９】 本発明の物体追跡方法の一実施例を説明する
図。

【図１０】 本発明の物体追跡方法の一実施例を説明す
る図。

【図１１】 画像とテンプレートマッチングで検出され
た対象物体の位置との関係を説明するための図。

【符号の説明】

301：TVカメラ、 302：カメラ雲台、 303：画像入力I
/F、 304：雲台制御I/F、 305：画像メモリ、 306：
ワークメモリ、 307：CPU、 308：プログラムメモ
リ、 309は出力I/F、 310：画像出力I/F、 311：警
告灯、 312：監視モニタ、 313はデータバス、 60
1：入力画像、 602：基準背景画像、 603：差分処理
された後の差分画像、 604：二値化画像、 605：画
像、 606：差分処理部、 607：二値化処理部、 60
8：画像抽出部、 609：人型の物体、 610：人型の差
分画像、 611：人型の二値化画像、 612：外接矩形、
613：初期テンプレート画像、 701，703，705，70
7：画像、 701a，703a，705a，707a：テンプレート画
像、 702，704，706，708：入力画像、 702a，704a，
706a，708a：テンプレートマッチング処理によって検出
された物体の位置、 702b，704b，706b，708b：１フレ
ーム前でのテンプレート画像の位置、 702c，704c，70
6c，708c：探索範囲、 702d，704d，706d，708d：移動
矢印、 702e：二値化画像、 801，803，805，807：画
像、 801a，803a，805a，807a：テンプレート画像、
802，804，806，808：入力画像、 802a，804a，806a，
809a：テンプレートマッチング処理によって検出された
物体の位置、 802b，804b，806b，808b：１フレーム前
でのテンプレート画像の位置、 901：入力画像、 90
2：エッジ画像、 903a：領域、 903b，903c：投影
像、 903：説明のために領域903aで切出したエッジ画
像に投影像903bと903cとを重ねて表示した図、 904：x
軸への投影像903bを表す図、 904a：テンプレートマッ
チングによって得られた検出位置を表す範囲、 904b：
累積投影位置が最大となる範囲、 905：y軸への投影像
903cを表す図、 905a：テンプレートマッチングによっ
て得られた検出位置を表す範囲、 905b：累積投影位置
が最大となる範囲、 1001，1003，1005，1007：画像、
1001a，1003a，1005a，1007a：テンプレート画像、
1002，1004，1006，1008：入力画像、 1002a，1004a，
1006a，1009a：テンプレートマッチング処理によって検
出された物体の位置、 1002b，1004b，1006b，1008b：
１フレーム前でのテンプレート画像の位置。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 撮像装置によって逐次取得する入力画像
   から撮像視野内の物体を検出し、該検出した物体を追跡
   する物体追跡方法において、 現時刻に取得した前記入力画像と、テンプレート画像と
   のテンプレートマッチングを行い、前記現時刻に取得し
   た入力画像の中から前記テンプレート画像と一致度が最
   大となる部分画像の位置を検出するマッチングステップ
   と、 前記マッチングステップによって検出した位置の部分画
   像を包含し、かつ前記検出した位置の部分画像より所定
   サイズ大きい拡張部分画像の領域についてエッジ検出を
   行い、該エッジ検出によって検出した部分画像の位置を
   物体の現時刻の検出位置に補正するマッチング位置補正
   ステップと、 該マッチング位置補正ステップによって補正された位置
   の部分画像を新たなテンプレートとして更新するテンプ
   レート更新ステップとを設け、 前記撮像視野内の物体を追跡することを特徴とする物体
   追跡方法。
2. 【請求項２】 請求項１記載の物体追跡方法において、
   前記位置補正ステップは、前記現時刻の入力画像の前記
   拡張部分画像の領域内で、エッジの密度が最大になる部
   分画像の位置を検出することを特徴とする物体追跡方
   法。
3. 【請求項３】 請求項２記載の物体追跡方法において、
   前記位置補正ステップは、前記拡張部分画像の領域内に
   含まれるエッジ成分を抽出し、ｘ軸及びｙ軸上にそれぞ
   れ、ｙ軸方向及びｘ軸方向のエッジ成分量を累積表示
   し、該ｘ軸及びｙ軸上の累積エッジ成分量から前記最大
   エッジ密度範囲を検出することを特徴とする物体追跡方
   法。
4. 【請求項４】 請求項１乃至請求項３記載のいずれかの
   物体追跡方法において、前記所定サイズは前記物体の前
   記撮像視野内での見かけの移動量に基づき決定すること
   を特徴とする物体追跡方法。
5. 【請求項５】 請求項１乃至請求項４のいずれかに記載
   の物体追跡方法において、 前記入力画像から差分法によって物体を検出し、該検出
   した物体の少なくとも一部を含む前記入力画像の所定サ
   イズの部分画像を前記テンプレート画像として登録する
   初期テンプレート登録ステップを備え、 前記差分法によって検出した物体を追跡対象物体とし
   て、追跡を行なうことを特徴とする物体追跡方法。
6. 【請求項６】 請求項５記載の物体追跡方法において、 前記位置補正ステップにおいて、取得した最大一致度が
   所定の値未満であれば、前記差分法によって、現時刻の
   入力画像から物体を検出し、該検出した物体を追跡対象
   物体として追跡することを特徴とする物体追跡方法。
7. 【請求項７】 請求項１乃至請求項６のいずれかに記載
   の物体追跡方法において、 前記位置補正ステップによって検出された位置に基づい
   て、前記撮像装置の視野方向を変えるための制御信号を
   発生するカメラ雲台制御ステップを有し、 該制御信号によって前記撮像装置の視野方向を前記検出
   された位置に常に向けて、前記検出した物体を追跡する
   ことを特徴とする物体追跡方法。
8. 【請求項８】 撮像視野内の物体を検出し、該検出した
   物体を追跡する物体追跡方法において、 監視対象範囲を逐次撮像する撮像装置と、 該撮像装置が取得した映像信号を逐次画像信号に変換す
   る画像入力インターフェースと、 該画像入力インターフェースによって変換された前記画
   像信号を処理する画像処理手段と、 テンプレート画像として登録された画像を格納する記憶
   装置とを備え、 前記画像処理手段は、前記撮像装置から現時刻に入力し
   た画像信号を前記記憶装置にあらかじめ登録されたテン
   プレート画像によってテンプレートマッチングを行な
   い、 前記現時刻に入力した画像信号の中から、前記テンプレ
   ート画像と最大の一致度を持つ部分画像の位置を検出
   し、 前記検出した位置の前記部分画像を包含する、前記現時
   刻に入力した画像信号内の前記部分画像より所定サイズ
   大きい拡張部分画像の領域について、エッジの密度が最
   大となる部分画像の位置を検出し、 該エッジの密度が最大となる部分画像の位置を、物体の
   現時刻における検出位置とし、 該現時刻の検出位置の部分画像をを新たなテンプレート
   マッチング位置と更新することによって前記撮像装置の
   撮像視野内に侵入した物体を追跡することを特徴とする
   物体追跡装置。
9. 【請求項９】 請求項８の物体追跡装置において、 前記撮像装置の視野方向を変えるための雲台と、 前記画像処理手段によって前記撮像装置の視野方向を変
   えるために前記雲台を制御するための制御信号を供給す
   る雲台制御インターフェースとを更に備え、 前記画像処理手段が、前記物体の現時刻における検出位
   置に基づいて、前記物体の方向を検出し、得られた方向
   から前記雲台制御インターフェースを介して、前記撮像
   装置の視野方向を調節し、前記撮像装置の撮像視野内に
   侵入した物体を追跡することを特徴とする物体追跡装
   置。