JP2001229488A - 車両追跡方法および交通状況追跡装置 - Google Patents

Abstract

(57)【要約】 【課題】画面上で車両の重なりや隠れを生じる場合、車
両追跡が続行でき、安定した走行軌跡が得られる交通状
況追跡装置を提供する。 【解決手段】画像処理装置２はテレビカメラ１で撮影さ
れた画像を入力し、時刻ｔの画面上に新規に現れた車両
を検出し、また、時刻ｔ−１に画面上に存在した車両を
時刻ｔの画面上で追跡し、追跡結果の車両位置と追跡可
／否の情報を出力する。追跡補完装置３は画像処理装置
２と並行処理し、時刻ｔ−１の車両位置から、時刻ｔの
車両位置を予測する。また、画像処理装置２による時刻
ｔにおける追跡結果を調べ、追跡不可の車両に対し、時
刻ｔの予測座標値に基づく再検出を画像処理装置２に指
示する。再検出の結果、当該車両を検出できた場合はそ
の車両位置を時刻ｔの確定座標として走行軌跡格納部３
０５に登録する。再検出でも追跡不可の場合は、時刻ｔ
の予測座標値を登録する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置を用い
た交通状況追跡装置に関する。

【０００２】

【従来の技術】道路上に設置したカメラの映像を画像処
理することで、車両軌跡をとらえ交通量、異常交通を計
測する方法が長大トンネルなどに用いられている。特開
平８−１４７５９１号には、画像処理装置の中に次周期
の座標の予測機能を設け、画像処理で検出した車両位置
と、あらかじめ記憶しておいた前周期の車両毎の位置や
速度から予測した位置との対応を取ることによって、車
両毎のトラッキングを行う交通流計測装置が開示されて
いる。

【０００３】一方、近年、車両走行挙動の解析のニーズ
が高まっている。特開平１１−９６４９４号には、広い
監視領域を複数のカメラにより監視する場合を想定し、
複数のカメラ間の死角での車両走行を補完し、監視領域
全体の状況を表示する方法が開示されている。ここで
は、画像処理で車両検出時の初速度などのパラメータを
車両走行模擬部の入力とし、車両追従モデルで車両の走
行を模擬して、カメラ間の死角での車両走行を上記追従
モデルで補完する。

【０００４】

【発明が解決しようとする課題】画像による交通流監視
や車両走行挙動解析においては継続性のある交通状況の
追跡、つまり画像による車両のトラッキングの精度向上
が重要な課題となる。しかし、画面上の車両の重なりに
よってトラッキングが途絶する問題があり、ことトラッ
キングに関しては従来型センサーに比べ精度上の問題が
あった。

【０００５】特開平８−１４７５９１号での車両位置の
予測方法は、前周期の車両の走行位置と、瞬間速度から
次周期の車両位置を推定するものであり、急激な速度変
化には対応できないなど、予測精度に問題がある。ま
た、特開平１１−９６４９４号では、カメラで撮影でき
ない区間の車両の走行挙動を予測することに止まり、カ
メラの視野内での車両の詳細な走行状況の補完について
は考慮されていない。この場合、重なりの影響で検出で
きなかった車両は表示できないことになる。

【０００６】カメラの視野内での車両の重なりを分離す
るためには、車両挙動に対するより高精度の予測が必要
になる。このためには、車両一台、一台の先行車両との
車間距離特性や、加減速等を詳細にモデル化する必要が
ある。画像処理装置が従来行っている検出処理や追跡処
理に加えてこれらの走行モデルの計算も付加すること
は、汎用の画像処理装置では限界があり、高性能の画像
処理装置を含む高価なシステムが必要になる。

【０００７】本発明の目的は、上記の問題点を解決し、
車両の重なり、隠れが生じ、画像処理のみでは車両間の
分離がし難い場合でも車両追跡が継続でき、安定した走
行軌跡が得られる車両追跡方法及び交通状況追跡装置を
提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成する本発
明は、道路上に設置したテレビカメラより周期的に取り
込まれる画面上の映像から画像処理により車両を検出
し、前時刻（ｔ−１）で検出された車両を次の時刻
（ｔ）の画面上で探索して、車両毎にその走行状況を追
跡する車両追跡方法において、前記画像処理による追跡
ができない場合に予測位置に基づく補完処理を行って車
両追跡を継続する。

【０００９】前記補完処理は、時刻ｔ−１における前記
画像処理と並行して、時刻ｔ−１で検出された車両毎に
時刻ｔにおける予測車両位置を求め、時刻ｔ−１で存在
していて時刻ｔの画面上で探索ができなかった車両に対
し、その予測車両位置に基づき前記画像処理による再探
索を行い、当該車両を検出できた場合はその検出位置を
時刻ｔの車両位置とし、当該車両を検出できなかった場
合は当該予測車両位置を時刻ｔの車両位置とみなすこと
を特徴とする。

【００１０】本発明によれば、画像処理で車両を追跡す
るための車両の特徴部分が画面上の車両の重なり等によ
り隠れた場合も、隠れていない他の部分を再検出して車
両の追跡処理を続行することができる。なお、時刻ｔ−
１で検出され、時刻ｔでは探索できなかった車両のう
ち、テレビカメラの検出領域外に通過したものは、その
予測車両位置から除外できる。

【００１１】また、前記予測車両位置は、前記画像処理
から得られる車両速度の変動に基づくｔ−１からｔ間の
最大、最小及び平均の移動条件によってそれぞれ求め、
ある移動条件による予測車両位置での再探索が不可能な
場合に、他の移動条件による予測車両位置によって再探
索を行う。これにより、再探索の精度を向上できる。

【００１２】また、前記予測車両位置に基づく再探索
は、該予測車両位置の周辺、または該予測車両位置を画
面上で後続車両との重なりを少なくする所定方向に移動
した位置の周辺に対して行う。例えば、車両が画面下部
から現れて画面上部へ通過する場合、予測車両位置の周
辺として設定される検知窓は、後続車両が重ならないよ
うに予測位置の左上方に所定距離だけ移動する。

【００１３】本発明の車両追跡方法を適用する交通状況
追跡装置は、道路の状況を周期的に撮影するテレビカメ
ラと、撮影した画面を入力して車両を検出し、次画面の
入力に応じて前画面で検出された車両を追跡する画像処
理装置と、前画面で検出された車両毎にその車両位置か
ら次画面における予測車両位置を求める車両位置予測手
段、及び、前記画像処理装置による次画面での追跡がで
きない車両について、その予測車両位置に基づく再追跡
を前記画像処理装置に対して指示する車両位置補正手段
を有する追跡補完装置を設けたことを特徴とする。

【００１４】前記追跡補完装置は、前記画像処理装置に
よる前記次画面での追跡または再追跡が行えたか判定
し、追跡または再追跡が行えた場合はその検出車両の車
両位置、前記再追跡が行えなかった場合は前記予測車両
位置のいずれかを前記次画面の車両位置として決定する
手段（実施例では、追跡判定手段303及び車両位置補正・
確定手段304）と、この決定された車両位置を時系列の
走行軌跡として格納する手段を有している。

【００１５】これによれば、通常機能をもつ汎用の画像
処理装置に前記追跡補完装置を付加することで実現で
き、高機能をもつ高価な画像処理装置を利用しなくて済
む。また、前記追跡補完装置はその処理機能をプログラ
ムにして格納した記憶媒体とパソコンなどによって安価
に構成できる。

【００１６】さらに、本発明の交通状況追跡装置にアニ
メーション表示手段を付加し、走行軌跡格納手段に格納
した車両毎の走行軌跡をテレビカメラからの入力周期と
同期してアニメーション表示することにより、監視領域
の交通状況をカメラの画角以外の視点で表示することが
できる。

【００１７】

【発明の実施の形態】以下、本発明の実施形態について
図面を用いながら詳細に説明する。図１は、本発明の一
実施例による交通状況追跡装置の構成を示すブロック図
である。交通状況追跡装置は、道路画像を撮影する１台
または複数のテレビカメラ１と、テレビカメラ１で撮影
された画像を入力して画像処理を行う画像処理装置２
と、画像処理装置２と並行して画像上に存在する車両の
次のサンプリング時刻の位置を予測し、車両追跡が途切
れた場合の再追跡を可能とするため、画像処理と並行し
て車両位置予測を行う追跡補完装置３からなる。

【００１８】画像処理装置２は車両検出部２0１、車両
追跡部２0２及び追跡車両管理部２0３を有している。車
両検出部２0１は、最新の時刻ｔの画面上に新規に現れ
た車両を画像処理機能により検出する手段である。車両
追跡部２0２は、前回の時刻ｔ−１に画面上に存在した
車両を個別に画面上から画像処理機能を用いて追跡する
手段である。追跡車両管理部２0３は、車両検出部２0１
と車両追跡部２0２により得られ、時刻ｔの画面上に存
在する車両に関する位置や速度などの情報を管理する手
段である。

【００１９】追跡補完装置３は車両位置予測部３0１、
予測座標管理部３０２、追跡判定部３０３、車両位置補
正・確定部３０４及び走行軌跡格納部３０５を有してい
る。車両位置予測部３0１は、時刻ｔ−１の車両位置情
報から時刻ｔの車両位置を予測する手段である。予測座
標管理部３０２は、車両位置予測部３０１で予測した座
標値を車両毎に管理する手段である。追跡判定部３０３
は、時刻ｔの画面上に存在した各車両を車両追跡部２０
２が追跡できたか否かを車両毎に判定する手段である。

【００２０】車両位置補正・確定部３０４は追跡判定部
３０３で追跡できなかったと判定した車両について、車
両位置予測部３0１が算出した予測座標値に基づいて、
車両が存在すると予測される位置を画像処理装置２に指
示する。また、画像処理装置２から予測位置周辺に該当
車両が検出できたか否かの信号を受信し、検出できた場
合には検出車両の座標を画像処理装置２で追跡できなか
った当該車両の位置として確定し、検出できなかった場
合には予測座標値そのものを追跡できなかった当該車両
の位置とみなして確定する。走行軌跡格納部３０５は、
車両位置補正・確定部３０４で確定した車両位置を、時
刻ｔにおける車両位置として各車両の走行軌跡に追加し
て格納する。

【００２１】次に、画像処理装置２と追跡補完装置３の
各部の構成と動作を詳細に説明する。テレビカメラ１で
撮影した道路画像は画像処理装置２に入力する。画像処
理装置２の画像処理機能によって実現される車両検出部
２0１および車両追跡部２0２は、第２回画像センシング
シンポジウム講演論文集２９３頁―２９６頁の「画像処
理による交通流・渋滞のリアルタイム計測」に記載の方
法と同様に、検知した車両の特徴部分をテンプレート登
録し、テンプレートマッチングにより車両追跡を行うも
のである。

【００２２】車両検出部２０１は画面上に検知領域を設
け、車両が新規に検知領域に現れたタイミングで検知領
域内の車両の水平方向のエッジなどの特徴部分を画像処
理機能により検出して、該水平エッジの存在する領域を
車両の追跡テンプレートとして登録する。車両が新規に
画面上に現れるタイミングは、例えば背景（路面）のパ
タンを記憶しておき、画像がテレビカメラから入力され
る毎にパタンとの相関を取って、相関が下がったときに
車両が通過したと判定するなどの方法により実現でき
る。図２〜図４を用いて、車両通過判定及びテンプレー
ト登録処理を具体的に説明する。

【００２３】図２は車両の存在しない画面例で、検出領
域の画面21に車両通過を判定するタイミングをはかるた
めのウインドウ22が設定されている。ウインドウ22の位
置は画像を撮影するテレビカメラの高さ、角度などから
画面内に車両が入ってくる位置に決定される。そして、
予め車両の存在しない画面21のウインドウ22から背景パ
タン23を記憶しておく。車両検出部21が処理を開始する
と、テレビカメラから入力される画面毎にウインドウ22
の入力画像と背景パタン23との相関値を計算する。

【００２４】図３は車両が通過する前後の相関値の変化
の例を示す。図中の横軸は時間で、縦軸は相関値であ
る。相関値31、33、34はそれぞれ時刻t1、t2、t3のとき
の値である。時間帯32は、ウインドウ22中を車両が通過
中で相関値が低下している時間帯である。

【００２５】図４は図３の各相関値に対応する画面例を
示す。(a)(b)(c)の各画面中で、ウインドウ22は図２と
同様に車両の通過するタイミングをはかるためのウイン
ドウであり、(c)におけるウインドウ43は、テンプレー
ト登録するための車両の特徴部分を検出するための検出
窓である。ウインドウ22から車両が通過した瞬間に、ウ
インドウ22のすぐ上部に設定した検出窓43内で、車両後
尾下部の特徴部を検出する。

【００２６】（ａ）の画面は、車両が存在しない画面な
ので、ウインドウ22のパタン42と背景パタン23との相関
値31も高い。（ｂ）の画面は車両41が通過中の画面で、
ウインドウ22のパタン42が背景パタン23とは明らかに違
うため、相関値33も図３のように下がる。（ｃ）の画面
はウインドウ22の領域から車両41が通過したので、パタ
ン42と背景パタン23の相関値34は再び高くなる。

【００２７】（ｃ）の画面のタイミングで、ウインドウ
22の上部に車両が存在するとし、検出窓43内で車両41の
特徴部分を探す。ここでは、車両41の水平エッジを画像
処理機能により検出し、その結果水平エッジの存在する
領域44を車両41の追跡テンプレート50として登録する。
登録した追跡テンプレート50は、車両追跡部２０２に渡
され、各車両別に以下に説明する車両追跡処理を行う。

【００２８】また、車両検出時に、車長および車種も検
出することができる。この検出方法については、例え
ば、特開平１０−３０７９８８号の交通流監視装置に記
載のように、ある領域の車両の通過時間と速度から車長
を算出し、その車長をもとに大型車か小型車かの判定を
行う。

【００２９】車長や車種の情報は本発明の構成には必須
ではないが、車長情報が得られると、後述する車両位置
予測部３０１で車両の予測位置を算出する際に、車長情
報を考慮した詳細な予測が行える。また、大型／小型の
車種情報が得られると、後述する車両位置補正・確定部
304の処理で、車両の再検出を行う検出窓の大きさを大
型車／小型車により変更することも可能である。

【００３０】次に、画像処理装置２の車両追跡部202に
ついて説明する。図５は画像処理による車両追跡処理の
画面例で、走行中の車両51，52とそれぞれを追跡するテ
ンプレート53，54を示している。この例の場合は、２種
類の異なった特徴を持ったテンプレート53，54を記憶
し、次の周期に時間が進行して変化した画像が入力され
ると、テンプレート53，54と類似度の高い領域を画面中
から探し、その領域をそれぞれ車両51、車両52の位置と
して登録する。これが画像処理機能を用いた追跡処理で
ある。画面上の座標系は、左上隅を原点(0,0)とし、図
示のようなｘｙ座標系とする。

【００３１】なお、この追跡処理のとき、テンプレート
を探す範囲の設定方法について図６を用いて説明する。
これは、処理周期間隔と画面上の車両の進行方向からテ
ンプレートの存在範囲が限定できるのを利用し、テンプ
レートを探す範囲を限定することで処理にかかる負担を
軽減するためである。従って範囲の設定は、装置の処理
能力に余裕がある場合には必ずしも必須ではなく、画面
全体を探す設定でも構わない。

【００３２】図６は時刻ｔにおける画面例で、車両61の
追跡テンプレートは前時刻t−1において画面上の62の位
置に存在したとする。この道路上での進行方向が画面の
左上の方向であることから、時刻ｔの画面におけるテン
プレートの位置は画面上のｘ、ｙ座標ともにマイナス方
向へ移動していることになる。このことから、テンプレ
ートを探す範囲は図中の63のように、時刻ｔ−１でのテ
ンプレート62の位置（点線枠）からｘ、y方向へそれぞ
れ広げた範囲とする。広げる範囲は、時刻ｔ−１とｔの
時間間隔で移動した場合の最大値を想定するなどして設
定する。例えば、時刻ｔ−１とｔの間の時間が100msec
だったとすると、車両が速度100km／hで走行したとして
100msecでは約278ｍ移動することになる。従って、時刻
ｔ−１における位置から278ｍ進行した範囲を画面上の
座標に換算し、63の範囲を設定する等の方法を取る。

【００３３】追跡処理は画像処理周期毎に行い、追跡の
結果得られた座標値は画像処理装置２のワークメモリで
ある追跡車両管理部203に記憶する。図７は追跡車両管
理部ｎに格納するデータの構成で、車両ＩＤ（＃０，
１，．．．）毎に、周期の時刻、座標値、速度、加速
度、追跡不可フラグ、車長、車種等が時系列に格納され
る。

【００３４】画像処理で得られる画面上の座標の位置
は、撮影するテレビカメラの高さと角度から、図８の俯
瞰図で見るような平面上の座標に換算してある。この換
算の方法は、例えば、中前栄八郎著の「３次元コンピュ
ータグラフィックス」（昭晃堂）pp14〜47、および井口
征士著の「三次元画像計測」（昭晃堂）pp91〜99に記載
のような方法で行うことができる。

【００３５】道路の場合、路上距離の基準になるような
マーキングが存在する場合も多く、例えば、図５中の55
から60に示すような中央線上のポールなどがある。通
常、このようなマーキングは一定間隔で設置されている
ため、このマーキングの位置と面上の車両位置との対応
で、平面上の座標位置が換算できる。このように、平面
上の座標に換算することで瞬間速度を求めたり、後述す
るアニメーション表示手段での俯瞰による走行状況の表
示が行える。

【００３６】図８におけるテンプレートの位置81，82
は、それぞれ図５における車両51，52のテンプレート5
3，54の平面上の位置に相当する。座標値は、例えば、
図８に示すように、車両最後尾の下部などに統一するも
のとする。速度は、画像処理周期毎に追跡の結果得られ
た平面上の座標値と、画像処理周期とから瞬間速度を算
出する。加速度は、前後の瞬間速度と画像処理周期よ
り、平均加速度を算出する。

【００３７】図９に、画像処理装置２の各手段により実
現される処理の流れを示す。まず、時刻tの画像を入力
し（ｓ１０１）、車両検出領域内に新規に現れた車両の
検出を行い（ｓ１０２）、新規に車両が検出できたか否
かを判定する（ｓ１０３）。新規に車両が検出できた場
合は、新規車両を追跡車両管理部203に登録（ｓ１０
４）した後、新規車両が検出されなかった場合は直ち
に、追跡処理を行う（ｓ１０５）。

【００３８】ステップｓ１０５の追跡処理では、追跡車
両管理部203から追跡中の車両のテンプレート情報を順
次読み出し、時刻tの画像中でマッチング処理を行うこ
とで追跡を行う。追跡の結果の時刻tにおける座標は、
追跡車両管理部203に格納する。前時刻（ｔ−１）で管
理されているＩＤの車両が、今回は見つからなかった場
合、追跡車両管理部203の該当車両データに追跡不可フ
ラグ“１”を立てる。追跡処理の終了後、処理のタイマ
を次時刻（ｔ＋１）へ進める（ｓ１０６）、次周期の画
像取り込みを待つ。

【００３９】以上のように、画像処理装置２は車両の特
徴部分をテンプレートとして登録し、該テンプレートと
類似度の高い部分を、周期毎に入力する画像から検出す
ることで追跡する。この追跡方法では、テンプレートに
あたる車両部分が後続の車両などにより隠されてしまう
と、追跡が途絶してしまう。本実施例では、追跡が途絶
した場合に、追跡を継続するための追跡補完装置３を設
けている。

【００４０】追跡補完装置３の車両位置予測部３0１
は、テレビカメラ１から入力される画面上に存在する全
車両について、画像処理装置２と同じ周期で、走行軌跡
格納部305に格納された前時刻（ｔ−１）の車両毎の位
置や速度等の情報を基に、次時刻（ｔ）での予測座標値
を算出する処理である。

【００４１】ここで、走行軌跡格納部３０５に格納され
るデータを説明する。走行軌跡格納部３０５は追跡判定
部３０３、車両位置補正・確定部３０４で決定された車
両毎の座標値を、通過時刻とともに記録する。実測の交
通流から得た車両相互の位置関係も含む走行軌跡である
ので、車両挙動解析などに利用価値の高いデータベース
として活用できる。

【００４２】図１０は走行軌跡格納部に格納されている
データ構成である。走行軌跡格納部305は車両ＩＤ毎、
画像処理周期毎に時刻、座標、速度（m/s）、加速度（m
/s²）を、また車両毎に車種、車長を格納する。さら
に、現在画面上で追跡中の車両であるか否かを判断する
ために、追跡を終了した車両については追跡終了フラグ
を立てる。追跡可の場合のデータは追跡車両管理部203
と同様になる。追跡不可の場合の座標は、後述のように
予測した車両位置に基づいて算出される。

【００４３】車両位置予測部３０１では、走行軌跡格納
部３０５に格納された車両のうち時刻ｔ−１に存在する
車両につき、上記各データを読み出して予測座標値を算
出する。

【００４４】次周期の座標の予測方法は様々である。本
実施例では、画像処理装置２により車両毎の現在の瞬間
速度や位置、また、先行車両との相対速度や位置関係等
を求めることができるので、これらの値を基に例えば第
１４回交通工学研究発表会論文集の１７頁―２０頁に記
載されているような方法で算出する。

【００４５】本予測方法は、先行車両と車間を保ちなが
ら走行する追従走行モデルによっている。すなわち、車
両の走行挙動を単独行動時、追従行動時、停止行
動時の３パターンに分類し、それぞれのパターンに対応
する算出式を適用して時刻ｔの車両の予測位置を算出す
る。

【００４６】図１１は車両の予測方法の一実施例を示す
流れ図である。時刻ｔで処理を開始し、まず、前時刻ｔ
−１で検出領域の画面上に存在する車両ＩＤを、走行軌
跡格納部３０５から先頭から順に読み出す（ｓ２０
１）。読み出した先頭車両ＩＤを車両ｉとし、車両ｉの
先行車である車両ｉ−１に関するデータを読み出す（ｓ
２０２）。

【００４７】次に、車両ｉと車両ｉ−１の車間距離およ
び先行車両ｉ−１との速度から、車両ｉの走行挙動（行
動パターン）を以下のように判定する（ｓ２０３）。先
行車両ｉ−１の速度をｆｖ、先行車両の位置をｆｘ、対
象車両ｉ（最初は、先頭車両）の位置をｂｘ、自由走行
可能な距離をｄとする。車両ｉの走行挙動は、ｆｖ＝０
のとき停止行動時、ｆｖ＞０かつｆｘ―ｂｘ＞ｄのと
き単独行動時、ｆｖ＞０かつｆｘ―ｂｘ＜ｄのとき追
従行動時と、それぞれ判定する。

【００４８】ステップｓ２０３で、単独行動時と判定
されたとき数１を選択（ｓ２０４）、追従行動時と判
定されたとき数２を選択（ｓ２０５）、停止行動時と
判定されたとき数３を選択し（ｓ２０６）、選択した数
式に基づき、車両ｉの時刻ｔ−１からの移動距離を算出
し、時刻ｔにおける予測座標を算出し（ｓ２０７）、予
測座標を予測座標管理部３０２に格納する（ｓ２０
８）。

【００４９】

【数１】

【００５０】

【数２】

【００５１】

【数３】

【００５２】次に、ｉ＝ｉ＋１として、処理対象となる
車両IDを次の車両に進め（ｓ２０９）、車両ｉが時刻ｔ
−１において画面上に存在する車両の最後尾まで来たか
を判定する（ｓ２１０）。最後尾まで来ていれば処理を
終了し、最後尾まで来ていなければ処理をｓ２０２に戻
し、上記の一連の処理を繰り返す。

【００５３】以上の計算方法では、瞬間速度、加速度を
用いている。しかし、実際に画像処理を用いて車両追跡
より得られる速度は不安定に変化する。図１２は車両追
跡結果の車両速度を例示している。図示のように、車両
追跡より得られる速度121は変動するので、車両毎に速
度特性の履歴を取り、時刻ｔにおける速度変化の特性を
平滑化した値122を用いることで、より安定した予測値
を得ることができる。

【００５４】または、上述の速度の不安定な変動を考慮
して、前時刻の車両速度Ｖt−1から数４により最大値Ｖ
t−1maxと最小値Ｖt−1minを求め、求めた最大値と最小
値を用いて移動距離を算出し、予測値に幅を持たせるこ
ともできる。

【００５５】

【数４】

【００５６】以上のように、車両毎に算出した予測座標
値は、予測座標管理部３０５に格納しておく。

【００５７】図１３は予測座標管理部の格納データを示
す。予測座標管理部３０５は車両毎に、条件０：車両速
度Ｖの平均値（条件０）、最大値Ｖｍａｘ（条件１）、
最小値Ｖｍｉｎ（条件２）からそれぞれ求めた各予測車
両位置（座標値）を格納している。車両追跡部２０２に
よる追跡ができなかった場合、車両位置補正・確定部３
０３は条件０、条件１、条件２の予測座標値を使用して
車両の再検出を行う。なお、車両速度の平均値、最大
値、最小値を条件としているが、必ずしもこの３つの値
に限られるものではない。

【００５８】次に、追跡判定部３０３を説明する。追跡
判定部３０３は画像処理装置２の車両追跡部２０２で、
時刻ｔ−１に画面上に存在した車両のそれぞれの追跡が
時刻ｔで行えたか否かを判定し、行えなかった車両につ
いては車両位置補正・確定部３０４の処理へ進める。ま
た、追跡が行えた車両については、追跡結果の座標を走
行軌跡格納部３０５に格納する。

【００５９】図１４は追跡判定部の処理の流れを示す。
まず、追跡車両管理部２０３から、追跡中の車両データ
を読み出し（ｓ３０１）、読み出した車両ｉの時刻ｔに
おける追跡の可否を判定する（ｓ３０２）。具体的に
は、時刻ｔにおける座標が書き込まれており、追跡不可
フラグが１でなければ、追跡ができたと判定する。

【００６０】追跡可の場合、追跡車両管理部２０３に書
き込まれている車両ｉの時刻ｔにおける座標値を、時刻
ｔにおける確定座標値として走行軌跡格納部３０５に格
納する（ｓ３０３）。そして、次車両（ｉ＋１）への処
理へ移す（ｓ３０４）。

【００６１】追跡不可の場合、つまり、時刻ｔの座標が
書き込まれていなくて追跡不可フラグが立っている場合
は、予測座標管理部３０２から車両ｉの予測座標値を読
み出し、車両ｉが画面内かを判定する（ｓ３０５）。予
測座標値が画面外の場合は、車両ｉは検出領域から外へ
通過したとみなし、車両ｉの追跡処理は終了したとし
て、車両ｉに追跡終了フラグを立てる（ｓ３０６）。

【００６２】予測座標値が画面内である場合は、車両ｉ
はまだ画面内に存在するが画像処理装置２による追跡が
失敗したので、車両ｉの再検出のために車両位置補正・
確定部３０３に処理を渡し（ｓ３０８）、次車両へ処理
を移す（ｓ３０９）。

【００６３】次に、車両位置補正・確定部３０４を説明
する。本手段は、画面上に存在する車両ｉを追跡できな
かった場合に、予測座標管理部３０２に格納された車両
ｉの予測座標値をもとに、画像処理装置２に車両Iを再
度検出するための検知窓の位置を渡し、再検出を指示す
る。

【００６４】画像処理装置２は、指示された検知窓の中
で車両ｉの再度の検出処理を行い、検出できた場合には
追跡のためのテンプレートを再登録し、その座標値を車
両ｉの確定座標として走行軌跡格納部３０５に格納す
る。再度、検出ができなかった場合は、車両位置予測部
３0１で得られた予測座標を車両ｉの仮の確定座標とし
て走行軌跡格納部３０５に格納する。

【００６５】この車両位置補正・確定部３０４により、
画面上で車両の重なりなどが生じ、画像処理装置２によ
る追跡処理が途絶した場合にも、予測座標を基に追跡を
継続することができる。また、車両位置予測部３0１で
は、画像処理装置２の検出処理で検出した車両の実測値
を用いて予測した座標値を補正し、その値を用いて次時
刻の予測を行うことで、より精度の高い予測を実現でき
る。

【００６６】本手段のポイントは、追跡補完装置３で扱
う各車両の平面上の座標値から、画面上の車両の存在範
囲を換算して推定することにある。図５と図８を用いた
説明で既に述べたように、平面上の座標は画面上の座標
へ換算できるので、図１５に示すように、車両1501,150
2の平面(a)上での座標値1503,1504から、その座標値を
最後尾下部とする標準的な大きさの車両の画面(b)上で
の存在範囲は、それぞれ1505,1506のように推定でき
る。

【００６７】また、本手段の目的は、再検出したい車両
ｉの検出窓の位置を車両Iの予測座標から設定して画像
処理装置に渡すことであるが、車両ｉは画像処理装置２
の追跡処理で追跡できなかったことから、後続の車両に
前回のテンプレートが隠されている可能性が大きい。従
って、図１５(c)に示すように、再検出する車両を1501
とすると、画面上の推定領域1505から、車両1502（1501
の後続車両）の画面上の推定領域1506を除いた領域1507
を検知窓として、画像処理装置２に渡すものとする。こ
こで、後続車両については、画像処理による追跡処理で
既に時刻ｔにおける座標位置が求まっている場合はその
座標を用い、求まっていない場合は予測座標値を用い
る。

【００６８】また、画像処理装置２で、車長・車種情報
が得られる構成の場合には、得られた車種情報に基づい
て検知窓の大きさを普通車と大型車のいずれかに設定す
ることができる。

【００６９】図１６に車両位置補正・確定部３０４の処
理の流れを示す。本処理は、追跡判定処理３０２で、車
両ｉを見失ったと判定されたときに起動する。処理ｓ４
０１〜ｓ４０９までが車両位置補正・確定部３０４の処
理の流れ、処理ｓ５０１〜ｓ５０６までが車両位置補正
・確定部３０４からの指示を受けて再起動される画像処
理装置２内の処理の流れである。

【００７０】まず、画像処理装置２に指示する予測座標
の条件を、条件０（ｊ＝０）に設定し（ｓ４０１）、予
測座標管理部３０２から読み出した車両ｉの座標値およ
び予測座標管理部３０２もしくは走行軌跡格納部305か
ら読み出した後続車両ｉ＋１の座標値から、画面上の検
出窓の位置を算出し（ｓ４０２）、算出した検知窓の位
置を画像処理装置２に送信する（ｓ４０３）。そして、
ステップｓ４０４で、画像処理装置２からのテンプレー
ト登録信号を待機する。

【００７１】画像処理装置２は、車両位置補正・確定部
３０４から指示された検出窓の位置に検知窓を設ける
（ｓ５０１）。次に、設定した検知窓内で、水平エッジ
など車両の特徴部分を検出するなどして車両検出を行う
（ｓ５０２）。ここでの処理は、図４を用いて説明した
車両検出処理と同様である。

【００７２】次に、車両が検出できたか否かの判定を行
う（ｓ５０３）。検出できなかった場合は「未登録」信
号を車両位置補正・確定部３０４に送信する（ｓ５０
４）。検出できたと判定された場合は、「登録」信号
と、検出した車両の座標を車両位置補正・確定部３０４
に送信する（ｓ５０５）。そして、車両を検出できた位
置にテンプレートを再登録し（ｓ５０６）、画像処理装
置２の再検出処理を終了する。

【００７３】車両位置補正・確定部３０４は、画像処理
装置２からの信号を受信すると処理を再開し（ｓ４０
４）、受信信号がテンプレートが登録できた「登録」信
号か、登録できなかった「未登録」信号かを判定する
（ｓ４０５）。「登録」の場合は新しいテンプレートの
座標値を走行軌跡格納部305に登録し（ｓ４０６）、処
理を終了する。「未登録」の場合は、画像処理装置に指
示する条件ｊを１つすすめ（ｓ４０７）、処理ｓ４０２
に戻り上記の一連の処理を繰り返す。条件ｊが最大条件
数（図１２では、ｊｍａｘ＝３）より大きくなった場合
は、予測座標管理部３０２から車両ｉの予測座標値（た
とえば、条件０の平均値）を時刻ｔの座標値として走行
軌跡格納部３０５に格納する。

【００７４】以上のように、車両位置補正・確定部３０
４では、予測座標管理部３０２に格納された車両ｉの複
数条件の予測座標を順に読み出し、画像処理装置２に送
信することで、画像処理装置では送信された予測座標値
を基に追跡できなかった車両を再度検出しなおし、検出
できた場合には新しいテンプレートの座標値を、できな
かった場合には予測座標値を時刻tにおける車両iの座標
値として走行軌跡格納部３０５に登録することができ
る。

【００７５】図１７に、画像処理装置が予測座標値に基
づいて行う再検出処理のイメージを示す。（ａ）は時刻
ｔ−１の画面、（ｂ）、（ｃ）、（ｄ）は次の時刻ｔに
おける同一の画面である。

【００７６】画面（ａ）で、時刻ｔ−１における任意の
車両171に追跡テンプレート172が設定されている。通常
の追跡処理では、時刻ｔの画面（ｂ）で、テンプレート
172を用いて類似した領域を検出しようとする。しか
し、該当する領域が、画面上で後続の車両173と重なっ
ているため類似した領域を検出できない。その場合、車
両位置補正・確定部３０３では、車両171の予測座標値
から画面上の検出窓位置を算出して画像処理装置２に渡
し、画像処理装置２では画面（ｃ）の174のように渡さ
れた検出窓を設定し、再度、水平エッジを検出するなど
の車両検出処理を行う。そして、検出が可能であった場
合、検出できた領域のテンプレート175を車両171の新規
のテンプレートとして再登録する。

【００７７】以上の処理を行うことにより、任意の車両
ｉに登録されたテンプレートの領域が隠れてしまっては
いるが、車両ｉそのものは画面上に存在するような場合
は、隠れの無い領域をテンプレートとして再登録するこ
とで車両の追跡を継続することが可能になる。このよう
に、後続車両等により登録されたテンプレート領域が隠
れて画像処理による追跡が途絶するが、車両予測部で予
測した座標をもとに任意の位置での車両検出領域を再設
定し、隠れのない特徴領域を車両の追跡テンプレートと
して再登録することができる。

【００７８】図１８に、具体的なデータ例による画像処
理装置と追跡補完装置の処理の説明図を示す。図中で、
時刻は左から右へ順にｔ、ｔ＋１、ｔ＋２とし、図中に
示す処理は上段が画像処理装置２での処理、下段が追跡
補完装置３での処理である。

【００７９】図中の（ａ）〜（ｃ）は、時刻ｔ〜ｔ＋２
の入力画像を示し、１８４〜１８６は時刻ｔ〜ｔ＋２の
画像処理装置２の追跡の結果得られ、追跡車両管理部２
０３に格納されている座標値及び追跡不可フラグであ
る。また、１９５、１９６、１９７はそれぞれ車両の固
有番号を示す。

【００８０】図中の（ｄ）〜（ｆ）は、追跡補完装置で
予測した車両の位置を俯瞰画像として投影したものであ
る。１９０〜１９２は、時刻ｔ〜ｔ＋２の車両位置予測
部で予測し、予測座標管理部302に格納された座標値で
ある。また、１９３と１９４は車両位置補正・確定部30
3の処理の結果、走行軌跡格納部305に格納される座標で
ある。

【００８１】実際の処理の流れに従って説明する。ま
ず、本装置を立ち上げると時刻ｔの画像（ａ）を入力す
る。初期状態では記憶しているテンプレートが無いので
画面上から検出処理のみを行い、車両195、車両196の時
刻ｔの座標値(50,80)、(50,120)を得て、追跡車両管理
部２０３に格納する。この座標値184は追跡補完装置３
に入力し、追跡判定部３０３で、追跡不可フラグが０で
あるので、時刻ｔにおける座標値とし、走行軌跡格納部
３０５に格納する。

【００８２】追跡補完装置の車両位置予測部３０１で
は、次に時刻ｔの座標値，速度，加速度などから時刻ｔ
＋１における車両位置を予測する。車両195、車両196の
予測した座標値を191に示す。次に、画像処理装置２で
は、時刻ｔ＋１の画像（ｂ）の入力を受けて、新規車両
の検出処理と車両195、車両196の追跡処理を行う。画像
（ｂ）には新規車両がないので、車両195、車両196を追
跡した結果の座標185を追跡補完装置３に入力する。追
跡補完装置３の追跡判定部３０３では、車両195、車両1
96共に追跡座標が得られており、追跡不可フラグも0で
あるので、追跡座標185を時刻ｔ＋１における座標値と
して走行軌跡格納部３０４に格納する。

【００８３】同様に、時刻ｔ＋２においても、追跡補完
装置３の車両位置予測部３０１では走行軌跡格納部３０
５の時刻ｔ＋１の座標値から時刻ｔ＋２の予測座標値19
2を算出する。算出した予測座標値からは、車両195のｙ
座標がマイナスとなり、画面外となることが予測され
る。

【００８４】次に、時刻ｔ＋２の画像入力を受けて、画
像処理装置２では新規車両の検出処理と車両195、車両1
96の追跡処理を行う。新規車両197を検出し、また追跡
処理では車両195が追跡できないので、車両195の追跡不
可フラグを１とし、他２台の車両の座標186を追跡補完
装置３に入力する。追跡補完装置３の追跡判定部３０３
では、車両195は追跡不可フラグが１で、予測座標値も
画面外となったので画面外へ通過したとして、走行軌跡
格納部３０５の車両195の追跡終了フラグを１とする。
車両196は追跡ができて、追跡不可フラグが０なので追
跡座標値を走行軌跡格納部３０５に格納し、車両197は
新規に検出した車両として座標186を時刻ｔ＋２におけ
る座標値として走行軌跡格納部３０５に格納する。

【００８５】以上のように、画像入力⇒追跡処理⇒座標
決定処理⇒予測処理を繰り返して、毎時刻毎の車両の位
置を求めることで、走行軌跡格納部３０５に車両の走行
軌跡が順次格納されることになる。

【００８６】次に、本発明の他の実施例について説明す
る。図１９は、実施例２の交通状況追跡装置の構成で、
実施例１の構成にアニメーション表示手段を付加してい
る。道路上に設置されたテレビカメラ１からの映像は、
通常一定の高さ、角度によるものである。このため、実
際の速度や車間距離などは映像のみからでは直感的に理
解しにくいものが多い。

【００８７】本実施例のアニメーション表示手段４は、
テレビカメラ１からの動画像の入力と同期して、走行軌
跡格納部３０４に時刻毎に格納される車両毎の座標に基
づき、道路上の車両を俯瞰して表示する。このとき、車
両は予め用意してある形状によりアニメーション表示す
る。これにより、路上の車両を俯瞰の走行状況として捕
らえ、画像上では重なって見える複数車両も分離して走
行位置を視覚的に表示することができる。また、走行軌
跡格納部３０４に格納された軌跡データとのインターフ
ェースをとることで、過去の走行状況の再現を行うこと
も可能である。

【００８８】以上の実施例１、２の交通状況追跡装置
は、簡単のため１台のテレビカメラと１台の画像処理装
置を用いた例で説明した。本発明は、複数のテレビカメ
ラと複数の画像処理装置を組み合わせる構成でも実現可
能である。実際に、本発明を適用する長大トンネルの監
視装置などでは、一路線に数百ｍおきに設置したテレビ
カメラからの映像を取り込んでいる。

【００８９】図２０は、複数のテレビカメラと複数の画
像処理装置を用いるシステム構成を示している。テレビ
カメラ１ａ、１ｂ、１ｃで撮影した画像から、画像処理
装置２ａ、２ｂ、２ｃがそれぞれの撮影領域を走行中の
車両を検出し、追跡処理を行っている。ここの画像処理
装置２の構成は実施例１と同じである。

【００９０】追跡補完装置３は一つで、各画像処理装置
２ａ〜２ｃで検知した車両に関しての情報を管理し、車
両位置の予測、追跡可否の判定、追跡不可の場合の車両
位置補正、確定処理は共通に行う。この場合、一つの車
両位置予測部３０１が複数の画像処理装置から得られた
車両に関する情報の予測を共通に行うので、各画像処理
装置内で追跡した車両同志の対応を取ることも可能とな
る。これにより路線全体での各車両の走行状況が一度に
把握でき、更に、アニメーション表示手段で路線全体を
表示することで、全体の状況を視覚的に把握することが
できる。

【００９１】図２１に、複数のテレビカメラからの映像
をアニメーション表示する画面の例を示す。画面
（ａ），（ｂ），（ｃ）はそれぞれテレビカメラ215、
テレビカメラ216、テレビカメラ217により撮影される画
面領域である。画面（ｄ）はこれら複数のテレビカメラ
により撮影される画面領域を走行している車両を、アニ
メーション表示手段４でアニメーション表示した例であ
る。撮影画面（ａ），（ｂ），（ｃ）上の車両218から
車両225は、アニメーション画面（ｄ）上の車両218から
車両225にそれぞれ対応する。

【００９２】各テレビカメラの映像からではその領域内
での車両の位置関係のみしか検出できないが、画像処理
装置から検出した座標と，車両位置予測部で予測した座
標とで相互に補正することにより、画面211の車両218と
車両219のような車両の重なりも除去した上で、連続し
た路線上に存在する車両群の座標情報を視覚的に捕らえ
ることができる。

【００９３】

【発明の効果】本発明によれば、画面上で車両の重なり
や隠れが生じる場合でも、車両走行モデルを有した交通
流予測機能で車両位置を予測し、予測した位置をもとに
車両を再検出または補完して追跡を継続するので、安定
した走行軌跡が得られる交通状況追跡方法及び装置を提
供することができる。

【図面の簡単な説明】

【図１】本発明の交通状況追跡装置の一実施例を示す構
成図。

【図２】車両の通過の検知窓及びテンプレート登録処理
の説明図。

【図３】車両が通過する前後の相関値の変化を示す説明
図。

【図４】車両が通過する前後の画面例を示す説明図。

【図５】画像処理による車両追跡処理の画面例を示す説
明図。

【図６】追跡処理のとき、テンプレートを探す範囲の設
定方法を示す説明図。

【図７】追跡車両管理部における情報記憶形式の説明
図。

【図８】画面上の座標位置を平面の座標位置に換算する
ときの位置関係を示す俯瞰図。

【図９】画像処理装置による車両検出及び車両追跡処理
の流れ図。

【図１０】走行軌跡格納部における情報記憶形式の説明
図。

【図１１】車両位置予測部による予測処理の流れ図。

【図１２】画像処理の車両追跡で得られる速度の変動を
示す説明図。

【図１３】予測座標管理部における情報記憶形式の説明
図。

【図１４】追跡判定部による判定処理の流れ図。

【図１５】検知窓の設定方法を示す説明図。

【図１６】車両位置補正・確定部による処理と画像処理
装置による再処理の流れ図。

【図１７】画像処理装置が予測座標値の周辺について再
度、車両検出をし直す処理の説明図。

【図１８】画像処理装置と追跡補完装置の並行処理の具
体例を示す説明図。

【図１９】本発明の交通状況追跡装置の他の実施例を示
す構成図。

【図２０】他の実施例（図１９）を、複数のテレビカメ
ラと複数の画像処理装置で実現する構成図。

【図２１】長い距離に亘る複数の車両を追跡した交通状
況のアニメーション表示の画面例を示す説明図。

【符号の説明】

１…テレビカメラ、２…画像処理装置、３…追跡補完装
置、４…アニメーション表示手段、２０１…車両検出
部、２０２…車両追跡部、２０３…追跡車両管理部、３
０１…車両位置予測部、３０２…予測座標管理部、３０
３…追跡判定部、３０４…車両位置補正・確定部、３０
５…走行軌跡格納部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 横田 孝義 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 佐藤 良幸 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか事業所内 Ｆターム(参考） 5H180 AA01 BB15 CC04 CC30 EE01 EE02 5L096 BA04 CA04 FA06 FA34 FA66 FA69 HA03 HA05 JA09

Claims (7)

【特許請求の範囲】
1. 【請求項１】 道路上に設置したテレビカメラより時系
   列に取り込まれる画面上の映像から画像処理により車両
   を検出し、前時刻（ｔ−１）で検出された車両を次の時
   刻（ｔ）の画面上で探索して追跡する車両追跡方法にお
   いて、時刻ｔ−１における前記画像処理と並行して、検
   出された車両の時刻ｔにおける予測車両位置を求め、 時刻ｔの画面上で追跡できなかった車両に対し、その予
   測車両位置に基づき時刻ｔの画面上で前記画像処理によ
   る再探索を行い、当該車両が検出できた場合はその検出
   位置を時刻ｔの車両位置となし、当該車両が検出できな
   かった場合は当該予測車両位置を時刻ｔの車両位置とみ
   なすことを特徴とする車両追跡方法。
2. 【請求項２】 請求項１において、 前記予測車両位置は、前記画像処理から得られる速度の
   変動に基づく時刻ｔ−１から時刻ｔへの最大、最小及び
   平均の移動条件によってそれぞれ求め、ある移動条件に
   よる予測車両位置での再探索が不可能な場合に他の移動
   条件に変更して再探索を行うことを特徴する車両追跡方
   法。
3. 【請求項３】 請求項１または２において、 前記予測車両位置に基づく再探索は該予測車両位置の周
   辺、または該予測車両位置を画面上で後続車両との重な
   りを少なくする方向に移動した位置の周辺に対して行う
   車両追跡方法。
4. 【請求項４】 道路の状況を撮影するテレビカメラと、
   撮影した画面を周期的に入力して車両を検出し、次画面
   の入力に応じて前画面で検出された車両を追跡する画像
   処理装置を備えた交通状況追跡装置において、 前記画像処理装置で検出された車両毎に前画面での車両
   位置から次画面における予測車両位置を求める車両位置
   予測手段と、前記画像処理装置による前記次画面で追跡
   ができない車両について、その予測車両位置に基づく再
   追跡を前記画像処理装置に対して指示する車両位置補正
   手段を有する追跡補完装置を設けたことを特徴とする交
   通状況追跡装置。
5. 【請求項５】 請求項４において、 前記追跡補完装置は、前記画像処理装置による前記次画
   面での追跡または再追跡が行えたか判定し、追跡または
   再追跡が行えた場合はその検出車両の車両位置、前記再
   追跡が行えなかった場合は前記予測車両位置のいずれか
   を前記次画面の車両位置として決定する手段、この決定
   された車両位置を時系列の走行軌跡として格納する手段
   を有していることを特徴とする交通状況追跡装置。
6. 【請求項６】 請求項４または５において、 前記道路の状況を俯瞰する俯瞰画面上で車両毎の車両位
   置に、予め用意したアニメ形状の車両を表示するアニメ
   表示手段を設けたことを特徴とする交通状況追跡装置。
7. 【請求項７】 請求項４〜６のいずれかにおいて、 前記道路に沿って離間して設けられる複数のテレビカメ
   ラと、それぞれ対応するカメラの映像を入力して画像処
   理する複数の画像処理装置を設け、これら画像処理装置
   の処理結果を補完する一つの前記追跡補完装置とからな
   る交通状況追跡装置。