JP3861781B2

JP3861781B2 - 前方車両追跡システムおよび前方車両追跡方法

Info

Publication number: JP3861781B2
Application number: JP2002269638A
Authority: JP
Inventors: 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-09-17
Filing date: 2002-09-17
Publication date: 2006-12-20
Anticipated expiration: 2022-09-17
Also published as: US20040054473A1; US6873912B2; JP2004112144A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載される前方車両追跡システムおよび前方車両追跡方法に関する。
【０００２】
【従来の技術】
【特許文献】
特開２０００−１１３１５８号公報
従来のテンプレートマッチングによる先行車追跡の発明としては、例えば上記特許文献に記載されたものがある。
この手法は、画像処理で検出した車両に参照テンプレートを定義し、新たに入力される画像と、定義した参照テンプレートとの相関を求めることで、新たな車両の位置を検出し、そのときの相関の値が高かった場合に、参照テンプレートを新たな画像上での車両発見位置の画像に更新することを特徴とする。
これにより、テンプレートマッチングの位置が車両の位置に相当することから、追跡と車両の位置の計測とを同時に行うことができ、先行車の大きさの変化にも対応可能なテンプレートマッチングを提供するものである。
【０００３】
【発明が解決しようとする課題】
しかし、上記特許文献では、背景にコントラストの強い、例えば道路上の白線などを含む参照テンプレートを作成すると、白線よりエッジの強度が弱い場合の多い車両より強度の強い白線を間違えて追跡してしまうなどの問題が起こりやすく、前方車両を確実に追跡するのが難しいという問題がある。
【０００４】
本発明の目的は、前方車両を確実に追跡することができる前方車両追跡システムおよび前方車両追跡方法を提供することにある。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明は、車両に搭載されたカメラと、前方車両を検出する車両発見手段と、入力画像から前方車両を含む画像領域を参照テンプレートとして切り出す参照テンプレート作成手段と、前方車両を含む新たな入力画像に、前方車両の大きさ変化を考慮した拡大縮小をかけながら、相関を計算し、最大相関値を得た位置と拡大縮小率を求める車両追跡処理手段と、最大相関値を得た位置と拡大縮小率から作られた参照テンプレートとの相関を計算した対象となるテンプレート画像を新規画像が逐次格納するテンプレート更新計算用車両画像保存用メモリと、逐次格納されたテンプレート画像と参照テンプレートとを正規化し、同じ位置に相当する各画素の時間的分散を計算し、分散がしきい値以上となる画素を参照テンプレートから削除することで参照テンプレートを更新する参照テンプレート更新処理手段とを有することを特徴とする。
【０００６】
【発明の効果】
本発明によれば、前方車両を確実に追跡することができる前方車両追跡システムおよび前方車両追跡方法を提供することができる。
【０００７】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【０００８】
実施の形態１
まず、本発明の実施の形態１の前方車両追跡システムの構成を図１と図２に基づいて説明する。
【０００９】
図１は本発明の実施の形態１の前方車両追跡システムの構成図、図２はカメラを搭載した自車両と、後述する説明に用いる検出対象物標の位置を表すための基準座標系の説明図である。
【００１０】
図１において、２は電子式のカメラ、１０１は画像メモリ、１０２は車両発見部、１０３は参照テンプレート作成部、１０４は参照テンプレート格納用メモリ、１０５は車両追跡処理部（拡大縮小付き相関算出処理部）、１０６は追跡信頼性判定部、１０７は処理結果出力部、１０８はテンプレート更新計算用車両画像保存用メモリ、１０９は参照テンプレート更新処理部（各画素の分散計算処理部）である。
【００１１】
図２において、１は自車両、２１はカメラ２の光軸、（ｂ）において、２２は基準座標系である。
【００１２】
図１に示すように、本システムは、自車両１に搭載されたカメラ２と、そのカメラ２から入力される画像を保存する画像メモリ１０１と、所定の処理に基づいて画像内から車両を発見する車両発見部１０２と、追跡対象である車両を発見した位置に相当する画像上の範囲を参照テンプレートとして切り出す参照テンプレート作成部１０３と、その参照テンプレートを格納する参照テンプレート格納用メモリ１０４と、参照テンプレートと入力画像内の所定の範囲内を車両の大きさ変化を考慮しつつ拡大縮小を考慮しながら行うテンプレートマッチングにより画像内の車両の追跡を行う車両追跡処理部（拡大縮小付き相関算出処理部）１０５と、テンプレートマッチングの相関より追跡判定の信頼性を判定する追跡信頼性判定部１０６と、信頼性が高いときに車両追跡結果よりその時点での車両の位置と距離を出力する処理結果出力部１０７と、信頼性が高いときに、参照テンプレートとの高い相関を得た対象となる入力画像から切り出され、参照画像内の車両と大きさが合わせられた画像を保存するテンプレート更新計算用車両画像保存用メモリ１０８と、参照テンプレートとの相関が高いと判定され、逐次保存される車両を含む参照テンプレートを正規化し、その各画素の分散をもとに、参照テンプレートを更新する参照テンプレート更新処理部（各画素の分散計算処理部）１０９とからなる。
【００１３】
カメラ２は、図２に示すように、自車両１の前部に取り付けられており、自車両１前方の様子を撮像する。そして、入力した画像を画像メモリ１０１に保存する。車両発見部１０２は、画像メモリ１０１に保持された画像をもとに、画像処理により画像上における前方の車両が存在する位置を発見する。この画像処理による車両検出の例について、図３（ａ）〜（ｃ）を用いて説明する。
【００１４】
図３（ａ）はカメラ２からの入力画像を示し、（ｂ）は車両発見部１０２による車両検出を示し、（ｃ）は参照テンプレート作成部１０３による参照テンプレート切り出しを示す。
【００１５】
画像処理による車両検出は、例えば、図３（ｂ）に示すように、（１）道路上に引かれた白線１１の間に挟まれる水平エッジ（横エッジ）Ａを、画像の下から上に向けて検出し、（２）水平エッジＡより上方にある水平エッジＢを検出し、（３）水平エッジＡと水平エッジＢとに挟まれる領域にある垂直エッジＣ、Ｄを検出する、すなわち、白線１１の間に挟まれるエッジのヒストグラム（柱状図）から上下のペアとなる水平エッジＡ、Ｂ、または左右のペアとなる垂直エッジＣ、Ｄを検出するなどの従来方法を利用すればよい。図１の参照テンプレート作成部１０３は、車両発見部１０２により検出された車両１０が撮像されている位置の画像を抜き出せばよい。図３（ｃ）はその様子を示す例である。抜き出す範囲は、車両発見部１０２による車両１０の発見処理により検出された、例えば、左右上下のエッジＡ〜Ｄを含む範囲で定義する。参照テンプレート格納用メモリ１０４は、参照テンプレート内の画像と、入力画像における参照テンプレートの切り出し位置を、参照テンプレートの基準位置として記憶する。
【００１６】
車両発見部１０２による発見時の処理では、画像上で車両１０を発見した画像上の位置、大きさから車両１０の位置、距離を求めればよい。
【００１７】
図４は、画像上の位置と、実際の３次元上の位置、大きさとの対応関係を説明する図で、（ａ）は位置、（ｂ）は大きさの関係を示す。
【００１８】
図４において、２３はカメラレンズ、２１はカメラの光軸、２４は実際の車両の中心、２５は撮像面、ｚは車両までの距離、ｆはカメラレンズ２３の焦点距離、ｘｃは画像上の車両の中心、θは画像上の車両の中心ｘｃで検出された位置の物体の存在する方位、ｗは実際の車両の幅、ｗｃは画像上の車両の幅である。
【００１９】
画像上の車両の中心ｘｃで検出された位置の物体の存在する方位θは、式１により求めることができる。
【００２０】
θ＝ａｔａｎ（ｆ／ｘｃ）式１
また、車両の実際の幅ｗが既知である場合は、車両までの距離ｚは、画像上の車両の幅ｗｃから、式２により計算することができる。
【００２１】
ｚ＝ｆ・ｗ／ｗｃ式２
検出位置は、画像上での検出位置に式１、式２を適用することで計算することができる。
【００２２】
また、車両の発見後、次以降で入力される画像での車両の画像上の位置は、参照テンプレートとのテンプレートマッチングによる追跡処理により検出する。これを行うのが、参照テンプレートとのマッチングによる車両追跡処理部１０５である。
【００２３】
通常、前方で撮像した車両１０は、その距離ｚが変化するため、その距離に応じて、画像上の大きさが変化する。そのため、車両追跡処理部１０５におけるテンプレートマッチングでは、参照テンプレートもしくは入力画像を拡大縮小することで、参照画像内の車両１０の大きさと、入力画像内に撮像されている車両１０の大きさとが同じ大きさになるように、どちらかの画像を拡大縮小しながらテンプレートマッチングを行う。
【００２４】
図５は、入力画像側の画像を参照テンプレートに合わせる処理を行う場合の処理の様子を示す図である。拡大縮小しながらの参照テンプレートを用いたテンプレートマッチングの説明図と、拡大縮小率からの距離計測方法の説明図である。
２６は参照テンプレート作成時の画像（距離ｚｂ）、２７は入力画像（距離ｚ(ｔ)）、２８は走査範囲である。
【００２５】
ここでは、入力画像上の車両１０の大きさがわからないため、前回の大きさより、車間距離がΔｚだけ変化した場合の画像上での車両１０の大きさ変化を考慮した拡大または縮小と、車両１０が変化しない場合のそれぞれにおける相関を、前回車両１０が発見された位置の周囲において求める計算をする。相関（テンプレートマッチング）の計算は、お互いの輝度値を用いた正規化相関を用いればよい。
【００２６】
すなわち、この場合の手順としては、入力画像２７に車両の距離変化を想定した拡大縮小の倍率（Ｓ１、Ｓ２…）を複数かけ合わせた画像を、走査範囲２８内で１画素ずつずらしながら切り出し、相関を計算する。相関がもっとも高い値となったときの倍率Ｓとその位置（ｘｐ、ｙｐ）から車両１０の位置を求める。つまり、走査範囲２８内を１画素ずつずらしながら、かつ、Δｚ分の距離変化の拡大縮小を施しながら、すべての位置、拡大縮小における相関を計算し、最大相関値を得た位置と拡大縮小値とを求める。
【００２７】
次に、追跡信頼性判定部１０６において、マッチングの信頼性を判定する。ここでは、車両追跡処理部１０５で得られた最大相関値と、ある所定のしきい値とを比較し、最大相関値が所定のしきい値以下の場合はマッチングによる追跡が失敗、最大相関値が所定のしきい値以上となったときは、信頼性があると判定する。
【００２８】
最大相関値がしきい値以上で追跡位置の信頼性があると判定された場合は、処理結果出力部１０７は、そのときの相関最大となるときの位置と拡大縮小率から新たな車両の位置を検出し、計測位置として出力する。
【００２９】
このときの車両１０の存在する方位は、発見時と同様に、式１により求める。また、距離ｚの変化ｚ(ｔ)は、参照画像作成時に対する相関が最大となった拡大縮小率の逆数として式３から求めることができる。
【００３０】
ｚ(ｔ)＝ｗｃｂ・ｚｂ／ｗｃ(ｔ) 式３
ここで、ｚｂは参照画像作成時の車間距離、ｚ(ｔ)は入力画像入力時の車間距離、ｗｃ(ｔ)は新たな入力画像の画像上での車両の大きさ、ｗｃｂは参照テンプレートでの車両の大きさとする。
【００３１】
次に、追跡信頼性判定部１０６で相関が高いと判定された場合、最大相関値が前記しきい値より大きいときの最大相関値を得た位置と前記拡大縮小率を格納し、前記最大相関値を得た位置と前記拡大縮小率から作られた前記参照テンプレートとの相関を計算した対象となるテンプレート画像を、テンプレート更新計算用車両画像保存メモリ１０８に逐次格納保存する。ここで保存される画像は、参照テンプレートとの相関が高いと判定されたテンプレート画像であるため、内部に参照テンプレートと同じ大きさの同じ車両１０を含む可能性が高い。ただし、逐次入力される画像から作成され、保存されるため、車両１０は同一であるが、図６に示すように、背景が異なる。
図６（ａ）〜（ｆ）は、参照テンプレート（ａ）と、逐次保存される相関が大となった画像（ｂ）〜（ｆ）を示す。
【００３２】
つまり、車両が検出されている部分は同じ形状であり、背景が撮像される画素は逐次異なる輝度値となる。図１の参照テンプレート更新処理部１１では、この特徴に基づき、背景を除去し、追跡車両だけを含む画素からなる参照テンプレートを作るように、参照テンプレートの形状を更新する。
【００３３】
図７はその追跡車両だけを含む参照テンプレートの更新方法を示す図である。
２９は車両発見時の入力画像、３０は更新後の参照テンプレートである。
【００３４】
まず、参照テンプレートとの相関を計算した入力画像２９から切り取られ、かつ、拡大縮小されたテンプレート画像を、テンプレート更新計算用車両画像保存メモリ１０８のメモリにある過去数枚分の画像およびその時点での参照テンプレートを正規化する。正規化は、画像の全体的な明るさ変化に対応するためである。この過去数枚分の画像は、距離変化に合わせて参照テンプレートと大きさを合わせるように拡大縮小してあるため、すべて同じ大きさ（ｘｗ×ｙｗ）である。
【００３５】
次に、過去数枚分の画像の同じ位置に相当する画素の時系列データの分散をすべての画素（ｘｗ×ｙｗ個分）で計算する。保存する過去の画像は、例えば分散の値が計算できる、例えば過去５枚分程度の量で十分である。ここでは、同様の処理を毎回の処理毎に数回行い、画素の分散が所定のしきい値以上となる回数の多い画素の位置は、車両１０ではなく、背景を含むと判定し、参照テンプレートから省くようにする。これにより、図７に示すよう、背景を含む画素の位置を除去し、車両を示す分散小の画素だけで構成される参照テンプレートとなるよう、参照テンプレートを逐次更新する。更新された後は、更新された参照テンプレートを用いて同様の相関処理を繰り返すことで、背景を含まないテンプレートマッチングによる追跡処理が行えるようにする。
【００３６】
以上説明したように、本実施の形態１の前方車両追跡システムは、自車両１に搭載されたカメラ２と、カメラ２からの入力画像を格納する画像メモリ１０１と、前方車両１０を検出する車両発見手段（車両発見部１０２）と、入力画像から前方車両１０を含む画像領域を参照テンプレートとして切り出す参照テンプレート作成手段（参照テンプレート作成部１０３）と、参照テンプレート内の画像と、入力画面における参照テンプレートの切り出し位置を記憶する参照テンプレート格納用メモリ１０４と、前方車両１０を含む新たな入力画像に、前方車両１０の大きさ変化を考慮した拡大縮小をかけながら、相関を計算し、最大相関値を得た位置と拡大縮小率を求める車両追跡処理手段（車両追跡処理部１０５）と、最大相関値を得た位置と拡大縮小率から、前方車両１０のカメラ２に対する位置を求める処理結果出力手段（処理結果出力部１０７）と、最大相関値を得た位置と拡大縮小率から作られた参照テンプレートとの相関を計算した対象となるテンプレート画像を逐次格納するテンプレート更新計算用車両画像保存用メモリ１０８と、逐次格納されたテンプレート画像と参照テンプレートとを正規化し、同じ位置に相当する各画素の時間的分散を計算し、分散がしきい値以上となる画素を参照テンプレートから削除することで参照テンプレートを更新する参照テンプレート更新処理手段（参照テンプレート更新処理部１０９）とを有する。また、車両追跡処理部１０５によって得られた最大相関値としきい値とを比較し、前方車両１０の追跡信頼性を判定する追跡信頼性判定手段（追跡信頼性判定部１０６）を有する。
【００３７】
また、本実施の形態１の前方車両追跡方法は、自車両１に搭載されたカメラ２で撮像された画像を用いた画像処理による前方車両追跡方法において、前方車両１０を発見したときに、カメラ２からの入力画像から前方車両１０を含む画像領域を参照テンプレートとして切り出し、その参照テンプレートをその時点で追跡中の前方車両１０の車両追跡用テンプレートとして定義し、前方車両１０の発見後は、時間的に連続して入力される新たな入力画像中において、前方車両１０が発見された位置付近のある走査範囲内で、参照テンプレートとの相関を、前方車両１０の画像上での大きさ変化を考慮した拡大縮小をかけながら計算し、走査範囲内における最大相関値を得た位置と拡大縮小率により求められる距離と方位をその時点の前方車両１０の検出結果として出力し、最大相関値を得たときの相関計算の対象となったテンプレート画像を格納し、連続して同様の処理を行うことで逐次格納されるテンプレート画像と参照テンプレートを正規化し、テンプレート内で同じ位置に相当する各画素の時間的分散を計算し、分散がしきい値以上となる画素は、前方車両１０以外の部分が撮像される個所として参照テンプレートから逐次削除することで参照テンプレートを更新し、その後の処理では、更新された参照テンプレートを利用して前方車両１０の追跡の処理を行うものである。すなわち、前方車両１０を発見した位置に参照テンプレートを設定し、相関の最も高い位置で画像を切り取り、参照テンプレート内と入力画像の前方車両１０の大きさが同じになるように拡大縮小をかけ、入力画像と参照テンプレートをともに正規化し、画素ごとに輝度の差が大きい位置の画素を削除するようにテンプレートを更新するか、または分散が小さいと判断された画素だけを用いてテンプレートマッチングを行うものである。
【００３８】
このような構成により、背景を含まない、前方車両１０の特徴だけを捉えた参照テンプレートを用いた車両追跡が可能となるため、前方車両１０の背景のエッジに影響されることのない車両追跡が可能となる。また、初期の参照テンプレート定義の際、発見時の画像を用いて参照テンプレートを一度で定義するのではなく、数回参照テンプレートを作成し、お互いの相関値やエッジの有無を見ることで、相関が高く、ある程度の量のエッジが含まれている場合に限り、初期の参照テンプレートを定義するようにすることで、より確実に前方車両１０の特徴だけを捉えた参照テンプレートに更新することができる。
【００３９】
実施の形態２
次に、本発明の実施の形態２について説明する。
【００４０】
図８は、参照テンプレート（ａ）および新たな入力画像上の車両の上下、左右のエッジを検出した様子（ｂ）を示す図である。
式２でも説明したように、車両１０の上下端間の画像上の大きさｈｃや左右端の画像上の大きさｗｃは、車間距離ｚ(ｔ)と反比例する。上記実施の形態１で説明した車両追跡処理部１０５の画像の拡大縮小を考慮したテンプレートマッチングの拡大縮小率は、車間距離ｚ(ｔ)または参照テンプレートに対する距離の変化率が既知であれば一意に決まる値である。ここでは、参照テンプレートにおける左右または上下端と入力画像における車両１０の左右または上下端の大きさの変化率を求め、この変化率より、車両追跡処理部１０５の処理における拡大縮小の大きさを決めるようにする。
【００４１】
すなわち、拡大縮小を考慮した相関計算において、前方車両１０のエッジを検出し、エッジ間距離の変化に基づき、拡大縮小率を決める。これにより、上記実施の形態１では、拡大縮小率がわからなかったために、拡大した場合、縮小した場合、同じ大きさの場合などあらゆる距離変化を想定した場合の拡大縮小率がかけられたさまざまな参照テンプレートにおいて、すべての相関を計算する必要があったが、本実施の形態２では、車両の距離変化により生じる画像上での大きさ変化に対応可能とするための拡大縮小をかける際、参照テンプレートと入力画像内車両の大きさ変化より拡大縮小率が決まるため、エッジ間距離の大きさ変化から計算される決まった一つの倍率だけをかけるだけで、一つの拡大縮小率をかけた参照テンプレートを前回の検出位置付近を走査範囲として相関を求めるだけで十分となるため、車両追跡処理部１０５における相関の計算量を削減することが可能となる。また、拡大縮小をかけたときに相関値とエッジ間距離から求められる拡大縮小率を照らし合わせることで、大きさ変化率の確認処理も可能となるため、信頼性の増加も可能となる。
【００４２】
実施の形態３
次に、本発明の実施の形態３について説明する。
【００４３】
本実施の形態３の構成では、上記実施の形態１の構成に加え、レーダなど距離計測が可能なセンサを搭載したセンサ構成とする。
【００４４】
図９において、２はカメラ、１０１は画像メモリ、３はスキャニングレーザレーダ（以下、レーザレーダと記す）、２０１はレーザレーダ用メモリ、２０２は車両発見部、２０３は参照テンプレート作成部、２０４は参照テンプレートおよび距離格納用メモリ、２０５は車両追跡処理部（拡大縮小付き相関算出処理部）、１０６は追跡信頼性判定部、１０７は処理結果出力部、１０８はテンプレート更新計算用車両画像保存用メモリ、１０９は参照テンプレート更新処理部（各画素の分散計算処理部）である。
【００４５】
図１０において、３１はレーザレーダ３のスキャニング面（中心軸）である。
【００４６】
図９、図１０に、本実施の形態３を実現するための構成を示す。ここでは、距離計測用のセンサをレーザレーダ３とした場合を例に取り説明する。自車両１には、カメラ２とレーザレーダ３が搭載されている。レーザレーダ３はその中心軸１０１（図１０）とカメラ２の光軸２１とが平行になるように取り付けられている。また、このレーザレーダ３は、路面と平行な方向に１次元的にスキャニングしながら、前方の車両１０を検知し、その距離を計測する装置である。図１０において、カメラ２を利用した処理部、すなわち、画像メモリ１０１、追跡信頼性判定部１０６、処理結果出力部１０７、テンプレート更新計算用車両画像保存用メモリ１０８、参照テンプレート更新処理部１０９は、上記実施の形態１の説明と同様である。ここでは、レーザレーダ３を用いて行う処理部、すなわち、レーザレーダ用メモリ２０１、車両発見部２０２、参照テンプレート作成部２０３、参照テンプレートおよび距離格納用メモリ２０４、車両追跡処理部２０５について説明する。
【００４７】
レーザレーダ用メモリ２０１は、レーザレーダ３で検出した距離を保存するためのメモリである。レーザレーダ３は、通常、ある物体まで光を照射し、その光の反射を受光するまでの時間差により反射物体までの距離を計測する。
【００４８】
図１１は、レーザレーダ３で車両１０を計測したときのレーザレーダ３の計測位置と同じ場面の前方の画像を示す図である。
図１１において、３２は自車両速度、３３はレーザレーダ３の検知角、３４はレーザレーダ３の計測点、１０Ａ、１０Ｂは前方の車両、３５は路上反射物である。
【００４９】
通常、車両１０Ａ、１０Ｂの後部には、光を反射するリフレックスリフレクタと呼ばれる反射板が付いていることから、この反射板までの反射を用いてレーザレーダ３から車両１０Ａ、１０Ｂまでの距離が計測される。
車両発見部９４では、レーザレーダ３の計測結果、つまり、図１１に示す計測点１１３の分布から車両１０Ａ、１０Ｂを検出し、その方位と距離を計測する。この処理は、例えば、車両１０Ａ、１０Ｂの幅程度の間隔で検出され、時系列的に同じ方向に動く左右２組の点を見つけることで車両１０Ａ、１０Ｂを検出することができる（図１１参照）。
【００５０】
次に、参照テンプレート作成部２０３では、車両１０Ａ、１０Ｂを発見した位置と距離をもとに、その位置と対応する画像上の位置に参照テンプレートを切る。レーザレーダ３では、自車両１に対する追跡する車両１０Ａ、１０Ｂの方位と距離がわかっている。そのため、画像上においてカメラ２で車両１０Ａ、１０Ｂが撮像されている位置は、この方位と距離をもとに、上記式１、式２から求めることができる。ただし、１次元的に走査するレーザレーダ３を用いる場合、車両１０Ａ、１０Ｂの高さの情報はわからない。参照テンプレートを切る高さ方向の位置は、例えば、上記実施の形態２のように、車両１０Ａ、１０Ｂが存在する方位に存在する車両上下端を示す水平エッジを検出することで画像上の車両１０Ａ、１０Ｂの位置を求めることができる。
【００５１】
参照テンプレートおよび距離格納用メモリ２０４は、参照テンプレート作成部２０３の処理で定義された入力画像上における車両１０Ａ、１０Ｂを含む参照テンプレートの保存用メモリである。ここでは、この参照テンプレートを作成されたときの車両１０Ａ、１０Ｂとの車間距離がレーザレーダ３で計測されているために、レーザレーダ３により計測されている参照テンプレート作成時の車間距離も同時に保存する。この距離は、次段の車両追跡処理部２０５の処理で利用する。
【００５２】
車両１０Ａ、１０Ｂの発見後、以降の処理では追跡を行う。追跡はレーザレーダ３での計測距離結果と、車両１０Ａ、１０Ｂの画像上での大きさ変化を考慮した拡大縮小を用いながらの参照テンプレートとのテンプレートマッチングの両方を用いて行う。レーザレーダ３における追跡は発見と同様の処理でよい。
【００５３】
車両追跡処理部２０５の処理では、レーザレーダ３で新たに計測した距離と、参照テンプレート作成時の距離からもとめた拡大または縮小率をかけた上でテンプレートマッチングを行う。
【００５４】
距離や方位の算出方法、相関の算出方法、信頼性の判定方法は、上記実施の形態１と同様である。ただし、車両１０Ａ、１０Ｂの距離は、レーザレーダ３で計測した距離をそのまま用いればよく、方位は、通常、画像処理の方が精度が高いため、画像処理によるテンプレートマッチングで車両を発見した方位と、レーザレーダ３で計測した距離を用いることで、正確な追跡車両１０Ａ、１０Ｂの自車両１に対する位置を求めることができる。
【００５５】
以上説明したように、本実施の形態３では、前方車両１０までの距離計測が可能なレーザレーダ３を搭載する構成とし、車両発見部２０２による前方車両１０の発見はレーザレーダ３を用いて行い、参照テンプレート作成部２０３は、発見時に作成する参照テンプレートを、レーザレーダ３の検知結果をもとに、画像上の対応する位置で定義し、この参照テンプレートの定義の際、参照テンプレートおよび距離格納用メモリ２０４に、その参照テンプレート内の車両の大きさに対応する距離も同時に保存し、車両追跡処理部２０５は、その後の入力画像で行う前方車両１０の拡大縮小を考慮した相関による参照テンプレートとのテンプレートマッチングを、レーザレーダ３で計測したその時点での前方車両１０の距離に対する参照テンプレートの距離の比率により拡大縮小の大きさを決める構成とした。これにより、追跡する前方車両１０の画像上での位置だけでなく、レーザレーダ３で計測した３次元的な距離および横方向の位置をも計測が可能となり、さらに、相関による拡大縮小の際、絶対的な距離から求められる拡大縮小率を用いるため、拡大縮小の大きさが一つに決まるため計算量を削減することも可能となる。
【００５６】
また、例えば、逆光や霧などで、ある一定時間画像上での前方車両１０の追跡ができない場合でも、レーザレーダ３での計測が可能となるため、双方の結果をともに利用することで追跡は可能となる。また、テンプレートマッチングによる処理だけを見た場合においても、次のような効果がある。例えば、従来の提案されている大きさの変化に対応可能となるための逐次型で参照テンプレートを更新するテンプレートマッチングでは、前方車両１０の画像に逆光や影などが含まれ不鮮明になった場合、テンプレート切り出し用の参照テンプレートの画像にも逆光や影を含んで不鮮明なものとなってしまい、光や影という車両本来とは異なる特徴を含む部分の画像に追跡しやすい参照テンプレートができてしまう。このため、追跡を行うための相関が低くなり、正しく検出ができなくなるなどの問題が起きる。また、このような問題を回避するために、相関の高い場合にしか参照テンプレートを更新しないなどの対応処理も考えられるが、通常、車載のカメラ２を用いた画像処理で問題となりやすい逆光は、光と同じ向きで走行するある一定時間以上において連続する場合が多い。つまり、この逆光が起こっている間、更新を行わない状態が続くと、逆光の影響がなくなった時点と逆光が始まった時点とでは、車間距離が変化してしまっているために、画像上の大きさが大きく変化し、保持している参照テンプレートが適用できなくなるなども問題も起きる。ここでは、レーザレーダ３で計測している距離情報を用いることができるため、画像の状態がよいときに作成した参照テンプレートを利用することが可能となり、参照テンプレートを作成した時点の距離と新たに画像の状態がよくなった場面における車間距離との関係から参照テンプレートの拡大縮小率も求めることができるため、状態のよい参照テンプレートを利用しての拡大縮小を考慮したテンプレートマッチングが可能となる。また、画像処理のテンプレートマッチングは細かい画素単位で前方車両１０の位置を計測するため、通常、レーザレーダ３より方位の計測が高精度となる。このことから、距離をレーザレーダ３、方位を画像処理のテンプレートマッチングの結果として出力することで高精度の距離および方位計測とすることにも効果がある。
【００５７】
実施の形態４
次に、本発明の実施の形態４について説明する。
【００５８】
本実施の形態４でのセンサ構成は、上記実施の形態１の単眼カメラをステレオカメラにした構成を用いる。図１２に、本実施の形態４を実現するための構成を示す。
【００５９】
図１２において、２ａ、２ｂはカメラ、１０１ａ、１０１ｂは画像メモリ、３０１は距離画像作成部、３０２は距離画像格納用メモリ、３０３は車両発見部、１０３は参照テンプレート作成部、２０４は参照テンプレートおよび距離格納用メモリ、２０５は車両追跡処理部（拡大縮小付き相関算出処理部）、１０６は追跡信頼性判定部、１０７は処理結果出力部、３０４はテンプレート更新計算用車両発見距離画像保存用メモリ、１０８はテンプレート更新計算用車両画像保存用メモリ、３０５は参照テンプレート更新処理部（各画素の分散計算処理部）である。
【００６０】
ここでも、上記実施の形態３の説明と同様に、上記実施の形態１または上記実施の形態３と同様の構成については説明を省略し、ステレオカメラの構成にしたことではじめて加えられる距離画像作成部３０１、距離画像格納用メモリ３０２、車両発見部３０３、テンプレート更新計算用車両発見距離画像保存用メモリ３０４、参照テンプレート更新処理部３０５について説明する。
【００６１】
まず、カメラ２ａ、２ｂが２つになったため、画像メモリ１０１ａ、１０１ｂは２つのカメラ分設けてある。この画像メモリ１０１ａ、１０１ｂの内容を利用し、距離画像作成部３０１の処理では、各画素を距離に変換するための距離画像作成処理を行う。画素毎の距離は、２つのカメラ２ａ、２ｂで撮像される位置の差、つまり視差から計算される。ここでは、例えば、一方の画像で設けたある数画素×数画素の領域と同じ形状の部分が撮像されている位置を他方の画像から正規化相関などにより検出することで、互いの位置の差より求めることができる。このような処理を１画素ずつずらしながらすべての画素で行うことで距離画像が作成される。作成された距離画像は、距離画像格納用メモリ３０２に保管する。
【００６２】
次に、車両発見部３０３では、距離画像を用いて車両１０の検出を行う。これには、例えば、特開平１１−３４５３３６号公報などに記載された手法を用いればよい。ここに記載された処理においては、同じ距離となる領域を各ｘ座標ごとに求めることで車両１０を検出している。車両１０が撮像されている領域はすべて同じ距離になることから、同じ距離を示す塊のある領域を車両１０として検出することができ、その画素が示す距離が車間距離となる。
【００６３】
次に、参照テンプレート作成部１０３の処理では、この車両１０の発見の結果に基づいて参照テンプレートの作成を行う。参照テンプレートは、ステレオ画像の他方の画像メモリを用い、距離画像から車両１０を検出した場所に相当する同じ位置から参照テンプレートを切り取ればよい。
【００６４】
また、参照テンプレートおよび距離格納用メモリ２０４での参照テンプレートの保存では、カメラ２とレーザレーダ３の構成とした上記実施の形態３の場合と同様に、参照テンプレート作成時の車間距離がステレオ画像処理により求められていることから、参照テンプレートと同時に、参照テンプレート作成時の距離も保存する。これにより、追跡開始後の車両追跡処理部２０５の拡大縮小を考慮したテンプレートマッチングにおいて、参照テンプレートの距離とステレオ画像処理により毎回計測される新たな入力画像における車間距離がわかるため、拡大縮小率が一意に決まる。つまり、車両追跡処理部２０５では双方（参照テンプレート作成時と新たなテンプレート画像入力時）の距離変化率に応じた拡大縮小をかけたテンプレートマッチング処理を行う。
【００６５】
次に、追跡信頼性判定部１０６において追跡信頼性があると判定された場合、追跡車両１０の距離と方位を出力するとともに、参照テンプレート更新のための画像をテンプレート更新計算用車両画像保存用メモリ１０８に保存する。この際、テンプレート更新計算用車両画像保存用メモリ１０８への画像の保存は、上記実施の形態１と同様である。また、本実施の形態４では、画像の保存と同時に、その画像と対応する位置にある画像に、車両追跡処理部２０５で利用したと同じ拡大縮小率をかけた距離画像もテンプレート更新計算用車両発見距離画像保存用メモリ３０４に保存する。参照テンプレート更新処理部３０５のテンプレート更新の処理では、上記実施の形態１と同様の各画素の分散の評価に加え、分散が高い、または、追跡中の車両１０とは異なる距離値を示す画素を更新の際に省く対象の画素とする。
【００６６】
図１３は、ある時点において、テンプレート更新計算用車両画像保存用メモリ１０８と、テンプレート更新計算用車両発見距離画像保存用メモリ３０４に保存された画像の例を示す図である。
【００６７】
（ａ）は参照テンプレート、（ｂ）〜（ｅ）は逐次保存される相関が大となった画像、（ｆ）は距離画像、（ｇ）〜（ｉ）は前方の車両１０が車線変更中のマッチング画像である。なお、（ｆ）において、グレー部分は車両１０と同じ距離を持つ部分、その他の部分は他の距離を持つ部分である。
【００６８】
図１３（ｆ）の上部に示した輝度の画像（ａ）〜（ｅ）がテンプレート更新計算用車両画像保存用メモリ１０８に保存される輝度からなる画像、図１３（ｆ）の下に示した距離画像（ｇ）〜（ｉ）が、テンプレート更新計算用車両発見距離画像保存用メモリ３０４に保存する距離画像である。例えば、白線１１との位置関係が同じ直線を走行中では、単眼画像でのテンプレートマッチング、つまり、テンプレート更新計算用車両画像保存用メモリ１０８内の画像は、車両１０以外の白線１１部分もすべて同じ画像となる。しかし、白線１１部分は、車両１０より、前方または後方となるため、距離画像では車両１０とは異なる値である。テンプレート更新計算用車両画像保存用メモリ１０８のような画像だけを用いて参照テンプレートの更新を行うことで、白線１１を含む参照テンプレートが作成された場合、テンプレート更新計算用車両画像保存用メモリ１０８にあるような直線道路を常に走行する場面であれば、白線を含む形でテンプレートマッチングが行われても位置の計測は正しくできる。しかし、例えば、図１３（ｇ）〜（ｉ）に示すように、追跡対象車両１０が車線変更を行うなど、車両１０と白線１１との位置関係が変化する場合、白線１１を含む形での参照テンプレートが作成されると、白線１１の位置が異なり、相関の値が低くなる。画素毎の距離をも考慮に入れた更新を行う本実施の形態４においては、このような場面にも対応が可能となり、正しく車両１０だけを示す参照テンプレートを作成することが可能となる。
【００６９】
以上説明したように、本実施の形態４では、カメラ２ａ、２ｂを２個搭載し、ステレオ画像処理で行う構成とし、画像メモリ１０１ａ、１０１ｂはカメラ２ａ、２ｂの入力画像をそれぞれ格納し、距離画像作成部３０１は、このステレオ画像処理では各画素の視差を計算することで各画素の距離も求め、前方車両１０までの距離を計測し、前方車両１０の発見は、距離画像格納用メモリ３０２に、ステレオ画像処理で計測できる前方車両１０までの距離を保存することで、上記レーザレーダ３との組み合わせと同様に車両発見部３０３により発見し、車両追跡処理部２０５で距離の変化を考慮しながらの参照テンプレートとの相関計算を可能とし、さらに、参照テンプレート更新処理部３０５は、参照テンプレート更新の際、分散がしきい値以上となる画素、または、対象物とは異なる距離を示す画素を参照テンプレートから削除する構成とした。
【００７０】
これにより、例えば、前方車両１０の横のほぼ同じ位置に白線１１や側壁などが連続して撮像される場合など、輝度の変化では前方車両１０だけでなく背景も同じように見えるようなシーンを走行中の場合でも、背景は前方車両１０と異なる距離となるため、前方車両１０の部分と背景部分とを分離し、前方車両１０の部分の距離を示す画素だけを残すことが可能となる。つまり、より正確に前方車両１０だけを示す参照テンプレートを作成することが可能となる。
【００７１】
実施の形態５
次に、本発明の実施の形態５を説明する。
【００７２】
本実施の形態５では、上記実施の形態１〜実施の形態４で行ってきた、テンプレートマッチングおよび参照テンプレートの作成を微分画像を用いて行う。微分画像の作成は、例えば、縦エッジ検出用のソーベルフィルタと横エッジ検出用のソーベルフィルタをかけるなどの処理により行える。つまり、カメラ２（あるいは２ａ、２ｂ）と画像メモリ１０１（あるいは１０１ａ、１０１ｂ）との間に、ソーベルフィルタなどの微分画像作成手段を設け、画像メモリ１０１に常に微分画像が入力されるような構成にすることで、本実施の形態５は実現可能となる。
【００７３】
図１４は、微分画像の例と、微分画像を利用して更新することで作成された参照テンプレートの例である。
３６は輝度画像、３７は微分画像、３８は微分画像を利用して更新することで作成された参照テンプレートである。
【００７４】
車両のボディなどは、通常、エッジやテクスチャを持たない。そのため、テンプレートマッチングを行う際、周囲と同じ値となるため、多少ずれた位置との相関をとった場合でもあまり相関の値に差がでない。このことから、ここでは、すべての処理を微分画像とし、エッジやテクスチャのある画素だけを用いてテンプレートマッチングを行うようにする。また、上記実施の形態４のようなステレオ画像処理の構成にした場合（図１２参照）、テクスチャやエッジのない部分では視差を求めることができないため、距離画像利用の参照テンプレートの更新の際もテクスチャのない部分の判定は不必要であり、さらに、視差の誤計測により距離が正しく求められない可能性の高い画素にもなる。このような視差誤計測による悪影響も防ぐことができる。
【００７５】
以上のように、本実施の形態５では、参照テンプレート作成部１０３は、入力画像の微分画像を求め、入力画像の微分画像を用いて参照テンプレートを作成し、車両追跡処理部２０５は、入力画像の微分画像を用いて拡大縮小を考慮した相関処理を行う構成とした。これにより、前方車両１０の特徴を示す部分であるエッジを含む部分だけでのテンプレートマッチングおよび参照テンプレートの作成が可能となるため、ボディ面など情報を有しない、つまり、テンプレートマッチングにおける対応位置の計算ができず、ステレオ画像処理での視差計算ができない画素を取り除いたテンプレートマッチングが可能となるため、計算量が削減され、かつ、ノイズに影響されにくいより確実なマッチングが可能となる。
【００７６】
実施の形態６
次に、本発明の実施の形態６を説明する。
【００７７】
本実施の形態６では、上記実施の形態１〜実施の形態４で行う参照テンプレートの更新において、画素毎に計算する分散の値がある一定期間において小さい画素は、分散が大きくなった場合でも更新の対象としないようにする。これは、例えば、各画素に分散が小さくなった回数を保存するカウンタを設け、毎回そのカウンタをインクリメントおよび値の確認を行うことで実現できる。ある一定期間において分散が小さい、つまり、同じ輝度値となった場合、その画素の位置は常に同じ車両の同じ部位が撮像されている可能性が高い。しかし、車両上の輝度は、周囲の建物による影や太陽の向きは周囲物体の反射光などにより一時的に急激に輝度が変化することがある。このような輝度の変化は、車両本来の色やテクスチャではないため、参照テンプレートは一時的な値の変化に左右されないものとする必要がある。本実施の形態６においては、外界の一時的な変化の影響を受けず、車両本来の色や特徴を捉えた形とすることに効果がある。
【００７８】
このように、本実施の形態６では、参照テンプレート更新処理部１０９における参照テンプレートの更新において、画素毎に計算する分散の値がある一定期間において小さい画素は、分散が大きくなった場合でも更新の際の削除対象の画素としない構成とした。これにより、例えば、急な逆光や周囲建物の影などに起因する一時的に前方車両１０上に乗るノイズなどにより、前方車両１０の一部が欠けた参照テンプレートが作成されることを防ぎ、ロバストに前方車両１０だけを含む参照テンプレートを作成することが可能となる。
【００７９】
実施の形態７
最後に、本発明の実施の形態７を説明する。
【００８０】
本実施の形態７では、上記実施の形態１〜実施の形態４の参照テンプレートの更新において、追跡回数がある一定回数を超え、すべての画素の分散がある一定時間以上所定の値以下となった場合、更新の処理を止める構成とする。この処理も上記実施の形態６と同様に、画素毎にカウンタを設け、安定して分散が小さくなる回数を数え、かつ、常にその回数を確認する構成とすることで、分散が小さい画素だけが残ったことを確認できるようになる。本実施の形態７では、上記実施の形態６と同様、車両の特徴だけを捉えた参照テンプレートの更新が可能となり、さらに、分散が小さくなり、参照テンプレートが固定された後は、更新用の処理を省くことができるため、計算量の削減にも役立つ。通常、特に高速道路などを走行中では、ある同じ１台の車両に数分以上追跡する場面が多いため、参照テンプレートの更新は最初の発見直後だけで行い、固定された参照テンプレートを用いての追跡処理を行う場面の方が多い。この処理を入れることで、背景を取り除き、車両だけを抽出した参照テンプレートを用い、かつ、参照テンプレートの画素数が減ったことで計算量をも削減した高速な車両追跡処理が可能となる。
【００８１】
このように、本実施の形態７では、参照テンプレートの更新において、追跡回数がある一定回数を超え、すべての画素の分散がある一定時間以上、所定の値以下となった場合、更新の処理を止め、車両追跡用参照テンプレートとして決定する構成とした。これにより、上記実施の形態６と同様に、ノイズなどの影響により前方車両１０の一部が欠ける参照テンプレートとなることを防ぐことができる。さらに、参照テンプレートを決めることで更新の計算を削除し、計算量の削減にも役立つ。
【００８２】
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態１のシステム構成図
【図２】カメラの車両への搭載位置と座標系設定の説明図
【図３】画像から車両を検出する様子の説明図
【図４】実際の車両の位置および大きさ（幅）と画像上の車両の位置および大きさとの関係の説明図
【図５】拡大縮小しながらの参照テンプレートを用いたテンプレートマッチングの説明図
【図６】テンプレート更新の画素の分散計算用に保存される画像の様子を示す図
【図７】車両部分だけを残すための各画素の分散に基づいたテンプレート更新方法の説明図
【図８】車両の画像上における大きさの求め方の説明図
【図９】本発明の実施の形態３のシステム構成図
【図１０】カメラとレーザレーダを搭載した場合の車両への搭載位置と座標系設定の説明図
【図１１】レーザレーダの計測位置と同じ場面の前方画像の様子を示す図
【図１２】本発明の実施の形態４のシステム構成図
【図１３】参照テンプレート作成用メモリに保存された輝度画像と距離画像の様子を示す図
【図１４】微分画像と微分画像を利用した場合の参照テンプレートの様子を示す図
【符号の説明】
１…自車両、２、２ａ、２ｂ…カメラ、
３…レーザレーダ、
１０、１０Ａ、１０Ｂ…車両、１１…白線、２１…カメラの光軸、２２…参照座標系、２３…カメラレンズ、２４…実際の車両の中心、２５…撮像面、２６…参照テンプレート作成時の画像、２７…入力画像、２８…走査範囲、２９…車両発見時の入力画像、３０…参照テンプレート、３１…レーザレーダのスキャニング面（中心軸）、
３２…自車両速度、３３…レーザレーダの検知角、３４…レーザレーダの計測点、３５…路上反射物、
３６…輝度画像、３７…微分画像、３８…参照テンプレート、
１０１、１０１ａ、１０１ｂ…画像メモリ、１０２…車両発見部、１０３…参照テンプレート作成部、１０４…参照テンプレート格納用メモリ、１０５…車両追跡処理部、１０６…追跡信頼性判定部、１０７…処理結果出力部、１０８…テンプレート更新計算用車両画像保存用メモリ、１０９…参照テンプレート更新処理部、
２０１…レーザレーダ用メモリ、２０２…車両発見部、２０３…参照テンプレート作成部、２０４…参照テンプレートおよび距離格納用メモリ、２０５…車両追跡処理部、
３０１…距離画像作成部、３０２…距離画像格納用メモリ、３０３…車両発見部、３０４…テンプレート更新計算用車両発見距離画像保存用メモリ、３０５…参照テンプレート更新処理部。

Claims

車両に搭載されたカメラと、
前記カメラからの入力画像を格納する画像メモリと、
前方車両を検出する車両発見手段と、
前記入力画像から前記前方車両を含む画像領域を参照テンプレートとして切り出す参照テンプレート作成手段と、
前記参照テンプレート内の画像と、前記入力画像における前記参照テンプレートの切り出し位置を記憶する参照テンプレート格納用メモリと、
前記前方車両を含む新たな入力画像に、前記前方車両の大きさ変化を考慮した拡大縮小をかけながら、相関を計算し、最大相関値を得た位置と拡大縮小率を求める車両追跡処理手段と、
前記最大相関値を得た位置と前記拡大縮小率から、前記前方車両の前記カメラに対する位置を求める処理結果出力手段と、
前記最大相関値を得た位置と前記拡大縮小率から作られた前記参照テンプレートとの相関を計算した対象となるテンプレート画像を逐次格納するテンプレート更新計算用車両画像保存用メモリと、
前記逐次格納されたテンプレート画像と前記参照テンプレートとを正規化し、同じ位置に相当する各画素の時間的分散を計算し、分散がしきい値以上となる画素を前記参照テンプレートから削除することで前記参照テンプレートを更新する参照テンプレート更新処理手段
とを有することを特徴とする前方車両追跡システム。
前記車両追跡処理手段によって得られた最大相関値としきい値とを比較し、前記前方車両の追跡信頼性を判定する追跡信頼性判定手段を有することを特徴とする請求項１記載の前方車両追跡システム。
前記拡大縮小を考慮した相関計算において、
前記前方車両のエッジを検出し、前記エッジ間距離の変化に基づき、前記拡大縮小率を決めることを特徴とする請求項１記載の前方車両追跡システム。
前記前方車両までの距離計測が可能なレーザレーダを搭載し、
前記車両発見手段は、前記レーザレーダの距離データをもとに、前記前方車両を発見し、
前記参照テンプレート作成手段は、前記前方車両が存在する画像上の位置に初回の追跡用参照テンプレートを定義し、
前記参照テンプレート格納用メモリは、前記参照テンプレート作成時の前記前方車両との距離を記憶し、
前記車両追跡処理手段の前記相関計算における前記拡大縮小率は、前記参照テンプレート定義時の距離と、その時点の距離との比率で決めることを特徴とする請求項１記載の前方車両追跡システム。
前記カメラを２個搭載し、
前記画像メモリは、前記２つのカメラの前記入力画像を格納し、
前記２つのカメラの前記入力画像から視差を計算することで、各画素の距離を求め、前記前方車両までの距離を計測する距離画像作成手段を有し、
前記参照テンプレート作成手段は、前記前方車両までの距離と前記前方車両を含む画像領域を参照テンプレートとして切り出し、
前記車両追跡処理手段は、前記相関計算における前記拡大縮小率を、前記参照テンプレート定義時の距離とその時点の距離との比率で決めた上で前記相関処理による画像上の前記前方車両の位置を求め、
前記参照テンプレート更新処理手段は、画素毎の分散に基づいた参照テンプレート更新の際、分散がしきい値以上となる画素、または、対象物とは異なる距離を示す画素を前記参照テンプレートから削除することを特徴とする請求項１記載の前方車両追跡システム。
前記参照テンプレート作成手段は、入力画像の微分画像を求め、前記入力画像の微分画像を用いて前記参照テンプレートを作成し、
前記車両追跡処理手段は、前記入力画像の微分画像を用いて前記拡大縮小を考慮した相関処理を行うことを特徴とする請求項１乃至４のいずれかに記載の前方車両追跡システム。
前記参照テンプレート更新処理手段における前記参照テンプレートの更新において、画素毎に計算する分散の値がある一定期間において小さい画素は、分散が大きくなった場合でも更新の際の削除対象の画素としないことを特徴とする請求項１乃至４のいずれかに記載の前方車両追跡システム。
前記参照テンプレート更新処理手段における前記参照テンプレートの更新において、追跡回数がある一定回数を超え、すべての画素の分散がある一定時間以上、所定の値以下となった場合、更新の処理を止め、追跡用参照テンプレートとして決定することを特徴とする請求項１乃至４のいずれかに記載の前方車両追跡システム。
車両に搭載されたカメラで撮像された画像を用いた画像処理による前方車両追跡方法において、
前方車両を発見したときに、前記カメラからの入力画像から前記前方車両を含む画像領域を参照テンプレートとして切り出し、前記参照テンプレートをその時点で車両追跡用テンプレートとして定義し、
前記前方車両の発見後は、時間的に連続して入力される新たな入力画像中において、前記前方車両が発見された位置付近のある走査範囲内で、前記参照テンプレートとの相関を、前記前方車両の画像上での大きさ変化を考慮した拡大縮小をかけながら計算し、
前記走査範囲内における最大相関値を得た位置と拡大縮小率により求められる距離と方位をその時点の前記前方車両の検出結果として出力し、
前記最大相関値を得たときの相関計算の対象となったテンプレート画像を格納し、
連続して同様の処理を行うことで逐次格納される前記テンプレート画像と前記参照テンプレートを正規化し、
テンプレート内で同じ位置に相当する各画素の時間的分散を計算し、分散がしきい値以上となる画素は、前記前方車両以外の部分が撮像される個所として前記参照テンプレートから逐次削除することで前記参照テンプレートを更新し、
その後の処理では、更新された前記参照テンプレートを利用して前記前方車両の追跡の処理を行うことを特徴とする前方車両追跡方法。