JP2008304344A - 物標検出装置 - Google Patents

Abstract

【課題】簡易な構成で、互いに近接する車両、歩行者、障害物などの物標同士を短時間で検出することの可能な物標検出装置を提供する。
【解決手段】制御部３が双方の相関性が極めて高いと評価した場合には、視差修正手段８０において、新たに取得したステレオ画像Ｂ１から導出された第２視差Ｄ１のうち、物標追跡手段６０で切り出された特定物標Ｔ１の物標候補領域の２次元画像Ｋ３から導出される視差と、新たに取得したレーダ情報Ａ１から導出された第１視差Ｃ１のうち物標追跡手段６０で切り出された特定物標Ｔ１の物標候補領域の２次元画像Ｋ３に対応する領域内の物標候補Ｔの視差とを対比して双方が互いに同一またはほぼ同一となる視差をゼロに変更する。これにより、特定物標を、新たに取得したステレオ画像上の位置および幅ならびに高さを導出する対象から除外することが可能となる。
【選択図】図２

Description

本発明は、レーザレーダと、ステレオカメラまたは光飛行時間型距離センサとを利用して物標を検出する物標検出装置に関する。

自動車社会の交通事故、交通渋滞、燃料消費、排気ガスなどの問題を解決するために、自動車に高度な知能を持たせ、ドライバーによる自動車の運転を支援し自動化することにより、安全で、円滑で、環境に調和した自動車交通が実現できる可能性がある。このような自動車の知能化、安全化システムが活発に研究開発されている。

歩行者検出は、自動車の予防安全（アクティブセーフティー）における重要な基盤技術である。歩行者を事前に検出できれば、自動車と歩行者とが衝突する前に自動車の速度を下げたり、歩行者を保護する装置を動作させたり、歩行者の傷害の度合いを軽減することが可能となる。また、自動車の周囲に歩行者がいるような道路環境では、歩行者事故の危険が伴う自動追従機能を停止させ、ドライバー主体の運転に切り替えることも可能となる。

従来では、レーダや超音波などの車載センサを用いた障害物の検出、車間距離保持などのシステムが研究開発され、また画像センサを使用した白線認識や先行車両検出などの技術が実用化しつつある。しかし、レーダセンサは対象物（歩行者、自転車、看板、停止車両等）を区分できず、走行環境認識技術に乏しいという問題がある。さらに、検出領域が狭いので、隣接車線からの追い越し車両やカーブ路の先行車両などに対しての計測は困難である。一方、画像センサは検出対象が車両であるのか、歩行者であるのか、それが自車線上に存在するのかなどの対象認識機能において優れているが、相対距離、相対速度の検出精度が低い。

このような単一センサの欠点を補うため、従来ではセンサフュージョンによる障害物認識に関して様々な研究が行われてきた。センサ類別としては、ミリ波レーダ、レーザレーダ、超音波センサ、単眼視カメラセンサ、ステレオカメラセンサなどが挙げられる。

例えば、特許文献１の技術は、ミリ波レーダとステレオカメラによる画像取得手段を備えている。この技術では、まず、ミリ波レーダから出力されるパワーに基づいて画像認識エリアを特定する。次に、その特定された画像認識エリアのみに限定して物体検出のためのエッジ検出、視差計算等の画像処理を実行し、画像処理時間を短縮しようとするものである。

また、特許文献２の技術は、車両周囲の物体の存在を検出するレーダの出力に基づいて車両走行における障害物を検出し、それらを撮影するステレオカメラによりレーダで検出した障害物の判断基準値を変更する判断基準値変更手段を備えている。これにより、障害物の存在可能性に基づいて、判断基準値を変更し適切な障害物認識を可能としている。

また、特許文献３の技術では、カメラとレーダから取得できる可能な限りの多くの情報を用いることで、誤認識を排除し、より高精度なセンサフュージョンを行っている。まず、ステレオ画像とミリ波レーダでの情報により、各センサでのフュージョン立体物を設定する。また、互いのセンサで取得した立体物の同一確率を演算し、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物を決定する。次に、フュージョン立体確認部では、画像立体物単体のフュージョン立体物、ミリ波立体物単体のフュージョン立体物、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物の全ての立体物に判定を行い、画像情報を基に予め定めておいた横方向の応答性遅れによるゴースト判定、壁反射によるマルチパスによるゴースト判定、および、先行車からの反射波によるゴースト判定の条件を満たすミリ波立体物単体のフュージョン立体物を虚像であると判断する。この虚像との判定結果は設定時間維持され、このようにして虚像と判断された立体物は、その後の制御対象からは除かれる。

また、特許文献４の技術では、ステレオセンサを用いて、世界座標系における対象物表面上の点の３次元座標を算出する。Ｚ軸方向への投影点の個数の加算を行って、均等間隔格子占有マップにおいて点の個数の特徴量を求める。また、特徴量を用いて人物が存在するかどうかを判定する。

また、特許文献５の技術では、上記の分解能問題に対して、物体表面上の測定点を所定の水平平面または鉛直平面にそれぞれ投影し、水平平面または鉛直平面内のそれぞれに予め定義されたセンサの測定分解能より粗いグリッドセル内の測定点の数を累積することによって、３次元ヒストグラムの２値化によってクラスタリング処理を施し、障害物マップを生成する。

また、特許文献６の技術では、障害物の特性と検出装置の特性を考慮した障害物の判定を行い、対象物の正確な判定を可能としている。対向車、先行車のように比較的速度の高い物体はレーダの認識結果を用いることで、雨天や霧等で視界が悪い状態でも遠方からこれらを判別することができる。また、静止物（低速移動物を含む。）についてはレーダと画像認識双方で認識した物体のみを障害物と判定することで、システムからみた不要検出を防止する。歩行者については、レーダで検出することが難しいことから、画像認識結果を用いて判定することで検出が行えるようにする。歩行者、特に人体、着衣等はミリ波に対する反射特性が望ましいとはいえないので、ミリ波レーダで安定して検出することが難しい。一方、画像認識手段では安定して検出することが可能である。そのため、ミリ波による捕捉を行えず、画像認識のみで認識を行えたものを、単独画像物標として確保する。さらに、その物標自体に対して移動速度と大きさによる判定を行う。例えば、走行速度１０ｋｍ／ｈ未満で、高さが５０〜２５０ｃｍ、幅５０ｃｍ以下などの設定を満たす場合は歩行者と判定する。また、ミリ波、画像両者で検出された物体に関しては、障害物とすることで、誤検出を抑制する。この技術では、ミリ波レーダと画像のどちらか片方で検出した場合に対しては、それらセンサの特性を用いて対象物識別を行うことで、ミリ波と画像のそれぞれの長所、短所を生かしたセンサフュージョンを行うことができる。

特開２００１−２９６３５７号公報 特開２００５−３４５２５１号公報 特開２００６−０４７０５７号公報 特開２００６−２３６０２５号公報 特開２００１−２４２９３４号公報 特開２００５−２０２８７８号公報

しかし、特許文献１の技術では、歩行者のようなミリ波レーダ信号が反射しにくい対象物への検出と認識が困難となる。また、特許文献２の技術は、路上における障害物の存在のみを認識するものであり、歩道や路側帯に存在する歩行者等を対象としていない。特許文献３の技術では、各センサの検出精度を考慮せず単純な組み合わせを行うため、遠方にある障害物の検出が困難である。また、レーダセンサの分解能より、互いに近接する障害物同士の分離ができない。特許文献４の技術では、三角測量の原理によってステレオ視の分解能は距離に反比例するので、遠距離にある対象物の占有マップへの投影精度が低下し発散してしまう。特許文献５の技術では、特許文献４の技術と同様、遠距離にある対象物の投影が発散し、対象物同士の領域が占有マップ上につながってしまい、容易に分割できない。特許文献６の技術では、単独画像物標として、高い精度で認識するには、赤外線画像、ステレオ視等の使用し、より多くの情報が必要となり、コストの増加や、演算時間の増加が問題となる。

本発明はかかる問題点に鑑みてなされたものであり、その第１の目的は、簡易な構成で、互いに近接する車両、歩行者、障害物などの物標同士を短時間で検出することの可能な物標検出装置を提供することにある。また、第２の目的は、簡易な構成で、車両遠方に存在する車両、歩行者、障害物などの物標を車両近傍の物標と同等の精度で検出することの可能な物標検出装置を提供することにある。

本発明の第１の物標検出装置は、車両前方のレーダ情報を取得するレーザレーダと、車両前方のステレオ画像を取得するステレオカメラと、レーザレーダで取得したレーダ情報およびステレオカメラで取得したステレオ画像を処理する制御部とを備えたものである。ここで、制御部は、以下に示した（Ａ１）〜（Ａ７）の各手段を有している。
（Ａ１）レーダ情報と、ステレオ画像と、レーダ情報から導出された第１視差と、ステレオ画像から導出された第２視差または視差修正手段で修正された後の第２視差とから各物標候補のステレオ画像上の位置および幅ならびに高さを導出すると共に、ステレオカメラにおける３次元座標系の３次元座標とをステレオ画像の画素ごとに導出する位置等取得手段
（Ａ２）位置等取得手段で導出された各物標候補のステレオ画像上の位置および幅ならびに高さを利用して各物標候補領域の２次元画像をステレオ画像から切り出すと共に、切り出した２次元画像から導出される視差を第２視差から切り出したのち、切り出した２次元画像のうち、第２視差のうち当該切り出した２次元画像から導出された視差と第１視差のうち当該切り出した２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる部分の第１部分画像を用いて、位置等取得手段で導出された各物標候補のステレオ画像上の位置および幅ならびに高さを修正する位置等修正手段
（Ａ３）位置等修正手段で切り出された２次元画像または第１部分画像を用いて各物標候補の種類を判別する種類判別手段
（Ａ４）種類判別手段および物標追跡手段で種類が判別された各物標候補のステレオ画像上の位置および幅と、高さと、種類と、物標候補領域の２次元画像と、ステレオカメラにおける３次元座標系の３次元座標とを物標リストに登録する物標リスト登録手段
（Ａ５）新たに取得したステレオ画像内に存在していると予想される各物標候補の予想位置を含む領域の２次元画像を、物標リストに記録されている各物標候補のステレオ画像上の位置および幅と、高さと、種類と、ステレオカメラにおける３次元座標系の３次元座標とに基づいて、新たに取得したステレオ画像から切り出し、切り出した２次元画像に含まれていると予想される各物標候補と、物標リストに記録されている各物標候補との相関性を所定の方法により評価し、その結果、双方の相関性が極めて高いと評価した場合には、相関性の高い物標候補（特定物標）の予想位置を含む領域の２次元画像のうち、当該予想位置を含む領域の２次元画像から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち当該予想位置を含む領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差に対応する第２部分画像を用いて特定物標の新たに取得したステレオ画像上の位置および幅ならびに高さを修正すると共に、特定物標のステレオカメラにおける３次元座標系の３次元座標を取得し、修正により得られた特定物標の新たに取得したステレオ画像上の位置および幅ならびに高さを利用して特定物標の物標候補領域の２次元画像を新たに取得したステレオ画像から切り出し、また、双方の相関性が極めて高いとは言えないものの比較的高いと評価した場合には、相関性の比較的高い物標候補（準特定物標）の新たに取得したステレオ画像上の位置および幅ならびに高さと、物標候補領域の２次元画像と、ステレオカメラにおける３次元座標系の３次元座標とを、特定物標に対する上記処理と同様の処理を行うことにより取得したのち、取得した準特定物標の物標候補領域の２次元画像を用いて準特定物標の種類を判別する物標追跡手段
（Ａ６）物標リストにおいて、物標追跡手段で導出された特定物標のステレオ画像上の位置および幅と、高さと、物標候補領域の２次元画像と、ステレオカメラにおける３次元座標系の３次元座標とを更新する物標リスト更新手段
（Ａ７）新たに取得したステレオ画像から導出された第２視差のうち、物標追跡手段で導出された特定物標の物標候補領域の２次元画像から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち物標追跡手段で切り出された特定物標の物標候補領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差をゼロに変更する視差修正手段

本発明の第１の物標検出装置では、物標を検出するために、ステレオカメラの他にレーザレーダが用いられる。これにより、歩行者のようなミリ波レーダ信号が反射しにくい物標の検出や認識が可能となる。また、第１部分画像を用いて、位置等取得手段で導出された各物標候補のステレオ画像上の位置および幅ならびに高さが修正される。ここで、第１部分画像は物標候補領域の２次元画像から背景画像が除去されたものに相当することから、物標候補が背景画像に紛れてしまい、物標候補の位置等に誤差が生じることをなくすることができる。また、各物標候補の経時変化を追跡する際に、物標候補の位置および幅と、高さと、前記ステレオカメラにおける３次元座標系の３次元座標とを用いるだけでなく、物標候補の種類も用いているので、物標の検出や認識を高精度に行うことができる。また、相関性が高いと評価された場合には、新たに取得したステレオ画像から導出された第２視差のうち、物標追跡手段で切り出された特定物標の物標候補領域の２次元画像から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち物標追跡手段で切り出された特定物標の物標候補領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差がゼロに変更される。これにより、新たに取得したステレオ画像から導出された第２視差において特定物標が削除され、その部分が背景となるので、特定物標を、新たに取得したステレオ画像上の位置および幅ならびに高さを導出する対象から除外することが可能となる。

本発明の第２の物標検出装置は、車両前方のレーダ情報を取得するレーザレーダと、車両前方の単一画像および被写体までの距離を取得する光飛行時間型距離センサと、レーザレーダで取得したレーダ情報および光飛行時間型距離センサで取得した単一画像および被写体までの距離を処理する制御部とを備えたものである。ここで、制御部は、以下に示した（Ｂ１）〜（Ｂ７）の各手段を有している。
（Ｂ１）レーダ情報と、単一画像と、レーダ情報から導出された第１視差と、単一画像および被写体までの距離から導出された第２視差または視差修正手段で修正された後の第２視差とから各物標候補の単一画像上の位置および幅ならびに高さを導出すると共に、光飛行時間型距離センサにおける３次元座標系の３次元座標とを単一画像の画素ごとに導出する位置等取得手段
（Ｂ２）位置等取得手段で導出された各物標候補の単一画像上の位置および幅ならびに高さを利用して各物標候補領域の２次元画像を単一画像から切り出すと共に、切り出した２次元画像およびこれに対応する被写体までの距離から導出される視差を第２視差から切り出したのち、切り出した２次元画像のうち、第２視差のうち当該切り出した２次元画像およびこれに対応する被写体までの距離から導出された視差と第１視差のうち当該切り出した２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる部分の第１部分画像を用いて、位置等取得手段で導出された各物標候補の単一画像上の位置および幅ならびに高さを修正する位置等修正手段
（Ｂ３）位置等修正手段で切り出された２次元画像または第１部分画像を用いて各物標候補の種類を判別する種類判別手段
（Ｂ４）種類判別手段および物標追跡手段で種類が判別された各物標候補の単一画像上の位置および幅と、高さと、種類と、物標候補領域の２次元画像と、光飛行時間型距離センサにおける３次元座標系の３次元座標とを物標リストに登録する物標リスト登録手段
（Ｂ５）新たに取得した単一画像内に存在していると予想される各物標候補の予想位置を含む領域の２次元画像を、物標リストに記録されている各物標候補のステレオ画像上の位置および幅と、高さと、種類と、ステレオカメラにおける３次元座標系の３次元座標とに基づいて、新たに取得した単一画像から切り出し、切り出した２次元画像に含まれていると予想される各物標候補と、物標リストに記録されている各物標候補との相関性を所定の方法により評価し、その結果、双方の相関性が極めて高いと評価した場合には、相関性の高い物標候補（特定物標）の予想位置を含む領域の２次元画像のうち、当該予想位置を含む領域の２次元画像およびこれに対応する被写体までの距離から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち当該予想位置を含む領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差に対応する第２部分画像を用いて特定物標の新たに取得した単一画像上の位置および幅ならびに高さを修正すると共に、特定物標の光飛行時間型距離センサにおける３次元座標系の３次元座標を取得し、修正により得られた特定物標の新たに取得した単一画像上の位置および幅ならびに高さを利用して特定物標の物標候補領域の２次元画像を前記新たに取得した単一画像から切り出し、また、双方の相関性が極めて高いとは言えないものの比較的高いと評価した場合には、相関性の比較的高い物標候補（準特定物標）の新たに取得した単一画像上の位置および幅ならびに高さと、物標候補領域の２次元画像と、光飛行時間型距離センサにおける３次元座標系の３次元座標とを、特定物標に対する上記処理と同様の処理を行うことにより取得したのち、取得した準特定物標の物標候補領域の２次元画像を用いて準特定物標の種類を判別する物標追跡手段
（Ｂ６）物標リストにおいて、物標追跡手段で導出された特定物標の単一画像上の位置および幅と、高さと、物標候補領域の２次元画像と、光飛行時間型距離センサにおける３次元座標系の３次元座標とを更新する物標リスト更新手段
（Ｂ７）新たに取得した単一画像および被写体までの距離から導出された第２視差のうち、物標追跡手段で導出された特定物標の物標候補領域の２次元画像およびこれに対応する被写体までの距離から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち物標追跡手段で切り出された前記特定物標の物標候補領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差をゼロに変更する視差修正手段

本発明の第２の物標検出装置では、物標を検出するために、光飛行時間型距離センサの他にレーザレーダが用いられる。これにより、歩行者のようなミリ波レーダ信号が反射しにくい物標の検出や認識が可能となる。また、第１部分画像を用いて、位置等取得手段で導出された各物標候補の単一画像上の位置および幅ならびに高さが修正される。ここで、第１部分画像は物標候補領域の２次元画像から背景画像が除去されたものに相当することから、物標候補が背景画像に紛れてしまい、物標候補の位置等に誤差が生じることをなくすることができる。また、各物標候補の経時変化を追跡する際に、物標候補の位置および幅と、高さと、前記光飛行時間型距離センサにおける３次元座標系の３次元座標とを用いるだけでなく、物標候補の種類も用いているので、物標の検出や認識を高精度に行うことができる。また、相関性が高いと評価された場合には、新たに取得した単一画像および被写体までの距離から導出された第２視差のうち、物標追跡手段で導出された特定物標の物標候補領域の２次元画像およびこれに対応する被写体までの距離から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち物標追跡手段で切り出された前記特定物標の物標候補領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差がゼロに変更される。これにより、新たに取得した単一画像から導出された第２視差において特定物標が削除され、その部分が背景となるので、特定物標を、新たに取得した単一画像上の位置および幅ならびに高さを導出する対象から除外することが可能となる。

本発明の第３の物標検出装置は、車両前方のレーダ情報を取得するレーザレーダと、車両前方のステレオ画像を取得するステレオカメラと、レーザレーダで取得したレーダ情報およびステレオカメラで取得したステレオ画像を処理する制御部とを備えたものである。ここで、制御部は、以下に示した（Ｃ１）〜（Ｃ９）の各手段を有している。
（Ｃ１）ステレオカメラにおける３次元座標系の３次元座標をステレオ画像の画素ごとに取得する第１位置情報取得手段
（Ｃ２）ステレオ画像における各画素を、ステレオ画像から導出された第２視差およびステレオ画像の縦座標が所定の間隔で区切られた複数のセルのうち各画素の第２視差およびステレオ画像の縦座標が含まれるセルに振り分け、第２視差をｘ軸とし、ステレオ画像の縦座標をｙ軸とし、セルごとの画素の数をｚ軸としたときの３次元分布においてｚ軸の値を２値化処理し、ｘｙ平面において第２視差がゼロとなる直線Ｌ２と交差する路面領域に相当する斜めの直線Ｌ１を検出する直線取得手段
（Ｃ３）直線Ｌ１と直線Ｌ２との交差点のｘ座標Ｖ_０を導出し、このｘ座標Ｖ_０と、ステレオカメラの焦点距離ｆとを用いてステレオカメラの俯角αを導出する俯角情報取得手段
（Ｃ４）直線Ｌ１上の各点の第２視差およびｘ座標ならびに直線Ｌ１近傍の各点の視差およびｘ座標を有する各画素の第２視差をゼロに補正する視差情報削除手段
（Ｃ５）視差情報削除手段により補正された後の第２視差および第１位置情報取得手段で得られた３次元座標の横座標を用いて、ステレオ画像における各画素を、第２視差および３次元座標の横座標が所定の間隔で区切られた複数のセルのうち各画素の第２視差および３次元座標の横座標が含まれるセルに振り分け、３次元座標の横座標をｘ軸とし、第２視差をｙ軸とし、各セルごとの画素の数（占用度）をｚ軸としたときの３次元分布において、各セルに含まれる画素の３次元座標の縦座標の最大値および平均値を各セルごとに算出する占用度情報取得手段
（Ｃ６）占用度情報取得手段で導出された３次元分布において、ｚ軸の値を平滑化および二値化し、ｚ軸の値が所定の閾値より高いセルの固まりのｘ軸方向の幅および面積と、固まりに含まれるセルの最高値および平均値とを用いて、検出対象物ごとに決められた所定ルールで固まりを物標候補として抽出し、そのｘｙ平面上の中心位置および幅を取得する第１物標取得手段
（Ｃ７）レーザレーダによって得られたレーダ情報を俯角αを利用して補正したのち、補正後のレーダ情報から第１視差とステレオカメラにおける３次元座標系の３次元座標とを取得する第２位置情報取得手段
（Ｃ８）第２位置情報取得手段で得られた３次元座標の横座標をｘ軸とし、第２位置情報取得手段で得られた第１視差をｙ軸としたときに、所定のルールで各物標候補のｘｙ平面上の中心位置および幅を取得する第２物標取得手段
（Ｃ９）第１物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅と、第２物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅とを対比して、第１物標取得手段で得られた各物標候補の存否を判定し、存在すると判定した各物標候補のステレオ画像上の位置および幅を、第１物標取得手段で得られたｘｙ平面上の中心位置および幅と、第２物標取得手段で得られたｘｙ平面上の中心位置および幅とを所定のルールで加重平均したのち加重平均により得られたｘｙ平面上の中心位置および幅をステレオ画像上の位置および幅に変換することにより取得し、さらに、存在すると判定した各物標候補の高さを、第１位置情報取得手段で得られた３次元座標の縦座標から取得する第３物標導出手段

本発明の第３の物標検出装置では、物標を検出するために、ステレオカメラの他にレーザレーダが用いられる。これにより、歩行者のようなミリ波レーダ信号が反射しにくい物標の検出や認識が可能となる。また、第２視差をｘ軸とし、ステレオ画像の縦座標をｙ軸とし、セルごとの画素の数をｚ軸としたときの３次元分布においてｚ軸の値を２値化処理することにより得られた直線Ｌ１上の各点の第２視差およびｘ座標ならびに直線Ｌ１近傍の各点の視差およびｘ座標を有する各画素の第２視差がゼロに補正される。これにより、路面視差が削除されるので、物標候補が背景画像である路面に紛れてしまい、物標候補の位置等に誤差が生じることをなくすることができる。また、直線Ｌ１と直線Ｌ２との交差点のｘ座標Ｖ_０と、ステレオカメラの焦点距離ｆとを用いて導出されたステレオカメラの俯角αを利用してレーダ情報が補正される。これにより、レーダ情報を、第１視差や、ステレオカメラにおける３次元座標系の３次元座標に変換する際に誤差が生じることをなくすることができる。また、第１物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅と、第２物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅とを対比して、占用度情報取得手段で得られた各物標候補の存否が判定される。ここで、ｘｙ平面における奥行き情報は視差で表されているので、遠方において誤差の発散が生じることがない。

本発明の第４の物標検出装置は、車両前方のレーダ情報を取得するレーザレーダと、車両前方の単一画像および被写体までの距離を取得する光飛行時間型距離センサと、レーザレーダで取得したレーダ情報および光飛行時間型距離センサで取得した単一画像および被写体までの距離を処理する制御部とを備えたものである。ここで、制御部は、以下に示した（Ｄ１）〜（Ｄ９）の各手段を有している。
（Ｄ１）光飛行時間型距離センサにおける３次元座標系の３次元座標を単一画像の画素ごとに取得する第１位置情報取得手段
（Ｄ２）単一画像における各画素を、単一画像および被写体までの距離から導出された第２視差および単一画像の縦座標が所定の間隔で区切られた複数のセルのうち各画素の第２視差および単一画像の縦座標が含まれるセルに振り分け、第２視差をｘ軸とし、単一画像の縦座標をｙ軸とし、セルごとの画素の数をｚ軸としたときの３次元分布においてｚ軸の値を２値化処理し、ｘｙ平面において第２視差がゼロとなる直線Ｌ２と交差する路面領域に相当する斜めの直線Ｌ１を検出する直線取得手段
（Ｄ３）直線Ｌ１と直線Ｌ２との交差点のｘ座標Ｖ_０を導出し、このｘ座標Ｖ_０と、光飛行時間型距離センサの焦点距離ｆとを用いて光飛行時間型距離センサの俯角αを導出する俯角情報取得手段
（Ｄ４）直線Ｌ１上の各点の第２視差およびｘ座標ならびに直線Ｌ１近傍の各点の視差およびｘ座標を有する各画素の第２視差をゼロに補正する視差情報削除手段
（Ｄ５）視差情報削除手段により補正された後の第２視差および第１位置情報取得手段で得られた３次元座標の横座標を用いて、単一画像における各画素を、第２視差および３次元座標の横座標が所定の間隔で区切られた複数のセルのうち各画素の第２視差および３次元座標の横座標が含まれるセルに振り分け、３次元座標の横座標をｘ軸とし、第２視差をｙ軸とし、各セルごとの画素の数（占用度）をｚ軸としたときの３次元分布において、各セルに含まれる画素の３次元座標の縦座標の最大値および平均値を各セルごとに算出する占用度情報取得手段
（Ｄ６）占用度情報取得手段で導出された３次元分布において、ｚ軸の値を平滑化および二値化し、ｚ軸の値が所定の閾値より高いセルの固まりのｘ軸方向の幅および面積と、固まりに含まれるセルの最高値および平均値とを用いて、検出対象物ごとに決められた所定ルールで固まりを物標候補として抽出し、そのｘｙ平面上の中心位置および幅を取得する第１物標取得手段
（Ｄ７）レーザレーダによって得られたレーダ情報を俯角αを利用して補正したのち、補正後のレーダ情報から第１視差と光飛行時間型距離センサにおける３次元座標系の３次元座標とを取得する第２位置情報取得手段
（Ｄ８）第２位置情報取得手段で得られた３次元座標の横座標をｘ軸とし、第２位置情報取得手段で得られた第１視差をｙ軸としたときに、所定のルールで各物標候補のｘｙ平面上の中心位置および幅を取得する第２物標取得手段
（Ｄ９）第１物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅と、第２物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅とを対比して、第１物標取得手段で得られた各物標候補の存否を判定し、存在すると判定した各物標候補の単一画像上の位置および幅を、第１物標取得手段で得られたｘｙ平面上の中心位置および幅と、第２物標取得手段で得られたｘｙ平面上の中心位置および幅とを所定のルールで加重平均したのち加重平均により得られたｘｙ平面上の中心位置および幅を単一画像上の位置および幅に変換することにより取得し、さらに、存在すると判定した各物標候補の高さを、第１位置情報取得手段で得られた３次元座標の縦座標から取得する第３物標導出手段

本発明の第４の物標検出装置では、物標を検出するために、光飛行時間型距離センサの他にレーザレーダが用いられる。これにより、歩行者のようなミリ波レーダ信号が反射しにくい物標の検出や認識が可能となる。また、第２視差をｘ軸とし、単一画像の縦座標をｙ軸としセルごとの画素の数をｚ軸としたときの３次元分布においてｚ軸の値を２値化することにより得られた直線Ｌ１上の各点の第２視差およびｘ座標ならびに直線Ｌ１近傍の各点の視差およびｘ座標を有する各画素の第２視差がゼロに補正される。これにより、路面視差が削除されるので、物標候補が背景画像である路面に紛れてしまい、物標候補の位置等に誤差が生じることをなくすることができる。また、直線Ｌ１と直線Ｌ２との交差点のｘ座標Ｖ_０と、光飛行時間型距離センサの焦点距離ｆとを用いて導出された光飛行時間型距離センサの俯角αを利用してレーダ情報が補正される。これにより、レーダ情報を、第１視差や、光飛行時間型距離センサにおける３次元座標系の３次元座標に変換する際に誤差が生じることをなくすることができる。また、第１物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅と、第２物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅とを対比して、高さ情報取得手段で得られた各物標候補の存否が判定される。ここで、ｘｙ平面における奥行き情報は視差で表されているので、遠方において誤差の発散が生じることがない。

本発明の第１の物標検出装置によれば、物標を検出するために、ステレオカメラの他にレーザレーダを用いて、車両や障害物だけでなく、歩行者のようなミリ波レーダ信号が反射しにくい物標の検出や認識をすることができるようにしたので、簡易な構成で、車両遠方に存在する車両、歩行者、障害物などの物標を検出することができる。また、相関性が高いと評価された場合には、新たに取得したステレオ画像から導出された第２視差において特定物標を削除するようにしたので、特定物標を、新たに取得したステレオ画像上の位置および幅ならびに高さを導出する対象から除外することが可能となる。これにより、特定物標を、位置等を導出する対象としている場合と比べて演算処理に要する時間を大幅に短縮することができるだけでなく、物標候補同士がステレオ画面上で互いに近接した場合であってもそれぞれの位置、幅、高さ、種類などを導出することができる。従って、本発明では、簡易な構成で、互いに近接する車両、歩行者、障害物などの物標同士を短時間で検出することができる。

本発明の第２の物標検出装置によれば、物標を検出するために、光飛行時間型距離センサの他にレーザレーダを用いて、車両や障害物だけでなく、歩行者のようなミリ波レーダ信号が反射しにくい物標の検出や認識をすることができるようにしたので、簡易な構成で、車両遠方に存在する車両、歩行者、障害物などの物標を検出することができる。また、相関性が高いと評価された場合には、新たに取得した単一画像および被写体までの距離から導出された第２視差において特定物標を削除するようにしたので、特定物標を、新たに取得した単一画像上の位置および幅ならびに高さを導出する対象から除外することが可能となる。これにより、特定物標を、位置等を導出する対象としている場合と比べて演算処理に要する時間を大幅に短縮することができるだけでなく、物標候補同士が単一画像上で互いに近接した場合であってもそれぞれの位置、幅、高さ、種類などを導出することができる。従って、本発明では、簡易な構成で、互いに近接する車両、歩行者、障害物などの物標同士を短時間で検出することができる。

本発明の第３の物標検出装置によれば、物標を検出するために、ステレオカメラの他にレーザレーダを用いて、車両や障害物だけでなく、歩行者のようなミリ波レーダ信号が反射しにくい物標の検出や認識をすることができるようにしたので、簡易な構成で、車両遠方に存在する車両、歩行者、障害物などの物標を検出することができる。また、第１物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅と、第２物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅とを対比して、高さ情報取得手段で得られた各物標候補の存否を判定するようにしたので、遠方において誤差の発散が生じることがない。従って、本発明では、簡易な構成で、車両遠方に存在する車両、歩行者、障害物などの物標を車両近傍の物標と同等の精度で検出することができる。

本発明の第４の物標検出装置によれば、物標を検出するために、光飛行時間型距離センサの他にレーザレーダを用いて、車両や障害物だけでなく、歩行者のようなミリ波レーダ信号が反射しにくい物標の検出や認識をすることができるようにしたので、簡易な構成で、車両遠方に存在する車両、歩行者、障害物などの物標を検出することができる。また、第１物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅と、第２物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅とを対比して、高さ情報取得手段で得られた各物標候補の存否を判定するようにしたので、遠方において誤差の発散が生じることがない。従って、本発明では、簡易な構成で、車両遠方に存在する車両、歩行者、障害物などの物標を車両近傍の物標と同等の精度で検出することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係るセンサフュージョン（物標検出装置）の概略構成を表したものである。このセンサフュージョンは、自動車やバイクなどの前方走行車や、歩行者、障害物などの物標を検出するシステムであり、例えば、自動車Ｃに搭載されるものである。

このセンサフュージョンは、レーザレーダ１、ステレオカメラ２、制御部３、記憶部４を備えている。

制御部３は、例えば、ＤＳＰ（Digital Signal Processor）などにより構成され、ダレーザレーダ１およびステレオカメラ２によって得られた情報を処理して自動車Ｃの前方の物標の位置や種類などを所定の演算により特定するようになっている。記憶部４は、例えば、ＲＡＭ（Random Access Memory）およびＨＤ（hard disk)からなり、記憶部４には、センサフュージョンを校正するためのプログラムや、物標を検出するためのプログラムなどが格納されており、制御部３で得られた演算結果（例えば後述の物標リストなど）などが随時格納される。

レーザレーダ１は、例えば自動車Ｃのバンパの中央部分などに取り付けられており、自動車Ｃの前方にレーザ光を放射すると共に、自動車Ｃの前方に放射したレーザ光の反射光を検出し、さらに、検出した反射光から自動車Ｃの前方に存在する物標の方位θ、距離ｄおよび相対速度ｖなどを計測するようになっている。

なお、一般に、レーザレーダは、ミリ波レーダに比べて高い検知能力を有しており、歩行者等の電波を反射しにくい物標についても測定可能である。また、視野角、分解能、追従性についても、一般に、レーザレーダの方がミリ波レーダよりも優れている。また、コストについても、一般に、レーザレーダの方がミリ波レーダよりも安価である。そこで、本実施の形態では、歩行者の検知と、コストとを重視してレーザレーダ１を用いる。

ステレオカメラ２は、右カメラ２１および左カメラ２２を備えている。右カメラ２１および左カメラ２２は、例えば、電荷結合素子（ＣＣＤ）からなり、例えば自動車Ｃのフロントガラスの内壁であって、互いに所定の間隔を隔てると共に、路面から同じ高さのところに取り付けられている。これにより、このステレオカメラ２は、自動車Ｃの前方を互いに異なる視点から撮影して、右カメラ２１で撮影された２次元画像と左カメラ２２で撮影された２次元画像とからなるステレオ画像を取得するようになっている。なお、右カメラ２１および左カメラ２２の光軸が互いに平行となっており、かつ各々の画像面が同一平面上にあることが好ましい。

次に、本実施の形態のセンサフュージョンにおける物標の検出方法について説明する。

図２は、記憶部４に格納されている、物標を検出するためのプログラムによって実行される各機能ブロックを表したものであり、図３は、図２に表された各機能のうち位置等取得手段１０に含まれる各機能ブロックを表したものである。

まず、図２、図３に表した各機能ブロックについて説明する前に、（１）ステレオカメラ２およびレーザレーダ１の３次元座標系と、（２）占有フュージョンマップ（ＯＦＭ：Occupancy Grid Map）と、（３）Ｕ−Ｄｉｓｐａｒｉｔｙ平面およびＶ−Ｄｉｓｐａｒｉｔｙ平面とについて説明する。

（ステレオカメラ２およびレーザレーダ１の３次元座標系）
例えば、自動車Ｃの前方の物標Ｔ上の微小領域が右カメラ２１の画面上の２次元座標（Ｘｒ，Ｙｒ）に投影されると共に、左カメラ２２の画面上の２次元座標（Ｘｌ，Ｙｌ）に投影されたとする。このとき、これらの２次元座標（Ｘｒ，Ｙｒ），（Ｘｌ，Ｙｌ）を、ステレオカメラ２の３次元座標系の３次元座標（Ｘ，Ｙ，Ｚ）に変換する際には次の式（１）〜（４）を用いる。

Ｘ＝（（Ｘｌ＋Ｘｒ）／２）×（Ｌ／ｄｃ）…（１）
Ｙ＝Ｙｌ×Ｌ／ｄｃ…（２）
Ｚ＝ｆ×Ｌ／ｄｃ…（３）
ｄｃ＝Ｘｌ−Ｘｒ…（４）

ここで、ｄｃ（＝Ｘｌ−Ｘｒ）が左右画像間のずれであり、両眼視差（または単に視差）という。Ｌはステレオカメラ２の基線長、すなわち、右カメラ２１および左カメラ２２のそれぞれの中心位置間の距離である。fはステレオカメラ２の焦点距離である。これらＬおよびｆは既知の値であるので、上の式（１）〜（４）により、左右画像上の投影座標から、上記微小領域の３次元座標（Ｘ，Ｙ，Ｚ）を求めることが出来る。また、ステレオカメラ２の３次元座標系の原点は、右カメラ２１および左カメラ２２のそれぞれの中心位置間の中点となっている。なお、式（３）から、奥行きＺｃについては視差がわかれば計算により求めることができる。このように，ステレオ画像の視差ｄｃから奥行きＺｃを求め、物標の３次元空間における位置を検出する方法をステレオ視という。

また、自動車Ｃの前方の物標Ｔ上の微小領域がレーザレーダ１によって捕らえられたとする。このとき、レーザレーダ１が受信したレーダ情報（θ，ｄｃ，ｖ）をレーダ座標系の３次元座標（Ｘｍ，Ｙｍ，Ｚｍ）へ変換する際には以下の式（５）〜（７）を用いる。

Ｘｍ＝ｄｃ×ｓｉｎθ…（５）
Ｙｍ＝ｄｃ×ｃｏｓθ×ｓｉｎξ…（６）
Ｚｍ＝ｄｃ×ｃｏｓθ…（７）

ここで、ξはレーザレーダ１の俯角である。なお、レーザレーダ１の３次元座標系の原点は、レーザレーダ１の中心位置となっている。

上記したように、レーザレーダ１およびステレオカメラ２のそれぞれの３次元座標系の原点は、これらレーザレーダ１およびステレオカメラ２の設置する場所の違いに起因して多少ずれている。しかし、そのずれを補正する変換行列Ｎを用いることにより、レーダ座標系の３次元座標（Ｘｍ，Ｙｍ，Ｚｍ）をステレオカメラ２の３次元座標系の３次元座標（Ｘ，Ｙ，Ｚ）へ変換することができる。このとき用いる式を以下に示す。

λ×［Ｘ，Ｙ，Ｚ］＝Ｎ［Ｘｍ，Ｙｍ，Ｚｍ］…（８）

ここで、λは斎次カメラ座標系用係数である。また、変換行列Ｎは、レーザレーダ１およびステレオカメラ２に対してキャリブレーションを行うことにより算出することができる。

（占有フュージョンマップ（ＯＦＭ））
ＯＦＭは、一般的には、物標表面の各点の３次元座標に基づいて測定点を水平平面に投影し、座標軸を等間隔で区切ることにより水平平面内内に形成される格子状に配置されたセル内に投影される測定点の数を累積することによって得られるものであり、このＯＦＭに対してクラスタリング処理を行うことにより物標を抽出することができる。

もっとも、従来、ＯＦＭを取得する際には、水平平面を投影用フュージョンマップとして用いていたため、セルに投影し加算する際に、ステレオ視の遠近誤差の相違に起因して遠方で発散したり、ステレオカメラ単独で物標の位置を計測した場合には遠方の障害物領域を特定しにくくなり、また、物標同士の領域がつながり易く物標同士を分割しにくいという問題があった。そこで、本実施の形態では、ＯＦＭを取得する際に、Ｕ−Ｄｉｓｐａｒｉｔｙ平面を投影用フュージョンマップとして用いる。

（Ｕ−Ｄｉｓｐａｒｉｔｙ平面およびＶ−Ｄｉｓｐａｒｉｔｙ平面）
このＸ−Ｄｉｓｐａｒｉｔｙ平面とは、横軸ｘをステレオカメラ２の３次元座標系の横座標とし、縦軸ｙを視差とするｘｙ平面のことである（図５（Ａ），（Ｂ）、図６（Ａ），（Ｂ）参照）。座標軸を等間隔で区切ることによりこのｘｙ平面内に形成される格子状に配置されたセルは、実世界では縦軸ｙ方向において不均等なサイズを持っている。そのため、自動車Ｃに近づくほど、解像度が大きくなり、実サイズが小さくなる。

上記Ｘ−Ｄｉｓｐａｒｉｔｙ平面の他に、Ｖ−Ｄｉｓｐａｒｉｔｙ平面というｘｙ平面もある。このＶ−Ｄｉｓｐａｒｉｔｙ平面とは、横軸ｘを視差とし、縦軸ｙをステレオカメラ２の３次元座標系の縦座標とするｘｙ平面のことである（図４（Ａ），（Ｂ）参照）。

これらＵ−Ｄｉｓｐａｒｉｔｙ平面およびＶ−Ｄｉｓｐａｒｉｔｙ平面上にステレオ画像から導出された視差画像を投影することにより、３次元分布を直線で表現できるため、３次元分布の解析が簡単になる。

次に、図２を参照して、物標の検出方法について説明する。

まず、制御部３は、レーザレーダ１からレーダ情報Ａ０を取得すると共に、ステレオカメラ２からステレオ画像Ｂ０を取得したのち、レーダ情報Ａ０から第１視差Ｃ０を導出すると共に、ステレオ画像Ｂ０から第２視差Ｄ０を導出する。

次に、位置等取得手段１０において、レーダ情報Ａ０と、ステレオ画像Ｂ０と、第１視差Ｃ０と、第２視差Ｄ０または後述の視差修正手段８０で修正された後の第２視差Ｅ０とから各物標候補Ｔのステレオ画像Ｂ０上の位置Ｆ０および幅Ｇ０ならびに高さＨ０を導出すると共に、ステレオカメラ２における３次元座標系の３次元座標Ｊ０とをステレオ画像Ｂ０の画素ごとに導出する。

次に、位置等修正手段２０において、位置等取得手段１０で導出された各物標候補Ｔのステレオ画像Ｂ０上の位置Ｆ０および幅Ｇ０ならびに高さＨ０を利用して各物標候補領域の２次元画像Ｋ０をステレオ画像Ｂ０から切り出すと共に、切り出した２次元画像Ｋ０から導出される視差を第２視差Ｄ０から切り出す。

次に、切り出した２次元画像Ｂ０のうち、第２視差Ｄ０のうち当該切り出した２次元画像Ｂ０から導出された視差と第１視差Ａ０のうち当該切り出した２次元画像Ｂ０に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる部分の第１部分画像Ｎ０を用いて、位置等取得手段１０で導出された各物標候補Ｔのステレオ画像Ｂ０上の位置Ｆ０および幅Ｇ０ならびに高さＨ０を修正して、新たな位置Ｆ１および幅Ｇ１ならびに高さＨ１を取得する。

次に、種類判別手段３０において、位置等修正手段２０で切り出された２次元画像Ｋ０または第１部分画像Ｎ０を用いて各物標候補Ｔの種類Ｐ０を判別する。

例えば、物標候補Ｔが歩行者であるか否かを判定する初期判定として、例えばモデルマッチングを行う。例えば、典型的な歩行者の輪郭およびその対称輪郭のセットを複数種類用意し、さらに各セットの遠近中の輪郭のセットも用意し、これらを用いてエッジベースのモデルマッチングを行うことで初期判定を行う。その結果、マッチング率が高かった物標候補Ｔについては、物標追跡手段６０にまわし、マッチング率があまり高くなかった物標候補Ｔについては、次の詳細判定にまわし、マッチング率が低かった物標候補Ｔについては、削除する。なお、初期判定において、第１部分画像Ｎ０を用いた場合には、背景による影響をなくすることができるので、その分だけマッチング率を向上させることができる。

詳細判定では、例えば、２次元画像Ｋ０または第１部分画像Ｎ０の各ピクセルのエッジの大きさと方向を用いて識別を行う。具体的には、それぞれのエッジにおける歩行者である確率と非歩行者である確率を用いて、画像全体での歩行者である確率と非歩行者である確率を算出し、その比率により歩行者の識別を行うことが可能である。

次に、物標リスト登録手段４０において、種類判別手段３０で種類が判別された各物標候補Ｔのステレオ画像Ｂ０上の位置Ｆ１および幅Ｇ１と、高さＨ１と、種類Ｐ０と、物標候補領域の２次元画像Ｋ０と、ステレオカメラ２における３次元座標系の３次元座標Ｍ０とを物標リスト５０に登録する。

次に、物標追跡手段６０において、新たに取得したステレオ画像Ｂ１内に存在していると予想される各物標候補Ｔの予想位置を含む領域の２次元画像を、物標リスト５０に記録されている各物標候補Ｔのステレオ画像Ｂ０上の位置Ｆ２および幅Ｇ２と、高さＨ２と、種類Ｐ２と、ステレオカメラ２における３次元座標系の３次元座標Ｍ２とに基づいて、新たに取得したステレオ画像Ｂ１から切り出し、切り出した２次元画像に含まれていると予想される各物標候補Ｔと、物標リスト５０に記録されている各物標候補Ｔとの相関性を所定の方法により評価する。

ここで、上記予想位置を、例えば、過去に取得された複数のステレオ画像における各物標候補Ｔの位置から得られる速度ベクトルを用いて導出することが可能である。また、相関性については、例えば、物標リスト５０に含まれる各物標候補Ｔの２次元画像を正規化してグレースケールモデルに変換し、このグレースケールモデルと、物標追跡手段６０から導出される各物標候補Ｔの予想位置を中心とする所定のサイズの２次元画像との相関スコアを求め、この相関スコアの大きさに応じて評価することが可能である。

そして、評価の結果、双方の相関性が極めて高いと評価した場合には、相関性の高い物標候補Ｔ（特定物標Ｔ１）の予想位置を含む領域の２次元画像のうち、当該予想位置を含む領域の２次元画像から導出される視差と、新たに取得したレーダ情報Ａ１から導出された第１視差Ｃ１のうち当該予想位置を含む領域の２次元画像に対応する領域内の物標候補Ｔの視差とを対比して双方が互いに同一またはほぼ同一となる視差に対応する第２部分画像を用いて、特定物標Ｔ１の位置Ｆ２および幅Ｇ２ならびに高さＨ２を、新たに取得したステレオ画像Ｂ１上の位置Ｆ３および幅Ｇ３ならびに高さＨ３に修正する。さらに、特定物標Ｔ１のステレオカメラ２における３次元座標系の３次元座標Ｍ３を取得し、修正により得られた特定物標Ｔ１の新たに取得したステレオ画像Ｂ１上の位置Ｆ３および幅Ｇ３ならびに高さＨ３を利用して、特定物標Ｔ１の物標候補領域の２次元画像Ｋ３を、新たに取得したステレオ画像Ｂ１から切り出す。

また、評価の結果、双方の相関性が極めて高いとは言えないものの比較的高いと評価した場合には、相関性の比較的高い物標候補Ｔ（準特定物標Ｔ２）の新たに取得したステレオ画像Ｂ１上の位置Ｆ４および幅Ｇ４ならびに高さＨ４と、物標候補領域の２次元画像Ｋ４と、ステレオカメラ２における３次元座標系の３次元座標Ｍ４とを、前記特定物標に対する上記処理と同様の処理を行うことにより取得したのち、取得した準特定物標Ｔ２の物標候補領域の２次元画像Ｋ４を用いて準特定物標Ｔ２の種類Ｐ４を判別する。

次に、物標リスト登録手段４０において、上記物標追跡手段６０で種類が判別された各物標候補Ｔ（順特定物標Ｔ２）のステレオ画像Ｂ１上の位置Ｆ４および幅Ｇ４と、高さＨ４と、種類Ｐ４と、物標候補領域の２次元画像Ｋ４と、ステレオカメラ２における３次元座標系の３次元座標Ｍ４とを物標リスト５０に登録する。

なお、物標リスト５０に含まれる物標のうち物標追跡手段６０において相関性が高い対応領域が見つからない物標が所定の条件を満たしたときには、当該物標を物標リスト５０から削除することが好ましい。

次に、物標リスト更新手段７０は、物標リスト５０において、物標追跡手段６０で導出された特定物標Ｔ１のステレオ画像Ｂ１上の位置Ｆ３および幅Ｇ３と、高さＨ３と、物標候補領域の２次元画像Ｋ３と、ステレオカメラ２における３次元座標系の３次元座標Ｍ３とを更新する。

次に、視差修正手段８０において、新たに取得したステレオ画像Ｂ１から導出された第２視差Ｄ１のうち、物標追跡手段６０で切り出された特定物標Ｔ１の物標候補領域の２次元画像Ｋ３から導出される視差と、新たに取得したレーダ情報Ａ１から導出された第１視差Ｃ１のうち物標追跡手段６０で切り出された特定物標Ｔ１の物標候補領域の２次元画像Ｋ３に対応する領域内の物標候補Ｔの視差とを対比して双方が互いに同一またはほぼ同一となる視差をゼロに変更する。

このとき、新たに取得したステレオ画像Ｂ１から導出された第２視差Ｄ１のうち、物標追跡手段６０で切り出された準特定物標Ｔ２の物標候補領域の２次元画像Ｋ４から導出される視差と、新たに取得したレーダ情報Ａ１から導出された第１視差Ｃ１のうち物標追跡手段６０で切り出された準特定物標Ｔ２の物標候補領域の２次元画像Ｋ４に対応する領域内の物標候補Ｔの視差とを対比して双方が互いに同一またはほぼ同一となる視差をゼロに変更してもよい。

次に、図３を参照して、図２の位置等取得手段１０の詳細について説明する。

まず、第１位置情報取得手段１１０において、ステレオカメラ２における３次元座標系の３次元座標ｍ０をステレオ画像Ｂ０の画素ごとに取得する。

次に、直線取得手段１１１において、ステレオ画像Ｂ０における各画素を、ステレオ画像Ｂ０から導出された第２視差Ｄ０または後述の視差修正手段８０で修正された後の第２視差Ｅ０およびステレオ画像Ｂ０の縦座標が所定の間隔で区切られた複数のセルのうち各画素の第２視差Ｄ０，Ｅ０およびステレオ画像Ｂ０の縦座標が含まれるセルに振り分ける。

続いて、第２視差をｘ軸とし、ステレオ画像Ｂ０の縦座標をｙ軸とし、セルごとの画素の数をｚ軸としたときの３次元分布（図４（Ａ）参照）においてｚ軸の値を２値化処理し、ｘｙ平面において第２視差Ｄ０，Ｅ０がゼロとなる直線Ｌ２（ｙ軸）と交差する路面領域に相当する斜めの直線Ｌ１を検出する。

次に、俯角情報取得手段１１２において、直線Ｌ１と直線Ｌ２（ｙ軸）との交差点のｘ座標Ｖ_０を導出し（図４（Ｂ）参照）、このｘ座標Ｖ_０と、ステレオカメラの焦点距離ｆとを用いて前記ステレオカメラの俯角αを導出する。

次に、視差情報削除手段１１３において、直線Ｌ１上の各点の第２視差Ｄ０，Ｅ０およびｘ座標ならびに直線Ｌ１近傍の各点の視差Ｄ０，Ｅ０およびｘ座標を有する各画素の第２視差をゼロに補正する。

次に、占用度情報取得手段１１４において、視差情報削除手段１１３により補正された後の第２視差Ｑ０および第１位置情報取得手段１１０で得られた３次元座標の横座標ｍ１を用いて、ステレオ画像Ｂ０における各画素を、第２視差Ｑ０および３次元座標の横座標ｍ１が所定の間隔で区切られた複数のセルのうち各画素の第２視差Ｑ０および３次元座標の横座標ｍ１が含まれるセルに振り分ける。続いて、３次元座標の横座標ｍ１をｘ軸とし、第２視差Ｑ０をｙ軸とし、各セルごとの画素の数（占用度）をｚ軸としたときの３次元分布Ｒ０において、各セルに含まれる画素の３次元座標の縦座標ｍ１の最大値Ｓ０および平均値Ｓ１を各セルごとに算出する。

次に、第１物標取得手段１１５において、占用度情報取得手段１１４で導出された３次元分布Ｒ０において、ｚ軸の値を平滑化および二値化し、ｚ軸の値が所定の閾値より高いセルの固まりのｘ軸方向の幅および面積と、上記固まりに含まれるセルの最高値Ｓ０および平均値Ｓ１とを用いて、検出対象物ごとに決められた所定ルールで上記固まりを物標候補Ｔとして抽出し、そのｘｙ平面上の中心位置Ｕ０および幅Ｕ１を取得する（図５（Ａ），（Ｂ）参照）。

ここで、第１物標取得手段１１５において、例えば、上記所定の閾値の初期値として経験値を使用し、各物標候補Ｔの認識後に得られた占用度の大きさに応じた値を随時使用することが可能である。

次に、第２位置情報取得手段１１６において、レーザレーダ１によって得られたレーダ情報Ａ０を俯角αを利用して補正したのち、補正後のレーダ情報Ａ１から第１視差Ｃ０とステレオカメラ２における３次元座標系の３次元座標Ｖ０とを取得する。

次に、第２物標取得手段１１７において、第２位置情報取得手段１１６で得られた３次元座標Ｖ０の横座標をｘ軸とし、第２位置情報取得手段１１６で得られた第１視差Ｃ０をｙ軸としたときに、所定のルールで各物標候補Ｔのｘｙ平面上の中心位置Ｕ２および幅Ｕ３を取得する（図６（Ａ），（Ｂ）参照）。

次に、第３物標導出手段１１８において、第１物標取得手段１１５で得られた各物標候補Ｔのｘｙ平面上の中心位置Ｕ０および幅Ｕ１と、第２物標取得手段１１７で得られた各物標候補Ｔのｘｙ平面上の中心位置Ｕ２および幅Ｕ３とを対比して、第１物標取得手段１１５で得られた各物標候補Ｔの存否を判定する。その結果、存在すると判定した各物標候補Ｔのステレオ画像Ｂ０上の位置Ｆ０および幅Ｇ０を、第１物標取得手段１１５で得られたｘｙ平面上の中心位置Ｕ０および幅Ｕ１と、第２物標取得手段１１７で得られたｘｙ平面上の中心位置Ｕ２および幅Ｕ３とを所定のルールで加重平均したのち加重平均により得られたｘｙ平面上の中心位置および幅をステレオ画像Ｂ０上の位置および幅に変換することにより取得する。さらに、存在すると判定した各物標候補Ｔの高さＨ０を、第１位置情報取得手段１１０で得られた３次元座標の縦座標ｍ２から取得する。

なお、第３物標導出手段１１８において、レーザレーダ１およびステレオカメラ２の、第１物標取得手段１１０のｘｙ平面におけるそれぞれの計測分解能に応じて加重平均のルールを決めることが可能である。

また、第３物標導出手段１１８において、レーダゴーストを検出するようにしてもよい。具体的には、第２物標取得手段１１６で取得された各物標候補Ｔのうち存在すると判定した物標候補Ｔを除いた残留物標候補のステレオ画像Ｂ０上の位置および幅と、あらかじめ規定された高さＨ０とを利用して、ステレオ画像Ｂ０から残留物標候補の２次元画像を切り出す。続いて、切り出した２次元画像のうち、第２視差Ｄ０のうち当該切り出した２次元画像から導出された視差と第１視差Ｃ０のうち当該切り出した２次元画像に対応する領域内の物標候補Ｔの視差とを対比して双方が互いに同一またはほぼ同一となる部分の画素数が所定の閾値より小さい場合には、その残留物標候補が存在すると判定する。そして、存在すると判定した残留物標候補のステレオ画像Ｂ０上の位置Ｆ０および幅Ｇ０を、第２物標取得手段１１７で得られたｘｙ平面上の中心位置Ｕ２および幅Ｕ３をステレオ画像Ｂ０上の位置および幅に変換することにより取得する。

本実施の形態のセンサフュージョンでは、物標を検出するために、ステレオカメラ２の他にレーザレーダ１が用いられる。これにより、歩行者のようなミリ波レーダ信号が反射しにくい物標の検出や認識が可能となるので、簡易な構成で、車両遠方に存在する車両、歩行者、障害物などの物標を検出することができる。また、上記した第１部分画像を用いて、特定物標Ｔ１の位置Ｆ２および幅Ｇ２ならびに高さＨ２が、新たに取得したステレオ画像Ｂ１上の位置Ｆ３および幅Ｇ３ならびに高さＨ３に修正される。ここで、第１部分画像は物標候補領域の２次元画像から背景画像が除去されたものに相当することから、物標候補Ｔが背景画像に紛れてしまい、物標候補Ｔの位置等に誤差が生じることをなくすることができる。

また、本実施の形態では、各物標候補Ｔの経時変化を追跡する際に、物標候補Ｔの位置および幅と、高さと、ステレオカメラ２における３次元座標系の３次元座標とを用いるだけでなく、物標候補の種類も用いているので、物標の検出や認識を高精度に行うことができる。

また、本実施の形態では、相関性が高いと評価された場合には、新たに取得したステレオ画像から導出された第２視差のうち、物標追跡手段で切り出された特定物標の物標候補領域の２次元画像から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち物標追跡手段で切り出された特定物標の物標候補領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差がゼロに変更される。例えば、図７（Ａ）から図７（Ｂ）のように変更される。これにより、新たに取得したステレオ画像から導出された第２視差において特定物標が削除され、その部分が背景となるので、特定物標を、新たに取得したステレオ画像上の位置および幅ならびに高さを導出する対象から除外することが可能となる。これにより、特定物標を、位置等を導出する対象としている場合と比べて演算処理に要する時間を大幅に短縮することができるだけでなく、物標候補同士がステレオ画面上で互いに近接した場合であってもそれぞれの位置、幅、高さ、種類などを導出することができる。

従って、本実施の形態では、簡易な構成で、互いに近接する車両、歩行者、障害物などの物標同士を短時間で検出することができる。

［変形例］
上記実施の形態では、ステレオカメラ２を用いていたが、その代わりに、例えば、車両前方の単一画像および被写体までの距離を取得する光飛行時間型距離センサを用いることも可能である。ただし、この場合には、上記実施の形態において、「ステレオ画像」を「単一画像」に読み替えることが必要となる。また、上記実施の形態において「ステレオ画像から切り出した２次元画像から導出される視差」は、単一画像から切り出した２次元画像およびこれに対応する被写体までの距離から導出することが可能である。

［実施例］
上記実施の形態およびその変形例に係るセンサフュージョンによる物標検出の有効性を検証するために、シミュレーション環境（障害物の少ない駐車場）での歩行者検知を行った。対象歩行者は、表１に示したような動作を行った。また、センサを車載した車両を停止した状態での撮影、低速走行状態での撮影の違いを含めた計１０シーンを対象とした。また、表２に示したように、実道路環境に存在する様々な歩行者を対象として実験を行った。市街地を走行しながら撮影したシーンから、信号、細道、歩道上等の歩行者の計１０シーンを選出し、評価シーンとした。

シミュレーション環境での実験結果を表３、表４に示した。シミュレーション環境では、周辺の偽障害物が少ないため、高い検出率および認識率を得ることができた。

また、実道路環境での実験結果を表５、表６に示した。路上実験のＲＯＩ平均検出率は８５．１９％で、認識率は７２．０９％となった。原画像、視差画像の精度が低下した場合に、シミュレーション環境の場合よりも認識率が低下する。日光、影の関係から輝度値が上下どちらかに大きく変動している場合は、画像自体が悪化してしまうので、ステレオカメラにおける対象物のテクスチャー消失により視差が計測されない場合や、ノイズを多く含んだ視差画像になる場合がある。これらのシーンでは視差画像の精度低下が、直接、認識率低下へつながっている。この問題を解決するためには、カメラ撮影による画像取得後，視差計算の前処理として輝度値の自動計測とその結果による自動補正を行う必要がある。もしくは、それらの演算による負荷を避けるために、自動輝度調整機能を備えるカメラを使用するという解決手段も考えられる。

また，レーダの横方向の動作に対する応答性遅れも路上環境における認識率低下の要因の1つである。レーダの検出点が歩行者などの対象物からずれることにより，ＲＯＩの領域を正確に取ることができず、歩行者の認識を行えない場合がある。検出点のずれは、検出点が実際よりも遅れることで発生するので、レーダの検出点の軌跡を調べることにより実際の位置の予測を行い、視差画像を用いてレーダの距離に相当する粒子の位置を見つけることによりＲＯＩ領域の補正が行えると考えられる。

図８は、シミュレーション実験における処理速度の分布図を示し、図９は、実道路環境における処理速度の分布図を示した。これらの図の横軸の単位は１０ミリ秒である。シミュレーション実験では平均１７５ミリ秒/フレームの処理速度に達成したが、対象物候補の数が少ないので、ＯＦＭ構築、ＲＯＩ検出個数および識別用ＲＯＩ数が少ないためと思われる。一方、実道路環境では障害物候補が多いので、ＲＯＩ検出やターゲットマッチングなどに時間がかかり、１フレームの平均処理時間が２６５ミリ秒となった。

以上、実施の形態および実施例を挙げて本発明を説明したが、本発明は、これらに限定されるものではなく、種々の変形が可能である。

本発明の一実施の形態に係るセンサフュージョンの概略構成図である。 図１のセンサフュージョンにおける物標の検出方法について説明するための機能ブロック図である。 図２の位置等取得手段内の機能ブロック図である。 Ｖ−Ｄｉｓｐａｒｉｔｙ平面について説明するための概念図である。 ステレオカメラ座標系におけるＵ−Ｄｉｓｐａｒｉｔｙ平面について説明するための概念図である。 レーザレーダ座標系におけるＵ−Ｄｉｓｐａｒｉｔｙ平面について説明するための概念図である。 第２視差から物標候補を削除する様子を模式的に表した模式図である。 シミュレーション実験における処理速度の分布図である。 実道路環境における処理速度の分布図である。

符号の説明

１…レーザレーダ、２…ステレオカメラ、２１…右カメラ、２２…左カメラ、３…制御部、４…記憶部。

Claims (26)

1. 車両前方のレーダ情報を取得するレーザレーダと、
   車両前方のステレオ画像を取得するステレオカメラと、
   前記レーザレーダで取得したレーダ情報および前記ステレオカメラで取得したステレオ画像を処理する制御部と
   を備え、
   前記制御部は、位置等取得手段と、位置等修正手段と、種類判別手段と、物標リスト登録手段と、物標追跡手段と、物標リスト更新手段と、視差修正手段とを有し、
   前記位置等取得手段は、前記レーダ情報と、前記ステレオ画像と、前記レーダ情報から導出された第１視差と、前記ステレオ画像から導出された第２視差または前記視差修正手段で修正された後の第２視差とから各物標候補の前記ステレオ画像上の位置および幅ならびに高さを導出すると共に、前記ステレオカメラにおける３次元座標系の３次元座標とを前記ステレオ画像の画素ごとに導出し、
   前記位置等修正手段は、前記位置等取得手段で導出された各物標候補の前記ステレオ画像上の位置および幅ならびに高さを利用して各物標候補領域の２次元画像を前記ステレオ画像から切り出すと共に、切り出した２次元画像から導出される視差を前記第２視差から切り出したのち、前記切り出した２次元画像のうち、前記第２視差のうち当該切り出した２次元画像から導出された視差と前記第１視差のうち当該切り出した２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる部分の第１部分画像を用いて、前記位置等取得手段で導出された各物標候補の前記ステレオ画像上の位置および幅ならびに高さを修正し、
   前記種類判別手段は、前記位置等修正手段で切り出された２次元画像または前記第１部分画像を用いて各物標候補の種類を判別し、
   前記物標リスト登録手段は、前記種類判別手段および前記物標追跡手段で種類が判別された各物標候補の前記ステレオ画像上の位置および幅と、高さと、種類と、物標候補領域の２次元画像と、前記ステレオカメラにおける３次元座標系の３次元座標とを物標リストに登録し、
   前記物標追跡手段は、新たに取得したステレオ画像内に存在していると予想される各物標候補の予想位置を含む領域の２次元画像を、前記物標リストに記録されている各物標候補の前記ステレオ画像上の位置および幅と、高さと、種類と、前記ステレオカメラにおける３次元座標系の３次元座標とに基づいて、前記新たに取得したステレオ画像から切り出し、切り出した２次元画像に含まれていると予想される各物標候補と、前記物標リストに記録されている各物標候補との相関性を所定の方法により評価し、その結果、双方の相関性が極めて高いと評価した場合には、相関性の高い物標候補（特定物標）の予想位置を含む領域の２次元画像のうち、当該予想位置を含む領域の２次元画像から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち当該予想位置を含む領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差に対応する第２部分画像を用いて前記特定物標の前記新たに取得したステレオ画像上の位置および幅ならびに高さを修正すると共に、前記特定物標の前記ステレオカメラにおける３次元座標系の３次元座標を取得し、修正により得られた前記特定物標の前記新たに取得したステレオ画像上の位置および幅ならびに高さを利用して前記特定物標の物標候補領域の２次元画像を前記新たに取得したステレオ画像から切り出し、また、双方の相関性が極めて高いとは言えないものの比較的高いと評価した場合には、相関性の比較的高い物標候補（準特定物標）の前記新たに取得したステレオ画像上の位置および幅ならびに高さと、物標候補領域の２次元画像と、前記ステレオカメラにおける３次元座標系の３次元座標とを、前記特定物標に対する上記処理と同様の処理を行うことにより取得したのち、取得した前記準特定物標の物標候補領域の２次元画像を用いて前記準特定物標の種類を判別し、
   前記物標リスト更新手段は、前記物標リストにおいて、前記物標追跡手段で導出された前記特定物標の前記ステレオ画像上の位置および幅と、高さと、物標候補領域の２次元画像と、前記ステレオカメラにおける３次元座標系の３次元座標とを更新し、
   前記視差修正手段は、前記新たに取得したステレオ画像から導出された第２視差のうち、前記物標追跡手段で切り出された前記特定物標の物標候補領域の２次元画像から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち前記物標追跡手段で切り出された前記特定物標の物標候補領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差をゼロに変更する
   ことを特徴とする物標検知装置。
2. 前記視差修正手段は、前記新たに取得したステレオ画像から導出された第２視差のうち、前記物標追跡手段で切り出された前記準特定物標の物標候補領域の２次元画像から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち前記物標追跡手段で切り出された前記準特定物標の物標候補領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差をゼロに変更する
   ことを特徴とする請求項１に記載の物標検知装置。
3. 前記物標リスト更新手段は、前記物標リストに含まれる物標のうち前記物標追跡手段において相関性が高い対応領域が見つからない物標が所定の条件を満たしたときには、当該物標を前記物標リストから削除する
   ことを特徴とする請求項１に記載の物標検知装置。
4. 前記物標追跡手段は、過去に取得された複数のステレオ画像における各物標候補の位置から得られる速度ベクトルを用いて前記予想位置を導出する
   ことを特徴とする請求項１に記載の物標検出装置。
5. 前記物標追跡手段は、前記物標リストに含まれる各物標の２次元画像を正規化してグレースケールモデルに変換し、このグレースケールモデルと、前記物標追跡手段から導出される各物標候補の予想位置を中心とする所定のサイズの２次元画像との相関スコアを求め、この相関スコアの大きさに応じて相関性を評価する
   ことを特徴とする請求項１に記載の物標検出装置。
6. 前記位置等取得手段は、第１位置情報取得手段と、直線取得手段と、俯角情報取得手段と、視差情報削除手段と、占用度情報取得手段と、第１物標取得手段と、第２位置情報取得手段と、第２物標取得手段と、第３物標取得手段とを有し、
   前記第１位置情報取得手段は、前記ステレオカメラにおける３次元座標系の３次元座標をステレオ画像の画素ごとに取得し、
   前記直線取得手段は、前記ステレオ画像における各画素を、前記視差修正手段で修正された後の第２視差および前記ステレオ画像の縦座標が所定の間隔で区切られた複数のセルのうち前記各画素の第２視差および前記ステレオ画像の縦座標が含まれるセルに振り分け、前記第２視差をｘ軸とし、前記ステレオ画像の縦座標をｙ軸とし、前記セルごとの画素の数をｚ軸としたときの３次元分布においてｚ軸の値を２値化処理し、ｘｙ平面において前記第２視差がゼロとなる直線Ｌ２と交差する路面領域に相当する斜めの直線Ｌ１を検出し、
   前記俯角情報取得手段は、前記直線Ｌ１と前記直線Ｌ２との交差点のｘ座標Ｖ_０を導出し、このｘ座標Ｖ_０と、前記ステレオカメラの焦点距離ｆとを用いて前記ステレオカメラの俯角αを導出し、
   前記視差情報削除手段は、前記直線Ｌ１上の各点の第２視差およびｘ座標ならびに前記直線Ｌ１近傍の各点の視差およびｘ座標を有する各画素の第２視差をゼロに補正し、
   前記占用度情報取得手段は、前記視差情報削除手段により補正された後の第２視差および前記第１位置情報取得手段で得られた３次元座標の横座標を用いて、前記ステレオ画像における各画素を、第２視差および前記３次元座標の横座標が所定の間隔で区切られた複数のセルのうち前記各画素の第２視差および前記３次元座標の横座標が含まれるセルに振り分け、前記３次元座標の横座標をｘ軸とし、第２視差をｙ軸とし、前記各セルごとの画素の数（占用度）をｚ軸としたときの３次元分布において、各セルに含まれる画素の前記３次元座標の縦座標の最大値および平均値を各セルごとに算出し、
   前記第１物標取得手段は、前記占用度情報取得手段で導出された３次元分布において、ｚ軸の値を平滑化および二値化し、ｚ軸の値が所定の閾値より高いセルの固まりのｘ軸方向の幅および面積と、前記固まりに含まれるセルの前記最高値および前記平均値とを用いて、検出対象物ごとに決められた所定ルールで前記固まりを物標候補として抽出し、そのｘｙ平面上の中心位置および幅を取得し、
   前記第２位置情報取得手段は、前記レーザレーダによって得られたレーダ情報を前記俯角αを利用して補正したのち、補正後のレーダ情報から第１視差と前記ステレオカメラにおける３次元座標系の３次元座標とを取得し、
   前記第２物標取得手段は、前記第２位置情報取得手段で得られた３次元座標の横座標をｘ軸とし、前記第２位置情報取得手段で得られた第１視差をｙ軸としたときに、所定のルールで各物標候補のｘｙ平面上の中心位置および幅を取得し、
   前記第３物標導出手段は、前記第１物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅と、前記第２物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅とを対比して、前記第１物標取得手段で得られた各物標候補の存否を判定し、存在すると判定した各物標候補の前記ステレオ画像上の位置および幅を、前記第１物標取得手段で得られたｘｙ平面上の中心位置および幅と、前記第２物標取得手段で得られたｘｙ平面上の中心位置および幅とを所定のルールで加重平均したのち加重平均により得られたｘｙ平面上の中心位置および幅を前記ステレオ画像上の位置および幅に変換することにより取得し、さらに、存在すると判定した各物標候補の高さを、前記第１位置情報取得手段で得られた３次元座標の縦座標から取得する
   ことを特徴とする請求項１に記載の物標検出装置。
7. 前記第１物標取得手段は、前記所定の閾値の初期値として経験値を使用し、前記各物標候補の認識後に得られた占用度の大きさに応じた値を随時使用する
   ことを特徴とする請求項６に記載の物標検出装置。
8. 前記第３物標導出手段は、前記レーザレーダおよび前記ステレオカメラの、前記第１物標取得手段のｘｙ平面におけるそれぞれの計測分解能に応じて加重平均のルールを決める
   ことを特徴とする請求項６に記載の物標検出装置。
9. 前記第３物標導出手段は、前記第２物標取得手段で取得された各物標候補のうち存在すると判定した物標候補を除いた残留物標候補の前記ステレオ画像上の位置および幅と、あらかじめ規定された高さとを利用して、前記ステレオ画像から前記残留物標候補の２次元画像を切り出し、切り出した２次元画像のうち、前記第２視差のうち当該切り出した２次元画像から導出された視差と前記第１視差のうち当該切り出した２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる部分の画素数が所定の閾値より小さい場合には、その残留物標候補が存在すると判定し、存在すると判定した残留物標候補の前記ステレオ画像上の位置および幅を、前記第２物標取得手段で得られたｘｙ平面上の中心位置および幅を前記ステレオ画像上の位置および幅に変換することにより取得する
   ことを特徴とする請求項６に記載の物標検出装置。
10. 車両前方のレーダ情報を取得するレーザレーダと、
    車両前方の単一画像および被写体までの距離を取得する光飛行時間型距離センサと、
    前記レーザレーダで取得したレーダ情報および前記光飛行時間型距離センサで取得した単一画像および被写体までの距離を処理する制御部と
    を備え、
    前記制御部は、位置等取得手段と、位置等修正手段と、種類判別手段と、物標リスト登録手段と、物標追跡手段と、物標リスト更新手段と、視差修正手段とを有し、
    前記位置等取得手段は、前記レーダ情報と、前記単一画像と、前記レーダ情報から導出された第１視差と、前記単一画像および被写体までの距離から導出された第２視差または前記視差修正手段でされた後の第２視差とから各物標候補の前記単一画像上の位置および幅ならびに高さを導出すると共に、前記光飛行時間型距離センサにおける３次元座標系の３次元座標とを前記単一画像の画素ごとに導出し、
    前記位置等修正手段は、前記位置等取得手段で導出された各物標候補の前記単一画像上の位置および幅ならびに高さを利用して各物標候補領域の２次元画像を前記単一画像から切り出すと共に、切り出した２次元画像およびこれに対応する被写体までの距離から導出される視差を前記第２視差から切り出したのち、前記切り出した２次元画像のうち、前記第２視差のうち当該切り出した２次元画像およびこれに対応する被写体までの距離から導出された視差と前記第１視差のうち当該切り出した２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる部分の第１部分画像を用いて、前記位置等取得手段で導出された各物標候補の前記単一画像上の位置および幅ならびに高さを修正し、
    前記種類判別手段は、前記位置等修正手段で切り出された２次元画像または前記第１部分画像を用いて各物標候補の種類を判別し、
    前記物標リスト登録手段は、前記種類判別手段および前記物標追跡手段で種類が判別された各物標候補の前記単一画像上の位置および幅と、高さと、種類と、物標候補領域の２次元画像と、前記光飛行時間型距離センサにおける３次元座標系の３次元座標とを物標リストに登録し、
    前記物標追跡手段は、新たに取得した単一画像内に存在していると予想される各物標候補の予想位置を含む領域の２次元画像を、前記物標リストに記録されている各物標候補の前記ステレオ画像上の位置および幅と、高さと、種類と、前記ステレオカメラにおける３次元座標系の３次元座標とに基づいて、前記新たに取得した単一画像から切り出し、切り出した２次元画像に含まれていると予想される各物標候補と、前記物標リストに記録されている各物標候補との相関性を所定の方法により評価し、その結果、双方の相関性が極めて高いと評価した場合には、相関性の高い物標候補（特定物標）の予想位置を含む領域の２次元画像のうち、当該予想位置を含む領域の２次元画像およびこれに対応する被写体までの距離から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち当該予想位置を含む領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差に対応する第２部分画像を用いて前記特定物標の前記新たに取得した単一画像上の位置および幅ならびに高さを修正すると共に、前記特定物標の前記光飛行時間型距離センサにおける３次元座標系の３次元座標を取得し、修正により得られた前記特定物標の前記新たに取得した単一画像上の位置および幅ならびに高さを利用して前記特定物標の物標候補領域の２次元画像を前記新たに取得した単一画像から切り出し、また、双方の相関性が極めて高いとは言えないものの比較的高いと評価した場合には、相関性の比較的高い物標候補（準特定物標）の前記新たに取得した単一画像上の位置および幅ならびに高さと、物標候補領域の２次元画像と、前記光飛行時間型距離センサにおける３次元座標系の３次元座標とを、前記特定物標に対する上記処理と同様の処理を行うことにより取得したのち、取得した前記準特定物標の物標候補領域の２次元画像を用いて前記準特定物標の種類を判別し、
    前記物標リスト更新手段は、前記物標リストにおいて、前記物標追跡手段で導出された前記特定物標の前記単一画像上の位置および幅と、高さと、物標候補領域の２次元画像と、前記光飛行時間型距離センサにおける３次元座標系の３次元座標とを更新し、
    前記視差修正手段は、前記新たに取得した単一画像および被写体までの距離から導出された第２視差のうち、前記物標追跡手段で導出された前記特定物標の物標候補領域の２次元画像およびこれに対応する被写体までの距離から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち前記物標追跡手段で切り出された前記特定物標の物標候補領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差をゼロに変更する
    ことを特徴とする物標検知装置。
11. 前記視差修正手段は、前記新たに取得した単一画像および被写体までの距離から導出された第２視差のうち、前記物標追跡手段で切り出された前記準特定物標の物標候補領域の２次元画像およびこれに対応する被写体までの距離から導出される視差と新たに取得したレーダ情報から導出された第１視差のうち前記物標追跡手段で切り出された前記準特定物標の物標候補領域の２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる視差をゼロに変更する
    ことを特徴とする請求項１０に記載の物標検知装置。
12. 前記物標リスト更新手段は、前記物標リストに含まれる物標のうち前記物標追跡手段において相関性が高い対応領域が見つからない物標が所定の条件を満たしたときには、当該物標を前記物標リストから削除する
    ことを特徴とする請求項１０に記載の物標検知装置。
13. 前記物標追跡手段は、過去に取得された複数の単一画像における各物標候補の位置から得られる速度ベクトルを用いて前記予想位置を導出する
    ことを特徴とする請求項１０に記載の物標検出装置。
14. 前記物標追跡手段は、前記物標リストに含まれる各物標の２次元画像を正規化してグレースケールモデルに変換し、このグレースケールモデルと、前記物標追跡手段から導出される各物標候補の予想位置を中心とする所定のサイズの２次元画像との相関スコアを求め、この相関スコアの大きさに応じて相関性を評価する
    ことを特徴とする請求項１０に記載の物標検出装置。
15. 前記位置等取得手段は、第１位置情報取得手段と、直線取得手段と、俯角情報取得手段と、視差情報削除手段と、占用度情報取得手段と、第１物標取得手段と、第２位置情報取得手段と、第２物標取得手段と、第３物標取得手段とを有し、
    前記第１位置情報取得手段は、前記光飛行時間型距離センサにおける３次元座標系の３次元座標を単一画像の画素ごとに取得し、
    前記直線取得手段は、前記単一画像における各画素を、前記視差修正手段で修正された後の第２視差および前記単一画像の縦座標が所定の間隔で区切られた複数のセルのうち前記各画素の第２視差および前記単一画像の縦座標が含まれるセルに振り分け、前記第２視差をｘ軸とし、前記ステレオ画像の縦座標をｙ軸とし、前記セルごとの画素の数をｚ軸としたときの３次元分布においてｚ軸の値を２値化処理し、ｘｙ平面において前記第２視差がゼロとなる直線Ｌ２と交差する路面領域に相当する斜めの直線Ｌ１を検出し、
    前記俯角情報取得手段は、前記直線Ｌ１と、前記直線Ｌ２との交差点のｘ座標Ｖ_０を導出し、このｘ座標Ｖ_０と、前記光飛行時間型距離センサの焦点距離ｆとを用いて前記光飛行時間型距離センサの俯角αを導出し、
    前記視差情報削除手段は、前記直線Ｌ１上の各点の第２視差およびｘ座標ならびに前記直線Ｌ１近傍の各点の視差およびｘ座標を有する各画素の第２視差をゼロに補正し、
    前記占用度情報取得手段は、前記視差情報削除手段により補正された後の第２視差および前記第１位置情報取得手段で得られた３次元座標の横座標を用いて、前記単一画像における各画素を、第２視差および前記３次元座標の横座標が所定の間隔で区切られた複数のセルのうち前記各画素の第２視差および前記３次元座標の横座標が含まれるセルに振り分け、前記３次元座標の横座標をｘ軸とし、第２視差をｙ軸とし、前記各セルごとの画素の数（占用度）をｚ軸としたときの３次元分布において、各セルに含まれる画素の前記３次元座標の縦座標の最大値および平均値を各セルごとに算出し、
    前記第１物標取得手段は、前記占用度情報取得手段で導出された３次元分布において、ｚ軸の値を平滑化および二値化し、ｚ軸の値が所定の閾値より高いセルの固まりのｘ軸方向の幅および面積と、前記固まりに含まれるセルの前記最高値および前記平均値とを用いて、検出対象物ごとに決められた所定ルールで前記固まりを物標候補として抽出し、そのｘｙ平面上の中心位置および幅を取得し、
    前記第２位置情報取得手段は、前記レーザレーダによって得られたレーダ情報を前記俯角αを利用して補正したのち、補正後のレーダ情報から第１視差と前記光飛行時間型距離センサにおける３次元座標系の３次元座標とを取得し、
    前記第２物標取得手段は、前記第２位置情報取得手段で得られた３次元座標の横座標をｘ軸とし、前記第２位置情報取得手段で得られた第１視差をｙ軸としたときに、所定のルールで各物標候補のｘｙ平面上の中心位置および幅を取得し、
    前記第３物標導出手段は、前記第１物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅と、前記第２物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅とを対比して、前記第１物標取得手段で得られた各物標候補の存否を判定し、存在すると判定した各物標候補の前記単一画像上の位置および幅を、前記第１物標取得手段で得られたｘｙ平面上の中心位置および幅と、前記第２物標取得手段で得られたｘｙ平面上の中心位置および幅とを所定のルールで加重平均したのち加重平均により得られたｘｙ平面上の中心位置および幅を前記単一画像上の位置および幅に変換することにより取得し、さらに、存在すると判定した各物標候補の高さを、前記第１位置情報取得手段で得られた３次元座標の縦座標から取得する
    ことを特徴とする請求項１０に記載の物標検出装置。
16. 前記第１物標取得手段は、前記所定の閾値の初期値として経験値を使用し、前記各物標候補の認識後に得られた占用度の大きさに応じた値を随時使用する
    ことを特徴とする請求項１５に記載の物標検出装置。
17. 前記第３物標導出手段は、前記レーザレーダおよび前記光飛行時間型距離センサの、前記第１物標取得手段のｘｙ平面におけるそれぞれの計測分解能に応じて加重平均のルールを決める
    ことを特徴とする請求項１５に記載の物標検出装置。
18. 前記第３物標導出手段は、前記第２物標取得手段で取得された各物標候補のうち存在すると判定した物標候補を除いた残留物標候補の前記単一画像上の位置および幅と、あらかじめ規定された高さとを利用して、前記単一画像から前記残留物標候補の２次元画像を切り出し、切り出した２次元画像のうち、前記第２視差のうち当該切り出した２次元画像から導出された視差と前記第１視差のうち当該切り出した２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる部分の画素数が所定の閾値より小さい場合には、その残留物標候補が存在すると判定し、存在すると判定した残留物標候補の前記単一画像上の位置および幅を、前記第２物標取得手段で得られたｘｙ平面上の中心位置および幅を前記単一画像上の位置および幅に変換することにより取得する
    ことを特徴とする請求項１５に記載の物標検出装置。
19. 車両前方のレーダ情報を取得するレーザレーダと、
    車両前方のステレオ画像を取得するステレオカメラと、
    前記レーザレーダで取得したレーダ情報および前記ステレオカメラで取得したステレオ画像を処理する制御部と
    を備え、
    前記制御部は、第１位置情報取得手段と、直線取得手段と、俯角情報取得手段と、視差情報削除手段と、占用度情報取得手段と、第１物標取得手段と、第２位置情報取得手段と、第２物標取得手段と、第３物標取得手段とを有し、
    前記第１位置情報取得手段は、前記ステレオカメラにおける３次元座標系の３次元座標をステレオ画像の画素ごとに取得し、
    前記直線取得手段は、前記ステレオ画像における各画素を、前記ステレオ画像から導出された第２視差および前記ステレオ画像の縦座標が所定の間隔で区切られた複数のセルのうち前記各画素の第２視差および前記ステレオ画像の縦座標が含まれるセルに振り分け、前記第２視差をｘ軸とし、前記ステレオ画像の縦座標をｙ軸とし、前記セルごとの画素の数をｚ軸としたときの３次元分布においてｚ軸の値を２値化処理し、ｘｙ平面において前記第２視差がゼロとなる直線Ｌ２と交差する路面領域に相当する斜めの直線Ｌ１を検出し、
    前記俯角情報取得手段は、前記直線Ｌ１と前記直線Ｌ２との交差点のｘ座標Ｖ_０を導出し、このｘ座標Ｖ_０と、前記ステレオカメラの焦点距離ｆとを用いて前記ステレオカメラの俯角αを導出し、
    前記視差情報削除手段は、前記直線Ｌ１上の各点の第２視差およびｘ座標ならびに前記直線Ｌ１近傍の各点の視差およびｘ座標を有する各画素の第２視差をゼロに補正し、
    前記占用度情報取得手段は、前記視差情報削除手段により補正された後の第２視差および前記第１位置情報取得手段で得られた３次元座標の横座標を用いて、前記ステレオ画像における各画素を、第２視差および前記３次元座標の横座標が所定の間隔で区切られた複数のセルのうち前記各画素の第２視差および前記３次元座標の横座標が含まれるセルに振り分け、前記３次元座標の横座標をｘ軸とし、第２視差をｙ軸とし、前記各セルごとの画素の数（占用度）をｚ軸としたときの３次元分布において、各セルに含まれる画素の前記３次元座標の縦座標の最大値および平均値を各セルごとに算出し、
    前記第１物標取得手段は、前記占用度情報取得手段で導出された３次元分布において、ｚ軸の値を平滑化および二値化し、ｚ軸の値が所定の閾値より高いセルの固まりのｘ軸方向の幅および面積と、前記固まりに含まれるセルの前記最高値および前記平均値とを用いて、検出対象物ごとに決められた所定ルールで前記固まりを物標候補として抽出し、そのｘｙ平面上の中心位置および幅を取得し、
    前記第２位置情報取得手段は、前記レーザレーダによって得られたレーダ情報を前記俯角αを利用して補正したのち、補正後のレーダ情報から第１視差と前記ステレオカメラにおける３次元座標系の３次元座標とを取得し、
    前記第２物標取得手段は、前記第２位置情報取得手段で得られた３次元座標の横座標をｘ軸とし、前記第２位置情報取得手段で得られた第１視差をｙ軸としたときに、所定のルールで各物標候補のｘｙ平面上の中心位置および幅を取得し、
    前記第３物標導出手段は、前記第１物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅と、前記第２物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅とを対比して、前記第１物標取得手段で得られた各物標候補の存否を判定し、存在すると判定した各物標候補の前記ステレオ画像上の位置および幅を、前記第１物標取得手段で得られたｘｙ平面上の中心位置および幅と、前記第２物標取得手段で得られたｘｙ平面上の中心位置および幅とを所定のルールで加重平均したのち加重平均により得られたｘｙ平面上の中心位置および幅を前記ステレオ画像上の位置および幅に変換することにより取得し、さらに、存在すると判定した各物標候補の高さを、前記第１位置情報取得手段で得られた３次元座標の縦座標から取得する
    ことを特徴とする物標検出装置。
20. 前記第１物標取得手段は、前記所定の閾値の初期値として経験値を使用し、前記各物標候補の認識後に得られた占用度の大きさに応じた値を随時使用する
    ことを特徴とする請求項１９に記載の物標検出装置。
21. 前記第３物標導出手段は、前記レーザレーダおよび前記ステレオカメラの、前記第１物標取得手段のｘｙ平面におけるそれぞれの計測分解能に応じて加重平均のルールを決める
    ことを特徴とする請求項１９に記載の物標検出装置。
22. 前記第３物標導出手段は、前記第２物標取得手段で取得された各物標候補のうち存在すると判定した物標候補を除いた残留物標候補の前記ステレオ画像上の位置および幅と、あらかじめ規定された高さとを利用して、前記ステレオ画像から前記残留物標候補の２次元画像を切り出し、切り出した２次元画像のうち、前記第２視差のうち当該切り出した２次元画像から導出された視差と前記第１視差のうち当該切り出した２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる部分の画素数が所定の閾値より小さい場合には、その残留物標候補が存在すると判定し、存在すると判定した残留物標候補の前記ステレオ画像上の位置および幅を、前記第２物標取得手段で得られたｘｙ平面上の中心位置および幅を前記ステレオ画像上の位置および幅に変換することにより取得する
    ことを特徴とする請求項１９に記載の物標検出装置。
23. 車両前方のレーダ情報を取得するレーザレーダと、
    車両前方の単一画像および被写体までの距離を取得する光飛行時間型距離センサと、
    前記レーザレーダで取得したレーダ情報および前記光飛行時間型距離センサで取得した単一画像および被写体までの距離を処理する制御部と
    を備え、
    前記制御部は、第１位置情報取得手段と、直線取得手段と、俯角情報取得手段と、視差情報削除手段と、占用度情報取得手段と、第１物標取得手段と、第２位置情報取得手段と、第２物標取得手段と、第３物標取得手段とを有し、
    前記第１位置情報取得手段は、前記光飛行時間型距離センサにおける３次元座標系の３次元座標を単一画像の画素ごとに取得し、
    前記直線取得手段は、前記単一画像における各画素を、前記単一画像および被写体までの距離から導出された第２視差および前記単一画像の縦座標が所定の間隔で区切られた複数のセルのうち前記各画素の第２視差および前記単一画像の縦座標が含まれるセルに振り分け、前記第２視差をｘ軸とし、前記単一画像の縦座標をｙ軸とし、前記セルごとの画素の数をｚ軸としたときの３次元分布においてｚ軸の値を２値化処理し、ｘｙ平面において前記第２視差がゼロとなる直線Ｌ２と交差する路面領域に相当する斜めの直線Ｌ１を検出し、
    前記俯角情報取得手段は、前記直線Ｌ１と前記直線Ｌ２との交差点のｘ座標Ｖ_０を導出し、このｘ座標Ｖ_０と、前記光飛行時間型距離センサの焦点距離ｆとを用いて前記光飛行時間型距離センサの俯角αを導出し、
    前記視差情報削除手段は、前記直線Ｌ１上の各点の第２視差およびｘ座標ならびに前記直線Ｌ１近傍の各点の視差およびｘ座標を有する各画素の第２視差をゼロに補正し、
    前記占用度情報取得手段は、前記視差情報削除手段により補正された後の第２視差および前記第１位置情報取得手段で得られた３次元座標の横座標を用いて、前記単一画像における各画素を、第２視差および前記３次元座標の横座標が所定の間隔で区切られた複数のセルのうち前記各画素の第２視差および前記３次元座標の横座標が含まれるセルに振り分け、前記３次元座標の横座標をｘ軸とし、第２視差をｙ軸とし、前記各セルごとの画素の数（占用度）をｚ軸としたときの３次元分布において、各セルに含まれる画素の前記３次元座標の縦座標の最大値および平均値を各セルごとに算出し、
    前記第１物標取得手段は、前記占用度情報取得手段で導出された３次元分布において、ｚ軸の値を平滑化および二値化し、ｚ軸の値が所定の閾値より高いセルの固まりのｘ軸方向の幅および面積と、前記固まりに含まれるセルの前記最高値および前記平均値とを用いて、検出対象物ごとに決められた所定ルールで前記固まりを物標候補として抽出し、そのｘｙ平面上の中心位置および幅を取得し、
    前記第２位置情報取得手段は、前記レーザレーダによって得られたレーダ情報を前記俯角αを利用して補正したのち、補正後のレーダ情報から第１視差と前記光飛行時間型距離センサにおける３次元座標系の３次元座標とを取得し、
    前記第２物標取得手段は、前記第２位置情報取得手段で得られた３次元座標の横座標をｘ軸とし、前記第２位置情報取得手段で得られた第１視差をｙ軸としたときに、所定のルールで各物標候補のｘｙ平面上の中心位置および幅を取得し、
    前記第３物標導出手段は、前記第１物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅と、前記第２物標取得手段で得られた各物標候補のｘｙ平面上の中心位置および幅とを対比して、前記第１物標取得手段で得られた各物標候補の存否を判定し、存在すると判定した各物標候補の前記単一画像上の位置および幅を、前記第１物標取得手段で得られたｘｙ平面上の中心位置および幅と、前記第２物標取得手段で得られたｘｙ平面上の中心位置および幅とを所定のルールで加重平均したのち加重平均により得られたｘｙ平面上の中心位置および幅を前記単一画像上の位置および幅に変換することにより取得し、さらに、存在すると判定した各物標候補の高さを、前記第１位置情報取得手段で得られた３次元座標の縦座標から取得する
    ことを特徴とする物標検出装置。
24. 前記第１物標取得手段は、前記所定の閾値の初期値として経験値を使用し、前記各物標候補の認識後に得られた占用度の大きさに応じた値を随時使用する
    ことを特徴とする請求項２３に記載の物標検出装置。
25. 前記第３物標導出手段は、前記レーザレーダおよび前記光飛行時間型距離センサの、前記第１物標取得手段のｘｙ平面におけるそれぞれの計測分解能に応じて加重平均のルールを決める
    ことを特徴とする請求項２３に記載の物標検出装置。
26. 前記第３物標導出手段は、前記第２物標取得手段で取得された各物標候補のうち存在すると判定した物標候補を除いた残留物標候補の前記単一画像上の位置および幅と、あらかじめ規定された高さとを利用して、前記単一画像から前記残留物標候補の２次元画像を切り出し、切り出した２次元画像のうち、前記第２視差のうち当該切り出した２次元画像から導出された視差と前記第１視差のうち当該切り出した２次元画像に対応する領域内の物標候補の視差とを対比して双方が互いに同一またはほぼ同一となる部分の画素数が所定の閾値より小さい場合には、その残留物標候補が存在すると判定し、存在すると判定した残留物標候補の前記単一画像上の位置および幅を、前記第２物標取得手段で得られたｘｙ平面上の中心位置および幅を前記単一画像上の位置および幅に変換することにより取得する
    ことを特徴とする請求項２３に記載の物標検出装置。

Images