JP2016001464A - 処理装置、処理システム、処理プログラム、及び、処理方法 - Google Patents

Abstract

【課題】危険度に応じた機器制御及び有用な情報を提供する。
【解決手段】距離画像取得部により、各画素の距離情報を含む距離画像が取得されると、移動体検出部が、距離画像から少なくとも移動体を検出する。危険度判定部は、距離画像を用いて、少なくとも前記移動体の危険度を判定し、前記危険度に応じて被制御部を制御する制御部に対して前記危険度を出力する。一例として、制御部は、危険度に応じて車両の制動制御又はハンドル制御を行う。また、制御部は、表示部に、危険度に対応する表示を行う。これにより、危険度に応じた機器制御及び有用な情報の提供を可能とすることができる。
【選択図】図２５

Description

本発明は、処理装置、処理システム、処理プログラム、及び、処理方法に関する。

近年において、自車両の前方の走行車両、又は歩行者等の移動物体の速度と移動状態の変化とを認識し、前方車両の急ブレーキ、自車両と前方車両との間への別の車両の割り込み、歩行者の飛び出し等の危険な状態を早期発見し、ドライバーに警告、危険を予防する移動物体認識装置が開発されている。

例えば、前方の移動物体を認識するのに、２次元画像の画像フレーム間におけるオブジェクトのサイズの変化とカメラの焦点距離とにより、前方のオブジェクトに対する距離の変化を求める方法がある。しかし、この方法によるオブジェクトの距離の測定精度、例えば、移動物体の移動変化の検出精度は低いという問題がある。

そこで、特許文献１（特開２０００−２６６５３９号公報）において、ステレオカメラ装置により得られたステレオ画像から視差を計算して視差画像（距離画像ともいう）を得る車間距離計測装置が提案されている。なお、視差画像とは視差を明るさに変換することにより得られる画像をいう。

この特許文献１に開示されている車間距離計測装置は、視差画像から前方の車両を検知し、検知した車両のエッジの移動ベクトルの大きさ及び方向により、車間距離と距離の変化とを計測している。

ここで、車両等の機器を制御する場合に、現在の状況から危険度を判断して車両等の機器制御を行うことができれば、また、車両の運転者等に対して運転情報等の有用な情報を提供できれば、安全面に大きく貢献できる。

本発明は、上述の課題に鑑みてなされたものであり、危険度に応じた機器制御及び有用な情報の提供を可能とする処理装置、処理システム、処理プログラム、及び、処理方法の提供を目的とする。

本発明は、上述した課題を解決するための手段として、各画素の距離情報を含む距離画像を取得する距離画像取得部と、距離画像から少なくとも移動体を検出する移動体検出部と、距離画像を用いて、少なくとも移動体の危険度を判定し、危険度に応じて被制御部を制御する制御部に対して、危険度を出力する危険度判定部とを有する。

本発明によれば、危険度に応じた機器制御及び有用な情報の提供ができるという効果を奏する。

図１は、一般的な立体物認識処理の流れを示す図である。 図２は、実施の形態の立体物認識装置の要部のハードウェア構成図である。 図３は、シーングラフを説明するための模式図である。 図４は、車シーングラフを説明するための模式図である。 図５は、実施の形態の立体物認識装置で記述されるシーン状況モデルのシーングラフを示す図である。 図６は、実施の形態の立体物認識装置で記述される立体物モデルのシーングラフを示す図である。 図７は、実施の形態の立体物認識装置の機能ブロック図である。 図８は、実施の形態の立体物認識装置の状況予測結果に応じて認識対象の認識手法等の変更動作を説明するためのフローチャートである。 図９は、実施の形態の立体物認識装置の状況予測結果に応じて認識対象の認識手法等を変更する動作の全体的な流れを説明するためのフローチャートである。 図１０は、認識対象を追跡している画面の一例を示す図である。 図１１は、道路状況モデルの一例を示す図である。 図１２は、道路状況モデルの左右の道路端の勾配近似曲線パラメータを説明するための図である。 図１３は、背景モデルの一例を示す図である。 図１４は、第２の実施の形態の立体認識装置の機能ブロック図である。 図１５は、第２の実施の形態の立体認識装置の移動体の検出動作の一例を説明するための図である。 図１６は、第２の実施の形態の立体認識装置の移動体の検出動作の他の例を説明するための図である。 図１７は、第３の実施の形態の立体認識装置の機能ブロック図である。 図１８は、第３の実施の形態の立体認識装置の画像処理動作、及び移動体の認識動作を説明するための図である。 図１９は、第３の実施の形態の立体認識装置の危険度の算出動作を説明するための図である。 図２０は、第３の実施の形態の立体認識装置の危険度の他の算出動作を説明するための図である。 図２１は、第４の実施の形態の立体認識装置のハードウェア構成図である。 図２２は、第４の実施の形態の立体認識装置に設けられているヘッドアップディスプレイの構成を示す図である。 図２３は、第４の実施の形態の立体認識装置におけるヘッドアップディスプレイを用いた道路情報の表示動作の流れを示すフローチャートである。 図２４は、第４の実施の形態の立体認識装置におけるヘッドアップディスプレイを用いた道路情報の第１の表示例を説明するための図である。 図２５は、第４の実施の形態の立体認識装置におけるヘッドアップディスプレイを用いた道路情報の第２の表示例を説明するための図である。 図２６は、第４の実施の形態の立体認識装置におけるヘッドアップディスプレイを用いた道路情報の第３の表示例を説明するための図である。 図２７は、第４の実施の形態の立体認識装置におけるヘッドアップディスプレイを用いた道路情報の第３の他の表示例を説明するための図である。 図２８は、第４の実施の形態の立体認識装置におけるヘッドアップディスプレイを用いた道路情報の第４の表示例を説明するための図である。 図２９は、第４の実施の形態の立体認識装置におけるヘッドアップディスプレイを用いた道路情報の第５の表示例を説明するための図である。 図３０は、第５の実施の形態の立体認識装置のハードウェア構成図である。 図３１は、第５の実施の形態の立体認識装置におけるナビゲーション部のリルート動作の流れを説明するためのフローチャートである。

以下、本発明に係る処理装置、処理システム、処理プログラム、及び、処理方法を適用した立体物認識装置の実施の形態を、添付図面を参照しながら詳細に説明する。なお、以下の説明において、「制御対象」とは、例えば自車両等のように、実施の形態の立体物認識装置による認識結果を利用して制御される対象物を示すこととする。また、「認識対象」とは、例えば先行車両等のように、実施の形態の立体物認識装置で認識される対象物で、制御対象の制御の起因となる物体を示すこととする。

（第１の実施の形態）
まず、図１に、一般的な立体物認識処理の流れを示す。この図１に示すように、一般的な立体物認識処理においては、ステップＳ１において、カメラ装置等で撮像された画像を取得し、ステップＳ２において、取得した画像から特徴点を抽出する。また、ステップＳ３で、特徴点から物体の認識を行い、ステップＳ４で、認識した物体の重心を、それまで認識した各物体の重心の認識履歴と照合しながら各物体の追跡を行う。各物体の認識結果で制御する制御対象が、例えば自動ブレーキシステムの場合、自動ブレーキシステムは、ステップＳ５において、認識結果に応じて、自動的にブレーキをかける等の制御を行う。

このような立体物認識処理において、フレーム毎に認識対象の認識又は非認識が生ずると、例えば車両の場合、一度、非認識となった後に、次に認識したときには、自車両と先行車両との間に予想以上の開きが生じており、反対に、先行車両がブレーキをかけることで、先行車両が自車両の手前まで迫っている等の不都合を生ずる（ハンチング）。このため、このような不都合を生じないように、認識対象を安定して認識し続けることが重要となる。

しかし、物体のエッジ情報で認識対象の認識を行う場合、同じ認識対象を撮像している場合でも、センサの感度特性又は照明条件等の変化により、認識対象のエッジ情報の認識又は非認識が生ずる。例えば、走行中において、太陽の位置又は逆光等の変化が発生した場合、認識対象が他の物体の陰に隠れた場合、又は、自車両が建物等の陰に入った場合等は、認識対象の非認識が生ずる。また、例えば薄暗い状況下のため、認識対象のエッジ情報の値が、認識アルゴリズムの閾値付近の値である場合、センサ感度のばらつき等で、認識対象の非認識が生ずる。これらに対応するためには、１フレームの認識ロジックの閾値を調整する等、認識アルゴリズムのパラメータ調整が必要となる。

ここで、一般的な立体物認識処理においては、「物体を認識すること」を目的とした物体認識アルゴリズムが適用されている。この「物体を認識すること」を目的とした物体認識アルゴリズムの場合、上述のように様々な外光変化や認識対象の見え方の変化等に対する、ロバストで、認識率が最大となるパフォーマンスを得ることを目的として開発されている。すなわち、物体の見え方及び画像内の位置等に関わらず、１フレーム内に存在する物体をいかに多く正確に認識できるか、ということを目的として開発されている。このため、このアルゴリズムは、１フレーム内に存在する物体に対して、認識の優先順位は無く、全ての物体を均等に認識できるように、パラメータの調整等が施されている。

しかし、認識対象となる物体は、時間的な変化の中で、見え方が変わってしまうことが多く発生する。これは自車両等の制御対象も自律的に動いており、また、先行車両等の認識対象も自律的に動いているためである。例えば、先行車両が路面のカーブに沿って走行している場合、又は、先行車両が隣接する車線に車線変更した場合等である。このような状況下では、先行車両の見え方が変化するため、先行車両の非認識が多く発生する。そして、このような状況においても先行車両を認識可能なように認識アルゴリズムのパラメータを調整すると、例えば直線道路上の先行車両の認識を行っている場合でも非認識が発生する等のように、通常の状況においても非認識又は誤認識が発生する不都合を生ずるようになる。

このように、様々な状況下において、全ての認識対象を認識しようとすると（＝認識対象の認識を目的としてパラメータの調整等を行った認識アルゴリズムは）、非認識と誤認識のトレードオフが発生し、膨大な開発工数及び開発時間をかけて非認識と誤認識のバランス設計を強いられることとなる。また、このようなバランス設計でパラメータの調整等を行ったにもかかわらず、通常の状況においても、非認識又は誤認識が発生する不都合を生ずる。

一方、例えば自動車の自動ブレーキシステム等の制御は、物体の一度の認識結果で行われるわけではなく、時間の経過と共に連続して認識した認識結果に基づいて、連続的に制御が行われる。このため、制御対象の制御を行う場合、制御の起因となる認識対象を、確実に認識して追尾することが重要となる。これは、自動車だけではなく、ロボット、農機、及び重機等においても同様である。すなわち、制御対象を制御することを目的とする場合は、全ての物体を均等に認識できればよいと言うわけではなく、制御の起因となる認識対象を、確実に認識して追尾することが重要となる。

また、制御対象の制御を目的とした物体認識を行う場合、
（１）認識対象には優先度を設けて認識を行うこと、
（２）一度認識した認識対象を非認識とすること無く、連続して認識（追尾：捕捉）可能
とすること、
（３）認識状態が不安定なものは制御対象とはしないこと、
（４）非認識及び誤認識の原因を特定可能とすること、
が好ましい。

（１）の優先度としては、目前の認識対象は優先度が高い認識対象となる。また、端の認識対象は、優先度が低い認識対象となる。（２）については、一度認識した対象を非認識としてしまうと、十分適切な制御を行うことができない。（３）の制御対象は、前述のハンチング等の不具合が生じる。（４）の原因の特定は、物体認識制御のプログラムの修正等を行う際に必要となる。例えば、自動車のブレーキを制御する走行安全システムにおいて、誤ブレーキ動作が発生した場合、原因を特定可能とすることは、プログラムの修正等を図るためにも重要なことである。このため、学習等の処理状態が不透明なアルゴリズムは、物体認識制御には採用し難い。また、上述したバランス設計においては、非認識が多少多くなっても誤認識を防止する方向に、物体認識制御の認識アルゴリズムが調整されることが多い。換言すると、誤認識による誤動作を防止して安全性を高めるように、物体認識制御の認識アルゴリズムが調整されることが多い。

このようなことから、第１の実施の形態の立体物認識装置は、まず、制御対象（例えば自車両）の走行速度等の「内的状況」、既認識された認識対象（先行車両、壁、道路等）の有無等の「外的状況」から、現在の状況を認識する。現状を認識できれば、例えば先行車両の陰から自車両の前に人が出てくること等が予測（次の事象を予測）できる。このため、以後の制御に予測結果を反映させることができる。例えば、安定的に認識されている認識対象は優先度が高いと判断し、多少の輝度変化等が発生しても認識できるように閾値を下げたシンプルなアルゴリズムを適用する。また、道路のカーブ等で認識対象（先行車両）の形状が変化し又は認識し難くなった場合でも、これらが予測した変化である場合は、積極的に認識を行う。すなわち、第１の実施の形態の立体物認識装置は、複数のアルゴリズム又はアルゴリズムのウェイトを、状況判断や予測に基づいて可変又は選択して用いる。これにより、物体の認識精度を飛躍的に向上させることができる。

閾値を変化させる以外には、例えば、通常の認識技術においては、路面上にある物体かどうか、対称性があるか否か、等の複数のアルゴリズムによるチェックを行ったりするが、安定的に認識されている対象に対しては、このアルゴリズムのいくつかを行わないことも考え得る。要は、撮像領域において認識される外的状況に基づいた未来の外的状況に応じて、異なる認識方法が用いられることが特徴である。

また、実施の形態の立体物認識装置は、所定の撮像フレームにおいて、前フレームで認識した既存物体の追跡を行ったあとに、既存物体を削除したうえで新規物体の認識を行う。安定的に認識されている既存物体を高精度に追跡し続け、新規物体の認識精度も高めることができる。

図２に、第１の実施の形態の立体物認識装置のハードウェア構成図を示す。この図２に示すように、第１の実施の形態の立体物認識装置は、ステレオカメラ部１と、情報処理部２とを有する。

ステレオカメラ部１は、左目用となる第１のカメラ部１ａと、右目用となる第２のカメラ部１ｂとの、２台のカメラ部が平行に組みつけられて構成されている。各カメラ部１ａ，１ｂは、それぞれレンズ５、画像センサ６、センサコントローラ７を備えている。画像センサ６は、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサとなっている。ＣＣＤは、「Charge Coupled Device」の略記である。また、ＣＭＯＳは、「Complementary Metal-Oxide Semiconductor」の略記である。センサコントローラ７は、画像センサ６の露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う。

情報処理部２は、データバスライン１０、シリアルバスライン１１、ＣＰＵ１５、ＦＰＧＡ１６、ＲＯＭ１７、ＲＡＭ１８、シリアルＩＦ１９、及びデータＩＦ２０を有している。ＣＰＵは、「Central Processing Unit」の略記である。ＦＰＧＡは、「Field-Programmable Gate Array」の略記である。ＲＯＭは、「Read Only Memory」の略記である。ＲＡＭは、「Random Access Memory」の略記である。ＩＦは、「interface」の略記である。

上述のステレオカメラ部１は、データバスライン１０及びシリアルバスライン１１を介して情報処理部２と接続されている。ＣＰＵ１５は、情報処理部２の全体の動作、画像処理、及び画像認識処理を実行制御する。各カメラ部１ａ，１ｂの画像センサ６で撮像された撮像画像の輝度画像データは、データバスライン１０を介して情報処理部２のＲＡＭ１８に書き込まれる。ＣＰＵ１５又はＦＰＧＡ１６からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、及び各種設定データ等は、シリアルバスライン１１を介して送受信される。

ＦＰＧＡ１６は、ＲＡＭ１８に保存された画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ１８に再度書き込む。視差画像は距離画像の一例である。ＣＰＵ１５は、ステレオカメラ部１の各センサコントローラ７の制御、及び情報処理部２の全体的な制御を行う。また、ＲＯＭ１７には、後述する状況認識、予測、立体物認識等を実行するための立体物認識プログラムが記憶されている。立体物認識プログラムは、処理プログラムの一例である。ＣＰＵ１５は、データＩＦ２０を介して、例えば自車両のＣＡＮ情報（車速、加速度、舵角、ヨーレート等）をパラメータとして取得する。そして、ＣＰＵ１５は、ＲＯＭ１７に記憶されている立体物認識プログラムに従って、ＲＡＭ１８に記憶されている視差画像を用いて、状況認識等の各種処理を実行制御することで、例えば先行車両等の認識対象の認識を行う。ＣＡＮは、「Controller Area Network」の略記である。

認識対象の認識データは、シリアルＩＦ１９を介して、例えば自動ブレーキシステム、又は、自動速度制御システム等の外部機器へ供給される。自動ブレーキシステムは、認識対象の認識データを用いて自車両のブレーキ制御を行う。また、自動速度制御システムは、認識対象の認識データを用いて自車両の速度制御を行う。

次に、第１の実施の形態の立体物認識装置は、人及び車等の立体物、及び、現在の状況をシーングラフで記述するようになっている。図３に、シーングラフの基本構造を、図４に、車のシーングラフの一例を示す。この図３及び図４からわかるように、シーングラフは、木構造で表現される。また、シーングラフは、例えばＢＩＦＳ又はＶＲＭＬ等の言語を用いて記述される。ＢＩＦＳは、「Binary Format for Scene description」の略記である。また、ＶＲＭＬは、「Virtual Reality Modeling Language」の略記である。シーングラフでは、ノードと呼ばれる構成単位を階層的に組み合わせることで一つのグループを構成し、それらをまとめてシーン（状況）を構成する。ノードとは、光源、形状、材質、色、座標等をフィールドとして有する状況の構成単位であり、さらに下層のノードを持つことで階層化された記述となっている。

図５に、現在の状況を記述したシーングラフである「シーン状況モデル」の一例を示す。この図５のシーン状況モデルは、自車両の前方監視に有用な状況構成を記述した例である。この図５に示す例は、「背景物」、「道路」、及び「自車」の各ノードが記述されている。また、「背景物」のノードの下層には、「側壁」、「正面壁」、及び「屹立物」のノードが記述されている。各ノードは、例えば３次元位置、重心、相対速度、サイズ、信頼度等のエンティティを有する。また、ノードによっては、例えば道路の路面高さ、路端位置（走行可能領域）、又はカーブ曲率等の、ノード特有の情報を有する場合もある。

図６に、立体物を記述したシーングラフである「立体物モデル」の一例を示す。制御対象のブレーキ制御又はステアリング制御等による衝突回避を目的とするアプリケーションにおいては、最大の認識対象ターゲットは、人や車を含む立体物のグループに含まれる認識対象となる。第１の実施の形態の立体物認識装置は、上述のシーン状況モデルとは別に、立体物モデルを記述するようになっている。この図６に示す例は、「車」、「人」及び「その他の物体」の各ノードが記述されている。立体物モデルのノードは、例えば３次元位置、重心、相対速度、サイズ、信頼度等の、上述の背景物のエンティティと共通の構造を有し、また、詳細な立体物種別、及び移動方向等のエンティティも有するように記述される。立体物種別としては、例えば立体物が車である場合は、大型車、又は普通車等の種別が記述される。また、例えば立体物が人である場合は、大人、又は子供等の種別が記述される。

なお、上述の「シーン状況モデル」及び「立体物モデル」は、予め定義され、ＲＯＭ１７に記憶されている。また、シーン状況モデルで記述されるシーンは、具体的には、高速道路やスクールゾーン等の状況であり、立体物モデルで記述される各立体物は、具体的には、標識や信号等の静止物及び車や人等の動体物である。

自動ブレーキシステム、又は、自動速度制御システム等の制御対象においては、図６を用いて説明した立体物の認識結果が、図５を用いて説明したシーン状況モデルのＣＡＮ情報に含まれる位置及び速度から計算して危険と判断された際に、制御が実行される。また、背景物との衝突の危険が計算された場合も制御が実行される。第１の実施の形態の立体物認識装置は、次フレームにおける認識対象の優先度を、自車両の位置と道路情報を参酌し、認識された立体物（含背景物）に対する衝突の可能性を計算して決定する。

図５及び図６に示したシーン状況モデル及び立体物モデルは、ステレオカメラ部１で撮像される撮像画像のフレーム毎に認識されると共に、履歴情報として記録及びアップデートされ、全体が次の動作の予測に利用される。

図７に、第１の実施の形態の立体物認識装置のＣＰＵ１５が立体物認識プログラムに従って動作することで実現される各機能の機能ブロック図を示す。図７に示すように、ＣＰＵ１５は、３次元情報化部３２、車両情報（ＣＡＮ情報）取得部３３、シーン状況認識部３４、及びシーン状況更新部３５として機能する。また、ＣＰＵ１５は、状況予測部３６、及び追跡認識部３７、既検出除去部３８、新規物体検出部３９、及び立体物更新部４０として機能する。なお、ＦＰＧＡ１６は、図７に示す視差画像生成部３１として機能し、上述のように視差画像（距離画像）を生成する。また、これら各部３１〜４０は、全てをソフトウェアで実現してもよいし、全て又は一部をハードウェアで実現してもよい。

このような立体物認識装置において、ステレオカメラ部１の各カメラ部１ａ，１ｂで撮像された、例えば前方の先行車両及び風景等の各撮像画像がＲＡＭ１８に記憶されると、視差画像生成部３１が、各撮像画像の視差を明るさに変換した、いわゆる視差画像を生成し、ＲＡＭ１８に記憶する。３次元情報化部３２は、ＲＡＭ１８に記憶された視差画像から、３次元空間の情報を備えた３次元画像を生成し、ＲＡＭ１８に記憶する。

なお、この例においては、距離画像は、各カメラ部１ａ，１ｂの各撮像画像から生成された視差画像とした。この他、一例ではあるが、各立体物にレーダー波を照射し、立体物に反射されたレーダー波を受波するまでの時間から算出した、物体との間の距離を示す距離情報を、視差画像の代わりに用いてもよい。また、本明細書においては、視差画像を含め距離情報と画像情報が関連付けられたものを距離画像と定義する。

シーン状況認識部３４は、車両情報取得部３３で取得された現在の車両の状態（制御対象となる機器の動作状況を示す内的状況）を示すＣＡＮ情報から自車両の速度及び移動方向等を認識する。また、シーン状況認識部３４は、３次元画像に含まれる背景物、道路、先行車両、人等の外的状況を認識する。シーン状況更新部３５は、シーン状況認識部３４の認識結果から、図５を用いて説明した現在の状況を示すシーン状況モデルを生成し、ＲＡＭ１８に記憶する。このような現在の状況の認識は、画像のフレーム毎に行われる。シーン状況更新部３５は、現在の状況の認識が行われる毎に、ＲＡＭ１８のシーン状況モデルを更新する。

次に、状況予測部３６は、現在の車両の状態を示すＣＡＮ情報、ＲＡＭ１８上で更新された現在の状況を示すシーン状況モデル、及び現在、認識している立体物以外の人、車両等の新たな立体物の現在の状況を示す立体物モデル（図６参照）を用いて、自車両、人、先行車両、側壁、道路等の状況を予測して予測情報を生成する。

追跡認識部３７は、ＲＡＭ１８に記憶されている現在の視差画像内の立体物を認識すると共に、優先度が高い順に、いくつかの立体物を認識対象として認識する。追跡認識部３７は、例えば自車両の目前の認識対象は優先度が高い認識対象となる。また、フレーム端の認識対象は、優先度が低い認識対象となる。

また、追跡認識部３７は、ＲＡＭ１８に記憶されている現在の状況を示すシーン状況モデル、立体物モデル、及び状況予測部３６からの予測結果を用いて、認識対象の認識方法で用いている閾値を変化させ、又は、異なる認識方法を適用する。例えば、安定的に認識されている認識対象は優先度が高いと判断し、多少の輝度変化等が発生しても認識できるように閾値を下げたシンプルなアルゴリズムを適用する。また、道路のカーブ等で認識対象（先行車両）の形状が変化し又は認識し難くなった場合でも、これらが予測した変化である場合は、積極的に認識を行う。

追跡認識部３７は、複数のアルゴリズム又はアルゴリズムのウェイトを、状況判断や予測に基づいて可変又は選択して認識対象の認識を行う。これにより、微妙な輝度変化によりフレーム毎に認識又は非認識となっていた認識対象を、安定して認識し続ける（追跡する）ことができる。また、先行車両が道路のカーブを走行することで、形状が変化して見づらくなった場合でも、先行車両を安定して認識し続けることができる。

次に、既検出除去部３８は、ＲＡＭ１８に記憶されている現在の視差画像内の物体のうち、追跡認識部３７で追跡している認識対象を除去し、更新視差画像としてＲＡＭ１８に記憶する。

新規物体検出部３９は、追跡認識部３７で追跡している認識対象を除去した更新視差画像内の車両又は人等の立体物を認識することで、追跡認識部３７で現在、追跡している認識対象とは異なる新たな立体物を認識する。立体物更新部４０は、ＲＡＭ１８に記憶されている図６に示した立体物モデルに、新規物体検出部３９で認識された新たな立体物を反映させることで、ＲＡＭ１８に記憶されている立体物モデルを更新する。状況予測部３６は、このように新たな立体物が反映されて更新された立体物モデルを用いて、状況の予測を行う。

また、立体物更新部４０は、追跡認識部３７からの認識対象の認識結果を、例えば自動ブレーキシステム、又は、自動速度制御システム等の制御対象となる外部機器へ供給する。これにより、認識対象の認識結果に応じて、自動的に車両のブレーキがかけられ、又は、車両の走行速度が自動的に調整される。

次に、状況予測部３６における予測処理の詳細を説明する。状況予測部３６は、「認識対象物位置」、「認識対象物形状変化率」、及び「認識対象物被遮蔽率」を算出する。追跡認識部３７は、これらの演算結果を認識対象の状況予測結果として用いる。

まず、認識対象物位置は、カルマンフィルタ又はベイズフィルタ等を用いて算出することができる。また、ある時刻ｔにおける自車両の位置x_f(t)、自車両の速度v_f(t)、先行車両の位置x_p(t)、及び、先行車両の速度v_p(t)は、以下の数式で算出される。

x_f(t)=x_f(t-1)+v_ft+((a_ft²)/2)
v_f(t)=v_f(t-1)+a_ft
x_p(t)=x_p(t-1)+v_pt+((a_pt²)/2)
v_p(t)=v_p(t-1)+a_pt

認識対象物の自車両からの相対的実座標位置は、「x_p(t)−x_f(t)」で表すことができる。「x_p(t)−x_f(t)」の数式で算出された自車両からの相対的実座標位置の３次元点を「（X_p，Y_p，Z_p）」とマップすると、時刻ｔにおける認識対象物の撮像内位置は、例えば以下の数式で算出される。

x_predict＝f(X_p/Z_p)
y_predict＝f(Y_p/Z_p)

ここで、「x_predict，y_predict」を、撮像画像における認識対象物の重心位置と仮定すると、この対象物認識における予測処理領域の面積P_areaは、重心位置を中心に認識対象物のサイズ「x_width，y_height」を用いて、物体全体を包含しつつ、例えば以下の数式で示すように設定される。

P_area＝(x_width＋ω₁/R＋ω₂E)×(y_height＋ω₁/R＋ω₂E)

この数式において、「Ｒ」は、ｔ−１までの認識結果の信頼度を示し（安定的に認識されていた場合、高い信頼度）、「Ｅ」は認識誤差、「ω₁，ω₂」は、これらを反映させる重みを示す。この第１の実施の形態においては、一例としたｘ方向及びｙ方向共に同じ重みを適用している。ｘ方向及びｙ方向、それぞれ異なる重みを適用してもよい。信頼度が低い場合又は認識誤差が高い場合は、より大きな範囲で認識を行う。なお、信頼度としては、対象が連続して認識されたフレーム数等を用いれば良い。

次に、認識対象物形状変化率「Δ_obj」は、例えば「X_P，Y_P，Z_P」をもとに、図６を用いて説明した立体物の移動方向（X_P，Y_P，Z_P）、及び図５を用いて説明した道路情報から、この位置にある道路曲率（C(X_P，Y_P，Z_P)）、傾斜率（S(X_P，Y_P，Z_P)）を計算し、以下の数式に示すように、これらを乗算して算出される。なお、道路曲率や傾斜率の算出には、参考文献１（特開２００４−１０２４２１号公報）又は参考文献２（特開２０１４−００６８８２号公報）に記載の方法、その他公知の方法が適宜に用いられる。

Δ_obj＝C((X_P＋X_v)，(Y_P＋Y_v)，(Z_P＋Z_v))×S((X_P＋X_v)，(Y_P＋Y_v)，(Z_P＋Z_v))

実装する際には、「Ｃ」及び「Ｓ」に対して重み付けをしてもよく、また、正規化処理を施すことが望ましい。

同様に、認識対象物被遮蔽率「Ｈ_obj」は、例えば「X_P，Y_P，Z_P」、「X_V，Y_V，Z_V」をもとに、図５を用いて説明した背景情報から、この位置付近にある背景物及び他の立体物との位置関係を計算し、認識対象物の動きの軌跡から、背景物が認識対象物の前方に位置することとなるか否かを予測することで計算される。この予測は、下記の関数で表すことができる。

Ｈ_obj＝Func(ΣD_bo，ΣD_oo，ΣR_info)

ここで、「D_bo」は、「（X_P，Y_P，Z_P）、（X_V，Y_V，Z_V）」をもとに、背景物との位置関係の差分を算出した、背景物との距離を示す変数である。「D_bo」の値は、位置関係が重複していた場合、高い値となる。「D_oo」は、「（X_P，Y_P，Z_P）、（X_V，Y_V，Z_V）」をもとに、他の立体物との位置関係の差分を算出した変数である。「D_oo」の値は、位置関係が重複していた場合、高い値となる。「R_info」は、図５を用いて説明した道路情報（上述の「Ｃ」及び「Ｓ」をまとめたもの）である。なお、Ｈ_objは、方向の情報を含むベクトル量である。どの方向から、どの程度遮蔽されるかを算出するため、遮蔽後の物体の形状が特定できる。また、状況予測部３６は、これらに加えて、予測結果に基づき、認識対象物が他の認識対象物で遮蔽される割合を計算する。

これにより、認識対象物が他の認識対象物で遮蔽された際に認識可能となる認識対象物の形状がわかるため、認識対象物の認識率の向上を図ることができる。また、認識対象物が非認識となることなく、認識対象物を連続的に認識して追従可能とすることができる（認識対象物を見失うことなく追従可能とすることができる）。

このように状況予測部３６は、例えばカルマンフィルタ等の、従来の追跡手法で用いられている認識対象物の位置予測と共に、状況を認識することで、認識対象物形状変化率及び認識対象物被遮蔽率を算出可能となる。このため、例えば認識対象物形状変化率又は認識対象物被遮蔽率が低い場合は、認識対象の認識方法を、シンプルで積極的に認識対象を認識する認識方法に変更できる。また、認識対象物形状変化率又は認識対象物被遮蔽率が高い場合には、算出された認識対象物形状変化率又は認識対象物被遮蔽率に合致した認識方法を選択して用いることができる。

次に、図８のフローチャートに、追跡認識部３７が、状況予測部３６からの予測結果に応じて、認識対象の認識方法の変更又は閾値の変更等を行う動作の流れを示す。追跡認識部３７は、状況予測部３６により、上述の認識対象物位置、認識対象物形状変化率、及び認識対象物被遮蔽率が算出されたタイミングで、図８のフローチャートにステップＳ１１から処理を開始する。なお、認識対象物位置、認識対象物形状変化率、及び認識対象物被遮蔽率は、フレーム毎に算出される。このため、追跡認識部３７は、図８のフローチャートに示す動作をフレーム毎に繰り返し実行する。

ステップＳ１１では、追跡認識部３７が、状況予測部３６により算出された認識対象物形状変化率が、所定の閾値よりも高いか否かを判別する。認識対象物形状変化率が閾値よりも高いということは、現在、認識している認識対象の形状が、大きく変化していることを示す。このため、追跡認識部３７は、認識対象物形状変化率が閾値よりも高い場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１２に処理を進める。そして、例えば認識対象が先行車両の場合、追跡認識部３７は、道路のカーブ用又は坂道の道路用の認識方法を選択し、又は、現在、実行している認識方法の閾値を、道路のカーブ用又は坂道の道路用の閾値に変更制御する。これにより、先行車両等の認識対象が、道路のカーブを走行し、又は、坂道を走行することで認識している形状が変化した場合でも、確実に捕捉して認識し続けることができる。

次に、ステップＳ１１で認識対象物形状変化率が所定の閾値よりも低いものと判別した場合（ステップＳ１１：Ｎｏ）、追跡認識部３７は、処理をステップＳ１３に進め、認識対象物被遮蔽率が、所定の閾値よりも高いか否かを判別する。例えば、現在の認識対象となっている先行車両の認識対象物被遮蔽率が閾値よりも高いということは、先行車両と自車両との間に、壁又は他の車両等の他の立体物が存在することを意味している。このため、認識対象物被遮蔽率が所定の閾値よりも高い場合（ステップＳ１３：Ｙｅｓ）、ステップＳ１４に処理を進め、認識対象の遮蔽面積に対応する認識方法を選択し、又は、現在、実行している認識方法の閾値を、認識対象の遮蔽面積に対応する閾値に変更制御する。これにより、先行車両が物陰に隠れ、又は、他の車両の陰に隠れた場合でも、確実に捕捉して認識し続けることができる。

次に、ステップＳ１３で、認識対象物被遮蔽率が所定の閾値よりも低い場合（ステップＳ１３：Ｎｏ）、追跡認識部３７は、処理をステップＳ１５に進め、立体物が安定的に検出できているか否かを判別する。具体的には、追跡認識部３７は、例えば画像形状（輝度画像）、又は（及び）視差形状（視差画像）が、時間的に略々変化なく検出できているか否かを判別することにより、立体物が安定的に検出できているか否かを判別する。そして、追跡認識部３７は、立体物が安定的に検出できているものと判別した場合（ステップＳ１５：Ｙｅｓ）、ステップＳ１６に処理を進め、立体物が安定的に検出できていないものと判別した場合（ステップＳ１５：Ｎｏ）、ステップＳ１７に処理を進める。

立体物が安定的に検出できているものと判別することで、処理をステップＳ１６に進めると、追跡認識部３７は、現在、認識対象の認識方法で用いている閾値を所定分低い値の閾値に変更する。これにより、認識対象の予測位置等を用いて、認識対象を、より正確に認識して追跡可能とすることができる。

また、立体物が安定的に検出できていないものと判別することで、処理をステップＳ１７に進めると、追跡認識部３７は、現在、認識対象の認識方法で用いている閾値を、標準値（初期値）に変更する。これにより、認識対象の予測位置等を用いて、標準となる閾値で認識対象の認識を行い、認識対象の安定した追跡を図る。

なお、図８のフローチャートの説明において、認識対象物形状変化率に応じた処理と、認識対象物被遮蔽率に応じた処理とは、それぞれ別個独立に実施されることとして説明した。しかし、これら各処理を複合してもよいし、これら各処理を含めた統合的判断処理を先に行ってもよい。

次に、以上説明した図８の処理フローの全体像を、図９を用いて再度説明する。すなわち、第１の実施の形態の立体物認識装置のＣＰＵ１５は、立体物認識プログラムに従って動作することで、図９のステップＳ４１に示すように、まず、外的状況を認識する。一例として、ＣＰＵ１５は、上述のステップＳ１１で説明した認識対象物形状変化率、ステップＳ１３で説明した認識対象物被遮蔽率、ステップＳ１５で説明した立体物の検出状況等に応じて、外的状況を認識する。

次に、ステップＳ４２において、ＣＰＵ１５は、認識した外的状況に基づいて、状況の予測を行う。具体的には、ステップＳ１１及びステップＳ１２で説明したように、認識対象物形状変化率が閾値よりも高いということは、先行車両等の認識対象が、道路のカーブを走行中であること、又は、坂道の走行中であることを予測できる。また、認識対象物被遮蔽率が閾値よりも高いということは、先行車両等の認識対象と自車両との間に、壁又は他の車両等の他の立体物の存在を予測できる。

次に、ステップＳ４３では、予測した状況から認識方法を決定する。例えば、ステップＳ１１及びステップＳ１２で説明したように、認識対象物形状変化率が閾値よりも高い場合、ＣＰＵ１５は、道路のカーブ用又は坂道用の認識方法を選択する。又は、ＣＰＵ１５は、現在、実行している認識方法の閾値を、道路のカーブ用又は坂道用の閾値に変更する。そして、ＣＰＵ１５は、ステップＳ４４において、選択した認識方法又は変更した閾値を用いて、既存物体である先行車両等の認識対象の追跡を行う。これにより、先行車両等の認識対象が、道路のカーブを走行し、又は、坂道を走行することで認識している形状が変化した場合でも、確実に捕捉して認識し続けることができる。

同様に、ステップＳ１３及びステップＳ１４を用いて説明したように、例えば先行車両の認識対象物被遮蔽率が閾値よりも高い場合、ＣＰＵ１５は、認識対象の遮蔽面積に対応する認識方法を選択する。又は、ＣＰＵ１５は、現在、実行している認識方法の閾値を、認識対象の遮蔽面積に対応する閾値に変更する。そして、ＣＰＵ１５は、ステップＳ４４において、選択した認識方法又は変更した閾値を用いて、既存物体である先行車両等の認識対象の追跡を行う。これにより、先行車両が物陰に隠れ、又は、他の車両の陰に隠れた場合でも、確実に捕捉して認識し続けることができる。このように、第１の実施の形態の立体物認識装置においては、撮像領域において認識される外的状況に基づいた未来の外的状況に応じて、異なる認識方法又は異なる閾値が用いられる。

次に、ＣＰＵ１５は、所定の撮像フレームにおいて、前フレームで認識した既存物体の追跡（ステップＳ４４）を行った後、ステップＳ４５において、既存物体を削除したうえで、ステップＳ４６において、新規物体の認識を行う。具体的には、図７を用いて説明したように、既検出除去部３８が、ＲＡＭ１８に記憶されている現在の視差画像内の物体のうち、追跡認識部３７で追跡している認識対象を除去し（ステップＳ４５）、更新視差画像としてＲＡＭ１８に記憶する。

新規物体検出部３９は、追跡認識部３７で追跡している認識対象を除去した更新視差画像内の車両又は人等の立体物を認識することで、追跡認識部３７で現在、追跡している認識対象とは異なる新たな立体物を認識する（ステップＳ４６）。立体物更新部４０は、ＲＡＭ１８に記憶されている図６に示した立体物モデルに、新規物体検出部３９で認識された新たな立体物を反映させることで、ＲＡＭ１８に記憶されている立体物モデルを更新する。状況予測部３６は、このように新たな立体物が反映されて更新された立体物モデルを用いて、状況の予測を行う。これにより、安定的に認識されている既存物体を高精度に追跡し続け、新規物体の認識精度も高めることができる。

図１０は、認識対象を追跡している画面の一例を示す図である。図１０の（ａ）の符号を付した図は、ステレオカメラ部１で撮像されたステレオ画像を示している。また、図１０の（ｂ）の符号を付した図は、視差画像生成部３１で生成された視差画像を示している。図１０の（ａ）の符号を付した通常の撮像画像を参照しながら、図１０の（ｂ）の符号を付した視差画像を見ていただきたいのであるが、シーン状況認識部３４は、道路の縁石５０，５１を認識することで、縁石５０，５１の間は、自車両が走行中の道路であることを認識する。また、縁石５０，５１に沿って壁部５２，５３が形成されていることを認識する。また、道路上において、自車両の前方を走行する先行車両５４〜５６を認識する。図１０（ａ）の符号を付した図からわかるように、先行車両５４は、乗り合いバスである。また、乗り合いバスと自車両との間を走行中の先行車両５５は、オートバイである。また、この例において乗り合いバスとなっている先行車両５４の前方の先行車両５６は、軽自動車である。

このような状況において、従来、先行車両５６の軽自動車のように、遠方の車両は、認識及び非認識が繰り返され、安定した認識及び追跡は困難であった。しかし、第１の実施の形態の立体物認識装置の場合、上述の予測結果を用いて安定して認識し続けることができる（追跡することができる）。また、この例の場合、オートバイである先行車両５５に遮蔽された乗り合いバス（先行車両５４）も、上述の認識対象物被遮蔽率等を計算した予測結果を用いることで、オートバイの動き及び乗り合いバスの動きを把握しながら安定して認識し続けることができる（追跡することができる）。

以上の説明から明らかなように、第１の実施の形態の立体物認識装置は、まず、自車両等の制御対象物が、現在どのような状況下にあるか、既検出された立体物があるか、それらが現在の状況下でどのような状態にあるか、等を状況認識する。すなわち、現在の状況を認識すると共に、未来的な状況を予測し、予測結果に応じた認識手法を選択的に用いて認識対象の認識を行い、又は、予測結果に応じて認識手法で用いている閾値等を変更して認識対象の認識を行う。これにより、微妙な輝度変化によってフレーム毎に認識／非認識を繰り返す立体物でも、安定して認識し続けることができる。また、先行車両が道路のカーブを走行することで、先行車両の形状が変化し、又は、壁等の陰になり見づらくなった場合でも、安定して認識し続けることができる。

（第２の実施の形態）
次に、第２の実施の形態となる立体認識装置の説明をする。第２の実施の形態の立体認識装置は、まず、制御対象物が、現在どのようなシーン状況下にあるか、既に検出された物体の有無、既に検出された物体が現在のシーン状況下でどのような状態にあるか、等を「移動体の背景となる静止物をモデル化した背景モデル（背景情報（静止物）モデル）」、「道路（移動面）モデル」及びそれぞれの「移動体の認識履歴」を利用して把握する。そして、把握した状況に応じて検出手法を変更しながら移動体（認識対象）の検出を行う。

すなわち、第２の実施の形態の立体認識装置は、立体物の検出時におけるシーン状況の認識に、モデル化した環境を用い、撮像されている物体間の３次元位置関係を把握する。そして、３次元位置関係の時間的変化の履歴から、現時点の物体認識を行う。なお、以下、「状況モデル」という文言は、例えば「認識対象となっている移動体の安定認識度」、「認識対象となっている移動体と背景モデルとの位置関係」、「認識対象となっている移動体と道路モデルとの位置関係」等の情報で表現される撮像環境の全体情報をさすこととする。

図１１に、道路状況モデル（移動面状況モデル）の一例を示す。ここでの道路は、車両や人のような移動体がその上を移動する多少の凹凸を含む移動面を表わす。道路状況モデルにおいては、「道路幅」、「車線数」、「対向車線位置」、「自車線位置」、「カーブ情報」、及び「路面勾配」等のような認識情報が設定される。「道路幅」は、自車両６０が走行している道路の道幅Ｗである。「車線数」は、自車両６０が走行している道路の車線の数である。「対向車線位置」は、自車両６０の走行方向に対して反対方向に走行する対向車の車線位置である。「自車線位置」は、自車両６０が現在、走行中の位置Ｐである。「カーブ情報」は、カーブ入り口までの距離Ｄ、及びカーブの曲率Ｒである。

カーブ情報については、先行車両等の認識対象の姿勢変化を目的とした場合、自車両との関係から、姿勢変化の起きる可能性が検出できればよいため、それほどの精度は必要としない。また、図１１の例では、カーブ情報の他に、道路の勾配情報も実装される。「路面勾配」は、図１２に示すように自車両６０の進行方向の道路を、自車両６０からの距離に応じて分割されたセグメントＳＧ毎に算出された近似曲線パラメータである。この近似曲線パラメータは、図１１に示す左右の道路端ＬＳ，ＲＳ毎に算出される。例えば認識対象となっている先行車両の一部が隠蔽されていた場合に、このような先行車両の一部が隠蔽される状況は、下り坂等の影響であるか否かの状況認識を行う際に、勾配情報が利用される。

また、自車両の進行方向の車線が複数ある場合に、認識している先行車両が隣接車線に車線変更する可能性がある。この場合、先行車両の姿勢変化が発生する可能性、及び隣接車線を走行している他の車両の前に車線変更して走行位置を変えることで、認識対象となっている先行車両の一部が他の車両で隠蔽される可能性がある。「自車線位置」及び「車線数」等の車線情報は、このような状況認識に利用される。

このような各情報の制限値は、走行環境における道路法規等から設定される。また、視差によって得られる３次元情報によって、実撮像環境における道路モデルの実体が検出され適用される。

次に、図１３に背景モデルの一例を示す。この例の背景モデルとしては、まず、自車両が移動可能な領域と自車両が移動困難な領域との境界を示す静止物境界領域が記載される。具体的には、図１３の（ａ）の符号を付した図に示すように、自車両６０の位置を上空から俯瞰した状態で、自車両６０を中心に放射状に探索する。そして、自車両６０の位置から見て、最近傍に位置する道路高さから換算して所定の高さ閾値以上の静止物の位置を静止物境界領域としている。静止物とは、自車両６０に設けられたステレオカメラ部１で撮像を行った時点で静止している物体を意味する。このため、静止物は、撮像時に静止している、例えば壁、電柱、ガードレール、駐車車両等となる。静止物か否かを判断するために、例えばＣＡＮによる車両情報や背景モデルの履歴情報等が利用され得る。

すなわち、図１３の（ａ）の符号を付した図は、自車両６０を中心として、自車両６０の移動方向を俯瞰した図である。図１３の（ａ）の図中における矢印は、移動体が動いている方向を示している。この例では、２台数の先行車両６１ａ，６１ｂ、１台の対向車両６２、人間６３ａ，６３ｂ．６３ｃが移動体となっており、それぞれ矢印の方向に移動している。これらは移動体であるため、背景モデルには反映されない。これらは視差画像から検出される３次元位置から求められる。

これに対して、自車両６０の進行方向側の道路における駐車車両６４ａ〜６４ｃ、ガードレール６５、車止め用のポール６６、及び歩道の奥の壁６７は、静止物となる。同様に、自車両６０の進行方向に対して反対方向側の道路における車止め用のポール６８ａ，６８ｂ、及びガードレール６９は、静止物となる。

このような静止物境界領域を、ＸＺ平面上にマッピングした図が、図１３の（ｂ）の符号を付した図である。図１３の（ｂ）の符号を付した図からわかるように、静止物境界領域をＸＺ平面上にマッピングした場合、各静止物の位置に、各静止物の高さに対応する線分が現れる。

第２の実施の形態の立体認識装置は、及び静止物体境界領域及び各静止物境界端位置の高さ情報で示される背景モデルと、上述の道路状況モデルとを用いて状況認識を行い、認識履歴のある移動体の認識結果を更新する。図１４に、このような処理に対応する機能ブロック図を示す。図１４の各機能は、第２の実施の形態の立体認識装置のＣＰＵ１５が、立体物認識プログラムに従って動作することで実現される。なお、図１４に示す各機能において、第１の実施の形態で説明した機能と同じ機能には、第１の実施の形態で説明した機能と同じ符号を付し、その詳細な説明は省略する。

図１４に示すように、第２の実施の形態の立体認識装置は、視差画像生成部３１、３次元情報化部３２、車両情報取得部３３、背景認識部７１、道路認識部７２、位置予測部７３、及び動き予測部７４を有している。また、立体認識装置は、追跡検出部７５、状況認識部７６、動体認識処理部７７、及び認識結果更新部７８を有している。視差画像生成部３１は、距離画像取得部の一例となっている。また、図２１又は図３０を用いて後述するＥＣＵ９５が、制御部の一例となっている。なお、視差画像生成部３１〜車両情報取得部３３、及び、背景認識部７１〜認識結果更新部７８は、ソフトウェア的に実現されることとして説明を進めるが、全て又は一部をハードウェアで実現してもよい。

このような立体認識装置において、認識結果更新部７８は、動き予測部７４及び追跡検出部７５により検出された移動体の追従結果に従って、ＲＡＭ１８に記憶されている移動体の認識結果を更新する。動き予測部７４は、ＲＡＭ１８に記憶されている移動体の認識結果の履歴と、図１１及び図１２を用いて説明したように道路認識部７２で検出された道路状況モデルと、図１３を用いて説明したように背景認識部７１で検出された背景モデルとを照合し、移動体がどのように見えるかを予測する。追跡検出部７５は、動き予測部７４の予測結果に応じて、移動体の追従に用いる認識手法を変更する。

具体的には、例えば直進路における先行車両等のように、検出している移動体の移動状況が、背景モデル及び道路状況モデルで示される現在の状況に影響されない場合、基本的に移動体の見え方は変化せず、移動体の移動による距離のみが変化する。この場合、動き予測部７４からの予測結果も安定したものとなる。一例として、追跡検出部７５は、ＲＡＭ１８の認識結果の履歴を用いて、フレーム間の移動体の視差形状特徴等のマッチング処理を行うことで、各移動体の動きを検出して追従している。追跡検出部７５は、移動体に対する、安定的に検出されている履歴があり、かつ、背景モデル及び道路状況モデルからも、移動体の隠蔽又は姿勢変化が予測できない場合、上述の認識結果の履歴のマッチング処理で用いる閾値を低く設定する。これにより、安定的に検出されている移動体を、より安定して検出可能とすることができる。また、ステレオカメラブロック１のＣＭＯＳセンサのＳＮ比の影響等で視差情報に微妙な誤差が生じていても、この誤差を吸収し安定した移動体の検出を可能とすることができる。

一方、例えば移動体がカーブしている道路を走行することで姿勢変化が生じ、追跡検出部７５において、上述のマッチング処理による移動体の追従が困難となった場合、状況認識部７６が、背景モデル、道路状況モデル、移動体の認識履歴を用いて、再度、移動体の現在の状況を認識し直す。そして、追跡検出部７５は、再認識された移動体の現在の状況に応じて、移動体の認識処理の手法を、姿勢変化に対応する移動体の認識処理の手法に変更する。すなわち、この場合、動体認識処理部７７は、再認識された移動体の現在の状況から、姿勢変化が生じている移動体をターゲットとして認識する。認識結果更新部７８は、ＲＡＭ１８上の認識結果を更新する。また、位置予測部７３及び動き予測部７４は、ＲＡＭ１８の認識履歴を用いて、ターゲットとされた移動体の認識を継続する。これにより、追跡検出部７５は、姿勢変化が生じている移動体の動きに追従して認識を継続することができる。

また、認識対象の移動体と隣接物体との位置関係から、認識対象の移動体が隣接物体で隠蔽される可能性があることが、状況認識部７６で認識された場合、追跡検出部７５は、移動体の認識処理の手法を、移動体の隠蔽に対応する認識処理の手法に変更する。すなわち、この場合、追跡検出部７５は、ＲＡＭ１８の認識履歴を用いて、ターゲットとされた移動体の一部が隠蔽された場合でも、ターゲットとされている移動体の認識を継続する。これにより、追跡検出部７５は、隠蔽が生ずる移動体の動きに追従して、ターゲットとなる移動体の認識を継続することができる。

例えば、図１５の（ａ）及び（ｂ）の各符号を付した図は、自車両６０の前方を、オートバイ８０、第１の先行車両８１、及び第２の先行車両８２が走行している状況を示している。すなわち、図１５の（ａ）及び（ｂ）の各符号を付した図は、オートバイ８０が車線変更により第１の先行車両８１と重なり、また、第１の先行車両８１により隠蔽されていた第２の先行車両８２が、車線変更により、第１の先行車両８１の陰から現れた状況を示している。このような状況において、従来は、第１の先行車両８１により隠蔽されている第２の先行車両８２、及び第１の先行車両８１に重なるオートバイ８０は、従来、検出困難であった。

しかし、第２の実施の形態の立体認識装置の場合、移動体と前記背景モデルの相対的な位置関係に基づいて、移動体を検出する方法を変えている。すなわち、第２の実施の形態の立体認識装置の場合、認識対象となっている移動体が、現在どのようなシーン状況下にあるか、既検出された移動体があるか、それらが現在のシーン状況下でどのような状態にあるか、等を背景モデル（静止物モデル）、道路状況モデル、及び移動体の認識履歴を利用して把握する。そして、把握した状況に合った認識手法に変更して移動体の認識を行っている。このため、一部が隠蔽された移動体、及び微妙な輝度変化によりフレーム毎に検出及び非検出となる移動体でも、継続して認識して動きに追従することができる。また、道路のカーブ等を走行することで、認識対象となっている移動体の形状又は姿勢が変わった場合でも、安定的に移動体を検出し、動きに追従することができる。

また、図１６の（ａ）〜（ｃ）の符号を付した図は、人間６３ｃの動きを示している。図１６の（ａ）及び（ｂ）の符号を付した図に示すように、人間６３ｃが移動することで駐車車両６４ｃの前方に隠れた場合であっても、追跡検出部７５及び状況認識部７６が、上述の背景モデル及び道路状況モデル等を用いて、一部隠蔽用の処理を行う。これにより、人間６３ｃの動きを継続的に予測し認識することが可能になる。このため、図１６の（ｃ）の符号を付した図に示すように、人間６３ｃが駐車車両６４ｃの前方から自車両６０の前方に移動した場合でも（人間６３ｃが飛び出した場合でも）、ブレーキを自動制御して、自車両６０を停止させることができる。

従来は、人間６３ｃが駐車車両６４ｃの影に隠れた時点で、認識が一度途切れてしまい、新たに人間６３ｃの全身を認識できた時点で、あらためて追従を開始していた。このため、従来は、処理が間に合わない、又は、急ブレーキになる、等の不都合が生じていた。しかし、第２の実施の形態の立体認識装置の場合は、図２１に示すＥＣＵ９５が、移動体の移動に、正確に追従して検出し、この検出結果に応じて、自動ブレーキシステム、自動速度制御システム、操舵制御部、又は、ヘッドマウントディスプレイ（ＨＵＤ）９６等を制御する。これにより、スムースかつ安全に自車両６０を制御することができる。

（第３の実施の形態）
次に、第３の実施の形態となる立体認識装置の説明をする。第３の実施の形態の立体認識装置は、自車両の現在の状況から危険度を判定し、判定結果に応じて速度制御又はハンドル制御等の自車両の制御を行うものである。図１７に、第３の実施の形態の立体認識装置において、ＣＰＵ１５が立体物認識プログラムに従って動作することで実現される各機能の機能ブロック図を示す。図１７に示すように、第３の実施の形態の立体認識装置は、３次元情報化部８６、３次元構造認識部８７、画像認識部８８、シーン認識部８９、シチュエーション予測部９０、シチュエーション認識部９１、新規物体検出部９２、及び危険度判定部９３を有している。

３次元情報化部８６は、ステレオカメラ部１により撮像された、例えば図１８の（ａ）の符号を付した図に示す各視差画像８５から算出した距離情報に対応する画像である、図１８の（ｂ）の符号を付した図に示す３次元復元画像を生成する。３次元復元画像にはＸ，Ｙ，Ｚ（縦，横，高さ）の各座標の情報が含まれているため、図１８の（ｃ）の符号を付した図に示すように、自車両の前方を俯瞰した図も得ることができる。３次元構造認識部８７は、３次元復元画像から、図１３を用いて説明した壁６７、自車両が移動可能な領域と自車両が移動困難な領域との境界を示す静止物境界領域等の、自車両前方の３次元構造を認識する。

画像認識部８８は、ステレオカメラ部１の撮像画像から生成された視差画像８５と、予めモデル化されている路面標識、信号標識及び交通標識の画像とを比較する。そして、視差画像８５中に含まれている路面標識、信号標識及び交通標識等の物標を抽出する。

シーン認識部８９は、３次元構造認識部８７で検出された３次元構造から、走行可能領域及び歩行者等の自車両前方の現在の状況（シーン）と共に、路面標識、信号標識及び交通標識等を認識する。図１８の（ｄ）の符号を付した図は、シーン認識部８９により、自車両前方の道路が走行可能領域として認識されると共に、横断歩道８６の路面標識が認識されたことを示している。シーン認識部８９で認識された走行可能領域を示す情報、及び路面標識、信号標識及び交通標識等を示す情報は、シチュエーション認識部９１に供給される。

シチュエーション認識部９１は、移動体検出部の一例となっており、シチュエーション予測部９０で取得された自車両のＣＡＮ情報（車速、加速度、舵角、ヨーレート等）を参照したうえで、路面標識、信号標識、交通標識、歩行者等を含む、自車両前方の現在の状況の認識結果を危険度判定部９３に通知する。また、新規物体検出部９２は、シチュエーション認識部９１から自車両前方の現在の状況の認識結果を取得し、例えば自転車又は対向車等の新規な移動体を検出した場合に、危険度判定部９３に通知する。危険度判定部９３は、自車両前方の現在の状況の認識結果から危険度を算出する。

危険度は、例えば移動体と自車両との衝突可能性を表すものである。一例として、自車両の走行方向上に向かう動体ベクトルに対しては、高い危険度を算出する考え方が挙げられる。また、路肩又は歩道の直線に沿って平行に移動する移動体は、歩道に沿って移動している歩行者を意味するため、低い危険度を算出する。反対に、路肩又は歩道の直線を横切るかたちで移動する移動体は、歩道から車道に進入する歩行者を意味するため、高い危険度を算出する。危険度を算出するためのパラメータとして、例えば、「状況認識により求めた移動体の行動ベクトルの方向」、「状況認識により求めた移動体の行動ベクトルの大きさ」、「状況認識により求めた移動体の行動ベクトルの大きさで示される移動体の移動速度」、「状況認識により求めた移動体の行動ベクトルと自車両の進行方向の成す角度」、「自車両の速度及び加速度」、及び「移動体から自車両までの距離」等を用いることができる。これらのパラメータのいずれか、または、これらのパラメータを組み合わせることで危険度を算出する。

図１９は、危険度判定部９３における第１の危険度算出手法を説明するための図である。図１９において、「Ｘ＝０平面」は、自車両６０が走行している道路の平面である。また、移動体９０及び移動体９１の矢印は、それぞれ移動体９０及び移動体９１の移動方向（行動ベクトルの方向）を示している。移動体９０及び移動体９１の移動方向を示す矢印上の丸印及び四角の印は、移動方向に対する危険度を示している。すなわち、移動方向が自車両６０に近づく方向の場合は危険度が高いことを示す四角の印となっている。また、移動方向が自車両６０から離れる方向の場合は危険度が低いことを示す丸印となっている。

危険度判定部９３は、移動体９０（又は、移動体９１）の行動ベクトルＶ１の絶対値が第１の閾値Ｔｈ１よりも小さな値であり（｜Ｖ１｜＜Ｔｈ１）、移動体９０の位置のＸ成分の絶対値が第２の閾値Ｔｈ２よりも小さな値である場合（｜Ｘ｜＜Ｔｈ２）、移動体９０の危険度は、自車両６０と移動体９０との間の距離に応じて算出する。

また、危険度判定部９３は、移動体９０（又は、移動体９１）の行動ベクトルＶ１が、自車両６０が走行しているＸ＝０平面に近づいている場合、移動体９０（又は、移動体９１）の行動ベクトルＶ１と自車両６０の移動方向のベクトルとが成す角度をθとして、「危険度＝（｜Ｖ１｜から成る式）×θから成る式）／（自車両と移動体との間の距離から成る式）」の演算式を用いて危険度を算出する。

また、危険度判定部９３は、移動体９０（又は、移動体９１）の行動ベクトルＶ１が、自車両６０が走行しているＸ＝０の平面から遠ざかっている場合、「危険度＝１」とする。なお、「１」の危険度は、危険度の最小値を示している。

このように危険度判定部９３で算出される危険度としては、「移動体９０（又は、移動体９１）と自車両６０との間の距離が小さく」、かつ、「移動体９０（又は、移動体９１）の行動ベクトルの方向がＸ＝０平面に向いており」、かつ、「移動体９０（又は、移動体９１）の行動ベクトルの絶対値（｜Ｖ｜）の値が大きな値であり」、かつ、「移動体９０（又は、移動体９１）の行動ベクトルと自車両６０の移動方向のベクトルの成す角（θ）が大きいほど、高い危険度が算出される。

次に、図２０は、危険度判定部９３における第２の危険度算出手法を説明するための図である。この図２０に示す第２の危険度算出手法は、予め作成しておいた危険度別空間領域上における移動体９０（又は、移動体９１）の位置で、危険度を決定するものである。図２０に示す例の場合、遠い位置から自車両６０に近づくに連れ、危険度１（危険度最小）、危険度２・・・危険度Ｎ−１、危険度Ｎ（危険度最大）とのように、危険度別に空間領域が分割されている。

また、自車両６０の移動方向に対する、移動体９０（又は、移動体９１）の行動ベクトルの向き及び大きさに応じて、各危険度１〜危険度Ｎに重み付けがされている。図２０において、危険度１〜危険度Ｎの各領域が、自車両６０の進行方向に対して所定の角度を成す直線（直線以外の線でもよい）で分割されていることは、各危険度１〜危険度Ｎに重み付けがされていることを示している。

危険度判定部９３は、図２０に示す危険度算出手法を用いた場合、自車両６０と移動体９０（又は、移動体９１）との間の距離、及び、自車両６０の移動方向に対する、移動体９０（又は、移動体９１）の行動ベクトルの向き及び大きさに応じて危険度を算出する。

例えば、図１８の（ｅ）及び（ｆ）の符号を付した図の例において、矢印の方向は、歩行者区分の通行領域を通行する歩行者の移動方向を示している。また、図１８の（ｆ）の符号を付した図は、図１８の（ｅ）の符号を付した図よりも時間的に後の図となっている。この図１８の（ｅ）及び（ｆ）の符号を付した図に示す例の場合、横断歩道８６上には歩行者は存在しない。また、同図中右側に複数の矢印で示されている複数の歩行者は、横断歩道８６から遠ざかる方向に歩行している。また、同図中左側に単数の矢印で示されている歩行者は、自車両に対して並行方向に歩行しているが、自車両との間には十分な距離が確保されている。この場合、危険度判定部９３は、低い危険度を示す危険度判定情報を出力する。

これに対して、例えば歩行者が横断歩道８６上を歩行している場合、歩行者が横断歩道８６に近づいている場合、自車両と歩行者との間に十分な距離が確保されていない場合、自車両がスクールゾーンを走行中の場合等には、危険度判定部９３は、高い危険度を示す危険度判定情報を出力する。

危険度判定部９３からの危険度判定情報は、図２に示すシリアルＩＦ１９を介して、例えば自動ブレーキシステム又は自動速度制御システム等の外部機器へ供給される。自動ブレーキシステムは、上述の認識対象の認識データ及び危険度判定情報等を用いて自車両のブレーキ制御を行う。また、自動速度制御システムは、認識対象の認識データを用いて自車両の速度制御を行う。自動ブレーキシステム又は自動速度制御システムは、危険度に応じて、段階的に自車両にブレーキをかけて走行速度を調整する。例えば、高い危険度を示す危険度判定情報が供給された場合、自動ブレーキシステム又は自動速度制御システムは、自車両の走行速度が安全な走行速度となるまで、自動的にブレーキをかけて減速する。

ここで、危険度判定部９３は、画像認識部８８により視差画像８５から認識された路面標識、信号標識又は交通標識等の、危険度に関する画像に応じて、危険度の判断基準を変更する。一例ではあるが、路上に表示されている「スクールゾーン」の文字又は標識が画像認識部８８により認識された場合、危険度判定部９３は、危険度をレベル分けする閾値を、低い値に変更して危険度のレベル分けを行う。

これにより、危険度の判断基準を低くすることができ、「スクールゾーン」の文字又は標識が表示されている路上又は近辺を移動する移動体に対して、高い危険度の判定を得易くすることができる。そして、子供の飛び出し等の状況が頻繁に起こり得るスクールゾーンにおいて、高い危険度の判定により、自動ブレーキシステム又は自動速度制御システムを作動させ、自車両の走行速度を安全な走行速度まで減速できる。また、運転者に対して高度な注意を喚起することができ、安全性を十分に担保可能とする危険度予測を可能とすることができる。

また、「スクールゾーン」以外であっても、例えばＴ字路又は交差点等の路上に書かれている「停止」、「危い」、「交差点注意」等の文字、停止線及び横断歩道等の記号が画像認識部８８で認識された際に、危険度判定部９３は、危険度をレベル分けする閾値を、低い値に変更して危険度のレベル分けを行う。これにより、Ｔ字路又は交差点等の路上又は近辺を移動する移動体に対して、高い危険度の判定を得易くすることができる。このため、高い危険度の判定により、被制御部の一例である自動ブレーキシステム又は自動速度制御システムを作動させ、自車両の走行速度を安全な走行速度まで減速できる。また、例えば人、車両、自転車又はオートバイ等が、運転者の視界の外から自車両の前方に移動する危険性に対する注意を、運転者に喚起できる。また、状況変化が頻繁に起こり得る交差点等に対して、安全性を十分に担保可能な危険度予測を可能とすることができる。

なお、上述の例は、危険度の判断基準を低くする例であったが、例えば見渡しの良い道路で、歩行者、障害物、標識等が画像認識部８８で認識されない場合、危険度判定部９３は、危険度をレベル分けする閾値を、高い値に変更して危険度のレベル分けを行う。これにより、危険度の判断基準を高くすることができ、自車両の周囲の移動体に対して、低い危険度の判定を得易くして、運転者の略々自由な運転を可能とすることができる。また、危険度は、走行速度の制御以外に用いてもよい。例えば、危険度判定情報を、被制御部の一例である操舵制御部に供給し、危険度の高い移動体に対して安全性を確保するハンドル制御を行ってもよい。

以上の説明から明らかなように、第３の実施の形態の立体認識装置は、自車両の現在の状況から危険度を判定し、判定結果に応じて速度制御又はハンドル制御等の自車両の制御を行う。また、視差画像８５から認識された物標等の危険度に関する画像から危険度の判断基準を変更して、自車両の制御を行う。これにより、安全性を十分に担保可能な危険度予測を可能とすることができる他、上述の各実施の形態と同様の効果を得ることができる。

（第４の実施の形態）
次に、第４の実施の形態となる立体認識装置の説明をする。第４の実施の形態の立体認識装置は、ヘッドアップディスプレイ（ＨＵＤ）を介して、運転者の視界に、道路状況及び危険度（危険度判定情報）から判断した運転情報を表示するものである。図２１に、第４の実施の形態の立体認識装置のハードウェア構成を示す。図２１に示すように、第４の実施の形態の立体認識装置は、車両のＥＣＵ９５、及びヘッドアップディスプレイ（ＨＵＤ）９６を有している。また、立体認識装置は、ステレオカメラ部１を備えた情報処理部２、及び運転者を撮像するドライバモニタカメラ部９７を有している。ＥＣＵ９５は、制御部の一例である。また、ＨＵＤ９６は、被制御部の一例である。

情報処理部２は、ステレオカメラ部１で撮像された視差画像に基づいて、上述のように車両前方の状況（移動体と、背景及び道路等の静止物との位置関係）を認識し、その認識結果及び危険度判定情報をＥＣＵ９５に供給する。ＥＣＵ９５はＨＵＤ９６を制御することで、情報処理部２で算出された道路状況及び危険度判定情報で示される危険度等を、運転者の視界に重畳して表示する。ドライバモニタカメラ部９７は、運転者の両眼近傍を画角に捉える形態で配置されており、運転者の視線方向を検出する。図２１では、ドライバモニタカメラ部９７は、運転者の頭上に配置されているが、視線方向の検出できれば、どこに配置してもよい。

ＨＵＤ９６は、例えばダッシュボード内に埋め込まれた光学システムであり、内部で生成した中間像をミラー及びレンズ等で拡大した虚像とし、運転者の視点から所定の距離感を持って画像を表示するモジュールである。ＨＵＤ９６の実現形態はパネル投射型又はレーザ走査型の形態があるが、どちらを用いてもよい。レーザ走査型のＨＵＤは、虚像の広角化が可能であり、また、外光に対してロバストな高輝度画像を表示できる。このため、一例ではあるが、実施の形態の立体認識装置においては、ＨＵＤ９６として、レーザ走査型のＨＵＤが設けられている。

図２２は、レーザ走査型のＨＵＤ９６のハードウェア構成を示す図である。図２２に示すように、ＨＵＤ９６は、光源走査部１００によりＲ（赤），Ｇ（緑），Ｂ（青）の３色のレーザが合成される。３色の混合レーザは、光偏向器１０１の反射面に向かって導かれる。光偏向器１０１は、直交する２軸に対して揺動する単一の微小なミラーか、１軸に揺動／回動するミラー二つから成るミラー系であってもよい。光偏向器１０１は半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）である。光偏向器１０１により偏向された光束は、凹面ミラー１０２により折り返され、被走査面１０３に２次元像を描画する。

被走査面１０３はレーザを所望の発散角で発散させる。被走査面１０３としては、マイクロレンズアレイ構造が好適である。被走査面１０３から射出された光束は、凹面ミラー１０４及び半透過ミラー１０５により拡大表示される。なお、レンズ及びプリズム等の透過型光学素子を設けてもよい。

次に、図２３のフローチャートに、ＨＵＤ９６による運転情報の表示動作の流れを示す。ステップＳ２１では、情報処理部２が、第１の実施の形態及び第２の実施の形態で説明したように、先行車両の移動状態、及び、道路状況等の情報認識を行う。また、ステップＳ２２では、情報処理部２が、第３の実施の形態で説明したように、移動体の危険度に基づく危険座標（領域）を判断する。さらに、ステップＳ２３では、情報処理部２が、ステップＳ２１で認識した現在の状況、及びステップＳ２２で判断した危険領域から、自車両の通行可能領域を判断する。そして、ステップＳ２４では、ＨＵＤ９６が、情報処理部２が道路状況及び危険度等から判断した運転情報を、運転者の視界に表示する。

具体的には、危険度が低いことを示す危険度レベル情報を含む危険度判定情報が供給された場合、ＥＣＵ９５は、例えば「現在、危険度は低いですが、周囲の状況に十分注意をして運転してください」等のメッセージを、ＨＵＤ９６を介して表示する。これに対して、例えば歩行者が横断歩道８６に近づいている場合、ＥＣＵ９５は、例えば「歩行者が横断歩道に近づいています。歩行者の横断に注意してください」等のメッセージを、ＨＵＤ９６を介して表示する。これにより、運転者に対して、危険を知らせて注意を喚起することができ、安全運転に貢献できる。

ここで、危険度判定部９３は、画像認識部８８により視差画像８５から認識された路面標識、信号標識又は交通標識等の、危険度に関する画像に応じて、危険度の判断基準を変更する。一例ではあるが、路上に表示されている「スクールゾーン」の文字又は標識が画像認識部８８により認識された場合、危険度判定部９３は、危険度をレベル分けする閾値を、低い値に変更して危険度のレベル分けを行う。

これにより、危険度の判断基準を低くすることができ、「スクールゾーン」の文字又は標識が表示されている路上又は近辺を移動する移動体に対して、高い危険度の判定を得易くすることができる。そして、子供の飛び出し等の状況が頻繁に起こり得るスクールゾーンにおいても、高い危険度の判定により、運転者に対して高度な注意を喚起することができ、安全性を十分に担保可能とする危険度予測を可能とすることができる。

また、「スクールゾーン」以外であっても、例えばＴ字路又は交差点等の路上に書かれている「停止」、「危い」、「交差点注意」等の文字、停止線及び横断歩道等の記号が画像認識部８８で認識された際に、危険度判定部９３は、危険度をレベル分けする閾値を、低い値に変更して危険度のレベル分けを行う。これにより、Ｔ字路又は交差点等の路上又は近辺を移動する移動体に対して、高い危険度の判定を得易くすることができる。このため、例えば人、車両、自転車又はオートバイ等が、運転者の視界の外から自車両の前方に移動する危険性に対する注意を、運転者に喚起できる。また、状況変化が頻繁に起こり得る交差点等に対して、安全性を十分に担保可能な危険度予測を可能とすることができる。

なお、上述の例は、危険度の判断基準を低くする例であったが、例えば見渡しの良い道路で、歩行者、障害物、標識等が画像認識部８８で認識されない場合、危険度判定部９３は、危険度をレベル分けする閾値を、高い値に変更して危険度のレベル分けを行う。これにより、危険度の判断基準を高くすることができ、自車両の周囲の移動体に対して、低い危険度の判定を得易くして、運転者の略々自由な運転を可能とすることができる。

また、この例では、ＨＵＤ９６を介して表示を行うこととして説明を進めるが、スピーカ部を介した音声出力、発光ダイオード（発光部）の発光制御、又は、バイブレータの振動制御等により、危険度判定情報に対応する報知を行ってもよい。すなわち、ディスプレイ、スピーカ部、発光部又はバイブレータ等の報知部を介して、危険度判定情報に対応する報知を行ってもよい。

以下、情報処理部２がＨＵＤ９６を介して行う具体的な表示例を説明する。まず、図２４は、自車両の前方に停止している停止車両１１０を追い越そうとした際に、対向車１１１が認識された場合の表示例である。この場合、情報処理部２は、対向車１１１の減速の度合いから、対向車１１１が停止するか、又は、走行を継続するか、を予測する。対向車１１１が停止するものと予測した場合には、情報処理部２は、ＨＵＤ９６を介して予測停止線を表示する。また、情報処理部２は、対向車１１１の相対速度を計算し、停止位置を予測し、ＨＵＤ９６を介して路面に塗りつぶし部１１２を表示する。

この場合、情報処理部２は、図象の方向性表現と奥行き感の誘起のために、自車両に向かって濃度が変化するグラデーション表現で塗りつぶし部１１２を表示してもよい。また、情報処理部２は、対向車１１１から自車両に向かって掃印するように塗りつぶし部１１２をアニメーション表示してもよい。

また、情報処理部２は、塗りつぶし部１１２の代わりに、線状の予測停止線を表示してもよい。この場合、予測停止線を可視化することができる。また、虚像である塗りつぶし部１１２により、運転者の視界を過剰に占有する不都合を防止でき、煩わしさを低減できる。

また、情報処理部２は、対向車１１１が停止する予測の場合には、停止車両１１０の追い越しを促す矢印を表示してもよい。塗りつぶし部１１２又は予測停止線が表示されることで、運転者が次の行動の判断に迷うことも懸念される。しかし、追い越しを促す矢印を表示することで、運転者に対して、安全に追い越し可能であることを知らせることができ、積極的な行動を促すことができる。さらに、追い越しを促す矢印を表示することで、塗りつぶし部１１２又は予測停止線との区別が明確となり、運転者の混乱を防止できる。

次に、例えば自車両から十分に離れた位置を等速移動する自転車が認識された場合、情報処理部２はＨＵＤ９６を介して、歩行者又は自転車の進行方向に沿って輝度が増すグラデーション表示を行う。歩行者又は自転車の進行方向に対して反対方向に沿って輝度が増すグラデーション表示を行うと、「歩行者又は自転車が自車両に向かっている」と、運転者が誤解して、不要な警戒心を誘発するおそれがある。このため、歩行者又は自転車の進行方向に沿って輝度が増すグラデーション表示を行うことで、歩行者又は自転車の存在及び進行方向を運転者に知らせることができる。

次に、図２５に、前方を走行する自転車に自車両が接近した際に、自転車が急にふらついて車道方向へ移動を開始した場合の表示例である。この場合、情報処理部２は、自車両の進行方向に対して横方向への自車両及び自転車の急な相対速度の変化を検出する。また、情報処理部２は、自車両と自転車との間の距離が近いことから、高い危険度を算出する。この場合、情報処理部２は、図２５に示すようにＨＵＤ９６を介して自転車の動きを予測した行動ベクトル群を、回避領域を示す警戒情報として表示する。一例ではあるが、この行動ベクトル群は、自転車から自車両が走行している道路側へ広がる波紋（法線群１１５）の画像となっている。この法線群１１５は、固定的な画像として表示してもよいし、自転車から道路側へ広がるようにアニメーション表示してもよい。

自転車の行動ベクトルを方向性のある矢印で表現すると、対象を中心として放射する行動ベクトルの束となって表示することとなるため、回避領域が直感的に把握しにくくなるおそれがある。しかし、自転車の行動ベクトルを法線群１１５で表示することで、回避領域を運転者に対して明確に知らせることができ、運転者が自車両と自転車との間合いを把握可能とすることができる。

なお、情報処理部２は、自転車の移動軌跡よりも高い輝度で法線群１１５を表示する。自転車の移動軌跡に対して輝度差を設けて法線群１１５を表示することで、法線群１１５が自転車につきまとう印象を運転者に与える不都合を防止できる。また、危険な状態包帯であることを運転者に知らせることができる。

また、情報処理部２は、例えば危険度が低い場合は青の法線群１１５を表示し、危険度が中程度の場合は黄色の法線群１１５を表示し、危険度が高い場合は赤色の法線群１１５を表示する。すなわち、情報処理部２は、危険度に応じた色で法線群１１５を表示する。これにより、法線群１１５の表示色で、運転者に対して危険度を知らせることができる。

次に、情報処理部２は、隣接する車線を走行していた先行車両があると、上述のように、この先行車両を認識し追従を開始する。このため、自車両と先行車両とが並走することで、ステレオカメラ部１で先行車両の一部しか撮像できない状態となった場合でも、情報処理部２は、先行車両の動きに追従できる。このような状態において、一旦、自車両の後方に位置することとなった先行車両（以下、追い越し車両という）が自車両を追い越そうとした場合、情報処理部２は、自車両と追い越し車両との相対速度から、追い越し車両が自車両を追い越すことが予測される行動ベクトルを検出する。そして、情報処理部２は、後方から追い越しを行う追い越し車両の予測される移動経路（仮想路線）を、ＨＵＤ９６を介して表示する。

図２６、図２７の（ａ）及び（ｂ）の符号を付した図は、自車両を追い越すことが予測される追い越し車両の仮想路線の表示例を示している。情報処理部２は、自車両を追い越すことが予測される行動ベクトルを検出すると、図２６に示すように自車両の走行ラインに隣接する隣接ライン上に、追い越しを行う可能性がある追い越し車両が存在することを示す帯状の仮想路線１２０を表示する。一例ではあるが、情報処理部２は、例えば高い輝度で、かつ、赤色の帯状の仮想路線１２０を表示する。なお、仮想路線１２０を通常の輝度で表示してもよいし、赤色以外の色で表示してもよい。このような仮想路線１２０を表示することで、自車両の運転者に対して、追い越し車両の存在を知らせることができる。また、情報処理部２は、移動経路１２０を表示すると共に、ＥＣＵ９５に対して、自車両の加速を禁止する情報を供給する。これにより、自車両の安全性を確保できる。

次に、追い越し車両が自車両に対してさらに近づいた場合、情報処理部２は、図２７の（ａ）の符号を付した図に示すように、隣接する走行ラインから自車両の走行ラインにかけて帯状の仮想路線１２０を表示する。これにより、自車両の運転者に対して、隣接する走行ラインから、自車両の前方に追い越し車両が車線変更する可能性があることを知らせることができる。また、運転者は、自車両の前方に追い越し車両が車線変更する可能性を認識できるため、自車両の加速を直感的に抑えることができる。なお、このような仮想路線１２０と共に、例えば「後方車接近注意」等の追い越し車両の接近を知らせる文字又はアイコン等の警告の表示を行ってもよい。

次に、追い越し車両が自車両を追い越し、車線変更を開始すると、情報処理部２は、図２７の（ｂ）の符号を付した図に示すように、予測される追い越し車両の移動経路に沿って、帯状の仮想路線１２０を表示する。これにより、自車両の運転者は、追い越し車両の車線変更を妨害しないように、自車両を減速する等の安全運転を行うことができる。

なお、情報処理部２は、仮想路線１２０の表示後に、運転者が自車両の走行速度の減速を検出し、自車両の走行速度が所定の走行速度以下となった際に、表示している仮想路線１２０を非表示とする。

次に、走行ラインを認識困難な道路が存在する。例えば、図２８に示す例は、前方にカーブしている複数車線の道路であり、左側の道路１２４は駐車場に入るための道路となっており、道路１２４に隣接する中央の道路が、先に続く道路１２６となっている道路である。このような道路において、情報処理部２は、第３の実施の形態で説明したように、道路上に書かれている文字を認識することで、左側の道路１２４は駐車場に入るための道路であることを認識する。そして、この場合、情報処理部２は、先に続く道路１２６に沿って帯状の誘導ライン１２５を、ＨＵＤ９６を介して表示する。これにより、ライン設定が複雑な道路においても、運転者に対して先に続く正しいラインを明示できる。

次に、店舗等が、店舗の近くを走行している車両に対して宣伝情報等を無線通信で送信している場合がある。このような無線通信情報を受信した場合、ＥＣＵ９５は、ＨＵＤ９６を介して表示する。図２９の例は、○○商店の近くを走行中に、○○商店がセール中であることを示す宣伝情報を受信した場合の表示例である。この場合、情報処理部２は、受信した「○○商店セール中」等の情報を、ＨＵＤ９６を介して表示する。これにより、運転者は、○○商店の近くを走行しただけで、○○商店がセール中であることを知ることができ、○○商店に立ち寄って所望の商品を購入する等の適切な行動をとることができる。

このように第４の実施の形態の立体認識装置は、道路環境及び自車両の現在の状況等を適切に認識し、ＨＵＤ９６によって運転者の視界に直感的に認識可能な運転情報を表示できる。このため、運転者の安全運手をサポートすることができる。

（第５の実施の形態）
次に、第５の実施の形態となる立体認識装置の説明をする。この第５の実施の形態の立体認識装置は、ナビゲーション装置の検索ルートを、道路状況に応じて再検索させると共に、ＨＵＤ９６上に道路状況等の応じた運転情報を表示するものである。

図３０に、第５の実施の形態の立体認識装置のハードウェア構成を示す。図３０に示すように、第５の実施の形態の立体認識装置は、第４の実施の形態で説明した車両のＥＣＵ９５、及びＨＵＤ９６を有している。また、第５の実施の形態の立体認識装置は、ステレオカメラ部１を備えた情報処理部２、運転者を撮像するドライバモニタカメラ部９７、及び目的地までのルート表示を行うナビゲーション部１３０を有している。ナビゲーション部１３０は、運転者により入力された目的地までのルートを、ＨＵＤ９６を介して表示するようになっている。

図３１のフローチャートに、第５の実施の形態の立体認識装置の動作の流れを示す。運転者によりナビゲーション部１３０に対して目的地が入力され、ナビゲーション部１３０により目的地までのルートが検索され、ＨＵＤ９６に検索されたルートが表示されると、図３１のフローチャートの処理が開始される。

図３１のフローチャートの処理が開始されると、情報処理部２は、第３の実施の形態で説明したように、ステップＳ３１で状況認識を行い、ステップＳ３２で自車両が走行している道路等の危険度を判断する。そして、情報処理部２は、ステップＳ３３において、ステップＳ３１及びステップＳ３２で検出された道路状況及び危険度を用いて、これから走行しようとしている道路が安全に通行可能であるか否かを判別する。なお、ここでいう「これから走行しようとしている道路」は、ステレオカメラ部１の撮像画像から生成された視差画像から判断可能な範囲内の道路を意味している。ステップＳ３３において、情報処理部２により、これから走行しようとしている道路が安全に通行可能であると判別された場合には（ステップＳ３３：Ｙｅｓ）、ステップＳ３４に処理が進み、情報処理部２は、ナビゲーション部１３０によりルートが表示されている画面上に、ＨＵＤ９６を介して安全に通行可能であることを示す通行可能表示を行う。

これに対して、ステップＳ３３において、情報処理部２により、これから走行しようとしている道路を安全に通行することは困難であると判別された場合（ステップＳ３３：Ｎｏ）、ステップＳ３５に処理が進む。ステップＳ３５では、情報処理部２が、ナビゲーション部１３０によりルートが表示されている画面上に、ＨＵＤ９６を介して通行困難であることを示す通行不可表示を行う。これと共に、情報処理部２は、ステップＳ３５において、ナビゲーション部１３０に対してルートの再検索要求を行う。ナビゲーション部１３０は、ルートの再検索要求を受信すると、ステップＳ３６において、ルートの再検索を行い、ステップＳ３７において、再検索したルートを、ＨＵＤ９６を介して表示する。

このように第５の実施の形態の立体認識装置は、道路状況に応じて、ナビゲーション部１３０で検索されたルートを再検索してＨＵＤ９６を介して表示する。これにより、ナビゲーション部１３０で検索されたルートが、走行に適さない場合は、即座にリルートして、走行に適したルートを運転者に提示できる。このため、運転者の安全運転に寄与できる。

なお、上述した実施形態では危険度を用いてルート再検索の判断を行っているが、これに限らず、他の情報を用いても良い。例えば、図１３において説明したような背景モデル（静止物境界領域）の情報と、自車両の幅の情報を用いることができる。自車両の進行方向にある静止物間の距離が自車両の幅よりも狭い場合にルートの再検索を行う。このとき、自車両の幅よりも少し広い幅を設定し、この幅が静止物間の距離よりも狭い場合にルートの再検索を行うのが良い。なお、幅だけでなく、高さ方向にも同様の処理が利用され得る。また、ステレオカメラ等の撮像装置を用いずとも、例えばレーダー等によって周囲の環境を検出するのに十分な情報を取得できる場合には、画像の情報を用いる必要はない。

上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。各実施の形態及び各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば図１４及び図１７等を用いて説明した上述の各実施の形態の各機能は、立体物認識プログラムによりソフトウェア的に実現されることとしたが、一部又は全部を、例えばＩＣ（Integrated Circuit：集積回路）等のハードウェアで実現してもよい。

また、立体物認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、機器内のＲＯＭ等に予め組み込んで提供してもよい。ＤＶＤは、「Digital Versatile Disk」の略記である。

また、上述の各実施の形態の説明では、視差画像は、ステレオカメラ部１で撮像された画像から生成することとした。しかし、視差を形成するように一つのカメラ部の撮像位置を移動して撮像した複数の画像から、視差画像を生成してもよい。

１ ステレオカメラ部
２ 情報処理部
５ レンズ
６ 画像センサ
７ センサコントローラ
１０ データバスライン
１１ シリアルバスライン
１５ ＣＰＵ
１６ ＦＰＧＡ
１７ ＲＯＭ
１８ ＲＡＭ
１９ シリアルＩＦ
２０ データＩＦ
３１ 視差画像生成部
３２ ３次元情報化部
３３ 車両情報（ＣＡＮ情報）取得部
３４ シーン状況認識部
３５ シーン状況更新部
３６ 状況予測部
３７ 追跡認識部
３８ 既検出除去部
３９ 新規物体検出部
４０ 立体物更新部
６０ 自車両
７１ 背景認識部
７２ 道路認識部
７３ 位置予測部
７４ 動き予測部
７５ 追跡検出部
７６ 状況認識部
７７ 動体認識処理部
７８ 認識結果更新部
８５ 視差画像
８６ ３次元情報化部
８７ ３次元構造認識部
８８ 画像認識部
８９ シーン認識部
９０ シチュエーション予測部
９１ シチュエーション認識部
９２ 新規物体検出部
９３ 危険度判定部
９５ ＥＣＵ
９６ ヘッドアップディスプレイ（ＨＵＤ）
９７ ドライバモニタカメラ部
１３０ ナビゲーション部

特開２０００−２６６５３９号公報

Claims (13)

1. 各画素の距離情報を含む距離画像を取得する距離画像取得部と、
   前記距離画像から少なくとも移動体を検出する移動体検出部と、
   前記距離画像を用いて、少なくとも前記移動体の危険度を判定し、前記危険度に応じて被制御部を制御する制御部に対して、前記危険度を出力する危険度判定部と
   を有する処理装置。
2. 前記移動体の行動ベクトルを検出する行動ベクトル検出部を、さらに備え、
   前記危険度判定部は、前記行動ベクトルを用いて前記移動体の危険度を判定すること
   を特徴とする請求項１に記載の処理装置。
3. 前記危険度判定部は、前記行動ベクトルの向きで示される前記移動体の移動方向、及び前記行動ベクトルの大きさで示される前記移動体の移動速度から前記移動体の危険度を判定すること
   を特徴とする請求項２に記載の処理装置。
4. 前記危険度判定部は、前記移動体との間の距離、前記行動ベクトルの向きで示される前記移動体の移動方向、及び前記行動ベクトルの大きさで示される前記移動体の移動速度から前記移動体の危険度を判定すること
   を特徴とする請求項２に記載の処理装置。
5. 前記危険度判定部は、前記移動体との間の距離、前記移動体との間の角度、前記行動ベクトルの向きで示される前記移動体の移動方向、及び前記行動ベクトルの大きさで示される前記移動体の移動速度から前記移動体の危険度を判定すること
   を特徴とする請求項２に記載の処理装置。
6. 前記危険度判定部は、前記移動体との間の距離に応じて予め設定されている危険度を、前記移動体の危険度として判定すること
   を特徴とする請求項２に記載の処理装置。
7. 前記危険度判定部は、前記移動体との間の距離及び角度に応じて予め設定されている危険度を、前記移動体の危険度として判定すること
   を特徴とする請求項２に記載の処理装置。
8. 前記距離画像から危険度に関する画像を認識する画像認識部を、さらに備え、
   前記危険度判定部は、前記危険度に関する画像に応じて変更した前記危険度の判定基準を用いて、前記移動体の危険度の判定を行うこと
   を特徴とする請求項１から請求項７のうち、いずれか一項に記載の処理装置。
9. 前記画像認識部は、前記危険度に関する画像として物標の画像を認識すること
   を特徴とする請求項８に記載の処理装置。
10. 各画素の距離情報を含む距離画像を取得する距離画像取得部と、
    前記距離画像から少なくとも移動体を検出する移動体検出部と、
    前記距離画像を用いて、少なくとも前記移動体の危険度を判定して出力する危険度判定部と、
    前記危険度に応じて、被制御部を制御する制御部と
    を有する処理システム。
11. 前記制御部は、車両の制動制御、車両のハンドル制御、及び、表示部に対する表示制御のうち、少なくとも一つの制御を、前記危険度に応じて行うこと
    を特徴とする請求項１０に記載の処理システム。
12. コンピュータを、
    各画素の距離情報を含む距離画像を取得する距離画像取得部と、
    前記距離画像から少なくとも移動体を検出する移動体検出部と、
    前記距離画像を用いて、少なくとも前記移動体の危険度を判定し、前記危険度に応じて被制御部を制御する制御部に対して、前記危険度を出力する危険度判定部として機能させること
    特徴とする処理プログラム。
13. 距離画像取得部が、各画素の距離情報を含む距離画像を取得する距離画像取得ステップと、
    移動体検出部が、前記距離画像から少なくとも移動体を検出する移動体検出ステップと、
    危険度判定部が、前記距離画像を用いて、少なくとも前記移動体の危険度を判定し、前記危険度に応じて被制御部を制御する制御部に対して前記危険度を出力する危険度判定ステップと
    を有する処理方法。