JP2010250501A - 車両用外界認識装置及びそれを用いた車両システム - Google Patents

Abstract

【課題】安全性確保と処理負荷低減の両立を図ることができる車両用外界認識装置及び車両システムを提供する。
【解決手段】車両用外界認識装置１００は、自車の予測進路と自車前方の検知物体の情報に基づいて自車が検知物体に衝突する危険度を演算する第１の衝突判定手段１０３と、検知物体が予測進路の外から予測進路内に進入するか否かを判定する第２の衝突判定手段１０４を有する。そして、複数の検知物体の中から、危険度が第１の閾値以上である検知物体と、予測進路内に進入すると判定された検知物体とを選択候補物体として選択し、その選択された複数の選択候補物体の中から、自車との相対距離が最小となる選択候補物体を歩行者判定要求物体として選択する物体選択手段１０５を有する。そして、その選択された歩行者判定要求物体に対して画像情報を用いて歩行者か否かを判定する歩行者判定手段１０６を有する。
【選択図】図１

Description

本発明は、レーダ等の測距センサとカメラ等の画像センサからの情報に基づいて測距センサの検知物が歩行者であるか否かを判定する車両用外界認識装置及びそれを用いた車両システムに関する。

日本国内の交通死亡事故のうち、歩行者が死亡する事故は全体の約３０％を占めており、特に東京都内の場合、歩行者死亡事故の割合は約４０％に上ると言われている。このような歩行者死亡事故を低減するためには、レーダやカメラなどの環境認識センサを利用した安全運転支援システムが有効であり、特開２００７−１１４８３１号公報では、レーダとカメラを用いて歩行者等の物体を検知するシステムが提案されている。この方法によれば、レーダで検知した物体の距離と反射強度に応じて物体の属性を判別し、この属性に応じてカメラで撮像した画像データを用いて個体識別することが可能となる。

また、特開２００５−０２５４５８号公報には、レーダ等の測距センサで検知した物体をカメラで冗長に補足するシステムが記載されている。このシステムでは、まず、車速と操舵角とヨーレートを用いて自車の進路を旋回半径として予測し、この予測進路とレーダで検知した物体の相対位置に応じて自車との衝突可能性を判定する。また、レーダで検知した物体の相対位置の変化量から相対速度ベクトルを算出し、この相対速度ベクトルに応じて自車との衝突可能性を判定する。

そして、縦方向の相対速度が小さい物体に対しては予測進路による衝突判定の結果を重視し、縦方向の相対速度が大きい物体に対しては相対速度ベクトルによる衝突判定の結果を重視して、レーダで検知した物体から画像処理の対象物を選択する。この発明によれば、自車前方の停止車両を操舵回避した後に、前方を走行する低速車との接近が起こるようなシーンで、的確に衝突可能性を判定することが可能となり、画像処理負荷を低減することができる。

特開２００７−１１４８３１号公報 特開２００５−０２５４５８号公報

しかしながら、特開２００７−１１４８３１号公報に記載されているように、レーダで検知した物体を、カメラで撮像した画像データを用いて個体識別する方式、例えば歩行者を認識する方式においては、膨大なパターンの歩行者に対して認識精度を向上させようとすると、画像処理ロジックが複雑化して処理負荷が増大してしまうため、画像処理を行う物体を絞り込んで画像処理を行う必要がある。

また、特開２００５−０２５４５８号記載の方式においては、図１７（ａ）の左側の図で示すように、「遠方、かつ、自車の予測進路上に静止している歩行者Ａ」と「自車の予測進路外から横断してくる歩行者Ｂ」が同時に存在する場合に、歩行者Ａを画像処理の対象として優先してしまうといった課題がある。特に、自車が低車速で走行しており、その前方を歩行者が小走りで斜めに横断するような場合には、図１７（ａ）の右側の図で示すように、横断してくる歩行者１７１２が予測進路１７０４内に進入した後に画像処理の対象として選択されるため、認識の遅れにより安全運転支援システムが有効に作動しない可能性がある。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、安全性確保と処理負荷低減の両立を図ることができる車両用外界認識装置及びそれを用いた車両システムを提供する。

上記課題を解決する車両用外界認識装置の発明は、自車前方に位置する複数の検知物体を検知した検知物体情報と、自車前方を撮像した画像の画像情報と、自車の状態を検知した自車情報に基づいて車両の外界を認識する車両用外界認識装置であって、自車情報に基づいて自車の予測進路を設定する予測進路設定手段と、予測進路設定手段により設定した予測進路と検知物体情報とに基づいて各検知物体が自車に衝突する危険度を演算する第１の衝突判定手段と、予測進路と検知物体情報とに基づいて各検知物体が予測進路の外から予測進路内に進入するか否かを判定する第２の衝突判定手段と、複数の検知物体の中から、第１の衝突判定手段により演算された危険度が予め設定された第１の閾値以上である検知物体と、第２の衝突判定手段により予測進路内に進入すると判定された検知物体を選択候補物体として選択し、その選択された複数の選択候補物体の中から自車との相対距離、または、衝突予測時間が最小となる選択候補物体を歩行者判定要求物体として選択する物体選択手段と、物体選択手段により選択された歩行者判定要求物体に対して画像情報を用いて歩行者か否かの判定を行う歩行者判定手段を有することを特徴としている。

そして、好ましくは、物体選択手段は、選択候補物体を複数選択しており、それら複数の選択候補物体の中に、前回の処理で歩行者判定要求物体として選択されていた選択候補物体が含まれている場合に、その選択されていた選択候補物体を再選択候補物体として特定し、予測進路と検知物体情報とに基づいて再選択候補物体を歩行者判定要求物体の選択候補から除外するか否かの判定を行う。

また、好ましくは、歩行者判定手段は、歩行者判定要求物体に対する第１の衝突判定手段の判定結果と、第２の衝突判定手段の判定結果に応じて画像情報の画像処理領域を設定する処理を行う。

本発明によれば、複数の検知物体の中から、第１の衝突判定手段によって危険度が第１の閾値以上であると判定された検知物体と、第２の衝突判定手段によって予測進路の外から予測進路内に進入すると判定された検知物体とを選択候補物体として選択し、その複数の選択候補物体の中から、自車との相対距離、または、衝突予測時間が最小となる選択候補物体を歩行者判定要求物体として選択するので、衝突可能性が高い自車近傍の横断歩行者を優先的に歩行者判定要求物体として選択することが可能となる。特に、自車が低車速で走行しており、その前方に存在する歩行者が小走りで自車の予測進路上を斜め横断するような場合の認識遅れを回避できる。

したがって、歩行者を迅速かつ確実に検知でき、歩行者の安全性を確保することができる。また、画像情報の処理領域を的確に設定することができ、処理領域を小さくして、装置の画像処理負荷を低減することができる。

そして、本発明によれば、複数の選択候補物体の中に、前回の処理で歩行者判定要求物体として選択されていた選択候補物体が含まれている場合に、その選択されていた選択候補物体を再選択候補物体として特定する。そして、予測進路と検知物体情報とに基づいて再選択候補物体を歩行者判定要求物体の選択候補から除外するか否かの判定を行う。

したがって、歩行者判定要求物体を直ぐに切替えることが可能となる。例えば、歩行者判定要求物体として選択されている歩行者が自車正面を通過した後、新たに横断してくる歩行者が出現した場合には、新たに出現した横断歩行者を歩行者判定要求物体として選択できる。したがって、歩行者判定手段の処理負荷を低減することができる。

さらに、選択した歩行者判定要求物体が自車の車幅方向（すなわち、横方向）に移動している場合、画像情報の画像処理領域を歩行者判定要求物体の移動方向にシフトし、その移動方向と自車の予測進路に応じて画像処理領域の制限値を設けるので、安全性確保と処理負荷低減の両立が図れる。

本実施の形態に係わる車両用外界認識装置の構成を示す機能ブロック図。 本実施の形態に係わる車両用外界認識装置、及びそれを用いた車両システムの制御装置を示す機能ブロック図。 物体情報取得手段の処理内容を説明するための模式図。 予測進路設定手段の処理内容、および、第１の衝突判定手段の危険度Ｄ１［ｉ］の演算方法を説明するための模式図。 第１の衝突判定手段の危険度Ｄ２［ｉ］の演算方法を説明するための模式図。 レーダで検知した物体が予測進路の右端を通過して自車の車幅方向に左へ移動する場合を示す模式図。 第２の衝突判定手段の処理内容を示すフローチャート。 物体選択手段の処理内容を示すフローチャート。 物体選択手段の処理内容を示すフローチャート。 物体選択手段の処理内容を示すフローチャート。 歩行者判定手段の処理内容を示すフローチャート。 画像処理領域の設定パターンを示す表、および、模式図。 歩行者を判定するパターンマッチング処理を説明するための模式図。 フュージョン手段の処理内容を示すフローチャート。 制御装置の処理内容を示すフローチャート。 年齢層別に歩行中死傷者の事故類型を分類した統計データ。 「遠方でかつ自車の予測進路上に静止している歩行者」と「近傍でかつ自車の予測進路外から横断してくる歩行者」が同時に存在する場合を示す模式図。 「近傍でかつ自車の予測進路上を左に移動している歩行者」が存在し、かつ、「遠方で自車の予測進路外（右側）から予測進路上を横断してくる歩行者」が新たに出現した場合の模式図。 物体情報取得手段において、ステレオカメラで撮像した画像データに応じて物体情報を取得する場合の構成を示すブロック図。

以下、本実施の形態に係わる車両用外界認識装置１００及びそれを用いた車両システム１の実施形態を、図１〜図１９を用いて詳細に説明する。
まず、図１、図２を用いて、本発明に係る車両用外界認識装置１００の処理内容について説明する。図１、図２は、車両用外界認識装置１００及びそれを用いた車両システム１の構成要素である制御装置２００の実施形態を示すブロック図である。

以下に示す処理の内容は、車両用外界認識装置１００にプログラミングされ、予め定められた周期で繰り返し実行される。
図１において、物体情報取得手段１０１は、測距センサであるレーダによって検知した物体までの距離ｄ［ｉ］（m）、方位θ［ｉ］（rad）、幅ｗ［ｉ］（rad）の情報を取得し、その取得した信号を変換するインターフェース処理を行うことにより、レーザ情報として物体の自車に対する車幅方向の相対位置（以下、横位置と称する）ＰＸＲ［ｉ］（m）、自車に対する全長方向の相対位置（以下、縦位置と称する）ＰＹＲ［ｉ］（m）、自車に対する車幅方向の相対速度（以下、横速度と称する）ＶＸＲ［ｉ］（m/s）、自車に対する全長方向の相対速度（以下、縦速度と称する）ＶＹＲ［ｉ］（m/s）、自車の車幅方向に沿った物体の幅ＷＤＲ［ｉ］（m）を演算する。ここで、ｉはレーダが複数の物体を検知している場合の物体ＩＤ番号である。なお、インターフェース処理の内容については後述する。

予測進路設定手段１０２は、図示していない車速センサ、操舵角センサ、および、ヨーレートセンサ等の、自車の状態を検知するセンサからの検出信号に応じて、車速ＶＳＰ、操舵角α、および、ヨーレートγ等の自車情報を取得し、その取得した自車情報に応じて自車の予測進路を演算する処理を行う。ここでは、自車の予測進路として旋回半径Ｒ（m）が演算される。なお、旋回半径Ｒの演算方法については後述する。これらの自車情報は、各センサの信号を車両用外界認識装置１００に直接入力することによって取得しても良いし、センサ信号が他の制御装置に入力されている場合はそれらの制御装置とＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得しても良い。

第１の衝突判定手段１０３は、予測進路設定手段１０２により得られた旋回半径Ｒ（m）と物体情報取得手段１０１により得られたレーダ情報の横位置ＰＸＲ［ｉ］（m）、縦位置ＰＹＲ［ｉ］（m）に応じて危険度Ｄ１［ｉ］を演算する。ここで、危険度Ｄ１［ｉ］は、レーダで検知した物体が自車の予測進路の中央にどれだけ近いかを示す値である。

また、第１の衝突判定手段１０３は、横位置ＰＸＲ［ｉ］（m）、縦位置ＰＹＲ［ｉ］（m）、および、横速度ＶＸＲ［ｉ］（m/s）、縦速度ＶＹＲ［ｉ］（m/s）に応じて危険度Ｄ２［ｉ］を演算する。ここで、危険度Ｄ２［ｉ］は、レーダが検知した物体の相対速度ベクトルが自車に向かっている度合いを示す値である。

そして、第１の衝突判定手段１０３は、危険度Ｄ１［ｉ］、Ｄ２［ｉ］を縦速度ＶＹＲ［ｉ］（m/s）に応じて重み付けすることにより、危険度Ｄ［ｉ］を演算する。なお、危険度Ｄ１［ｉ］、Ｄ２［ｉ］、および、Ｄ［ｉ］の演算方法については後述する。

第２の衝突判定手段１０４は、予測進路設定手段１０２により得られた旋回半径Ｒと物体情報取得手段１０１により得られたレーダ情報の横位置ＰＸＲ［ｉ］（m）、縦位置ＰＹＲ［ｉ］（m）、および、横速度ＶＸＲ［ｉ］（m/s）、縦速度ＶＹＲ［ｉ］（m/s）に応じて、判定フラグｆＲＭＶＬＡＴ［ｉ］を演算する。ここで、判定フラグｆＲＭＶＬＡＴ［ｉ］は、レーダで検知した物体が所定時間経過後に自車の予測進路を横断するか否かを示すフラグである。なお、判定フラグｆＲＭＶＬＡＴ［ｉ］の演算方法については後述する。

物体選択手段１０５は、第１の衝突判定手段１０３により得られた危険度Ｄ［ｉ］と、第２の衝突判定手段１０４により得られた判定フラグｆＲＭＶＬＡＴ［ｉ］に応じて、判定フラグｆＩＭＧＡＣＴ［ｉ］を演算する。ここで、判定フラグｆＩＭＧＡＣＴ［ｉ］は、レーダで検知した物体に対して画像処理によって歩行者を判定するか否かを示すフラグである。なお、判定フラグｆＩＭＧＡＣＴ［ｉ］の演算方法については後述する。

歩行者判定手段１０６は、物体選択手段１０５により得られた判定フラグｆＩＭＧＡＣＴ［ｉ］と、物体情報取得手段１０１により得られた物体のレーダ情報（横位置ＰＸＲ［ｉ］（m）、縦位置ＰＹＲ［ｉ］（m）、横速度ＶＸＲ［ｉ］（m/s）、縦速度ＶＹＲ［ｉ］（m/s）、幅ＷＤＲ［ｉ］（m））と、カメラで撮像した自車前方の画像データとに基づいて、画像処理によって歩行者か否かを判定する。

そして、歩行者と判定した場合には、歩行者のカメラ情報（歩行者の横位置ＰＸＣ［ｉ］（m）、縦位置ＰＹＣ［ｉ］（m）、横速度ＶＸＣ［ｉ］（m/s）、縦速度ＶＹＣ［ｉ］（m/s）、幅ＷＤＣ［ｉ］（m））を演算する。なお、画像処理によって歩行者か否かを判定する方法については後述する。ここで、ｉは画像処理によって複数の歩行者を認識している場合の物体ＩＤ番号である。

図２において、フュージョン手段１０７は、物体情報取得手段１０１より得られた物体のレーダ情報（横位置ＰＸＲ［ｉ］（m）、縦位置ＰＹＲ［ｉ］（m）、横速度ＶＸＲ［ｉ］（m/s）、縦速度ＶＹＲ［ｉ］（m/s）、幅ＷＤＲ［ｉ］（m））と、歩行者判定手段１０６により得られたカメラ情報（横位置ＰＸＣ［ｉ］（m）、縦位置ＰＹＣ［ｉ］（m）、横速度ＶＸＣ［ｉ］（m/s）、縦速度ＶＹＣ［ｉ］（m/s）、幅ＷＤＣ［ｉ］（m））とを統合化して、歩行者の横位置ＰＸ［ｉ］（m）、縦位置ＰＹ［ｉ］（m）、横速度ＶＸ［ｉ］（m/s）、縦速度ＶＹ［ｉ］（m/s）、幅ＷＤ［ｉ］（m）の情報であるフュージョン情報を生成する。なお、フュージョン情報を生成する方法については後述する。ここで、ｉはフュージョンによって複数の歩行者情報を生成している場合の物体ＩＤ番号である。

統合化衝突判定手段１０８は、予測進路設定手段１０２により得られた旋回半径Ｒと、フュージョン手段１０７により得られた物体の横位置ＰＸ［ｉ］（m）と縦位置ＰＹ［ｉ］（m）に応じて危険度Ｄｆ１［ｉ］を演算する。ここで、危険度Ｄｆ１［ｉ］は、フュージョン手段１０７で認識した歩行者が自車の予測進路中央にどれだけ近いかを示す値である。

また、統合化衝突判定手段１０８は、歩行者のフュージョン情報（横位置ＰＸ［ｉ］（m）、縦位置ＰＹ［ｉ］（m）、および、横速度ＶＸ［ｉ］（m/s）、縦速度ＶＹ［ｉ］（m/s））に応じて危険度Ｄｆ２［ｉ］を演算する。ここで、危険度Ｄｆ２［ｉ］は、フュージョン手段１０７で認識した歩行者の相対速度ベクトルが自車に向かっている度合いを示す値である。

さらに、統合化衝突判定手段１０８は、危険度Ｄｆ１［ｉ］、Ｄｆ２［ｉ］を縦速度ＶＹ［ｉ］（m/s）に応じて重み付けすることにより危険度Ｄｆ［ｉ］を演算する。なお、危険度Ｄｆ１［ｉ］、Ｄｆ２［ｉ］、および、Ｄｆ［ｉ］の演算方法については後述する。

車両用外界認識装置１００は、図２に示すように、フュージョン手段１０７により生成したフュージョン情報と、統合化衝突判定手段１０８により得られた危険度Ｄｆ［ｉ］をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって制御装置２００に出力する。

制御装置２００は、車両用外界認識装置１００のフュージョン手段１０７から入力したフュージョン情報と、車両用外界認識装置１００の統合化衝突判定手段１０８から入力した危険度Ｄｆ［ｉ］に応じて、警報・ブレーキ指令値を演算して、図示しない警報装置・ブレーキ装置を作動させる。なお、警報・ブレーキ指令値の演算方法については後述する。

次に、図３を用いて、物体情報取得手段１０１の処理内容について説明する。
図３は、物体情報取得手段の処理内容を説明するための模式図である。

物体情報取得手段１０１は、レーダで検知した物体３２の中心３２ａまでの距離ｄ［ｉ］、方位θ［ｉ］、幅ｗ［ｉ］を取得し、自車３１を原点Ｏとする２次元の相対座標系（Ｘ−Ｙ座標）の情報に変換する。例えば、物体３２の方位θ［ｉ］が自車３１の進行方向（相対座標系のＹ軸）と、レーダで検知した物体３２の相対位置ベクトルとのなす角θで与えられるとき、物体３２の横位置ＰＸＲ［ｉ］、縦位置ＰＹＲ［ｉ］は、下記の式（１）で算出される。
（ＰＸＲ［ｉ］、ＰＹＲ［ｉ］）＝（ｄ・sinθ、ｄ・cosθ） ………（１）

また、自車３１の車幅方向に沿った物体３２の横幅であるレーダ幅ＷＤＲ［ｉ］は、下記の式（２）となる。
ＷＤＲ［ｉ］＝ＰＹＲ［ｉ］×｛ｔａｎ（θ＋ｗ／２）−ｔａｎ（θ−ｗ／２）｝
………（２）

横速度ＶＸＲ［ｉ］、縦速度ＶＹＲ［ｉ］は、下記の式（３）、（４）に示すように、横位置ＰＸＲ［ｉ］、縦位置ＰＹＲ［ｉ］を擬似微分することにより算出される。また、擬似微分した値に対して、必要に応じてローパスフィルタ等のフィルタ処理を施した値を使用しても良い。
ＶＸＲ［ｉ］＝（ＰＸＲ［ｉ］−ＰＸＲｚ［ｉ］）／Ｔｓ ………（３）
ＶＹＲ［ｉ］＝（ＰＹＲ［ｉ］−ＰＹＲｚ［ｉ］）／Ｔｓ ………（４）

ここで、Ｔｓはサンプリング周期であり、ＰＸＲｚ［ｉ］、ＰＹＲｚ［ｉ］はそれぞれ横位置ＰＸＲ［ｉ］、縦位置ＰＹＲ［ｉ］の１周期前の値である。なお、これらの情報はレーダからの信号を車両用外界認識装置１００に直接入力することによって取得しても良いし、レーダからの信号が他の制御装置に入力されている場合はそれらの制御装置とＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得しても良い。

次に、図４を用いて、車両用外界認識装置１００の予測進路設定手段１０２について説明する。
図４は、予測進路設定手段１０２の処理内容を示す模式図である。

図４に示すように、自車４１の位置を原点Ｏとすると、予測進路４５は、予測進路４５の中央線４５ａが原点Ｏを通る旋回半径Ｒの円弧で近似できる。なお、予測進路４５は、中央領域４３と、その中央領域４３の左右両側に沿って設定される側方領域４４とからなり、中央領域４３は、自車４１の車幅とほぼ同一の大きさを有し、側方領域４４は、車幅の半分の大きさに設定されている。

旋回半径Ｒは、自車４１の操舵角α、速度ＶＳＰ、スタビリティファクタＡ、ホイールベースＬおよびステアリングギア比Ｇｓを用いて下記の式（５）で表される。
Ｒ＝（１＋Ａ・ＶＳＰ^２）×（Ｌ・Ｇｓ／α） ………（５）

ここで、スタビリティファクタとは、その正負が、車両４１のステア特性を支配するものであり、車両４１の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。上記した式（５）から理解できるように、旋回半径Ｒは、スタビリティファクタＡを係数として、自車４１の速度ＶＳＰの２乗に比例して変化する。また、旋回半径Ｒは、自車４１の車速ＶＳＰおよびヨーレートγを用いて下記の式（６）で表すことができる。
Ｒ＝ＶＳＰ／γ ………（６）

以上説明したように、車速ＶＳＰ、操舵角αおよびヨーレートγの自車情報を利用することによって、自車４１の予測進路４５を旋回半径Ｒの円弧で近似することが可能となる。

次に、図４と図５を用いて、車両用外界認識装置１００の第１の衝突判定手段１０３の処理内容について説明する。

まず、図４を用いて、第１の衝突判定手段１０３の危険度Ｄ１［ｉ］の演算方法について説明する。
レーダで検知した物体４２の横位置をＰＸＲ［ｉ］、縦位置をＰＹＲ［ｉ］とすると、旋回半径Ｒの描く円弧の中心４６から物体４２までの距離ｒは、下記の式（７）で表される。
（Ｒ−ＰＸＲ［ｉ］）^２＋ＰＹＲ［ｉ］^２＝ｒ^２ ………（７）

また、旋回半径Ｒと距離ｒの半径差分δは、下記の式（８）で求めることができる。
δ＝｜Ｒ−ｒ｜ ………（８）

図４から、上記式（８）の半径差分δが小さくなるほど、検知した物体４２が自車４１の予測進路４５の中央線４５ａに近づくため、危険度が高いと判断できる。危険度Ｄ１［ｉ］は、半径差分δ、自車４１の車幅ＷＣを用いて下記の式（９）により算出する。
Ｄ１［ｉ］＝１−δ／ＷＣ ………（９）

上記式（９）から理解できるように、予測進路４５の中央線４５ａから物体４２までの距離である半径差分δが車幅ＷＣ以内（ｄ≦ＷＣ）である物体４２の危険度は０以上（Ｄ１［ｉ］≧０）となり、半径差分δが車幅ＷＣ以上（ｄ＞ＷＣ）である物体４２の危険度は０よりも小さな値（Ｄ１［ｉ］＜０）となる。

次に、図５を用いて、第１の衝突判定手段１０３の危険度Ｄ２［ｉ］の演算方法について説明する。
図５（ａ）は、危険度Ｄ２［ｉ］の演算方法を示す模式図、図５（ｂ）は、図５（ａ）の自車５１部分を拡大して示す概略図である。

図５（ａ）に示す状況の場合、レーダで検知した検知物体ｍ５２の横位置をＰＸＲ［ｍ］、縦位置をＰＹＲ［ｍ］とすると、これらの擬似微分により求めた検知物体ｍ５２の相対速度ベクトル（ＶＸＲ［ｍ］、ＶＹＲ［ｍ］）は、自車５１に向かっており、Ｘ軸と自車幅内で交差することが予想される。したがって、検知物体ｍ５２は、自車５１と衝突する衝突可能性が高いと判定できる。

一方、レーダで検知した検知物体ｎ５３の横位置をＰＸＲ［ｎ］、縦位置をＰＹＲ［ｎ］とすると、これらの擬似微分により求めた検知物体ｎ５３の相対速度ベクトル（ＶＸＲ［ｎ］、ＶＹＲ［ｎ］）は、Ｘ軸と自車幅内で交差せず、かつ、自車５１の側面とも交差しないことが予想される。したがって、検知物体ｎ５３は、自車５１と衝突する衝突可能性が低いと判定できる。

危険度Ｄ２［ｉ］は、図５（ｂ）に示すように、自車５１の対角に位置する点５１ａ−５１ｂを結ぶ対角線５１ｃと、相対速度ベクトル５２ａ、５３ａとの交点５１ｆ、５１ｇを求める。そして、その交点５１ｆ、５１ｇと対角線５１ｃの中点５１ｅとの距離ｄと、対角線５１ｃの点５１ａ−５１ｂ間の長さＷＫを用いて、下記の式（１０）により算出する。
Ｄ２［ｉ］＝１−ｄ／ＷＫ ………（１０）

上記式（１０）から理解できるように、対角線５１ｃの中点５１ｅから交点５１ｆ、５１ｇまでの距離ｄが対角線５１ｃの点５１ａ−５１ｂ間の長さＷＫ以内（ｄ≦ＷＫ）である物体の危険度Ｄ２は０以上となり、距離ｄが対角線５１ｃの長さＷＫよりも大きい物体の危険度Ｄ２は０よりも小さな値となる。

例えば、物体５２は、対角線５１ｃの中点５１ｅから交点５１ｆまでの距離ｄが長さＷＫ以内（ｄ≦ＷＫ）であるので、物体５２の危険度Ｄ２は０以上（Ｄ２［ｉ］≧０）となる。そして、物体５３は、対角線５１の中点５１ｅから交点５１ｇまでの距離ｄが長さＷＫよりも長い（ｄ＞ＷＫ）ので、物体５３の危険度Ｄ２は０よりも小さな値（Ｄ２［ｉ］＜０）となる。

以上説明したように、レーダで検知した物体情報から相対速度ベクトルを求め、この相対速度ベクトルと自車５１との交点を求めることにより衝突可能性を判定できる。

レーダで検知した物体の縦方向の速度が自車の速度と同程度の場合、この物体の縦方向の相対速度が小さくなり、危険度Ｄ２［ｉ］＜０となる。したがって、危険度Ｄ１［ｉ］、Ｄ２［ｉ］の双方を用いて判断することが望ましい。第１の衝突判定手段１０３の危険度Ｄ［ｉ］は、式（１１）、（１２）により算出する。
Ｋ［ｉ］＝ｆ（ＶＹＲ［ｉ］） ………（１１）
Ｄ［ｉ］＝Ｋ［ｉ］×Ｄ１［ｉ］＋（１−Ｋ［ｉ］）×Ｄ２［ｉ］ ………（１２）

ここで、重み係数Ｋ（０〜１）は、物体の縦方向の相対速度に応じて調整するパラメータであり、関数ｆによりレーダで検知した物体の縦速度ＶＹＲ［ｉ］が自車に近づく方向に大きいときはＫ＝０に設定され、自車に近づく方向の縦速度ＶＹＲ［ｉ］が小さくなるにしたがってＫ＝１まで徐々に増加させるように設定する。また、レーダで検知した物体の縦速度ＶＹＲ［ｉ］が自車から離れていく方向のときはＫ＝０とする。

以上説明したように、レーダで検知した物体の縦速度ＶＹＲ［ｉ］に応じて危険度Ｄ１［ｉ］とＤ２［ｉ］を統合化して危険度Ｄ［ｉ］を求め、この危険度Ｄ［ｉ］で衝突可能性を判定することにより、レーダで検知した物体の縦方向の速度が自車の速度と同程度の場合など、様々なシーンで的確に衝突可能性を判定できる。

次に、図６、図７を用いて、第２の衝突判定手段１０４の処理内容について説明する。
図６は、レーダで検知した物体６２が予測進路６３の右端６３Ｒを通過し、自車６１の車幅方向に左へ移動する場合を示している。第２の衝突判定手段１０４は、図６に示すように、予測進路６３外で検知した物体６２が予測進路６３上を横断するか否かを判定する。

図７は、第２の衝突判定手段１０４の処理内容を示すフローチャートである。
まず、ステップＳ７０１において、レーダで物体６２を検知しているか否かの判定を行い、検知していない場合はステップＳ７０６に進み、予測進路６３外で検知した物体６２が予測進路６３上を横断するか否かを判定するフラグｆＲＭＶＬＡＴ［ｉ］をクリアする。

そして、ステップＳ７０１にてレーダで物体６２を検知している場合は、ステップＳ７０２に進み、レーダで検知した物体６２のレーダ情報（縦位置ＰＹＲ［ｉ］、横位置ＰＸＲ［ｉ］、縦速度ＶＹＲ［ｉ］、横速度ＶＸＲ［ｉ］）、および、予測進路設定手段１０２で設定した旋回半径Ｒを読み込み、縦位置ＰＹＲ［ｉ］における予測進路６３の左右端６３Ｒ、６３Ｌ（予測進路６３の中央６３ａから自車６１の車幅ＷＣの１／２だけ離れた円弧）の横位置ＸＬ［ｉ］、ＸＲ［ｉ］を算出する。

図６からわかるように、縦位置ＰＹＲ［ｉ］における予測進路６３の左右端６３Ｒ、６３Ｌの横位置ＸＬ［ｉ］、ＸＲ［ｉ］を求める方程式は、下記の式（１３）、（１４）で表される。
左端：（Ｒ−Ｘ）^２＋Ｙ^２＝（Ｒ＋ＷＣ／２）^２ ………（１３）
右端：（Ｒ−Ｘ）^２＋Ｙ^２＝（Ｒ−ＷＣ／２）^２ ………（１４）

したがって、横位置ＸＬ［ｉ］、ＸＲ［ｉ］は、式（１５）、（１６）で求まる。
ここで、関数ｓｑｒｔ｛｝は｛｝内の値の２乗根を算出する関数である。
ＸＬ［ｉ］＝Ｒ−ｓｑｒｔ｛（Ｒ＋ＷＣ／２）^２−ＰＹＲ［ｉ］^２｝ ………（１５）
ＸＲ［ｉ］＝Ｒ−ｓｑｒｔ｛（Ｒ−ＷＣ／２）^２−ＰＹＲ［ｉ］^２｝ ………（１６）

次に、ステップＳ７０３において、予測進路６３外でレーダによって検知した物体６２が、車間時間（縦位置ＰＹＲ［ｉ］に自車６１が到達するまでの時間）の経過後に、予測進路６３上を横断するか否か（予測進路６３の外から予測進路６３内に進入したか否か）を判定する。具体的には、下記の条件（１７）、（１８）のいずれかが成立する場合に上記判定を行う。
ＰＸＲ［ｉ］≦ＸＬ［ｉ］、かつ、ＰＸＲＴＨＷ［ｉ］≧ＸＬ［ｉ］ ………（１７）
ＰＸＲ［ｉ］≧ＸＲ［ｉ］、かつ、ＰＸＲＴＨＷ［ｉ］≦ＸＲ［ｉ］ ………（１８）

ここで、条件（１７）は、予測進路６３の左端６３Ｌを通過して自車６１の車幅方向に沿って右に移動する物体を判定する条件であり、条件（１８）は、予測進路６３の右端６３Ｒを通過して自車６１の車幅方向に沿って左に移動する物体を判定する条件である。また、条件（１７）、（１８）において、車間時間ＴＨＷＲ［ｉ］、および、車間時間経過後の横位置ＰＸＲＴＨＷ［ｉ］は、下記の式（１９）、（２０）で表される。
ＴＨＷＲ［ｉ］＝ＰＹＲ［ｉ］／ＶＳＰ ………（１９）
ＰＸＲＴＨＷ［ｉ］＝ＰＸＲ［ｉ］＋ＶＸＲ［ｉ］×ＴＨＷＲ［ｉ］………（２０）

ステップＳ７０３において、条件（１７）、（１８）のいずれかが成立し、予測進路６３外で検知し、かつ、車間時間経過後に予測進路６３上を横断する物体であると判定した場合にはステップＳ７０４に進み、判定フラグｆＲＭＶＬＡＴ［ｉ］をセットして処理を終了する。また、ステップＳ７０３において、条件（１７）、（１８）のいずれも成立しない場合は、ステップＳ７０５に進み、判定フラグｆＲＭＶＬＡＴ［ｉ］の値を保持して処理を終了する。

以上説明したように、物体情報取得手段１０１により取得した物体６２の情報（縦位置ＰＹＲ［ｉ］、横位置ＰＸＲ［ｉ］、縦速度ＶＹＲ［ｉ］、横速度ＶＸＲ［ｉ］）と、予測進路設定手段１０２により設定した予測進路６３（旋回半径Ｒ）に応じて判定フラグｆＲＭＶＬＡＴ［ｉ］を算出することにより、予測進路６３外で検知した物体６２が車間時間経過後に予測進路６３上を横断するか否かを判定することが可能となる。

また、レーダで検知した物体６２の横速度ＶＸＲ［ｉ］は自車６１に対する相対的な値のため、第２の衝突判定手段１０４においては、自車情報である操舵角α、ヨーレートγ等の値を用いて自車６１が直進状態か否かを判定し、自車６１が直進状態であることを前提として上記判定を行うことが望ましい。具体的には、ステップＳ７０３において、操舵角αが所定値以内、または、ヨーレートγが所定値以内といった条件により自車６１が直進状態か否かを判定する。

次に、図８、図９、および、図１０を用いて、物体選択手段１０５の処理内容について説明する。
図８は、第１の衝突判定手段１０３で演算した危険度Ｄ［ｉ］と第２の衝突判定手段１０４で演算した判定フラグｆＲＭＶＬＡＴ［ｉ］に応じて、レーダで検知した物体から画像処理によって個体識別を行う物体の候補（以下、画像処理候補物体と称する）を選択する処理（Ａ）の内容を示すフローチャートである。

また、図９は、前回の周期で画像処理を行った物体の他に、画像処理候補物体が存在する場合に、前回の周期で画像処理を行った物体を画像処理候補物体から外すか否かを判定する処理（Ｂ）の内容を示すフローチャートである。

さらに、図１０は、図８、図９の結果を用いて複数の画像処理候補物体から画画像処理によって個体識別を行う物体（以下、画像処理要求物体と称する）を選択する処理（Ｃ）の内容を示すフローチャートである。

図８の処理（Ａ）では、ステップＳ８０１において、レーダで物体を検知しているか否かの判定を行い、検知していない場合はステップＳ８０４に進み、画像処理要求物体であるか否かを判定するフラグｆＩＭＧＡＣＴ［ｉ］をクリアする。

そして、レーダで物体を検知している場合はステップＳ８０２に進み、危険度Ｄ［ｉ］と判定フラグｆＲＭＶＬＡＴ［ｉ］に応じて、検知物体を画像処理によって個体識別するか否かの判定を行う。

ここでは、下記の条件Ｃ１、Ｃ２のいずれかが成立しているか否かが判断される。
Ｃ１）：危険度Ｄ［ｉ］≧０
Ｃ２）：判定フラグｆＲＭＶＬＡＴ［ｉ］＝１
上記条件Ｃ１、Ｃ２のいずれかが成立しているときはステップＳ８０３に進み、画像処理要求物体（選択候補物体）であることを示す判定フラグｆＩＭＧＡＣＴ［ｉ］をセットして図９の処理（Ｂ）に移行する。また、ステップＳ８０２において、上記条件Ｃ１、Ｃ２がともに非成立の場合はステップＳ８０４に進み、判定フラグｆＩＭＧＡＣＴ［ｉ］をクリアして図９の処理（Ｂ）に移行する。

以上説明したように、図８の処理（Ａ）によって、レーダで検知した検知物体のうち、自車の予測進路中央に近い物体、相対速度ベクトルが自車に向かっている物体、および、予測進路外から車間時間経過後に予測進路上を横断する物体を選択することが可能となる。

図９に示す処理（Ｂ）では、ステップＳ９０１において、レーダで物体を検知しているか否かの判定を行い、検知していない場合はステップＳ９０７に進み、前回の周期で画像処理を行った物体を画像処理候補物体から外すか否かを判定する判定フラグｆＩＭＧＯＦＦ［ｉ］をクリアする。

そして、レーダで検知している場合はステップＳ９０２に進み、その検知物体が、前回の画像処理要求物体であり、今回も画像処理候補物体として選択されている物体（以下、再選択候補物体と称する）であるか否かの判定を行う。

例えば、前回の周期において、処理（Ａ）〜（Ｃ）の演算結果が判定フラグｆＩＭＧＡＣＴ［ｉ］＝１であり、今回の周期において、処理（Ａ）の演算結果が判定フラグｆＩＭＧＡＣＴ［ｉ］＝１である場合には、条件成立としてステップＳ９０３に進む。そして、この条件が非成立の場合には、ステップＳ９０６に進み、判定フラグｆＩＭＧＯＦＦ［ｉ］の値を保持して処理（Ｃ）に移行する。

次に、ステップＳ９０３において、再選択候補物体の他に、処理（Ａ）で選択した画像処理候補物体が存在するか否かの判定を行い、他に画像処理候補物体が存在する場合はステップＳ９０４に進む。そして、他に画像処理候補物体が存在しない場合は、ステップＳ９０６に進み、判定フラグｆＩＭＧＯＦＦ［ｉ］の値を保持して、図１０に示す処理（Ｃ）に移行する。

ステップＳ９０４において、再選択候補物体が予測進路外へと通過するか否かの判定を行う。この判定は、下記の条件Ｃ３）、Ｃ４）に基づいて行われる。そして、条件Ｃ３）、Ｃ４）のいずれかが成立したときは、ステップＳ９０５に進み、判定フラグｆＩＭＧＯＦＦ［ｉ］をセットして図１０の処理（Ｃ）に移行する。また、ステップＳ９０４において、下記の条件Ｃ３）、Ｃ４）がともに非成立の場合には、ステップＳ９０６に進み、判定フラグｆＩＭＧＯＦＦ［ｉ］の値を保持して処理（Ｃ）に移行する。
Ｃ３）：右に移動し、かつ、予測進路右端を通過
Ｃ４）：左に移動し、かつ、予測進路左端を通過
上記条件Ｃ３）、Ｃ４）は、具体的には、下記の式（２１）、（２２）で示される。
ＰＸＲ［ｉ］≦ＸＬ［ｉ］、かつ、ＶＸＲ［ｉ］≦−０．５m/s ………（２１）
ＰＸＲ［ｉ］≧ＸＲ［ｉ］、かつ、ＶＸＲ［ｉ］≦＋０．５m/s ………（２２）

以上説明したように、処理（Ｂ）によって、前回の周期で画像処理を行った物体の他に、画像処理候補物体が存在する場合に、前回の周期で画像処理を行った物体を画像処理候補物体から外すか否かを判定することが可能となる。

図１０に示す処理（Ｃ）では、ステップＳ１００１において、前回の画像処理要求物体であり、今回も画像処理候補として選択されている物体を画像処理候補物体から外すか否かの判定を行う。具体的には、判定フラグｆＩＭＧＯＦＦ［ｉ］＝１の条件が成立した場合には、ステップＳ１００４に進み、判定フラグｆＩＭＧＡＣＴ［ｉ］をクリアして処理を終了する。そして、上記条件が非成立の場合には、ステップＳ１００２に進む。

ステップＳ１００２では、画像処理候補物体のうち、自車との距離が最小の物体であるか否かの判定を行う。ここでは、他の画像処理候補物体、すなわち、判定フラグｆＩＭＧＡＣＴ［ｉ］＝１となっている物体の中で、縦位置ＰＹＲ［ｉ］の値が最小であるか否かを判定する。縦位置ＰＹＲ［ｉ］の値が最小である場合には、その画像処理候補物体を歩行者判定要求物体として設定すべく、ステップＳ１００３に進み、判定フラグｆＩＭＧＡＣＴ［ｉ］＝１の値を保持して処理を終了する。

一方、縦位置ＰＹＲ［ｉ］の値が最小でない場合には、ステップＳ１００４に進み、判定フラグｆＩＭＧＡＣＴ［ｉ］をクリアして処理を終了する。また、上述の方法では、自車との距離を示す縦位置ＰＹＲ［ｉ］の値が最小であるか否かを判定することにより物体を選択したが、縦位置ＰＹＲ［ｉ］の代わりにＴＨＷＲ［ｉ］（車間時間）や衝突予測時間（≒ＰＹＲ［ｉ］／ＶＹＲ［ｉ］）が最小であるか否かを判定して歩行者判定要求物体を選択しても良い。

以上説明したように、処理（Ｃ）によって、複数の画像処理候補物体から画像処理要求物体を取捨選択することが可能となり、画像処理負荷を低減できる。

次に、図１１を用いて、歩行者判定手段１０６の処理内容について説明する。
図１１は、物体情報取得手段１０１で取得したレーダ情報（横位置ＰＸＲ［ｉ］、縦位置ＰＹＲ［ｉ］、横速度ＶＸＲ［ｉ］、縦速度ＶＹＲ［ｉ］、幅ＷＤＲ［ｉ］）と物体選択手段１０５で演算した判定フラグｆＩＭＧＡＣＴ［ｉ］に応じて画像処理によって歩行者を判定する処理の内容を示すフローチャートである。

まず、ステップＳ１１０１において、物体選択手段１０５で演算した判定フラグｆＩＭＧＡＣＴ［ｉ］の値に応じて、レーダで検知した物体に対して画像処理要求が出力されているか否かの判定を行う。判定フラグｆＩＭＧＡＣＴ［ｉ］＝１の条件が成立している場合は、その物体が歩行者判定要求物体であり、画像処理要求が出力されていると判断してステップＳ１１０２に進み、条件が非成立の場合は処理を終了する。

ステップＳ１１０２では、物体情報取得手段１０１で取得したレーダ情報（横位置ＰＸＲ［ｉ］、縦位置ＰＹＲ［ｉ］、横速度ＶＸＲ［ｉ］、縦速度ＶＹＲ［ｉ］、幅ＷＤＲ［ｉ］）を読み込み、ステップＳ１１０３において、このレーダ情報とカメラ幾何モデル（画像上の位置と実際の位置の関係）に基づいて画像上での処理領域を設定する。

ここで、図１２を用いて、上述のステップＳ１１０３における画像処理領域の設定方法について説明する。
図１２（ａ）は、画像処理領域の設定パターンの選択条件を示す表であり、図１２（ｂ）は画像処理領域の設定パターンを示す模式図である。図１２（ｂ）において、予測進路１２０３は、中央領域１２０１と、その中央領域１２０１の左右両側に沿って設定される側方領域１２０２とからなり、中央領域１２０１は、自車の車幅とほぼ同一の大きさを有し、側方領域１２０２は、車幅の半分の大きさに設定されている。

まず、条件Ｎｏ．１の画像処理領域の設定パターンについて説明する。
条件Ｎｏ．１の画像処理領域の設定パターンは、横方向（自車の車幅方向）に移動していない静止物体を判定するためのものである。図１２（ａ）に示すように、画像処理要求物体のうち、横速度ＶＸＲ［ｉ］が所定値以下（例えば、０．５ｍ／ｓ以下）の条件が成立し、かつ、危険度Ｄ１［ｉ］≧０（物体が予測進路１２０３上に存在すること）、判定フラグｆＲＭＶＬＡＴ［ｉ］＝０（予測進路１２０３外で検知しかつ車間時間経過後に予測進路１２０３上を横断する物体でないこと）の条件が成立している画像処理要求物体に対しては、画像処理領域の設定パターンは（Ａ）が選択され、図１２（ｂ）の（Ａ）で示す画像処理領域の設定パターンにより設定する。

レーダで物体を検知してからパターンマッチング等の画像処理を実行するまでのディレイ時間をｔ＿ｄｅｌａｙ（s）とすると、横方向の画像処理領域の余裕分Ｌ１［ｉ］は、下記の式（２３）で表される。
Ｌ１［ｉ］＝所定値（例えば、０．５ｍ／ｓ）×ｔ＿ｄｅｌａｙ ………（２３）

ここで、横速度ＶＸＲ［ｉ］が所定値以下である画像処理要求物体１２３１は、静止状態に近いため、左右どちらの方向に移動しているかが不明確である。よって、レーダで検知した画像処理要求物体１２３１の幅ＷＤＲ［ｉ］の左右両側に余裕分Ｌ１［ｉ］を付加することにより対応する。したがって、横方向の画像処理領域制限値ＸＬＣ［ｉ］、ＸＲＣ［ｉ］は、下記の式（２４）、（２５）で表される。
ＸＬＣ［ｉ］（左）＝ＰＸＲ［ｉ］−ＷＤＲ［ｉ］／２−Ｌ１［ｉ］ ………（２４）
ＸＲＣ［ｉ］（右）＝ＰＸＲ［ｉ］＋ＷＤＲ［ｉ］／２＋Ｌ１［ｉ］ ………（２５）

次に、条件Ｎｏ．２の画像処理領域の設定パターンについて説明する。
条件Ｎｏ．２の画像処理領域の設定パターンは、予測進路１２０３外を横方向（自車の車幅方向）に移動している移動物体を判定するためのものである。図１２（ｂ）に示すように、画像処理要求物体のうち、横速度ＶＸＲ［ｉ］が所定値以上（例えば、０．５ｍ／ｓ以上）の条件が成立し、かつ、危険度Ｄ１［ｉ］＜０（物体が予測進路１２０３外に存在すること）、判定フラグｆＲＭＶＬＡＴ［ｉ］＝１（予測進路１２０３外で検知しかつ車間時間経過後に予測進路１２０３上を横断する物体であること）の条件が成立している画像処理要求物体に対しては、画像処理領域の設定パターンは（Ｂ）が選択され、図１２（ｂ）の（Ｂ）で示す画像処理領域の設定パターンにより設定する。

レーダで物体を検知してからパターンマッチング等の画像処理を実行するまでのディレイ時間をｔ＿ｄｅｌａｙ（s）とすると、横方向の画像処理領域の余裕分Ｌ２［ｉ］は、下記の式（２６）で表される。
Ｌ２［ｉ］＝ＶＸＲ［ｉ］×ｔ＿ｄｅｌａｙ ………（２６）

この場合においては、横速度ＶＸＲ［ｉ］が大きいので、パターン（Ａ）と同様に画像処理領域の余裕分Ｌ２［ｉ］を左右両側に設けると、画像処理負荷が増大してしまう。しかし、設定パターン（Ｂ）のように、横速度ＶＸＲ［ｉ］が十分に大きい場合には、物体１２３２の移動方向が特定できるため、物体１２３２が移動している方向１２４１にのみ画像処理領域１２１２の余裕分Ｌ２を設けることにより対応する。したがって、横方向の画像処理領域制限値ＸＬＣ［ｉ］、ＸＲＣ［ｉ］は、下記の式（２７）、（２８）で表される。
ＸＬＣ［ｉ］（左）＝ＰＸＲ［ｉ］−ＷＤＲ［ｉ］／２ ………（２７）
ＸＲＣ［ｉ］（右）＝ＰＸＲ［ｉ］＋ＷＤＲ［ｉ］／２＋Ｌ２［ｉ］ ………（２８）

さらに、条件Ｎｏ．３の画像処理領域の設定パターンについて説明する。
条件Ｎｏ．３の画像処理領域の設定パターンは、予測進路１２０３上を横方向（自車の車幅方向）に移動している移動物体を判定するためのものである。図１２（ｂ）に示すように、画像処理要求物のうち、横速度ＶＸＲ［ｉ］が所定値以上（例えば、０．５ｍ／ｓ以上）の条件が成立し、かつ、危険度Ｄ１［ｉ］≧０（物体が予測進路１２０３上に存在すること）、判定フラグｆＲＭＶＬＡＴ［ｉ］＝１（予測進路１２０３外で検知しかつ車間時間経過後に予測進路１２０３上を横断する物体であること）の条件が成立している画像処理要求物体に対しては、画像処理領域の設定パターンは（Ｃ）が選択され、図１２（ｂ）の（Ｃ）で示す画像処理領域の設定パターンにより設定する。横方向の画像処理領域の余裕分Ｌ２［ｉ］はパターン（Ｂ）と同様に式（２６）で算出する。

このとき、画像処理要求物体１２３３は、予測進路１２０３の右端１２０３Ｒを通過して予測進路１２０３外へと抜けていくため、画像処理負荷をさらに低減するためには、図１２（ｂ）の境界線１２１３ａで示す予測進路１２０３の右端１２０３Ｒで画像処理領域１２１３を制限することが望ましい。

したがって、横方向の画像処理領域制限値ＸＬＣ［ｉ］、ＸＲＣ［ｉ］は、パターン（Ｂ）と同様に上記式（２７）、（２８）で表されるが、下記式（２９）を用いて画像処理領域１２１３の右側の制限値ＸＲＣ［ｉ］をさらに制限する。ここで、関数ｓｑｒｔ｛｝は｛｝内の値の２乗根を算出する関数である。
ＸＲＣ［ｉ］（右）≦Ｒ−ｓｑｒｔ｛(Ｒ−ＷＣ)^２−ＰＹＲ［ｉ］^２｝………（２９）

図１１に戻り、ステップＳ１１０３において画像処理領域を設定した後は、ステップＳ１１０４に進み、カメラで撮像した画像データを用いて設定した処理領域内を走査するパターンマッチング等の処理を実行して歩行者であるか否かの判定を行う。

ここで、図１３を用いて、上述のステップＳ１１０４におけるパターンマッチング処理の概要について説明する。
図１３は、画像処理によって歩行者を判定する場合のパターンマッチング処理を示す模式図である。

まず、姿勢や服装、サイズ等の異なる複数の歩行者パターン１３０１を予め準備し、オフライン学習によりそれぞれの歩行者に類似した標準パターン１３０２を求める。オフライン学習により得られた標準パターン１３０２は、車両用外界認識装置１００内に記憶されている。ステップＳ１１０４では、記憶されている標準パターン１３０２を用い、ステップＳ１１０３で設定した画像処理領域１３０３内で縦方向、横方向に標準パターン１３０２を走査して、カメラで撮像した画像データと標準パターン１３０２との比較を行うことにより画像データと標準パターン１３０２の類似度を算出する。算出した類似度が所定の閾値以上の場合には、歩行者を検知したと判断してステップＳ１１０５に進む。

図１１に戻り、ステップＳ１１０５では、ステップＳ１１０４のパターンマッチング処理によって歩行者と判定した物体１３０４の横位置ＰＸＣ［ｉ］、縦位置ＰＹＣ［ｉ］、横速度ＶＸＣ［ｉ］、縦速度ＶＹＣ［ｉ］、幅ＷＤＣ［ｉ］等の情報を算出し、処理を終了する。

以上説明したように、物体情報取得手段１０１で取得した物体の情報、および、第１、第２の衝突判定手段１０３、１０４の結果を用いて、カメラで撮像した画像データの処理領域を的確に設定することが可能となる。したがって、物体を迅速かつ確実に検知でき、処理領域も狭くすることができる。したがって、安全性確保と画像処理負荷低減の両立が図れる。

次に、図１４を用いて、フュージョン手段１０７の処理内容について説明する。
図１４は、物体情報取得手段１０１で取得したレーダ情報（横位置ＰＸＲ［ｉ］、縦位置ＰＹＲ［ｉ］、横速度ＶＸＲ［ｉ］、縦速度ＶＹＲ［ｉ］、幅ＷＤＲ［ｉ］）と歩行者判定手段１０６で演算したカメラ情報（横位置ＰＸＣ［ｉ］、縦位置ＰＹＣ［ｉ］、横速度ＶＸＣ［ｉ］、縦速度ＶＹＣ［ｉ］、幅ＷＤＣ［ｉ］）を統合化してフュージョン情報（横位置ＰＸ［ｉ］、縦位置ＰＹ［ｉ］、横速度ＶＸ［ｉ］、縦速度ＶＹ［ｉ］、幅ＷＤ［ｉ］）を生成する処理の内容を示すフローチャートである。

まず、ステップＳ１４０１において、歩行者判定手段１０６の画像処理によるパターンマッチングを開始したか否かの判定を行い、画像処理開始時にはステップＳ１４０２に進み、更新フラグｆｌａｇ［ｉ］の初期化処理を行う。

次に、ステップＳ１４０３では、歩行者判定手段１０６の画像処理によるパターンマッチングで歩行者を検知したか否かの判定を行い、所定回数検知した場合にはステップＳ１４０５に進み、更新フラグｆｌａｇ［ｉ］をセットしてステップＳ１４０８に進む。

ステップＳ１４０３にて条件が非成立の場合には、ステップＳ１４０４に進み、画像処理によるパターンマッチングで歩行者をロストしたか否かの判定を行う。ステップＳ１４０４において、画像処理によるパターンマッチングで歩行者を所定回数ロストした（検知しない）場合にはステップＳ１４０６に進み、更新フラグｆｌａｇ［ｉ］をクリアしてステップＳ１４０８に進む。

ステップＳ１４０４にて条件が非成立の場合には、ステップＳ１４０７に進み、更新フラグｆｌａｇ［ｉ］の値を保持してステップＳ１４０８に進む。ステップＳ１４０８において、更新フラグｆｌａｇ［ｉ］がセットされている場合にはステップＳ１４０９に進み、レーダ情報とカメラ情報を統合化してフュージョン情報を更新する下記の式（３０）〜（３４）の処理を実行し、処理を終了する。
ＰＸ［ｉ］＝ＰＸＣ［ｉ］ ………（３０）
ＰＹ［ｉ］＝ＰＹＲ［ｉ］ ………（３１）
ＶＸ［ｉ］＝ＶＸＣ［ｉ］ ………（３２）
ＶＹ［ｉ］＝ＶＹＲ［ｉ］ ………（３３）
ＷＤ［ｉ］＝ＷＤＣ［ｉ］ ………（３４）

ステップＳ１４０８の条件が非成立の場合には、ステップＳ１４１０に進み、下記の式（３５）〜（３９）に示すようなフュージョン情報のクリア処理を実行し、処理を終了する。
ＰＸ［ｉ］＝０ ………（３５）
ＰＹ［ｉ］＝０ ………（３６）
ＶＸ［ｉ］＝０ ………（３７）
ＶＹ［ｉ］＝０ ………（３８）
ＷＤ［ｉ］＝０ ………（３９）

以上説明したように、フュージョン手段１０７において、歩行者判定手段１０６の画像処理によるパターンマッチングで歩行者を検知した回数を考慮してフュージョン情報を生成することにより、画像処理によるパターンマッチングで誤検知した物体を排除することができる。また、上記式（３０）〜（３４）に示すように、縦方向の位置・速度はレーダ情報、横方向の位置・速度・幅はカメラ情報を採用してフュージョン情報を生成することにより、歩行者の認識精度向上が図れる。

次に、統合化衝突判定手段１０８の処理内容について説明する。
統合化衝突判定手段１０８では、予測進路設定手段１０２により演算した旋回半径Ｒ、および、フュージョン手段１０７により生成したフュージョン情報（横位置ＰＸ［ｉ］、縦位置ＰＹ［ｉ］、横速度ＶＸ［ｉ］、縦速度ＶＹ［ｉ］、幅ＷＤ［ｉ］）に応じて危険度Ｄｆ［ｉ］を演算する。

危険度Ｄｆ［ｉ］は、第１の衝突判定手段１０３の危険度Ｄ［ｉ］の演算において、レーダ情報（横位置ＰＸＲ［ｉ］、縦位置ＰＹＲ［ｉ］、横速度ＶＸＲ［ｉ］、縦速度ＶＹＲ［ｉ］、幅ＷＤＲ［ｉ］）の代わりにフュージョン情報を用いることにより算出する。

車両用外界認識装置１００は、フュージョン手段１０７により生成したフュージョン情報と、統合化衝突判定手段１０８により演算した危険度Ｄｆ［ｉ］を制御装置２００に出力する。

次に、図１５を用いて、プリクラッシュ・セーフティ・システムを例にとり、危険度Ｄｆ［ｉ］に応じて警報を出力する、あるいは自動的に車両ブレーキを制御するための指令値を演算する制御装置２００の処理内容について説明する。

図１５は、制御装置２００の処理内容を示すフローチャートである。
最初に、ステップＳ１５０１において、フュージョン情報（横位置ＰＸ［ｉ］、縦位置ＰＹ［ｉ］、横速度ＶＸ［ｉ］、縦速度ＶＹ［ｉ］、幅ＷＤ［ｉ］）を読み込み、ステップＳ１５０２において、車載用外界認識装置１００で認識した物体の衝突予測時間ＴＴＣ［ｉ］を下記の式（４０）を用いて演算する。
ＴＴＣ［ｉ］＝ＰＹ［ｉ］÷ＶＹ［ｉ］ ………（４０）

次に、ステップＳ１５０３において、車両用外界認識装置１００で演算された危険度Ｄｆ［ｉ］を読み込み、ステップＳ１５０４において、危険度Ｄｆ［ｉ］に応じて下記の式（４１）で示される条件Ｃ５）が成立している歩行者を選択し、選択された歩行者の中で衝突予測時間ＴＴＣ［ｉ］が最小となる歩行者（物体）ｋを選択する。
Ｄｆ［ｉ］≧ ｃＤＣＴＲＬ＃ ………（４１）

ここで、所定値ｃＤＣＴＲＬ＃は、認識した歩行者ｋが自車に衝突するか否かを判定するための閾値であり、統合化衝突判定手段１０８の処理とリンクさせてｃＤＣＴＲＬ＃＝０．５付近に設定して、自車に衝突する可能性がきわめて高い歩行者を選択することが望ましい。

次に、ステップＳ１５０５において、選択された歩行者ｋの衝突予測時間ＴＴＣ［ｋ］に応じて、自動的に車両ブレーキを制御する範囲内に歩行者ｋが存在しているか否かの判定を行う。下記の式（４２）が成立している場合には、ステップＳ１５０６に進み、ブレーキ制御の指令値（例えば、５．０ｍ／ｓ^２で減速）を演算して処理を終了する。また、下記の式（４２）が非成立の場合にはステップＳ１５０７に進む。
ＴＴＣ［ｋ］≦ｃＴＴＣＢＲＫ＃ ………（４２）

ここで、所定値ｃＴＴＣＢＲＫ＃は、ブレーキ制御を実行するか否かを判定するための閾値であり、ｃＴＴＣＢＲＫ＃＝０．６秒付近に設定して、運転者の回避操作と重複しないようにすることが望ましい。

次に、ステップＳ１５０７において、選択された歩行者ｋの衝突予測時間ＴＴＣ［ｋ］に応じて、警報を出力する範囲内に歩行者ｋが存在しているか否かの判定を行う。下記の式（４３）が成立している場合にはステップＳ１５０８に進み、警報を出力するための指令値を演算して処理を終了する。また、下記の式（４３）が非成立の場合には、ブレーキ制御、および、警報ともに実行せずに処理を終了する。
ＴＴＣ［ｋ］≦ｃＴＴＣＡＬＭ＃ ………（４３）

ここで、所定値ｃＴＴＣＡＬＭ＃は、警報を出力するか否かを判定するための閾値であり、ｃＴＴＣＡＬＭ＃＝１．４秒付近に設定して、警報を出力してからブレーキ制御を実行するまでの時間を十分に確保することが望ましい。これは、運転者が警報によって前方の歩行者に気付き、運転者自身が衝突回避操作を行うことによって、ブレーキ制御が介入する前に衝突を回避できるからである。

以上説明したように、車両用外界認識装置１００と制御装置２００を組み合せた車両システムによって、自車前方の歩行者を認識し、認識した歩行者に対してプリクラッシュ・セーフティ・システム（警報、または、ブレーキ制御）のような安全運転支援を実行させることが可能となる。

また、レーダで検知した物体のうち、歩行者判定手段１０６、および、フュージョン手段１０７によって歩行者であると認識した物体に対しては、ブレーキ制御を実行するか否かを判定するための閾値、警報を出力するか否かを判定する閾値をそれぞれ３．０秒、４．０秒に設定して、上記プリクラッシュ・セーフティ・システム（警報、または、ブレーキ制御）を早目に作動させて緩減速による制御を行い、それ以外の物体に対しては各閾値を０．６秒、１．４秒に設定して上記プリクラッシュ・セーフティ・システム（警報、または、ブレーキ制御）を衝突の僅か手前で作動させて急減速による制御を行うなど、歩行者判定手段１０６の画像処理によるパターンマッチングの結果に応じて警報やブレーキ制御のタイミング等を変更することも可能である。

画像処理によるパターンマッチングにおいては、誤検知と未検知はトレードオフの関係にあり、誤検知を低減しようとすると歩行者の検知率も低下する。しかしながら、本発明の制御方式を採用することによって、レーダで検知した物体の中で確実に歩行者であると判断できた物体に対しては遠方から警報、緩やかなブレーキ制御を実行して運転者に注意を促し、その他の物体（車両や電柱等の非歩行者）に対しては衝突の僅か手前で警報、衝突軽減のためのブレーキ制御を実行することにより、運転者に対する煩わしさを抑えて安全性を確保することが可能となる。

次に、図１６、図１７、および、図１８を用いて、本発明の効果について説明する。
図１６は、年齢層別に歩行中死傷者の事故類型を分類した統計データ（イタルダ・インフォメーション２００４、Ｎｏ．５０；財団法人交通事故総合分析センター）であり、図の縦軸は歩行者事故の構成率、図の横軸は死傷した歩行者の年齢層を示している。

全体的に「横断中」の占める割合が約６０％と高くなっており、とくに、子供と高齢者で「横断中」の占める割合が高くなっている。「横断中」の内訳をみると、６歳以下の子供は「その他の場所（付近に横断施設のない場所）横断中」の割合が高く、「横断歩道を横断中」の割合が低くなっている。一方、子供ほどではないが、高齢者層でも「その他の場所（付近に横断施設のない場所）横断中」の割合が高くなっている。

図１７（ａ）、（ｂ）は、従来技術の課題を示す模式図であり、図１７（ａ）は「遠方、かつ、自車１７０１の予測進路１７０４上に静止している歩行者Ａ１７１１」と「自車１７０１の予測進路１７０４外から予測進路１７０４を横断してくる歩行者Ｂ１７１２」が同時に存在する場合を示している。

この図において、自車１７０１は低車速で走行しており、自車１７０１の前方を小走りで斜め横断する歩行者Ｂ１７１２が存在している。この場合、第１の衝突判定手段１０３では、自車１７０１に対する歩行者Ｂ１７１２の縦方向の相対速度が小さくなっているため、予測進路１７０４に基づいた危険度Ｄ１［ｉ］を重視して危険度Ｄ［ｉ］を算出する。

したがって、図１７（ａ）では、画像処理の対象として歩行者Ａ１７１１が選択されてしまう。そして、その後、所定時間が経過して図１７（ｂ）の状態に移行すると、横断してくる歩行者Ｂ１７１２が予測進路１７０４上に進入するため、歩行者Ｂ１７１２が画像処理の対象として選択される。

よって、歩行者判定手段１０６の画像処理によるパターンマッチングでは、自車１７０１近傍の歩行者Ｂ１７１２を判定するタイミングが遅延し、横断歩行者Ｂ１７１２に対して警報、ブレーキ制御の介入が遅れて安全運転支援システムが有効に作動しない可能性がある。

図１７（ｃ）、（ｄ）は、本発明を適用した場合の効果を示す模式図であり、図１７（ｃ）は図１７（ａ）と同一の状況を示し、図１７（ｄ）は図１７（ｂ）と同一の状況を示している。

この場合、レーダによって予測進路１７０４外で検知した歩行者Ｂ１７１２は、車間時間経過後に中央領域１７０２の右端１７０２Ｒ（D1＝0.5相当）を通過して左に移動していくと予想されるため、第２の衝突判定手段１０４、物体選択手段１０５により画像処理候補物体として選択される。

また、歩行者Ａ１７１１も、第１の衝突判定手段１０３、物体選択手段１０５により画像処理候補物体として選択されるため、歩行者Ａ１７１１と歩行者Ｂ１７１２の縦方向の相対位置を比較し、自車１７０１との距離が最も近い歩行者Ｂ１７１２を画像処理の対象として選択する。

その後、所定時間が経過して図１７（ｄ）の状態に移行するまで、歩行者Ｂ１７１２を画像処理の対象として選択し続けるため、歩行者判定手段１０６の画像処理によるパターンマッチングで歩行者Ｂ１７１２を判定するタイミングの遅延を防止でき、前方の横断歩行者Ｂ１７１２に対して警報、ブレーキ制御の介入が遅れることなく安全運転支援システムを有効に作動させることが可能となる。

また、仮に、歩行者Ｂ１７１２が予測進路１７０４外で停止して横断しないような場合には、第２の衝突判定手段１０４により予測進路１７０４上を横断しないと判断して画像処理の対象が歩行者Ａ１７１１に切り替るため、歩行者Ａ１７１１に対する安全運転支援を無視することなく、図１６で示すような歩行者事故の約６０％を占める横断事故の低減に寄与することができる。

次に、図１８を用いて、画像処理の対象物を切替える方法について説明する。
図１８（ａ）、（ｂ）は、「近傍で予測進路１８０４上を左に移動している歩行者Ａ１８１１」が存在し、かつ、「遠方で自車１８０１の予測進路１８０４外（右側）から予測進路１８０４上を横断してくる歩行者Ｂ１８１２」が新たに出現した場合の模式図である。

図１８（ａ）は、本発明の物体選択手段１０５の「前回の周期で画像処理を行った物体の他に、画像処理候補物体が存在する場合に、前回の周期で画像処理を行った物体を画像処理候補物体から外すか否かを判定する処理」が適用されていない場合を示しており、歩行者Ａ１８１１を画像処理の対象として選択し続けている。

図１８で示すシーンにおいては、歩行者Ａ１８１１は、予測進路１８０４の側方領域１８０３上を左に移動している。この場合の危険度Ｄ１［ｉ］は、０．５以下になっており、かつ、これまで継続して画像処理によるパターンマッチングを行っているため、図１８（ｂ）で示すように、新たに出現した歩行者Ｂ１８１２を画像処理の対象として選択することが望ましい。

ここで、物体選択手段１０５の「前回の周期で画像処理を行った物体の他に、画像処理候補物体が存在する場合に、前回の周期で画像処理を行った物体を画像処理候補物体から外すか否かを判定する処理」を適用すると、予測進路１８０４の中央領域１８０２の左端１８０２Ｒを通過（危険度Ｄ１［ｉ］≦０．５）して左に移動する物体１８１１に対して画像処理要求を解除するためのフラグがセットされる。

したがって、このように予測進路１８０４の自車幅相当の進路である中央領域１８０２よりも外側に抜けていく歩行者Ａ１８１１を画像処理候補物体から除外し、新たに出現した歩行者Ｂ１８１２を画像処理の対象（画像処理要求物体）として選択することができる。

次に、図１９を用いて、本発明の物体情報取得手段１０１の他の実施例について説明する。
図１９は、基準（左）カメラ１９１１ａと参照（右）カメラ１９１１ｂとから構成されるステレオカメラ１９１１で撮像した画像データに応じて物体情報を取得する場合の構成図である。

まず、画像入力部１９１２では、各カメラ１９１１ａ、１９１１ｂで撮像した基準画像（左）と参照画像（右）の各データを取得するインターフェース処理を行う。

次に、距離画像生成部１９１３において、画像入力部１９１２で取得した基準画像（左）データと参照画像（右）データのステレオ画像データに応じて距離画像を生成する。

立体物検知部１９１８では、距離画像生成部１９１３で生成した距離画像データ、および、道路平面を想定したモデル等を用いて立体物を抽出する処理を行い、カメラ幾何モデル（画像上の位置と実際の位置の関係）に基づいて立体物の自車の車幅方向の相対位置ＰＸＲ［ｉ］、自車の全長方向の相対位置ＰＹＲ［ｉ］、自車の車幅方向の相対速度ＶＸＲ［ｉ］、自車の全長方向の相対速度ＶＹＲ［ｉ］、幅ＷＤＲ［ｉ］を演算する。

以上説明したように、図１のレーダの代わりにステレオカメラを用い、ステレオカメラで撮像した画像データに応じて物体情報を取得することが可能となる。このとき、歩行者判定手段１０６では、撮像データとして基準画像（左）と参照画像（右）のいずれかを選択し、画像処理によるパターンマッチングにより抽出した立体物が歩行者であるか否かを判定する。

１００ 車両用外界認識装置
１０１ 物体情報取得手段
１０２ 予測進路設定手段
１０３ 第１の衝突判定手段
１０４ 第２の衝突判定手段
１０５ 物体選択手段
１０６ 歩行者判定手段
１０７ フュージョン手段
１０８ 統合化衝突判定手段
２００ 制御装置

Claims (9)

1. 自車前方に位置する複数の検知物体を検知した検知物体情報と、自車前方を撮像した画像の画像情報と、自車の状態を検知した自車情報に基づいて車両の外界を認識する車両用外界認識装置であって、
   前記自車情報に基づいて前記自車の予測進路を設定する予測進路設定手段と、
   該予測進路設定手段により設定した予測進路と前記検知物体情報とに基づいて前記各検知物体が前記自車に衝突する危険度を演算する第１の衝突判定手段と、
   前記予測進路と前記検知物体情報とに基づいて前記各検知物体が前記予測進路の外から前記予測進路内に進入するか否かを判定する第２の衝突判定手段と、
   前記複数の検知物体の中から、前記第１の衝突判定手段により演算された前記危険度が予め設定された第１の閾値以上である検知物体と、前記第２の衝突判定手段により前記予測進路内に進入すると判定された検知物体を選択候補物体として選択し、該選択された複数の選択候補物体の中から前記自車との相対距離、または、衝突予測時間が最小となる選択候補物体を歩行者判定要求物体として選択する物体選択手段と、
   該物体選択手段により選択された前記歩行者判定要求物体に対して前記画像情報を用いて歩行者か否かの判定を行う歩行者判定手段と、
   を有する車両用外界認識装置。
2. 前記物体選択手段は、該選択した複数の選択候補物体の中に、前回の処理で歩行者判定要求物体として選択されていた選択候補物体が含まれている場合に、該選択されていた選択候補物体を再選択候補物体として特定し、前記予測進路と前記検知物体情報とに基づいて、前記再選択候補物体を前記歩行者判定要求物体の選択候補から除外するか否かの判定を行うことを特徴とする請求項１に記載の車両用外界認識装置。
3. 前記歩行者判定手段は、前記歩行者判定要求物体に対する前記第１の衝突判定手段の判定結果と、前記第２の衝突判定手段の判定結果に応じて前記画像情報の画像処理領域を設定することを特徴とする請求項１または２に記載の車両用外界認識装置。
4. 前記歩行者判定手段は、前記歩行者判定要求物体が歩行者であると判定した場合に、前記画像情報に基づいて前記歩行者判定要求物体のカメラ情報を算出することを特徴とする請求項１から請求項３のいずれか一項に記載の車両用外界認識装置。
5. 前記検知物体情報と前記カメラ情報とを統合化して、前記歩行者判定手段により前記歩行者であると判定された前記歩行者判定要求物体のフュージョン情報を生成するフュージョン手段を有することを特徴とする請求項４に記載の車両用外界認識装置。
6. 前記フュージョン手段により生成された前記フュージョン情報に応じて、前記自車が前記歩行者判定要求物体に衝突する危険度を演算する統合化衝突判定手段を有することを特徴とする請求項５に記載の車両用外界認識装置。
7. 前記請求項６に記載の車両用外界認識装置を備えた車両システムであって、
   前記統合化衝突判定手段により演算された危険度が予め設定された閾値よりも低い場合に自車の衝突を回避するための制御を行う制御手段と、
   を有することを特徴とする車両システム。
8. 前記制御手段は、前記フュージョン手段により生成された前記フュージョン情報に基づいて前記自車が前記歩行者判定要求物体に衝突する衝突予測時間を演算し、該演算した衝突予測時間と予め設定された制動用閾値とを比較し、前記衝突予測時間が前記制動用閾値以下であるときは、前記車両に対する制動制御を行うことを特徴とする請求項７に記載の車両システム。
9. 前記制御手段は、前記衝突予測時間が前記制動用閾値よりも大きい場合に、前記衝突予測時間と予め設定された警報用閾値とを比較し、前記衝突予測時間が前記警報用閾値以下であるときは、前記運転者に対する警報制御を行うことを特徴とする請求項８に記載の車両システム。

Images