JP2010006270A - 車両挙動検出装置 - Google Patents

Abstract

【課題】簡易な手法により自車両の挙動を検出できる車両挙動検出装置を提供することを課題とする。
【解決手段】自車両の挙動を検出する車両挙動検出装置であって、自車両周辺を撮像する撮像手段と、撮像手段でそれぞれ撮像した撮像時刻の異なる複数の画像間において、移動物体の占める割合が他の領域に比べて小さい比較領域における画素情報を比較する比較手段（Ｓ３）と、その比較結果に基づいて自車両の挙動の変化を検出する検出手段（Ｓ３）とを備えることを特徴とし、比較手段は、撮像手段でそれぞれ撮像した撮像時刻の異なる複数の画像間において、比較領域における車両上下方向の輝度波形を比較し、検出手段は、比較手段での比較結果に基づいて自車両のピッチングを検出すると好適である。
【選択図】図４

Description

本発明は、車両挙動検出装置に関する。

近年、衝突防止装置、車間距離制御装置、追従走行装置などの運転支援装置が開発されている。これら運転支援装置では、自車両の前方を走行する車両を検出することが重要となる。物体検出装置には、検出精度を向上させるために、ミリ波レーダなどのレーダによる検出手段とカメラによる画像を利用した検出手段の２つの特性の異なる検出手段を備える装置がある。この物体検出装置には、レーダによって検出された物体の位置情報に応じて画像処理領域を設定し、カメラによって撮像された画像においてその設定された画像処理領域について画像処理を行い、その画像処理領域から物体の情報を検出するものがある。

車両は、路面状況あるいは走行中の加減速や旋回などによって、挙動が変化（ピッチング、ロール、ヨーイング）する。そのため、例えば、ピッチング発生中にレーダによる位置情報に応じて画像処理領域を設定すると、レーダでは高さ方向の情報を検出できないので、その設定された画像処理領域内には物体の全部又は一部しか存在しない場合がある。このような場合、その画像処理領域から物体についての情報を検出することができない。したがって、この画像処理領域の位置を自車両の挙動に応じて補正する必要があり、そのためには自車両の挙動を検出することが重要となる。特許文献１に記載の装置では、カメラでそれぞれ撮像した時点の異なる画像において同じ特徴量とその変位量を検出し、その特徴量の変位量から自車両の旋回量を算出している。
特開２００８−８２９３２号公報

上記した装置では、画像から特徴量を抽出する処理が必要であり、処理が複雑なため、処理負荷が増大する。そのため、安価な画像処理チップでは実現できず、応答性も悪化する。

そこで、本発明は、簡易な手法により自車両の挙動を検出できる車両挙動検出装置を提供することを課題とする。

本発明に係る車両挙動検出装置は、自車両周辺を撮像する撮像手段と、撮像手段でそれぞれ撮像した撮像時刻の異なる複数の画像間において、移動物体の占める割合が他の領域に比べて小さい比較領域における画素情報を比較する比較手段と、比較手段での比較結果に基づいて自車両の挙動の変化を検出する検出手段とを備えることを特徴とする。

この車両挙動検出装置では、撮像手段により自車両周辺を撮像し、比較手段により撮像時刻の異なる複数の画像間において所定の比較領域における画素情報（例えば、輝度情報、ＲＧＢ情報）を比較する。この比較領域は、移動物体の占める割合が他の領域に比べて小さい領域である。例えば、比較領域に移動物体が全く存在しない場合、異なる撮像時刻の比較領域間における静止物体の動きが撮像手段（ひいては、自車両）の動きに相当することになる。したがって、移動物体が極力含まれていない比較領域間における輝度情報を比較することにより、静止物体の動きに応じた画素情報の差から自車両の動きを推測することができる。そこで、車両挙動検出装置では、検出手段により比較手段での比較結果に基づいて自車両の挙動を検出する。このように、車両挙動検出装置では、撮像時刻の異なる複数の画像間の比較領域における画素情報を比較するだけの簡単な手法により、自車両の挙動を検出できる。そのため、処理負荷が少なく、安価な画像処理チップでも応答性良く処理が可能となる。

本発明の上記車両挙動検出装置では、比較領域を撮像手段で撮像した画像の中心から所定量外側に位置する領域としてもよい。

一般に、車両に搭載される撮像手段は障害物（例えば、他車両、歩行者）を検出するための手段として適用されるので、画像の中心付近にそのような障害物が入るように撮像位置や撮像方向が設定されている。したがって、画像の中心付近には、他車両などの移動物体が存在する可能性が高い。そこで、比較領域として、このような画像中心領域を避けるために、所定量外側に位置する領域を設定する。この所定量は、画像に入る左右方向や上下方向の範囲及び検出対象の物体の大きさなどを考慮して適宜の量が設定される。

本発明の上記車両挙動検出装置では、比較手段は、撮像手段でそれぞれ撮像した撮像時刻の異なる複数の画像間において、比較領域における車両上下方向の輝度波形を比較し、検出手段は、比較手段での比較結果に基づいて自車両のピッチングを検出すると好適である。

この車両挙動検出装置では、比較手段により撮像時刻の異なる複数の画像間において比較領域の各画素の輝度値から生成される上下方向に延びる輝度波形を比較する。例えば、自車両のピッチングによって撮像時刻が異なる各画像が上下方向に位置ずれしており、その各画像の比較領域に移動物体が全く存在しない場合、各比較領域からそれぞれ生成される各輝度波形は、波形の形状は略同様であるが、上下方向にずれたものとなる。そこで、車両挙動検出装置では、検出手段によりその比較領域間の輝度波形の上下方向のずれから自車両の上下方向の動き（すなわち、ピッチング）を検出する。このように、車両挙動検出装置では、画素情報の比較において輝度波形を用いて比較することにより、処理負荷をより軽減できる。

本発明は、撮像時刻の異なる複数の画像間の比較領域における画素情報を比較するだけの簡単な手法により、自車両の挙動を検出できる。

以下、図面を参照して、本発明に係る車両挙動検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る物体検出装置を、車両に搭載される周辺監視装置に適用する。本実施の形態に係る周辺監視装置は、自車両前方の障害物（例えば、他車両、自転車、歩行者などの移動物体、落下物などの静止物体）を検出し、その検出した障害物情報を運転支援装置（衝突防止装置など）に出力あるいは音声や表示によって運転者に提供する。なお、検出方向としては、前方とするが、側方、後方などの他の方向でもよい。

図１〜図３を参照して、本実施の形態に係る周辺監視装置１について説明する。図１は、本実施の形態に係る周辺監視装置の構成図である。図２は、図１のＥＣＵにおけるピッチング補正量の推定方法の説明図である。図３は、自車両のピッチングと画像処理領域との関係を示す撮像画像の一例である。

周辺監視装置１は、自車両前方の検出手段としてミリ波センサとカメラを備え、ミリ波センサによる障害物のセンシング情報を利用してカメラによる画像における障害物のセンシング領域（画像処理領域）を設定する。特に、周辺監視装置１では、自車両の挙動が変化（特に、ピッチング）した場合でもセンシング領域から確実に障害物の情報を検出するために、自車両のピッチングを検出し、そのピッチングに応じてセンシング領域を補正する。周辺監視装置１は、ミリ波センサ２、カメラ３及びＥＣＵ[Electronic Control Unit]４を備えている。

なお、本実施の形態ではカメラ３が特許請求の範囲に記載する撮像手段に相当し、ＥＣＵ４における機能が特許請求の範囲に記載する比較手段、検出手段に相当する。

ミリ波センサ２は、ミリ波を利用して物体を検出するレーダセンサである。ミリ波センサ２は、自車両の前側の中央の所定の高さ位置（検出対象の障害物を確実に検出可能な高さ位置）に取り付けられる。ミリ波センサ２では、ミリ波を左右方向に走査しながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。ミリ波を送信する際の上下方向の角度は、固定であり、車両停止時には路面に対して平行となる角度が設定されている。ミリ波センサ２では、反射ミリ波を受信できた各反射点（検出点）についてのミリ波情報（左右方向の走査方位角、送信時刻、受信時刻、反射強度など）からなるミリ波信号をＥＣＵ４に送信する。

カメラ３は、自車両の前方を撮像するカメラである。カメラ３は、自車両の前側の中央に取り付けられる。カメラ３は、自車両前方を撮像し、その撮像画像情報を画像信号としてＥＣＵ４に送信する。この撮像画像は、一定時間（例えば、１／３０秒）毎のフレームの画像である。カメラ３は、左右方向に撮像範囲が広く、車線数が少ない場合には走行車線及び対向車線の外側の歩道や路肩までを十分に含む範囲まで撮像可能である。ＥＣＵ４では自車両のピッチングを検出するために画像の右側の側端領域を利用するので、右側（対向車線側）の範囲をより広角に撮像できるようにしてもよい。なお、撮像画像の各画素は少なくとも輝度情報を有していればよいので、カメラ３はカラーのカメラでも白黒のカメラでもよい。

ＥＣＵ４は、ＣＰＵ[Central ProcessingUnit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]及び画像処理チップなどからなる電子制御ユニットであり、周辺監視装置１を統括制御する。ＥＣＵ４では、ＲＯＭに記憶されているアプリケーションプログラムをＲＡＭにロードし、ＣＰＵで実行すると、ミリ波障害物検出機能、画像処理領域設定機能、自車両運動量推定機能、画像処理領域補正機能、画像障害物検出機能が構成される。ＥＣＵ４では、一定時間毎に、ミリ波センサ２からのミリ波信号及びカメラ３からの画像信号を取り入れ、ミリ波情報及び撮像画像情報を時系列で記憶する。そして、ＥＣＵ４では、これらの情報を用いて各機能における処理を行い、検出した障害物情報（例えば、相対距離、相対速度、横位置、大きさ情報、種別情報）を運転支援装置に出力あるいは運転者に提供する。

ミリ波障害物検出機能について説明する。ＥＣＵ４では、現時刻（ｔ）でのミリ波情報を利用し、ミリ波の送信から受信までの時間に基づいて前方の障害物までの相対距離を算出する。さらに、ＥＣＵ４では、その現時刻（ｔ）で算出された距離と前時刻（ｔ−１）で算出された距離の変化に基づいて前方の障害物との相対速度を算出する。また、ＥＣＵ４では、現時刻（ｔ）でのミリ波情報を利用し、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車両の進行方向と障害物の方向とのなす角度を求め、その角度から横位置を算出する。なお、相対速度を算出する場合、前時刻（ｔ−１）よりも更に過去の相対距離データを用いてもよい。

画像処理領域設定機能について説明する。ＥＣＵ４では、ミリ波障害物検出機能で検出した障害物情報（特に、相対距離、横位置）に基づいて画像処理領域を設定する。ここでは、相対距離や横位置などに基づいて画像処理領域の中心位置を決定し、その中心位置から予め設定された上下方向幅と左右方向幅をそれぞれ確保した画像処理領域を設定する。

自車両運動量推定機能について説明する。ＥＣＵ４では、現時刻（ｔ）のフレームの画像と前時刻（ｔ−１）のフレームの画像から右側の側端領域（比較領域）をそれぞれ抽出する。この右側の側端領域は、画像中心から最も離れた領域であり、画像において自車両の走行車線や対向車線（ひいては、各車線を走行中の車両）を極力含まない背景領域である。したがって、側端領域は、画像の中で最も大きな移動物体である走行中の車両が含まれる可能性が低い領域であり、移動物体の占める割合が他の領域に比べて小さい領域となる。但し、車線数が多い場合には側端領域に車線を含む場合があるが、画像中心付近よりは走行中の車両の大きさが小さくなる。側端領域の左右方向の幅（画素数）としては、輝度波形の比較を行った場合に十分に差を検出できることを考慮し、実験などによって予め設定される。

ＥＣＵ４では、２フレームの側端領域内の全画素の情報から輝度波形をそれぞれ生成する。ここでは、側端領域の上下方向の列毎に左右方向の列に含まれる全ての画素の輝度値を積算し、その上下方向の列毎の積算した輝度値から上下方向に延びる輝度波形が形成される。例えば、自車両が直進走行しており、側端領域に移動物体が含まれていない場合、この２フレームの各輝度波形は、波形の形状が略同様であり、自車両の前後方向の動きと自車両の上下方向の動き（ピッチング）に応じて上下方向に位置ずれした波形となる。但し、自車両の前後方向の動きに応じた上下方向の位置ずれは、自車両の上下方向の動きに応じた上下方向の位置ずれに比べて小さく、誤差範囲である。したがって、２フレームの輝度波形間の上下方向のずれは、自車両のピッチングに応じたずれと想定できる。

ＥＣＵ４では、２フレームの輝度波形を比較し、２つの輝度波形の上下方向のずれ量（画素数）を求める。この比較方法は、どのような方法でもよく、例えば、ＳＡＤ[Sum of Absolute Difference]を利用したり、一方の輝度波形を上下方向に移動させて、移動させた一方の輝度波形と他方の輝度波形とのマッチング（相関）をとり、最もマッチングする移動量を探索する。算出される上下方向のずれ量は、自車両のピッチング（ピッチ角）に応じた２フレーム間の画像の上下方向のずれ量に相当し、画像処理領域の位置の上下方向の補正量となる。なお、輝度波形を比較する場合、前時刻（ｔ−１）よりも更に過去のフレームの画像を用いてもよい。

図２には、自車両のピッチングによって上下方向に位置ずれしている前時刻（ｔ−１）のフレーム画像Ｐ_ｔ−１と現時刻（ｔ）のフレーム画像Ｐ_ｔの一例を示している。この各画像Ｐ_ｔ−１，Ｐ_ｔからは、輝度波形を比較するために、右側の側端領域Ａ_ｔ−１，Ａ_ｔが抽出される。側端領域Ａ_ｔ−１，Ａ_ｔは、他の背景部分とは輝度情報に特徴のあるポストＴを含んでいる。そのため、側端領域Ａ_ｔ−１，Ａ_ｔから生成される輝度波形Ｗ_ｔ−１，Ｗ_ｔには、ポストＴの部分に対応して輝度の積算値が大きくなる部分Ｂ_ｔ−１，Ｂ_ｔをそれぞれ有している。２つの輝度波形Ｗ_ｔ−１，Ｗ_ｔを比較することによって、上下方向のずれ量（画素数ＰＷ）が求められる。ちなみに、このポストのような輝度情報に特徴の物体が存在しない場合でも、側端領域が全面一様な画像でない限り、地上側と空との境界、歩道と建造物の境界など、側端領域内に輝度情報の変化する箇所があれば上下方向のずれ量を求めることができる。

画像処理領域補正機能について説明する。ＥＣＵ４では、自車両運動量推定機能で求めたピッチング補正量が閾値よりも大きいか否かを判定する。閾値は、自車両のピッチングによって位置ずれした画像処理領域（画像処理領域設定機能で設定した領域）で画像処理を行った場合に画像処理結果（障害物情報）に影響を与える程度のピッチング補正量（画素数）か否かを判定するための閾値であり、実験などによって予め設定される。ピッチング補正量が閾値よりも大きい場合、ＥＣＵ４では、画像処理領域設定機能で設定した画像処理領域の位置をピッチング補正量分上下方向に平行移動し、画像処理領域を最終決定する。

一方、ピッチング補正量が閾値以下の場合、ＥＣＵ４では、画像処理領域設定機能で設定した画像処理領域を画像処理領域として最終決定する。

画像障害物検出機能について説明する。ＥＣＵ４では、現時刻（ｔ）の画像から最終的に決定した画像処理領域の画像を抽出する。そして、ＥＣＵ４では、画像処理領域の画像から障害物の情報を検出する。画像から検出できる障害物の情報としては、障害物の大きさ情報（横幅、高さ）、パターン認識を利用した障害物の種別情報（例えば、車両、歩行者）などがある。

図３に示す例は、自車両がピンチングしているときにミリ波情報による障害物情報に基づいて画像処理領域を設定した場合である。この場合、撮像画像Ｐにおける前方車両ＦＶに対して下方向に位置ずれした画像処理領域ＩＡが設定される。この際、自車両のピッチングに応じた上下方向の補正量（画素数ＰＷ）が求められ、この画素数ＰＷに従って画像処理領域ＩＡを上方に平行移動することにより、画像処理領域ＲＡが再設定される。この画像処理領域ＲＡ内には、前方車両ＦＶが十分に含まれる。

図１〜図３を参照して、周辺監視装置１の動作について説明する。特に、ＥＣＵ４における画像処理領域決定処理については図４のフローチャートに沿って説明する。図４は、図１のＥＣＵにおける画像処理領域決定処理の流れを示すフローチャートである。

ミリ波センサ２では、一定時間毎に、ミリ波による走査を行い、各検出点についてのミリ波情報を示すミリ波信号をＥＣＵ４に送信する。ＥＣＵ４では、このミリ波信号を受信する毎に、ミリ波情報を時系列で記憶する。

カメラ３では、一定時間毎に、自車両の前方を撮像し、その画像情報を示す画像信号をＥＣＵ４に送信する。ＥＣＵ４では、この画像信号を受信する毎に、そのフレームの画像情報を時系列で記憶する。

ＥＣＵ４では、現時刻（ｔ）のミリ波情報を読み出し、そのミリ波情報に基づいて障害物情報（相対距離、相対速度、横位置など）を検出する（Ｓ１）。そして、ＥＣＵ４では、その障害物情報に基づいて画像処理領域を設定する（Ｓ２）。

ＥＣＵ４では、現時刻（ｔ）のフレームと前時刻（ｔ−１）のフレームの画像をそれぞれ読み出し、２フレームの画像から右側の側端領域（比較領域）をそれぞれ抽出する。そして、ＥＣＵ４では、各側端領域の輝度波形をそれぞれ算出し、２つの輝度波形の上下方向の差から自車両のピッチングに応じた補正量を推定する（Ｓ３）。

ＥＣＵ４では、ピッチング補正量が閾値よりも大きいか否かを判定する（Ｓ４）。Ｓ４にてピッチング補正量が閾値以下と判定した場合、ＥＣＵ４では、Ｓ２で設定した画像処理領域を確定する。

一方、Ｓ４にてピッチング補正量が閾値よりも大きいと判定した場合、ＥＣＵ４では、そのピッチング補正量に従って画像処理領域の位置を補正し、その補正した画像処理領域を確定する（Ｓ５）。

そして、ＥＣＵ４では、現時刻（ｔ）の画像におけるその確定した画像処理領域から障害物情報（大きさ情報、種別情報など）を検出する。

ＥＣＵ４では、その検出した障害物情報（相対距離、相対速度、横位置、大きさ情報、種別情報など）を運転支援装置に出力あるいは音声や表示によって運転者に提供する。

この周辺監視装置１によれば、撮像時刻の異なる複数の画像間の比較領域における輝度波形を比較するだけの簡単な手法により、自車両のピッチング（特に、ピッチングに応じた補正量）を検出できる。そのため、処理負荷が少なく、安価な画像処理チップでも応答性良く処理が可能である。

特に、周辺監視装置１では、画像中の側端領域を比較領域としているので、走行中の車両などの大きな移動物体が入る可能性が少なく、その側端領域における輝度波形の比較によってピッチング補正量を高精度に求めることができる。また、周辺監視装置１では、輝度波形で比較することにより、処理負荷をより軽減できる。

なお、自車両の挙動の変化によって画像処理領域の位置変動が最も大きくなるのは、ピッチングによる影響であり、本実施の形態のようなピッチングに応じた位置補正を行うことにより、画像処理領域の位置補正の効果としては非常に高い。ちなみに、ロールに応じた位置補正を行う場合、画像中心を回転軸として回転移動をして位置補正するので、画像中心付近に存在する画像処理領域の位置としてはそれほど変わらず、画像処理領域の位置補正の効果としては低い。このように、本実施の形態では、処理負荷を軽減するために、画像処理領域の位置補正の効果が最も高いピッチングに対する補正だけを行っている。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では周辺監視装置に適用したが、車両挙動検出装置自体あるいは運転支援装置や車両挙動制御装置などにおける車両挙動検出機能などにも適用できる。

また、本実施の形態ではミリ波センサを適用したが、ミリ波センサを適用したが、レーザセンサ、超音波センサなどの他のレーダセンサ、カメラの画像を利用したセンサ、インフラなどの他の手段を適用してもよい。

また、本実施の形態では画素情報として輝度を利用し、輝度波形を比較する構成したが、ＲＧＢなどの他の画素情報を利用してもよいし、また、輝度波形以外にも他の情報を比較してもよい。

また、本実施の形態では画像の上下方向の輝度波形を比較し、挙動としてピッチングを検出する構成としたが、左右方向などの他の方向で比較してもよく、また、ロール、ヨーイングなどの他の挙動を検出してもよい。

また、本実施の形態では予め決められた画像の側端部を比較領域としたが、上下端部などの他の領域でもよいし、また、ミリ波情報から検出した移動物体の位置情報に基づいて移動物体を含まないような領域を動的に設定してもよい。

また、本実施の形態では自車両の運動量として画像処理領域を補正するためのピッチング補正量（画素数）を求める構成としたが、自車両の運動量を直接示すピッチ角などを求める構成としてもよい。ちなみに、隣接画素間距離とピッチ角とは予め決まった関係なので、求められたピッチング補正量（画素数）からピッチ角に簡単に変換することができる。

本実施の形態に係る周辺監視装置の構成図である。 図１のＥＣＵにおけるピッチング補正量の推定方法の説明図である。 自車両のピッチングと画像処理領域との関係を示す撮像画像の一例である。 図１のＥＣＵにおける画像処理領域決定処理の流れを示すフローチャートである。

符号の説明

１…周辺監視装置、２…ミリ波センサ、３…カメラ、４…ＥＣＵ

Claims (3)

1. 自車両周辺を撮像する撮像手段と、
   前記撮像手段でそれぞれ撮像した撮像時刻の異なる複数の画像間において、移動物体の占める割合が他の領域に比べて小さい比較領域における画素情報を比較する比較手段と、
   前記比較手段での比較結果に基づいて自車両の挙動の変化を検出する検出手段と
   を備えることを特徴とする車両挙動検出装置。
2. 前記比較領域は、前記撮像手段で撮像した画像の中心から所定量外側に位置する領域であることを特徴とする請求項１に記載する車両挙動検出装置。
3. 前記比較手段は、前記撮像手段でそれぞれ撮像した撮像時刻の異なる複数の画像間において、比較領域における車両上下方向の輝度波形を比較し、
   前記検出手段は、前記比較手段での比較結果に基づいて自車両のピッチングを検出することを特徴とする請求項１又は請求項２に記載する車両挙動検出装置。

Images