JP7029261B2

JP7029261B2 - 物体速度算出装置

Info

Publication number: JP7029261B2
Application number: JP2017179118A
Authority: JP
Inventors: 雅俊皆川
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2017-09-19
Filing date: 2017-09-19
Publication date: 2022-03-03
Anticipated expiration: 2037-09-19
Also published as: JP2019053011A

Description

本発明は、ステレオカメラの撮像画像から得られる距離情報に基づいて物体の速度を算出する物体速度算出装置に関する。

近年、自動車等の車両においては、カメラで前方の走行環境を撮像して画像処理により走行環境を認識する技術が採用され、前方障害物に対する衝突回避や、先行車に対する追従制御、ふらつき及び車線逸脱に対する警報制御や操舵制御等のドライバに対する各種支援制御が実用化されている。特に、特許文献１に開示されているように、同一対象を異なる視点から撮像するステレオカメラを用いて走行環境を３次元的に認識する技術は、各種支援制御における有力な技術の一つとして採用されている。

特許第３３１５０５４号公報

しかしながら、ステレオカメラの撮像画像を処理して物体を認識する技術では、物体の速度は、所定の時間間隔（時間スケール）における位置変化量（距離変化量）から算出することができるが、遠方にある対象物体の距離情報には、相対的に近距離にある物体の距離情報に比較してノイズが多く含まれるため、対象物体の正確な距離が得られない場合がある。

特に、遠方から自車両に高速で接近する物体が存在する場合、衝突回避のブレーキ制御や回避のための操舵制御を行うためには、遠方の物体を認識してからいち早く速度を算出する必要があるが、通常の距離にある物体と同様の時間スケールで速度を算出しても、ブレーキ制御や操舵制御を行う上での必要な精度を確保することは困難である。

本発明は上記事情に鑑みてなされたもので、遠方の物体の距離情報に含まれるノイズの影響を低減して遠方の物体の速度を適正に算出することのできる物体速度算出装置を提供することを目的としている。

本発明の一態様による物体速度算出装置は、ステレオカメラで撮像した画像を処理して得られる物体の距離情報に基づいて、前記物体の速度を算出する物体速度算出装置であって、前記ステレオカメラで認識可能な限界の距離に対して設定比率の距離以上にある前記物体を、遠方物体として判定する遠方物体判定部と、前記物体が前記遠方物体と判定されたとき、前記物体の距離情報から前記物体の速度を算出するための時間スケールを、前記ステレオカメラのフレームレートに基づく通常の時間スケールから拡大方向に変更する時間スケール変更部と、前記物体が前記遠方物体でない場合、前記物体の距離情報と前記通常の時間スケールとに基づいて前記物体の速度を算出し、前記物体が前記遠方物体である場合、前記物体の距離情報と前記通常の時間スケールを拡大した時間スケールとに基づいて前記物体の速度を算出する速度演算部とを備える。
本発明の他の態様による物体速度算出装置は、ステレオカメラで撮像した画像を処理して得られる物体の距離情報に基づいて、前記物体の速度を算出する物体速度算出装置であって、前記ステレオカメラで認識可能な限界の距離に対して設定比率の距離以上にある前記物体を、遠方物体として判定する遠方物体判定部と、前記物体が前記遠方物体と判定されたとき、前記物体の距離情報から前記物体の速度を算出するための時間スケールを、通常の時間スケールから拡大方向に変更する時間スケール変更部と、前記物体が前記遠方物体でない場合、前記通常の時間スケールに基づく時定数を有するフィルタを介して前記物体の距離情報から前記物体の速度を算出し、前記物体が前記遠方物体である場合、前記物体の距離情報と前記通常の時間スケールを拡大した時間スケールとに基づいて前記物体の速度を算出する速度演算部とを備える。

本発明によれば、遠方の物体の距離情報に含まれるノイズの影響を低減して遠方の物体の速度を適正に算出することができる。

ステレオ画像処理システムの構成図ステレオ法による距離計測の原理を示す説明図視差と距離との関係を示す説明図速度算出処理のフローチャート

以下、図面を参照して本発明の実施の形態を説明する。
図１において、符号１は、ステレオカメラ２で撮像した画像を処理して各種認識処理を行うステレオ画像処理システムを示し、例えば、自動車等の車両に、外部環境の認識結果に基づいてドライバに対する各種運転支援を行う運転支援システムの一機能として搭載されている。

ステレオ画像処理システム１は、本実施の形態においては、２台のカメラ２ａ，２ｂからなるステレオカメラ２、ステレオカメラ２の撮像信号を前処理する前処理部１０、前処理された撮像画像を記憶する入力画像メモリ１５、入力画像メモリ１５に記憶された撮像画像に対して各種補正処理を行う画像補正部２０、画像補正部２０からの出力に対してステレオマッチング処理を行い、距離情報を画像化した距離画像を生成するステレオ処理部３０、ステレオ処理部３０で生成した距離画像とカメラ２ａ，２ｂで撮像された画像（前処理及び補正処理後の元画像）とを記憶する出力画像メモリ４０、ステレオカメラ２による距離画像及び元画像を用いて、各種認識処理を行う認識処理部５０を備えて構成されている。

ステレオカメラ２は、シャッタースピード可変で互いに同期が取られた２台のカメラ２ａ，２ｂから構成され、一方のカメラ２ａをステレオ処理の基準画像を撮像する基準カメラ、他方のカメラ２ｂをステレオ処理の比較画像を撮像する比較カメラとして、互いのカメラの光軸が平行となるように配置する。カメラ２ａ，２ｂは、例えば車室内上部のフロントウィンドウ内側に、互いの光軸が平行となるように所定の基線長（光軸間隔）で配置されている。

本実施の形態においては、各カメラ２ａ，２ｂは、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子を有し、撮像素子からのアナログ撮像信号を増幅するアンプや、アナログ撮像信号を所定のビット数のデジタル信号に変換するＡ／Ｄコンバータ等の各種回路を内蔵した撮像ユニットとして構成されている。

前処理部１０は、カメラ２ａ，２ｂに対する電子シャッター制御、アンプのゲイン・オフセットの制御及び調整、ルックアップテーブル（ＬＵＴ）によるγ補正等を含む輝度補正やシェーディング補正等を行う。また、前処理部１０は、入力画像メモリ１５にデータを書き出す際のアドレス制御を行い、入力画像メモリ１５の所定のアドレスに、一対のカメラ画像（デジタル画像）が記憶される。

画像補正部２０は、画像処理座標の設定、画像サイズ調整、アドレス制御等における各種パラメータを設定するパラメータ設定、一対の撮像画像に対応してレンズ歪を含む光学的な位置ズレを補正する補正処理を行うアフィン補正、ノイズ除去処理等を行うフィルタ補正等を行う。

アフィン補正は、入力画像メモリ１５から読み込んだ画像データに対して、各カメラ２ａ，２ｂのレンズの歪み、各カメラ２ａ，２ｂの取り付け位置のズレや焦点距離のバラツキ、更には、各カメラの撮像面のズレ等に起因する光学的な位置ズレを補正する処理を実行する。光学的な位置ズレの補正は、各カメラ２ａ，２ｂで撮像した画像における回転ズレ、並進ズレ等をアフィン変換補正テーブルを用いて幾何学的に補正すると共に、レンズ歪み等の非線形な歪みを非線形補正テーブルによって補正するものであり、これにより、各カメラ２ａ，２ｂの光学的位置が等価的に精密調整される。

フィルタ補正は、入力画像メモリに記憶されたデジタル画像（諧調画像）に含まれるノイズを、３×３フィルタ等の空間フィルタを用いて除去する。このノイズ除去処理は、レンズ歪補正を含む幾何補正を施された画像データに対しては、対応するフィルタ値を切換えて適用する。

以上の画像補正部２０から出力される一対の画像データは、ステレオ処理部３０に入力される。ステレオ処理部３０は、ステレオカメラ２で撮像した自車両外部の周辺環境のステレオ画像（基準画像及び比較画像）から対応する位置のズレ量（視差）をステレオマッチング処理により求め、このズレ量に基づく距離画像を生成して出力画像メモリ４０に保存する。

ステレオマッチング処理としては、基準画像内の或る１つの点の周囲に小領域（ブロック或いはウィンドウとも称され、以下ではブロックと記載）を設定し、比較画像内の或る点の周囲に同じ大きさのブロックを設けて対応点を探索する周知の領域探索法を採用することができる。この領域探索法による対応点の探索処理では、比較画像上でブロックをずらしながら基準画像のブロックとの相関演算を行い、相関値が最も大きいブロックの座標のズレ量を算出する。このズレ量は、例えば、画像座標系の対応する位置の輝度値に置き換えられ、画像形態の距離画像として保存される。

認識処理部５０は、ステレオ処理部３０で生成された距離画像が有する距離情報を用いて、実空間での距離を算出するすると共に各種認識処理を行う。例えば、距離画像からの距離情報に対して、所定の閾値内にあるデータをグループ化するグルーピング処理を行い、白線データ、道路に沿って存在するガードレール、縁石等の側壁データを抽出すると共に、立体物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出する。

認識した各立体物のデータは、自車両を原点とし、自車両の前後方向及び幅方向を軸とする座標系におけるそれぞれの位置が演算される。特に、２輪車、普通車両、大型車両の車両データにおいては、その前後方向長さが、例えば、３ｍ、４．５ｍ、１０ｍ等と予め推定され、また、幅方向は検出幅の中心位置を用いて、その車両の存在する中心位置が演算される。

更に、認識処理部５０は、物体速度算出装置としても機能し、立体物データに対して、自車両からの距離の各軸方向の変化から自車両に対する相対速度を演算し、この相対速度に自車両の速度を考慮して演算することにより、それぞれの立体物の各軸方向の速度を演算する。こうして得られた各情報、すなわち、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ（種別、自車両からの距離、中心位置座標、速度等の各データ）から、認識処理部５０は、自車両周辺の歩行者或いは軽車両、自車両が走行する道路に接続する道路上を走行する他車両等の移動物体を認識する。

このような認識処理部５０からの白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、立体物データ等は、車内ネットワークを形成する通信バス１００を介して図示しない車両制御用の制御コントローラに送信される。制御コントローラは、認識処理部５０からの情報と自車両の車速やヨーレート等の車両情報とに基づいて走行環境を認識し、例えば、自車両の走行位置を車線内に維持する車線維持制御、自車両の走行車線外への逸脱を防止する車線逸脱防止制御、衝突危険性を予測して衝突を回避若しくは衝突被害を軽減するためのプリクラッシュブレーキ制御、先行車両の捕捉結果に応じて追従走行と定速走行とを自動的に切り換えるアダプティブ・クルーズ・コントロール（Adaptive Cruise Control；ACC）等のドライバに対する運転支援制御を実行する。

ここで、認識処理部５０で算出される物体の速度は、ステレオカメラ２から得られる距離情報によって精度が左右される。図２に示すように、ステレオ法による距離計測では、ステレオカメラ２で撮像した基準画像と比較画像との間の対応点のズレ量（視差）をｘ、基準カメラと比較カメラとの光軸間隔（基線長）をｒ、レンズの焦点距離をｆとすると、レンズ中心から対象物Ｐまでの距離Ｄは、三角測量の原理に基づいて、以下の（１）式により求めることができる。
Ｄ＝ｒ・ｆ／ｘ …（１）

（１）式による物体の距離Ｄは、図３に示すように、物体が遠方にあるほど、視差ｘが小さくなるため、ノイズ等の影響を受けて精度が低下する。すなわち、ステレオ処理によって得られる距離Ｄは、基線長ｒ及びレンズ焦点距離ｆの影響を除くと、対象点（物体）までの距離が遠い程、画像面上での対応点のステレオマッチングの誤差の影響が大きくなり、距離精度が低下する。

このため、認識処理部５０は、速度算出に係る機能部として、遠方物体判定部５１、時間スケール変更部５２、速度演算部５３を備えており、物体の距離を考慮して速度を算出することにより、距離情報の精度が懸念される遠方においても、接近速度の大きな物体を適正に検出することを可能としている。

遠方物体判定部５１は、認識された物体のうち、図３に示すように、ステレオカメラ２で認識可能な限界となる認識限界距離Ｄｍａｘに対して設定比率の距離ＤＬ以上にある物体を遠方物体として判定する。距離ＤＬは、ノイズの影響が大きくなり、通常の時間スケールでの速度演算では、車両制御上の必要な精度を得ることが困難な距離であり、例えば、ＤＬ＝０．８×Ｄｍａｘに設定されている。

本実施の形態においては、更に、認識されてから設定時間（例えば、１．５ｓｅｃ）以内である時間条件、自車両の車速が設定車速以上（例えば、１００ｋｍ／ｈ以上）である車速条件を付加して、遠方物体であるか否かを判定する。そして、認識された物体毎に、遠方物体か否かの識別情報を付与して距離情報とともに時間スケール変更部５２及び速度演算部５３に送る。

認識されてから設定時間以内である条件は、省略することも可能であるが、本実施の形態においては、後述するように、速度演算部５３において、通常の距離にある物体の速度は、フィルタ処理によって算出するようにしている。このため、本実施の形態においては、物体が認識されてからフィルタ処理が安定化するまでの遅れ時間を考慮した条件を、遠方物体の判定条件として付加する。

同様に、自車両の車速の条件も省略可能であるが、遠方物体の速度を必要な精度で把握する必要性が高いのは、自車両の速度が高く、物体に急接近する場合である。このため、本実施の形態においては、自車両の速度が設定車速以上（例えば、１００ｋｍ／ｈ以上）である条件を付加して遠方物体であるか否かを判定するようにしている。

時間スケール変更部５２は、認識された物体が遠方物体と判定されたとき、速度算出の時間スケールを通常の時間スケールから拡大方向に変更し、速度演算部５３に送る。具体的には、通常の距離にある物体に対する速度を、時間スケールΔｔ当たりの距離変化で算出するとき、遠方物体に対しては、以下の（２）式に示すように、通常の時間スケールΔｔを倍率Ｎで拡大した時間スケールΔＴＬで速度を算出する。
ΔＴＬ＝Ｎ×Δｔ …（２）

通常の時間スケールΔｔは、例えば、ステレオカメラ２のフレームレートに基づく時間（例えば、１フレーム間の時間）として予め設定され、フレーム間の距離変化ΔＤと時間スケールΔｔとから物体の速度（相対速度）が算出される。また、倍率Ｎは、任意に設定可能であるが、自車両の速度が高く、高速で遠方の物体に接近する場合のような危険性の高い状況を想定する場合、例えばＮ＝１０に設定される。

速度演算部５３は、遠方物体ではなく通常の距離にある物体と判定されたとき、例えば、所定フレーム数分の位置データをフィルタ処理して物体の速度を算出する。この通常の距離の物体の速度は、例えば、時間スケールΔｔに基づく時定数を有するバンドパスフィルタ或いはハイパスフィルタ等を用いて求めることができ、これらのフィルタは、物体の距離Ｄを入力として物体と自車両との相対速度Ｖを出力とする所定の伝達関数で実現することができる。

フィルタを介して物体の速度を算出する場合、フィルタの動作が安定するには時間を要し、ノイズの影響等によって遠方から急速に接近する物体を正確に把握することが困難となる場合がある。このため、速度演算部５３は、遠方物体と判定され、時間スケール変更部５２で速度算出の時間スケールが変更されたときには、以下の（３）式に示すように、遠方物体に対する時間スケールΔＴＬにおける距離変化ΔＤにより、遠方物体の速度ＶＬ（相対速度）を算出する。
ＶＬ＝ΔＤ／ΔＴＬ …（３）

すなわち、自車両への接近速度が大きい物体は、時間当たりの距離変化が大きいため、通常の時間スケールΔｔを拡大した時間スケールΔＴＬを用いて遠方物体の速度ＶＬを算出することにより、距離データに含まれるノイズの影響を低減することができる。

尚、本実施の形態においては、速度演算部５３は、遠方物体判定部５１からの遠方物体ではないとの判定結果を受けて通常の時間スケールで速度を算出するようにしているが、速度演算部５３は、遠方物体判定部５１の判定結果を受けることなく、遠方物体判定部５１で遠方物体でないと判定した場合、時間スケール変更部５２で倍率ＮをＮ＝１にセットし、速度演算部５３に送るようにしても良い。

次に、認識処理部５０の物体速度算出に係る処理について、図４に示すフローチャートを用いて説明する。

この物体速度算出処理においては、先ず、最初のステップＳ１において、自車両の走行情報及びステレカメラ２の撮像画像から認識した物体の距離情報を読み込み、ステップＳ２で自車両の車速が設定車速以上か否かを調べる。自車両の車速が設定車速以上の場合、ステップＳ３へ進み、自車両の車速が設定車速未満の場合、ステップＳ５へ進んで通常の時間スケールΔｔを用いて物体の速度を算出し、本処理を抜ける。

ステップＳ３では、物体の距離がステレオカメラ２の認識限界距離Ｄｍａｘに対して設定比率の距離ＤＬ以上であるかを調べる。距離ＤＬ未満である場合には、ステップＳ３からステップＳ５へ進んで通常の時間スケールΔｔで物体の速度を算出し、距離ＤＬ以上の場合。更にステップＳ４で、対象の物体が認識されてから設定時間以内であるか否かを調べる。

対象の物体が認識されてから設定時間を超えている場合、ステップＳ４からステップＳ５へ進んで通常の時間スケールΔｔで物体の速度を算出し、設定時間以内の場合、遠方物体であるとしてステップＳ４からステップＳ６へ進む。ステップＳ６では、通常の時間スケールΔｔを倍率Ｎで拡大した時間スケールΔＴＬを用いて遠方物体の速度ＶＬを算出し、本処理を抜ける。

このように本実施の形態においては、遠方の物体の速度を算出する際の時間スケールを、通常の時間スケールから拡大方向に変更するようにしており、これにより、自車両に接近する遠方の物体の速度を、距離情報に含まれるノイズの影響を低減して適正に算出することができる。この場合、速度算出の時間スケールを拡大することによって速度算出の応答性が低下したとしても、遠方の物体のみに適用するため特に支障となることはない。

１ステレオ画像処理システム
２ステレオカメラ
３０ステレオ処理部
５０認識処理部
５１遠方物体判定部
５２時間スケール変更部
５３速度演算部
Ｄｍａｘ認識限界距離
Ｎ倍率
ΔＴＬ遠方物体に対する時間スケール
Δｔ通常の時間スケール

Claims

ステレオカメラで撮像した画像を処理して得られる物体の距離情報に基づいて、前記物体の速度を算出する物体速度算出装置であって、
前記ステレオカメラで認識可能な限界の距離に対して設定比率の距離以上にある前記物体を、遠方物体として判定する遠方物体判定部と、
前記物体が前記遠方物体と判定されたとき、前記物体の距離情報から前記物体の速度を算出するための時間スケールを、前記ステレオカメラのフレームレートに基づく通常の時間スケールから拡大方向に変更する時間スケール変更部と、
前記物体が前記遠方物体でない場合、前記物体の距離情報と前記通常の時間スケールとに基づいて前記物体の速度を算出し、前記物体が前記遠方物体である場合、前記物体の距離情報と前記通常の時間スケールを拡大した時間スケールとに基づいて前記物体の速度を算出する速度演算部と
を備えることを特徴とする物体速度算出装置。
ステレオカメラで撮像した画像を処理して得られる物体の距離情報に基づいて、前記物体の速度を算出する物体速度算出装置であって、
前記ステレオカメラで認識可能な限界の距離に対して設定比率の距離以上にある前記物体を、遠方物体として判定する遠方物体判定部と、
前記物体が前記遠方物体と判定されたとき、前記物体の距離情報から前記物体の速度を算出するための時間スケールを、通常の時間スケールから拡大方向に変更する時間スケール変更部と、
前記物体が前記遠方物体でない場合、前記通常の時間スケールに基づく時定数を有するフィルタを介して前記物体の距離情報から前記物体の速度を算出し、前記物体が前記遠方物体である場合、前記物体の距離情報と前記通常の時間スケールを拡大した時間スケールとに基づいて前記物体の速度を算出する速度演算部と
を備えることを特徴とする物体速度算出装置。
前記遠方物体判定部は、更に、自車両の速度が設定速度以上の条件を加えて、前記遠方物体であるか否かを判定することを特徴とする請求項１又は請求項２に記載の物体速度算出装置。
前記遠方物体判定部は、更に、前記物体が認識されてから設定時間以内である条件を加えて、前記遠方物体であるか否かを判定することを特徴とする請求項１から請求項３の何れか一項に記載の物体速度算出装置。