JP3941765B2 - 物体検出装置 - Google Patents

Description

本発明は、レーダによる検出と画像による検出とを利用した物体検出装置に関する。

近年、衝突防止装置、車間距離制御装置、追従走行装置等の運転支援システムが開発されている。これら運転支援システムでは、自車の前方を走行する車両等の物体（障害物）を検出することが重要となる。物体検出装置には、検出精度を向上させるために、レーザレーダ等のレーダによる検出手段及びステレオカメラ等の画像による検出手段の２つの検出手段を備える装置がある（特許文献１、特許文献２参照）。この２つの検出手段を備える物体検出装置では、レーダによる検出結果と画像による検出結果とを照合し、この照合結果に基づいて前方の物体を検出している。
特開２００３−８４０６４号公報 特開平７−１２５５６７号公報

しかしながら、従来の２つの検出手段を備える物体検出装置では、両方の検出手段において確からしい物体を検出しているので、確からしい物体として複数の物体を検出してしまう場合がある。つまり、一方の検出手段による検出結果をベースにして他方の検出手段による検出結果を照合する一方向の照合しか行っていないので、１個の物体に対して複数の物体を照合してしまうことがある。そのため、照合した後の処理において、複数の物体を１個の物体に絞り込む処理が必要となり、複雑な計算を行わなければならない。また、その後処理において、１個の物体に絞りこめない場合もある。

そこで、本発明は、簡単な手法で高精度に物体を検出することができる物体検出装置を提供することを課題とする。

本発明に係る物体検出装置は、レーダにより物体の距離と横位置情報を検出するレーダ検出手段と、画像により物体の距離と横位置情報を検出する画像検出手段と、レーダ検出手段による検出結果と画像検出手段による検出結果とを照合する照合手段とを備え、照合手段は、レーダ検出手段で検出した各物体に対して距離と横位置情報に基づいて画像検出手段で検出した物体の中で最も近い位置にある物体との組合せを検出し、画像検出手段で検出した各物体に対して距離と横位置情報に基づいてレーダ検出手段で検出した物体の中で最も近い位置にある物体との組合せを検出し、レーダ検出手段で検出した各物体に対する組合せと画像検出手段で検出した各物体に対する組合せとにおいて一致する組合せがあるか否かを判定し、一致する組合せがある場合には２つの検出手段で同一の物体を検出していると判断することを特徴とする。

この物体検出装置では、レーダ検出手段によって物体を検出するとともに、画像検出手段によって物体を検出する。そして、物体検出装置の照合手段では、レーダ検出手段で検出した各物体を基準として画像検出手段で検出した全ての物体を照合し、その基準とした物体に最も近い物体を選択し、その基準とした物体と選択した物体とを組合せとする。また、照合手段では、画像検出手段で検出した各物体を基準としてレーダ検出手段で検出した全ての物体を照合し、その基準とした物体に最も近い物体を選択し、その基準とした物体と選択した物体とを組合せとする。さらに、照合手段では、レーダ検出手段で検出した各物体を基準とした組合せと画像検出手段で検出した各物体を基準とした組合せとを比較し、一致する組合せがあるか否かを判定する。そして、照合手段では、一致する組合せがある場合にはレーダ検出手段と画像検出手段の両方の検出手段で同一の物体を検出したと判断し、その一致する組合せの物体を検出対象の物体であると特定する。このように、物体検出装置では、２つの検出手段の両方向から照合し、各照合においても基準となる物体に対して１個の物体のみを選択し、さらに、両方向からの照合結果のアンド条件を満たすものだけを検出対象の物体としているので、検出精度が非常に高い。また、物体検出装置では、各照合において最も近い物体を選択し、両方向からの照合結果において一致する組合せがあるか否かを判定するだけの非常に簡単な方法によって２つの検出手段による検出結果から検出対象の物体を特定することができるので、処理負荷が低減する。

なお、レーダ検出手段としては、例えば、ミリ波レーダ、レーザレーダがある。画像検出手段としては、例えば、ステレオカメラがある。

本発明によれば、非常に簡単な照合手法により、レーダによる物体の検出結果と画像による物体の検出結果が同一の検出対象の物体を検出しているかどうかを非常に高い精度で判断できる。

以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る物体検出装置を、自動車に搭載され、前方の障害物を検出する障害物検出装置に適用する。本実施の形態に係る障害物検出装置は、ミリ波レーダ及びステレオカメラの２つの検出手段を備えている。

図１を参照して、障害物検出装置１について説明する。図１は、本実施の形態に係る障害物検出装置の構成図である。

障害物検出装置１は、自動車に搭載され、自車の前方の障害物（車両等）を検出する装置である。障害物検出装置１は、前方の障害物に関する情報を必要とする衝突防止装置、車間距離制御装置、追従走行装置等の運転支援装置に障害物情報を提供する。障害物検出装置１では、２つの検出手段による検出結果を簡単な方法により照合し、高精度に自車の前方の障害物を特定する。そのために、障害物検出装置１は、ミリ波レーダ２、ステレオカメラ３及びＥＣＵ４[Electronic Control Unit]を備えている。なお、障害物検出装置１は、運転支援装置と別体とし、運転支援装置に検出した障害物情報を送信する構成でもよいし、あるいは、運転支援装置に組み込まれる構成でもよい。

本実施の形態では、ミリ波レーダ２が特許請求の範囲に記載するレーダ検出手段に相当し、ステレオカメラ３が特許請求の範囲に記載する画像検出手段に相当し、ＥＣＵ４が特許請求の範囲に記載する照合手段に相当する。

ここで、本実施の形態で使用する用語について説明しておく。ミリ波物標は、ミリ波レーダ２によって検出した物体（物標）である。画像物標は、ステレオカメラ３によって検出した物体（物標）である。フュージョン物標は、ミリ波物標と画像物標とを照合することによってミリ波レーダ２及びステレオカメラ３の両方の検出手段で検出された物体であると特定された物体（物標）であり、障害物検出装置１における障害物情報となる。単独ミリ波物標は、ミリ波レーダ２でのみ検出した物体（物標）であり、つまり、ミリ波物標の中からフュージョン物標を除いたものである。単独画像物標は、ステレオカメラ３でのみ検出した物体（物標）であり、つまり、画像物標の中からフュージョン物標を除いたものである。各物標は、自車からの位置を特定するために、自車からの距離、自車との相対速度、自車の進行方向に対する角度（横位置情報）等の情報を有している。

ミリ波レーダ２は、ミリ波を利用して物体を検出するレーダである。ミリ波レーダ２は、自動車の前面の中央に取り付けられる。ミリ波レーダ２では、ミリ波を水平面内でスキャンしながら自車から前方に向けて出射し、反射してきたミリ波を受信する。そして、ミリ波レーダ２では、出射から受信までの時間を計測することによって自車の前端部から前方の物体までの距離を計算する。また、ミリ波レーダ２では、ドップラ効果を利用して前方の物体との相対速度を計算する。また、ミリ波レーダ２では、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車の進行方向と物体の方向とのなす角度を計算する。ミリ波レーダ２による物体検出では、反射したミリ波を受信できた場合に物体を検出したことになるので、反射したミリ波を受信する毎に１個のミリ波物標が得られる。なお、ミリ波レーダ２で距離、相対速度、角度を計算する構成としているが、ミリ波レーダ２で検出した検出値に基づいてＥＣＵ４で計算する構成としてもよい。

なお、ミリ波レーダ２による検出では、距離及び相対速度の精度が高く、角度の精度が低い。ミリ波レーダ２では、送信したミリ波が反射して戻るまでの時間により距離を演算するので、距離の精度が高い。また、ミリ波レーダ２では、ドップラ効果を利用して相対速度を演算するので、相対速度の精度が高い。しかし、ミリ波は検出対象の物体の幅方向のいずれの箇所で最も強く反射してきたかが判らないので、幅方向の位置（横位置）が変動し、角度の精度は低くなる。

ステレオカメラ３は、２台のＣＣＤカメラ（図示せず）からなり、２台のＣＣＤカメラが水平方向に数１０ｃｍ程度離間されて配置されている。ステレオカメラ３も、自動車の前面の中央に取り付けられる。ステレオカメラ３では、２つのＣＣＤカメラで撮像した各画像データを画像処理部（図示せず）に送信する。この画像処理部は、ステレオカメラ３に一体で設けられてもよいし、あるいは、ＥＣＵ４内に構成されてもよい。

画像処理部では、各画像データから物体を特定し、物体の位置に関する情報を計算する。ステレオカメラ３による物体検出では、２つの画像データから物体を特定できた場合に物体を検出したことになるので、物体を特定する毎に１個の画像物標が得られる。画像処理部では、２つの画像データにおける物体の見え方のずれを利用して三角測量的に自車の前端部から前方の物体までの距離を計算する。また、画像処理部では、その算出した距離の時間変化から相対速度を計算する。また、画像処理部では、検出した物体の幅方向の両端部を検出し、自車の進行方向と２つの端部の方向とのなす角度をそれぞれ計算する。したがって、画像物標の横位置情報は物体の幅方向の両端部に対する２つの角度情報からなる。

なお、ステレオカメラ３による検出では、距離及び相対速度の精度が低く、角度の精度が高い。左右の画像データから検出対象の物体の幅方向の両端部を高精度に検出できるので、角度の精度は高くなる。しかし、数１０ｃｍ程度離間した左右のＣＣＤカメラによる画像データを利用しているので、距離を計算する際に非常に鋭角な三角測量となり、距離及び相対速度の精度は低くなる。

ＥＣＵ４は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなる電子制御ユニットである。ＥＣＵ４は、ミリ波レーダ２及びステレオカメラ３が接続され、ミリ波レーダ２からミリ波物標を取り入れ、ステレオカメラ３から画像物標を取り入れる。そして、ＥＣＵ４では、ミリ波物標と画像物標とを照合し、障害物情報（フュージョン物標、単独ミリ波物標、単独画像物標）を求める。なお、ＥＣＵ４に画像処理部が構成される場合、ＥＣＵ４では、ステレオカメラ３から画像データを取り入れ、画像データから画像物標を求める。

図２を参照して、ＥＣＵ４における照合処理について説明する。図２は、障害物検出装置におけるミリ波物標と画像物標との照合処理の説明図である。なお、図２に示す例では、ミリ波レーダ２による検出によって５つのミリ波物標Ｍ１〜Ｍ５が得られ、ステレオカメラ３による検出によって６つの画像物標Ｉ１〜Ｉ６が得られている。

ＥＣＵ４では、ミリ波レーダ２による検出結果からｎ＿ｍ個のミリ波物標が得られた場合、ミリ波物標を基準とした照合を行うためにｎ＿ｍ個から１個づつミリ波物標を取り出す。そして、ＥＣＵ４では、基準となるミリ波物標とｎ＿ｉ個の画像物標とを順次照合し、基準となるミリ波物標に最も近い画像物標を１個だけ選択する。この照合では、自車からの距離及び自車の進行方向に対する角度を照合し、必要に応じて自車との相対速度も照合する。距離の照合では、ミリ波レーダ２の精度に応じて閾値として距離差（例えば、数メートル）が設けられている。ＥＣＵ４では、基準となるミリ波物標の自車からの距離と最も近い画像物標の自車からの距離との距離差が閾値以上の場合には最も近い画像物標を選択不可とする。また、角度の比較では、ミリ波レーダ２の精度に応じて閾値として角度差（例えば、数°）が設けられている。ＥＣＵ４では、基準となるミリ波物標の自車の進行方向に対する角度と最も近い画像物標の自車の進行方向に対する角度との角度差が閾値以上の場合には最も近い画像物標を選択不可とする。そして、ＥＣＵ４では、最も近い画像物標を選択できた場合にはその基準としたミリ波物標と選択した画像物標とをミリ波ベースペアとして保持する。ＥＣＵ４では、ミリ波物標を基準とした上記照合をｎ＿ｍ回繰り返し行う。

図２に示す例では、ミリ波物標Ｍ１を基準とした場合には画像物標Ｉ１が選択されてミリ波ベースペアＭＰ１ができ、ミリ波物標Ｍ２を基準とした場合には画像物標Ｉ２が選択されてミリ波ベースペアＭＰ２ができ、ミリ波物標Ｍ３を基準とした場合には画像物標Ｉ２が選択されてミリ波ベースペアＭＰ３ができ、ミリ波物標Ｍ４を基準とした場合には全ての画像物標Ｉ１〜Ｉ６との比較において閾値を超えてミリ波ベースペアができず、ミリ波物標Ｍ５を基準とした場合には画像物標Ｉ３が選択されてミリ波ベースペアＭＰ４ができる。

ＥＣＵ４では、ステレオカメラ３による検出結果からｎ＿ｉ個の画像物標が得られた場合、画像物標を基準とした照合を行うためにｎ＿ｉ個から１個づつ画像物標を取り出す。そして、ＥＣＵ４では、基準となる画像物標とｎ＿ｍ個のミリ波物標とを順次照合し、基準となる画像物標に最も近いミリ波物標を１個だけ選択する。この照合でも、ミリ波物標を基準にした照合と同様に、自車からの距離及び自車の進行方向に対する角度を照合し、ステレオカメラ３の精度に応じた閾値として距離差及び角度差が設定されている。ＥＣＵ４では、基準となる画像物標と最も近いミリ波物標との距離差が閾値以上の場合又は角度差が閾値以上の場合には最も近いミリ波物標を選択不可とする。そして、ＥＣＵ４では、最も近いミリ波物標を選択できた場合にはその基準とした画像物標と選択したミリ波物標とを画像ベースペアとして保持する。ＥＣＵ４では、画像物標を基準とした上記照合をｎ＿ｉ回繰り返し行う。

図２に示す例では、画像物標Ｉ１を基準とした場合にはミリ波物標Ｍ１が選択されて画像ベースペアＩＰ１ができ、画像物標Ｉ２を基準とした場合にはミリ波物標Ｍ２が選択されて画像ベースペアＩＰ２ができ、画像物標Ｉ３を基準とした場合にはミリ波物標Ｍ５が選択されて画像ベースペアＩＰ３ができ、画像物標Ｉ４を基準とした場合にはミリ波物標Ｍ５が選択されて画像ベースペアＩＰ４ができ、画像物標Ｉ５を基準とした場合には全てのミリ波物標Ｍ１〜Ｍ５の照合において閾値を超えて画像ベースペアができず、画像物標Ｉ６を基準とした場合には全てのミリ波物標Ｍ１〜Ｍ５の照合において閾値を超えて画像ベースペアができない。

続いて、ＥＣＵ４では、ミリ波ベースペアと画像ベースペアとを順次比較し、同一のミリ波物標と画像物標とからなるミリ波ベースペア及び画像ベースペアを選択する。そして、ＥＣＵ４では、その選択した同一のミリ波物標と画像物標とからなるペアをフュージョンペア（フュージョン物標）とし、そのフュージョン物標の情報として距離と相対速度の情報をミリ波物標が有している情報から設定し、角度の情報を画像物標が有している情報から設定する。さらに、ＥＣＵ４では、ミリ波物標の中でフュージョン物標として選ばれなかったものを単独ミリ波物標とし、画像物標の中でフュージョン物標として選ばれなかったものを単独画像物標とする。

図２に示す例では、ミリ波ベースペアＭＰ１と画像ベースペアＩＰ１とは同一のミリ波物標Ｍ１と画像物標Ｉ１とからなるのでフュージョンペアＦＰ１ができ、ミリ波ベースペアＭＰ２と画像ベースペアＩＰ２とは同一のミリ波物標Ｍ２と画像物標Ｉ２とからなるのでフュージョンペアＦＰ２ができ、ミリ波ベースペアＭＰ４と画像ベースペアＩＰ３とは同一のミリ波物標Ｍ５と画像物標Ｉ３とからなるのでフュージョンペアＦＰ３ができ、ミリ波ベースペアＭＰ３は同一のミリ波物標と画像物標とからなる画像ベースペアがなく、画像ベースペアＩＰ４は同一のミリ波物標と画像物標とからなるミリ波ベースペアがない。

図１を参照して、障害物検出装置１における照合処理を図３のフローチャートに沿って説明する。図３は、図１の障害物検出装置における照合処理を示すフローチャートである。

障害物検出装置１では、ミリ波レーダ２による物体検出によってミリ波物標（ｎ＿ｍ個）を検出し、ステレオカメラ３による物体検出によって画像物標（ｎ＿ｉ個）を検出する。

まず、障害物検出装置１では、ミリ波物標をベースにして、ｎ＿ｉ個の画像物標と各々照合する。そして、障害物検出装置１では、ベースのミリ波物標に最も近い画像物標を選択し、そのミリ波物標と画像物標との距離差及び角度差が両方閾値以下の場合にそのベースのミリ波物標と最も近い画像物標とをペアとしたミリ波ベースペアを確定する（Ｓ１）。続いて、障害物検出装置１では、ｎ＿ｍ個のミリ波物標についての照合が全て終了したかを判定し（Ｓ２）、全て終了するまでＳ１の処理を繰り返し実行する。このように、障害物検出装置１では、ミリ波レーダ２による検出結果をベースにしてステレオカメラ３による検出結果を探索し、各ミリ波物標に対して最も確からしい画像物標を１個だけ特定する。

次に、障害物検出装置１では、画像物標をベースにして、ｎ＿ｍ個のミリ波物標と各々照合する。そして、障害物検出装置１では、ベースの画像物標に最も近いミリ波物標を選択し、その画像物標とミリ波物標との距離差及び角度差が両方閾値以下の場合にそのベースの画像物標と最も近いミリ波物標とをペアとした画像ベースペアを確定する（Ｓ３）。続いて、障害物検出装置１では、ｎ＿ｉ個の画像物標についての照合が全て終了したかを判定し（Ｓ４）、全て終了するまでＳ３の処理を繰り返し実行する。このように、障害物検出装置１では、ステレオカメラ３による検出結果をベースにしてミリ波レーダ２による検出結果を探索し、各画像物標に対して最も確からしいミリ波物標を１個だけ特定する。

そして、障害物検出装置１では、確定した全てのミリ波ベースペアと全ての画像ベースペアとを照合し、同一のミリ波物標と画像物標とからなるミリ波ベースペアと画像ベースペアを見つけ出す（Ｓ５）。障害物検出装置１では、同一のミリ波物標と画像物標とからなるミリ波ベースペアと画像ベースペアとを見つけ出せた場合にはその同一のミリ波物標と画像物標とをフュージョンペアと確定し、フュージョン物標の情報（距離、相対速度、角度）を設定する（Ｓ５）。このように、障害物検出装置１では、ミリ波物標及び画像物標による両方向からの照合結果（ミリ波ベースペア及び画像ベースペア）を照合し、２つのペアにおけるミリ波物標と画像物標とが一致する場合のみフュージョン物標として確定する。

障害物検出装置１では、フュージョン物標（ｎ３個）を確定すると、単独ミリ波物標（ｎ１＝ｎ＿ｍ−ｎ３個）を確定するとともに単独画像物標（ｎ２＝ｎ＿ｉ−ｎ３個）を確定する（Ｓ６）。このように、障害物検出装置１では、ミリ波レーダ２よる検出によってミリ波物標及ステレオカメラ３による検出によって画像物標とを得る毎に、フュージョン物標、単独ミリ波物標、単独画像物標を確定していく。

障害物検出装置１によれば、ミリ波物標と画像物標の両方向から照合を行いかつ両方向からの照合結果が一致した場合だけ前方にある物体をフュージョン物標として確定するので、画像で検出した物体とミリ波で検出した物体が一致していると判断する精度（フュージョン精度）が非常に高い。また、障害物検出装置１によれば、一方の物標に対して他方の物標の中から最も近い物標を選択し、かつ、ミリ波ベースペアと画像ベースペアとで一致するペアを探索するだけの簡単な処理によって照合を行うので、処理負荷が軽い。

障害物検出装置１では、前方を走行している車両等の画像による検出結果とミリ波による検出結果を照合することができるので、様々な運転支援システムに確度の高い障害物情報を提供することができる。そのため、ドライバに対して適切な運転支援を行うことができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では自動車に搭載される障害物検出装置に適用したが、非接触で物体を検出する様々な物体検出に適用可能である。

また、本実施の形態ではミリ波レーダ、ステレオカメラで２つの検出手段を構成したが、レーザレーダ等の他の検出手段で構成してもよいし、３つ以上の検出手段で構成してもよい。

また、本実施の形態では各物標の位置を距離、相対速度、角度で特定したが、２次元座標系等の他の情報で各物標の位置を特定してもよい。

本実施の形態に係る障害物検出装置の構成図である。 図１の障害物検出装置におけるミリ波物標と画像物標との照合処理の説明図である。 図１の障害物検出装置における照合処理を示すフローチャートである。

符号の説明

１…障害物検出装置、２…ミリ波レーダ、３…ステレオカメラ、４…ＥＣＵ

Claims (1)

1. レーダにより物体の距離と横位置情報を検出するレーダ検出手段と、
   画像により物体の距離と横位置情報を検出する画像検出手段と、
   前記レーダ検出手段による検出結果と前記画像検出手段による検出結果とを照合する照合手段と
   を備え、
   前記照合手段は、前記レーダ検出手段で検出した各物体に対して距離と横位置情報に基づいて前記画像検出手段で検出した物体の中で最も近い位置にある物体との組合せを検出し、前記画像検出手段で検出した各物体に対して距離と横位置情報に基づいて前記レーダ検出手段で検出した物体の中で最も近い位置にある物体との組合せを検出し、前記レーダ検出手段で検出した各物体に対する組合せと前記画像検出手段で検出した各物体に対する組合せとにおいて一致する組合せがあるか否かを判定し、一致する組合せがある場合には前記２つの検出手段で同一の物体を検出していると判断することを特徴とする物体検出装置。

Images