JP2004117071A - 車外監視装置、及び、この車外監視装置を備えた走行制御装置 - Google Patents
車外監視装置、及び、この車外監視装置を備えた走行制御装置 Download PDFInfo
- Publication number
- JP2004117071A JP2004117071A JP2002278129A JP2002278129A JP2004117071A JP 2004117071 A JP2004117071 A JP 2004117071A JP 2002278129 A JP2002278129 A JP 2002278129A JP 2002278129 A JP2002278129 A JP 2002278129A JP 2004117071 A JP2004117071 A JP 2004117071A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- vehicle
- fusion
- dimensional
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
- B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】車外監視装置5は、ステレオカメラ3で撮像したステレオ画像対をステレオ処理部15で処理して検出した立体物(画像立体物)と、ミリ波送受信部4からの送受信データを測距処理部16で処理して検出した立体物(ミリ波立体物)とを融合して画像立体物単体、ミリ波立体物単体、或いは、画像立体物とミリ波立体物との組合わせの何れかによる各フュージョン立体物を設定するとともに、画像立体物の検出状況に基づく各フュージョン立体物の信頼度及びミリ波立体物の検出状況に基づく各フュージョン立体物の信頼度を判定し、これらの信頼度のうち少なくとも何れか一方が所定以上の信頼度であるフュージョン立体物の中から先行車を選定する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、画像に基づく車外監視とレーダを用いた車外監視とを併用した車外監視装置、及び、この車外監視装置を備えた走行制御装置に関する。
【0002】
【従来の技術】
近年、車載カメラ等からの画像を処理して走行環境を検出し、この走行環境データから先行車情報等を検出する車外監視装置については様々な提案がなされており、さらにこのような車外監視装置で検出した先行車に対して車間距離を一定以上に保つ追従走行制御等を行う各種走行制御装置が実用化されている。
【0003】
ところで、この種の車外監視装置においては、雨、雪、霧、逆光、夜間時等に先行車等の認識能力が低下する場合がある。これに対処し、例えば特開平6−230115号公報には、ステレオカメラで得られた画像を処理することにより先行車等との車間距離を検出し、ミリ波レーダによって得られたデータから先行車等との車間距離を検出するとともに、外部環境等に基づいてステレオカメラ及びミリ波レーダの信頼度を判定し、判定した信頼度に基づき、画像処理で得られた車間距離とミリ波レーダからのデータ処理で得られた車間距離のうちの何れかを選択的に用いる技術が開示されている。
【0004】
【発明が解決しようとする課題】
しかしながら、上述の特開平6−230115号公報に開示された技術は、外部環境等に基づいてステレオカメラ及びミリ波レーダの信頼度を判定しているにすぎないため、場合によっては好ましくない車間距離情報を選択して走行制御等を行う虞がある。すなわち、上述の技術では、画像処理で得られる各車間距離情報全体の信頼度とミリ波レーダからのデータ処理で得られる各車間距離情報全体の信頼度とを外部環境等によって判定しているにすぎないため、例えば、ある先行車との車間距離について画像処理により適切な値が求められている場合があっても、ステレオカメラの信頼度が低いと判定された場合にはこの値が採用されない等の不具合を生じる場合がある。
【0005】
また、上述の技術は、異なる2通りの方法によって車間距離を演算しているにもかかわらず、採用される車間距離情報は何れか一方によるものであるため、各距離情報を効率的に用いているとは言い難い。
【0006】
本発明は上記事情に鑑みてなされたもので、画像に基づく車外情報とレーダを用いた車外情報とを効率的に用いて精度の高い車外監視を行うことのできる車外監視装置、及び、その車外監視装置を備えた走行制御装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記課題を解決するため、請求項1記載の発明による車外監視装置は、撮像手段からの画像情報に基づいて立体物を検出する第1の立体物検出手段と、レーダ手段からの信号に基づいて立体物を検出する第2の立体物検出手段と、上記第1の立体物検出手段で検出した上記各立体物と上記第2の立体物検出手段で検出した上記各立体物とを融合してこれらの組み合わせ或いは上記各立体物単体に基づくフュージョン立体物を設定するフュージョン立体物設定手段と、上記第1の立体物検出手段による上記各フュージョン立体物の検出状況に基づいて上記各フュージョン立体物の信頼度を判定する第1の信頼度判定手段と、上記第2の立体物検出手段による上記各フュージョン立体物の検出状況に基づいて上記各フュージョン立体物の信頼度を判定する第2の信頼度判定手段と、上記第1の信頼度判定手段或いは上記第2の信頼度判定手段の少なくとも何れか一方で所定以上の信頼度が判定された上記フュージョン立体物の中から先行車を選定する先行車選定手段とを備えたことを特徴とする。
【0008】
また、請求項2記載の発明による車外監視装置は、請求項1記載の発明において、上記第1の立体物検出手段は、検出した上記各立体物のうちコーナーを介して2以上の面が連続する立体物をコーナー状立体物として別途登録し、上記第1の信頼度判定手段は、上記各フュージョン立体物が上記第1の立体物検出手段によってコーナー状立体物として登録された回数に基づいて上記各フュージョン立体物の信頼度を判定することを特徴とする。
【0009】
また、請求項3記載の発明による車外監視装置は、請求項1または請求項2記載の発明において、上記第2の信頼度判定手段は、上記各フュージョン立体物が上記第2の立体物検出手段によって検出された回数に基づいて上記各フュージョン立体物の信頼度を判定することを特徴とする。
【0010】
また、請求項4記載の発明による走行制御装置は、請求項1乃至請求項3の何れか1つに記載の車外監視装置を備え、当該車外監視装置で選定した先行車の情報を用いて走行制御することを特徴とする。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図1は車両に搭載した車両用運転支援装置の概略構成図、図2は車外監視装置の要部を示す機能ブロック図、図3はフュージョン立体物の概念図、図4は先行車認識ルーチンのフローチャートである。
【0012】
図1において、符号1は自動車等の車両(自車両)で、この車両1には、走行制御装置の一例としての車間距離自動維持運転システム(ACC(Adaptive Cruise Control)システム)2が搭載されている。このACCシステム2は、主として、撮像手段としてのステレオカメラ3と、レーダ手段としてのミリ波送受信部4と、車外監視装置5と、走行制御ユニット6とを有して構成され、定速走行制御状態のときは運転者が設定した車速を保持した状態で走行し、追従走行制御状態のときは目標車速を先行車の車速に設定し、自車両前方の立体物の位置情報に応じ、先行車に対して一定車間距離を保持した状態で走行する。
【0013】
ステレオカメラ3は、ステレオ光学系として例えば電荷結合素子(CCD)等の個体撮像素子を用いた左右1組のCCDカメラで構成され、これら左右のCCDカメラは、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像情報を車外監視装置5に入力する。
【0014】
ミリ波送受信部4は、自車両1の先端に設けられ、前方に所定にミリ波(例えば30G Hz 〜100G Hz の電波)を送信するとともに、反射して戻ってくるミリ波を受信し、送受信データを車外監視装置5に入力する。
【0015】
また、自車両1には、車速を検出する車速センサ7が設けられており、この車速は車外監視装置5と走行制御ユニット6とに入力される。さらに、自車両1には、ハンドル角を検出するハンドル角センサ8、ヨーレートを検出するヨーレートセンサ9が設けられており、これらハンドル角の信号とヨーレートの信号は車外監視装置5に入力される。
【0016】
車外監視装置5は、第1の立体物検出手段としての機能を備えたステレオ画像処理部15と、第2の立体物検出手段としての測距処理部16と、フュージョン立体物設定手段としてのフュージョン立体物設定部17と、自車走行領域推定部18と、第1,第2の信頼度判定手段及び先行車選定手段としての機能を備えた先行車認識部19とを有して構成されている。なお、本実施の形態において、上述の各部は、自車両1の左右(幅)方向をX座標、自車両1の上下方向をY座標、自車両1の前後方向をZ座標とする自車両1を基準とする実空間の3次元座標系を用いて各処理を行う。この場合、ステレオカメラ3を成す2台のCCDカメラの中央の真下の道路面を原点として、自車両1の右側がX軸の+側、自車両1の上方がY軸の+側、自車両1の前方がZ軸の+側として設定される。
【0017】
ステレオ画像処理部15は、ステレオカメラ3からの画像を、例えば以下のように処理することで、白線認識、側壁認識、立体物認識等を行う。すなわち、ステレオ画像処理部15は、先ず、ステレオカメラ3のCCDカメラで自車両の進行方向を撮像した1組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって画像全体に渡る距離情報を求める処理を行って、三次元の距離分布を表す距離画像を生成する。そして、このデータを基に、周知のグルーピング処理や、予め記憶しておいた3次元的な進路形状データ、側壁データ、立体物データ等と比較し、画像上の白線、道路に沿って存在するガードレールや縁石等の側壁、車両等の立体物を抽出(検出)する。こうして抽出された白線、側壁、立体物に係る各データは、それぞれのデータ毎に異なったナンバーが割り当てられる。また、更に立体物データに関しては、自車両1からの距離の相対的な変化量と自車両1の車速との関係から、自車両1に向かって移動する逆方向移動物と、停止している停止物と、自車両1と略同方向に移動する順方向移動物の3種類に分類される。
【0018】
ところで、対向車や先行車等の車両が撮像された場合、一般に、撮像画像上には、車体の正面や背面に加え、これらにコーナーを介して連続する車体の側面が写し出される。このような場合において、通常、ステレオ画像処理部15は、画像上に写し出された車体正面や背面を立体物として抽出するとともに、車体側面等を上記立体物に連続する側壁として抽出する。従って、抽出された立体物が車両等である場合、その立体物にはコーナーを介して側壁が連続して認識されることが多い。換言すれば、スミアやフレア等が立体物として誤って抽出された場合には側壁が連続することは考えにくいため、2以上の面が連続する立体物は車両等の可能性が高いと判定することができる。そこで、ステレオ画像処理部3では、コーナーを介して側壁が連続する立体物を、特に、コーナー状立体物として別途登録する。
【0019】
測距処理部16は、ミリ波送受信部4からの送受信データを、例えば以下のように処理することで立体物認識を行う。すなわち、測距処理部16では、送信波が目標で反射されて戻ってくるまでの時間差をもとに、自車両1から目標までの相対距離を計測する。そして、距離値の分布状態から、同一の距離値が連続する部分を1つの立体物として抽出する。
【0020】
ここで、測距処理部16には前回抽出され登録された立体物(以下、ミリ波立体物と称す)に係るデータが格納されており、測距処理部16は、新たな立体物(以下、検出ミリ波立体物と称す)を抽出すると、ミリ波立体物との対応判定を行う。すなわち、測距処理部16では、検出ミリ波立体物とミリ波立体物とについての同一確率Pを算出し、同一確率Pが閾値以上ならば対応と判定する。本実施の形態において、同一確率Pは、例えば、検出ミリ波立体物とミリ波立体物との間のZ座標、X座標、及び、Z方向速度の同一確率Pz,Px,Pvを求め、それらを統合することで算出される。
【0021】
具体的に説明すると、ある検出ミリ波立体物nとあるミリ波立体物mとの間のZ座標、X座標、Z方向速度の差がΔZ、ΔX、ΔVであるときの同一確率Pz,Px,Pvは、標準偏差σz,σx,σvの正規分布の累積分布関数によって、例えば、
【数1】
【数2】
【数3】
により算出される。そして、これら検出ミリ波立体物nとミリ波立体物mとの間の各同一確率Pz,Px,Pvを統合した同一確率Pが、
P=Pz×Px×Pv …(4)
によって求められる。
【0022】
測距処理部16では、このような演算を検出ミリ波立体物とミリ波立体物との全ての組合わせに対して行い、同一確率Pが閾値(例えば30%)以上且つ最大となる組み合わせを選出する。そして、測距処理部16では、検出立体物が対応したミリ波立体物を上記検出ミリ波立体物で更新してミリ波立体物として継続登録するとともに、対応しなかった検出ミリ波立体物のデータを新たなミリ波立体物として登録する。さらに、検出ミリ波立体物に対応しなかったミリ波立体物のデータについては、所定の消去要件のもとで消去する。
【0023】
フュージョン立体物設定部17は、ステレオ画像処理部15から各立体物(以下、画像立体物と称する)に係る情報が入力されるとともに、測距処理部16から各ミリ波立体物に係る情報が入力され、これらを融合することで、フュージョン立体物を設定する。
【0024】
具体的に説明すると、フュージョン立体物設定部17は、先ず、各画像立体物と各ミリ波立体物との対応判定を行う。すなわち、フュージョン立体物設定部17では、各画像立体物のZ座標、X座標、及び、Z方向速度と、各ミリ波立体物のZ座標、X座標、及び、Z方向速度とを用いて、例えば上述の式(1)〜(4)により、各組み合わせによる同一確率Pを演算する。これにより、画像立体物とミリ波立体物とが対応する場合には、これらの同一確率Pが最大且つ閾値以上となる組み合わせが決定される。
【0025】
そして、フュージョン立体物設定部17は、画像立体物とミリ波立体物との融合による各フュージョン立体物を得る。すなわち、フュージョン立体物設定部17は、例えば図3に示すように、画像立体物単体のフュージョン立体物(図3中に四角で表示)、ミリ波立体物単体のフュージョン立体物(図3中に丸で表示)、或いは、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物(図3中に四角と丸で表示)の何れかからなる各フュージョン立体物を得る。ここで、各フュージョン立体物は、当該フュージョン立体物の自車両1との間の距離、X座標、速度、幅等の各情報や、Z方向速度で判定される移動状況(順方向移動物、停止物、或いは、対向車)等の情報を有する。この場合において、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物では、自車両1との距離の設定に際してはミリ波立体物の情報が優先的に採用され、X座標の設定に際しては画像立体物の情報が優先的に採用され、速度の設定に際してはミリ波立体物の情報が優先的に採用され、幅の設定に際しては画像立体物の情報が優先的に採用される。
【0026】
このようにして新たなフュージョン立体物が設定されると、フュージョン立体物設定部17は、前回登録されたフュージョン立体物との一致判定を行い、一致したフュージョン立体物についてはその登録情報を新たなフュージョン立体物の情報に基づいて更新することで継続登録する。また、フュージョン立体物設定部17では、一致しなかった新たなフュージョン立体物に関しての新規登録を行うとともに、一致しなかった過去のフュージョン立体物に関しては即消去する。
【0027】
自車走行領域推定部18は、車速センサ7からの車速信号、ハンドル角センサ8からのハンドル角信号、ヨーレートセンサ9からのヨーレート信号等が入力されるとともに、ステレオ画像処理部15から白線データや側壁データ等が入力され、自車進行路と走行レーン幅とによる自車走行領域を推定する。
【0028】
この場合、自車走行領域推定部18では、先ず、例えば以下の4通りにより自車進行路の推定を行う。
a.白線に基づく自車進行路推定…左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから自車両1が走行している車線の形状が推定できる場合、自車進行路は、自車両1の幅や、自車両1の現在の車線内の位置を考慮して、白線と並行して形成される。
【0029】
b.ガードレール、縁石等の側壁データに基づく自車進行路推定…左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから自車両1が走行している車線の形状が推定できる場合、自車進行路は、自車両1の幅や、自車両1の現在の車線内の位置を考慮して、側壁と並行して形成される。
【0030】
c.先行車軌跡に基づく自車進行路推定…先行車の過去の走行軌跡を基に、自車進行路を推定する。
【0031】
d.自車両1の走行軌跡に基づく自車走行路推定…自車両1の運転状態を基に、自車進行路を推定する。例えば、ヨーレートγ、車速V、ハンドル角θHを基に、以下の手順で自車進行路を推定する。
【0032】
まず、ヨーレートセンサ9が有効か判定され、ヨーレートセンサ9が有効であれば、
Cua=γ/V …(5)
により現在の旋回曲率Cuaが算出される。
【0033】
一方、ヨーレートセンサ9が無効であれば、ハンドル角θHから求められる操舵角δが、所定値(例えば0.57度)以上で転舵が行われているか否か判定され、操舵角δが0.57度以上で操舵が行われている場合は、操舵角δと自車速Vを用いて、例えば
Re=(1+A・V2)・(L/δ) …(6)
Cua=1/Re …(7)
により現在の旋回曲率Cuaが算出される。ここで、Reは旋回半径、Aは車両のスタビリティファクタ、Lはホイールベースである。
【0034】
また、操舵角δが0.57度より小さい場合は、現在の旋回曲率Cuaは0(直進走行状態)とされる。
【0035】
こうして、得られる現在の旋回曲率Cuaを加えた過去所定時間(例えば約0.3秒間)の旋回曲率から平均旋回曲率を算出し、自車進行路を推定する。
【0036】
尚、ヨーレートセンサ9が有効であって、上述の(5)式により現在の旋回曲率Cuaが算出される場合であっても、操舵角δが0.57度より小さい場合は、現在の旋回曲率Cuaは0(直進走行状態)に補正するようにしても良い。
【0037】
以上のように自車進行路を推定した後、自車走行領域推定部18は、自車走行レーン幅の算出を行う。
具体的には、自車走行領域推定部18では、自車進行路の推定が上述の「a.」で行われた場合であって、且つ、ステレオ画像処理部15で左右両方の白線が認識されている場合には、左右白線間の間隔を今回の走行レーン幅として設定する。一方、自車進行路の推定が上述の「a.」で行われた場合であって、且つ、ステレオ画像処理部15で左右何れかの白線しか検出されていない場合には、平均走行レーン幅を今回の走行レーン幅として設定する。また、自車進行路の推定が上述の「b.」、「c.」、「d.」の何れかにより行われた場合には、幅2.2m(予め現代の道路事情等を勘案して設定した値)を今回の走行レーン幅として設定する。そして、自車走行領域推定部18では、上述の何れかで今回の走行レーン幅の設定を完了した後、今回の走行レーン幅が異常に大きく、或いは、小さくなり過ぎないように、3.5mから2.2mの間(予め現代の道路事情等を勘案して設定した値)に制限し、過去所定時間(例えば、約10秒間)の走行レーン幅より平均走行レーン幅を求める。これにより、自車走行領域が推定される。
【0038】
先行車認識部19は、自車両1の順方向に移動する各フュージョン立体物のミリ波立体物としての信頼度及び画像立体物としての信頼度を調べるとともに、上記各フュージョン立体物の自車走行領域内への侵入状況を調べる。そして、各信頼度のうち少なくとも何れか一方の信頼度が所定信頼度以上であって、且つ、自車走行領域内に所定時間以上継続して侵入しているフュージョン立体物の中から、自車両1に最も近い順方向移動物を先行車として選定する。
【0039】
次に、先行車認識部19で実行される先行車認識ルーチンについて、図4のフローチャートに従って説明する。
このルーチンは所定時間毎に実行されるもので、ルーチンがスタートすると、先行車認識部19は、先ず、ステップS101において、フュージョン立体物設定部17で設定された各フュージョン立体物の中から所定のフュージョン立体物を選択する。ここで、本実施の形態において、ステップS101でのフュージョン立体物の選択は、例えば自車両1に近いものから順次行われる。
【0040】
続くステップS102において、先行車認識部19は、ステップS101で今回選択したフュージョン立体物が自車両1の順方向に移動するフュージョン立体物(順方向移動物)であるか否かを調べ、今回のフュージョン立体物が順方向移動物であると判定した場合にはステップS103に進み、順方向移動物ではないと判定した場合にはステップS107に進む。
【0041】
ステップS102からステップS103に進むと、先行車認識部19は、今回のフュージョン立体物がミリ波立体物に対応するフュージョン立体物であるか否かを調べる。すなわち、先行車認識部19は、ステップS103において、今回のフュージョン立体物がミリ波立体物単体のフュージョン立体物或いはミリ波立体物と画像立体物との組み合わせによるフュージョン立体物の何れかであるか否かを調べる。そして、先行車認識部19は、今回のフュージョン立体物が上述の何れかである場合にはミリ波立体物に対応すると判定してステップS104に進み、ミリ波立体物との対応回数をカウントするミリ波登録カウンタCmをインクリメント(Cm←Cm+1)した後、ステップS105に進む。一方、ステップS103において、今回のフュージョン立体物がミリ波立体物に対応しないと判定した場合には、そのままステップS105に進む。
【0042】
ステップS103或いはステップS104からステップS105に進むと、先行車認識部19は、今回のフュージョン立体物がコーナー状立体物に対応するフュージョン立体物であるか否かを調べる。すなわち、先行車認識部19は、ステップS105において、今回のフュージョン立体物が、画像立体物単体のフュージョン立体物或いはミリ波立体物と画像立体物との組み合わせによるフュージョン立体物の何れかであって、且つ、当該フュージョン立体物を構成する画像立体物がコーナー状立体物として登録されているか否かを調べる。そして、先行車認識部19は、今回のフュージョン立体物が上述の条件を満たす場合にはコーナー状立体物に対応すると判定してステップS106に進み、コーナー状立体物との対応回数をカウントするコーナー状登録カウンタCcをインクリメント(Cc←Cc+1)した後、ステップS107に進む。一方、ステップS105において、今回のフュージョン立体物がコーナー状立体物に対応しないと判定した場合には、そのままステップS107に進む。
【0043】
ステップS102、ステップS105、或いは、ステップS106からステップS107に進むと、先行車認識部19は、ステップS101で全てのフュージョン立体物を選択したか否かを調べ、未だ全てのフュージョン立体物を選択していないと判定した場合にはステップS101に戻り、一方、全てのフュージョン立体物を選択したと判定した場合にはステップS108に進む。
【0044】
ステップS108において、先行車認識部19は、ステップS102で順方向移動物であると判定された各フュージョン立体物(以下、単に順方向移動物と称す)の中から所定の順方向移動物を選択する。ここで、本実施の形態において、ステップS108での順方向移動物の選択は、自車両1に近いものから順次行われる。
【0045】
続くステップS109において、先行車認識部19は、今回選択した順方向移動物が自車走行領域内に侵入しているか否かを調べる。そして、先行車認識部19は、今回の順方向移動物が自車走行領域内に侵入していると判定した場合には、ステップS110に進み、今回の順方向移動物の自車走行領域内への侵入回数をカウントする侵入カウンタCiをインクリメント(Ci←Ci+1)した後、ステップS112に進む。一方、ステップS109において、今回の順方向移動物が自車走行領域内に侵入していないと判定した場合には、ステップS111に進み、侵入カウンタCiをクリア(Ci←0)した後、ステップS115に進む。
【0046】
ステップS110からステップS112に進むと、先行車認識部19は、今回の順方向移動物に対する侵入カウンタCiが予め設定された閾値Ci1以上であるか否かを調べることにより、今回の順方向移動物が所定時間以上連続して自車走行領域内に侵入しているか否かを調べる。そして、ステップS112において、侵入カウンタCiが閾値Ci1以上である場合にはステップS113に進み、一方、侵入カウンタCiが閾値Ci1よりも小さい場合にはステップS115に進む。
【0047】
ステップS112からステップS113に進むと、先行車認識部19は、今回の順方向移動物に対するミリ波登録カウンタCmが予め設定した閾値Cm1以上であるか否かを調べることにより、今回の順方向移動物が実在の立体物として所定以上の信頼度を有するものであるか否かを調べる。すなわち、先行車認識部19は、今回の順方向移動物が所定回数以上ミリ波立体物に対応しているか否かを調べることにより、当該順方向移動物が、ミリ波立体物に基づいて、実在の立体物として所定以上の信頼度を有するものであるか否かを調べる。そして、ステップS113においてミリ波登録カウンタCmが閾値Cm1以上である場合にはステップS116に進み、一方、ミリ波登録カウンタCmが閾値Cm1よりも小さい場合にはステップS115に進む。
【0048】
ステップS113からステップS114に進むと、先行車認識部19は、今回の順方向移動物に対するコーナー状登録カウンタCcが予め設定した閾値Cc1以上であるか否かを調べることにより、今回の順方向移動物が実在の立体物として所定以上の信頼度を有するものであるか否かを調べる。すなわち、先行車認識部19は、今回の順方向移動物が所定回数以上コーナー状立体物に対応しているか否かを調べることにより、当該順方向移動物が、画像立体物に基づいて、実在の立体物として所定以上の信頼度を有するものであるか否かを調べる。そして、ステップS114においてコーナー状登録カウンタCcが閾値Cc1以上である場合にはステップS116に進み、一方、コーナー状登録カウンタCcが閾値Cc1よりも小さい場合にはステップS115に進む。
【0049】
そして、ステップS113或いはステップS114からステップS116に進むと、先行車認識部19は、今回の順方向移動物を先行車として登録した後、ルーチンを抜ける。
【0050】
一方、ステップS111、ステップS112、或いはステップS113からステップS115に進むと、先行車認識部19は、ステップS108で全ての順方向移動物を選択したか否かを調べ、未だ全ての順方向移動物を選択していないと判定した場合にはステップS108に戻り、一方、全ての順方向移動物を選択したと判定した場合には、先行車登録を行わないままルーチンを抜ける。
【0051】
走行制御ユニット6は、運転者の操作入力によって設定される走行速度を維持するよう定速走行制御を行う定速走行制御の機能、及び自車両と先行車の車間距離を一定に保持した状態で走行する追従走行制御の機能を実現するもので、ステアリングコラムの側部等に設けられた定速走行操作レバーに連結される複数のスイッチ類で構成された定速走行スイッチ10、車外監視装置5、車速センサ7等が接続されている。
【0052】
定速走行スイッチ10は、定速走行時の目標車速を設定する車速セットスイッチ、主に目標車速を下降側へ変更設定するコーストスイッチ、主に目標車速を上昇側へ変更設定するリジュームスイッチ等で構成されている。更に、この定速走行操作レバーの近傍には、走行制御のON/OFFを行うメインスイッチ(図示せず)が配設されている。
【0053】
運転者が図示しないメインスイッチをONし、定速走行操作レバーにより、希望する速度をセットすると、定速走行スイッチ10からの信号が走行制御ユニット6に入力され、走行制御ユニット6は、車速センサ7で検出した車速が運転者のセットした設定車速に収束するように、スロットルアクチュエータ11を駆動させてスロットル弁12の開度をフィードバック制御し、自車両を自動的に定速状態で走行させる。
【0054】
又、走行制御ユニット6は、定速走行制御を行っている際に、車外監視装置5にて先行車を認識し、先行車の速度が自車両の設定した目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行する追従走行制御へ自動的に切換える。
【0055】
車両の走行制御が追従走行制御へ移行すると、走行制御ユニット6は、車外監視装置5で求めた自車両1と先行車との車間距離及び先行車速と、車速センサ7で検出した自車速とに基づき適切な車間距離の目標値を設定する。そして、車間距離が目標値になるように、スロットルアクチュエータ11へ駆動信号を出力して、スロットル弁12の開度をフィードバック制御し、先行車に対して一定車間距離を保持した状態で追従走行させる。
【0056】
このような実施の形態によれば、車外監視装置5は、ステレオカメラ3で撮像したステレオ画像対をステレオ処理部15で処理して検出した立体物(画像立体物)と、ミリ波送受信部4からの送受信データを測距処理部16で処理して検出した立体物(ミリ波立体物)とを融合して画像立体物単体、ミリ波立体物単体、或いは、画像立体物とミリ波立体物との組合わせの何れかによる各フュージョン立体物を設定するとともに、画像立体物の検出状況に基づく各フュージョン立体物の信頼度及びミリ波立体物の検出状況に基づく各フュージョン立体物の信頼度を判定し、これらの信頼度のうち少なくとも何れか一方が所定以上の信頼度であるフュージョン立体物の中から先行車を選定するので、撮像手段とレーダ手段とを効率的に併用した精度の高い車外監視を行うことができる。
【0057】
その際、各画像立体物の検出状況に基づく各フュージョン立体物の信頼度の判定を、各画像立体物をコーナー状立体物として登録した回数に基づいて行うことにより、精度の高い信頼度判定を行うことができる。
【0058】
また、各ミリ波立体物の検出状況に基づく各フュージョン立体物の信頼度の判定を、各ミリ波立体物の検出回数に基づいて行うことにより、精度の高い信頼度判定を行うことができる。
【0059】
そして、このように精度の高い車外監視で求めた先行車の情報に基づいて走行制御を行うことにより、良好な走行制御を行うことができる。
【0060】
なお、本実施の形態では車外監視をステレオカメラとミリ波レーダとで行う例を示しているが、他に、例えば、ステレオカメラに代えて単眼カメラを用いた構成や、ミリ波レーダに代えて赤外線レーザーレーダを用いた構成により車外監視を行ってもよいことは云うまでもない。
【0061】
【発明の効果】
以上説明したように本発明によれば、画像に基づく車外情報とレーダを用いた車外情報とを効率的に用いて精度の高い車外監視を行うことができる。
【図面の簡単な説明】
【図1】車両に搭載した車両用運転支援装置の概略構成図
【図2】車外監視装置の要部を示す機能ブロック図
【図3】フュージョン立体物の概念図
【図4】先行車認識ルーチンのフローチャート
【符号の説明】
2 … 車間距離自動維持運転システム(走行制御装置)
3 … ステレオカメラ(撮像手段)
4 … ミリ波送受信部
5 … 車外監視装置
15 … ステレオ処理部(第1の立体物検出手段)
16 … 測距処理部(第2の立体物検出手段)
17 … フュージョン立体物設定部(フュージョン立体物設定手段)
19 … 先行車認識部(第1の信頼度判定手段、第2の信頼度判定手段、先行車選定手段)
Claims (4)
- 撮像手段からの画像情報に基づいて立体物を検出する第1の立体物検出手段と、
レーダ手段からの信号に基づいて立体物を検出する第2の立体物検出手段と、
上記第1の立体物検出手段で検出した上記各立体物と上記第2の立体物検出手段で検出した上記各立体物とを融合してこれらの組み合わせ或いは上記各立体物単体に基づくフュージョン立体物を設定するフュージョン立体物設定手段と、
上記第1の立体物検出手段による上記各フュージョン立体物の検出状況に基づいて上記各フュージョン立体物の信頼度を判定する第1の信頼度判定手段と、
上記第2の立体物検出手段による上記各フュージョン立体物の検出状況に基づいて上記各フュージョン立体物の信頼度を判定する第2の信頼度判定手段と、
上記第1の信頼度判定手段或いは上記第2の信頼度判定手段の少なくとも何れか一方で所定以上の信頼度が判定された上記フュージョン立体物の中から先行車を選定する先行車選定手段とを備えたことを特徴とする車外監視装置。 - 上記第1の立体物検出手段は、検出した上記各立体物のうちコーナーを介して2以上の面が連続する立体物をコーナー状立体物として別途登録し、
上記第1の信頼度判定手段は、上記各フュージョン立体物が上記第1の立体物検出手段によってコーナー状立体物として登録された回数に基づいて上記各フュージョン立体物の信頼度を判定することを特徴とする請求項1記載の車外監視装置。 - 上記第2の信頼度判定手段は、上記各フュージョン立体物が上記第2の立体物検出手段によって検出された回数に基づいて上記各フュージョン立体物の信頼度を判定することを特徴とする請求項1または請求項2記載の車外監視装置。
- 請求項1乃至請求項3の何れか1つに記載の車外監視装置を備え、当該車外監視装置で選定した先行車の情報を用いて走行制御することを特徴とする走行制御装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002278129A JP2004117071A (ja) | 2002-09-24 | 2002-09-24 | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
| US10/664,999 US7030775B2 (en) | 2002-09-24 | 2003-09-18 | Vehicle surroundings monitoring apparatus and traveling control system incorporating the apparatus |
| EP03021469A EP1403660B1 (en) | 2002-09-24 | 2003-09-23 | Vehicle surroundings monitoring apparatus and traveling control system incorporating the apparatus |
| DE60325312T DE60325312D1 (de) | 2002-09-24 | 2003-09-23 | Fahrzeugkontrollsystem mit einem Apparat zur Fahrzeugumgebungsbeobachtung |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002278129A JP2004117071A (ja) | 2002-09-24 | 2002-09-24 | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004117071A true JP2004117071A (ja) | 2004-04-15 |
Family
ID=31973258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002278129A Pending JP2004117071A (ja) | 2002-09-24 | 2002-09-24 | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7030775B2 (ja) |
| EP (1) | EP1403660B1 (ja) |
| JP (1) | JP2004117071A (ja) |
| DE (1) | DE60325312D1 (ja) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004347471A (ja) * | 2003-05-22 | 2004-12-09 | Fuji Heavy Ind Ltd | 先行車両検出装置 |
| JP2006047057A (ja) * | 2004-08-03 | 2006-02-16 | Fuji Heavy Ind Ltd | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
| JP2006090957A (ja) * | 2004-09-27 | 2006-04-06 | Nissan Motor Co Ltd | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 |
| JP2006163879A (ja) * | 2004-12-08 | 2006-06-22 | Daihatsu Motor Co Ltd | 画像処理方法及び画像処理装置 |
| JP2006182086A (ja) * | 2004-12-27 | 2006-07-13 | Hitachi Ltd | 車両検知装置 |
| JP2006333009A (ja) * | 2005-05-25 | 2006-12-07 | Nissan Motor Co Ltd | 俯瞰画像表示装置及び俯瞰画像表示方法 |
| JP2007142517A (ja) * | 2005-11-15 | 2007-06-07 | Kazuo Iwane | 移動型自動監視装置 |
| JP2007188354A (ja) * | 2006-01-13 | 2007-07-26 | Fuji Heavy Ind Ltd | 車両の前方立体物認識装置 |
| JP2007274037A (ja) * | 2006-03-30 | 2007-10-18 | Daihatsu Motor Co Ltd | 障害物認識方法及び障害物認識装置 |
| JP2008509413A (ja) * | 2004-08-07 | 2008-03-27 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | センサシステムの作動方法および作動装置 |
| JP2008117073A (ja) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | 割り込み車両検出装置 |
| US7417580B2 (en) | 2003-09-11 | 2008-08-26 | Toyota Jidosha Kabushiki Kaisha | Object detection system and object detection method |
| JP2009019914A (ja) * | 2007-07-10 | 2009-01-29 | Toyota Motor Corp | 物体検出装置 |
| JP2009110163A (ja) * | 2007-10-29 | 2009-05-21 | Mitsubishi Fuso Truck & Bus Corp | 車両の衝突被害軽減装置における監視対象物の検出装置 |
| JP2009211557A (ja) * | 2008-03-05 | 2009-09-17 | Honda Motor Co Ltd | 車両用走行安全装置 |
| JP2010501952A (ja) * | 2007-04-19 | 2010-01-21 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 運転者支援システム、および対象物の妥当性を確定する方法 |
| US7825849B2 (en) | 2006-02-24 | 2010-11-02 | Toyota Jidosha Kabushiki Kaisha | Object detecting apparatus and method for detecting an object |
| WO2011104984A1 (ja) * | 2010-02-24 | 2011-09-01 | アイシン精機株式会社 | 車両周辺監視装置 |
| JP2014137288A (ja) * | 2013-01-17 | 2014-07-28 | Mitsubishi Electric Corp | 車両周辺監視装置および車両周辺監視方法 |
| JP2015078926A (ja) * | 2013-10-17 | 2015-04-23 | 株式会社デンソー | 物標検出装置 |
| KR101562875B1 (ko) | 2013-08-22 | 2015-10-23 | 가부시키가이샤 덴소 | 목표물 검출 장치 및 프로그램 |
| US9666077B2 (en) | 2012-09-03 | 2017-05-30 | Toyota Jidosha Kabushiki Kaisha | Collision determination device and collision determination method |
| JP2017156219A (ja) * | 2016-03-02 | 2017-09-07 | 沖電気工業株式会社 | 追尾装置、追尾方法およびプログラム |
| DE102016225590A1 (de) | 2016-05-18 | 2017-11-23 | Mitsubishi Electric Corporation | Radarvorrichtung und Sensorfusionssystem, das diese verwendet |
| JP2020131940A (ja) * | 2019-02-20 | 2020-08-31 | トヨタ自動車株式会社 | 車両の制御装置 |
| WO2022064588A1 (ja) * | 2020-09-24 | 2022-03-31 | 三菱電機株式会社 | 情報処理システム、情報処理装置、プログラム及び情報処理方法 |
| JP2022537557A (ja) * | 2019-06-18 | 2022-08-26 | 華為技術有限公司 | 運転可能な領域情報を決定するための方法及び装置 |
| JP2023509154A (ja) * | 2019-12-30 | 2023-03-07 | メルセデス・ベンツ グループ アクチェンゲゼルシャフト | 環境センサーからの曖昧な測定データを排除する方法 |
Families Citing this family (97)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
| US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
| US8294975B2 (en) | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
| US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
| US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
| US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
| US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
| US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
| US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
| US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
| US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
| US7855755B2 (en) | 2005-11-01 | 2010-12-21 | Donnelly Corporation | Interior rearview mirror assembly with display |
| US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
| WO2001064481A2 (en) | 2000-03-02 | 2001-09-07 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| AU2002251807A1 (en) | 2001-01-23 | 2002-08-19 | Donnelly Corporation | Improved vehicular lighting system for a mirror assembly |
| US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
| US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
| US6918674B2 (en) | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
| ES2391556T3 (es) | 2002-05-03 | 2012-11-27 | Donnelly Corporation | Sistema de detección de objetos para vehículo |
| US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
| EP1514246A4 (en) | 2002-06-06 | 2008-04-16 | Donnelly Corp | COMPASS INTERIOR COURTESY MIRROR SYSTEM |
| WO2004103772A2 (en) | 2003-05-19 | 2004-12-02 | Donnelly Corporation | Mirror assembly for vehicle |
| US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
| EP1543358A2 (en) | 2002-09-20 | 2005-06-22 | Donnelly Corporation | Mirror reflective element assembly |
| NL1023016C2 (nl) * | 2003-03-25 | 2004-09-30 | Tno | Detectiesysteem, werkwijze voor het detecteren van objecten en computerprogramma daarvoor. |
| JP3941765B2 (ja) * | 2003-09-11 | 2007-07-04 | トヨタ自動車株式会社 | 物体検出装置 |
| US7446924B2 (en) | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
| US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
| US7542592B2 (en) * | 2004-03-29 | 2009-06-02 | Siemesn Corporate Research, Inc. | Systems and methods for face detection and recognition using infrared imaging |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
| US20060091654A1 (en) * | 2004-11-04 | 2006-05-04 | Autoliv Asp, Inc. | Sensor system with radar sensor and vision sensor |
| US20060091653A1 (en) * | 2004-11-04 | 2006-05-04 | Autoliv Asp, Inc. | System for sensing impending collision and adjusting deployment of safety device |
| JP4451315B2 (ja) * | 2005-01-06 | 2010-04-14 | 富士重工業株式会社 | 車両の運転支援装置 |
| US7626749B2 (en) | 2005-05-16 | 2009-12-01 | Donnelly Corporation | Vehicle mirror assembly with indicia at reflective element |
| US8676492B2 (en) * | 2006-01-19 | 2014-03-18 | GM Global Technology Operations LLC | Map-aided vision-based lane sensing |
| US8194132B2 (en) | 2006-01-20 | 2012-06-05 | Old World Industries, Llc | System for monitoring an area adjacent a vehicle |
| CA2644710C (en) | 2006-03-09 | 2013-05-28 | Gentex Corporation | Vehicle rearview assembly including a high intensity display |
| WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
| JP4254844B2 (ja) * | 2006-11-01 | 2009-04-15 | トヨタ自動車株式会社 | 走行制御計画評価装置 |
| SE532004C2 (sv) * | 2008-02-07 | 2009-09-22 | Scania Cv Ab | Sätt och anordning vid adaptiv farthållning, datorprogram, datorprogramprodukt, dator jämte fordon |
| JP2011517632A (ja) | 2008-02-20 | 2011-06-16 | コンチネンタル・テーヴエス・アクチエンゲゼルシヤフト・ウント・コンパニー・オツフエネハンデルスゲゼルシヤフト | 車両の周辺にある物体を検出する方法及び援助システム |
| US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
| DE102008038365A1 (de) * | 2008-07-02 | 2010-01-07 | Adc Automotive Distance Control Systems Gmbh | Fahrzeug-Radarsystem und Verfahren zur Bestimmung einer Position zumindest eines Objekts relativ zu einem Fahrzeug |
| DE102008038731A1 (de) * | 2008-08-12 | 2010-02-18 | Continental Automotive Gmbh | Verfahren zur Erkennung ausgedehnter statischer Objekte |
| US8095276B2 (en) * | 2008-10-15 | 2012-01-10 | Autoliv Asp, Inc. | Sensor system including a confirmation sensor for detecting an impending collision |
| US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
| US20100225522A1 (en) * | 2009-03-06 | 2010-09-09 | Demersseman Bernard Guy | Sensor system for detecting an impending collision of a vehicle |
| CN102449672B (zh) * | 2009-06-02 | 2013-05-01 | 丰田自动车株式会社 | 车辆用周边监视装置 |
| US9013620B2 (en) | 2011-04-20 | 2015-04-21 | Trw Automotive U.S. Llc | Multiple band imager and method |
| JP5522157B2 (ja) * | 2011-12-14 | 2014-06-18 | 株式会社デンソー | 先行車判定装置および車間制御装置 |
| US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
| US9319637B2 (en) | 2012-03-27 | 2016-04-19 | Magna Electronics Inc. | Vehicle vision system with lens pollution detection |
| US8879139B2 (en) | 2012-04-24 | 2014-11-04 | Gentex Corporation | Display mirror assembly |
| KR101380888B1 (ko) * | 2012-07-24 | 2014-04-02 | 현대모비스 주식회사 | 차간 거리 산출 장치 및 방법 |
| US9707896B2 (en) | 2012-10-15 | 2017-07-18 | Magna Electronics Inc. | Vehicle camera lens dirt protection via air flow |
| US9445057B2 (en) | 2013-02-20 | 2016-09-13 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
| WO2014150188A1 (en) | 2013-03-15 | 2014-09-25 | Gentex Corporation | Display mirror assembly |
| JP2016534915A (ja) | 2013-09-24 | 2016-11-10 | ジェンテックス コーポレイション | 表示ミラーアセンブリ |
| WO2015116915A1 (en) | 2014-01-31 | 2015-08-06 | Gentex Corporation | Backlighting assembly for display for reducing cross-hatching |
| JP5991332B2 (ja) * | 2014-02-05 | 2016-09-14 | トヨタ自動車株式会社 | 衝突回避制御装置 |
| WO2015143333A1 (en) | 2014-03-21 | 2015-09-24 | Gentex Corporation | Tri-modal display mirror assembly |
| EP3126195B1 (en) | 2014-04-01 | 2019-06-05 | Gentex Corporation | Automatic display mirror assembly |
| WO2016044746A1 (en) | 2014-09-19 | 2016-03-24 | Gentex Corporation | Rearview assembly |
| KR101977686B1 (ko) | 2014-11-07 | 2019-05-13 | 젠텍스 코포레이션 | 풀 디스플레이 미러 액추에이터 |
| JP6367486B2 (ja) | 2014-11-13 | 2018-08-01 | ジェンテックス コーポレイション | 表示装置付きバックミラーシステム |
| EP3227143B1 (en) | 2014-12-03 | 2019-03-13 | Gentex Corporation | Display mirror assembly |
| USD746744S1 (en) | 2014-12-05 | 2016-01-05 | Gentex Corporation | Rearview device |
| US9744907B2 (en) | 2014-12-29 | 2017-08-29 | Gentex Corporation | Vehicle vision system having adjustable displayed field of view |
| US9720278B2 (en) | 2015-01-22 | 2017-08-01 | Gentex Corporation | Low cost optical film stack |
| JP6365385B2 (ja) * | 2015-04-17 | 2018-08-01 | トヨタ自動車株式会社 | 立体物検出装置及び立体物検出方法 |
| WO2016172096A1 (en) | 2015-04-20 | 2016-10-27 | Gentex Corporation | Rearview assembly with applique |
| US10112540B2 (en) | 2015-05-18 | 2018-10-30 | Gentex Corporation | Full display rearview device |
| CN107709096B (zh) | 2015-06-22 | 2021-08-24 | 金泰克斯公司 | 用于处理流式传输视频图像以校正经调幅光的闪变的系统和方法 |
| JP6661303B2 (ja) * | 2015-08-25 | 2020-03-11 | キヤノン株式会社 | 位置検出装置、位置検出方法、露光装置及び露光方法 |
| US9994156B2 (en) | 2015-10-30 | 2018-06-12 | Gentex Corporation | Rearview device |
| USD798207S1 (en) | 2015-10-30 | 2017-09-26 | Gentex Corporation | Rearview mirror assembly |
| CN108349435B (zh) | 2015-10-30 | 2021-06-15 | 金泰克斯公司 | 切换板 |
| USD797627S1 (en) | 2015-10-30 | 2017-09-19 | Gentex Corporation | Rearview mirror device |
| USD800618S1 (en) | 2015-11-02 | 2017-10-24 | Gentex Corporation | Toggle paddle for a rear view device |
| USD845851S1 (en) | 2016-03-31 | 2019-04-16 | Gentex Corporation | Rearview device |
| USD817238S1 (en) | 2016-04-29 | 2018-05-08 | Gentex Corporation | Rearview device |
| US10025138B2 (en) | 2016-06-06 | 2018-07-17 | Gentex Corporation | Illuminating display with light gathering structure |
| DE102016009302A1 (de) * | 2016-08-01 | 2018-02-01 | Lucas Automotive Gmbh | Steuerungs-System und Steuerungs-Verfahren zur Auswahl und Verfolgung eines Kraftfahrzeugs |
| KR101967305B1 (ko) * | 2016-10-14 | 2019-05-15 | 주식회사 만도 | 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템 |
| USD809984S1 (en) | 2016-12-07 | 2018-02-13 | Gentex Corporation | Rearview assembly |
| USD854473S1 (en) | 2016-12-16 | 2019-07-23 | Gentex Corporation | Rearview assembly |
| JP2020505802A (ja) | 2016-12-30 | 2020-02-20 | ジェンテックス コーポレイション | オンデマンドスポッタービューを備えた全画面表示ミラー |
| WO2018170353A1 (en) | 2017-03-17 | 2018-09-20 | Gentex Corporation | Dual display reverse camera system |
| US20180341822A1 (en) * | 2017-05-26 | 2018-11-29 | Dura Operating, Llc | Method and system for classifying objects in a perception scene graph by using a scene-detection-schema |
| WO2019127227A1 (en) * | 2017-12-28 | 2019-07-04 | Intel Corporation | Vehicle sensor fusion |
| JP7766227B2 (ja) | 2021-08-20 | 2025-11-10 | ジェンテックス コーポレイション | 照明アセンブリ及び照明アセンブリを有する照射システム |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08329393A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車検出装置 |
| JPH0980153A (ja) * | 1995-09-08 | 1997-03-28 | Mitsubishi Electric Corp | 距離測定装置 |
| JPH0991595A (ja) * | 1995-09-25 | 1997-04-04 | Mitsubishi Motors Corp | 障害物認識装置 |
| JPH10187930A (ja) * | 1996-12-19 | 1998-07-21 | Hitachi Ltd | 走行環境認識装置 |
| JPH10283461A (ja) * | 1997-04-04 | 1998-10-23 | Fuji Heavy Ind Ltd | 車外監視装置 |
| JP2001099930A (ja) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | 周辺監視センサ |
| JP2001195698A (ja) * | 2000-01-07 | 2001-07-19 | Nissan Motor Co Ltd | 歩行者検知装置 |
| JP2001330665A (ja) * | 2000-05-18 | 2001-11-30 | Fujitsu Ten Ltd | レーダ及び画像処理を用いた車載用物体検出装置 |
| JP2002099906A (ja) * | 2000-09-22 | 2002-04-05 | Mazda Motor Corp | 物体認識装置 |
| JP2002160598A (ja) * | 2000-11-24 | 2002-06-04 | Fuji Heavy Ind Ltd | 車外監視装置 |
| JP2003151094A (ja) * | 2001-11-15 | 2003-05-23 | Fuji Heavy Ind Ltd | 車外監視装置 |
| JP2004037239A (ja) * | 2002-07-03 | 2004-02-05 | Fuji Heavy Ind Ltd | 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2900737B2 (ja) | 1993-02-01 | 1999-06-02 | トヨタ自動車株式会社 | 車間距離検出装置 |
| JP3357749B2 (ja) | 1994-07-12 | 2002-12-16 | 本田技研工業株式会社 | 車両の走行路画像処理装置 |
| JPH09142236A (ja) | 1995-11-17 | 1997-06-03 | Mitsubishi Electric Corp | 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 |
| JP3183501B2 (ja) | 1997-07-07 | 2001-07-09 | 本田技研工業株式会社 | 車両用走行制御装置 |
| US6161071A (en) * | 1999-03-12 | 2000-12-12 | Navigation Technologies Corporation | Method and system for an in-vehicle computing architecture |
| JP3658519B2 (ja) | 1999-06-28 | 2005-06-08 | 株式会社日立製作所 | 自動車の制御システムおよび自動車の制御装置 |
| US20030102997A1 (en) * | 2000-02-13 | 2003-06-05 | Hexagon System Engineering Ltd. | Vehicle communication network |
| US6675094B2 (en) * | 2000-09-08 | 2004-01-06 | Raytheon Company | Path prediction system and method |
| GB0111979D0 (en) * | 2001-05-17 | 2001-07-04 | Lucas Industries Ltd | Sensing apparatus for vehicles |
| US6721659B2 (en) * | 2002-02-01 | 2004-04-13 | Ford Global Technologies, Llc | Collision warning and safety countermeasure system |
| US6771208B2 (en) * | 2002-04-24 | 2004-08-03 | Medius, Inc. | Multi-sensor system |
-
2002
- 2002-09-24 JP JP2002278129A patent/JP2004117071A/ja active Pending
-
2003
- 2003-09-18 US US10/664,999 patent/US7030775B2/en not_active Expired - Fee Related
- 2003-09-23 DE DE60325312T patent/DE60325312D1/de not_active Expired - Lifetime
- 2003-09-23 EP EP03021469A patent/EP1403660B1/en not_active Expired - Lifetime
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08329393A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車検出装置 |
| JPH0980153A (ja) * | 1995-09-08 | 1997-03-28 | Mitsubishi Electric Corp | 距離測定装置 |
| JPH0991595A (ja) * | 1995-09-25 | 1997-04-04 | Mitsubishi Motors Corp | 障害物認識装置 |
| JPH10187930A (ja) * | 1996-12-19 | 1998-07-21 | Hitachi Ltd | 走行環境認識装置 |
| JPH10283461A (ja) * | 1997-04-04 | 1998-10-23 | Fuji Heavy Ind Ltd | 車外監視装置 |
| JP2001099930A (ja) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | 周辺監視センサ |
| JP2001195698A (ja) * | 2000-01-07 | 2001-07-19 | Nissan Motor Co Ltd | 歩行者検知装置 |
| JP2001330665A (ja) * | 2000-05-18 | 2001-11-30 | Fujitsu Ten Ltd | レーダ及び画像処理を用いた車載用物体検出装置 |
| JP2002099906A (ja) * | 2000-09-22 | 2002-04-05 | Mazda Motor Corp | 物体認識装置 |
| JP2002160598A (ja) * | 2000-11-24 | 2002-06-04 | Fuji Heavy Ind Ltd | 車外監視装置 |
| JP2003151094A (ja) * | 2001-11-15 | 2003-05-23 | Fuji Heavy Ind Ltd | 車外監視装置 |
| JP2004037239A (ja) * | 2002-07-03 | 2004-02-05 | Fuji Heavy Ind Ltd | 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置 |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004347471A (ja) * | 2003-05-22 | 2004-12-09 | Fuji Heavy Ind Ltd | 先行車両検出装置 |
| US7417580B2 (en) | 2003-09-11 | 2008-08-26 | Toyota Jidosha Kabushiki Kaisha | Object detection system and object detection method |
| JP2006047057A (ja) * | 2004-08-03 | 2006-02-16 | Fuji Heavy Ind Ltd | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
| US8193920B2 (en) | 2004-08-07 | 2012-06-05 | Robert Bosch Gmbh | Method and device for operating a sensor system |
| JP2008509413A (ja) * | 2004-08-07 | 2008-03-27 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | センサシステムの作動方法および作動装置 |
| JP2006090957A (ja) * | 2004-09-27 | 2006-04-06 | Nissan Motor Co Ltd | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 |
| JP2006163879A (ja) * | 2004-12-08 | 2006-06-22 | Daihatsu Motor Co Ltd | 画像処理方法及び画像処理装置 |
| JP2006182086A (ja) * | 2004-12-27 | 2006-07-13 | Hitachi Ltd | 車両検知装置 |
| JP2006333009A (ja) * | 2005-05-25 | 2006-12-07 | Nissan Motor Co Ltd | 俯瞰画像表示装置及び俯瞰画像表示方法 |
| JP2007142517A (ja) * | 2005-11-15 | 2007-06-07 | Kazuo Iwane | 移動型自動監視装置 |
| JP2007188354A (ja) * | 2006-01-13 | 2007-07-26 | Fuji Heavy Ind Ltd | 車両の前方立体物認識装置 |
| US7825849B2 (en) | 2006-02-24 | 2010-11-02 | Toyota Jidosha Kabushiki Kaisha | Object detecting apparatus and method for detecting an object |
| JP2007274037A (ja) * | 2006-03-30 | 2007-10-18 | Daihatsu Motor Co Ltd | 障害物認識方法及び障害物認識装置 |
| JP2008117073A (ja) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | 割り込み車両検出装置 |
| JP2010501952A (ja) * | 2007-04-19 | 2010-01-21 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 運転者支援システム、および対象物の妥当性を確定する方法 |
| JP2009019914A (ja) * | 2007-07-10 | 2009-01-29 | Toyota Motor Corp | 物体検出装置 |
| JP2009110163A (ja) * | 2007-10-29 | 2009-05-21 | Mitsubishi Fuso Truck & Bus Corp | 車両の衝突被害軽減装置における監視対象物の検出装置 |
| JP2009211557A (ja) * | 2008-03-05 | 2009-09-17 | Honda Motor Co Ltd | 車両用走行安全装置 |
| WO2011104984A1 (ja) * | 2010-02-24 | 2011-09-01 | アイシン精機株式会社 | 車両周辺監視装置 |
| US9073483B2 (en) | 2010-02-24 | 2015-07-07 | Aisin Seiki Kabushiki Kaisha | Vehicle surroundings monitoring device |
| US9666077B2 (en) | 2012-09-03 | 2017-05-30 | Toyota Jidosha Kabushiki Kaisha | Collision determination device and collision determination method |
| JP2014137288A (ja) * | 2013-01-17 | 2014-07-28 | Mitsubishi Electric Corp | 車両周辺監視装置および車両周辺監視方法 |
| KR101562875B1 (ko) | 2013-08-22 | 2015-10-23 | 가부시키가이샤 덴소 | 목표물 검출 장치 및 프로그램 |
| JP2015078926A (ja) * | 2013-10-17 | 2015-04-23 | 株式会社デンソー | 物標検出装置 |
| JP2017156219A (ja) * | 2016-03-02 | 2017-09-07 | 沖電気工業株式会社 | 追尾装置、追尾方法およびプログラム |
| DE102016225590A1 (de) | 2016-05-18 | 2017-11-23 | Mitsubishi Electric Corporation | Radarvorrichtung und Sensorfusionssystem, das diese verwendet |
| US10228457B2 (en) | 2016-05-18 | 2019-03-12 | Mitsubishi Electric Corporation | Radar device and sensor fusion system using the same |
| JP2020131940A (ja) * | 2019-02-20 | 2020-08-31 | トヨタ自動車株式会社 | 車両の制御装置 |
| JP7211145B2 (ja) | 2019-02-20 | 2023-01-24 | トヨタ自動車株式会社 | 車両の制御装置 |
| JP2022537557A (ja) * | 2019-06-18 | 2022-08-26 | 華為技術有限公司 | 運転可能な領域情報を決定するための方法及び装置 |
| JP7418476B2 (ja) | 2019-06-18 | 2024-01-19 | 華為技術有限公司 | 運転可能な領域情報を決定するための方法及び装置 |
| JP2023509154A (ja) * | 2019-12-30 | 2023-03-07 | メルセデス・ベンツ グループ アクチェンゲゼルシャフト | 環境センサーからの曖昧な測定データを排除する方法 |
| JP7451718B2 (ja) | 2019-12-30 | 2024-03-18 | メルセデス・ベンツ グループ アクチェンゲゼルシャフト | 環境センサーからの曖昧な測定データを排除する方法 |
| WO2022064588A1 (ja) * | 2020-09-24 | 2022-03-31 | 三菱電機株式会社 | 情報処理システム、情報処理装置、プログラム及び情報処理方法 |
| JPWO2022064588A1 (ja) * | 2020-09-24 | 2022-03-31 | ||
| JP7154470B2 (ja) | 2020-09-24 | 2022-10-17 | 三菱電機株式会社 | 情報処理システム、情報処理装置、プログラム及び情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE60325312D1 (de) | 2009-01-29 |
| US20040066285A1 (en) | 2004-04-08 |
| US7030775B2 (en) | 2006-04-18 |
| EP1403660A1 (en) | 2004-03-31 |
| EP1403660B1 (en) | 2008-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004117071A (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
| JP4021344B2 (ja) | 車両用運転支援装置 | |
| JP4037722B2 (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
| JP3860061B2 (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
| JP3964287B2 (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
| JP5711721B2 (ja) | 車両の運転支援制御装置 | |
| CN106004860B (zh) | 车辆行驶控制装置 | |
| CN113386752B (zh) | 用于确定辅助驾驶系统中最佳巡航车道的方法和装置 | |
| JP6822815B2 (ja) | 道路標示認識装置 | |
| CN107004367A (zh) | 车辆的行驶控制装置、行驶控制方法以及行驶控制程序 | |
| JP7561050B2 (ja) | 走行環境認識装置 | |
| CN107004368A (zh) | 车辆的行驶控制装置、行驶控制方法以及行驶控制程序 | |
| JP4176430B2 (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
| US20240383479A1 (en) | Vehicular sensing system with lateral threat assessment | |
| CN109689459B (zh) | 车辆的行驶控制方法及行驶控制装置 | |
| JP3440956B2 (ja) | 車両用走行路検出装置 | |
| CN112606845B (zh) | 推定装置、推定方法及存储介质 | |
| JP2006047057A (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
| JP6609292B2 (ja) | 車外環境認識装置 | |
| WO2017013692A1 (ja) | 走行車線判定装置及び走行車線判定方法 | |
| JP2012103858A (ja) | 障害物認識装置 | |
| JP4703963B2 (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
| JP2005145396A (ja) | 車両用運転支援装置 | |
| CN114523968B (zh) | 周围车辆监测装置和周围车辆监测方法 | |
| JP7377294B2 (ja) | 車両制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050908 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071112 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080205 |