JP2578119B2 - 道路形状認識装置 - Google Patents

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、道路形状認識装置、特に進行方向の画像情
報から、例えば車両案内線としての道路の白線を検出
し、該白線の曲率を算出することにより道路の形状を認
識する道路形状認識装置に関する。

（従来の技術） 従来、車両の進行方向の道路形状を判定する技術とし
て、特開昭60−170715号公報に記載されたようなものが
知られている。これは、操舵角センサを使って、現在走
行しているカーブ路の緩急を判別するものである。

（発明が解決しようとする課題） しかしながら、現時点でのカーブ路の緩急は判別でき
るものの、これから走行しようとする道路の形状、例え
ばカーブの程度については正確に把握できず、そのた
め、車両の操舵制御やカメラの撮像方向の制御等に利用
する場合にはカーブ路では制御が遅れる等の課題を有し
ていた。

そこで、本発明は、上記に鑑みてなされたもので、そ
の目的とするところは、高い信頼性をもって、進行方向
の道路形状を認識できる道路形状認識装置を提供するこ
とにある。

［発明の構成］ （問題点を解決するための手段） 上記問題点を解決するため、本発明の道路形状認識装
置は、第１図に示すように、車両の進行方向の斜視画像
を撮像する撮像手段１と、該撮像手段で撮像した斜視画
像情報を平面画像情報に変換する画像変換手段３と、該
画像変換手段からの平面画像情報から車両の進行方向に
延出する一対の車両を案内するための車両案内線を検出
する車両案内線検出手段５と、進行方向の所定距離にお
ける前記一対の車両案内線上の各点における車両案内線
に対する各接線を求める接線算出手段７と、該接線算出
手段で算出した各接線の車両の進行方向に対する各角度
を算出する角度算出手段９と、該角度算出手段で算出し
た各角度に基づいて車両の進行方向における車両案内線
の曲率を検出する曲率検出手段11とを有し、該角度算出
手段９により算出された各接線の車両の進行方向に対す
る各角度と、該曲率検出手段11により検出された車両案
内線の曲率とを道路形状として認識することを要旨とす
る。

（作用） 本発明の道路形状認識装置では、車両の進行方向に撮
像した斜視画像を平面画像に変換し、この平面画像から
車両の進行方向に延出する一対の車両を案内するための
車両案内線を検出し、車両の進行方向の所定距離におけ
る一対の車両の案内線上の各点における各接線を検出
し、この各接線の車両の進行方向における各角度から車
両案内線の曲率を検出することで、算出された各接線の
車両の進行方向に対する各角度と、検出された車両案内
線の曲率とを道路形状として認識するようにしている。

（実施例） 以下、図面を用いて本発明の実施例を説明する。第２
図は本発明の道路形状認識装置が適用される自律走行車
両制御装置の一実施例の全体構成を示すブロック図であ
る。同図に示す自律走行車両制御装置は、カメラやセン
サ等で検知した進行方向の道路状況を適宜判断しながら
例えば設定された目的地に向かった車両を無人で自律的
に走行させるための制御を行なう装置であって、車両の
進行方向の画像を撮像して画像処理する画像情報処理部
100と、超音波センサ、レーザレーダ等により車両の進
行方向や側方等の物体、例えば先行車、ガードレール、
障害物等を検知するとともに、車輪速等も検知し処理す
る検知処理部200と、車両を無人で走行させるための車
両のステアリング、アクセル、ブレーキ、ウィンカ等を
作動させるアクチュエータを有し、これらを制御するア
クチュエータ制御部300と、目的地までの地図情報を記
憶している地図情報記憶部400と、各部からの情報によ
り車両を目的地に向けて障害物等に衝突しないように走
行させるべく前記アクチュエータ制御部300等を制御す
る走行制御部500と、該走行制御部500に対して目的地に
関する情報を入力するとともに、前記画像情報処理部10
0からの画像やその他の情報を表示するマンマシンイン
タフェース部600と、非常ブレーキをかけたり、最高速
度を制限する等の機能を有する付帯制御部700と、例え
ば飛行機のフライトレコーダ等のように衝突時や非常ブ
レーキ等の場合の車両の各部の状況を記録するデータ収
録部800とから構成されている。

前記画像情報処理部100は、２台からなる１組のカメ
ラ101、103を有する。このカメラ101、103は車両の前部
の例えば左右に設けられ、これにより車両の進行方向の
ステレオ画像、すなわちステレオ斜視画像を撮像する。
このカメラ101、103で撮像された斜視画像は画像処理用
コンピュータ105に供給されて画像処理を施され、これ
により視差を求めて障害物の有無を判断したり、障害物
までの距離および方向を計測するために使用されたり、
また斜面画像はこの画像処理用コンピュータ105により
平面画像に変換され、すなわち逆斜視変換される。画像
処理用コンピュータ105はこの平面画像から例えば道路
上に描かれている一対の車両案内線である白線または路
側帯、センタライン等を検出して、その位置を計測す
る。

また、更に詳しくは、道路上の白線等を検出すること
により、道路と車両との相対関係、すなわち車両から左
側の白線までの距離ＸL、右側の白線までの距離ＸR、車
両の進行方向と道路のなす角度θ等を算出し、これらの
値により道路のカーブの方向や曲率等を求める。また、
交差点の手前においては白線の切れ方等を計測すること
により交差点までの距離Ｙを求める。

このように画像処理用コンピュータ105で求められた
距離ＸL、ＸR、角度θ、距離Ｙ等は、ローカル自車位置
推定部107に供給され、これにより道路と車両との位置
関係、すなわちローカル自車位置を推定できるのであ
る。なお、ローカル自車位置とは、このように画像処理
用コンピュータ105における画像処理によって局部的に
細く求めた自車位置を称するものとする。また、このロ
ーカル自車位置に対して後述するようにおおまかに求め
た自車位置をグローバル自車位置と称する。

なお、カメラは、画角を広く取るために、３組程度設
置し、切り替えて使用することにより右前方、左前方、
前方の画像から上記パラメータを得ることができる。

検知処理部200は、超音波センサ、レーザレーダ等を
使用し、車両の進行方向や側方等の物体、例えば先行
車、ガードレール、障害物等を検知するとともに、車輪
速等も検知するものであるが、これは例えば前記画像情
報処理部100による画像情報がない場合にもある程度の
走行を可能にし、これによりフェイルセーフ的役割も果
そうとするものである。

検知処理部200は、例えば車両の側方、前後左右の４
ヶ所にそれぞれ設けている４つの超音波センサ201、20
3、205、207を有し、これらの超音波センサの出力はフ
ェイルセーフローカル自車位置検出部215に供給され、
これらのセンサによって車両と道路のガードレールとの
間隔距離を測定し、これにより前記画像情報処理部100
で求めたと同様なパラメータ、すなわち距離ＸL、ＸR、
角度θ等を計測することができる。また、ガードレール
の切れ目の判断を行なうことにより例えば交差点の手前
Ｙメートルの位置にガードレールの切れ目を規則的に作
っておくと、交差点までの距離も知ることができる。す
なわち、これらの情報により前記画像情報処理部100で
求めたと同じローカル自車位置情報を得ることができる
のである。

また、検知処理部200は車両前部に設けられ、車両の
前方等に存在する障害物等を検出するレーザレーダ209
および前方超音波センサ210を有し、これらの出力はフ
ェイルセーフ障害物判断部217に供給されている。これ
らのレーザレーダ209および前方超音波センサ210は障害
物までの距離も算出し、前記画像情報処理部100のカメ
ラ101、103で認識できない場合にも、このレーザレーダ
209が障害物を検出した場合には車両の走行を一時的に
停止または減速するようになっている。

更に、検知処理部200は後輪の左右に設けられている
一対の車輪速センサ211、213を有し、これらのセンサの
出力は車輪速データ処理部218に供給され、更にこの車
輪速データ処理部218からグローバル車両位置推定部219
に供給されている。この車輪速センサ211、213は車輪の
回転を検出し、この回転に同期して車輪の１回転毎に数
千個（具体的には、1000〜4000）のパルスを左右の車輪
毎に発生する。従って、この左右の車輪毎に発生する両
パルスの数の差を取れば、走行距離の差となり、この差
から車両がカーブして走行しているか否かを判断するこ
とができる。また、左右の車輪の走行距離はそのまま車
両の走行距離となる。従って、これらの情報を時々刻々
計算することにより車両の変位（ΔＸ、ΔＹ、Δθ）を
求めることができる。具体的には、ある時点の車両の姿
勢、すなわち位置を基準とした相対的な車両の位置情
報、すなわち相対的なＸ、Ｙ座標における位置およびθ
等の情報を求めることができ、これにより走行前の車両
の位置が既知であるならば、車輪速処理を逐次行なうこ
とにより走行中の車両の現在位置を常に検出するとがで
きる。但し、誤差は累積されるので、走行距離が長くな
ると、計測誤差が大きくなる。このように求められるお
およその車両の位置がグローバル車両位置（Ｘ、Ｙ）で
ある。

アクチュエータ制御部300は、車両を無人で走行させ
るために必要な種々のアクチュエータ、すなわちステア
リングを操舵する操舵アクチュエータ301、アクセルに
対応するスロットルアクチュエータ303、ブレーキアク
チュエータ305、ウィンカ駆動部307を有し、これらの各
アクチュエータをアクチュエータ制御部309が走行制御
部500からの制御情報に基づいて制御するようになって
いる。なお、車両がAT車で前進走行のみである場合に
は、上述したアクチュエータのみでよいが、MT車や後進
の制御を行なう場合には、クラッチやシフトレバー等の
操作用アクチュエータ等も必要となる。アクチュエータ
制御部309は走行操舵制御部505からの加減速指令または
目標車速指令を受け、アクセルやブレーキ等を制御す
る。操舵制御は同様に右または左への回転指令または目
標操舵角指令を受けて作動する。

地図情報記憶部400は、目的地に関する地図情報、目
的地までの地図情報、例えば目的地までの道路に存在す
る交差点位置、交差点間距離等の地図情報を記憶してい
る地図データ記憶部401および該地図データ記憶部401に
対して走行制御部500からのアクセスを制御する地図情
報アクセス制御部403から構成されている。

走行制御部500は、前記画像情報処理部100および検知
処理部200で検出した進行方向の道路情報を適宜判断す
るとともに地図情報記憶部400からの地図情報を参照し
ながら、マンマシンインタフェース部600から入力され
る目的地に向けて車両を走行させるべく前記アクチュエ
ータ制御部300を駆動制御するものである。そして、前
記画像情報処理部100の画像処理用コンピュータ105から
障害物データを供給され、この障害物データに基づいて
障害物の回避方向を決定する障害物回避方向決定部501
と、地図情報記憶部400からの地図情報、検知処理部200
のグローバル自車位置推定部219からのグローバル自車
位置情報（Ｘ、Ｙ）、画像情報処理部100のローカル自
車位置推定部107からの補正データ、マンマシンインタ
フェース部600からの目的地情報等の情報を供給され、
これらの情報により目的地までの経路等を含む大局的な
走行戦略情報を立案し、この情報に従って直進、右左
折、減速、加速、停止等の走行動作に関する情報、交差
点までの距離情報等の制御情報を出力するプランナであ
る走行指令部503と、該走行指令部503からの制御情報、
画像情報処理部100のローカル自車位置推定部107からの
道路端からの距離、角度等を含むローカル自車位置情
報、障害物回避方向決定部501からの障害物回避方向情
報、検知処理部200の車輪速データ処理部218からの車両
の変位（ΔＸ、ΔＹ、Δθ）を含む車両姿勢（位置）情
報、検知処理部200のフェールセーフローカル自車位置
検出部215からの道路端からの距離、角度等を含むロー
カル自車位置情報、フェイルセーフ障害物判断部217か
らの障害物までの距離情報、付帯制御部700からの情報
等を供給され、これらの情報に基づいてアクチュエータ
制御部300の制御に必要な各種制御信号、例えば目標車
速、目標操舵角情報等の情報をアクチュエータ制御部30
0に供給し、これにより操舵制御等を行なう走行操舵制
御部505とを有する。

更に具体的には、走行指令部503はマンマシンインタ
フェース部600から目的地情報が入力されると、地図情
報記憶部400をアクセスしながら、目的地までの経路を
探索し、最短経路を決定する。そして、この決定した最
短経路の情報と車輪速センサ211、213で検出された情報
に基づいて算出されたグローバル自車位置情報とを比較
しながら走行制御情報を作成する。例えば、交差点に近
付いたときには、およその減速指令を出力したり、「あ
と何メートルで左折する」というような情報を走行操舵
制御部505に出力する。また、走行操舵制御部505におけ
るアクチュエータに対する制御はFuzzy制御等の知能制
御により行なわれる。すなわち、「if…then…」の形式
で記述されたプロダクションルールに従って制御され
る。また、障害物の回避は画像情報処理部100による障
害物までの距離と方向とに基づいてどの方向に進めばよ
いかを決定する。

マンマシンインタフェース部600は、目的地情報等を
入力するキーボード601と、目的地までの地図を表示し
たり、その他種々の情報、例えば交差点までの情報等を
表示するCRTディスプレイ603とを有する。なお、キーボ
ード601は代りとしてディジタイザ等でもよい。また、
マンマシンインタフェース部600はマンマシンインタフ
ェースとして音声認識や合成装置等を有してもよい。

付帯制御部700は、非常ブレーキアクチュエータ701を
有し、この非常ブレーキアクチュエータ701は通常走行
用のブレーキアクチュエータ305とパラレルに作動し、
安全性を向上している。この非常ブレーキアクチュエー
タ701はアンテナ705で受信した外部非常ブレーキ信号を
受信機707および制御部703を介して供給されたり、また
は車両内部に設けられている非常ブレーキスイッチ709
からの作動信号を制御部703を介して供給されると走行
制御部500の制御に関係なく作動し、車両を停止させ
る。また、付帯制御部700は最高車速リミッタ711、この
最高車速リミッタ711に対して最高車速を設定するため
の速度設定部713および最高車速リミッタ711に車両の実
際の車速情報を供給する車速センサ714を有し、速度設
定部713で設定された最高車速で走行し得るようになっ
ている。この最高車速リミッタ711は車両の乗員がゆっ
くりと走りたい場合に、その最高車速を設定するための
ものであり、この設定された最高車速情報は走行操舵制
御部505に供給され、走行操舵制御部505でこの速度を越
えないように制御される。なお、最高車速は走行指令部
503によって道路毎に設定することも可能である。ま
た、万一、設定された最高車速を越える車速が出た場合
には、車速センサ714が感知し、これにより走行制御部5
00の異常を判断し、非常ブレーキアクチュエータ701を
制御して非常ブレーキを作動させるようになっている。

データ収録部800は、フライトレコーダ等のように衝
突時、非常ブレーキ作動時等に車両の各部の状況を記録
するためのメモリ等からなるデータ収録部801およびＧ
センサ803を有する。このデータ収録部801に記録された
データに基づいて後で原因等を解明するために使用する
ものである。

次に、第３図を参照して作用を説明する。

この作用は、自律走行車両制御装置における自律走行
制御の中において特に画像情報処理部100で撮像した画
像情報を基にして車両のローカル自車位置の算出、具体
的にはカーブ路のカーブ度合いおよびカーブ路と自車と
の位置関係等を求めるものである。

前記画像情報処理部100のカメラ101,103で撮像した車
両の前方の画像は、第３図（ａ）に示すように、斜視画
像である。この斜視画像はカメラ101,103から画像処理
用コンピュータ105に供給されて逆斜視変換され、第３
図（ｂ）に示すようなワールド座標系の平面画像とな
る。この平面画像では、図示のように一対の車両案内線
である一対の白線ＬL、ＬRが図示されているが、この白
線ＬL、ＬRが画像処理用コンピュータ105によって抽出
される。

このように抽出された白線ＬL、ＬRに対して、第３図
（ｃ）に示すように車両900の位置を原点としてＸ座標
およびＹ座標を設定し、車両900の前方Ｙメートルの位
置における白線ＬL、ＬRの各点ＰL、ＰRのＸ座標の位置
ＸL、ＸR、すなわち車両900を原点とした中心から白線
ＬL、ＬRまでの距離ＸL、ＸRを求める。それから、各点
ＰL、ＰRにおける各白線ＬL、ＬRに対する各接線ＴL、
ＴRを求め、この各接線ＴL、ＴRと車両900の進行方向、
すなわちＹ軸の方向との各角度θL、θRを算出する。

以上のように算出される角度θL、θRがローカル自車
位置推定部107に供給されることにより、これらの角度
θL、θRおよび両角度の差（θL−θR）の符号によって
次表のように車両の進行方向の道路の湾曲状態、すなわ
ち右カーブであるかまたは左カーブであるか等が判断さ
れるのである。なお、この表において、備考欄には白線
ＬL、ＬRと車両900の関係図を示しているものである。

この表から、例えばθR＜０、θL＜０、（θL−θR）
＞０の時およびθR＞０、θL＞０、（θR−θL）＜０の
時は、右カーブであり、θR＜０、θL＜０、（θL−θ
R）＜０の時およびθR＞０、θL＞０、（θR−θL）＞
０の時は、左カーブであり、またθR＝θLの時は、直線
路であると判断できる。なお、道幅が一定という条件で
道路が作られていたら、θRとθLの符号が逆になること
はないため、この場合には画像処理のエラーとして判断
される。

また、走行制御においては、道幅が同じであれば、前
記距離ＸL、ＸRから（ＸL−ＸR）の値がある一定値Ｘと
なるように制御する。そして、直線の場合には、左右の
白線ＬL、ＬRの中央を走行するのであればＸ＝０とな
り、左カーブの場合にはＸ＞０となる。また、カーブの
度合いが強い程、Ｘの値は大きくなる。右カーブの場合
も同様にＸ＜０となる。そこで、画像情報からＸL、ＸR
およびカーブの度合いを求めれば走行制御が可能とな
る。

カーブの度合いとして、カーブの曲率半径を求める場
合についての説明が第４図に示されているが、左の白線
ＬL上の点ＰLにおける曲率半径をＬとし、右の白線ＬR
上の点ＰRにおける曲率半径をＲとし、両点ＰL、ＰR間
の距離をＷとする（なお、この距離Ｗは道幅ではない）
と、次式が成立する。

Ｗ＝ＸR＋ＸL Lsin θL＝Rsin θR Lcos θL＋Ｗ＝Rcos θR これらの式から次式が求まる。

Lcos θL＋Ｗ＝Lsin θL・cos θR/sin θR Ｌ（cos θL−sin θL・cos θR/sin θR）＝−Ｗ 従って、左白線ＬLの曲率半径Ｌは次のとおりとな
る。

Ｌ＝Wsin θR／(sin θL・cos θR−cos θL・sin θR) ＝Wsin θR/sin（θL−θR） なお、右カーブの時は、θLとθRとを入れ替え、かつ
符号を逆にすればよい。このように求めた白線ＬL、ＬR
の曲率半径の逆数をカーブの度合いとして使用すればよ
く、このカーブ度合いはカーブがきつい程大きな値とな
る。

以上のように求めた距離ＸL、ＸR、角度θL、θR等お
よびこれらのデータから求めた白線ＬL、ＬRのカーブ度
合い、右カーブか左カーブか等の情報が画像情報処理部
100から走行制御部500に供給され、これにより車両の自
律走行制御が適切に行なわれるものである。

尚、上記実施例では自律走行車両制御装置に本発明の
道路形状認識装置を適用した場合を例に説明したが、本
発明はこれ以外にも、例えばカーブ路の曲率に合わせて
レーダの走査方向やカメラの撮像方向を制御する装置に
も適用することができるものである。

［発明の効果］ 以上説明したように、本発明によれば、車両の進行方
向に変換した斜視画像を平面画像に変換し、この平面画
像から車両の進行方向に延出する一対の車両を案内する
ための車両案内線を検出し、車両の進行方向の所定距離
における一対の車両案内線上の各点における各接線を検
出し、この各接線の車両の進行方向における各角度から
車両案内線の曲率を検出しており、このように検出した
曲率および各接線の角度から適確にかつ高い信頼性をも
って道路形状を認識することができる。

【図面の簡単な説明】

第１図は本発明のクレーム対応図、第２図は本発明の一
実施例に係る自律走行車両制御装置の全体的構成を示す
ブロック図、第３図は第２図の自律走行車両制御装置の
作用の説明図、第４図は第２図の自律走行車両制御装置
において道路の白線の曲率を求めるための説明図であ
る。 １……撮像手段 ３……画像変換手段 ５……案内線検出手段 ７……接線算出手段 ９……角度算出手段 11……曲率検出手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 服部 彰 横浜市神奈川区宝町２番地 日産自動車 株式会社内 (56)参考文献 特開 昭63−52213（ＪＰ，Ａ) 特開 昭58−181180（ＪＰ，Ａ) 特開 昭51−12530（ＪＰ，Ａ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】車両の進行方向の斜視画像を撮像する撮像
   手段と、 該撮像手段で撮像した斜視画像情報を平面画像情報に変
   換する画像変換手段と、 該画像変換手段からの平面画像情報から車両の進行方向
   に延出する一対の車両を案内するための車両案内線を検
   出する車両案内線検出手段と、 車両の進行方向の所定距離における前記一対の車両案内
   線上の各点における車両案内線に対する各接線を求める
   接線算出手段と、 該接線算出手段で算出した各接線の車両の進行方向に対
   する各角度を算出する角度算出手段と、 該角度算出手段で算出した各角度に基づいて車両の進行
   方向における車両案内線の曲率を検出する曲率検出手段
   とを有し、 該角度算出手段により算出された各接線の車両の進行方
   向に対する各角度と、該曲率検出手段により検出された
   車両案内線の曲率とを道路形状として認識することを特
   徴とする道路形状認識装置。