JP2004098792A - White line recognition device for vehicles - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a white line recognition device capable of more precisely distinguishing a white line on a traveling road from a road side article without a high precision radar device. <P>SOLUTION: This white line recognition device 1 is equipped with a camera 2 taking an image in front of a vehicle itself, and a white line detecting part 6 for detecting a white line candidate line on the traveling road based on the image taken by the camera 2. The device also comprises a laser radar 4 for measuring a distance from the vehicle itself to a forward article; and a genuine white line judging part 7 for judging that the white candidate line is not the white line on the traveling road when the distance from the vehicle to the white line candidate line exceeds the distance measured by the laser radar 4. <P>COPYRIGHT: (C)2004,JPO

Description

ここで、式（１）中の（ｘ、ｙ）は、白線候補点の座標であり、Ａ、Ｂ、Ｃ、Ｄ、Ｈは、上述した道路パラメータである。また、Ｅ０は、車線幅（左右道路白線の内側間の距離）を示す定数、ｆはカメラ透視変換定数である。
【００２９】
また、ｊは左右の道路白線を区別するパラメータであり、（ｘ、ｙ）が左側の白線候補点の座標である場合には、ｊ＝０となり、右側の白線候補点の座標である場合には、ｊ＝１となる。
【００３０】
ウインドウ再設定部６４は、白線真偽判定部７による判定の結果に基づいて、画像メモリ３から画像を取得し、この画像上にウインドウを再度設定する。
【００３１】
白線候補点再検出部６５は、ウインドウ再設定部６４により設定されたウインドウ内から白線候補点を再度検出する。
【００３２】
白線候補線再検出部６６は、白線候補点再検出部６５による検出結果に基づいて、白線候補線を再度検出する。
【００３３】
道路パラメータ再推定部６７は、白線候補線再検出部６６による検出結果に基づいて、道路パラメータを再度推定する。そして、推定された道路パラメータを道路パラメータ情報として、白線検出メモリ６８に保存する。
【００３４】
白線検出メモリ６８は、道路パラメータ推定部６３から与えられた道路パラメータ情報等を保存する。
【００３５】
ここで、白線検出メモリ６８は、道路パラメータ推定部６３から道路パラメータ情報が与えられていない状態では、道路パラメータの初期値を保存する。
【００３６】
また、カメラ２の路面からの高さＨの値及びレーザレーダ４の路面からの高さｈの値に関する高さ情報を保存する。
【００３７】
白線真偽判定部７は、自車両１００から白線検出部６により検出された白線候補線までの距離を算出し、この算出された距離と、レーザレーダ４により計測された距離とを比較する。
【００３８】
そして、この結果に基づいて、白線候補線が走行路上の白線（以下、「道路白線」と称する）かどうかを判定する。
【００３９】
次に、車両用白線認識装置１による処理の手順について、図１〜図１４に基づいて説明する。
【００４０】
ここで、図３は、自車両１００の前方の様子を示した概略平面図であり、図４及び図１２は、車両用白線認識装置１による処理の手順を示したフローチャートである。
【００４１】
また、図５及び図１４は、カメラ２により取得される画像を示した説明図であり、図６〜図１１は、白線候補線を検出する方法を示した説明図であり、図１３は、自車両１００の前方の様子を示した概略側面図である。
【００４２】
本実施の形態では、図３に示すように、自車両１００の進行方向左側（以下、「左側」と称する）に道路白線１０２が、進行方向右側（以下、「右側」と称する）に道路白線１０３及びデリニエータ１０４が存在する場合を例にとって説明する。なお、車両用白線認識装置１は、左側にデリニエータが存在する場合等の他の場合であっても本処理を行うことができるのは勿論である。
【００４３】
図４に示すステップＳ１にて、図１に示すカメラ２は、図３に示すように、自車両前方の領域２ａを撮影する。
【００４４】
これにより、カメラ２は、図５に示すように、左側の道路白線１０２に対応すると思われる左側白線画像１０２ａと、右側の道路白線１０３に対応すると思われる右側白線画像１０５ａとが描かれた画像を取得する。
【００４５】
次いで、カメラ２は、取得された画像を画像メモリ３に保存する。なお、この画像は、画素毎の輝度データとして表される。
【００４６】
一方、レーザレーダ４は、図３に示すように、自車両前方の領域４ａにレーザ光を発射して、このレーザ光を反射する前方物体、即ちデリニエータ１０４を検出する。
【００４７】
次いで、レーザレーダ４は、カメラ２からレーザレーダ４により検出された各デリニエータ１０４までの距離を計測して距離計測情報を作成し、処理部５に出力する。
【００４８】
なお、この距離計測情報には、デリニエータ１０４が自車両１００の進行方向に対して何れの側（右側か左側か）に存在するかに関する情報も含まれる。
【００４９】
ステップＳ２にて、ウインドウ設定部６０は、画像メモリ３から画像を取得すると共に、白線検出メモリ６８から、道路パラメータ情報を取得する。
【００５０】
次いで、ウインドウ設定部６０は、これら画像及び道路パラメータ情報に基づいて、図５に示すように、画像上の左右両側にそれぞれｍ個のウインドウ６０ａを設定する。
【００５１】
具体的には、ウインドウ設定部６０は、まず、図５に示すように、画像上に所定のｘｙ平面を定義する。
【００５２】
次いで、ウインドウ設定部６０は、各ウインドウ６０ａの上端部の中点座標（ｘｅｓｔ、ｙｎ）が以下の式（２）を満たすように、各ウインドウ６０ａを設定する（尚、Ａ（−１）、Ｂ（−１）、Ｃ（−１）、Ｄ（−１）、Ｈ（−１）は前回のパラメータ推定結果を表わす。）。
【００５３】
白線候補点の座標は上述した式（１）を満たすことが知られているので、このように設定することで、ウインドウ６０ａ内に白線候補点がより確実に含まれるようになるからである。
【００５４】
【数２】

ここで、左側のウインドウ６０ａを設定する場合には、ｊ＝０とし、右側のウインドウ６０ａを設定する場合には、ｊ＝１とする。
【００５５】
なお、各ウインドウ６０ａのｘ方向の幅については、道路パラメータの分散値に基づいて設定しても、固定値としても良い。
【００５６】
次いで、ウインドウ設定部６０は、設定されたウインドウ６０ａに関するウインドウ情報を作成して、白線検出メモリ６８に保存する。
【００５７】
次いで、白線検出部６は、左右両側の白線候補線を検出する。まず、左側の白線候補線を検出する手順を説明する。
【００５８】
即ち、ステップＳ３にて、白線候補点検出部６１は、ステップＳ４〜ステップＳ７の処理を繰り返して行うための制御パラメータｉを定義する。
【００５９】
次いで、この制御パラメータｉを１に初期化して、制御パラメータｉの値を制御パラメータ情報として白線検出メモリ６８に保存する。
【００６０】
次いで、ステップＳ４にて、白線候補点検出部６１は、白線検出メモリ６８から、ｉ番目のウインドウ（以下、「ウインドウｉ」と称する）に関するウインドウ情報を取得する。
【００６１】
次いで、白線候補点検出部６１は、当該ウインドウ情報に基づいて、ソーベルフィルタ処理等のエッジ検知処理により、ウインドウｉ内の画像から白線候補点を検出する。
【００６２】
具体的には、白線候補点検出部６１は、図６に示すように、ウインドウｉ内の隣接する画素について、左側の画素の輝度と右側の画素の輝度との輝度差を計測する。
【００６３】
次いで、白線候補点検出部６１は、計測された輝度差と、この輝度について予め定められた基準変化量とを比較する。ここで、基準変化量は、固定値としても、画像全体またはウインドウ毎の平均輝度等により適宜設定されても良い。
【００６４】
この結果、計測された輝度差が基準変化量以上の場合には、以下の処理を行う。
【００６５】
即ち、左側の画素の輝度が右側の画素の輝度よりも大きい場合には、図６に示すように、この左側の画素を白線候補点６１ａとする。ここで、白線候補点６１ａは、左側白線画像１０２ａの右端部上の点となる。
【００６６】
次いで、白線候補点検出部６１は、検出された白線候補点の座標等に関する白線候補点情報を作成して、白線検出メモリ６８に保存する。
【００６７】
なお、上述した処理により、白線候補点が検出されなかった場合には、ステップＳ６以降の処理が行われる。
【００６８】
次いで、ステップＳ５にて、白線候補線検出部６２は、白線検出メモリ６８からウインドウｉに関する白線候補点情報を取得し、この白線候補点情報に基づいて、白線候補線を検出する。
【００６９】
ここで、白線候補線の検出には、ハフ変換や最小自乗法等を用いることができるが、本実施の形態では、ハフ変換を用いることとする。即ち、図７に示すように、ウインドウｉ内を通過する直線のうち、最も多くの白線候補点６１ａを貫くものを白線候補線とする。
【００７０】
具体的には、まず、白線候補線検出部６２は、ある白線候補点６１ａを通過する直線を、以下の式（３）で表す。
【００７１】
ｘ＝ａ・ｙ＋ｂ　…（３）
ここで、ａは、直線の傾き（∂ｘ／∂ｙ）であり、ｂは直線のｘ切片である。
【００７２】
次いで、白線候補線検出部６２は、ａの値を所定値ずつ変えながら、当該ａの値に対応するｂの値を算出する。ここで、所定値については、予め定められる。
【００７３】
次いで、白線候補線検出部６２は、当該算出の結果に基づいて、図８に示す配列表を作成する。
【００７４】
この配列表の各配列要素には、それぞれａとｂの各種組み合わせが対応している。
【００７５】
また、この配列表は、「１」が立っている配列要素と、空欄の配列要素とを有し、「１」が立っている配列要素に対応するａとｂの組み合わせは、式（３）を満たす。
【００７６】
なお、以下の説明において、あるａとｂの組み合わせに対応する配列要素を、「配列要素（ａ、ｂ）」と称する。
【００７７】
次いで、白線候補線検出部６２は、ウインドウｉに含まれる全ての白線候補点６１ａについて、同様の処理により、配列表を作成する。
【００７８】
次いで、白線候補線検出部６２は、これら作成された配列表を重ね合わせて、図９及び図１０に示すような結合表を作成する。
【００７９】
この結合表は、図８の配列表と同様の構成となっており、数字が記載された配列要素と空欄の配列要素とを有する。なお、図９及び図１０では、これら数字を「ｚｋ」（ｋ＝１、２、３、…、ｒ）で表している。
【００８０】
ここで、例えば、図９に示すように、結合表の配列要素（ａｒ、ｂｒ）に記載されたｚｒは、以下の式（４）で表される直線が貫く白線候補点６１ａの数を表している。
【００８１】
ｘ＝ａｒ・ｙ＋ｂｒ　…（４）
次いで、白線候補線検出部６２は、当該作成された結合表に基づいて、白線候補点６１ａを最も多く貫く直線を検出し、この直線を白線候補線６２ａとする（図６参照）。
【００８２】
次いで、白線候補線検出部６２は、図１１に示すように、ウインドウｉにおける白線候補線６２ａと、ウインドウｉの上端部との交点６２ｂの座標（ｘｉ、ｙｉ）を算出する。
【００８３】
具体的には、ｙｉはウインドウｉの固有値として既知なので、以下の式（５）に基づいて、ｘｉを算出する。
【００８４】
ｘｉ＝ａｉ・ｙｉ＋ｂｉ　…（５）
ここで、ａｉは白線候補線６２ａの傾きであり、ｂｉは白線候補線６２ａのｘ切片である。
【００８５】
次いで、白線候補線検出部６２は、検出された白線候補線６２ａ及び交点６２ｂに関する白線候補線情報を作成して、白線検出メモリ６８に保存する。
【００８６】
次いで、図４に示すステップＳ６にて、白線候補線検出部６２は、制御パラメータｉの値を１増加させ、当該制御パラメータｉの値を制御パラメータ情報として白線検出メモリ６８に保存する。
【００８７】
ステップＳ７にて、白線候補線検出部６２は、制御パラメータｉの値とｍを比較する。
【００８８】
この結果、制御パラメータｉの値がｍより大きくなっている場合には、ｍ個のウインドウ６０ａの全てについて白線候補線検出処理が終了したこととなるので、車両用白線認識装置１は、ステップＳ２０以降の処理を行う。
【００８９】
一方、制御パラメータｉの値がｍ以下の場合には、車両用白線認識装置１は、ステップＳ４以降の処理を繰り返す。
【００９０】
即ち、車両用白線認識装置１は、上述したステップＳ３〜ステップＳ７の処理を繰り返して行うことにより、ｍ個のウインドウ６０ａの全てについて、白線候補線検出処理を行う。
【００９１】
一方、車両用白線認識装置１は、右側の白線候補線６２ｃを、上述したステップＳ３〜ステップＳ７の処理と同様の処理を繰り返して行うことにより検出する（図５参照）。
【００９２】
ここで、右側の白線候補線６２ｃを検出する場合には、ステップＳ４にて、白線候補点検出部６１は、輝度差が基準変化量以上で、且つ右側の画素の輝度が左側の画素の輝度よりも大きい場合に、この右側の画素を白線候補点とする。言い換えれば、右側白線画像１０５ａ（図５参照）の左端部上の点を白線候補点とする。
【００９３】
次いで、図４に示すステップＳ２０にて、図１に示す道路パラメータ推定部６３は、白線検出メモリ６８から、左側の白線候補線６２ａに関する白線候補線情報または右側の白線候補線６２ｃに関する白線候補線情報を取得し、この白線候補線情報に基づいて、道路パラメータを推定する。
【００９４】
なお、本実施の形態における推定方法は、いかなる道路幅であっても適用可能である。まず、その理由について説明する。
【００９５】
即ち、上述した式（１）（即ち、本推定方法に用いられる式）をｙで偏微分して以下に示す式（６）を得る。
【００９６】
【数３】

そして、式（１）と式（６）からＡを消去すると以下に示す式（７）を得る。
【００９７】
【数４】

ここで、Ａは自車両１００の車線に対する横変位のパラメータであり、このＡを消去すると、式（７）によって表されるように、Ｅ０も同時に消去される。つまり、いかなる道路幅であっても式（７）が成立する。
【００９８】
したがって、本推定方法は、いかなる道路幅であっても適用可能であることが理解される。
【００９９】
次に、本推定方法について、図１２等に基づいて説明する。
【０１００】
まず、図１２に示すステップＳ２１にて、図１に示す道路パラメータ推定部６３は、制御パラメータｉを１に初期化し、当該制御パラメータｉの値を制御パラメータ情報として白線検出メモリ６８に保存する。
【０１０１】
ステップＳ２２にて、道路パラメータ推定部６３は、以下に示す式（８）を、道路パラメータＡ、Ｂ、Ｃ、Ｄ、Ｈでそれぞれ偏微分する。
【０１０２】
これにより、Ｍｉ１（＝∂ｆｚ／∂Ａ）、Ｍｉ２（＝∂ｆｚ／∂Ｂ）、Ｍｉ３（＝∂ｆｚ／∂Ｃ）、Ｍｉ４（＝∂ｆｚ／∂Ｄ）、Ｍｉ５（＝∂ｆｚ／∂Ｈ）を算出する。
【０１０３】
【数５】

ここで、式（８）は、上述した式（１）の（ｘ、ｙ）に、白線候補線６２ａとウインドウｉの上端部との交点６２ｂの座標（ｘｉ、ｙｉ）（図１１参照）を代入したものである。
【０１０４】
なお、式（８）は、その右辺を線形近似することで、以下の式（９）として表される。
【０１０５】
ｘｉ＝Ｍｉ１・Ａ＋Ｍｉ２・Ｂ＋Ｍｉ３・Ｃ＋Ｍｉ４・Ｄ＋Ｍｉ５・Ｈ　…（９）
次いで、道路パラメータ推定部６３は、算出されたＭｉ１〜Ｍｉ５の値を偏微分値情報として白線検出メモリ６８に保存する。
【０１０６】
次いで、ステップＳ２３にて、制御パラメータｉの値を１増加させ、制御パラメータｉの値を制御パラメータ情報として白線検出メモリ６８に保存する。
【０１０７】
ステップＳ２４にて、道路パラメータ推定部６３は、制御パラメータｉの値とｍとを比較する。
【０１０８】
この結果、道路パラメータ推定部６３は、制御パラメータｉの値がｍより大きい場合には、ステップＳ２５以降の処理を行い、制御パラメータｉの値がｍ以下の場合には、ステップＳ２２以降の処理を繰り返す。
【０１０９】
これにより、道路パラメータ推定部６３は、ｍ個のウインドウ６０ａの全てについて、Ｍｉ１〜Ｍｉ５を算出する。
【０１１０】
次いで、道路パラメータ推定部６３は、ステップＳ２５にて、カルマンフィルタ処理により、道路パラメータＡ、Ｂ、Ｃ、Ｄ、Ｈを推定する。
【０１１１】
ここで、カルマンフィルタ処理とは、以下の式（１０）が与えられる場合に、パラメータｚの値を推定することができるというものである。
【０１１２】
ｙｙ＝ｆｗ（ｚ）　…（１０）
ここで、式（１０）中のパラメータｙｙの値及び関数ｆｗの構造はそれぞれ既知とし、一般にｙｙはベクトルとなる。
【０１１３】
具体的には、道路パラメータ推定部６３は、白線検出メモリ６８から、Ｍ１１〜Ｍｍ５の値に関する偏微分値情報を取得し、更に、式（９）に基づいて、以下の式（１１）を取得する。
【０１１４】
【数６】

次いで、道路パラメータ推定部６３は、式（１１）にＭ１１〜Ｍｍ５の値を代入して、道路パラメータＡ、Ｂ、Ｃ、Ｄ、Ｈの値を推定する。
【０１１５】
次いで、当該推定された道路パラメータＡ、Ｂ、Ｃ、Ｄ、Ｈの値を道路パラメータ情報として白線検出メモリ６８に保存して、図４に示すメインフローに戻る。
【０１１６】
次いで、図４に示すステップＳ３０にて、図１に示す白線真偽判定部７は、右側の白線候補線６２ｃ及び左側の白線候補線６２ａ（図５参照）が道路白線かどうかを判定する。
【０１１７】
ここで、左側の白線候補線６２ａが道路白線かどうかを判定する方法は、右側の白線候補線６２ｃが道路白線かどうかを判定する方法と同様なので、以下、右側の白線候補線６２ｃが道路白線かどうかを判定する方法について説明する。
【０１１８】
白線真偽判定部７は、まず、レーザレーダ４から与えられる距離計測情報に基づいて、白線候補線６２ｃとデリニエータ１０４とが自車両１００に対して同一の側に存在するかどうかを判定する。
【０１１９】
この結果、白線真偽判定部７は、これらが自車両１００に対して同一の側に存在しない場合には、白線候補線６２ｃの周囲には前方物体が存在しないので、この白線候補線６２ｃを道路白線と判定する。
【０１２０】
一方、白線真偽判定部７は、これらが自車両１００に対して同一の側に存在する場合（本例の場合）には、以下の処理を行う。
【０１２１】
即ち、白線真偽判定部７は、白線検出メモリ６８から右側の白線候補線６２ｃに関する白線候補線情報を取得し、この白線候補線情報に基づいて、カメラ２から白線候補線６２ｃまでの距離Ｌ１（図１３参照）を算出する。
【０１２２】
次いで、白線真偽判定部７は、当該算出された距離Ｌ１と、レーザレーダ４から与えられる距離計測情報とに基づいて、距離Ｌ１と、カメラ２からデリニエータ１０４までの距離Ｌ２とを比較する。
【０１２３】
この結果、白線真偽判定部７は、距離Ｌ１が距離Ｌ２よりも短い場合には、右側の白線候補線６２ｃを道路白線と判定し、距離Ｌ１が距離Ｌ２以上である場合（本例の場合）には、以下の処理を行う。
【０１２４】
即ち、まず、白線真偽判定部７は、距離Ｌ１と距離Ｌ２との距離差を算出する。
【０１２５】
一方、白線真偽判定部７は、白線検出メモリ６８からカメラ高さＨの値及びレーダ高さｈの値に関する高さ情報を取得し、これらの値と算出された距離Ｌ２を以下の式（１２）に代入することで、基準距離差を算出する。
【０１２６】
（基準距離差）＝Ｌ２・ｈ／（Ｈ−ｈ）　…（１２）
次いで、白線真偽判定部７は、算出された距離差と、基準距離差とを比較する。
【０１２７】
この結果、白線真偽判定部７は、距離差が基準距離差以下の場合には、白線候補線６２ｃは道路白線ではないと判定し、距離差が基準距離差よりも大きい場合には、白線候補線６２ｃは道路白線であると判定する。
【０１２８】
本例の場合では、白線真偽判定部７は、右側の白線候補線６２ｃは道路白線ではないと判定し、左側の白線候補線６２ａは道路白線であると判定する。
【０１２９】
ここで、当該判定が可能な理由について説明する。
【０１３０】
即ち、図１３に示すように、カメラ２が自車両前方のデリニエータ１０４を撮影した場合、カメラ２が取得する画像では、デリニエータ１０４の画像１０４ａ（図１４参照、以下、「デリニエータ画像１０４ａ」と称する）が自車両１００に対して路面の奥側に射影されている。
【０１３１】
一方、白線候補線検出部６２は、上述したように、カメラ２により取得された画像に基づいて、白線候補線を検出する。
【０１３２】
したがって、白線候補線検出部６２が、レーザレーダ４により検出されたデリニエータ１０４を白線候補線として検出した場合には、白線真偽判定部７により算出される距離Ｌ１は、レーザレーダ４により計測される距離Ｌ２以上となる。
【０１３３】
また、図１３に示すように、レーザレーダ４によりデリニエータ１０４が検出される場合には、デリニエータ１０４の高さは、レーダ高さｈ以上となる。
【０１３４】
したがって、白線候補線検出部６２が、レーザレーダ４により検出されたデリニエータ１０４を白線候補線として検出した場合には、距離Ｌ１と距離Ｌ２との距離差は、Ｌ２・ｈ／（Ｈ−ｈ）で表される。
【０１３５】
即ち、この場合の距離差は、上述した基準距離差となる。
【０１３６】
したがって、距離Ｌ１が距離Ｌ２以上で、且つ距離Ｌ１と距離Ｌ２との距離差が基準距離差以下の場合には、白線候補線検出部６２は、デリニエータ１０４を白線候補線として検出したといえる。言い換えれば、この場合には、白線候補線は道路白線ではないといえるので、上述した判定が可能となる。
【０１３７】
なお、本例では、白線候補線検出部６２は、上述した理由により、デリニエータ１０４を右側の白線候補線６２ｃとして検出していることとなる。即ち、図５に示す白線画像１０５ａは、実際にはデリニエータ画像１０４ａである。
【０１３８】
次いで、車両用白線認識装置１は、道路白線でない白線候補線６２ｃが存在する場合（ステップＳ３０にてＮＯ）には、図４に示すステップＳ８以降の処理を行う。
【０１３９】
即ち、ステップＳ８にて、図１に示すウインドウ再設定部６４は、画像メモリ３から画像を取得する。
【０１４０】
次いで、ウインドウ再設定部６４は、図１４に示すように、この画像上において、道路白線でない画像上の白線候補線６２ｃ（即ち、デリニエータ画像１０４ａ）よりも車線内側の領域に、ｍ個のウインドウ６０ｂを設定する。
【０１４１】
これにより、本例では、図１４に示すように、ウインドウ６０ｂ内に白線画像（図３に示す道路白線１０３に対応する画像）１０３ａが含まれることとなる。
【０１４２】
次いで、ウインドウ再設定部６４は、ウインドウ６０ｂの位置及び大きさに関するウインドウ再設定情報を作成し、白線検出メモリ６８に保存する。
【０１４３】
次いで、ステップＳ９にて、白線候補点再検出部６５は、制御パラメータｉの値を１に初期化して、この制御パラメータｉの値を制御パラメータ情報として白線検出メモリ６８に保存する。
【０１４４】
次いで、ステップＳ１０にて、白線候補点再検出部６５は、白線検出メモリ６８から、ｉ番目のウインドウ６０ｂに関するウインドウ再設定情報を取得する。
【０１４５】
次いで、白線候補点再検出部６５は、当該ウインドウ再設定情報に基づいて、ステップＳ４と同様に、ｉ番目のウインドウ６０ｂ内の画像から白線候補点を検出する。
【０１４６】
ここで、白線候補点の検出に際しては、白線候補点を検出するための基準変化量は、ステップＳ４の処理にて使用された基準変化量よりも低い値に設定される。
【０１４７】
次いで、白線候補点検出部６１は、検出された白線候補点の座標等に関する白線候補点再検出情報を作成して、白線検出メモリ６８に保存する。
【０１４８】
なお、白線候補点が検出されなかった場合には、ステップＳ１２以降の処理が行われる。
【０１４９】
次いで、ステップＳ１１にて、白線候補線再検出部６６は、白線検出メモリ６８から白線候補点再検出情報を取得し、この白線候補点再検出情報に基づいて、ステップＳ５と同様に、白線候補線６２ｄを検出する（図１４参照）。
【０１５０】
次いで、白線候補線再検出部６６は、検出された白線候補線に関する白線候補線再検出情報を作成し、白線検出メモリ６８に保存する。
【０１５１】
ステップＳ１２にて、白線候補線再検出部６６は、制御パラメータｉの値を１増加させ、当該制御パラメータｉの値を制御パラメータ情報として白線検出メモリ６８に保存する。
【０１５２】
ステップＳ１３にて、白線候補線再検出部６６は、制御パラメータｉの値とｍを比較する。
【０１５３】
この結果、制御パラメータｉの値がｍより大きくなっている場合には、ｍ個のウインドウ６０ｂの全てについて白線候補線再検出処理が終了したこととなるので、車両用白線認識装置１は、ステップＳ４０以降の処理を行う。
【０１５４】
一方、制御パラメータｉの値がｍ以下の場合には、車両用白線認識装置１は、ステップＳ１０以降の処理を繰り返す。
【０１５５】
即ち、車両用白線認識装置１は、上述したステップＳ１０〜ステップＳ１３の処理を繰り返して行うことにより、ｍ個のウインドウ６０ｂの全てについて、白線候補線再検出処理を行う。
【０１５６】
これにより、車両用白線認識装置１は、図１４に示すように、道路白線１０３の内側端部を白線候補線６２ｄとして検出する。
【０１５７】
次いで、ステップＳ４０にて、道路パラメータ再推定部６７は、白線検出メモリ６８から白線候補線再検出情報を取得する。
【０１５８】
次いで、道路パラメータ再推定部６７は、この白線候補線再検出情報に基づいて、図１２に示すステップＳ２０〜ステップＳ２５と同様に、道路パラメータＡ、Ｂ、Ｃ、Ｄ、Ｈの値を再度推定する。
【０１５９】
次いで、道路パラメータ再推定部６７は、再度推定された道路パラメータＡ、Ｂ、Ｃ、Ｄ、Ｈの値を道路パラメータ情報として白線検出メモリ６８に保存する。
【０１６０】
次いで、車両用白線認識装置１は、ステップＳ１以降の処理を繰り返す。なお、車両用白線認識装置１は、自車両走行中であれば、例えば３０〔ｍｓｅｃ〕毎にステップＳ１以降の処理を繰り返す。
【０１６１】
以上により、本実施の形態によれば、以下の効果を得ることができる。
【０１６２】
即ち、白線真偽判定部７は、白線真偽判定部７により算出された距離Ｌ１が、レーザレーダ４により計測された距離Ｌ２以上である場合には、上述した理由（ステップＳ３０の説明を参照）により、白線候補線検出部６２により検出された白線候補線は道路白線ではないと判定する。
【０１６３】
これにより、車両用白線認識装置１は、道路白線以外のもの（例えば、デリニエータ１０４等の路側物）を道路白線と判定することを防止することができる。
【０１６４】
したがって、車両用白線認識装置１は、高精度のレーダ装置を用いることなく、道路白線とそれ以外の前方物体とを正確に区別することができる（請求項１記載の発明に対応する効果）。
【０１６５】
さらに、白線真偽判定部７は、距離Ｌ１が距離Ｌ２以上であり、且つ、これら距離Ｌ１と距離Ｌ２との距離差が、基準距離差以下である場合には、白線候補線６２ａは道路白線ではないと判定する。
【０１６６】
これにより、車両用白線認識装置１は、例えば画像に基づいて検出された道路白線が正しいにもかかわらず、自車両と道路白線の間の物体（例えば自車両近傍を走行する二輪車）をレーザレーダ４で検出した場合の様に、距離Ｌ１が距離Ｌ２以上で、且つ距離Ｌ１と距離Ｌ２との距離差が基準距離差よりも大きい場合に、白線候補線６２ａは道路白線ではないと判定することを防止することができる（請求項２記載の発明に対応する効果）。
【０１６７】
さらに、この基準距離差は、上述したように、式（１２）で表される。
【０１６８】
したがって、車両用白線認識装置１は、上述した理由（ステップＳ３０の説明を参照）により、白線候補線が道路白線であるかどうかをより正確に判定することができる（請求項３記載の発明に対応する効果）。
【０１６９】
さらに、白線検出部６は、白線候補線が道路白線ではないと判定された場合には、画像上の白線候補線よりも内側の領域から、白線候補線を再度検出する（図４に示すステップＳ１０〜ステップＳ１３）。
【０１７０】
したがって、車両用白線認識装置１は、白線候補線が道路白線ではないと判定された場合であっても、この白線候補線の内側の領域から、道路白線を検出することができる（請求項４記載の発明に対応する効果）。
【０１７１】
さらに、この場合、白線候補点を検出するための輝度の基準変化量は、図４に示すステップＳ４における基準変化量よりも低い値に設定される。
【０１７２】
したがって、車両用白線認識装置１は、道路白線が汚れている場合等のように、道路白線の輝度が低下している場合であっても、道路白線をより確実に検出することができる（請求項５記載の発明に対応する効果）。
【０１７３】
さらに、車両用白線認識装置１は、道路パラメータを再度推定した後には、この道路パラメータを用いてウインドウを設定することができる。したがって、ウインドウ内に白線候補点をより確実に含めることができる。
【０１７４】
なお、本実施の形態では、距離計測手段としてレーザレーダを用いることとしたが、電磁波を発射するミリ波レーダを用いても良い。
【図面の簡単な説明】
【図１】車両用白線認識装置の構成を示したブロック図である。
【図２】カメラ等の設置位置を示した概略側断面図である。
【図３】自車両前方の様子を示した概略平面図である。
【図４】車両用白線認識装置による処理の手順を示したフローチャートである。
【図５】カメラにより取得される画像の一例を示した説明図である。
【図６】白線候補点が検出される様子を示した説明図である。
【図７】白線候補線が検出される様子を示した説明図である。
【図８】白線候補線の傾きａとｘ切片ｂとの関係に関する配列表を示した説明図である。
【図９】白線候補線の傾きａとｘ切片ｂとの関係に関する結合表を示した説明図である。
【図１０】白線候補線の傾きａとｘ切片ｂとの関係に関する結合表を示した説明図である。
【図１１】白線候補線とウインドウの上端部との交点を示した説明図である。
【図１２】道路パラメータを推定する手順を示したフローチャートである。
【図１３】自車両前方の様子を示した概略側断面図である。
【図１４】カメラにより取得される画像の一例を示した説明図である。
【符号の説明】
１　車両用白線認識装置
２　カメラ（撮影手段）
４　レーザレーダ（距離計測手段）
６　白線検出部（白線検出手段）
７　白線真偽判定部（距離算出手段、判定手段）
６０　ウインドウ設定部
６１　白線候補点検出部
６２　白線候補線検出部
６３　道路パラメータ推定部
６４　ウインドウ再設定部
６５　白線候補点再検出部
６６　白線候補線再検出部
６７　道路パラメータ再推定部
６８　白線検出メモリ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle white line recognition device that recognizes a white line existing on a road ahead of a host vehicle.
[0002]
[Prior art]
BACKGROUND ART Conventionally, there has been known a vehicle white line recognition device that photographs a road surface in front of a host vehicle for the purpose of automatic steering of a vehicle, and recognizes a white line on a traveling road based on a luminance change of an image obtained thereby. I have.
[0003]
[Problems to be solved by the invention]
However, in the vehicle white line recognition device, when both the white line and the roadside object are drawn in the acquired image, it is not easy to accurately distinguish the white line and the roadside object.
[0004]
On the other hand, there has also been proposed a technique for recognizing the outer shape of a roadside object using a high-accuracy radar device, thereby distinguishing a white line from a roadside object. However, since a high-precision radar device is expensive, this technique has a problem that it is costly.
[0005]
The present invention has been made to solve such a conventional problem, and its main object is to more accurately detect a white line on a traveling road and a roadside object without using a high-precision radar device. It is an object of the present invention to provide a white line recognition device for a vehicle which can be distinguished from a vehicle.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the invention described in the claims of the present application comprises a photographing means for photographing the front of the host vehicle, and a white line for detecting a white line candidate line on a traveling road based on an image acquired by the photographing means. Detecting means for emitting a detection wave in front of the host vehicle, detecting a front object reflecting the detection wave, and measuring a distance from the host vehicle to the front object. A measuring unit, a distance calculating unit that calculates a distance from the own vehicle to the white line candidate line detected by the white line detecting unit based on the image obtained by the photographing unit, and a distance calculated by the distance calculating unit. When the distance is equal to or longer than the distance measured by the measuring unit, the determining unit mainly determines that the white line candidate line is not a white line on the traveling road.
[0007]
【The invention's effect】
According to the first aspect of the present invention, when the distance calculated by the distance calculating means is equal to or longer than the distance measured by the distance measuring means, the determining means determines that the white line candidate line is not a white line on the traveling road.
[0008]
Here, when the photographing means photographs the front object, in the image acquired by the photographing means, the image of the front object is projected to the host vehicle on the far side of the road surface.
[0009]
On the other hand, the white line detecting means detects a white line candidate line based on the image acquired by the photographing means.
[0010]
Therefore, when the white line detection unit detects the forward object detected by the distance measurement unit as a white line candidate line, the distance calculated by the distance calculation unit is equal to or greater than the distance measured by the distance measurement unit. Therefore, the determination can be made.
[0011]
As described above, according to the present invention, it is possible to accurately determine whether or not a white line candidate line is a white line on a traveling road. Therefore, the white line on the traveling road and the roadside object can be accurately distinguished without using a high-accuracy radar device. be able to.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0013]
First, a configuration of a vehicle white line recognition device 1 according to the present invention will be described with reference to FIGS.
[0014]
Here, FIG. 1 is a block diagram showing a configuration of the vehicle white line recognition device 1, and FIG. 2 is a schematic side sectional view showing an installation position of the camera 2 and the like.
[0015]
The vehicle white line recognition device 1 is mounted on the host vehicle 100 as shown in FIG. 2, and as shown in FIG. 1, a camera (photographing means) 2, an image memory 3, and a laser radar (distance measuring means) 4 , And a processing unit 5.
[0016]
As shown in FIG. 2, the camera 2 is installed on an indoor ceiling portion of the host vehicle 100, and captures an image of the running path 101 in front of the host vehicle and its surroundings, and shoots the running path 101 in front of the host vehicle and its surroundings. Get an image. Then, the obtained image is stored in the image memory 3.
[0017]
The image memory 3 stores an image given from the camera 2.
[0018]
As shown in FIG. 2, the laser radar 4 is installed in front of the host vehicle 100, emits laser light (detection wave) in front of the host vehicle, and detects a forward object that reflects the laser light. .
[0019]
Then, the distance from the host vehicle 100 to the front object (specifically, the distance from the camera 2 to the front object) is measured, and distance measurement information is created and output to the processing unit 5.
[0020]
The processing unit 5 includes a white line detection unit (white line detection unit) 6 and a white line authenticity determination unit (distance calculation unit, determination unit) 7.
[0021]
The white line detection unit 6 includes a window setting unit 60, a white line candidate point detection unit 61, a white line candidate line detection unit 62, a road parameter estimation unit 63, a window resetting unit 64, a white line candidate point redetection unit 65, and a white line candidate line redetection. A section 66 and a road parameter re-estimating section 67 are provided.
[0022]
The window setting unit 60 acquires an image from the image memory 3 and sets a predetermined window on the image.
[0023]
The white line candidate point detection unit 61 detects a white line candidate point from within the window set by the window setting unit 60.
[0024]
The white line candidate line detection unit 62 detects a white line candidate line based on the detection result by the white line candidate point detection unit 61.
[0025]
The road parameter estimating unit 63 estimates road parameters based on the detection result of the white line candidate line detecting unit 62, and stores the estimated road parameters in the white line detection memory 68 as road parameter information.
[0026]
Here, the road parameters are the lateral displacement A of the vehicle 100 with respect to the travel path 101, the curvature B of the travel path 101, the yaw angle C of the vehicle 100 with respect to the travel path 101, the pitch angle D of the vehicle 100, and the camera 2 It is configured with a height H from the road surface.
[0027]
It is known that these road parameters satisfy the following equation (1), and the road parameter estimating unit 63 estimates the road parameters using the equation (1).
[0028]
(Equation 1)

Here, (x, y) in Expression (1) is the coordinates of the white line candidate point, and A, B, C, D, and H are the above-described road parameters. E0 is a constant indicating the lane width (the distance between the insides of the left and right road white lines), and f is a camera perspective conversion constant.
[0029]
Also, j is a parameter for distinguishing the left and right road white lines. When (x, y) is the coordinates of the left white line candidate point, j = 0, and when (x, y) is the coordinates of the right white line candidate point. Is j = 1.
[0030]
The window resetting unit 64 acquires an image from the image memory 3 based on the result of the determination by the white line authenticity determining unit 7, and sets a window again on this image.
[0031]
The white line candidate point re-detection section 65 detects the white line candidate point again from within the window set by the window resetting section 64.
[0032]
The white line candidate line re-detection unit 66 detects the white line candidate line again based on the detection result by the white line candidate point re-detection unit 65.
[0033]
The road parameter re-estimating unit 67 re-estimates the road parameters based on the detection result by the white line candidate line re-detecting unit 66. Then, the estimated road parameters are stored in the white line detection memory 68 as road parameter information.
[0034]
The white line detection memory 68 stores the road parameter information and the like provided from the road parameter estimation unit 63.
[0035]
Here, the white line detection memory 68 stores the initial values of the road parameters when the road parameter information is not given from the road parameter estimating unit 63.
[0036]
Also, height information on the value of the height H of the camera 2 from the road surface and the value of the height h of the laser radar 4 from the road surface are stored.
[0037]
The white line authenticity determination unit 7 calculates the distance from the vehicle 100 to the white line candidate line detected by the white line detection unit 6, and compares the calculated distance with the distance measured by the laser radar 4.
[0038]
Then, based on the result, it is determined whether or not the white line candidate line is a white line on the traveling road (hereinafter, referred to as “road white line”).
[0039]
Next, a procedure of processing by the vehicle white line recognition device 1 will be described with reference to FIGS.
[0040]
Here, FIG. 3 is a schematic plan view showing a state in front of the host vehicle 100, and FIGS. 4 and 12 are flowcharts showing processing procedures by the vehicle white line recognition device 1.
[0041]
FIGS. 5 and 14 are explanatory diagrams showing images acquired by the camera 2, FIGS. 6 to 11 are explanatory diagrams showing a method for detecting a white line candidate line, and FIG. FIG. 2 is a schematic side view showing a state in front of a host vehicle 100.
[0042]
In the present embodiment, as shown in FIG. 3, a road white line 102 is provided on the left side (hereinafter, referred to as “left side”) in the traveling direction of the vehicle 100, and a road white line 102 is provided on the right side (hereinafter, referred to as “right side”) in the traveling direction. Description will be made by taking as an example the case where the 103 and the delineator 104 are present. Note that the vehicle white line recognition device 1 can of course perform this processing even in other cases such as when a delineator is present on the left side.
[0043]
In step S1 shown in FIG. 4, the camera 2 shown in FIG. 1 captures an image of an area 2a in front of the host vehicle as shown in FIG.
[0044]
Thereby, as shown in FIG. 5, the camera 2 draws the left white line image 102a which seems to correspond to the left road white line 102 and the right white line image 105a which seems to correspond to the right road white line 103. To get.
[0045]
Next, the camera 2 stores the obtained image in the image memory 3. This image is represented as luminance data for each pixel.
[0046]
On the other hand, as shown in FIG. 3, the laser radar 4 emits laser light to an area 4a in front of the host vehicle, and detects a forward object that reflects the laser light, that is, a delineator 104.
[0047]
Next, the laser radar 4 measures the distance from the camera 2 to each delineator 104 detected by the laser radar 4, creates distance measurement information, and outputs the distance measurement information to the processing unit 5.
[0048]
Note that the distance measurement information also includes information on which side (right side or left side) the delineator 104 is located in the traveling direction of the vehicle 100.
[0049]
In step S2, the window setting unit 60 acquires an image from the image memory 3 and acquires road parameter information from the white line detection memory 68.
[0050]
Next, based on the image and the road parameter information, the window setting unit 60 sets m windows 60a on both left and right sides of the image, as shown in FIG.
[0051]
Specifically, the window setting unit 60 first defines a predetermined xy plane on the image as shown in FIG.
[0052]
Next, the window setting unit 60 sets each window 60a such that the middle point coordinates (xest, yn) of the upper end portion of each window 60a satisfies the following equation (2) (A (-1), B (-1), C (-1), D (-1) and H (-1) represent the previous parameter estimation results.)
[0053]
It is known that the coordinates of the white line candidate points satisfy the above-described equation (1), so that by setting in this manner, the white line candidate points can be more reliably included in the window 60a.
[0054]
(Equation 2)

Here, j = 0 when setting the left window 60a, and j = 1 when setting the right window 60a.
[0055]
The width in the x direction of each window 60a may be set based on the variance of the road parameters or may be a fixed value.
[0056]
Next, the window setting unit 60 creates window information relating to the set window 60a and stores it in the white line detection memory 68.
[0057]
Next, the white line detection unit 6 detects white line candidate lines on both the left and right sides. First, a procedure for detecting the left white line candidate line will be described.
[0058]
That is, in step S3, the white line candidate point detection unit 61 defines a control parameter i for repeatedly performing the processing of steps S4 to S7.
[0059]
Next, the control parameter i is initialized to 1, and the value of the control parameter i is stored in the white line detection memory 68 as control parameter information.
[0060]
Next, in step S4, the white line candidate point detection unit 61 acquires window information on the i-th window (hereinafter, referred to as “window i”) from the white line detection memory 68.
[0061]
Next, the white line candidate point detection unit 61 detects a white line candidate point from the image in the window i by edge detection processing such as Sobel filter processing based on the window information.
[0062]
Specifically, as shown in FIG. 6, the white line candidate point detection unit 61 measures the luminance difference between the luminance of the left pixel and the luminance of the right pixel for adjacent pixels in the window i.
[0063]
Next, the white line candidate point detection unit 61 compares the measured luminance difference with a predetermined reference change amount for the luminance. Here, the reference change amount may be a fixed value or may be appropriately set based on the average luminance of the entire image or each window.
[0064]
As a result, if the measured luminance difference is equal to or larger than the reference change amount, the following processing is performed.
[0065]
That is, when the luminance of the pixel on the left is greater than the luminance of the pixel on the right, the pixel on the left is set as a white line candidate point 61a as shown in FIG. Here, the white line candidate point 61a is a point on the right end of the left white line image 102a.
[0066]
Next, the white line candidate point detection unit 61 creates white line candidate point information relating to the coordinates of the detected white line candidate points, and stores the information in the white line detection memory 68.
[0067]
If no white line candidate point is detected by the above-described processing, the processing from step S6 is performed.
[0068]
Next, in step S5, the white line candidate line detection unit 62 obtains white line candidate point information on window i from the white line detection memory 68, and detects a white line candidate line based on the white line candidate point information.
[0069]
Here, a Hough transform, a least squares method, or the like can be used to detect a white line candidate line. In the present embodiment, the Hough transform is used. That is, as shown in FIG. 7, a straight line passing through the window i and passing through the most white line candidate points 61a is defined as a white line candidate line.
[0070]
Specifically, first, the white line candidate line detection unit 62 expresses a straight line passing through a certain white line candidate point 61a by the following equation (3).
[0071]
x = a · y + b (3)
Here, a is the inclination of the straight line (∂x / ∂y), and b is the x-intercept of the straight line.
[0072]
Next, the white line candidate line detection unit 62 calculates the value of b corresponding to the value of a while changing the value of a by a predetermined value. Here, the predetermined value is determined in advance.
[0073]
Next, the white line candidate line detection unit 62 creates the sequence table shown in FIG. 8 based on the calculation result.
[0074]
Various combinations of a and b correspond to the respective array elements of the array table.
[0075]
Further, this array table has array elements where "1" stands, and blank array elements. The combination of a and b corresponding to the array element where "1" stands is given by the formula (3) Meet.
[0076]
In the following description, an array element corresponding to a certain combination of a and b is referred to as “array element (a, b)”.
[0077]
Next, the white line candidate line detection unit 62 creates a sequence table for all the white line candidate points 61a included in the window i by performing the same processing.
[0078]
Next, the white line candidate line detection unit 62 creates a connection table as shown in FIGS. 9 and 10 by superimposing the created sequence tables.
[0079]
This connection table has the same configuration as the arrangement table of FIG. 8, and has array elements in which numbers are described and array elements that are blank. 9 and 10, these numbers are represented by “zk” (k = 1, 2, 3,..., R).
[0080]
Here, for example, as shown in FIG. 9, zr described in the array element (ar, br) of the binding table represents the number of white line candidate points 61a through which a straight line represented by the following equation (4) passes. ing.
[0081]
x = ar · y + br (4)
Next, the white line candidate line detection unit 62 detects a straight line that passes through the white line candidate point 61a most based on the created connection table, and sets this straight line as the white line candidate line 62a (see FIG. 6).
[0082]
Next, as shown in FIG. 11, the white line candidate line detection unit 62 calculates coordinates (xi, yi) of an intersection 62b between the white line candidate line 62a in the window i and the upper end of the window i.
[0083]
Specifically, since yi is known as a unique value of window i, xi is calculated based on the following equation (5).
[0084]
xi = ai · yi + bi (5)
Here, ai is the inclination of the white line candidate line 62a, and bi is the x-intercept of the white line candidate line 62a.
[0085]
Next, the white line candidate line detection unit 62 creates white line candidate line information regarding the detected white line candidate line 62a and the intersection 62b, and stores the information in the white line detection memory 68.
[0086]
Next, in step S6 shown in FIG. 4, the white line candidate line detection unit 62 increases the value of the control parameter i by 1, and stores the value of the control parameter i in the white line detection memory 68 as control parameter information.
[0087]
In step S7, the white line candidate line detection unit 62 compares the value of the control parameter i with m.
[0088]
As a result, if the value of the control parameter i is larger than m, it means that the white line candidate line detection processing has been completed for all of the m windows 60a, and the vehicle white line recognition device 1 proceeds to step S20. The following processing is performed.
[0089]
On the other hand, when the value of the control parameter i is equal to or less than m, the vehicle white line recognition device 1 repeats the processing from step S4.
[0090]
That is, the vehicle white line recognition device 1 performs the white line candidate line detection processing for all of the m windows 60a by repeatedly performing the processing of steps S3 to S7 described above.
[0091]
On the other hand, the vehicle white line recognition device 1 detects the white line candidate line 62c on the right side by repeatedly performing the same processing as the above-described processing of steps S3 to S7 (see FIG. 5).
[0092]
Here, when detecting the right white line candidate line 62c, in step S4, the white line candidate point detection unit 61 determines that the luminance difference is equal to or more than the reference change amount and the luminance of the right pixel is the luminance of the left pixel. If it is larger than this, the right pixel is set as a white line candidate point. In other words, a point on the left end of the right white line image 105a (see FIG. 5) is set as a white line candidate point.
[0093]
Next, in step S20 shown in FIG. 4, the road parameter estimation unit 63 shown in FIG. 1 reads the white line candidate line information for the left white line candidate line 62a or the white line candidate line for the right white line candidate line 62c from the white line detection memory 68. Information is obtained, and road parameters are estimated based on the white line candidate line information.
[0094]
Note that the estimation method in the present embodiment can be applied to any road width. First, the reason will be described.
[0095]
That is, the above equation (1) (that is, the equation used in the present estimation method) is partially differentiated with respect to y to obtain the following equation (6).
[0096]
[Equation 3]

Then, when A is eliminated from the expressions (1) and (6), the following expression (7) is obtained.
[0097]
(Equation 4)

Here, A is a parameter of the lateral displacement of the own vehicle 100 with respect to the lane, and when this A is deleted, E0 is also deleted at the same time as expressed by equation (7). That is, Expression (7) holds regardless of the road width.
[0098]
Therefore, it is understood that the present estimation method is applicable to any road width.
[0099]
Next, the present estimation method will be described with reference to FIG.
[0100]
First, in step S21 shown in FIG. 12, the road parameter estimation unit 63 shown in FIG. 1 initializes the control parameter i to 1, and stores the value of the control parameter i in the white line detection memory 68 as control parameter information.
[0101]
In step S22, the road parameter estimating unit 63 partially differentiates the following equation (8) with road parameters A, B, C, D, and H, respectively.
[0102]
Thus, Mi1 (= ∂fz / ∂A), Mi2 (= ∂fz / ∂B), Mi3 (= ∂fz / ∂C), Mi4 (= ∂fz / ∂D), Mi5 (= ∂fz / ∂). H) is calculated.
[0103]
(Equation 5)

Here, the equation (8) is obtained by adding the coordinates (xi, yi) (see FIG. 11) of the intersection 62b between the white line candidate line 62a and the upper end of the window i to (x, y) in the above equation (1). It is a substitution.
[0104]
Expression (8) is expressed as the following expression (9) by linearly approximating the right side thereof.
[0105]
xi = Mi1 · A + Mi2 · B + Mi3 · C + Mi4 · D + Mi5 · H (9)
Next, the road parameter estimation unit 63 stores the calculated values of Mi1 to Mi5 in the white line detection memory 68 as partial differential value information.
[0106]
Next, in step S23, the value of the control parameter i is increased by 1, and the value of the control parameter i is stored in the white line detection memory 68 as control parameter information.
[0107]
In step S24, the road parameter estimating unit 63 compares the value of the control parameter i with m.
[0108]
As a result, when the value of the control parameter i is greater than m, the road parameter estimating unit 63 performs the processing of step S25 and thereafter, and when the value of the control parameter i is equal to or less than m, the processing of step S22 and thereafter. repeat.
[0109]
Thus, the road parameter estimating unit 63 calculates Mi1 to Mi5 for all of the m windows 60a.
[0110]
Next, in step S25, the road parameter estimation unit 63 estimates the road parameters A, B, C, D, and H by Kalman filter processing.
[0111]
Here, the Kalman filter processing means that when the following equation (10) is given, the value of the parameter z can be estimated.
[0112]
yy = fw (z) (10)
Here, the value of the parameter yy and the structure of the function fw in the equation (10) are known, and yy is generally a vector.
[0113]
Specifically, the road parameter estimating unit 63 acquires partial differential value information on the values of M11 to Mm5 from the white line detection memory 68, and further acquires the following equation (11) based on the equation (9). I do.
[0114]
(Equation 6)

Next, the road parameter estimating unit 63 estimates the values of the road parameters A, B, C, D, and H by substituting the values of M11 to Mm5 into Expression (11).
[0115]
Next, the estimated values of the road parameters A, B, C, D, and H are stored as road parameter information in the white line detection memory 68, and the process returns to the main flow shown in FIG.
[0116]
Next, in step S30 shown in FIG. 4, the white line authenticity determination unit 7 shown in FIG. 1 determines whether the right white line candidate line 62c and the left white line candidate line 62a (see FIG. 5) are road white lines.
[0117]
Here, the method for determining whether the left white line candidate line 62a is a road white line is the same as the method for determining whether the right white line candidate line 62c is a road white line. A method for determining whether or not this is the case will be described.
[0118]
The white line authenticity determination unit 7 first determines whether or not the white line candidate line 62c and the delineator 104 are on the same side of the host vehicle 100 based on the distance measurement information given from the laser radar 4.
[0119]
As a result, when these are not present on the same side with respect to the host vehicle 100, there is no forward object around the white line candidate line 62c. It is determined as a road white line.
[0120]
On the other hand, when these are present on the same side with respect to the host vehicle 100 (in the case of this example), the white line authenticity determination unit 7 performs the following processing.
[0121]
That is, the white line authenticity determination unit 7 obtains white line candidate line information on the right white line candidate line 62c from the white line detection memory 68, and based on the white line candidate line information, obtains the distance L1 from the camera 2 to the white line candidate line 62c. (See FIG. 13).
[0122]
Next, the white line authenticity determination unit 7 compares the distance L1 with the distance L2 from the camera 2 to the delineator 104 based on the calculated distance L1 and the distance measurement information given from the laser radar 4.
[0123]
As a result, when the distance L1 is shorter than the distance L2, the white line authenticity determination unit 7 determines the right white line candidate line 62c as a road white line, and when the distance L1 is equal to or longer than the distance L2 (in the case of this example). ) Performs the following processing.
[0124]
That is, first, the white line authenticity determination unit 7 calculates a distance difference between the distance L1 and the distance L2.
[0125]
On the other hand, the white line authenticity determination unit 7 acquires height information on the value of the camera height H and the value of the radar height h from the white line detection memory 68, and calculates these values and the calculated distance L2 by the following equation ( The reference distance difference is calculated by substituting it into 12).
[0126]
(Reference distance difference) = L2 · h / (Hh) (12)
Next, the white line authenticity determination unit 7 compares the calculated distance difference with the reference distance difference.
[0127]
As a result, the white line authenticity determination unit 7 determines that the white line candidate line 62c is not a road white line when the distance difference is equal to or less than the reference distance difference, and determines that the white line candidate line 62c is not a white line when the distance difference is larger than the reference distance difference. It is determined that the candidate line 62c is a road white line.
[0128]
In the case of this example, the white line authenticity determination unit 7 determines that the right white line candidate line 62c is not a road white line, and determines that the left white line candidate line 62a is a road white line.
[0129]
Here, the reason why the determination is possible will be described.
[0130]
That is, as shown in FIG. 13, when the camera 2 captures an image of the delineator 104 in front of the host vehicle, the image acquired by the camera 2 is an image 104a of the delineator 104 (refer to FIG. 14, hereinafter, referred to as a “delineator image 104a”). ) Is projected on the back side of the road surface with respect to the own vehicle 100.
[0131]
On the other hand, the white line candidate line detection unit 62 detects a white line candidate line based on the image acquired by the camera 2 as described above.
[0132]
Therefore, when the white line candidate line detection unit 62 detects the delineator 104 detected by the laser radar 4 as a white line candidate line, the distance L1 calculated by the white line authenticity determination unit 7 is measured by the laser radar 4. Distance L2 or more.
[0133]
In addition, as shown in FIG. 13, when the laser radar 4 detects the delineator 104, the height of the delineator 104 is equal to or higher than the radar height h.
[0134]
Therefore, when the white line candidate line detection unit 62 detects the delineator 104 detected by the laser radar 4 as a white line candidate line, the distance difference between the distance L1 and the distance L2 is L2 · h / (Hh). Is represented by
[0135]
That is, the distance difference in this case is the above-described reference distance difference.
[0136]
Therefore, when the distance L1 is equal to or greater than the distance L2 and the distance difference between the distance L1 and the distance L2 is equal to or less than the reference distance difference, it can be said that the white line candidate line detection unit 62 has detected the delineator 104 as a white line candidate line. In other words, in this case, since the white line candidate line is not a road white line, the above-described determination can be performed.
[0137]
In this example, the white line candidate line detection unit 62 detects the delineator 104 as the right white line candidate line 62c for the above-described reason. That is, the white line image 105a shown in FIG. 5 is actually the delineator image 104a.
[0138]
Next, when there is a white line candidate line 62c that is not a road white line (NO in Step S30), the vehicular white line recognition device 1 performs the processing of Step S8 and subsequent steps shown in FIG.
[0139]
That is, in step S8, the window resetting unit 64 shown in FIG.
[0140]
Next, as shown in FIG. 14, the window resetting unit 64 sets m windows on this image in a region inside the lane with respect to the white line candidate line 62c (ie, the delineator image 104a) on the image other than the road white line. Set 60b.
[0141]
As a result, in this example, as shown in FIG. 14, a white line image (an image corresponding to the road white line 103 shown in FIG. 3) 103a is included in the window 60b.
[0142]
Next, the window resetting unit 64 creates window resetting information relating to the position and size of the window 60b and stores the information in the white line detection memory 68.
[0143]
Next, in step S9, the white line candidate point re-detection unit 65 initializes the value of the control parameter i to 1 and stores the value of the control parameter i in the white line detection memory 68 as control parameter information.
[0144]
Next, in step S10, the white line candidate point re-detection unit 65 acquires the window reset information on the i-th window 60b from the white line detection memory 68.
[0145]
Next, the white line candidate point re-detection unit 65 detects white line candidate points from the image in the i-th window 60b based on the window resetting information, as in step S4.
[0146]
Here, when detecting the white line candidate point, the reference change amount for detecting the white line candidate point is set to a value lower than the reference change amount used in the process of step S4.
[0147]
Next, the white line candidate point detection unit 61 creates white line candidate point re-detection information relating to the coordinates of the detected white line candidate points and stores the information in the white line detection memory 68.
[0148]
If no white line candidate point is detected, the processing from step S12 is performed.
[0149]
Next, in step S11, the white line candidate line re-detection unit 66 acquires the white line candidate point re-detection information from the white line detection memory 68, and based on the white line candidate point re-detection information, as in step S5, executes the white line candidate re-detection. The line 62d is detected (see FIG. 14).
[0150]
Next, the white line candidate line re-detection unit 66 creates white line candidate line re-detection information relating to the detected white line candidate line, and stores it in the white line detection memory 68.
[0151]
In step S12, the white line candidate line re-detection unit 66 increases the value of the control parameter i by 1, and stores the value of the control parameter i in the white line detection memory 68 as control parameter information.
[0152]
In step S13, the white line candidate line re-detection unit 66 compares the value of the control parameter i with m.
[0153]
As a result, if the value of the control parameter i is larger than m, it means that the white line candidate line re-detection processing has been completed for all of the m windows 60b. The processing after S40 is performed.
[0154]
On the other hand, when the value of the control parameter i is equal to or less than m, the vehicle white line recognition device 1 repeats the processing from step S10.
[0155]
In other words, the vehicle white line recognition device 1 performs the white line candidate line re-detection processing for all of the m windows 60b by repeatedly performing the processing of steps S10 to S13 described above.
[0156]
Thereby, the vehicle white line recognition device 1 detects the inner end of the road white line 103 as the white line candidate line 62d, as shown in FIG.
[0157]
Next, in step S40, the road parameter re-estimating unit 67 acquires white line candidate line re-detection information from the white line detection memory 68.
[0158]
Next, the road parameter re-estimating unit 67 re-estimates the values of the road parameters A, B, C, D, and H based on the white line candidate line re-detection information, similarly to steps S20 to S25 shown in FIG. I do.
[0159]
Next, the road parameter re-estimating unit 67 stores the values of the road parameters A, B, C, D, and H estimated again in the white line detection memory 68 as road parameter information.
[0160]
Next, the white line recognition device 1 for a vehicle repeats the processing from step S1. Note that the vehicle white line recognition device 1 repeats the processing after step S1 every 30 [msec], for example, while the vehicle is running.
[0161]
As described above, according to the present embodiment, the following effects can be obtained.
[0162]
That is, when the distance L1 calculated by the white line authenticity determination unit 7 is equal to or longer than the distance L2 measured by the laser radar 4, the white line authenticity determination unit 7 determines the reason described above (see the description of step S30). ), It is determined that the white line candidate line detected by the white line candidate line detection unit 62 is not a road white line.
[0163]
Thereby, the vehicle white line recognition device 1 can prevent the thing other than the road white line (for example, the roadside object such as the delineator 104) from being determined as the road white line.
[0164]
Therefore, the vehicle white line recognition device 1 can accurately distinguish the road white line from other objects ahead without using a high-accuracy radar device (an effect corresponding to the invention described in claim 1).
[0165]
Further, when the distance L1 is equal to or greater than the distance L2 and the distance difference between the distance L1 and the distance L2 is equal to or less than the reference distance difference, the white line candidate line 62a determines that the white line candidate line 62a is a road white line. Is not determined.
[0166]
Thereby, the vehicle white line recognition device 1 can use the laser radar to detect an object between the host vehicle and the road white line (for example, a two-wheeled vehicle running near the host vehicle) despite the fact that the road white line detected based on the image is correct. When the distance L1 is equal to or greater than the distance L2 and the distance difference between the distance L1 and the distance L2 is larger than the reference distance difference, as in the case where the white line candidate line 62a is detected, it is determined that the white line candidate line 62a is not a road white line. Can be prevented (an effect corresponding to the invention described in claim 2).
[0167]
Further, the reference distance difference is represented by Expression (12) as described above.
[0168]
Therefore, the vehicle white line recognition device 1 can more accurately determine whether the white line candidate line is a road white line for the reason described above (see the description of step S30) (the invention according to claim 3). Corresponding effect).
[0169]
Further, when it is determined that the white line candidate line is not a road white line, the white line detection unit 6 detects the white line candidate line again from an area inside the image on the inner side of the white line candidate line (step shown in FIG. 4). S10 to step S13).
[0170]
Therefore, even if it is determined that the white line candidate line is not a road white line, the vehicle white line recognition device 1 can detect a road white line from an area inside the white line candidate line (claim 4). Effects corresponding to the described invention).
[0171]
Further, in this case, the reference change amount of the luminance for detecting the white line candidate point is set to a value lower than the reference change amount in step S4 shown in FIG.
[0172]
Therefore, the vehicle white line recognition device 1 can more reliably detect the road white line even when the brightness of the road white line is low, such as when the road white line is dirty (claim). Effect corresponding to the invention described in Item 5).
[0173]
Further, after estimating the road parameters again, the vehicle white line recognition device 1 can set a window using the road parameters. Therefore, white line candidate points can be more reliably included in the window.
[0174]
In this embodiment, a laser radar is used as the distance measuring means, but a millimeter wave radar that emits an electromagnetic wave may be used.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a vehicle white line recognition device.
FIG. 2 is a schematic side sectional view showing an installation position of a camera and the like.
FIG. 3 is a schematic plan view showing a state in front of a host vehicle.
FIG. 4 is a flowchart showing a procedure of processing by the vehicle white line recognition device.
FIG. 5 is an explanatory diagram showing an example of an image acquired by a camera.
FIG. 6 is an explanatory diagram showing how a white line candidate point is detected.
FIG. 7 is an explanatory diagram showing how a white line candidate line is detected.
FIG. 8 is an explanatory diagram showing an array table regarding the relationship between the inclination a of the white line candidate line and the x-intercept b.
FIG. 9 is an explanatory diagram showing a connection table regarding the relationship between the inclination a of the white line candidate line and the x-intercept b.
FIG. 10 is an explanatory diagram showing a connection table relating to the relationship between the inclination a of the white line candidate line and the x-intercept b.
FIG. 11 is an explanatory diagram showing an intersection between a white line candidate line and an upper end portion of a window.
FIG. 12 is a flowchart showing a procedure for estimating a road parameter.
FIG. 13 is a schematic side sectional view showing a state in front of the host vehicle.
FIG. 14 is an explanatory diagram showing an example of an image acquired by a camera.
[Explanation of symbols]
1 White line recognition device for vehicles
2 Camera (photographing means)
4 laser radar (distance measuring means)
6. White line detection unit (white line detection means)
7 White line authenticity judgment unit (distance calculation means, judgment means)
60 Window setting section
61 White line candidate point detection unit
62 White line candidate line detection unit
63 Road Parameter Estimation Unit
64 Window resetting part
65 White line candidate point re-detection unit
66 White line candidate line re-detection unit
67 Road parameter re-estimator
68 White line detection memory

Claims (5)

A vehicle comprising: a photographing means for photographing an image in front of the own vehicle to acquire an image in front of the own vehicle; and a white line detecting means for detecting a white line candidate line on a traveling road based on the image acquired by the photographing means. White line recognition device,
A distance measuring unit that emits a detection wave in front of the own vehicle, detects a front object reflecting the detection wave, and measures a distance from the own vehicle to the front object,
Distance calculating means for calculating a distance from the host vehicle to a white line candidate line detected by the white line detecting means, based on the image obtained by the photographing means;
When the distance calculated by the distance calculating means is equal to or longer than the distance measured by the distance measuring means, the determining means determines that the white line candidate line is not a white line on a traveling road. Characteristic white line recognition device for vehicles. The vehicle white line recognition device according to claim 1,
The determining means, the distance calculated by the distance calculating means is greater than or equal to the distance measured by the distance measuring means,
When the distance difference between the distance calculated by the distance calculation means and the distance measured by the distance measurement means is equal to or less than a reference distance difference predetermined for the distance difference, the white line candidate line Is a vehicle white line recognizing device that determines that the vehicle is not a white line on a traveling road. The vehicle white line recognition device according to claim 2,
The reference distance difference is
When the height of the photographing means from the road surface is H, the height of the distance measuring means from the road surface is h, and the distance measured by the distance measuring means is L,
Lh / (Hh)
A white line recognition device for a vehicle, wherein the white line recognition device is calculated by the following equation. The vehicle white line recognition device according to any one of claims 1 to 3,
The white line detection means, when it is determined that the white line candidate line is not a white line on the traveling road, from the area inside the white line candidate line on the image, to detect the white line candidate line again, White line recognition device for vehicles. The vehicle white line recognition device according to claim 4,
The white line detection unit detects a portion where the luminance on the image changes by a predetermined reference change amount or more as the white line candidate line on the traveling road,
When detecting a white line candidate line from the area, the reference change amount is set to a value lower than the predetermined reference change amount.

Images