JP6879881B2 - 車両用白線認識装置 - Google Patents

Description

本発明は、車載カメラ等の撮像手段で撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。

近年、車両の安全性向上や利便性向上等を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この種の運転支援装置としては、例えば、車載カメラによって車外環境を撮像し、撮像した画像から、路面に敷設された白線や路面上の先行車等の立体物を認識し、これらの認識情報に基づいて、車速制御や操舵支援制御、さらには、自動運転等の各種運転支援制御を行うものが知られている。

このような運転支援装置に用いられる車両用白線認識装置として、例えば、特許文献１には、撮像画像上に設定された検索領域に対し、水平方向に延在する複数の検索ライン毎に、車幅方向内側から外側に向けて輝度変化を調べることにより、輝度が暗から明へと所定以上変化するエッジ点を白線候補点として検出し、検出した白線候補点群に対し最小二乗法等を用いて二次曲線等を算出することにより、白線を認識する技術が開示されている。

２０１２−２２５７４号公報

しかしながら、上述の特許文献１に開示された技術は、検索領域内に存在する検索ライン毎に１画素ずつ輝度の変化を検出する必要があるため、特に近年における撮像画像の高画素化に伴い、演算量が膨大となる傾向にある。

本発明は上記事情に鑑みてなされたもので、白線候補点の検出を効率的に行い、白線認識の処理時間を短縮することができる車両用白線認識装置を提供することを目的とする。

本発明の一態様による車両用白線認識装置は、自車前方の車外環境を撮像する撮像手段と、前記撮像手段で撮像した画像上に白線の検索領域を設定する検索領域設定手段と、前記検索領域内における検索ライン上の画素を第１のサンプリング間隔毎に抽出し、抽出した前記画素の輝度に基づいて輝度閾値を設定する輝度閾値設定手段と、前記検索領域内の前記検索ライン上における前記画素の輝度と前記輝度閾値とを、第２のサンプリング間隔毎に所定の検索方向に順次比較し、輝度が前記輝度閾値以上となる高輝度画素を検出する高輝度画素検出手段と、前記高輝度画素が検出されたとき、前記高輝度画素よりも前記第２のサンプリング間隔以上手前の前記画素を起点として前記検索方向に順次１画素ずつ輝度の変化を調べ、輝度が暗から明に急激に変化する前記画素を白線候補点として検出する白線候補点検出手段と、を備えたものである。

本発明の車両用白線認識装置によれば、白線候補点の検出を効率的に行い、白線認識の処理時間を短縮することができる。

車両用運転支援装置の概略構成図 車外環境を撮像した基準画像の一例を模式的に示す説明図 図２から検出される白線候補点を示す説明図 検索領域内のある検索ライン上における各画素の輝度を示す説明図 検索ライン上からサンプリングした輝度の分布を示すヒストグラム 検索領域内のある検索ライン上における各画素の輝度と輝度の微分値を示す説明図 実空間に投影される白線候補点を示す説明図 （ａ）は走行による自車の移動量を示す説明図であって（ｂ）は前フレームで検出した白線候補点の自車に対する相対的な移動量を示す説明図 白線候補点を用いて演算された白線近似線及び白線検索領域を示す説明図 白線認識ルーチンを示すフローチャート 白線開始点検索サブルーチンを示すフローチャート

以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係り、図１は車両用運転支援装置の概略構成図、図２は車外環境を撮像した基準画像の一例を模式的に示す説明図、図３は図２から検出される白線候補点を示す説明図、図４は検索領域内のある検索ライン上における各画素の輝度を示す説明図、図５は検索ライン上からサンプリングした輝度の分布を示すヒストグラム、図６は検索領域内のある検索ライン上における各画素の輝度と輝度の微分値を示す説明図、図７は実空間に投影される白線候補点を示す説明図、図８（ａ）は走行による自車の移動量を示す説明図であって（ｂ）は前フレームで検出した白線候補点の自車に対する相対的な移動量を示す説明図、図９は白線候補点を用いて演算された白線近似線及び白線検索領域を示す説明図、図１０は白線認識ルーチンを示すフローチャート、図１１は白線開始点検索サブルーチンを示すフローチャートである。

図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、撮像手段としてのステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して構成されている。なお、これらの構成のうち、本実施形態においては、主としてステレオカメラ３及びステレオ画像認識装置４により、自車前方の車外環境を認識する車外監視装置が構成されている。

また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。

ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称す。

ステレオ画像認識装置４は、撮像された基準画像及び比較画像に対し、例えば、以下に示す各種画像処理等を行う。すなわち、ステレオ画像認識装置は、先ず、基準画像から例えば４×４画素の小領域を順次抽出し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して既知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。

ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画するレーンマーカを総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の近似式（１次以上の直線或いは曲線近似式）によって近似して認識するものとする。

ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度良く白線を認識することは困難となる。そこで、ステレオ画像認識装置４は、上述のような距離画像に基づくパターンマッチングを用いた白線認識のみに頼ることなく、各種方式を用いた白線認識を行い、これらの認識結果を総合的に判断して最終的な白線を認識する。

このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図２に示す基準画像）上の水平方向の輝度変化に基づいて左右の白線認識を行う。

具体的に説明すると、例えば、図３に示すように、ステレオ画像認識装置４は、画像上に左右の白線検索領域Ａｄ（Ａｄｌ，Ａｄｒ）を設定し、各白線検索領域Ａｄ内で水平方向に延在する複数の画素列からなる検索ラインｌに対し、検索ラインｌ毎に車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、例えば、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値が＋側の設定閾値以上となる点（エッジ点）を検出する。そして、ステレオ画像認識装置４は、各白線検索領域Ａｄ内の各検索ラインｌ上において、輝度が暗から明に所定以上変化するエッジ点を白線候補点Ｐｄ（左側の白線候補点Ｐｄｌ、右側の白線候補点Ｐｄｒ）としてそれぞれ抽出し、実空間上に投影する（図７参照）。

そして、ステレオ画像認識装置４は、左右の白線候補点Ｐｄｌ，Ｐｄｒの各点列に基づき、左右の白線を表す白線近似線Ｌｌ，Ｌｒを求める（図９参照）。

ここで、上述のような白線認識において、白線候補点Ｐｄの検出を効率的に行うため、ステレオ画像認識装置４は、白線検索領域Ａｄ内における検索ラインｌ毎に以下の処理を行う。

すなわち、ステレオ画像認識装置４は、検索ラインｌ上の画素を第１のサンプリング間隔毎に抽出し、抽出した画素の輝度に基づき、当該検索ラインｌにおいて路面と白線とを分離するための輝度閾値Ｌｔｈを設定する。なお、第１のサンプリング間隔は、例えば、白線検索領域Ａｄ内における検索ラインｌの長さＷを、輝度閾値Ｌｔｈの算出に必要とされる設定サンプル数ｎで除算した値（Ｗ／ｎ）により与えられる。

そして、ステレオ画像認識装置４は、検索ラインｌ上における画素の輝度と輝度閾値Ｌｔｈとを第２のサンプリング間隔毎に所定の検索方向（例えば、車幅方向内側から外側）に向かって順次比較し、輝度が輝度閾値Ｌｔｈ以上となる高輝度画素を検出する。

そして、高輝度画素を検出すると、ステレオ画像認識装置４は、高輝度画素よりも第２のサンプリング間隔以上手前（検索方向と反対側）の画素を起点として、検索方向に順次１画素ずつ輝度の変化を調べ、輝度が暗から明に所定以上変化するエッジ点を白線開始点（白線候補点Ｐｄ）として検出する。このような検索は輝度が明から暗に所定以上変化するエッジ点を白線終了点として検出するまで行われ、白線終了点を検出すると、ステレオ画像認識装置４は、以後の検索ラインｌ上の画素について、第２のサンプリング間隔毎の検索を再開する。

このように、本実施形態において、ステレオ画像認識装置４は、検索領域設定手段、輝度閾値設定手段、間引き検索手段、及び、詳細検索手段としての各機能を実現する。

制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。

そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。

その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。

一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。

また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。

次に、上述のステレオ画像認識装置４において行われる白線認識処理について、図１０に示す白線認識ルーチンのフローチャートに従って説明する。

このルーチンは設定時間毎に繰り返し実行されるものであり、ルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、基準画像上に、左右の白線検索領域Ａｄｌ，Ａｄｒを設定する。これらの白線検索領域Ａｄｌ，Ａｄｒは、例えば、前フレームで認識した左右の白線近似線Ｌｌ，Ｌｒを、実空間上において車幅方向内側及び外側にそれぞれ予め設定されたオフセット量ΔＥずつオフセットさせることにより形成される領域を（図９参照）、基準画像上の座標に変換することにより設定されるものである。

続くステップＳ１０２において、ステレオ画像認識装置４は、各白線検索領域Ａｄｌ，Ａｄｒ内の全ての検索ラインｌについて白線開始点の検索処理が行われたか否かを調べる。

そして、ステップＳ１０２において、全ての検索ラインｌについて白線開始点の検索処理が行われたと判断した場合、ステレオ画像認識装置４は、ステップＳ１０５に進む。

一方、ステップＳ１０２において、全ての検索ラインｌについて白線開始点の検索処理が行われていないと判断した場合、ステレオ画像認識装置４は、ステップＳ１０３に進み、白線検索領域Ａｄｌ，Ａｄｒ内における未処理の新たな検索ラインｌを抽出する。

そして、ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、抽出した検索ラインｌに対し、白線開始点の検索処理を行う。

この白線開始点の検出は、例えば、図１１に示す白線開始点検索サブルーチンのフローチャートに従って実行されるものであり、サブルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ２０１において、エッジ検出用の輝度閾値Ｌｔｈを算出する。

この輝度閾値Ｌｔｈの算出に際し、ステレオ画像認識装置４は、先ず、検索ラインｌ上の画素の中から第１のサンプリング間隔毎の画素を抽出し（図４参照）、これら抽出した画素の輝度をヒストグラムに投票する（図５参照）。

次に、ステレオ画像認識装置４は、ヒストグラムへの投票結果に基づき、最も輝度が集中する輝度範囲のインデックス輝度Ｉｌを求める。すなわち、ステレオ画像認識装置４は、例えば、隣接する３つの階級の度数の和が最も大きいグループ（特定輝度範囲）を抽出し、抽出したグループの中心に位置する階級の度数をインデックス輝度Ｉｌとして設定する。図５に示す例では、度数４０−４７，４８−５６，５７−６４の階級の度数の和が最も大きいため、度数４８−５６がインデックス輝度Ｉｌとなる。

さらに、ステレオ画像認識装置４は、抽出したグループにおける和をヒストグラム上の度数の総和で除算することにより、当該グループにおける輝度の占有率Ｓを算出する。

そして、ステレオ画像認識装置４は、インデックス輝度Ｉｌと占有率Ｓとに基づき、以下の（１）式及び（２）式に基づいて輝度閾値Ｌｔｈを算出する。

オフセット量ΔＩ＝（占有率Ｓ）×（インデックス輝度Ｉｌ） …（１）

輝度閾値Ｌｔｈ＝（インデックス輝度Ｉｌ）＋（オフセット量ΔＩ） …（２）

なお、上述の占有率Ｓが所定の占有率（例えば、８割）を超える場合には、輝度閾値Ｌｔｈが最大輝度を超えるケースが想定されるため、ステレオ画像認識装置４は、インデックス輝度Ｉｌをそのまま輝度閾値Ｌｔｈとして設定する。

ステップＳ２０１からステップＳ２０２に進むと、ステレオ画像認識装置４は、現在抽出されている検索ラインｌ上の画素列の中の１画素を間引き検索用の画素として抽出する。具体的には、ステップＳ２０１からステップＳ２０２に進んだ場合、ステレオ画像認識装置４は、検索ラインｌ上において車幅方向の最も内側に位置する画素を抽出する。また、後述するステップＳ２０５或いはステップＳ２１１からステップＳ２０２に戻った場合、ステレオ画像認識装置４は、現在抽出されている画素よりも第２のサンプリング間隔だけ検索方向（車幅方向外側）に進んだ位置の画素を新たに抽出する。

ステップＳ２０２からステップＳ２０３に進むと、ステレオ画像認識装置４は、現在抽出されている画素の輝度と輝度閾値Ｌｔｈとを比較し、続くステップＳ２０４において、現在抽出されている画素の輝度が輝度閾値Ｌｔｈ以上の高輝度画素であるか否かを調べる。

そして、ステップＳ２０４において、現在抽出されている画素の輝度が輝度閾値Ｌｔｈ未満であり当該画素が高輝度画素ではないと判定した場合、ステレオ画像認識装置４は、ステップＳ２０５に進み、現在抽出されている画素が検索ラインｌ上の終端に位置する画素であるか否かを調べる。

そして、ステップＳ２０５において、現在抽出されている画素が検索ラインｌ上の終端に位置しないと判定した場合、ステレオ画像認識装置４は、ステップＳ２０２に戻る。これにより、例えば、図６に示すように、ステレオ画像認識装置４は、基本的には、高輝度画素が抽出されるまでの間、第２のサンプリング間隔毎の画素を順次抽出し、抽出した画素の輝度と輝度閾値Ｌｔｈとの比較を繰り返し行う。

一方、ステップＳ２０５において、現在抽出されている画素が検索ラインｌの終端に位置すると判定した場合、ステレオ画像認識装置４は、サブルーチンを抜ける。

また、ステップＳ２０４において、現在抽出されている画素が高輝度画素であると判定した場合、ステレオ画像認識装置４は、ステップＳ２０６に進み、詳細検索用の画素を抽出する。具体的には、ステップＳ２０４からステップＳ２０６に進んだ場合、ステレオ画像認識装置４は、現在抽出されている画素（高輝度画素と判定された間引き検索用の画素）よりも、検索ラインｌ上において第２のサンプリング間隔以上手前の画素を抽出する。また、後述するステップＳ２０９からステップＳ２０６に戻った場合、ステレオ画像認識装置４は、現在抽出されている画素に対して検索方向に隣接する画素を新たに抽出する。

ステップＳ２０６からステップＳ２０７に進むと、ステレオ画像認識装置４は、現在抽出されている画素についての輝度の微分値を算出し、続くステップＳ２０８において、現在抽出されている画素が、白線開始点、或いは、白線終了点であるか否かを判定する。すなわち、ステレオ画像認識装置４は、例えば、輝度の微分値が正側のピークとなる画素を検出したとき当該画素を白線開始点として判定し、輝度の微分値が負側のピークとなる画素を検出したとき当該画素を白線終了点として検出する。

ステップＳ２０８からステップＳ２０９に進むと、ステレオ画像認識装置４は、白線終了点が検出されているか否かを調べる。

そして、ステップＳ２０９において、白線終了点が検出されていないと判定した場合、ステレオ画像認識装置４は、ステップＳ２１０に進み、現在抽出されている画素が検索ラインｌの終端に位置する画素であるか否かを調べる。

そして、ステップＳ２１０において、現在抽出されている画素が検索ラインｌの終端に位置しないと判定した場合、ステレオ画像認識装置４は、ステップＳ２０６に戻る。これにより、例えば、図６に示すように、ステレオ画像認識装置４は、基本的には、白線終了点が検出されるまでの間、画素を１画素ずつ順次抽出し、抽出した画素の微分値に基づく白線開始点及び白線終了点の検出を高い分解能にて行う。

一方、ステップＳ２１０において、現在抽出されている画素が検索ラインｌの終端に位置すると判定した場合、ステレオ画像認識装置４は、サブルーチンを抜ける。

また、ステップＳ２０９において、白線終了点が検出されていると判定した場合、ステレオ画像認識装置４は、ステップＳ２１１に進み、現在抽出されている画素が検索ラインｌの終端に位置する画素であるか否かを調べる。

そして、ステップＳ２１１において、現在抽出されている画素が検索ラインｌの終端に位置しないと判定した場合、ステレオ画像認識装置４は、ステップＳ２０２に戻る。これにより、例えば、図６に示すように、ステレオ画像認識装置４は、基本的には、高輝度画素が再度抽出されるまでの間、第２のサンプリング間隔毎の画素を順次抽出し、抽出した画素の輝度が輝度閾値Ｌｔｈ以上であるか否かの判定を行う。

一方、ステップＳ２１１において、現在抽出されている画素が検索ラインｌの終端に位置すると判定した場合、ステレオ画像認識装置４は、サブルーチンを抜ける。

このような白線開始点検索サブルーチンが終了すると、ステレオ画像認識装置４は、図１０のメインルーチンにおいて、ステップＳ１０４からステップＳ１０２に戻る。

また、ステップＳ１０２からステップＳ１０５に進むと、ステレオ画像認識装置４は、各検索ラインｌで検出した白線開始点に基づき白線近似線を算出した後、ルーチンを抜ける。

この白線近似線の算出処理において、ステレオ画像認識装置４は、先ず、各検索ラインｌ上において検出された所定の白線開始点を白線候補点Ｐｄとして抽出する。すなわち、ステレオ画像認識装置４は、例えば、検索ラインｌ上に１の白線開始点が検出されている場合には当該白線開始点を白線候補点Ｐｄとして抽出し、同一の検索ラインｌ上に２以上の白線開始点が検出されている場合には最も車幅方向外側に位置する白線開始点を白線候補点Ｐｄとして抽出する。

また、ステレオ画像認識装置４は、前フレーム以前に検出した白線候補点Ｐoldを用いて自車両１の後方についても白線認識を行うべく、例えば、以下の処理を行う。

すなわち、ステレオ画像認識装置４は、例えば、図８（ａ）に示す関係から、自車１の車速Ｖと、ヨーレートγから求まるヨー角θとに基づき、撮像画像の１フレームあたり（撮像画像が１フレーム更新されるまでの間ｔ）の自車１の移動量Δｘ，Δｚを、以下の（３）式及び（４）式を用いて演算する。
Δｘ＝Ｖ×ｓｉｎθ …（３）
Δｚ＝Ｖ×ｃｏｓθ …（４）

そして、ステレオ画像認識装置４は、以下の（５）式及び（６）式に示すように、前フレーム以前に検出した白線候補点Ｐold（Ｘold，Ｙold）に対し、自車移動量Δｘ，Δｚを減算した後、現在のフレームにおける車両固定座標系（Ｘ，Ｚ）への座標変換を行うことにより、自車１の後方所定距離以内に存在する白線候補点Ｐpreの座標を演算する（図８（ｂ）参照）。
Ｘpre＝（Ｘold・Δｘ）×ｃｏｓθ−（Ｚold・Δｚ）×ｓｉｎθ …（５）
Ｚpre＝（Ｚold・Δｘ）×ｓｉｎθ＋（Ｚold・Δｚ）×ｃｏｓθ …（６）

そして、ステレオ画像認識装置４は、現フレームにおいて検出した白線候補点Ｐｄと、前フレーム以前の白線候補点Ｐoldを座標変換して求めた白線候補点Ｐpreと、からなる点列に基づき、左右の白線近似線Ｌｌ，Ｌｒを、最小二乗法を用いて、以下の（７）式及び（８）式に示す近似式で定義する（図９参照）。
Ｘｌ＝Ａｌ・Ｚ^２＋Ｂｌ・Ｚ＋Ｃｌ …（７）
Ｘｒ＝Ａｒ・Ｚ^２＋Ｂｒ・Ｚ＋Ｃｒ …（８）

なお、（７）、（８）式において、２次係数Ａ（Ａｌ，Ａｒ）は白線の曲率成分を示すパラメータであり、１次係数Ｂ（Ｂｌ，Ｂｒ）は車線ヨー角成分（自車１に対する白線の傾き成分）を示すパラメータであり、Ｃ（Ｃｌ，Ｃｒ）は車線位置（自車１に対する白線の横位置）を示すパラメータである。

このような実施形態によれば、白線検索領域Ａｄ内の検索ラインｌ上における画素の輝度と輝度閾値Ｌｔｈとを、予め設定した第２のサンプリング間隔毎に所定の検索方向に順次比較することにより、輝度が輝度閾値Ｌｔｈ以上となる高輝度画素を検出する間引き検索を行い、間引き検索によって高輝度画素が検出されたとき、高輝度画素よりも第２のサンプリング間隔以上手前に戻った画素を起点として検索方向に順次１画素ずつ輝度の変化を調べ、輝度が暗から明に急激に変化する画素を白線開始点として検出することにより、白線候補点の検出を効率的に行うことができ、白線認識の処理時間を短縮することができる。

すなわち、エッジ検出による白線開始点の検索を行うに際し、検索ラインｌ上における画素の輝度と輝度閾値Ｌｔｈとを第２のサンプリング間隔毎に比較し、輝度が輝度閾値Ｌｔｈ未満であれば輝度の微分値に基づくエッジ検出を行わないことにより、簡単且つ効率の良い検索により、白線に対応する高輝度画素を検出することができる。そして、路面と白線の輝度は滑らかに変化する性質があることを考慮し、高輝度画素を検出した際には、高輝度画素よりも第２のサンプリング間隔以上手前に戻った画素を起点として順次１画素ずつ輝度の変化を詳細に調べ、白線開始点を示すエッジ点の検出を行うことにより、白線開始点を精度良く検出することができる。

この場合において、路面や白線の輝度は天候や時間帯、陰等の影響によって変化することを考慮し、路面と白線とを切り分けるための輝度閾値Ｌｔｈを、一定の分解能（第１のサンプリング間隔毎）でサンプリングした輝度の分布に基づいて設定することにより、白線を示す高輝度画素を精度良く検出することができる。

特に、本実施形態のように、過去に認識した白線に基づいて白線検索領域Ａｄを設定した場合、白線検索領域Ａｄ内の検索ラインｌ上において白線を示す輝度は所定の輝度範囲に高い占有率にて集中するという知見に鑑み、抽出した画素の輝度の分布に基づいて最も輝度が集中する特定輝度範囲を求め、当該特定輝度範囲の輝度に基づいて輝度閾値Ｌｔｈを求めることにより、適切な輝度閾値Ｌｔｈを設定することができる。

加えて、上述のように輝度閾値Ｌｔｈを適切に設定し、所定のサンプリング間隔（第１のサンプリング間隔）毎に白線を示す高輝度画素の探索を行うことにより、水溜まり等を示す画素を白線を示す画素として誤検出することを格段に低減することができる。

なお、本発明は、以上説明した各実施形態に限定されることなく、種々の変形や変更が可能であり、それらも本発明の技術的範囲内である。

１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ（撮像手段）
４ … ステレオ画像認識装置（検索領域設定手段、輝度閾値設定手段、間引き検索手段、詳細検索手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
Ａｄ … 白線検索領域
Ｉｌ … インデックス輝度
Ｌｌ，Ｌｒ … 白線近似線
Ｌｔｈ … 輝度閾値
Ｐｄ（Ｐｄｌ，Ｐｄｒ） … 白線候補点
ｌ … 検索ライン

Claims (5)

1. 自車前方の車外環境を撮像する撮像手段と、
   前記撮像手段で撮像した画像上に白線の検索領域を設定する検索領域設定手段と、
   前記検索領域内における検索ライン上の画素を第１のサンプリング間隔毎に抽出し、抽出した前記画素の輝度に基づいて輝度閾値を設定する輝度閾値設定手段と、
   前記検索領域内の前記検索ライン上における前記画素の輝度と前記輝度閾値とを、第２のサンプリング間隔毎に所定の検索方向に順次比較し、輝度が前記輝度閾値以上となる高輝度画素を検出する間引き検索手段と、
   前記高輝度画素が検出されたとき、前記高輝度画素よりも前記第２のサンプリング間隔以上手前の前記画素を起点として前記検索方向に順次１画素ずつ輝度の変化を調べ、輝度が暗から明に急激に変化する前記画素を白線開始点として検出する詳細検索手段と、を備えたことを特徴とする車両用白線認識装置。
2. 前記第１のサンプリング間隔は、前記検索領域内における前記検索ラインの長さを、前記輝度閾値の算出に必要とされる設定サンプル数で除算した値であることを特徴とする請求項１に記載の車両用白線認識装置。
3. 前記詳細検索手段は、前記輝度が明から暗に急激に変化する白線終了点を検出するまで前記輝度の変化に基づく検索を行い、
   前記間引き検索手段は、前記詳細検索手段によって前記白線終了点が検出された後に、前記第２のサンプリング間隔毎の検索を再び開始することを特徴とする請求項１または請求項２に記載の車両用白線認識装置。
4. 前記輝度閾値設定手段は、抽出した前記画素の輝度の分布に基づいて最も輝度が集中する特定輝度範囲を求め、前記特定輝度範囲の中心の輝度であるインデックス輝度に基づいて、前記輝度閾値を設定することを特徴とする請求項１乃至請求項３の何れか１項に記載の車両用白線認識装置。
5. 前記輝度閾値設定手段は、前記特定輝度範囲の輝度が前記輝度の分布に占める占有率と前記インデックス輝度とを乗算したオフセット量を求め、前記インデックス輝度を前記オフセット量で補正することにより前記輝度閾値を算出することを特徴とする請求項４に記載の車両用白線認識装置。

Images