JP2022060079A - 車両の車線区画線認識装置 - Google Patents

Abstract

【課題】 路面に対する車両区画線の濃淡色を問わず好適に車両区画線の認識が行える車両の車線区画線認識装置の提供。【解決手段】 車両の車線区画線認識装置４は、自車走行環境を撮像した画像に設定された車線区画線の検出領域内での水平方向の輝度変化に基づいてエッジ点Ｐを検出するエッジ点検出手段と、エッジ点からなる点群の近似線Ｌｌ、Ｌｒを演算する近似線演算手段と、を備え、路面に対する輝度が高い標準エッジ候補点ＰＳを主に探索する第１のモードと、路面に対して輝度が低い逆エッジ候補点ＰＯを主に探索する第２のモードと、を有し、検出された逆エッジ候補点ＰＯの数によって、第１のモードと第２のモードを選択的に切り替える。【選択図】図６

Description

本発明は、車載カメラで撮像した画像に基づいて車線区画線を認識する車両の車線区画線認識装置に関する。

近年、ドライバの運転操作を支援する種々の運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像などに基づいて白線の認識が行われ、この車両区画線に基づいて自車走行レーンの推定などが行われる。

このような白線の認識技術に関して、例えば、特許文献１には、路面に投射された光の像の影響を排除して適切な白線認識を行うことができる車両用白線認識装置が開示されている。この従来の車両用白線認識装置は、探索ライン上において輝度が所定に変化するエッジ点を検出して、輝度が暗から明に変化するエッジ点を白線開始点として抽出すると共に、輝度が明から暗に変化するエッジ点を白線終了点として抽出して、白線認識を行っている。

特開２０１９-７９４７０号公報

ところで、日本国以外の他国においては、種々の配色の車線区画線が採用されている。例えば、米国においては、進行方向の白色破線間に黒色線が設けられた車線区画線が存在する。

しかしながら、従来の車線区画線の認識技術では、路面よりも淡色の車両区画線しか認識することができず、黒色などの路面よりも濃色の車両区画線の認識を行えないため、白線が擦れていたりすると、車両区画線の認識信頼度が低下し、操舵制御がキャンセルされてしまうという問題がある。さらに、路面よりも濃色の車両区画線のみの場合には、車両区画線の認識自体ができないという課題があった。

そこで、本発明は、上記事情を鑑みて、路面に対する車両区画線の濃淡色を問わず好適に車両区画線の認識が行える車両の車線区画線認識装置を提供することを目的としている。

本発明の一態様の車両の車線区画線認識装置は、自車走行環境を撮像した画像に設定された車線区画線の検出領域内での水平方向の輝度変化に基づいてエッジ点を検出するエッジ点検出手段と、前記エッジ点からなる点群の近似線を演算する近似線演算手段と、を備え、路面に対する輝度が高い標準エッジ候補点を主に探索する第１のモードと、前記路面に対して輝度が低い逆エッジ候補点を主に探索する第２のモードと、を有し、検出された前記逆エッジ候補点の数によって、前記第１のモードと前記第２のモードを選択的に切り替える。

本発明によれば、路面に対する車両区画線色の濃淡を問わず認識することができる車両の車線区画線認識装置を提供することができる。

車両用運転支援装置の概略構成図 車外環境の撮像画像の一例を模式的に示す説明図 モード別に設定されるセグメントを示し、画像から検出される区画線開始点による点群を示す説明図 奇数行の探索ラインの区画線開始点および終了点での輝度及び輝度の微分値の推移の一例を示す図 偶数行の探索ラインの区画線開始点および終了点での輝度及び輝度の微分値の推移の一例を示す図 標準エッジ探索モードにおける車両区画線の認識ルーチンを示すフローチャート 標準エッジ探索モードに設定される第１のセグメントを示し、画像から検出される区画線開始点による点群を示す説明図 逆エッジ探索モードにおける車両区画線の認識ルーチンを示すフローチャート 逆エッジ探索モードに設定される第２のセグメントを示し、画像から検出される区画線開始点による点群を示す説明図 逆エッジ候補点のキャンセル判定を示すフローチャート 車線区画線の近傍にタイヤ痕がある車外環境の撮像画像の一例を模式的に示す説明図 図１１の奇数行の探索ラインの車線区画線の輝度及び輝度の微分値の推移の一例を示す図表 図１１の偶数行の探索ラインの車線区画線の輝度及び輝度の微分値の推移の一例を示す図表 路面よりも淡色の車線区画線の縁に黒縁線などの濃色線がある車外環境の撮像画像の一例を模式的に示す説明図 図１４の車線区画線の輝度及び輝度の微分値の推移の一例を示す図表 カープールレーンなど、路面よりも淡色の車線区画線の中央に黒線などの濃色線がある車外環境の撮像画像の一例を模式的に示す説明図 図１６の車線区画線の輝度及び輝度の微分値の推移の一例を示す図表

以下、図面を参照して本発明の形態を説明する。

図１において、符号１は自動車などの車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５などを有して要部が構成されている。

また、車両１には、自車速を検出する車速センサ１１、ヨーレートを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ－ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角を検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）を検出するアクセル開度センサ１５などが設けられている。

ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤまたはＣＭＯＳ）などの固体撮像素子を用いた一対のカメラで構成されている。これら左右のカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。

なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。

ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。

さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジとして抽出するとともに、抽出した画素（エッジ）に距離情報を付与することで、距離情報を備えたエッジの分布画像（距離画像）を生成する。

そして、ステレオ画像認識装置４は、生成した距離画像に基づいて、自車前方の車線区画線ＬＬ，ＬＲ（図２参照）、ロードエッジ、側壁、立体物などを認識し、認識した各データに、それぞれ異なるＩＤを割り当て、これらをＩＤ毎にフレーム間で連続して監視する。

ここで、本実施形態において、車線区画線ＬＬ，ＬＲ（図２参照）とは、例えば、単線や車線区画線ＬＬ，ＬＲの内側に視線誘導線が併設された多重線（二重線など）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線などを問わず、さらに、路面よりも淡色の白線、黄色線など、または路面よりも濃色の黒線などの他、各色カラー線をも含むものである。

また、本実施形態の車線区画線ＬＬ，ＬＲの認識においては、道路上に実在の線が二重線などであっても、左右それぞれ単一の直線或いは曲線などに近似して認識するものとする。

このような車線区画線ＬＬ，ＬＲの認識に際し、ステレオ画像認識装置４は、前回までの処理に基づいて画像上に設定された区画線探索領域ＡＬ，ＡＲ内において、水平方向（車幅方向）に設定した複数の探索ラインＪｎ上での輝度変化に基づいて、探索ラインＪｎ毎に１点の区画線開始点Ｐを検出する（図３参照）。

すなわち、ステレオ画像認識装置４は、例えば、基準画像上に設定された左右の各区画線探索領域ＡＬ，ＡＲ内において、各探索ラインＳｎ上で車幅方向内側から外側に向けて各画素の輝度値の変化を調べることにより、区画線のエッジ点としての区画線開始点Ｐをそれぞれ検出する。

なお、ステレオ画像認識装置４は、車線区画線ＬＬ，ＬＲの認識時に、基準画像上にエッジ探索モード別に異なる所定領域の２つのセグメントＲ１，Ｒ２が設定されており、これら２つのセグメントＲ１，Ｒ２における探索ラインＪｎの所定のＪ行目において、逆エッジ候補点ＰＯまたは標準エッジ候補点ＰＳを交互に検出する。

これら２つのセグメントは、２つのエッジ探索モードのうち、後述する標準エッジ探索モードの際には、例えば、４～５セグメント（約１６～２０［ｍ］）の範囲の第１のセグメントＲ１が設定されている。

また、２つのエッジ探索モードのうち、後述する逆エッジ探索モードの際には、例えば、２～１２セグメント（約８～４８［ｍ］）の範囲の第１のセグメントＲ１よりも広範囲の第２のセグメントＲ２が設定されている。なお、ここでの第２のセグメントＲ２は、車線区画線ＬＬ，ＬＲのエッジ候補点を検出する基準画像上の全領域である。

また、ステレオ画像認識装置４は、左右の各区画線探索領域ＡＬ，ＡＲにおいて認識した区画線開始点Ｐからなる各点群の近似線を演算する。さらに、ステレオ画像認識装置４は、演算した車線区画線ＬＬ，ＬＲに基づいて、次フレームでの車線区画線ＬＬ，ＬＲの認識に用いられる区画線探索領域ＡＬ，ＡＲを新たに設定する。

なお、左右の各区画線探索領域ＡＬ，ＡＲは、ステレオカメラ３によるステレオ画像の画像データのうち、前方の２～１２セグメント（約８～４８［ｍ］）の範囲に設定される。すなわち、車線区画線ＬＬ，ＬＲのエッジ候補点を検出する範囲は、車両１の前方から約８～４８［ｍ］の範囲における左右の各区画線探索領域ＡＬ，ＡＲの領域内で実行される。

このように、本実施形態において、ステレオ画像認識装置４は、車両（自車両１）の車線区画線認識装置としての機能を有し、エッジ点検出（探索）手段、近似線演算手段、区画線探索手段、区画線演算手段および検出領域設定手段としての各機能を実現する。

制御ユニット５には、ステレオ画像認識装置４で認識された車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、車両１の走行情報として、車速センサ１１からの車速、ヨーレートセンサ１２からのヨーレートなどが入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角、アクセル開度センサ１５からのアクセル開度などが入力される。

そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に、追従対象の先行車が走行しているか否かを識別する。

その結果、追従対象の先行車が検出されない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に車両１の車速を維持させる定速走行制御を実行する。

一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。

この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。

また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の車線区画線に基づいて警報判定用ラインを設定するとともに、車両１の車速とヨーレートとに基づいて自車進行経路を推定する。

そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０～１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。

さらに、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線中央維持（ＡＬＫＣ：Ａｃｔｉｖｅ Ｌａｎｅ Ｋｅｅｐ Ｃｅｎｔｅｒｉｎｇ）機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の車線区画線ＬＬ，ＬＲの中央に自車目標進行路を設定する。そして、制御ユニット５は、車両１を自車目標進行路に沿った走行制御を行う。

ここで、車線区画線ＬＬ，ＬＲを検出して認識する際に、ステレオ画像認識装置４が実行する内容について説明する。

先ず、ステレオ画像認識装置４は、前フレームで設定された左右の区画線探索領域ＡＬ，ＡＲを読み込む。そして、ステレオ画像認識装置４は、車両区画線ＬＬ，ＬＲが路面よりも淡色（白色、黄色など）上の例えば、探索ラインＪｎ１（図２参照）におけるエッジ検出の際、例えば、基準画像上における画像中心線（或いは、舵角などから推定される自車進行方向）を基準とする車幅方向内側から外側に向けて、左右の区画線探索領域ＡＬ，ＡＲ内において区画線開始点Ｐの検出を行う。

具体的には、ステレオ画像認識装置４は、探索ラインＰｎ１上の車幅方向内側から外側への探索において、図４に示すように、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の予め設定された閾値（輝度閾値）以上となる最初の点を正エッジ点としての標準エッジ候補点ＰＳとして検出し、当該エッジ点ＰＳを区画線開始点Ｐとして認識する。

このような処理により、例えば、認識対象となる車線区画線ＬＬ，ＬＲが路面よりも白色線、黄色線などの淡色のラインを認識する。すなわち、ステレオ画像認識装置４は、輝度の微分値がプラス側の設定閾値以上でない場合、車線区画線ＬＬ，ＬＲの標準エッジ候補点ＰＳの対象外として、区画線開始点Ｐの認識外とする。

なお、ステレオ画像認識装置４は、輝度の微分値がプラス側となるエッジ始点の標準エッジ候補点ＰＳと、輝度の微分値がマイナス側となるエッジ終点との離間距離Ｌｈが予め設定された所定の距離（ライン幅閾値）、例えば、７［ｃｍ］以下の場合には、車線区画線ＬＬ，ＬＲの認識を除外する。

また、ステレオ画像認識装置４は、車両区画線ＬＬ，ＬＲが路面よりも濃色（黒色など）上の例えば、探索ラインＪｎ２（図２参照）におけるエッジ検出の際、車幅方向内側から外側への探索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の予め設定された閾値（輝度閾値）以下となる最初の点を負エッジ点としての逆エッジの候補点ＰＯとして検出し、当該エッジ点ＰＯを区画線開始点Ｐとして認識する。

このような処理により、例えば、認識対象となる車線区画線ＬＬ，ＬＲが路面よりも黒線などの濃色のラインを認識する。すなわち、ステレオ画像認識装置４は、輝度の微分値がマイナス側の設定閾値以下でない場合、車線区画線ＬＬ，ＬＲの逆エッジ候補点ＰＯの対象外として、区画線開始点Ｐの認識外とする。

さらに、ステレオ画像認識装置４は、輝度の微分値がマイナス側となるエッジ始点の標準エッジ候補点ＰＯと、輝度の微分値がマイナス側となるエッジ終点との離間距離Ｌｂが予め設定された所定の距離（ライン幅閾値）、例えば、７［ｃｍ］以下の場合には、車線区画線ＬＬ，ＬＲの認識を除外する。

そして、ステレオ画像認識装置４は、標準エッジ候補点ＰＳおよび逆のエッジ候補点ＰＯの複数の区画線開始点Ｐの点群を統合し、選定した点群に基づいて車線区画線演算を行う。ステレオ画像認識装置４は、車線区画線演算によって、例えば、選定された点群についてのハフ変換による近似線を車線区画線ＬＬ，ＬＲを表す近似線Ｌｌ，Ｌｒとして認識する。

そして、ステレオ画像認識装置４は、演算した車線区画線ＬＬ，ＬＲ（近似線Ｌｌ，Ｌｒ）に基づいて、次フレームで用いる区画線探索領域ＡＬ，ＡＲを設定して、同様に、次のフレームについて車線区画線ＬＬ，ＬＲを検出する。

このように、ステレオ画像認識装置４は、白色線、黄色線などの淡色のラインの車線区画線ＬＬ，ＬＲの検出と、黒色線などの濃色のラインの車線区画線ＬＬ，ＬＲの検出と、をモード別に第１のセグメントＲ１または第２のセグメントＲ２の複数の探索ラインＪｎを交互に実行する。

ここで、上述のステレオ画像認識装置４による車線区画線ＬＬ，ＬＲの認識について、標準エッジ探索モード時の制御ルーチンを図６のフローチャートに従って説明する。なお、このルーチンは、標準エッジ探索モードが選択されているとき、新たな画像が撮像される毎に繰り返し実行されるものである。

標準エッジ探索モード時のステレオ画像認識装置４は、先ず、全ての探索ラインＪｎの探索を実行したか否かの判定を行う（Ｓ１）。次に、ステレオ画像認識装置４は、探索ラインＪｎを選択する（Ｓ２）。

なお、ステレオ画像認識装置４は、標準エッジ探索モード開始時は、車両１の近傍の１行目の探索ラインＪ１（図７参照）を選択する。このステップＳ２において、ステレオ画像認識装置４は、Ｊ行目の探索ラインＪｎのエッジ候補点の探索後のルーチンでは近傍側から遠方側に順に次の探索ラインＪｎ+１を選択するものである。

すなわち、この探索ラインＪｎの選択は、例えば、各区画線探索領域ＡＬ，ＡＲ内に存在する一対の探索ラインＪｎ（水平方向に延在する探索ライン）を画像上の下側から順次選択するものであり、ステレオ画像認識装置４は、前回候補点検出を行った各探索ラインＪｎよりも１つ上の探索ラインＪｎ+１をそれぞれ選択する。

次に、ステレオ画像認識装置４は、現在選択されている探索ラインＪｎが画像上に設定された第１のセグメントＲ１の領域に存在するか否かを判定する（Ｓ３）。第１のセグメントＲ１の領域にある探索ラインＪｎを選択している場合、ステレオ画像認識装置４は、探索ラインＪｎが偶数行であるか否かを判定する（Ｓ４）。

このステップＳ４において、ステレオ画像認識装置４は、第１のセグメントＲ１の領域の探索ラインＪｎが偶数行目である、例えば、図７に示す、探索ラインＪ１４，Ｊ１６，Ｊ１８であった場合には、逆エッジ候補点ＰＯを検出する（Ｓ５）。なお、ここでの第１のセグメントＲ１内の偶数行の探索ラインＪｎの数は、一例である。

この逆エッジ候補点ＰＯの検出は、上記したように、マイナス側の輝度の微分値が閾値以下の逆エッジ候補点ＰＯを、黒色線などの路面に対する濃色ラインの車線区画線ＬＬ，ＬＲの区画線開始点Ｐとして認識する。

一方、ステレオ画像認識装置４は、ステップＳ３において、第１のセグメントＲ１の領域の探索ラインＪｎが偶数行目ではない奇数行目である、例えば、図７に示す、探索ラインＪ１３，Ｊ１５，Ｊ１７であった場合には、標準エッジ候補点ＰＳを検出し（Ｓ６）、ルーチンを抜けて、ステップＳ１に戻る。なお、ここでの第１のセグメントＲ１内の奇数行の探索ラインＪｎの数は、一例である。

標準エッジ候補点ＰＳの検出は、上記したように、プラス側の輝度の微分値が閾値以上の標準エッジ候補点ＰＳを、白色線、黄色線などの路面に対する淡色ラインの車線区画線ＬＬ，ＬＲの区画線開始点Ｐとして認識する。

次に、ステレオ画像認識装置４は、逆エッジ候補点ＰＯが検出されたか否かを判定し（Ｓ７）、逆エッジ候補点ＰＯが検出された場合、後述のサブルーチンである逆エッジ候補点ＰＯのキャンセル判定を実行する（Ｓ８）。なお、ステレオ画像認識装置４は、逆エッジ候補点ＰＯが検出されなかった場合、ルーチンを抜けて、ステップＳ１に戻る。

ステレオ画像認識装置４は、ステップＳ８において、逆エッジ候補点ＰＯを認識した場合、逆エッジ候補点ＰＯをカウントし、逆エッジ候補点ＰＯをキャンセルした場合、逆エッジ候補点ＰＯをカウントしない処理を実行し（Ｓ９）、ルーチンを抜けて、ステップＳ１に戻る。

ステレオ画像認識装置４は、ステップＳ１の判定により、全ての探索ラインＪｎの探索を行ったあと、ステップＳ９でカウントされた逆エッジ候補点ＰＯの数が予め決められた第１の設定数以上であるか否かを判定する（Ｓ１０）。

ステレオ画像認識装置４は、逆エッジ候補点ＰＯの数が第１の設定数以上であると判定した場合、カウンタＣをインクリメント（Ｃ←Ｃ＋１）し（Ｓ１１）、カウンタＣが予め設定されたカウンタ閾値の第１の閾値Ｃｔｈ１以上であるか否かを判定する（Ｓ１２）。

ステレオ画像認識装置４は、カウンタＣが第１の閾値以上であると判定した場合、車線区画線ＬＬ，ＬＲの認識モードを逆エッジ探索モードに切り替え（Ｓ１３）、検出した区画線開始点Ｐに基づいて、近似線Ｌｌ，Ｌｒを算出し（Ｓ１４）、算出した近似線Ｌｌ，Ｌｒに基づいて、次フレームの区画線探索領域ＡＬ，ＡＲを設定し（Ｓ１５）、ルーチンを抜けて、ステップＳ１に戻る。

なお、ステレオ画像認識装置４は、カウンタＣが第１の閾値Ｃｔｈ１未満であると判定した場合、ステップＳ１４の近似線Ｌｌ，Ｌｒを算出し、ステップＳ１５の区画線探索領域ＡＬ，ＡＲを設定して、ルーチンを抜けて、ステップＳ１に戻る。

次に、ステレオ画像認識装置４による車線区画線ＬＬ，ＬＲの認識について、逆エッジ探索モード時の制御ルーチンを図８のフローチャートに従って説明する。なお、このルーチンは、逆エッジ探索モードが選択されているとき、新たな画像が撮像される毎に繰り返し実行されるものである。

逆エッジ探索モード時のステレオ画像認識装置４は、標準エッジ探索モードと同様に、全ての探索ラインＪｎの探索を実行したか否かの判定を行い（Ｓ２１）、探索ラインＪｎを選択する（Ｓ２２）。

なお、ステレオ画像認識装置４は、逆エッジ探索モード開始時においても、車両１の近傍の１行目の探索ラインＪ１（図９参照）を選択し、前回候補点検出を行った各探索ラインＪｎよりも１つ上の探索ラインＪｎ+１をそれぞれ選択する。

次に、ステレオ画像認識装置４は、現在選択されている探索ラインＪｎが画像上に設定された第２のセグメントＲ２の領域に存在するか否かを判定する（Ｓ２３）。第２のセグメントＲ２の領域にある探索ラインＪｎを選択している場合、ステレオ画像認識装置４は、探索ラインＪｎが偶数行であるか否かを判定する（Ｓ２４）。

このステップＳ２４において、ステレオ画像認識装置４は、第２のセグメントＲ２の領域の探索ラインＪｎが偶数行目である、例えば、図９に示す、探索ラインＪ２，Ｊ４・・・Ｊ１４，Ｊ１６，Ｊ１８・・・Ｊ２８であった場合には、逆エッジ候補点ＰＯを検出する（Ｓ２５）。なお、ここでの第２のセグメントＲ２内の偶数行の探索ラインＪｎの数は、一例である。

この逆エッジ候補点ＰＯの検出は、上記したように、マイナス側の輝度の微分値が閾値以下の逆エッジ候補点ＰＯを、黒色線などの路面に対する濃色ラインの車線区画線ＬＬ，ＬＲの区画線開始点Ｐとして認識する。

一方、ステレオ画像認識装置４は、第２のセグメントＲ２の領域の探索ラインＪｎが偶数行目ではない奇数行目である、例えば、図９に示す、探索ラインＪ１，Ｊ３・・・Ｊ１３，Ｊ１５，Ｊ１７・・・Ｊ２７であった場合には、標準エッジ候補点ＰＳを検出し（Ｓ２６）、ルーチンを抜けて、ステップＳ２１に戻る。なお、ここでの第２のセグメントＲ２内の奇数行の探索ラインＪｎの数は、一例である。

この標準エッジ候補点ＰＳの検出は、上記したように、プラス側の輝度の微分値が閾値以上の標準エッジ候補点ＰＳを、白色線、黄色線などの路面に対する淡色ラインの車線区画線ＬＬ，ＬＲの区画線開始点Ｐとして認識する。

次に、ステレオ画像認識装置４は、逆エッジ候補点ＰＯが検出されたか否かを判定し（Ｓ２７）、逆エッジ候補点ＰＯが検出された場合、後述のサブルーチンである逆エッジ候補点ＰＯのキャンセル判定を実行する（Ｓ２８）。なお、ステレオ画像認識装置４は、逆エッジ候補点ＰＯが検出されなかった場合、ルーチンを抜けて、ステップＳ２１に戻る。

ステレオ画像認識装置４は、ステップＳ２８において、逆エッジ候補点ＰＯを認識した場合、逆エッジ候補点ＰＯをカウントし、逆エッジ候補点ＰＯをキャンセルした場合、逆エッジ候補点ＰＯをカウントしない処理を実行し（Ｓ２９）、ルーチンを抜けて、ステップＳ２１に戻る。

ステレオ画像認識装置４は、ステップＳ２１の判定により、全ての探索ラインＪｎの探索を行った後、ステップＳ２９でカウントされた逆エッジ候補点ＰＯの数が予め決められた第２の設定数以下であるか否かを判定する（Ｓ３０）。

ステレオ画像認識装置４は、逆エッジ候補点ＰＯの数が第２の設定数以下であると判定した場合、カウンタＣをデクリメント（Ｃ←Ｃ－１）し（Ｓ３１）、カウンタＣが予め設定されたカウンタ閾値の第２の閾値Ｃｔｈ２以下であるか否かを判定する（Ｓ３２）。

ステレオ画像認識装置４は、カウンタＣが第２の閾値Ｃｔｈ２以下であると判定した場合、車線区画線ＬＬ，ＬＲの認識モードを標準エッジ探索モードに切り替え（Ｓ３３）、検出した区画線開始点Ｐに基づいて、近似線Ｌｌ，Ｌｒを算出し（Ｓ３４）、算出した近似線Ｌｌ，Ｌｒに基づいて、次フレームの区画線探索領域ＡＬ，ＡＲを設定し（Ｓ３５）、ルーチンを抜けて、ステップＳ２１に戻る。

なお、ステレオ画像認識装置４は、カウンタＣが第２の閾値Ｃｔｈ２より大きい（多い）と判定した場合、ステップＳ３４の近似線Ｌｌ，Ｌｒを算出し、ステップＳ３５の区画線探索領域ＡＬ，ＡＲを設定して、ルーチンを抜けて、ステップＳ２１に戻る。

続いて、ステレオ画像認識装置４による、標準エッジ探索モードのステップＳ８または逆エッジ探索モードのステップＳ２８に実行するサブルーチンの逆エッジ候補点のキャンセル判定の制御例について、図１０のフローチャートに従って説明する。なお、このサブルーチンは、上記したように、探索ラインＪｎが偶数行であるときのみ実行され、奇数行の標準エッジ候補点ＰＳの探索時には実行されない制御である。

ステレオ画像認識装置４は、逆エッジ候補点のキャンセル判定において、先ず、検出した逆エッジ候補点ＰＯがマイナス側の輝度の微分値が規定値以下であるか否かを判定する（Ｓ４１）。

ステレオ画像認識装置４は、検出した逆エッジ候補点ＰＯがマイナス側の輝度の微分値が規定値（輝度閾値）以下の場合、ステップＳ４８に移行し、逆エッジ候補点ＰＯと認識を除外（キャンセル）する。従って、ステレオ画像認識装置４は、標準エッジ探索モードのステップＳ９および逆エッジ探索モードのステップＳ２９の処理において、逆エッジ候補点ＰＯのカウントを実行しない。

ここでの逆エッジ候補点ＰＯとカウントしない場面として、例えば、図１１に示すように、車線区画線ＬＬ，ＬＲの近傍にタイヤ痕ＴＭがあり、このタイヤ痕ＴＭが区画線探索領域ＡＬ，ＡＲに検出された状態である。ここでは、タイヤ痕ＴＭを例示しているが、路面上の汚れ、シミなど路面よりも濃色の全ての検出物を含むものである。

例えば、白色線、黄色線などの路面に対する淡色ラインの車線区画線ＬＬ，ＬＲ上の探索ラインＪｎ１が偶数行である場合に、タイヤ痕ＴＭの逆エッジ点の開始点ＰＯ１が検出される。この開始点ＰＯ１の輝度の微分値が規定値以下のプラス側の値であるため、ステレオ画像認識装置４は、逆エッジ候補点ＰＯとしての認識を除外（キャンセル）する（Ｓ４８）。これにより、タイヤ痕ＴＭなど車線区画線ＬＬ，ＬＲではない路面よりも濃色の全ての検出物が除外される。

さらに、ステレオ画像認識装置４は、検出した逆エッジ点の開始点ＰＯ１がマイナス側の輝度の微分値が規定値（輝度閾値）以下でない場合、逆エッジ候補点ＰＯの平均輝度と逆エッジ点の終了点の直後の輝度値の差が小さいか否かを判定する（Ｓ４２）。

ステップＳ４２において、逆エッジ候補点ＰＯの平均輝度と逆エッジの終了点の直後の輝度値の差が小さい場合、ステレオ画像認識装置４は、ステップＳ４８に移行し、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯと認識を除外（キャンセル）する。

ここでの逆エッジ候補点ＰＯと認識しない場面として、例えば、図１１に示すように、黒色線などの路面に対する濃色ラインの車線区画線ＬＬ，ＬＲ上の探索ラインＪｎ２が偶数行である場合に、図１３に示すように、タイヤ痕ＴＭと、ここでは車線区画線ＬＬの複数、２つの逆エッジ点ＰＯ１，ＰＯ２が検出される。

ここでも、タイヤ痕ＴＭの逆エッジ点の開始点ＰＯ１の輝度の微分値が規定値よりもプラス側の値であるため、ステレオ画像認識装置４は、ステップＳ４８に移行し、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯの認識から除外（キャンセル）する。

一方、図１０のステップＳ４２において、逆エッジ候補点ＰＯの平均輝度と終了点となるプラス側のエッジ点の直後の輝度値の差が小さくない（大きい）場合、ステレオ画像認識装置４は、逆エッジ点の開始点ＰＯ１の直前の輝度（路面輝度）と、逆エッジ点の終了点ＰＳ１の直後の輝度の差が大きいか否かを判定する（Ｓ４３）。 ここでは、例えば、図１４に示すように、白色線の両側に濃色ラインである黒縁線ＢＥがある車線区画線ＬＬ，ＬＲの場合、路面の輝度と、車線区画線ＬＬ，ＬＲの輝度が違うため、逆エッジ点の開始点ＰＯ１の輝度値と逆エッジ点の終了点ＰＳ１での輝度値の差が大きくなる。

そのため、ステレオ画像認識装置４は、逆エッジ点の開始点ＰＯ１と逆エッジ点の終了点ＰＳ１の輝度値の差が大きい場合、ステップＳ４８に移行し、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯの認識から除外（キャンセル）する。

ステレオ画像認識装置４は、逆エッジ開始点の逆エッジ点の開始点ＰＯ１と、逆エッジ点の終了点ＰＳ１の輝度値の差が大きくない（小さい）場合、逆エッジ点の開始点ＰＯ１と逆エッジ点の終了点ＰＳ１の離間距離が予め設定された所定の規定値（ライン幅Ｌｂ）、例えば、７［ｃｍ］以下であるか否かを判定する（Ｓ４４）。

ステレオ画像認識装置４は、図１０のステップＳ４４の判定において、逆エッジ点の開始点ＰＯ１と逆エッジ点の終了点ＰＳ１の離間距離が予め設定された所定の規定値以下である場合、ステップＳ４８に移行し、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯの認識から除外（キャンセル）する。これにより、車線区画線ＬＬ，ＬＲではない細いライン幅Ｌｂの黒縁線ＢＥなどが除外される。

すなわち、ステレオ画像認識装置４は、図１０のステップＳ４３の判定において、逆エッジ点の開始点ＰＯ１直前の輝度と、逆エッジ点の終了点ＰＳ１直後の輝度の差が大きい場合、またはステップＳ４４の判定において逆エッジ点の開始点ＰＯ１と逆エッジ点の終了点ＰＳ１との離間距離（ライン幅）が規定値よりも短い（細い）場合、両側に黒縁線ＢＥがある車線区画線ＬＬ，ＬＲと認識する。

一方、ステレオ画像認識装置４は、図１０のステップＳ４４の判定において、ステップＳ４３の判定において、逆エッジ点の開始点ＰＯ１と逆エッジ点の終了点ＰＳ１の離間距離が予め設定された所定の規定値より大きい（長い）場合、逆エッジ点の開始点ＰＯ１の直前の輝度と、逆エッジ点の終了点ＰＳ２の直後の輝度の差が所定に小さいか否かを判定する（Ｓ４５）。

ステレオ画像認識装置４は、逆エッジ点の開始点ＰＯ１の直前の輝度と、逆エッジ点の終了点ＰＳ２の直後の輝度の輝度差が所定に小さくない（大きい）場合、ステップＳ４９に移行し、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯと認識する。

一方、ステレオ画像認識装置４は、図１０のステップＳ４５の判定において、逆エッジ点の最開始点ＰＯ１の直前の輝度と、逆エッジ点の最終了点ＰＳ２の直後の輝度の輝度差が所定に小さい場合、逆エッジ点の開始点ＰＯ１の直前の輝度および逆エッジ点の終了点ＰＳ２の直後の輝度が共に路面輝度と比較して所定の規定値（輝度差閾値）以上の輝度差で大きいか否かを判定する（Ｓ４６）。

図１０のステップＳ４６の判定において、逆エッジ点の開始点ＰＯ１の直前の輝度および逆エッジ点の終了点ＰＳ２の直後の輝度が共に路面輝度と比較して所定の規定値以上の輝度差で大きい場合、ステレオ画像認識装置４は、ステップＳ４８に移行し、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯの認識を除外（キャンセル）する。

図１０のステップＳ４６の判定において、逆エッジ点の開始点ＰＯ１の直前の輝度および逆エッジ点の終了点ＰＳ２の直後の輝度が共に路面輝度と比較して所定の規定値以上の輝度差で大きくない（小さい）場合、ステレオ画像認識装置４は、逆エッジ点の開始点ＰＯ１と逆エッジ点の終了点ＰＳ２の離間距離が所定の規定値以上であるか否かを判定する（Ｓ４７）。

ステレオ画像認識装置４は、図１０のステップＳ４７の判定において、逆エッジ点の開始点ＰＯ１と逆エッジ点の終了点ＰＳ２の離間距離が所定の規定値以上である場合、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯの認識を除外（キャンセル）する（Ｓ４８）。一方、ステレオ画像認識装置４は、図１０のステップＳ４７の判定において、逆エッジ点の開始点ＰＯ１と逆エッジ点の終了点ＰＳ２の離間距離が所定の規定値以上でない場合、ステップＳ４９に移行し、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯと認識する。

なお、ステップＳ４５～４７のルーチンは、例えば、図１６に示すように、カープール（Ｃａｒｐｏｏｌ）車線を区画する車線区画線ＬＬ，ＬＲにみられるように、白線中央に黒線ＢＬなどが設けられている場合において、この黒線ＢＬを車線区画線ＬＬ，ＬＲと認識しないようにするために行われる。

このような場面において、ステレオ画像認識装置４は、逆エッジの開始点ＰＯ１直前の輝度と、逆エッジ点の終了点ＰＳ２直後の輝度の差が小さく、且つ、これらの輝度が路面輝度と比較して規定値以上差が大きい場合、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯと認識しないで、カープール（Ｃａｒｐｏｏｌ）車線の中央の黒線ＢＬとして認識する。

または、ステレオ画像認識装置４は、白線中央に黒線ＢＬなどが設けられている車線区画線ＬＬ，ＬＲにおいて、図１７に示すように、エッジ点ＰＳ１が終了点となり、エッジ点ＰＯ２が終了点となっており、最初の逆エッジ点の開始点ＰＯ１と途中にある逆エッジ点の終了点ＰＳ２の離間距離（ライン幅Ｌｂ）が所定の規定値以上あれば、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯと認識しないでカープール（Ｃａｒｐｏｏｌ）車線の中央の黒線ＢＬとして認識する。

これにより、カープール（Ｃａｒｐｏｏｌ）車線などの白線中央の黒線ＢＬが車線区画線ＬＬ，ＬＲに誤認識されることが防止される。なお、ステレオ画像認識装置４は、白線中央に黒線ＢＬなどが設けられている車線区画線ＬＬ，ＬＲの場合、先ず、ステップＳ４１において、途中の逆エッジ点の開始点ＰＯ１と逆エッジ点の終了点ＰＳ２の離間距離が所定の規定値未満であると、逆エッジ点の開始点ＰＯ１を逆エッジ候補点ＰＯと認識しない判定を行う。

このように、ステレオ画像認識装置４は、特殊な種々の車線区画線ＬＬ，ＬＲの形態に対して、逆エッジ候補点ＰＯの認識のキャンセルを判断することができる。

以上に説明したように本実施の形態の車両の車線区画線認識装置であるステレオ画像認識装置４は、明るい路面よりも淡色の車両区画線ＬＬ，ＬＲ以外の黒色などの明るい路面よりも濃色の車両区画線ＬＬ，ＬＲの認識も行える構成となっている、

そのため、車両１は、車両区画線ＬＬ，ＬＲが黒色などの濃色ラインや、白線、黄色などの淡色ラインが擦れて、黒色などの濃色ラインで補修されたような車両区画線ＬＬ，ＬＲであっても、車線逸脱防止機能および車線中央維持機能がキャンセルされず、操舵制御が継続できるようになる。

従って、車両の車線区画線認識装置であるステレオ画像認識装置４は、明るい路面に対して車両区画線ＬＬ，ＬＲの濃淡色を問わず好適に車両区画線ＬＬ，ＬＲの認識が行える。

なお、車両区画線ＬＬ，ＬＲは、黒色などの濃色ラインのみを含む。また、上述の実施形態においては、車線区画線エッジ点として車線区画線開始点を用いた一例について説明したが、本発明はこれに限定されるものではなく、例えば、車線区画線開始点に代えて、輝度が明から暗へと変化する車線区画線終了点を用いることも可能である。

さらに、上述の実施形態においては、ステレオ撮像された一対の画像に基づいて車線区画線認識を行う場合の一例について説明したが、本発明はこれに限定されるものではなく、単眼のカメラなどで撮像された画像に基づいて車線区画線認識を行っても良いことは勿論である。

また、ステレオ画像認識装置４および制御ユニット５は、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭなどの記憶装置などを含むプロセッサを有している。また、プロセッサの複数の回路の全て若しくは一部の構成は、ソフトウェアで実行してもよい。例えば、ＲＯＭに格納された各機能に対応する各種プログラムをＣＰＵが読み出して実行するようにしてもよい。

さらに、プロセッサの全部若しくは一部の機能は、論理回路あるいはアナログ回路で構成してもよく、また各種プログラムの処理を、ＦＰＧＡなどの電子回路により実現するようにしてもよい。

以上の実施の形態に記載した発明は、それらの形態に限ることなく、その他、実施段階ではその要旨を逸脱しない範囲で種々の変形を実施し得ることが可能である。さらに、上記には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合せにより種々の発明が抽出され得るものである。

例えば、開示される全構成要件から幾つかの構成要件が削除されても、述べられている課題が解決でき、述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得るものである。

１…車両（自車両）
２…運転支援装置
３…ステレオカメラ
４…ステレオ画像認識装置
５…制御ユニット
１１…車速センサ
１２…ヨーレートセンサ
１３…メインスイッチ
１４…舵角センサ
１５…アクセル開度センサ
１６…スロットル弁
１７…アクティブブースタ
ＡＬ，ＡＲ…区画線探索領域
ＢＥ…黒縁線
ＢＬ…黒線
Ｃ…カウンタ
Ｃｔｈ１…第１の閾値
Ｃｔｈ２…第２の閾値
Ｊｎ…探索ライン
ＬＬ…車線区画線
ＬＬ，ＬＲ…車線区画線
Ｌｌ，Ｌｒ…近似線
Ｐ…区画線開始点
ＰＯ…逆エッジ候補点
ＰＳ…標準エッジ候補点
Ｒ１…第１のセグメント
Ｒ２…第２のセグメント
ＴＭ…タイヤ痕

Claims (5)

1. 自車走行環境を撮像した画像に設定された車線区画線の検出領域内での水平方向の輝度変化に基づいてエッジ点を検出するエッジ点検出手段と、
   前記エッジ点からなる点群の近似線を演算する近似線演算手段と、
   を備え、
   路面に対する輝度が高い標準エッジ候補点を主に探索する第１のモードと、
   前記路面に対して輝度が低い逆エッジ候補点を主に探索する第２のモードと、
   を有し、
   検出された前記逆エッジ候補点の数によって、前記第１のモードと前記第２のモードを選択的に切り替えることを特徴とする車両の車線区画線認識装置。
2. 前記第１のモードの選択中、前記画像の所定の範囲に奇数行の第１の探索ラインで前記標準エッジ候補点と偶数行の第２の探索ラインで前記逆エッジ候補点を交互に探索する第１のセグメントを設定し、検出された前記逆エッジ候補点の数をカウントして、カウンタ値が予め設定された第１の閾値以上になった場合、前記第１のモードから前記第２のモードに切り替え、
   前記第２のモードの選択中、前記画像の前記第１のセグメントよりも広範囲で奇数行の前記第１の探索ラインで前記標準エッジ候補点と偶数行の前記第２の探索ラインで前記逆エッジ候補点を交互に探索する第２のセグメントを設定し、検出された前記逆エッジ候補点の数をカウントし、カウンタ値が予め設定された第２の閾値以下になった場合、前記第２のモードから前記第２のモードに切り替える、
   ことを特徴とする請求項１に記載の車両の車線区画線認識装置。
3. 検出された前記逆エッジ候補点の輝度値が予め設定された輝度閾値以下であるとき、当該前記逆エッジ候補点をカウントしないことを特徴とする請求項２に記載の車両の車線区画線認識装置。
4. 検出された前記逆エッジ候補点の開始点から終了点の距離が予め設定されたライン幅閾値以下であるとき、前記逆エッジ候補点をカウントしないことを特徴とする請求項２に記載の車両の車線区画線認識装置。
5. 標準エッジ点が開始点であって、逆エッジ点が終了点である場合、前記開始点から前記終了点までの距離が予め設定された規定値以上であるとき、前記逆エッジ候補点をカウントしないことを特徴とする請求項２に記載の車両の車線区画線認識装置。

Images