JP4671991B2 - レーンマーク認識装置 - Google Patents

Description

本発明は、カメラ等の入力手段により得られた路面情報から画像処理によって車両走行レーンマークを認識するレーンマーク認識方法及びそれを用いた装置に関する。

従来から、道路に敷設された白線等のレーンマークを画像処理により認識し、ドライバーに対して走行車線を逸脱している場合の警報を行ったり、レーンマークの認識結果を用いて車両のステアリング制御を行う手法が提案されている。

画像処理により白線を認識するには、従来の一般的な手法では、画像の輝度に対して閾値を設定し、画像を二値化することで、輝度の高い部分を白線と認識していた。これは、白線は周囲の道路に比べて明度が高いため、画像上では道路領域と比較して高い輝度となることを利用したものである。この道路領域と白線領域の輝度の間に閾値を設定すれば、二値化により白線領域だけを検出することができる。

しかし、白線の上に影がかかっている画像の場合、影のかかった白線領域では、そうでない領域に比べて輝度が低くなり、影のかかった領域の検出を良好に行うことができない、という不都合があった。また、影のかかった白線領域を検出できる輝度値を閾値とすると、この閾値では白線以外の部分も検出してしまう。

特開平４−１５２４０６号公報によると、画像全体の輝度の平均値と最大値とに基づいて、閾値を設定する手法が開示されている。この手法により、画像の状況によって閾値を変更することができるため、より安定した白線認識が可能となる。

しかしながら、この手法では、天候や影により画像の状態が変化すると、白線を良好に検出できなくなる、という不都合があった。

また、輝度による二値化ではなく、エッジ抽出処理を行い、白線の輪郭線を検出することで白線を認識する手法がある。このエッジ抽出処理は、画像の輝度が変化している部分を抽出する。すなわち、この手法では、道路上の白線は周囲の道路が暗く、白線の端部に明るさの変化があることを利用して、この変化が生じている部分を白線の端部と認識する。このエッジ抽出処理は、明るさの変化を検出する処理であるため、天候の変化により画像の広い領域の明るさが変化しても、白線の端部分に輝度変化があれば白線を検出できるという利点がある。ただし、エッジ抽出処理を行う方法は、白線の端部分のエッジを安定して抽出できる反面、先行車両や轍など、道路内の余分なエッジ成分まで抽出する可能性が高い。

そのため、白線のエッジであるか否かを判別する手法が重要となる。

特開平１１−１９５１２７号公報によると、エッジ点を求めるときに得られるエッジの角度情報を利用し、角度対となるエッジ点で囲まれた領域を白線と判定する手法が開示されている。これは、白線の場合、白線の左端と右端の部分とで対でエッジが抽出され、その角度差はおよそ１８０度となることを利用したもので、角度の対となるエッジ点がない場合、そのエッジ点は白線のものではないとして除外できる。

特開平４−１５２４０６号公報 特開平１１−１９５１２７号公報

レーンマークの中でも、エッジ点分布が線状に連なる白線が認識対象である場合、特開平１１−１９５１２７号公報のようにエッジ点の位置角度情報から白線部分の推定が可能となる。ところが、上記従来例ではレーンマークとして道路鋲が敷設された路線までは考慮されていないため、道路鋲の認識までは不可能である。

道路鋲を認識する場合、道路鋲パターンをテンプレートとして登録しておき、テンプレートマッチングによって道路鋲の位置を検出する方法もある。ところが、一般に画像上における道路鋲の大きさは小さく、ノイズによる影響を受けやすいことから、認識率を安定させることが難しい。

また、白線用のアルゴリズムと道路鋲用のアルゴリズムが異なる場合、白線と道路鋲が混在した路線のレーンマークを認識するためには、正しくレーンマークの種別を判断する必要がある。このことより、個々のアルゴリズムが優れていてもレーンマーク種別の判断を誤ると認識できないため、総合的な認識率が低下する。

本発明では、白線もしくは道路鋲で構成されたレーンマークを、レーンマークの種別で区別することなく安定して認識可能なアルゴリズムを提供することを目的とする。

上記の目的を達成するため本発明のレーンマーク認識装置では、白線及び道路鋲のレーンマークを含む画像を入力する画像入力手段と、画像入力手段で入力された入力画像における輝度変化部分であるエッジ点を抽出し、抽出された各エッジ点の方向を表す角度を算出するエッジ抽出手段と、エッジ抽出手段で抽出したエッジ点のうち、エッジ点と予め設定された道路の消失点とを結ぶ直線の角度及び前記直線の角度から１８０度ずらした角度を持つものを抽出し、抽出された角度を持つ前記エッジ点から角度別のヒストグラムを作成し、ヒストグラムから出現頻度が所定値以上の角度をもつエッジ点からレーンマークの位置推定を行うレーンマーク位置推定手段と、を備えている。

本願発明のレーンマーク認識方法では、白線だけではなく道路鋲で構成されたレーンマークであってもレーンマーク位置にエッジがあれば検出可能となるため、レーンマークの種別で区別することなく安定して認識可能なアルゴリズムを提供できる。

図１は、本発明であるレーンマーク認識方法の処理フローである。

本発明の一つの実施形態におけるレーンマーク認識方法は、レーンマークを含む画像を入力する画像入力工程である車両前方画像取得工程（ステップＳ１）と、この車両前方画像取得工程Ｓ１で入力された入力画像の輝度変化部分をエッジとし、このエッジの方向角を算出する角度情報付きエッジ抽出工程（ステップＳ２）と、エッジ点の位置と方向角から道路の消失点に向かっているエッジ点を選出するエッジ選出工程（ステップＳ３）と、消失点に向かって並んでいるエッジ点の位置分布を解析し、レーンマークのエッジ点と判定するレーンマーク位置推定工程（ステップＳ４〜Ｓ５）と、消失点等の情報を更新する工程（ステップＳ６）および、認識結果を出力する結果出力工程（ステップＳ７）によって構成される。

ここで、消失点とは、自車両の左右にあるレーンマークが交差する無限遠点とする。

以下、本実施例におけるレーンマーク認識方法の応用システム全体の構成を説明した後に、本実施例のレーンマーク認識方法における各ステップの詳細について説明する。

本実施例のシステムを図１０に示す。まずレーン認識部１０１において、車両前方に向けられたカメラ１０４等の入力手段から得られた車両前方画像を、画像処理手段１０５に転送する。画像処理手段１０５は本発明のレーンマーク認識方法によって、画像上のレーンマークの位置を認識し、自車両がレーンに対してどれだけずれているのかを算出する。ずれ量に関しては図７で説明する。ずれ量Ｓは、自車両７１がレーンの中心にあれば０、右側に寄っていれば正の値、左側に寄っていれば負の値とし、−１から１までの値をとるものとする。算出されたずれ量Ｓはレーンキープ制御部１０２に転送する。レーンキープ制御部１０２は、転送されたずれ量Ｓから、必要であれば車両をレーンの中心に戻すようにステアリングアクチュエータ１０６の制御を行ったり、レーン逸脱警報１０７を鳴らしたりする。すなわち、本レーンマーク認識方法では、カメラの映像を解析して、白線あるいは道路鋲で構成されるレーンマークの位置を検出し、レーンに対する自車両のずれ量を算出するものである。

以下、図１に従って本レーンマーク認識方法の詳細な説明を行う。

まず、ステップＳ１では、入力手段であるカメラによって得られた車両前方の画像を取り込み、画像処理装置内の画像メモリに格納する。画像には白線もしくは道路鋲で構成されたレーンマークを含んでいることが絶対条件で、図２のようになる。図２（ａ）は白線、図２（ｂ）は道路鋲の例を示している。

ステップＳ２では、画像メモリに格納された入力画像の輝度変化部分をエッジとして抽出し、このエッジの角度情報を付加したデータとして算出する。このデータは、各エッジ点について位置情報ｘ，ｙおよび、角度情報θを含んでいる。

ここで、位置情報は画面上での値で単位はピクセル、角度情報θは画面上でのエッジの方向を表し、０度から３６０度の値をとる。本実施例では、エッジの方向は、輝度の高い方向に対して９０度左に傾けた方向になるように定義する。輝度の高い方向に対して９０度傾けているのは、エッジによる輪郭線の向きにあわせるためであり、傾ける方向に関しては右でも構わない。一般に、白線１，道路鋲２とも周囲の路面３と比較して輝度が高くなるため、本実施例の定義によるとエッジの方向は図３のようになる。

図３は白線１および道路鋲２を拡大したもので、図３中の白丸は得られたエッジ点４、矢印がエッジ点の方向５となる。輝度の高い方向に対して９０度左に傾けているため、エッジの方向に向かって右側の輝度が高く、左側の輝度が低くなる。図３では道路鋲２が円形の場合について示しているが、方形など他の形についても同様である。エッジ点の抽出方法の詳細は後述する。実際には路面にはレーンマーク以外にも、先行車，スリップ痕などの汚れ，模様，街路樹等の陰などエッジとして出てくる要素が多い。これらのエッジはすべてレーンマーク認識に不要なノイズとなる。そのため、ステップＳ３以降でノイズの分離を行う。

ステップＳ３では、レーンマークのエッジ点をできるだけ残しつつ、ノイズとなるエッジ点を除外する。そのために、レーンマークが消失点に向かっている事を利用し、消失点に向かっているエッジ点のみを選別する。つまり消失点に向かっていないエッジ点を除外する。選別方法は、まずエッジ点の情報ｘ，ｙ，θから、ｘ，ｙを通りθの角度を持つ直線の方程式を求める。その直線と消失点との距離を求めその距離があらかじめ設定しておいた所定の閾値よりも小さければ消失点に向かっていると判断しレーンマーク候補として残す。所定の閾値を設けることで、抽出されるエッジ点の角度は幅を持つことになり、ノイズによる角度ずれの影響を軽減する効果がある。次に、もともと消失点に近いエッジ点はθに関係なく除去する。消失点に近いエッジ点は、実空間上では遠くの離れた物体のエッジ点であることから、レーンマークは、画面上の消失点近辺において非常に小さく投影されることになる。その結果、消失点近辺ではレーンマークのエッジ点はわずかとなり、ノイズとなるレーンマーク以外のエッジ点の比率が高くなる。

消失点の近傍であるかどうかを判定する手段としては、単純に画面上での消失点とエッジ点との距離を計算して判断する方法がある。すなわち、消失点を中心とした半径が一定の円もしくは楕円内にあるエッジ点をすべて除去する。また、計算コストを考慮して、ｙ座標の差から判断する方法もある。こちらの方法は、消失点のｙ座標とエッジ点のｙ座標の差を求め、ある一定のしきい値以下であれば近傍と判断し除去する。道路平面上にあるレーンマークは画面上のｙ座標位置によってカメラからの俯角が得られるため、カメラの設置高と合わせて実際の距離が求まる。このことがｙ座標のみを用いる理由である。

消失点近傍のエッジ点はあらかじめ除去することで、ノイズを軽減する効果がある。以上述べたエッジ点の選別によって、消失点から離れた手前側のエッジ点のうち、消失点に向かっているエッジ点のみが選出されることになる。図４は、白線１および道路鋲２において、消失点が右上にある場合のエッジ点選出結果である。白線１のエッジ点４はほぼそのまま残るが、道路鋲２のエッジ点４はほとんどのエッジ点が除外されている。ただし、白線１と同様の方向成分を持つ左端と右端のエッジ点は残るため、以降の処理で白線と同様の処理が可能となる。この選別処理によってレーンマーク以外のノイズとなるエッジ点のうち大部分は除去されるが、レーンマークに平行なエッジ点は残るため、ステップＳ４以降の解析で判定する。また、消失点の位置は一定ではなく、自車のレーンに対する傾き等で変化することから毎回計算しなければならないが、本ステップでは前フレームで求まった消失点位置を使用する。これは消失点の位置が短時間で極端に変わらない性質を利用している。開始時には、あらかじめカメラの設置位置からデフォルトの消失点位置を決めておきその値を使用する。消失点の求め方についてはステップＳ６で説明する。

ステップＳ４では、ステップＳ３で抽出されたエッジ点の角度情報から自車両の左右のレーンマークの角度を推定する。解析のために、本実施例ではエッジ角度ヒストグラムを利用する。すなわち、エッジを構成するすべての画素について、角度毎のヒストグラムを作成する。このエッジ角度ヒストグラムでは、ある方向のエッジ角度の画素が多いと、これがピークとして現れる。たとえば、画像中に１本の真っ直ぐな白線のみが存在すると仮定した場合、ある特定のエッジ角度についてピークが現れる。そこで、図５（ｂ）のようにヒストグラムを作成してピークを形成する角度の中から、左右のレーンマークの角度θ_l とθ_r を推定する。図５（ａ）（ｂ）の例では、１８０度のずれは無視し、１８０度以上の角度は１８０度引いた値でヒストグラムを作成している。これは、白線１や道路鋲２は、図４（ａ）（ｂ）のように左端と右端にほぼ１８０度違いのエッジがセットで現れるため、これらを合わせ込むことでよりピークを出しやすくする効果がある。ただし実際にはノイズ成分がピークを形成することも多く、これと区別するために、レーンの幅情報を利用して推定を行う。レーンの幅はほぼ一定であるため、左右のレーンマークの角度θ_l とθ_r の組み合わせを限定できる。図５（ａ）の例のように車線数が多い場合は、隣のレーンマークの角度θ_nlやθ_nrを利用することで、θ_l とθ_r を推定することも可能である。この場合もレーン幅がほぼ一定であることを利用している。

ステップＳ５では、θ_l とθ_r の角度を持つエッジ点の分布から、左右レーンマークの直線を推定する。ここで、カーブなどでレーンマークが曲がっていることも考えられるが、この曲がりによる影響はほぼ無視することができる。これは、ステップＳ３で消失点近辺のエッジ点をすべて除外して、自車両に近い手前のレーンマークのエッジ点のみを用いることによって、カーブであっても部分的には直線近似が可能であるという性質が利用可能となるためである。レーンマークの直線推定にはハフ変換を使用する。ハフ変換とは、いくつかの点の配置から最も多くの点を通る直線を導き出す手法であり、画像処理では一般的な手法のため説明は割愛する。以下図６を用いてレーンマークの直線推定までの説明を行う。

図６は自車両の左側の白線の例を示している。白線には左右の両端でエッジが出てくるため、左端のエッジ点と右端のエッジ点に分けてハフ変換を行う。ステップＳ４で求まった左の白線の角度がθ_l とすると、右端のエッジ点の方向角はθ_l 、左端のエッジ点の方向角は反対向きなのでθ_l＋１８０ と推定できる。そこで、θ_l に近い角度を持つエッジ点の分布からハフ変換を行い、求まった直線を白線の右端の線６２とする。同様に、θ_l＋１８０ に近い角度を持つエッジ点の分布からハフ変換を行い、求まった直線を白線の左端の線６１とする。このようにして求まった２本の直線から、中心線６３を求め、左の白線とする。以上、白線で説明したがこれは道路鋲の場合でも同様である。また直線推定に用いたハフ変換は、最小二乗近似法などでも代用できる。

ステップＳ６では消失点を算出する。消失点はステップＳ５で算出された左右のレーンマークの直線同士の交点として算出できる。一般に、消失点はカーブなどでレーンマークが曲がっている場合は、消失点は曲がっている方向になる。しかし、本実施例では遠方のエッジ点は無視しているため、手前のレーンマークを直線近似した交点を消失点としている。このようにして得られる消失点は、カーブによる変動が少ないことから変動範囲を限定することができ、消失点位置の予測解析が行いやすい。

ステップＳ７では、認識結果を出力する。出力する情報はレーンに対する自車両の位置ずれ量Ｓとする（図７）。位置ずれ量Ｓは、自車両７１がレーンの中央を走行している場合は０（図７（ａ））、右側のレーンマーク上にいる場合は１（図７（ｂ））、左側のレーンマーク上にいる場合は−１（図７（ｃ））とし、−１から１の間をとる。Ｓは、図８中の直線近似線８１の２本の角度から式（１）で求められる。

ここで、

以上述べた各ステップの工程を図示したものが図９である。図９を用いて、本レーンマーク認識方法の処理を再度説明する。まず、図９（ａ）は、カメラから得られた画像から、ステップＳ２でエッジ点を抽出した結果を示している。図９では、各エッジ点の方向が分かりやすいように線分でエッジ点を示している。図９（ｂ）は、ステップＳ３の途中段階で、前フレームで算出された消失点１０の近辺領域９１に含まれるエッジ点をすべて除去したものである。図９（ｃ）では、さらに、消失点１０に向かっていないエッジ点を除去している。図９（ｄ）は、ステップＳ４で、角度のヒストグラムを解析し、出現頻度の高い角度でかつ、レーン幅条件を満たしている角度のエッジのみを抽出したものである。この例では、となりのレーンマークの角度となるθ_nlやθ_nrまで残しているが、θ_l とθ_r のみでもかまわない。図９（ｅ）は、角度毎にハフ変換を行い直線近似線８１を求めたものである。消失点１０は直線近似線８１の交点に更新される。図９で説明したように、本レーン認識方式では、白線と道路鋲を特に区別することなく認識処理を行っているため、白線と道路鋲が混在した路線に有効である。ただし、白線であっても道路鋲であってもレーンマークのエッジ点が検出できることが大前提であるため、道路鋲でも輝度差が出るように画像を取得し、エッジの検出閾値を十分下げることが重要である。

最後に、エッジの検出手法について説明する。エッジの位置のみの検出手法については様々な方法があるが、エッジの方向成分まで含めて算出する方法としては、ソーベルフィルタによる方法や、二次元ゼロクロス法等が挙げられる。本実施例では、３×３のソーベルフィルタによる方法について説明する。

３×３のソーベルフィルタでは、ある注目画素を中心とした上下左右の９つの画素値に対して、図１１に示すような係数をそれぞれ乗算し、結果を合計することでエッジの強度を算出する。垂直方向，水平方向の二つの係数行列を用いてこの処理を行う。

垂直方向の合計値をＧ_x 、水平方向の合計値をＧ_y とすると、注目画素の画素値Ｇは式（３）のようになる。

この画素値Ｇはエッジの強度を表し、大きいほどその地点の近傍で輝度差が大きいことを示す。このＧの値があらかじめ設定したエッジ抽出閾値よりも大きければ、その部分の画素はエッジ点として抽出することになる。白線１の場合は一般に路面３との輝度差が大きいため、エッジ抽出閾値を適当に設定しておいても問題ない。しかし道路鋲２の場合、路面３との輝度差が小さいことが多い。抽出漏れを防ぐため、エッジ抽出閾値は十分に下げておくことが必要である。

エッジの角度θは、エッジ強度の各方向成分Ｇ_x とＧ_y から、下記の式（４）で求まる。

前述したように、角度θは画面上でのエッジの方向を表し、０度以上３６０度未満の値をとる。エッジの方向は、輝度の高い方向に対して９０度左にずらした方向である。

最後に、認識率を向上させるために入力画像に施す前処理の説明を行う。画像を入力する手段であるカメラは、周囲が見えやすいようにできるだけ高い位置に設置するのが望ましい。しかし車高の低い車等で、高い位置に設置できない場合も考えられる。この場合、カメラの設置高が低くなるため、図１２（ａ）のように画面上の走行レーンの左右のレーンマークのエッジ成分１２１同士がなす角度は広がって、レーンマークのエッジ成分１２１は水平に近い状態になる。このとき、隣のレーンマークやガードレール、さらに隣のレーンを走行する他車両等のノイズのエッジ成分１２２のエッジ点も同時に水平に近づくため、これらノイズのエッジ成分１２２のエッジ角度とレーンマークのエッジ成分１２１のエッジ角度の差が出にくくなる。この状態では、本願発明のレーンマーク認識方法によると、エッジ点の角度情報を用いたノイズの除去が難しくなり認識率が低下する可能性がある。

そこで、このような場合に認識率を向上させるための手段として、入力画像の縦横の比率を変更する前処理を行う。具体的には、入力画像を横方向に圧縮するか縦方向に伸張するなどして、図１２（ｂ）のように元の入力画像よりも縦横比が縦長となる画像を生成する。この処理はアフィン変換で実現できる。この処理によってレーンマークのエッジ成分１２１のエッジ角度と、それ以外のノイズのエッジ成分１２２のエッジ角度との差は大きくなる。

このため、エッジ点の角度情報を用いたノイズの除去精度が向上し、本願発明のレーンマーク認識方法における認識率の向上に繋がる。また、前記前処理と同様の効果を狙うため、光学系、すなわちカメラのレンズやＣＣＤ等の受光部の形状を変更することによってあらかじめ縦長の画像を得るようにしても良い。

本実施例に係わるレーンマーク認識方法の処理フローを示した図である。 本実施例の画像入力工程で得られたレーンマークを含む車両前方を示した図である。 本実施例に係わるレーンマーク認識方法のレーンマークのエッジ点の方向を示した図である。 本実施例に係わるレーンマーク認識方法における右上に消失点があるとした場合の消失点に向かっているエッジ点の説明図である。 本実施例に係わるレーンマーク認識方法のエッジ角度ヒストグラムを説明する図である。 本実施例に係わるレーンマーク認識方法の直線推定を説明する図である。 本実施例に係わるレーンマーク認識方法における自車両のレーンに対するずれ量Ｓを説明する図である。 本実施例に係わるレーンマーク認識方法における自車両のレーンに対するずれ量Ｓを求める方法を説明する図である。 本実施例に係わるレーンマーク認識方法の処理フローの過程を示した図である。 本実施例に係わるレーンマーク認識方法を用いたシステム構成ブロック図である。 エッジ位置を検出する一手法である３×３ソーベルフィルタ方法の係数行列を示した図である。 本実施例に係わるレーンマーク認識方法における入力画像に対する前処理を説明する図である。

符号の説明

１…白線、２…道路鋲、３…路面、４…エッジ点、５…エッジ点の方向、１０…消失点、６１…白線の左端、６２…白線の右端、６３…白線の中心線、７１…自車両、８１…直線近似線、９１…近辺領域、１０１…レーン認識部、１０２…レーンキープ制御部、１０３…レーンキープ実行部、１０４…カメラ、１０５…画像処理手段、１０６…ステアリングアクチュエータ、１０７…レーン逸脱警報、１２１…レーンマークのエッジ成分、１２２…ノイズのエッジ成分。

Claims (5)

1. 白線及び道路鋲のレーンマークを含む画像を入力する画像入力手段と、
   前記画像入力手段で入力された入力画像における輝度変化部分であるエッジ点を抽出し、抽出された各エッジ点の方向を表す角度を算出するエッジ抽出手段と、
   前記エッジ抽出手段で抽出した前記エッジ点のうち、前記エッジ点と予め設定された道路の消失点とを結ぶ直線の角度及び前記直線の角度から１８０度ずらした角度を持つものを抽出し、抽出された角度を持つ前記エッジ点から角度別のヒストグラムを作成し、前記ヒストグラムから出現頻度が所定値以上の角度をもつエッジ点からレーンマークの位置推定を行うレーンマーク位置推定手段と、を有することを特徴とするレーンマーク認識装置。
2. 請求項１記載のレーンマーク認識装置において、
   前記レーンマーク位置推定手段は、前記消失点から所定の範囲内にあるエッジ点を除外することを特徴とするレーンマーク認識装置。
3. 請求項２記載のレーンマーク認識装置において、
   前記レーンマーク位置推定手段は、前記消失点から所定の範囲外にあるエッジ点のうち、前記エッジ点と道路の消失点とを結ぶ直線の角度及び前記直線の角度から１８０度ずらした角度を持つ前記エッジ点から角度別のヒストグラムを作成し、前記ヒストグラムから出現頻度が所定値以上の角度をもつエッジ点からレーンマークを推定することを特徴とするレーンマーク認識装置。
4. 請求項１または請求項３記載のレーンマーク認識装置において、
   前記レーンマーク位置推定手段は、前記ヒストグラムから得られた頻度の高い角度のうち、レーン幅から左右のレーンマークの角度を限定することを特徴とするレーンマーク認識装置。
5. 請求項４記載のレーンマーク認識装置において、
   前記レーンマーク位置推定手段は、前記レーンマークの角度をもつエッジ点の分布からレーンマーク位置を直線推定することを特徴とするレーンマーク認識装置。

Images