JP2018005618A - 道路認識装置 - Google Patents

Abstract

【課題】自車線の道路形状の認識の精度を向上させる道路認識装置を提供する。
【解決手段】道路認識装置２０は、車載カメラ１０により撮影された画像から特徴点を抽出し、特徴点に基づいて、道路の車線を区画する区画線を認識する区画線認識部と、区画線の形状が変化する形状変化点を検出する変化点検出部と、形状変化点が検出された場合に、形状変化点が含まれる変化区画線が、自車両５０が走行する自車線から分岐する分岐車線を区画するものであるか否かを判定する分岐車線判定部と、形状変化点が検出された場合にあって、分岐車線判定部による判定結果が得られる前は、自車線の左右の区画線において前記形状変化点よりも自車両５０に近い側の特徴点のみを用いて自車線の形状を認識する道路認識部と、を備える。
【選択図】 図１

Description

本発明は、車載カメラの撮影画像に基づいて、道路の形状を認識する道路認識装置に関するものである。

道路には、自車線から分岐する分岐車線が設けられていることがある。例えば、分岐車線を判定する技術として特許文献１の技術が知られている。特許文献１に記載の車線認識装置は、自車線の左右の区画線を比較することで、分岐車線が存在するか否かの判定を行っている。すなわち、左右一対の区画線の平行度が所定レベル以下となるときに、分岐車線が存在すると判断している。

特開２０１５−２１０６１８号公報

ここで、分岐車線が存在する場合は、自車線が例えば真っ直ぐな直線状であるにもかかわらず、自車線を区画する左右の区画線のうち分岐車線の側の区画線が、分岐車線の形状に合わせて曲がり形状となっていることがある。かかる場合に、左右の区画線に基づいて道路形状を認識する構成では、分岐車線の側の区画線の曲がり形状の影響を受けるおそれがある。すなわち、撮影画像から抽出されたエッジ点の中に、分岐車線の区画線のエッジ点が含まれていると、その分岐車線の影響により、自車線の道路形状の認識精度が低下するおそれがある。

本発明は、上記課題を解決するためになされたものであり、自車線の道路形状の認識の精度を向上させる道路認識装置を提供することを主目的とする。

本発明の道路認識装置は、車載カメラにより撮影された画像から特徴点を抽出し、前記特徴点に基づいて、道路の車線を区画する区画線を認識する区画線認識部と、前記区画線の形状が変化する形状変化点を検出する変化点検出部と、前記形状変化点が検出された場合に、該形状変化点が含まれる変化区画線が、自車両が走行する自車線から分岐する分岐車線を区画するものであるか否かを判定する分岐車線判定部と、前記形状変化点が検出された場合にあって、前記分岐車線判定部による判定結果が得られる前は、前記自車線の左右の区画線において前記形状変化点よりも前記自車両に近い側の前記特徴点のみを用いて前記自車線の形状を認識する道路認識部と、を備えることを特徴とする。

左右の区画線に基づいて道路形状を認識する構成では、自車線から分岐する分岐車線が存在する場合に、分岐車線の側の区画線の曲がり形状の影響を受けるおそれがある。すなわち、撮影画像から抽出された特徴点の中に、分岐車線の特徴点が含まれていると、その分岐車線の影響により、自車線の道路形状の認識精度が低下するおそれがある。

この点、上記構成では、形状変化点が検出された場合にあって、分岐車線判定部による判定結果が得られる前は、自車線の左右の区画線において形状変化点よりも自車両に近い側の特徴点のみを用いて、自車線の形状を認識するようにした。この場合、分岐車線の判定を行うまでは道路認識に用いる特徴点を制限することで、分岐車線の特徴点が含まれることなく自車線の特徴点の成分のみが選択される。つまり、その時点では、自車線とは異なる特徴点の成分は道路形状の認識に入り込まない。これにより、自車線の道路形状の認識の精度を向上することができる。

車載カメラの車両の搭載位置を示す図。 分岐シーンでの走行軌跡を示す図。 形状変化点の検出を示す図。 道路認識装置の処理手順を示すフローチャート。 シーン判定前のエッジ点の選択を示す図。 シーン判定前のエッジ点の選択を示す平面図。 シーン判定後のエッジ点の選択を示す図。 シーン判定後のエッジ点の選択を示す平面図。

以下、本発明を具体化した実施形態を図面に基づいて説明する。本実施形態は、車載カメラを有する車両に搭載された区画線の認識システムを具体化している。当該認識システムでは、電子制御ユニット（以下、ＥＣＵという）を中枢として区画線の認識等を制御する。

まず、本実施形態にかかる道路認識装置の概略構成について図１を参照して説明する。自車両５０は車載カメラ１０とそれに接続されたＥＣＵ２０とを有している。車載カメラ１０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ、近赤外線センサ等の単眼カメラ、又はステレオカメラを含む装置である。図１に示すように、車載カメラ１０は、自車両５０の例えばフロントガラス上端付近に設置される。車載カメラ１０は、撮影軸を中心に自車両５０の進行方向に向かって所定角度の範囲で広がる領域を撮影する。車載カメラ１０により撮影された画像は、所定周期でＥＣＵ２０へ出力される。

ＥＣＵ２０は、ＣＰＵや各種メモリ等を備えたコンピュータを主体として構成されている。ＥＣＵ２０は、車載カメラ１０によって取得された画像情報に基づいて、エッジ点の抽出や区画線の認識等を行う。なお、区画線には、実線や破線が含まれ、それら各線には白色、黄色、青色などの彩色が施されていてもよい。

ところで、走行支援を実施する技術として、自動運転等が知られている。自動運転では、走行時の幅広いシーンが想定されており、自車線から分岐する分岐車線が存在する分岐シーンもその一つである。分岐シーンを判定する技術は、これまでにいくつか提案されている。

図２には、分岐シーンの一例を示す。図２に示すように、自車線が例えば真っ直ぐな直線状である場合に、自車線から分岐車線が延び、自車線を区画する左右の区画線のうち分岐車線の側の区画線が、分岐車線の形状に合わせて曲がり形状となっていることがある。一般に、左右の区画線の認識は、撮影画像から抽出されるすべてのエッジ点を用いて行われる。その結果、分岐車線の区画線のエッジ点も道路形状の認識に加味されることとなる。そのため、左右の区画線に基づいて道路形状を認識する構成では、分岐車線の側の区画線の曲がり形状の影響を受けるおそれがある。例えば、図２において自車両５０が自車線を直進する場合に、分岐車線の区画線に影響されることで、分岐点付近で自車両５０が右側に膨らむ可能性が考えられる。このように、撮影画像から抽出されるすべてのエッジ点を用いて左右の区画線を認識する構成では、自車線の道路形状の認識精度が低下するおそれがある。

そこで、本実施形態では、区画線の形状が変化する形状変化点を検出し、形状変化点を検出した場合にあって、分岐シーンの判定結果が得られる前は、自車線の左右の区画線において形状変化点よりも自車両５０に近い側のエッジ点のみを用いて、自車線の形状を認識する。すなわち、分岐シーンの判定を行う前までは、道路認識に用いるエッジ点を形状変化点までに制限している。

ここで、形状変化点とは、区画線の形状が変化すると認識されるエッジ点である。形状変化点としては、例えば、自車線から分岐車線が延びる場合において、自車線の区画線と分岐車線の区画線との境界位置のエッジ点や、カーブ路の入り口にあたる箇所のエッジ点等が相当する。つまり、形状変化点が検出された場合には、車両前方に分岐車線やカーブ路が存在しうることを意味する。

図３には、形状変化点の検出について、一例を示す。図３では、自車線の左右の区画線のうち、右側が路肩側の実線の区画線Ｌ１、左側が他車線との境界となる破線の区画線Ｌ２である。ここでは、左右の区画線Ｌ１，Ｌ２のうち右側の区画線Ｌ１を、形状変化点を含む変化区画線としており、その区画線Ｌ１において、自車両５０からの距離が異なる２点のエッジ点Ｐ１，Ｐ２を直線で結ぶ。図３では、撮像画像内において、区画線Ｌ１のエッジ点のうち自車両５０に最も近いエッジ点をＰ１とし、最も遠いエッジ点をＰ２としてこれらを直線Ｌ３で結んでいる。そして、この直線Ｌ３に対して区画線Ｌ１の各エッジ点から垂線を引き、その際に垂線の長さが最も長くなるエッジ点Ｐ３を、形状変化点として検出する。なお、２点のエッジ点Ｐ１，Ｐ２は、自車両５０からの距離が異なる２点を選択すればよく、検出される形状変化点の位置は選択されたエッジ点によって変わらない。

形状変化点が検出された場合、形状変化点が検出された側の区画線となる変化区画線（図３の区画線Ｌ１）は、自車線の区画線を構成する一方で、分岐車線の区画線を構成する場合がある。つまり、図３に示すように、自車線の右の区画線Ｌ１は、自車両５０から形状変化点までは自車線の区画線を構成しているのに対し、形状変化点よりも遠い側は分岐車線の区画線を構成している。そこで、本実施形態では、形状変化点が検出された場合に、形状変化点が含まれる変化区画線が、自車両５０が走行する自車線から分岐する分岐車線を区画するものであるか否かを判定する。具体的には、変化区画線が、分岐車線を区画するものであるか、カーブ路を区画するものであるかのシーン判定を行う。そして、判定されたシーンに合わせて、自車線の区画線のエッジ点を選択し、自車線の道路形状を認識することとしている。

次に、本道路認識装置の処理手順について図４のフローチャートを参照して説明する。本処理手順は、ＥＣＵ２０が所定間隔（例えば、１００ｍｓ）で繰り返し実行する。

まず、ステップＳ１１では、車載カメラ１０により撮影された撮影画像を取得する。ステップＳ１２では、取得された撮影画像からエッジ点を抽出する。具体的には、画像にｓｏｂｅｌフィルタ等を適用して、区画線の輪郭を構成するエッジ点を抽出する。ステップＳ１３では、抽出されたエッジ点から区画線を認識する。ここでは、周知の近似法等を用い、所定の連続性をもったエッジ点から区画線を認識する。ステップＳ１４では、認識された区画線から自車線の左右の区画線を認識する。ここでは、自車両５０の左側で且つ自車両５０の最も近くで認識された区画線を自車線の左側の区画線と認識し、自車両５０の右側で且つ自車両５０の最も近くで認識された区画線を自車線の右側の区画線と認識する。

ステップＳ１５では、自車線の左右の区画線の形状が変化するエッジ点である形状変化点を検出する。形状変化点は、図３の説明で示した方法等により検出される。すなわち、自車線の左右の区画線Ｌ１，Ｌ２において、自車両５０からの距離が異なる２点のエッジ点Ｐ１，Ｐ２を結ぶ直線Ｌ３に対して、区画線Ｌ１，Ｌ２の各エッジ点から垂線を引いた際に、その垂線の長さが最も大きくなるエッジ点Ｐ３を形状変化点として検出する。ステップＳ１６では、形状変化点が検出されたか否かを判定する。ステップＳ１６がＮＯであれば、そのまま本処理を終了する。一方、ステップＳ１６がＹＥＳであれば、ステップＳ１７へ進む。

ところで、分岐車線が存在するか否かを判定するシーン判定においては、判定の対象範囲において左右の区画線のエッジ点が検出できている必要がある。言い換えると、シーン判定を正確に行うためには、形状変化点よりも遠方を含む範囲において左右の区画線が十分に認識されている必要がある。なお、区画線の認識は、区画線の線種や状態等によって異なることがある。例えば、区画線が破線である場合には、実線である場合に比べて、遠くまで認識することができない。また、区画線の汚れ具合やかすれ具合などによっても、区画線の認識に影響が生じることがある。

ステップＳ１７では、この点を考慮し、自車線の左右の区画線のうち形状変化点が検出された区画線（変化区画線）とは異なる区画線、すなわち自車線の中心を挟んで変化区画線とは逆側の区画線が、形状変化点よりも遠い側まで認識されているか否かを判定する。具体的には、変化区画線とは異なる区画線の認識距離が、形状変化点から自車両５０までの距離よりも大きく、形状変化点よりも遠方の区画線形状が認識されているか否かを判定する。ステップＳ１７がＮＯである場合、すなわち、形状変化点よりも遠い側まで認識されていない場合は、ステップＳ１８へ進む。ステップＳ１８では、自車線の左右の区画線において、形状変化点よりも自車両５０に近い側のエッジ点のみを用いて、自車線の道路形状を認識する。すなわち、道路形状に用いるエッジ点を自車両５０から形状変化点までの範囲に制限する。

一方、ステップＳ１７がＹＥＳである場合、すなわち、形状変化点よりも遠くまで認識されている場合は、ステップＳ１９へ進む。ステップＳ１９では、形状変化点よりも遠方において変化区画線と変化区画線とは異なる側の区画線のそれぞれの曲がり度合を示すパラメータを算出する。例えば、各区画線の傾きや曲率等を算出する。ステップＳ２０では、算出されたパラメータに基づいて、形状変化点よりも遠方の変化区画線が分岐車線を区画するものであるか否かを判定する。ここでは、算出された各区画線の傾きや曲率等の瞬時値及び時系列データに基づいて、判定する。なお、区画線の曲率から算出されるヨー角やクロソイドパラメータ（曲率変化率）をステップＳ１９で算出し、それに基づいてステップＳ２０でシーン判定を実施してもよい。また、周知の分岐判定の方法を用いる構成であってもよい。

ステップＳ２０で、変化区画線が分岐車線を区画するものであると判定した場合は（ステップＳ２０：ＹＥＳ）、ステップＳ２１に進む。ステップＳ２１では、形状変化点よりも遠方において自車線を区画する遠方区画線を認識する。ここでは、例えば、形状変化点までの変化区画線と所定の連続性を有するエッジ点を検出し、そのエッジ点に基づいて遠方区画線を認識する。分岐シーンによっては、図２に示すように、分岐点において自車線の側に区画線が敷設されていない場合もある。そのため、自車線の遠方区画線を認識することで、自車線の認識精度を高めることができる。ステップＳ２２では、変化区画線のうち形状変化点よりも近方のエッジ点と、遠方区画線のエッジ点とを用いて自車線の道路形状を認識する。かかる場合、分岐車線の区画線のエッジ点は、道路形状の認識に入り込まない。

なお、ステップＳ２１において遠方区画線を認識できるか否かを判定し、遠方区画線が認識できない場合には、形状変化点よりも近方のエッジ点のみを用いて、自車線の道路形状を認識する構成としてもよい。また、遠方区画線が認識できない場合であって、かつ形状変化点を自車両５０が通り過ぎている場合には、分岐車線の区画線のエッジ点を全て消去するという構成としてもよい。これらの構成によっても、分岐車線の区画線のエッジ点は、道路形状の認識に入り込まない。

一方、ステップＳ２０で、変化区画線が分岐車線を区画するものでないと判定した場合は（ステップＳ２０：ＮＯ）、変化区画線がカーブ路を区画するものであるとして、ステップＳ２３に進む。ステップＳ２３では、変化区画線のうち形状変化点の近方及び遠方のエッジ点を用いて道路形状を認識する。すなわち、変化区画線は自車線の区画線であるとして、変化区画線のエッジ点をすべて用いて道路形状を認識する。

続いて、シーン判定を行う前後におけるエッジ点の選択について、図５乃至図８を用いて説明する。これらは、自車両５０の現位置において自車線が左右の区画線Ｌ１１，Ｌ１２に区画され、右側走行で自車線の右側に分岐車線が存在する場面を想定しており、自車線の右の区画線Ｌ１１に形状変化点Ｐ１１が存在する。

図５及び図６には、シーン判定を行う前の場面を示している。この場合、左の区画線Ｌ１２は、形状変化点Ｐ１１よりも遠い側まで認識されていない。つまり、例えば右の区画線Ｌ１１が実線、左の区画線Ｌ１２が破線の場合、左の区画線Ｌ１２の方が認識可能となる長さ（認識距離Ｘ）が短くなると考えられ、左側の認識距離Ｘよりも自車両５０から形状変化点Ｐ１１までの距離の方が大きくなっている。この状況下では、ＥＣＵ２０は、道路認識に用いるエッジ点を、形状変化点Ｐ１１までの距離の範囲内のものに制限する。すなわち、右の区画線Ｌ１１においては形状変化点Ｐ１１までの距離の範囲内のエッジ点を道路認識に用い、左の区画線Ｌ１２においては認識距離Ｘのエッジ点を道路認識に用いる。この場合、シーン判定を行う前において、形状変化点よりも遠い側のエッジ点は道路認識に用いない。

一方、図７及び図８には、シーン判定を行った後の場面を示している。この状況下では、左の区画線Ｌ１２は形状変化点Ｐ１１よりも遠い側まで認識されている、つまり認識距離Ｘが形状変化点Ｐ１１よりも遠方までのびているため、ＥＣＵ２０はシーン判定を実施する。そしてこの場合は、変化区画線が分岐車線を区画するものであると判定されるため、分岐車線の区画線を除いたエッジ点が選択される。すなわち、右の区画線Ｌ１１においては、形状変化点Ｐ１１までのエッジ点と遠方区画線Ｌ１３のエッジ点とを道路認識に用い、左の区画線Ｌ１２においては、認識距離Ｘのエッジ点を道路認識に用いる。

以上詳述した本実施形態によれば、以下の優れた効果が得られる。

撮影画像から抽出された特徴点の中に、分岐車線の特徴点が含まれていると、その分岐車線の影響により、自車線の道路形状の認識精度が低下するおそれがある。この点を考慮し、上記構成では、形状変化点が検出された場合にあって、分岐車線判定部による判定結果が得られる前は、自車線の左右の区画線において形状変化点よりも自車両５０に近い側の特徴点のみを用いて、自車線の形状を認識するようにした。この場合、分岐車線の判定を行うまでは道路認識に用いる特徴点を制限することで、分岐車線の特徴点が含まれることなく自車線の特徴点の成分のみが選択される。つまり、その時点では、自車線とは異なる特徴点の成分は道路形状の認識に入り込まない。これにより、自車線の道路形状の認識の精度を向上することができる。

また、変化区画線が分岐車線を区画するものであると判定された場合に、その変化区画線のうち形状変化点よりも近方の特徴点のみを自車線の形状認識に用いるようにした。かかる場合、分岐車線の区画線の特徴点は道路形状の認識に入り込まないため、自車線の道路形状の認識の精度を向上することができる。さらにこの場合、自車線における遠方区画線の特徴点も用いて自車線の形状を認識するようにしたため、自車線の認識精度をより一層高めることができる。

また、変化区画線がカーブ路を区画するものであると判定された場合に、形状変化点の近方及び遠方の特徴点を自車線の形状認識に用いるようにした。カーブ路では、変化区画線は自車線の区画線のみを構成するものであるため、エッジ点を形状変化点までに制限する必要はない。そのため、カーブ路において、自車線の認識精度を低下させることはない。

分岐車線の判定において、判定対象となる範囲で左右の区画線が十分に認識されていない場合には、正しい判定が実施できないおそれがある。この点を考慮し、変化区画線とは異なる側の区画線が形状変化点よりも遠方で認識されている場合に、変化区画線が分岐車線を区画するものであるか否かを判定するようにした。かかる場合、形状変化点よりも遠方の左右両側の区画線が認識されることにより、変化区画線が分岐車線を区画するものであるか否かの判定を適正に実施することができる。

シーン判定において、形状変化点よりも遠い側の変化区画線と変化区画線とは異なる側の区画線との曲がり度合を示すパラメータを用いる構成としたため、シーン判定を正確に行うことができる。

形状変化点を図３に示すような方法で検出する構成にしたため、形状変化点を正確に検出することができる。

本発明は上記実施形態に限らず、例えば次のように実施されてもよい。

・上記実施形態では、変化区画線とは異なる区画線が、形状変化点よりも遠い側まで認識されていると判定された場合に、シーン判定を実施する構成とした。この点、例えば認識レベルに閾値を設ける構成であってもよい。例えば、変化区画線とは異なる区画線が、形状変化点よりも所定以上遠い側まで認識されている場合に、シーン判定を実施する構成としてもよい。この構成によれば、シーン判定をより正確に実施することができる。

・上記実施形態では、形状変化点を図３に示す方法で検出したが、形状変化点の検出方法は特に制限されない。例えば、分岐やカーブが生じるシーンにおける区画線の形状変化点を、一般的な区画線の形状変化パターン上で予め定めておき、その形状変化点を用いて、実際の車両走行シーンでの形状変化点を検出する構成であってもよい。この場合、撮像画像に基づいて、実際の区画線において形状変化が生じていることを判定し、その形状変化を既定の形状変化パターンに照合させて形状変化点を検出する。

また、分岐シーンやカーブ路では、分岐車線やカーブ路の入口で区画線の曲率が変化する。この区画線の曲率の変化に基づいて、形状変化点を検出する構成であってもよい。具体的には、区画線において所定以上の曲率変化が生じた場合に、その曲率変化点を形状変化点として検出する。

その他に、道路形状が入力された地図情報に基づいて、形状変化点を検出する構成であってもよい。

１０…車載カメラ、２０…ＥＣＵ、５０…自車両。

Claims (7)

1. 車載カメラ（１０）により撮影された画像から特徴点を抽出し、前記特徴点に基づいて、道路の車線を区画する区画線を認識する区画線認識部と、
   前記区画線の形状が変化する形状変化点を検出する変化点検出部と、
   前記形状変化点が検出された場合に、該形状変化点が含まれる変化区画線が、自車両（５０）が走行する自車線から分岐する分岐車線を区画するものであるか否かを判定する分岐車線判定部と、
   前記形状変化点が検出された場合にあって、前記分岐車線判定部による判定結果が得られる前は、前記自車線の左右の区画線において前記形状変化点よりも前記自車両に近い側の前記特徴点のみを用いて前記自車線の形状を認識する道路認識部と、
   を備える道路認識装置（２０）。
2. 前記分岐車線判定部は、前記変化区画線が、前記分岐車線を区画するものであるか、前記自車線が曲がっているカーブ路を区画するものであるかを判定し、
   前記道路認識部は、前記変化区画線が前記分岐車線を区画するものであると判定された場合に、その変化区画線のうち前記形状変化点よりも近方の前記特徴点のみを前記自車線の形状認識に用い、前記変化区画線が前記カーブ路を区画するものであると判定された場合に、その変化区画線のうち前記形状変化点の近方及び遠方の前記特徴点を前記自車線の形状認識に用いる請求項１に記載の道路認識装置。
3. 前記変化区画線が前記分岐車線を区画するものであると判定された場合に、前記形状変化点よりも遠方において前記自車線を区画する遠方区画線を認識する遠方認識部を備え、
   前記道路認識部は、前記変化区画線のうち前記形状変化点よりも近方の前記特徴点と、前記遠方区画線の前記特徴点とを用いて前記自車線の形状を認識する請求項１又は２に記載の道路認識装置。
4. 前記自車線の左右の区画線のうち前記変化区画線とは異なる側の区画線が、前記形状変化点よりも遠方で認識されているかを判定する認識判定部を備え、
   前記分岐車線判定部は、前記変化区画線とは異なる側の区画線が前記形状変化点よりも遠方で認識されている場合に、前記変化区画線が前記分岐車線を区画するものであるか否かを判定する請求項１乃至３のいずれか１項に記載の道路認識装置。
5. 前記分岐車線判定部は、前記形状変化点よりも遠方において前記変化区画線と前記変化区画線とは異なる側の区画線の曲がり度合を示すパラメータに基づいて、前記変化区画線が前記分岐車線を区画するものであるか否かを判定する請求項１乃至４のいずれか１項に記載の道路認識装置。
6. 前記変化点検出部は、前記区画線において前記自車両からの距離が相違する２点を結ぶ直線に対して、その区画線上の各特徴点から垂線を引き、その垂線の長さが最も大きくなる特徴点を前記形状変化点として検出する請求項１乃至５のいずれか１項に記載の道路認識装置。
7. 前記変化点検出部は、地図情報に基づいて前記形状変化点を検出する請求項１乃至５のいずれか１項に記載の道路認識装置。

Images