JP2008165610A - 道路区画線認識装置 - Google Patents

Abstract

【課題】処理負荷を軽減しつつ、道路区画線を適切に認識することが可能な道路区画線認識装置を提供すること。
【解決手段】車両周辺を撮像する撮像手段を備え、撮像手段の撮像画像を解析することにより道路区画線を認識する道路区画線認識装置であって、道路に敷設された第１物標の位置を特定する第１物標位置特定手段を備え、第１物標、及び第１物標とは異なる第２物標により区画されている道路において、撮像手段の撮像画像における第２物標の位置に基づいて道路区画線を認識する際には、第１物標位置特定手段により特定された第１物標の位置に相当する撮像手段の撮像画像上の位置の、手前側又は奥側に、第２物標を認識するための第２物標認識用画像解析領域を設定することを特徴とする。
【選択図】図１

Description

本発明は、車両周辺を撮像する撮像手段の撮像画像を解析して道路区画線を認識する道路区画線認識装置に関する。

近年、走行車線を維持して走行するように自動操舵制御を行なう制御システムが、ＬＫＡ（Lane Keeping Assist）等の名称で知られている（例えば、非特許文献１参照）。こうした制御システムにおいて重要なポイントとなるのが、走行車線を区画する道路区画線（レーンマーカ）を正確に認識し、走行車線と自車両の位置関係を把握することである。

道路区画線の認識は、主に車両周辺を撮像するカメラ等の画像を解析して行なわれる。例えば、白線や黄線で描画された実線又は破線（以下、白線等と称する）を認識する際には、画像下部の所定領域（画像上部や左右端部の道路を撮像していない領域を除いたもの）において、白線等と道路面との境界線に現れる輝度変化の高い点を抽出し、抽出した点のうち直線状に並んだものを道路区画線の輪郭であると認識すればよい。また、現実的には、所定領域内の全範囲について輝度変化に関する判定を行うのではなく、所定領域内において適度な間隔をもった画像幅方向の走査線を複数本設定し、走査線上で輝度変化に関する判定を行えば十分である。従って、走査線の間隔を適切に設定することにより、装置の処理負荷の軽減と認識精度の維持を両立させることができる。車載装置においては、設置スペースやコスト、重量等に関する制限が厳しいため、大型の処理装置を搭載することが困難であるという背景が存在し、処理負荷を軽減することの重要性は高いものである。

一方、レーダー装置の一種であるミリ波レーダーとカメラを備え、ミリ波レーダーから出力されるパワーに基づいて画像認識エリアを限定し、当該エリア内で画像処理を行なって物体を検出する物体検出装置についての発明が開示されている（例えば、特許文献１参照）。
特開２００１−２９６３５７号公報 トヨタ自動車株式会社、「クラウンマジェスタ新型車解説書（品番７１０９１００）」、トヨタ自動車株式会社サービス部、２００４年７月５日発行、第１０章 ボデー＆エレクトリカル、ｐ１０−２８７〜１０−３０６

ところで、道路区画線には、上記白線等の他に、ボッツドッツ（Botts Dots）やキャッツアイ等の点列状の道路区画線が存在する。ここで、ボッツドッツとは、主に北米で使用されている、道路に間隔をおいて埋め込まれた直径１０ｃｍ程度のセラミック製の円盤である。また、キャッツアイとは、道路に間隔を置いて埋め込まれた反射体であり、入射光を同じ方向に反射させる特性を有するものである。

ボッツドッツ等を画像解析により認識する際には、パターンマッチング処理やモルフォロジー演算を行ない、その結果として把握されたボッツドッツ等の位置を連ねた仮想直線（曲線）を道路区画線と認識するのが、通常想定し得る手法である。ところが、ボッツドッツやキャッツアイは間欠的に道路に敷設されるものであり、白線等ほどは、画像上に高密度に現れるものではない。従って、白線等を認識する際のように適当な間隔をもって画像幅方向の走査線を設定すると、当該間隔部分にボッツドッツやキャッツアイの多くが入ってしまい、十分な数のボッツドッツ等の位置を得ることができない場合が生じる。これでは仮想直線（曲線）を十分正確に生成することができないため、上記所定領域内の全範囲についてパターンマッチング処理等を行なうこととすれば、装置の処理負荷が増大するという問題が生じる。

ここで、上記特許文献１に記載の装置をボッツドッツ等の認識装置に適用して画像解析領域を限定することにより、装置の処理負荷を軽減することができると考えることもできる。

しかしながら、上記特許文献１に記載の装置は、車両周辺の車両等、いわゆる障害物を認識することを主眼とするものであり、その画像解析領域の設定手法を道路区画線の認識に転用することは不適切である。なぜなら、ミリ波レーダーの出力パワーに基づいて画像解析領域を設定する場合、車両から見た方位の方向、すなわち画像幅方向について画像解析領域を限定することが可能となるが、ボッツドッツ等の認識において効果的なのは、むしろ道路長手方向、すなわち画像の奥行き方向について画像解析領域を限定することだからである。

本発明はこのような課題を解決するためのものであり、処理負荷を軽減しつつ、道路区画線を適切に認識することが可能な道路区画線認識装置を提供することを、主たる目的とする。

上記目的を達成するための本発明の一態様は、車両周辺を撮像する撮像手段を備え、撮像手段の撮像画像を解析することにより道路区画線を認識する道路区画線認識装置であって、道路に敷設された第１物標の位置を特定する第１物標位置特定手段を備え、第１物標、及び第１物標とは異なる第２物標により区画されている道路において、撮像手段の撮像画像における第２物標の位置に基づいて道路区画線を認識する際には、第１物標位置特定手段により特定された第１物標の位置に相当する撮像手段の撮像画像上の位置の、手前側又は奥側に、第２物標を認識するための第２物標認識用画像解析領域を設定することを特徴とするものである。ここで、「物標」とは、白線や黄線で描画された実線・破線を含まない概念である。

この本発明の一態様によれば、走査線を設定して処理を行なうのが適切でない物標を認識する際には、第１物標位置特定手段により特定された第１物標の位置に相当する撮像手段の撮像画像上の位置の、手前側又は奥側に、第２物標を認識するための第２物標認識用画像解析領域を設定するため、処理負荷を軽減しつつ、道路区画線を適切に認識することができる。

本発明の一態様において、第１物標、及び第１物標とは異なる第２物標により区画されている道路において、撮像手段の撮像画像における第２物標の位置に基づいて道路区画線を認識する際に、第１物標位置特定手段が、道路長手方向に複数の前記第１物標の位置を特定した場合には、第１物標位置特定手段により特定された複数の第１物標の位置に相当する撮像手段の撮像画像上の位置の間に、第２物標を認識するための第２物標認識用画像解析領域を設定するものとしてもよい。

また、本発明の一態様において、第１物標、及び第１物標とは異なる第２物標により区画されている道路において、撮像手段の撮像画像における第１物標の位置に基づいて道路区画線を認識する際には、撮像手段の撮像画像上で、第１物標位置特定手段により特定された第１物標の位置に相当する位置を中心とする、第１物標を認識するための第１物標認識用画像解析領域を設定するものとしてもよい。

また、本発明の一態様において、撮像手段、及び第１物標位置特定手段は、夫々周期的に作動する手段であり、第１物標位置特定手段が第１物標の位置を特定しなかったタイミングに相当するタイミングで撮像された撮像手段の撮像画像については、撮像画像を解析しないことを特徴とするものとしてもよい。

本発明によれば、処理負荷を軽減しつつ、道路区画線を適切に認識することが可能な道路区画線認識装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

［構成］
以下、本発明の一実施例に係る道路区画線認識装置１について説明する。図１は、道路区画線認識装置１の全体構成の一例を示す図である。道路区画線認識装置１は、主要な構成として、前方カメラ１０と、レーダー装置２０と、ＬＫＡ用ＥＣＵ（Electronic Control Unit）３０と、メインスイッチ４０と、を備える。また、本装置の出力を利用するものとして、ステアリング装置５０を図示する。なお、図中の矢印は、多重通信線等を介した本装置における主要な情報通信の流れを示す。当該通信は、ＣＡＮ（Controller Area Network）やＢＥＡＮ、ＡＶＣ−ＬＡＮ、ＦｌｅｘＲａｙ等の適切な通信プロトコルを用いて行なわれる。

前方カメラ１０は、例えば、ウインドシールド中央上部に配設されたＣＣＤやＣＭＯＳ等の撮像素子を利用したカメラであり、車両前方の斜め下方に向いた光軸を有し、車両前方の道路を撮像する。前方カメラ１０の撮像画像は、例えばＮＴＳＣ（National Television Standards Committee）等のインターレース方式により生成される画像信号としてＬＫＡ用ＥＣＵ３０に送信される。

レーダー装置２０は、例えば、フロントグリル裏に配設されたミリ波レーダー装置であり、ミリ波の反射波が帰ってくるまでの時間、反射波の角度、及び周波数変化を利用して物体の距離、方位、速度を検出する。レーダー装置２０は、このような検出を定期的に行なって、検出した物体に関する情報、特に道路に敷設されたキャッツアイの位置（自車両から見た相対位置）をＬＫＡ用ＥＣＵ３０に送信する。レーダー装置２０は、周知の車間距離制御や衝突予測制御に用いられるレーダー装置が共用されてもよいし、本実施例の道路区画線認識装置１専用のものを備えてもよい。なお、物体の距離等を検出する手段としては、ミリ波レーダー装置の他に、レーザーレーダーや赤外線レーダー、音波レーダー（ソナー）、ステレオカメラ装置等が考えられる。

ＬＫＡ用ＥＣＵ３０は、例えば、例えば、ＣＰＵを中心としてＲＯＭやＲＡＭ等がバスを介して相互に接続されたコンピューターユニットであり、その他、ＨＤＤ（Hard Disc Drive）やＤＶＤ（Digital Versatile Disk）等の記憶媒体やＩ／Ｏポート、タイマー、カウンター等を備える。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。ＬＫＡ用ＥＣＵ３０は、例えばステアリング脇に配設されるメインスイッチ４０に対するユーザー操作により起動し、前方カメラ１０の撮像画像解析に基づいてステアリング装置５０に操舵信号を送信する。当該操舵信号送信の具体的内容については、後述する。

ＬＫＡ用ＥＣＵ３０は、ＲＯＭに記憶されたプログラムをＣＰＵがＲＡＭ上に展開（ロード）して実行することにより機能する主要な機能ブロックとして、画像認識部３２と、操舵信号生成部３４と、を備える。

画像認識部３２は、レーダー装置２０から送信されるキャッツアイの位置を補助情報とし、前方カメラ１０から送信された画像信号を解析して、道路区画線と自車両との位置関係を認識する（道路区画線を認識する）。画像解析による認識処理は、道路区画線の種類に応じて、異なる解析領域及び手法に基づいて行なわれる。本実施例は、白線や黄線の実線や破線等（以下、白線等と称する）で道路を区画する態様の道路区画線と、ボッツドッツ及びキャッツアイが共に敷設されることにより道路を区画する態様の道路区画線と、に対応可能な構成となっている。これは、ボッツドッツは夜間の視認が比較的困難であるため、ヘッドライトの照射光を反射することにより夜間視認が容易なキャッツアイが併設されていることが多い、という事実に基づくものである。

［１．白線等で道路が区画されている場合の認識手法］
この場合、画像認識部３２は、まず、前方カメラ１０の撮像画像における下部領域に基本解析領域を設定する。図２は、白線等を認識する際に、前方カメラ１０の撮像画像上に設定される基本解析領域を表す図である。基本解析領域は、車両ノーズの存在により道路が撮像できる限界線となる手前側の境界線から、道路区画線が十分正確に認識可能な程度の奥行きをもって設定される（例えば、実座標系（上空から見た現実の座標系）において自車両前方の数［ｍ］〜数十［ｍ］に相当する画像上の領域である）。また、左右の端部は、歩行者や建物等、画像認識において不要なノイズ要素の影響を低減するために中央側に若干狭められる。

基本解析領域を設定すると、当該領域内で適当な間隔をもって画像幅方向の走査線を複数本設定し、各走査線上で画像横方向の輝度変化が閾値以上の点（特徴点）を抽出する（図３参照）。ここで、「適当な間隔」とは、画像上で等間隔であってもよいし、道路上で等間隔に相当する画像上の間隔であってもよい。そして、ハフ変換等の直線抽出手法を用いて直線状又は曲線状に並んだ特徴点のうち長さが所定値以上のものを、道路区画線と認識する。そして、画像座標系から実座標系への変換処理や、カーブ路の場合には曲率推定処理等を経て、道路区画線で区画される走行車線と自車両との位置関係（例えば、ヨー角、及びオフセットで表される）が導出される。ここで、ヨー角とは、走行車線の延在方向と自車両の進行方向とのズレであり、オフセットとは、走行車線中心線からの自車両中心部の乖離である（図４参照）。

このように、白線等を認識する際には、基本解析領域内をくまなく走査して特徴点を抽出するのではなく、設定した走査線上で特徴点を抽出する。白線等は、画像奥行き方向に十分な長さを有するものであるため、係る手法によっても十分な数の特徴点を抽出することができる。従って、装置の処理負荷の軽減と認識精度の維持を両立させることができる。

［２．ボッツドッツとキャッツアイで道路が区画されている場合の認識手法］
ところが、［１］の手法を、そのままボッツドッツとキャッツアイで区画された道路に適用することは困難である。なぜなら、ボッツドッツやキャッツアイは間欠的に道路に敷設されるものであり、白線等ほどは、画像上に高密度に現れるものではないため、［１］の如く適当な間隔をもって画像幅方向の走査線を設定すると、当該間隔部分にボッツドッツやキャッツアイの多くが入ってしまい、十分な数のボッツドッツ等の位置を得ることができないからである。従って、基本的には走査線を設定せずに、与えられた画像解析領域内においてくまなく解析処理を行なうこととなる。しかしながら、基本解析領域の如く比較的広い領域においてくまなく解析処理を行なうと、画像認識部３２の処理負担が大きいものとなってしまう。

そこで、本実施例では、ボッツドッツとキャッツアイが併設された道路におけるこれらの敷設パターンに着目し、レーダー装置２０により検出されたキャッツアイの位置を基準にボッツドッツ用解析領域を設定することとした。こうした道路においては、一定のパターンでボッツドッツとキャッツアイが敷設されていることが通常であり（例えば、図５参照）、キャッツアイの位置を認識することができれば、ボッツドッツの存在確率が高い画像上の領域（以下、ボッツドッツ用解析領域と称する）を特定することができるからである。図中、αは、車両が走行する国又は地域に特有の、キャッツアイとボッツドッツ群との間隔（例えば、数［ｍ］程度の値）である。なお、当該値αは、本装置が使用される国又は地域に応じて、出荷時に既にＲＯＭ等に記憶されているものとする。

ここで、「キャッツアイの位置」とは、自車両からの距離、すなわち画像奥行き方向の位置をいい、「ボッツドッツ用解析領域」は、図６の各図に示す如く、同様の幅方向に関しては［１］の基本解析領域と同様であるが、画像奥行き方向に関して［１］の基本解析領域よりも制限された１又は２以上の領域である。

ボッツドッツ用解析領域は、画像上においてキャッツアイの手前側であってもよいし（図６（Ａ））、奥側であってもよい（図６（Ｂ））。例えば、キャッツアイが基本解析領域内の奥側の位置にあるときにはボッツドッツ用解析領域をキャッツアイの手前側に、キャッツアイが基本解析領域内の奥側の位置にあるときにはボッツドッツ用解析領域をキャッツアイの奥側に、夫々設定する等の手法が考えられる。図中、βは、上記αを画像座標系に変換して若干縮小したものであり、基準となるキャッツアイの自車両からの距離、及びカメラの設置パラメータ（ロール、パン、ピッチ、設置された高さ、焦点距離等）に基づいて導出される。

また、手前側と奥側の双方にボッツドッツ用解析領域を設定してもよい。また、２以上のキャッツアイが基本解析領域内に相当する位置で認識されている場合は、それらの間にボッツドッツ用解析領域を設定するのが妥当である（図６（Ｃ））。本図におけるβ_１とβは、異なる間隔である。

なお、画像幅方向に関する解析領域の制限については、カーブや上記オフセットに起因して、ボッツドッツ等の画像上の位置が比較的大きく変動するため、特段の制限をしないこととした。

また、ボッツドッツ間の間隔を考慮し、図６の各図で例示したボッツドッツ用解析領域を更に細分化したボッツドッツ用解析領域を設定するものとしてもよい（図７参照）。

図６及び図７に示した如く、ボッツドッツ用解析領域は、いずれも白線等を検出する際の基本解析領域よりも狭いものとなる。従って、処理負荷の軽減を図ることができる。

ボッツドッツ用解析領域を設定すると、当該領域内でパターンマッチング処理やモルフォロジー演算等の処理を行なって、ボッツドッツを認識する。そして、ボッツドッツであると認識された画像要素のうち、ハフ変換や投票処理を経て抽出される直線状又は曲線状に並んだ画像要素を連ねた仮想直線（又は曲線）を、道路区画線と認識する。なお、その後の走行車線と自車両との位置関係の認識については、［１］の場合と同様である。

このように、本実施例の道路区画線認識装置１では、走査線を設定して処理を行なうのが適切でないボッツドッツを認識する際には、レーダー装置２０により検出されたキャッツアイの位置、及びこれらの敷設パターンに基づいてボッツドッツ用解析領域を設定するため、処理負荷の軽減を図ることができる。また、ボッツドッツ用解析領域内には十分な数のボッツドッツが存在すると考えられるため、ボッツドッツの位置に基づいて道路区画線認識を適切に認識することができる。

なお、折角キャッツアイの画像奥行き方向の位置が認識されているのであるから、図８に示す如く、前方レーダー２０により検出されたキャッツアイの位置を中心とするキャッツアイ用解析領域を更に設定して、道路区画線認識に加味するものとしてよい。こうすれば、道路区画線認識をより適切に認識することができる。

上記［１］、［２］の切り替えについては、例えば、所定の長さ以上連続した特徴点が抽出された場合に白線等で道路が区画されており、所定の長さ以上連続した特徴点が抽出されなかった場合に白線等で道路が区画されていないと判断して、適宜切替えるものとすればよい。

［認識された道路区画線の利用］
画像認識部３２により導出された走行車線と自車両の位置関係は、操舵信号生成部３４に出力される。操舵信号生成部３４は、入力された位置関係に基づいて、所定時間後（例えば０コンマ数［ｓｅｃ］〜数［ｓｅｃ］等）に走行車線から逸脱すると予想された場合に、ブザーによる警報を行なうと共に、小さい補助操舵力を短時間出力するように操舵信号を生成して、ステアリング装置５０に送信する（車線逸脱警報制御）。また、自車両が走行車線中央部付近を安定的に走行できるように、小さい補助操舵力を連続的に出力するように操舵信号を生成してステアリング装置５０に送信する（車線維持支援制御）。これらの制御により、自車両の走行車線からの逸脱を抑制することができる。

なお、厳密に言うと、操舵信号生成部３４は、特許請求の範囲における「道路区画線認識装置」の範疇を超える機能ブロックであり、本実施例の道路区画線認識装置１は、「道路区画線認識装置を含む操舵制御システム」等と換言することができる。

ステアリング装置５０は、例えば、電動パワーステアリング装置であり、操舵角センサーやトルクセンサー、アシストモータ、コントローラー等を備える。ステアリング装置５０のコントローラーは、ＬＫＡ用ＥＣＵ３０から操舵信号が送信されない通常時には、トルクセンサーからのステアリングトルク信号やその他の車両状態信号（車速やヨーレート等）に基づいて、車両の操舵に必要なトルクを出力するように、アシストモータの駆動回路に制御信号を出力する。また、ＬＫＡ用ＥＣＵ３０から操舵信号が送信されている時には、上記通常時のアシストモータ制御に加えて（又は、代えて）ＬＫＡ用ＥＣＵ３０からの操舵信号に基づいて、アシストモータを制御する。

本実施例の道路区画線認識装置１によれば、処理負荷を軽減しつつ、道路区画線認識を適切に認識することができる。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、前方カメラ１０による撮像は、１秒間に数十回程度の周期で行なわれるのが通常であるが、夫々の撮像タイミングとレーダー装置２０の検出との同期をとり、レーダー装置２０によりキャッツアイが検出されなかった検出タイミングに相当する撮像タイミングで撮像された画像（フレーム）については、道路区画線認識の対象としないものとしてよい。キャッツアイが検出されなかった場合には、ボッツドッツ用解析領域を適切に設定することができないため、基本解析領域内においてくまなく解析処理を行わざるを得ないからである。

本発明は、自動車製造業や自動車部品製造業等に利用可能である。

道路区画線認識装置１の全体構成の一例を示す図である。 白線等を認識する際に、前方カメラ１０の撮像画像上に設定される基本解析領域を表す図である。 基本解析領域内で走査線を設定し、各走査線上で特徴点を抽出する様子を示す図である。 ヨー角、及びオフセットを示す図である。 ボッツドッツとキャッツアイの敷設パターンの一例を示す図である。 前方カメラ１０の撮像画像において設定される、ボッツドッツ用解析領域の例を示す図である。 前方カメラ１０の撮像画像において設定される、ボッツドッツ用解析領域の他の例を示す図である。 前方カメラ１０の撮像画像において、ボッツドッツ用解析領域に加えてキャッツアイ用解析領域が設定される様子を示す図である。

符号の説明

１ 道路区画線認識装置
１０ 前方カメラ
２０ レーダー装置
３０ ＬＫＡ用ＥＣＵ
３２ 画像認識部
３４ 操舵信号生成部
４０ メインスイッチ
５０ ステアリング装置

Claims (4)

1. 車両周辺を撮像する撮像手段を備え、該撮像手段の撮像画像を解析することにより道路区画線を認識する道路区画線認識装置であって、
   道路に敷設された第１物標の位置を特定する第１物標位置特定手段を備え、
   前記第１物標、及び前記第１物標とは異なる第２物標により区画されている道路において、前記撮像手段の撮像画像における前記第２物標の位置に基づいて道路区画線を認識する際には、
   前記第１物標位置特定手段により特定された前記第１物標の位置に相当する前記撮像手段の撮像画像上の位置の、手前側及び／又は奥側に、前記第２物標を認識するための第２物標認識用画像解析領域を設定することを特徴とする、
   道路区画線認識装置。
2. 請求項１に記載の道路区画線認識装置であって、
   前記第１物標、及び前記第１物標とは異なる第２物標により区画されている道路において、前記撮像手段の撮像画像における前記第２物標の位置に基づいて道路区画線を認識する際に、
   前記第１物標位置特定手段が、道路長手方向に複数の前記第１物標の位置を特定した場合には、
   前記第１物標位置特定手段により特定された複数の前記第１物標の位置に相当する前記撮像手段の撮像画像上の位置の間に、前記第２物標を認識するための第２物標認識用画像解析領域を設定することを特徴とする、
   道路区画線認識装置。
3. 請求項１又は２に記載の道路区画線認識装置であって、
   前記第１物標、及び前記第１物標とは異なる第２物標により区画されている道路において、前記撮像手段の撮像画像における前記第１物標の位置に基づいて道路区画線を認識する際には、
   前記撮像手段の撮像画像上で、前記第１物標位置特定手段により特定された前記第１物標の位置に相当する位置を中心とする、前記第１物標を認識するための第１物標認識用画像解析領域を設定することを特徴とする、
   道路区画線認識装置。
4. 請求項１ないし３のいずれかに記載の道路区画線認識装置であって、
   前記撮像手段、及び前記第１物標位置特定手段は、夫々周期的に作動する手段であり、
   前記第１物標位置特定手段が前記第１物標の位置を特定しなかったタイミングに相当するタイミングで撮像された前記撮像手段の撮像画像については、撮像画像を解析しないことを特徴とする、
   道路区画線認識装置。

Images