JP4951481B2

JP4951481B2 - 路面標示認識装置

Info

Publication number: JP4951481B2
Application number: JP2007318122A
Authority: JP
Inventors: 健志磨; 將裕清原; 耕太入江; 正樹中村
Original assignee: Aisin AW Co Ltd; Hitachi Automotive Systems Ltd
Current assignee: Aisin AW Co Ltd; Hitachi Astemo Ltd
Priority date: 2007-12-10
Filing date: 2007-12-10
Publication date: 2012-06-13
Anticipated expiration: 2027-12-10
Also published as: JP2009139306A

Description

本発明は、車両に搭載されたカメラの映像を処理し、車両の周囲の環境である道路上の路面標示、信号機、標識等を認識する装置に関する。

車両に搭載されたカメラの映像を画像処理し、路面上の路面標示を認識し、自車の位置を高精度に算出し、車両の制御等を行うことを目的とする装置に関して、高速道路の分岐路を認識対象とする装置が特許文献１、停止線を認識対象とする装置が特許文献２に記載されている。

特開2007−003286号公報特開2004−086363号公報

特許文献１の自動車位置検出装置は、車両に設置したカメラで高速道路の分岐路の路面標示を認識して自車位置を算出し車両の減速等の制御を行う装置である。しかし、分岐路の周囲に類似した形状の路面標示が存在する場合、実際の分岐路と違う場所で誤認識が発生し、自車の位置が実際とは異なる位置に算出され、車両制御の誤動作が発生する可能性がある。

また特許文献２の車両用運転補助装置は、交差点において一時停止線を認識し運転者の運転補助を行う装置である。しかし、一時停止線の周辺に類似した形状の路面標示が存在する場合、実際の位置と異なる位置において一時停止線と誤認識し、誤動作が発生する可能性がある。

本発明の目的は、上記従来技術の問題点に鑑み、認識率の向上と処理時間の削減を図る路面表示認識装置を提供することにある。

上記目的を達成するための本発明は、車両の路面周囲を撮像する画像入力手段と、入力した画像を処理して車両の路面周囲の認識対象物を認識する認識手段を有し、前記認識手段は前記画像入力手段によって得られた画像上の前記認識対象物の少なくとも一つの特徴に基づいて前記認識対象物を判定する第一の判定手段と、前記第一の判定手段が用いる特徴より多い特徴に基づいて前記認識対象物を判定する第二の判定手段を備えてなる路面標示認識装置であって、前記認識手段は更に判定条件決定手段を備えており、前記判定条件検定手段は前記車両の周辺に前記認識対象物の特徴と形状が類似した路面標示が存在しない場合は前記第一の判定手段によって前記認識対象物を判定させ、前記車両の周辺に前記認識対象物の特徴と形状が類似した路面標示が存在する場合は前記第二の判定手段によって前記認識対象物を判定させることを特徴とする。

また、認識手段は認識すべき認識対象物の特徴と類似する路面標示の有無と認識すべき特徴数を記憶した記憶手段を有し、判定条件決定手段は認識すべき前記認識対象物によって決まる特徴数によって前記第一の判定手段と前記第二の判定手段を選択することを特徴とする。また、記憶手段には認識すべき認識対象物から所定の範囲内に存在する認識対象物と所定の類似関係にある路面標示が記憶されていることを特徴とする。

本発明の作用を説明する。車両に搭載したカメラを用いて路面標示を認識させる際に、その時の自車位置周辺に存在する路面標示の種類に関して地図データ内を検索する。地図データには、路面標示の種類と位置が記載されている。検索した結果、これから認識しようとしている路面標示と形状が類似している路面標示の有無に応じて、認識アルゴリズムの判定条件を変更する。自車位置の周辺に形状が類似した路面標示が存在しない場合は、認識の判定条件とする画像上の特徴量の必要数を少なくし、路面標示がかすれているといった条件の悪い場合においても認識ができるようにするとともに、処理時間の削減も図る。一方、自車位置の周辺に形状が類似した路面標示が存在する場合は、認識の判定条件とする画像上の特徴量の必要数を多くし、類似した形状の路面標示において誤認識しないようにする。

認識対象物と類似した形状の路面標示の有無によって、認識アルゴリズムの判定条件を変えることで、類似した形状が周辺にない場合は認識率の向上と処理時間の削減、類似した形状が周辺にある場合は誤認識率の削減が可能となる。

以下、本発明の一実施例について図面を参照しながら詳細に説明する。ここでは、車両に搭載されたリアカメラの映像を用いて、路面標示を認識するシステムに適用した場合の実施形態について説明する。

図１は本発明の路面表示認識装置の構成の概要を示す機能ブロック図である。101は車両に搭載しているカーナビゲーション機能であり、地図データ102上における車両の位置を計算して、車両の運転手や乗員に車両の現在位置情報を提供する。また地図データ102には、道路上に描かれている路面標示と車線境界線（以下白線とする）の種類、位置、方位等が記載されている。

リアカメラ108は車両の後部に設置しているカメラであり、車両後方の路面を撮影する。リアカメラ画像認識機能103の路面標示認識機能105は、リアカメラ108で撮影された映像中の路面標示と白線の種類、車両との相対位置、車両との相対角度等を自動で検出する。ここで、路面標示とは、路面上に描かれたペイントであり、例えば、横断歩道、一時停止線、最高速度標示、進行方向別通行区分標示、転回禁止標示といったものである。路面標示認識機能105の詳細に関しては後述する。

路面標示認識機能105は、認識した路面標示と白線の種類、車両との相対位置、車両との相対角度等をカーナビゲーション機能101に送信する。カーナビゲーション機能101は、路面標示認識機能105から受信した路面標示と白線の種類、車両との相対位置、車両との相対角度等と、地図データ102に記載されている路面標示と白線の種類、位置、方位等と照合して、車両の現在位置を補正する。

リアカメラ画像認識機能103の認識対象物受信機能104は、路面標示認識機能105が認識する路面標示と白線の種類をカーナビゲーション機能101から受信し、路面標示認識機能105に送信する。路面標示認識機能105は、認識対象物受信機能104から受信した特定の種類の路面標示や白線を認識するためのソフトウェアを起動して、リアカメラ108の映像中の、特定の種類の路面標示や白線の車両との相対位置、車両との相対角度等を認識する。認識対象物受信機能104の詳細に関しては後述する。

リアカメラ画像認識機能103の周囲状況受信機能106は、認識対象物受信機能104が受信した認識対象物の周辺に存在する路面標示等の種類、車両との相対位置をカーナビゲーション機能101から受信する。周囲状況受信機能106は、受信した認識対象物の周辺に存在する路面標示等の種類、車両との相対位置を判定手段決定機能107に送信する。周囲状況受信機能106の詳細に関しては後述する。

リアカメラ画像認識機能103の判定条件決定機能107は、認識対象物受信機能104から路面標示認識機能105が認識する路面標示と白線の種類を受信する。また、周囲状況受信機能106から認識対象物の周辺に存在する路面標示等の状況を受信し、これらから認識対象物を認識するための判定条件を決定し、路面標示認識機能105へ送信する。判定条件決定機能107の詳細に関しては後述する。

次に、リアカメラ画像認識103の路面標示認識機能105における処理内容について説明する。図２は、路面標示認識機能105において実行されるフローチャートであり、まず、画像入力処理201において、リアカメラ108の画像を取得する。

次に、認識対象物決定処理207において、認識対象物受信機能104から受信した認識対象物を登録して、登録された認識対象物を認識する処理を以下213、202〜205にて行う。ここで認識対象物とは、横断歩道、一時停止線、最高速度標示、進行方向別通行区分標示、転回禁止標示といった路面標示である。また認識対象物が複数ある場合は、214から215の間にある処理を認識対象物数分繰り返して実行する。

次に、判定条件読込処理213において、判定条件決定機能107から受信した各認識対象物を認識するための判定条件を受信する。この判定条件の内容の詳細については後述する。

次に画像前処理202において、画像入力処理201で取得した画像に対して、ノイズを除去する処理を行う。認識対象物は道路上の路面標示、白線であり、ペイントがかすれている場合が多いため、路面標示、白線の特徴量を抽出しやすくするように、路面標示ペイントのかすれを補正する処理を行う。

図３は画像処理の説明図で、（ａ）は画像前処理、（ｂ）は路面表示特徴量抽出処理を示している。（ａ）に示したように、入力画面208の注目画素f4（212）を中心とした3×3近傍領域f0〜f8の画素の輝度値のうち、最大の輝度値を注目画素f4の輝度値として置き換える。次に、路面標示特徴量抽出処理203では、（ｂ）における入力画面208の路面209と路面標示210との間の輝度値の変化を検出して、路面標示210の輪郭を抽出する。

次に、判定処理204では、路面標示特徴量抽出処理203で抽出した路面標示の輪郭が、認識対象物決定処理207で登録した対象路面標示の特徴と一致するかどうかを判定し、一致した場合は、認識対象の路面標示を認識したものと判定する。この際、判定を行うための条件として、前述の判定条件読込処理213で読み込んだ判定条件を使用する。

認識結果出力処理205では、判定処理204にて認識対象とした路面標示を認識した場合、認識した路面標示の種類、車両からの相対位置、車両との相対角度を、カーナビゲーション機能101へ出力する。

最後に、分岐206において、新しい画像入力信号が来ていない場合はウエイトし、新しい画像入力信号が来ている場合は、処理201へ戻る。

次に、リアカメラ画像認識機能103の認識対象物受信機能104で受信するデータの詳細ついて述べる。図４は、リアカメラ画像認識機能における認識対象物受信機能を示す説明図である。自車301が「横断歩道又は自転車横断帯あり」標示（以下「横断歩道あり」）302、303、一時停止線304、横断歩道305の路面標示上を走行し、それぞれの路面標示を認識するシーンを示している。

自車301のカーナビゲーション機能101の地図データ102は、路面標示302〜305の道路上の位置に関するデータを持っている。また、カーナビゲーション機能101は、GPSやジャイロ等の情報により自車位置を計測し、地図データ102上でのおおよその位置を算出している。

カーナビゲーション機能101は、自車位置が認識する横断歩道あり標示302の近傍306にあると判定した範囲において、横断歩道ありの認識要求を範囲306においてリアカメラ画像認識機能103の認識対象物受信機能104へ送信する。認識ロジック起動範囲306は、地図データ102における認識対象物の位置を中心として、GPSやジャイロ等を用いた車両の測位精度の平均的な誤差分を前後に加えた距離の区間とする。同様に、横断歩道あり標示303の近傍307においては横断歩道ありの認識要求、一時停止線標示304の近傍308においては一時停止線の認識要求、横断歩道標示305の近傍309においては横断歩道の認識要求をリアカメラ画像認識機能103の認識対象物受信機能104へ送信する。認識ロジック起動範囲307〜309は、306と同様の方法で決定する。

この結果、図４のシーンにおいて、リアカメラ画像認識機能103の認識対象物受信機能104がカーナビゲーション機能101から受信する認識対象物は次のようになる。区間310においては無し、区間311においては横断歩道あり標示、区間312においては横断歩道あり標示と一時停止線標示、区間313においては一時停止線標示、区間314においては一時停止線標示と横断歩道標示、区間315においては横断歩道標示、区間316においては無しとなる。

次に、リアカメラ画像認識機能103の周囲状況受信機能106で受信するデータについて説明する。図５はリアカメラ受信機能の周囲状況受信機能におけるデータの内容を示したものである。自車301が横断歩道あり標示302、303の上を走行し、区間402においてリアカメラ画像認識機能103の認識対象物受信機能104が横断歩道ありの認識要求を受信するシーンである。この際、カーナビゲーション機能101は地図データ102内を検索して、認識対象物である横断歩道あり標示302、303の近傍に横断歩道あり標示と形が類似している路面標示があるかどうかを検索する。その結果、類似した標示（図５の場合はゼブラ標示401）がある場合はその路面標示の種類（ゼブラ標示）をリアカメラ画像認識機能103の周囲状況受信機能106へ送信する。

図６は、周囲状況受信機能の他のデータの内容を示している。自車301がＴ字標示501の上を走行し、区間502においてリアカメラ画像認識機能103の認識対象物受信機能104がＴ字標示の認識要求を受信するシーンである。この際、カーナビゲーション機能101は地図データ102内を検索して、認識対象物であるＴ字標示501の近傍にＴ字標示と形が類似している路面標示があるかどうかを検索し、類似した標示（図６の場合は白線と一時停止線標示503の組み合わせ）がある場合はその路面標示の種類（白線＋一時停止線）をリアカメラ画像認識機能103の周囲状況受信機能106へ送信する。

また図７は周囲状況受信機能の更に他のデータの内容を示している。自車301が高速道路の太破線標示601の上を走行し、区間602においてリアカメラ画像認識機能103の認識対象物受信機能104が太破線標示の認識要求を受信するシーンである。この際、カーナビゲーション機能101は地図データ102内を検索して、認識対象物である太破線標示601の近傍に太破線標示と形が類似している路面標示があるかどうかを検索し、類似した標示（図７の場合は破線タイプの三重線603）がある場合はその路面標示の種類（破線タイプの三重線）をリアカメラ画像認識機能103の周囲状況受信機能106へ送信する。

次に、リアカメラ画像認識機能103の判定条件決定機能107における処理内容について説明する。図８は判定条件決定機能のフローチャートである。まず、認識対象物受信処理701において、リアカメラ画像認識機能103の認識対象物受信機能104から、認識する路面標示の種類を受信する。次に、周囲状況受信処理702において、リアカメラ画像認識機能103の周囲状況受信機能106から、認識対象物の近傍に存在する類似路面標示の種類を受信する。次に、認識対象物受信処理701で受信した認識対象物数分、フローチャート中の706と707の間の判定条件読込処理703を繰り返す。

判定条件読込処理703において、認識対象物受信処理701で受信した認識対象物と、周囲状況受信処理702で受信した類似路面標示の種類の組み合わせについて判定条件データ704を検索し、該当組み合わせに記載されている判定条件を読み込む。本処理703で読み込むデータの内容については後述する。最後に、判定条件出力処理705において、判定条件読込処理703で読み込んだ判定条件を、リアカメラ画像認識機能103の路面標示認識機能105へ送信する。

図９は判定条件データの内容について示している。判定条件データ704は、認識対象物801、類似路面標示802、判定条件803の各データの組み合わせで構成されている。804〜806は、横断歩道あり標示認識について３種類の判定条件を示している。804は横断歩道あり標示の近傍に類似路面標示がない場合、805は横断歩道あり標示の近傍に止まれ標示がある場合、806は横断歩道あり標示の近傍にゼブラ標示がある場合の判定条件である。

図１０は判定データの説明図である。804の場合の判定条件は、２種類の特徴量を検出することを条件とする判定条件であり、図１０(ａ)に示すように、901と902の２種類の特徴量が検出できた場合に横断歩道あり標示と判定する。805の場合の判定条件は、４種類の特徴量を検出することを条件とする判定手段であり、図１０(ｂ)に示すように、901〜904の４種類の特徴量が検出できた場合に横断歩道あり標示と判定する。これは、類似路面標示である止まれ標示が、図１０(ｃ)に示すように905と906の特徴量を持ち、これらの特徴量が図１０(ａ)の特徴量901、902と類似しているためである。806の場合の判定条件は、４種類の特徴量を検出することと、特徴量の周囲の路面にペイントがないことを条件とする判定条件であり、図１０(ｂ)に示す901〜904の特徴量を検出して、かつ、図１０(ｄ)に示すように907の領域にペイントがない場合に横断歩道あり標示と判定する。これは、類似路面標示であるゼブラ表示が、図１０(ｅ)に示す908〜911の特徴を持ち、これらの特徴量が図１０(ｂ)の特徴量901〜904と類似しているためである。

また図９の807、808は、図６で示したＴ字標示認識について、２種類の判定条件を示している。807はＴ字標示の近傍に類似路面標示がない場合、808はＴ字標示の近傍に図６の503に示したような白線と一時停止線標示が組み合わさったパターンがある場合である。807は、Ｔ字型の特徴量があることを条件とする判定条件であり、808は、Ｔ字型の特徴量があり、かつ、Ｔ字型の寸法がある一定範囲内にあることを条件とする判定条件である。

また図９の809、810は、図７で示した太破線標示認識について、２種類の判定条件を示している。809は太破線標示の近傍に類似路面標示がない場合、810は太破線標示の近傍に図７の603に示したような破線タイプの三重線がある場合である。809は矩形型の特徴量が１つあることを条件とする判定条件であり、810は、矩形型の特徴量があり、かつ、その特徴量が２回連続して検出されることを条件とする判定条件である。

次に、図１１、図１２を用いて、本発明を実現するハードウェア構成を説明する。図１１が第一の例によるハードウェア構成である。リアカメラ108はレンズ1001とCCD1002とで構成される。1004はCPUであり、このCPUには、リアカメラ画像認識機能103とカーナビゲーション機能101が実装される。1005はハードディスクであり、地図データ102が実装され、CPU1004はハードディスク1005の地図データ102を参照する。リアカメラ108とCPU1004は映像信号線1003で接続され、リアカメラ108の映像は、映像信号線1003によりCPU1004のリアカメラ画像認識機能103へ送信される。また、CPU1004はCAN1006に接続され、車両の他のCPUや車両の制御装置と相互にデータの送受信を行う。

本例の構成は、リアカメラ画像認識機能103とカーナビゲーション機能101との間のデータ送受信量が多い場合に適用すると、データ送受信速度や容量が大きくなりシステムのパフォーマンスが良い。

図１２は第二例によるハードウェア構成である。リアカメラ108はレンズ1101、CCD1102とCPU1107とで構成される。CPU1107には、リアカメラ画像認識機能103が実装される。CPU1104にはカーナビゲーション機能101が実装され、ハードディスク1105には地図データ102が実装され、CPU1104はハードディスク1105の地図データ102を参照する。また、CPU1107とCPU1104はCAN1106に接続され、リアカメラ画像認識機能103とカーナビゲーション機能101との間でデータの送受信を行うほか、車両の他のCPUや車両の制御装置と相互にデータの送受信を行う。リアカメラ画像認識機能103とカーナビゲーション機能101との間のデータの送受信は、専用信号線によっても行うことができる。

本例の構成は、リアカメラ画像認識機能103やカーナビゲーション機能101の処理負荷が大きい場合に適用すると、路面標示認識やカーナビゲーション機能の高負荷な処理が可能となりシステムのパフォーマンスが良い。

また本発明は、図１のリアカメラ108を車両の他の部分に設置したカメラを使用することでも実現できる。その場合、リアカメラ108の代わりに、車両の後側方を撮影範囲とするドアミラー部分に設置した後側方カメラ、車両の前方を撮影範囲とするフロントカメラを使用する。またカメラを複数使用すると、それぞれのカメラの映像の認識結果を相互に照合することによって、図１の面標示認識機能103の信頼性が向上する。その場合は、リアカメラ108と後側方カメラの組み合わせ、リアカメラ108とフロントカメラの組み合わせ、左右のドアミラーに設置した２台の後側方カメラの組み合わせ、後側方カメラとフロントカメラの組み合わせが可能である。

本発明で取り扱っている路面標示認識システムは、カメラとカーナビゲーションを搭載した車両において、路面標示以外の周囲の走行車両を認識し、他の車両との衝突防止や運転支援を行う車両の予防安全システムにも適用可能である。

本発明の一実施例による路面表示認識装置の概要を示したブロック図。リアカメラ画像認識機能の路面標示認識機能における処理のフローチャート。画像前処理と路面標示特徴量抽出処理の説明図。リアカメラ画像認識機能の認識対象物受信機能の処理内容を示す説明図。リアカメラ画像認識機能の周囲状況受診機能の受信データの説明図。リアカメラ画像認識機能の周囲状況受診機能の受信データの説明図。リアカメラ画像認識機能の周囲状況受診機能の他の受信データの説明図。リアカメラ画像認識機能の判定手段決定機能の処理を示すフローチャート。判定手段決定機能における判定手段データの説明図。判定手段決定機能における判定手段データの内容の説明図。第一の例による路面表示認識装置のハードウェアを示した構成図。第二の例による路面表示認識装置のハードウェアを示した構成図。

符号の説明

101…カーナビゲーション装置、102…地図データ、103…リアカメラ画像認識機能、104…認識対象物受信機能、105…路面標示認識機能、106…周囲状況受信機能、107…判定条件決定機能、108…リアカメラ、201…画像入力処理、202…画像前処理、203…路面標示特徴量抽出処理、204…判定処理、205…認識結果出力処理、207…認識対象物決定処理、208…入力画面、209…路面、210…路面標示、211…路面標示が認識できる範囲、212…中心画素、301…自車、302…横断歩道あり標示、303…横断歩道あり標示、304…一時停止線標示、305…横断歩道標示、306…横断歩道あり認識ロジック起動範囲、307…横断歩道あり認識ロジック起動範囲、308…一時停止線認識ロジック起動範囲、309…横断歩道認識ロジック起動範囲、310…認識ロジックが起動されていない区間、311…横断歩道あり認識ロジック起動区間、312…横断歩道あり・一時停止線認識ロジック起動区間、313…一時停止線認識ロジック起動区間、314…一時停止線・横断歩道認識ロジック起動区間、315…横断歩道認識ロジック起動区間、316…認識ロジックが起動されていない区間、401…ゼブラ標示、402…横断歩道あり認識ロジック起動区間、501…Ｔ字標示、502…Ｔ字認識ロジック起動区間、601…太破線標示、602…太破線認識ロジック起動区間、603…破線タイプの三重線、701…認識対象物受信処理、702…周囲状況受信処理、703…判定条件読込処理、704…判定条件データ、705…判定条件出力処理、801…認識対象物、802…類似路面標示、803…判定条件、804…横断歩道あり標示単独の場合の判定条件、805…横断歩道あり標示と止まれ標示がある場合の判定条件、806…横断歩道あり標示とゼブラ標示がある場合の判定条件、807…Ｔ字標示単独の場合の判定条件、808…Ｔ字標示と白線＋一時停止線がある場合の判定条件、809…太破線標示単独の場合の判定条件、810…太破線標示と破線タイプ三重線がある場合の判定条件、901〜904…横断歩道あり標示の特徴量、905〜906…止まれ標示の特徴量、907…横断歩道あり標示の近傍、908…ゼブラ標示の特徴量、1001…レンズ、1002…ＣＣＤ、1003…映像信号線、1004…ＣＰＵ、1005…ハードディスク、1006…ＣＡＮ、1101…レンズ、1102…ＣＣＤ、1104…ＣＰＵ、1105…ハードディスク、1106…ＣＡＮ、1107…ＣＰＵ。

Claims

車両の路面周囲を撮像する画像入力手段と、入力した画像を処理して車両の路面周囲の認識対象物を認識する認識手段を有し、前記認識手段は前記画像入力手段によって得られた画像上の前記認識対象物の少なくとも一つの特徴に基づいて前記認識対象物を判定する第一の判定手段と、前記第一の判定手段が用いる特徴より多い特徴に基づいて前記認識対象物を判定する第二の判定手段を備えてなる路面標示認識装置であって、
前記認識手段は更に判定条件決定手段を備えており、前記判定条件検定手段は前記車両の周辺に前記認識対象物の特徴と形状が類似した路面標示が存在しない場合は前記第一の判定手段によって前記認識対象物を判定させ、前記車両の周辺に前記認識対象物の特徴と形状が類似した路面標示が存在する場合は前記第二の判定手段によって前記認識対象物を判定させることを特徴とする路面標示認識装置。
請求項１において、前記認識手段は認識すべき前記認識対象物の特徴と類似する路面標示の有無と認識すべき特徴数を記憶した記憶手段を有し、前記判定条件決定手段は認識すべき前記認識対象物によって決まる特徴数によって前記第一の判定手段と前記第二の判定手段を選択することを特徴とする路面標示認識装置。
請求項２において、前記記憶手段には認識すべき前記認識対象物から所定の範囲内に存在する前記認識対象物と所定の類似関係にある路面標示が記憶されていることを特徴とする路面標示認識装置。