JP5680573B2 - 車両の走行環境認識装置 - Google Patents

Description

本発明は、夜間走行における自車両前方の走行環境を車載カメラで精度良く撮影できるようにした車両の走行環境認識装置に関する。

従来、車載カメラで周囲の走行環境を撮影し、撮影した走行環境から歩行者、先行車、信号旗等の立体物、及び信号旗の灯色等を検出して、車間距離維持制御（ＡＣＣ）や追突防止制御（プリクラッシュ制御）等に利用する技術が知られている。

この場合、夜間走行では、昼間走行のように太陽光の反射によって認識対象物（道路標識、白線、歩行者等）を認識することができないため、車載カメラは、自車両の前照灯（ヘッドライト）にて照射した際の反射光から認識対象物を認識し、或いは、点灯している先行車のテールライト、対向車のヘッドライト、信号機のような光源を検出し、当該認識対象物や光源と自車両との距離等を求める。その際、ヘッドライトは、通常はハイビームに設定し、車載カメラで先行車や対向車を認識した場合に、ロービームに切替える配光制御を行う技術も知られている。

又、夜間走行時は、車載カメラに対する入射光量が減少するため、露光量を大きく設定する場合が多い。しかし、車載カメラの露光量を大きく設定すると、点灯している対向車のヘッドライト、信号機等の光源からの光量が強すぎてブルーミングを起こす可能性が高くなる。一方、露光量を小さく設定すると、自発光しない認識対象物を認識することが困難となる。

この対策として、例えば特許文献１（特開２００５−９２８５７号公報）には、高輝度検出用露光量と低輝度検出用露光量とを切替えて撮影した画像を解析することで、近接する対向車の点灯しているヘッドライトや遠方を走行する先行車のテールライト等の光源を検出すると共に、車載カメラの撮像面に映し出された左右２つの光源（ヘッドライトやテールライト）の間隔から画像上の車幅を求め、この画像上の車幅と車載カメラの焦点距離とに基づいて先行車や対向車と自車両との距離を求める技術が開示されている。

特開２００５−９２８５７号公報

上述した文献に開示されている技術では、先行車や対向車と自車両との距離を求めるに際し、車載カメラの撮像面に映し出された左右２つのヘッドライトやテールライト間の間隔を先ず算出する必要がある。

しかし、高輝度検出用露光量と低輝度検出用露光量とでは、画像上の光源の見え方が相違するため、ヘッドライトやテールライトの中心を検出することが困難であり、左右２つのヘッドライトやテールライト間の間隔を正確に検出することができず、その結果、先行車や対向車と自車との間の距離を常に精度良く求めることができない不都合がある。

又、上述した文献に開示されている技術では、車載カメラが、ヘッドライトの配光（ハイビームとロービーム）、及び先行車や対向車のある無しに拘らず、常に、高輝度検出用露光量と低輝度検出用露光量とを切替えているため、例えば低輝度検出用露光量のみの方が検出精度を高くすることができる環境であっても、高輝度検出用露光量が実行されるため、夜間走行時の走行環境の認識精度が低下するばかりでなく、認識対象物と自車との距離を正確に検出することが困難となる。

本発明は、上記事情に鑑み、車載カメラで撮影した画像に基づいて認識する夜間走行時の走行環境の精度を高めると共に、自車両と認識対象物との距離を正確に検出することのできる車両の走行環境認識装置を提供することを目的とする。

本発明は、車両に搭載されて該車両の前方を撮影する車載カメラと、前記車載カメラで撮影した画像を取得して少なくとも先行車を認識し、該先行車の認識状況に応じてヘッドライトの配光と前記車載カメラの露光量とを設定する画像認識処理手段と、前記画像認識処理手段で設定した配光に基づいて前記ヘッドライトの配光を動作させる配光制御手段と、前記画像認識処理手段で設定した露光量に基づいて前記車載カメラの露光量を調整するカメラ制御手段とを備える車両の走行環境認識装置において、前記画像認識処理手段は前記先行車と前方の光源との認識状況に応じて、低輝度検出用露光量と高輝度検出用露光量とを画像信号の１フレーム毎に交互に設定する第１露光量モードと単独の露光量で固定する第２露光量モードとを選択し、選択した露光量モードで前記カメラ制御手段を露光動作させる。

本発明によれば、車載カメラで撮影した画像に基づき先行車の認識状況に応じて、異なる露光量を切替え動作させる第１露光量モードと単独の露光量で固定する第２露光量モードとを選択するようにしたので、例えば、先行車が認識されない場合に第１露光量モードを選択し、先行車が認識された場合に第２露光量モードを選択することで、車載カメラにによる夜間走行時の走行環境の認識精度を高めることができると共に、自車両と認識対象物との距離を正確に検出することができる。

走行環境認識装置の概略構成図 配光・露光量制御ルーチンを示すフローチャート 先行車を認識した際の配光制御を示す説明図 対向車を認識した際の配光制御を示す説明図 （ａ）は低輝度検出用露光量で撮影した画像の説明図、（ｂ）は高輝度検出用露光量で撮影した画像の説明図 走行環境条件と制御内容とを示す説明図

以下、図面に基づいて本発明の一実施形態を説明する。図１の符号１は自動車等の車両であり、この車両の前端左右にヘッドライト２が配設され、又、車室内の前部であってフロントガラスの上部に車載カメラ３が臨まされている。この車載カメラ３は、メインカメラ３ａとサブカメラ３ｂとからなるステレオカメラであり、各カメラ３ａ，３ｂには、ＣＣＤ，ＣＭＯＳ等の撮像素子（イメージセンサ）が内蔵されている。更に、この両カメラ３ａ，３ｂが、車幅方向中央に配設されているルームミラを挟んで左右の対称な位置に配設されている。

メインカメラ３ａは、ステレオ処理を行う際に必要な基準画像（右画像）を撮影し、サブカメラ３ｂは、この処理における比較画像（左画像）を撮影する。互いに同期している状態において、両カメラ３ａ，３ｂから出力される、ＲＧＢの各アナログ画像が、Ａ／Ｄコンバータ４により所定階調のデジタル画像に変換される。そして、デジタル変換された画像は、配光・露光量制御ユニット１１に出力される。

配光・露光量制御ユニット１１は、マイクロコンピュータを主体に構成され、周知のＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＣＰＵで処理される配光・露光量制御機能として、画像認識処理手段としての画像認識処理部１２、配光制御手段としての配光制御部１３、カメラ制御手段としてのカメラ制御部１４を備えている。又、配光制御部１３とカメラ制御部１４とにオートライトスイッチ２１からのＯＮ／ＯＦＦ信号が入力される。

画像認識処理部１２は、車載カメラ３で撮影した画像を取得し、立体的な認識対象物、及び自発光している認識対象物（以下、「光源」と称する）を認識する。ここで、立体的な認識対象物としては、先行車、対向車、白線、縁石、歩行者、道路標識等がある。又、光源としては、信号機、街灯、先行車のテールライトや対向車のヘッドライト等がある。これら光源を含む認識対象物は、例えば周知のパターンマッチング法等を用いて認識される。

更に、画像認識処理部１２は、メインカメラ３ａとサブカメラ３ｂとでそれぞれ撮影した同一立体物、同一光源の画像の視差から、各立体物及び各光源と自車両１との距離を求める。尚、立体物の距離の求め方については周知であるため説明を省略する。又、この画像認識処理部１２で認識した対象物（先行車、対向車等）の情報、及びそれらと車両１との距離情報は、車間距離制御機能付クルーズコントロールシステム（ＡＣＣ：Adaptive Cruise Control）やプリクラッシュ制御を実行する際のパラメータとして読込まれる。

又、この画像認識処理部１２では、前方所定範囲内に先行車或いは対向車の光源が存在するか否かを調べ、その検出結果（認識状況）に応じて、配光制御部１３にハイビームかロービームかの配光制御信号を出力し、又、カメラ制御部１４に対して露光量制御信号を出力する。

この露光量制御として、画像認識処理部１２は、第１露光量モードと第２露光量モードとを備えている。第１露光量モードは、両カメラ３ａ，３ｂに設けられている撮像素子の蓄積時間等を調整して、低輝度検出用露光量（露光時間大）と高輝度検出用露光量（露光時間小）とを画像信号の１フレーム毎に同期して交互に切替えるものである。又、第２露光量モードは、露光量を低輝度検出用露光量（露光時間大）に固定するものである。

すなわち、画像認識処理部１２で、先行車と対向車の光源との何れも検出されない、或いは対向車の光源のみが検出された場合は、露光量を低輝度検出用露光量と高輝度検出用露光量とで交互に切替える第１露光量モードが選択される。又、先行車が検出された場合、露光量（露光時間）を低輝度検出用露光量に固定する第２露光量モードが選択される。低輝度検出用露光量は、先行車、白線、縁石、歩行者、路側の認識対象物、道路標識等、自発光しない立体物を検出するために最適な露光時間に設定されている。一方、高輝度検出用露光量は、上述した光源を検出するために最適な露光時間に設定されている。

図５（ａ）に示すように、露光時間を低輝度検出用露光量（露光時間大）に調整すると、道路の白線２５や縁石２６、道路標識２７、信号機２８、先行車３１、対向車３２等の認識対象物が認識される。しかし、低輝度検出用露光量では、信号機２８の点灯している灯火２８ａの明かり（灯火光）２８ｌ、先行車３１のテールライト３１ａの明かり（テールライト光）３１ｌ、対向車３２のヘッドライト３２ａの明かり（ヘッドライト光）３２ｌ等の光源は光量が強いためブルーミングが発生する。

一方、図５（ｂ）に示すように、露光時間を高輝度検出用露光量（露光時間小）に調整すると、反射光によって認識される認識対象物は光量が弱いため蓄積されず、自発光する光源２８ａ，３１ａ，３２ａのみが蓄積される。そして、上述した画像認識処理部１２では、各光源２８ａ，３１ａ，３２ａの画像上の座標と、低輝度検出用露光によって撮影した認識対象物の座標とを照合して、各光源２８ａ，３１ａ，３２ａが何れの認識対象物のものであるかを判定すると共に、自車両１と光源との距離を測定する。

又、配光制御部１３、及びカメラ制御部１４は、インストルメントパネルやステアリングホイール、或いはステアリングコラム等に配設されているオートライトスイッチ２１をＯＮにすることで制御動作が開始され、配光制御部１３は、画像認識処理部１２からの配光制御信号に基づき、ヘッドライト２の配光（ハイビーム、ロービーム）を行う。すなわち、配光制御部１３は、図示しないライトリレースイッチがＯＮされた場合、図示しない駆動回路を介して、ヘッドライト２を配光動作させる。

ヘッドライト２は、車載カメラ３で撮影した画像からは先行車と対向車との何れも認識されないと判定された場合はハイビームに設定され、先行車と対向車との少なくとも一方が認識されたと判定された場合はロービームに設定される。夜間走行時の走行環境を車載カメラ３で撮影する場合、ヘッドライト２の配光はハイビームに設定した方が遠方まで撮影できるため好ましいが、ハイビームに設定すると先行車や対向車の運転者に対し眩惑感を与えてしまう。そのため、先行車や対向車が認識された場合はロービームに設定する。

又、カメラ制御部１４は、オートライトスイッチ２１がＯＮされると画像認識処理部１２からの露光量制御信号に基づき、メインカメラ３ａとサブカメラ３ｂの露光量を調整する動作（露光動作）が開始される。尚、オートライトスイッチ２１がＯＦＦの場合、露光量は低輝度検出用露光量に固定される。

上述した画像認識処理部１２で実行される配光・露光量制御は、具体的には、図２に示す配光・露光量制御ルーチンに従って処理される。

このルーチンは、画像信号の１フレーム毎に同期して実行され、先ず、ステップＳ１で、オートライトスイッチ２１がＯＮか否かを調べ、ＯＮの場合はステップＳ２へ進み配光・露光量制御を実行する。又、ＯＦＦの場合はステップＳ５へ分岐し、露光量を低輝度検出用露光量（露光時間大）の第２露光量モードに固定して、ルーチンを抜ける。尚、オートライトスイッチ２１がＯＦＦの場合、ヘッドライト２のＯＮ/ＯＦＦは運転者がマニュアル操作で行う。

一方、ステップＳ２へ進むと、自車両１の前方所定範囲（例えば、約１００〜１５０[m]）内で直前を走行する先行車３１（図３、図５（ａ）参照）、或いは対向車３２（図４、図５（ａ）参照）が認識されたか否かを判定する。そして、先行車３１が認識された場合は、ステップＳ３へ進み、ヘッドライト２をローレベル（Ｌｏ）に設定して、ステップＳ５へ進む。そして、ステップＳ５で両カメラ３ａ，３ｂの露光時間を低輝度検出用露光量（露光時間大）に調整してルーチンを抜ける。

一方、先行車３１が認識されない場合は、ステップＳ４へ進み、対向車３２の光源（ヘッドライト３２ａ）が認識されたか否かを調べる。そして、対向車３２の光源が認識された場合、ステップＳ６へ進み、ヘッドライト２をロービームに設定して、ステップＳ８へ進む。一方、対向車３２の光源が認識されていない場合はステップＳ７へ分岐し、ヘッドライト２をハイビームに設定してステップＳ８へ進む。

ステップＳ６或いはステップＳ７からステップＳ８へ進むと、第１露光量モードが選択される。この第１露光量モードでは、カメラ制御部１４に対して、メインカメラ３ａとサブカメラ３ｂの露光時間を、画像信号の１フレーム毎に低輝度検出用露光量（露光時間大）と高輝度検出用露光量（露光時間小）とに切替える露光量制御信号を出力してルーチンを抜ける。

図６に、上述した配光・露光量制御ルーチンで設定される先行車３１と対向車３２のヘッドライト３２ａとの認識状況に応じて設定されるヘッドライト２の配光と撮像素子の露光量との関係を示す。同図に示すように、先行車３１、及び対向車３２の光源（ヘッドライト３２ａ）が共に検出されない場合、ヘッドライト２の配光をハイビームに設定し、車載カメラ３の露光量を低輝度検出用露光量と高輝度検出用露光量とで、画像信号の１フレーム毎に交互に切替える。

又、先行車３１は検出されないが対向車３２の光源が検出された場合、ヘッドライト２の配光をロービームに設定し、車載カメラ３の露光量を、上述と同様低輝度検出用露光量と高輝度検出用露光量とで、１フレーム毎に交互に切替える。

一方、先行車３１が検出された場合、ヘッドライト２の配光をロービームに設定し、車載カメラ３の露光量を低輝度検出用露光量（露光時間大）に固定する。自車両１が先行車３１を検出した場合、露光量を固定することで露光量を1フレーム毎に切替えることによる、認識対象物と自車両１との間の距離等の認識精度のバラツキを抑制することができる。

その際、車載カメラ３は露光量の大小に拘らず、直近の先行車を当該先行車自体の画像から認識しているので、露光量を敢えて高輝度検出用露光量として、先行車３２の光源（テールライト）を検出させる必要はない。又、テールライト光３１ｌはヘッドライト光３２ｌに比し低輝度であるため、低輝度検出用露光量に設定しても大きなブルーミングが発生することはない。

従って、先行車３２が検出された場合、露光量を低輝度検出用露光量（露光時間大）に固定することで、先行車３１を正確に認識することができると共に自車両１と先行車３１との距離を正確に求めることができる。その結果、このデータに基づき、夜間走行時においても高い精度でＡＣＣ制御やプリクラッシュ制御を行うことができる。

尚、本発明は、上述した実施形態に限るものではなく、例えばヘッドライトはＬＥＤヘッドライトであっても良い。車載カメラ３の露光量は、高輝度検出用露光量と低輝度検出用露光量との２種類に限らず、３種類以上であっても良い。

１…車両、
２…ヘッドライト、
３…車載カメラ、
３ａ…メインカメラ、
３ｂ…サブカメラ、
１１…配光・露光量制御ユニット、
１２…画像認識処理部、
１３…配光制御部、
１４…カメラ制御部、
２１…オートライトスイッチ、
２８ａ，３１ａ，３２ａ…光源、
３１…先行車、
３１ａ…テールライト、
３１ｌ…テールライト光、
３２…対向車、
３２ａ…ヘッドライト、
３２ｌ…ヘッドライト光

Claims (4)

1. 車両に搭載されて該車両の前方を撮影する車載カメラと、
   前記車載カメラで撮影した画像を取得して少なくとも先行車を認識し、該先行車の認識状況に応じてヘッドライトの配光と前記車載カメラの露光量とを設定する画像認識処理手段と、
   前記画像認識処理手段で設定した配光に基づいて前記ヘッドライトの配光を動作させる配光制御手段と、
   前記画像認識処理手段で設定した露光量に基づいて前記車載カメラの露光量を調整するカメラ制御手段と
   を備える車両の走行環境認識装置において、
   前記画像認識処理手段は前記先行車と前方の光源との認識状況に応じて、低輝度検出用露光量と高輝度検出用露光量とを画像信号の１フレーム毎に交互に設定する第１露光量モードと単独の露光量で固定する第２露光量モードとを選択し、選択した露光量モードで前記カメラ制御手段を露光動作させる
   ことを特徴とする車両の走行環境認識装置。
2. 前記第２露光量モードは低輝度検出用露光量であり、前記画像認識処理手段は前記先行車を認識した場合、該第２露光量モードを選択する
   ことを特徴とする請求項１記載の車両の走行環境認識装置。
3. 前記ヘッドライトの配光はハイビームとロービームであり、前記画像認識処理手段は、前記先行車と対向車とを認識しない場合、該配光をハイビームに設定し、該先行車と該対向車との少なくとも一方が認識された場合、該配光をロービームに設定する
   ことを特徴とする請求項１，２の何れか１項に記載の車両の走行環境認識装置。
4. 前記露光量は前記車載カメラに設けられている撮像素子に対する露光時間で設定する
   ことを特徴とする請求項１〜３の何れか１項に記載の車両の走行環境認識装置。

Images