JP2006036048A - 車両ライト制御装置 - Google Patents

Abstract

【課題】 カメラの光軸を移動させる機構を設けることなく、車両の走行状態に応じて車両の周囲の状況により適切に車両ライトの点灯が行える装置とする。
【解決手段】 車両ライト７の自動点灯を行うコントローラ２を備えた車両ライト制御装置１において、コントローラ２は、カメラ３により撮影された車両の進行方向の映像に基づいて、車両ライト７の点灯を制御する。コントローラ２は、画像上の特徴点より画像上の１点を求め、その１点を車両の進行方向として監視領域を移動させ、監視領域における輝度に基づき車両ライト７の点灯を制御する。
【選択図】 図１

Description

本発明は、車両走行中に周囲が暗くなった場合、自動的に車両ライト（例えば、ヘッドランプ、スモールライト等）を点灯させる車両ライト制御装置に関するものであり、特に、カメラにより進行方向における映像を撮影して、撮影された映像に基づいて、車両ライトの点灯を制御する車両ライト制御装置に係る。

従来、車両ライト制御装置は、車両にオートライトスイッチが設けられ、オートライトスイッチをオン状態にしておくと、車両が走行中にトンネル等の暗部に入った場合には自動的に車両ライトが点灯し、トンネルを抜けると自動的に車両ライトが消灯するシステムが、車両分野においてはコンライトシステムとして、知られている。

この様な装置は、車両に照度を検出する照度計と車両の進行方向を撮像するためにカメラを備え、前方視界画像の画像データに占める暗部の割合を算出して、この割合が予め決められた第１の暗部閾値を超えた場合に照度計の測定値に基づく点灯制御に優先して、車両ライトを自動的に点灯する（例えば、特許文献１）。
特開２００１−３９２１０号公報（第１頁）

上記した特許文献１に示される装置では、進行方向にトンネルのような暗所があった場合には、暗所に入る十分手前で車両ライトは自動的に点灯することは可能である。

しかしながら、特許文献１に示される装置では、暗部検出範囲は、画像中心とした枠の大きさが車両の速度によって変化すると共に、カーブを走行する際にはステアリングの操舵角に応じてカメラの光軸が左右に動く構成となっている。このため、上記装置では、カメラの光軸を変化させる機構が必要となる。

よって、本発明は上記の問題点に鑑みてなされたものであり、カメラの光軸を移動させる機構を設けることなく、車両の走行状態に応じて車両の周囲の状況により適切に車両ライトの点灯が行える装置とすることを課題とする。

上記した課題を解決するために講じた手段は、車両ライトの自動点灯を行う制御手段を備え、該制御手段は、撮像手段により撮影された車両の進行方向の映像に基づいて、前記車両ライトの点灯を制御する車両ライト制御装置において、
前記映像から前記撮像手段の撮像素子に結像する特徴点を求める特徴点抽出手段と、前記特徴点より映像上または画像上において車両の進行方向を示す第1点を求める進行方向抽出手段とを備え、前記制御手段は第１点に基づく情報より監視領域を変化させ、該監視領域における輝度に基づき前記車両ライトの点灯を行う構成としたことである。

この場合、特徴点から進行方向の車両の存在を検出する車両検出手段を備え、進行方向の車両の有無により監視領域を変化させると良い。

また、進行方向に車両が存在する場合、車両の後方に位置する路面上に監視領域を移動し、映像上における監視領域での輝度値が所定閾値以下となる画素数が所定画素以上の場合に、制御手段は、走行速度に基づいて車両ライトを点灯すると良い。

進行方向に車両が存在しない場合、第一点の周囲に監視領域を移動し、監視領域での輝度値が所定閾値以下となる画素数が所定画素以上の場合に、制御手段は、走行速度に基づいて車両ライトを点灯すると良い。

また、車両の操舵角を検出する操舵検出手段を備え、操舵角に基づき前記第一点からの監視領域を変化させると良い。

更に、車両の走行速度を検出する速度検出手段と、車両の進行方向に存在するトンネルまたは暗所を検出するトンネル・暗所検出手段とを備え、制御手段はトンネルまたは暗所を検出した場合、走行速度に基づいて車両ライトを点灯すると良い。

第１の発明によれば、映像から撮像手段の撮像素子に結像する特徴点を求め、この特徴点より映像上または画像上において車両の進行方向を示す第1点（例えば、特徴点を路面とした場合、路面の延長線が一点で交差する点（消失点）エピポール、オプティカルフローによる一点等）を求めることができる。そして、制御手段は特徴点から求めた第１点に基づく情報より車両の進行方向がわかり、ライト点灯の判断を行う監視領域を変化させて、監視領域における輝度に基づき車両ライトの点灯を行うことができる。これは、撮像手段で捕らえた画像の特徴点から、車両が進むべき方向がわかるので、カメラの光軸を変化させる機構は必要なく、進行方向に応じて監視領域を変化させ、車両の走行状態に応じて適切なタイミングにて車両ライトの点灯を行うことができる。これは、撮像手段によって、車両の進行方向の映像をとらえ、進行方向において監視領域の画素の輝度値を比較することにより、ライト点灯が可能である。

第２の発明によれば、路面または車両に対するカメラの設置位置、及び走行中の映像情報から、車両の進行方向を示す一点を求めることができる。これは、車両の進行方向において遠方に存在する暗所に対してのライト制御が可能となる。

第３の発明によれば、特徴点から進行方向の車両の存在を検出する車両検出手段を備え、進行方向の車両の有無により監視領域を変化させて、進行方向に車両が存在する場合には、先行車両の後方に位置する路面上で、且つ自車の前方に位置する路面上の領域を監視領域とすることによりライト制御が行える。一方、先行車両の存在がない場合には、遠方の領域を監視領域とすることにより、車両周囲の情報に応じた適切なライト制御が可能となる。

第４の発明によれば、進行方向に車両が存在する場合には、先行車両の後方に監視領域を移動し、この監視領域での輝度値が所定閾値以下となる画素数が所定画素以上の場合に、制御手段は走行速度に基づいて車両ライトを点灯すると、先行車両がいる場合でも監視領域での輝度値を基にしたライト制御が行える。

第５の発明によれば、進行方向に車両が存在しない場合には、第一点の周囲に監視領域を移動する。そして、第一点の監視領域での輝度値が所定閾値以下となる画素数が所定画素以上の場合に、制御手段は走行速度に基づいて車両ライトを点灯すると、先行車両がいない場合での輝度値を基にしたライト制御が行える。

第６の発明によれば、車両の操舵角を検出する操舵検出手段を備え、操舵角に基づき前記第一点の位置を変化させることによって監視領域を変化させると、操舵角に応じて監視領域が変化するので、車両の走行状態に応じたライト制御が行える。

第７の発明によれば、車両の進行方向に存在するトンネルまたは暗所を検出し、車両の速度を基にして車両の進行方向にあるトンネルまでの距離に応じて、車両ライトの点灯タイミングを適切に制御することが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、車両ライト制御装置１のシステム構成を示すブロック図である。車両ライト制御装置１は、ドライバー席に設けられたオートライトスイッチ（オートライトＳＷ）６がオンの状態の場合、自動的に車両ライト７を点灯／消灯させるものである。本実施形態において車両ライトとは、車両の前方を照らすヘッドランプおよび車両後方に設けられたテールランプ,スモールライト,ナンバープレートランプの点灯による光を示し、どのライトを点灯させるかは、周囲状況に従う。例えば、自車の周囲が明るい場合には、テールランプおよびヘッドランプを消灯するが、一瞬だけ暗くなった場合或いは薄暗い場合にはテールランプのみ点灯する。また、周囲が暗い場合や一瞬暗くなった場合には、テールランプおよびヘッドランプを共に点灯する。オートライトＳＷ６がオフ状態の場合には、手動のライトスイッチ（例えば、ヘッドライトスイッチ、スモールライトスイッチ）のオン／オフ操作による点灯／消灯に従う。

車両ライト制御装置１は、ライト制御のプログラムを記憶するＲＯＭ、プログラムの実行に必要な情報を一時的に記憶するＲＡＭ、プログラムを実行するＣＰＵを備えたコントローラ２を備えると共に、カメラ３および各種センサ類および車両ライト７を備えている。コントローラ２にはカメラ３からの映像信号が入力されていると共に、車両の走行状態を検出する車速センサ４および操舵角センサ５からの信号が入力されている。このコントローラ２により、オートライトＳＷ６がオン状態の場合に、走行状態に応じてライト制御が行える。

カメラ３は内部に像を結像させるＣＣＤの撮像素子（例えば、６４０×４８０から成る画素）を備える。カメラ３は車両前方のフロントグリル或いは後方を確認できるリヤビューミラー等に一体で取り付けられている。カメラ３の光軸は車両前方を向いており、車両の進行方向において数ｍ先（１００ｍ程度）まで自車の周辺状況を撮影することができる。車速センサ４は、車速に応じてコントローラ２に対してパルス信号（車速信号）を出力するものであり、コントローラ２に入力されるパルス信号の時間間隔により、自車の車速を検出することができる。

また、操舵角センサ５はステアリングコラム軸上に位相の異なる２つのホール素子が設けられ、ステアリングホイールの転舵に応じてステアリングシャフトが回転するときにパルス信号（操舵角信号）が発せられる。操舵角センサ５からのパルス信号は、コントローラ２により２つのパルス信号の立ち上りエッジ／立ち下りエッジのパターンおよびエッジ間の時間間隔によって操舵角θを検出することができる。つまり、ドライバーによるステアリングホイールの操作を操舵角センサ５により検出し、図２に示す様に、車体に対して左右どちらの方向にタイヤが転舵されているのかを検出することが可能である。

次に、カメラ３により撮影した映像に基づくライト制御について、以下に説明する。

（実施形態１）：路上の消失点に基づくライト制御
（１）自車の前方に他車が存在しない場合、カメラ画像上で路面上の消失点Ｐｖを求める。消失点Ｐｖとは、次の様に定義される。即ち、平行な複数の直線の投影像がカメラ画像上で一つの点で交わるが、この場合において直線上で無限に遠い所にある点（無限遠点）の投影像が消失点Ｐｖとなる。消失点Ｐｖは、カメラ３の内部パラメータ、外部パラメータ（路面に対するカメラ取り付け位置とカメラ角度）から公知の方法により求めることができ、ここではその求め方について詳細な説明は省略する。
消失点Ｐｖが求められると、自車の進むべく進行方向を決定する。即ち、操舵角θ（図２に示す反時計回りを正）を操舵角センサ５によって検知する。車両走行中にタイヤが転舵されると、カメラ画像上では路面上に対する消失点Ｐｖの位置が水平方向にｕaだけ移動する。この場合、ua＝ｋ・ｘ, x=f・tanθ，ｋは単位長さ当たりの画素数、ｆは焦点距離とする（図３参照）。次に、カメラ３内部に設けられるレンズ１２に対し、レンズ中心の路面上での直下点Ｐ(Ｘc,Ｙc,Ｚc)を求めると共に、撮像素子１１を含む平面上において、直下点Ｐの投影点Ｐiを求める。ここでの（Ｘ,Ｙ，Ｚ）座標は、カメラのレンズ中心を原点とするカメラ座標で、光軸をＺ軸、水平方向をＸ軸とする右手系である。既に求めた消失点Ｐｖと投影点Ｐiを結ぶ画像上の直線を、図５の如く決定し、この直線を画像上における自車の進行方向（前進方向）と定義する。

消失点Ｐｖが公知の方法により求まると、消失点Ｐｖの周辺に監視領域（大きさは任意とするが、例えば、１６０×１２０画素の領域、或いは、８０×６０画素の領域）１０を設け、監視領域１０の輝度値に基づいて、車両ライト７に対してのライト制御が行われる。即ち、消失点Ｐｖの周辺に設けられた監視領域１０での輝度値の小さい画素が所定画素以上あれば、車両ライト７を点灯（オン）する。この場合、車両ライト７を点灯させるための所定画素の閾値（画素数）は、これに限定されるものではないが、例えば、車両が直進状態を仮定して、車両の進行方向（例えば、３０ｍ程）先にトンネル８が存在する場合のトンネル８の大きさに相当する画素数に基づき設定することができる。そして、このライト制御では、進行方向にトンネル８が存在する場合に車両ライト７の点灯タイミングは、自車がトンネルに入るまでの時間を自車の走行速度に基づいてコントローラ２により予測し、トンネル８を検出した後、予測時間になった場合に、車両ライト７を点灯する制御を行えば、点灯タイミングの遅れを防止することができる。

車両ライト７をオンの点灯状態からライトをオフして消灯状態へ切り替えるための条件は、オン条件を満足しない状態が所定時間継続且つ監視領域１０での路面を除く画像部分の画素における輝度値が所定輝度以上（周囲の状況が明るい状況）が一定時間継続すれば、車両ライト７を消灯するようにする。

ドライバーが走行中にステアリングホイールを転舵した場合には、次の様になる。

操舵角センサ５に基づく操舵角が、図２に示す如くタイヤが直進状態に比べてθだけ転舵された場合には、上記した様に、図４に示す如く、カメラ内部に設けられるレンズ１２のレンズ中心直下点Ｐは、撮像素子上では投影点Ｐｉに結像する。この投影点Ｐｉからθだけ操舵を行うと、消失点Ｐｖの位置が図５に示す様にｕａだけ移動することになるので、この移動量に応じてカメラ３の監視領域１０を移動させて、車両ライト７の点灯／消灯の制御を行う。
（２）自車の前方に他車が存在する場合
画像上で進行方向における前方他車（例えば、図５に楕円形状の破線で示す）の存在を画像処理にて検出した場合には、前方他車の後方（自車側）に監視領域を図５に示す矢印の如く移動させ、監視領域内での前方他車の後方の路面を抽出して、後方路面の輝度値を求める。そして、その路面の輝度値が所定輝度値以下の画素（暗い部分）が所定数以上あれば、車両ライト７を点灯する。この場合、周囲の明るさを検出する監視領域１０の位置は、消失点Ｐｖの周辺から先行他車の後方に監視領域１０を移動させるが、自車の前方から前方他車がいなくなると、監視領域１０を再度消失点Ｐｖの位置に移動するようにしている。

次に、消失点Ｐｖに基づくライト制御について、図６のフローチャートを参照して、具体的に説明する。尚、以下に示すフローチャートでは、図面上の冒頭の数字（ステップ：「Ｓ」の番号を示す）に従って、プログラムの各ステップの詳細を説明する。

図６に示す処理では、最初に、Ｓ１にて操舵角センサ５により出力される信号に基づき操舵角θを検知し、操舵角θに基づく消失点Ｐｖの移動により、画像上での前進方向を求め、自車の進む方向を決定する。その後のＳ２の処理では、自車の前方に他車が存在するか否かを判断する。ここで他車が進行方向である前方に存在するか否かの判断は、図７に示すフローチャートによって成される。

図７では、カメラ３により時刻ｔ，（ｔ＋Δｔ），（ｔ＋２Δｔ）における３つのカメラ画像を得て、その得られたカメラ画像を所定のメモリ（例えば、ＲＡＭ）に記憶する。そして、記憶された時刻ｔにおける画像から公知の方法により、点Ｐｖを求め、消失点Ｐｖを含む消失点Ｐｖの周辺での特徴点ｍ（ｕ，ｖ）を求める。ここで、ｕ：カメラ画像における行の画素、ｖ：カメラ画像における列の画素を２次元的に示す。この場合、特徴点ｍ（ｕ，ｖ）は複数個求めることが可能である。

その後、時刻ｔ＋Δｔの画像上のエピポーラ線を求める。このエピポーラ線は次の様に求めることができる。即ち、ｍ（ｕ，ｖ）：時刻ｔにおけるカメラ画像上での特徴点の位置、ｍ’（ｕ’，ｖ’）：時刻（ｔ＋Δｔ）におけるカメラ画像上での特徴点ｍ（ｕ，ｖ）の対応点の位置とすると、次式が成立する。

とすると、エピポーラ方程式は次式で示される。

また、Ａ：カメラの内部パラメータ、ｆ：焦点距離、ｋｕ：ｕ軸方向の単位長さ当たりの画素数、ｋｖ：ｖ軸方向の単位長さ当たりの画素数、（ｕ_０，ｖ_０）：画像中心、Ｔ：Δｔ間のカメラの並進移動量、［Ｔ］×Ｒ：ＴとＲの外積、θｘ：水平方向とカメラ光軸方向との角度、Ｖ：車速とすると、次式が成立する。

Ｆの行列成分は既知となり、［数４］を定義し、これを［数２］のエピポーラ方程式に代入すると、時刻（ｔ＋Δｔ）の画像上においてエピポーラ線［数５］を算出することができる。

上記した方法によりエピポーラ線を算出すると、図７に戻り、エピポーラ線上で図８に示す特徴点ｍ（ｕ，ｖ）の対応点を、公知のパターンマッチングにより算出して求める。パターンマッチングにより得られた対応点をｍ’（ｕ’，ｖ’）とする。対応点が求まると、特徴点ｍ（ｕ，ｖ）とその対応点ｍ’（ｕ’，ｖ’）から実空間上の３次元データを公知の方法を用いて、（ｘ，ｙ，ｚ）を算出する。ここでの（ｘ，ｙ，ｚ）座標は、カメラのレンズ中心を原点とするカメラ座標で、光軸をＺ軸、水平方向をＸ軸とする右手系である。

ここで、実空間上の３次元データの算出方法を述べると、Ｐ：時刻ｔのカメラ行列、Ｐ’：時刻（ｔ＋Δｔ）のカメラ行列、Ａ：カメラの内部パラメータ（既知）、θｘ：水平方向とカメラ光軸方向との角度、Ｖ：車速とすると、以下に示す行列により求めることができる。

この場合、Ｘ，Ｍ＋を以下のようにおくと、［数９］に示す関係式により３次元データを導出することができる。

この様な処理が繰り返され、全ての特徴点ｍ（ｕ，ｖ）に対して成される。時刻ｔ＋Δｔの画像上で求めた対応点を、時刻ｔ＋Δｔでの特徴点ｍ’（ｕ’，ｖ’）とする。

上記と同様な方法により、図９に示す如く、今度は時刻ｔ＋２Δｔの画像上のエピポーラ線上で特徴点ｍ’（ｕ’，ｖ’）の対応点を公知のパターンマッチングにより算出して求め、パターンマッチングにより得られた対応点をｍ’’（ｕ’’，ｖ’’）とする。対応点が求まると、特徴点ｍ’（ｕ’，ｖ’）とその対応点ｍ’’（ｕ’’，ｖ’’）から実空間上の３次元データを公知の方法を用いて、（ｘ’，ｙ’，ｚ’）を算出する。この様な処理が繰り返され、全ての特徴点ｍ’（ｕ’，ｖ’）に対して成される。

時刻ｔと時刻（ｔ＋Δｔ）間で得られた３次元データ（ｘ，ｙ，ｚ）、時刻（ｔ＋Δｔ）と時刻（ｔ＋２Δｔ）間で得られた３次元データ（ｘ’，ｙ’，ｚ’）が求まる。この２つの３次元データが求まると、ｚ−ｚ’＝（ＶΔｔ）ｃｏｓθｘが成立する場合には、時間が経過しても特徴点が動いていない静止点と判断し、Ｄ（ｕ，ｖ）＝０（静止状態）とする。一方、ｙ−ｙ’＝（ＶΔｔ）ｃｏｓθｘが成立しない場合には、特徴点が時間の経過とともに移動した移動点と判断し、Ｄ（ｕ，ｖ）＝１（移動状態）とする。その後、画像上における自車の進行する前進方向に移動点Ｄ（ｕ，ｖ）＝１が所定個数存在するか（ＮＤ≧閾値ＮＤｔｈ）が判断され、この条件が成立すれば前方他車が存在すると判断し、前方他車を示すＣＡフラグをセット（＝１）するが、条件が成立しなければ、ＣＡフラグをクリア（＝０）することにより、３画面よりエピポーラ線から対応する特徴点を求め、前方他車を検出するようにしている。

この様にして前方他車の認識が成されると、図６に戻り、Ｓ２で前方他車が存在する場合（ＣＡ＝１）には、Ｓ３にて前方車の後方に所定の監視領域１０を設けその領域内での輝度値を求める。そして、輝度値ｆ（ｉ，ｊ）が所定閾値ｆｔｈ（暗い状態レベル）以下の画素の個数を調べ、ｆ（ｉ，ｊ）≦ｆｔｈの画素Ｎが所定個数Ｎｔｈ以上存在するかが判断される。この処理で、上記条件を満足する場合には、Ｓ４にて車両ライト７を点灯するが、上記条件を満足しない場合には、Ｓ５にて車両ライト７の状態が、現在、消灯状態（オフ）になっているか否かが判断される。ここで、消灯状態となっている場合には、Ｓ１の処理に再度戻るが、Ｓ５にて消灯状態となっていない場合には、Ｓ６に進む。Ｓ６では、画像認識により路面と路面以外の領域を区別して、今度は路面以外の画像部分における輝度値の平均を算出する。そして、この輝度平均値が所定の閾値と比較され、路面以外の画像部分の輝度平均値が前方他車ありで、ライト点灯を判断する所定閾値以下（ｆｍ(ｉ,ｊ)≦ｆｍｔｈ）の場合には、Ｓ１の処理に再度戻る。しかし、これが成立しない場合には、Ｓ７にて所定時間この状態が継続したか（ｔ≧ｔｃ１）が判断される。Ｓ７にてこの条件が所定時間継続しない場合には、Ｓ１の処理に再度戻るが、所定時間継続した場合には路面以外の周囲が明るいものと判断して、Ｓ８にてライト点灯をオフし消灯した後、Ｓ１からの処理を繰り返す。

一方、Ｓ２にて前方に他車が存在しない場合（ＣＡ＝０）には、Ｓ９にて消失点周辺の画素において、輝度値が所定閾値以下（ｆ(ｉ,ｊ)≦ｆｔｈ）である画素が所定個数以上存在する（Ｎ≧Ｎｔｈ）か否かが判断される。ここで、上記条件が成立した場合には、Ｓ１５にて前回もこの状態であったかが判断され、この状態であった場合にはＳ１の処理に戻る。一方、Ｓ１５にて前回この状態でなかった場合には、Ｓ１６にてＴＬ時間後に車両ライト７を点灯する（ＳＷ＝１）。この場合、ＴＬ時間後にライト点灯を行うことは、次の様に作用する。即ち、進行方向にトンネルが存在する場合に、自車がトンネルに入るまでの時間をコントローラ２により予測し、トンネルを検出した後、予測時間になった場合に車両ライト７を点灯することができるので、車両の走行速度に基づいて点灯タイミングを決めることができ、車両ライト７の点灯タイミングを適切なものとすることができる。

一方、Ｓ９にて消失点周辺の画素において、輝度値が所定閾値以下（ｆ(ｉ,ｊ)≦ｆｔｈ）である画素が所定個数以上存在しない場合には、Ｓ１０にて現在のライトの状態はオフの消灯状態であるかが判断される。ここで、消灯状態である場合にはＳ１の処理に戻るが、点灯状態の場合には、Ｓ１１にてこの点灯状態が所定時間継続したか（ｔ≧ｔｃ２）が判断される。ここで、車両ライト７の点灯が所定時間継続していない場合には、Ｓ１の処理に戻るが、Ｓ１１にて所定時間継続している場合には、今度は路面以外の画像部分における輝度値の平均値が所定閾値以下であるか（ｆｍ（ｉ，ｊ）≦ｆｍｔｈ）が判断される。Ｓ１２にて上記条件が成立する場合には、Ｓ１の処理に戻るが、上記条件が成立しない場合には、Ｓ１３にてこの状態が所定時間継続したか（ｔ≧ｔｃ３）が判断され、ここで、Ｓ１２に示す条件が所定時間継続していない場合には、Ｓ１の処理に戻る。しかし、Ｓ１３にてＳ１２に示す条件が所定時間継続した場合には、ライト点灯が必要なく、周囲の状況が十分に明るいものと判断し、Ｓ１４にて車両ライト７の点灯を消灯し、上記した処理を所定周期で繰り返す。

（第２実施形態）
第１実施形態においては、カメラ画像上で消失点Ｐｖを求め、この消失点Ｐｖの周囲での輝度を比較することによりライト制御を行った。しかし、第２実施形態では、消失点Ｐｖに代わりにエピポールを用いても、図１０に示す様にライト制御を行うことができる。この図１０に示す処理は、図６と基本的には同じであるが、Ｓ９のみが異なり、Ｓ９では消失点Ｐｖではなく、エピポール周辺の画素について輝度値の比較を行う点が図６と異なっている。

（第３実施形態）
図１１に第３実施形態のフローチャートを示す。この第３実施形態では、オプティカルフローによりライト制御を行うものである。この処理で異なるところは、最初に画像上の特徴点において、オプティカルフローを算出し、各オプティカルフローから距離が最小になる点Ｏｆを求め、点Ｏｆの周囲において図６に示すＳ９と同じ比較を行う点が異なっている。

点Ｏｆは、次の様に求められる。即ち、図１２に示すカメラ画像上の各特徴点において、各オプティカルフロー（例えば、矢印）が描く直線からの距離が最小になる点Ｏｆを図１３の如く求めるものである。以下に、オプティカルフローの導出方法について説明する。

（ｘ，ｙ）：カメラ画像上での位置、ｆ（ｘ，ｙ）：輝度値、ｆｘ，ｆｙ，ｆｔ：水平方向、垂直方向、時間軸方向の偏微分とすると、次式となる。

を設定し、またλを所定の値として以下の式に代入し、所定回数ｋ=０〜ｎまで繰り返し、最終的に得られた［数１３］をオプティカルフローとする。

上記した方法により、点Ｏｆを導出する。レンズ中心の路面上の直下点Ｐ(Ｘc,Ｙc,Ｚc)を求め、撮像素子を含む平面上において、直下点Ｐの投影点Ｐiを求める。そして、既に求めた点Ｏｆと投影点Ｐiを結ぶ画像上の直線を図１４の如く決定し、この直線が、カメラ画像上における自車の前進方向となる。

（第４実施形態）
図１５に、第４実施形態のフローチャートを示す。図１５に示される処理では、図１６に示すトンネルのテンプレートを、トンネルコントローラ内のメモリに複数記憶しており、この記憶されたテンプレートを用いて進行方向におけるトンネルをパターンマッチングにより検出し、ライト制御を行うものである。この処理は図６に示すＳ９が異なる。即ち、Ｓ９では消失点（または、エピポール）周辺において、複数のトンネル画像をパターンマッチングにより検出する。この場合、類似度が所定閾値以上のものがあるか否かによりライト制御が行われる。

以上、述べた様に第１実施形態から第４実施形態によれば、カメラの光軸を車両の走行状態に応じて移動させる機構は必要なく、車両の走行状態に応じて車両の周囲の状況により適切なタイミングで車両ライトの点灯が行える装置とすることができる。また、ドライバーに違和感を与えることなく点灯が行える装置とすることができる。

尚、本実施形態と請求項とを対応させると、コントローラ２が制御手段、特徴点抽出手段、進行方向抽出手段、車両検出手段、トンネル・暗所検出手段であり、カメラ３が撮像手段、車速センサ４が速度検出手段、操舵角センサ５が操舵検出手段、テンプレート９がトンネル検出手段となる。また、消失点Ｐｖおよびオプティカルフローによる点Ｏｆが第一点となる。

本発明の一実施形態におけるライト制御装置のシステムの構成を示すブロック図である。 車両の操舵角と車体との関係を示す説明図である。 図２に示す操舵角と操舵角に応じて変化する撮像素子上での移動量の関係を示す説明図である。 路面上の直下点Ｐと撮像素子の投影点Ｐiとの関係を示す説明図である。 操舵角θの転舵操作が行われた場合に車両前方の消失点が移動することを示すカメラ画像の説明図である。 本発明のライト制御における第１のフローチャート（消失点によるライト制御）である。 前方他車の存在を認識するフローチャートである。 時刻ｔと時刻（ｔ＋Δｔ）におけるカメラ画像の特徴点から３次元データを算出する場合の説明図である。 時刻（ｔ＋Δｔ）と時刻（ｔ＋２Δｔ）におけるカメラ画像の特徴点から３次元データを算出する場合の説明図である。 本発明のライト制御における第２のフローチャート（エピポールによるライト制御）である。 本発明のライト制御装置における第３のフローチャート（オプティカルフローによるライト制御）である。 図１１に示すオプティカルフローの説明図である。 オプティカルフローが描く直線群と点を示す説明図である。 路面上の直下点Ｐの投影点Ｐiと図１３に示す点の関係を示す説明図である。 本発明のライト制御装置における第４のフローチャート（トンネルのパターンマッチングによるライト制御）である。 トンネルのテンプレートによるパターンマッチングを示す説明図である。

符号の説明

１ 車両ライト制御装置
２ コントローラ（制御手段、特徴点抽出手段、進行方向抽出手段、車両検出手段、トンネル・暗所検出手段）
３ カメラ（撮像手段）
４ 車速センサ（速度検出手段）
５ 操舵角センサ（操舵検出手段）
７ 車両ライト
８ トンネル
９ テンプレート（トンネル検出手段）
１０ 監視領域
１１ 撮像素子
１２ レンズ
Ｐｖ 消失点（第一点）
Ｏｆ オプティカルフローによる点（第一点）

Claims (6)

1. 車両ライトの自動点灯を行う制御手段を備え、該制御手段は、撮像手段により撮影された車両の進行方向の映像に基づいて、前記車両ライトの点灯を制御する車両ライト制御装置において、
   前記映像から前記撮像手段の撮像素子に結像する特徴点を求める特徴点抽出手段と、前記特徴点より映像上または画像上において車両の進行方向を示す第1点を求める進行方向抽出手段とを備え、前記制御手段は第１点に基づく情報より監視領域を変化させ、該監視領域における輝度に基づき前記車両ライトの点灯を行うことを特徴とする車両ライト制御装置。
2. 前記特徴点から進行方向の車両の存在を検出する車両検出手段を備え、進行方向の車両の有無により前記監視領域を変化させる請求項１に記載の車両ライト制御装置。
3. 進行方向に車両が存在する場合、前記車両の後方に位置する路面上に前記監視領域を移動し、映像上における前記監視領域での輝度値が所定閾値以下となる画素数が所定画素以上の場合に、走行速度に基づいて前記制御手段は前記車両ライトを点灯する請求項２に記載の車両ライト制御装置。
4. 進行方向に車両が存在しない場合、前記第一点の周囲に監視領域を移動し、前記監視領域での輝度値が所定閾値以下となる画素数が所定画素以上の場合に、走行速度に基づいて前記制御手段は前記車両ライトを点灯する請求項２に記載の車両ライト制御装置。
5. 車両の操舵角を検出する操舵検出手段を備え、前記操舵角に基づき前記第一点からの監視領域を変化させる請求項２乃至請求項４のいずれかに記載の車両ライト制御装置。
6. 車両の走行速度を検出する速度検出手段と、車両の進行方向に存在するトンネルまたは暗所を検出するトンネル・暗所検出手段とを備え、前記制御手段はトンネル・暗所を検出した場合、走行速度に基づいて前記車両ライトを点灯する請求項２に記載の車両ライト制御装置。

Images