JP2009177311A - 撮像手段の調整装置および物体検出装置 - Google Patents

Abstract

【課題】撮像手段により撮像された画像中で物体の光源の光が拡散しないように撮像手段の露光量等を自動的に調整することが可能な撮像手段の調整装置およびそれを用いて周囲の物体を検出する物体検出装置を提供する。
【解決手段】撮像手段の調整装置１０は、撮像手段２により撮像された画像Ｔ中から物体Ｖahを検出する物体検出手段１１と、検出された物体Ｖahに設けられた光源ＴＬｌ、ＴＬｒを検出する光源検出手段１２と、物体Ｖahの光源ＴＬｌ、ＴＬｒが撮像された画像領域を含む画像Ｔ中の所定の画像領域ＰＴにおける輝度値ｐ１ijの分布形状を検出する輝度形状検出手段１３と、輝度値ｐ１ijの分布形状に基づいて撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方の調整を行う調整手段１４と、を備える。
【選択図】図１

Description

本発明は、撮像手段の調整装置および物体検出装置に係り、特に、周囲を撮像する撮像手段の露光量等を調整可能な撮像手段の調整装置およびそれを用いて周囲の物体を検出する物体検出装置に関する。

近年、周囲に存在する物体をＣＣＤ（Charge Coupled Device）カメラ等の撮像手段で撮像した画像の画像解析等により検出する技術の開発が進められている（例えば特許文献１等参照）。これらの技術は、例えば車両における自動走行制御に用いられる場合、検出した先行車両に自車両を追従させたり、検出した物体との衝突の可能性を判断して警報を鳴らしてドライバの注意を喚起したり衝突を回避するように自動操舵や自動制動制御等を行う技術等に応用される。

このような画像解析では、例えば単数のカメラで撮像した画像の輝度分析や、複数のカメラで撮像した複数の画像に対するステレオマッチング処理等によって物体が検出される。その際、例えばテールランプやブレーキランプが点灯された車両や信号灯が点灯された信号機など、光源を有する物体が霧や靄等の中にある場合、光源の光が霧等で散乱されて、光源の周囲に拡散されて撮像される場合がある。

このような状況において画像解析を行う技術として、例えば特許文献２には、複数のカメラにより撮像された画像のうち、一方の画像中の横方向の輝度分布における正の輝度傾斜部分と負の輝度傾斜部分とを検出して、正の輝度傾斜部分と負の輝度傾斜部分とを含む画像中の注目領域に対して輝度相関が高い領域を他の画像中で探索する技術が開示されている。

また、特許文献３では、画像上で先行車両が占有する領域をアイリス制御エリアとして設定し、アイリス制御エリア内の画像データに基づいてカメラのアイリスを制御するためのアイリス値を算出して、先行車両を検出するために最適な露光を得る技術が開示されている。
特開平７−２２５８９２号公報 特開２００５−９１１７３号公報 特開平７−８１４５９号公報

しかしながら、例えば先行車両が霧や靄等の中にある場合、左右のテールランプやブレーキランプの光がそれぞれ拡散して、後述する図１６に示すように、２つのテールランプ等の部分だけでなくそれらの間の画像領域にも強い光Ｌが撮像されることがある。そのような場合、特許文献２に記載された技術では、必ずしも正確に２つのテールランプ等の位置を特定することができず、そのため先行車両の位置を特定できなくなる現象が発生する場合がある。

そのため、カメラ等の撮像手段の露光量や撮像手段から出力される画素の輝度値の調整を行うことが必要となる。しかし、特許文献３に記載された技術では、先行車両が占有する画像領域がアイリス制御エリアとされていて、アイリス制御エリア内に存在する画素の明度を表わす画像データを平均して適正露出値との差を求めるだけであるため、アイリスがある程度絞られることになったとしても、必ずしも２つのテールランプ等の位置を的確に特定できる露出値になるように制御されるとは言えない。

例えば、２つのテールランプやブレーキランプの位置が特定できれば、先行車両を的確に検出でき、信号灯の大きさが特定できれば、信号機を的確に検出することが可能となる。そして、そのためには、テールランプ等や信号灯の光が拡散しない程度まで画像の画素の輝度値を低下させるように撮像手段の露光量や撮像手段から出力される画素の輝度値を的確に調整することが望まれる。

本発明は、このような事情に鑑みてなされたものであり、撮像手段により撮像された画像中で物体の光源の光が拡散しないように撮像手段の露光量等を自動的に調整することが可能な撮像手段の調整装置およびそれを用いて周囲の物体を検出する物体検出装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、撮像手段の調整装置において、
撮像手段により撮像された画像中から物体を検出する物体検出手段と、
検出された前記物体に設けられた光源を検出する光源検出手段と、
前記物体の前記光源が撮像された画像領域を含む前記画像中の所定の画像領域における輝度値の分布形状を検出する輝度形状検出手段と、
前記輝度値の分布形状に基づいて前記撮像手段の露光量と前記撮像手段から出力される画素の輝度値の少なくとも一方の調整を行う調整手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の撮像手段の調整装置において、前記調整手段は、前記輝度形状検出手段により検出される前記輝度値の分布形状が予め設定された条件を満たす場合に前記調整を行うことを特徴とする。

第３の発明は、第１または第２の発明の撮像手段の調整装置において、
前記物体は、自車両の前方を走行する先行車両であり、
前記光源は、前記先行車両のテールランプまたはブレーキランプであり、
前記所定の画像領域は、前記テールランプまたはブレーキランプを含む画像領域に設定されることを特徴とする。

第４の発明は、第３の発明の撮像手段の調整装置において、前記調整手段は、前記先行車両の２つのテールランプまたはブレーキランプの間の位置における輝度値の最小値が所定の第１閾値以上である場合に前記調整を行うことを特徴とする。

第５の発明は、第３または第４の発明の撮像手段の調整装置において、前記調整手段は、前記先行車両のテールランプまたはブレーキランプの輝度値の分布形状における輝度値の最大値と、前記先行車両の２つのテールランプまたはブレーキランプの間の位置における輝度値の最小値との差が、所定の第２閾値以下である場合に前記調整を行うことを特徴とする。

第６の発明は、第３から第５のいずれかの発明の撮像手段の調整装置において、前記調整手段は、前記先行車両のテールランプまたはブレーキランプの輝度値の分布形状における輝度値の最大値と、前記先行車両の２つのテールランプまたはブレーキランプの間の位置における輝度値の最小値との差が、所定の第３閾値以上になった場合に前記調整を中止することを特徴とする。

第７の発明は、第３から第６のいずれかの発明の撮像手段の調整装置において、前記調整手段は、前記所定の画像領域における前記輝度値の最大値または前記所定の画像領域の色を表現する色空間における所定の色成分を表す値の最大値が所定の閾値未満になった場合、または前記先行車両のテールランプまたはブレーキランプが検出された場合に、前記調整を中止することを特徴とする。

第８の発明は、第１または第２の発明の撮像手段の調整装置において、
前記物体は、信号機であり、
前記光源は、信号灯であり、
前記所定の画像領域は、前記信号灯を含む画像領域に設定されることを特徴とする。

第９の発明は、第８の発明の撮像手段の調整装置において、前記調整手段は、前記信号機の信号灯の輝度値の分布形状に基づいて、前記所定の画像領域中の画素の輝度値と当該画素に隣接する画素の輝度値との差の絶対値が所定の第４閾値未満である場合に前記調整を行うことを特徴とする。

第１０の発明は、第９の発明の撮像手段の調整装置において、前記調整手段は、検出された前記差の絶対値が前記所定の第４閾値以上になった場合に前記調整を中止することを特徴とする。

第１１の発明は、第８から第１０のいずれかの発明の撮像手段の調整装置において、前記調整手段は、前記所定の画像領域における前記輝度値の最大値または前記所定の画像領域の色を表現する色空間における所定の色成分を表す値の最大値が所定の閾値未満になった場合、または前記信号機の信号灯が検出された場合に、前記調整を中止することを特徴とする。

第１２の発明は、第１から第５、第８または第９のいずれかの発明の撮像手段の調整装置において、前記調整手段は、前記調整を行う際、前記撮像手段の露光量と前記撮像手段から出力される画素の輝度値の少なくとも一方を、前記撮像手段により撮像された画像中の画素の輝度値が減少する方向に段階的に調整することを特徴とする。

第１３の発明は、第６、第７、第１０または第１１のいずれかの発明の撮像手段の調整装置において、前記調整手段は、前記調整を中止する際、前記撮像手段の露光量と前記撮像手段から出力される画素の輝度値の少なくとも一方を、前記撮像手段により撮像された画像中の画素の輝度値が増加する方向に段階的に調整することを特徴とする。

第１４の発明は、物体検出装置において、
周囲を撮像する撮像手段と、
第１から第１３のいずれかの発明の撮像手段の調整装置と、を備え、
前記撮像手段の調整装置により前記撮像手段の露光量と前記撮像手段から出力される画素の輝度値の少なくとも一方の調整が行われる前記撮像手段により撮像された画像中から物体を検出することを特徴とする。

第１の発明によれば、撮像手段により撮像された画像中から物体を検出し、物体の光源を検出して、物体の光源を含む画像中の所定の画像領域における輝度値の分布形状に基づいて撮像手段の露光量等を強制的に調整するように構成した。そのため、画像中に物体の光源からの光が拡散されて撮像されているような状況において、撮像手段の露光量等を強制的に調整して例えば画像中の画素の輝度値が全体的に減少する方向に調整することが可能となり、撮像手段により光が拡散しておらず輪郭部分が明瞭な光源を撮像することが可能となる。

このように、第１の発明によれば、物体の光源を含む画像中の所定の画像領域における輝度値の分布形状に基づいて物体の光源から光が拡散しているか否かを的確に把握でき、それに基づいて、物体の光源から光が拡散している場合には物体の光源の光が拡散しない状態になるように撮像手段の露光量等を自動的に調整することが可能となり、物体検出等で必要となる光源の輪郭部分が明瞭な画像を提供することが可能となる。

第２の発明によれば、輝度形状検出手段により検出される輝度値の分布形状が予め設定された条件を満たす場合にのみ前記の強制的な調整を行うことで、撮像手段に通常備えられている自動的な露光調整によって、物体の光源が光を拡散しない状態で撮像されている場合には調整手段による強制的な調整を行わないように構成することが可能となり、前記発明の効果が的確に発揮される。また、強制的な調整が必要なシーンでは的確に強制的な調整を行うとともに、強制的な調整を行わなくてもよい場合には的確に調整を中止して、処理の負担が増加することを抑制することが可能となる。

第３の発明によれば、先行車両のテールランプやブレーキランプが霧や靄等で光が拡散して撮像されるような状況においても、撮像手段の露光量等を強制的に調整して例えば画像中の画素の輝度値が全体的に減少する方向に調整して、撮像手段により、光が拡散しておらず輪郭部分が明瞭な先行車両の左右のテールランプやブレーキランプを撮像することが可能となり、前記各発明の効果が的確に発揮される。

第４の発明によれば、先行車両の２つのテールランプやブレーキランプの間の位置における輝度値の最小値が高い輝度値である場合には先行車両の左右のテールランプやブレーキランプの光が拡散されて撮像されていると考えられるため、そのような場合に撮像手段に対する露光量等の強制的な調整を行うことで前記各発明の効果が的確に発揮されるとともに、先行車両の２つのテールランプやブレーキランプの間の位置における輝度値の最小値を監視するだけでよいため、輝度値の分布形状に基づく撮像手段の露光量等の強制的な調整の制御構成の簡素化を図ることが可能となる。

第５の発明によれば、先行車両のテールランプやブレーキランプの輝度値の分布形状における輝度値の最大値と先行車両の２つのテールランプやブレーキランプの間の位置における輝度値の最小値との差が小さい場合には先行車両の左右のテールランプやブレーキランプの光が拡散されて撮像されていると考えられるため、そのような場合に撮像手段に対する露光量等の強制的な調整を行うことで前記各発明の効果が的確に発揮されるとともに、前記差を監視するだけでよいため、輝度値の分布形状に基づく撮像手段の露光量等の強制的な調整の制御構成の簡素化を図ることが可能となる。

第６の発明によれば、上記の差がある程度大きくなった場合には先行車両の左右のテールランプやブレーキランプの光が拡散されなくなったか或いは拡散の程度が小さくなり、十分にテールランプやブレーキランプを検出できる状況になったと考えられるため、そのような場合に撮像手段に対する露光量等の強制的な調整を中止することで前記各発明の効果が的確に発揮されるとともに、前記差を監視するだけでよいため、輝度値の分布形状に基づく撮像手段の露光量等の強制的な調整の制御構成の簡素化を図ることが可能となる。

第７の発明によれば、先行車両のテールランプやブレーキランプを含む画像領域に設定された画像領域における輝度値の最大値や、その画像領域の色を表現する色空間における例えば赤等の色成分を表す値の最大値が所定の閾値未満になった場合には、画像上に撮像されている高輝度領域は光源の形状そのものを表していると考えられるため、それ以上撮像手段に対する露光量等の強制的な調整を行う必要はない。また、物体検出手段により先行車両のテールランプやブレーキランプが検出されているのであれば、その場合にも強制的な調整をそれ以上行う必要はない。

そのため、そのような場合に、強制的な調整を中止することで、前記各発明の効果が的確に発揮されるとともに、撮像手段の露光量等の強制的な調整の制御構成の簡素化を図ることが可能となる。

第８の発明によれば、信号機の信号灯の光が拡散して撮像されるような状況においても、撮像手段の露光量等を強制的に調整して例えば画像中の画素の輝度値が全体的に減少する方向に調整して、撮像手段により、光が拡散しておらず輪郭部分が明瞭な信号機の信号灯を撮像することが可能となり、前記各発明の効果が的確に発揮される。

第９の発明によれば、信号機の信号灯の輝度値の分布形状に基づいて、隣接する画素の輝度値同士の差がそれほど大きくない場合には信号灯の光が拡散されて撮像されていると考えられるため、そのような場合に撮像手段に対する露光量等の強制的な調整を行うことで前記各発明の効果が的確に発揮されるとともに、信号機の信号灯の輝度値の分布形状に基づいて容易に制御を行うことが可能となるため、輝度値の分布形状に基づく撮像手段の露光量等の強制的な調整の制御構成の簡素化を図ることが可能となる。

第１０の発明によれば、信号機の信号灯の輝度値の分布形状に基づいて、隣接する画素の輝度値同士の差が大きくなれば信号灯を十分に検出できる状況になったと考えられるため、そのような場合に撮像手段に対する露光量等の強制的な調整を中止することで前記各発明の効果が的確に発揮されるとともに、信号機の信号灯の輝度値の分布形状に基づいて容易に制御を行うことが可能となるため、輝度値の分布形状に基づく撮像手段の露光量等の強制的な調整の制御構成の簡素化を図ることが可能となる。

第１１の発明によれば、信号機の信号灯を含む画像領域に設定された画像領域における輝度値の最大値や、その画像領域の色を表現する色空間における例えば青や黄、赤等の色成分を表す値の最大値が所定の閾値未満になった場合には、撮像手段の露光量等の強制的な調整を行ってもそれ以上高輝度領域が狭まるとは考え難く、画像上に撮像されている高輝度領域は光源の形状そのものを表していると考えられる。また、物体検出手段により信号灯が検出されているのであれば強制的な調整をそれ以上行う必要はない。そのため、そのような場合に強制的な調整を中止することで、前記各発明の効果が的確に発揮されるとともに、撮像手段の露光量等の強制的な調整の制御構成の簡素化を図ることが可能となる。

第１２の発明によれば、前記の強制的な調整を行う際に、撮像手段の露光量等を、画像中の画素の輝度値が減少する方向に段階的に調整することで、画像中の画素の輝度値を一気に全体的に減少させてしまって物体やその光源自体が検出されなくなることを防止しつつ、各サンプリング周期ごとに画像中の画素の輝度値が減少する度合をある程度大きく設定することで、速やかに物体の光源から光が拡散しない状態に撮像できる状況に調整することが可能となり、前記各発明の効果がより的確に発揮される。

第１３の発明によれば、前記の強制的な調整を中止する際に、撮像手段の露光量等を、画像中の画素の輝度値が増加する方向に段階的に調整することで、画像中の画素の輝度値を一気に全体的に増加させてしまって物体の光源から光が拡散する状態にもどしてしまうことを防止することが可能となり、前記各発明の効果がより的確に発揮される。

第１４の発明によれば、上記の撮像手段の調整装置における効果により、それを備えた物体検出装置では、撮像手段が備える自動的な露光調整では物体の光源の光が拡散して撮像されるような環境においても、調整手段により撮像手段の露光量等が強制的に調整されて、物体の光源の光が拡散しておらず光源の輪郭部分が明瞭な画像を得ることが可能となる。そのため、その画像に基づいて周囲の物体やその光源についての有効なデータを得ることが可能となり、周囲の物体やその光源を的確に検出することが可能となる。

以下、本発明に係る撮像手段の調整装置および物体検出装置の実施の形態について、図面を参照して説明する。

なお、本実施形態では、周囲を撮像する撮像手段として２台のカメラを用いてステレオ撮像を行う形態が示されるが、撮像手段を例えば単数のカメラ等で構成することも可能である。また、撮像手段や撮像手段の調整装置、物体検出装置は、車両に搭載される形態に限定されない。

本実施形態に係る物体検出装置１は、図１に示すように、主に撮像手段２や変換手段３、画像処理手段６等で構成される位置情報収集手段９と、撮像手段２の調整装置である処理手段１０とで構成されている。

位置情報収集手段９は、自車両の周囲を撮像する撮像手段２を含み、自車両の周囲の物体を撮像するとともに、自車両からそれらの物体までの距離を含む物体の実空間上の位置の情報を収集するようになっている。本実施形態では、位置情報収集手段９は、本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。

位置情報収集手段９は、図１に示すように、車幅方向に一定の距離をあけて配置された一対のメインカメラ２ａおよびサブカメラ２ｂからなる撮像手段２で自車両の周囲を撮像して得られた一対の撮像画像を変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでそれぞれデジタル画像に変換し、画像補正部４でずれやノイズの除去、輝度値の補正等の画像補正を行って、画像データメモリ５に格納するとともに、処理手段１０に送信するようになっている。

本実施形態では、メインカメラ２ａおよびサブカメラ２ｂとして２台のＣＣＤカメラが備えられており、ＣＣＤカメラに通常備えられる機能として、自車両の周囲の明るさを自ら判断して適切な露光を得るための露光調整を自動的に行うように構成されている。ここで、本実施形態における露光調整には、少なくともシャッタ時間調整やアンプゲイン切り替え、ＬＵＴ（Look Up Table）の選択やそれによる輝度値変換などが含まれ、それらが総合的に調整されるようになっている。

なお、本実施形態で用いられるＣＣＤカメラはアイリスを備えないためアイリス絞り調整については述べないが、撮像手段２がアイリス等の露光調整を行うための他の機能を備える場合には、それらも含めて総合的に最適な露光を得るための自動的な露光調整が行われる。

また、撮像手段２の自動的な露光調整のレベル、または後述するように調整手段１４からの指示に基づいていわば強制的に調整が行われた場合にはそれによる露光調整のレベルが、撮像手段２の露光量の調整の度合を表すシャッタレベルとして、後述する処理手段１０に送信されるようになっている。

一方、画像補正が行われた一対の撮像画像は、画像処理手段６に送られて、イメージプロセッサ７で、メインカメラ２ａで撮像した図２に例示される撮像画像（以下、基準画像Ｔという。）が複数の画素ブロックに分割され、各画素ブロックについてそれぞれサブカメラ２ｂで撮像した撮像画像の対応する画素ブロックがステレオマッチング処理により見出され、各画素ブロックごとに視差が算出される。この視差の算出については、前記各公報に詳述されている。

この視差と実空間上の位置とは三角測量の原理に基づいて対応付けることができ、具体的には、視差をｄｐ、画素ブロックの基準画像Ｔ上の座標を（ｉ，ｊ）とし、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、実空間上の点（Ｘ，Ｙ，Ｚ）と、視差ｄｐと画素ブロックの基準画像Ｔ上の座標（ｉ，ｊ）との関係は、
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）
で表すことができる。

ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点のｉ座標およびｊ座標、ＤＰは消失点視差とも呼ばれるオフセット量を表す。

画像処理手段６は、基準画像Ｔの各画素ブロックに視差ｄｐを割り当てて距離データメモリ８に格納するとともに、それらの視差ｄｐの情報を処理手段１０に送信するようになっている。なお、以下、基準画像の各画素ブロックに視差ｄｐが割り当てられて形成された画像を距離画像Ｔｚという。距離画像Ｔｚは、図３に示すように各画素ブロックに視差ｄｐが割り当てられた画像状のデータである。

なお、本実施形態の他にも、自車両と先行車両との距離Ｚの測定については、例えば自車両前方にレーザ光や赤外線等を照射してその反射光の情報に基づいて物体までの距離Ｚを測定するレーダ装置等で構成することも可能であり、物体の位置情報の収集の手法は特定の手法に限定されない。

処理手段１０（図１参照）は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されて構成されるコンピュータに構成されている。また、処理手段１０には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。

処理手段１０は、本実施形態における撮像手段２の調整装置であり、物体検出手段１１と、光源検出手段１２と、輝度形状検出手段１３と、調整手段１４とを備えており、さらに図示しないメモリを備えている。また、処理手段１０の各手段には、センサ類Ｑから必要なデータが入力されるようになっている。

物体検出手段１１は、撮像手段２により撮像された基準画像Ｔ中から物体を検出するようになっている。本実施形態では、物体検出手段１１における基準画像Ｔ中からの物体検出処理は、前記各公報に記載された車外監視装置等における処理をベースに構成されている。以下、簡単に説明する。

物体検出手段１１は、図３に示した距離画像Ｔｚを図示しない所定幅の縦方向の短冊状の区分に分割し、各区分ごとに各区分に含まれる視差ｄｐのうち道路面より上方に存在する視差ｄｐに関するヒストグラムをそれぞれ設けて、その最頻値をその区分の視差ｄｐとする。これを全区分についてそれぞれ行う。このように、本実施形態では、道路面より上方に存在する物体のみが検出されるが、車線等の道路面の標示を同時に検出し、あるいは別途検出するように構成することも可能である。

そして、物体検出手段１１は、各区分の視差ｄｐに基づいて前記（１）〜（３）式から物体の実空間上の座標（Ｘ，Ｙ，Ｚ）を算出するようになっている。算出された物体の座標を実空間上にプロットすると、各物体の座標は図４に示すように前方の物体の自車両Ａに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。

物体検出手段１１は、このようにプロットされる各点について、実空間上の各点の隣接する点とのＸ軸方向の距離やＺ軸方向の距離、グループ化した場合の左端の点から右端の点までのＸ軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図５に示すようにそれぞれのグループ内の各点を直線近似して物体を検出するようになっている。

また、本実施形態では、物体検出手段１１は、このようにして検出した各物体を図６に示すように基準画像Ｔ上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図５や図６において、ラベルＯやラベルＳは物体の自車両Ａに対向する面の種別を表し、ラベルＯは物体の背面、ラベルＳは物体の側面が検出されていることを表す。

本実施形態では、物体検出手段１１は、さらに、検出した物体の中から先行車両を検出するようになっている。

物体検出手段１１は、先行車両検出においては、まず、図７に示すように自車両Ａの挙動に基づいて自車両Ａが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両Ａの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。

自車両Ａの走行軌跡Ｌestは、自車両Ａの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記（４）式または下記（５）、（６）式に従って算出される自車両Ａの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（４）
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（５）
Ｃua＝１／Ｒｅ …（６）

そして、物体検出手段１１は、自車両Ａの進行路Ｒest上に存在する物体の中で自車両Ａに最も近接する物体を自車両Ａの前方を走行する先行車両として検出するようになっている。例えば図６や図７では、車両Ｏ３が先行車両Ｖahとして検出される。

なお、本実施形態では、物体検出手段１１は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、物体検出手段１１は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。

光源検出手段１２（図１参照）は、検出された物体に設けられた光源を検出するようになっている。本実施形態では、物体検出手段１１が検出した先行車両Ｖahのテールランプを検出する場合について説明するが、以下の説明は、先行車両Ｖahのブレーキランプを検出する場合にもまったく同様に適用される。

なお、以下では、ブレーキランプ基準画像Ｔ上に図８に示すような先行車両Ｖahが検出され、先行車両Ｖahを包囲するように矩形状の枠線Ｆｒが設定された場合について説明する。また、以下では、主に、先行車両Ｖahの左側のテールランプの検出について述べるが、右側のテールランプについても左側のテールランプと同様にして同時に検出が行われる。

光源検出手段１２は、まず、メモリに記憶されている前回のサンプリング周期でテールランプ中心として検出した基準画像Ｔ上の画素の座標（cl_i，cl_j）を読み出し、前回のテールランプ中心の座標の今回のサンプリング周期における輝度値ｐ１ijが所定の輝度値br1以上か否かを判定するようになっている。輝度値br1は例えば０〜２５５の２５６階調の輝度階調で２５０等の高い輝度値に設定される。

前回のテールランプ中心の今回の輝度値ｐ１ijが輝度値br1以上であれば、基準画像Ｔ上の座標（cl_i，cl_j）の画素は今回のサンプリング周期においてもテールランプを表す高輝度領域内にあると考えられる。前回のテールランプ中心（cl_i，cl_j）の今回の輝度値ｐ１ijが輝度値br1未満の場合には、基準画像Ｔ上の座標（cl_i，cl_j）の画素の上下を探索したり、前回検出された右側のテールランプ中心から左右のランプ間距離だけ左側の点やその上下を探索したり、先行車両Ｖahの枠線Ｆｒの左右端から所定の位置の上下を探索する等して、輝度値br1以上の輝度値ｐ１ijを有する画素を探索する。

光源検出手段１２は、続いて、図９に示すように、前回のテールランプ中心（cl_i，cl_j）（或いは探索して検出した輝度値br1以上の輝度値を有する画素）を含む基準画像Ｔ中で縦方向に延在する１画素幅の画素列pls上を上向きに１画素ずつシフトしながら各画素の輝度値ｐ１ijを探索していき、輝度値ｐ１ijが前述した輝度値br1より低い輝度値br2未満になる画素の直前の画素の座標（cl_i，ｊmax）を検出する。輝度値br2は輝度値br1よりも低い例えば２３０の輝度値に設定される。

また、光源検出手段１２は、画素列pls上を下向きに１画素ずつシフトしながら各画素の輝度値ｐ１ijを探索していき、輝度値ｐ１ijが輝度値br2未満になる画素の直前の画素の座標（cl_i，ｊmin）を検出する。検出した高輝度領域の上端の座標（cl_i，ｊmax）と下端の座標（cl_i，ｊmin）はそれぞれメモリに記憶される。

光源検出手段１２は、続いて、上記の画素列pls（或いは探索して発見した輝度値br1以上の輝度値を有する画素を含む画素列）から基準画像Ｔ上の右方向および左方向に画素列をシフトさせて各画素列で高輝度領域を探索するようになっている。

具体的には、まず、画素列plsにおける高輝度領域の上端のｊ座標ｊmaxと下端のｊ座標ｊminの中点のｊ座標ｊmidを算出し、図１０に示すように、画素列を画素列plsの右隣の画素列plに移行し、右隣の画素列plで座標（cl_i＋１，ｊmid）の画素を開始点として前記と同様に画素列plにおける高輝度領域の上端と下端を検出し、それらの座標（cl_i＋１，ｊmax）、（cl_i＋１，ｊmin）をそれぞれメモリに記憶する。そして、画素列plを基準画像Ｔ上のさらに右方向にシフトさせながら各画素列での高輝度領域を探索して、その上端、下端の座標をメモリに記憶していく。画素列plsの基準画像Ｔ上の左方向についても同様にして探索を行うようになっている。

その際、光源検出手段１２は、各画素列pls、plの高輝度領域の上端の画素から下端の画素までの画素数Ｒ（以下、縦方向の長さＲという。）を監視するようになっており、図１１（Ａ）に示すように、各画素列pls、plの高輝度領域の縦方向の長さＲの最大値Ｒmaxを記憶する。そして、図１１（Ｂ）に示すように、現在探索した画素列plの高輝度領域の縦方向の長さＲが最大値Ｒmaxを下回った場合には減少フラグflgを１として、その縦方向の長さＲを最小値Ｒminとする。図１０や図１１（Ａ）に示すように、現在探索した画素列plの高輝度領域の縦方向の長さＲが最大値Ｒmaxを更新する場合や最大値Ｒmaxと同じ値である場合には減少フラグflgは０とされる。

光源検出手段１２は、減少フラグflgが１の状態すなわち画素列plの高輝度領域の縦方向の長さＲが減少傾向にある状態で、図１１（Ｃ）に示すように、現在探索した画素列plの高輝度領域の縦方向の長さＲが最小値Ｒmin以下の値である場合には、最小値Ｒminを更新しながらさらにその右方向または左方向の画素列での探索を続行する。そして、画素列plに高輝度領域が発見できなくなった時点で右方向または左方向の画素列での探索を停止する。

また、図１２に示すように、現在探索した画素列plの高輝度領域の縦方向の長さＲが最小値Ｒminより大きな値になった場合には、画素列plで右方向または左方向の画素列での探索を停止し、その直前の画素列、すなわち右方向にシフトさせながら高輝度領域を探索している場合には、当該画素列plの左側に隣接する画素列までを高輝度領域が検出された範囲とする。

光源検出手段１２は、このようにして検出した各画素列pls、plにおける各高輝度領域の上端の座標と下端の座標をメモリから読み出して、図１３に示すように、各高輝度領域の上端の座標の最高点Ｊmaxと下端の座標の最低点Ｊminの中点を先行車両Ｖahの左側のテールランプＴＬｌのテールランプ中心のｊ座標cl_jとし、また、高輝度領域の縦方向の長さＲが最大値Ｒmaxとなる画素列plのｉ座標を左側のテールランプ中心のｉ座標cl_iとして、左側のテールランプ中心の座標（cl_i，cl_j）を検出する。また、高輝度領域が検出された画素列のｉ座標の最大値Ｉmaxと最小値Ｉminも検出する。右側のテールランプＴＬｒについても同様にしてテールランプ中心の座標（cr_i，cr_j）等を検出するようになっている。

光源検出手段１２は、検出した左右のテールランプ中心の座標（cl_i，cl_j）、（cr_i，cr_j）をそれぞれ今回のテールランプ中心としてメモリに記憶するようになっている。なお、光源検出手段１２における先行車両Ｖahの左右のテールランプの検出手法は、上記の手法に限定されず、有効に左右のテールランプを検出できるものであれば他の手法を用いることも可能である。また、上記と同様にして先行車両Ｖahのブレーキランプを検出するように構成することが可能である。

輝度形状検出手段１３（図１参照）は、物体（すなわち本実施形態では先行車両Ｖah）の光源（左右のテールランプＴＬｌ、ＴＬｒやブレーキランプ）が撮像された画像領域を含む基準画像Ｔ中の所定の画像領域における輝度値ｐ１ijの分布形状すなわち輝度形状を検出するようになっている。以下、上記と同様に、光源が先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒである場合について説明する。

本実施形態では、輝度形状検出手段１３は、まず、図１４に示すように、光源検出手段１２が検出した左右のテールランプＴＬｌ、ＴＬｒの上端の座標の各最高点Ｊmaxのうちの大きい方をｊ座標の上端とし、左右のテールランプＴＬｌ、ＴＬｒの下端の座標の各最低点Ｊminのうちの小さい方をｊ座標の下端とし、左側のテールランプＴＬｌのｉ座標の最小値Ｉminから右側のテールランプＴＬｒのｉ座標の最大値Ｉmaxまでをｉ座標の範囲とする、左右のテールランプＴＬｌ、ＴＬｒを含む画像領域ＰＴを設定するようになっている。

そして、輝度形状検出手段１３は、画像領域ＰＴの上端と下端の中間の位置の横方向に延在する１画素幅の画素列Ｊmidに属する各画素の輝度値ｐ１ijを抽出することで輝度値ｐ１ijの分布形状を検出するようになっている。

図１４に示したように左右のテールランプＴＬｌ、ＴＬｒの光が拡散されずに撮像されている場合には、画像領域ＰＴにおける輝度値ｐ１ijのｉ方向の分布形状は、図１５のグラフに示すように、輝度値ｐ１ijが、左右のテールランプ中心のｉ座標cl_i、cr_iおよびその周辺のテールランプ部分では高く、左右のテールランプの間の領域ではそれより低い輝度形状となる。

調整手段１４（図１参照）は、図１５に示したような輝度形状検出手段１３により検出された画像領域ＰＴの横方向に延在する画素列Ｊmidの輝度値ｐ１ijの分布形状に基づいて、撮像手段２の露光量と撮像手段２から出力される画素の輝度値の少なくとも一方（以下、撮像手段２の露光量等という。）を調整する信号を撮像手段２に出力して撮像手段２の露光量等を調整するようになっている。なお、撮像手段２の露光量と撮像手段２から出力される画素の輝度値のいずれを調整するか、或いはそれらを両方とも調整するかは、実際に用いられる撮像手段２の構成等に基づいて適宜決定される。

しかし、本実施形態では、前述したように撮像手段２は自車両の周囲の明るさを自ら判断して適切な露光を得るための露光調整を自動的に行うように構成されているため、調整手段１４による撮像手段２の露光量等の強制的な調整が常時行われる必要はない。そのため、本実施形態では、調整手段１４は、輝度形状検出手段１３により検出された上記の輝度値ｐ１ijの分布形状が、予め設定された下記の条件を満たした場合に強制的に調整を行うようになっている。

以下、調整手段１４における前記条件に基づいた調整処理について説明し、あわせて本実施形態に係る撮像手段の調整装置（処理手段）１０および物体検出装置１の作用について説明する。

［第１条件］
［１］調整手段１４は、先行車両Ｖahの２つのテールランプＴＬｌ、ＴＬｒの間の位置における輝度値ｐ１ijの最小値が所定の第１閾値ｐth１以上である場合に前記調整を行う。第１閾値ｐth１は例えば輝度値２２０程度の高い輝度値に設定される。

図１４に示したように、先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒの光が拡散されずに撮像されていて、図１５に示したように、左右のテールランプ中心の間の位置における輝度値ｐ１ijの最小値ｐminが第１閾値ｐth１よりも低い場合には、調整手段１４は、撮像手段２に対する露光量等の強制的な調整を行わない。

しかし、例えば先行車両Ｖahが霧や靄等の中を走行している場合、左右のテールランプＴＬｌ、ＴＬｒの光がそれぞれ拡散して、図１６に示すように、２つのテールランプの部分だけでなくそれらの間の画像領域にも強い光Ｌが撮像されることがある。

この場合も、光源検出手段１２では、上記のようにして各画素列の高輝度領域の上端と下端の座標の検出が行われ、図１７に示すように、左右のテールランプについてそれぞれテールランプ中心の座標（cl_i，cl_j）、（cr_i，cr_j）が検出され、高輝度領域の上端の座標の最高点Ｊmaxと下端の座標の最低点Ｊmin等が検出される。

そのため、図１８に示すように、輝度形状検出手段１３により左右のテールランプＴＬｌ、ＴＬｒを含む画像領域ＰＴが設定される。そして、画像領域ＰＴの上端と下端の中間の位置の横方向に延在する１画素幅の画素列Ｊmidに属する各画素の輝度値ｐ１ijを抽出すると、図１９のグラフに示すように、左右のテールランプＴＬｌ、ＴＬｒの間の領域の輝度値ｐ１ijが、左右のテールランプ中心のｉ座標cl_i、cr_i等の部分とさほど変わらない輝度値ｐ１ijの分布形状が得られる。

このような場合、先行車両Ｖahの２つのテールランプ中心の間の位置における輝度値ｐ１ijの最小値ｐminが所定の第１閾値ｐth１以上であれば、上記の第１条件を満たす。しかし、第１条件を満たしても、図１９に示した先行車両Ｖahのテールランプの輝度値の分布形状において、輝度値ｐ１ijの最大値ｐmaxと上記の最小値ｐminとにある程度の差があれば、ステレオマッチング処理により十分に左右のテールランプＴＬｌ、ＴＬｒを検出できる場合がある。

そのため、本実施形態では、下記の第２条件を課すこととしている。
［第２条件］
［２］調整手段１４は、先行車両ＶahのテールランプＴＬｌ、ＴＬｒの輝度値の分布形状における輝度値ｐ１ijの最大値ｐmaxと、先行車両ＶahのテールランプＴＬｌ、ＴＬｒの間の位置における輝度値ｐ１ijの最小値ｐminとの差が、所定の第２閾値ｐth２以下である場合に前記調整を行う。

従って、本実施形態では、上記の第１条件と第２条件とが満たされる場合に、前記の強制的な調整が行われる。すなわち、調整手段１４は、撮像手段２の露光量等を調整する信号を撮像手段２に出力して、撮像手段２により撮像された基準画像Ｔや比較画像の画素の輝度値が全体的に減少する方向に調整する。

この場合、調整手段１４は、図２０に示すように、撮像手段２に対する露光量等の強制的な調整のレベルをサンプリング周期ごとに段階的に比較的急速に増加させるようになっている。なお、後述するように、調整手段１４は一定の条件が満たされた場合に撮像手段２に対する露光量等の強制的な調整を中止するが、その場合には、調整のレベルをサンプリング周期ごとに段階的に減少させる。本実施形態では、その際、増加させる場合よりもレベルの減少の刻み幅を小さくするようになっている。

撮像手段２に対する露光量等の強制的な調整のレベルが増加されると、基準画像Ｔや比較画像の画素の輝度値が全体的に低下するため、図１６等に示した左右のテールランプＴＬｌ、ＴＬｒから拡散される光の範囲が狭くなっていき、図１９のグラフに示した先行車両ＶahのテールランプＴＬｌ、ＴＬｒの間の位置における輝度値ｐ１ijの最小値ｐminが減少していく。そして、図１３等に示したように、左右のテールランプＴＬｌ、ＴＬｒの光が拡散しない程度まで基準画像Ｔや比較画像の画素の輝度値が低下される。

しかし、撮像手段２に対する露光量等の強制的な調整のレベルを増加させ過ぎると、今度は左右のテールランプＴＬｌ、ＴＬｒ自体が暗く撮像されてしまい、テールランプＴＬｌ、ＴＬｒ自体を検出できなくなってしまう。

そのため、本実施形態では、下記の第３条件または第４条件が満たされた場合には、調整手段１４は撮像手段２に対する露光量等の強制的な調整を中止するようになっている。

［第３条件］
［３］調整手段１４は、先行車両ＶahのテールランプＴＬｌ、ＴＬｒの輝度値の分布形状における輝度値ｐ１ijの最大値ｐmaxと、先行車両ＶahのテールランプＴＬｌ、ＴＬｒの間の位置における輝度値ｐ１ijの最小値ｐminとの差が、所定の第３閾値ｐth３以上になった場合に前記調整を中止する。

先行車両ＶahのテールランプＴＬｌ、ＴＬｒの間の位置における輝度値ｐ１ijの最小値ｐminが十分に小さくなり、輝度値ｐ１ijの最大値ｐmaxと最小値ｐminの差が十分大きくなれば、先行車両ＶahのテールランプＴＬｌ、ＴＬｒを検出することができるはずである。それにもかかわらず、テールランプＴＬｌ、ＴＬｒを検出できないのであれば、それは撮像手段２の露光量等以外の要因が原因であると考えられ、撮像手段２に対する露光量等の強制的な調整を行う必要はない。

［第４条件］
［４］調整手段１４は、先行車両ＶahのテールランプＴＬｌ、ＴＬｒやブレーキランプを含む上記の画像領域ＰＴにおける輝度値の最大値、または画像領域ＰＴの色を表現する色空間における所定の色成分を表す値の最大値が所定の閾値未満になった場合、または物体検出手段１１により先行車両ＶahのテールランプＴＬｌ、ＴＬｒが検出された場合に、前記調整を中止する。

本実施形態では、画像領域ＰＴにおける輝度値の最大値として、上記のように先行車両ＶahのテールランプＴＬｌ、ＴＬｒの輝度値の分布形状における輝度値ｐ１ijの最大値ｐmaxを監視するようになっている。そして、輝度値ｐ１ijの最大値ｐmaxに対する閾値としては、例えば０〜２５５の２５６階調の輝度階調において取り得る最大値２５５が設定されている。

先行車両ＶahのテールランプＴＬｌ、ＴＬｒの輝度値の分布形状における輝度値ｐ１ijの最大値ｐmaxが取り得る輝度値ｐ１ijの最大値より小さくなっているにもかかわらず、輝度値ｐ１ijの最大値ｐmaxと最小値ｐminとがさほど変わらない場合には、光源自体がそのような形をしている、すなわち、上記の例ではテールランプが左右方向に延在する１本のランプとして構成されていると考えられ、それ以上強制的な調整を行う必要がないためである。

従って、本実施形態では、調整手段１４は、先行車両ＶahのテールランプＴＬｌ、ＴＬｒの輝度値の分布形状における輝度値ｐ１ijの最大値ｐmaxが取り得る輝度値ｐ１ijの最大値未満になった時点で上記の強制的な調整を中止する。

しかし、先行車両ＶahのテールランプＴＬｌ、ＴＬｒが撮像されている画像領域ＰＴにおける輝度値ｐ１ijの最大値ｐmaxが取り得る最大値（例えば２５５）未満になった後でも、強制的な調整を続行すれば図１６等に示した左右のテールランプＴＬｌ、ＴＬｒから拡散される光Ｌの範囲が狭くなっていく可能性がある。従って、本実施形態のように、閾値を、２５５等の輝度値が取り得る最大値そのものに設定する代わりに、多少余裕を持たせて、例えば２５０等の値に設定することも可能である。

また、本実施形態では、撮像手段２のメインカメラ２ａやサブカメラ２ｂが白黒の基準画像Ｔや比較画像を撮像し、それらの輝度値ｐ１ij、ｐ２ijに基づいて前記調整の実行、中止をするように構成されていることを前提に説明したが、撮像手段２のメインカメラ２ａやサブカメラ２ｂでカラーの基準画像Ｔや比較画像を撮像するように構成することも可能である。

また、その場合、先行車両ＶahのテールランプＴＬｌ、ＴＬｒやブレーキランプが主に赤系統の色の光を放つものであることから、光の色に着目して制御を構成することも可能である。その場合、前記の第４条件を、画像領域ＰＴの色を表現する色空間における色成分に対する条件として、画像領域ＰＴの色を表現する色空間における所定の色成分を表す値の最大値が所定の閾値未満になった場合に、前記調整を中止するというように構成することが可能である。

色空間の表現のしかたには種々の方法があり、それらについて条件を挙げれば切りがないが、テールランプＴＬｌ、ＴＬｒやブレーキランプが主に赤系統の色の光を放つものであることから、例えば、色空間における赤に対応する色成分が、飽和（サチュレーション）を生じている場合若しくはそれに近い状態であることを表す値に閾値を設定し、閾値未満になった場合に前記調整を中止することで、本実施形態と同様の効果を奏するように構成することができる。

さらに、物体検出手段１１により先行車両ＶahのテールランプＴＬｌ、ＴＬｒが検出されるのであれば、その場合にも、撮像手段２に対する露光量等の強制的な調整をそれ以上行う必要はない。

そして、調整手段１４が撮像手段２に対する露光量等の強制的な調整を中止した場合には、図２０に示したように、強制的な調整のレベルがサンプリング周期ごとに段階的に減少させられ、撮像手段２により撮像された基準画像Ｔや比較画像の画素の輝度値が全体的にサンプリング周期ごとに徐々に増加していく。

なお、調整手段１４による撮像手段２に対する露光量等の強制的な調整が中止された後、再び上記の第１条件および第２条件が満たされれば、調整手段１４により撮像手段２に対する露光量等の強制的な調整が開始されるため、撮像手段２により撮像された基準画像Ｔや比較画像の画素の輝度値が全体的にサンプリング周期ごとに段階的に減少していく。

このように、撮像手段の調整装置（処理手段）１０の調整手段１４により撮像手段２に対する露光量等の強制的な調整が適切に開始され或いは中止されて、図１３等に示したように、基準画像Ｔや比較画像に光が拡散しない左右のテールランプＴＬｌ、ＴＬｒが撮像されるようになる。

一方、物体検出装置１は、上記のように、光が拡散しない左右のテールランプＴＬｌ、ＴＬｒが撮像された基準画像Ｔや比較画像に基づいて画像処理手段６のイメージプロセッサ７でステレオマッチング処理を行うことで、先行車両Ｖahの左側のテールランプＴＬｌ部分および右側のテールランプＴＬｒ部分にそれぞれ有効な視差ｄｐまたは距離Ｚのデータを有する距離画像Ｔｚを得ることができる。そのため、基準画像Ｔ中に先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒをそれぞれ的確に検出することが可能となる。

その際、撮像手段２に対する露光量等の強制的な調整を行うことで基準画像Ｔや比較画像の画素の輝度値が全体的に減少して、ステレオマッチング処理で先行車両Ｖahのエッジ部分等の先行車両Ｖah自体の有効な視差ｄｐや距離Ｚの情報が得られ難くなる場合がある。しかし、上記のように、左右のテールランプＴＬｌ、ＴＬｒがそれぞれ的確に基準画像Ｔ上に検出されるため、それらの情報に基づいて、先行車両Ｖahの左右端の位置や自車両からの距離Ｚ等を的確に検出して追跡することが可能となる。

以上のように、本実施形態に係る撮像手段の調整装置（処理手段）１０によれば、撮像手段１により撮像された画像（基準画像Ｔ）中から物体（先行車両Ｖah）を検出し、物体の光源（左右のテールランプＴＬｌ、ＴＬｒやブレーキランプ）を検出し、物体の光源を含む画像中の所定の画像領域ＰＴにおける輝度値の分布形状に基づいて撮像手段２の露光量等を強制的に調整するように構成した。

撮像手段２が備える自動的な露光調整では、例えば霧や靄等の中を走行している先行車両Ｖahを撮像した場合、基準画像Ｔや比較画像には、先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒ等の光がそれぞれ拡散して撮像され、各テールランプＴＬｌ、ＴＬｒ等の輪郭部分が明瞭でなくなる。そのため、それらに基づいてステレオマッチング処理を行っても左側および右側のテールランプＴＬｌ、ＴＬｒ等の部分にそれぞれ有効な視差ｄｐや距離Ｚのデータを有する距離画像Ｔｚを得ることができず、基準画像Ｔ中に先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒ等を必ずしも的確に検出することができない。

しかし、上記のように、先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒ等を含む基準画像Ｔ中の所定の画像領域ＰＴにおける輝度値の分布形状に基づいて撮像手段２の露光量等を強制的に調整することで、撮像手段２が備える自動的な露光調整では先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒ等の光がそれぞれ拡散して撮像されるような環境においては、調整手段１４により撮像手段２の露光量等が強制的に調整されて、撮像手段２により撮像される基準画像Ｔや比較画像の画素の輝度値が全体的に減少する方向に調整される。

そのため、撮像手段２により撮像される基準画像Ｔや比較画像に、光が拡散しておらず輪郭部分が明瞭な先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒやブレーキランプをそれぞれ撮像することが可能となる。

このように、本実施形態に係る撮像手段の調整装置（処理手段）１０によれば、物体の光源を含む画像中の所定の画像領域における輝度値の分布形状に基づいて物体の光源から光が拡散しているか否かを的確に把握でき、それに基づいて、物体の光源から光が拡散している場合には物体の光源の光が拡散しない状態になるように撮像手段の露光量等を自動的に調整することが可能となり、物体検出等で必要となる光源の輪郭部分が明瞭な画像を提供することが可能となる。そして、それらの輪郭が明瞭に撮像された画像に基づいたステレオマッチング処理により物体の光源部分に有効な視差ｄｐや距離Ｚのデータを有する距離画像Ｔｚを得ることが可能となる。

また、本実施形態に係る物体検出装置１によれば、上記のような機能を有する撮像手段の調整装置（処理手段）１０を備えるため、撮像手段２が備える自動的な露光調整では先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒやブレーキランプの光がそれぞれ拡散して撮像されるような環境においても、調整手段１４により撮像手段２の露光量等が強制的に調整されて、左右のテールランプＴＬｌ、ＴＬｒ等の輪郭が明瞭に撮像されるようになり、左側および右側のテールランプＴＬｌ、ＴＬｒ等の部分にそれぞれ有効な視差ｄｐや距離Ｚのデータを有する距離画像Ｔｚを得ることができる。

そのため、基準画像Ｔ中に先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒやブレーキランプをそれぞれ的確に検出することが可能となり、また、それらの情報に基づいて先行車両Ｖahの左右端の位置や自車両からの距離Ｚ等を的確に検出することが可能となる。さらに、同様にして周囲の物体を的確に検出することが可能となる。

なお、本実施形態では、先行車両Ｖahやその光源である左右のテールランプＴＬｌ、ＴＬｒやブレーキランプを検出する場合について説明した。しかし、本発明に係る撮像手段の調整装置１０や物体検出装置１の適用範囲は、先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒやブレーキランプを検出する場合に限定されない。

例えば、図２１に示すように、自車両の前方に信号機Ｂが撮像されるシーンでは、撮像手段の調整装置１０や物体検出装置１は信号機Ｂを的確に物体として検出することができ、例えば物体検出手段１１でその形状や高さから信号機であると判定するように構成することができる。この場合、物体の光源は緑、黄、赤の信号灯のうちの点灯されている信号等である。

そして、光源検出手段１２で、図２２に示すように基準画像Ｔ上に信号機Ｂを包囲するように設定された枠線Ｆｒの上方の領域において、前述した手法を用いて点灯されている信号灯ＳＬを表す高輝度領域を検出し、図２３に示すように、高輝度領域の最高点Ｊmaxと最低点Ｊmin、左右方向の最大値Ｉmaxと最小値Ｉmin、および信号灯ＳＴの中心点の座標（c_i，c_j）を検出する。

輝度形状検出手段１３は、図２３の高輝度領域の最高点Ｊmaxと最低点Ｊminを上端と下端の位置とし、左右方向の最大値Ｉmaxと最小値Ｉminを右端と左端の位置とする、信号灯ＳＬを含む画像領域ＰＴを図２４に示すように設定し、画像領域ＰＴの上端と下端の中間の位置の横方向に延在する１画素幅の画素列Ｊmidに沿って画素列Ｊmidに属する各画素の輝度値ｐ１ijを抽出する。

この場合、画素列Ｊmidに属する各画素の輝度値ｐ１ijの分布形状は、図２５に示すように、例えば霧や靄等で信号灯ＳＴの光が拡散されて撮像されている場合には、信号灯ＳＬの中心点のｉ座標c_i付近で輝度値ｐ１ijが高く、そこから離れるに従って徐々に輝度値ｐ１ijが減少するような輝度形状となる。

調整手段１４は、この輝度値ｐ１ijの分布形状に基づいて撮像手段２の露光量等を調整する信号を撮像手段２に出力して撮像手段２の露光量等を強制的に調整するが、この場合には、輝度値ｐ１ijの分布形状が例えば下記の第５条件を満たした場合に強制的に調整を行い、下記の第６条件または第７条件を満たした場合には強制的な調整を中止する。

［第５条件］
［５］調整手段１４は、信号機Ｂの信号灯ＳＬの輝度値ｐ１ijの分布形状に基づいて、画像領域ＰＴ中の画素の輝度値と当該画素に隣接する画素の輝度値との差の絶対値が所定の第４閾値ｐth４未満である場合に前記調整を行う。

［第６条件］
［６］調整手段１４は、検出された前記差の絶対値が前記第４閾値ｐth４以上になった場合に前記調整を中止する。

［第７条件］
［７］調整手段１４は、信号機Ｂの信号灯ＳＬを含む上記の画像領域ＰＴにおける輝度値の最大値、または画像領域ＰＴの色を表現する色空間における所定の色成分を表す値の最大値が所定の閾値未満になった場合、または物体検出手段１１により信号機Ｂの信号灯ＳＬが検出された場合に、前記調整を中止する。

図２５に示した信号機Ｂの信号灯ＳＬの輝度値ｐ１ijの分布形状では、画素列Ｊmidに属する各画素の輝度値ｐ１ijと当該画素に隣接する画素の輝度値との差の絶対値が上記の第４閾値ｐth４未満であるから、前記の強制的な調整が行われ、撮像手段２により撮像された基準画像Ｔや比較画像の画素の輝度値が全体的に減少する方向に段階的に調整される。

そのため、信号灯ＳＬ自体の高輝度領域はそのまま維持されるが、信号灯ＳＬから拡散された光による高輝度領域は減退していき、信号機Ｂの信号灯ＳＬの輝度値ｐ１ijの分布形状は、図２６に示すように、信号灯ＳＬ部分の画素の輝度ｐ１ijは高く、それ以外の部分の画素の輝度ｐ１ijは低い輝度分布となる。また、上記の第６条件や第７条件が満たされた場合に、強制的な調整が中止される。

このように、撮像手段の調整装置（処理手段）１０の調整手段１４により撮像手段２に対する露光量等の強制的な調整が適切に開始され或いは中止されて、図２７に示すように、基準画像Ｔや比較画像に光が拡散しない信号機Ｂの点灯している信号灯ＳＬが撮像されるようになる。

なお、信号機Ｂの信号灯ＳＬにおいては、上記の先行車両ＶahのテールランプＴＬｌ、ＴＬｒの場合のように赤だけでなく、青や黄、赤の各色が標示される。そのため、上記の第７条件では、画像領域ＰＴの色を表現する色空間における色成分に対する条件として、画像領域ＰＴの色を表現する色空間における青や黄、赤の各色成分を表す値の最大値が所定の閾値未満になった場合に、前記調整を中止するというように構成することが可能である。その際、閾値は、色空間における青や黄、赤に対応する色成分が飽和（サチュレーション）を生じている場合若しくはそれに近い状態であることを表す値に設定される。

一方、物体検出装置１は、上記のように、光が拡散しない信号機Ｂの信号灯ＳＬが撮像された基準画像Ｔや比較画像に基づいて画像処理手段６のイメージプロセッサ７でステレオマッチング処理を行うことで、信号機Ｂの点灯している信号灯ＳＬ部分に有効な視差ｄｐまたは距離Ｚのデータを有する距離画像Ｔｚを得ることができる。そのため、基準画像Ｔ中に信号機Ｂの点灯している信号灯ＳＬを的確に検出することが可能となる。

その際、撮像手段２に対する露光量等の強制的な調整を行うことで基準画像Ｔや比較画像の画素の輝度値が全体的に減少して、ステレオマッチング処理で信号機Ｂ自体の有効な視差ｄｐや距離Ｚの情報が得られ難くなる場合があるが、上記のように信号機Ｂの点灯している信号灯ＳＬが的確に基準画像Ｔ上に検出されるため、それらの情報に基づいて、信号機Ｂの自車両からの距離Ｚ等の情報を的確に検出することが可能となる。

また、点灯する信号灯ＳＬが緑、黄、赤の順に変わり、点灯している信号灯ＳＬの位置が左右方向に移動するが、その際も、前回のサンプリング周期で検出された点灯している信号灯ＳＬ等に基づいて今回のサンプリング周期で点灯している信号灯ＳＬを的確に検出することができる。さらに、点灯している信号灯ＳＬの位置を的確に検出することで、現在、信号機Ｂで点灯されている信号灯ＳＬが何色の信号灯ＳＬであるかも的確に検出することが可能となる。

以上のように、本実施形態に係る撮像手段の調整装置（処理手段）１０によれば、検出する物体が信号機Ｂである場合にも、信号機Ｂの点灯している信号灯ＳＬを検出して、物体（信号機Ｂ）の光源（信号灯ＳＬ）を含む画像中の所定の画像領域ＰＴにおける輝度値の分布形状に基づいて的確に撮像手段２の露光量等を強制的に調整し、或いは強制的な調整を的確に中止することが可能となる。そのため、上記の先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒやブレーキランプを検出する実施形態と同様の効果を奏することが可能となる。

また、本実施形態に係る物体検出装置１によれば、検出する物体が信号機Ｂである場合にも、上記の撮像手段の調整装置（処理手段）１０の調整手段１４により撮像手段２の露光量等が強制的に調整されて、信号機Ｂの点灯している信号灯ＳＬの輪郭が明瞭に撮像されるようになり、点灯している信号灯ＳＬ部分に有効な視差ｄｐや距離Ｚのデータを有する距離画像Ｔｚを得ることができる。そのため、基準画像Ｔ中に信号機Ｂの点灯している信号灯ＳＬをそれぞれ的確に検出することが可能となり、上記の先行車両Ｖahの左右のテールランプＴＬｌ、ＴＬｒやブレーキランプを検出する実施形態と同様の効果を奏することが可能となる。

なお、本実施形態および検出する物体が信号機Ｂである場合の変形例では、輝度形状検出手段１３が設定した画像領域ＰＴの上端と下端の中間の位置の横方向に延在する１画素幅の画素列Ｊmidに沿って画素列Ｊmidに属する各画素の輝度値ｐ１ijを抽出して輝度値ｐ１ijの分布形状を得る場合について説明した。

しかし、例えば、画像領域ＰＴ中の縦方向に延在する画素列について輝度値ｐ１ijの分布形状を得るように構成してもよく、また、画像領域ＰＴに属する全画素または特定の画素について輝度値ｐ１ijの分布形状を得るように構成することも可能であり、物体の光源の光が拡散されて撮像されているか否かを適切に判定して撮像手段２の露光量等の強制的な調整の実行または中止を的確に判定するための情報を与えるものであれば、輝度値ｐ１ijの分布形状を得る手法は上記の手法に限定されない。

また、撮像手段の調整装置１０や物体検出装置１が車両に搭載される形態に限定されないことは前述したとおりであり、例えば自走式のロボットや搬送機器等に適用したり、また、据え置き型の装置に適用することも可能であり、周囲を撮像する露光量等を調整可能な撮像手段２を備えるものであれば、撮像手段の調整装置１０や物体検出装置１が適用される装置や機器等の種類や用途等は限定されない。

本実施形態に係る撮像手段の調整装置を含む物体検出装置の構成を示すブロック図である。 基準画像の一例を示す図である。 図２の基準画像等に基づいて形成された距離画像を示す図である。 区分ごとの距離を実空間上にプロットした各点を表す図である。 図４の各点に基づいて実空間上に検出された物体を表す図である。 基準画像上に枠線で包囲されて検出された各物体および先行車両を表す図である。 実空間上の自車両の走行軌跡、進行路および先行車両を表す図である。 基準画像上に検出された先行車両および前回のテールランプ中心の画素を表す図である。 前回のテールランプ中心を含む画素列上を探索して検出された高輝度領域およびその上端、下端を表す図である。 図９の画素列の右隣の画素列における高輝度領域の検出の手法を説明する図である。 高輝度領域の縦方向の長さと最大値との関係を説明する図であり、（Ａ）は最大値に等しい場合、（Ｂ）は最大値より短い場合、（Ｃ）は（Ｂ）よりさらに短い場合を表す。 高輝度領域の縦方向の長さが最小値より増加した場合を説明する図である。 左右のテールランプについてそれぞれ検出されたテールランプ中心、最高点、最低点、ｉ座標の最大値、最小値を説明する図である。 基準画像上に設定された左右のテールランプを含む画像領域を説明する図である。 図１４の画像領域における輝度値の分布形状を示すグラフである。 基準画像上に撮像された光が拡散した先行車両の左右のテールランプを表す図である。 図１６の画像に基づいて検出されたテールランプ中心、最高点、最低点、ｉ座標の最大値、最小値等を説明する図である。 図１６の光が拡散した左右のテールランプを含む画像領域を説明する図である。 図１８の画像領域における輝度値の分布形状を示すグラフである。 サンプリング周期ごとに段階的に増加され減少される撮像手段に対する露光量等の強制的な調整のレベルを表す図である。 信号機が撮像された基準画像の例を表す図である。 基準画像上に検出された信号機およびそれを包囲する枠線を表す図である。 信号機の信号灯について検出された中心点、最高点、最低点、ｉ座標の最大値、最小値を説明する図である。 基準画像上に設定された信号灯を含む画像領域を説明する図である。 図２４の画像領域における輝度値の分布形状を示すグラフである。 撮像手段に対する露光量等の強制的な調整が行われた後の図２４の画像領域における輝度値の分布形状を示すグラフである。 光が拡散しない状態で撮像された信号機の信号灯を表す図である。

符号の説明

１ 物体検出装置
２ 撮像手段
１０ 撮像手段の調整装置（処理手段）
１１ 物体検出手段
１２ 光源検出手段
１３ 輝度形状検出手段
１４ 調整手段
Ａ 自車両
Ｂ 物体（信号機）
ｐ１ij 輝度値
ｐmax 輝度値の最大値
ｐmin 輝度値の最小値
ＰＴ 画像領域
ｐth１ 第１閾値
ｐth２ 第２閾値
ｐth３ 第３閾値
ｐth４ 第４閾値
ＳＬ 光源（信号灯）
Ｔ 画像（基準画像）
ＴＬｌ、ＴＬｒ 光源（テールランプ）
Ｖah 物体（先行車両）

Claims (14)

1. 撮像手段により撮像された画像中から物体を検出する物体検出手段と、
   検出された前記物体に設けられた光源を検出する光源検出手段と、
   前記物体の前記光源が撮像された画像領域を含む前記画像中の所定の画像領域における輝度値の分布形状を検出する輝度形状検出手段と、
   前記輝度値の分布形状に基づいて前記撮像手段の露光量と前記撮像手段から出力される画素の輝度値の少なくとも一方の調整を行う調整手段と、
   を備えることを特徴とする撮像手段の調整装置。
2. 前記調整手段は、前記輝度形状検出手段により検出される前記輝度値の分布形状が予め設定された条件を満たす場合に前記調整を行うことを特徴とする請求項１に記載の撮像手段の調整装置。
3. 前記物体は、自車両の前方を走行する先行車両であり、
   前記光源は、前記先行車両のテールランプまたはブレーキランプであり、
   前記所定の画像領域は、前記テールランプまたはブレーキランプを含む画像領域に設定されることを特徴とする請求項１または請求項２に記載の撮像手段の調整装置。
4. 前記調整手段は、前記先行車両の２つのテールランプまたはブレーキランプの間の位置における輝度値の最小値が所定の第１閾値以上である場合に前記調整を行うことを特徴とする請求項３に記載の撮像手段の調整装置。
5. 前記調整手段は、前記先行車両のテールランプまたはブレーキランプの輝度値の分布形状における輝度値の最大値と、前記先行車両の２つのテールランプまたはブレーキランプの間の位置における輝度値の最小値との差が、所定の第２閾値以下である場合に前記調整を行うことを特徴とする請求項３または請求項４に記載の撮像手段の調整装置。
6. 前記調整手段は、前記先行車両のテールランプまたはブレーキランプの輝度値の分布形状における輝度値の最大値と、前記先行車両の２つのテールランプまたはブレーキランプの間の位置における輝度値の最小値との差が、所定の第３閾値以上になった場合に前記調整を中止することを特徴とする請求項３から請求項５のいずれか一項に記載の撮像手段の調整装置。
7. 前記調整手段は、前記所定の画像領域における前記輝度値の最大値または前記所定の画像領域の色を表現する色空間における所定の色成分を表す値の最大値が所定の閾値未満になった場合、または前記先行車両のテールランプまたはブレーキランプが検出された場合に、前記調整を中止することを特徴とする請求項３から請求項６のいずれか一項に記載の撮像手段の調整装置。
8. 前記物体は、信号機であり、
   前記光源は、信号灯であり、
   前記所定の画像領域は、前記信号灯を含む画像領域に設定されることを特徴とする請求項１または請求項２に記載の撮像手段の調整装置。
9. 前記調整手段は、前記信号機の信号灯の輝度値の分布形状に基づいて、前記所定の画像領域中の画素の輝度値と当該画素に隣接する画素の輝度値との差の絶対値が所定の第４閾値未満である場合に前記調整を行うことを特徴とする請求項８に記載の撮像手段の調整装置。
10. 前記調整手段は、検出された前記差の絶対値が前記所定の第４閾値以上になった場合に前記調整を中止することを特徴とする請求項９に記載の撮像手段の調整装置。
11. 前記調整手段は、前記所定の画像領域における前記輝度値の最大値または前記所定の画像領域の色を表現する色空間における所定の色成分を表す値の最大値が所定の閾値未満になった場合、または前記信号機の信号灯が検出された場合に、前記調整を中止することを特徴とする請求項８から請求項１０のいずれか一項に記載の撮像手段の調整装置。
12. 前記調整手段は、前記調整を行う際、前記撮像手段の露光量と前記撮像手段から出力される画素の輝度値の少なくとも一方を、前記撮像手段により撮像された画像中の画素の輝度値が減少する方向に段階的に調整することを特徴とする請求項１から請求項５、請求項８または請求項９のいずれか一項に記載の撮像手段の調整装置。
13. 前記調整手段は、前記調整を中止する際、前記撮像手段の露光量と前記撮像手段から出力される画素の輝度値の少なくとも一方を、前記撮像手段により撮像された画像中の画素の輝度値が増加する方向に段階的に調整することを特徴とする請求項６、請求項７、請求項１０または請求項１１のいずれか一項に記載の撮像手段の調整装置。
14. 周囲を撮像する撮像手段と、
    請求項１から請求項１３のいずれか一項に記載の撮像手段の調整装置と、を備え、
    前記撮像手段の調整装置により前記撮像手段の露光量と前記撮像手段から出力される画素の輝度値の少なくとも一方の調整が行われる前記撮像手段により撮像された画像中から物体を検出することを特徴とする物体検出装置。

Images