JP2012201178A

JP2012201178A - 車外監視装置

Info

Publication number: JP2012201178A
Application number: JP2011066433A
Authority: JP
Inventors: Koichi Abe; 幸一阿部
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2011-03-24
Filing date: 2011-03-24
Publication date: 2012-10-22
Anticipated expiration: 2031-03-24
Also published as: JP5543938B2

Abstract

【課題】ワイパの払拭性能の劣化を的確に判断することができる車外監視装置を提供する。
【解決手段】ステレオ画像認識装置４は、ウインドウガラス２０に対するワイパ装置２１（ワイパブレード２３）による払拭動作が行われた後にステレオカメラ３で撮像された画像を監視し、自車両１の走行中において画像上で時系列的に変化しない不変領域Ａを検出したとき、ワイパブレード２３の払拭性能が劣化状態にあると判定する。これにより、ワイパブレードの劣化を的確に判断することができる。そして、このようにワイパブレード２３の劣化を判断した場合には、ドライバ等にワイパブレード２３の交換等を速やかに促すことにより、フロントガラス２０の汚れ等に起因する車外環境の認識精度の低下等を的確に抑制することができる。
【選択図】図３

Description

本発明は、車室内からウインドウガラス越しに車外を撮像する撮像手段を備えた車外監視装置に関する。

従来、ステレオカメラや単眼カメラ等の撮像手段を用いて車両前方の車外環境を認識する車外監視装置については数多くの提案がなされており、この種の車外監視装置は、例えば、車両用運転支援装置等において広く採用されている。このような車外監視装置を備えた運転支援装置では、走行制御の機能の一つとして、例えば、車間距離制御付クルーズコントロール（ＡＣＣ：Adaptive Cruise Control）が行われる。ＡＣＣが実行されると、運転支援装置は、撮像した画像等に基づいて自車走行路を推定し、推定した自車走行路前方の先行車検出を行う。そして、運転支援装置は、自車両の前方で先行車を検出（捕捉）したとき、検出した先行車に対する追従走行制御を行い、先行車を検出していない状態ではドライバがセットした車速での定速走行制御を行う。

ところで、車外監視装置においては、カメラ等の撮像手段の視界を好適に確保して、車外対象の認識精度を向上することが重要となる。そこで、車外監視装置に用いられる撮像手段は、一般に、車室内において、ウインドウガラス上のワイパ払拭領域に対向して配置される。また、さらなる認識精度の向上を実現するための技術として、例えば、特許文献１には、ウインドウガラスへの付着物の影響により光学式測距センサの検出距離が急変したとき、ワイパを駆動させて付着物を除去するとともに、その後の測距センサの検出距離がワイパの駆動前に比べて変化しているときに表示ランプを点灯させることによってそれまでの検出距離の誤りをドライバに認識させる技術が開示されている。

実開平６−８２５０９号公報

しかしながら、上述の特許文献１に開示された技術は、ワイパブレードによる払拭性能が確保されていることを前提とするものであり、例えば、ワイパブレードが劣化している場合等には、検出距離の誤り等の判定を精度良く行うことが困難となる虞がある。

本発明は上記事情に鑑みてなされたもので、ワイパの払拭性能の劣化を的確に判断することができる車外監視装置を提供することを目的とする。

本発明の一態様による車外監視装置は、ウインドウガラス上のワイパ払拭領域に対向して配置され、車室内からウインドウガラス越しに車外を撮像する撮像手段を備えた車外監視装置において、前記ウインドウガラスに対するワイパによる払拭動作が行われた後に前記撮像手段で撮像された画像を監視する画像監視手段を備え、前記画像監視手段は、自車両の走行中において前記画像上で時系列的に変化しない不変領域を検出したとき、前記ワイパの払拭性能の劣化を判断するものである。

本発明の車外監視装置によれば、ワイパの払拭性能の劣化を的確に判断することができる。

車両用運転支援装置の概略構成図ワイパの払拭領域とカメラとの関係を示す説明図ワイパ劣化判定ルーチンを示すフローチャート（ａ）（ｂ）はワイパの劣化時に時系列的に変化する画像の一例を模式的に示す説明図

以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２はワイパの払拭領域とカメラとの関係を示す説明図、図３はワイパ劣化判定ルーチンを示すフローチャート、図４（ａ）（ｂ）はワイパの劣化時に時系列的に変化する画像の一例を模式的に示す説明図である。

図１において、符号１は自動車等の車両（自車両）を示し、この車両１には、例えば、車間距離制御機能付クルーズコントロール（ＡＣＣ：Adaptive Cruise Control）機能を備えた運転支援装置２が搭載されている。

この運転支援装置２は、例えば、撮像手段としてのステレオカメラ３と、ステレオ画像認識装置４と、走行制御ユニット５と、を一体的に備えたステレオカメラアセンブリ２ａを中心として主要部が構成されている。そして、これらのうち、例えば、ステレオカメラ３とステレオ画像認識装置４によって、車外監視装置の主要部が構成されている。また、このステレオカメラアセンブリ２ａの走行制御ユニット５には、エンジン制御ユニット（Ｅ／Ｇ＿ＥＣＵ）７、ブレーキ制御ユニット（ＢＲＫ＿ＥＣＵ）８、トランスミッション制御ユニット（Ｔ／Ｍ＿ＥＣＵ）９等の各種車載制御ユニットが相互通信可能に接続されている。

ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた左右１組のＣＣＤカメラで構成されている。これら１組のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、フロントガラス（ウインドウガラス）２０越しに車外の対象を異なる視点からステレオ撮像し、撮像した画像情報をステレオ画像認識装置４に出力する。

ここで、図２に示すように、ステレオカメラ３を構成する左右のカメラ３ｌ，３ｒは、フロントガラス２０上のワイパ払拭領域に対向して配置されている。具体的に説明すると、フロントガラス２０を払拭するワイパ装置２１は、左右一対のワイパアーム２２（２２ｌ，２２ｒ）を備え、これらワイパアーム２２ｌ，２２ｒの先端部にはフロントガラス２０に摺接するワイパブレード２３（２３ｌ，２３ｒ）が設けられている。一方、ワイパアーム２２ｌ，２２ｒの基端部には、リンク機構２４を介してワイパモータ２５が接続されている。そして、ドライバによるワイパスイッチ２６のオン操作等に応じてワイパモータ２５が駆動されると、ワイパモータ２５の駆動力は、リンク機構２４を介して左右のワイパアーム２２ｌ，２２ｒに伝達される。これにより、左右の各ワイパアーム２２ｌ，２２ｒはフロントガラス２０に沿って揺動され、これらワイパアーム２２ｌ，２２ｒの揺動によって、左右の各ワイパブレード２３ｌ，２３ｒがフロントガラス２０上の左右各払拭領域２０ｌ，２０ｒを払拭する。これらワイパ払拭領域のうち、左側の払拭領域２０ｌの上部に対向する位置には左側のカメラ３ｌが配置され、右側の払拭領域２０ｒの上方に対向する位置には右側のカメラ３ｒが配置されている。

ステレオ画像認識装置４は、ステレオカメラ３からの画像情報が入力されるとともに、例えば、Ｔ／Ｍ＿ＥＣＵ９から自車速Ｖ等が入力される。このステレオ画像認識装置４は、ステレオカメラ３からの画像情報に基づいて自車両１前方の立体物データや白線データ等の前方情報を認識し、これら認識情報等に基づいて自車走行路を推定する。さらに、ステレオ画像認識装置４は、認識した立体物データ等に基づいて自車走行路上の先行車検出を行う。

ここで、ステレオ画像認識装置４は、ステレオカメラ３からの画像情報の処理を、例えば以下のように行う。すなわち、ステレオカメラ３で自車進行方向を撮像した左右１組の画像（ステレオ画像対）に対し、対応する位置のずれ量から三角測量の原理によって距離情報を生成する。具体的には、ステレオ画像認識装置４は、基準画像（例えば、右側の画像）を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素（例えば右側及び下側で隣接する画素）との輝度差を調べ、これらの輝度差がともに閾値を超えているものをエッジとして抽出するとともに、抽出した画素（エッジ）に距離情報を付与することで、距離情報を備えたエッジの分布画像（距離画像）を生成する。そして、ステレオ画像認識装置４は、距離画像に対して周知のグルーピング処理を行うことにより、自車前方の白線、側壁、立体物等を認識し、認識した各データに、それぞれ異なるＩＤを割り当て、これらをＩＤ毎にフレーム間で継続して監視する。さらに、ステレオ画像認識装置４は、白線データや側壁データ等に基づいて自車走行路を推定し、自車走行路上に存在する立体物であって、自車両１と略同じ方向に所定の速度（例えば、０Ｋｍ／ｈ以上）で移動するものを先行車として抽出（検出）する。そして、先行車を検出した場合には、その先行車情報として、先行車距離Ｄ（＝車間距離）、先行車速度Ｖｆ（＝（車間距離Ｄの変化の割合）＋（自車速Ｖ））、先行車加速度ａｆ（＝先行車速Ｖｆの微分値）等を演算する。なお、先行車の中で、特に速度Ｖｆが所定値以下（例えば、４Ｋｍ／ｈ以下）で、且つ、加速していないものは、略停止状態の先行車として認識される。

また、ステレオ画像認識装置４には、例えば、ワイパスイッチ２６からの信号が入力され、この信号に基づいてワイパ装置２１によるフロントガラス２０に対する払拭動作が行われたことを判定すると、ステレオ画像認識装置４は、当該払拭動作が行われた後に、ステレオカメラ３で撮像された画像を監視する。そして、ステレオ画像認識装置４は、自車両１の走行中において、画像上で時系列的に略変化しない不変領域Ａ（例えば、図４参照）を検出したとき、当該不変領域Ａはワイパ装置２１による拭き残しが撮像されたものである可能性が高いと判断し、ワイパ装置２１（ワイパブレード２３）の払拭性能が劣化状態にあると判定する。但し、ワイパブレード２３による拭き残し領域は、通常、ワイパブレード２３の移動方向に沿って筋状に形成されることを考慮し、不変領域Ａを検出した場合であっても、当該不変領域Ａが画像上で予め設定された方向に延在していない場合には、ワイパブレード２３の払拭性能が劣化状態にあるとの判定をキャンセルすることが望ましい。また、ステレオカメラ３によって左右一対の画像を得ることが可能な本実施形態においては、左右の画像間についても比較を行うことが可能である。この場合、フロントガラス２０上において左右のカメラ３ｌ，３ｒが対向する領域が異なるため、仮に左右両方の画像上に不変領域Ａがそれぞれ検出された場合であっても、これら不変領域Ａがワイパブレード２３による拭き残しに起因するものである場合には不変領域Ａの形態が左右間で略一致することは考えにくい。そこで、不変領域Ａを検出した場合であっても、当該不変領域Ａ内の画素が左右の画像間において所定以上の割合でマッチング可能である場合には、ワイパブレード２３の払拭性能が劣化状態にあるとの判定をキャンセルすることが望ましい。このように、本実施形態において、ステレオ画像認識装置４は、画像監視手段としての機能を実現する。

走行制御ユニット５には、例えば、ステレオ画像認識装置４から車外前方に関する各種認識情報が入力されるとともに、Ｔ／Ｍ＿ＥＣＵ９から自車速Ｖが入力される。

また、走行制御ユニット５には、例えば、クルーズコントロール用スイッチ１５を通じて設定されるドライバの各種設定情報が、Ｅ／Ｇ＿ＥＣＵ７を介して入力される。本実施形態において、クルーズコントロール用スイッチ１５は、例えば、ステアリングに配置されたプッシュスイッチ及びトグルスイッチ等からなる操作スイッチであり、ＡＣＣの作動をＯＮ／ＯＦＦするメインスイッチであるクルーズスイッチ「ＣＲＵＩＳＥ」、ＡＣＣを解除するためのキャンセルスイッチ「ＣＡＮＣＥＬ」、その時の自車両の速度をセット車速Ｖｓｅｔとして設定するためのセットスイッチ「ＳＥＴ／−」、先行車と自車両との車間距離のモードを設定するための車間距離設定スイッチ、全開の記憶してあるセット車速Ｖｓｅｔを再セットするためのリジュームスイッチ「ＲＥＳ／＋」を有している。なお、本実施形態において、車間距離のモードとしては「長」、「中」、「短」の何れかが設定され、走行制御ユニット５は、例えば、自車速Ｖに応じて、モード毎に異なる追従目標距離Ｄｔｒｇを設定する。

そして、クルーズコントロール用スイッチ１５のクルーズスイッチがオンされ、セットスイッチ等を通じてドライバが希望するセット車速Ｖｓｅｔが設定されるとともに、車間距離設定スイッチを通じて追従目標距離Ｄｔｒｇの設定のためのモードが設定されると、走行制御ユニット５は、ＡＣＣを実行する。

ＡＣＣが実行されると、走行制御ユニット５は、必要に応じて、例えば、Ｅ／Ｇ＿ＥＣＵ７を通じた電子制御スロットル弁１７の開閉制御（エンジンの出力制御）を行うとともに、ＢＲＫ＿ＥＣＵ８を通じたブレーキブースタ１８からの出力液圧制御（ブレーキの自動介入制御）を行う。これにより、走行制御ユニット５は、ステレオ画像認識装置４で先行車が検出されていない場合には、自車速Ｖをセット車速Ｖｓｅｔに収束させる定速走行制御を行う。また、走行制御ユニット５は、定速走行制御中にステレオ画像認識装置４にて先行車を認識した場合には、当該先行車との車間距離Ｄを追従目標距離Ｄｔｒｇに収束させる追従走行制御（追従停止、追従発進も含む）を行う。

次に、ステレオ画像認識装置４によって実行されるワイパブレードの劣化判定について、図３に示すワイパ劣化判定ルーチンに従って説明する。このルーチンは、設定時間毎に繰り返し実行されるもので、ルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、自車両１が走行中であるか否かを調べる。

そして、ステレオ画像認識装置４は、ステップＳ１０１において、自車両１が走行中であると判定した場合にはステップＳ１０に進み、走行中でない（すなわち、停車中である）と判定した場合にはそのままルーチンを抜ける。

ステップＳ１０１からステップＳ１０２に進むと、ステレオ画像認識装置４は、ワイパスイッチ２６の操作状態等に基づき、ワイパアーム２２の揺動によって払拭領域が設定回数以上（例えば、３回以上）払拭された後であるか否かを調べる。すなわち、例えば、フロントガラス２０の汚れ具合等によっては、ワイパブレード２３が劣化等されていない場合であっても、所定回数以上の払拭を行わなければフロントガラス２０上に拭き残しが発生する場合がある。そこで、ステレオ画像認識装置４は、例えば、ワイパスイッチ２６がオンされてからオフされるまでの継続時間等に基づいて、十分な回収の払拭動作が行われたか否かを調べる。

そして、ステレオ画像認識装置４は、ステップＳ１０２において、ワイパブレード２３による払拭動作が設定回数以上行われたと判定した場合にはステップＳ１０３に進み、払拭動作が行われていないと判定した場合、或いは払拭動作後であっても払拭回数が設定回数未満であると判定した場合にはそのままルーチンを抜ける。

ステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、フロントガラス２０を払拭後の画像情報の取得を開始し、続くステップＳ１０４において、設定フレーム以上の画像情報を取得したか否かを調べる。

そして、ステレオ画像認識装置４は、画像情報を設定フレーム以上取得していないと判定した場合にはステップＳ１０３に戻り、設定フレーム以上取得したと判定した場合にはステップＳ１０５に進む。

ステップＳ１０４からステップＳ１０５に進むと、ステレオ画像認識装置４は、取得した左右の各画像について、フレーム間で時系列的に形状等が変化しない不変領域Ａ（例えば、図４参照）が存在するか否かを調べる。

そして、ステレオ画像認識装置４は、ステップＳ１０５において、左右の画像上の少なくとも何れか一方に不変領域Ａが存在すると判定した場合にはワイパブレード２３が劣化している可能性が高いと判定してステップＳ１０５に進み、不変領域Ａが存在しないと判定した場合にはそのままルーチンを抜ける。

ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、不変領域Ａがワイパブレード２３の移動方法に略倣った設定方向に延在しているか否かを調べる。

そして、ステレオ画像認識装置４は、ステップＳ１０６において、不変領域Ａが設定方向に延在していないと判定した場合にはそのままルーチンを抜け、不変領域Ａが設定方向に延在していると判定した場合にはステップＳ１０７に進む。

ステップＳ１０６からステップＳ１０７に進むと、ステレオ画像認識装置４は、検出した不変領域Ａ内の画素が左右の画像間において所定以上の割合でマッチング可能であるか否かを調べる。

そして、ステレオ画像認識装置４はステップＳ１０７において、不変領域Ａ内の画素が左右の画像間において所定以上に割合でマッチング可能であると判定した場合にはそのままルーチンを抜け、所定以上の割合でマッチング不能であると判定した場合にはステップＳ１０８に進む。

ステップＳ１０７からステップＳ１０８に進むと、ステレオ画像認識装置４は、ワイパブレード２３の払拭性能が劣化した可能性が高いことを判定した回数を示すカウンタＣをインクリメントし（Ｃ←Ｃ＋１）、続くステップＳ１０９においてカウンタＣのカウント値が設定閾値Ｃｔｈ以上であるか否かを調べる。

そして、ステップＳ１０９において、カウンタＣのカウント値が設定閾値Ｃｔｈ未満であると判定した場合、ステレオ画像認識装置４は、そのままルーチンを抜ける。

一方、ステップＳ１０９において、カウンタＣのカウント値が設定閾値Ｃｔｈ以上であると判定した場合、ステレオ画像認識装置４は、ステップＳ１１０に進み、例えば、図示しないディスプレイ装置やスピーカ等を通じて、ワイパブレード２３の払拭性能が劣化しており交換時期である旨の警報を出力した後、ルーチンを抜ける。

このような実施形態によれば、ウインドウガラス２０に対するワイパ装置２１（ワイパブレード２３）による払拭動作が行われた後にステレオカメラ３で撮像された画像を監視し、自車両１の走行中において画像上で時系列的に変化しない不変領域Ａを検出したとき、ワイパブレード２３の払拭性能が劣化状態にあると判定することにより、ワイパブレードの劣化を的確に判断することができる。そして、このようにワイパブレード２３の劣化を判断した場合には、ドライバ等にワイパブレード２３の交換等を速やかに促すことにより、フロントガラス２０の汚れ等に起因する車外環境の認識精度の低下等を的確に抑制することができる。

この場合において、画像上に不変領域Ａを検出した場合であっても、当該不変領域Ａがワイパブレード２３の払拭性能の劣化等に起因する特徴的な形態でない場合（例えば、設定方向に延在していない場合、或いは、不変領域Ａ内の画素が左右の画像間において所定以上の割合でマッチング可能である場合等）には、ワイパブレード２３の払拭性能が低下状態にあるとの判定をキャンセルすることにより、ワイパブレード２３の劣化判定に対する精度を向上することができる。

なお、本発明は、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であり、それらも本発明の技術的範囲内である。例えば、上述の実施形態においては、例えば、ワイパブレード２３の払拭性能が劣化状態にあるとの判定を、不変領域Ａの延在方向や不変領域Ａ内での画素のマッチングの可否等に基づいてキャンセル可能である構成の一例について説明したが、これらの処理を適宜省略することも可能である。また上述の実施形態においては、ステレオカメラを用いて車外監視を行う一例について説明したが、本発明はこれに限定されるものではなく、例えば、単眼のカメラを用いた車外監視装置に対しても適用が可能である。また、上述の実施形態においては、ワイパブレード２３の払拭性能が劣化した可能性が高いと判定した回数が設定以上となった場合に警報を行う構成の一例について説明したが、本発明はこれに限定されるものではなく、例えば、一度の劣化判定により速やかに警報を行うことも可能である。

１ … 車両（自車両）
２ … 運転支援装置
２ａ … ステレオカメラアセンブリ
３ … ステレオカメラ
３ｌ，３ｒ … 左右のカメラ
４ … ステレオ画像認識装置（画像監視手段）
５ … 走行制御ユニット
１５ … クルーズコントロール用スイッチ
１７ … 電子制御スロットル弁
１８ … ブレーキブースタ
２０ … フロントガラス（ウインドウガラス）
２０ｌ，２０ｒ …左右の払拭領域（ワイパ払拭領域）
２１ … ワイパ装置
２２ … ワイパアーム
２２ｌ，２２ｒ … 左右のワイパアーム
２３ｌ，２３ｒ … 左右のワイパブレード
２４ … リンク機構
２５ … ワイパモータ
２６ … ワイパスイッチ
Ａ … 不変領域

Claims

ウインドウガラス上のワイパ払拭領域に対向して配置され、車室内からウインドウガラス越しに車外を撮像する撮像手段を備えた車外監視装置において、
前記ウインドウガラスに対するワイパによる払拭動作が行われた後に前記撮像手段で撮像された画像を監視する画像監視手段を備え、
前記画像監視手段は、自車両の走行中において前記画像上で時系列的に変化しない不変領域を検出したとき、前記ワイパの払拭性能が劣化状態にあると判定することを特徴とする車外監視装置。
前記画像監視手段は、前記不変領域を検出した場合であっても、当該不変領域が予め設定された方向に延在していないとき、前記ワイパの払拭性能が劣化状態にあるとの判定をキャンセルすることを特徴とする請求項１記載の車外監視装置。
前記撮像手段は、車外の対象を異なる視点から撮像するステレオカメラであって、
前記画像監視手段は、前記ステレオカメラで撮像された左右の画像上に前記不変領域を検出した場合であっても、当該不変領域が左右の画像上でマッチング可能であるとき、前記ワイパの払拭性能が劣化状態にあるとの判定をキャンセルすることを特徴とする請求項１または請求項２に記載の車外監視装置。