JP2006308329A - レインセンサ - Google Patents

Abstract

【課題】撮像装置を用いながらも、撮像対象との位置的な制限を緩和して、車種、あるいは車両構造に限定されることなく降雨の有無を的確に検出することのできるレインセンサを提供する。
【解決手段】フロントウインドウ１０に映り込む車室内のダッシュボード１２上に配列されている通風口８０の画像の虚像Ｖｉｍｇを、撮像装置２０を通じて降雨なしの状態であらかじめ撮像し、同虚像Ｖｉｍｇの画像情報を基本パターンとして記憶部３０に記憶保持する。また、この撮像装置２０を通じて虚像Ｖｉｍｇの画像情報が撮像される都度、これを実パターンとして記憶部３０に記憶保持されている先の基本パターンとの差分画像を求める。そして、この差分画像を構成する画素数の量に基づいて降雨の有無、および降雨量を併せて判断する。
【選択図】 図１

Description

この発明は、例えば自動車のワイパ駆動制御のために降雨の有無を検出するレインセンサに関する。

従来、この種のレインセンサとしては、例えば特許文献１に記載のセンサが知られている。図１１および図１２に、こうしたレインセンサの一例として、この特許文献１に記載されているセンサ（付着物センサ）をもとにその概要を示す。

図１１に示されるように、このセンサは、自動車の車室内からフロントウインドウ１０越しに所定領域を撮像すべくルームミラー１１に設けられた撮像装置２０をはじめ、該撮像装置２０を通じて得られる画像信号に所要の画像処理を施す画像処理部１４０を基本的に備えている。そして、この画像処理部１４０による画像処理結果は判断・制御部１５０に与えられ、この判断・制御部１５０を通じて駆動部６０を介したワイパ７０の駆動が制御される。他方、同センサは、車室外のボンネット上にエンブレム１８０を備えている。このエンブレム１８０は、上記判断・制御部１５０から発光指令を受けて、同図１１中に光路Ｌとして示す撮像装置２０に向けた赤外光を発する部分である。

図１２は、このようなセンサ、並びにワイパの駆動制御を行う部分の電気的な構成をブロック図として示したものであり、次に、この図１２を併せ参照して同センサをはじめ、ワイパの駆動制御を行う部分の動作を簡単に説明する。

こうしたセンサにおいてはまず、判断・制御部１５０から上記エンブレム１８０に発光指令が出力されることによって、同エンブレム１８０から撮像装置２０に向けて赤外光が発せられ、この発せられた赤外光が撮像装置２０内のレンズを介して同撮像装置２０に上記エンブレム１８０の外形が結像される。この結像されたエンブレム１８０の像は、画像信号として撮像装置２０から画像処理部１４０に出力される。この画像処理部１４０においては、撮像装置２０にて取得された画像信号の輝度に基づき、上記エンブレム１８０の外形が画像信号として結像されているか否かの確認をした後、同画像信号をエンブレム１８０のその都度の外形を示す実パターンとして判断・制御部１５０に出力する。すなわち、この実パターンは、撮像装置２０によって撮像された時点でのエンブレム１８０の画像情報である。他方、判断・制御部１５０は、フロントウインドウ１０上に雨滴などの付着物がなく、上記エンブレム１８０の外形が撮像装置２０に正確に結像されたときの画像情報である基本パターンが記憶保持されている記憶部３０を有しており、上記実パターンの取得に伴ってこの記憶部３０から基本パターンを読み込む。そして判断・制御部１５０では、これら実パターンと基本パターンとの比較のもとに、画素の状態が一致している実パターンの画素の数、すなわち一致画素数Ｓを演算し、この一致画素数Ｓが所定の閾値よりも大きいとき、フロントウインドウ１０には雨滴などが付着していないと判断する。すなわちこの場合、駆動部（モータ）６０を通じたワイパ７０の駆動等が行われることはない。他方、上記一致画素数Ｓが所定の閾値よりも小さいときには、同判断・制御部１５０を通じてフロントウインドウ１０に雨滴などが付着していると判断され、この場合には駆動部６０を通じたワイパ７０の駆動が実行されることとなる。
特開平９−１８９５３３号公報

このように、上記従来のレインセンサにあっては、撮像装置２０を通じて得られるボンネット上に設けられたエンブレム１８０の実パターンと記憶部３０に記憶保持されている基本パターンとを比較したときの一致画素数Ｓの値に基づいてフロントウインドウ１０上に付着する雨滴の有無や雨滴の量を判断するようにしている。したがって、これら判断（検出）される雨滴の有無や雨滴の量に応じたワイパの駆動制御についてもこれを容易に自動化することができるようになる。

ただし、同センサにあっては上述のように、判断・制御部１５０による発光指令のもと、上記エンブレム１８０から撮像装置２０に向けて赤外光が発せられることで上記実パターンを得る構成となっているため、これらエンブレム１８０と撮像装置２０とは直線で結ばれる関係にあることが必須であり、またその間には何らの障害物があってもならない。そしてこのことは、エンブレム１８０から必ずしも赤外光を発生させずにその画像を撮像装置２０にて実パターンとして撮像する構成であっても同様であり、やはりそれらエンブレム１８０と撮像装置２０とは直接、直線にて結ばれる関係にある必要がある。したがって、例えばエンブレム１８０を搭載していない車両や、エンブレム１８０を搭載していたとしても、ボンネットの勾配が大きくて、該エンブレム１８０を撮像装置２０にて直接撮像することのできない車両などに対してこのようなセンサを適用することは難しい。

この発明は、こうした実情に鑑みてなされたものであって、撮像装置を用いながらも、撮像対象との位置的な制限を緩和して、車種、あるいは車両構造に限定されることなく降雨の有無を的確に検出することのできるレインセンサを提供することを目的とする。

こうした目的を達成するため、請求項１に記載の発明では、車両の車室内からフロントウインドウ越しに画像を撮像する撮像装置を備え、該撮像装置を通じて撮像される画像の画像情報に基づき降雨の有無を検出するレインセンサとして、前記フロントウインドウに映り込む車室内の特定要素の画像の虚像を前記撮像装置にて撮像するとともに、該撮像される虚像の画像情報の推移に基づいて前記降雨の有無を判断する判断手段を備えることとした。

どのような車種、どのような車両構造であれ、車室内の要素のフロントウインドウへの映り込み、すなわちそれら車室内の要素の画像の虚像は、物理現象として必ず存在する。また、このような虚像が車両のフロントウインドウへの映り込みとして生じることに鑑みれば、該フロントウインドウ表面の状態、すなわち雨滴の有無、あるいは雨量等に応じてその画像情報も自ずと変化する。したがって、レインセンサとしての上記構成によれば、このような虚像の画像情報の推移を上記判断手段を通じて追跡していくことで、車種、あるいは車両構造に拘わらず、降雨の有無等を的確に検出することができるようになる。

また、上記請求項１に記載のレインセンサにおいて、請求項２に記載の発明では、上記判断手段が、前記撮像される虚像の画像情報の推移に基づく降雨の有無を、降雨なしの状態であらかじめ撮像された前記虚像の画像情報もしくはそれに相当する画像情報と前記撮像装置を通じてその都度撮像される同虚像の画像情報との比較に基づいて判断することとしている。

通常、前記撮像装置を通じて画像情報を取得した時点において、前記フロントウインドウが実際に降雨なしの状態にある場合、降雨なしの状態であらかじめ撮像された前記虚像の画像情報等と前記撮像装置を通じてその都度撮像される同虚像の画像情報との間に差異は生じない。したがってこの場合、フロントウインドウの表面に雨滴が付着していない、すなわち降雨なしと判断することができる。逆に、前記撮像装置を通じて画像情報を取得した時点において、前記フロントウインドウが降雨ありの状態にある場合、降雨なしの状態であらかじめ撮像された前記虚像の画像情報等と前記撮像装置を通じてその都度撮像される同虚像の画像情報との間に差異が生じることとなる。したがってこの場合、同フロントウインドウの表面に雨滴が付着している、すなわち降雨ありと判断することができる。この点、レインセンサとしての上記構成によれば、これら画像情報の比較に基づいて降雨の有無を好適に判断することができるようになる。

なお、このような判断手段としては、例えば請求項３に記載の発明によるように、
（Ａ１）前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報もしくはそれに相当する画像情報を基本パターンとして記憶保持する記憶手段を備え、前記撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記記憶手段に記憶保持されている基本パターンとパターン比較することにより、前記降雨の有無を判断する。
あるいは、請求項４に記載の発明によるように、
（Ａ２）前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報もしくはそれに相当する画像情報、および降雨量に応じて段階的に撮像された前記虚像の画像情報もしくはそれらに相当する画像情報の複数を基本パターンとして記憶保持する記憶手段を備え、前記撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記記憶手段に記憶保持されている各基本パターンとパターン比較することにより、前記降雨の有無、および降雨量を併せて判断する。
等々の構成も、上記画像情報間の差異を的確に認識する上で有効である。

ちなみに、上記（Ａ１）の構成によれば、前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報等を基本パターンとして採用して上記パターン比較を行うため、降雨あり、あるいは降雨なしの判断、すなわち降雨の有無にかかる判断を比較的容易に行うことができるようになる。また、上記（Ａ２）の構成によれば、前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報、および降雨量に応じて段階的に撮像された前記虚像の画像情報等の複数を基本パターンとして採用して上記パターン比較を行うため、降雨の有無にかかる判断に加え、降雨量にかかる判断も比較的容易に行うことができるようになる。

また、同判断手段としては、例えば請求項５に記載の発明によるように、
（Ｂ１）前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報もしくはそれに相当する画像情報を基本パターンとして記憶保持する記憶手段を備え、前記撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記記憶手段に記憶保持されている基本パターンとの差分画像を求め、該差分画像を構成する画素数の多少に基づいて前記降雨の有無を判断する。
あるいは、請求項６に記載の発明によるように、
（Ｂ２）前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報もしくはそれに相当する画像情報を基本パターンとして記憶保持する記憶手段を備え、前記撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記記憶手段に記憶保持されている基本パターンとの差分画像を求め、該差分画像を構成する画素数の量に基づいて前記降雨の有無、および降雨量を併せて判断する。
等々の構成も、同じく上記画像情報間の差異を的確に認識する上で有効である。

ちなみに、上記実パターンと上記基本パターンとの差分画像を構成する画素数は、差分演算という簡単な演算処理を通じて得られるものでありながらも、これら両パターンの類似の度合いを的確に表す指標の１つである。すなわち、上記実パターンと上記基本パターンとの差異が大きくなるほど、この差分画像を構成する画素数は多くなり、逆に、上記実パターンと上記基本パターンとの差異が小さいほど、この差分画像を構成する画素数は少なくなる。したがって、上記（Ｂ１）の構成によれば、前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報等を基本パターンとして採用するため、演算処理にかかる負荷の増大を最小限に抑制しつつも、上記差分画像を構成する画素数の多少に基づき降雨の有無にかかる判断を実行することができるようになる。また、上記（Ｂ２）の構成によれば、同じく演算処理にかかる負荷の増大を好適に抑制しつつ、上記差分画像を構成する画素数の量に基づき、降雨の有無にかかる判断に加え、降雨量にかかる判断も併せて行うことができるようになる。

一方、上記請求項１に記載のレインセンサにおいて、例えば請求項７に記載の発明によるように、前記撮像装置を通じて前記車室内の特定要素の画像の実像を併せて撮像するとともに、前記判断手段として、この撮像装置を通じて撮像される前記車室内の特定要素の画像の実像の画像情報と同撮像装置を通じてその都度撮像される前記車室内の特定要素の画像の虚像の画像情報との比較に基づいて前記降雨の有無を判断することとすれば、構成の簡素化を図りつつも、降雨の有無にかかる判断を好適に行うことができるようになる。

なおこの場合、前記判断手段として、具体的には、例えば請求項８に記載の発明によるように、
（Ｃ１）前記撮像装置を通じて撮像される前記車室内の特定要素の画像の実像の画像情報を参照画像とし、同撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記参照画像との差分画像を求め、該差分画像を構成する画素数の多少に基づいて前記降雨の有無を判断する。
あるいは、請求項９に記載の発明によるように、
（Ｃ２）前記撮像装置を通じて撮像される前記車室内の特定要素の画像の実像の画像情報を参照画像とし、同撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記参照画像との差分画像を求め、該差分画像を構成する画素数の量に基づいて前記降雨の有無、および降雨量を併せて判断する。
等々の構成も、やはり上記画像情報間の差異を的確に認識する上で有効である。

ちなみに、上記（Ｃ１）の構成によれば、前記撮像装置を通じて撮像される前記車室内の特定要素の画像の実像を実パターンと比較するための参照画像として採用するため、上述した記憶手段等を用いずとも、上記差分画像を構成する画素数の多少に基づく降雨の有無にかかる判断を好適に行うことができるようになる。また、上記（Ｃ２）の構成によればさらに、上記差分画像を構成する画素数の量に基づき、降雨の有無にかかる判断に加え、降雨量にかかる判断も併せて行うことができるようになる。

また、上記請求項１〜９のいずれかに記載のレインセンサにおいて、例えば請求項１０に記載の発明によるように、前記車室内の特定要素を照明するための照明源をさらに備えることとすれば、上記フロントウインドウに映り込む車室内の特定要素の画像が明瞭になり、より高いコントラストをもって虚像の画像情報を取得することができるようになる。そしてひいては、この撮像される虚像の画像情報の推移に基づいて降雨の有無をより的確に判断することができるようになる。

また、上記請求項１〜１０のいずれかに記載のレインセンサにおいて、請求項１１に記載の発明では、前記車室内の特定要素を、ダッシュボード上に配列されている通風口とした。

通常、ダッシュボード上に配列されている通風口は、孔部と仕切り部とが周期的に繰り返されて形成されている。他方、フロントウインドウ上に付着する雨滴はいわゆる凸レンズとして作用するため、車室外から車室内へ入射する光を散乱させる。したがって、わずかに降雨がある、すなわち同フロントウインドウに雨滴がわずかでも付着すると、同フロントウインドウに映り込む通風口の画像、すなわち上記撮像装置を通じて得られる虚像の画像情報は、その直線性が大きく乱れることとなる。また、降雨量が多くなる、すなわち同フロントウインドウに付着する雨滴が多くなると、同フロントウインドウの平面度が低下する。そのため、同フロントウインドウに映り込む通風口の画像、すなわち上記撮像装置を通じて得られる虚像の画像情報も、大きくゆがむこととなる。この点、レインセンサとしての上記構成によれば、フロントウインドウ上に付着する雨滴の有無や付着量を高い感度のもとに検出することができるようになる。

一方、上記目的を達成するため、請求項１２に記載の発明では、車両の車室内からフロントウインドウ越しに画像のラインを検出するラインセンサを備え、該ラインセンサを通じて検出されるラインの画像情報に基づき降雨の有無を検出するレインセンサとして、前記フロントウインドウに映り込む車室内の特定要素の画像の虚像のラインを前記ラインセンサにて検出するとともに、該検出される虚像ラインの画像情報の推移に基づいて前記降雨の有無を判断する判断手段を備えることとした。

このような構成でも、上記特定要素の虚像の画像情報の推移を上記判断手段を通じて追跡していくことで、レインセンサとしての最低限の降雨検出は可能である。

（第１の実施の形態）
以下、この発明にかかるレインセンサの第１の実施の形態について、ワイパの駆動制御も含めたかたちで、図１〜図６を参照して詳細に説明する。

この実施の形態では、以下に詳述するように、まずは、フロントウインドウに映り込む車室内のダッシュボード上に配列されている通風口の画像の虚像を、撮像装置を通じて降雨なしの状態であらかじめ撮像し、同虚像の画像情報を基本パターンとして記憶部に記憶保持する。また、この撮像装置を通じて虚像の画像情報が撮像される都度、これを実パターンとして記憶部に記憶保持されている先の基本パターンとの差分画像を求める。そして、この差分画像を構成する画素数の量に基づいて降雨の有無、および降雨量を併せて判断することで、撮像対象との位置的な制限を緩和し、車種、あるいは車両構造に限定されることなく降雨の有無を的確に検出するようにしている。

図１は、この実施の形態にかかるレインセンサについて、その構成を模式的に示す側面図であり、図２は同センサを構成する各要素間の信号の流れを示すブロック図である。はじめに、これら図１および図２を参照しつつ、この実施の形態の構成および機能について詳細に説明する。

この実施の形態のレインセンサは、図１および図２に示されるように、大きくは、
・車室内のルームミラー１１の支持部に設けられて、フロントウインドウ１０に映り込む車室内のダッシュボード１２上に配列されている通風口８０の画像の虚像Ｖｉｍｇを、車室内から同フロントウインドウ１０越しに撮像する撮像装置２０。
・降雨なしの状態であらかじめ同撮像装置２０を通じて撮像された同虚像Ｖｉｍｇの画像情報を基本パターンとして記憶保持する記憶部（記憶手段）３０。
・同撮像装置２０を通じて虚像Ｖｉｍｇの画像情報が撮像される都度、これを実パターンとして同記憶部３０に記憶保持されている基本パターンとの差分画像を求め、該差分画像を構成する画素数Ｓ（画素数の量）を求める画像処理部４０。
・同画像処理部４０から画素数Ｓが入力され、この画素数Ｓに基づき降雨の有無、および降雨量を併せて判断するとともに、該判断結果に対応するワイパ駆動信号を駆動部（モータ）６０に出力してワイパ７０を駆動する判断・制御部（判断手段）５０。
等々を備えて構成されている。

ちなみに、この実施の形態では、上記撮像装置２０として、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラを採用している。この撮像装置２０は、レンズおよびＣＣＤ等がその内部に備えられており、その焦点深度は、フロントウインドウ１０の前方（車外）の風景は結像されず、車室内のダッシュボード１２上に配列された通風口８０からの光像がフロントウインドウ１０の表面で反射して虚像としてＣＣＤに結像される距離に設定されている。すなわち、図１に虚像Ｖｉｍｇとして示すように、また図３に、これら撮像装置２０、フロントウインドウ１０、そして通風口８０の虚像Ｖｉｍｇの関係を側面方向から模式的に示すように、撮像装置２０内部のＣＣＤには、同通風口８０があたかも車外に存在しているかのように、その虚像ＶｉｍｇがＣＣＤに結像することとなる。そして撮像装置２０は、この結像された虚像の画像情報を撮像する都度、これを実パターンとして画像処理部４０へ出力している。なお、このようにして得られる画像情報は、上記判断・制御部５０において所要の画像処理が可能な程度の十分な分解能を有して撮像されている。

図４および図５は、画像処理部４０で行われる以下の（１）式に従った演算に供される画像の一例を示す図である。次に、これら図４および図５を併せ参照して、上記画像処理部４０が行う処理について詳述する。

同画像処理部４０は、上記判断・制御部５０による降雨の有無、および降雨量の判断、ならびにワイパ７０の駆動制御に際し、まずは撮像装置２０によって得られる実パターンの画像情報ｆ（ｘ、ｙ）と記憶部３０に記憶保持されている基本パターンの画像情報ｇ（ｘ、ｙ）との差分画像の画像情報ｈ（ｘ、ｙ）を、以下の（１）式に従って求める。

ｈ（ｘ、ｙ）＝｜ｆ（ｘ、ｙ）−ｇ（ｘ、ｙ）｜・・・（１）

すなわち、差分画像の画像情報ｈ（ｘ、ｙ）は、実パターンの画像情報ｆ（ｘ、ｙ）および基本パターンの画像情報ｇ（ｘ、ｙ）の同じ位置座標における輝度値の差の絶対値により与えられ、同じ位置座標における輝度値が同一である場合には「０」となり、同じ位置座標における輝度値が異なる場合には「１」となる。換言すれば、これら両パターンのうち異なる箇所が黒く強調された画像が上記差分画像の画像情報ｈ（ｘ、ｙ）として求められることとなる。

ここで、図４（ａ）は、記憶部３０に記憶保持されている基本パターンＲｉｍｇの一例であり、上述のように降雨なしの状態であらかじめ撮像装置２０を通じて撮像された通風口８０の虚像の画像情報ｆ（ｘ、ｙ）である。そのため、この基本パターンＲｉｍｇは、同図４（ａ）に示されるように、直線性が維持された状態で孔部と仕切り部とが周期的に繰り返された画像となっている。

また、図４（ｂ）は、撮像装置２０を通じてその都度得られる実パターンＩＭＧ１の一例であり、わずかに降雨がある、すなわちフロントウインドウ１０に雨滴がわずかに付着している状態で同撮像装置２０を通じて撮像された通風口８０の虚像の画像情報ｇ（ｘ、ｙ）である。フロントウインドウ１０上に付着する雨滴はいわゆる凸レンズとして作用するため、車室外から車室内へ入射する光を散乱させる。したがって、この実パターンＩＭＧ１は、雨滴に該当する部分が他の部分よりも相対的に明るくなり、この雨滴が円形状に撮像された２値画像となっている。

そして図４（ｃ）は、画像処理部４０において上記（１）式に従って差分演算された差分画像Ｄｉｍｇ１であり、この差分画像Ｄｉｍｇ１は、実パターンＩＭＧ１中に円形状として撮像された雨滴に該当する部分が黒く（輝度値は小さく）強調された画像となっている。

他方、図５（ａ）は、先の同図４（ａ）と同様に、記憶部３０に記憶保持されている基本パターンＲｉｍｇの一例であり、上述のように降雨なしの状態であらかじめ撮像装置２０を通じて撮像された通風口８０の虚像の画像情報ｆ（ｘ、ｙ）である。そのため、基本パターンＲｉｍｇは、同図５（ａ）に示されるように、同じく直線性が維持された状態で孔部と仕切り部とが周期的に繰り返された画像となっている。

また、図５（ｂ）は、撮像装置２０を通じてその都度得られる実パターンＩＭＧ２の一例であり、降雨量が多い、すなわちフロントウインドウ１０に付着する雨滴が多い状態で同撮像装置２０を通じて撮像された通風口８０の虚像の画像情報ｇ（ｘ、ｙ）である。フロントウインドウ１０上に付着する雨滴はいわゆる凸レンズとして作用するため、車室外から車室内へ入射する光を散乱させることは上述の通りである。ただし、雨滴が多い場合には、この雨滴がフロントウインドウ１０全体を覆うため、同フロントウインドウ１０の平面度をいっそう低下させる。そのため、実パターンＩＭＧ２は、仕切り部に該当する直線の歪んだ２値画像となる。

そして図５（ｃ）は、画像処理部４０において上記（１）式に従って差分演算された差分画像Ｄｉｍｇ２であり、この図５（ｃ）は、実パターンＩＭＧ２中で歪んだ直線として撮像された部分に該当する部分が黒く（輝度値は小さく）強調されたかたちの画像となっている。

そこで画像処理部４０は次に、先の図４（ｃ）および図５（ｃ）に示される差分画像Ｄｉｍｇ１およびＤｉｍｇ２を構成する画素数（画素数の量）Ｓを算出する。図４（ａ）〜（ｃ）および図５（ａ）〜（ｃ）の対比からもわかるように、撮像装置２０を通じて得られる実パターンＩＭＧが、記憶部３０に記憶保持されている基本パターンＲｉｍｇからかけ離れるほど、差分画像Ｄｉｍｇ中の黒点の占める面積は大きい。したがって、差分画像Ｄｉｍｇ２を構成する画素数Ｓは、差分画像Ｄｉｍｇ１を構成する画素数Ｓよりも多くなる。すなわち、この画素数Ｓは、これら実パターンと基本パターンとの類似の度合いを的確に表す指標の１つであり、ひいては、降雨の有無、および降雨量を的確に表す指標の１つとなる。

また、判断・制御部５０は、画像処理部４０から画素数Ｓが入力され、この画素数Ｓに基づき、まずは降雨の有無、および降雨量を判断する。この画素数Ｓが降雨の有無、および降雨量を的確に表す指標の１つとなることは上述の通りであり、所定の第１の閾値Ｓｔｈ１よりも大きいと判断される場合、大雨と判定する。他方、第１の閾値Ｓｔｈ１よりも小さい所定の第２の閾値Ｓｔｈ２よりも小さいと判断される場合、小雨と判定する。そしてこのいずれでもないと判断される場合には、並雨と判定する。

さらに判断・制御部５０は、この判定結果（すなわち画素数Ｓ）に対応するワイパ駆動信号を駆動部（モータ）６０に出力する。すなわち、大雨と判定するときとは、フロントウインドウ１０上に付着する雨を迅速に払拭する必要があるときであるため、ワイパ７０を短い周期で連続駆動する。また、小雨と判定するときとは、フロントウインドウ１０上に付着する雨滴はそれほど多くないため、ワイパ間欠駆動間隔を長く設定する。そして、並雨と判定するときとは、ワイパを連続駆動させる必要はないものの適時に払拭をしなければならないときであるため、ワイパ間欠駆動間隔を短く設定する。なお、所定の閾値Ｓｔｈ１およびＳｔｈ２は、実験により、あるいは経験的にあらかじめ求められる値である。

図６は、このような判断・制御部５０を通じて実行されるワイパの駆動制御を含めた検出処理の処理手順を示すものであり、以下、図６を併せ参照して、この実施の形態の検出処理について詳述する。

この実施の形態のレインセンサにあっては、例えば図示しないワイパスイッチによってこのワイパの駆動制御によるワイパ７０の駆動が選択されている条件のもとで、まず、ステップ１０１の処理として実パターン（虚像）の取り込みが行われる。すなわち、車室内のダッシュボード１２上に配列されている通風口８０の虚像が撮像装置２０を通じて実パターンＩＭＧとして撮像され、その画像情報ｆ（ｘ、ｙ）が画像処理部４０に取り込まれる。

そして、ステップＳ１０２の処理として画像処理部４０は、先のステップＳ１０１の処理で得られた実パターンＩＭＧの画像情報ｆ（ｘ、ｙ）と記憶部３０に記憶保持されている基本パターンＲｉｍｇの画像情報ｇ（ｘ、ｙ）との差分画像Ｄｉｍｇを、上記（１）式に従って求める。続くステップＳ１０３の処理において画像処理部４０は、ステップＳ１０２の処理で得られた差分画像Ｄｉｍｇを構成する画素数Ｓを求める。なお、この画素数Ｓが、降雨の有無、および降雨量を的確に表す指標の１つとなることは上述の通りである。

このようにして求められた画素数Ｓは、画像処理部４０から判断・制御部５０へ出力され、該判断・制御部５０によって、ステップＳ１０４の処理として画素数Ｓが所定の第１の閾値Ｓｔｈ１よりも大きいか否かが判断される。そしてこの画素数Ｓが所定の閾値Ｓｔｈ１よりも大きいと判断される場合、判断・制御部５０は、ステップＳ１０５の処理として「大雨」と判定し、続くステップＳ１０６の処理として駆動部６０に対し、「ワイパ連続駆動」に対応するワイパ駆動信号を出力する。これにより駆動部６０は、このワイパ駆動信号によって指定された態様をもってワイパ７０を連続駆動することとなる。

他方、先のステップＳ１０４の処理において画素数Ｓが所定の第１の閾値Ｓｔｈ１よりも小さいと判断される場合、判断・制御部５０は、ステップＳ１０７の処理として、上記画素数Ｓと先の閾値Ｓｔｈ１よりも小さい所定の第２の閾値Ｓｔｈ２との大きさの比較を行う。そしてこの画素数Ｓが所定の第２の閾値Ｓｔｈ２よりも大きいと判断される場合、続くステップＳ１０８の処理として「並雨」と判定する。この場合には、ステップＳ１０９の処理として「ワイパ間欠駆動間隔＝短」と設定し、駆動部６０に対してこの「ワイパ間欠駆動間隔＝短」に対応するワイパ駆動信号を出力する。これにより、駆動部６０は、このワイパ駆動信号によって指定された間欠駆動間隔、例えば「０．５秒」間隔をもって間欠駆動することとなる。

また、先のステップＳ１０７の処理において画素数Ｓが所定の第２の閾値Ｓｔｈ２よりも小さいと判断される場合、判断・制御部５０は、続くステップＳ１１０の処理として「小雨」と判定する。そしてこの場合には、ステップＳ１１１の処理として「ワイパ間欠駆動間隔＝長」と設定し、駆動部６０に対してこの「ワイパ間欠駆動間隔＝長」に対応するワイパ駆動信号を出力する。これにより、駆動部６０は、このワイパ駆動信号によって指定された間欠駆動間隔、例えば「２．０秒」をもって間欠駆動することとなる。

以上説明したように、この実施の形態のレインセンサによれば、以下のように優れた効果が得られるようになる。
（１）フロントウインドウ１０に映り込む車室内の通風口８０の画像の虚像Ｖｉｍｇを撮像装置２０にて撮像することとした。これにより、撮像対象との位置的な制限が緩和され、車種、あるいは車両構造に限定されることなく降雨の有無を的確に検出することができるようになる。

（２）また、撮像装置２０を通じて虚像Ｖｉｍｇの画像情報が撮像される都度、これを実パターンとして記憶部３０に記憶保持されている基本パターンＲｉｍｇとの差分画像Ｄｉｍｇを求め、この差分画像Ｄｉｍｇを構成する画素数Ｓに基づいて降雨の有無、降雨量、およびワイパ７０の駆動を行うこととした。これにより、演算処理にかかる負荷の増大を好適に抑制しつつも、降雨の有無等にかかる判断におよびフロントウインドウ１０の払拭を行うことができるようになる。

（３）また、降雨なしの状態であらかじめ撮像された虚像Ｖｉｍｇの画像情報を基本パターンＲｉｍｇとして記憶部３０に記憶保持することとした。これにより、基本パターンＲｉｍｇの画像情報を画像処理部４０に確実に出力することができるようになる。

（４）また、フロントウインドウ１０に映り込む車室内の特定要素として、ダッシュボード１２上に配列されている通風口８０を採用することとした。この画像パターンは上述のように、本来は直線性が維持された状態で孔部と仕切り部とが周期的に繰り返されるパターンとなる。このため、同パターンの変形態様の追跡を通じて、フロントウインドウ１０上に付着する雨滴の有無、あるいは雨滴の量の検出に対する感度の好適な向上が図られるようになる。
（第２の実施の形態）
次に、この発明にかかるレインセンサの第２の実施の形態について、図７を参照しつつ説明する。なお、図７は、この実施の形態にかかるレインセンサについて、その構成を模式的に示す正面図である。また、この図７において、先の図１および図２に示した要素と同一の要素にはそれぞれ同一の符号を付して示しており、それら各要素についての重複する説明は割愛する。

この実施の形態のレインセンサも、基本的には先の図１および図２に示したレインセンサに準じた構成となっている。ただし、この実施の形態では、図７に示されるように、車室内のルームミラー１１の支持部に、車室内のダッシュボード１２上に配列されている通風口８０を照明するための照明源９０をさらに備えている。

このように構成されたレインセンサにあって、撮像装置２０を通じた実パターンの取得に際してはまず、同照明源９０から赤外光が発せられ、この発せられた赤外光は、同図７中に光路Ｌとして示す態様をもってフロントウインドウ１０に到達する。そして、同フロントウインドウ１０に映り込む車室内の通風口８０の画像、正確には、通風口８０を構成する孔部と仕切り部とが周期的に繰り返される画像の濃淡が明瞭になった状態において、先の撮像装置２０を通じて実パターンＩＭＧが取得されることとなる。

このため、以上説明した第２の実施の形態のレインセンサによれば、第１の実施の形態の上記（１）〜（４）の効果に加え、新たに以下に記載の効果が得られるようになる。
（５）車室内のルームミラー１１の支持部に、車室内のダッシュボード１２上に配列されている通風口８０を照明するための照明源９０を備えることとした。これにより、同フロントウインドウ１０に映り込む車室内の通風口８０の画像は、その濃淡が明瞭になった状態で、実パターンＩＭＧとして取得されることとなる。すなわち、より高いコントラストをもって虚像Ｖｉｍｇの画像情報を取得することができるようになる。そしてひいては、降雨の有無、および降雨量をより的確に判断することができるようになる。
（第３の実施の形態）
次に、この発明にかかるレインセンサの第３の実施の形態について、図８および図９を参照しつつ説明する。なお、図８は、この実施の形態にかかるレインセンサについて、その構成を模式的に示す正面図であり、図９は同センサを構成する各要素間の信号の流れを示すブロック図である。また、これら図８および図９において、先の図１および図２に示した要素と同一の要素にはそれぞれ同一の符号を付して示しており、それら各要素についての重複する説明は割愛する。

この実施の形態のレインセンサも、基本的には先の図１および図２に示したレインセンサに準じた構成となっている。ただし、この実施の形態では、上記基本パターンを記憶保持する記憶部に替えて、車室内のダッシュボード上の、通風口の画像の実像の画像情報を参照画像としている。そして、撮像装置を通じて虚像の画像情報が撮像される都度、これを実パターンとして同参照画像との差分画像を求め、該差分画像を構成する画素数（画素数の量）に基づいて、降雨の有無、および降雨量を併せて判断するようにしている。

すなわちこの場合、画像処理部４０ａを通じた差分画像の取得に際しては、まず、通風口８０の画像の実像の画像情報を、撮像装置２０を通じて撮像し、これを取得する。次に、フロントウインドウ１０に映り込む車室内の通風口８０の虚像の画像情報、すなわち（虚像の）実パターンをその都度、撮像装置２０を通じて撮像し、これを取得する。そして、上記（１）式に従ってこれら参照画像と実パターンとの差分演算をすることにより、上述した差分画像を得る。

以上説明したこの第３の実施の形態のレインセンサによれば、先の第１の実施の形態の上記（１）〜（４）の効果に加え、新たに以下に記載の効果が得られるようになる。
（６）基本パターンを記憶保持する記憶部３０に替えて、車室内のダッシュボード１２上に、通風口８０の画像の実像の画像情報を参照画像として採用することとした。これにより、先の記憶部等を備えずとも参照画像と実パターンとの比較が可能となり、当該レインセンサとしての機能を維持した上で、その構成の簡素化を図ることができるようになる。
（他の実施の形態）
なお、この発明にかかるレインセンサは上記実施の形態にて例示した構成に限定されるものではなく、同実施の形態を適宜変更した例えば次の形態として実施することもできる。

・上記第１の実施の形態では、フロントウインドウ１０に映り込む車室内の特定要素として、ダッシュボード１２上に配列されている通風口８０を採用することとしたが、これに限られない。要は、その輪郭等が明確である車室内の特定要素であればよく、通風口８０以外にも、例えば車載オーディオのスピーカなどを採用しても、上記（４）の効果を得ることはできる。

・上記第２の実施の形態では、車室内のルームミラー１１の支持部に、車室内のダッシュボード１２上に配列されている上記通風口８０等の車室内の特定要素を照明するための照明源９０を備えて赤外光を照射していたが、照明源９０から照射する光は赤外光に限られない。要は、フロントウインドウ１０に映り込む上記特定要素の虚像の濃淡がより明瞭となれば上記（５）の効果を得ることはでき、照射光の種類は任意である。

・上記第３の実施の形態では、車室内のダッシュボード１２上の上記通風口８０等の特定要素の画像の実像の画像情報を参照画像として採用したが、その実像を参照画像とする特定要素も上記通風口８０に限られることなく任意である。他に例えば、先の図８に併せて示すようなシールもしくはステッカー８１をダッシュボード等に貼り付け、この実像を参照画像としてその虚像との比較を行うようにしてもよい。

・上記第１および第２の実施の形態では、降雨なしの状態であらかじめ撮像された虚像の画像情報を基本パターンとして記憶部３０に記憶保持することとしたが、必ずしも実際に撮像された画像情報を用いる必要はなく、経験的に求めた、あるいは推定される画像情報を記憶部３０に記憶保持することとしてもよい。これによっても、上記（３）の効果を得ることはできる。

・上記各実施の形態では、撮像装置２０を通じて実パターンを取得することとしたが、これに限られない。この撮像装置２０に替えてラインセンサを採用し、このラインセンサを通じて実パターンを取得することとしても上記（１）の効果を得ることはできる。

・上記各実施の形態では、実パターンの画像情報ｆ（ｘ、ｙ）、基本パターンの画像情報ｇ（ｘ、ｙ）、および差分画像の画像情報ｈ（ｘ、ｙ）とするとき、上記（１）式を用いて差分画像を求めることとした。差分画像の取得についてはこれを、上記（１）式に替えて以下の（２）式に従って求めることとしてもよい。要は、実パターンと基本パターンとの差分画像が求められればよく、従う演算式は画像情報の定義によっても適宜に変更可能である。

ｈ（ｘ、ｙ）＝ｆ（ｘ、ｙ）−ｇ（ｘ、ｙ）・・・（２）

・上記各実施の形態では、先の図６に示されるように、画像処理部４０あるいは画像処理部４０ａから出力される画素数（画素数の量）Ｓに対し、閾値を２段階に設定して降雨量を判断していた。しかし、同図６のステップＳ１０４〜Ｓ１１１の処理に対応する処理として図１０のステップＳ２０４〜Ｓ２０７に示すように、これら画像処理部４０あるいは画像処理部４０ａから出力される画素数Ｓに対し閾値Ｓｔｈを１つのみ設定することとしてもよい。すなわち、画素数Ｓが閾値Ｓｔｈを超えると判断されるとき、「ワイパの駆動が必要とされる雨量」と判定し、画素数Ｓが閾値Ｓｔｈ未満であると判断されるとき、「ワイパの駆動が不要」と判定するように、降雨の有無を判断することとしてもよい。なお、図１０において、上記ステップＳ２０４〜Ｓ２０７以外の処理は、先の図６に示した処理と同様であり、ここでの重複する説明は割愛する。

・上記第１および第２の実施の形態では、撮像装置２０を通じて虚像の画像情報が撮像される都度、これを実パターンとして記憶部３０に記憶保持されている基本パターンとの差分画像を求め、この差分画像を構成する画素数に基づいて降雨の有無、および降雨量を判断することとした。しかし、実パターンと基本パターンとの比較についてはこれを、撮像装置２０を通じて虚像の画像情報が撮像される都度、いわゆるパターン比較技術によって降雨の有無を判断するようにしてもよい。さらに、降雨なしの状態であらかじめ撮像された虚像の画像情報、および降雨量に応じて段階的に撮像された虚像の画像情報もしくはそれらに準じた画像情報の複数を基本パターンとして記憶部３０に記憶保持しておき、それら基本パターンとのパターン比較を通じて降雨の有無、および降雨量を併せて判断することとしてもよい。またこのように、実パターンと基本パターンとの比較の方法は、パターン比較に限られず、その他、各種の方法によりこれを行ってもよい。要はこの場合、記憶部３０に記憶保持している基本パターンと、撮像装置２０を通じて得られる実パターンとの差異の有無、あるいは差異の程度を取得することができればよい。

・上記各実施の形態では、基本パターンあるいは参照画像と実パターンとの比較についてのみ言及したが、これに限られない。要は、実パターンの推移を追跡していくことで、上記に準じた降雨の有無や降雨量の検出を行うことはできる。

この発明にかかるレインセンサの第１の実施の形態についてその概要を示す側面図。 同実施の形態について、各構成要素間の電気的な接続態様および信号の流れを示すブロック図。 同実施の形態において採用される撮像装置、フロントウインドウ、そして通風口の虚像の関係を模式的に示す側面図。 同実施の形態において、（ａ）は、記憶部に記憶保持される基本パターンの一例を示す図。（ｂ）は、降雨がわずかにある場合に撮像装置を通じて撮像される実パターンの一例を示す図。（ｃ）は、（ａ）および（ｂ）に基づいて求められる差分画像の一例を示す図。 同実施の形態において、（ａ）は、記憶部に記憶保持される基本パターンの一例を示す図。（ｂ）は、降雨量が多い場合に撮像装置を通じて撮像される実パターンの一例を示す図。（ｃ）は、（ａ）および（ｂ）に基づいて求められる差分画像の一例を示す図。 同実施の形態について、ワイパの駆動制御を含めた降雨量の検出処理の処理手順を示すフローチャート。 この発明にかかるレインセンサの第２の実施の形態について、その構成を模式的に示す正面図。 この発明にかかるレインセンサの第３の実施の形態について、その構成を模式的に示す正面図。 同第３の実施の形態について、各構成要素間の電気的な接続態様および信号の流れを示すブロック図。 上記各実施の形態の変形例として、ワイパの駆動制御を含めた降雨の有無についての検出処理の処理手順を示すフローチャート。 従来のレインセンサの一例について、その概要を示す側面図。 同従来のレインセンサの一例について、ワイパを駆動制御する部分を含めた各構成要素間の電気的な接続態様および信号の流れを示すブロック図。

符号の説明

１０…フロントウインドウ、１１…ルームミラー、１２…ダッシュボード、２０…撮像装置、３０…記憶部、４０、４０ａ、１４０…画像処理部、５０、１５０…判断・制御部、６０…駆動部（モータ）、７０…ワイパ、８０…通風口、８１…シールもしくはステッカー、９０…照明源、１８０…エンブレム。

Claims (12)

1. 車両の車室内からフロントウインドウ越しに画像を撮像する撮像装置を備え、該撮像装置を通じて撮像される画像の画像情報に基づき降雨の有無を検出するレインセンサであって、
   前記フロントウインドウに映り込む車室内の特定要素の画像の虚像を前記撮像装置にて撮像するとともに、該撮像される虚像の画像情報の推移に基づいて前記降雨の有無を判断する判断手段を備える
   ことを特徴とするレインセンサ。
2. 前記判断手段は、前記撮像される虚像の画像情報の推移に基づく降雨の有無を、降雨なしの状態であらかじめ撮像された前記虚像の画像情報もしくはそれに相当する画像情報と前記撮像装置を通じてその都度撮像される同虚像の画像情報との比較に基づいて判断する
   請求項１に記載のレインセンサ。
3. 前記判断手段は、前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報もしくはそれに相当する画像情報を基本パターンとして記憶保持する記憶手段を備え、前記撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記記憶手段に記憶保持されている基本パターンとパターン比較することにより、前記降雨の有無を判断する
   請求項２に記載のレインセンサ。
4. 前記判断手段は、前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報もしくはそれに相当する画像情報、および降雨量に応じて段階的に撮像された前記虚像の画像情報もしくはそれらに相当する画像情報の複数を基本パターンとして記憶保持する記憶手段を備え、前記撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記記憶手段に記憶保持されている各基本パターンとパターン比較することにより、前記降雨の有無、および降雨量を併せて判断する
   請求項２に記載のレインセンサ。
5. 前記判断手段は、前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報もしくはそれに相当する画像情報を基本パターンとして記憶保持する記憶手段を備え、前記撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記記憶手段に記憶保持されている基本パターンとの差分画像を求め、該差分画像を構成する画素数の多少に基づいて前記降雨の有無を判断する
   請求項２に記載のレインセンサ。
6. 前記判断手段は、前記降雨なしの状態であらかじめ撮像された前記虚像の画像情報もしくはそれに相当する画像情報を基本パターンとして記憶保持する記憶手段を備え、前記撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記記憶手段に記憶保持されている基本パターンとの差分画像を求め、該差分画像を構成する画素数の量に基づいて前記降雨の有無、および降雨量を併せて判断する
   請求項２に記載のレインセンサ。
7. 前記撮像装置は、前記車室内の特定要素の画像の実像を併せて撮像するものであり、前記判断手段は、この撮像装置を通じて撮像される前記車室内の特定要素の画像の実像の画像情報と同撮像装置を通じてその都度撮像される前記車室内の特定要素の画像の虚像の画像情報との比較に基づいて前記降雨の有無を判断する
   請求項１に記載のレインセンサ。
8. 前記判断手段は、前記撮像装置を通じて撮像される前記車室内の特定要素の画像の実像の画像情報を参照画像とし、同撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記参照画像との差分画像を求め、該差分画像を構成する画素数の多少に基づいて前記降雨の有無を判断する
   請求項７に記載のレインセンサ。
9. 前記判断手段は、前記撮像装置を通じて撮像される前記車室内の特定要素の画像の実像の画像情報を参照画像とし、同撮像装置を通じて前記虚像の画像情報が撮像される都度、これを実パターンとして前記参照画像との差分画像を求め、該差分画像を構成する画素数の量に基づいて前記降雨の有無、および降雨量を併せて判断する
   請求項７に記載のレインセンサ。
10. 請求項１〜９のいずれか一項に記載のレインセンサにおいて、
    前記車室内の特定要素を照明するための照明源をさらに備える
    ことを特徴とするレインセンサ。
11. 前記車室内の特定要素が、ダッシュボード上に配列されている通風口である
    請求項１〜１０のいずれか一項に記載のレインセンサ。
12. 車両の車室内からフロントウインドウ越しに画像のラインを検出するラインセンサを備え、該ラインセンサを通じて検出されるラインの画像情報に基づき降雨の有無を検出するレインセンサであって、
    前記フロントウインドウに映り込む車室内の特定要素の画像の虚像のラインを前記ラインセンサにて検出するとともに、該検出される虚像ラインの画像情報の推移に基づいて前記降雨の有無を判断する判断手段を備える
    ことを特徴とするレインセンサ。

Images