JP6668151B2 - 車載光学装置および車載光学システム - Google Patents

Description

本発明は、車載光学装置および車載光学システムに関する。

本技術分野の背景技術として、特開2009-173260号公報(特許文献1)がある。この公報には、「車両の周囲領域をカバーする支援システムのための光学モジュールは、カメラ１０と光学アッセンブリを有しており、カメラは、車両の窓ガラス板、特にフロントガラス１６の内側領域に配置され、車両の周囲領域に向けられており、対物レンズ１２を通して、遠隔領域を、焦点が合った状態でカメラのセンサー１３表面の第１区画に画像化することができるようになっており、光学アッセンブリは、カメラの視界内に配置されており、窓ガラス板の検出領域をカバーする近接領域を、焦点が合った状態でカメラのセンサー表面の第２区画に画像化することができるようになっている。更に、特に自動車の、フロントガラスワイパーの窓拭き間隔を、その様な光学モジュールによって制御するための方法に関している。」と記載されている。

特開２００９−１７３２６０号公報

上記特許文献１に記載された技術では、ガラスの車両内側に付着した水滴（結露水）による視界不良の改善に関しては、考慮されていない。

本発明の目的は、ガラスの車両内側に付着した結露を解消させ、車載光学装置の信頼性を向上することができる技術を提供することにある。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る車載光学装置は、搭載された車両のガラス越しに上記車両の外部を撮影して画像を得る撮像部と、上記画像のうち一部の所定の範囲の像が所定の状態にあるか否かを判定して上記ガラスの結露を検出する結露検出部と、上記結露検出部が結露を検出すると、上記ガラスの結露を除去する結露除去装置を稼動させる結露除去装置制御処理部と、上記撮像部が撮影した画像のうち所定の位置および範囲で特定される画像を用いて上記車両の走行制御系に影響を与える所定の処理を行う画像認識処理部と、を備え、上記撮像部は、視差のある上記画像を撮像し、上記画像認識処理部は、上記視差のある上記画像内に含まれる障害物までの距離判別を行う処理を行い、上記結露検出部は、上記視差のある上記画像のうち上記画像認識処理部が上記距離判別を行う処理に用いる範囲の画像を除く別の範囲を上記一部の所定の範囲として結露を検出する。

本発明によれば、ガラスの車両内側に付着した結露を解消させ、車載光学装置の信頼性を向上することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第一の実施形態に係る車載光学システムの概略を示す図である。 撮像範囲を示す図である。 車載光学システムの構成を示す図である。 結露原因記憶部に格納されるデータ構造を示す図である。 認識不良原因記憶部に格納されるデータ構造を示す図である。 車載光学装置のハードウェア構成を示す図である。 第一のメンテナンス処理の動作フローを示す図である。 第二のメンテナンス処理の動作フローを示す図である。 第一のメンテナンス処理における好適な加熱範囲を示す図である。 第三のメンテナンス処理の動作フローを示す図である。 第二の実施形態に係る車載光学システムの概略を示す図である。

以下、本発明の第一の実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

一般に、車両の外界認識を行なう運転システム用の光学装置は、車両の周辺領域を撮像するカメラを有している。車両の周辺領域を撮像するカメラとしては、車両の周辺領域の画像を取得する単眼光学装置と、複数の光学装置を用いて写した画像から距離を算出することができる多眼光学装置と、が知られている。自動車の運転支援システムとしては、緊急自動ブレーキ、車間距離維持、車線逸脱防止、事故自動回避などの走行制御に係るシステムが考え出されている。

このようなシステムにおいては、障害物となる物体までの距離を測定する為の車載用センサの一つとして、ステレオカメラと呼ばれる多眼光学装置が用いられる。このような車載用光学装置は、車両のフロントガラスなどの窓ガラス板の内側に配置されるものであり、窓ガラスの汚れや水滴などのガラスの状態により、カメラの視界が悪化することが考えられる。カメラの視界が悪化すると、車両周辺領域に存在する障害物の認識ができず、上述した運転支援システムが正常に動作しない問題が発生しうる。カメラの視界に影響するガラスの状態としては、車両の外側は主に雨や雪、埃などの汚れや水滴が、内側は結露水や埃、タバコの煙等の汚れや水滴が挙げられる。車両外側の雨滴に関しては、特許文献１に記載するような光学モジュールを用いて雨滴を検出し、フロントガラスワイパーの動作制御することで視界不良を改善する技術が知られている。一方で、ガラスの車両内側に付着した水滴（結露水）に関しては、何ら考慮はない。

結露時の撮像画像は、霧が発生している状況や雨天の走行時に前方車両が巻き上げる水しぶきを受けている状況における取得画像と酷似し、画像のみから結露状態を適切に検出するのは困難である。

以下に、本発明に係る第一の実施形態を適用した車載光学システムについて、図面を参照して詳細に説明する。

図１は、本発明の第一の実施形態に係る車載光学システムの概略を示す図である。車載光学システムには、車載光学装置１００が含まれる。車載光学装置１００は、少なくともカメラ筐体１と、カメラレンズ２と、を含む。本実施例では、カメラ筐体１は、２つのカメラレンズ２により、画像認識と測長を行うステレオカメラである。しかし、これに限られるものではなく、カメラレンズ２を一つまたは複数備える各種のカメラであってもよい。

カメラ筐体１には、カメラレンズ２により集光して内部に備えられたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）あるいはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の受光素子の受光面に結像して画像を取得するイメージセンサと、複数のカメラレンズ２から得られた視差画像から物体までの距離計算などの画像処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）回路などの処理部品が配置されている。

カメラ筐体１は、取り付けられる車両のフロントガラス６の内側の領域、すなわち車内に配置されており、カメラレンズ２は車両の進行方向に見て車両の前方に位置する車両の周辺領域に向けられている。すなわち、カメラ筐体１に取り付けられたカメラレンズ２は、フロントガラス６を透過した車両外側の領域を視野角に含む。

図２は、撮像範囲を示す図である。図２には、カメラ筐体１およびカメラレンズ２により撮像されるフロントガラス６における撮像範囲４と、撮像範囲に含まれる領域のうち主に障害物検知等に用いられる範囲である画像認識処理範囲５と、の位置関係およびフロントガラス６が過熱される範囲である加熱範囲１０と、フロントガラス６を加熱することで結露を除去する結露除去装置である電熱線１４と、フロントガラス６に接触する水分感応性部材３と、が示されている。すなわち、加熱範囲１０に電熱線１４が含まれ、電熱線１４の内側の範囲に撮像範囲４が含まれ、撮像範囲４の内側の範囲に画像認識処理範囲５が含まれる。また、撮像範囲４に含まれる範囲であって、かつ画像認識処理範囲５には含まれない範囲に、水分感応性部材３が含まれる。

図１の説明に戻る。水分感応性部材３は、検出対象（本実施形態では結露により生ずる水）の付着の有無に応じて光学特性が変化する部材である。カメラ筐体１とフロントガラス６との間には、制振機構７を介して水分感応性部材３が設けられている。水分感応性部材３は、フロントガラス６の内側に接触するように制振機構７により押し付けられる。このとき、制振機構７として、弦巻ばねや板ばねなどの弾性体を用いることで、水分感応性部材３の全面にわたってフロントガラス６の表面に振動等に対して安定的に接触しやすくなる。水分感応性部材３をフロントガラス６に接触させると、フロントガラス６表面で発生した結露水が水分感応性部材３に早期に取り込まれるため、結露の発生の検出を早く行うことが可能となる。

本実施形態における水分感応性部材３について、水分付着により変化する光学特性には光の色度、光量、透過率等が含まれる。色が変化する材料としては、水と錯体を形成することにより変化する化合物を用いることができる。水と錯体を形成する化合物としては塩化コバルトや臭化コバルトなどが挙げられる。

透過率が変化する材料としては、水と接触することで透過率が変化する多孔体材料を用いることができる。多孔体材料としては、有機系材料と無機系材料のどちらも使用することができるが、車内の高温高湿環境に強い無機系材料が好適である。無機系の多孔体材料としては、珪酸及び珪酸塩、バライト粉、硫酸バリウム、炭酸バリウム、炭酸カルシウム、石膏、クレー、タルク、アルミナホワイト、炭酸マグネシウム等が挙げられる。これらの多孔体材料は屈折率が１．４から１．８の範囲にあり、水を吸液すると良好な透明性を示す。なお、珪酸塩としては、珪酸アルミニウム、珪酸アルミニウムカリウム、珪酸アルミニウムナトリウム、珪酸アルミニウムカルシウム、珪酸カリウム、珪酸カルシウム、珪酸カルシウムナトリウム、珪酸ナトリウム、珪酸マグネシウム、珪酸マグネシウムカリウム等が挙げられる。

また、水分感応性部材３の色度の変化を利用して結露を検出する場合に、水分感応性部材３を以下のように製造するものであってもよい。まず、無機酸化物（アルミナ、シリカ、ジルコニア等）の粒子に塩化コバルト等の水錯体形成加工物を混合する。そして、溶剤と樹脂とを混合してペースト化して所定の大きさ、形状、厚みに成形して乾燥させ、ペレット形状の部材とする。

これに限られず、例えば、フロントガラス６の所定の位置に上述のペーストを塗布することにより水分感応性部材３とすることもできる。

このように水分感応性部材３を製造することで、無機酸化物と混合していることによる熱耐久性の向上と、繰り返して水分が付着することによる耐久性の向上と、が見込める。なお、同様に、無機酸化物ではなく無機多孔体材料を用いてペーストを製造することで、透過率変化による結露の検知に利用するペレットを製造することもできる。

また、水分感応性部材３において結露検出に利用する光学特性は、上述の特性のうち１つの特性であってもよいが、組み合わせて利用することもできる。例えば、透過率変化と色度変化を組合せた構成をとることもできる。

なお、図１では水分感応性部材３をカメラ筐体１に配置した制振機構７を介してフロントガラス６に接触させているが、これに限られない。例えば、制振機構７を用いずに、フロントガラス６に直接水分感応性部材３を形成することも可能である。水分感応性部材３の形成方法としては、接着剤を用いてフロントガラスに接着させる方法や、ペースト状にした水分感応性部材３でコーティングすることでフロントガラス６に感応性部材を接触させる方法等が挙げられる。

上述のように、水分感応性部材３の配置位置は、カメラ筐体１の撮像範囲４内かつ車両周辺の障害物を検知するための画像認識処理範囲５の外である。この位置に水分感応性部材３を配置することで、カメラ筐体１により水分感応性部材３の光学特性の変化を検出可能であって、一方で車両周辺の障害物の認識処理を阻害することを避けることができる。

図３は、本実施形態に係る車載光学システムの構成を示す図である。車載光学システムは、カメラ筐体１に相当する車載光学装置１００と、車載光学装置１００に接続されるカメラ装置１９０と、車載光学装置１００に接続される加熱装置１８０と、を含む。また、車載光学装置１００は、車内ネットワーク５０に通信可能に接続される。なお、車内ネットワーク５０は、例えば車内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）あるいはＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）等の所定の車両制御用ネットワークであってもよい。

車載光学装置１００は、制御部１２０と、記憶部１３０と、通信部１４０と、加熱装置制御部１５０と、カメラ制御部１６０と、これらを互いに接続するバス１７０と、を含む。車載光学装置１００は、例えばソフトウェアプログラム処理により特徴的な処理機能（車載光学装置１００の各処理部）を実現する。

記憶部１３０には、結露原因記憶部１３１と、認識不良原因記憶部１３２と、が含まれる。

図４は、結露原因記憶部に格納されるデータ構造を示す図である。結露原因記憶部１３１には、水分感応性部材３の反応の原因が結露であるか否かに関する情報が格納される。

図５は、認識不良原因記憶部に格納されるデータ構造を示す図である。認識不良原因記憶部１３２には、カメラ筐体１で発生した認識不良の原因を特定する情報が格納される。

制御部１２０には、画像認識処理部１２１と、結露検出部１２２と、ヒーター制御処理部１２３と、アラート送信部１２４と、が含まれる。

画像認識処理部１２１は、カメラ装置１９０により撮像して得た画像を用いて、所定の画像認識処理を行って得た情報を車内ネットワーク５０を介して所定の装置へ送信する。より詳しくは、画像認識処理部１２１は、カメラ制御部１６０の制御によりカメラ装置１９０が撮影した画像のうち所定の位置および範囲で特定される画像を用いて車両の走行制御系に影響を与える所定の処理を行う。

例えば、画像認識処理部１２１は、カメラ装置１９０により得た視差画像を用いて障害物を検出し、障害物までの方向と距離を測距し、得た障害物と障害物までの距離の情報を、ＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等の図示しない制御装置へ送信する。障害物の方向と距離の情報を受け付けたＥＣＵ等の制御装置では、その情報を用いて障害物回避の警告および回避動作のためのステアリング制御、ＡＢＳ等の制動装置の制御、エアバッグ等の衝撃軽減装置の制御、あるいは事故映像記録等の各種の制御を行う。

結露検出部１２２は、カメラ装置１９０により撮像して得た画像のうち一部の所定の範囲の像が所定の状態にあるか否かを判定してフロントガラス６の結露を検出する。具体的には、結露検出部１２２は、撮像範囲４内であってかつ画像認識処理範囲５を除く範囲内に位置する水分感応性部材３の像が、所定の色度、所定の輝度あるいは所定の量以下のエッジ検出量のいずれか、を有する場合に、所定の状態にあると判定する。

ヒーター制御処理部１２３は、加熱装置１８０を制御する加熱装置制御部１５０に対して、加熱の開始あるいは終了の指示を行う。

アラート送信部１２４は、制御部１２０の処理において異常が発生した場合、あるいは正常に処理された結果所定の正常でない状況が発生した場合に、通信部１４０を介して車内ネットワーク５０に接続される他の装置に対して、アラート情報を送信する。

通信部１４０は、車内ネットワーク５０に接続される他の装置に対して、所定の規格に従って通信を開始し、情報を送受信する。

加熱装置制御部１５０は、接続する加熱装置１８０に対して加熱の開始、終了、過加熱の場合の加熱中断、温度制御等を行う。

カメラ制御部１６０は、接続するカメラ装置１９０に対して撮像の指示、動画撮影の開始・終了、画角の調整、焦点距離の調整、撮影方向の調整、解像度の調整、露出の制御等の各種のカメラの制御を行う。また、カメラ制御部１６０は、撮像した画像を制御部１２０へ送信する。

加熱装置１８０は、フロントガラス６に貼り付けられた電熱線１４、あるいはフロントガラス６に埋め込まれた電熱線１４である。または、フロントガラス６に向かって熱風を噴射する送風装置であってもよい。

カメラ装置１９０は、集光レンズにより撮像素子に結像させた光量に応じて生じた電荷に基づき画素ごとの明暗を特定し、画像情報を生成する。カメラ装置１９０には、レンズ、絞り、シャッター、撮像素子、電源、通信装置等の車載カメラに備わる装備が備えられている。

図６は、車載光学装置のハードウェア構成を示す図である。車載光学装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置２０４と、メモリ等の主記憶装置２０５と、ハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の外部記憶装置２０３と、カメラ装置２０１と、ヒーター装置２０２と、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置２０６と、これらをつなぐバス２０７と、を含んで構成される。

通信装置２０６は、ネットワークケーブルを介して有線通信を行う有線の通信装置、又はアンテナを介して無線通信を行う無線通信装置である。通信装置２０６は、ネットワークに接続される他の装置との通信を行う。

主記憶装置２０５は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリである。外部記憶装置２０３は、デジタル情報を記憶可能な、いわゆるハードディスクやＳＳＤ、あるいはフラッシュメモリなどの不揮発性記憶装置である。

カメラ装置２０１は、撮像素子とカメラレンズとを有するカメラである。

ヒーター装置２０２は、発熱し、周囲の空気等を暖める装置である。

上記した画像認識処理部１２１と、結露検出部１２２と、ヒーター制御処理部１２３と、アラート送信部１２４とは、演算装置２０４に処理を行わせるプログラムによって実現される。このプログラムは、主記憶装置２０５、または外部記憶装置２０３内に記憶され、実行にあたって主記憶装置２０５上にロードされ、演算装置２０４により実行される。

また、結露原因記憶部１３１と、認識不良原因記憶部１３２とは、主記憶装置２０５及び外部記憶装置２０３により実現される。

また、車内ネットワークに接続された他の装置等に通信可能に接続する通信部１４０は通信装置２０６により実現される。また、カメラ装置１９０は、カメラ装置２０１により実現され、加熱装置１８０は、ヒーター装置２０２により実現される。

以上が、本実施形態における車載光学システムの車載光学装置１００のハードウェア構成例である。しかし、これに限らず、その他のハードウェアを用いて構成されるものであってもよい。

なお、車載光学装置１００は、図示しないが、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、ミドルウェア、アプリケーションなどの公知の要素を有するものであってもよい。

［動作の説明］次に、本実施形態における車載光学システムの動作を説明する。なお、本動作の説明は、水分感応性部材の変化する光学特性に色度を用いた場合の例である。

図７は、第一のメンテナンス処理の動作フローを示す図である。第一のメンテナンス処理は、車載光学装置１００が起動すると、開始される。

まず、結露検出部１２２は、カメラ制御部１６０から画像を得て、撮像範囲４内であってかつ画像認識処理範囲５を除く範囲内に位置する水分感応性部材３の像の色を検出する（ステップＳ００１）。

そして、結露検出部１２２は、色が陽性であるか否かを判定する（ステップＳ００２）。具体的には、結露検出部１２２は、ステップＳ００１において検出した色が所定の色度を有する場合に、陽性すなわち結露が発生していると判定する。なお、所定の色度を有するか否かの判定に際して、水分感応性部材３の色が所定のＲＧＢ成分について所定以上の輝度を有するか否かにより判定するものとしても良いし、水分感応性部材３に併設された参照色領域（水分を含んだ水分感応性部材３の色と略一致する色を有する領域）の色と比較して所定以上類似する場合に陽性と判定することとしてもよい。

色が陽性である場合（ステップＳ００２にて「Ｙｅｓ」の場合）には、結露検出部１２２は、原因を結露と決定する（ステップＳ００３）。具体的には、結露検出部１２２は、結露原因記憶部１３１に、原因を結露と特定する情報を記憶させる。

そして、ヒーター制御処理部１２３は、ヒーターをＯＮ状態にする（ステップＳ００４）。具体的には、ヒーター制御処理部１２３は、加熱装置制御部１５０に対して、加熱を開始するよう指示を出す。そして、結露検出部１２２は、ステップＳ００１へ制御を戻す。

色が陽性でない場合（ステップＳ００２にて「Ｎｏ」の場合）には、結露検出部１２２は、原因が結露と決定済みか否かを判定する（ステップＳ００５）。具体的には、結露検出部１２２は、結露原因記憶部１３１を参照して、原因を結露と特定する情報が記憶されていれば原因が結露と決定済みであると判定する。

原因が結露であると決定済みである場合（ステップＳ００５にて「Ｙｅｓ」の場合）には、ヒーター制御処理部１２３は、ヒーターをＯＦＦ状態にする（ステップＳ００６）。具体的には、ヒーター制御処理部１２３は、加熱装置制御部１５０に対して、加熱を終了するよう指示を出す。そして、結露検出部１２２は、結露原因記憶部１３１から、原因を結露と特定する情報を消去してステップＳ００１へ制御を戻す。

原因が結露であると決定済みでない場合（ステップＳ００５にて「Ｎｏ」の場合）には、結露検出部１２２は、認識不良が発生しているか否かを判定する（ステップＳ００７）。具体的には、結露検出部１２２は、画像認識処理部１２１に対して、認識不良が起きているか否かを問い合わせる。認識不良が発生していない場合（ステップＳ００７にて「Ｎｏ」の場合）には、結露検出部１２２は、制御をステップＳ００１へ戻す。

認識不良が発生している場合（ステップＳ００７にて「Ｙｅｓ」の場合）には、結露検出部１２２は、不良の原因はその他の原因であると決定する（ステップＳ００８）。具体的には、結露検出部１２２は、認識不良原因記憶部１３２に、不良の原因を「その他」と特定する情報を記憶させる。そして、アラート送信部１２４は、認識不良が発生した旨のアラートを通信部１４０を介して車内ネットワーク５０に接続されている他の装置へ送信する。そして、結露検出部１２２は、メンテナンス処理を終了させる。

以上が、メンテナンス処理の処理フローである。メンテナンス処理によれば、水分感応性部材３が水分に感応している場合にはヒーターでフロントガラス６の加熱を行って結露除去を行うことができる。そのため、ガラスの車両内側に付着した結露を解消させ、車載光学装置の信頼性を向上することができる。それのみならず、車載光学装置１００のメンテナンスを自動で行い、ひいては消費電力を低く抑えることができる。

図８は、第二のメンテナンス処理の動作フローを示す図である。第二のメンテナンス処理は、認識不良が発生すると結露の発生を確認し、ヒーターの制御を行う処理である．第二のメンテナンス処理は、上述のメンテナンス処理に代えて実施されるが、並行して実施されるものであってもよい。第二のメンテナンス処理は、車載光学装置１００が起動すると、開始される。

まず、結露検出部１２２は、認識不良が発生しているか否かを判定する（ステップＳ１０１）。具体的には、結露検出部１２２は、画像認識処理部１２１に対して、認識不良が起きているか否かを問い合わせる。認識不良が発生していない場合（ステップＳ１０１にて「Ｎｏ」の場合）には、結露検出部１２２は、制御をステップＳ１０１へ戻す。

認識不良が発生している場合（ステップＳ１０１にて「Ｙｅｓ」の場合）には、結露検出部１２２は、カメラ制御部１６０から画像を得て、撮像範囲４内であってかつ画像認識処理範囲５を除く範囲内に位置する水分感応性部材３の像の色を検出する（ステップＳ１０２）。

そして、結露検出部１２２は、色が陽性であるか否かを判定する（ステップＳ１０３）。具体的には、結露検出部１２２は、ステップＳ１０２において検出した色が所定の色度を有する場合に、陽性すなわち結露が発生していると判定する。なお、所定の色度を有するか否かの判定に際して、水分感応性部材３の色が所定のＲＧＢ成分について所定以上の輝度を有するか否かにより判定するものとしても良いし、水分感応性部材３に併設された参照色領域（水分を含んだ水分感応性部材３の色と略一致する色を有する領域）の色と比較して所定以上類似する場合に陽性と判定することとしてもよい。

色が陽性である場合（ステップＳ１０３にて「Ｙｅｓ」の場合）には、結露検出部１２２は、原因を結露と決定する（ステップＳ１０４）。具体的には、結露検出部１２２は、結露原因記憶部１３１に、原因を結露と特定する情報を記憶させる。

そして、ヒーター制御処理部１２３は、ヒーターをＯＮ状態にする（ステップＳ１０５）。具体的には、ヒーター制御処理部１２３は、加熱装置制御部１５０に対して、加熱を開始するよう指示を出す。そして、結露検出部１２２は、ステップＳ１０２へ制御を戻す。

色が陽性でない場合（ステップＳ１０３にて「Ｎｏ」の場合）には、結露検出部１２２は、原因が結露と決定済みか否かを判定する（ステップＳ１０６）。具体的には、結露検出部１２２は、結露原因記憶部１３１を参照して、原因を結露と特定する情報が記憶されていれば原因が結露と決定済みであると判定する。

原因が結露であると決定済みである場合（ステップＳ１０６にて「Ｙｅｓ」の場合）には、ヒーター制御処理部１２３は、ヒーターをＯＦＦ状態にする（ステップＳ１０７）。具体的には、ヒーター制御処理部１２３は、加熱装置制御部１５０に対して、加熱を終了するよう指示を出す。そして、結露検出部１２２は、結露原因記憶部１３１から、原因を結露と特定する情報を消去してステップＳ１０１へ制御を戻す。

原因が結露であると決定済みでない場合（ステップＳ１０６にて「Ｎｏ」の場合）には、結露検出部１２２は、不良の原因はその他の原因であると決定する（ステップＳ１０８）。具体的には、結露検出部１２２は、認識不良原因記憶部１３２に、不良の原因を「その他」と特定する情報を記憶させる。そして、アラート送信部１２４は、認識不良が発生した旨のアラートを通信部１４０を介して車内ネットワーク５０に接続されている他の装置へ送信する。そして、結露検出部１２２は、メンテナンス処理を終了させる。

以上が、第二のメンテナンス処理の処理フローである。第二のメンテナンス処理によれば、水分感応性部材３が水分に感応している場合にはヒーターでフロントガラス６の加熱を行って結露除去を行うことができる。そのため、ガラスの車両内側に付着した結露を解消させ、車載光学装置の信頼性を向上することができる。それのみならず、車載光学装置１００のメンテナンスを自動で行い、ひいては消費電力を低く抑えることができる。またさらには、認識不良が発生した場合にヒーターの制御を行い、認識不良が発生していない場合には認識不良の監視以外の特段の処理を行わないため、演算の処理量を抑え、消費電力を抑えることができる。

図９は、第一のメンテナンス処理における好適な加熱範囲を示す図である。第一のメンテナンス処理を行う場合には、図２に示すように、水分感応性部材３の近辺にヒーターが設置されるため、水分感応性部材３から画像認識処理範囲５にかけて加熱され、結露水の除去もその順に起こる。したがって、一時的には、水分感応性部材３の光学特性が乾燥時の色であっても、実際の撮像範囲の結露が解消していない状態となりうるタイムラグが生じるおそれがある。このようなタイムラグが起きると、実際の撮像範囲の結露が解消していないにも関わらず、水分感応性部材３の色味による判定では結露が解消していると認識されてヒーターがＯＦＦにされる状況が発生しうる。したがって、適切に結露除去が行われない事態が起こりうる。

これに関して、図９のように、水分感応性部材３と撮像範囲４との加熱のバランスを整えるために水分感応性部材３に対向する位置に他の辺よりも高い熱量で加熱する加熱範囲を設けることで、水分感応性部材３の光学特性が乾燥時の色であっても、実際の撮像範囲の結露が解消していない状態となりうるタイムラグが生じることを回避しうる。

図１０は、第三のメンテナンス処理の動作フローを示す図である。第三のメンテナンス処理は、認識不良が解消すると結露が解消したとしてヒーターをＯＦＦ状態にする処理である。第三のメンテナンス処理は、車載光学装置１００が起動すると、開始される。

まず、結露検出部１２２は、認識不良が発生しているか否かを判定する（ステップＳ２０１）。具体的には、結露検出部１２２は、画像認識処理部１２１に対して、認識不良が起きているか否かを問い合わせる。

認識不良が発生している場合（ステップＳ２０１にて「Ｙｅｓ」の場合）には、結露検出部１２２は、カメラ制御部１６０から画像を得て、撮像範囲４内であってかつ画像認識処理範囲５を除く範囲内に位置する水分感応性部材３の像の色を検出する（ステップＳ２０２）。

そして、結露検出部１２２は、色が陽性であるか否かを判定する（ステップＳ２０３）。具体的には、結露検出部１２２は、ステップＳ２０２において検出した色が所定の色度を有する場合に、陽性すなわち結露が発生していると判定する。なお、所定の色度を有するか否かの判定に際して、水分感応性部材３の色が所定のＲＧＢ成分について所定以上の輝度を有するか否かにより判定するものとしても良いし、水分感応性部材３に併設された参照色領域（水分を含んだ水分感応性部材３の色と略一致する色を有する領域）の色と比較して所定以上類似する場合に陽性と判定することとしてもよい。

色が陽性である場合（ステップＳ２０３にて「Ｙｅｓ」の場合）には、結露検出部１２２は、原因を結露と決定する（ステップＳ２０４）。具体的には、結露検出部１２２は、結露原因記憶部１３１に、原因を結露と特定する情報を記憶させる。

そして、ヒーター制御処理部１２３は、ヒーターをＯＮ状態にする（ステップＳ２０５）。具体的には、ヒーター制御処理部１２３は、加熱装置制御部１５０に対して、加熱を開始するよう指示を出す。そして、結露検出部１２２は、ステップＳ２０１へ制御を戻す。

認識不良が発生していない場合（ステップＳ２０１にて「Ｎｏ」の場合）には、結露検出部１２２は、原因が結露と決定済みか否かを判定する（ステップＳ２０６）。具体的には、結露検出部１２２は、結露原因記憶部１３１を参照して、原因を結露と特定する情報が記憶されていれば原因が結露と決定済みであると判定する。原因が結露であると決定済みでない場合（ステップＳ２０６にて「Ｎｏ」の場合）には、結露検出部１２２は、制御をステップＳ２０１へ戻す。

原因が結露であると決定済みである場合（ステップＳ２０６にて「Ｙｅｓ」の場合）には、ヒーター制御処理部１２３は、ヒーターをＯＦＦ状態にする（ステップＳ２０７）。具体的には、ヒーター制御処理部１２３は、加熱装置制御部１５０に対して、加熱を終了するよう指示を出す。そして、結露検出部１２２は、結露原因記憶部１３１から、原因を結露と特定する情報を消去してステップＳ２０１へ制御を戻す。

色が陽性でない場合（ステップＳ２０３にて「Ｎｏ」の場合）には、結露検出部１２２は、不良の原因はその他の原因であると決定する（ステップＳ２０８）。具体的には、結露検出部１２２は、認識不良原因記憶部１３２に、不良の原因を「その他」と特定する情報を記憶させる。そして、アラート送信部１２４は、認識不良が発生した旨のアラートを通信部１４０を介して車内ネットワーク５０に接続されている他の装置へ送信する。そして、結露検出部１２２は、メンテナンス処理を終了させる。

以上が、第三のメンテナンス処理の処理フローである。第三のメンテナンス処理によれば、水分感応性部材３が水分に感応している場合にはヒーターでフロントガラス６の加熱を行って結露除去を行うことができる。そのため、ガラスの車両内側に付着した結露を解消させ、車載光学装置の信頼性を向上することができる。それのみならず、車載光学装置１００のメンテナンスを自動で行い、ひいては消費電力を低く抑えることができる。またさらには、認識不良が発生した場合にヒーターの制御を行い、認識不良が発生していない場合にはヒーターをＯＦＦ状態にする処理を行うため、ヒーターの稼動を最小限に抑え、消費電力を抑えることができる。

以上、第一の実施形態に係る車載光学システムについて具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

例えば、第二の実施形態として、ヒーター装置２０２を、熱風をフロントガラスに吹き付けて結露を除去する結露除去装置とするようにしてもよい。この場合には、カメラ筐体１の取付位置の自由度が高まるため、様々な車種の車両に取り付けることが容易となる。

図１１は、このような第二の実施形態に係る車載光学システムの概略を示す図である。第二の実施形態に係る車載光学システムにおいては、基本的に第一の実施形態に係る車載光学システムと同様の構成を備えるが、一部に相違がある。以下、相違点を中心に説明する。

第二の実施形態に係るカメラ筐体１は、その左右両端に、車両の前方に向かい、かつカメラ筐体１の左右中心の方向に収束するように内側に向かう温風吹き出し孔９を備える。温風吹き出し孔９は、温風をフロントガラス６にぶつけるように吹き出し、加熱範囲のフロントガラスを加温することで、効率よく結露を除去する。このような第二の実施形態に係る車載光学システムを採用すると、フロントガラスの電熱線の配置に依らず、カメラ筐体１の撮像範囲を中心に効率よく結露を除去することができるため、搭載する車両の車種を問わず汎用的に設置できる。

また例えば、水分感応性部材３の色変化（陽性）をより正確に検出するために、カメラ筐体１に、水分感応性部材３に対して白色光等、所定の波長の光を照射する照明部材あるいは独立した照射装置を備えてもよい。照明部材が照射する光は、水分感応性部材３の陽性時の色の波長に応じて当該色をカメラ筐体１が検出できる波長であればよい。たとえば、そのような光には、可視光に限られず、赤外光、紫外光等の不可視光をも含む。あるいは、水分感応性部材３の経年劣化等による色の変化に応じて、発する光の波長をキャリブレーションできるものであってもよい。このようにすることで、夜間やトンネル内等の色検出の難易度が高い場合であっても、より確実に結露の検出を行うことができる。

また例えば、水分感応性部材３について、透過度を検知することで結露を判定する要素とする場合には、水分感応性部材３の形状を、例えば多角形や格子状とすることでエッジを多く設定し、透過度が変化することでエッジ量が変化することを利用して、エッジ検出量が所定量より減少したことにより結露を検出するようにしてもよい。このようにすることで、夜間やトンネル内等の色検出の難易度が高い場合であっても、より確実に結露の検出を行うことができる。

なお、上記した実施形態では本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

また、上記した各構成、機能、処理部等は、それらの一部又は全部を、例えば別の装置で実行してネットワークを介して統合処理する等により分散システムで実現してもよい。

また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。

また、上記した実施形態においては、フロントガラスの結露を想定してフロントガラスを例に挙げているが、これに限られず、車両のあらゆる方向の窓、フレーム、ドア等を対象として結露を除去するものであってもよい。

以上、本発明について、実施形態を中心に説明した。

１・・・車載光学システム、５０・・・車内ネットワーク、１００・・・車載光学装置、１２０・・・制御部、１２１・・・画像認識処理部、１２２・・・結露検出部、１２３・・・ヒーター制御処理部、１２４・・・アラート送信部、１３０・・・記憶部、１３１・・・結露原因記憶部、１３２・・・認識不良原因記憶部、１４０・・・通信部、１５０・・・加熱装置制御部、１６０・・・カメラ制御部、１７０・・・バス、１８０・・・加熱装置、１９０・・・カメラ装置

Claims (10)

1. 搭載された車両のガラス越しに前記車両の外部を撮影して画像を得る撮像部と、
   前記画像のうち一部の所定の範囲の像が所定の状態にあるか否かを判定して前記ガラスの結露を検出する結露検出部と、
   前記結露検出部が結露を検出すると、前記ガラスの結露を除去する結露除去装置を稼動させる結露除去装置制御処理部と、
   前記撮像部が撮影した画像のうち所定の位置および範囲で特定される画像を用いて前記車両の走行制御系に影響を与える所定の処理を行う画像認識処理部と、を備え、
   前記撮像部は、視差のある前記画像を撮像し、
   前記画像認識処理部は、前記視差のある前記画像内に含まれる障害物までの距離判別を行う処理を行い、
   前記結露検出部は、前記視差のある前記画像のうち前記画像認識処理部が前記距離判別を行う処理に用いる範囲の画像を除く別の範囲を前記一部の所定の範囲として結露を検出する、
   ことを特徴とする車載光学装置。
2. 請求項１に記載の車載光学装置であって、
   前記結露検出部は、前記所定の範囲の像が所定の色度、所定の輝度あるいは所定の量以下のエッジ検出量のいずれか、を有する場合に、前記所定の状態にあると判定する、
   ことを特徴とする車載光学装置。
3. 搭載された車両のガラス越しに前記車両の外部を撮影して画像を得る撮像部と、
   前記画像のうち一部の所定の範囲の像が所定の状態にあるか否かを判定して前記ガラスの結露を検出する結露検出部と、
   前記結露検出部が結露を検出すると、前記ガラスの結露を除去する結露除去装置を稼動させる結露除去装置制御処理部と、を備え、
   前記結露検出部は、前記車両のガラスの前記車両の内側の所定の位置に接触する水分感応性部材を撮影した像を前記一部の所定の範囲の像として用いる、
   ことを特徴とする車載光学装置。
4. 搭載された車両のガラス越しに前記車両の外部を撮影して画像を得る撮像部と、
   前記画像のうち一部の所定の範囲の像が所定の状態にあるか否かを判定して前記ガラスの結露を検出する結露検出部と、
   前記結露検出部が結露を検出すると、前記ガラスの結露を除去する結露除去装置を稼動させる結露除去装置制御処理部と、
   前記車両のガラスの前記車両の内側の所定の位置に接触する水分感応性部材を支持する支持部材を備え、
   前記結露検出部は、前記水分感応性部材を撮影した像を前記一部の所定の範囲の像として用いる、
   ことを特徴とする車載光学装置。
5. 搭載された車両のガラス越しに前記車両の外部を撮影して画像を得る撮像部と、
   前記画像のうち一部の所定の範囲の像が所定の状態にあるか否かを判定して前記ガラスの結露を検出する結露検出部と、
   前記結露検出部が結露を検出すると、前記ガラスの結露を除去する結露除去装置を稼動させる結露除去装置制御処理部と、を備え、
   前記結露検出部は、前記車両のガラスの前記車両の内側の所定の位置に形成された水分感応性部材を撮影した像を前記一部の所定の範囲の像として用いる、
   ことを特徴とする車載光学装置。
6. 搭載された車両のガラス越しに前記車両の外部を撮影して画像を得る撮像装置と、
   水分を含むと光学特性が変化する水分感応性部材と、
   前記車両のガラスのうち前記撮像装置が撮影する視野内に含まれる範囲を温める結露除去装置と、を備え、
   前記撮像装置は、
   前記画像の所定の範囲に含まれる前記水分感応性部材の像が前記光学特性が変化した状態にあるか否かを判定して前記ガラスの結露を検出する結露検出部と、
   前記結露検出部が結露を検出すると、前記結露除去装置を稼動させる結露除去装置制御処理部と、
   を備えることを特徴とする車載光学システム。
7. 請求項６に記載の車載光学システムであって、
   前記画像のうち前記水分感応性部材に対して所定の周波数の光を照射する照射装置を備え、
   前記結露検出部は、前記水分感応性部材の反射波を検出することで前記像を得る、
   ことを特徴とする車載光学システム。
8. 請求項６に記載の車載光学システムであって、
   前記結露検出部は、前記所定の範囲に含まれる前記水分感応性部材の像が所定の色度、所定の輝度あるいは所定の量以下のエッジ検出量のいずれか、を有する場合に、前記光学特性が変化した状態にあると判定する、
   ことを特徴とする車載光学システム。
9. 請求項６に記載の車載光学システムであって、
   前記撮像装置が撮影した画像のうち所定の位置および範囲で特定される画像を用いて前記車両の走行制御系に影響を与える所定の処理を行う画像認識処理部を備え、
   前記結露検出部は、前記画像認識処理部が前記所定の処理に用いる画像を除く範囲を前記所定の範囲として結露を検出する、
   ことを特徴とする車載光学システム。
10. 請求項６に記載の車載光学システムであって、
    前記撮像装置が撮影した画像のうち所定の位置および範囲で特定される画像を用いて前記車両の走行制御系に影響を与える所定の処理を行う画像認識処理部を備え、
    前記撮像装置は、視差のある前記画像を撮像し、
    前記画像認識処理部は、前記視差のある前記画像内に含まれる障害物までの距離判別を行う処理を行い、
    前記結露検出部は、前記視差のある前記画像のうち前記画像認識処理部が前記距離判別を行う処理に用いる範囲の画像を除く別の範囲を前記所定の範囲として結露を検出する、
    ことを特徴とする車載光学システム。

Images