JP2014068328A - カメラ付着物検出装置 - Google Patents

Abstract

【課題】カメラのどの部分に付着物が付着していたとしても確実に検出できるカメラ付着物検出装置を提供する。
【解決手段】車外側を向いて車両周囲を撮像するカメラ２を、カメラ駆動部４が車内側に向け、車両に設置されたリファレンス画像描画板３のリファレンス画像を撮像範囲全体に撮像する。付着物検出部９は、リファレンス画像を撮像した撮像画像データを、リファレンス画像記憶部８に予め記憶されているリファレンス画像データと比較し、画像の変化の有無を検出して、カメラ２の付着物の有無を判定する。
【選択図】図１

Description

この発明は、移動体の周囲を撮像するカメラに水滴およびゴミなどの付着物が付着した場合にそれを検出するカメラ付着物検出装置に関するものである。

車両に搭載されたカメラで撮像した画像を用いて、このカメラに付着した付着物の有無を判定する技術として、例えば特許文献１，２が提案されている。

上記特許文献１に係る車両用バックモニタ装置では、カメラの一部に写った車両の一部分の画像（実画像）と、カメラに付着物が付いていないときの実画像に対応する基準画像とを比較し、画像の変化の有無を検出することにより、カメラの付着物の有無を判定していた。

上記特許文献２に係る撮像装置では、カメラを用いて異なるタイミングで撮像された複数の画像を、対応する各画素において比較し、画素間の濃度の差分が最大となる画素を用いて１つの最大差分画像を形成し、この最大差分画像において濃度が閾値以下の画素を汚れ画素（即ち、付着物）と判定していた。

特開２００８−２６５７２７号公報 特開２００７−３１８３５５号公報

上記特許文献１の方法では、カメラの一部に写った車両の一部分の画像が変わらないことを前提として、撮像画像中の差分が生じた部分を付着物と判定していた。そのため、車両の一部を写した画像部分に付着物があるときのみその付着物を検出でき、車両の一部が写っていない画像部分では付着物の有無を検出することができないという課題があった。

上記特許文献２の方法では、付着物が同じ場所に存在することを前提として、撮像画像中の差分が生じない部分を付着物と判定していた。そのため、カメラ上を移動可能な雨滴などの付着物を検出することができないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、カメラのどの部分に付着物が付着していたとしても確実に検出できるカメラ付着物検出装置を提供することを目的とする。

この発明に係るカメラ付着物検出装置は、移動体に設置された、任意のリファレンス画像の描かれた板部材と、移動体に設置されて移動体の周囲を撮像するカメラであって、撮像方向を変更してリファレンス画像を撮像可能なカメラと、予め、カメラの撮像方向をリファレンス画像に向けて、撮像範囲全体にリファレンス画像を撮像したリファレンス画像データを記憶しているリファレンス画像記憶部と、任意のタイミングで、カメラの撮像方向をリファレンス画像に向けて、撮像範囲全体にリファレンス画像を撮像した撮像画像データを、リファレンス画像記憶部に記憶されているリファレンス画像データと比較し、画像の変化の有無を検出して、カメラの付着物の有無を判定する付着物検出部とを備えるものである。

この発明によれば、付着物の有無を判定するときに、カメラの撮像方向を変更して撮像範囲全体にリファレンス画像を撮像し、予め撮像しておいたリファレンス画像と比較するようにしたので、カメラのどの部分に付着物が付着していたとしても確実に検出できるカメラ付着物検出装置を提供することができる。

この発明の実施の形態１に係るカメラ付着物検出装置の構成を示すブロック図である。 実施の形態１に係るカメラ付着物検出装置のカメラユニットを、自動車の車両後部に取り付けた様子を示す図である。 図２のカメラユニットの周辺を拡大した車両断面図である。 実施の形態１に係るカメラ付着物検出装置のリファレンス画像記憶部が記憶しているリファレンス画像データの一例を示す図である。 実施の形態１に係るカメラ付着物検出装置の付着物検出モードの実行時にリファレンス画像を撮像した撮像画像データの一例を示す図である。 実施の形態１に係るカメラ付着物検出装置の動作を示すフローチャートである。

実施の形態１．
図１に示すカメラ付着物検出装置は、車両周囲をカメラ２で撮像し表示部１３に表示する車載情報機器の一部として組み込んだ場合の構成例を示している。このカメラ付着物検出装置は、カメラユニット１、リファレンス画像記憶部８、付着物検出部９、制御部１０、入力部１１、描画部１２、表示部１３、および音声出力部１４を備える。カメラユニット１は、カメラ２、リファレンス画像描画板（板部材）３、カメラ駆動部４、カメラ駆動制御部５、エア噴射部６、およびエア噴射制御部７を備える。

図２に、自動車の車両後部にカメラユニット１を取り付けた様子を示し、図３に、カメラユニット１の周辺を拡大した車両断面図を示す。図示例のカメラ２は、車両の後部に設置され、当該車両の後方を撮像するリアカメラである。このカメラ２は回転軸２ａを介して車両側に取り付けられており、車両に対して回転可能となっている。カメラ駆動制御部５は、制御部１０の指示に応じてカメラ駆動部４を作動させ、カメラ駆動部４が回転軸２ａを中心にしてカメラ２を回転して撮像方向を車外側（図３（ａ））および車内側（図３（ｂ））に変更する。

カメラユニット１をリアカメラとして用いる他、カメラユニット１を車両前部に取り付けて車両前方を撮像するフロントカメラとして用いたり、車両側部に取り付けて車両側方を撮像するサイドカメラとして用いたりすることも可能である。また、カメラ付着物検出装置に複数のカメラユニット１を接続することも可能である。
また、カメラ２は自動車搭載のカメラに限らず、鉄道および船舶などの移動体に搭載されたカメラであってもよい。

リファレンス画像描画板３は、任意のリファレンス画像が描かれた板部材であって、図３に示すように車内と車外の間のコンソール内に設置され、カメラ２が車内側を向いたときに撮像可能な配置になっている。また、カメラ２の撮像範囲全体にリファレンス画像が写るような配置にする。コンソールのような、カメラ２の回転する開口以外を塞いだ半閉鎖空間にリファレンス画像描画板３を設置することにより、リファレンス画像表面にゴミなどが付着しにくくなり、付着物の誤検出を抑制できる。

このリファレンス画像描画板３の中央には、エア噴射部６の噴射口６ａが貫通している。エア噴射制御部７は、制御部１０の指示に応じてエア噴射部６を作動させ、エア噴射部６が噴射口６ａからエアを噴射してカメラ２のレンズ２ｂに付着した水滴およびゴミなどの付着物を吹き飛ばす。なお、噴射口６ａは、リファレンス画像描画板３の中央以外に配置してもよく、レンズ２ｂにエアを噴射できる位置であればよい。

図４に、カメラ２でリファレンス画像描画板３のリファレンス画像を撮像したリファレンス画像データ３ａの一例を示す。ここでは、リファレンス画像として、白地に、縦横に直交する黒線が描かれた碁盤の目状の画像を使用しているので、それを撮像したリファレンス画像データ３ａも図４に示すような碁盤の目状の画像データになっており、その中央には噴射口６ａが写っている。
カメラ２のレンズ２ｂに付着物が付着していないときに、カメラ２を車内側に向けて撮像範囲全体にリファレンス画像を撮像し、これをリファレンス画像データ３ａとしてリファレンス画像記憶部８に記憶させておく。

付着物検出部９は、付着物検出モードの実行時に、車内側を向いたカメラ２が撮像するリファレンス画像描画板３の撮像画像データと、リファレンス画像記憶部８に予め記憶されているリファレンス画像データ３ａを比較し、画像の変化の有無を検出する。その結果、画像間に変化が検出されれば付着物が付着していると判定し、変化が検出されなければ付着物が付着していないと判定する。カメラ２の撮像範囲全体に写ったリファレンス画像データ３ａと撮像画像データ３ｂとを比較することにより、カメラ２のレンズ２ｂのどの部分に付着物があっても検出可能となる。

ここで、図５に、付着物検出モードの実行時にカメラ２でリファレンス画像描画板３を撮像した撮像画像データ３ｂの一例を示す。もしカメラ２のレンズ２ｂにゴミが付着していれば、撮像画像データ３ｂに、濃淡色が変化した付着物２０が写っている。また、もしカメラ２のレンズ２ｂに水滴が付着していれば、撮像画像データ３ｂに、縦横線の歪みとして現れる付着物２１が写っている。従って、付着物検出部９は、濃淡色の変化および縦横線の歪みなど、リファレンス画像データ３ａと撮像画像データ３ｂの差分を検出し、差分を検出した場合に付着物が付着していると判定することができる。

リファレンス画像描画板３に描くリファレンス画像として碁盤の目状の画像を使用することにより、碁盤の目状に区切られたブロックの濃淡色の変化、および縦横線の歪みを検出し易くなり、細かいゴミおよび水滴などの検出が可能となる。ただし、碁盤の目状の画像の他、例えば横線の縞模様、縦線の縞模様など、付着物検出部９で付着物の有無を判定できる画像であればどのような画像を使用してもよい。

制御部１０は、カメラ付着物検出装置の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。この制御部１０には、付着物検出部９から付着物の検出結果が入力される。また、車両のイグニッション・スイッチのオン／オフ信号、およびシフトレバーをリバース（Ｒ）にしたときに発生するシフトＲ操作信号など、車両側からの情報も制御部１０へ入力される。また、ユーザが入力部１１に対して行う操作入力の情報が制御部１０へ入力される。制御部１０は、入力された情報に基づいて、カメラ２の向きを変更する指示をカメラ駆動制御部５へ出力したり、エア噴射の指示をエア噴射制御部７へ出力したりする。

また、制御部１０は、付着物検出部９の付着物検出結果をユーザに通知する。通知は、表示と音声案内のいずれか一方、または両方で行う。表示により通知する場合、制御部１０から描画部１２に指示を出し、描画部１２がカメラ２のレンズ２ｂに付着物が付着している旨の画面を描画し、表示部１３に表示する。音声案内により通知する場合、予め用意された音声案内データを音声出力部１４から出力する。

次に、図６に示すフローチャートを参照して、カメラ付着物検出装置の動作を説明する。なお、以下の説明においては、カメラユニット１を車両後部に取り付けて、リアカメラとして使用する。また、タッチディスプレイを使用して、入力部１１と表示部１３を一体の装置として構成しているものとする。

車両からイグニッション・スイッチのオン信号が入力されると、カメラ付着物検出装置が始動する。シフトレバーがＲに切り替わり、車両から制御部１０へシフトＲ操作信号が入力されると（ステップＳＴ１）、制御部１０が付着物検出モードを開始する（ステップＳＴ２）。

この付着物検出モードにおいて、制御部１０の指示により、カメラ２が車内側を向き、リファレンス画像描画板３の撮像を開始する。また、制御部１０は付着物除去のリトライ回数ｘ＝３を設定する（ステップＳＴ３）。なお、この例ではリトライ回数ｘを３回としているが、任意の回数で構わない。続いて付着物検出部９が、リファレンス画像記憶部８に記憶されているリファレンス画像データ３ａと現在撮像中の撮像画像データ３ｂとを比較して、付着物の有無を判定する（ステップＳＴ４）。

付着物が検出されなかった場合（ステップＳＴ４“ＮＯ”）、制御部１０は標準モードを開始する（ステップＳＴ５）。標準モードにおいて、制御部１０の指示により、カメラ２が車外側を向き、車両後方の撮像を開始する。カメラ２の撮像する車両後方の撮像画像データは、表示部１３に表示する。

シフトレバーがＲから他のモードに切り替わり、車両から制御部１０に対してシフトＲ操作信号の入力が無くなると（ステップＳＴ６）、制御部１０がカメラ駆動制御部５へ、カメラ２を車内側に向ける指示を出力する（ステップＳＴ７）。これにより、シフトレバーがドライブなどに切り替わってカメラ２を使用しない間、レンズ２ｂを車内側に向けて水滴およびゴミなどの付着を防止することができる。

一方、付着物が検出された場合（ステップＳＴ４“ＹＥＳ”）、制御部１０はリトライ回数ｘを確認し（ステップＳＴ８）、現在のリトライ回数ｘが０回より大きければ（ステップＳＴ８“ＹＥＳ”）、エア噴射部６からエアを噴射させて付着物の除去を試みる（ステップＳＴ９）。また、制御部１０は、エア噴射後にリトライ回数ｘをデクリメントする（ステップＳＴ１０）。

エア噴射を３回繰り返しても付着物が検出され続けた場合（ステップＳＴ４“ＹＥＳ”）、リトライ回数ｘが０回になるので（ステップＳＴ８“ＮＯ”）、制御部１０がユーザに対して、カメラ２に付着物が付いている旨を画面表示および音声案内して通知する（ステップＳＴ１１）。続いて、制御部１０から描画部１２に指示を出し、タッチディスプレイの表示部１３にエア噴射作動ボタンを表示する（ステップＳＴ１２）。ユーザがエア噴射作動ボタンを押下すると、押下操作を入力部１１が受け付けて制御部１０に入力し（ステップＳＴ１３）、制御部１０がリトライ回数ｘをインクリメントしてｘ＝１にし（ステップＳＴ１４）、エア噴射部６からエアを噴射させる（ステップＳＴ９）。そして、制御部１０は、ユーザ指示に応じたエア噴射後にリトライ回数ｘをデクリメントしてｘ＝０にする（ステップＳＴ１０）。

制御部１０は、ステップＳＴ４“ＹＥＳ”，ＳＴ８“ＮＯ”，ＳＴ１１〜ＳＴ１４，ＳＴ９，ＳＴ１０を繰り返し、付着物が検出されなくなるまで、ユーザ指示に応じたエア噴射を繰り返す。なお、ユーザ指示に応じたエア噴射を所定時間または所定回数繰り返しても付着物が除去できない場合に、ステップＳＴ５の標準モードへ処理を進めてもよい。

図６のフローチャートでは、シフトレバーのＲ切替時にリアカメラを起動する際、先ず付着物検出モードを実行して標準モードに移行する構成にしたが、付着物検出モードを実行するタイミングはこれに限定されるものではない。また、リアカメラ以外のカメラユニット１についても、任意のタイミングで付着物検出モードを実行すればよい。

以上より、実施の形態１によれば、カメラ付着物検出装置は、車両に設置された、任意のリファレンス画像の描かれたリファレンス画像描画板３と、車両に設置されてその周囲を撮像するカメラ２の撮像方向をカメラ駆動部４により変更してリファレンス画像を撮像可能なカメラユニット１と、予め、カメラ２の撮像方向をリファレンス画像に向けて、撮像範囲全体にリファレンス画像を撮像したリファレンス画像データ３ａを記憶しているリファレンス画像記憶部８と、任意のタイミングで、カメラ２の撮像方向をリファレンス画像に向けて、撮像範囲全体にリファレンス画像を撮像した撮像画像データ３ｂを、リファレンス画像記憶部８に記憶されているリファレンス画像データ３ａと比較し、画像の変化の有無を検出して、カメラ２の付着物の有無を判定する付着物検出部９とを備えるように構成した。このため、カメラ２のどの部分に付着物が付着していたとしても確実に検出できるカメラ付着物検出装置を提供することができる。また、カメラ２を可動式とすることにより、必要時のみカメラ２を車外側に向け、不使用時は車内側に向けて付着物の付着を防止することができる。

また、実施の形態１によれば、カメラ付着物検出装置は、碁盤の目状の画像をリファレンス画像として使用するようにしたので、このリファレンス画像を撮像した撮像画像データ３ｂに、碁盤の目状に区切られたブロック上の濃淡色の変化として写る細かいゴミ、および縦横線の歪みとして写る細かい水滴などを検出することができる。

また、実施の形態１によれば、リファレンス画像描画板３が車両外部に露出しないようにしたので、リファレンス画像描画板３に付着物が付着することを防止できる。よって、リファレンス画像描画板３の付着物をカメラ２の付着物として検出するなどの誤検出を防止できる。

また、実施の形態１によれば、カメラ付着物検出装置は、付着物検出部９で付着物が付着していると判定した場合、カメラ２にエアを噴射して付着物の除去を試みるエア噴射部６を備える構成にした。このため、雨天時にカメラ２に付着した水滴などを除去して、視認性の悪化を防止することができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ カメラユニット、２ カメラ、２ａ 回転軸、２ｂ レンズ、３ リファレンス画像描画板、３ａ リファレンス画像データ、３ｂ 撮像画像データ、４ カメラ駆動部、５ カメラ駆動制御部、６ エア噴射部、６ａ 噴射口、７ エア噴射制御部、８ リファレンス画像記憶部、９ 付着物検出部、１０ 制御部、１１ 入力部、１２ 描画部、１３ 表示部、１４ 音声出力部、２０，２１ 付着物

Claims (4)

1. 移動体に設置された、任意のリファレンス画像の描かれた板部材と、
   前記移動体に設置されて前記移動体の周囲を撮像するカメラであって、撮像方向を変更して前記リファレンス画像を撮像可能なカメラと、
   予め、前記カメラの撮像方向を前記リファレンス画像に向けて、撮像範囲全体に前記リファレンス画像を撮像したリファレンス画像データを記憶しているリファレンス画像記憶部と、
   任意のタイミングで、前記カメラの撮像方向を前記リファレンス画像に向けて、撮像範囲全体に前記リファレンス画像を撮像した撮像画像データを、前記リファレンス画像記憶部に記憶されている前記リファレンス画像データと比較し、画像の変化の有無を検出して、前記カメラの付着物の有無を判定する付着物検出部とを備えるカメラ付着物検出装置。
2. 前記リファレンス画像は、碁盤の目状の画像であることを特徴とする請求項１記載のカメラ付着物検出装置。
3. 前記板部材は、前記移動体の外部に露出していないことを特徴とする請求項１または請求項２記載のカメラ付着物検出装置。
4. 前記付着物検出部で前記付着物が付着していると判定した場合、前記カメラにエアを噴射して前記付着物の除去を試みるエア噴射部を備えることを特徴とする請求項１から請求項３のうちのいずれか１項記載のカメラ付着物検出装置。

Images