JP2010273014A - 移動体用カメラ装置及び付着物検出方法 - Google Patents

Abstract

【課題】水滴や汚れ等の付着部を高精度で検出して運転者に警告することができる移動体用カメラ装置を提供する。
【解決手段】移動体に設置され前記移動体の周辺を順次異なるタイミングで撮像するカメラと、カメラで撮影した時間的に前後する第１、第２の画像のうち前時刻の第１の画像を移動体の移動量に応じてシフトし、第２の画像と同位相の画像に変換する画像変換処理部と、第２の画像と変換した画像との差分を抽出する差分処理部と、差分処理部で抽出された差分画像を積算してカメラのレンズに付着した付着物の画像を検出する検出部と、付着物の画像の面積が予め設定した面積以上になったときに警告報知する警告部と、を具備する。
【選択図】図１

Description

本発明は、車両等の移動体に設置したカメラによって移動体周囲の障害物を撮影し、運転者の支援を行う移動体用カメラ装置及びカメラレンズに付着した付着物の検出方法に関する。

従来、車両等にカメラを搭載し、車両の前方や背景など周囲の障害物を撮影してディスプレイ装置に表示する移動体用カメラ装置が知られている。移動体用のカメラは、車両走行中に周囲の映像を撮影するため、雨が降った場合等はカメラレンズに水滴が付着する。また汚れや虫などが付着して撮影に支障を来たすことがある。このため、カメラに水滴や汚れ等の付着物が多く付着した場合は、運転者に清掃を促すようにしている。

特許文献１には、車両が移動している時に、異なるタイミングで撮影された映像に含まれる濃度値の差分を抽出し、抽出された映像の濃度値を積算することでカメラに付着した汚れを検知する例が開示されている。また特許文献２には、異なるタイミングで撮影された複数の画像から所定の画素のオプティカルフローを計算し、車速情報などからオプティカルフローを推定し、計測したオプティカルフローと、推定したオプティカルフローを比較することでカメラに付着した汚れを検知する例が開示されている。

しかしながら、特許文献１の例では、路面が真っ黒で均一なテクスチャを持っているような場合は、路面と水滴や汚れなどを区別することが困難である。また特許文献２の例では、オプティカルフローを計算する物体として路面のペイントを用いているが、路面にペイントがない場合に水滴を検出できない可能性がある。またペイントの付近に立体物（ガードレールの支柱など）がある場合に、立体物を汚れとして誤検出してしまう可能性がある。

特開２００３−２５９３５８号公報 特開２００８−６０８７４号公報

従来の移動体用カメラ装置では、路面が真っ黒で均一なテクスチャを持っているように場合は、路面と水滴や汚れなどを区別することが困難である。また路面にペイントがない場合に水滴を検出できなかったり、ペイント付近に立体物がある場合に、立体物を汚れとして誤検出してしまう可能性がある。

本発明はこのような事情に鑑み、水滴や汚れ等の付着部を高精度で検出して運転者に警告することができる移動体用カメラ装置及び付着物の検出方法を提供することを目的とする。

請求項１記載の本発明の移動体用カメラ装置は、移動体に設置され前記移動体の周辺を順次異なるタイミングで撮像するカメラと、前記カメラで撮影した時間的に前後する第１、第２の画像のうち前時刻の第１の画像を前記移動体の移動量に応じてシフトし、前記第２の画像と同位相の画像に変換する画像変換処理部と、前記第２の画像と前記変換した画像との差分を抽出する差分処理部と、前記差分処理部で抽出された差分画像を積算して前記カメラのレンズに付着した付着物の画像を検出する検出部と、前記付着物の画像の面積が予め設定した面積以上になったときに警告報知する警告部と、を具備したことを特徴とする。

請求項５記載の本発明は、カメラのレンズに付着した付着物の検出方法であって、移動体に設置されたカメラで前記移動体の周辺を順次異なるタイミングで撮像し、前記カメラで撮影した時間的に前後する第１、第２の画像のうち前時刻の第１の画像を前記移動体の移動量に応じてシフトし、前記第２の画像と同位相の画像に変換し、前記第２の画像と前記変換した画像との差分を抽出し、抽出した前記差分画像を積算して濃淡画像を生成し、前記濃淡画像の濃度を予め設定した閾値で２値化した画像を付着物の画像として検出し、前記付着物の画像の面積が予め設定した面積以上になったとき警告報知することを特徴とする。

本発明の移動体用カメラ装置によれば、路面が均一なテクスチャを持つ場合であっても、水滴や汚れ等の候補を抽出することができ、水滴や汚れ等の候補画像を積算することで立体物等の画像を分離し、水滴や汚れ等の付着物を高精度で検出することができる。

本発明の一実施形態に係る移動体用カメラ装置を示すブロック図。 同実施形態における差分画像の抽出動作を示す説明図。 同実施形態における差分画像の抽出過程を時系列に示す説明図。 同実施形態における差分画像の積算処理を示す説明図。 同実施形態における水滴、汚れ等の検出処理を示す説明図。 本発明の一実施形態に係る付着物検出方法を説明するフローチャート。 同実施形態における付着物検出方法を示す続きのフローチャート。

以下、この発明の一実施形態について図面を参照して説明する。

図１は、本発明の一実施形態に係る移動体用カメラ装置の全体構成を示すブロック図である。

図１において、移動体用カメラ装置１００は、カメラ１０と、画像処理部２０と、車両移動量計測部３０と、警告部４０とを有している。

カメラ１０は、ＣＣＤやＣＭＯＳセンサ等を用いた撮影装置であり、移動体（例えば車両）の前方又は後方等に取り付けられ、移動体の周辺を順次異なるタイミングで撮像する。以下においては、移動体が車両である場合を説明する。画像処理部２０は、カメラ１０で撮影した画像を入力する画像入力部２１と、画像データを保持する画像メモリ２２と、画像メモリ２２に保持した画像を変換処理する画像変換処理部２３を含む。

また画像入力部２１から出力された画像と、画像変換処理部２３で変換処理した画像との差分を抽出する差分処理部２４と、抽出した差分画像から水滴や汚れ等の付着物の候補を抽出する付着物候補抽出部２５と、カメラ１０に水滴や汚れ等の付着物が付着していることを検出する付着物検出部２６とを含む。

車両移動量計測部３０は、速度計３１及びジャイロ３２などを含み、車両の移動情報を生成し画像変換処理部２３に供給する。車両の移動情報には、車両の移動量を示す情報が含まれる。即ち車両の速度や回転角等を計測することで車両の移動距離と角度で示される移動量が算出される。警告部４０はディスプレイ装置やスピーカなどを含み、カメラ１０のレンズに水滴や汚れ等の付着物が所定量以上付着した場合に運転者に警告を発し清掃を促す。

次に本発明の移動体用カメラ装置１００の動作を図２〜図５を参照して説明する。図２は、画像入力部２１、画像メモリ２２、画像変換処理部２３及び差分処理部２４の動作を示す説明図である。

カメラ１０は、所定の時間間隔（例えば１秒間に３０枚）で、連続的に車両の周辺を撮影する。撮影した画像は順次に画像入力部２１に入力される。図２のＡ１は時刻ｔ１で撮影された画像を示し、Ａ２は少し遅れた時刻ｔ２で撮影した画像を示す。また画像入力部２１に入力された画像は、順次に画像メモリ２２に記憶される。

図２では、画像Ａ２を現時刻の画像とし、画像Ａ１を前時刻の画像として示している。また画像入力部２１から出力された画像は差分処理部２４に供給され、画像メモリ２２から読み出された画像は画像変換処理部２３に供給される。画像入力部２１から差分処理部２４に供給される画像が現時刻の画像Ａ２であるとき、画像メモリ２２からは前時刻の画像Ａ１が読み出され、画像変換処理部２３に入力される。画像変換処理部２３は、前時刻の画像Ａ１を処理し、現時刻の画像Ａ２と同位相の画像に変換した画像Ｂ１を得る。

画像変換処理部２３での変換処理は、車両移動量計測部３０からの車両情報をもとに行われる。即ち、車両が前時刻ｔ１から現時刻ｔ２までの間に移動したときの距離をＬ１とすると、前時刻の画像Ａ１を車両の移動距離Ｌ１に応じてシフトし、現時刻の画像Ａ２と同位相の画像に変換する。また前時刻ｔ１から現時刻ｔ２までの間に車両のハンドルが切られた場合は、回転角度の情報も取り入れて前時刻の画像Ａ１をシフトする。

画像変換処理部２３について詳しく説明する。図２では車両の前部にカメラ１０を取り付け、車両の前方周辺部を所定の時間間隔で順次に撮影した場合を想定している。前時刻ｔ１と現時刻ｔ２の時間差を求め、時間差に車両の速度を乗算すれば前時刻ｔ１から現時刻ｔ２までの走行距離Ｌ１を求めることができる。

画像変換処理部２３は、前時刻ｔ１で撮影した画像Ａ１上の全ての画素が路面上の点であるとみなした場合に、画像Ａ１が距離Ｌ１だけ走行した後ではどのように変化するかを推定して現時刻の画像Ａ２と同位相の画像に変換する。例えば、前時刻から距離Ｌ１だけ走行すると、前時刻画像Ａ１は、図２のＢ１で示すように車両の後方（下方）にシフトした画像となる。前時刻の画像Ａ１では、道路に引かれたセンターラインや路側帯を示すライン５１と標示用のマーク５２（ペイント）及び道路の傍にある立体物５３（ガードレールの支柱など）が前方（上部）に位置し、カメラ１０の表面に水滴６１と汚れ６２が付着した例を示している。

前時刻ｔ１から距離Ｌ１だけ車両が進行すると、前時刻画像Ａ１は後方（下方）に視点がずれた画像になるため、Ｂ１で示すように、ライン５１や標示マーク５２及び立体物５３の位置と、水滴６１と汚れ６２の位置も下側にずれる。また車両が距離Ｌ１だけ進行した場合、標示マーク５２や立体物５３に近付くため前時刻画像Ａ１は多少拡大される。こうして前時刻の画像Ａ１を車両情報に応じて変換処理し、現時刻の画像Ａ２と同位相の画像Ｂ１に変換する。

差分処理部２４では、現時刻の画像Ａ２と変換処理した画像Ｂ１の差分を取り、差分画像Ｃを得る。差分画像Ｃでは、道路及びライン５１や標示マーク５２は相殺されて削除され、立体物５３と水滴６１や汚れ６２の画像がそのまま残る。道路がカーブしていたりすると、道路やライン５１、標示マーク５２の一部は相殺されずに残ることもあるが、大部分は削除される。

付着物候補抽出部２５は、差分画像Ｃを予め設定した閾値で２値化し、水滴及び汚れ等の付着物の候補領域の画像を得る。付着物検出部２６では、水滴及び汚れ等の候補領域画像を時間方向に積算して濃淡画像を生成する。また付着物検出部２６は、積算された濃淡画像の画素値が予め設定した値以上の領域を、レンズに付着した付着物として検出する。つまり濃淡画像の濃度を予め設定した閾値で２値化した画像を付着物の画像として検出する。

そして水滴・汚れ等の付着物の領域が一定以上の面積を越えた場合に、警告部４０によって報知し、運転者に警告する。これによって運転者にレンズ表面の清掃を促すことができる。運転者への警告方法としては、例えばカメラ画像に表示された水滴や汚れの領域外周を点滅表示する方法や、ディスプレイに文字でレンズの洗浄を促すメッセージを表示したり、スピーカから報音する方法などがある。

図３は、カメラ１０で撮影した画像と、画像変換処理した画像と、差分画像を時系列に示した図であり、撮影画像は車両の走行に合わせてＡ１〜Ａ４で示すように順次に変化する。撮影画像Ａ１は時間的に過去の画像であり、撮影画像Ａ４が最新の画像である。

撮影画像Ａ１，Ａ２，Ａ３をそれぞれ画像変換処理部２３によって変換した画像がＢ１，Ｂ２，Ｂ３であり、撮影画像Ａ２と変換画像Ｂ１の差分画像がＣ１である。同様に撮影画像Ａ３と変換画像Ｂ２の差分画像がＣ２であり、撮影画像Ａ４と変換画像Ｂ３の差分画像がＣ３である。差分画像Ｃ１，Ｃ２，Ｃ３から分かるように、水滴６１と汚れ６２の画像は残り、立体物５３のように一時的に撮影された画像は途中で消えていく。

差分画像Ｃ１，Ｃ２，Ｃ３…は、付着物候補抽出部２５で２値化され、図４（ａ）で示すように、付着物検出部２６で時間軸方向に積算される。差分画像Ｃ１，Ｃ２，Ｃ３…を時間的に積算すると、水滴６１と汚れ６２の画像は濃淡が濃くなり、他の画像の濃淡は淡くなる。

こうして、図４（ｂ）で示すように濃淡画像の画素値が予め設定した値以上の領域は、水滴６１や汚れ６２等の付着物の画像領域として検出される。付着物の領域の面積が所定の面積を越えたときに警告部４０にて報知すれば運転者に知らせることができる。

尚、付着物検出部２６において検出された付着物の濃淡画像は、図５で示すようにラベリング処理される。ラベリング処理は、水滴又は汚れの画素６１（６２）が互いに隣接している場合に１つにまとめる処理であり、ラベリング処理した領域６３のトータル画素（面積）が所定値を越えた時に警告部４０を通じて報知する。

図６Ａ，６Ｂは、本発明の付着物検出方法の動作を示すフローチャートである。図６Ａにおいて、検出動作がスタートすると、ステップＳ１ではカメラ１０で撮影した画像を画像入力部２１に入力する。また画像メモリ２２に順次に記憶する。ステップＳ２では、画像メモリ２２から現時刻の画像の１つ前の画像（前時刻画像）を読み出す。

ステップＳ３では、車両移動量計測部３０からの車両情報を入手し、車両の移動量を画像処理部２０（画像変換処理部２３）に入力する。ステップＳ４では、前時刻から車両が移動したか否かを判断し、移動していればステップＳ５に進み、移動していなければステップＳ１に戻る。

ステップＳ５では、車両の移動量をもとに前時刻の画像を車両の移動量に応じてシフトし、現時刻の画像と同位相の画像に変換する。ステップＳ６では、変換後の画像と現時刻の画像との差分をとり、差分画像を生成する。ステップＳ７では、付着物候補抽出部２５によって差分画像を２値化し、ステップＳ８では、水滴・汚れ等の付着物の候補が検出されたか否かを判断する。ステップＳ１〜ステップＳ８の動作は繰り返し行われ、レンズに付着した水滴もしくは汚れ等の候補を検出する。

ステップＳ８のあとは図６ＢのステップＳ９に進み、ステップＳ９では、付着物検出部２６によって２値化した画像（付着物の候補領域の画像）を時間方向に積算して濃淡画像を生成する。ステップＳ１０では濃淡画像を２値化し、ステップＳ１１では濃淡画像の濃度を判断する。ステップＳ１１で所定の濃度以上の画像が水滴及び汚れ等の付着物の領域として検出されると、ステップＳ１２では付着物の領域のラベリング処理を行う。

ラベリングしたあと、ステップＳ１３ではラベリングした領域の面積を計算し、ステップＳ１４では面積が閾値以上か否かを判断する。水滴、汚れ等の領域の面積が閾値以上の場合、ステップＳ１５では警告部４０によって警告を報知し、運転者に警告する。付着物領域の面積が閾値以下の場合はステップＳ１３に戻る。こうして、カメラ１０のレンズ表面に付着物が多く付着したときに運転者にレンズ表面の清掃を促すことができる。

以上述べたように、本発明の実施形態によれば、前時刻の画像を車両の移動量に応じてシフトし、現時刻の画像と同位相の画像に変換し、現時刻の画像と変換した画像の差分をとることにより、路面が均一な場合でも汚れや水滴等を付着物の候補として抽出することができる。

また差分画像を２値化して時間軸方向に積算することにより、水滴や汚れ等を立体物や移動体と分離して検出することができる。したがって、付着物の領域を高精度で検出することができ、カメラを使った障害物検出システムが正しく動作しない可能性がある場合は運転者に警告を発することができる。

尚、本発明の実施形態は、一例を説明したものであり、以上説明した構成に限定されるものではなく、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。

１００…移動体用カメラ装置
１０…カメラ
２１…画像入力部
２２…画像メモリ
２３…画像変換処理部
２４…差分処理部
２５…付着物候補抽出部
２６…付着物検出部
３０…車両移動量計測部
３１…速度計
３２…ジャイロ
４０…警告部
５１…ライン画像、
５２…標示マーク画像
５３…立体物画像
６１…水滴画像
６２…汚れ画像

Claims (5)

1. 移動体に設置され、前記移動体の周辺を順次異なるタイミングで撮像するカメラと、
   前記カメラで撮影した時間的に前後する第１、第２の画像のうち前時刻の第１の画像を前記移動体の移動量に応じてシフトし、前記第２の画像と同位相の画像に変換する画像変換処理部と、
   前記第２の画像と前記変換した画像との差分を抽出する差分処理部と、
   前記差分処理部で抽出された差分画像を積算して前記カメラのレンズに付着した付着物の画像を検出する検出部と、
   前記付着物の画像の面積が予め設定した面積以上になったときに警告報知する警告部と、を具備したことを特徴とする移動体用カメラ装置。
2. 前記画像変換処理部は、前記第１の画像を撮影した時刻から前記第２の画像を撮影した時刻までの前記移動体の移動情報を取得し、
   前記移動体の移動距離と角度に応じて前記第１の画像をシフトし前記第２の画像と同位相の画像に変換することを特徴とする請求項１記載の移動体用カメラ装置。
3. 前記検出部は、前記差分処理部で抽出された差分画像を２値化して付着物の候補画像を抽出する候補抽出部と、前記付着物の候補画像を積算して濃淡画像を生成し、前記濃淡画像の濃度を予め設定した閾値で２値化した画像を付着物の画像として検出する付着物検出部と、を備えたことを特徴とする請求項１記載の移動体用カメラ装置。
4. 前記検出部は、前記付着物検出部からの付着物の画像をラベリング処理し、前記ラベリング処理した画像の面積が所定の面積以上になったときに警告用の信号を表示部に出力することを特徴とする請求項３記載の移動体用カメラ装置。
5. カメラのレンズに付着した付着物の検出方法であって、
   移動体に設置されたカメラで前記移動体の周辺を順次異なるタイミングで撮像し、
   前記カメラで撮影した時間的に前後する第１、第２の画像のうち前時刻の第１の画像を前記移動体の移動量に応じてシフトし、前記第２の画像と同位相の画像に変換し、
   前記第２の画像と前記変換した画像との差分を抽出し、
   抽出した前記差分画像を積算して濃淡画像を生成し、
   前記濃淡画像の濃度を予め設定した閾値で２値化した画像を付着物の画像として検出し、
   前記付着物の画像の面積が予め設定した面積以上になったとき警告報知することを特徴とする付着物の検出方法。