JP2006107000A - 画像異常判定方法及び画像異常判定装置 - Google Patents

Abstract

【課題】従来より安価な構成で迅速に、しかも、極力判断ミスが極力生じないようにして、撮影画像がフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かの判定を行なう。
【解決手段】自車室内の単眼カメラ（撮像装置）２が撮影した自車１のボンネットを含む自車前方の撮影画像の微分画像を形成し、この微分画像から撮影画像のほぼボンネット前縁部に左右方向に設定した複数個の部分領域それぞれの垂直エッジ成分を探査して検出し、各部分領域毎に、垂直エッジ成分の検出個数から、撮影画像が自車１のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを個別判定し、その結果の多数決処理により、撮影画像が異常画像か否かを総合判定する。
【選択図】図１

Description

本発明は、自車室内に設けられた単眼カメラ等の撮像装置の撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを判定する画像異常判定方法び画像異常判定装置に関し、さらには、撮影画像がフロントガラスの曇りによる異常画像か否かも判定する画像異常判定方法び画像異常判定装置に関する。

従来、いわゆるＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、被害軽減自動ブレーキシステム等を備えた車両にあっては、自車前方の先行車認識（障害物認識）や車間距離検出等を極力安価な構成で行なって自車のスロットル、ブレーキ等を制御するため、いわゆるステレオカメラより安価なＣＣＤカメラ構成の撮像装置を持車室内に設け、この撮像装置の毎フレームの自車前方の撮影画像を微分画像処理し、その水平、垂直エッジ成分のエッジ画像を得るようにしている（例えば、特許文献１参照。）。

この場合、走行環境の天候等によって自車のフロントガラスに散布状態に雨滴等の付着物が付着すると、前記撮像装置の撮影画像が雨滴等の付着物の画像を含んだ異常画像になり、この異常画像に基いて先行車の誤認識や車間距離の誤検出等が生じるおそれがある。

そして、本出願人は、２台のＣＣＤカメラで構成されたステレオカメラを自車室内に設けた構成の場合に、そのステレオカメラの撮影画像の画素濃度を微分して２値化し、自車のフード、すなわちボンネットの前端部（前縁部）のエッジ画像を得、このエッジ画像が形成するボンネット前端部の輪郭線と、基準の輪郭各線との一致、不一致から、前記撮影画像がフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを判定して認識することを既に出願している（特許文献２参照。）。

特開２００３−８１０３６号公報（段落［００２３］、図１） 特開平４−３０３０４７号公報（段落［００１０］−［００１５］、図１、図２）

前記従来の単眼カメラを設けた構成においては、その撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを判定することは行なわれていないが、単眼カメラを設けた構成においても、前記既出願のステレオカメラを設けた場合と同様に、撮影画像の輪郭線と基準の輪郭線との一致、不一致（パターンの一致、不一致）から、撮影画像がフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを判定することが考えられる。

しかしながら、単眼カメラ、ステレオカメラのいずれを設けた構成にあっても、撮影画像を微分画像処理して得た自車のボンネット前端部（前縁部）全体のエッジ画像と、予め保持したボンネット前端部全体の基準のエッジ画像とを比較するため、膨大な計算量のパターン比較の画像処理が必要になり、そのためのメモリ容量等も大容量にする必要があり、安価な構成で迅速に前記の異常画像か否かの判定をすることができない問題がある。

また、とくに画像のボンネット前縁の左右端部はカーブしており、そのデザインによっては鮮明な輪郭像を得ることが困難な場合があり、このような場合、ボンネット前端部全体の輪郭線と基準の輪郭線との一致、不一致の判断では判定ミスが生じる問題もある。

さらに、前記既出願の方法では、フロントガラスに雨滴等が付着した場合の異常画像と、フロントガラスが曇った場合の異常画像とを区別して判定し、認識することができない問題点もある。

そして、とくに単眼カメラを搭載した構成の場合、極力安価な構成でそれらの判定を行なうことが望まれ、その際、前記の輪郭線のパターン比較より容易で迅速な手法によって判定することも望まれる。

本発明は、従来より安価な構成で迅速に、しかも、極力判断ミスが生じないようにして、撮影画像がフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かの判定を行なうことを目的とし、さらには、フロントガラスに雨滴等が付着した場合の異常画像と、フロントガラスが曇った場合の異常画像とを区別して判定し、認識できるようにすることも目的とする。

上記した目的を達成するために、本発明の画像異常判定方法は、自車室内の撮像装置が撮影した自車のボンネットを含む自車前方の撮影画像の微分画像を形成し、前記微分画像から前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した複数個の部分領域それぞれの垂直エッジ成分を探査して検出し、前記各部分領域毎に、垂直エッジ成分の検出個数から前記撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを個別判定し、前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定することを特徴としている（請求項１）。

この場合、撮影画像の微分画像から、前記撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出し、前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から、前記各初期探査領域のほぼ前記ボンネット前縁部の範囲を検出してそれぞれ主探査領域に設定し、前記各主探査領域の垂直エッジ成分を、各部分領域それぞれの垂直エッジ成分として検出することが好ましい（請求項２）。

また、本発明の画像異常判定方法は、自車室内の撮像装置が撮影した自車のボンネットを含む自車前方の撮影画像の微分画像を形成し、前記微分画像から前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した複数個の部分領域それぞれの水平、垂直エッジの検出エッジ画像を形成し、前記各部分領域それぞれの正常時の基準エッジ画像と前記検出エッジ画像とをパターン比較し、該各パターン比較に基づいて検出した前記各部分領域それぞれの前記両エッジ画像のマッチング誤差により、前記撮影画像が自車のフロントガラスの雨滴等の散布状態に付着した付着物の画像を含んだ異常画像か否かを前記各部分領域毎に個別判定し、前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定して判定することを特徴としている（請求項３）。

この場合も、撮影画像の微分画像から、前記撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出し、前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から、前記各初期探査領域それぞれのほぼ前記ボンネット前縁部の範囲を検出してそれぞれ主探査領域に設定し、前記各主探査領域の水平、垂直エッジのエッジ画像により、各部分領域それぞれの検出エッジ画像を形成することが好ましい（請求項４）。

さらに、本発明の画像異常判定方法は、水平エッジ成分の無検出により、自車のフロントガラスの曇りによる撮影画像の異常画像を判定することを特徴とし（請求項５）、また、撮像装置が単眼カメラであることも特徴としている（請求項６）。

つぎに、本発明の画像異常判定装置は、自車室内に設けられて自車のボンネットを含む自車前方を撮影する撮像装置と、該撮像装置の撮影画像の微分画像から、前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した複数個の各部分領域それぞれの垂直エッジ成分を探査して検出する垂直エッジ成分検出手段と、前記各部分領域毎に、垂直エッジ成分の検出個数から前記撮影画像が自車のフロントガラスの雨滴等の散布状態に付着した付着物の画像を含んだ異常画像か否かを個別判定する個別異常判定手段と、前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定する総合異常判定手段とを備えたことを特徴としている（請求項７）。

この場合、撮影画像の微分画像から、撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出する初期探査手段と、前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から前記各初期探査領域のほぼ前記ボンネット前縁部を検出してそれぞれ主探査領域に設定する主探査領域設定手段とを備え、垂直エッジ成分検出手段により、前記各主探査領域の垂直エッジ成分を、各部分領域それぞれの垂直エッジ成分として検出することが好ましい（請求項８）。

また、本発明の画像異常判定装置は、自車室内に設けられて自車のボンネットを含む自車前方を撮影する撮像装置と、該撮像装置の撮影画像の微分画像から、前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した各部分領域それぞれの水平、垂直エッジの検出エッジ画像を形成する個別エッジ画像形成手段と、前記各部分領域それぞれの正常時の基準エッジ画像を保持する基準画像保持手段と、前記各部分領域それぞれの前記基準エッジ画像と前記現エッジ画像とをパターン比較し、該パターン比較に基づいて検出した前記各部分領域それぞれのパターンマッチング誤差により、前記撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを個別判定する個別異常判定手段と、前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定する総合異常判定手段とを備えたことを特徴としている（請求項９）。

この場合も、撮影画像の微分画像から、撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出する初期探査手段と、前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から、前記各初期探査領域のほぼ前記ボンネット前縁部の範囲を検出してそれぞれ主探査領域に設定する主探査領域設定手段とを備え、個別エッジ画像形成手が、前記各主探査領域の水平、垂直エッジのエッジ画像を、各部分領域それぞれの検出エッジ画像として形成することが好ましい（請求項１０）。

さらに、本発明の画像異常判定装置は、水平エッジ成分の無検出により、自車のフロントガラスの曇りによる撮影画像の異常画像を判定する曇り異常判定手段を備えたことを特徴とし（請求項１１）、また、撮像装置が単眼カメラであることも特徴としている（請求項１２）。

まず、請求項１、７の構成によれば、自車室内に設けられた撮像装置の撮影画像は自車のボンネットを含む自車前方の撮影画像であり、自車のフロントガラスに散布状態に雨滴等の付着物が付着すると、撮影画像にその付着物の画像が含まれる。

そして、撮影画像のほぼボンネット前縁部に左右方向に設定された複数個の部分領域毎に、それぞれの領域の垂直エッジ成分が探査して検出される。

ところで、ボンネット前縁部は、通常は、左右方向の水平エッジ成分が存在するのみであり、垂直エッジ成分は検出されないが、フロントガラスに散布状態の雨滴等の付着物が付着し、撮影画像にその付着物の画像が含まれると、その画像の垂直エッジ成分が検出されるようになる。

そして、各部分領域毎に垂直エッジ成分の検出個数から撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かが個別判定され、この場合、前記既出願のような輪郭線の比較（パターン比較）は不要であり、簡単な垂直エッジ成分の検出個数の計数を行なえばよく、簡単かつ迅速であり、しかも、ボンネット前縁部の一部分ずつの垂直エッジ成分の計数でよく、大容量のメモリ等も必要としない。

さらに、各部分領域の個別判定の結果の多数決処理によって撮影画像が異常画像か否かが総合判定されるため、ボンネット前縁部のカーブした左右端部の部分領域の個別判定が残りの部分領域と異なる誤った判定結果になったりしても、前記の総合判定により判定ミスの発生が極力防止される。

したがって、従来より安価な構成で迅速に、しかも、判断ミスが生じないようにして、撮影画像が、フロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かの判定を行なうことができる。

この場合、請求項２、８の発明のように、撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分のヒストグラムのピーク部分を求めると、これらのピーク部分から、各初期探査領域毎に、ボンネット前縁部の画像上の位置（縦方向の位置）を検出して主探査領域とし、各主探査領域を各部分領域に設定することにより、各部分領域を撮影画像のほぼ自車のボンネット前縁部の範囲に正確に設定することができ、各部分領域の個別判定制度が向上して一層精度の高い総合判定が行える。

つぎに、請求項３、９の構成によれば、前記の各部分領域それぞれの正常時の基準エッジ画像と検出エッジ画像とをパターン比較し、各パターンマッチング誤差から、撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かが各部分領域毎に個別判定される。

この場合、前記既出願のようにボンネット前縁部全体をパターン比較するのでなく、その一部分ずつをパターン比較するため、画像処理が簡単かつ迅速に行なえ、しかも、メモリ容量等も少なくてよい利点がある。

さらに、各部分領域の個別判定の結果の多数決処理により、撮影画像が異常画像か否かが総合判定されるため、判定精度が向上し、ボンネット前縁のカーブした左右端の部分領域の個別判定が残りの部分領域と異なる検出結果になったりしても、前記の総合判定により判定ミスの発生が極力防止される。

したがって、従来より安価な構成で迅速に、しかも、判断ミスが生じないようにして、撮影画像がフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かの判定を行なうことができる。

そして、この場合も、請求項４、１０の発明のように、撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分のヒストグラムのピーク部分を求めると、これらのピーク部分から、各初期探査領域毎にボンネット前縁部の画像上の位置（縦方向の位置）を検出することができ、各初期探査領域の検出位置の部分を、部分領域としての各主探査領域に設定することにより、各部分領域を撮影画像のほぼ自車のボンネット前縁部の範囲に正確に設定することができ、各部分領域の個別判定制度が向上して一層精度の高い総合判定が行える。

つぎに、請求項５、１１の構成によれば、自車のフロントガラスが曇っていると、撮影画像も全体が輝度変化の少ない状態になり、各初期探査領域の水平エッジ成分の検出が行なえなくなることから、この水平エッジ成分の無検出に基き、自車のフロントガラスの曇りによる撮影画像の異常画像を、フロントガラスに雨滴等が付着した場合の異常画像と区別して判定し、認識することができる。

そして、請求項６、１２の構成によれば、自車室内に撮像装置として安価な単眼カメラを搭載した構成において、前記の各効果を得ることができる。

つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図１１にしたがって詳述する。

＜一実施形態＞
まず、垂直エッジ成分の検出個数に基いて判定する実施形態について、図１〜図９を参照して説明する。

図１はＡＣＣ、被害軽減自動ブレーキシステム等を備えた自車１の画像異常判定装置のブロック図、図２は自車１の撮像装置の搭載状態の説明図、図３は撮影画像の一例の説明図である。

また、図４は初期探査領域説明用の自車１のボンネット前縁部分の微分画像、図５は主探査領域説明用の図４の一部の拡大図、図６は部分領域（主設定領域）の配置説明図、図７、図８は雨滴等が付着していない場合、付着している場合それぞれの垂直エッジ成分検出状態の説明図、図９は動作説明用のフローチャートである。

図１の画像異常判定装置において、いわゆるステレオカメラより安価な撮像装置としてのＣＣＤ単眼カメラ２は、図２に示すように自車１のフロントガラス１ａを通して自車前方を撮影するように、例えばセンタミラー（バックミラー）の基部に取り付けられて、自車１の車室内（自車室内）に搭載されている。

そして、単眼カメラ２が時々刻々に自車前方を撮影し、図２のように、自車１のボンネット（フード）１ｂを一部に含んだ撮影画像Ｐｉの信号を毎フィールドに出力する。なお、単眼カメラ２の撮影姿勢は固定され、撮影画像Ｐｉの所定位置にボンネット１ｂの少なくとも前縁部（ボンネット前縁部）ｆを含む所定部分が位置する。図３のＣＡＲは撮影された前方の先行車である。

また、この画像異常判定装置は、例えばレーザレーダ、ミリ波レーダまたは超音波センサからなる測距センサ３等の各種センサ、画像異常判定機能のオンオフ等を設定する制御スイッチ４等の種々の状態監視のセンサ、スイッチを備える。

そして、単眼カメラ２の撮影画像の信号及び測距センサ３、制御スイッチ４等の各種のセンサ、スイッチの信号が、マイクロコンピュータ構成の制御ＥＣＵ５に供給される。

この制御ＥＣＵ５は、予め設定された画像異常判定プログラムを実行することにより、つぎの（Ｍ−ｉ）〜（Ｍ−ｖｉ）のソフトウエア処理の各手段を備える。

（Ｍ−ｉ）初期探査手段
この手段は、撮影画像Ｐｉの微分画像から、撮影画像Ｐｉの前記の前縁部ｆが含まれる設定範（ほぼボンネット１ｂの前部）を左右方向に区切って設定した各初期探査領域の水平エッジ成分を探査して検出する。

すなわち、撮影画像Ｐｉの上下方向の隣接画素の輝度（濃度）変化から、その水平エッジ成分の微分画像を形成し、この微分画像に例えば図４に示すボンネット前縁部ｆを含む左右方向の複数個の初期探査領域ａを設定することにより、各初期探査領域ａの水平エッジ成分を探査して検出する。

ここで、ボンネット前縁部ｆは、左右方向に線状に伸び、通常、水平エッジの微分画像に鮮明に現れる。

（Ｍ−ｉｉ）主探査領域設定手段
この手段は、各初期探査領域ａそれぞれの例えば図５に示す水平エッジ成分のヒストグラムｈのピーク部分ｈｐから、各初期探査領域ａのほぼボンネット前縁部ｆの幅（画像上での上下幅）を特定して前縁部ｆを精度よく検出し、図５及び図６に示すように、各初期領域ａ内の検出幅の部分それぞれを主探査領域ｂに設定する。

このとき、周囲照度等による誤検出を防止して後述の判定精度の向上を図るため、検出幅の上限幅を設定し、主探査領域ｂの大きさ（幅）を設定した上限幅に規制（制限）することが好ましい。

（Ｍ−ｉｉｉ）垂直エッジ成分検出手段
この手段は、各主探査領域ｂをほぼボンネット前縁部ｆに左右方向に設定した複数個の部分領域それぞれとし、撮影画像Ｐｉの各主探査領域ｂの垂直エッジ成分を探査して検出する。

具体的には、撮影画像Ｐｉの左右方向の隣接画素の輝度変化から、各主探査領域ｂそれぞれの垂直エッジ成分を検出し、例えば、そのヒストグラムを求めて垂直エッジ成分の検出数を計数し、各主探査領域ｂ毎に垂直エッジ成分の出現数を計数して検出する。

ここで、ボンネット前縁部ｆの画像は、雨滴等の付着がなければ、図４、図６からも明らかなように前記した左右方向の線状の画像であり、水平エッジ成分は含むが垂直エッジ成分はほとんど含まない。

一方、フロントガラス１ａに雨滴等が付着すると、撮影画像Ｐｉに雨滴等の微小な円形状或いは楕円形状の画像が含まれ、この円形画像の微分画像は水平、垂直エッジ成分を含む。

したがって、フロントガラス１ａに雨滴等が付着していなければ、図７に示すように部分領域である各主探査領域ｂには垂直エッジ成分ｖｇがほとんど出現しないが、フロントガラス１ａに雨滴等が付着すると、大半の主探査領域ｂにおいて、図８に示すように、複数個所に雨滴ｄｒｏｐの比較的大きな垂直エッジ成分ｖｇが出現する。

（Ｍ−ｉｖ）個別異常判定手段
この手段は、部分領域である各主探査領域ｂ毎に、垂直エッジ成分の検出個数（計数個数）から撮影画像Ｐｉが自車１のフロントガラス１ａの雨滴の画像を含んだ異常画像か否かを個別判定する。

具体的には、各主探査領域ｂ毎に、垂直エッジ成分の検出個数と設定した異常判定のしきい値の個数とを比較し、検出個数がしきい値の個数より大きいときに異常画像と判定する。

この場合、例えばボンネット１ｂ全体の輪郭線をパターン比較する複雑な画像処理は不要であり、簡単な垂直エッジ成分の検出個数の計数処理を行なえばよく、簡単かつ迅速であり、しかも、その計数処理もボンネット１ｂの前端縁の一部ずつ行なえばよく、大容量のメモリ等も必要としない。

そして、前記の異常判定のしきい値の個数は、各主探査領域ｂに共通であってもよいが、左右端の主探査領域ｂ程、道路の白線等の影響によって垂直エッジ成分が発生し易くなるので、主探査領域ｂ毎に個別に設定し、左右端部に近い主探査領域ｂ程、中央の主探査領域ｂより多くして判定しきい値を高くすることが好ましい。

（Ｍ−ｖ）総合異常判定手段
この手段は、個別異常判定手段の個別判定結果の多数決処理により、撮影画像Ｐｉが、フロントガラス１ａの雨滴等を含んだ異常画像か否かを総合判定する。

具体的には、異常の判定をした主探査領域ｂの個数が、設定した総合判定のしきい値の個数以上か否かに基き、撮影画像Ｐｉがフロントガラス１ａの雨滴等の付着物の画像を含んだ異常画像か否かを判定する。

このとき、前記の総合判定のしきい値の個数が主探査領域ｂの総数の半分以上に設定されて前記の多数決処理で異常画像か否かの総合判定が行なわれるため、各部分領域の個別判定の結果の多数決処理により、撮影画像Ｐｉが異常画像か否かが総合判定され、ボンネット前縁部ｆのカーブした左右端部に位置した主探査領域ｂの個別判定が残りの位置の主探査領域ｂと異なる誤った個別判定結果になったりしても、前記の総合判定が誤ったりせず、判定ミスの発生が極力防止されて撮影画像Ｐｉの精度の高い判定が行なえる。

（Ｍ−ｖｉ）曇り異常判定手段
この手段は、水平エッジ成分の無検出により、フロントガラス１ａの曇りによる撮影画像Ｐｉの画像異常を判定する。

すなわち、この実施形態の場合、雨滴等の付着物による撮影画像Ｐｉの異常画像の認識を行なうだけでなく、この認識とフロントガラス１ａの曇りによる撮影画像１ａの異常画像の認識とを区別して行なう。

そして、フロントガラス１ａが曇ると、撮影画像Ｐｉがいわゆる磨りガラスを通して撮影したような一様な輝度画像になり、水平、垂直エッジがほとんど出現しなくなることから、この曇り異常判定手段は、前記の初期探査手段が各初期探査領域ａの水平エッジ成分を検出するか否かを監視し、全部又は設定個数以上の初期探査領域ａで水平エッジ成分が検出されなければ、水平エッジ成分の無検出と判定してフロントガラス１ａの曇りによる異常画像を検出して認識する。

そして、以上の各手段の動作をフローチャートで示すと、図９のステップＳ１〜Ｓ１０のようになり、初期探査手段の動作に基き、ステップＳ１によって撮影画像Ｐｉの微分画像処理が行なわれ、ステップＳ２によって水平エッジ成分が検出され、水平エッジ成分が検出されると、主探査領域設定手段、垂直エッジ成分検出手段が動作し、ステップＳ４、Ｓ５によって各主探査領域ｂの垂直エッジ成分の検出が行なわれる。

さらに、個別異常判定手段、総合異常判定手段が動作し、ステップＳ６〜Ｓ９により前記の個別判定、総合判定が行なわれ、撮影画像Ｐｉがフロントガラス１ａに付着した雨滴等に基く異常画像か否かが判定されて認識される。

一方、ステップＳ３において、水平エッジ成分を検出しなければ、ステップＳ３からステップＳ１０に移行し、曇り異常判定手段が動作して撮影画像Ｐｉのフロントガラス１ａの曇りによる異常画像を検出して認識する。

つぎに、この実施形態の場合、前記の総合判定の結果が正常画像で、フロントガラス１ａの曇りによる異常画像も検出されなければ、制御ＥＣＵ５により、撮影画像Ｐｉから先行車ＣＡＲ等を認識してＡＣＣ、被害軽減自動ブレーキシステム等の制御が行なわれ、この制御に基き、スロットル制御ユニット６による加速制御、ブレーキ制御ユニット７による制動制御や、ＡＴ制御ユニット８の変速制御、ステアリング制御ユニット９の操舵制御が行なわれる。

一方、天候悪化等によって前記の総合判定の結果が異常画像になると、撮影画像Ｐｉの異常に基く誤認識、誤制御を防止するため、制御ＥＣＵ５は、前記のＡＣＣ、被害軽減自動ブレーキシステム等において、画像処理結果を使用しないとともに、その状況を表示警報ユニット１０によってドライバに報知する。

また、自車１の室内外の温度差等に基づいてフロントガラス１ａが曇り、この曇りによる異常画像が認識されたときにも、撮影画像Ｐｉの異常に基く誤認識、誤制御を防止するため、制御ＥＣＵ５は、前記のＡＣＣ、被害軽減自動ブレーキシステム等において、画像処理結果を使用しないとともに、その状況を表示警報ユニット１０によってドライバに報知する。

なお、表示警報ユニット１０の報知は、例えば、ランプの点灯・点滅、ブザ音出力あるいはメッセージ音声出力によって行なわれる。

したがって、フロントガラス１ａの雨滴、曇りによって撮影画像Ｐｉが異常画像になったときに、この異常画像に基づくＡＣＣ、被害軽減自動ブレーキシステム等の誤制御が防止されて安全性、信頼性が向上する。

＜他の実施形態＞
つぎに、エッジ画像のパターン比較に基づいて判定する実施形態について、図１〜図６及び図１０、図１１を参照して説明する。

この実施形態の場合、図１に示すように自車１に基準エッジ画像記憶ユニット１１が追加され、このユニット１１が基準画像保持手段を形成し、部分領域としての各主探査領域ｂそれぞれの正常時の水平、垂直エッジの基準エッジ画像ｐ（ｒｅｆ）を保持する。

この基準エッジ画像ｐ（ｒｅｆ）は、例えば、予め設定された標準テンプレートのエッジ画像、または、設定された周期毎に撮影して書き換えられる正常時の撮影画像Ｐｉの微分画像からなり、その画像情報には撮影画像Ｐｉでの各エッジ位置の情報等も含まれる。

つぎに、この実施形態の制御ＥＣＵ５は、予め設定された画像異常判定プログラムを実行することにより、つぎの（Ｎ−ｉ）〜（Ｎ−ｖ）のソフトウエア処理の各手段を備える。

（Ｎ−ｉ）初期探査手段
この手段は、前記一実施形態の初期探査手段と同じであり、撮影画像Ｐｉの微分画像から、撮影画像Ｐｉの自車１のボンネット前縁部ｆを含む範囲を左右方向に区切って設定した図４の複数個の初期探査領域ａの水平エッジ成分を探査して検出する。

（Ｎ−ｉｉ）主探査領域設定手段
この手段は、前記一実施形態の主探査領域設定手段と同じであり、各初期探査領域ａの水平エッジ成分のヒストグラムのピーク部分から各初期探査領域ａのほぼボンネット前縁部ｆを検出し、例えば図１０に示す主探査領域ｂを設定する。この領域ｂは前記の図５、図６の主探査領域ｂと同様である。

（Ｎ−ｉｉｉ）個別エッジ画像形成手段
この手段は、各主探査領域ｂを撮影画像Ｐｉのほぼボンネット前縁部ｆに左右方向に設定した各部分領域とし、撮影画像Ｐｉの微分画像から、各主探査領域ｂそれぞれの水平、垂直エッジを含む図１０の検出エッジ画像ｐ（ｄｅｔ）を形成する。具体的には、撮影画像Ｐｉの各主探査領域ｂそれぞれの部分を水平、垂直両方に微分し、各検出エッジ画像ｐ（ｄｅｔ）を形成する。

（Ｎ−ｉｖ）個別異常判定手段
この手段は、部分領域としての各主探査領域ｂそれぞれの基準エッジ画像ｐ（ｒｅｆ）と検出エッジ画像ｐ（ｄｅｔ）とをパターン比較し、このパターン比較に基づいて検出した各主探査領域ｂそれぞれの両エッジ画像ｐ（ｒｅｆ）、ｐ（ｄｅｔ）のパターンマッチング誤差により、各主探査領域ｂ毎に撮影画像Ｐｉが自車１のフロントガラス１ａの雨滴の画像を含んだ異常画像か否かを個別判定する。

具体的には、図１０に示す基準エッジ画像ｐ（ｒｅｆ）と検出エッジ画像ｐ（ｄｅｔ）との画像上下幅のセンタ位置のずれ量、すなわち、両エッジ画像ｐ（ｒｅｆ）、ｐ（ｄｅｔ）の位置のオフセット量Δを測定し、画像処理により、同図に示すように、オフセット量Δが０になるように両エッジ画像ｐ（ｒｅｆ）、ｐ（ｄｅｔ）のいずれか一方、例えば基準エッジ画像ｐ（ｒｅｆ）の位置をずらして両エッジ画像ｐ（ｒｅｆ）、ｐ（ｄｅｔ）を重ね合わせ、その一致、不一致の程度から両エッジ画像ｐ（ｒｅｆ）、ｐ（ｄｅｔ）のパターンマッチング誤差の量（大きさ）を検出し、検出した誤差量が設定されたしきい値以上か否かによって前記の異常画像か否かをの個別判定を行なう。

（Ｎ−ｖ）総合異常判定手段
この手段は、前記一実施形態の総合異常判定手段と同じであり、個別異常判定手段の個別判定結果の多数決処理により、撮影画像Ｐｉが異常画像か否かを総合判定する。

（Ｎ−ｖｉ）曇り異常判定手段
この手段は、前記一実施形態の曇り異常判定手段と同じであり、水平エッジ成分の無検出により、フロントガラス１ａの曇りによる撮影画像Ｐｉの画像異常を判定する。

そして、以上の各手段の動作をフローチャートで示すと、図１１のステップＱ１〜Ｑ１０のようになり、図１１において、ステップＱ１〜Ｑ４、Ｑ６〜Ｑ１０の処理は図９のステップＳ１〜Ｓ４、Ｓ６〜Ｓ１０の処理と同様であり、ステップＱ５の処理が図９のステップＳ５の処理と異なる。なお、ステップＱ５は個別異常判定手段によるパターン比較の画像処理である。

したがって、前記の個別異常判定手段によるボンネット前縁部ｆの複数個所のパターン比較からの個別判定に基き、総合異常判定手段により、多数決処理で撮影画像Ｐｉの異常画像か否かの総合判定が行なわれ、この実施形態の場合も、ボンネット前縁部ｆのカーブした左右端部に位置した主探査領域ｂの個別判定が残りの位置の主探査領域ｂと異なる誤った個別判定結果になったりしても、前記の総合判定により、判定ミスの発生が極力防止され、撮影画像Ｐｉがフロントガラス１ａの雨滴等の付着物の画像を含んだ異常画像か否かの精度の高い判定が行なえる。

しかも、曇り異常判定手段の判定結果に基づき、前記一実施形態の場合と同様、撮影画像Ｐｉについて、フロントガラス１ａの曇りによる異常画像の認識を、フロントガラス１の雨滴等の付着物に基く異常画像の認識と区別して行なうことができる。

そして、天候悪化等によって前記の総合判定の結果が異常画像になると、制御ＥＣＵ５が、前記のＡＣＣ、被害軽減自動ブレーキシステム等において、画像処理結果を使用しないとともに、その状況を表示警報ユニット１０によってドライバに報知し、また、自車１の室内外の温度差等に基づいてフロントガラス１ａが曇ると、制御ＥＣＵ５は、前記のＡＣＣ、被害軽減自動ブレーキシステム等において、画像処理結果を使用しないとともに、その状況を表示警報ユニット１０によってドライバに報知することができ、フロントガラス１ａの雨滴、曇りによって撮影画像Ｐｉが異常画像になったときに、この異常画像に基づくＡＣＣ、被害軽減自動ブレーキシステム等の誤制御が防止されて安全性、信頼性が向上する。

ところで、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。

例えば、前記両実施形態においては、初期探査手段、主探査領域設定手段を設け、各部分領域を、それぞれ各主探査領域ｂによって設定し、精度よくボンネット前縁部ｆに位置させるようにしたが、処理の簡素化等を図る場合は、最も簡単には、両設定手段を省き、各部分領域を撮影画像Ｐｉの予め設定した各所定位置に固定して設定してもよく、また、主探査領域設定手段を省いて初期探査手段のみを設け、各部分領域を少なくとも各初期探査領域ａ内に位置するように設定してもよい。

つぎに、前記両実施形態において、初期探査手段、主探査領域設定手段を省き、水平エッジ成分の検出を行なわない場合は、曇り異常判定手段も省き、フロントガラス１ａの曇りによる撮影画像Ｐｉの画像異常の判定を行わないようにしてもよく、この場合は、処理の簡素化・高速化等が図られる。

なお、初期探査手段、主探査領域設定手段を省いた場合に、曇り異常判定手段により初期設定手段と同様にして水平エッジ成分を検出し、フロントガラス１ａの曇りによる撮影画像Ｐｉの画像異常の判定を行うようにしてもよいのは勿論である。

つぎに、自車１の停止時は、路面白線等によって鮮明な微分画像が得られないおそれがあり、それに伴う判定ミスが生じ易くなるので、とくに前記他の実施形態において、例えば図示省略した車速センサ（車輪速センサ）等のセンサ出力から自車１の停止を検出する間は前記の判定を中止したり、判定のくり返しの周期を長くしたりして、判定ミスを極力防止するようにすることが好ましい。

つぎに、前記両実施形態においては、撮像装置を安価な単眼カメラ２としたが、撮像装置がステレオカメラ等であってもく、その場合にも同様の効果が得られるのは勿論である。

また、フロントガラス１ａの付着物が、雨滴以外の種々の液滴或いは泥のよな種々の流動体や固形物であっても、この発明が同様に適用できるのは勿論であり、判定結果が自車１の種々の走行制御等に利用できるのも勿論である。

ところで、自車１の装備部品数を少なくするため、例えば図１の単眼カメラ２は自車１の追従走行制御等の他の制御のセンサに兼用する場合にも適用することができる。

この発明の一実施形態のブロック図である。 図１の単眼カメラの搭載状態の説明図である。 図１の単眼カメラの撮影画像の一例の説明図である。 図１の初期探査領域の設定例の説明図である。 図１の主探査領域の設定処理の説明図である。 図１の主探査領域の設定例の説明図である。 図１の単眼カメラの撮影画像の正常画像時の垂直エッジ成分の説明図である。 図１の単眼カメラの撮影画像の異常画像時の垂直エッジ成分の説明図である。 図１の動作説明用のフローチャートである。 この発明の他の実施形態のパターンマッチング誤差の一例の説明図である。 この発明の他の実施形態の動作説明用のフローチャートである。

符号の説明

１ 自車
１ａ フロントガラス
１ｂ ボンネット
２ 単眼カメラ
５ 制御ＥＣＵ
１１ 基準エッジ画像記憶ユニット
ａ 初期探査領域
ｂ 主探査領域
ｄｒｏｐ 雨滴
ｆ ボンネット前縁部
ｖｇ 垂直エッジ成分
Ｐｉ 撮影画像

Claims (12)

1. 自車室内の撮像装置が撮影した自車のボンネットを含む自車前方の撮影画像の微分画像を形成し、
   前記微分画像から前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した複数個の部分領域それぞれの垂直エッジ成分を探査して検出し、
   前記各部分領域毎に、垂直エッジ成分の検出個数から、前記撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを個別判定し、
   前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定することを特徴とする画像異常判定方法。
2. 撮影画像の微分画像から、前記撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出し、
   前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から、前記各初期探査領域のほぼ前記ボンネット前縁部の範囲を検出してそれぞれ主探査領域に設定し、
   前記各主探査領域の垂直エッジ成分を、各部分領域それぞれの垂直エッジ成分として検出することを特徴とする請求項１記載の画像異常判定方法。
3. 自車室内の撮像装置が撮影した自車のボンネットを含む自車前方の撮影画像の微分画像を形成し、
   前記微分画像から前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した複数個の部分領域それぞれの水平、垂直エッジの検出エッジ画像を形成し、
   前記各部分領域それぞれの正常時の基準エッジ画像と前記検出エッジ画像とをパターン比較し、
   該各パターン比較に基づいて検出した前記各部分領域それぞれのパターンマッチング誤差により、前記撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを前記各部分領域毎に個別判定し、
   前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定して判定することを特徴とする画像異常判定方法。
4. 撮影画像の微分画像から、前記撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出し、
   前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から、前記各初期探査領域のほぼ前記ボンネット前縁部の範囲を検出してそれぞれ主探査領域に設定し、
   前記各主探査領域の水平、垂直エッジのエッジ画像により、各部分領域それぞれの検出エッジ画像を形成することを特徴とする請求項３記載の画像異常判定方法。
5. 水平エッジ成分の無検出により、自車のフロントガラスの曇りによる撮影画像の異常画像を判定することを特徴とする請求項２または４に記載の画像異常判定方法。
6. 請求項１〜５のいずれかの画像異常判定方法において、撮像装置が単眼カメラであることを特徴とする画像異常判定方法。
7. 自車室内に設けられて自車のボンネットを含む自車前方を撮影する撮像装置と、
   該撮像装置の撮影画像の微分画像から、前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した複数個の各部分領域それぞれの垂直エッジ成分を探査して検出する垂直エッジ成分検出手段と、
   前記各部分領域毎に、垂直エッジ成分の検出個数から前記撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを個別判定する個別異常判定手段と、
   前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定する総合異常判定手段とを備えたことを特徴とする画像異常判定装置。
8. 撮影画像の微分画像から、前記撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出する初期探査手段と、
   前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から前記各初期探査領域のほぼ前記ボンネット前縁部を検出してそれぞれ主探査領域に設定する主探査領域設定手段とを備え、
   垂直エッジ成分検出手段により、前記各主探査領域の垂直エッジ成分を、各部分領域それぞれの垂直エッジ成分として検出するようにしたことを特徴とする請求項７記載の画像異常判定装置。
9. 自車室内に設けられて自車のボンネットを含む自車前方を撮影する撮像装置と、
   該撮像装置の撮影画像の微分画像から前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した各部分領域それぞれの水平、垂直エッジの検出エッジ画像を形成する個別エッジ画像形成手段と、
   前記各部分領域それぞれの正常時の基準エッジ画像を保持する基準画像保持手段と、
   前記各部分領域それぞれの前記基準エッジ画像と前記現エッジ画像とをパターン比較し、該パターン比較に基づいて検出した前記各部分領域それぞれのパターンマッチング誤差により、前記撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを個別判定する個別異常判定手段と、
   前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定する総合異常判定手段とを備えたことを特徴とする画像異常判定装置。
10. 撮影画像の微分画像から前記撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出する初期探査手段と、
    前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から、前記各初期探査領域のほぼ前記ボンネット前縁部の範囲を検出してそれぞれ主探査領域に設定する主探査領域設定手段とを備え、
    個別エッジ画像形成手が、前記各主探査領域の水平、垂直エッジのエッジ画像を、各部分領域それぞれの検出エッジ画像として形成するようにしたことを特徴とする請求項９記載の画像異常判定装置。
11. 水平エッジ成分の無検出により、自車のフロントガラスの曇りによる撮影画像の異常画像を判定する曇り異常判定手段を備えたことを特徴とする請求項８または１０に記載の画像異常判定装置。
12. 請求項７〜１１のいずれかの画像異常判定装置において、撮像装置が単眼カメラであることを特徴とする画像異常判定装置。

Images