JP6120395B2 - 車載装置 - Google Patents

Description

本発明は、車載装置に関する。

車両に搭載されるカメラにて、車両走行路の白線を撮影し、撮影された白線の認識率が予め設定した閾値よりも大きいときに、仕切線認識状態と判断し、閾値よりも小さいときに仕切線非認識状態と判断する仕切線認識装置において、カメラ、あるいは車両のフロントガラスに付着した汚れを検出する汚れ検出部を有し、この汚れ検出部にて、汚れの付着が検出された際に、閾値を変更するようにしたものが知られている（特許文献１）。

また、車両に搭載されるカメラについて、カメラレンズに付着した異物とカメラに映り込んだ自車両の一部を検出対象の範囲から除外することにより、障害物の検出精度を向上でき、また検出対象の範囲から除外された異物等の割合に応じて、車両の運転者に警報を発することができ、また自動的に障害物の検出動作を中止できるとともに車両の運転者にその中止を報知することができる車両用障害物検出装置を提供するものが知られている（特許文献２）。

特開２００３−４４８６３号公報 特開２０１２−０３８０４８号公報

従来の技術では、付着物の画像が他の画像の中に紛れてしまい、付着物が誤検出されることがあった。また、従来の技術では、画像から不動領域を抽出するが、その不動領域が自車車体であるのか、付着した異物であるのか判断できないため、撮像装置に付随する遮光領域を特定することができなかった。

本発明の一実施の形態による車載装置は、遮光部材による遮光領域が撮影領域内に形成され、撮影レンズを介して撮影した車両周囲の撮影画像を出力するカメラと、カメラがそれぞれ異なる時間に出力した複数の撮影画像の各々における遮光領域の画像に基づいて、撮影レンズに付着した付着物を検出する付着物検出部と、付着物検出部の検出結果に基づいて出力信号を制御する信号制御部と、予め記憶された車体モデルと公差モデルに基づいて、遮光領域を算出する幾何計算部と、を備える。

本発明によれば、カメラのレンズに付着した付着物を、適切に検出することができる。

本発明の第１の実施形態による車載装置のブロック構成図である。 カメラの撮影領域と遮光領域を示す図である。 カメラの取り付け位置の例を示す図である。 本発明の第１の実施形態による車載装置の制御ブロック図である。 カメラの撮影画像の一例である。 差分画像の生成方法について説明する図である。 付着物の形状判定について説明する図である。 本発明の第１の実施形態による車載装置の制御フローチャートの一例である。 本発明の第１の実施形態による車載装置の制御フローチャートの一例である。 カメラに備えられる遮光板に関する変形例である。 本発明の第２の実施形態による車載装置の制御ブロック図である。 カメラと遮光板との位置関係を示す図である。 遮光領域設定部の制御ブロック図である。 遮光板領域境界を算出する処理のフローチャートの一例である。

（第１の実施の形態）
図１は、本発明の第１の実施形態による車載装置１００のブロック構成図である。図１に示す車載装置１００は、車両に搭載されて使用されるものであり、遮光板１ａが取り付けられたカメラ１と、制御部２と、警報出力部３と、動作状態報知部４と、洗浄制御部５と、エアーポンプ６と、ウォッシャーポンプ７と、エアーノズル８と、ウォッシャーノズル９とを備える。

カメラ１は、車両の後方に向けて設置されており、車両後方の路面を含む撮影領域内の画像を所定の時間間隔ごとに撮影する。このカメラ１には、たとえばＣＣＤやＣＭＯＳなどの撮像素子が用いられる。カメラ１により取得された撮影画像は、カメラ１から制御部２へ出力される。

遮光板１ａは、カメラ１の撮影レンズに向けて進む光の一部を遮光するためにカメラ１に取り付けられている。図２は、カメラ１の撮影領域と遮光領域を示す図であり、カメラ１を横方向から見た様子を示している。図２に示すように、カメラ１の撮影領域のうち上側の一部分が遮光板１ａでマスクされることにより、遮光領域が形成されている。カメラ１は、この遮光領域以外の撮影領域において、車両後方の路面を含む画像を撮影する。ここで、カメラ１の撮影領域（画角、撮影画角）は、車両後方の路面を左右方向について十分に広い範囲で撮影できるように比較的広く設定されており、そのままでは路面以外、たとえば空や背景等からの不要な光もカメラ１に入射されてしまう。そこで、こうしたカメラ１への不要な入射光を遮るため、遮光板１ａにより遮光領域が設けられている。

図３は、カメラ１の取り付け位置の例を示す図である。自車両の後方部分において、車体２０にはナンバープレート２１が設置されている。このナンバープレート２１の直上の位置に、斜め下に向けてカメラ１が取り付けられており、その上に遮光板１ａが設置されている。なお、ここで示した取り付け位置はあくまで一例であるため、他の位置にカメラ１を取り付けてもよい。車両後方の路面を適切な範囲で撮影可能な限り、カメラ１の取り付け位置をどのように定めてもよい。

制御部２は、ＲＡＭ１０とＲＯＭ１１とＣＰＵ１２とを有し、カメラ１からの撮影画像をＲＡＭ１０に記憶して、それらの撮影画像を用いて所定の画像処理を行い、その処理結果に応じた各種制御を行う。この制御部２が行う制御により、車載装置１００において、たとえば、ＬＤＷ（Lane Departure Warning）、ＢＳＷ（Blind Spot Warning）、ＭＯＤ（Moving Object Detection）、ＩＭＤ（Image Diagnosis）と呼ばれる様々な機能が実現される。ＬＤＷは、撮影画像から路面の白線（車線境界線、車道外側線、中央線など）を検出することにより、自車両が走行中の車線から逸脱しそうなときに警報を出力する機能である。ＢＳＷは、撮影画像から道路上を走行している他の車両を検出することにより、車線変更時等に自車両と衝突する可能性がある車両の存在を運転者に警告する機能である。ＭＯＤは、撮影画像から移動物を検出することにより、後退時等に自車両の周囲における移動物の存在を運転者に知らせる機能である。ＩＭＤは、カメラ１により撮影画像が正しく撮影されているかを診断する機能である。

警報出力部３は、警報ランプや警報ブザー等による警報を車両の運転者に対して出力するための部分である。この警報出力部３の動作は、制御部２によって制御される。たとえば、前述のＬＤＷにおいて自車両が走行中の車線から逸脱しそうと判断された場合や、ＢＳＷにおいて自車両と衝突する可能性のある車両が検出された場合に、制御部２の制御に応じて警報出力部３から警報が出力される。

動作状態報知部４は、車載装置１００の動作状態を車両の運転者に報知するための部分である。たとえば、所定の動作条件が満たされておらずに車載装置１００が非動作状態にある場合、制御部２の制御により、動作状態報知部４として車両の運転席付近に設置されたランプを点灯させる。これにより、車載装置１００が非動作状態であることを運転者に報知する。

洗浄制御部５は、制御部２からの制御に応じて、エアーポンプ６およびウォッシャーポンプ７の動作を制御するための部分である。たとえば、前述のＩＭＤにおいてカメラ１に水滴、泥、融雪剤等の付着物が付着しており、そのために撮影画像が正しく撮影されていないと判断された場合、制御部２は洗浄制御部５に対して、撮影レンズの洗浄を要請する制御信号を出力する。洗浄制御部５は、この信号に応じて、エアーポンプ６やウォッシャーポンプ７の動作を制御する。

エアーポンプ６は、洗浄制御部５からの制御に応じて動作し、圧縮空気をエアーノズル８へ出力する。この圧縮空気がエアーノズル８からカメラ１に向けて噴出されることで、カメラ１の撮影レンズ部分に付着した水滴等の付着物が吹き飛ばされて除去される。

ウォッシャーポンプ７は、洗浄制御部５からの制御に応じて動作し、不図示のウォッシャータンクから供給されるウォッシャー液をウォッシャーノズル９へ出力する。このウォッシャー液がウォッシャーノズル９からカメラ１に向けて噴出されることで、カメラ１の撮影レンズ部分に付着しており、エアーノズル８からの圧縮空気では除去が困難な泥等の付着物が洗浄されて除去される。

図４は、本発明の一実施の形態による車載装置の制御ブロック図の一例である。図４に示す車載装置１００において、制御部２は、遮光領域設定部３１と付着物検出部３２と信号制御部３３と警報制御部３６として機能する。

図５は、遮光領域設定部３１について説明するための図である。遮光領域設定部３１は、図５にハッチングを用いて図示される画像領域４１のように、カメラ１が出力した撮影画像に対して、図２の遮光領域に対応する画像領域を設定する。以降、この画像領域のことを遮光画像領域と称し、遮光画像領域の画像のことを遮光画像と称する。なお、図５では、遮光画像領域４１以外の画像領域に、ＬＤＷに用いられる自車両の走行車線の路面４２とその走行車線を示すために路面に描かれた白線４３および白線４４とが映っている。

付着物検出部３２は、遮光画像に基づいて、撮影レンズに付着した付着物を検出する。付着物検出部３２は、変化検出部３４と形状判定部３５とを有し、これらを用いて撮影レンズに付着した付着物を検出する。

変化検出部３４は、カメラ１から異なる時間に出力された複数の撮影画像に基づいて、遮光画像の変化を検出する。変化検出部３４は、複数の撮影画像から差分画像と称する画像を、検出結果として生成する。

図６を用いて、差分画像の生成方法について説明する。差分画像は、最新の撮影画像と、基準画像との差分を算出することにより生成される。基準画像は、最新の撮影画像より前にカメラ１から時系列的に連続して出力された過去の撮影画像に基づいて生成される。

図６には、時間変化を表す矢印が図示されており、その矢印の上にはカメラ１のフレームレートに従って時間ｔ_０〜ｔ_５が図示されている。時間変化を表す矢印の下には、時間ｔ_０〜ｔ_５においてそれぞれカメラ１から出力される撮影画像Ａ_０〜Ａ_５が図示されている。

撮影画像Ａ_０〜Ａ_５は、カメラ１から出力されるたびにＲＡＭ１０に蓄積される。そして、ＲＡＭ１０への撮影画像の蓄積は、時間ｔ_０に開始したものとする。すなわち、図６においては撮影画像Ａ_０がＲＡＭ１０に蓄積された撮影画像のうち最も古い撮影画像であり、撮影画像Ａ_５が最新の撮影画像である。

基準画像Ｂ_ｉは、カメラ１から新たに撮影画像Ａ_ｉが出力されたとき（たとえば、時間ｔ_５）、直前にＲＡＭ１０に蓄積された撮影画像Ａ_ｉ−１（たとえば、撮影画像Ａ_４）と、撮影画像Ａ_ｉが出力された時点における基準画像Ｂ_ｉ−１とを用いて、次式〔１〕および〔２〕により生成される。
Ｂ_ｉ＝Ａ_ｉ−１ （ｉ＝１のとき）・・・〔１〕
Ｂ_ｉ＝ｋ×Ａ_ｉ−１＋（１−ｋ）×Ｂ_ｉ−１ （ｉ≧２のとき）・・・〔２〕
ここで、ｋは０＜ｋ≦１の係数であって、たとえばｋ＝０．１。

変化検出部３４は、カメラ１から出力された最新の撮影画像（たとえば、撮影画像Ａ_５）と、その最新の撮影画像が出力された時点での基準画像（たとえば、基準画像Ｂ_５）との差分画像を生成する。

なお、変化検出部３４は、差分画像の生成のほかにも、ゲイン判定部、白濁判定部、周辺光源判定部、天候判定部、昼夜判定部と呼ばれるサブルーチンを備えていてもよい。変化検出部３４は、これらを用いて差分画像の生成や形状判定部３５を制御することができる。

ゲイン判定部は、カメラ１の感度を監視しており、感度が変更されたか（ゲイン調整されたか）否かを判定する。カメラ１は、たとえば自車両がトンネルに進入したときなどに撮影画像の明るさが急激に変化したとき感度が変更される。ゲイン判定部は、カメラ１の感度が変更された場合、撮影画像の変化がカメラ１の感度の変更によるものであるとして、付着物の誤検出を予防するため差分画像による付着物の検出を行わない。

白濁判定部は、水滴痕などの付着物により撮影レンズが白濁した状態となっているか否かを判定する。白濁判定部は、たとえばカメラ１から出力される撮影画像に対して周知のエッジ検出処理を実行して、そのとき検出されたエッジのエッジ強度が小さいとき撮影レンズが白濁していると判定する。変化検出部３４は、白濁判定部により撮影レンズが白濁していると判定されたとき、形状判定部３５の閾値を調整する。

周辺光源判定部は、カメラ１が後方車両のヘッドライトや街灯等の周辺光源により照らされているかを判定する。カメラ１が周辺光源により照らされているときは、変化検出部３４は、ＲＡＭ１０における基準画像の生成に用いる撮影画像の蓄積をリセットするなどの制御を行う。カメラ１が周辺光源により照らされているか否かは、たとえばカメラ１の周辺に光検出センサを設け、その出力信号に基づいて判定すればよい。

天候判定部は、自車両周辺の天候が晴天か否かを判定する。天候判定部は、たとえばＣＡＮ通信を用いて車両のワイパの動作状態を取得することにより、晴天か否かを判定することができる。天候判定部は、自車両周辺の天候が晴天であると判定したときは、形状判定部３５の閾値を調整する。なお、撮影画像内に太陽が映っているか否かにより、晴天か否かを判定することにしてもよい。

昼夜判定部は、昼か夜かを判定する。昼夜判定部は、たとえばカメラ１が出力した撮影画像全体の明るさが所定値以下のとき、すなわち暗いとき夜だと判定する。昼夜判定部は、その判定結果に基づいて、形状判定部３５の閾値を調整する。

形状判定部３５は、変化検出部３４が生成した差分画像に含まれる同一色の画素塊について、所定の形状を有するか否かに基づいて付着物か否かを判定する。同一色の画素塊は、たとえば周知のエッジ検出処理、ラベリング処理などを用いて差分画像から検出される。形状判定部３５は、画像塊のアスペクト比、充填率（詳細を後述する）、面積、凹み率（詳細を後述する）についてそれぞれ判定して、これらすべての判定において肯定判定された画像塊を、付着物の画像とみなす。

―アスペクト比による形状判定―
図７（ａ）を用いて、アスペクト比による形状判定について説明する。形状判定部３５は、差分画像に含まれる画素塊について、撮影画像の縦軸方向の長さＨと、撮影画像の横軸方向の長さＷとの比Ｈ／Ｗをアスペクト比として算出する。そして、形状判定部３５は、そのアスペクト比Ｈ／Ｗが所定の閾値Ｔｈ１以上かつ所定の閾値Ｔｈ２以下であるときアスペクト比による形状判定を肯定判定する。一方、アスペクト比Ｈ／Ｗが所定の閾値Ｔｈ１未満または所定の閾値Ｔｈ２より大きいとき形状判定部３５はアスペクト比による形状判定を否定判定する。閾値Ｔｈ１およびＴｈ２は、変化検出部３４等により調節される。

―充填率による形状判定―
図７（ａ）を用いて、充填率による形状判定について説明する。充填率による形状判定では、形状判定部３５は、差分画像に含まれる画素塊について、撮影画像の縦軸方向の長さＨと横軸方向の長さＷとの積ＨＷと、その画素塊の面積Ｓとの比Ｓ／（ＨＷ）を充填率として算出する。そして、充填率Ｓ／（ＨＷ）が所定の閾値Ｔｈ３以上かつ所定の閾値Ｔｈ４以下であるとき充填率による形状判定を肯定判定する。一方、充填率Ｓ／（ＨＷ）が所定の閾値Ｔｈ３未満または所定の閾値Ｔｈ４より大きいとき形状判定部３５は充填率による形状判定を否定判定する。閾値Ｔｈ３およびＴｈ４は、変化検出部３４等により調節される。

―面積による形状判定―
面積による形状判定について説明する。形状判定部３５は、差分画像に含まれる画素塊について、その面積Ｓが所定の閾値Ｔｈ５以上かつ所定の閾値Ｔｈ６以下であるとき面積による形状判定を肯定判定する。一方、面積Ｓが所定の閾値Ｔｈ５未満または所定の閾値Ｔｈ６より大きいとき形状判定部３５は面積による形状判定を肯定判定する。閾値Ｔｈ５およびＴｈ６は、変化検出部３４等により調節される。

―凹み率による形状判定―
図７（ｂ）を用いて、輪郭の凹み率による形状判定について説明する。形状判定部３５は、差分画像に含まれる画素塊について、その画素塊の輪郭（たとえば、図７（ｂ）の輪郭５０）をその画素塊の最上点（たとえば、図７（ｂ）の点５１）から反時計回りに順番になぞったときの接ベクトルの向きの変化に基づいて、画素塊の形状判定を行う。画素塊が円などの凸図形である場合に画素塊の輪郭を反時計回りになぞったとき、接ベクトルの向きは反時計回りに変化する。一方で、図７（ｂ）の凹部５２のような部位では、接ベクトルの向きは時計回りに変化することがある。

形状判定部３５は、各画素塊の輪郭を構成する各画素について、輪郭の接ベクトルの向きを算出する。図７（ｂ）では、画素塊の輪郭５０に対して向きを算出される接ベクトルの一部が例示されている。形状判定部３５は、各画素塊の輪郭に沿って、輪郭の反時計回り順に輪郭を構成する画素の接ベクトルの向きを取得して、直前に取得した画素の接ベクトルの向きと比較して、反時計回りに回転しているか時計回りに回転しているかを判定する。形状判定部３５は、各画素塊について、その輪郭を反時計回りに一周したときに接ベクトルの向きが反時計回り方向に回転した回数Ｍと、時計回り方向に回転した回数Ｎとを算出して、凹み率Ｎ／（Ｍ＋Ｎ）を算出する。形状判定部３５は、差分画像に含まれる各画素塊について、凹み率Ｎ／（Ｍ＋Ｎ）が所定の閾値Ｔｈ７以上かつ所定の閾値Ｔｈ８以下であるとき凹み率による形状判定を肯定判定する。一方、凹み率Ｎ／（Ｍ＋Ｎ）が所定の閾値Ｔｈ７未満または所定の閾値Ｔｈ８より大きいとき形状判定部３５は凹み率による形状判定を肯定判定する。閾値Ｔｈ７およびＴｈ８は、変化検出部３４の各部により調節される。

図４の警報制御部３６は、撮影画像に含まれる路面の白線を検出し、この白線の位置に基づいて自車両が走行車線を逸脱しそうか否かを判定する。その結果、自車両が走行車線を逸脱しそうな場合は、警報出力部３に警報を出力させるための制御信号を警報出力部３へ出力する。

信号制御部３３は、形状判定部３５が付着物とみなした画素塊の位置や個数に基づいて、洗浄制御部５に向けて制御信号を出力する。たとえば、形状判定部３５が付着物とみなした画素塊が所定個数以上（たとえば、１個以上）存在するとき、信号制御部３３は、エアーポンプ６やウォッシャーポンプ７を動作させて撮影レンズの付着物を除去することを要請する制御信号を、洗浄制御部５に向けて出力する。

また、たとえば遮光画像領域の左半分に付着物とみなした画素塊が存在するとき、信号制御部３３は、自車両が走行車線の右側（撮影画像の左側）に車線を逸脱しそうなときに警報制御部３６から警報出力部３への制御信号の出力を停止させる。一方、遮光画像領域の右半分に付着物とみなした画素塊が存在するとき、信号制御部３３は、自車両が走行車線の左側（撮影画像の右側）に車線を逸脱しそうなときに警報制御部３６から警報出力部３への制御信号の出力を停止させる。これにより、警報制御部３６からの制御信号の出力を抑制する。

図８は、車両制御装置２００の制御フローチャートである。図８の制御処理は、制御部２のＣＰＵ１２がＲＯＭ１１に記憶された制御プログラムに従って実行する。ステップＳ３００では、ＣＰＵ１２は、遮光領域設定部３１を制御して、カメラ１が出力した撮影画像に対して遮光画像領域を設定する。

ステップＳ３１０では、ＣＰＵ１２は、自車両の走行状態に基づいて形状判定部の閾値を変更する。たとえば、制御部２は、ＣＡＮ通信を介して自車両がオフロード走行していることを表す情報を不図示のナビゲーション装置などから取得した場合、形状判定部３５の各閾値Ｔｈ１〜Ｔｈ８をオフロード走行用の数値に変更する。

ステップＳ３２０では、ＣＰＵ１２は、ＲＡＭ１０に蓄積された撮影画像を削除し、リセットする。また、ＣＰＵ１２は、基準画像、差分画像なども初期状態にリセットする。

ステップＳ３３０では、ＣＰＵ１２は、ＣＡＮ通信を介して自車両の車速に関する情報を取得して、自車両の車速が所定速度（たとえば、時速３０ｋｍ）以上か否かを判定する。ＣＰＵ１２は、ステップＳ３３０が肯定判定されたとき処理をステップＳ３４０に進め、ステップＳ３３０が否定判定されたときは処理をステップＳ３２０に進める。

ステップＳ３４０では、ＣＰＵ１２は、変化検出部３４を制御して、周辺光源判定を行う。ＣＰＵ１２は、変化検出部３４の周辺光源判定部を制御して、カメラ１が後方車両のヘッドライトや街灯等の周辺光源により照らされている場合はステップＳ３４０を肯定判定して、処理をステップＳ３２０に進める。また、ＣＰＵ１２は、カメラ１が周囲の明るさに合わせて感度等を自動的に変更する機能を有している場合に、カメラ１が感度を変更した場合もステップＳ３４０を肯定判定して、処理をステップＳ３２０に進める。ＣＰＵ１２は、ステップＳ３４０が肯定判定されなかったときは処理をステップＳ３５０に進める。

ステップＳ３５０では、ＣＰＵ１２は、カメラ１から出力された撮影画像をＲＡＭ１０に記憶し、蓄積させる。ステップＳ３６０では、ＣＰＵ１２は、変化検出部３４を制御して、基準画像を算出させる。

ステップＳ３７０では、ＣＰＵ１２は、ＲＡＭ１０に所定個数（たとえば、４個）以上の撮影画像が蓄積されたか否かを判定する。ＣＰＵ１２は、ステップＳ３７０が肯定判定されたとき処理を図９のステップＳ４００に進め、ステップＳ３７０が否定判定されたときは処理を図８のステップＳ３３０に進める。

続いて図９のステップＳ４００では、ＣＰＵ１２は、変化検出部３４を制御して、ゲイン判定を行う。ＣＰＵ１２は、カメラ１の感度が変更されていた場合はステップ４００を肯定判定して、図８のステップＳ３２０に処理を進める。一方、ＣＰＵ１２は、カメラ１の感度が変更されていない場合は図９のステップＳ４１０に処理を進める。

ステップＳ４１０では、ＣＰＵ１２は、変化検出部３４を制御して、ステップＳ３５０で蓄積された撮影画像と、ステップＳ３６０で更新された基準画像とに基づいて、差分画像を更新する。

ステップＳ４２０では、ＣＰＵ１２は、形状判定部３５を制御して、差分画像の遮光画像領域内の画素塊に対して形状判定を行う。前述の画像塊のアスペクト比、充填率、面積、凹み率がそれぞれ所定の閾値により設定された範囲内にある画素塊を付着物とみなす。

ステップＳ４３０では、ＣＰＵ１２は、ステップＳ４２０で付着物が所定個数以上検出されたか否かを判定する。ＣＰＵ１２は、ステップＳ４３０が肯定判定されたとき処理をステップＳ４４０に進め、ステップＳ４３０が否定判定されたときは処理を図８のステップＳ３３０に進める。

ステップＳ４４０では、ＣＰＵ１２は、洗浄制御部５に対して、カメラ１の撮影レンズに付着した付着物を除去するための信号を出力する。ステップＳ４５０では、ＣＰＵ１２は、ステップＳ４２０において検出された付着物の位置に基づいて、警報制御部３６からの警報出力部３への信号出力を抑制する。ＣＰＵ１２は、ステップＳ４５０の処理を完了した後、図８のステップＳ３３０へ処理を進める。

以上で説明した実施の形態によれば、次の作用効果を奏する。
車載装置１００は、撮影レンズを介して撮影した車両周囲の撮影画像を出力するカメラ１を備え、図２に示されるようにその撮影領域内に遮光板１ａによる遮光領域が形成される。また、車載装置１００は、制御部２を備え、制御部２が付着物検出部３２として機能する。付着物検出部３２は、カメラ１がそれぞれ異なる時間に出力した複数の撮影画像の各々における遮光画像に基づいて、撮影レンズに付着した付着物を検出する。制御部２は、信号制御部３３として機能して、付着物検出部３２の検出結果に基づいて出力信号を制御する。このような構成を有することにより、車載制御部１００は、カメラ１のレンズに付着した付着物を、適切に検出することができる。

付着物検出部３２は、変化検出部３４にて複数の遮光画像に基づいて差分画像を生成して、形状判定部３５にて差分画像に含まれる画素塊の形状に基づいて付着物とみなすか否かを判定した。遮光領域の差分画像を用いて付着物を検出することにより、車両外部の風景の変化に左右されずに適切に付着物を検出することができる。特に付着物が透明な場合には、車両外の風景（背景）の画像に付着物が紛れることがなくなり効果的である。

図２に示されるように、カメラ１は、画角内に遮光領域を形成する遮光板１ａを備え、遮光板１ａのうち遮光領域を形成する部位は、撮影レンズより被写体側に存在している。これにより、撮影レンズに付着した付着物が遮光画像に適切に現れ、車両外の風景の画像は遮光画像に現れないようにすることができる。

カメラ１は、撮影レンズが車両後方の路面を撮影している。遮光板１ａは、路面以外から撮影レンズに向けて進む光束が遮られるように設けられている。これにより、ＬＤＷと付着物検出の両方を同時に実施することができる。

信号制御部３３は、付着物検出部３２が付着物を検出したとき（ステップＳ４３０）、洗浄制御部５に向けて撮影レンズの洗浄を要請するための制御信号を出力し（ステップＳ４４０）、警報制御部３６から警報出力部３への信号出力を抑制する（ステップＳ４５０）。これにより、ＬＤＷの警報の信頼性を確保することができる。

（第２の実施の形態）＜遮光領域を画像から設定する場合＞
図１１は、本発明の第２の実施の形態による車載装置の制御ブロック図である。第２の実施の形態では、図１１に示すように、遮光領域設定部３１に対して、自動車およびカメラの構成部品について構造的な形状および寸法を記述した車体モデル３７と、それらの各構成部品間の取付公差について記述した公差モデル３８とが入力される点が第１の実施の形態と異なる。

取付公差について説明する。例えば、直径Ｒ［ｍｍ］のねじを、ねじ穴に取り付ける場合、ねじ穴の直径がＲ［ｍｍ］であると、ねじが回転せず取り付けることができない。さらに、ねじの加工精度が一定のバラツキを含むことを考えると、ねじ穴は（Ｒ＋α）［ｍｍ］で開けておく必要がある。さらにねじ穴の加工精度にも一定のバラツキを含むことも考えると、完成したねじ穴は（Ｒ＋α−β）［ｍｍ］から（Ｒ＋α＋β）［ｍｍ］の幅を持つことになる。ここにＲ［ｍｍ］のねじを差し込むと、組み上がったものは必然的に一定範囲のずれ幅をもつことになる。このずれ幅のことを取付公差と呼び、設計値から算出することができる。また、複数の部品を組み合わせる場合、この公差は累積して大きくなるが、これも設計値から算出することができる。

図１２に示すように、例えばカメラ１に対して、遮光板１ａが取り付けられているとすると、カメラ１と遮光板１ａとバンパ部のそれぞれの形状、寸法、およびその標準的な取付状態が車体モデル３７に記述されている。そして、カメラ１と遮光板１ａとの標準的な取付状態の位置・角度がどの程度ずれうるかが公差モデル３８に記述されている。

公差モデル３８に従うと、カメラで撮像した画像上で、遮光板境界の見かけが最大まで上昇している状態の遮光板位置１ｂ、および、カメラで撮像した画像上で、遮光板境界の見かけが最大まで下降している状態の遮光板位置１ｃを得ることができる。このときの画像上の見かけの遮光板境界を、上限の遮光板境界２ｂ、下限の遮光板境界２ｃと呼ぶ。また、標準的な取付状態のときは遮光板境界２ａとなる。図示したように遮光板とカメラとの距離が変化するため、境界線の形状も変化する。

図１３に、遮光領域設定部３１の制御ブロック図の一例を示す。図１３に示す車載装置１００において、車体モデル３７および公差モデル３８を入力とし、幾何計算部１０２が画像上で遮光板領域がどの範囲に見えうるかを計算することができる。この計算は、例えば、カメラの焦点距離、撮像素子サイズ、レンズ歪みモデルを用いて、公知技術である透視投影法を利用することで、遮光板境界が撮像素子上のどこに投影されるかを算出することができる。前述したように、遮光板領域は公差のため幾何計算のみでは一意に求められず、曖昧性を含んでいる。そこで、走行中のカメラ映像を利用することで、正確な遮光板境界を算出する。この具体的な画像処理方法は後述する。

さらに、キャリブレーション情報取得部１０１と車体モデル３７から、幾何計算部１０２は、バンパやフィニッシャなどの自車の車体領域境界を求める。なお、ここでいうキャリブレーション情報とは、実世界座標系に対する車体座標系の相対関係が既知として、実世界座標に対するカメラ座標系を求めることで算出した、車体座標系に対するカメラ座標系の相対関係のことを指している。

処理領域出力部１０３では、幾何計算部１０２で求められた、正確な遮光板境界と、車体領域境界とから、画像認識に使用する画像領域を計算して出力する。本実施の形態中の付着物検知ロジックは、遮光領域を処理対象とすることで、外乱光や背景物の影響を避けて、透明および半透明の付着物を検出する。なお、ある画素が、遮光板領域と背景領域（道路面や空、車両など）とにまたがる場合には、当該画素を処理領域に含まないほうが、外乱光や背景物の影響を避けられる。そこで、画像認識に使用する画像領域を算出する際、ラスタスキャンを行い、撮像画像上で、遮光板境界線が画素にかかる場合は、当該画素は処理対象外とし、遮光板境界線よりも遮光板側の領域のみを含む場合には、当該画素を処理領域とすることで、処理領域を作成する。処理領域出力部１０３の出力は、例えばマスク画像の形態を取る。

また、正規化用パラメタ出力部１０４は、処理領域出力部１０３が出力する処理領域の面積を付着物検出ロジックへ出力する。処理領域出力部１０３の出力する処理領域の面積が、車体によって変わることから、付着物検出ロジックへ通知することで、付着感度のバラツキをなくすことができるという効果がある。

次に、図１４を用いて、遮光板領域境界を算出する処理の流れを示すフローを説明する。まず、ステップＳ５００において、前回走行時に、遮光板領域の算出が完了しているか否かを判定する。この判定は、図示しないＦｌａｓｈ−ＲＯＭに記録されている遮光板領域情報が読み出せるか否かによって判定することができる。算出が完了していれば（ステップＳ５００のＹｅｓ）、その記録されている遮光板領域の情報が、正常なものかどうかを判定するためにステップＳ５０１に進み、算出が完了していなければ（ステップＳ５００のＮｏ）、遮光板領域抽出処理へ進む。

ステップＳ５０１では、前回の処理で遮光板が不適切に作られたものでないかどうか、整合性を確認する。この確認は、図示しないＦｌａｓｈ−ＲＯＭに記録している遮光板領域を読み込み、その後、例えば、遮光領域境界が最大および最小公差の範囲内に含まれているか否か、または、カメラへ衝撃が加わる等して、遮光板の位置がずれていないかどうかを確認する。遮光板の位置がずれていないか確認するためには、遮光板領域の境界近傍で、画像中からエッジ位置を探索し、そのエッジ位置が遮光板境界と一致している割合を調べれば良い。整合性に問題がなければ（ステップＳ５０１のＹｅｓ）、読み込んだ遮光板領域を使用することとし、遮光板領域境界算出を終了する。

遮光板領域境界を算出処理では、まず、ステップＳ５０２において、カメラから画像を読み込む。

次に、ステップＳ５０３において、遮光板領域を作成できる状態か否かを判定する。
この判定は、昼夜状態判定が昼であること、レンズ汚れ状態が所定の閾値以下であること、自車両が一定車速以上で走行中であること、直射日光や後続車のヘッドライトが直接入射していないこと、雨天ではないこと、のうち、少なくとも１つ以上の条件を満たしていることを条件とする。

次に、ステップＳ５０４において、画像中からエッジを抽出して、そのエッジ画像を蓄積する。この蓄積は、エッジ強度が所定の範囲内であるような画素の座標に対して、対応する蓄積用配列のカウンタを加算する。カウンタが一定値を超えた配列要素に対して、車体モデル３７から計算される遮光板境界を多項式曲線としてフィッティングすることにより、遮光板境界を算出することができる。曲線近似に関しては公知技術があるため、ここでの説明は割愛する。

さらに、ステップ５０５において、システムが終了するか否かを判定する。この判定は、エンジン切断や本ＥＣＵの電源遮断などをトリガに行われる。これにより、システム終了時に途中まで実施した遮光板位置の計算および途中経過を、ステップＳ５０７にて記録することができるようになり、次回以降の起動時に遮光板位置の算出時間を短縮することができるようになるという効果がある。また、ステップＳ５０４で作成される蓄積用配列に一定の個数のデータが溜まった段階で終了と判断してもよい。これにより、データが集まった時点で、遮光板マスク作成を完了することができ、付着物検出を行うことのできるタイミングが早まる。

ステップＳ５０６では、車速および舵角を監視して、自車が一定方向にのみ走行しているか否かを判断する。もし、同一方向のみに走行しているのであれば、ステップＳ５０４の実行を一時停止し、方向転換が行われるまで、ステップＳ５０５とステップＳ５０６のみを実行する。すなわち、同一方向にのみ走行している場合、影や太陽光などの影響によって、遮光板領域が正確に抽出できない可能性があるため、色々な方向に走行しているときに、少しずつ画像および特徴量を蓄積して、確実な遮光板領域を作成することを目標とする。

ステップ５０７では、図示しないＦｌａｓｈ−ＲＯＭなどの記録装置に、エッジ蓄積用配列の内容と、曲線近似した遮光板境界情報とを記録する。

以上、第２の実施の形態の構成を取ることにより、公差を考慮して、各車両に適合した遮光領域を算出することができるようになるという効果がある。これに加えて、遮光板が適切な領域に設定されることにより、付着物検知の検知性能が向上するという効果もある。さらに、衝撃等で遮光板がずれた場合にも、記録されている情報と、画像との整合性を確認することで、適切な遮光板領域に再調整することが可能である。

以上で説明した実施の形態は、以下のように変形して実行できる。
（変形例１）遮光板１ａの形状は、図２に図示したものだけに限定しない。たとえば、図１０（ａ）のように、撮影画像の外周全体に遮光画像領域６１が形成されるように、図１０（ｂ）のカメラ１３のように遮光板６２を設けてもよい。このように遮光板を設けることにより、路面からの跳ね上げにより撮影レンズに付着物が付着する確率を低減することができる。
（変形例２）遮光板１ａは、カメラ１の撮影レンズの画角内に遮光領域を形成するように、カメラ１の撮影レンズよりも被写体側に設置されていれば設置方法は、図２に示すものだけに限定しない。カメラ１に設置する必要もなく、車体２０の一部を遮光板として利用してもよく、車体２０に遮光板を装着することにしてもよい。
（変形例３）上記の実施の形態では、カメラ１の撮影アングルは一定であったが、調整可能にしてもよい。カメラ１の撮影アングルを調整可能としたとき、遮光領域設定部３１が遮光板１ａの形状を変形させて遮光画像領域を調整可能にすることが好ましい。
（変形例４）変化検出部３４は、基準画像を数式〔１〕および〔２〕を用いて算出することとしたが、それ以外の方法で算出してもよい。たとえば、基準画像Ｂ_ｉを、Ａ_０からＡ_ｉ−１までの平均値としてもよい。また、基準画像Ｂ_ｉの初期値は、係数ｋを乗じたＡ_０に変更してもよい。
（変形例５）形状判定部３５は、画素塊のアスペクト比、充填率、面積、凹み率の４種類の基準を用いて判定した。しかし、この４種類の基準はあくまで一例であって、４種類のうちの一部の判定を行わなくてもよく、また縦方向の長さＨ、横方向の長さＷ、エッジの強度などを用いて判定することにしてもよい。

以上で説明した実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。

１：カメラ、１ａ：遮光板、２：制御部、３：警報出力部、５：洗浄制御部、
３１：遮光領域設定部、３２：付着物検出部、３３：信号制御部、３４：変化検出部、３５：形状判定部、３６：警報制御部、４１：遮光画像領域、１００：車載装置、１０２：幾何計算部

Claims (1)

1. 遮光部材による遮光領域が撮影領域内に形成され、撮影レンズを介して撮影した車両周囲の撮影画像を出力するカメラと、
   前記カメラがそれぞれ異なる時間に出力した複数の撮影画像の各々における前記遮光領域の画像に基づいて、前記撮影レンズに付着した付着物を検出する付着物検出部と、
   前記付着物検出部の検出結果に基づいて出力信号を制御する信号制御部と、
   予め記憶された車体モデルと公差モデルに基づいて、前記遮光領域を算出する幾何計算部と、
   を備える車載装置。
   

Images