JP5546321B2 - 複数カメラ画像使用車外表示装置 - Google Patents

Description

本発明は、車外を撮影する複数カメラの撮影画像を用いて、車両の上方に視点が存在する画像や、同じ画像データを用いて単独のカメラの撮影画像を表示し、その際に車両周囲の白線や障害物を検出し、これを強調して表示する複数カメラ画像使用車外表示装置に関し、特にカメラのレンズの一部に水滴が付着し、或いは汚れが生じた時のように、不適正画像が撮影された際、他のカメラの撮影画像によりこの部分の白線や障害物の表示を補間することができるようにした複数カメラ画像使用車外表示装置に関する。

車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には細心の注意を払っても、周囲の物体と自車両をこする等の事故を発生することもある。また、車両を車庫や駐車場から出すときも、周囲の物体や人間には十分注意する必要がある。更に、車庫や駐車場の出入り以外にも、極めて狭い道路の走行時や狭い道路での対向車とのすれ違いにおける、周囲の物体との接触や、溝に車輪が落ちないようにする、等の車両の周囲に十分注意を要する場合が多い。

その対策として、近年車両に広く搭載されるようになっている、車両の後方を撮影してモニタに表示し、車庫入れや駐車を容易にする後方撮影カメラ、車両の前方両側を撮影して車両が見通しの悪い狭い道路から出るときに、先方の道路を走行する車両等を確認する車両側方撮影カメラ等の、車外撮影カメラを利用し、車両周囲の状況を監視し、充分確認しながら運転することも行われている。

しかしながら、このような車外撮影カメラとして超広角カメラを用いたとしても、例えば車両を後退させながら車庫入れ等を行うとき、車両後側方周囲に障害物があるときには、車両の後退とともに後方撮影カメラの視界外になり、その障害物の状態を知ることができなくなる。その対策として、車両の両側にも超広角カメラを設け、前記のような後方撮影カメラの視界外部分を側方撮影カメラによって見ることができるようにすることも考えられる。

しかし上記のような超広角カメラの画像では、撮影画像の中心部と周辺部とでは物体の見え方が大きく異なり、単に撮影画像を見ているだけでは、その物体と車両との位置関係が明確ではなく、予期しない衝突や接触事故を生じることがある。特に後方撮影カメラでの画像から側方撮影カメラの画像に切り換えたとしても、そのときに画面に表示される障害物等の物体の画像形状と位置は大きく異なり、実際の物体の状態を把握することは容易ではない。

そのため、車両に複数の車外撮影カメラを搭載し、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような画像を形成してモニタに表示することが既に実施されている。そのような複数のカメラを用いる際には例えば図５に示すように、車両３１の左側を撮影する車両左側撮影カメラ３２、車両３１の右側を撮影する車両右側撮影カメラ３３、車両３１の後方を撮影する車両後方撮影カメラ３４、車両３１の前方を撮影する車両前方撮影カメラ３５の合計４個のカメラを搭載して、これらのカメラの全ての画像を合成し、例えば図５（ｃ）に略示するように、あたかも車両の真上に設けた１つのカメラにより車両３１の全周囲を撮影しているような画像をモニタに表示する。この方式はトップビューシステムともいわれ、車両の外部を撮影するカメラは必要に応じて２個、３個と適宜選択され、また設置位置も種々の位置に選択して設置される。

またこのシステムによると、例えば車両の後方を撮影するカメラにより、通常のリアカメラの画像としてモニタに表示することができ、更に複数のカメラの画像データを用いて、車両の前方を撮影するカメラの撮影画像と車両の両側方を撮影するカメラの画像により、車両の前方を車両の側方部分を含めて画像表示することもでき、同様に車両の後方についても車両側方部分を含めて画像表示する等々、種々の態様で画像を表示することができるため、マルチビューカメラシステムとも呼ばれることがある。このようなマルチビューカメラシステムにおいて、各カメラが撮影した画像の中から運転者が特に注意を要する画像として、車両の走行範囲を示す白線、及び車両が衝突し、或いは接触し、更には乗り上げる危険性のある障害物を検出する白線障害物検出手段を備え、各カメラの撮影画像中に白線や障害物を強調表示することも行われている。

前記図５に示すトップビューシステムにおいては、車両を駐車スペースに入れようとして後退している時の状態を示しており、車両の両側に駐車スペースの目安となる白線３６と３７が存在し、且つその後方外側に障害物としてのポール３８が存在し、また車止め３９、４０を備えている例を示している。即ち、車両の運転者にとって前方は常に広範囲に見やすく、周囲が暗くなっても前照灯の点灯により極めて明るい状態で見ることができるように設計されているのに対して、車両の後方は極めて目視範囲が狭く、車両後方撮影カメラを用いたとしても、周囲が暗い時には前照灯のような照明を点灯することは禁止されており、赤外線カメラを用いても白線や障害物を識別することは極めて困難である。したがって図５には、車両の安全運転が特に困難な、車両が後退する時の状態を例示している。但し、例えば車両前方撮影カメラ等においても、同様の問題を生じることもある。

このような状態で各カメラは超広角の魚眼レンズで撮影しており、したがって各カメラの撮影範囲を示す同図（ｃ）のように、車両後方撮影カメラ３４と車両左側撮影カメラ３２とは同図左下隅に示すように、重複撮影範囲４２が存在する。同様に車両後方撮影カメラ３４と車両右側撮影カメラ３３とは、同図右下隅に示すように、重複撮影範囲４３が生じる。更に車両右側撮影カメラ３３と車両前方撮影カメラ３５の撮影画像とは、図中右上隅に示すように重複撮影範囲４４が存在し、車両前方撮影カメラ３５と車両左側撮影カメラ３２とは、同図左上隅に示すように重複撮範囲４５が存在し、合計４個の重複撮影範囲が存在する。

図５（ｃ）に示すような各カメラの撮影範囲について、この画像の境界線を適宜の範囲に設定することができる。その際には、例えば同図（ｄ）に示すように車両左側撮影カメラ３２と車両後方撮影カメラ３４の撮影画像を左下隅表示用境界線４６のように設定して分割する。同様に、車両後方撮影カメラ３４と車両右側撮影カメラ３３の撮影画像は、右下隅表示境界線４７で設定して分割し、車両右側撮影カメラ３３と車両前方撮影カメラ３５とはその画像範囲を右上隅表示境界線４８で設定して分割し、同様に車両前方撮影カメラ３５と車両左側撮影カメラ３２の撮影画像範囲を、画像左上隅表示境界線４９で設定して分割して、それぞれの範囲のカメラで表示している。

したがって通常作動時には例えば図５（ｄ）に示すように、車両の周囲についてそれぞれのカメラによって撮影した画像により、周囲の状況を表示すると共に、前記のような白線障害物検出手段によって検出した白線３６、３７を強調表示し、この線の間に駐車すればよいことを示し、近くに障害物３８が存在することを強調表示し、それにより運転者はこの画像を見ることによって確実に駐車させることができる。また、この時には必要に応じて車止め３９、４０も障害物として検出し、これを強調表示することもできる。なお、このような処理は前記のような車両の駐車時に限らず、運転者にとって通常の視界の範囲外に側溝等が存在するような、狭い道路の走行時等々においてもこれらを障害物として検出し、強調表示する作動を行い、安全に車両を案内することができる。

なお、トップビュー表示において、撮像カメラのいずれかの画像信号に異常があることを確認した時には撮像カメラ画像信号を採用するエリアを変更し、境界線を変更する技術は、特許文献１に開示れている。

特開２００７−０８９０８２号公報

上記のような複数カメラ画像使用車外表示装置において、通常作動時には所望の合成画像を得ることができると共に、白線障害物検出手段によって白線や障害物を全て強調表示することができ、極めて有効である。しかしながら、外部撮影カメラは少なくともレンズ部分、或いはそのカバー部分は車外に露出して、通常時において風雨にさらされ、塵や泥等の汚れが付き易く、また雨や洗車時等の水滴が付着することがある。その際には図６（ａ）に車両後方撮影カメラ３４の例を示すように、水滴５０が付着した結果同図（ｂ）に不適正撮影画像例１として示すように、車両後方撮影カメラ３４の撮影画像範囲の中に不適正画像部分５１が存在する。このことは水滴５０が比較的小さかった時の例である図６（ｃ）に示す不適正撮影画像例２においても同様である。

そのため最も重要な表示要素である、白線障害物検出手段で検出し強調表示する白線３６の後方部分の画像が、不明瞭に表示されるか全く表示されない状態となる。その結果、前記図５（ｄ）の説明において述べたように、図６（ｂ）及び（ｃ）において、強調表示する白線３６の後端部は、左下隅表示用境界線４６より図中下方の部分は表示されない。このことは前記のようなトップビューシステムの場合以外にも、例えば図１１に示すような車両後方撮影カメラ３４のみの撮影画像を表示する時は、特にその問題が顕著となる。

したがって本発明は、複数カメラによって車両外部を撮影し、１つの撮影カメラによって撮影したような画像表示を行い、必要に応じて他の種々の画像表示を行うと共に、撮影画像から白線や障害物を検出して強調表示する複数カメラ画像使用車外表示装置において、１つの不適正撮影カメラが存在することを検出した時、その不適正撮影カメラ画像範囲が他のカメラにより重複撮影しているか否かを検出し、重複撮影している適正撮影カメラが存在する時には、そのカメラの撮影画像を利用して、強調表示する白線や障害物を容易に補間することができるようにした複数カメラ画像使用車外表示装置を提供することを主たる目的としている。

本発明に係る複数カメラ画像使用車外表示装置は、前記課題を解決するため、互いに重複して撮影する範囲が存在するように設定した複数のカメラと、前記各カメラの撮影画像によって各々白線或いは障害物を検出する白線障害物検出手段と、前記白線障害物検出手段によって検出した白線或いは障害物を強調表示する白線障害物強調表示手段とを備えた複数カメラ画像使用車外表示装置において、複数のカメラが互いに重複して撮影している重複撮影部分を検出する複数カメラ重複撮影検出手段と、前記複数カメラ重複撮影検出手段で検出した重複撮影部分において、レンズに水滴が付着した画像を検出する水滴付着画像検出手段と、前記水滴付着画像検出手段でレンズに水滴が付着した画像を検出した時、水滴が付着した画像を出力しているカメラを不適正撮影カメラとして特定する不適正撮影カメラ特定手段と、前記不適正撮影カメラ特定手段で不適正撮影カメラとして特定したカメラの撮影画像から、水滴付着画像部分を含む所定範囲の外縁を特定する不適正画像範囲外縁特定手段と、前記不適正画像範囲外縁特定手段で特定した外縁の不適正撮影カメラの座標を、同重複撮影範囲を撮影する適正撮影カメラの座標に変換する変換処理手段と、前記変換処理手段で変換した適正撮影カメラの画像の外縁内における、前記白線障害物強調表示手段で得られた白線障害物画像データを取り込み、この画像データを前記不適正カメラ撮影画像データに変換して、不適正カメラ撮影画像範囲部分の白線障害物画像データに補間する不適正撮影カメラへのデータ補間処理手段とを備えたことを特徴とする。

また、本発明に係る他の複数カメラ画像使用車外表示装置は、前記複数カメラ画像使用車外表示装置において、前記水滴付着画像検出手段では、撮影画像中に所定以上の輝度変化が存在する時、水滴が付着した画像であると判別することを特徴とする。

また、本発明に係る他の複数カメラ画像使用車外表示装置は、互いに重複して撮影する範囲が存在するように設定した複数のカメラと、前記各カメラの撮影画像によって各々白線或いは障害物を検出する白線障害物検出手段と、前記白線障害物検出手段によって検出した白線或いは障害物を強調表示する白線障害物強調表示手段とを備えた複数カメラ画像使用車外表示装置において、複数のカメラが互いに重複して撮影している重複撮影部分を検出する複数カメラ重複撮影検出手段と、前記複数カメラ重複撮影検出手段で検出した重複撮影部分において、前記白線障害物検出手段で検出した各カメラの白線或いは障害物の画像を比較し、互いの画像の相違を検出する白線障害物画像相違検出手段と、前記白線障害物画像相違検出手段で互いの画像が所定以上異なっていることを検出し、一方のカメラの白線障害物画像が一連の適正画像であって、他側のカメラが前記一連の適正画像の内少なくとも一部が欠如、或いは所定以上変形していることを検出した時、当該他側のカメラを不適正撮影カメラとして特定する不適正撮影カメラ特定手段と、前記不適正撮影カメラ特定手段で不適正撮影カメラとして特定したカメラの撮影画像から、白線障害物画像が欠如し、或いは変形している画像部分を含む所定範囲の外縁を特定する不適正画像範囲外縁特定手段と、前記不適正画像範囲外縁特定手段で特定した外縁の不適正撮影カメラの座標を、同重複撮影範囲を撮影する適正撮影カメラの座標に変換する変換処理手段と、前記変換処理手段で変換した適正撮影カメラの画像の外縁内における前記白線障害物強調表示手段で得られた白線障害物画像データを取り込み、この画像データを前記不適正カメラ撮影画像データに変換して、不適正カメラ撮影画像範囲部分の白線障害物画像データに補間する不適正撮影カメラへのデータ補間処理手段とを備えたことを特徴とする。

また、本発明に係る他の複数カメラ画像使用車外表示装置は、互いに重複して撮影する範囲が存在するように設定した複数のカメラと、前記各カメラの撮影画像によって各々白線或いは障害物を検出する白線障害物検出手段と、前記白線障害物検出手段によって検出した白線或いは障害物を強調表示する白線障害物強調表示手段とを備えた複数カメラ画像使用車外表示装置において、複数のカメラが互いに重複して撮影している重複撮影部分を検出する複数カメラ重複撮影検出手段と、前記複数カメラ重複撮影検出手段で検出した重複撮影部分において、各カメラの撮影画像を比較し、互いの画像の相違を検出するカメラ撮影画像相違検出手段と、前記カメラ撮影画像相違検出手段で互いの画像が所定以上異なっていることを検出したとき、いずれのカメラが不適正な画像を出力しているカメラかを特定する不適正撮影カメラ特定手段と、前記不適正撮影カメラ特定手段で不適正撮影カメラとして特定したカメラの撮影画像から、不適正画像部分を含む所定範囲の外縁を特定する不適正画像範囲外縁特定手段と、前記不適正画像範囲外縁特定手段で特定した外縁の不適正撮影カメラの座標を、同重複撮影範囲を撮影する適正撮影カメラの座標に変換する変換処理手段と、前記変換処理手段で変換した適正撮影カメラの画像の外縁内における前記白線障害物強調表示手段で得られた白線障害物画像データを取り込み、この画像データを前記不適正カメラ撮影画像データに変換して、不適正カメラ撮影画像範囲部分の白線障害物画像データに補間する不適正撮影カメラへのデータ補間処理手段とを備えたことを特徴とする。

また、本発明に係る他の複数カメラ画像使用車外表示装置は、前記複数カメラ画像使用車外表示装置において、前記不適正カメラ特定手段は、互いのカメラの撮影画像が所定以上異なっていることを検出した後、いずれのカメラの画像が不適正であるかの確認を行った後に不適正カメラの特定を行うことを特徴とする。

また、本発明に係る他の複数カメラ画像使用車外表示装置は、前記複数カメラ画像使用車外表示装置において、前記座標変換処理手段が、複数カメラの重複撮影範囲について、予め作成された一方のカメラの魚眼座標を他側のカメラの魚眼座標に直接変換する座標変換テーブルを用いることを特徴とする。

本発明は上記のように構成したので、複数カメラによって車両外部を撮影して撮影画像を表示すると共に、白線や障害物を検出してこれを強調表示する複数カメラ画像使用車外表示装置において、１つのカメラによる不適正撮影カメラが存在することを検出した時、その不適正撮影カメラ画像範囲が他のカメラと重複撮影しているか否かを検出し、重複撮影している適正撮影カメラが存在する時には、不適正撮影範囲の白線や障害物の表示を、その適正撮影部分の白線や障害物の表示画像で補間することができるようになる。

本発明の実施例の機能ブロック図である。 同実施例の作動フロー図である。 同実施例において、重複撮影範囲についてデータ変換テーブルを作成する処理の例を示す作動フロー図である。 同実施例において、カメラ間の対応画素算出方法の基本例を示す図である。 本発明が適用される複数カメラ画像使用車外表示装置の例の説明図である。 車両後側撮影カメラのレンズに水滴が付着することにより不適正画像が表示された時の説明図である。 不適正画像表示時の本発明の実施例により順に処理を行う時の説明図である。 同実施例により順に処理を行う時の説明図である。 同実施例により更に順に処理を行う時の説明図である。 データ変換テーブル例を示す図である。 車両後方撮影カメラ単独画像表示時における不適正画像表示部分の、適正撮影カメラによる白線障害物画像の補間表示例である。

本発明の実施例を図面に沿って説明する。図１は本発明を実施する装置の機能ブロック図であり、同図に示す機能ブロック図において各機能を行う機能部は、それぞれ各機能を行っている手段ということができる。図１の不適正カメラ白線障害物画像補間処理部１においては、不適正カメラを特定するための不適正カメラ特定処理部２を備え、多数のカメラ撮影画像の内、どのカメラが現在不適正となっているかを検出し特定する。この不適正カメラ特定処理部２には、複数のカメラの重複撮影部分を検出する複数カメラ重複撮影部分検出部３を備えており、これにより前記図５（ｃ）に４隅に存在する、重複撮影部分４２、４３、４４、４５を検出する。なお、重複撮影画像範囲は特定の車両に本発明の装置が搭載される時、カメラの初期設定に関連して重複撮影範囲に関するデータが存在する時には、初期設定値のその値を取り込むことにより実施することもできる。

複数カメラ重複撮影部分画像相違検出部４では、その中のカメラ撮影画像比較部５において、各カメラの撮影画像を取り込むカメラ撮影画像取込部２０の撮影画像を直接取り込み、またはそのカメラ撮影画像について表示のための処理を行うカメラ撮影画像表示処理部１９の処理画像を取り込んで、複数カメラ重複撮影部分検出部３で検出した重複撮影部分について、２つのカメラの撮影画像自体を比較して、その画像の相違を検出する。

また、白線障害物画像相違検出部６では、白線障害物検出部１８或いは白線障害物強調表示部１７からの白線障害物画像データを取り込み、その画像の比較を行う。その比較により、一方のカメラの画像では白線や障害物が適正に連続的に表示されているのに対して、他側のカメラの画像はその部分において不連続、変形、画像の欠如等の不適正が画像が存在するか否かを検出する。

不適正撮影カメラ確認特定部７においては、最終的に不適正に撮影しているカメラを特定するものであり、その際には前記白線障害物画像相違検出部５で前記のように一方のカメラの画像では白線や障害物が適正に連続的に表示されているのに対して、他側のカメラの画像はその部分において不適正な画像が存在することを検出した時、そのカメラを不適正撮影カメラとして直ちに特定することができる。また、不適正撮影カメラ確認特定部７における水滴付着画像検出部８では、カメラ撮影画像取込部２０、或いはカメラ撮影画像表示処理部１９の画像により、重複撮影部分に水滴が付着した時に表れる特有の輝度変化のある画像、或いは水滴特有の歪んだ画像等が存在することを検出した時、そのような画像を表示しているカメラを不適正撮影カメラとして直ちに特定する。

不適正撮影カメラ確認特定部７では、前記カメラ撮影画像相違検出部５で複数のカメラの撮影画像自体を比較処理を行う時において、互いに所定以上撮影画像が相違していることを検出した時でも、必ずしもいずれのカメラが不適正であるのか、或いは両方不適正であるのか明らかではないので、その確認処理を行う。即ち、例えば不適正画像部分の画像の特徴が、カメラの表面に水滴が付着した時のように、比較的多く存在しうるケースでは、予め用意したそのパターンと一致する時、この画像を撮影しているカメラに水滴が付着したことにより、少なくともこの部分を撮影している他のカメラとは異なった画像を表示していることがかなりの確率でわかる。それに対してレンズに付着したゴミや汚れによる不適正画像は一見してわかりにくく、重複領域を撮影している２個のカメラの撮影画像の各種確認が必要となる。

その際には、例えば前記のように重複撮影部分で車両後方撮影カメラ３４の画像が不適正と判断された時でも、その重複撮影範囲の画像を撮影している車両左側撮影カメラについて、車両前方カメラ３５との重複撮影範囲４５について、再度確認を行い、同様の傾向の画像相違が生じていないか確認する。ここで同様の画像相違が生じていた時には、車両後方撮影カメラとの重複撮影範囲での画像の相違は、単なる汚れ等ではなく、カメラの設置変化、調整変化等である可能性も高いとして、以降はその対策を行うこととする。

また、不適正撮影カメラ確認特定部７ではそのほか、例えば図５（ｃ）において車両後側撮影カメラ３４と車両左側撮影カメラの重複撮影範囲４２で所定以上の画像相違が見つかった時、車両後側撮影カメラ３４について他の重複撮影範囲４３である車両右側撮影カメラとの重複撮影範囲について再度チェックを行い、その相違が同様の傾向の相違である時、車両後方撮影カメラ３４が調整ずれ等を生じているものと判断する。それに対して車両右側方撮影カメラ３３との重複撮影範囲４３について、ほとんど相違が存在しないことを検出した時には、特に前記の確認手法によって車両右側撮影カメラ３３がほぼ正しいと確認した時、車両後方撮影カメラの一部に水滴や汚れ等が付着しているものとほぼ正確に推定することができる。

更に、例えば不適正画像がたまたま白線のように映ってしまっていることも考えられるので、そのような場合も考慮して、車両左側撮影カメラと車両後方撮影カメラの重複エリアを参照して、同じパターンが見つかるかどうかを検出し、車両左側撮影カメラが正しい映像を出力しているという確度を上げる処理を行う。このような処理結果、車両左側撮影カメラが正しい撮影画像を出力していることの確度を高めることもできる。

図１の不適正カメラ特定処理部２では、前記のような一連の処理によって不適正な撮影を行っているカメラを特定すると、これを不適正カメラ重複撮影範囲内不適正画像範囲外縁特定部９により、不適正画像範囲の外縁を特定する処理を行う。即ち、例えば車両後方撮影カメラ３４に図６（ａ）に示すような水滴５０が付着し、この部分の画像は特定の画像部分の輝度が大きく変化し、或いは大きく変形して表示されることとなる。これを従来と同様の範囲で各カメラの撮影範囲を区画して表示すると、白線３６の後部は車両後方撮影範囲内に存在するので、実質的に表示することができない。

そのため図１に示す例においては、最初に不適正カメラ重複撮影範囲内不適正画像範囲外縁特定部９で、車両後方撮影カメラ３４で撮影した画像の中で不適正な画像範囲の外縁を特定する処理を行っている。その際には、例えば図７（ｃ）に示すような車両後方撮影カメラの撮影範囲における車両左側カメラとの重複撮影範囲４２において、不適正撮影範囲５１が検出された時この範囲の外縁を特定するに際して、図１の重複撮影表示分割線内１０を設定する機能により、同図（ｄ）に示すような重複撮影表示分割線の外縁（Ｄ）が特定される。

また、重複カメラ撮影範囲内１１を設定する機能により、同図（ｄ）における外縁（Ｈ）が特定される。また、表示範囲内１２を設定する機能により、同図（ｄ）における外縁（Ｆ）が特定される。更に、不適正画像範囲外縁内１３を設定する機能により、前記同図（ｃ）に示す不適正撮影範囲５１の外縁（Ｅ）が設定される。その結果全体として同図（ｄ）に示すような車両後方撮影カメラ重複撮影範囲内の不適正画像外縁を特定することができる。

図１の不適正カメラ重複撮影範囲内不適正画像範囲外縁特定部９で特定した、車両後方撮影カメラ画像における外縁で囲まれた範囲は、不適正画像範囲外縁の適正撮影カメラ画像外縁への変換処理部１４において、適正撮影カメラ画像の外縁に変換する処理を行う。その際には図１に示す例においては、座標変換テーブル１５を用いて変換を行う例を示している。

この座標変換テーブル１５は、図４（ａ）に示すカメラ間の対応画素算出方法の基本的な考え方により、実際には同図（ｂ）に示すように多数の座標変換を行って、最終的に置換データを得る処理により実施している。即ち、そもそもこの発明の技術分野における、車両のモニタに表示するワールド座標（実生活における座標）と、カメラ座標（カメラを原点とした座標）と、魚眼座標（魚眼映像上の座標）とはそれぞれの間でデータを変換することができる。これを更に詳細に示したものが図４（ｂ）であり、図示の例では最初ステップＳ３１において、前方カメラの魚眼映像上のＡ点の座標を検出する。

次いでステップＳ３２において、選択したＡ点の魚眼座標を前方カメラ座標に変換する。次いでステップＳ３３で、Ａ点の前方カメラ座標をワールド座標に変換する。その後ステップＳ３４で、Ａ点のワールド座標を車両右側撮影カメラ座標に変換する。その後最終的にＡ点の右側撮影カメラ座標を右側撮影カメラの魚眼座標に変換する。

この一連の変換処理によって前方撮影カメラ魚眼映像上のＡ点の座標は、右側撮影カメラの魚眼座標に変換することができるものであるが、この前方前方撮影カメラ魚眼映像上で右側撮影カメラとの重複撮影範囲について、予め全ての点に関し、右側撮影カメラの点の座標を、前方撮影カメラの座標に変換するための、互いに対応する点のデータテーブルを用意しておく。それにより、特別な設定を行うことなく、また多数の演算を行うことなく、図４（ｂ）にも示しているように、前記のようなＡ点−Ｂ点変換テーブルを用いて変換処理し、極めた容易に、且つ高速で置換データを得ることができる。

この時のデータ変換テールのより具体的な例を図１０に示している。同図に示すデータ変換テーブル例においては、各々の重複撮影範囲４２〜４５の各部分において、重複して撮影している各カメラの魚眼座標を、他のカメラの魚眼座標に変換するデータを、前記手法によって全て作成し、片側のカメラの魚眼データは各点及び各範囲において、特に変換処理を行うことなく、他のカメラの魚眼座標の点及び範囲に変換することができる。

図１に示す例においては、適正重複撮影カメラ範囲白線障害物画像の不適正撮影カメラへのデータ補間処理部１６を備え、前記不適正画像範囲外縁の適正撮影カメラ外縁への変換処理部１４で変換処理を行った、適正撮影カメラの画像範囲について、適正撮影カメラによるこの範囲部分の白線障害物画像を不適正カメラの撮影画像における白線障害物画像に補間するための処理を行う。この時においては、後述する白線障害物強調表示部１７で得られた白線障害物の強調表示画像を、座標変換テーブル１５のデーブルを利用することにより、格別の演算を行うことなく、補間処理を行うことができる。

一方、前記のように車両の前後左右を撮影するカメラの画像はカメラ撮影画像取込部２０にそれぞれ取り込まれ、カメラ撮影画像表示処理部１９においてその撮影画像をモニタに表示するための処理を行う。この時には各カメラが魚眼レンズの画像である時には、適宜モニタにわかりやすく表示を行う座標変換処理を行う。この時にも前記座標変換テーブル１５とは異なった、同様の座標変換テーブルを用いて変換処理を行うことができる。このカメラ撮影画像表示処理部１９に入力したカメラ撮影画像のデータにより、白線障害物検出部１８では、各カメラの撮影画像について、従来から提案されている各種手法を用いてそれぞれ白線や障害物を検出する。その検出結果により、白線障害物強調表示部１７では、モニタにおける前記カメラ撮影画像表示処理部１９によって表示されているカメラ画像中に、白線や障害物を強調してわかりやすく表示する。

図１の機能ブロックからなる本発明の実施例においては、例えば図２に示す作動フローにしたがって本発明を実施することができる。図２に示す不適正撮影カメラの適正白線障害物画像補間処理の例においては、本発明を各種の態様で実施することができるようにした例を示しており、特にステップＳ７で示したように、不適正カメラの不適正画像を特定する処理を行うため、図２には種々の態様を示している。

図２に示す例においては、最初水滴付着特有画像の検出処理を行うか否かを判別している（ステップＳ１）。この判別に際しては、予めそのような処理を行う旨の設定をしているか否かによって判別する。この処理は図１の不適正撮影カメラ確認特定部７における一つの処理として示している、水滴付着画像検出部８で、カメラ撮影画像取込部２０、或いはカメラ撮影画像表示処理部１９の画像データにより、例えば図６（ａ）のようにカメラのレンズ部分に雨や洗車等によって水滴が付着したとき、同図（ｂ）及び（ｃ）に示すような不適正画像が生じることを検出することにより行う。

その際に行う不適正画像であるか否かの判別手法としては、１つのカメラの撮影画像中に大きな輝度変化が生じていることを検出したとき、典型的な水滴付着による不適正画像であること、即ちこのカメラはこの部分で水滴付着による不適正画像を出力していることを検出することができる。なお、水滴付着による不適正画像の検出に際しては、レンズの一部に水滴が付着することにより、水滴付着に伴う特有のゆがんだ画像を出力していることを検出する等、種々の検出手法を採用することもできる。

図２のステップＳ１において、水滴付着特有画像の検出処理を行うと判別した時には、ステップＳ１３で、水滴付着特有画像を検出したか否かを判別する。ここで前記のような、水滴付着特有の輝度変化を生じている、等の手法によって水滴が付着した特有の画像を検出したと判別した時には、ステップＳ７において不適正カメラの不適正画像の特定が行われる。即ち前記の場合は、不適正カメラとして水滴付着特有の画像を出力しているカメラを特定し、また前記の例では大きな輝度変化が生じている範囲を不適正画像部分である、と特定する。

ステップＳ１３で水滴付着特有画像を検出しなかったと判別した時には、図２の例ではステップＳ１で水滴付着特有画像の検出処理を行わないと判別した時と共に、白線障害物画像の比較処理を行うか否かを判別している（ステップＳ３）。この判別も、予めこの処理を行う旨の設定をしているか否かによって判別する。図２の例においては、本発明における種々の不適正カメラの特定手法において、極めて簡単な処理により不適正カメラを特定することができる手法として水滴付着特有画像の検出を行い、ここで水滴付着特注の画像が検出されない場合でも、他の手法によって不適正画像を出力しているカメラが存在するか否かを検出する例を示している。

ステップＳ２において白線障害物画像の比較処理を行うと判別した時には、ステップＳ１４において、重複撮影範囲で一方のカメラの適正は白線障害物画像が得られていると判断されるのに対して、他のカメラがこれとは異なる白線障害物画像を出力しているか否かを判別する。即ち、重複撮影範囲で両方のカメラで撮影した画像から得られた白線障害物画像について比較を行い、一方のカメラの白線障害物画像が、例えば図６（ｄ）に示すように、車両左側撮影カメラでは、白線について所定の一連の画像を出力しているのに対して、他方のカメラである車両後方撮影カメラによる白線障害物画像は、その部分が存在しないか、一部欠けているか、或いは所定以上変形しているとき、ステップＳ１４では不適正画像を出力していると判別する。この処理は図１の複数カメラ重複撮影部分画像相違検出部４における、白線障害物画像相違検出部６において、白線障害物検出部１８、或いは白線障害物強調表示部１７の画像データを用いて行っている。

ステップＳ１４において、前記のように不適正な白線障害物画像を出力しているカメラを検出した時には、ステップＳ７で不適正カメラの不適正画像を特定する。また、そのような不適正な白線障害物画像が存在しないと判別した時には、図２の例では前記ステップＳ２において白線障害粒画像の比較処理を行わないと判別した時と共に、ステップＳ３に進んで、カメラ撮影画像自体の比較処理を行うか否かの判別を行っている。

即ち、図２の例においてはステップＳ１３及びステップＳ１４、或いはいずれかにおいて、それぞれできる限り簡単に不適正な画像を出力しているカメラの特定を行う手法を採用したのに対して、更に詳細に不適正な画像を出力しているカメラを特定するため、ステップＳ３では、重複撮影範囲において両方のカメラの撮影画像自体を比較する処理を行うか否かを判別している。但し、前記ステップＳ１で水滴付着特有画像の検出を行わないと判別し、更にステップＳ２において白線障害物画像の比較処理を行わないと判別した時には、ステップＳ３ではカメラ撮影画像自体の比較処理を行うと判別するものとする。

このステップＳ３において、このような比較処理は行わないと判別した時には、ステップＳ１に戻って前記処理を繰り返す。即ち、例えば前記ステップＳ１で水滴付着特有画像の検出処理を行わないと判別し、白線障害物画像の比較処理を行った時、或いはステップＳ１で水滴付着特有画像の検出処理を行って、ステップＳ１３で水滴付着特有画像を検出しなかった時において、ステップＳ２で白線障害物画像の比較処理を行わないと判別し、更にはステップＳ１及びステップＳ２においてそれぞれの処理を行うと判別した時は、それ以降の厳密なカメラ撮影画像自体の比較処理は行う必要がない設定にしている際に、ステップＳ１に戻って前記作動を繰り返す処理を行うことを可能としている。

ステップＳ３において、カメラ撮影画像自体の比較処理を行うと判別した時には、複数カメラの撮影画像自体で重複撮影範囲に所定以上の画像の相違が存在するか否かの判別を行う（ステップＳ４）。この処理は図１の複数カメラ重複撮影部分画像相違検出部４における、カメラ撮影画像相違検出部５で、カメラ撮影画像取込部２０、或いはカメラ撮影画像表示処理部１９の画像データを用いて行っている。

この処理に際しては、ステップＳ４で複数カメラの撮影画像自体で、重複撮影範囲に所定以上の画像の相違が存在しないと判別した時には、ステップＳ１に戻って前記作動を繰り返す。ここで所定以上の画像の相違が存在すると判別した時には、不適正カメラの確認処理を行う（ステップＳ５）。即ち、ステップＳ１において重複画像の中でいずれかの画像が不適正なことにより相互の画像が相違していても、いずれのカメラの撮影画像が不適正であるのかが不明のため、これを確認する必要がある。

そのため、例えば図６（ａ）に示すような車両後方撮影カメラ３４に水滴５０が付着し、その結果同図（ｂ）に車両後方撮影カメラ画像不適正撮影画像例１として示すように、車両後方撮影カメラ３４の撮影画像範囲内において、大きな範囲の不適正画像５１が存在する時、この不適正画像５１が含まれる範囲に車両左側撮影カメラ３２の撮影範囲が存在し、その重複撮影部分４２が存在することとなる。また、この不適正画像５１が含まれる範囲に車両左側撮影カメラ３３の撮影範囲が存在し、その重複撮影部分４３が存在する。

このような例においては、全ての重複撮影範囲について両カメラの撮影画像を比較して所定以上の相違が存在するかを確認し、重複撮影範囲４２において車両後方撮影カメラ３４と車両左側撮影カメラ３２の撮影画像が所定上異なっていることを検出することとなる。この時、車両左側撮影カメラ３２における他の重複撮影範囲４５について重複した画像を比較すると、大きな相違が存在しないのに対して、車両後方撮影カメラ３４の撮影範囲における車両右側撮影カメラ３３との重複撮影範囲４３についてみると、所定以上の画像の相違が検出されることにより、前記重複撮影範囲４２における画像相違は車両後方撮影カメラ３４によるものと確認することができる。同様に、車両右側撮影カメラ３３の他の重複撮影範囲４４では大きな画像の相違が存在しない時、重複撮影範囲４３での前記の画像の相違は、車両後方撮影カメラ３４が不適正な画像を撮影しているからであることを確認することができる。

それに対して例えば図６（ｃ）に示すように車両後方撮影カメラ３４による不適切撮影画像５１が比較的小さい時、この重複撮影範囲４２において両カメラの撮影画像を比較して、両カメラの撮影画像に大きな相違が存在することが検出され、いずれのカメラが不適切な画像を撮影しているかの確認を行う時、前記図６（ｂ）に示す例のような手法によっては確認することができない。

このような場合は、例えば図６（ｄ）に示すように、車両左側撮影カメラ３６の画像において、車両後方撮影カメラの画像領域も含めて、白線３６が連続的に撮影されていること、或いは両カメラの重複撮影範囲において同一の障害物３８を撮影していると推定される部分がそれぞれのカメラの撮影画像中に存在し、車両後方撮影カメラ３４の画像では同図（ｃ）に示すように全体が連続的に撮影されていないのに対して、車両左側撮影カメラ３２の画像では同図（ｄ）に示すように全体が連続的に撮影されている時、車両左側撮影カメラ３２の撮影画像は適正であり、結局車両後方撮影カメラの画像が不適正でることが確認される。特に、２つのカメラで例えば障害物３８の同じ画像を撮影していることを確認することにより、車両左側撮影カメラ３２の撮影画像は全て適正な画像が撮影されていることを更に確認することができる。

図２のステップＳ５において前記のようなは種々の手法によって不適正カメラの確認処理を行い、ステップＳ６において不適正カメラの不適正画像は確認できたか否かを判別する（ステップＳ６）。ここで不適正カメラの不適正画像が確認できたと判別した時には、ステップＳ７で不定正撮影カメラの不適正画像の特定が行われる。なお、前記ステップＳ６において前記のような各種の手法によっても不適正カメラが確認されなかったと判別したときには、再びステップＳ１に戻って前記作動を繰り返す。

その後不適正カメラの不適正撮影範囲の外縁を特定する（ステップＳ８）。この作動は図１の不適正カメラ重複撮影範囲内不適正画像範囲外縁特定部９において行う。その際には、例えば図７（ａ）に示すような車両後方撮影カメラ３４の画像に不適正撮影画像部分５１が存在し、これを同図（ｃ）に示すような重複撮影画像部分での不適正画像部分を特定し、更に同図（ｄ）に示すように、重複撮影範囲における車両左側撮影カメラの画図分割範囲を考慮した不適正画像の外縁を特定する。

図２の例においては、その後不適正撮影カメラの不定正撮影画像外縁を適正撮影カメラの画像の外縁に変換する（ステップＳ９）。即ち、図７（ｄ）のように不適正カメラの不適正撮影画像範囲の外縁が特定された後は、これを例えば同図（ｂ）に示すような、重複撮影範囲４２部分の車両後方撮影カメラ魚眼座標を、同図（ｅ）に示すように当てはめ、それにより同図（ｆ）に示すようにな白線障害物の補間必要範囲の座標を求め、車両後方撮影カメラでの魚眼座標の外縁を確定する。その後図７（ｆ）及び図８（ａ）に示すような不適正画像範囲の外縁を、図８（ｂ）に示すように、適正画像を出力している車両左側撮影カメラの魚眼座標に変換する。

次いでステップＳ１０において、前記のようにして変換した適正カメラ撮影画像範囲内における外縁について、その中に含まれる白線障害物画像データを取り込む。この処理は図８（ａ）に示すように、後方カメラ魚眼座標の外縁を確定し、図８（ｂ）のように適正撮影カメラである左カメラ魚眼座標での外縁に変換した外縁の範囲内について、図８（ｃ）に示すような車両左側撮影カメラの重複撮影範囲の白線障害物画像データから、同図（ｄ）に示すように左側カメラ魚眼座標を適用し、同図（ｅ）に示すようなデータを取り込むことによって行っている。

次いでステップＳ１１において、座標変換テーブルを用いて不適正カメラの不適正撮影画像範囲の白線障害物画像に補間する。この処理は図１の適正撮影カメラ範囲白線障害物画像の不適正画像範囲への補間処理部１６において、白線障害物強調表示部１７のデータ、及び座標変換テーブル１５を用いて行っている。その際には例えば前記図８（ｅ）に示すような車両左側撮影カメラの白線障害物画像に基づいて、取り込まれる補間画像が確定してその魚眼座標データが得られた状態で、その画像について同図（ｆ）に示すように後方撮影カメラの魚眼座標への変換を行い、これを図９（ａ）に示すように、車両後方撮影カメラの不適切画像によって適正に撮影されていない部分に同図（ｂ）に示す前記白線障害物画像を補間する。それにより同図（ｃ）に示すような、重複撮影部分の白線障害物画像が得られ、結局同図（ｄ）に全体の白線障害物画像を示すように、後方撮影カメラの不適正撮影画像が実質的に存在しなかったような白線障害物画像を得ることができる。

図２のステップＳ１２では、上記のような一連の処理により、重複撮影範囲における片方のカメラの不適切撮影部分を、他のカメラの適正撮影画像による白線障害物画像で補間して適正な白線障害物画像を得ることができるようになり、この処理を全カメラの不適正撮影画像における白線障害物画像について、他の適正撮影カメラの撮影画像による白線障害物画像で補間する処理を行い、この一連の処理を終了する。

本発明の前記実施例で用いている、図１の座標変換テーブル１５は、図１０（ａ）〜（ｅ）の各重複範囲の座標変換テーブルを用いて特別の演算無しに実施することができるものであるが、この座標変換テーブルの作成に際しては、前記図４で説明した本発明の座標変換系統の考え方に基づき、例えば図３に示す作動フローにより作成することができる。即ち、図３に示す重複撮影範囲についてのデータ変換テーブルの作成処理においては、最初１つの重複撮影範囲について、一方のカメラの画素を順に選択する（ステップＳ２１）。次いで選択した画素の魚眼映像座標を平面カメラ座標に変換する（ステップＳ２２）。

その後変換した平面カメラ座標をカメラ全体のワールド座標に変換する（ステップＳ２３）。次いで変換したワールド座標について重複範囲を撮影する他のカメラの平面カメラ座標に変換する（ステップＳ２４）。その後変換した平面カメラ座標を他のカメラの魚眼座標に変換する（ステップＳ２５）。次いで１つの重複撮影範囲の一方のカメラの画素の座標変換は全て終了したか否かを判別する（ステップＳ２６）。この判別において、未だ座標変換は全て終了していないと判別したときにはステップＳ２１に戻り、この１つの重複撮影範囲について、一方のカメラの画素を順に選択する処理を行い、以降同様の作動を繰り返す。

それに対してステップＳ２６において１つの重複撮影範囲の一方のカメラの画素の座標変換は全て終了したと判別した時には、ステップＳ２７において、４隅の重複撮影範囲の座標変換テーブルは完成したか否かを判別する。ここで未だ４隅全ての重複撮影範囲の座標変換テーブルの作成が完成していないと判別した時には、ステップＳ２８において、未だ完成していない他の重複撮影範囲を選択し、再びステップＳ２１に戻って前記作動を繰り返す。このような処理を継続し、ステップＳ２７において４隅の重複撮影範囲の座標変換テーブルは完成したと判別した時には、この変換処理を終了する（ステップＳ２９）。

上記のような座標変換テーブルを用いることにより、重複撮影範囲について、片側の魚眼レンズによる画像でも、他側の魚眼レンズに画像に容易に変換することができ、片方のカメラの不適正画像による白線障害物画像を、他側の適正撮影カメラの白線障害物画像によって容易に補間することができ、見やすい白線障害物画像を容易に且つ明瞭に表示することができる。

また、前記実施例においては、複数のカメラの画像を合成して表示する時の例を示したが、それ以外に例えば図１１に車両後方撮影カメラの画像をモニタに表示した時の例を示すように、複数のカメラを備えているものの、前記のような合成した画像を表示しない方がよいと判断し、マルチビューシステムによって単独のカメラの撮影画像を表示することとした時、その時の前記車両後方撮影カメラに前記のような水滴等がついて同図（ａ）に示すように、不適正画像が生じた場合においても、画像は表示されてはいないが撮影は行っている例えば車両左側撮影カメラの適正作動カメラによる白線障害物画像を利用して、例えば図１１（ｂ）に示すように、不適正撮影カメラの重複撮影範囲部分の白線障害物画像を適正撮影カメラの白線障害物画像で補間して表示することもできる。この時の作動も前記と同様にして行うことができるので、その詳細な説明は省略する。

なお、前記実施例において、例えば車両後方撮影カメラの不適正撮影画像について、不適正画像範囲外縁特定手段で不適正撮影範囲の外縁を特定し、この範囲のみについて、重複撮影している例えば車両左側撮影カメラによる白線障害物画像を取り込んで補間する例を示したが、それ以外に、例えば車両後方撮影カメラに不適正撮影画像が存在することが検出された時には、その不定性撮影画像が存在する部分を含む適宜の大きさの矩形の範囲を不適正画像範囲の外縁として設定することもできる。更に、不適正画像が存在する重複撮影範囲全体を外縁として特定して、適正撮影カメラによる白線障害物画像に補間処理するように設定することもできる。その際には、不適正撮影範囲が狭い時のような場合には不要な補間処理を行う必要はあるが、前記のような外縁の特定や、特定した外縁のみの白線障害物画像データの選択等、複雑な処理を行う必要が無くなる利点がある。

１ 不適正カメラ白線障害物画像補間処理部
２ 不適正カメラ特定処理部
３ 複数カメラ重複撮影部分検出部
４ 複数カメラ重複撮影部分画像相違検出部
５ カメラ撮影画像相違検出部
６ 白線障害物画像相違検出部
７ 不適正撮影カメラ確認特定部
８ 水滴付着画像検出部
９ 不適正カメラ重複撮影範囲内不適正画像範囲外縁特定部
１０ 重複撮影表示分割線内
１１ 重複カメラ撮影範囲内
１２ 表示範囲内
１３ 不適正画像範囲外縁内
１４ 不適正画像範囲外縁の適正撮影カメラ画像外縁への変換処理部
１５ 座標変換テーブル
１６ 適正撮影カメラ範囲白線障害物画像の不適正撮影画像範囲への補間処理部
１７ 白線障害物強調表示部
１８ 白線障害物検出部
１９ カメラ撮影画像表示処理部
２０ カメラ撮影画像取込部
３２ 車両左側撮影カメラ
３３ 車両右側撮影カメラ
３４ 車両後方撮影カメラ
３５ 車両前方撮影カメラ

Claims (6)

1. 互いに重複して撮影する範囲が存在するように設定した複数のカメラと、
   前記各カメラの撮影画像によって各々白線或いは障害物を検出する白線障害物検出手段と、
   前記白線障害物検出手段によって検出した白線或いは障害物を強調表示する白線障害物強調表示手段とを備えた複数カメラ画像使用車外表示装置において、
   複数のカメラが互いに重複して撮影している重複撮影部分を検出する複数カメラ重複撮影検出手段と、
   前記複数カメラ重複撮影検出手段で検出した重複撮影部分において、レンズに水滴が付着した画像を検出する水滴付着画像検出手段と、
   前記水滴付着画像検出手段でレンズに水滴が付着した画像を検出した時、水滴が付着した画像を出力しているカメラを不適正撮影カメラとして特定する不適正撮影カメラ特定手段と、
   前記不適正撮影カメラ特定手段で不適正撮影カメラとして特定したカメラの撮影画像から、水滴付着画像部分を含む所定範囲の外縁を特定する不適正画像範囲外縁特定手段と、
   前記不適正画像範囲外縁特定手段で特定した外縁の不適正撮影カメラの座標を、同重複撮影範囲を撮影する適正撮影カメラの画像の座標に変換する変換処理手段と、
   前記変換処理手段で変換した適正撮影カメラの画像の外縁内における、前記白線障害物強調表示手段で得られた白線障害物画像データを取り込み、この画像データを不適正カメラ撮影画像データに変換して、不適正カメラ撮影画像範囲部分の白線障害物画像データに補間する不適正撮影カメラへのデータ補間処理手段とを備えたことを特徴とする複数カメラ画像使用車外表示装置。
2. 前記水滴付着画像検出手段では、撮影画像中に所定以上の輝度変化が存在する時、水滴が付着した画像であると判別することを特徴とする請求項１記載の複数カメラ画像使用車外表示装置。
3. 互いに重複して撮影する範囲が存在するように設定した複数のカメラと、
   前記各カメラの撮影画像によって各々白線或いは障害物を検出する白線障害物検出手段と、
   前記白線障害物検出手段によって検出した白線或いは障害物を強調表示する白線障害物強調表示手段とを備えた複数カメラ画像使用車外表示装置において、
   複数のカメラが互いに重複して撮影している重複撮影部分を検出する複数カメラ重複撮影検出手段と、
   前記複数カメラ重複撮影検出手段で検出した重複撮影部分において、前記白線障害物検出手段で検出した各カメラの白線或いは障害物の画像を比較し、互いの画像の相違を検出する白線障害物画像相違検出手段と、
   前記白線障害物画像相違検出手段で互いの画像が所定以上異なっていることを検出し、
   一方のカメラの白線障害物画像が一連の適正画像であって、他側のカメラが前記一連の適正画像の内少なくとも一部が欠如、或いは所定以上変形していることを検出した時、当該他側のカメラを不適正撮影カメラとして特定する不適正撮影カメラ特定手段と、
   前記不適正撮影カメラ特定手段で不適正撮影カメラとして特定したカメラの撮影画像から、白線障害物画像が欠如し、或いは変形している画像部分を含む所定範囲の外縁を特定する不適正画像範囲外縁特定手段と、
   前記不適正画像範囲外縁特定手段で特定した外縁の不適正撮影カメラの座標を、同重複撮影範囲を撮影する適正撮影カメラの画像の座標に変換する変換処理手段と、
   前記変換処理手段で変換した適正撮影カメラの画像の外縁内における前記白線障害物強調表示手段で得られた白線障害物画像データを取り込み、この画像データを不適正カメラ撮影画像データに変換して、不適正カメラ撮影画像範囲部分の白線障害物画像データに補間する不適正撮影カメラへのデータ補間処理手段とを備えたことを特徴とする複数カメラ画像使用車外表示装置。
4. 互いに重複して撮影する範囲が存在するように設定した複数のカメラと、
   前記各カメラの撮影画像によって各々白線或いは障害物を検出する白線障害物検出手段と、
   前記白線障害物検出手段によって検出した白線或いは障害物を強調表示する白線障害物強調表示手段とを備えた複数カメラ画像使用車外表示装置において、
   複数のカメラが互いに重複して撮影している重複撮影部分を検出する複数カメラ重複撮影検出手段と、
   前記複数カメラ重複撮影検出手段で検出した重複撮影部分において、各カメラの撮影画像を比較し、互いの画像の相違を検出するカメラ撮影画像相違検出手段と、
   前記カメラ撮影画像相違検出手段で互いの画像が所定以上異なっていることを検出したとき、いずれのカメラが不適正な画像を出力しているカメラかを特定する不適正撮影カメラ特定手段と、
   前記不適正撮影カメラ特定手段で不適正撮影カメラとして特定したカメラの撮影画像から、不適正画像部分を含む所定範囲の外縁を特定する不適正画像範囲外縁特定手段と、
   前記不適正画像範囲外縁特定手段で特定した外縁の不適正撮影カメラの座標を、同重複撮影範囲を撮影する適正撮影カメラの画像の座標に変換する変換処理手段と、
   前記変換処理手段で変換した適正撮影カメラの画像の外縁内における前記白線障害物強調表示手段で得られた白線障害物画像データを取り込み、この画像データを不適正カメラ撮影画像データに変換して、不適正カメラ撮影画像範囲部分の白線障害物画像データに補間する不適正撮影カメラへのデータ補間処理手段とを備えたことを特徴とする複数カメラ画像使用車外表示装置。
5. 前記不適正撮影カメラ特定手段は、互いのカメラの撮影画像が所定以上異なっていることを検出した後、いずれのカメラの画像が不適正であるかの確認を行った後に不適正カメラの特定を行うことを特徴とする請求項４記載の複数カメラ画像使用車外表示装置。
6. 前記変換処理手段が、複数カメラの重複撮影範囲について、予め作成された一方のカメラの魚眼座標を他側のカメラの魚眼座標に直接変換する座標変換テーブルを用いることを特徴とする請求項１〜５のいずれか一つに記載の複数カメラ画像使用車外表示装置。
   

Images