JP4879031B2

JP4879031B2 - 運転支援システム、画像処理装置及びずれ検出方法

Info

Publication number: JP4879031B2
Application number: JP2007003815A
Authority: JP
Inventors: 仁志本郷; 浩三奥田
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2007-01-11
Filing date: 2007-01-11
Publication date: 2012-02-15
Anticipated expiration: 2027-01-11
Also published as: JP2008172535A; US8184160B2; US20080170122A1

Description

本発明は、車両周辺を複数の車載カメラで撮像して、撮像した複数の画像を平面に投影した投影画像にそれぞれ変換すると共に、投影した投影画像を合成して合成画像を生成する運転支援システム、画像処理装置及びずれ検出方法に関する。

従来、自動車等の運転者が車両の周辺状況を確認できるように、車両周囲（例えば、前後左右）に備えられている複数の車載カメラで車両周辺を撮像し、撮像した画像を車内に設けられている表示パネルに表示させる運転支援システムが提案されている（例えば、特許文献１参照）。

かかる運転支援システムでは、車両周辺を撮像した各画像を、平面（例えば、地面等）に投影した投影画像に変換する。また、変換した複数の投影画像を合成して、車両を上空の仮想の視点から眺めた合成画像（周辺鳥瞰画像）を生成し、表示パネルに表示させる。よって、運転者は、表示パネルに表示された合成画像から、車両周辺の状況を一目で確認することができる。なお、上述した運転支援システムは、合成画像を生成する際、各車載カメラの位置、撮像方向（カメラ方向）の調整・設定（キャリブレーション）を行って予め算出したパラメータ値に基づいて、各投影画像を合成するように構成されている。

ところで、車両に備えられている車載カメラは、運転時の振動等の外圧によって、位置や撮像方向等がずれてしまう場合がある。かかる場合、パラメータ値が適切な値でなくなってしまい、生成された合成画像は、画像の合成部分がずれてしまうため、運転者にとって周辺の状況を確認しにくい不自然な画像になってしまう。

一般的に、運転支援システムでは、車載カメラがずれたか否かを自動的に評価する方法として、複数の車載カメラで重複する対象領域（重複領域）を撮像するように配置し、撮像した重複領域の画像を比較する方法が知られている。

具体的に、図１２を参照して、運転支援システムが、車載カメラ１０_１乃至１０_２とを具備する場合を例に挙げて説明する。なお、ここでは、車載カメラ１０_１の撮像した画像の投影画像を投影画像Ｅ１とし、車載カメラ１０_２の撮像した画像の投影画像を投影画像Ｅ２とする。また、投影画像Ｅ１と投影画像Ｅ２には、互いに重複領域Ｃに対応する画像を含むものとする。

運転支援システムでは、図１２に示すように、投影画像Ｅ１と投影画像Ｅ２との重複領域Ｃに対応する画像から、例えば、路面にペイントされた白線Ｍ１乃至Ｍ２のエッジ等を特徴点として検出する。そして、複数の投影画像を重ね合わせて合成する際、白線Ｍ１乃至Ｍ２のエッジの位置を比較して、差分が大きい場合には車載カメラにずれが生じていることを検出できる。
特開２００２−８７１６０号公報

しかしながら、上述する運転支援システムでは、車載カメラにずれが生じていない場合であっても、各投影画像の重複領域の画像に差分が発生する場合がある。

例えば、図１３に示すように、重複領域Ｃにポール等の立体物Ｐが存在する場合、上述した運転支援システムでは、別々の位置に備えられている各車載カメラ１０_１乃至１０_２が、別々の撮像方向から立体物Ｐを撮像する。また、当該画像を投影画像Ｅ１乃至Ｅ２に変換する際、立体物Ｐの高さ方向の情報を失うため、投影された投影画像Ｅ１乃至Ｅ２に含まれる立体物Ｐの画像が、それぞれ画像Ｐａと画像Ｐｂとなり、異なる画像になってしまう。

このような場合、立体物の画像Ｐａ乃至Ｐｂのエッジを特徴点とすると、投影画像Ｅ１と投影画像Ｅ２との間で、重複領域Ｃに対応する画像の差分が大きくなってしまう。つまり、上述した運転支援システムでは、重複領域Ｃに立体物がある場合、重複領域Ｃに対応する画像の差分に基づいて、車載カメラにずれが生じたか否かを正確に判別できないという問題があった。

そこで、本発明は以上の点に鑑みてなされたもので、複数の車載カメラを用いて撮像した画像を平面に投影した投影画像に変換すると共に、当該投影画像を合成して合成画像を生成する運転支援システムにおいて、車載カメラの位置にずれが発生しているか否かをより正確に判定する運転支援システム、画像処理装置及びずれ検出方法を提供することを目的とする。

本発明の第１の特徴は、車両周辺の第１対象領域（例えば、第１対象領域Ｄ１）を撮像して第１画像を取得する第１車載カメラ（例えば、車載カメラ１０_１）と、車両周辺の第２対象領域（例えば、第２対象領域Ｄ２）を撮像して第２画像を取得する第２車載カメラ（例えば、車載カメラ１０_２）と、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部（画像変換部３０）と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部（画像合成部４０）とを備える運転支援システムであって、前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域（重複領域Ｃ）を有しており、前記重複領域に立体物があるか否かを判定する立体物判定部（立体物判定部５０）と、前記立体物判定部によって立体物がないと判定された場合、前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出部（差分算出部６０）と、前記差分算出部によって算出された前記差分が閾値以上である場合、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知部（検知部７０）とを具備することを要旨とするものである。

かかる特徴によれば、運転支援システムでは、立体物判定部が、第１投影画像内の重複領域に立体物があるか否かを判定し、立体物がないと判定した場合、差分算出部が、第１投影画像内の重複領域に対応する画像と、第２投影画像内の重複領域に対応する画像との差分を算出する。

つまり、重複領域の画像に立体物がないことを確認してから、第１投影画像内の重複領域に対応する画像と、第２投影画像内の重複領域に対応する画像との差分を算出する。よって、重複領域に対応する画像内に立体物の画像が含まれることで、差分算出部で不正確な差分が算出することを防止し、第１投影画像内の重複領域に対応する画像と、第２投影画像内の重複領域に対応する画像との差分をより正確に算出できる。

かかる特徴によれば、複数の車載カメラを用いて撮像した画像を平面に投影した投影画像に変換すると共に、当該投影画像を合成して合成画像を生成する運転支援システムにおいて、車載カメラの位置にずれが発生しているか否かをより正確に判定することができる。

本発明第２の特徴は、第１の特徴に係り、前記第１車載カメラは、第１タイミングと前記第１タイミングよりも後の第２タイミングとで前記第１画像を取得し、前記立体物判定部は、前記第１タイミングで取得された前記第１画像を変換した前記第１投影画像内の前記重複領域に対応する画像と、前記第２タイミングで取得された前記第１画像を変換した前記第１投影画像とに基づいて、複数の移動ベクトルを取得する移動ベクトル取得部（移動ベクトル取得部５１）と、前記移動ベクトル取得部によって取得された前記複数の移動ベクトルを比較して、前記重複領域に立体物があるか否かを判定する判定部（判定部５２）とを具備することを要旨とするものである。

かかる特徴によれば、立体物判定部では、複数の移動ベクトルを比較して、重複領域の画像に立体物があるか否かを判定する。ここで、移動する車両に設けられた第１車載カメラが、立体物を撮像する場合、第１タイミングと第２タイミングとで、立体物に対する撮像方向が異なるため、撮像した当該立体物を含む投影画像では、立体物の画像部分が変化する。このため、立体物の画像のエッジ等を特徴点とした動きベクトルは、均一でなくなる。

つまり、上述した運転支援システムでは、第１タイミングで撮像された第１画像を変換した第１投影画像の重複領域の画像と、第２タイミングで撮像された第１画像を変換した第１投影画像と間で、複数の動きベクトルが均一であるか否かを判定することで、立体物があるか否かを判定する。このようにして、上述する運転支援システムでは、重複領域に立体物があるか否かを判定し、重複領域に立体物がない場合、第１投影画像内の重複領域に対応する画像と、第２投影画像内の重複領域に対応する画像との差分を算出するので、当該車載カメラのずれを、より正確に検出できる。

本発明第３の特徴は、第１の特徴に係り、前記第１車載カメラは、第１タイミングと前記第１タイミングよりも後の第２タイミングとで前記第１画像を取得し、前記第１タイミングから第２タイミングまでの車両の移動量を取得する移動量取得部を更に備え、前記立体物判定部は、前記移動量に基づいて、前記第２タイミングで取得された第１画像を変換した第１投影画像内に、前記第１タイミングで取得された第１画像を変換した第１投影画像内の前記重複領域に対応する比較領域を特定する特定部（特定部５３）と、前記特定部によって特定された前記比較領域に対応する画像と前記重複領域に対応する画像との差分に基づいて、前記重複領域に立体物があるか否かを判定する判定部（判定部５４）とを具備することを要旨とするものである。

かかる特徴によれば、立体物判定部では、第１タイミングで取得された第１画像を変換した第１投影画像内の重複領域に対応する画像と、第２タイミングで取得された第１画像を変換した第２投影画像内の比較領域に対応する画像との差分に基づいて、重複領域に立体物があるか否かを判定する。

ここで、移動する車両に設けられた第１車載カメラが、立体物を撮像する場合、第１タイミングと第２タイミングとで、立体物に対する撮像方向が異なるため、撮像した当該立体物を含む投影画像では、立体物の画像が変化する。このため、立体物がある場合、重複領域に対応する画像と比較領域に対応する画像との差分が大きくなる。

このようにして、上述する運転支援システムでは、重複領域に立体物があるか否かを判定し、重複領域に立体物がない場合、第１投影画像内の重複領域に対応する画像と、第１投影画像内の重複領域に対応する画像との差分を算出するので、当該車載カメラのずれを、より正確に検出できる。

また、本発明第４の特徴は、車両周辺の第１対象領域（例えば、第１対象領域Ｄ１）を撮像して第１画像を取得する第１車載カメラ（車載カメラ１０_１）と、車両周辺の第２対象領域（例えば、第２対象領域Ｄ２）を撮像して第２画像を取得する第２車載カメラ（車載カメラ１０_２）と、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部（画像変換部３０）と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部（画像合成部４０）とを備える運転支援システムであって、前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出部（差分算出部６０）と、前記差分算出部によって算出された前記差分が連続して閾値以上になる回数に基づいて、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知部（検知部７０）とを具備することを要旨とするものである。

かかる特徴によれば、差分算出部で算出された差分が連続して閾値以上となる回数に基づいて、第１車載カメラ又は第２車載カメラにずれが生じたことを検知する。

ここで、第１カメラ又は第２カメラにずれが生じていた場合、第１投影画像内の重複領域に対応する画像と、第２投影画像内の重複領域に対応する画像との差分は、何度画像を取得しても、すべて閾値以上になる。また、第１カメラ又は第２カメラにずれが生じていないが、重複領域に立体物が存在する場合、第１投影画像内の重複領域に対応する画像と、第２投影画像内の重複領域に対応する画像との差分は、大きくなるが、車両が移動することによって重複領域に立体物が存在しなくなれば、当該差分は、閾値よりも小さくなる。

このように、上述した運転支援システムでは、算出される差分が連続して閾値以上になる回数に基づいて、重複領域に立体物があるのか、又は、車載カメラにずれが生じているのかを判定して検知するので、当該車載カメラの位置にずれが発生しているのか否かをより正確に検出できる。

また、本発明第５の特徴は、車両周辺の第１対象領域（例えば、対象領域Ｄ１）を撮像する第１車載カメラ（例えば、車載カメラ１０_１）から第１画像を取得する第１取得部（取得部２０_１）と、車両周辺の第２対象領域（例えば、対象領域Ｄ２）を撮像する第２車載カメラ（例えば、車載カメラ１０_２）から第２画像を取得する第２取得部（取得部２０_２）と、前記第１画像を平面に投影した第１投影画像（投影画像Ｅ１）に変換すると共に、前記第２画像を前記平面に投影した第２投影画像（投影画像Ｅ２）に変換する画像変換部（画像変換部３０）と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部（画像合成部４０）とを備える画像処理装置（処理装置１００）であって、前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、前記重複領域に立体物があるか否かを判定する立体物判定部（立体物判定部５０）と、前記立体物判定部によって立体物がないと判定された場合、前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出部（差分算出部６０）と、前記差分算出部によって算出された前記差分が閾値以上である場合、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知部（検知部７０）とを具備することを要旨とするものである。

かかる特徴によれば、画像処理装置は、重複領域の画像に立体物がないことを確認してから、第１投影画像内の重複領域に対応する画像と、第２投影画像内の重複領域に対応する画像との差分を算出する。よって、重複領域に対応する画像内に立体物の画像が含まれることで、差分算出部で不正確な差分が算出することを防止し、第１投影画像内の重複領域に対応する画像と、第２投影画像内の重複領域に対応する画像との差分をより正確に算出するので、第１車載カメラ又は第２車載カメラにずれが発生したことを、より正確に検出できる。

また、本発明第６の特徴は、車両周辺の第１対象領域を撮像する第１車載カメラから第１画像を取得する第１取得部と、車両周辺の第２対象領域を撮像する第２車載カメラから第２画像を取得する第２取得部と、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部とを備える画像処理装置であって、前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出部（差分算出部６０）と、前記差分算出部によって算出された前記差分が連続して閾値以上になる回数に基づいて、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知部（検知部７０）とを具備することを要旨とするものである。

かかる特徴によれば、画像処理装置では、算出される差分が連続して閾値以上になる回数に基づいて、重複領域に立体物があるのか、又は、車載カメラにずれが生じているのかを判定してから、ずれを検知するので、当該車載カメラの位置にずれが発生しているのか否かをより正確に検出できる。

また、本発明第７の特徴は、車両周辺の第１対象領域を撮像する第１車載カメラから第１画像を取得する第１取得部と、車両周辺の第２対象領域を撮像する第２車載カメラから第２画像を取得する第２取得部と、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部とを備える画像処理装置におけるずれ検出方法であって、前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、前記重複領域に立体物があるか否かを判定する立体物判定ステップと、前記立体物判定ステップによって立体物がないと判定された場合、前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出ステップと、前記差分算出ステップによって算出された前記差分が閾値以上である場合、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知ステップとを備えることを要旨とするものである。

また、本発明第８の特徴は、車両周辺の第１対象領域を撮像する第１車載カメラから第１画像を取得する第１取得部と、車両周辺の第２対象領域を撮像する第２車載カメラから第２画像を取得する第２取得部と、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部とを備える画像処理装置におけるずれ検出方法であって、前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出ステップと、前記差分算出ステップによって算出された前記差分が連続して閾値以上になる回数に基づいて、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知ステップとを備えることを要旨とするものである。

本発明の特徴によれば、複数の車載カメラを用いて撮像した画像を平面に投影した投影画像に変換すると共に、当該投影画像を合成して合成画像を生成する運転支援システムにおいて、車載カメラの位置にずれが発生しているか否かをより正確に判定する運転支援システム、画像処理装置及びずれ検出方法を提供することができる。

本発明の実施形態について説明する。なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。

［第１実施形態］
（本発明の第１実施形態に係る運転支援システムの構成）
本発明の第１実施形態に係る運転支援システム１の構成について、図１を参照して説明する。図１には、本実施形態に係る運転支援システム１の全体概略構成が示されている。

図１に示すように、本実施形態に係る運転支援システム１は、車両１０００に設けられている。また、運転支援システム１は、車載カメラ１０_１乃至１０_４と、処理装置１００（画像処理装置）とを具備する。なお、図１には、表示部２００が示されているが、表示部２００は、運転支援システム１に含まれないことに留意すべきである。

車載カメラ１０_１乃至１０_４は、それぞれ撮像する方向が異なる。具体的に、車載カメラ１０_１は車両の右方向を撮像して第１画像を取得し、車載カメラ１０_２は車両の前方向を撮像して第２画像を取得し、車載カメラ１０_３は車両の左方向を撮像して第３画像を取得し、車載カメラ１０_４は車両の後方向を撮像して第４画像を取得する。また、車載カメラ１０_１乃至１０_４は、それぞれ車両１０００周辺の対象領域Ｄ１乃至Ｄ４を撮像して画像を取得する。

また、車載カメラ１０_１乃至１０_４によって撮像される対象領域Ｄ１乃至Ｄ４は、互いに重複する重複領域を有している。具体的に、対象領域Ｄ１は、対象領域Ｄ２と重複する重複領域と、対象領域Ｄ４と重複する重複領域とを有する。対象領域Ｄ２は、対象領域Ｄ１と重複する重複領域と、対象領域Ｄ３と重複する重複領域とを有する。対象領域Ｄ３は、対象領域Ｄ２と重複する重複領域と、対象領域Ｄ４と重複する重複領域とを有する。対象領域Ｄ４は、対象領域Ｄ１と重複する重複領域と、対象領域Ｄ３と重複する重複領域とを有する。なお、本実施形態において、対象領域Ｄ１と対象領域Ｄ２との重複する領域を重複領域Ｃとして説明する。また、車載カメラ１０_１乃至１０_４は、共通のタイミングで周期的に対象領域Ｄ１乃至Ｄ４を撮像する。

なお、本実施形態において、車載カメラ１０_１は、車両周辺の対象領域Ｄ１（第１対象領域）を撮像して第１画像を取得する第１車載カメラを構成する。また、車載カメラ１０_２は、車両周辺の対象領域Ｄ２（第２対象領域）を撮像して第２画像を取得する第２車載カメラを構成する。

処理装置１００は、車載カメラ１０_１乃至１０_４と接続する。また、処理装置１００は、車載カメラ１０_１乃至１０_４によって取得された各画像を入力し、それぞれの画像を車両の地面（平面）に投影した投影画像に変換する。また、処理装置１００は、変換したそれぞれの投影画像を合成して合成画像を生成し、表示部２００に出力する。

なお、本実施形態では、第１画像を地面座標系に投影した投影画像を投影画像Ｅ１とし、第２画像を地面座標系に投影した投影画像を投影画像Ｅ２とし、第３画像を地面座標系に投影した投影画像を投影画像Ｅ３とし、第４画像を地面座標系に投影した投影画像を投影画像Ｅ４として説明する。

表示部２００は、処理装置１００と接続する。また、表示部２００は、処理装置１００から出力された合成画像を入力して表示する。なお、表示部２００は、カーナビゲーションシステム等に備えられている表示パネル等を想定している。

（処理装置の構成）
次に、図を参照し、処理装置１００の構成について具体的に説明する。また、以下、本発明との関連がある部分について主に説明する。したがって、処理装置１００は、処理装置としての機能を実現する上で必須な、図示しない或いは説明を省略した機能ブロック（電源部など）を備える場合があることに留意されたい。

図２には、処理装置１００のブロック図が示されている。図２に示すように、処理装置１００は、取得部２０_１乃至２０_２と、画像変換部３０と、画像合成部４０と、立体物判定部５０と、差分算出部６０と、検知部０とを備える。

取得部２０_１乃至２０_２は、車載カメラ１０_２乃至１０_２と接続する。また、取得部２０_１は、車載カメラ１０_１で取得された第１画像を取得して記憶する。また、取得部２０_２は、車載カメラ１０_２で取得された第２画像を取得して記憶する。なお、処理装置１００は、車載カメラ１０_３と接続する取得部２０_３や、車載カメラ１０_４と接続する取得部２０_４を備えるが、本実施形態では、説明を省略する。本実施形態において、取得部２０_１は、第１取得部を構成し、取得部２０_２は、第２取得部を構成する。

画像変換部３０は、取得部２０_１乃至２０_２と接続し、当該取得部２０_１乃至２０_２に記憶されている第１乃至第２画像を取得する。また、画像変換部３０は、第１画像を地面（平面）に投影した投影画像１（第１投影画像）に変換すると共に、第２画像を地面（平面）に投影した投影画像Ｅ２（第２投影画像）に変換する。

図３には、画像変換部３０によって変換される投影画像のイメージが示されている。なお、ここでは、車載カメラ１０_１によって取得された第１画像を例に挙げて説明する。図３は、車載カメラ１０_１の座標系ＸＹＺと、車載カメラ１０_１で取得された第１画像の第１画像面Ｓと、地面（平面）座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。カメラ座標系ＸＹＺでは、車載カメラ１０_１の光学中心を原点Ｏとして、光軸方向にＺ軸が、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。

世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る垂線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸が、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸が、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。また、世界座標系Ｘw Ｙw Ｚw とカメラ座標系ＸＹＺとの間の平行移動量は〔０，ｈ，０〕であり、Ｘ軸周りの回転量はθｏである。

図３に示すように、画像変換部３０は、予め設定されているカメラの焦点距離等に基づいて、車載カメラ１０_１で撮像された第１画像のカメラ座標系ＸＹＺ上の第１画像面Ｓを算出する。また、画像変換部３０は、第１画像面Ｓを、世界座標系Ｘw Ｚw 面に投影した投影画像Ｅ１に変換する。また、画像変換部３０は、第２乃至第４画像に対しても、それぞれ投影した投影画像Ｅ２乃至Ｅ４に変換する。

また、画像変換部３０は、車載カメラ１０_１乃至１０_４の車両上のそれぞれの配置されている位置と撮像方向（カメラ方向）とに基づいて、世界座標系の投影画像Ｅ１乃至Ｅ４を、共通の座標系として車両中心を原点とした車両座標系の座標に変換する。これにより、投影画像Ｅ１は、車両右側の画像として変換され、投影画像Ｅ２は、車両前側の画像として変換され、投影画像Ｅ３は、車両左側の画像として変換され、投影画像Ｅ４は、車両後側の画像として変換される。そして、画像変換部３０は、変換した投影画像Ｅ１乃至Ｅ４を、画像合成部４０と立体物判定部５０と差分算出部６０とに出力する。

画像合成部４０は、画像変換部３０から投影画像Ｅ１乃至Ｅ４を入力し、当該投影画像Ｅ１乃至Ｅ４を合成して合成画像を生成する。本実施形態において、画像合成部４０は、画像変換部３０によって変換された投影画像Ｅ１と投影画像Ｅ２とを合成して合成画像を生成する画像合成部を構成する。

立体物判定部５０は、対象領域Ｄ１乃至Ｄ４において、互いに重複する重複領域に立体物があるか否かを判定する。具体的に、立体物判定部５０は、移動ベクトル取得部５１と、判定部５２とを備える。

移動ベクトル取得部５１は、車載カメラ１０_１乃至１０_４が周期的に画像を取得するタイミングの中で、タイミングｔ１（第１タイミング）で取得された第１画像を変換した投影画像Ｅ１内の重複領域Ｃに対応する画像と、タイミングｔ１よりも後のタイミングｔ２（第２タイミング）で取得された第１画像を変換した投影画像Ｅ１とに基づいて、複数の移動ベクトルを取得する。ここで、タイミングｔ１とタイミングｔ２とは、車載カメラ１０_１乃至１０_４が画像を周期的に取得するタイミングの中で、連続するタイミングであってもよいし、所定の間隔だけあけた（例えば、第１画像を取得するタイミングを２回分だけあけた）タイミングであってもよい。

具体的に、移動ベクトル取得部５１は、画像変換部３０から、タイミングｔ１乃至ｔ２に取得された各投影画像Ｅ１を入力するとともに、タイミングｔ１の投影画像Ｅ１内の重複領域Ｃに対応する画像と、タイミングｔ１の投影画像Ｅ１内の画像とに共通する特徴点を複数検出する。ここで、特徴点は、画像内において、周辺画素との画素値の変化が大きいエッジ部分の画素等を想定している。そして、移動ベクトル取得部５１は、検出した複数の特徴点に基づいて、複数の移動ベクトルを取得する。また、移動ベクトル取得部５１は、取得した複数の移動ベクトルを判定部５２に通知する。

判定部５２は、移動ベクトル取得部５１によって取得された複数の移動ベクトルを比較して、重複領域Ｃに立体物があるか否かを判定する。具体的に、判定部５２は、移動ベクトル取得部５１から複数の移動ベクトルを通知されると、各移動ベクトルが均一か否かを判定する。この時、判定部５２は、予め記憶するベクトル方向許容範囲値、及びベクトル量（長さ）許容範囲値に基づいて、複数の動きベクトルの差が、当該許容範囲値内か否かを判定する。また、判定部５２は、複数の動きベクトルの差が許容値範囲以内である場合、均一であると判定し、許容値範囲を上回る場合、均一でないと判定する。なお、判定部５２は、均一であると判定した場合、重複領域Ｃに立体物がないとして判定し、均一でないと判定した場合、重複領域Ｃに立体物があるとして判定する。また、判定部５２は、判定結果を差分算出部６０に通知する。

差分算出部６０は、立体物判定部５０によって立体物がないと判定された場合、投影画像の重複領域に対応する画像を比較して、車載カメラの差分（ずれ量）を算出する。

ここで、投影画像Ｅ１と投影画像Ｅ２とを例に挙げて説明する。差分算出部６０は、立体物判定部５０によって重複領域Ｃに立体物がないと判定された場合、投影画像Ｅ１内の重複領域に対応する画像と、投影画像Ｅ２内の重複領域に対応する画像との差分を算出する。

図４（ａ）には、車載カメラ１０_１で撮像された第１画像を平面に投影して変換した投影画像Ｅ１のイメージ図が示されており、図４（ｂ）には、車載カメラ１０_２で撮像された第２画像を平面に投影して変換した投影画像Ｅ２のイメージ図が示されている。

図４（ａ）乃至（ｂ）に示すように、差分算出部６０は、立体物判定部５０によって立体物がないと判定された場合、画像変換部３０から入力した投影画像Ｅ１と投影画像Ｅ２とに基づいて、投影画像Ｅ１内の重複領域Ｃ１に対応する画像と、投影画像Ｅ２内の重複領域Ｃ２に対応する画像との差分を算出する。ここで、差分算出部６０は、重複領域Ｃ１内の画像と重複領域Ｃ２内の画像とにおいて、それぞれの画像内に共通する特徴点を検出するとともに、投影画像Ｅ１の重複領域Ｃ１の画像と投影画像Ｅ２の重複領域Ｃ２の画像とを重ね合わせた際の特徴点の位置の差を差分として算出する。また、差分算出部６０は、算出した差分が、予め記憶する閾値以上であるか否かを判定し、判定結果を検知部７０に通知する。

検知部７０は、差分算出部６０によって算出された差分が閾値以上である場合、車載カメラ１０_１又は車載カメラ１０_２にずれが生じたことを検知する。なお、検知部７０は、ずれが生じたことを検知した際、運転者（ユーザ）に報知してもよい。報知する方法としては、ブザー音で報知してもよいし、表示部２００に「異常」等の文字を表示させて報知するように構成されていてもよい。また、ここでは、投影画像Ｅ１の重複領域Ｃ１と投影画像Ｅ２の重複領域Ｃ２との差分に基づいて、車載カメラ１０_１又は車載カメラ１０_２にずれが生じているか否かを検知する場合を例に示したが、投影画像Ｅ３、投影画像Ｅ４との重複領域の差分に基づいて、車載カメラ１０_３、車載カメラ１０_４にずれが生じているか否かを検知してもよい。

（処理装置の動作）
次に、上記の構成を具備する運転支援システム１の動作について、説明する。具体的に、図５を参照して、処理装置１００がずれ検出を行う際の制御動作について説明する。なお、ここでは、車載カメラ１０_１乃至１０_２のずれ検出を行う際の動作を例に挙げて説明する。

ステップＳ１１０において、取得部２０_１乃至２０_２は、周期的に画像を取得する車載カメラ１０_１乃至１０_２から、特定のタイミングｔ１で取得された第１画像と第２画像とを取得して記憶する。

ステップＳ１２０において、画像変換部３０は、取得部２０_１乃至２０_２から第１画像と第２画像とを取得し、第１画像を地面（平面）に投影した投影画像Ｅ１に変換すると共に、第２画像を地面（平面）に投影した投影画像Ｅ２に変換する。また、画像変換部３０は、投影画像Ｅ１と投影画像Ｅ２とを共通の車両座標系に変換し、変換した投影画像Ｅ１及び投影画像Ｅ２を、移動ベクトル取得部５１と差分算出部６０とに出力する。

ステップＳ１３０において、差分算出部６０は、画像変換部３０から投影画像Ｅ１と投影画像Ｅ２とを入力する。また、移動ベクトル取得部５１は、特徴点を検出するため、投影画像Ｅ１の重複領域Ｃに対応する画像内と、投影画像Ｅ２の重複領域Ｃに対応する画像内とをサーチする。また、差分算出部６０は、特徴点が検出できた場合、移動ベクトル取得部５１に通知する。なお、差分算出部６０において、特徴点が検出できなかった場合、処理装置１００では、ステップＳ１１０乃至ステップＳ１３０の動作が繰り返される。

ステップＳ１４０において、車載カメラ１０_１は、周期的に撮像して第１画像を取得する動作において、タイミングｔ１よりも後のタイミングｔ２で、第１画像を取得する。また、取得部２０_１乃至２０_２は、車載カメラ１０_１から、タイミングｔ２で取得された第１画像を取得する。

ステップＳ１５０において、画像変換部３０は、取得部２０_１でタイミングｔ２の第１画像が取得されると、第１画像を平面に投影した投影画像Ｅ１に変換する。また、画像変換部３０は、投影画像Ｅ１を車両座標系に変換し、変換した投影画像Ｅ１を、移動ベクトル取得部５１に出力する。

ステップＳ１６０において、移動ベクトル取得部５１は、差分算出部６０から特徴点が検出できた旨の通知を受けると、タイミングｔ１で取得された画像を変換した投影画像Ｅ１を保持すると共に、タイミングｔ２で取得された画像を変換した投影画像Ｅ１を画像変換部３０から取得する。また、移動ベクトル取得部５１は、タイミングｔ１の投影画像Ｅ１内の重複領域Ｃに対応する画像と、タイミングｔ２の投影画像Ｅ１との間において、複数の動きベクトルを取得する。また、移動ベクトル取得部５１は、取得した複数の動きベクトルを判定部５２へ通知する。

ステップＳ１７０において、判定部５２は、移動ベクトル取得部５１から通知された複数の動きベクトルが均一か否かを判定する。この時、判定部５２は、予め記憶しているベクトル方向許容範囲値、又は、ベクトル量（長さ）許容範囲値に基づいて、複数の動きベクトルが、当該許容範囲値内か否かを判定する。また、判定部５２は、複数の動きベクトルが、許容値範囲以内である場合、均一であると判定し、許容値範囲を上回る場合、均一でないと判定する。また、判定部５２は、複数の動きベクトルが均一であると判定した場合、差分算出部６０に通知する。

ここで、図６には、上述したステップＳ１６０乃至Ｓ１７０において、処理装置１００が、タイミングｔ１とタイミングｔ２とで取得した投影画像Ｅ１を重ね合わせたイメージが示されている。例えば、車載カメラ１０_１がタイミングｔ１で取得した画像を変換した投影画像Ｅ１内の重複領域Ｃ１に対応する画像に、ポール等の立体物Ｐの画像Ｐａ１が含まれ、タイミングｔ２で取得した画像を変換した投影画像Ｅ１内に、車両１０００の移動に伴って移動した立体物Ｐの画像Ｐａ２が含まれていることとする。

移動ベクトル取得部５１は、タイミングｔ１で取得された投影画像Ｅ１内の重複領域Ｃに対応する画像において、画像Ｐａ１から特徴点Ａ１及びＢ１を検出し、タイミングｔ２で取得された投影画像Ｅ１内において、画像Ｐａ２から特徴点Ａ２及びＢ２を検出する。そして、検出した特徴点Ａ１乃至Ａ２と特徴点Ｂ１乃至Ｂ２とに基づいて、動きベクトルＶ１乃至Ｖ２を取得する。重複領域Ｃに立体物Ｐがある場合、タイミングｔ１で取得した投影画像Ｅ１と、タイミングｔ２で取得した投影画像Ｅ１との間で、動きベクトルＶ１乃至Ｖ２が均一でなくなるため、判定部５２では、重複領域Ｃに立体物Ｐがあることを判定できる。反対に、判定部５２では、動きベクトルが均一であれば、立体物Ｐがないことを判定できる。

ステップＳ１８０において、差分算出部６０は、判定部５２から、複数の動きベクトルが均一である旨の通知を受けると、タイミングｔ１で取得された第１画像を変換した投影画像Ｅ１と、タイミングｔ１で取得された第２画像を変換した投影画像Ｅ２との差分を算出する。具体的に、差分算出部６０は、投影画像Ｅ１内の重複領域Ｃに対応する画像内にエッジ等の特徴点を検出すると共に、投影画像Ｅ２内の重複領域Ｃに対応する画像内にもエッジ等の共通の特徴点を検出する。そして、差分算出部６０は、投影画像内に検出した特徴点の位置と、投影画像Ｅ２内に検出した特徴点の位置との差分（ずれ量）を算出し、算出した差分が予め記憶する閾値以上か否かを判定する。また、差分算出部６０は、判定結果を検知部７０に通知する。

ステップＳ１９０において、検知部７０は、差分算出部６０で差分が閾値以上であると判定された場合、車載カメラ１０_１又は車載カメラ１０_２において、配置した位置又は撮像方向にずれが生じていることを検知する。この時、検知部は、ブザー音等で報知してもよい。

なお、上述するステップＳ１１０乃至Ｓ１９０では、投影画像Ｅ１と投影画像Ｅ２とに基づいて、車載カメラ１０_１乃至１０_２にずれが発生したか否かを検出する際の動作を例に挙げて説明したが、投影画像Ｅ２と投影画像Ｅ３とに基づいて、車載カメラ１０_２乃至１０_３にずれが発生したか否かの検出を行ってもよいし、投影画像Ｅ３と投影画像Ｅ４とに基づいて、車載カメラ１０_３乃至１０_４にずれが発生したか否かの検出を行ってもよい。つまり、様々な組み合わせが可能である。

（第１実施形態に係る運転支援システムの作用・効果）
本実施形態に係る運転支援システム１において、処理装置１００では、立体物判定部５０が、投影画像Ｅ１内の重複領域Ｃに立体物があるか否かを判定し、立体物がないと判定した場合、差分算出部６０が、投影画像Ｅ１内の重複領域Ｃ１に対応する画像と、投影画像Ｅ２内の重複領域Ｃ２に対応する画像との差分を算出する。

つまり、処理装置１００では、重複領域Ｃの画像に立体物がないことを確認してから、投影画像Ｅ１内の重複領域Ｃ１に対応する画像と、投影画像Ｅ２内の重複領域Ｃ２に対応する画像との差分を算出する。よって、運転支援システム１では、重複領域に対応する画像内に立体物の画像が含まれることで、差分算出部６０で不正確な差分が算出されることを防止し、投影画像Ｅ１内の重複領域Ｃ１に対応する画像と、投影画像Ｅ２内の重複領域Ｃ２に対応する画像との差分をより正確に算出できる。

上述するように、処理装置１００によれば、複数の車載カメラ１０_１乃至１０_４を用いて撮像した画像を平面に投影した投影画像に変換すると共に、当該投影画像を合成して合成画像を生成する運転支援システム１において、車載カメラ１０_１乃至１０_４の位置にずれが発生しているか否かをより正確に判定することができる。

また、本実施形態に係る運転支援システム１において、処理装置１００では、立体物判定部５０は、複数の移動ベクトルを比較して、重複領域の画像に立体物があるか否かを判定する。ここで、例えば、移動する車両に設けられた車載カメラ１０_１が、立体物を撮像する場合、タイミングｔ１とタイミングｔ２とで、立体物に対する撮像方向が異なるため、撮像した当該立体物を含む投影画像Ｅ１は、立体物の画像が変化する。このため、立体物の画像のエッジ等を特徴点とした動きベクトルＶ１乃至Ｖ２は、均一でなくなる。

つまり、上述した処理装置１００では、タイミングｔ１で撮像された第１画像を変換した投影画像Ｅ１の重複領域Ｃの画像と、タイミングｔ２で撮像された第１画像を変換した投影画像Ｅ１と間で、複数の動きベクトルが均一であるか否かを判定することで、立体物があるか否かを判定し、立体物がない場合、投影画像Ｅ１内の重複領域Ｃ１に対応する画像と、投影画像Ｅ２内の重複領域Ｃ２に対応する画像との差分を算出するので、当該差分をより正確に算出できる。

［第２実施形態］
（本発明の第２実施形態に係る運転支援システムの構成）
本発明の第２実施形態について、第１実施形態との相違点に着目して説明する。図７には、本実施形態に係る処理装置１００（画像処理装置）のブロック図が示されている。図７に示すように、処理装置１００は、移動量取得部８０を更に備える。また、立体物判定部５０は、特定部５３と判定部５４とを備える。

移動量取得部８０は、車載カメラ１０_１乃至１０_４が画像を周期的に取得する中で、タイミングｔ１（第１タイミング）から、タイミングｔ１よりも後のタイミングｔ２（第２タイミング）までの期間における車両の移動量Ｌを取得する。

具体的に、移動量取得部８０は、タイミングｔ１からタイミングｔ２までの期間において、車輪の回転数を検出するとともに、検出した車輪の回転数と予め記憶する車輪の外周とに基づいて、車両の移動量Ｌを取得する。ここで、タイミングｔ１とタイミングｔ２とは、車載カメラ１０_１乃至１０_４が画像を周期的に取得するタイミングの中で、連続するタイミングであってもよいし、所定の間隔だけあけた（例えば、画像を取得するタイミングを２回分だけあけた）タイミングであってもよい。なお、移動量取得部８０は、車両の移動方向も検出して、移動した距離と、移動方向とを含む移動量Ｌを取得するように構成されていてもよい。

特定部５３は、移動量Ｌに基づいて、タイミングｔ２で取得された第１画像を変換した投影画像Ｅ１（第１投影画像）内に、タイミングｔ１で取得された第１画像を変換した投影画像Ｅ１（第１投影画像）内の重複領域Ｃに対応する比較領域を特定する。

判定部５４は、特定部５３によって特定されたタイミングｔ２で取得された投影画像Ｅ１内の比較領域に対応する画像と、タイミングｔ１で取得された投影画像Ｅ１内の重複領域Ｃに対応する画像との差分に基づいて、重複領域Ｃに立体物があるか否かを判定する。

具体的に、判定部５４は、重複領域Ｃに対応する画像と、比較領域に対応する画像とに共通する特徴点を複数検出する。また、判定部５４は、重複領域Ｃに対応する画像と、比較領域に対応する画像とを、例えば、領域の端を基準に重ね合わせ、重ね合わせた際の複数の特徴点の位置の差分が予め記憶する閾値以上であるか否かを判定する。また、差分算出部６０は、判定結果を検知部７０に通知する。

（第２実施形態に係る運転支援システムの動作）
上記の構成を具備する運転支援システム１の動作について説明する。具体的に、図８を参照して、処理装置１００がずれ検出を行う際の制御動作について説明する。なお、ここでは、車載カメラ１０_１乃至１０_２のずれ検出を行う際の動作を例に挙げて説明する。

ここで、ステップＳ１１０乃至Ｓ１５０における動作は、上述した第１実施形態におけるステップＳ１１０乃至ステップＳ１５０の動作と同様であるため、説明を省略する。

ステップＳ１５１において、移動量取得部８０は、タイミングｔ１からタイミングｔ２までの期間において、車両が移動した移動量Ｌを取得する。

ステップＳ１５２において、特定部５３は、移動量取得部８０によって取得された移動量Ｌに基づいて、タイミングｔ２の投影画像Ｅ１内に、タイミングｔ１の投影画像Ｅ１の重複領域Ｃに対応する比較領域を特定する。

ステップＳ１５３において、判定部５４は、タイミングｔ１で取得された投影画像Ｅ１内の重複領域Ｃに対応する画像と、特定部５３によって特定されたタイミングｔ２で取得された投影画像Ｅ１内の比較領域の画像との差分を算出する。また、判定部５４は、算出した差分が予め記憶する閾値以上であるか否かを判定する。また、判定部５４は、判定結果を検知部７０に通知する。

ここで、図９には、処理装置１００が、タイミングｔ１で取得された投影画像Ｅ１とタイミングｔ２で取得された投影画像Ｅ１とを重ね合わせたイメージが示されている。例えば、車載カメラ１０_１がタイミングｔ１で取得された投影画像Ｅ１内の重複領域Ｃ１の画像に、ポール等の立体物Ｐの画像Ｐａ１が含まれ、タイミングｔ２の時で取得された投影画像Ｅ１内に、立体物Ｐの画像Ｐａ２が含まれていることとする。特定部５３は、移動量取得部８０によって取得された移動量Ｌから、タイミングｔ２の投影画像Ｅ１内に、タイミングｔ１の投影画像Ｅ１内の重複領域Ｃ１に対応する比較領域Ｃ１_ｈを特定する。また、判定部５４は、タイミングｔ１の重複領域Ｃ１に対応する画像と、タイミングｔ２の比較領域Ｃ１_ｈの画像との差分を算出する。このとき、重複領域Ｃ１の画像と比較領域Ｃ１_ｈの画像とに立体物Ｐの画像があると、画像Ｐａ１と画像Ｐａ２とが異なる画像になるため、算出される差分が大きくなる。このようにして、判定部５４は、算出した差分が閾値以上であるか否かを判定して、重複領域Ｃ１に立体物があるか否かを判定する。

なお、以降、ステップＳ１８０乃至Ｓ１９０の動作は、第１実施形態におけるステップＳ１８０乃至Ｓ１９０の動作と同様であるため、説明を省略する。

（第２実施形態に係る運転支援システムの作用・効果）
本実施形態に係る運転支援システム１において、処理装置１００では、立体物判定部５０が、タイミングｔ１で取得された第１画像を変換した投影画像Ｅ１内の重複領域Ｃ１に対応する画像と、タイミングｔ２で取得された第１画像を変換した投影画像Ｅ１内の比較領域Ｃ１_ｈに対応する画像との差分に基づいて、重複領域Ｃ１に立体物があるか否かを判定する。

ここで、移動する車両に設けられた車載カメラ１０_１が、立体物を撮像する場合、タイミングｔ１とタイミングｔ２とで、立体物に対する撮像方向が異なるため、撮像した当該立体物を含む投影画像では、立体物の画像が変化する。このため、重複領域Ｃ１に立体物がある場合、重複領域Ｃ１に対応する画像と、比較領域Ｃ１_ｈに対応する画像との差分が大きくなる。

このようにして、上述する処理装置１００では、重複領域Ｃ１に立体物があるか否かを判定し、立体物がないと判定した場合、タイミングｔ１の投影画像Ｅ１内の重複領域Ｃ１に対応する画像と、タイミングｔ１の投影画像Ｅ２内の重複領域Ｃ２に対応する画像との差分を算出するので、当該車載カメラにずれが発生したか否かを、より正確に検出できる。

［第３実施形態］
（本発明の第３実施形態に係る運転支援システムの構成）
本発明の第３実施形態について、第１実施形態との相違点に着目して説明する。図１０には、本実施形態に係る処理装置１００（画像処理装置）のブロック図が示されている。図１０に示すように、処理装置１００は、立体物判定部５０を備えていない。

また、本実施形態に係る差分算出部６０は、投影画像Ｅ１内の重複領域Ｃに対応する画像と、投影画像Ｅ２内の重複領域Ｃ２に対応する画像との差分を算出する。

また、本実施形態に係る検知部７０は、差分算出部６０によって算出された差分が連続して閾値以上になる回数に基づいて、車載カメラ１０_１又は第２車載カメラ１０_２にずれが生じたことを検知する。

具体的に、検知部７０は、差分が連続して閾値以上になる回数をカウント数として記憶する。また、検知部７０は、記憶するカウント数が予め記憶する所定のカウント数（回数）以上になった場合、車載カメラ１０_１乃至１０_４にずれが生じたことを検知する。

（第３実施形態に係る運転支援システムの動作）
上記の構成を具備する運転支援システム１の動作について説明する。具体的に、図１１を参照して、処理装置１００がずれ検出を行う際の制御動作について説明する。なお、ここでは、車載カメラ１０_１乃至１０_２のずれ検出を行う際の動作を例に挙げて説明する。

ここで、ステップＳ１１０乃至Ｓ１３０における動作は、上述した第１実施形態におけるステップＳ１１０乃至ステップＳ１３０の動作と同様であるため、説明を省略する。

ステップＳ１８０において、差分算出部６０は、投影画像Ｅ１内の重複領域Ｃに対応する画像と、投影画像Ｅ２内の重複領域Ｃ２に対応する画像との差分を算出し、当該差分が予め記憶する閾値以上であるか否かを判定する。そして、差分算出部６０は、判定結果を検知部７０に通知する。

ステップＳ１８１において、検知部７０は、差分算出部６０から算出された差分が閾値以上である旨を通知されると、カウント数を一つ加算して記憶する。

ステップＳ１８２において、検知部７０は、差分算出部６０から算出された差分が閾値以上でない旨を通知されると、カウント数を０にリセットして記憶する。

ステップＳ１８３において、検知部７０は、加算したカウント数が予め記憶する所定のカウント数以上か否かを判定する。

ステップＳ１９０において、検知部７０は、ステップＳ１８３において、所定のカウント数以上であると判定した場合、車載カメラ１０_１乃至１０_２にずれが生じたことを検知する。

なお、上述するステップＳ１１０乃至Ｓ１９０の動作は、車載カメラ１０_１乃至１０_２で画像が取得される度に行われるように構成されていてもよいし、例えば、所定の間（例えば、１日）ごとに動作するようにしてもよい。また、検知部７０は、所定の期間内（例えば、１時間内）にずれが生じたことを検知（ステップＳ１９０の動作）しない場合には、かかる動作を停止するように構成されていてもよい。

（第３実施形態に係る運転支援システムの作用・効果）
かかる特徴によれば、検知部７０は、差分算出部６０で算出された差分が連続して閾値以上となる回数が、所定のカウント数以上であると判定した場合、車載カメラ１０_１又は車載カメラ１０_２にずれが生じたことを検知する。

ここで、車載カメラ１０_１又は車載カメラ１０_２にずれが生じていた場合、投影画像Ｅ１内の重複領域Ｃ１に対応する画像と、投影画像Ｅ２内の重複領域Ｃ２に対応する画像との差分は、何度画像を取得しても、閾値以上、つまり画像の差分が毎回閾値以上になる。また、車載カメラ１０_１又は車載カメラ１０_２にずれが生じていないが、重複領域に立体物が存在する場合、つまり、立体物が存在する間は、投影画像Ｅ１内の重複領域Ｃ１に対応する画像と、投影画像Ｅ２内の重複領域Ｃ２に対応する画像との差分が閾値以上になるが、車両が移動することによって重複領域Ｃに立体物がなくなれば、当該差分は閾値よりも小さくなる。

このようにして、上述した運転支援システムでは、算出される差分が連続して閾値以上になる回数に基づいて、重複領域に立体物があるのか、又は、車載カメラにずれが生じているのかを判定してから、ずれを検知するので、当該車載カメラにずれが発生したか否かをより正確に検出できる。

（その他の実施形態）
上述したように、本発明の一実施形態を通じて本発明の内容を開示したが、この開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態が明らかとなろう。

上述した実施形態において、立体物判定部５０は、例えば、超音波ソナー、ミリ波レーダ、レーザレーダ、赤外線レーダ等の機能を備え、かかる機能によって重複領域に立体物があるか否かを判定するように構成されていてもよい。つまり、本発明は、取得した複数の画像を投影するとともに、投影した複数の投影画像が重複する重複領域の画像の差分から、車載カメラにずれが生じたことを検出する様々のずれ検出に適用することが可能である。

また、各実施形態の構成もそれぞれ組み合わせることが可能である。また、各実施形態の作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、各実施形態に記載されたものに限定されるものではない。

このように、本発明は、ここでは記載していない様々な実施の形態などを含むことは勿論である。したがって、本発明の技術的範囲は、上述の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明の第１実施形態に係る運転支援システムの概略構成を示す概略構成図である。本発明の第１実施形態に係る運転支援システムのブロック図である。本発明の第１実施形態に係る車載カメラの画像を地面（平面）に投影した投影画像に変換する際のイメージ図である。（ａ）本発明の第１実施形態に係る投影画像Ｅ１のイメージ図である。（ｂ）本発明の第１実施形態に係る投影画像Ｅ２のイメージ図である。本発明の第１実施形態に係る運転支援システムの動作を示すフローチャート図である。本発明の第１実施形態に係る運転支援システムにおいて、タイミングｔ１で取得された投影画像Ｅ１とタイミングｔ２で取得された投影画像Ｅ１とを重ね合わせた画像のイメージ図である。本発明の第２実施形態に係る運転支援システムのブロック図である。本発明の第２実施形態に係る運転支援システムの動作を示すフローチャート図である。本発明の第２実施形態に係る運転支援システムにおいて、タイミングｔ１で取得された投影画像Ｅ１とタイミングｔ２で取得された投影画像Ｅ１とを重ね合わせた画像のイメージ図である。本発明の第３実施形態に係る運転支援システムのブロック図である。本発明の第３実施形態に係る運転支援システムの動作を示すフローチャート図である。運転支援システムにおいて、二つの投影画像を重ね合わせたイメージ図である。運転支援システムにおいて、二つの投影画像を重ね合わせたイメージ図である。

符号の説明

１…運転支援システム、１０_１乃至１０_４…車載カメラ、２０…取得部、３０…画像変換部、４０…画像合成部、５０…立体物判定部、５１…移動ベクトル取得部、５２…判定部、５３…特定部、５４…判定部、６０…差分算出部、７０…検知部、８０…移動量取得部、１００…処理装置、２００…表示部、１０００…車両、Ａ１乃至Ａ２…特徴点、Ｂ１乃至Ｂ２…特徴点、Ｃ…重複領域、Ｃ１_ｈ…比較領域、Ｃ１乃至Ｃ２…重複領域、Ｄ１乃至Ｄ４…対象領域、Ｅ１乃至Ｅ４…投影画像、Ｌ…移動量、Ｍ１乃至Ｍ２…白線、Ｏw…原点、Ｏ…原点、Ｐ…ポール、Ｓ…第１画像面、Ｓ１１０乃至Ｓ１９０…ステップ、Ｖ１乃至Ｖ２…ベクトル、ｔ１乃至ｔ２…タイミング、Ｐａ１乃至Ｐａ２…画像、

Claims

車両周辺の第１対象領域を撮像して第１画像を取得する第１車載カメラと、車両周辺の第２対象領域を撮像して第２画像を取得する第２車載カメラと、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部とを備える運転支援システムであって、
前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、
前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、
前記重複領域に立体物があるか否かを判定する立体物判定部と、
前記立体物判定部によって立体物がないと判定された場合、前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出部と、
前記差分算出部によって算出された前記差分が閾値以上である場合、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知部と
を具備することを特徴とする運転支援システム。
前記第１車載カメラは、第１タイミングと前記第１タイミングよりも後の第２タイミングとで前記第１画像を取得し、
前記立体物判定部は、
前記第１タイミングで取得された前記第１画像を変換した前記第１投影画像内の前記重複領域に対応する画像と、前記第２タイミングで取得された前記第１画像を変換した前記第１投影画像とに基づいて、複数の移動ベクトルを取得する移動ベクトル取得部と、
前記移動ベクトル取得部によって取得された前記複数の移動ベクトルを比較して、前記重複領域に立体物があるか否かを判定する判定部と
を備えることを特徴とする請求項１に記載の運転支援システム。
前記第１車載カメラは、第１タイミングと前記第１タイミングよりも後の第２タイミングとで前記第１画像を取得し、
前記第１タイミングから第２タイミングまでの車両の移動量を取得する移動量取得部を更に備え、
前記立体物判定部は、
前記移動量に基づいて、前記第２タイミングで取得された第１画像を変換した第１投影画像内に、前記第１タイミングで取得された第１画像を変換した第１投影画像内の前記重複領域に対応する比較領域を特定する特定部と、
前記特定部によって特定された前記比較領域に対応する画像と前記重複領域に対応する画像との差分に基づいて、前記重複領域に立体物があるか否かを判定する判定部と
を備えることを特徴とする請求項１に記載の運転支援システム。
車両周辺の第１対象領域を撮像して第１画像を取得する第１車載カメラと、車両周辺の第２対象領域を撮像して第２画像を取得する第２車載カメラと、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部とを備える運転支援システムであって、
前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、
前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、
前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出部と、
前記差分算出部によって算出された前記差分が連続して閾値以上になる回数に基づいて、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知部と
を具備することを特徴とする運転支援システム。
車両周辺の第１対象領域を撮像する第１車載カメラから第１画像を取得する第１取得部と、車両周辺の第２対象領域を撮像する第２車載カメラから第２画像を取得する第２取得部と、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部とを備える画像処理装置であって、
前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、
前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、
前記重複領域に立体物があるか否かを判定する立体物判定部と、
前記立体物判定部によって立体物がないと判定された場合、前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出部と、
前記差分算出部によって算出された前記差分が閾値以上である場合、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知部と
を具備することを特徴とする画像処理装置。
車両周辺の第１対象領域を撮像する第１車載カメラから第１画像を取得する第１取得部と、車両周辺の第２対象領域を撮像する第２車載カメラから第２画像を取得する第２取得部と、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部とを備える画像処理装置であって、
前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、
前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、
前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出部と、
前記差分算出部によって算出された前記差分が連続して閾値以上になる回数に基づいて、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知部と
を具備することを特徴とする画像処理装置。
車両周辺の第１対象領域を撮像する第１車載カメラから第１画像を取得する第１取得部と、車両周辺の第２対象領域を撮像する第２車載カメラから第２画像を取得する第２取得部と、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部とを備える画像処理装置におけるずれ検出方法であって、
前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、
前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、
前記重複領域に立体物があるか否かを判定する立体物判定ステップと、
前記立体物判定ステップによって立体物がないと判定された場合、前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出ステップと、
前記差分算出ステップによって算出された前記差分が閾値以上である場合、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知ステップと
を備えることを特徴とするずれ検出方法。
車両周辺の第１対象領域を撮像する第１車載カメラから第１画像を取得する第１取得部と、車両周辺の第２対象領域を撮像する第２車載カメラから第２画像を取得する第２取得部と、前記第１画像を平面に投影した第１投影画像に変換すると共に、前記第２画像を前記平面に投影した第２投影画像に変換する画像変換部と、前記第１投影画像と前記第２投影画像とを合成して合成画像を生成する画像合成部とを備える画像処理装置におけるずれ検出方法であって、
前記第１車載カメラの方向は、前記第２車載カメラの方向と異なり、
前記第１対象領域と前記第２対象領域とは、互いに重複する重複領域を有しており、
前記第１投影画像内の前記重複領域に対応する画像と、前記第２投影画像内の前記重複領域に対応する画像との差分を算出する差分算出ステップと、
前記差分算出ステップによって算出された前記差分が連続して閾値以上になる回数に基づいて、前記第１車載カメラ又は前記第２車載カメラにずれが生じたことを検知する検知ステップと
を備えることを特徴とするずれ検出方法。