JP2008219063A - 車両周辺監視装置及び方法 - Google Patents

Abstract

【課題】専用センサを用いることなく障害物検出と障害物の静止／移動検出を行う。
【解決手段】車両周辺監視装置は、車両に設置されたカメラの撮影画像を視点変換によって鳥瞰図画像に変換し、時刻ｔ及び（ｔ＋１）の鳥瞰図画像の位置合わせを、それらの画像データに基づいて行う。この際、車両近傍に立体物が存在していないと仮定し、車両近傍の画像データに基づいて位置合わせを行う。これにより、高さのない平面標識は位置ずれなく重なるが、高さのある障害物には位置ずれが生じ、差分領域が形成される。この差分領域を障害物の描画領域として捉えて障害物を検出する。更に、位置合わせ後の鳥瞰図画像間における、障害物が地面に設置している点（４７０等）の移動量から、障害物の静止／移動を分類検出し、分類結果に応じて警告内容を異ならせる。
【選択図】図７

Description

本発明は、カメラを用いて車両の周辺を監視する車両周辺監視装置及び車両周辺監視方法に関する。

車載カメラを用いて車両周辺の障害物を検出する手法として、ステレオカメラを用いる手法がある。ステレオカメラを用いれば、障害物までの距離を測ることができる。このた、前方の車両や歩行者などを検出するためにステレオカメラが用いられることがある。

ステレオカメラは、２つのカメラにて形成されるため、それ自体の使用がコストアップを招く。また、障害物までの距離に応じてステレオカメラのベースラインを調整する必用があり、２つのカメラに対して極めて高精度なカメラキャリブレーションを施す必要がある。即ち、２つのカメラの取り付け位置や取り付け角度を極めて高精度に調整してやる必要があり、導入が煩雑である。また、車両の振動などによってその調整がずれてしまい、使用中に障害物の検出精度が劣化していく可能性も高い。

そこで単眼カメラで障害物を検出する手法が求められる。単眼カメラにて障害物を検出する手法として、パターン認識により障害物としての前方車両を検出する手法がある。予めカメラパラメータ（カメラ設置条件等）を把握しておくことにより、画像上における前方車両の位置から車間距離を推定することができる。

また、下記特許文献１では、以下のような手法が提案されている。車両の移動中に、単眼カメラによって、異なる第１及び第２の地点での周辺画像を、時系列的に視差付けされた第１及び第２の画像として撮影する。そして、車両に取り付けられた舵角センサとパルスカウンタを介した車輪速センサを用いて第１の地点から第２の地点までの車両の移動データを算出する。更に、移動データを基に第１の画像を第２の地点に射影変換して第３の画像を生成し、第３の画像と第２の画像との差分から、障害物を検出する。

また、下記特許文献２では、以下のような手法が提案されている。この手法でも、特許文献１の手法と同様、速度検出装置を用いて車両（自車両）の速度情報を検出している。そして、その速度情報を基に、異なる時刻の画像間のオプティカルフローを求めることで障害物の接近を検出する。

特許第３４９４４３４号公報 特許第３４６３８５８号公報

しかしながら、パターン認識により障害物を検出する手法は、学習していないパターンの識別を不得手とするため汎用性に欠ける。

また、舵角センサと車輪速センサを用いる手法では、車両の移動量を精度良く検出することが困難であるため、これらのセンサから得た移動データには比較的大きさ誤差が含まれる。従って、障害物がない部分にも差分が現れてしまい、障害物を誤検出する可能性も高まる。また、専用のセンサ（舵角センサと車輪速センサ）が必要となる分、コストアップを招く。特許文献２に記載の手法でも、専用のセンサ（速度検出装置）を用いるため、同様の問題が生じる。

そこで本発明は、専用のセンサを必要とすることなく、車両にとっての障害物となりうる立体物を良好に検出することができる車両周辺監視装置及び車両周辺監視方法を提供することを目的とする。

本発明に係る車両周辺監視装置は、車両に設置されたカメラの撮影画像を視点変換によって鳥瞰図画像に変換する視点変換手段と、異なる時刻に得られた２つの撮影画像に基づく２つの鳥瞰図画像の位置合わせを、前記２つの鳥瞰図画像に基づいて行う位置合わせ手段と、位置合わせ後の前記２つの鳥瞰図画像間の差分に基づいて、前記車両周辺の立体物を検出する立体物検出手段と、を備えたことを特徴とする。

これにより、専用のセンサが不要となる。従って、当然、そのセンサの誤差に由来する立体物の誤検出もなくなる。結果、障害物となりうる立体物の良好な検出を期待できる。また、専用のセンサを必要としない分、コストダウンも図られる。

具体的には例えば、前記２つの鳥瞰図画像の夫々において、前記車両からの距離が比較的遠い被写体が現れる画像領域を第１画像領域と呼び且つ前記車両からの距離が比較的近い被写体が現れる画像領域を第２画像領域と呼んだ場合、前記位置合わせ手段は、前記２つの鳥瞰図画像の位置合わせを行うための画像データから各第１画像領域の画像データを除外し、各第２画像領域の画像データに基づいて前記２つの鳥瞰図画像の位置合わせを行う。

これにより、障害物となりうる立体物に影響されにくい立体物検出が可能となる。

また例えば、前記立体物検出手段は、位置合わせ後の前記２つの鳥瞰図画像間の差分に基づいて、前記立体物を検出するとともに該立体物が静止物体及び動物体の何れであるかを分類して検出する。

これにより、安全確認の支援を促進することが可能となる。

具体的には例えば、前記立体物検出手段は、前記差分に基づき位置合わせ後の前記２つの鳥瞰図画像内において前記立体物が描画されている立体物領域を特定し、前記立体物領域内の特定点の、位置合わせ後の前記２つの鳥瞰図画像間における移動量に基づいて、前記立体物を前記静止物体又は前記動物体に分類する。

そして例えば、前記立体物領域内において前記車両に最も近い点が前記特定点とされる。

また例えば、当該車両周辺監視装置は、前記立体物検出手段の検出結果に基づいて外部に警告を行う警告手段を更に備え、前記警告手段は、検出された前記立体物が前記静止物体である場合と前記動物体である場合とで、警告内容を異ならせる。

また例えば、当該車両周辺監視装置は、前記立体物との関係における前記車両の危険度を判定する危険度判定手段と、判定された前記危険度に応じて外部に警告を行う警告手段と、を更に備え、前記危険度判定手段は、検出された前記立体物の、前記静止物体と前記動物体との間の分類結果、位置合わせ後の前記２つの鳥瞰図画像から検出される、前記車両に対する前記立体物の相対的な移動の方向、位置合わせ後の前記２つの鳥瞰図画像から検出される、前記車両に対する前記立体物の相対的な移動の速度、前記立体物を含む鳥瞰図画像から検出される、前記車両に対する前記立体物の相対的な位置、及び、前記立体物を含む鳥瞰図画像上における前記立体物の大きさ、の内の何れか１以上に基づいて前記危険度を判定する。

また例えば、前記位置合わせ手段による前記２つの鳥瞰図画像の位置合わせ結果から前記車両の移動状態を推定する車両移動状態推定手段を更に備え、前記位置合わせ手段は、前記２つの鳥瞰図画像の取得後に得られる他の２つの鳥瞰図画像の位置合わせを行う際、その位置合わせの条件に、推定された前記移動状態に応じた制限を加える。

これにより、障害物となりうる立体物の誤検出を抑制することが可能となる。

そして、本発明に係る車両は、上記の何れかに記載の車両周辺監視装置を搭載したことを特徴とする。

また、本発明に係る車両周辺監視方法は、車両に設置されたカメラの撮影画像を視点変換によって鳥瞰図画像に変換し、異なる時刻に得られた２つの撮影画像に基づく２つの鳥瞰図画像の位置合わせを、前記２つの鳥瞰図画像に基づいて行い、位置合わせ後の前記２つの鳥瞰図画像間の差分に基づいて、前記車両周辺の立体物を検出する。

本発明によれば、専用のセンサを必要とすることなく、車両にとっての障害物となりうる立体物を良好に検出することができる車両周辺監視装置及び車両周辺監視方法を提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る車両周辺監視装置１の機能ブロック図である。図２（ａ）は、車両周辺監視装置１が搭載され且つカメラ２が設置された車両３の側面外観図である。図２（ｂ）は、その車両３を上空から見た外観図である。車両３は、自動車であり、路面上を走行或いは路面上に停止するものとする。図２（ｂ）において、扇型領域１００は、上空から見たカメラ２の撮影領域を表している。また、以下の説明において、路面と地面は同じものを意味し、高さとは、路面からの高さを意味するものとする。

図１の車両周辺監視装置１は、視点変換によってカメラ２の撮影画像から鳥瞰図画像（俯瞰図画像）を生成する視点変換部１１と、異なる時刻の鳥瞰図画像の位置合わせを行う位置合わせ部（画像合成部）１２と、位置合わせ結果を参照して障害物を検出し、障害物に関する障害物情報を出力する障害物検出部１３と、障害物情報に基づいて危険度を判定する危険度判定部１４と、危険度に応じた警告処理を行う警告部１５と、位置合わせ結果に基づいて車両３の移動状態を推定する車両移動状態推定部１６と、を備えている。

カメラ２は、車両３の後部に設置され、車両３の後方周辺を撮影する単眼カメラである。但し、カメラ２は、車両３の前方や側面に備えられているものであってもよい。カメラ２の撮影領域内に車両３の後方の路面及び立体物が含まれるように（即ち、カメラ２の光軸が車両３の後方下向きを向くように）、カメラ２は設置されている。カメラ２は、所定のフレーム周期（例えば、１／６０秒周期）にて、順次、車両３の後方に位置する被写体（路面及び立体物を含む）を撮影し、撮影によって得られた画像（以下、撮影画像と呼ぶ）を視点変換部１１に送る。

［視点変換部］
視点変換部１１は、カメラ２からの撮影画像を視点変換によって鳥瞰図画像（俯瞰図画像）に変換する。鳥瞰図画像は、実際のカメラ２の撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラ２の撮影画像を、地上面を鉛直方向に見下ろした画像に変換したもの（換言すれば、撮影画像を路面上へ投影した画像）である。この種の画像変換は、一般に、視点変換と呼ばれる。

視点変換によって撮影画像を鳥瞰図画像に変換することを鳥瞰変換と呼ぶ。鳥瞰変換の手法として、公知の手法を用いることができる。例えば、特開２００６−２８７８９２号公報または特開平３−９９９５２号公報に記載されているような、公知の透視投影変換を用いて鳥瞰変換を行う。撮影画像上における各点の座標を（ｘ_bu、ｙ_bu）で表し、この撮影画像を透視投影変換にて変換した鳥瞰図画像上における各点の座標を（ｘ_au、ｙ_au）で表すと、座標（ｘ_bu、ｙ_bu）を座標（ｘ_au、ｙ_au）に変換するための式は、下記式（１）によって表される。

ここで、θ_aは、図２（ａ）に示す如く、地面とカメラ２の光軸との成す角度である（但し、９０°＜θ_a＜１８０°）。（１８０°−θ_a）はカメラ２の俯角である。ｈは、カメラ２の高さに基づく量（カメラ座標系と世界座標系の、高さ方向の平行移動量）である。ｆは、カメラ２の焦点距離である。Ｈ_aは、仮想カメラの高さを表す。透視投影変換に必要なパラメータ（θ_a、ｈ、ｆ及びＨ_a）は、例えば、事前に設定され、予め車両周辺監視装置１（視点変換部１１）に与えられる。

また、透視投影変換ではなく、特開２００６−１４８７４５号公報に記載されているような平面射影変換によって鳥瞰変換を行うようにしてもよい。平面射影変換を用いる場合、カメラ２の撮影領域内に、鳥瞰図画像内における座標位置が既知の４以上の特徴点を配置し、その４以上の特徴点の撮影画像上における座標情報に基づいてホモグラフィ行列を求める。このホモグラフィ行列を用いれば、任意の撮影画像を鳥瞰図画像に変換することが可能である。

［位置合わせ部］
次に、図１の位置合わせ部１２の機能について説明する。視点変換部１１によって得られた各鳥瞰図画像は位置合わせ部１２に送られる。位置合わせ部１２は、時間的に隣接する２つの鳥瞰図画像の位置合わせを行う。今、或る時刻ｔを基準とし、上記フレーム周期を単位時間とする時刻を考える。従って、カメラ２は、時刻ｔ、（ｔ＋１）、（ｔ＋２）、・・・、において、順次、撮影画像を取得する。

時刻ｔ、（ｔ＋１）、（ｔ＋２）、・・・の撮影画像から得られた鳥瞰図画像も、撮影画像と同様、時刻ｔ、（ｔ＋１）、（ｔ＋２）、・・の鳥瞰図画像という。時刻ｔと（ｔ＋１）に着目し、時刻ｔ及び（ｔ＋１）の鳥瞰図画像間の位置合わせの手法を説明する。尚、時刻ｔ−（ｔ＋１）間を含め、車両３が実空間内で移動している場合を想定する。

図３に、時刻ｔ及び（ｔ＋１）における撮影画像及び鳥瞰図画像の例を示す。図３において、各画像（撮影画像及び鳥瞰図画像）の下方側は車両３側に対応している。図３において、符号２００及び２０１は、それぞれ時刻ｔ及び（ｔ＋１）における撮影画像を表し、符号３００及び３０１は、それぞれ時刻ｔ及び（ｔ＋１）における鳥瞰図画像を表す。

今、カメラ２の撮影領域内の路面に高さのない平面標識が描かれており、且つ、カメラ２の撮影領域内に高さのある立体物が存在している場合を想定する。平面標識は、例えば、路面にペイントされた白線や交通標識である。立体物は、車両３にとっての障害物であると捉え、以下、立体物を障害物と呼ぶことにする。説明の簡略化上、障害物は１つであるとする。平面標識は、路面上に固定されており実空間内で静止している。但し、障害物は、駐車場に固定されたポールなどの静止物体と人などの動物体とに分類され、障害物が動物体である場合、障害物は実空間内で移動しうる。図３は、カメラ２及び車両３に対して、障害物が直進してきている場合を想定している。

図３において、符号２１０は撮影画像２００上における上記障害物を表し、符号２２０は撮影画像２００上における上記平面標識を表す。
同様に、符号２１１は撮影画像２０１上における上記障害物を表し、符号２２１は撮影画像２０１上における上記平面標識を表す。
同様に、符号３１０は鳥瞰図画像３００上における上記障害物を表し、符号３２０は鳥瞰図画像３００上における上記平面標識を表す。
同様に、符号３１１は鳥瞰図画像３０１上における上記障害物を表し、符号３２１は鳥瞰図画像３０１上における上記平面標識を表す。

位置合わせ部１２は、位置合わせ対象となっている２つの鳥瞰図画像（今の例の場合、鳥瞰図画像３００及び３０１）の位置合わせを行う。この際、高さのない平面標識は位置ずれなく重なるが、障害物には位置ずれが生じる。鳥瞰図画像上には路面上への障害物の投影画像が現れるが、車両３移動中の時刻ｔ−（ｔ＋１）間で仮想カメラの視点位置が異なるため、時刻ｔ−（ｔ＋１）間で該投影画像（投影画像の形状）は原理的に異なってくるからである。従って、高さのない平面標識などに基づいて２つの鳥瞰図画像の位置合わせを行うようにすれば、位置合わせ後の２つの鳥瞰図画像間における差分から障害物を検出することが可能となる。尚、車両３が停止しており且つ障害物も静止している場合は、前記差分から障害物を検出することはできない。但し、車両３が停止していても障害物が移動している場合は、前記差分から障害物を検出可能である。

図４は、位置合わせ部１２による位置合わせ後の鳥瞰図画像３００及び３０１を、重ね合わせて示した図である。位置合わせ後の鳥瞰図画像３００及び３０１が互いに重なる画像部分を重なり部という。図４における太線３０２で囲まれた領域内が重なり部である。重なり部内において、平面標識は位置ずれなく重なるが、障害物の描画領域には差分が生じる。図４において、破線３１０ａは、位置合わせ後の鳥瞰図画像３００上における障害物を表し、実線３１１ａは、位置合わせ後の鳥瞰図画像３０１上における障害物を表す。

位置合わせ部１２は、高さのない被写体が描画されている画像領域の画像データに基づいて位置合わせを行うことにより、障害物に影響されにくい位置合わせを実現する。これの具体的な実現手法を、図５を参照して説明する。図５には、図３と同様の鳥瞰図画像３００及び３０１が示されている。

各鳥瞰図画像の全体の画像領域を、車両３からの距離（実空間における距離）が比較的遠い被写体が表れる遠側画像領域と車両３からの距離（実空間における距離）が比較的近い被写体が表れる近側画像領域とに分類して考える。上述したように各画像（撮影画像及び鳥瞰図画像）の下方側が車両３側に対応しているため、鳥瞰図画像において、上方側に遠側画像領域が配置され、下方側に近側画像領域が配置されることになる。図５には、各鳥瞰図画像が遠側及び近側画像領域に分類されている様子が示されている。即ち、鳥瞰図画像３００は、上方側に配置された遠側画像領域３３０Ｆと下方側に配置された近側画像領域３３０Ｎに分類され、鳥瞰図画像３０１は、上方側に配置された遠側画像領域３３１Ｆと下方側に配置された近側画像領域３３１Ｎに分類される。

そして、位置合わせ部１２は、鳥瞰図画像３００における近側画像領域３３０Ｎ内の画像（以下、第１参照画像と呼ぶ）と鳥瞰図画像３０１における近側画像領域３３１Ｎ内の画像（以下、第２参照画像と呼ぶ）との間における移動ベクトルを求める。この移動ベクトルは、第１参照画像と第２参照画像との間における画像の動きの方向及び大きさを特定する。そして、この移動ベクトルに従って、鳥瞰図画像３００と３０１との間の位置合わせを行う。例えば、鳥瞰図画像３００を基準とする場合、第１参照画像を基準とした第１−第２参照画像間の移動ベクトルを求め、その移動ベクトルに従って鳥瞰図画像３０１を平行移動させる座標変換を行う。そして、鳥瞰図画像３００と座標変換後の鳥瞰図画像３０１とを位置合わせ後の鳥瞰図画像とする。このように、鳥瞰図画像３００と３０１との間の位置合わせを行うに際して、遠側画像領域３３０Ｆ及び３３１Ｆの画像データを用いない。

後にも説明されるが、車両３に障害物が近づくと警告報知がなされ、この警告報知に応じて運転者は車両３を停止させる。従って、車両３の移動中においては、通常、車両３の後方近傍に障害物は存在しないはずである。これに鑑み、近側画像領域の画像データにのみ基づいて所望の位置合わせを行うようにする。

移動ベクトルの導出法は周知である。例えば、画像マッチング法（代表点マッチング法やブロックマッチング法）などを用いて上記移動ベクトルを導出することが可能である。或いは、エッジ抽出フィルタなどを用いて移動ベクトル導出に有効な複数の位置合わせ用特徴点を第１参照画像から抽出し、各位置合わせ用特徴点が第２参照画像において何れの画像位置（座標位置）に存在しているかを探索することによって、上記移動ベクトルを導出するようにしても良い。位置合わせ用特徴点とは、エッジ量などが比較的多く、探索しやすい特徴的な点を意味する。例えば、エッジ抽出フィルタを第１参照画像の各画素に順次適用していってエッジ抽出フィルタの出力値が所定値以上となる画素を位置合わせ用特徴点とする。

各鳥瞰図画像において、遠側画像領域と近側画像領域とを分類する境界線位置（図５における符合３４０及び３４１に対応）は予め設定されていてもよい。この場合、位置合わせ部１２は、各鳥瞰図画像における予め設定された領域内の画像データに基づいて上記移動ベクトルを求めることになる。

但し、以下のようにして上記移動ベクトルを求めるようにしてもよい。即ち、上記のエッジ抽出フィルタなどを用いて、第１参照画像から位置合わせ用特徴点となるべき点を第１参照画像の下方側から探索してゆく。この探索を、位置合わせ用特徴点が所定の数だけ見つかるまで行い、最終的に複数の位置合わせ用特徴点（前記所定の数の位置合わせ用特徴点）を抽出する。そして、抽出した各位置合わせ用特徴点が第２参照画像において何れの画像位置（座標位置）に存在しているかを探索することによって、上記移動ベクトルを導出する。この場合、上記境界線位置のような概念は存在しないが、結果的に、２つの鳥瞰図画像の位置合わせを行うための画像データから各遠側画像領域の画像データが除外され、各近側画像領域の画像データのみに基づいて位置合わせ用の移動ベクトルが求められることになる。

尚、図１にも表れているように、位置合わせ部１２には車両移動状態推定部１６の推定結果が与えられるが、この推定結果の利用方法については後述する。

［障害物検出部］
次に、図１の障害物検出部１３の機能について説明する。障害物検出部１３には、位置合わせ後の鳥瞰図画像が与えられる。視点変換部１１にて得られた鳥瞰図画像及び位置合わせ部１２にて求められた移動ベクトルを障害物検出部１３に与え、それらに基づいて、障害物検出部１３が位置合わせ後の鳥瞰図画像を生成するようにしてもよい。

説明の具体化のため、時刻ｔ及び（ｔ＋１）における２つの鳥瞰図画像に着目して、障害物検出部１３の機能の説明を行う。位置合わせ後の鳥瞰図画像を、「位置合わせ後画像」と呼ぶことにする。位置合わせ後の時刻ｔの鳥瞰図画像を、時刻ｔの位置合わせ後画像（又は時刻ｔにおける位置合わせ後画像）と呼ぶ。他の時刻（時刻（ｔ＋１）など）についても同様とする。

障害物検出部１３は、時刻ｔ及び（ｔ＋１）における位置合わせ後画像間において、差分をとり、差分が現れる画像領域を障害物の描画領域として検出する。より具体的には例えば、時刻ｔ及び（ｔ＋１）における位置合わせ後画像間における差分画像を生成し、該差分画像において、濃度値が所定値以上となっている部分領域を差分領域として抽出する。或いは、この差分画像において、濃度値が所定値以上となっている画素が多く存在している領域とそれ以外の領域とを領域分割し、前者の領域を差分領域として抽出する。尚、差分画像は、位置合わせ後画像間の重なり部に対してのみ生成される。

図４に示す例の場合、障害物３１０ａが描画されている画像領域と障害物３１１ａが描画されている画像領域との合成領域が差分領域として抽出されることになる。車両３が移動しており且つカメラ２の撮影領域内に静止物体又は動物体の障害物が存在している場合、或いは、車両３が静止していてもカメラ２の撮影領域内で障害物が移動している場合は、差分領域が抽出される。この場合、障害物検出部１３は、障害物が存在している旨を表す障害物有無情報を危険度判定部１４に送る。車両３が静止しており且つカメラ２の撮影領域内に障害物が存在していても該障害物が静止物体である場合、或いは、車両３の移動状態に関わらずカメラ２の撮影領域内に障害物が存在していない場合は、差分領域は抽出されない。この場合、障害物検出部１３は、障害物が存在していない旨を表す障害物有無情報を危険度判定部１４に送る。図６に、障害物有無情報を含む障害物情報の構成を示す。図６に示される他の情報の生成手法は、後述の説明から明らかとなる。

差分領域が抽出された場合を想定して、障害物検出部１３の機能説明を継続する。障害物検出部１３は、差分領域内のオプティカルフローを求め、このオプティカルフローに基づいて差分領域内に現れている障害物が静止物体と動物体の何れであるかを分類検出する。

図７（ａ）を参照する。図７（ａ）は、障害物が静止物体である場合に対応している。図７（ａ）において、破線４００は時刻ｔにおける位置合わせ後画像を表し、実線４０１は時刻（ｔ＋１）における位置合わせ後画像を表す。符合４１０が付された破線内の画像領域は、位置合わせ後画像４００における障害物の描画領域を表し、符合４１１が付された実線内の画像領域は、位置合わせ後画像４０１における障害物の描画領域を表す。位置合わせ後画像４００と４０１の間における差分領域は、画像領域４１０と４１１の合成領域となる。

図７（ａ）に示す例の場合、障害物検出部１３は、差分領域内における、位置合わせ後画像４００と４０１の間のオプティカルフローを求める。オプティカルフローは、着目した画像間における物体上の各点の移動方向と移動距離を表す移動ベクトルの分布である。オプティカルフローの導出手法は公知であり、例えば特許第３４３５０８４号公報に記載されているような公知の手法を用いればよい。例えば、オプティカルフローの導出に有効な複数の部分画像（矩形領域）を複数の特徴点として抽出し、オプティカルフローの導出対象の画像間で各特徴点の対応座標位置を求めればオプティカルフローが求まる。但し、各特徴点は互いに重ならないように設定される。オプティカルフロー導出用の特徴点は、上述の位置合わせ用特徴点の決定手法と同様の手法にて決定されてもよいし、差分領域内にグリッド（格子）を定義してグリッドの各交点を特徴点とするようにしてもよい。図７（ａ）において、差分領域の内部に記載された複数の矢印は、導出されたオプティカルフローを形成する移動ベクトル群（移動ベクトルの集まり）を表す。

障害物検出部１３は、差分領域内において最も車両３側に近い点（以下、特定点という）の、位置合わせ後画像４００と４０１の間における移動量を算出する。特定点は、１つの画素から形成されていてもよいし、複数の画素から形成された矩形領域などであってもよい。図７（ａ）に示す例の場合、位置合わせ後画像４００における特定点と位置合わせ後画像４０１における特定点とは完全に重なっており、上記移動量はゼロである。図７（ａ）において、符号４１５が重なった特定点を表している。

本実施形態の場合、カメラ２は車両３の後方下向きに取り付けられ、鳥瞰図画像の下方側が車両３側に対応している。従って、差分領域内の最も下方側に位置する点が特定点となる。鳥瞰図画像の上下方向を画像の垂直方向と捉え、鳥瞰図画像上において下方側に位置する画素ほど垂直座標値が大きくなると考えた場合、差分領域内において最も垂直座標値が大きい点が特定点とされる。尚、垂直座標値が最大となる点を特定点とする、といった取り決めは予め定められている。

鳥瞰図画像は、カメラ２の撮影画像の路面上への投影画像に相当するため、原理上、特定点は障害物が地面に接している点に相当することになる。従って、図７（ａ）に示す如く位置合わせ後画像４００と４０１の間で特定点が移動していないということは、その障害物が静止物体であることを表している。

図７（ｂ）に、障害物が動物体である場合の位置合わせ後画像を示す。図７（ｂ）において、破線４５０は時刻ｔにおける位置合わせ後画像を表し、実線４５１は時刻（ｔ＋１）における位置合わせ後画像を表す。符合４６０が付された破線内の画像領域は、位置合わせ後画像４５０における障害物の描画領域を表し、符合４６１が付された実線内の画像領域は、位置合わせ後画像４５１における障害物の描画領域を表す。位置合わせ後画像４５０と４５１の間における差分領域は、画像領域４６０と４６１の合成領域となる。

図７（ｂ）に示す例の場合、障害物検出部１３は、差分領域内における、位置合わせ後画像４５０と４５１の間のオプティカルフローを求める。図７（ｂ）において、画像領域４６０−４６１間に記載された複数の矢印は、導出されたオプティカルフローを形成する移動ベクトル群（移動ベクトルの集まり）を表す。

図７（ｂ）に示す例の場合、位置合わせ後画像４５０における特定点４７０と位置合わせ後画像４５１における特定点４７１は重なっていない。障害物検出部１３は、位置合わせ後画像４５０と４５１の間における特定点の移動量（即ち、位置合わせ後の画像空間における特定点４７０と特定点４７１の距離）を算出し、この移動量に基づいて、障害物が動物体であると判断する。

実際には例えば、障害物検出部１３は、２つの位置合わせ後画像間における特定点の移動量を算出する。そして、この移動量が所定の閾値未満あれば差分領域に現れる障害物が静止物体であると判断し、障害物が静止物体である旨を表す静止／動物体分類情報を危険度判定部１４に送る。一方、この移動量が該閾値以上あれば該障害物が動物体であると判断し、障害物が動物体である旨を表す静止／動物体分類情報を危険度判定部１４に送る（図６参照）。

また、上記のオプティカルフローを形成する移動ベクトル群における各移動ベクトルの向き（方向）は、車両３に対する障害物の相対的な移動の方向（以下、「相対移動方向」という）を表し、該移動ベクトル群の各移動ベクトルの大きさは、車両３に対する障害物の相対的な移動の速度（以下、「相対移動速度」という）を表している。障害物検出部１３は、導出したオプティカルフローに基づいて、相対移動方向及び相対移動速度を特定し、特定した相対移動方向を表す障害物移動方向情報及び相対移動速度を表す障害物移動速度情報を危険度判定部１４に送る（図６参照）。

また、障害物が描画された鳥瞰図画像上における障害物の位置は、車両３に対する障害物の相対的な位置（以下、「相対位置」という）を表している。障害物検出部１３は、最新の鳥瞰図画像に基づいて、その鳥瞰図画像上における障害物の位置を検出し、その位置を表す（換言すれば、上記相対位置を表す）相対位置情報を危険度判定部１４に送る（図６参照）。鳥瞰図画像上における障害物の位置は、例えば、着目した１枚の鳥瞰図画像上における障害物の上記特定点の座標位置で表すことができる。この座標位置は、１枚の鳥瞰図画像上における座標位置であるので、位置合わせの前でも後でも不変である。時刻ｔ及び（ｔ＋１）に着目した場合、時刻（ｔ＋１）における位置合わせ前又は後の鳥瞰図画像上の障害物の位置から相対位置情報を生成すればよい。

また、障害物が描画された鳥瞰図画像上における障害物の大きさは、実空間における障害物の大きさに比例する。障害物検出部１３は、最新の鳥瞰図画像に基づいて、その鳥瞰図画像上における障害物の大きさを検出し、その大きさを特定する障害物サイズ情報を危険度判定部１４に送る（図６参照）。鳥瞰図画像上における障害物の大きさは、例えば、鳥瞰図画像上における障害物を囲む最小の矩形領域の面積で表すことができる。この面積は、位置合わせの前でも後でも不変である。時刻ｔ及び（ｔ＋１）に着目した場合、時刻（ｔ＋１）における位置合わせ前又は後の鳥瞰図画像上の上記面積から障害物サイズ情報を生成すればよい。

［危険度判定部］
次に、図１の危険度判定部１４の機能について説明する。図１の危険度判定部１４は、障害物有無情報、静止／動物体分類情報、障害物移動方向情報、障害物移動速度情報、相対位置情報及び障害物サイズ情報を含む障害物情報（図６参照）に基づいて、障害物との関係における危険度を判定する。

危険度は、主として、障害物と車両３との衝突の危険性を表している。危険度は、例えば０以上の値とされ、危険度の数値が大きい（高い）ほど、危険性が高いことを表す。危険度の数値をＤで表す。障害物有無情報が障害物の不存在を示している場合、危険度は、最小値であるゼロとされる。以下、障害物有無情報が障害物の存在を示している場合を想定して、危険度の判定手法（算出手法）について説明する。

例えば、静止／動物体分類情報と障害物移動方向情報と相対位置情報を参照して、図８（ａ）及び（ｂ）に示すような危険度判定を行う。障害物が動物体である場合において、障害物移動方向情報に基づき該動物体が車両３に接近していると判断されるとき、危険度を「高」とする。その動物体が車両３に接近していると判断されなくても相対位置情報に基づく該動物体の位置（相対位置）が鳥瞰図画像上の所定の危険領域内に属すると判断されるとき、危険度を「中」とする。障害物移動方向情報に基づき該動物体が車両３から遠ざかっていると判断されるとき、危険度を「低」とする。

障害物が静止物体である場合は、相対位置情報にて特定される静止物体の位置（相対位置）に基づき危険度を判定する。例えば、鳥瞰図画像内を車両３との関係において最近傍領域と近傍領域と遠方領域に分類し、静止物体の位置（相対位置）が鳥瞰図画像上の最近傍領域内に属するとき、近傍領域内に属するとき、遠方領域内に属するとき、危険度を夫々「高」、「中」、「低」とする。

尚、危険度に関し、「低」、「中」、「高」の順に危険度の数値が大きくなるものとする。また、障害物の相対移動方向が何れの方向を向いている時に、動物体（障害物）が車両３に接近している或いは車両３から遠ざかっていると判断されるかは、予め設定されている。本実施形態の場合、障害物が鳥瞰図画像の中央下方よりに移動しているとき、動物体（障害物）が車両３に接近していると判断される。また、最近傍領域と近傍領域と遠方領域は、互いに重ならない領域とする。鳥瞰図画像内を最近傍領域と近傍領域と遠方領域に分類する境界線を、予め設定しておくことができる。本実施形態の場合、鳥瞰図画像内の中央下方よりの領域を最近傍領域とし、鳥瞰図画像内の上方よりの領域を遠方領域とし、最近傍領域と遠方領域に挟まれた領域を近傍領域とすればよい。

また例えば、障害物情報に基づき、以下の算出式（２）によって危険度Ｄを算出することもできる。ここで、ｋ₁〜ｋ₅は、重み付け係数であり、夫々０以上の値とする。重み付け係数ｋ₁〜ｋ₅の内、何れか１以上の重み付け係数をゼロとすることもできる。
Ｄ＝ｋ₁・Ｅ₁＋ｋ₂・Ｅ₂＋ｋ₃・Ｅ₃＋ｋ₄・Ｅ₄＋ｋ₅・Ｅ₅ ・・・（２）

Ｅ₁は、障害物が静止物体及び動物体の何れであるかに応じて値が異なる評価値である。例えば、障害物が動物体である場合、障害物が静止物体である場合よりも、評価値Ｅ₁を大きくする。

Ｅ₂は、障害物の相対移動方向に応じて値が変化する評価値である。例えば、相対移動方向に基づき、障害物が車両３に接近していると判断される場合、Ｅ₂＝Ｅ_2Aとし、障害物が車両３に対して略静止していると判断される場合、Ｅ₂＝Ｅ_2Bとし、障害物が車両３から遠ざかっていると判断される場合、Ｅ₂＝Ｅ_2Cとする。ここで、Ｅ_2A＞Ｅ_2B＞Ｅ_2C、である。

Ｅ₃は、障害物の相対移動速度に応じて値が変化する評価値である。例えば、相対移動速度によって表される相対速度が第１基準速度よりも大きい場合、Ｅ₃＝Ｅ_3Aとし、該相対速度が第１基準速度よりも小さく且つ第２基準速度よりも大きい場合、Ｅ₃＝Ｅ_3Bとし、該相対速度が第２基準速度よりも小さい場合、Ｅ₃＝Ｅ_3Cとする。ここで、Ｅ_3A＞Ｅ_3B＞Ｅ_3C、であり、第１基準速度は第２基準速度よりも大きい。

Ｅ₄は、障害物の相対位置に応じて値が変化する評価値である。例えば、上述の如く、鳥瞰図画像内を車両３との関係において最近傍領域と近傍領域と遠方領域に分類し、障害物の位置（相対位置）が鳥瞰図画像上の最近傍領域内に属するとき、近傍領域内に属するとき、遠方領域内に属するとき、評価値Ｅ₄を、夫々、Ｅ_4A、Ｅ_4B及びＥ_4Cとする。ここで、Ｅ_4A＞Ｅ_4B＞Ｅ_4C、である。

Ｅ₅は、障害物サイズ情報にて表される障害物の大きさに応じて値が変化する評価値である。例えば、その障害物の大きさが所定の第１サイズ範囲内に属するとき、Ｅ₅＝Ｅ_5Aとし、その障害物の大きさが所定の第２サイズ範囲内に属するとき、Ｅ₅＝Ｅ_5Bとし、その障害物の大きさが第１サイズ範囲内にも第２サイズ範囲内にも属さないとき、Ｅ₅＝Ｅ_5Cとする。第１サイズ範囲と第２サイズ範囲は互いに重複しない範囲であり、Ｅ_5A＞Ｅ_5B＞Ｅ_5C、である。例えば、第１サイズ範囲は鳥瞰図画像上における人体の大きさを基準として設定され、カメラ２の撮影領域内に障害物としての人体が存在する場合、Ｅ₅＝Ｅ_5Aとなるように第１サイズ範囲は設定される。また、異常に大きな障害物が検出された時、それは誤検出である可能性が高い。或いは、非常に小さな障害物（小石など）に対しては、危険性は低いと判断することが妥当である。そこで、異常に大きな障害物或いは非常に小さな障害物が検出された時には、Ｅ₅＝Ｅ_5Cとなるように、第２サイズ範囲を定めておく。

［警告部］
次に、図１の警告部１５の機能について説明する。図１の警告部１５には、危険度判定部１４にて判定された危険度に応じた警告を運転者に対して行う。警告の媒体は任意である。例えば、図示されないスピーカを用いた音声出力で警告を行っても良いし、図示されない表示装置を用いた映像表示で警告を行ってもよい。

例えば、危険度を表す値Ｄと、所定の閾値Ｄ_TH1、Ｄ_TH2及びＤ_TH3と、を比較する。ここで、Ｄ_TH1＞Ｄ_TH2＞Ｄ_TH3＞０、である。そして、
Ｄ＞Ｄ_TH1である時、危険度が「高」であると判断して高危険度警告を行い、
Ｄ_TH1＞Ｄ＞Ｄ_TH2である時、危険度が「中」であると判断して中危険度警告を行い、
Ｄ_TH2＞Ｄ＞Ｄ_TH3である時、危険度が「低」であると判断して低危険度警告を行い、
Ｄ_TH3＞Ｄであるとき、警告を行わない。

そして、低危険度警告と中危険度警告と高危険度警告との間で警告内容を異ならせる。警告内容には、警告を映像表示で行う場合における警告の表示内容、警告を音声出力で行う場合における警告の音の強度、音の種類、警告音声文言の内容などが含まれる。

低危険度警告、中危険度警告、高危険度警告の順番で、次第に運転者に対する警告レベルを上げる。例えば、音声出力にて警告を行う場合、低危険度警告と中危険度警告と高危険度警告との間で警告音（音の強度、音の種類又は警告音声文言）を異ならせる。また例えば、低危険度警告では映像表示のみで警告を行い、中危険度警告では映像表示と比較的小さな音による音声出力とで警告を行い、高危険度警告では映像表示と比較的大きな音による音声出力とで警告を行うようにしてもよい。

また、障害物が静止物体及び動物体の何れであるかに対して特に注目して警告内容を決定するようにしてもよい。この場合、必要に応じて、障害物情報が警告部１５に送られる。例えば、障害物が静止物体である場合と動物体である場合とで警告内容を異ならせるとよい。

［車両移動状態推定部］
次に、図１の車両移動状態推定部１６の機能について説明する。車両移動状態推定部１６には、位置合わせ部１２にて導出された移動ベクトルが与えられる。この移動ベクトルは、車両３の移動方向及び移動速度を表している。従って、車両移動状態推定部１６は、この移動ベクトルから車両３の移動方向及び移動速度を推定することが可能である。車両移動状態推定部１６は、位置合わせ部１２による位置合わせの度に導出される移動ベクトルを蓄積し、蓄積した各移動ベクトルに基づいて車両３の移動状態（即ち、移動方向及び移動速度）を推定する。この推定結果は、位置合わせ部１２に送られる。

位置合わせ部１２は、推定された車両３の移動状態に基づいて、次回以降に行う位置合わせの条件に制限を加える。例えば、時刻ｔ以前の２つの鳥瞰図画像間について算出された移動ベクトルから、「時刻ｔ以前において車両３が真っ直ぐ一定速度で後退し続けている」と推定された場合を想定する。

位置合わせ部１２は、次の単位時間経過後、時刻ｔ及び（ｔ＋１）の２つの鳥瞰図画像に対する位置合わせを行うのであるが、真っ直ぐ一定速度で後退し続けている車両３の移動方向が次のタイミングで急に前進方向に変化したり、車両３の速度が上記一定速度から急激に変化したりすることは、車両３の特性上、考え難い。

これを考慮し、時刻ｔ及び（ｔ＋１）の２つの鳥瞰図画像間における位置合わせ用の移動ベクトルが、時刻ｔ−（ｔ＋１）間で車両３が前進方向に進行していることを表すような移動ベクトルとなったり、時刻ｔ−（ｔ＋１）間における車両３の速度が異常な速度（上記一定速度と大きくかけ離れた速度）であることを表すような移動ベクトルになったりしないように、位置合わせの条件に制限を加える。つまり、位置合わせする際、推定された車両３の移動状態に基づき、時刻ｔの鳥瞰図画像を基準として時刻（ｔ＋１）の鳥瞰図画像を平行移動させる方向及び量に制限を加える。これにより、誤った位置合わせの発生が抑制され、ひいては、障害物の誤検出も抑制される。

［動作フロー］
次に、図９を参照して、図１の車両周辺監視装置１の全体的な動作の流れを説明する。図９は、その動作の流れを表すフローチャートである。

まず、カメラ２から撮影画像を取得し（ステップＳ１）、視点変換部１１が鳥瞰変換を行って鳥瞰図画像を生成する（ステップＳ２）。生成された鳥瞰図画像は、図示されないフレームメモリ（及び必要に応じて不揮発性記録媒体）に記憶される（ステップＳ３）。次に、位置合わせ部１２は、該フレームメモリの記憶内容を参照し、時間的に隣接する２つの鳥瞰図画像の位置合わせを行う（ステップＳ４）。この際、上述したように、車両移動状態推定部１６による車両３の移動状態の推定結果が参照される。次に、障害物検出部１３が、位置合わせ部１２による位置合わせ結果を参照しつつ、障害物検出を行うとともに障害物が静止物体と動物体の何れであるかを分類検出する（ステップＳ５及びＳ６）。次に、障害物検出部１３の検出結果に基づいて、危険度判定部１４が危険度の判定を行い（ステップＳ７）、判定された危険度に応じて警告部１５が警告処理を行う（ステップＳ８）。これらの処理（ステップＳ１〜Ｓ８）は、順次、繰り返し実行される。

［従来手法に対する優位性］
上述の従来手法との比較において、本実施形態に係る車両周辺監視装置１の優位性を考察する。

上述の従来手法は、全て、障害物を検出することはできても、障害物が静止しているか或いは移動しているかを区別することはできない。車両が走行する路面上にある障害物は全て危険な物と判断できるため、通常は、障害物の静止／移動に関わらず、それを危険物として検出し、警告を行っても問題はない。

しかし、壁や塀に向かって駐車する状況や狭い道路内で電柱の側を通り抜ける状況などにおいては、障害物の静止／移動が区別して検出された方が良い。そうような状況では、静止物体が絶えず障害物として検出される。従って、そうような状況において新たに歩行者や車が自車両に近づいてきたことを想定した場合、検出された障害物が既に存在する静止した障害物であるのか、新たに近づいてきた障害物であるのかを判別できないとすると、漫然と同じ警告を出し続けるしかないからである。

この点、本実施形態に係る車両周辺監視装置１では、障害物を静止物体と動物体とで分類検出することができるため、検出された障害物が静止物体である場合と動物体である場合とで警告内容を変えるといったことが可能である。このため、より詳細に障害物に関する情報を運転者に提示することができ、より安全確認が支援される。

また、上記特許文献１及び２に記載の手法では専用のセンサが必要となるが、車両周辺監視装置１では、これが不要であるためコストダウン等も図られる。また、そのセンサの誤差に由来する誤検出もなくなる。

尚、ステレオカメラを用いた場合、障害物までの距離や障害物の表面形状を計測することができるが、障害物の背景に壁などがある場合、障害物（特にその壁に似た色を持つ障害物）を特定することが困難となる。また、障害物の静止／移動を区別して検出するためには特定した物体を同定しながら追跡する必要があり、自車両が移動している場合は自車両の動きを考慮する必要があることから、障害物の静止／移動の識別は困難となる。

＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
図１の車両周辺監視装置１は、例えば、車両３のカーナビゲーションシステム（不図示）内に組み込まれ、そのカーナビゲーションシステムの一部となりうる。

［注釈２］
図１の車両周辺監視装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、車両周辺監視装置１にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

本発明の実施形態に係る車両周辺監視装置の機能ブロック図である。 図１の車両周辺監視装置が搭載され且つカメラが設置された車両の側面外観図（ａ）と、その車両を上空から見た外観図（ｂ）である。 時刻ｔ及び（ｔ＋１）における撮影画像及び鳥瞰図画像の例を示す図である。 図３の鳥瞰図画像を位置合わせした結果を示す図である。 図１の位置合わせ部による位置合わせ処理を説明するための図である。 図１の障害物検出部にて生成される障害物情報の構成を示す図である。 障害物が静止物体である場合における位置合わせ後の各鳥瞰図画像を示す図（ａ）と、障害物が動物体である場合における位置合わせ後の各鳥瞰図画像を示す図（ｂ）である。 図１の危険度判定部による危険度判定の手法例を示す図である。 図１の車両周辺監視装置の全体的な動作の流れを表すフローチャートである。

符号の説明

１ 車両周辺監視装置
２ カメラ
３ 車両
１１ 視点変換部
１２ 位置合わせ部
１３ 障害物検出部
１４ 危険度判定部
１５ 警告部
１６ 車両移動状態推定部
１００ 撮影領域

Claims (10)

1. 車両に設置されたカメラの撮影画像を視点変換によって鳥瞰図画像に変換する視点変換手段と、
   異なる時刻に得られた２つの撮影画像に基づく２つの鳥瞰図画像の位置合わせを、前記２つの鳥瞰図画像に基づいて行う位置合わせ手段と、
   位置合わせ後の前記２つの鳥瞰図画像間の差分に基づいて、前記車両周辺の立体物を検出する立体物検出手段と、を備えた
   ことを特徴とする車両周辺監視装置。
2. 前記２つの鳥瞰図画像の夫々において、前記車両からの距離が比較的遠い被写体が現れる画像領域を第１画像領域と呼び且つ前記車両からの距離が比較的近い被写体が現れる画像領域を第２画像領域と呼んだ場合、
   前記位置合わせ手段は、前記２つの鳥瞰図画像の位置合わせを行うための画像データから各第１画像領域の画像データを除外し、各第２画像領域の画像データに基づいて前記２つの鳥瞰図画像の位置合わせを行う
   ことを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記立体物検出手段は、位置合わせ後の前記２つの鳥瞰図画像間の差分に基づいて、前記立体物を検出するとともに該立体物が静止物体及び動物体の何れであるかを分類して検出する
   ことを特徴とする請求項１または請求項２に記載の車両周辺監視装置。
4. 前記立体物検出手段は、前記差分に基づき位置合わせ後の前記２つの鳥瞰図画像内において前記立体物が描画されている立体物領域を特定し、前記立体物領域内の特定点の、位置合わせ後の前記２つの鳥瞰図画像間における移動量に基づいて、前記立体物を前記静止物体又は前記動物体に分類する
   ことを特徴とする請求項３に記載の車両周辺監視装置。
5. 前記立体物領域内において前記車両に最も近い点が前記特定点とされる
   ことを特徴とする請求項４に記載の車両周辺監視装置。
6. 前記立体物検出手段の検出結果に基づいて外部に警告を行う警告手段を更に備え、
   前記警告手段は、検出された前記立体物が前記静止物体である場合と前記動物体である場合とで、警告内容を異ならせる
   ことを特徴とする請求項３〜請求項５の何れかに記載の車両周辺監視装置。
7. 前記立体物との関係における前記車両の危険度を判定する危険度判定手段と、
   判定された前記危険度に応じて外部に警告を行う警告手段と、を更に備え、
   前記危険度判定手段は、
   検出された前記立体物の、前記静止物体と前記動物体との間の分類結果、
   位置合わせ後の前記２つの鳥瞰図画像から検出される、前記車両に対する前記立体物の相対的な移動の方向、
   位置合わせ後の前記２つの鳥瞰図画像から検出される、前記車両に対する前記立体物の相対的な移動の速度、
   前記立体物を含む鳥瞰図画像から検出される、前記車両に対する前記立体物の相対的な位置、及び、
   前記立体物を含む鳥瞰図画像上における前記立体物の大きさ、
   の内の何れか１以上に基づいて前記危険度を判定する
   ことを特徴とする請求項３〜請求項５の何れかに記載の車両周辺監視装置。
8. 前記位置合わせ手段による前記２つの鳥瞰図画像の位置合わせ結果から前記車両の移動状態を推定する車両移動状態推定手段を更に備え、
   前記位置合わせ手段は、前記２つの鳥瞰図画像の取得後に得られる他の２つの鳥瞰図画像の位置合わせを行う際、その位置合わせの条件に、推定された前記移動状態に応じた制限を加える
   ことを特徴とする請求項１〜請求項７の何れかに記載の車両周辺監視装置。
9. 請求項１〜請求項８の何れかに記載の車両周辺監視装置を搭載した
   ことを特徴とする車両。
10. 車両に設置されたカメラの撮影画像を視点変換によって鳥瞰図画像に変換し、
    異なる時刻に得られた２つの撮影画像に基づく２つの鳥瞰図画像の位置合わせを、前記２つの鳥瞰図画像に基づいて行い、
    位置合わせ後の前記２つの鳥瞰図画像間の差分に基づいて、前記車両周辺の立体物を検出する
    ことを特徴とする車両周辺監視方法。

Images