JP2010085240A - 車両用画像処理装置 - Google Patents

Abstract

【課題】演算負荷を低減すると共に、画像間での特徴点の誤対応を抑制し且つ自車運動量及び３次元座標値の算出精度を向上させることが可能な車両用画像処理装置を提供する。
【解決手段】外界カメラ２と、画像から特徴点を抽出する特徴点抽出選択部３４と、第２画像から第１画像の特徴点に対応する対応点を決定するマッチング処理部３５と、特徴点と対応点を用いてカメラ運動量を算出するカメラ運動算出部３６と、このカメラ運動量，第１画像及び第２画像を用いて車両周囲の３次元座標値を算出する３次元座標値算出部３７とを備えた車両用画像処理装置１であって、カメラ運動算出部３６は、カメラ運動推定部３８によるカメラ運動推定量に基づいて第２画像中で特徴点が位置すると予測される点を算出し、この算出点を中心として探索領域を限定し、限定した探索領域内で対応点を抽出する。
【選択図】図６

Description

本発明は、車両用画像処理装置に係り、特に撮像手段で撮像した画像に基づいて車両周辺の３次元座標を算出する車両用画像処理装置に関する。

従来、車両周辺の３次元座標を算出する車両用画像処理装置において、車両の移動に伴って１台の車載カメラで車両周辺を撮像した２枚の画像から、それぞれ多数の特徴点を抽出し、２枚の画像間で共通の部位を撮像していると判断される特徴点を対応付け、これら多数の対応点に基づいて自車運動量又はカメラ運動量（並進移動量と回転量）を算出するものが知られている（例えば、特許文献１参照）。

自車運動量の算出処理では、例えば、ランダムに選択された複数（８点）の対応点の組が多数設定され、各組でそれぞれ基礎行列が導出される。そして、複数導出された基礎行列を所定の評価量で評価し、この評価量に基づいて最も確からしい基礎行列が選択される。そして、選択された基礎行列に基づいて、自車運動量が推定される。

一方、２枚の画像間での特徴点の対応付けの処理は、例えば、第１画像の特徴点の画像部分を、第２画像の特徴点と順次比較していくことにより、マッチング度合が高い特徴点同士が対応点として対応付けられる。

しかしながら、このような対応付け手法は演算負荷が高くなるため効率的ではない。また、このような対応付け手法では、似たような特徴点が複数存在する場合に、本来対応すべき特徴点ではない特徴点と対応付けられ誤対応（アウトライア）が発生してしまうという問題があった。誤対応が発生すると、自車運動量の算出処理および３次元座標の算出処理において、大きな誤差が生じてしまう。

このような対応付け処理の演算負荷を軽減し且つ誤対応を抑制するために、例えば特許文献２に記載の画像処理装置では、ＧＰＳ／ＩＮＳ方式の車載センサからのデータに基づいて、仮に自車運動量を算出し、この自車運動量に基づいて、第１画像の特徴点に対応する第２画像の特徴点を、仮のエピポーラ拘束線上で探索するように構成されている。これにより、この画像処理装置では、画像平面上で直線の拘束となる仮のエピポーラ拘束線上に対応点の探索範囲が限定されることで演算負荷を軽減することができると共に、誤対応を抑制することができる。

特開２００７−２５６０２９号公報 特開２００６−２３４７０３号公報

しかしながら、特許文献２に記載の画像処理装置においては、エピポーラ拘束線上に似たような特徴点が存在する場合には、やはり誤対応が生じるおそれがあるという問題があった。また、この画像処理装置では、従来と比べて演算負荷が軽減されるものの、エピポーラ拘束線上の範囲にわたって探索しなければならないため依然として演算負荷が高くなる場合があり、より演算負荷を軽減させたいという要望があった。

また、従来のように、ランダムに選択した複数の対応点からなる多数の対応点の組から、自車運動量を推定する方法では、自車運動量の推定精度を向上させるためには、対応点の組の数をより多く設定しなくてはならず、演算負荷が高くなってしまうという問題があった。

本発明は、このような課題を解決するためになされたものであり、演算負荷を低減すると共に、画像間での特徴点の誤対応を抑制し、且つ、自車運動量及び３次元座標値の算出精度を向上させることが可能な車両用画像処理装置を提供することを目的としている。

上記の目的を達成するために、本発明は、車両に搭載され車両周囲の画像を撮像する撮像手段と、撮像手段が第１時間に撮像した第１画像中から特徴点を抽出し、撮像手段が第１時間から所定時間経過後の第２時間に撮像した第２画像中から、第１画像中の特徴点に対応する対応点を抽出し、特徴点と対応点を用いて撮像手段の運動量を算出する運動量算出手段と、この運動量算出手段が算出した運動量，第１画像及び第２画像を用いて車両周囲の３次元座標値を算出する３次元座標値算出手段と、を備えた車両用画像処理装置であって、撮像手段の運動量を推定する運動量推定手段を更に備え、運動量算出手段は、運動量推定手段により推定された運動推定量に基づいて、第２画像中で特徴点が位置すると予測される点を算出し、この算出点を中心として特徴点に対応する対応点を抽出するための第２画像中の探索領域を限定し、限定した探索領域内で対応点を抽出することを特徴としている。

このように構成された本発明によれば、運動量推定手段によって推定された運動推定量に基づいて、対応点を抽出するための探索領域が運動推定量に基づいて限定されるので、運動量算出手段が実行する特徴点と対応点の対応付け処理において、探索領域の限定により演算負荷を軽減することができる。また、探索領域が限定されることにより、誤対応を抑制することができ、これにより、その後の処理において運動量を精度よく算出することが可能となる。

また、本発明において好ましくは、運動量算出手段は、限定した探索領域内で、特徴点と相関が高い画像領域を前記対応点として抽出する。このように構成された本発明によれば、第２画像に対して特徴点を抽出しなくてもよいので、演算負荷を軽減することできる。

また、本発明において好ましくは、運動量算出手段は、所定数の特徴点及びこれらに対応する対応点を選択し、選択した所定数の特徴点及び対応点を用いて運動量を算出し、運動量算出手段は、選択された特徴点によって決定される所定数のエピポーラ線同士が形成する角度が大きな角度を有するように、所定数の特徴点を選択する。

このように構成された本発明によれば、運動量算出手段が、所定数の第１画像の特徴点と第２画像の対応点の組を用いて撮像手段の運動量を算出するように構成され、この際に用いられる所定数の特徴点によって形成されるエピポーラ線同士が大きな角度をなすように所定数の特徴点が選択される。このように所定数の特徴点が選択されることにより、これら特徴点が、３次元空間中で遠近方向等に広がった範囲に分布し易くなる。これにより、運動量算出手段によって算出される撮像手段の運動量の精度を向上させることができる。

また、本発明において好ましくは、所定数が８である。このように構成された本発明によれば、８点の特徴点及びこれに対応する対応点により、第１画像と第２画像との間で運動量を線形解法により算出することができる。
また、本発明において、好ましくは、所定数が７である。このように構成された本発明によれば、７点の特徴点及びこれに対応する対応点により、第１画像と第２画像との間で運動量を非線形解法により算出することができる。
また、本発明において、好ましくは、撮像手段に固有の内部カメラパラメータ（焦点距離、画像中心の座標、画像平面の縦横のスケール・ファクター、及びせん断係数）が既知である場合において、所定数が５である。このように構成された本発明によれば、５点の特徴点及びこれに対応する対応点により、第１画像と第２画像との間で運動量を非線形解法により算出することができる。

また、具体的には、運動量算出手段は、所定数の特徴点を画像中心から遠い順に選択してもよいし、画像平面上で所定数の特徴点を結んで形成される面積が最大となるように、所定数の特徴点を選択してもよいし、画像平面を所定数に分割した各分割領域から対応点を１点づつ選択することにより、所定数の特徴点を選択してもよい。また、運動量算出手段は、特徴点と対応点によって形成されるオプティカルフローベクトルのうち、最も大きいものから所定数の半数のオプティカルフローベクトルを形成する特徴点と、最も小さいものから所定数の半数のオプティカルフローベクトルを形成する特徴点とを選択することにより、所定数の特徴点を選択する。

本発明の車両用画像処理装置によれば、演算負荷を低減すると共に、画像間での特徴点の誤対応を抑制し、且つ、自車運動量及び３次元座標値の算出精度を向上させることができる。

以下、添付図面を参照して本発明の実施形態について説明する。ここでは、代表例として選択する特徴点の数が８の場合を示す。特徴点の数が、７又は５の場合は、運動量の算出のための基礎行列、基本行列の算出方法が線形解法から非線形解法に置き換わるものである。図１は車両用画像処理装置の構成図、図２はフレーム画像撮像時の説明図、図３は図２において外界カメラで撮像されたフレーム画像の説明図、図４はフレーム画像中の対応点の説明図、図５は特徴点とエピポーラ平面及びエピポーラ線の関係を示す説明図、図６は特徴点の選択処理の説明図、図７は他の実施形態による特徴点の選択処理の説明図、図８は車両用画像処理装置が実行する処理のフローチャートである。

本実施形態の車両用画像処理装置１は、図１に示すように、外界カメラ２と、コントローラ３と、測位センサ５と、車載センサ６と、地図データベース７と、距離センサ８と、固定既知データベース９とを備えている。
外界カメラ２は、ＣＣＤカメラやＣＭＯＳカメラ等の撮像手段であり、例えば車幅方向右側を向くように車両１０に所定高さで搭載されている（図２参照）。この外界カメラ２は、車両右側の画像を所定のフレームレートで撮像し、撮像したフレーム画像をコントローラ３に出力するように構成されている。

測位センサ５は、ＧＰＳ，ＩＮＳ等の車両測位データを測定するために車両に搭載されたセンサであり、測位データをコントローラ３に出力する。この測位データにより、車両１０及び車両１０に搭載された外界カメラ２の測位変化を検出可能である。
車載センサ６は、車両速度，車両加速度，ヨー角，ロール角，ピッチ角，角速度等の車両の移動量，移動量変化を測定するために車両に搭載されたセンサであり、これらの測定データをコントローラ３に出力する。この測定データにより、車両１０及び車両１０に搭載された外界カメラ２の位置変化を検出可能である。
地図データベース７は、ＨＤＤ等の記憶装置で構成され、測位センサ５からの測位データ等と合わせて、自車両の位置を特定するための地図データを格納し、この地図データをコントローラ３に出力する。

距離センサ８は、レーザレーダ，ミリ波レーダ，赤外線ＴＯＦ装置等で構成することができ、任意の対象物までの距離データをコントローラ３に出力する。
固定既知データベース９は、ＨＤＤ等の記憶装置で構成され、道路標識情報，信号機情報，ナンバープレート情報，ランドマーク情報を記憶し、これらのデータをコントローラ３に出力する。これら情報は、道路標識，信号機，ナンバープレート，ランドマークの形状や大きさ，寸法を含んでいる。

コントローラ３は、車両１０内に配置されており、ＣＰＵ，プログラム等を記憶したメモリ等を備えたマイクロコンピュータを含んで構成されている。コントローラ３は、外界カメラ２から受け取ったフレーム画像に対して画像認識処理を行うことにより、車両１０の周辺の３次元座標値を算出するように構成されている。

本実施形態では、コントローラ３は、画像取得部３１，移動体領域分離部３２，探索領域設定部３３，特徴点抽出選択部３４，マッチング処理部３５，カメラ運動算出部３６，３次元座標値算出部３７，カメラ運動推定部３８を備えている。これらは、ＣＰＵがプログラムを実行することにより実現される。また、コントローラ３は、ＨＤＤ等の記憶装置により構成される記憶手段である３次元データ蓄積部３９を備えている。

画像取得部３１は、外界カメラ２からフレーム画像を取得し、このフレーム画像を移動体領域分離部３２に出力し、移動体領域分離部３２は、受け取ったフレーム画像から移動体画像領域を分離する。
探索領域設定部３３は、フレーム画像中の特徴点に対応する対応点を、他のフレーム画像中で探索する際の探索画像領域を設定するための設定データを作成する。

特徴点抽出選択部３４は、フレーム画像から特徴点を抽出すると共に、カメラ運動量を算出するために用いる所定数の特徴点を選択する処理を行う。
マッチング処理部３５は、フレーム画像中の選択された特徴点に対応する対応点を、他のフレーム画像中で検出する処理を行う。
カメラ運動算出部３６は、選択された特徴点とこれに対応する対応点とを用いて、カメラ運動量を算出する処理を行う。
探索領域設定部３３，特徴点抽出選択部３４，マッチング処理部３５，カメラ運動算出部３６は、運動量算出手段を構成している。

３次元座標値算出部３７は、算出されたカメラ運動量に基づいて、車両周囲の３次元座標値を算出する処理を行う。
カメラ運動推定部３８は、算出されたカメラ運動量に基づいて、所定時間経過後のカメラ運動量を予測する処理を行う。
３次元データ蓄積部３９は、算出された３次元データを蓄積する処理を行う。

次に、本実施形態における処理の概要について説明する。
本実施形態では、画像取得部３１は、外界カメラ２から所定時間経過毎にフレーム画像を受け取り、移動体領域分離部３２に出力する。すなわち、画像取得部３１は、離散的な時間ｔ_-n，ｔ_-(n-1)，・・・，ｔ_-1，ｔ₀，ｔ₊₁，ｔ₊₂，・・・にそれぞれフレーム画像Ａ_-n，Ａ_-(n-1)，・・・，Ａ_-1，Ａ₀，Ａ₊₁，Ａ₊₂，・・・を受け取る。
移動体領域分離部３２は、所定時間毎に受け取るフレーム画像中から、カメラ運動量を算出するのに妨げとなる他車両等の移動体画像部分を分離し、静止物ではない移動体を除くフレーム画像を特徴点抽出選択部３４等に出力する。

特徴点抽出選択部３４は、フレーム画像を受け取ると、このフレーム画像中から特徴点を抽出する。例えば、時間ｔ₀に新たにフレーム画像Ａ₀を受け取ると、このフレーム画像Ａ₀から特徴点を抽出する。特徴点を抽出する方法としては、種々の手法を用いることができ、例えば、Harrisオペレータ，SUSANオペレータ，Foerstnerオペレータ，Sojkaオペレータ，ＳＩＦＴ等を用いることができる。

図２は、車両１０が、丁字路を右折する状況を示している。このとき車両１０に搭載されている外界カメラ２のカメラ視野ａが矩形状の標識２０を捉えている。図３（Ａ），（Ｂ）は、それぞれ図２の状況での時間ｔ１，ｔ２におけるフレーム画像Ａ１，Ａ２を示している。時間ｔ２は、時間ｔ１から所定時間経過後の時刻である。例示として、図３（Ａ），（Ｂ）には、それぞれ多数の特徴点２２が示されている。

また、特徴点抽出選択部３４は、前回の処理で受け取っていたフレーム画像Ａ_-1について、このフレーム画像Ａ_-1から抽出した特徴点から、後述する選択処理に基づいて、カメラ運動算出部３６でカメラ運動量を算出するために用いる所定数（本例では８点）の特徴点を選択する。
なお、フレーム画像Ａ_-1から所定数の特徴点を選択する代わりに、特徴点抽出選択部３４がフレーム画像Ａ₀から所定数の特徴点を選択するように構成してもよい。

さらに、特徴点抽出選択部３４は、探索領域設定部３３からフレーム画像Ａ_-1中の選択された各特徴点に対応する、フレーム画像Ａ₀中の対応点を探索するための探索画像領域設定データを受け取る。特徴点抽出選択部３４は、このデータに基づいて、フレーム画像Ａ_-1中で選択された各特徴点に対応する、フレーム画像Ａ₀中の対応点を探索するための探索画像領域を設定する。

マッチング処理部３５は、フレーム画像Ａ_-1で抽出された特徴点のうち、特徴点抽出選択部３４で選択された所定数の特徴点と、これらに対応するフレーム画像Ａ₀での探索画像領域を特徴点抽出選択部３４から受け取り、各特徴点の対応点をフレーム画像Ａ₀内の対応する探索画像領域内で探索し、対応点を決定する。

この決定処理では、マッチング処理部３５は、フレーム画像Ａ₀で既に抽出した特徴点のうち探索画像領域内にある特徴点付近で、フレーム画像Ａ_-1の特徴点の画像部分（領域）と輝度相関が最も高い画像部分（領域）をマッチングにより抽出し、フレーム画像Ａ_-1の特徴点との対応付けを行い、フレーム画像Ａ₀における対応点を決定する。この対応点は、フレーム画像Ａ₀で既に抽出した特徴点そのものであってもよいし、特徴点付近の画像部分であってもよい。特徴点を対応付ける方法としては、他にも輝度勾配相関，位相限定相関，特徴量相関，ＳＩＦＴの相関等による方法を用いることができる。
例示として、図４には、フレーム画像Ａ２でフレーム画像Ａ１の特徴点２２と対応付け可能なすべての対応点２３が示されている。

なお、本実施形態では、特徴点抽出選択部３４がフレーム画像Ａ₀の特徴点を予め抽出しているので、マッチング処理部３５の処理を簡単にするために、フレーム画像Ａ_-1の特徴点に対応するフレーム画像Ａ₀の対応点を、探索画像領域内で抽出されている特徴点からマッチングにより選択するように構成してもよい。

また、本実施形態では、マッチング処理部３５は、特徴点抽出選択部３４が選択した所定数の特徴点についてのみマッチングを行うように構成されているが、これに限らず、すべての特徴点についてマッチングを行うように構成してもよい。また、この場合は、すべての特徴点についてマッチングを行った後に、特徴点抽出選択部３４が所定数の特徴点を選択すればよい。
また、特徴点抽出選択部３４がフレーム画像Ａ₀から特徴点を選択する場合には、探索領域設定部３３は、フレーム画像Ａ₀中の選択された各特徴点に対応する、フレーム画像Ａ_-1中の対応点を探索するための探索画像領域設定データを出力し、特徴点抽出選択部３４は、フレーム画像Ａ_-1内に探索画像領域を設定する。この場合、マッチング処理部３５は、上述のマッチング処理をフレーム画像Ａ_-1に対して行い、対応点を決定する。

カメラ運動算出部３６は、所定時間経過毎にフレーム画像を受け取る度に、フレーム画像を用いて外界カメラ２の運動量（車両１０の運動量）を算出する。すなわち、カメラ運動算出部３６は、例えば、前回の処理対象であったフレーム画像Ａ_-1を受け取った時間ｔ_-1から、現在の処理対象であるフレーム画像Ａ₀を受け取った時間ｔ₀までの間のカメラ運動量Ｐ₀、すなわち３軸の回転運動成分Ｒと並進運動成分ｔを算出する。

本実施形態では、カメラ運動算出部３６は、公知の８点アルゴリズムを利用してカメラ運動量Ｐを算出する。すなわち、カメラ運動算出部３６は、マッチング処理部３５で対応付けられたそれぞれ所定数（８点）のフレーム画像Ａ_-1の特徴点及びフレーム画像Ａ₀の対応点と、既知の内部カメラパラメータ等に基づいて、基礎行列及び基本行列を算出し、基本行列を特異値分解法等によって解くことにより、外界カメラ２の回転運動成分Ｒと並進運動成分ｔを算出する。なお、スケールの決定については、フレーム画像から道路平面を検出して、外界カメラ２の設置高さに基づいてスケールを決定してもよいし、距離センサ８等の距離データを使用してもよい。

なお、本記実施形態では、カメラ運動算出部３６が、選択された８点の特徴点及びこれに対応する対応点に基づいて、基礎行列を線形解法により算出し、既知の内部カメラパラメータにより基本行列を算出して、この基本行列をもとにカメラ運動量を算出するが、これに限られるものではない。その他にも、カメラ運動算出部３６は、内部カメラパラメータが既知の場合には、７点の特徴点から非線形解法で基礎行列を算出してもよい。また、カメラ運動算出部３６は、内部カメラパラメータが未知の場合には、８点の特徴点から導出した基礎行列から非線形解法により基本行列を算出してもよい。さらには、カメラ運動算出部３６は、内部カメラパラメータが既知の場合には、５点の特徴点から非線形解法で直接基本行列を算出してもよい。

３次元座標値算出部３７は、得られたカメラ運動量Ｐと対応する特徴点を利用して、３角測量に基づくステレオ処理により、フレーム画像中の例えば特徴点の３次元座標を推定する。これらの手法は公知のものなので省略する。
３次元データ蓄積部３９は、３次元座標値算出部３７が算出した３次元データを保存する。

カメラ運動推定部３８は、カメラ運動算出部３６が逐次算出したカメラ運動量に基づいて、時間ｔ₀の処理時点で、次回の処理（時間ｔ₊₁）でフレーム画像Ａ₊₁を受け取った場合にカメラ運動算出部３６によって算出されるべきカメラ運動量Ｐ₊₁を予測する。本実施形態では、カメラ運動推定部３８は、時間的に離散的なカメラ運動量の変化に基づいて、カルマンフィルタを用いて、次処理におけるカメラ運動量Ｐ₊₁の予測値であるカメラ運動推定量Ｐ₊₁’を算出する。

なお、本実施形態では、カメラ運動推定部３８は、フレーム画像に基づいて画像処理によってカメラ運動量を推定しているが、これに限らず、測位センサ５，車載センサ６，距離センサ８等の測定データから現在のカメラ運動量を算出してもよい。また、これらの測定データに基づいて算出したカメラ運動量で、画像処理によって算出したカメラ運動推定量の推定精度を高めるように補正してもよい。

探索領域設定部３３は、カメラ運動推定部３８がカメラ運動推定量Ｐ₊₁’を算出した時間ｔ₀におけるフレーム画像Ａ₀中の特徴点が、時間ｔ₊₁のフレーム画像Ａ₊₁中で移動すると予測される探索画像領域を、３次元データを考慮して、カメラ運動予測量Ｐ₊₁’に基づいて特定するための探索画像領域設定データを算出する。探索画像領域設定データにより、探索画像領域は、前回処理のフレーム画像Ａ₀の特徴点が今回の処理のフレーム画像Ａ₊₁で位置すると予測される点を中心として、例えば数十画素の範囲に設定される。

このように、本実施形態では、カメラ運動量を予め予測して、これに基づいて特徴点が移動すると予測される画像領域から探索画像領域を設定し、この探索画像領域内で特徴点に対応する対応点を抽出するので、演算処理を大幅に軽減することができる。さらに、探索範囲を探索画像領域に限定することで、誤対応の可能性を極めて低減することが可能となる。

また、本実施形態では、カメラ運動算出部３６は、従来のように８点の特徴点の組み合わせを多数設定して、これら多数の組からそれぞれ算出された多数のカメラ運動量からさらに確からしいカメラ運動量を算出するものではなく、適切に選択された正確に対応する８点の特徴点及び対応点を用いてカメラ運動量Ｐを算出する。したがって、本実施形態では、カメラ運動量Ｐの演算負荷を極めて低減することができる。

次に、上述の特徴点の選択処理について説明する。
図５（Ａ）は、時間ｔ１から時間ｔ２にかけて外界カメラ２が移動した場合を示している。このとき、カメラの光学中心が視点Ｃから視点Ｃ’に移動している。時間ｔ１，ｔ２において、例えば特徴点である空間中の点Ｑ１，Ｑ２，Ｑ３は、視点Ｃの画像平面Ｍでは画像座標値ｍ１，ｍ２，ｍ３として認識され、視点Ｃ’の画像平面Ｍ’では画像座標値ｍ１’，ｍ２’，ｍ３’として認識されている。

視点Ｃ，視点Ｃ’及び点Ｑ１によってエピポーラ平面Σ１が定義され、視点Ｃ，視点Ｃ’及び点Ｑ２によってエピポーラ平面Σ２が定義され、視点Ｃ，視点Ｃ’及び点Ｑ３によってエピポーラ平面Σ３が定義されている。画像平面Ｍには、それぞれエピポーラ平面Σ１，Σ２，Σ３と交差するエピポーラ線Ｌ１，Ｌ２，Ｌ３が形成され、画像平面Ｍ’には、それぞれエピポーラ平面Σ１，Σ２，Σ３と交差するエピポーラ線Ｌ１’，Ｌ２’，Ｌ３’が形成されている。また、視点Ｃと視点Ｃ’を結ぶ直線Ｌと２つの画像平面との交差点が、エピポールｅ，ｅ’で定義されている。

図５（Ｂ）は、視点Ｃから見た画像平面Ｍである。図５（Ｂ）から分かるように、エピポーラ線Ｌ１とＬ２（又はエピポーラ平面Σ１とΣ２）は、画像平面Ｍで直線Ｌ（すなわち、エピポールｅ，ｅ’を結ぶ直線）周りに角度α１で交差し、エピポーラ線Ｌ２とＬ３（又はエピポーラ平面Σ２とΣ３）は、角度α２で交差し、エピポーラ線Ｌ１とＬ３（又はエピポーラ平面Σ１とΣ３）は、角度α３で交差している。このうち角度α３が最も大きな角度をなしている。

このとき、２点の空間点が３次元空間中で少なくとも遠近方向に広がりをもって配置されていると、エピポーラ平面同士がなす角度が大きくなり易い。そして、エピポーラ平面同士がなす角度が大きいと、エピポーラ拘束が強いと考えられる。さらに、空間点が遠近方向に均等に分散していると、エピポーラ線が、エピポールｅを中心に、均等な角度で分布し易い。よって、例えば、角度α３が所定角度以上となり、角度α１，α２が略等しくなるように、空間点Ｑ１，Ｑ２，Ｑ３を選択することが望ましい。

したがって、上述の８点アルゴリズムを用いてカメラ運動量Ｐを算出する場合、２枚のフレーム画像間で選択される８点の特徴点が、３次元空間中で大きな広がりをもって分布していると、誤差の影響を受けにくく、より精度の高い基礎行列等を算出することができる。よって、選択された８点が空間的に大きな広がりで分布するように、エピポール線がエピポーラを中心に均等に並び、且つ、エピポール線間に形成される最大の角度が所定角度以上となるように、８点の特徴点を選択することが望ましい。このように８点の特徴点を適切に選択することで、従来のようにランダムに８点の特徴点を選択することに比べて、算出するカメラ運動量の精度を向上させることができる。

しかしながら、エピポーラ平面同士のなす角度は、特徴点に対して対応点が正確に決まり、これにより基本行列が導出されてからでないと算出することができない。したがって、対応点が決定される前には、エピポーラ平面同士のなす角度は分からない。
一方で、エピポーラ平面同士のなす角度は、撮影対象物と外界カメラ２との距離と関係しており、角度が大きくなるのは、外界カメラ２から近い物体上の点によって形成されるエピポーラ平面と遠い物体上の点によって形成されるエピポーラ平面の場合である。

本実施形態では、外界カメラ２は、撮像したフレーム画像が運転者の視線で捉えられる景色に合致するように、カメラの光軸が略水平に設定されている。これにより、本実施形態のフレーム画像では、図３に示すように、下側画像領域で道路が認識され、上側画像領域で建物や空が認識され、地平線が略画像領域中央に位置する。したがって、外界カメラ２に近い空間点は、フレーム画像の下側に写され、外界カメラ２から遠い空間点は、フレーム画像の上側に写される。

このため本実施形態では、上述のように空間的な広がりを有するように所定数の特徴点を選択するために、特徴点抽出選択部３４は、画像平面中心ｍ₀から最も遠い位置にある特徴点から所定数個選択する。図６はこの処理を模式的に示しており、フレーム画像の画像平面中心ｍ₀から特徴点までの距離を算出して、この距離が最も大きい特徴点から所定数個が選択される。このように、画像平面中心ｍ₀からの距離が遠い特徴点を選択することで、３次元空間中で外界カメラ２から最も近い位置と最も遠い位置にあり、また、エピポール線のなす角度が大きくなるような特徴点を選択することができる。
そして、本実施形態では、カメラ運動算出部３６は、このようにして選択した所定数の特徴点及び対応点を用いて、基礎行列を導出する。

なお、以下のように改変してもよい。改変例では、カメラ運動算出部３６は、選択した所定数の特徴点及び対応点を用いて、まず仮の基礎行列を導出し、これら特徴点及び対応点について、エピポーラ拘束条件からのずれを算出し、このずれが所定の閾値以下であれば、導出した基礎行列を採用する。ずれが閾値より大きい場合には、カメラ運動算出部３６は、画像平面中心から最も遠い特徴点を選択から外し、特徴点抽出選択部３４及びマッチング処理部３５による処理を経て、選択されている特徴点の次に画像平面中心から遠い特徴点を取得して、再び仮の基礎行列を導出する処理を繰り返す。このような処理を繰り返すことにより、エピポーラ拘束条件からのずれが閾値以下となる所定数個の特徴点を決定することができる。また、閾値以下となる仮の基礎行列のエピポーラ拘束条件に当てはまる特徴点及びその対応点を抽出し、線形解法あるいは非線形解法により基礎行列を決定してもよい。

また、以下の他の方法により所定数個の特徴点を選択することも可能である。
まず、第２実施形態に係る処理方法では、特徴点抽出選択部３４は、所定数の特徴点を直線で結ぶことにより画面上に形成される多角形（本例では八角形）のうち、その面積が最大となる特徴点の組み合わせを選択する。

この場合、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて、基礎行列を導出してもよい。また、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて導出した基礎行列を仮の基礎行列とし、特徴点及び対応点について、エピポーラ拘束条件からのずれが所定の閾値以下のときに、導出した基礎行列を採用するように構成してもよい。そして、ずれが閾値より大きい場合には、カメラ運動算出部３６は、特徴点抽出選択部３４及びマッチング処理部３５による処理を経て、次に面積が大きくなる特徴点の組み合わせを取得する。このような処理を繰り返すことにより、エピポーラ拘束条件からのずれが閾値以下となる所定数個の特徴点を決定することができる。

また、第３実施形態に係る処理方法では、図７（Ａ），（Ｂ）に示すように、特徴点抽出選択部３４は、画像平面を所定数（本例では８）の画像領域に分割し、各分割領域からランダムに１点の特徴点を選択する。

この場合、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて、基礎行列を導出してもよい。また、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて導出した基礎行列を仮の基礎行列とし、特徴点及び対応点について、エピポーラ拘束条件からのずれが所定の閾値以下のときに、導出した基礎行列を採用するように構成してもよい。そして、ずれが閾値より大きい場合には、カメラ運動算出部３６は、特徴点抽出選択部３４及びマッチング処理部３５による処理を経て、更に各分割領域でランダムに選択した特徴点の組み合わせを取得する。このような処理を繰り返すことにより、エピポーラ拘束条件からのずれが閾値以下となる所定数個の特徴点を決定することができる。なお、図７に示すように、画像平面中心を通る水平な分割線を含めることが望ましい。このように設定することで、遠近方向に分散した特徴点を選択することができる。

また、第４実施形態に係る処理方法では、特徴点抽出選択部３４は、現時点での処理対象であるフレーム画像Ａ₀とこれよりも前に受け取ったフレーム画像Ａ_-1の特徴点で形成されるオプティカルフローベクトルを仮に算出し、算出したオプティカルフローベクトルのうち、その大きさが最も大きいものから順に所定数の半数だけ選択し、最も小さいものから順に所定数の半数だけ選択する。すなわち、８点の特徴点を選択する場合、最も大きな４つのオプティカルフローベクトルと、最も小さな４つのオプティカルフローベクトルを形成する８点の特徴点が選択される。

すなわち、外界カメラ２に近い空間点のオプティカルフローベクトルは大きく、外界カメラ２から遠い空間点のオプティカルフローベクトルは小さくなるため、最大のものから４つ、最小ものから４つを選択することで、遠近方向に特徴点を分散させることができる。

この場合、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて、基礎行列を導出してもよい。また、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて導出した基礎行列を仮の基礎行列とし、特徴点及び対応点について、エピポーラ拘束条件からのずれが所定の閾値以下のときに、導出した基礎行列を採用するように構成してもよい。そして、ずれが閾値より大きい場合には、カメラ運動算出部３６は、最大及び最小のオプティカルフローベクトルを形成する特徴点を選択から外し、特徴点抽出選択部３４及びマッチング処理部３５による処理を経て、選択されている特徴点の次にオプティカルフローベクトルが大きくなる特徴点及び選択されている特徴点の次にオプティカルフローベクトルが小さくなる特徴点を取得して、再び仮の基礎行列を導出する処理を繰り返す。このような処理を繰り返すことにより、エピポーラ拘束条件からのずれが閾値以下となる所定数個の特徴点を決定することができる。

なお、３次元座標値算出部３７によって算出された３次元座標値に基づいて、フレーム画像中の撮像対象物の配置の均等さと広がり、距離の均等さと広がりを考慮して、特徴点を選択してもよい。

次に、図８に基づいて、本実施形態のコントローラ３の処理フローについて説明する。なお、各機能部で既に説明した処理については、重複する説明を省略する。
この処理は、コントローラ３によって所定間隔で繰り返し行われる。まず、コントローラ３の画像取得部３１は、外界カメラ２からフレーム画像を受け取る（ステップＳ１）。そして、移動体領域分離部３２は、このフレーム画像中から静止物ではない移動体画像領域を分離する（ステップＳ２）。

カメラ運動推定部３８は、既に受け取っていたフレーム画像等から現時点でのカメラ運動量を推定するか、測位センサ５等からの測定データに基づいてカメラ運動推定量を算出する（ステップＳ３）。
そして、特徴点抽出選択部３４は、今回の処理で受け取ったフレーム画像から特徴点を抽出する（ステップＳ４）。

さらに、特徴点抽出選択部３４は、前回の処理で受け取ったフレーム画像の特徴点から、上述の選択処理により、所定数の特徴点を選択する（ステップＳ５）。
探索領域設定部３３は、カメラ運動推定部３８が推定した現時点におけるカメラ運動推定量や３次元データ等に基づいて、探索画像領域設定データを算出し、特徴点抽出選択部３４に出力する。特徴点抽出選択部３４は、このデータに基づいて、選択した各特徴点について、今回の処理で受け取ったフレーム画像に対して探索画像領域を設定する（ステップＳ６）。

マッチング処理部３５は、前回の処理で受け取ったフレーム画像中の選択された特徴点に対応する対応点を、マッチング処理により、今回の処理で受け取ったフレーム画像中から決定する（ステップＳ７）。その際、マッチング処理部３５は、各特徴点について、対応する探索画像領域でマッチング処理を行う。

特徴点抽出選択部３４は、選択された特徴点について、探索画像領域で所定の相関度でマッチングが成立したか否かを判定する（ステップＳ８）。
選択された特徴点について、探索画像領域で所定の相関度でマッチングが成立しないものがあった場合（ステップＳ８；Ｎｏ）、特徴点抽出選択部３４は、追加的に特徴点を選択すると共に、探索画像領域を設定する（ステップＳ５）。そして、再び、マッチング処理部３５は、マッチング処理を行う（ステップＳ７）。これらの処理を繰り返すことにより、所定数の特徴点及び対応点がフレーム画像間で対応付けられる。

一方、選択されたすべての特徴点について、探索画像領域で所定の相関度でマッチングが成立した場合（ステップＳ８；Ｙｅｓ）、カメラ運動算出部３６は、対応付けられた所定数の特徴点及び対応点に基づいて、カメラ運動量を算出する（ステップＳ９）。
そして、３次元座標値算出部３７は、算出されたカメラ運動量に基づいて、車両１０の周辺の３次元データを作成する（ステップＳ１０）。

本発明の実施形態による車両用画像処理装置の構成図である。 本発明の実施形態によるフレーム画像撮像時の説明図である。 図２において外界カメラで撮像されたフレーム画像の説明図である。 本発明の実施形態によるフレーム画像中の対応点の説明図である。 本発明の実施形態による特徴点とエピポーラ平面及びエピポーラ線の関係を示す説明図である。 本発明の実施形態による特徴点の選択処理の説明図である。 本発明の他の実施形態による特徴点の選択処理の説明図である。 本発明の実施形態による車両用画像処理装置が実行する処理のフローチャートである。

符号の説明

１ 車両用画像処理装置
２ 外界カメラ
３ コントローラ
５ 測位センサ
６ 車載センサ
７ 地図データベース
８ 距離センサ
９ 固定既知データベース
１０ 車両
２２ 特徴点
２３ 対応点
３１ 画像取得部
３２ 移動体領域分離部
３３ 探索領域設定部
３４ 特徴点抽出選択部
３５ カメラ運動算出部
３５ マッチング処理部
３６ カメラ運動算出部
３７ ３次元座標値算出部
３８ カメラ運動推定部
３９ ３次元データ蓄積部

Claims (8)

1. 車両に搭載され車両周囲の画像を撮像する撮像手段と、
   前記撮像手段が第１時間に撮像した第１画像中から特徴点を抽出し、前記撮像手段が第１時間から所定時間経過後の第２時間に撮像した第２画像中から、前記第１画像中の特徴点に対応する対応点を抽出し、前記特徴点と前記対応点を用いて前記撮像手段の運動量を算出する運動量算出手段と、
   この運動量算出手段が算出した運動量，前記第１画像及び前記第２画像を用いて車両周囲の３次元座標値を算出する３次元座標値算出手段と、を備えた車両用画像処理装置であって、
   前記撮像手段の運動量を推定する運動量推定手段を更に備え、
   前記運動量算出手段は、前記運動量推定手段により推定された運動推定量に基づいて、前記第２画像中で前記特徴点が位置すると予測される点を算出し、この算出点を中心として前記特徴点に対応する前記対応点を抽出するための第２画像中の探索領域を限定し、限定した探索領域内で前記対応点を抽出することを特徴とする車両用画像処理装置。
2. 前記運動量算出手段は、前記限定した探索領域内で、前記特徴点と相関が高い画像領域を前記対応点として抽出することを特徴とする請求項１に記載の車両用画像処理装置。
3. 前記運動量算出手段は、所定数の前記特徴点及びこれらに対応する対応点を選択し、選択した所定数の特徴点及び対応点を用いて前記運動量を算出し、
   前記運動量算出手段は、前記選択された特徴点によって決定される前記所定数のエピポーラ線同士が形成する角度が大きな角度を有するように、前記所定数の特徴点を選択することを特徴とする請求項１又は２に記載の車両用画像処理装置。
4. 前記所定数が８、又は７、又は５であることを特徴とする請求項３に記載の車両用画像処理装置。
5. 前記運動量算出手段は、前記所定数の特徴点を画像中心から遠い順に選択することを特徴とする請求項３又は４に記載の車両用画像処理装置。
6. 前記運動量算出手段は、画像平面上で前記所定数の特徴点を結んで形成される面積が最大となるように、前記所定数の特徴点を選択することを特徴とする請求項３又は４に記載の車両用画像処理装置。
7. 前記運動量算出手段は、画像平面を前記所定数に分割した各分割領域から対応点を１点づつ選択することにより、前記所定数の特徴点を選択することを特徴とする請求項３又は４に記載の車両用画像処理装置。
8. 前記運動量算出手段は、前記特徴点と前記対応点によって形成されるオプティカルフローベクトルのうち、最も大きいものから前記所定数の半数のオプティカルフローベクトルを形成する特徴点と、最も小さいものから前記所定数の半数のオプティカルフローベクトルを形成する特徴点とを選択することにより、前記所定数の特徴点を選択することを特徴とする請求項３又は４に記載の車両用画像処理装置。