JP2009041972A - 画像処理装置及びその方法 - Google Patents

Abstract

【課題】自車両に搭載された２つのカメラから、自車両が走行している遠方の道路勾配を推定する画像処理装置を提供する。
【解決手段】自車両から予め設定された距離より近い領域を近接領域、道路面領域と近接領域が重なる領域を近接道路面領域、及び、近接領域より遠方の領域を遠方領域と設定し、左右画像における近接道路面領域及び遠方領域内のそれぞれから特徴点を検出し、左右画像における特徴点のそれぞれの３次元位置情報を計算し、左右画像のそれぞれから道路面上に存在する白線を検出し、白線を遠方領域へ延長することにより、延長した白線における遠方領域内の水平方向と奥行き方向のそれぞれの位置を推定し、複数の画像におけるそれぞれの遠方領域内における特徴点から一定の長さ以上のエッジセグメントを検出し、エッジセグメントの３次元位置情報を計算し、遠方領域における道路勾配を推定する。
【選択図】図１

Description

本発明は、自動車等の車両に代表される移動物体に取り付けられたＴＶカメラから得られる画像を用いて、車両等の姿勢や走行している道路の勾配を推定する画像処理装置及びその方法に関する。

従来、車両等の姿勢や道路の勾配を推定する方法として、対象物判定装置がある（特許文献１参照）。この従来技術１は、ステレオカメラから取得した画像から、特徴点の３次元位置情報を計算する。特徴点の３次元位置情報を用いて、特徴点を水平方向と奥行き方向の面に投票することにより、投票値の大小から道路領域とそれ以外の領域に分離する。検出された道路領域に属する近距離の特徴点から、近距離の道路勾配や車両の姿勢を推定し、さらに、遠距離の距離情報を用いて縦断曲率を計算することにより道路勾配を推定する。

また、道路追跡と３次元道路形状復元のための動的輪郭道路モデルという方法がある（非特許文献１参照）。この従来技術２は、１つのカメラから得られる画像から道路領域を検出し、追跡する。道路の平行性の関係を動的輪郭モデルの制約条件として用いて、安定した道路境界を検出し、道路勾配を推定する。
特開２００６−２３４６８２公報 八木ら，「道路追跡と３次元道路形状復元のための動的輪郭道路モデル」，電子情報通信学会論文誌D-II，Vol.J84-D-II，No.8，pp.1597-1607,2001

しかし、従来技術１における３次元位置情報のみを用いて道路勾配を推定する場合は、遠距離の３次元位置情報は精度が低下するため、道路領域とそれ以外の領域の区別が困難になり、道路領域以外の特徴点を用いて、誤った道路形状を推定する問題点がある。

また、従来技術２における道路の平行性を用いて、道路形状を推定する場合は、高速道路等のように２本以上の白線が存在する場合は推定できるが、白線が複数存在しない場合や平行でない場合は検出できない問題点がある。

そこで本発明は、上記問題点を解決するために、自車両に搭載されたカメラから、自車両が走行している道路面の道路勾配を推定することができる画像処理装置及びその方法を提供することにある。

本発明は、自車両に搭載した共通の視野を有する２つ以上のカメラから時系列の画像をそれぞれ取得する画像取得部と、前記複数の画像から道路面領域を検出する道路面領域検出部と、前記複数の画像のそれぞれに、前記自車両から予め設定された距離より近い領域である近接領域、前記道路面領域と近接領域が重なる領域である近接道路面領域、及び、前記近接領域より遠方の領域である遠方領域を設定する設定部と、前記複数の画像における前記近接道路面領域及び前記遠方領域内のそれぞれから特徴点を検出する特徴点検出部と、前記複数の画像における前記特徴点のそれぞれの３次元位置情報を、前記複数の画像間の視差に基づいて計算する３次元情報計算部と、前記複数の画像のそれぞれから道路面上に存在する白線を検出する白線検出部と、前記近接道路面領域内の白線の３次元位置情報に基づいて、前記白線を前記遠方領域へ延長することにより、前記延長した白線における前記遠方領域内の水平方向と奥行き方向のそれぞれの位置を推定する白線推定部と、前記複数の画像におけるそれぞれの遠方領域内における前記特徴点から、一定の長さ以上となる前記特徴点の集合であるエッジセグメントを検出し、前記エッジセグメントの３次元位置情報を計算するエッジセグメント検出部と、前記エッジセグメントの３次元位置情報と前記延長した白線情報とに基づいて、前記遠方領域における道路勾配を推定する遠方領域道路勾配推定部と、を備える画像処理装置である。

本発明によれば、自車両に搭載された２つ以上のカメラにより取得される時系列画像から、道路勾配を推定することができる。

以下、本発明の一実施形態の画像処理装置を図１〜図１６に基づいて説明する。

（１）画像処理装置の構成
図１に本実施形態の画像処理装置の構成例を示す。

画像処理装置は、画像取得部１、道路面領域検出部２、特徴点検出部３、３次元情報計算部４、白線情報取得部５、車両姿勢推定部６、道路形状推定部７により構成される。

図２に本実施形態における座標系を示している。図２に示すように、自車両が走行する実空間において水平方向をＸ、高さ方向をＹ、奥行き方向をＺとし、画像座標系の水平方向をｘ、垂直方向をｙとする。

これら各部１〜７の機能は、コンピュータに記憶されたプログラムによっても実現される。以下、順番に各部１〜７の機能を説明する。

（２）画像取得部１
画像取得部１は、移動する自車両に取り付けられた車両周辺、特に前方の時系列の画像を取得する２台のＴＶカメラであって、ステレオ視によって共通の視野を有している。

（３）道路面領域検出部２
まず、道路面領域検出部２は、自車両から近い領域、例えば自車両から３０ｍまでの領域を近接領域と設定する。ここで、自車両からの距離は、後から説明する３次元情報計算部４で求めたＺ値の情報を用いる。

次に、道路面領域検出部２は、図３に示すように、近接領域において、道路面領域とそれ以外の領域との境界線を検出する。検出された境界線から自車両側の領域を道路面領域とする。

道路面領域とそれ以外の領域との境界線を検出する方法としては、特開２００６−５３８９０公報による方法がある。しかし、本実施形態で用いる道路面領域とそれ以外の領域を区別する方法は、他に様々に提案されていて、どのような方法を用いても良い。

次に、道路面領域検出部２は、近接領域と道路面領域が重なる領域を近接道路面領域と設定する。近接道路面領域は、必ずしも正確に求める必要はなく、おおまかな位置がわかれば良い。

（４）特徴点検出部３
まず、特徴点検出部３は、図４に示すように、近接領域より遠く、画像の中心付近、すなわち、消失点付近にある任意の大きさの領域を遠方領域と設定する。

次に、特徴点検出部３は、道路面領域検出部２により検出された近接道路面領域と遠方領域内で、図５に示すような縦方向に関するＳｏｂｅｌフィルタを用いて、エッジ画像を検出する。なお、エッジ検出に関しては、Ｓｏｂｅｌフィルタに限らずどのようなフィルタを用いても良い。

次に、特徴点検出部３は、閾値以上のエッジ強度のエッジに関して、細線化処理を行って線分化する。この細線化されたエッジ線分を構成する各点を特徴点とする。

（５）３次元情報計算部４
３次元情報計算部４は、異なる位置に置かれた２つ以上のカメラから、３角測量の原理を用いて、上記で求めた各特徴点の３次元位置をそれぞれ測定する。

本実施形態は、左カメラと右カメラの２つのＴＶカメラを設置して、各特徴点の３次元位置を測定する。この２つのカメラは、予めキャリブレーションされており、また平行ステレオであるとする。

物体上の点（Ｘ，Ｙ，Ｚ）が、左カメラの画像上の位置（ｘ_ｌ，ｙ_ｌ）に投影されたとするとき、右カメラの画像上の対応点（ｘ_ｒ，ｙ_ｒ）を探索する。

式（１）に示すような、差の絶対値和の評価値を用いて対応点の探索を行う。画像サイズがＭ×Ｎの対象画像をＩ（ｍ，ｎ）、テンプレートをＴ（ｍ，ｎ）とする。評価値は、差の絶対値和に限らず、他の評価値を用いても良い。

対応点から視差ｄを求め、式（２）を用いて各特徴点の３次元位置を計算する。なお、ｂはカメラ間隔、ｆは焦点距離とする。

ここで視差ｄは、画像における道路面領域において画像の縦方向ｙのみに関して変化し、横方向ｘに関しては変化しないとする。

（６）白線情報取得部５
まず、白線情報取得部５は、道路面領域検出部２が検出した道路面から自車両が現在走行しているレーンの境界線である白線を検出する。

白線検出の方法としては、特開平７−８９３６７号公報による方法など様々な方法が提案されていて、どのような方法を用いても良い。

次に、白線情報取得部５は、３次元情報計算部４における方法と同様にして、得られた白線上の全ての点に対して、３次元位置を計算する。

図６に示すように、計算された３次元位置におけるＸ、Ｚ値を用いて、ＸＺ平面上に投影する。ＸＺ平面上（上から見た平面）において、近接道路面領域における白線の曲率を計算し、遠方領域に白線を延長し、延長された白線を推定白線とする。

また、白線は必ずしも２本である必要はなく、１本、または、複数本でも良い。

（７）車両姿勢推定部６
車両姿勢推定部６は、図７に示すように、近接領域車両姿勢推定部６１、近接領域道路面推定部６２からなる。

（７−１）近接領域車両姿勢推定部６１
近接領域車両姿勢推定部６１の機能について説明する。

左右のカメラから得られる左画像と右画像は、画像の縦方向ｙに関して位置合わせを行う平行化（rectification）がなされているものとする。図８に示すように、消失点の座標を（ｖ_ｘ，ｖ_ｙ）、道路面上の点Ｐの左画像上での位置を（ｘ_ｌ，ｙ_ｌ）、右画像上での位置を（ｘ_ｒ，ｙ_ｒ）とおくと、両者は式（３）のようなアフィン変換により対応付けられる。

つまり、左カメラから得られた左画像と、右カメラから得られた右画像がアフィン変換された右アフィン画像は、道路面上のパターンの位置が同じになる。このときのアフィン変換のパラメータはキャリブレーションにより予め求めておく。またこの対応関係から、道路面における視差ｄ_０（ｙ）も求めておく。

しかし、車が実際に道路を走行すると、車体の振動等により道路面とカメラの相対的な位置関係が変動する。このため、予め求めたパラメータで変換しても、左右の道路面パターンにずれが生じることがある。平行化がなされているので、このずれは水平方向に生じる。これは車に上下振動などが生じても両カメラが同じように上下振動するために、水平方向のみにすれが生じる。そして、ずれの要因は主に車体の上下動及びピッチングの車両姿勢の変化であり、この場合、ずれ量ｅ（ｙ）は式（４）のような画像のｙ座標に関する１次式で表せる。

図９の左図に示すように、水平ライン毎に左画像の特徴点を基準として、右アフィン画像において左右方向にｗ画素分、左画像と右アフィン画像の相関値を求める。相関値は、左画像におけるエッジ強度と右アフィン画像におけるエッジ強度の小さい方の値とする。図９でさらに詳しく説明すると、左画像におけるエッジ強度をＳ１、右アフィン画像におけるエッジ強度をＳ２として、Ｓ１＜Ｓ２であれば、相関値としてＳ１を図９の右図に反映させ、Ｓ１＞Ｓ２であれば、相関値としてＳ２を図９の右図に反映させる。なお、相関を計算する評価式は、様々提案されており、差分などの別の評価式を用いても良い。

この処理を水平方向に走査し、各特徴点における相関を相関画像に足しこむ。そして、全ての水平ラインで同様の処理を行って図９の右図の相関画像を生成する。この処理は、近接道路面領域のみで行う。

図９の右図の相関画像に対して、直線のハフ変換を用いて直線を求める。式（４）における、βとγが計算される。なお、このβとγは道路面からの車両に搭載されたカメラの高さとピッチ角に関係している。

そして求めたβとγと、式（５）のようなアフィン変換の式により、左画像と右アフィン画像における道路面の位置が対応付けられる。

この対応関係から、道路面における視差ｄを求める。すなわち、式（５）からｘ_ｌとｘ_ｒを求め、視差ｄ＝ｘ_ｌ−ｘ_ｒを計算する。なお、上記したように画像における道路面領域において画像の縦方向ｙのみに関して変化し、横方向ｘに関しては変化しない。

（７−２）近接領域道路面推定部６２
近接領域道路面推定部６２の機能について説明する。

実際の道路環境では、道路は平面であると限らない。道路面を平面ではなく曲面（すなわち、道路に勾配がある）としてパラメータを検出する必要がある。そのために、平面であると仮定してβとγが求まった式（４）の直線を、道路の勾配に対応した３本の折れ線に修正するために、下記の処理を行う。

まず、図１０に示すように、近接道路面領域内の実空間座標のＺ軸方向に所定間隔毎に４点の設定点を設定する。例えば、車の位置から１０ｍ、１５ｍ、２０ｍ、２５ｍである。設定点は、カメラの画角等から決定する。

次に、その４点の設定点に対する視差ｄをそれぞれ求める。

次に、その４点の設定点と視差ｄから、その設定点を画像上の位置に変換した制御点を計算する。

次に、この４点の制御点から式（４）を３本の折れ線で表現し直す。すなわち、βとγを折れ線毎に再計算する。

次に、これら３本の折れ線を、ダイナミックプログラミング法（Dynamic Programming）を用いて、制御点をｘ方向、ｚ方向に動かして、図９の相関画像において、折れ線通過位置の相関値の和が最大になるようにフィッティングし直して、４点の最終制御点を求める。

次に、これら４点の最終制御点に対応するβとγをそれぞれ求め、さらに、視差ｄを求める。これら視差ｄは、より正確な近接道路面領域における視差を表している。βとγから視差ｄの求め方は、式（５）を用いる。

（８）道路形状推定部７
道路形状推定部７は、図１１に示すように、遠方領域エッジ線分検出部７１、遠方領域エッジ線分選択部７２、遠方領域道路勾配推定部７３からなる。

実際の道路環境では、急に道路勾配が変化する場合がある。そのため、道路形状推定部７は、まず、遠方領域の道路勾配を推定し、その後、上記で求めた近接道路領域における道路勾配と接続させる。

（８−１）遠方領域エッジ線分検出部７１
遠方領域エッジ線分検出部７１の機能について説明する。

遠方領域エッジ線分検出部７１は、特徴点検出部３で検出された近接道路面領域と遠方領域における特徴点に注目する。

まず、近接道路面領域において白線に代表されるような、消失点方向に向いていて、ある閾値以上の長さを持つ、連結された特徴点のかたまり、すなわち、集合をエッジセグメントとして検出する。このときの閾値は、カメラの画角等から決定する。なお、このエッジセグメントには、白線情報取得部５で推定された推定白線も含まれる。

次に、図１２に示すように、検出されたエッジセグメントを、境界線をまたいで遠方領域側に、特徴点が連結しているか調べて、追跡する。この処理によりエッジセグメントが遠方領域側に延長されたことになる。

次に、延長されたエッジセグメントに関する３次元情報計算部４により計算された３次元位置情報におけるＸ、Ｚ値を用いて、ＸＺ平面に投影する。

（８−２）遠方領域エッジ線分選択部７２
遠方領域エッジ線分選択部７２の機能について説明する。

遠方領域エッジ線分検出部７１により検出されたエッジセグメントは、道路面上以外に存在するものも含まれている。エッジセグメントの３次元位置情報と、白線情報を用いて、道路面上に存在するもののみ選択する。以下に具体的に説明する。

まず、ＸＺ平面上において、白線情報取得部５で推定された推定白線を白線セグメントとする。この白線セグメントとエッジセグメントに関して、図１３に示すように、エッジセグメントの始点ｓと終点ｅの間における、各点のＸ方向距離の絶対値差の平均値Ｘｍと分散値Ｘｖを求める。ここで、Ｘ方向距離の絶対値差とは、Ｘ方向における白線セグメントの位置とエッジセグメントの位置の差の絶対値である。

次に、図１４に示すように、エッジセグメントの始点ｓと終点ｅの間における高さの平均値Ｈ１と、エッジセグメントが存在する距離ＺｓからＺｅまでの各点の道路面の高さの平均値Ｈ２（図１４の点線で表された道路面の高さの平均値）の差Ｈｄ（＝Ｈ１−Ｈ２）を求める。

次に、エッジセグメントのＹとＺに関する関係を式（６）として最小２乗法で計算し、このときの傾きａを求める。

Ｘ方向距離の平均値Ｘｍがある閾値より小さい場合を第１の条件とする。Ｘ方向距離の分散値Ｘｖがある閾値より小さい場合を第２の条件とする。高さの差Ｈｄがある閾値より小さい場合を第３の条件とする。傾きａの絶対値がある閾値より小さい場合を第４の条件とする。そして、４つの全ての条件を満たすエッジセグメントを選択し、「道路面セグメント」とする。なお、これらの閾値は、それぞれカメラの画角等から適切に決定される。

（８−３）遠方領域道路勾配推定部７３
遠方領域道路勾配推定部７３の機能について説明する。

まず、遠方領域エッジ線分選択部７２で選択された道路面セグメントにおけるエッジ点の視差を求める。

次に、予めキャリブレーションによって求まっている道路面の視差ｄ_０（ｙ）を呼び出す。

次に、この道路面の視差ｄ_０（ｙ）と前記道路面セグメントにおけるエッジ点の視差の差をずれ量Ｅ（ｙ）として求める。

次に、このずれ量Ｅ（ｙ）を、図１５の右図に示すような相関画像に当てはめる。すなわち、この相関画像における水平方向の位置をずれ量Ｅとし、またエッジ点の画像上における位置のｙ座標値を相関画像における垂直方向の位置とする。そして、相関画像において、前記求まった位置に、道路面セグメントのエッジ点の強度値を足しこむ。これにより、遠方領域の視差を用いた曲線が完成する。

なお、図１５の右図の相関画像の下部分には、近接領域道路面推定部６２で求まった相関画像部分、すなわち、図９の右図に示す相関画像が表現されている。また、この相関画像の下部分には、近接領域道路面推定部６２で求まった３本の折れ線が表現されている。

次に、近接領域道路面推定部６２で求まった３本の折れ線を基本として、さらに１点の折れ線を生成するために新規制御点を追加する。この追加する方法は、図１６に示すように、新規制御点を折れ線上で走査し、その新規制御点から様々な傾きの線分を仮決定し、その折れ線が通過する位置の相関値の和が最大になる新規制御点位置と傾きを求め、フィッティングし直す。すなわち、このフィッティングによって、近接領域道路面推定部６２で求まった３本の折れ線と、遠方領域の視差を用いた曲線を、一本の線で連結が可能な新規制御点を求める。そして、式（４）で表されるβとγをそれぞれ求め、式（５）から視差ｄを求める。

そして、このフィッティング結果により、道路面の勾配が急に変化する場合においても、より正確な道路面における視差が求まり、全体の道路の勾配を推定できる。すなわち、道路が近接位置から遠方まで平面（例えば、水平）であれば、求めた近接位置から遠方までのエッジセグメントに対する視差と、予めキャリブレーションによって求まっている道路面の視差ｄ_０（ｙ）との差がなく、図１６における相関画像の線が中央で直線に延びるが、勾配があるとその視差に差が生じて曲線となる。

なお、求めた視差ｄから道路の勾配θを求めるには、次のように行う。

まず、この視差ｄと画像中の道路面の２つの位置を式（２）に代入して、２地点の道路の高さＹ１、奥行きＺ１と、高さＹ２、奥行きＺ２とを求める。

次に、この（Ｙ１−Ｙ２）と（Ｚ１−Ｚ２）から勾配θを求める。すなわち、ｔａｎθ＝（Ｙ１−Ｙ２）／（Ｚ１−Ｚ２）となる。

（９）効果
本実施形態の画像処理装置においては、以上のような処理を時系列画像に対して行い、正確な車両姿勢と自車両前方の道路の勾配を推定できる。

（１０）変更例
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

本発明の一実施形態の構成を示す画像処理装置のブロック図である。 本実施形態における座標系についての説明図である。 境界線と近接道路面領域に関する説明図である。 遠方領域に関する説明図である。 エッジ検出フィルタに関する説明図である。 推定白線を検出する方法の説明図である。 車両姿勢推定部の構成を示すブロック図である。 左画像と右アフィン画像の関する説明図である。 相関画像に関する説明図である。 制御点に関する説明図である。 道路形状推定部の構成を示すブロック図である。 エッジセグメント追跡に関する説明図である。 エッジセグメントとの距離を計算する方法の説明図である。 エッジセグメントの高さを計算する方法の説明図である。 遠方領域におけるずれ量に関する説明図である。 折れ線を計算する方法の説明図である。

符号の説明

１ 画像取得部
２ 道路面領域検出部
３ 特徴点検出部
４ ３次元情報計算部
５ 白線情報取得部
６ 車両姿勢推定部
７ 道路形状推定部
６１ 近接領域車両姿勢推定部
６２ 近接領域道路面推定部
７１ 遠方領域エッジ線分検出部
７２ 遠方領域エッジ線分選択部
７３ 遠方領域道路勾配推定部

Claims (9)

1. 自車両に搭載した共通の視野を有する２つ以上のカメラから時系列の画像をそれぞれ取得する画像取得部と、
   前記複数の画像から道路面領域を検出する道路面領域検出部と、
   前記複数の画像のそれぞれに、前記自車両から予め設定された距離より近い領域である近接領域、前記道路面領域と近接領域が重なる領域である近接道路面領域、及び、前記近接領域より遠方の領域である遠方領域を設定する設定部と、
   前記複数の画像における前記近接道路面領域及び前記遠方領域内のそれぞれから特徴点を検出する特徴点検出部と、
   前記複数の画像における前記特徴点のそれぞれの３次元位置情報を、前記複数の画像間の視差に基づいて計算する３次元情報計算部と、
   前記複数の画像のそれぞれから道路面上に存在する白線を検出する白線検出部と、
   前記近接道路面領域内の白線の３次元位置情報に基づいて、前記白線を前記遠方領域へ延長することにより、前記延長した白線における前記遠方領域内の水平方向と奥行き方向のそれぞれの位置を推定する白線推定部と、
   前記複数の画像におけるそれぞれの遠方領域内における前記特徴点から、一定の長さ以上となる前記特徴点の集合であるエッジセグメントを検出し、前記エッジセグメントの３次元位置情報を計算するエッジセグメント検出部と、
   前記エッジセグメントの３次元位置情報と前記延長した白線情報とに基づいて、前記遠方領域における道路勾配を推定する遠方領域道路勾配推定部と、
   を備える画像処理装置。
2. 前記エッジセグメント検出部は、
   前記遠方領域内で前記画像中の消失点方向に向いた前記エッジセグメントを検出し、前記エッジセグメントの３次元位置情報を計算し、
   前記道路勾配推定部は、
   前記エッジセグメントの３次元位置情報と前記延長された白線情報との位置関係を用いて、前記遠方領域内における前記道路面に存在するエッジセグメントを選択し、
   前記選択されたエッジセグメントの３次元位置情報から前記遠方領域における道路勾配を推定する、
   を備える請求項１記載の画像処理装置。
3. 前記エッジセグメント検出部は、
   前記近接道路面領域と前記遠方領域との境界線付近で、かつ、前記近接道路面領域内に存在する前記一定以上の長さを有するエッジセグメントの特徴点が、前記遠方領域まで連結しているか否かを判定し、連結していると判定した前記エッジセグメントを前記消失点方向に延長し、
   前記延長されたエッジセグメントの３次元位置情報を計算する、
   請求項２記載の画像処理装置。
4. 前記道路勾配推定部は、
   前記道路面の水平方向をＸ、奥行き方向をＺとするとき、ＸＺ平面において、前記延長した白線の位置に対して、前記エッジセグメントまでの距離が閾値以下の第１の条件、前記延長した白線と前記エッジセグメントが平行であるという第２の条件、または、前記エッジセグメントの３次元位置情報に基づいて、前記エッジセグメントの高さが滑らかに変化するという第３の条件の少なくとも一つの条件を満足する前記エッジセグメントを選択する、
   請求項２記載の画像処理装置。
5. 前記近接道路面領域内に存在する前記道路面の道路勾配を求める近接道路面勾配推定部と、
   前記近接道路面領域内の前記道路勾配と前記遠方領域における前記道路勾配とを接続して、前記近接領域から前記遠方領域までの全ての道路勾配を推定する全道路勾配推定部と、
   をさらに備える請求項１記載の画像処理装置。
6. 前記近接道路面勾配推定部は、
   前記複数の画像の中の一の画像における前記近接道路面領域の任意の位置の画像情報と、前記複数の画像の中の他の画像を前記一の画像にアフィン変換したときの前記任意の位置に対応する画像情報とのずれ量を前記画像の縦方向に沿って計算し、
   前記ずれ量から前記近接領域における前記道路面の勾配を求める、
   請求項５記載の画像処理装置。
7. 前記全道路面勾配推定部は、
   前記近接領域における前記道路面の勾配を表す直線と、前記遠方領域における前記道路勾配を表す曲線とを連結して、前記全ての道路勾配を表す線を求める、
   請求項５記載の画像処理装置。
8. 自車両に搭載した共通の視野を有する２つ以上のカメラから時系列の画像をそれぞれ取得する画像取得ステップと、
   前記複数の画像から道路面領域を検出する道路面領域検出ステップと、
   前記複数の画像のそれぞれに、前記自車両から予め設定された距離より近い領域である近接領域、前記道路面領域と近接領域が重なる領域である近接道路面領域、及び、前記近接領域より遠方の領域である遠方領域を設定する設定ステップと、
   前記自車両から予め設定された距離より近い領域を近接領域、前記道路面領域と近接領域が重なる領域を近接道路面領域、及び、前記近接領域より遠方の領域を遠方領域と設定する設定ステップと、
   前記複数の画像における前記近接道路面領域及び前記遠方領域内のそれぞれから特徴点を検出する特徴点検出ステップと、
   前記複数の画像における前記特徴点のそれぞれの３次元位置情報を、前記複数の画像間の視差に基づいて計算する３次元情報計算ステップと、
   前記複数の画像のそれぞれから道路面上に存在する白線を検出する白線検出ステップと、
   前記近接道路面領域内の白線の３次元位置情報に基づいて、前記白線を前記遠方領域へ延長することにより、前記延長した白線における前記遠方領域内の水平方向と奥行き方向のそれぞれの位置を推定する白線推定ステップと、
   前記複数の画像におけるそれぞれの遠方領域内における前記特徴点から、一定の長さ以上となる前記特徴点の集合であるエッジセグメントを検出し、前記エッジセグメントの３次元位置情報を計算するエッジセグメント検出ステップと、
   前記エッジセグメントの３次元位置情報と前記延長した白線情報とに基づいて、前記遠方領域における道路勾配を推定する遠方領域道路勾配推定ステップと、
   を備える画像処理方法。
9. 自車両に搭載した共通の視野を有する２つ以上のカメラから時系列の画像をそれぞれ取得する画像取得機能と、
   前記複数の画像から道路面領域を検出する道路面領域検出機能と、
   前記複数の画像のそれぞれに、前記自車両から予め設定された距離より近い領域である近接領域、前記道路面領域と近接領域が重なる領域である近接道路面領域、及び、前記近接領域より遠方の領域である遠方領域を設定する設定機能と、
   前記複数の画像における前記近接道路面領域及び前記遠方領域内のそれぞれから特徴点を検出する特徴点検出機能と、
   前記複数の画像における前記特徴点のそれぞれの３次元位置情報を、前記複数の画像間の視差に基づいて計算する３次元情報計算機能と、
   前記複数の画像のそれぞれから道路面上に存在する白線を検出する白線検出機能と、
   前記近接道路面領域内の白線の３次元位置情報に基づいて、前記白線を前記遠方領域へ延長することにより、前記延長した白線における前記遠方領域内の水平方向と奥行き方向のそれぞれの位置を推定する白線推定機能と、
   前記複数の画像におけるそれぞれの遠方領域内における前記特徴点から、一定の長さ以上となる前記特徴点の集合であるエッジセグメントを検出し、前記エッジセグメントの３次元位置情報を計算するエッジセグメント検出機能と、
   前記エッジセグメントの３次元位置情報と前記延長した白線情報とに基づいて、前記遠方領域における道路勾配を推定する遠方領域道路勾配推定機能と、
   を備える画像処理プログラム。

Images