JP2008286648A - 距離計測装置、距離計測システム、距離計測方法 - Google Patents

Abstract

【課題】処理時間を抑制しつつ対象物までの距離を精度良く計測するができる距離計測装置、距離計測システム及び距離計測方法を提供する。
【解決手段】制御部３１は、基準画像で抽出した特徴領域の中から少数の基準領域を選択し、探索画像の複数の水平走査線を走査して、選択した基準領域と相関がある相関領域を探索する。制御部３１は、基準領域及び相関領域の撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出し、算出した傾き角度に基づいて撮像画像の変換（回転、並進）処理を行う。制御部３１は、探索画像の１つの水平走査線を走査して、候補領域に対応する対応領域を探索し、候補領域及び対応領域の視差に基づいて対象物までの距離を計測する。
【選択図】図３

Description

本発明は、２つの撮像装置で取得したそれぞれの撮像画像に基づいて自車から撮像対象までの距離を計測する距離計測装置、該距離計測装置を備える距離計測システム及び距離計測方法に関する。

自動車などの車両に２つのビデオカメラ（撮像装置）を搭載して車両の前方を撮像し、三角測量の原理を利用して対象物までの距離を計測する装置が開発されている。例えば、車両のバンパー又はフロントグリルなどに２つのビデオカメラを設置し、両方のビデオカメラで撮像した撮像画像における対象物の視差に基づいて対象物までの距離を求め、歩行者、障害物などの接近を運転者に知らせることで安全運転を支援する車両の周辺監視装置が提案されている（特許文献１参照）。

このような装置では、ステレオカメラを用いて対象物までの距離を計測する場合、まず、２つの撮像画像のうち一方の撮像画像（基準画像）で対象物の候補領域を抽出する。抽出した候補領域の撮像画像上の座標を（ｘ、ｙ）とすると、他方の撮像画像（探索画像）において候補領域のｙ座標と同じｙ座標の水平走査線を走査して、候補領域に対応する対応領域を探索し、候補領域と対応領域の視差に基づいて対象物までの距離を計測する。

また、車両に搭載したステレオカメラで道路上の左右の車線を検出し、検出した車線の位置を撮像画像平面上で特定する。左右の車線に基づいて求めた撮像画像の消失点を利用して道路モデルを構築し、道路モデル上の推定距離と実際に測定した距離とを比較することにより、ステレオカメラの光軸のずれを算出し、測定した距離を補正する距離補正装置が提案されている（特許文献２参照）。
特許第３５１５９２６号公報 特開２００１−１６０１３７号公報

特許文献１の装置にあっては、対応領域を探索する際に、候補領域のｙ座標と同じｙ座標の水平走査線を走査して探索画像を探索するため、対象物までの距離を計測するには、２つのカメラそれぞれの光軸が平行であり、かつ２つのカメラの水平走査線と地軸が垂直である必要がある。この２つの条件が満たされない場合、特許文献１の装置では、水平走査線上で対応領域を見つけることができず、対象物までの距離を計測することができないか、あるいは計測できたとしても正しい距離を計測することができない。

一方、特許文献２の装置にあっては、２つのカメラそれぞれの光軸がずれた場合であっても、対象物までの距離を計測することができる。しかし、２つのカメラの水平走査線と地軸が垂直でない場合には、特許文献２の装置では、対象物までの距離を計測することができないか、あるいは計測できたとしても正しい距離を計測することができない。

スレテオカメラを搭載した車両が道路のカーブを曲がる場合、道路上の小石などに片方のタイヤだけが乗り上げた場合、道路のバンク又は道路の舗装状態が悪く車体がロールするような場合では、撮像画像の水平走査線が傾き、地軸と垂直にならない事態が生じる。このような場合には、対象物までの距離を計測することができないか、あるいは計測できたとしても正しい距離を計測することができない。単純な対策として、１つの候補領域に対して、探索画像の全体あるいは多数の水平走査線を走査して対応領域を探索することが考えられるものの、処理コストが膨大になり処理時間も長くなるという問題があった。

本発明は、斯かる事情に鑑みてなされたものであり、自車のロール発生、道路のバンクなどで車体が傾き、撮像画像の水平走査線が地軸と垂直でない場合でも、処理時間を抑制しつつ対象物までの距離を精度良く計測することができる距離計測装置、該距離計測装置を備える距離計測システム及び距離計測方法を提供することを目的とする。

第１発明に係る距離計測装置は、２つの撮像装置で取得したそれぞれの撮像画像に基づいて自車から撮像対象までの距離を計測する距離計測装置において、一方の撮像画像の各画素の画素値に基づいて、複数の特徴領域を抽出する特徴領域抽出手段と、該特徴領域抽出手段で抽出した特徴領域の中から１又は複数の特徴領域を基準領域として選択する選択手段と、他方の撮像画像の複数の水平走査線を走査して、前記選択手段で選択した基準領域と相関がある相関領域を抽出する相関領域抽出手段と、前記基準領域及び前記相関領域抽出手段で抽出した相関領域それぞれの撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出する角度算出手段と、該角度算出手段で算出した傾き角度に基づいて両撮像画像の座標を変換する変換手段と、該変換手段で変換した他方の撮像画像の水平走査線を走査して、前記基準領域を除く特徴領域に対応する対応領域を特定する特定手段と、前記特徴領域及び前記特定手段で特定した対応領域との視差に基づいて、撮像対象までの距離を計測する計測手段とを備えることを特徴とする。

第２発明に係る距離計測装置は、第１発明において、前記特定手段は、前記相関領域抽出手段が他方の撮像画像を走査する水平走査線の数より少ない数の水平走査線を走査するように構成してあることを特徴する。

第３発明に係る距離計測装置は、第１発明又は第２発明において、自車の傾き度合いに関する情報を取得する取得手段と、該取得手段で取得した情報に基づいて、他方の撮像画像の水平走査線の走査数を決定する決定手段とを備え、前記相関領域抽出手段は、前記決定手段で決定した走査数の水平走査線を走査するように構成してあることを特徴とする。

第４発明に係る距離計測装置は、第１発明又は第２発明において、撮像距離を設定する設定手段と、該設定手段で設定した撮像距離に基づいて、他方の撮像画像の水平走査線の走査数を決定する決定手段とを備え、前記相関領域抽出手段は、前記決定手段で決定した走査数の水平走査線を走査するように構成してあることを特徴とする。

第５発明に係る距離計測装置は、第１発明又は第２発明において、前記角度算出手段で算出した傾き角度に基づいて、両撮像画像を座標中心の回りに回転する回転手段を備え、前記変換手段は、前記回転手段で両撮像画像を回転させて座標を変換するように構成してあることを特徴とする。

第６発明に係る距離計測装置は、第５発明において、前記回転手段で回転した両撮像画像の少なくとも１つの撮像画像を並進する並進手段を備え、前記変換手段は、前記並進手段で並進させて座標を変換するように構成してあることを特徴とする。

第７発明に係る距離計測装置は、第１発明において、前記計測手段は、前記基準領域及び相関領域との視差に基づいて、撮像対象までの距離を計測するように構成してあることを特徴とする。

第８発明に係る距離計測装置は、第１発明乃至第７発明のいずれかにおいて、前記角度算出手段は、前記基準領域及び相関領域の撮像画像上の座標を斉次座標としたエピポーラ方程式に基づいて傾き角度を算出するように構成してあることを特徴とする。

第９発明に係る距離計測システムは、２つの撮像装置と、前述の発明のいずれかに係る距離計測装置とを備え、前記撮像装置それぞれで撮像して得られた２つの撮像画像を前記距離計測装置で処理して撮像対象までの距離を計測することを特徴とする。

第１０発明に係る距離計測方法は、２つの撮像装置で取得したそれぞれの撮像画像に基づいて自車から撮像対象までの距離を計測する距離計測方法において、一方の撮像画像の各画素の画素値に基づいて、複数の特徴領域を抽出し、抽出した特徴領域の中から１又は複数の特徴領域を基準領域として選択し、他方の撮像画像の複数の水平走査線を走査して、選択した基準領域と相関がある相関領域を抽出し、前記基準領域及び相関領域それぞれの撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出し、算出した角度に基づいて両撮像画像の座標を変換し、変換した他方の撮像画像の水平走査線を走査して、前記基準領域を除く特徴領域に対応する対応領域を特定し、前記特徴領域及び対応領域との視差に基づいて、撮像対象までの距離を計測することを特徴とする。

第１発明及び第１０発明にあっては、一方の撮像画像（基準画像）の各画素の画素値に基づいて、複数の特徴領域を抽出する。特徴領域の抽出は、例えば、撮像画像を二値化処理又はエッジ点の抽出処理などにより行うことができる。抽出した特徴領域の中から１つ又は複数の特徴領域を基準領域として選択する。基準領域の選択は、特徴領域の中で特徴が際立っているもの、例えば、特徴領域内の輝度値の平均値と特徴領域周辺の領域の輝度値の平均値の差分が最も大きいものを選択することができる。他方の撮像画像（探索画像）の複数の水平走査線を走査して、基準領域と相関がある（例えば、所定の相関値が最も大きい値となる）相関領域を抽出する。探索画像の複数の水平走査線を走査することにより、水平走査線が地軸と垂直でない状態であっても、相関領域を見つけることができる。

基準領域及び抽出した相関領域それぞれの撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出する。この場合、基準領域及び相関領域の座標は、重心座標を用いてもよく、あるいは、基準領域及び相関領域内の各画素の座標を用いてもよい。また、水平走査線の傾き角度は、例えば、基準領域及び相関領域の座標に基づいたエピポーラ方程式を満たすマトリクス（Ｆマトリクス）を求め、Ｆマトリクスのパラメータにより算出することができる。算出した傾き角度に基づいて両撮像画像の座標を変換する。これにより両撮像画像の水平走査線の傾きを０とし（すなわち、地軸と垂直にし）、かつ撮像画像の座標を（ｘ、ｙ）とした場合、両撮像画像で同じｙ座標を通る水平走査線を一致させる。変換した他方の撮像画像の水平走査線を走査して、基準領域を除く特徴領域に対応する（例えば、所定の相関値が最も大きい値となる）対応領域を特定し、特徴領域及び特定した対応領域との視差に基づいて、撮像対象までの距離を計測する。

すなわち、基準画像で抽出した特徴領域のうち、まず少数の基準領域に基づいて撮像画像の水平走査線の傾きを修正し、基準領域を除く他の特徴領域については、探索画像の１つの水平走査線を走査することで対応領域を見つけることができ、探索画像の多くの水平走査線を走査する必要がなくなる。これにより、自車のロール発生、道路のバンクなどで車体が傾き、撮像画像の水平走査線が地軸と垂直でない場合でも、処理時間を抑制しつつ対象物までの距離を精度良く計測するができる。

第２発明にあっては、対応領域を特定する場合に他方の撮像画像（探索画像）を走査する水平走査線の数は、相関領域を抽出する場合に他方の撮像画像を走査する水平走査線の数より少ない。これにより、例えば、各特徴領域に対応する対応領域を特定する場合に、探索画像の１つの水平走査線を走査することで対応領域を見つけることができ、探索画像の多くの水平走査線を走査する必要がなくなり、処理時間を低減することができる。

第３発明にあっては、傾きセンサなどにより自車の傾き度合いに関する情報を取得し、取得した情報に基づいて、他方の撮像画像の水平走査線の走査数を決定する。例えば、自車の傾き度合いが大きい場合、走査する水平走査線の数を増加させ、自車の傾き度合いが小さい場合、走査する水平走査線の数を減少させる。これにより、自車の傾きに応じて相関領域の探索範囲を変えることができ、確実に相関領域を抽出することができる。

第４発明にあっては、設定した撮像距離に基づいて、他方の撮像画像の水平走査線の走査数を決定する。例えば、撮像距離が短い近距離の対象物を撮像する場合、相関領域の大きさが大きくなるため走査する水平走査線の数を増加させ、撮像距離が長い遠方の対象物を撮像する場合、相関領域の大きさが小さくなるため走査する水平走査線の数を減少させる。これにより、相関領域の大きさに応じて探索範囲を変えることができ、不要な処理を削減することができる。

第５発明にあっては、算出した傾き角度に基づいて、両撮像画像（基準画像及び探索画像）を座標中心の回りに回転する。例えば、回転前の撮像画像の座標（ｘ、ｙ）を回転後の撮像画像の座標（ｘ’、ｙ’）に変換する。具体的には、両撮像画像の各画素の画素値（例えば、輝度値）を回転後の各画素の画素値に置き換える。これにより、両撮像画像の水平走査線を地軸に対して垂直にすることができる。

第６発明にあっては、回転した両撮像画像の少なくとも１つの撮像画像を上下左右に並進する。例えば、探索画像を並進する場合、ｘ方向の並進量Δｘは、Δｘ＝ｘ１’−ｘ２’＋ｄとすることができる。ここで、ｘ１’は回転後の基準領域のｘ座標、ｘ２’は回転後の相関領域のｘ座標、ｄは基準領域と相関領域との視差である。また、ｙ方向の並進量Δｙは、Δｙ＝（ｙ１’−ｙ２’）の絶対値とすることができる。ここで、ｙ１’は回転後の基準領域のｙ座標、ｙ２’は回転後の相関領域のｙ座標である。これにより、水平走査線の傾きが大きい場合であっても、両撮像画像で同じｙ座標を通る水平走査線を一致させることができる。

第７発明にあっては、基準領域及び相関領域との視差に基づいて、撮像対象までの距離を計測する。これにより、基準領域に対応する対象物までの距離を求めることができる。

第８発明にあっては、基準領域及び相関領域の撮像画像上の座標を斉次座標としたエピポーラ方程式に基づいて傾き角度を算出する。例えば、２つの撮像装置の間での回転がなく、両撮像装置の焦点距離が等しく、かつ撮像画像の縦横比率が等しい場合には、基準領域及び相関領域の座標に基づいたエピポーラ方程式を満たすマトリクス（Ｆマトリクス）を求め、Ｆマトリクスのパラメータの数を２個まで低減して水平走査線の傾き角度を算出することができる。

第９発明にあっては、２つの撮像装置と前述の距離計測装置とを備える。これにより、前述の発明を距離計測システムに適用することができる。

本発明にあっては、自車のロール発生、道路のバンクなどで車体が傾き、撮像画像の水平走査線が地軸と垂直でない場合でも、処理時間を抑制しつつ対象物までの距離を精度良く計測するができる。

以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は本発明の実施の形態に係る距離計測システムの構成を示す模式図である。距離計測システムは、車室内のルームミラー近傍に並置した２つのビデオカメラ１、２、距離計測装置としてのＥＣＵ３などを備えている。ビデオカメラ１、２は、波長が０．４〜０．８μｍの可視光を用いた撮像装置である。ビデオカメラ１、２で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブルを介して接続してあるＥＣＵ３へ送信される。なお、２つのビデオカメラ１、２で共通の撮像領域を撮像することで、三角測量の原理により撮像対象までの距離を求めることができる。

ＥＣＵ３には、運転者が所要の操作を行う操作部、音声又は効果音等により聴覚的な警告を発する警報部などを備えた表示装置４、車体の傾きを検出する傾きセンサ５、ヨーレートセンサ６、車速センサ７などが車載ＬＡＮケーブルを介して接続してある。

図２はビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換するＣＣＤ（Charge Couple Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子をマトリクス状に備えている。画像撮像部１１は、車両の周囲の可視光像を電気信号として読み取り、読み取った電気信号を信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩで構成され、画像撮像部１１から受信した電気信号をデジタル信号に変換し、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接ＥＣＵ３へ送信しても良い。

映像出力部１４は、ＬＳＩで構成され、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブルを介してＥＣＵ３に映像データを出力する。なお、ビデオカメラ２もビデオカメラ１と同様の構成である。

図３はＥＣＵ３の構成を示すブロック図である。ＥＣＵ３は、制御部３１、画像メモリ３２、ＲＡＭ３３、映像入力部３４、映像出力部３５、通信インタフェース部３６などを備えている。

映像入力部３４は、ビデオカメラ１、２から映像信号の入力を行う。映像入力部３４は、ビデオカメラ１、２から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３５は、ケーブルを介して液晶ディスプレイ等の表示装置４に対して画像データを出力する。

通信インタフェース部３６は、傾きセンサ５、ヨーレートセンサ６、車速センサ７との間の通信を行う通信機能を備えている。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３４を介してビデオカメラ１、２から入力された画像データを記憶する。

制御部３１は、ＣＰＵ又は専用のハードウエアで構成され、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、読み出したフレーム単位の撮像画像（画像データ）に対して所定の画像処理を行う。制御部３１は、２つの撮像画像（基準画像、探索画像）により三角測量の原理を利用して対象物までの距離を計測する処理を行う。例えば、制御部３１は、一方の撮像画像（基準画像）におけるエッジ点検出処理又は二値化処理により、候補領域（特徴領域）を抽出する候補領域抽出処理を行う。

また、制御部３１は、他方の撮像画像（探索画像）の複数の水平走査線を走査して、候補領域の中から選択された基準領域に相関する相関領域を探索する相関領域探索処理を行う。また、制御部３１は、基準領域及び相関領域の視差に基づいて、撮像対象物までの距離を計測する距離計測処置を行う。

また、制御部３１は、基準領域及び相関領域の撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出する傾き角度算出処理を行う。また、制御部３１は、算出した傾き角度に基づいて撮像画像の変換処理を行う。また、制御部３１は、変換処理後の他方の撮像画像の水平走査線を走査して、基準領域を除く候補領域に対応する対応領域を探索する対応領域探索処理を行う。また、制御部３１は、候補領域及び対応領域の視差に基づいて、撮像対象物までの距離を計測する距離計測処置を行う。なお、制御部３１の処理の詳細については後述する。

また、制御部３１は、計測した距離に基づいて、例えば、自車前方の対象物（歩行者、車両、障害物など）の追跡、対象物との衝突判定、運転者への警告又は通知などの処理を行う。例えば、車速センサ７から取得した自車の走行速度と対象物との速度により相対速度を求め、衝突の可能性の有無を判定することができる。この場合、ヨーレートセンサ６からの信号を取得し、自車の回頭角を求め対象物までの距離を補正することもできる。

次に本発明に係る距離計測装置であるＥＣＵ３の動作について説明する。図４は２つの撮像画像に基づいて対象物までの距離を計測する例を示す説明図である。図中、左側の矩形はビデオカメラ１で撮像して得られた一方の撮像画像（基準画像）Ｌであり、右側の矩形はビデオカメラ２で撮像して得られた他方の撮像画像（探索画像）Ｒである。また、撮像画像Ｌ、Ｒの座標は撮像画像の左上を座標の原点として、横右方向にｘ座標、下方向にｙ座標としている。

図４（ａ）は撮像画像の水平走査線が地軸と垂直になっている場合である。基準画像Ｌにおいて、候補領域ａが抽出されている。候補領域に対応する対応領域を探索画像Ｒで見つける場合には、探索画像Ｒにおいて候補領域ａのｙ座標と同じｙ座標の水平走査線を走査することにより、対応領域ｂを見つけることができる。

図４（ｂ）は撮像画像の水平走査線が地軸と垂直ではなく、水平走査線が、例えば、角度θだけ傾いた場合を示す。この場合、基準画像Ｌにおいて、候補領域ａが抽出されている。候補領域ａのｙ座標と同じｙ座標の水平走査線を走査して、候補領域ａに対応する対応領域を探索しても、水平走査線が傾いているため対応領域ｂを見つけることができない。本発明は、この問題を解決するためのものである。以下その詳細を説明する。

図５はＥＣＵ３の距離計測処理の手順を示すフローチャートである。制御部３１は、画像メモリ３２に記憶してある画像データをフレーム単位で読み出し（Ｓ１１）、読み出したフレーム単位の撮像画像のうちの一方の撮像画像（基準画像）の各画素の画素値（例えば、ＲＧＢ値、輝度値など）に基づいて二値化処理を行う（Ｓ１２）。なお、二値化処理に代えて、エッジ点を抽出することもできる。なお、エッジ点を抽出するには、例えば、プルューウィット・オペレータを用いることができる。

制御部３１は、二値化画像に基づいて、候補領域（特徴領域）を抽出し（Ｓ１３）、抽出した候補領域の中から、１又は複数（例えば、２個）の候補領域を基準領域として選択する（Ｓ１４）。基準領域の選択は、抽出された候補領域のうち、特徴が際立っているものを選択することができる。例えば、候補領域内の画素の画素値（例えば、輝度値）の平均値と、候補領域の周辺領域の画素の画素値（例えば、輝度値）の平均値との差分が最も大きいものから選択することができる。

制御部３１は、選択した基準領域と同じサイズの領域（探索領域）を他方の撮像画像（探索画像）内に設定し、連続する複数の水平走査線（複数のライン）を走査して相関計算を行い、最も高い相関値を与える探索領域を相関領域として探索する（Ｓ１５）。相関値の算出は、例えば、式（１）で表される式に基づいて行われる。

ここで、Ｎは基準領域及び探索領域における総画素数、ｋは零からＮ−１までの整数、Ｆｋは基準領域内におけるｋ番目の画素の輝度値、Ｇｋは探索領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。なお、相関値の算出方法は、これに限定されるものではなく、絶対差分総和法、正規化相互相関法など、どのような方法であってもよい。

図６は基準領域に基づいて相関領域を探索する例を示す説明図である。図中、左側の矩形はビデオカメラ１で撮像して得られた一方の撮像画像（基準画像）Ｌであり、右側の矩形はビデオカメラ２で撮像して得られた他方の撮像画像（探索画像）Ｒである。また、撮像画像Ｌ、Ｒの座標は撮像画像の左上を座標の原点として、横右方向にｘ座標、下方向にｙ座標としている。また、各撮像画像の水平走査線は、水平方向から角度θだけ傾いているとする。

基準画像において、複数の候補領域ａ１、ａ２、ａ３、ａ４が抽出され、抽出された候補領域の中から候補領域ａ１を基準領域として選択している。探索画像Ｒにおいて、基準領域ａ１のｙ座標と同じｙ座標の上下数ラインの水平走査線を走査することにより、相関領域ｂ１を見つけることができる。

探索画像Ｒにおいて、相関領域を見つけるために走査する水平走査線の数は、予め設定しておくことができる。また、走査する水平走査線の数は、傾きセンサ５から取得した自車の傾き度合いに応じて変更することもできる。例えば、自車の傾き度合いが大きい場合、走査する水平走査線の数を増加させ、自車の傾き度合いが小さい場合、走査する水平走査線の数を減少させる。これにより、自車の傾きに応じて相関領域の探索範囲を変えることができ、確実に相関領域を抽出することができる。

また、走査する水平走査線の数は、撮像距離に応じて変更することもできる。例えば、撮像距離が短い近距離の対象物を撮像する場合、相関領域の大きさが大きくなるため走査する水平走査線の数を増加させ、撮像距離が長い遠方の対象物を撮像する場合、相関領域の大きさが小さくなるため走査する水平走査線の数を減少させる。これにより、相関領域の大きさに応じて探索範囲を変えることができ、不要な処理を削減することができる。なお、撮像距離は、例えば、運転者が表示装置４の操作部を操作して設定することができる。

制御部３１は、基準領域及び相関領域の撮像画像上の座標に基づいて視差ｄを算出する（Ｓ１６）。制御部３１は、基準領域及び相関領域の座標を斉次座標としたエピポーラ方程式により、Ｆマトリクスのパラメータを求め、求めたパラメータに基づいて水平走査線の傾き角度θを算出する（Ｓ１７）。

基準画像及び探索画像における斉次座標をそれぞれｍ_L 、ｍ_R とし、ＦマトリクスをＦとすると、エピポーラ方程式は、式（２）で表すことができる。斉次座標としては、基準領域及び相関領域の重心座標を用いることができる。あるいは、基準領域及び相関領域内の各画素の座標を用いてもよい。

Ｆマトリクスは、ビデオカメラ１、２の内部及び外部パラメータを用いて表される独立パラメータが７個あり、撮像画像上で７個の座標を用いることにより独立パラメータを求めることができる。しかし、２つのビデオカメラ１、２間でも回転がないこと、２つのビデオカメラ１、２の焦点距離が等しく、かつ撮像画像の縦横比率が等しい場合には、独立パラメータを２個まで低減することができ、Ｆパラメータは、式（３）で表すことができる。さらに、この場合、水平走査線の傾き角度θは、式（４）で表すことができる。

制御部３１は、算出した傾き角度θに基づいて、基準画像及び探索画像を回転（変換）する（Ｓ１８）。具体的には、両撮像画像の各画素の画素値（例えば、輝度値）を回転後の各画素の画素値に置き換える。これにより、両撮像画像の水平走査線を地軸に対して垂直にすることができる。なお、傾き角度θが小さい場合には、画像の回転処理を行うことにより、両撮像画像の水平走査線を地軸に対して垂直にすることができるとともに、両撮像画像で同じｙ座標を通る水平走査線を略一致させることができる。

制御部３１は、回転後の探索画像を上下左右方向の所要の方向に並進（変換）する（Ｓ１９）。例えば、探索画像を並進する場合、ｘ方向の並進量Δｘは、式（５）で表すことができる。ここで、ｘ１’は回転後の基準領域のｘ座標、ｘ２’は回転後の相関領域のｘ座標、ｄは、ステップＳ１６で算出した基準領域と相関領域との視差である。また、ｙ方向の並進量Δｙは、式（６）で表すことができる。ここで、ｙ１’は回転後の基準領域のｙ座標、ｙ２’は回転後の相関領域のｙ座標である。

これにより、水平走査線の傾きが大きい場合であっても、両撮像画像で同じｙ座標を通る水平走査線を一致させることができる。なお、並進させるのは、探索画像に限定されず、基準画像でもよく、あるいは、両者を並進させてもよい。

図７は水平走査線の傾き角度に応じた撮像画像の変換処理の例を示す説明図である。図中、左側の矩形はビデオカメラ１で撮像して得られた一方の撮像画像（基準画像）Ｌであり、右側の矩形はビデオカメラ２で撮像して得られた他方の撮像画像（探索画像）Ｒである。また、撮像画像Ｌ、Ｒの座標は撮像画像の左上を座標の原点として、横右方向にｘ座標、下方向にｙ座標としている。また、各撮像画像の水平走査線は、水平方向から角度θだけ傾いているとする。

図７（ａ）では、基準画像Ｌにおいて基準領域ａ１（ｘ１、ｙ１）が選択され、基準領域ａ１（ｘ１、ｙ１）に相関する相関領域ｂ１（ｘ２、ｙ２）が探索により見つけられている。基準領域ａ１及び相関領域ｂ１の座標を斉次座標としてエピポーラ方程式によりＦパラメータを求め、水平走査線の傾き角度θを算出する。

図７（ｂ）では、傾き角度θだけ基準領域Ｌ及び探索画像Ｒを座標の原点を中心として回転処理を行う。回転処理後の基準領域ａ１の座標は、（ｘ１’、ｙ１’）となり、相関領域ｂ１の座標は、（ｘ２’、ｙ２’）となる。これにより、両撮像画像の水平走査線を地軸に対して垂直にする。

図７（ｃ）では、回転処理後の探索画像Ｒをｘ方向にΔｘ、ｙ方向にΔｙ並進させる。これにより、両撮像画像で同じｙ座標を通る水平走査線を一致させることができる。図７（ｃ）に示すように、基準領域ａ１と相関領域ｂ１は同じ水平走査線上に位置することになる。

制御部３１は、基準領域以外の候補領域と同じサイズの領域（探索領域）を探索画像内に設定し、候補領域のｙ座標と同じｙ座標上の水平走査線を走査して相関計算を行い、最も高い相関値を与える探索領域を対応領域として探索する（Ｓ２０）。相関値の算出は、例えば、式（１）を用いることができる。

図８は対応領域の探索例を示す説明図である。図８に示すように、基準領域以外の候補領域ａ２、ａ３、ａ４それぞれに対応する対応領域ｂ２、ｂ３、ｂ４をｙ座標が同じ水平走査線上で見つけることができる。これにより、基準領域を除く他の候補領域ａ２、ａ３、ａ４については、探索画像の１つの水平走査線を走査することで対応領域ｂ２、ｂ３、ｂ４を見つけることができ、探索画像の多くの水平走査線を走査する必要がなくなり、処理時間を大幅に低減することができる。

制御部３１は、候補領域及び対応領域の撮像画像上の座標に基づいて視差を算出し（Ｓ２１）、算出した視差に基づいて対象物までの距離を計測し（Ｓ２２）、処理を終了する。

以上説明したように、本発明にあっては、自車のロール発生、道路のバンクなどで車体が傾き、撮像画像の水平走査線が地軸と垂直でない場合でも、処理時間を抑制しつつ対象物までの距離を精度良く計測するができる。

上述の実施の形態では、可視光のビデオカメラを用いる構成であったが、ビデオカメラはこれに限定されるものではなく、近赤外線、遠赤外線のビデオカメラを用いる構成でもよい。近赤外線のビデオカメラでは、波長が０．８〜３μｍの近赤外光を取得し、遠赤外線のビデオカメラでは、波長が８〜１２μｍの遠赤外線を取得する。また、ビデオカメラの設置場所は、ルームミラー近傍に限定されず、バンパ内、フロントグリル内部などに設置することができる。

上述の実施の形態で、対象物までの距離計測を行った後、基準画像の候補領域に対して、移動追跡（トラッキング）、衝突判定、障害物判定などを行うことができる。この場合、トラッキングは、例えば、カルマンフィルタなどを用いて行うことができる。また、障害物判定は、例えば、サポートベクタマシン（ＳＶＭ）、ブースティング（Ｂｏｏｓｔｉｎｇ）など学習アルゴリズム手法を用いることができる。

本発明の実施の形態に係る距離計測システムの構成を示す模式図である。 ビデオカメラの構成を示すブロック図である。 ＥＣＵの構成を示すブロック図である。 ２つの撮像画像に基づいて対象物までの距離を計測する例を示す説明図である。 ＥＣＵの距離計測処理の手順を示すフローチャートである。 基準領域に基づいて相関領域を探索する例を示す説明図である。 水平走査線の傾き角度に応じた撮像画像の変換処理の例を示す説明図である。 対応領域の探索例を示す説明図である。

符号の説明

１、２ ビデオカメラ
３ ＥＣＵ
４ 表示装置
５ 傾きセンサ
６ ヨーレートセンサ
７ 車速センサ
３１ 制御部
３２ 画像メモリ
３３ ＲＡＭ
３４ 映像入力部
３５ 映像出力部
３６ 通信インタフェース部

Claims (10)

1. ２つの撮像装置で取得したそれぞれの撮像画像に基づいて自車から撮像対象までの距離を計測する距離計測装置において、
   一方の撮像画像の各画素の画素値に基づいて、複数の特徴領域を抽出する特徴領域抽出手段と、
   該特徴領域抽出手段で抽出した特徴領域の中から１又は複数の特徴領域を基準領域として選択する選択手段と、
   他方の撮像画像の複数の水平走査線を走査して、前記選択手段で選択した基準領域と相関がある相関領域を抽出する相関領域抽出手段と、
   前記基準領域及び前記相関領域抽出手段で抽出した相関領域それぞれの撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出する角度算出手段と、
   該角度算出手段で算出した傾き角度に基づいて両撮像画像の座標を変換する変換手段と、
   該変換手段で変換した他方の撮像画像の水平走査線を走査して、前記基準領域を除く特徴領域に対応する対応領域を特定する特定手段と、
   前記特徴領域及び前記特定手段で特定した対応領域との視差に基づいて、撮像対象までの距離を計測する計測手段と
   を備えることを特徴とする距離計測装置。
2. 前記特定手段は、
   前記相関領域抽出手段が他方の撮像画像を走査する水平走査線の数より少ない数の水平走査線を走査するように構成してあることを特徴する請求項１に記載の距離計測装置。
3. 自車の傾き度合いに関する情報を取得する取得手段と、
   該取得手段で取得した情報に基づいて、他方の撮像画像の水平走査線の走査数を決定する決定手段と
   を備え、
   前記相関領域抽出手段は、
   前記決定手段で決定した走査数の水平走査線を走査するように構成してあることを特徴とする請求項１又は請求項２に記載の距離計測装置。
4. 撮像距離を設定する設定手段と、
   該設定手段で設定した撮像距離に基づいて、他方の撮像画像の水平走査線の走査数を決定する決定手段と
   を備え、
   前記相関領域抽出手段は、
   前記決定手段で決定した走査数の水平走査線を走査するように構成してあることを特徴とする請求項１又は請求項２に記載の距離計測装置。
5. 前記角度算出手段で算出した傾き角度に基づいて、両撮像画像を座標中心の回りに回転する回転手段を備え、
   前記変換手段は、
   前記回転手段で両撮像画像を回転させて座標を変換するように構成してあることを特徴とする請求項１又は請求項２に記載の距離計測装置。
6. 前記回転手段で回転した両撮像画像の少なくとも１つの撮像画像を並進する並進手段を備え、
   前記変換手段は、
   前記並進手段で並進させて座標を変換するように構成してあることを特徴とする請求項５に記載の距離計測装置。
7. 前記計測手段は、
   前記基準領域及び相関領域との視差に基づいて、撮像対象までの距離を計測するように構成してあることを特徴とする請求項１に記載の距離計測装置。
8. 前記角度算出手段は、
   前記基準領域及び相関領域の撮像画像上の座標を斉次座標としたエピポーラ方程式に基づいて傾き角度を算出するように構成してあることを特徴とする請求項１乃至請求項７のいずれかに記載の距離計測装置。
9. ２つの撮像装置と、請求項１乃至請求項８のいずれかに記載の距離計測装置とを備え、前記撮像装置それぞれで撮像して得られた２つの撮像画像を前記距離計測装置で処理して撮像対象までの距離を計測することを特徴とする距離計測システム。
10. ２つの撮像装置で取得したそれぞれの撮像画像に基づいて自車から撮像対象までの距離を計測する距離計測方法において、
    一方の撮像画像の各画素の画素値に基づいて、複数の特徴領域を抽出し、
    抽出した特徴領域の中から１又は複数の特徴領域を基準領域として選択し、
    他方の撮像画像の複数の水平走査線を走査して、選択した基準領域と相関がある相関領域を抽出し、
    前記基準領域及び相関領域それぞれの撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出し、
    算出した角度に基づいて両撮像画像の座標を変換し、
    変換した他方の撮像画像の水平走査線を走査して、前記基準領域を除く特徴領域に対応する対応領域を特定し、
    前記特徴領域及び対応領域との視差に基づいて、撮像対象までの距離を計測することを特徴とする距離計測方法。

Images