JP5440461B2 - 校正装置、距離計測システム、校正方法および校正プログラム - Google Patents

Description

本発明は、自動車等の移動体に搭載されるステレオカメラ方式の距離計測システムに設定されている撮像装置の位置に関するパラメータを校正するための校正装置、その校正装置を備える距離計測システム、その校正方法およびその方法を実行するためのコンピュータ可読な校正プログラムに関する。

近年、自動車の安全性への意識の高まりとコンピュータ性能の向上から、衝突防止装置や車間距離制御装置等が実装されるようになってきている。これらの装置は、車間距離がある範囲に入ると運転者に警告を発し、さらに短くなるとブレーキやステアリング等の制御を行って自動的に衝突を回避する操作を実行するものである。

これらの制御を行う上で、車間距離を計測する必要があり、距離計測システムとしてステレオカメラが実用化されている。このステレオカメラは、車両前方の距離画像を生成し、その距離画像から障害物を認識し、その障害物までの距離を計測することができるシステムである。

ステレオカメラを使用した距離計測について以下に詳細に説明する。図１は、２つのカメラを平行配置したステレオカメラによる距離計測の原理を説明するための図である。焦点距離をｆ、光学中心をＯ_０、撮像面をｓ_０とするカメラＣ_０が、図１に向かって真上方向を光軸方向として配置され、かつ同じ焦点距離ｆをもつカメラＣ_１が、カメラＣ_０の向かって右側に、距離Ｂだけ離れて平行に配置されている。

カメラＣ_０の光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａの像は、直線ＡＯ_０と撮像面ｓ_０との交点であるＰ_０に結像する。カメラＣ_１では、同じ被写体Ａが、撮像面ｓ_１上の位置Ｐ_１に結像する。ここで、カメラＣ_１の光学中心Ｏ_１を通り、直線ＡＯ_０と平行な直線と、撮像面ｓ_１との交点をＰ^’ _０とし、位置Ｐ^’ _０と位置Ｐ_１の距離をｐとする。位置Ｐ^’ _０は、カメラＣ_０上のＰ_０と同じ位置であり、距離ｐは、同じ被写体の像の、二つのカメラで撮影した画像上での位置のずれ量を表し、視差と呼ばれる。このとき、三角形ＡＯ_０Ｏ_１と、三角形Ｏ_１Ｐ^’ _０Ｐ_１は合同であるので、以下の式１で表すことができる。

式１中、Ｂは、三角形の一辺である基線長であり、この基線長と焦点距離ｆが既知であれば、視差ｐから距離ｄを求めることができる。

以上が、２つのカメラが平行配置されたステレオカメラによる距離計測の原理であるが、これが成立するためには、２つのカメラＣ_０、Ｃ_１が、図１に示すように、正確に配置されていなければならない。特に、図１に示すＹ軸まわりのカメラの回転や、光学中心に対する撮像センサの横方向の位置ずれが生じると、Ｙ軸に垂直な、すなわち図１に向かって見て横方向であるＸ軸方向に像位置が変化するため、その位置ずれが直接視差に加算されてしまい、計測される距離の精度が劣化してしまう。

計測距離の精度を維持するためには、製造時に正確な調整を要することはもちろん、長時間利用すれば温度変化や振動等により微妙に配置が変化してしまうことから、校正を行う必要がある。しかしながら、販売後に既知の距離に配置したテストチャート等を使用した校正を要することになると、利用者の利便性を大きく損なってしまう。そこで、テストチャート等を必要とすることなく、周囲の自然な風景を撮影した画像を利用し、校正を行う方法がいくつか提案されている（例えば、特許文献１〜３参照）。

特許文献１では、一般道などの任意の場所でカメラ撮影方向のずれを検出し、この検出結果に基づきカメラ校正を行う技術を開示している。具体的には、走行路上の複数の校正用撮影地点における撮影画像から、同一の静止特徴物を認識し、複数の校正用撮影地点における撮影画像内での静止特徴物の位置と、校正用撮影地点間の距離とを基に、複数の撮影手段間の撮影方向のずれを求め、その撮影方向のずれから補正を行い、カメラ校正している。

特許文献２では、２つの時刻において、静止対象物の視差の検出を行い、これら２つの時刻間に走行した車両の走行距離を算出し、これらの結果に基づき、２つのカメラの光軸間平行度ずれに起因する誤差を視差オフセット量として求め、視差オフセット量により検出視差を補正している。

特許文献３では、物体を認識する処理を行わなくてもカメラパラメータの校正値を算出できるように、撮影手段により所定のフレームレートで撮影された入力画像に複数の注目点を設定し、各注目点の視差と２次元のオプティカルフローを算出し、視差と注目点の垂直成分とを基に、入力画像に含まれる道路面と撮影手段との関係を示す路面パラメータを算出し、オプティカルフローと、視差と、路面パラメータとを基に、カメラパラメータの校正値を算出する構成とされている。

しかしながら、上記特許文献１の方法では、静止被写体の形状を記憶しておく必要があり、記憶している被写体が存在しない場合には校正することができない。静止被写体として青信号や交通標識を使用するが、それらの形状や大きさは地方や国によって異なり、また、将来変更される場合もありうる。このため、登録された形状による静止被写体の判別というこの方法では、うまく校正することができない可能性がある。

また、上記特許文献２の方法も同様に、静止対象物の形状を登録し、その登録された形状により静止対象物を判別して校正を行うことから、将来の変更や、国や地方によって異なる形状の静止対象物では、登録されている静止対象物とは異なると判別され、校正を行うことができない可能性がある。

上記特許文献３の方法では、路面上の濃淡模様から特徴点を抽出し、その特徴点を利用して距離計測を行い、路面の位置、方向を表す路面パラメータを計算し、この路面パラメータの変化から視差オフセットを算出することから、自動車が走行している限り、直前に平坦な路面が存在する可能性が非常に高く、対象物を発見できないという問題が生じる可能性は低い。また、特定形状の被写体を認識する必要がない点で校正を行うことができないという問題は生じない。

しかしながら、視差オフセットを計算する情報源が路面に限定されてしまい、壁、建物、電柱等の平面以外の静止被写体を有効に活用することができない。これでは、特に屋内など車載以外の利用環境に適用することはできない。

また、路面上の濃淡は細かく遠距離の特徴点が少なくなるため、近距離しか距離計測することができず、校正には利用することができない。車間距離自動調整等、利用目的によっては、先行車両をより遠距離まで計測範囲にしたいこともあり、これが校正の精度に悪影響を及ぼすこともありうる。

このため、ステレオカメラの経時的な位置ずれをパラメータの校正により補正することができる校正装置や方法、特に、カメラ以外の車速センサ等、自位置情報を計測するセンサに依存することなく、信号機や路面平面等の特定の形状の被写体の存在を仮定することなく、走行中に撮影される様々が画像を利用して、視差オフセットを安定して検出し、校正を行うことができる装置や方法の提供が望まれていた。

本発明は、上記課題に鑑み、移動体に搭載され、２つの撮像装置を使用して距離計測を行う距離計測システムに設定される該撮像装置の位置に関するパラメータを校正するための校正装置であって、
２地点において一方の撮像装置で撮像された２つの基準画像と、前記２地点において他方の撮像装置で撮像された２つの対応画像と前記２つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部と、
前記２つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部と、
探索された各特徴点につき、前記２つの基準画像の前記各特徴点における前記視差データから、視差と該視差に対応する視差変化量とをそれぞれ算出する視差計算部と、
算出された複数の前記視差および前記視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する補正値計算部とを含む。

このように、撮像された画像から、視差および視差変化量を求め、それらから、撮影地点間の距離によることなく補正値を算出することができるので、車速センサ等の自位置情報を計測するセンサは不要で、特定の形状の被写体が存在してなくても、安定して当該補正値を算出することができる。このため、定期的に繰り返し実行することができ、そのつど補正を行い、距離計測の精度を一定に維持することができる。

前記補正値計算部は、算出された複数の前記視差および前記視差変化量を用いてモデル曲線を作成し、前記モデル曲線から前記補正値を算出する。モデル曲線は、二次曲線で、二次関数として表すことができ、その視差方向への変位を補正値として算出することができる。この変位が撮像装置の位置ずれ量を示すためである。

また、前記複数の視差の分布および前記モデル曲線からの複数の前記視差変化量の分散に基づき、前記補正値の信頼性の有無を評価する信頼性評価部をさらに含む。このように信頼性を評価することで、撮像装置以外の外部センサ等に依存することなく、補正値を算出するために悪影響を及ぼす条件を画像自身から検出することができるため、適用可能性が高く、かつ精度の高い校正を実現することができる。

前記信頼性評価部は、算出された前記視差変化量が、前記モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、前記データの視差変化量と前記モデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する。以下であれば、信頼性ありと判定する。

また、信頼性評価部は、指定された視差の範囲に含まれる前記複数の視差の割合を計算し、前記割合が所定の割合以上であるか否かを判定する。以上であれば、信頼性ありと判定する。これらの２つの評価基準を共に適用し、これらの基準を満たす場合に信頼性ありと判定することも可能である。このように２つの基準で判定を行うことにより、より高い精度の校正を実現することができる。

前記校正装置は、前記視差変化量を正規化する正規化処理部と、正規化された前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部とを含むことができ、前記補正値計算部は、蓄積された複数の前記視差および前記正規化された視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出することができる。

前記正規化処理部は、前記モデル曲線を表す前記二次関数の比例係数で前記視差変化量を除して、正規化された前記視差変化量を算出する。このように正規化することで、計算を単純化し、また、蓄積した多数のデータを利用することができるため、より精度の高い校正が可能となる。

前記信頼性評価部は、前記データ蓄積部に蓄積されたデータ数に応じて、前記補正値の信頼性の有無を評価することもできる。データ数が多ければ、それだけ信頼性も高くなるからである。

本発明では、上述した校正装置に加えて、この校正装置を備える距離計測装置も提供することができる。この距離計測システムは、一定間隔で離間し、同一直線上に各々の撮像面が配置され、同じ焦点距離を有する２つの撮像装置と、前記２地点において他方の撮像装置で撮像された２つの対応画像と前記２つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から複数の視差データを算出して出力する視差データ生成処理装置と、上記の校正装置とを含む。

前記視差データ生成処理装置は、前記校正装置から前記補正値を取得し、前記複数の視差データに対し前記補正値を用いて補正を行い、前記校正装置へ再び出力する。このような処理を繰り返すことで、常に校正を行い、一定で、高い精度での距離計測を実現することができる。

本発明では、上記の校正装置が備える各部、距離計測システムが備える校正装置の各部および各装置により実行される処理を処理ステップとして含む校正方法を提供することができ、また、この処理ステップをコンピュータに実行させるプログラムとして構成することも可能である。このプログラムは、コンピュータが読み取り可能な記録媒体に記録して提供することもできるため、本発明では、このプログラムが記録された記録媒体の提供も可能である。

距離計測システムと被写体との関係を示した図。 距離計測システムのハードウェア構成を例示した図。 本発明の校正装置を備える距離計測システムの機能ブロック図。 距離計測システムにより撮影された撮影画像を例示した図。 被写体までの距離と視差との関係を示した図。 視差と視差変化量との関係を示した図。 校正装置としての視差オフセット検出処理部の機能ブロック図。 補正値の信頼性を評価するための視差の分布を表した図。 補正値の信頼性を評価するための視差変化量のばらつきを表した図。 視差データ生成処理の流れを示したフローチャート。 補正値算出処理の流れを示したフローチャート。

図２は、本発明の距離計測システムのハードウェア構成を示した図である。この距離計測システム１０は、例えばステレオカメラであり、被写体を撮像するための２つの撮像装置２０、２１と、２つの撮像装置２０、２１により撮像された画像の画像データの入力を受け付け、それらの画像データに基づき、このシステムから被写体までの距離を計算する距離計算装置３０とから構成されている。

撮像装置２０、２１は、カメラとされ、同じ焦点距離を有しており、一定間隔で離間し、同一直線上に各々の撮像面が位置するように配置される。このため、同じ焦点距離を有する撮像面に垂直な光軸が平行となる。撮像装置２０、２１として使用することができるカメラは、ボディと、光を集めるレンズと、光量を調節するための絞りと、指定された時間のみ光を照射するシャッタと、対象物を確認するためのファインダと、受光した光を電気信号へ変換する撮像素子（光学センサ）と、画像処理回路とを含んで構成される。

撮像素子から出力される電気信号は、アナログデータであるため、Ａ／Ｄコンバータによりデジタルデータへ変換され、画像処理回路へ入力される。画像処理回路は、画像エンジンとも呼ばれ、補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮等の画像処理が行われ、距離計算装置３０へ出力される。

距離計算装置３０は、２つの撮像装置２０、２１を制御し、また、それらの撮像装置２０、２１から出力された画像処理された画像データを受け取り、これら２つの画像データから、被写体までの距離を計算し、その結果を表示装置等に表示させる。この距離計算装置３０は、これらの処理を実現するためのソフトウェアをもち、このソフトウェアを実行することにより、２つの画像データから距離を計算する。このため、このソフトウェアを格納するための不揮発性フラッシュメモリ３１、そのフラッシュメモリ３１からＤＲＡＭメモリ３２を介してそのソフトウェアを読み出し、実行するＣＰＵ３３、ＵＳＢやＩＥＥＥ１３９４等の接続インタフェース３４を含んで構成される。フラッシュメモリ３１、ＤＲＡＭメモリ３２、ＣＰＵ３３、接続インタフェース３４はそれぞれバス３５に接続されており、バス３５を介してソフトウェアの読み出しを行い、撮像装置２０、２１へ制御信号を送るとともに、撮像装置２０、２１から接続インタフェース３４およびバス３５を介して画像データを受け取ることができる。

距離計算装置３０は、ソフトウェアをＣＰＵ３３が実行することにより、図３に示すような、撮像装置２０、２１を制御する撮像制御部１００と、撮像制御部１００から入力される画像データの画像から視差データを生成する視差データ生成処理部１１０と、撮像制御部１００から入力される基準画像と、視差データ生成処理部１１０から入力される視差データとを使用し、視差オフセットを補正値として算出する視差オフセット検出処理部１２０として機能する。

撮像制御部１００は、２つの撮像装置２０、２１の同期、初期化、露光制御等を行い、それらから撮像された画像データを視差データ生成処理部１１０と視差オフセット検出処理部１２０とに入力する処理を行う。なお、必要に応じ、光学系による歪曲、画像回転等の一般的にステレオ距離計測に有効とされる、視差オフセット以外の画像補正処理を行うことができる。このため、撮像装置２０、２１の画像エンジンが行う処理を、この撮像制御部１００において行うことができ、撮像装置２０、２１は、画像エンジンを備えていなくてもよい。

視差データ生成処理部１１０は、一般的なステレオカメラによる距離計測処理と同様の処理を行う。ただし、視差オフセット検出処理部１２０が生成する視差オフセットを、撮像装置２０、２１の位置に関するパラメータを校正するための補正値として利用することで、ハードウェアの経時変化による計測精度劣化を低減させることができる。この処理については後述する。

視差オフセット検出処理部１２０は、校正装置を構成し、基準画像と視差データとを用い、補正値としての視差オフセットを計算し、算出された視差オフセットを、視差データ生成処理装置としての視差データ生成処理部１１０へ送り、それは、以降の視差データ生成処理に供される。

ここで、視差オフセットとは、一方の撮像装置２０の撮像画像全体が、ステレオ基線方向に平行移動する形の誤差である。この視差オフセットは、光学中心に対する撮像素子の位置ずれにより生じる。また、１つの撮像装置２０全体のステレオ基線方向に垂直な光軸まわりの回転による画像変形は、厳密には透視変換によるいわゆる台形歪みとなるが、回転角度が微少な場合には近似的にステレオ基線方向の平行移動とみなすことができるため、これも視差オフセットとして扱うことができる。なお、視差オフセットは、ステレオカメラの視差に直接加算されるため、特に遠距離での距離計測精度に重大な影響を及ぼすことから、その補正は重要である。

本発明では、上下方向や面内回転等のその他の位置ずれはないものと仮定し、実際に使用する際は、他の位置ずれを、別の校正技術を用いて補正することが好ましい。以下、視差オフセット検出処理について詳細に説明する。

上述したように、基線長をＢ、焦点距離をｆ、距離をｄ、視差をｐとすると、上記式１が成り立つ。この式１を微分し、距離ｄを、基線長Ｂ、焦点距離ｆ、視差ｐを用いて表すと、以下の式２で表すことができる。

式２中、ｐ^’は、視差ｐを距離ｄで微分した量であり、距離が一定量、例えば１ｍ変化した場合の視差変化量を表すものである。距離の変化に対する変化量は、距離に応じて変化するが、式２は、視差変化量が常に視差の二乗に比例することを示している。

直進する自動車に２つの撮像装置２０、２１を搭載し、撮像すると、画像視野内の静止物体は、すべて一定の速度で撮像装置２０、２１に近づいてくることになる。例えば、図４に示すような風景を撮像する場合を考えてみる。視野の中に写る先行車２００と対向車２１０は、静止している地面２２０に対して移動していることから、移動体であり、その他の路面濃淡模様２３０、道路周辺建物２４０、交通標識２５０、山２６０といった背景風景等、視野内の多くのものが静止している。この静止している静止体は、どれも一定の速度で自分が乗った自動車に近づいてくるように見えることから、その位置に寄らず、すべて上記式２の関係で表されるはずである。したがって、撮像された画像の中の上記のような道路周辺建物２４０等の特徴を有する各特徴点について、視差と視差変化量とを求め、それをプロットすれば、式２をグラフに示す場合の曲線上にのるものと考えられる。これに対し、先行車２００等の移動体は、同じ視差（距離）に存在する静止体に比べ、視差変化量が大きかったり、小さくなることから、その曲線から外れた位置にプロットされることになる。このことから、曲線上にのるか、外れるかにより、静止体であるか、移動体であるかを判別することができる。

次に、視差、視差変化量を算出する方法について説明する。図５は、光学中心から被写体までの距離ｄと視差ｐの関係を示した図である。説明を簡単にするために、ここでは比例係数を１としている。図５に示すように、距離ｄ_０、ｄ_１の２つの地点において計測される視差をｐ_０、ｐ_１とし、ｐ_ｉ＝１／ｄ_ｉであることから、２つの地点での視差の差と距離の差の比は、次式で表すことができる。

この式３から、曲線ｐ＝１／ｄ上でこの傾きをもつ点は、ｐ^’＝１／ｄ^２であるため、距離ｄは、式４で表すことができ、視差ｐは、式５で表すことができる。

このことから、２つの地点で計測される視差がそれぞれｐ_０、ｐ_１であった場合、その間の代表的な視差は、上記式５となり、視差変化量ｐ^’は、式６として算出することができる。

この式６は、上記式３とは異なり、距離変化（ｄ_１−ｄ_０）で除していない。これは、画像だけでは自車の移動距離が不明であるため、このｐ^’には、２つの地点間の距離に応じて定数倍の不定性が残る。しかしながら、それでも移動距離が同じ一対の対応画像内では、上記の式２の関係が成立し、また、他の２つの点での計測データとの比較も、後述のように２次曲線抽出後に高さを正規化することができるため、ここではこの式で問題はない。また、上記式５は、視差オフセットを含まない場合に成立する考えであるが、実際に計測される視差ｐ_０、ｐ_１には視差オフセットが含まれるため、厳密には成立しない。そこで、演算を単純化するために、次式のように置き換えることができる。

次に、視差オフセットを算出する方法について説明する。実際に計測される視差には、視差オフセットが含まれるため、視差ｐは、真の視差ｐ_ｔからｐ_ｏｆｆだけずれている。

一方、視差変化量ｐ^’は、上記式６に示すように、視差オフセットを含む視差同士の差であるので、オフセット分は差し引き０となり、真の視差変化量と同じものになると考えられる。したがって、視差オフセットを含む視差と視差変化量との関係は、図６に示すように、理想的な上記式２からｐ軸方向へｐ_ｏｆｆだけ移動した曲線上にのる。この曲線の式は、次式で表される。

この計測された視差と視差変化量との関係から、ハフ変換等の検出したい線を方程式の形で表現する手法を用い、上記式９の曲線を抽出することにより、そのｐ軸方向への変位として、すなわちＸ切片の形で視差オフセットを算出することができる。このほか、上記式９の両辺の平方根をとり、視差ｐとｐ^’の平方根との関係を表す直線をハフ変換により抽出することも可能である。

次に、正規化と蓄積について説明する。上記式９の係数ａは、上記式２のＢｆ、および撮影する２つの地点間の距離、すなわち上記式６から得られる距離ｐ^’に応じた比例係数であり、２つの地点間の距離が増減すると視差変化量ｐ^’は定数倍される。そこで、ｐ^’の値を正規化、つまりｐ^’をａで除算した量を記録し、蓄積する。この量ｐ^’ _ｎｏｒは、次式で表される。

このように正規化した視差変化量ｐ^’ _ｎｏｒは、２つの地点間の距離に依存しないので、この正規化した視差変化量を視差と対応付けてデータとして多数蓄積し、その蓄積されたデータからより高精度に視差オフセットを算出することができる。

以上のことから、本発明の校正装置として用いることができる視差オフセット検出処理部１２０は、次の各部から構成することができる。図７は、この視差オフセット検出処理部１２０の構成を示した図である。この視差オフセット検出処理部１２０は、撮像制御部１００から基本画像を、視差データ生成処理部１１０から視差データをそれぞれ取得する画像取得部３００と、特徴点探索部３１０と、視差計算部３２０と、補正値計算部３３０とを含む構成とされる。

画像取得部３００は、任意の２地点において、２つの撮像装置２０、２１のうちの一方の撮像装置２０で撮像された２つの画像を基準画像として取得する。また、この画像取得部３００は、視差データ生成処理部１１０が、その２地点において、もう一方の撮像装置２１で撮像された２つの画像を対応画像として取得し、当該２つの対応画像と撮像制御部１００から取得した２つの基準画像とを用い、各地点につき基準画像と対応画像の中の共通する複数の特徴点の位置から算出した複数の視差データを取得する。

特徴点探索部３１０は、画像取得部３００が取得した２つの基準画像の中の共通する複数の特徴点を探索する。特徴点は、上述したように、建物、道路標識、山などの風景、路面濃淡模様、先行車、対向車等である。視差計算部３２０は、探索された各特徴点につき、２つの基準画像の各特徴点における視差データから、視差とその視差に対応する視差変化量とをそれぞれ算出する。具体的には、上記式５より各地点の視差から代表的な視差を求め、上記式６あるいは７よりその代表的な視差に対応する視差変化量を求める。補正値計算部３３０は、視差計算部３２０により算出された複数の視差および視差変化量から、撮像装置２０、２１の位置に関するパラメータの補正値を算出する。

このような構成を採用することで、撮像された画像から視差および視差変化量を求め、撮影地点間の距離によることなく補正値を算出することができるので、車速センサ等の自位置情報を計測するセンサは不要であり、また、特定の形状の被写体が存在してなくても、安定して補正値を算出することができる。このため、定期的に繰り返し実行することができ、そのつど補正を行い、距離計測の精度を一定に維持することができる。

補正値計算部３３０は、具体的には、算出された複数の視差および視差変化量を用いてモデル曲線を作成し、モデル曲線から補正値、上記でいう視差オフセットを算出する。このモデル曲線は、二次曲線とすることができ、二次関数として表すことができる。このため、その視差方向への変位を補正値として算出することができる。

これまで視差オフセット検出の原理およびこの原理を利用した校正装置の構成を説明してきたが、この原理を利用するにあたっては、算出された補正値の信頼性を評価することが望ましい。すなわち、図４に示すように、撮像された画像の中には、近距離から遠距離までの静止被写体が含まれ、移動被写体の面積が比較的小さい場合には、その視差と視差変化量との関係は、図６に示すように分布し、上記式９で表されるモデル曲線を抽出することができる。

例えば、撮像装置２０、２１の前方近距離に先行車２００が存在し、視野の大部分を占めるときに、特定の視差近辺のデータしか計測されなかった場合、図６の曲線上部や下部に示されるデータのように、抽出される曲線に大きな誤差が含まれる可能性がある。こういった悪条件は、検出し、それを排除しなければならない。

そこで、上記視差差分の分散評価で抽出したモデル近傍データについて、視差ｐが広く分布しているかどうか確認する。例えば、図８に示すように、視差の範囲を定め、２つの視差範囲０と視差範囲１に全計測データのうち２０％以上のデータ点が存在する場合に信頼性ありと判定する。この図８では、視差範囲１にしかデータが存在しないので、信頼性なしと判定される。

ここまで、直進する車両に搭載した距離計測システムで静止物体を撮像した場合について考えてきた。しかしながら、実際には直進している車両であっても、上下左右に微妙に回転し、すべての静止物体の距離変化が一定とはならない。また、低速度で移動する人等を計測した特徴点は、理想モデル曲線近傍にのり、近似に悪影響を及ぼす。このため、実用的な校正処理の実現のためには、直進する静止物体以外の被写体による悪影響を低減する必要がある。

そこで、抽出されるモデル曲線近傍の視差変化量の分布を調査する。視差の計測ばらつきは、光学センサのノイズ特性や、光学系の結像特性に依存し、測定しておくことができる。したがって、視差変化量データの、モデル曲線からの分散が、予め想定されるばらつきより十分に大きい場合には、そのデータはもともと曲線上にのっていなかったと推測し、視差オフセットの算出から排除する。

ばらつきによる信頼性評価の概念を、図９に示す。明らかに静止していない特徴点を除去するため、ｐ−ｐ^’空間にプロットされる特徴点データのうち、抽出されたモデル曲線近傍のデータのみを抽出する。図９に示すように、モデル曲線の上下ｐ^’ _ｔｏｌの範囲(破線で囲まれた範囲)にあるデータ点のみ抽出し、それ以外の白丸で示されるデータは除去する。

抽出された特徴点データについて、計測値と、近似モデルとの差分二乗平均を求め、これが所定の閾値以下である場合に、信頼性ありと判定する。これは、次式で表すことができる。

閾値は、予め視差の検出ばらつきに応じて設定しておくことができる。この閾値は、距離や輝度により変化させてもよい。

以上のことから、視差と視差変化量という２つのパラメータからなる空間に着目する。このパラメータ空間を利用することにより、次の利点を有する。
（１）視差変化量は視差オフセットによらない。
視差変化量は、上記式６で表されるように、計測される視差同士の差分であるため、視差オフセットの影響を排除することができる。
（２）直接視差オフセットを表現することができる。
上記式９で表されるように、モデル曲線のＸ切片として視差オフセットを算出することができる。
（３）正規化することができる。
視差変化量は、自車の移動距離、被写体距離により変化するが、ｐ^’がｐ^２に比例する関係が変わらないことから、移動距離が不明であっても、比例定数を正規化するだけで記録が可能となる。

本発明では、このような性質を利用すべく、多数の計測地点、特徴点データを活用し、視差オフセットを正確に推定することができる。

そこで、視差オフセット検出処理部１２０は、図７に示す各部に加えて、複数の視差の分布およびモデル曲線からの複数の視差変化量の分散に基づき、補正値の信頼性の有無を評価する信頼性評価部をさらに含むことができる。この信頼性評価部は、上述したようにして信頼性を評価する。このように信頼性評価部により信頼性を評価することで、撮像装置２０、２１以外の外部センサ等に依存することなく、補正値を算出するために悪影響を及ぼす条件を画像自身から検出することができるため、適用可能性が高く、かつ精度の高い校正を実現することができる。

具体的には、この信頼性評価部は、算出された視差変化量が、モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、それ以外のデータは排除し、その所定範囲内にあるデータの視差変化量とモデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する。そして、閾値以下であれば、信頼性ありと判定する。この所定範囲は、これまでの蓄積されたデータや経験から決定することができ、図９でいう上下ｐ^’ _ｔｏｌの範囲である。

また、信頼性評価部は、予め指定された視差の範囲に含まれる複数の視差の割合を計算し、その割合が所定の割合以上であるか否かを判定する。この視差の範囲は、図８でいう視差範囲０および視差範囲１である。ここでは、所定の割合以上であれば、信頼性ありと判定する。広い視差範囲にデータが分布していれば、それだけ信頼性は高くなるからである。これらの２つの評価基準を共に適用し、これらの基準を満たす場合に信頼性ありと判定することも可能であり、この方法が望ましい。このように２つの基準で判定を行うことにより、より高い精度の校正を実現することができる。

また、視差オフセット検出処理部１２０は、視差変化量を正規化する正規化処理部と、正規化された視差変化量を視差と対応付けて蓄積するデータ蓄積部とを含むことができる。この場合、上記の補正値計算部３３０は、データ蓄積部に蓄積された複数の視差および正規化された視差変化量から、撮像装置２０、２１の位置に関するパラメータの補正値を算出することができる。

正規化処理部は、上記式１０を用い、モデル曲線を表す二次関数の比例係数で視差変化量を除して、正規化された視差変化量を算出する。このように正規化することで、計算を単純化し、また、蓄積した多数のデータを利用することができるため、より精度の高い校正が可能となる。

信頼性評価部は、データ蓄積部に蓄積されたデータ数に応じて、補正値の信頼性の有無を評価することもできる。データ数が多ければ、モデル曲線を抽出する際のプロットする点が多くなり、モデル曲線の精度が高くなり、モデル曲線からハフ変換により得られる視差オフセットの精度が高くなり、その結果、補正値の信頼性が高くなるからである。

次に、距離計算装置３０において行われる処理について詳細に説明する。図１０は、視差データ生成処理部１１０が行う視差データ生成処理の流れを示したフローチャート図である。この処理は、ステップ１０００から開始し、まず、ステップ１０１０で、平行配置された２つの撮像装置２０、２１により同時に撮影された画像の入力を受け付ける。次に、その画像内の特徴点を探索するが、まず、ステップ１０２０で、基準となる一方の画像（基準画像）から濃淡変化の激しい特徴点を複数抽出する。次に、ステップ１０３０で、もう一方の画像（対応画像）から、その基準画像の各特徴点近傍の領域（ブロック）と同じ被写体が写った特徴点の位置を探索する。この対応する特徴点の探索には、ＳＡＤ(Sum of Absolute Difference)やＰＯＣ（位相限定相関）等の周知の技術を利用することができる。

ＳＡＤは、画像間の類似性を評価するため、比較する画像から領域を切り出し、その領域に対する輝度差の総和を求め、最小値を与える切り出し位置を検索することで、画像間の変化を画素単位で求めることができるというものである。ＰＯＣは、基準となる画像と照合すべき画像の相関（類似性）を求めるため、デジタル信号化された画像をフーリエ変換で数学的に処理し、振幅（濃淡データ）と位相（像の輪郭データ）に分解し、この位相の情報のみを使用して相関を瞬時に画像処理するものである。

このようにして特徴点の探索を行った後、ステップ１０４０で、視差を算出する。視差は、特徴点の探索により得られた２つの画像上の特徴点の位置の差分を取ることにより、それらの間の距離として算出することができる。また、視差オフセット検出処理部１２０から入力される視差オフセットを減算し、視差オフセット補正を実行する。これは、前回の計算にて計算された視差オフセットの分だけ位置ずれしているのを補正するものである。なお、視差オフセット検出処理の結果が出力されるまでは、補正値としての視差オフセットがないため、初期値として０を利用する。

視差を算出したところで、ステップ１０５０で、視差データを出力する。すなわち、補正された視差量を画素値とする視差画像を視差データとして出力することができる。出力後、ステップ１０６０で、この処理を終了する。この処理を定期的に繰り返し実行することで、常時、撮像装置２０、２１の前方の視差データを出力し続けることができる。

視差オフセット検出処理部１２０は、視差データ生成処理部１１０から入力される視差データを利用して、撮像装置２０、２１の位置に関するパラメータを補正するための補正値としての視差オフセットを算出する。この視差オフセット検出処理は、温度変化等に依存するため、距離計測システムの使用中は、常時、定時的に繰り返し実行する。図１１は、視差オフセット検出処理部１２０が行う視差オフセット検出処理の流れを示したフローチャート図である。

この処理は、ステップ１１００から開始し、ステップ１１１０で、画像の入力を受け付ける。画像は、撮像制御部１００から２枚の基準画像を受け付け、視差データ生成処理部１１０から視差データ、具体的にはそれら基準画像に対応する２枚の視差画像を受け付ける。

次に、ステップ１１２０で、２枚の基準画像間で対応する特徴点を探索する。視差データ生成処理部１１０による特徴点の探索と同様に、ブロックごとにＳＡＤを計算し、最小値をとる位置を探索する。ただし、図１０における画像の特徴点探索とは異なり、放射状の探索範囲を設定する。このように探索範囲を設定することにより、特徴点の探索処理の演算量を低減し、同時に横方向への移動物体や自車の回転をある程度排除することができる。

ステップ１１３０で、上記式５を用いて特徴点ごとに、対応する２つの視差から代表的な視差を算出し、上記式６を用いて視差変化量を算出する。そして、ステップ１１４０で、このようにして算出した視差および視差変化量からハフ変換により、上記式９で表されるような２次曲線を抽出する。具体的には、決定したいパラメータａ、ｐ_ｏｆｆ（以下、ｂとする。）からなる２次元平面の、予め設定した範囲の所定の間隔で多数の領域に分割し、各領域に対応する２次元配列をメモリ上に用意する。

ｐ^’＝ａ（ｐ−ｂ）^２という式をａ、ｂ空間の曲線とみなし、計測された各ｐ、ｐ^’に対し、上記ａ、ｂ空間を表す２次元配列の、曲線ｂ＝ｐ±√（ｐ^’／ａ）上にプロットする。全ての計測値ｐ、ｐ’についてのプロットの結果、最もプロットが多い領域に対応するａ、ｂペアが、多くの計測値ｐ、ｐ^’を通る曲線を表すものと考えられる。このため、そのａ、ｂペアをモデル曲線として選択することができる。ここで得られるパラメータｂは、視差オフセットであり、これを視差補正処理に利用することができる。

次に、ステップ１１５０で、得られたパラメータについての信頼性を評価する。例えば、以下の２つの評価基準で判定することができる。１つは、視差差分の分散である。ｐ−ｐ^’空間にプロットされる特徴点データのうち、モデル曲線の上下所定範囲にあるデータ点のみを抽出し、抽出したデータについて、上記式１１を用い、計測値と近似モデルの差分二乗平均Ｅを求め、このＥが所定の閾値、図９でいうｐ^’ _ｔｏｌが例えば０．３画素以下であるかどうかを判定する。それ以下である場合は、信頼性ありと判定する。

もう１つは、距離範囲の分布である。図８に示すように、視差の範囲を定め、２つの視差範囲０と視差範囲１、例えば５画素以下と、１０画素以上に、全計測データのうち、それぞれ２０％以上のデータ点が存在する場合に信頼性ありと判定する。

このように２つの観点から抽出されたモデルパラメータの信頼性を判定し、両方で信頼性ありと判定された場合のみ、次のステップ１１６０へ進み、そうでない場合は、その計測データを廃棄し、ステップ１１１０へ戻り、次の画像の入力を受け付ける。

ステップ１１６０では、精度向上のため、多数の計測データを蓄積する。具体的には、ステップ１１５０での信頼積評価でモデル曲線近傍データとして抽出された計測データｐ^’に対し、得られたモデルパラメータａを使用し、上記式１０を用いて除算し、結果のｐ^’ _ｔｏｌ元のｐとペアにして記録する。

ステップ１１７０では、単純に蓄積されたデータの数が、一定の閾値を超えた場合に信頼性が高いと判定し、次のステップ１１８０へ進む。一方、超えない場合は、記録データを保存したまま、ステップ１１１０へ戻り、画像の入力を受け付ける。ここでは、単純に蓄積されたデータ数により判断しているが、ステップ１１５０と同様に、２つの評価基準を適用し、判定することも可能である。

ステップ１１８０では、これまでに移動物体上の特徴点が取り除かれているため、ハフ変換のようなはずれ値除去の機能は不要であり、また、ハフ変換では、離散化したパラメータを得ることができないため、最小二乗近似を採用し、モデルフィットを行うことができる。

蓄積されたデータに対し、上記式９を用いて最小二乗近似を行う。ただし、パラメータａは、すでにデータが正規化されているため、１と固定し、パラメータｐ_ｏｆｆについてのみ最適化を行う。結果として、多数の撮影画像に基づいて視差オフセットが推定される。このとき、以降の処理のため、このステップの最後に、蓄積されたｐとｐ^’のペアからなるデータ群を削除する。

こうして得られた視差オフセットｐ_ｏｆｆを、ステップ１１９０において視差データ生成処理部１１０へ出力し、ステップ１２００においてこの処理を終了する。出力された視差オフセットは、視差データ生成処理部１１０において視差データを生成する際に行われる視差オフセット補正に利用される。

このように視差オフセットを算出し、視差データ生成処理部１１０へ出力し続けることにより、継続的にカメラパラメータを校正することができ、距離計測の精度を高く維持することができる。

上述したように、撮像された画像データから視差データおよび視差変化量データを算出し、それらのデータから撮影地点間の距離によることなく視差オフセットを算出することができるため、カメラ以外の車速センサ等、自位置情報を計測するセンサに依存せず、かつ、特定の形状の被写体の存在を仮定することなく、稼働中に撮影される様々な画像を利用して、視差オフセットを安定して検出することができる。

また、撮像装置２０、２１以外の外部センサに依存せず、補正パラメータ算出に悪影響を及ぼす条件を、撮像画像データ自身から検出するので、適用可能性が高く、かつ精度の高い校正装置を実現することができる。

また、多数のフレームを利用するので、より精度の高い校正装置を実現することができ、カメラ画像自身から補正パラメータを算出するので、適用可能性が高く、かつ精度の高い距離計測システムを実現することができる。

これまで本発明を上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、本発明は、上記の校正装置および校正方法のほか、その方法を実行するためのコンピュータ可読なプログラム、そのプログラムが記録された記録媒体も提供することができるものである。

１０…距離計測システム、２０、２１…撮像装置、３０…距離計算装置、３１…フラッシュメモリ、３２…ＤＲＡＭメモリ、３３…ＣＰＵ、３４…接続インタフェース、３５…バス、１００…撮像制御部、１１０…視差データ生成処理部、１２０…視差オフセット検出処理部、２００…先行車、２１０…対向車、２２０…地面、２３０…路面濃淡模様、２４０…道路周辺建物、２５０…交通標識、２６０…山、３００…画像取得部、３１０…特徴点探索部、３２０…視差計算部、３３０…補正値計算部

特許第３４３６０７４号公報 特開２００１−１６９３１０号公報 特開２００９−１８２８７９号公報

Claims (22)

1. 移動体に搭載され、２つの撮像装置を使用して距離計測を行う距離計測システムに設定される該撮像装置の位置に関するパラメータを校正するための校正装置であって、
   ２地点において一方の前記撮像装置で撮像された２つの基準画像と、前記２地点において他方の前記撮像装置で撮像された２つの対応画像と前記２つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付ける画像取得部と、
   前記２つの基準画像の中の共通する複数の特徴点を探索する特徴点探索部と、
   探索された各前記特徴点につき、前記２つの基準画像の前記各特徴点における前記視差データから、視差と該視差に対応する視差変化量とをそれぞれ算出する視差計算部と、
   算出された複数の前記視差および前記視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する補正値計算部とを含む、校正装置。
2. 前記補正値計算部は、算出された複数の前記視差および前記視差変化量を用いてモデル曲線を作成し、前記モデル曲線から前記補正値を算出する、請求項１に記載の校正装置。
3. 前記モデル曲線は、二次曲線であり、視差方向への変位を補正値として算出する、請求項２に記載の校正装置。
4. 前記複数の視差の分布および前記モデル曲線からの複数の前記視差変化量の分散に基づき、前記補正値の信頼性の有無を評価する信頼性評価部をさらに含む、請求項２または３に記載の校正装置。
5. 前記信頼性評価部は、算出された前記視差変化量が、前記モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、前記データの視差変化量と前記モデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する、請求項４に記載の校正装置。
6. 前記信頼性評価部は、指定された視差の範囲に含まれる前記複数の視差の割合を計算し、前記割合が所定の割合以上であるか否かを判定する、請求項４に記載の校正装置。
7. 前記校正装置は、前記視差変化量を正規化する正規化処理部と、正規化された前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部とを含み、
   前記補正値計算部は、蓄積された複数の前記視差および前記正規化された視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する、請求項１〜６のいずれか１項に記載の校正装置。
8. 前記正規化処理部は、前記モデル曲線を表す二次関数の比例係数で前記視差変化量を除して、正規化された前記視差変化量を算出する、請求項７に記載の校正装置。
9. 前記信頼性評価部は、前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部に蓄積されたデータ数に応じて、前記補正値の信頼性の有無を評価する、請求項４に記載の校正装置。
10. 請求項１〜９のいずれか１項に記載の校正装置と、一定間隔で離間し、同一直線上に各々の撮像面が配置され、同じ焦点距離を有する２つの撮像装置と、前記２地点において前記他方の撮像装置で撮像された前記２つの対応画像と前記２つの基準画像とを用い、前記各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から複数の視差データを算出して出力する視差データ生成処理装置とを含む、距離計測システム。
11. 前記視差データ生成処理装置は、前記校正装置から前記補正値を取得し、前記複数の視差データに対し前記補正値を用いて補正を行い、前記校正装置へ再び出力する、請求項１０に記載の距離計測システム。
12. 移動体に搭載され、２つの撮像装置を使用して距離計測を行う距離計測システムに設定される該撮像装置の位置に関するパラメータを校正する校正方法であって、
    ２地点において一方の前記撮像装置で撮像された２つの基準画像と、前記２地点において他方の前記撮像装置で撮像された２つの対応画像と前記２つの基準画像とを用い、各地点につき前記基準画像と前記対応画像の中の共通する複数の特徴点の位置から算出された複数の視差データとの入力を受け付けるステップと、
    前記２つの基準画像の中の共通する複数の特徴点を探索するステップと、
    探索された各前記特徴点につき、前記２つの基準画像の前記各特徴点における前記視差データから、視差と該視差に対応する視差変化量とをそれぞれ算出するステップと、
    算出された複数の前記視差および前記視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出するステップとを含む、校正方法。
13. 前記補正値を算出するステップでは、算出された複数の前記視差および前記視差変化量を用いてモデル曲線を作成し、前記モデル曲線から前記補正値を算出する、請求項１２に記載の校正方法。
14. 前記モデル曲線は、二次曲線であり、視差方向への変位を補正値として算出する、請求項１３に記載の校正方法。
15. 前記複数の視差の分布および前記モデル曲線からの複数の前記視差変化量の分散に基づき、前記補正値の信頼性の有無を評価するステップをさらに含む、請求項１３または１４に記載の校正方法。
16. 前記評価するステップでは、算出された前記視差変化量が、前記モデル曲線上の視差変化量から所定範囲内にあるデータのみを抽出し、前記データの視差変化量と前記モデル曲線上の対応する視差に対する視差変化量との差分二乗平均を求め、求めた値が閾値以下であるか否かを判定する、請求項１５に記載の校正方法。
17. 前記評価するステップでは、指定された視差の範囲に含まれる前記複数の視差の割合を計算し、前記割合が所定の割合以上であるか否かを判定する、請求項１５に記載の校正方法。
18. さらに、前記視差変化量を正規化するステップと、正規化された前記視差変化量を前記視差と対応付けてデータ蓄積部に蓄積するステップとを含み、
    前記補正値を算出するステップでは、蓄積された複数の前記視差および前記正規化された視差変化量から、前記撮像装置の位置に関するパラメータの補正値を算出する、請求項１２〜１７のいずれか１項に記載の校正方法。
19. 前記正規化するステップでは、前記モデル曲線を表す二次関数の比例係数で前記視差変化量を除して、正規化された前記視差変化量を算出する、請求項１８に記載の校正方法。
20. 前記評価するステップでは、前記視差変化量を前記視差と対応付けて蓄積するデータ蓄積部に蓄積されたデータ数に応じて、前記補正値の信頼性の有無を評価する、請求項１５に記載の校正方法。
21. 前記補正値を取得し、前記複数の視差データに対し前記補正値を用いて補正を行うステップをさらに含む、請求項１２〜２０のいずれか１項に記載の校正方法。
22. 請求項１２〜２１のいずれか１項に記載の校正方法を実行するためのコンピュータ可読な校正プログラム。