JP6520080B2 - ステレオカメラ校正方法、視差算出装置、ステレオカメラ及び車両 - Google Patents

Description

本発明はステレオカメラ校正方法、視差算出装置及びステレオカメラに関する。

被写体までの距離を計測できるステレオカメラが利用されている。例えば自動車に搭載されたステレオカメラ（以下「車載ステレオカメラ」という。）により、車両前方の被写体までの距離を計測して、自動車を制御する技術が実用化されている。例えば車載ステレオカメラが計測した距離は、自動車の衝突防止や車間距離の制御等の目的で、運転者への警告、ブレーキ及びステアリング等の制御に利用されている。

一般に、車載ステレオカメラは自動車のフロントガラス内側に設置することが多い。これは、車載ステレオカメラを車外に設置すると、防水及び防塵などの点でより高い耐久性が必要になるためである。車内に設置されたステレオカメラは、車外の風景をフロントガラス越しに撮影する。一般に、フロントガラスは複雑な曲面形状を有し、またカメラ内のレンズのような光学部品と比べ、形状にゆがみを持つ。そのためフロントガラスは、フロントガラス越しに撮影された画像に歪みを生じさせる。

ステレオカメラにより取得した撮影画像を補正する技術は従来から知られている。例えば特許文献１には、ステレオカメラを構成する一対のカメラから出力された一対の画像データのそれぞれを、一方の画像データと他方の画像データとの座標のずれに基づく校正パラメータを用いて変換することにより、ステレオカメラの光学的な歪み及び位置的なずれを画像処理によって調整する装置が開示されている。

しかしながら従来の技術では、一対の画像データ間の被写体の像の視差（相対位置）のずれ（以下「相対位置ずれ」という。）は正しい視差に校正できるが、画像データ上の被写体の像の座標のずれ（以下「絶対位置ずれ」という。）は正しい座標に校正できなかった。そのため被写体の像の視差から算出された被写体までの距離と、画像データ上の被写体の像の座標と、から被写体の位置を示す３次元座標を算出すると、当該３次元座標に誤差が発生してしまう問題があった。

本発明は、上記に鑑みてなされたものであって、画像データ上の相対位置ずれだけでなく、画像データ上の絶対位置ずれも校正することができるステレオカメラ校正方法、視差算出装置及びステレオカメラを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１カメラと第２カメラとを備え、透明体を介して被写体を撮影するステレオカメラの校正方法であって、前記第１カメラにより撮影される画像の前記透明体に起因する影響を補正する第１パラメータと、前記第２カメラにより撮影される画像の前記透明体に起因する影響を補正する第２パラメータと、を記憶するステップと、前記第１カメラにより前記透明体を介して被写体を撮影して得られた撮影画像を前記第１パラメータにより補正した第１補正画像と、前記第２カメラにより透明体を介して被写体を撮影して得られた撮影画像を前記第２パラメータにより補正した第２補正画像と、に基づいて、前記ステレオカメラの視差の相対位置ずれと前記透明体の影響に起因する位置ずれとを補正する補正パラメータを算出するステップと、を含む。

本発明によれば、画像データ上の相対位置ずれだけでなく、画像データ上の絶対位置ずれも校正することができるという効果を奏する。

図１はステレオカメラを使用した距離の計測原理を説明するための図である。 図２Ａは被写体の像の理想的な検出位置を示す図である。 図２Ｂは被写体の像の検出位置のずれを示す図である。 図３Ａは被写体の像及び視差の理想の状態を示す図である。 図３Ｂはフロントガラスによる光の屈折の影響で被写体の像の絶対位置ずれを示す図である。 図３Ｃは図３Ｂの基準画像の像の位置を基準にして視差を算出する場合を示す図である。 図３Ｄは視差が理想視差ｄになるように比較画像を校正する場合を示す図である。 図３Ｅは被写体の像の位置の絶対位置ずれが校正できていないことを示す図である。 図４は第１実施形態のステレオカメラ校正方法の実施環境の例を示す図である。 図５は第１実施形態における校正方法の全体概略フローチャートである。 図６は第１実施形態のステレオカメラ校正方法の例を示すフローチャートである。 図７は第１実施形態の第１補正パラメータを算出するシミュレーション環境の例を示す図である。 図８はセンサの像の位置を示す座標のずれ（絶対位置ずれ）の分布の例を示す図である。 図９は座標のずれ（絶対位置ずれ）の分布が図８の状態で視差を算出した場合の視差の縦成分のずれ（相対位置ずれ）の分布の例を示す図である。 図１０は第２実施形態の視差算出装置の構成の例を示す図である。 図１１は第２実施形態の視差算出方法の例を示すフローチャートである。 図１２は第３実施形態のステレオカメラの構成の例を示す図である。 図１３は第３実施形態のステレオカメラを車載ステレオカメラとして使用する例を示す図である。 図１４は第２及び第３実施形態の視差算出装置のハードウェア構成の例を示す図である。

以下に添付図面を参照して、ステレオカメラ校正方法、視差算出装置及びステレオカメラの実施形態を詳細に説明する。

（第１実施形態）
まず視差と、視差を利用した距離計測原理について説明する。視差はステレオカメラが撮影した撮影画像を使用して算出する。図１はステレオカメラを使用した距離の計測原理を説明するための図である。図１の例では、第１カメラ１（焦点距離ｆ、光学中心Ｏ_０、撮像面Ｓ_０）がＺ軸を光軸方向として配置されている。また第２カメラ２（焦点距離ｆ、光学中心Ｏ_１、撮像面Ｓ_１）がＺ軸を光軸方向として配置されている。第１カメラ１及び第２カメラ２はＸ軸に対して平行に、距離Ｂ（基線長）だけ離れた位置に配置される。

第１カメラ１の光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａは、直線Ａ−Ｏ_０と撮像面Ｓ_０の交点であるＰ_０に像を結ぶ。一方、第２カメラ２では、同じ被写体Ａが、撮像面Ｓ_１上の位置Ｐ_１に像を結ぶ。以下、撮像面Ｓ_０から取得された撮影画像を「第１撮影画像」という。また撮像面Ｓ_１から取得された撮影画像を「第２撮影画像」という。

ここで第２カメラ２の光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面Ｓ_１との交点をＰ_０’とする。またＰ_０’とＰ_１の距離をｐとする。距離ｐは同じ被写体の像を２台のカメラで撮影した画像上での位置のずれ量（視差）を表す。三角形Ａ−Ｏ_０−Ｏ_１と三角形Ｏ_１−Ｐ_０’−Ｐ_１とは相似である。そのためｄ＝Ｂ×ｆ／ｐが成り立つ。すなわち基線長Ｂ、焦点距離ｆ及び視差ｐから、被写体Ａまでの距離ｄを求めることができる。

以上が、ステレオカメラによる距離計測原理である。しかしながら透明体を介して被写体を撮影するステレオカメラ（フロントガラスを介して被写体を撮影する車載ステレオカメラなど）の場合、透明体の影響により撮影画像上の被写体の像の位置にずれ（上述の絶対位置ずれ）が生じる。

図２Ａは被写体の像の理想的な検出位置を示す図である。図２Ａではレンズ１１（光学系）を簡単のためピンホールカメラとみなしている。レンズ１１の光軸上に被写体１３が存在していた場合、光線は光軸１４と同じ方向に直進していき、そのままセンサ１２上に到達する。すなわち被写体１３の像は光軸の位置に対応する位置で検出される。

図２Ｂは被写体の像の検出位置のずれを示す図である。図２Ｂは図２Ａのレンズ１１の前面にフロントガラス１５が設置されている場合の例である。被写体１３から出射された光線はフロントガラス１５前後面で屈折し、最終的にフロントガラス１５がない場合に到達していた像位置（図２Ａ参照）からΔＦｒ分だけずれて到達する。すなわち被写体１３の像は光軸の位置に対応する位置からΔＦｒ分だけずれて検出される。

このΔＦｒはステレオカメラの片眼のカメラ毎に発生する。ここで理想的な視差（以下、「理想視差」という。）と、ステレオカメラが取得した一対の画像データから得られた視差とに基づいて画像データを校正すると、被写体の像の視差のずれは正しい視差に校正できるが、被写体の像の座標のずれ（ΔＦｒ）が校正できないことについて説明する。

図３Ａ〜Ｅは被写体の像の視差のずれ（上述の相対位置ずれ）は正しい視差に校正できるが、被写体の像の位置のずれ（上述の絶対位置ずれ）が正しい位置に校正できない校正の原理を説明するための図である。図３Ａ〜Ｅの比較画像は第１カメラ１により撮影された第１撮影画像である。図３Ａ〜Ｅの基準画像は第２カメラ２により撮影された第２撮影画像である。

図３Ａは被写体の像及び視差の理想の状態を示す。比較画像では被写体の像の位置は（５，７）である。一方、基準画像では被写体の像の位置は（５，４）である。すなわち理想視差ｄは３である。

図３Ｂはフロントガラス１５による光の屈折の影響で被写体の像の絶対位置ずれを示す。比較画像では被写体の像は（７，９）に現れている。すなわち理想状態からのずれの大きさは縦方向に２、横方向に２である。一方、基準画像では被写体の像は（６，３）に現れている。すなわち理想状態からのずれの大きさは縦方向に１、横方向に１である。

図３Ｃは図３Ｂの基準画像の像の位置を基準にして視差を算出する場合を示す。比較画像において、基準画像の像の位置と同じ位置である（６，３）に基準となる像をとる。図３Ｃの状態では視差は縦方向に１、横方向に６である。つまり被写体の像の絶対位置ずれの影響により、理想視差とのずれ（相対位置ずれ）が縦方向に１、横方向に３生じている。

図３Ｄは視差が理想視差ｄになるように比較画像を校正する場合を示す図である。ステレオカメラの撮影対象として距離が既知の校正用チャートを利用すると、理想視差ｄが算出できる。従来のステレオカメラ校正方法では、距離が既知の校正用チャートを被写体として含む基準画像の像の位置（６，３）を基準として視差が３（理想視差ｄ）になるように、距離が既知の校正用チャートを被写体として含む比較画像の像の位置を校正する。すなわち従来のステレオカメラ校正方法は、比較画像の像の位置が（７，９）から（６，６）になるように比較画像を校正する。この校正により比較画像と基準画像とから理想視差ｄを算出できるようにする。

図３Ｅは被写体の像の位置の絶対位置ずれが校正できていないことを示す図である。比較画像の像の位置（６，６）は理想状態の位置（５，７）から縦方向に１、横方向に１ずれたままである。また基準画像の像の位置（６，３）は理想状態の位置（５，４）から縦方向に１、横方向に１ずれたままである。以上のように、一対の画像データを使用して、視差が理想視差ｄになるように画像データを校正しても、被写体の像の位置が正しい位置に校正できない。

以下、本実施形態のステレオカメラ校正方法によると、被写体の像の位置をほぼ理想状態の位置に校正することができることについて説明する。

図４は第１実施形態のステレオカメラ校正方法の実施環境の例を示す図である。図４は自動車のフロントガラス１５の内側に取り付けられたステレオカメラ３０を校正する場合の例である。校正用チャート６０（校正用具）はステレオカメラ３０の撮影範囲に入るように設置する。例えば校正用チャート６０はステレオカメラ３０からおよそ２ｍの距離に、ほぼ正対するように設置する。校正用チャート６０は、第１撮影画像（比較画像）上の点に対応する第２撮影画像（基準画像）上の対応点を検出し易くするための濃淡模様等を有する。ステレオカメラ３０により撮影された校正用チャート６０を被写体として含む第１撮影画像（第２撮影画像）は、ステレオカメラ３０の校正に使用されるパラメータを決定するために用いられる。当該第１撮影画像（第２撮影画像）は、校正装置としての情報処理装置５０に入力され、ステレオカメラ３０の校正に使用されるパラメータが当該情報処理装置５０により決定される。

図５は第１実施形態における校正方法の全体概略フローチャートである。情報処理装置５０が、絶対位置ずれを校正する補正パラメータを算出する（ステップＳ１０１）。具体的には、情報処理装置５０は、第１カメラ１により撮影される第１撮影画像（比較画像）の絶対位置ずれを校正する後述の第１補正パラメータと、第２カメラ２により撮影される第２撮影画像（基準画像）の絶対位置ずれを校正する後述の第２補正パラメータと、を算出する。

次に情報処理装置５０が、相対位置ずれを校正する補正パラメータを算出する（ステップＳ１０２）。具体的には、情報処理装置５０が、後述の第１補正パラメータにより校正された第１撮影画像の被写体の像の座標と、後述の第２補正パラメータにより校正された第２撮影画像の被写体の像の座標との差と、理想視差ｄとから、校正された第１撮影画像の被写体の像と、校正された第２撮影画像の被写体の像と、の視差のずれを示す相対位置ずれを校正する後述の第３補正パラメータを算出する。

次に情報処理装置５０が、補正パラメータを修正する（ステップＳ１０３）。具体的には、第１撮影画像の絶対位置ずれを校正する後述の第１補正パラメータ、又は、第２撮影画像の絶対位置ずれを校正する後述の第２補正パラメータを、相対位置ずれを校正する後述の第３補正パラメータにより修正する。

次にステレオカメラ３０が、修正された補正パラメータを記憶する（ステップＳ１０４）。具体的には、ステレオカメラ３０は、例えば第１撮影画像を校正する補正パラメータとして、第３補正パラメータにより修正された後述の第１補正パラメータを記憶し、第２撮影画像を校正するパラメータとして、後述の第２補正パラメータを記憶する。

次に第１実施形態の校正方法の詳細について説明する。

図６は第１実施形態のステレオカメラ校正方法の例を示すフローチャートである。情報処理装置５０が、第１カメラ１の光学シミュレーションを行う（ステップＳ１）。ステップＳ１の光学シミュレーションによりフロントガラス１５を通過する光の屈折によって生じる第１撮影画像上の被写体の像の位置の絶対位置ずれを校正する第１補正パラメータを算出する。なお情報処理装置５０は、光学シミュレーションソフトがインストールされたコンピュータなどである。また光学シミュレーションでは、有限要素法等の数値解析法を利用する。

図７は第１実施形態の第１補正パラメータを算出するシミュレーション環境の例を示す図である。フロントガラス１５を光学系１１の前方に設置する。フロントガラス１５の特性は、例えばフロントガラス１５の表裏の曲率半径、厚さ、屈折率、及びアッベ数により特定する。曲率半径はフロントガラス１５の曲がり具合を示す。厚みはフロントガラス１５の厚さである。屈折率はフロントガラス１５を通過する光の進み方を示す。アッベ数はフロントガラス１５を通過する光の分散を評価する指標である。アッベ数の値が大きい程、フロントガラス１５の分散が小さいことを示す。またフロントガラス１５は光軸１４に対して所定の大きさだけ傾けて設置する。このシミュレーション環境で第１カメラ１の光学系１１（レンズ）の特性の設定を使用して、第１撮影画像上の被写体の像のずれ（絶対位置ずれ）を測定する。

光学系１１の特性は、面番号、曲率半径、厚み、屈折率及びアッベ数などにより表す。面番号は光学系１１に配置されているレンズの位置を示す番号である。面番号は被写体側から像側に昇順に数える。また光学系１１の絞りの位置は所定の面番号により特定する。曲率半径はレンズの曲がり具合を示す。厚みはレンズの厚さである。屈折率はレンズを通過する光の進み方を示す。アッベ数はレンズを通過する光の分散を評価する指標である。アッベ数の値が大きい程、レンズの分散が小さいことを示す。

図８及び図９を参照してシミュレーション結果の一例について説明する。図８はセンサ１２の像の位置を示す座標のずれ（絶対位置ずれ）の分布の例を示す図である。すなわち図８のベクトルの根元はフロントガラス１５がない場合の像の位置を示し、ベクトルの先はフロントガラス１５がある場合の像の位置を示す。図８のベクトルの長さが像の位置を示す座標のずれ（絶対位置ずれ）の大きさを示す。なお図８のベクトルのスケールは、一番長いベクトルで１０ｐｉｘ程度の絶対位置ずれを表す。またセンサ１２のセンササイズは水平２．４ｍｍ、垂直１．８ｍｍであり、センサピッチは０．００３７５ｍｍである。

図８からフロントガラス１５によって像位置は全体的に下方向にずれることがわかる。また像位置の絶対位置ずれの大きさは、センサ１２の下部で大きくなり、最大で１０ｐｉｘ程度の絶対位置ずれが生じることがわかる。

図９は座標のずれ（絶対位置ずれ）の分布が図８の状態で視差を算出した場合の視差の縦成分のずれ（相対位置ずれ）の分布の例を示す図である。図９のベクトルの長さは、ベクトルの根元の座標における視差のずれ（相対位置ずれ）の大きさを表す。なお図９のベクトルのスケールは、一番長いベクトルで０．３ｐｉｘ程度の相対位置ずれを表す。

図８及び図９から、フロントガラス１５によって生じる像の位置ずれ（絶対位置ずれ）は最大で１０ｐｉｘ程度（図８参照）だが、視差の縦成分のずれ（相対位置ずれ）は最大で０．３ｐｉｘ以下（図９参照）である。上述の図３Ａ〜Ｅで説明した方法で画像データを校正した場合、被写体の位置の絶対位置ずれは直せないので、被写体の像の絶対位置ずれは最大で１０ｐｉｘ程度になる（図８参照）。なお被写体の像の位置が１０ｐｉｘ程度ずれていると、２０ｍ先の物体の３次元座標を算出した場合に、１０ｃｍ以上の誤差が生じる。

図６に戻り、次に、情報処理装置５０が、第２カメラ２の光学シミュレーションを行う（ステップＳ２）。具体的には、第１カメラ１の光学系の設定と、第２カメラ２の光学系の設定と、が同じである場合、フロントガラス１５と、ステレオカメラ３０の第２カメラ２と、の位置の関係に応じた条件にして、ステップＳ１と同様の光学シミュレーションを行う。ステップＳ２の光学シミュレーションによりフロントガラス１５を通過する光の屈折によって生じる第２撮影画像上の被写体の像の位置の絶対位置ずれを校正する第２補正パラメータを算出する。

次に、ステレオカメラ３０が第１補正パラメータと第２補正パラメータとを記憶する（ステップＳ３）。次に、ステレオカメラ３０が、被写体として距離が既知の校正用チャート６０を撮影して、第１撮影画像と第２撮影画像とを取得する（ステップＳ４）。校正用チャート６０は、第１撮影画像（比較画像）上の点に対応する第２撮影画像（基準画像）上の対応点を検出し易くするための濃淡模様等を有する。次に、ステレオカメラ３０が、第１撮影画像を第１補正パラメータにより校正する（ステップＳ５）。次に、ステレオカメラ３０が、第２撮影画像を第２補正パラメータにより校正する（ステップＳ６）。

次に、情報処理装置５０は、校正された第１撮影画像の被写体の像の座標と、校正された第２撮影画像の被写体の像の座標との差と、理想視差ｄとから、校正された第１撮影画像の被写体の像と、校正された第２撮影画像の被写体の像と、の視差のずれを示す相対位置ずれを校正する第３補正パラメータを算出する（ステップＳ７）。次に、情報処理装置５０は、第１補正パラメータを第３補正パラメータにより修正することにより、修正後第１補正パラメータを算出する（ステップＳ８）。次に、ステレオカメラ３０は修正後第１補正パラメータを記憶する（ステップＳ９）。

以上説明したように、第１実施形態のステレオカメラ校正方法は、情報処理装置５０が、透明体を介して被写体を撮影する第１カメラ１及び第２カメラ２の光学シミュレーションを行って第１補正パラメータ及び第２補正パラメータを算出する。次に情報処理装置５０が、第１補正パラメータを使用して校正された第１撮影画像と、第２補正パラメータを使用して校正された第２撮影画像と、から第３補正パラメータを算出する。次に情報処理装置５０が、第１補正パラメータを第３補正パラメータにより修正することにより、修正後第１補正パラメータを算出する。これにより第１実施形態のステレオカメラ校正方法によれば、画像データ上の被写体の像の視差のずれ（相対位置ずれ）だけでなく、画像データ上の被写体の像の座標のずれ（絶対位置ずれ）も校正することができる補正パラメータ（修正後第１補正パラメータ及び第２補正パラメータ）を算出することができる。

第１実施形態のステレオカメラ校正方法は、例えばステレオカメラ３０の出荷前や定期点検時の校正などに実施することができる。なお上述の説明では、情報処理装置５０は第１補正パラメータを第３補正パラメータにより修正したが、第２補正パラメータを第３補正パラメータにより修正してもよい。また、第３補正パラメータを、記憶部２４に、第１および第２補正パラメータと独立に記憶しても良い。以降、第１および第２補正パラメータならびに第３補正パラメータに基づいた補正パラメータには、第１または第２補正パラメータの少なくとも一方が第３補正パラメータにより修正された補正パラメータも、第１および第２補正パラメータならびに第３補正パラメータそれら自身も含むものとする。

（第２実施形態）
次に、第２実施形態の視差算出装置について説明する。第２実施形態の視差算出装置は上述のステレオカメラ校正方法により算出された補正パラメータを利用する。なお稼働中の視差算出装置で補正パラメータを利用する場合は、「校正」ではなく「補正」と表記する。図１０は第１実施形態の視差算出装置２０の構成の例を示す図である。第１実施形態の視差算出装置２０は、受付部２１、第１補正部２２、第２補正部２３、記憶部２４、算出部２５及び復元部２６を備える。

受付部２１は第１撮影画像の入力を受け付ける。受付部２１は第１撮影画像を第１補正部２２に出力する。また受付部２１は第２撮影画像の入力を受け付ける。受付部２１は第２撮影画像を第２補正部２３に出力する。

第１補正部２２は第１撮影画像を受付部２１から受け付ける。第１補正部２２は第１撮影画像を、上述の修正後第１補正パラメータを使用して補正する。第１補正部２２は補正後の第１撮影画像を、算出部２５及び復元部２６に出力する。

第２補正部２３は第２撮影画像を受付部２１から受け付ける。第２補正部２３は第２撮影画像を、上述の第２補正パラメータを使用して補正する。第２補正部２３は補正後の第２撮影画像を、算出部２５及び復元部２６に出力する。

記憶部２４は第１補正部２２が使用する修正後第１補正パラメータと、第２補正部２３が使用する第２補正パラメータとを記憶する。

算出部２５は第１補正部２２から補正後の第１撮影画像を受け付け、第２補正部２３から補正後の第２撮影画像を受け付ける。算出部２５は補正された第１撮影画像に含まれる被写体の像と、補正された第２撮影画像に含まれる被写体の像とから視差を算出する。算出部２５は画素毎に視差を算出し、視差を濃度値で表した視差画像を生成する。

復元部２６は第１補正部２２から補正後の第１撮影画像を受け付け、第２補正部２３から補正後の第２撮影画像を受け付ける。復元部２６は補正により低下した第１撮影画像のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性を復元させる。復元部２６は第１撮影画像のＭＴＦ特性を復元させることにより、解像度を向上させた第１輝度画像を生成する。同様に、復元部２６は補正により低下した第２撮影画像のＭＴＦ特性を復元させる。復元部２６は第２撮影画像のＭＴＦ特性を復元させることにより、解像度を向上させた第２輝度画像を生成する。

次にフローチャートを参照して第１実施形態の視差算出方法について説明する。図１１は第１実施形態の視差算出方法の例を示すフローチャートである。受付部２１は第１撮影画像の入力を受け付ける（ステップＳ２１）。次に受付部２１は第２撮影画像の入力を受け付ける（ステップＳ２２）。

次に第１補正部２２は第１撮影画像を、修正後第１補正パラメータを使用して補正する（ステップＳ２３）。次に第２補正部２３は第２撮影画像を、第２補正パラメータを使用して補正する（ステップＳ２４）。

次に算出部２５は補正された第１撮影画像に含まれる被写体の像と、補正された第２撮影画像に含まれる被写体の像とから視差を算出する（ステップＳ２５）。算出部２５はステップＳ５により算出した視差（画素毎に算出した視差）を使用して、視差を画素の濃度値で表した視差画像を生成する（ステップＳ２６）。

以上説明したように、第２実施形態の視差算出装置２０は、第１補正部２２が、第１撮影画像を、修正後第１補正パラメータを使用して補正する。また第２補正部２３が、第２撮影画像を、第２補正パラメータを使用して補正する。また算出部２５が、補正された第１撮影画像に含まれる被写体の像と、補正された第２撮影画像に含まれる被写体の像とから視差を算出する。

これにより第２実施形態の視差算出装置２０によれば、画像データ上の被写体の像の視差のずれ（相対位置ずれ）だけでなく、画像データ上の被写体の像の座標のずれ（絶対位置ずれ）も補正することができる。すなわち第１実施形態の視差算出装置２０は、被写体の像の視差から算出された被写体までの距離と、画像データ上の被写体の像の座標と、から被写体の位置を示す３次元座標を正確に算出することができる。

（第３実施形態）
次に第３実施形態について説明する。図１２は第３実施形態のステレオカメラ３０の構成の例を示す図である。第３実施形態のステレオカメラ３０は、第１カメラ１、第２カメラ２、及び視差算出装置２０を備える。視差算出装置２０は、受付部２１、第１補正部２２、第２補正部２３、記憶部２４、算出部２５及び復元部２６を備える。

第３実施形態のステレオカメラ３０は、第２実施形態の視差算出装置２０を備えるステレオカメラである。第３実施形態のステレオカメラ３０は、例えば車載ステレオカメラとして利用できる。図１３は第３実施形態のステレオカメラ３０を車載ステレオカメラとして使用する例を示す図である。ステレオカメラ３０がフロントガラス１５の内側に設置されている。これにより自動車（車両）の走行中及び停止中に、画像データ上の被写体の像の視差のずれ（相対位置ずれ）だけでなく、画像データ上の被写体の像の座標のずれ（絶対位置ずれ）も補正することができる。

第３実施形態のステレオカメラ３０によれば、画像データ上の被写体の像の視差のずれ（相対位置ずれ）だけでなく、画像データ上の被写体の像の座標のずれ（絶対位置ずれ）もリアルタイムに補正することができる。すなわち第３実施形態のステレオカメラ３０は、リアルタイムに、被写体の像の視差から算出された被写体までの距離と、画像データ上の被写体の像の座標と、から被写体の位置を示す３次元座標を正確に算出することができる。

（第３実施形態の変形例）
次に第３実施形態の変形例について説明する。第３実施形態の変形例のステレオカメラ３０の構成は第３実施形態と同じである（図１２参照）。受付部２１は第１撮影画像と、第１撮影画像を撮影した第１カメラ１のレンズ（光学系）の設定を示す第１設定情報の入力を受け付ける。受付部２１は第１撮影画像と、第１設定情報と、を第１補正部２２に送信する。また受付部２１は第２撮影画像と、第２撮影画像を撮影した第２カメラ２のレンズ（光学系）の設定を示す第２設定情報の入力を受け付ける。受付部２１は第２撮影画像と、第２設定情報と、を第２補正部２３に送信する。

第１補正部２２は第１撮影画像と、第１設定情報と、を受付部２１から受信する。第１補正部２２は第１設定情報を参照して、第１撮影画像を撮影した第１カメラ１のレンズの設定を特定する。第１補正部２２は第１撮影画像を、特定したレンズの設定に応じた修正後第１補正パラメータを使用して補正する。第１補正部２２は補正後の第１撮影画像を、算出部２５及び復元部２６に送信する。

第２補正部２３は第２撮影画像と、第２設定情報と、を受付部２１から受信する。第２補正部２３は第２設定情報を参照して、第２撮影画像を撮影した第２カメラ２のレンズの設定を特定する。第２補正部２３は第２撮影画像を、特定したレンズの設定に応じた第２補正パラメータを使用して補正する。第２補正部２３は補正後の第２撮影画像を、算出部２５及び復元部２６に送信する。

記憶部２４は第１カメラ１のレンズの設定毎に異なる修正第１補正パラメータを記憶する。また記憶部２４は第２カメラ２のレンズの設定毎に異なる第２補正パラメータを記憶する。算出部２５及び復元部２６については第３実施形態と同じなので説明を省略する。

第３実施形態の変形例によれば、ステレオカメラ３０の光学系（レンズ）の設定（レンズの枚数など）が変わる場合でも、画像データ上の被写体の像の視差のずれ（相対位置ずれ）だけでなく、画像データ上の被写体の像の座標のずれ（絶対位置ずれ）もリアルタイムに補正することができる。

最後に第２及び第３実施形態の視差算出装置２０のハードウェア構成の例について説明する。図１４は第２及び第３実施形態の視差算出装置２０のハードウェア構成の例を示す図である。第２及び第３実施形態の視差算出装置２０は、制御装置４１、主記憶装置４２、補助記憶装置４３、外部ＩＦ４４及び通信装置４５を備える。制御装置４１、主記憶装置４２、補助記憶装置４３、外部ＩＦ４４及び通信装置４５は、バス４６を介して互いに接続されている。

制御装置４１は補助記憶装置４３から主記憶装置４２に読み出されたプログラムを実行する。制御装置４１はＣＰＵである。主記憶装置４２はＲＯＭやＲＡＭ等のメモリである。補助記憶装置４３はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やメモリカード等である。外部ＩＦ４４は他の装置とデータを送受信するためのインターフェースである。通信装置４５は無線方式などにより他の装置と通信するためのインターフェースである。

第２及び第３実施形態の視差算出装置２０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また、第２及び第３実施形態の視差算出装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第２及び第３実施形態の視差算出装置２０が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また、第２及び第３実施形態の視差算出装置２０のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第２及び第３実施形態の視差算出装置２０で実行されるプログラムは、上述した各機能ブロック（受付部２１、第１補正部２２、第２補正部２３、算出部２５及び復元部２６）を含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置４１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置４２上にロードされる。すなわち、上記各機能ブロックは、主記憶装置４２上に生成される。

なお、上述した各部（受付部２１、第１補正部２２、第２補正部２３、算出部２５及び復元部２６）の一部又は全部を、ソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

１ 第１カメラ
２ 第２カメラ
１１ レンズ（光学系）
１２ センサ
１３ 被写体
１４ 光軸
１５ フロントガラス
２０ 視差算出装置
２１ 受付部
２２ 第１補正部
２３ 第２補正部
２４ 記憶部
２５ 算出部
２６ 復元部
３０ ステレオカメラ
４１ 制御装置
４２ 主記憶装置
４３ 補助記憶装置
４４ 外部ＩＦ
４５ 通信装置
４６ バス
５０ 情報処理装置（校正装置）
６０ 校正用チャート（校正用具）

特許第４１０９０７７号公報

Claims (10)

1. 第１カメラと第２カメラとを備え、透明体を介して被写体を撮影するステレオカメラの校正方法であって、
   前記第１カメラにより撮影される画像の前記透明体に起因する影響を補正する第１パラメータと、前記第２カメラにより撮影される画像の前記透明体に起因する影響を補正する第２パラメータと、を記憶するステップと、
   前記第１カメラにより前記透明体を介して被写体を撮影して得られた撮影画像を前記第１パラメータにより補正した第１補正画像と、前記第２カメラにより透明体を介して被写体を撮影して得られた撮影画像を前記第２パラメータにより補正した第２補正画像と、に基づいて、前記ステレオカメラの視差の相対位置ずれと前記透明体の影響に起因する位置ずれとを補正する補正パラメータを算出するステップと、
   を含むステレオカメラ校正方法。
2. 前記第１パラメータは、前記第１カメラのレンズの特性と前記透明体の特性に基づいた光学シミュレーションにより、算出されるパラメータである
   請求項１に記載のステレオカメラ校正方法。
3. 前記第２パラメータは、前記第２カメラのレンズの特性と前記透明体の特性に基づいた光学シミュレーションにより算出される補正パラメータである
   を含む請求項１又は２に記載のステレオカメラ校正方法。
4. 前記補正パラメータは、前記第１パラメータと前記第２パラメータの少なくとも何れか一方を補正したパラメータである、請求項１に記載のステレオカメラ校正方法。
5. 第１カメラと第２カメラとを備え、透明体を介して被写体を撮影するステレオカメラに基づき視差を算出する視差算出装置であって、
   前記第１カメラにより前記透明体を介して被写体を撮影して得られた撮影画像を前記透明体に起因する影響を補正する第１パラメータにより補正した第１補正画像と、前記第２カメラにより透明体を介して被写体を撮影して得られた撮影画像を前記透明体に起因する影響を補正する第２パラメータにより補正した第２補正画像と、に基づいて算出された、前記ステレオカメラの視差の相対位置ずれと前記透明体の影響に起因する位置ずれとを補正する補正パラメータを記憶する記憶部と、
   を備える視差算出装置。
6. 前記第１カメラと前記第２カメラが撮影して得られた撮影画像と、前記補正パラメータと、に基づいて視差を算出する、請求項５に記載の視差算出装置。
7. 第１カメラと第２カメラとを備え、透明体を介して被写体を撮影するステレオカメラであって、
   前記第１カメラにより前記透明体を介して被写体を撮影して得られた撮影画像を前記透明体に起因する影響を補正する第１パラメータにより補正した第１補正画像と、前記第２カメラにより透明体を介して被写体を撮影して得られた撮影画像を前記透明体に起因する影響を補正する第２パラメータにより補正した第２補正画像と、に基づいて算出された、前記ステレオカメラの視差の相対位置ずれと前記透明体の影響に起因する位置ずれとを補正する補正パラメータを記憶する記憶部と、
   を備えるステレオカメラ。
8. 前記第１カメラと前記第２カメラが撮影して得られた撮影画像と、前記補正パラメータと、に基づいて視差を算出する、請求項７に記載のステレオカメラ。
9. 第１カメラと第２カメラとを備える車両であって、
   フロントガラスと、
   前記第１カメラによりフロントガラスを介して被写体を撮影して得られた撮影画像を前記フロントガラスに起因する影響を補正する第１パラメータにより補正した第１補正画像と、前記第２カメラによりフロントガラスを介して被写体を撮影して得られた撮影画像を前記フロントガラスに起因する影響を補正する第２パラメータにより補正した第２補正画像と、に基づいて算出された、前記第１カメラと前記第２カメラとの視差の相対位置ずれと前記フロントガラスの影響に起因する位置ずれとを補正する補正パラメータを記憶する記憶部と、
   を含む車両。
10. 前記第１カメラと前記第２カメラが撮影して得られた撮影画像と、前記補正パラメータと、に基づいて視差を算出する算出部と、
    を備える、請求項９に記載の車両。