JP2012189324A - ステレオカメラ - Google Patents

Abstract

【課題】撮影画像から検出することが困難なカメラ光軸の傾きのずれを抑えることで、経時変化が距離測定精度に及ぼす影響を低減できるステレオカメラを提供する。
【解決手段】第１の単眼カメラ１００と第２の単眼カメラ１１０とを一体に並設したステレオカメラであって、第１の単眼カメラ１００および第２の単眼カメラ１１０は、光軸に直交する基準面１００ａ，１１０ａを有し、第１の単眼カメラ１００および第２の単眼カメラ１１０の基準面１００ａ，１１０ａに当接させるとともに、この２つのカメラの光軸が同一直線上になる位置に並設させて連結するカメラステイ１２０と、カメラステイ１２０に取り付けられた第１の単眼カメラ１００と第２の単眼カメラ１１０からの撮影画像を補正する画像補正手段（不図示）と、画像補正手段で補正された補正画像から視差を求め、被写体の距離を算出する距離算出手段と（不図示）、を備える。
【選択図】図１

Description

本発明は、２つの単眼カメラを並設したステレオカメラに関するものである。

近年、環境認識へのニーズが高まっており、たとえば自動車にステレオカメラを搭載し、運転者に周囲の歩行者の有無などの情報を提供し、運転支援をするシステムが実用化されつつある。このようなステレオカメラは複数の位置に設置された単眼カメラからの画像を取得し、視差（各画像における像位置の差）を用いて物体の距離や位置を測定する装置である。上記ステレオカメラでは単眼カメラ間の相対位置を用いて距離を算出しているため、単眼カメラ間の相対位置の位置決め精度、または単眼カメラ間の相対位置の検出精度が重要となる。車両に搭載されるようなステレオカメラの場合、経時変化による位置ずれに関しては、特別な装置を用いないキャリブレーション方法が必要とされる。

特許文献１には、各カメラの画像の特徴点の座標を推定し、各単眼カメラで共通する特徴点の推定座標を用いて単眼カメラ間における相対位置を推定している３次元画像取得装置が開示されている。この特許文献１は、ステレオカメラにおいてカメラの相対位置ずれを校正する目的で、画像上の特徴点の３次元座標の推定結果から、ステレオカメラの相対位置を算出している。

しかしながら、上記に示されるような特許文献１に装置にあっては、距離測定精度に対する、経時変化による単眼カメラ間の相対位置ずれの影響を小さくするものの、単眼カメラ間の相対位置を推定することに用いる特徴点の座標自体も推定値であるため、高精度にキャリブレーションを行うことは難しい上に、負荷の高い計算をする必要がある。すなわち、推定の難しい光軸の傾きも補正するために画像の推定によってのみ補正されるため計算負荷が高いという問題点があった。

本発明は、上記に鑑みてなされたものであって、撮影画像から検出することが困難なカメラ光軸の傾きのずれを抑えることで、経時変化が距離測定精度に及ぼす影響を低減できるステレオカメラを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１の単眼カメラと第２の単眼カメラとを一体に並設したステレオカメラであって、前記第１の単眼カメラおよび前記第２の単眼カメラは、光軸に直交する基準面を有し、前記第１の単眼カメラおよび前記第２の単眼カメラの前記基準面に当接させるとともに、この２つのカメラの光軸が同一直線上になる位置に並設させて連結する連結部材と、前記連結部材に取り付けられた前記第１の単眼カメラと前記第２の単眼カメラからの撮影画像を補正する画像補正手段と、前記画像補正手段で補正された補正画像から視差を求め、被写体の距離を算出する距離算出手段と、を備えることを特徴とする。

本発明は、連結部材に第１の単眼カメラおよび第２の単眼カメラの基準面に当接させるとともに、この２つのカメラの光軸が同一直線上になる位置に並設させて連結することにより、２つの単眼カメラの光軸に直交する面を取り付け基準面としているので、撮影画像から推定することが難しい光軸の傾きズレの発生を抑制し、推定が困難な光軸の傾きが小さいことによって経時変化が距離測定精度に及ぼす影響を少なくすることができるという効果を奏する。

図１は、この実施の形態におけるステレオカメラの構成を示す説明図である。 図２は、図１に示したカメラステイにより２つの単眼カメラを組み立てて撮影される画像例を示す説明図である。 図３は、２つの単眼カメラによる距離測定有効領域の様子を示す説明図である。 図４は、Ｌアングル状のカメラステイおよび単眼カメラの例を示す説明図である。 図５は、この実施の形態におけるステレオカメラのシステム構成を示すブロック図である。

以下に添付図面を参照して、この発明にかかるステレオカメラの一実施の形態を詳細に説明する。

（実施の形態）
本発明は、複数のカメラを備え、各カメラからの撮像における像位置の差から物体の距離を測定するステレオカメラにおいて、画像から推定することが困難な光軸の傾きを抑えることのできるように単眼カメラの光軸がカメラステイへの取り付け基準面に直交する面となっていることが特徴である。以下、具体的に説明する。

図１は、この実施の形態におけるステレオカメラの構成を示す説明図である。この図１（Ａ）は２つの単眼カメラ、この２つのカメラを連結するカメラステイそれぞれの単体形状を示し、（Ｂ）は組み付け後のステレオカメラの状態を示している。この図１において、符号１００は第１の単眼カメラ、符号１１０は第２の単眼カメラ、符号１２０は連結部材としてのカメラステイである。このように、ステレオカメラは、第１の単眼カメラ１００と第２の単眼カメラ１１０の２つの単眼カメラ、この２つの単眼カメラを取り付けるカメラステイ１２０を有する。

第１の単眼カメラ１００および第２の単眼カメラ１１０は、レンズなどの光学系、たとえばＣＣＤといった撮像素子などを有して対象物を撮影し、デジタル画像データを取得し、この撮影画像データに対して、後述する画像処理部（図５参照）で所定の画像処理が実行される。

また、符号１００ａ，１１０ａは、上記２つのカメラの光軸に対して直角の平面を有するカメラ基準面、符号１００ｂ，１１０ｂは、上記２つの単眼カメラがカメラステイ１２０に取り付けられる際に光軸のＹ方向の位置決めが可能な係合孔である。また、符号１３０は、カメラステイ１２０と上記２つの単眼カメラとを位置きめしながらねじ締結が可能なねじ固定ピンである。ここで、係合孔１００ｂ，１１０ｂの内径寸法とねじ固定ピン１３０の根元部分の外径は同一寸法で所定の嵌め合い公差で設計されている。このように、ねじ固定ピン１３０の根元部分が各カメラの係合孔１００ｂ，１１０ｂと嵌合して位置がずれないように所定の寸法精度の形状を有する。このように構成された２つの単眼カメラの筐体前面をカメラステイ１２０への取り付け面とした上でねじ固定ピン１３０と係合孔１００ｂ，１１０ｂで基準面内での位置決めを行って固定する。

カメラステイ１２０は、経時変化や温度変化に影響を受けにくい、ある程度の剛性を有する材料を素材としている。カメラステイ１２０は、カメラ基準面１００ａ，１１０ａに接触する面が、カメラ基準面１００ａ，１１０ａに接触して固定されても、上記光軸がずれないにように、また、一定の平面度を有している。カメラステイ１２０のカメラ取り付け面は、たとえば切削あるいは成型により加工される。このようなカメラステイ１２０の形状とすることで、加工が容易となるとともに、構成が簡単なため組み立て時の積み上げ公差を小さくすることができ、組み立て時の精度を確保することができる。

このカメラステイ１２０には、２つのカメラそれぞれのカメラ基準面１００ａ，１１０ａに接触する平面、あるいは部分的に接触するような面が形成されている。このカメラステイ１２０の面にカメラ基準面１００ａ，１１０ａを当接させた状態でねじ固定ピン１３０により連結して固定する。

この図１に示すように、最も簡易で実用的なステレオカメラの構成としてはＸ軸、もしくはＹ軸方向に基線長Ｂだけ離れて、平行に置かれた２つのカメラ、すなわち、カメラステイ１２０に位置決めされて固定された第１の単眼カメラ１００と第２の単眼カメラ１１０からなる。

初期の第１の単眼カメラ１００と第２の単眼カメラ１１０の相対位置は、組み付け時に位置関係が既知となっているターゲットの測定をするなどの公知の方法で校正が行われているが、初期状態からのずれ量を補正する必要がある。

上述したように、第１の単眼カメラ１００と第２の単眼カメラ１１０は、光軸に直交する筐体前面をカメラ基準面１００ａ，１１０ａとして組みつけられている。第１の単眼カメラ１００と第２の単眼カメラ１１０は、筐体前面を取り付け面として、カメラステイ１２０にねじ固定ピン１３０で引きこまれて組みつけられている。そのため、各単眼カメラの光軸がカメラステイ１２０に対して傾くのを防ぐことができる。また、Ｚ方向に対してもカメラステイ１２０の同一面に当てられるため、カメラステイ１２０に対してＺ方向の並進ずれも防ぐことができる。

図２は、図１に示したカメラステイ１２０により２つの単眼カメラを組み立てて撮影される画像例を示す説明図である。この図２のＸ，Ｙ，Ｚ軸に示すように、Ｘ方向は２つのカメラが並設される方向、Ｙ方向はＸ方向に対して直交する上下方向（光軸に対して直交する上下方向）であり、Ｚ方向は撮影画面の光軸方向（図２の紙面と直交する被写体方向）である。なお、この図２では、第１の単眼カメラ１００をカメラ１としてその撮影画像を実線、第２の単眼カメラ１１０をカメラ２として破線でそれぞれ図示している。図３は、２つの単眼カメラによる距離測定有効領域の様子を示す説明図である。この図３において（Ａ）は上述したカメラステイ１２０により２つの単眼カメラを組み立てて撮影して得られる距離測定有効領域１５０ａ、（Ｂ）は２つの単眼カメラが傾いて組み立てられ、撮影して得られる距離測定有効領域１５０ｂについて示している。

上述したようにカメラステイ１２０に取り付けられた第１の単眼カメラ１００と第２の単眼カメラ１１０は、光軸の傾きずれが無視できるほど小さいときは、第１の単眼カメラ１００と第２の単眼カメラ１１０間の相対位置がずれた際の像は図２に示すようになる。

また、図２においてＺ方向のずれは撮影領域の面積から補正することができる。さらに、Ｙ方向の並進ズレ、またＺ軸まわりの回転ずれは、撮影画像の対応点の座標から補正することができる。なお、これらの補正処理は後述する画像処理部（図５参照）で行われる。

また、図２において遠距離にある対象の距離測定を行う際には、光軸の傾きによって像位置が大きく変化してしまうため、光軸の傾きを抑えることで対応点探索を小さいエリアで行える。また、遠方において距離測定を行える距離測定有効領域（２つのカメラの画角の重複領域）が減少すること、および距離測定有効領域が左右どちらかに寄ることを防ぐことができる（図３参照）。

ところで、上述したカメラステイ１２０は平板の構成であったが、この構成以外に、たとえばカメラステイ１２０をＬ型のアングル形状として突き当て部に押し当てて基準面内での位置決めを行ってもよい。ステレオカメラは、単眼カメラの筐体前面をカメラステイへの取り付け面（カメラ基準面１００ａ）とした上で、筐体前面と直交し、基線長方向と平行な面（図１のｘｚ平面と平行な面）を第２の基準面としてもよい。この例を図４に示す。

図４は、Ｌアングル状のカメラステイおよび単眼カメラの例を示す説明図である。この図４（Ａ）は２つの単眼カメラ、この２つのカメラを連結するカメラステイそれぞれの単体形状を示し、（Ｂ）は組み付け後のステレオカメラの状態を示している。この図４に示すカメラステイ１２０は、第１の基準面１２０ａ、第２の基準面１２０ｂを有するＬアングルの形状をなしている。第１の基準面１２０ａと第２の基準面１２０ｂとは所定の精度を有した直角をなして形成する。また、このカメラステイ１２０の形状に突き当て可能に合致するように、第１の単眼カメラ１００および第２の単眼カメラ１１０にも基準面１００ａ，１１０ａと直角にカメラ基準面１００ｃ，１１０ｃを形成する。なお、このカメラ基準面１００ｃ，１１０ｃは、カメラステイ１２０の第２の基準面１２０ｂと接触する部分のみ形成する。

図４に示す構成により、カメラステイ１２０に、第１の単眼カメラ１００と第２の単眼カメラ１１０とを固定することにより、位置決めピン、または突き当て部によってカメラ間の調整をしなくてもカメラステイ１２０、２つの単眼カメラの基準面（１００ａ，１１０ａ、１００ｃ，１１０ｃ）の加工精度によって決まる。すなわち、図４に示す構成により、第２の基準面１２０ｂによって第１の単眼カメラ１００と第２の単眼カメラ１１０間の光軸周りの回転ずれは、組み付け時に調整をしなくてもカメラステイ１２０、第１の単眼カメラ１００および第２の単眼カメラ１１０の各カメラ基準面の加工精度によって決まる。

図４に示すＬアングル状のカメラステイ１２０は、図１に示す平板のカメラステイ１２０よりも剛性に有利である。また、図４に示すＬアングル状のカメラステイ１２０は、第１の基準面１２０ａと第２の基準面１２０ｂを直角をなしてＬ型に設けてあるので、２つのカメラのカメラ基準面１００ａ，１１０ａ、１００ｃ，１１０ｃをそのＬ型の面に当接することで組立性も向上する。

図５は、この実施の形態にかかるシステム構成を示すブロック図である。ここでは上述した図１あるいは図４に示すように、カメラステイ１２０の所定位置に固定された第１の単眼カメラ１００、第２の単眼カメラ１１０（図では単にカメラと略記）、画像処理部１６０、距離演算部１６５、距離出力部１７０を備える。

この画像処理部１６０はマイクロコンピュータシステムで構成され、入出力インタフェース、ＣＰＵ、ＲＯＭ、ＲＡＭ、外部記憶装置などを有する。上記ＲＯＭには、対象物を撮影して得られるデータにしたがって撮影画像を補正するなどの処理を行う画像処理プログラムが記憶されている。上記ＲＡＭはワーキングメモリとして用いられる。なお、図５では、画像処理部１６０、距離演算部１６５では、それぞれ別のブロックに分けているが、これらの機能を１つにまとめた構成であってもよい。

画像処理部１６０は、カメラステイ１２０に連結された第１の単眼カメラ１００、第２の単眼カメラ１１０の内部パラメータや外部パラメータに従って、第１の単眼カメラ１００、第２の単眼カメラ１１０より得られる撮影画像を補正する。距離演算部１６５は、画像処理部の出力する補正画像から視差を求めて、物体の距離を算出し、距離出力部１７０に送る。距離出力部１７０は、液晶モニタなどの表示装置を有し、距離演算部１６５から出力される測定距離に従って３Ｄ（３次元）マップを表示する。

以上説明したように、この実施の形態によれば、カメラステイ１２０に第１の単眼カメラ１００および第２の単眼カメラ１１０の基準面に当接させるとともに、この２つのカメラの光軸が同一直線上になる位置に並設させて連結することにより、２つの単眼カメラの光軸に直交する面を取り付け基準面としているので、撮影画像から推定することが難しい光軸の傾きズレの発生を抑制し、推定が困難な光軸の傾きが小さいことによって経時変化が距離測定精度に及ぼす影響を少なくすることができる。

１００ 第１の単眼カメラ
１００ａ，１１０ａ カメラ基準面
１００ｂ，１１０ｂ 係合孔
１００ｃ，１１０ｃ カメラ基準面
１１０ 第２の単眼カメラ
１２０ カメラステイ
１３０ ねじ固定ピン
１２０ａ 第１基準面
１２０ｂ 第２基準面
１６０ 画像処理部
１６５ 距離演算部
１７０ 距離出力部

特開２００７−２６３６６９号公報

Claims (4)

1. 第１の単眼カメラと第２の単眼カメラとを一体に並設したステレオカメラであって、
   前記第１の単眼カメラおよび前記第２の単眼カメラは、光軸に直交する基準面を有し、
   前記第１の単眼カメラおよび前記第２の単眼カメラの前記基準面に当接させるとともに、この２つのカメラの光軸が同一直線上になる位置に並設させて連結する連結部材と、
   前記連結部材に取り付けられた前記第１の単眼カメラと前記第２の単眼カメラからの撮影画像を補正する画像補正手段と、
   前記画像補正手段で補正された補正画像から視差を求め、被写体の距離を算出する距離算出手段と、
   を備えることを特徴とするステレオカメラ。
2. 第１の単眼カメラと第２の単眼カメラとを一体に並設したステレオカメラであって、
   前記第１の単眼カメラと前記第２の単眼カメラは、光軸と直交する第１の基準面と、前記第１の基準面と直交する第２の基準面を有し、
   前記第１の基準面および前記第２の基準面と当接させ、この２つのカメラの光軸が同一直線上となる位置に並設させて連結する連結部材と、
   前記連結部材に取り付けられた前記第１の単眼カメラと前記第２の単眼カメラからの撮影画像を補正する画像補正手段と、
   前記画像補正手段で補正された補正画像から視差を求め、被写体の距離を算出する距離算出手段と、
   を備えることを特徴とするステレオカメラ。
3. 前記画像補正手段は、前記第１の単眼カメラと前記第２の単眼カメラからの撮影画像の被写体方向であるＺ方向のずれを当該撮影画像の面積から補正することを特徴とする請求項１または２に記載のステレオカメラ。
4. 前記画像補正手段は、前記第１の単眼カメラと前記第２の単眼カメラからの撮影画像について、前記第１の単眼カメラと前記第２の単眼カメラとが並設される方向に対して垂直方向であるＹ方向の並進ずれまたは被写体方向を軸とする撮影画像の回転ずれを当該撮影画像の対応点座標から補正することを特徴とする請求項１、２または３に記載のステレオカメラ。

Images