JP2006078291A

JP2006078291A - 全方位三次元計測装置

Info

Publication number: JP2006078291A
Application number: JP2004261571A
Authority: JP
Inventors: Isamu Kyo; 偉姜; Masatoshi Okutomi; 正敏奥富; Shigeki Sugimoto; 茂樹杉本
Original assignee: Tokyo Institute of Technology NUC
Current assignee: Tokyo Institute of Technology NUC
Priority date: 2004-09-08
Filing date: 2004-09-08
Publication date: 2006-03-23

Abstract

【課題】１台のカメラによりステレオ計測の原理で全方位三次元計測を行うこと。
【解決手段】本発明は、上記の問題を解決するために、１台のカメラと、該カメラの光軸に沿って前方に配置した２枚の平板状の反射鏡と、前記カメラおよび前記反射鏡を回転させる回転テーブルとを具備し、前記カメラおよび反射鏡を回転させて、全方位の画像を生成し三次元計測を行う。
【選択図】図１

Description

本発明は、パノラマ画像を生成して該パノラマ画像の各画素の奥行きを計測する三次元計測装置に関する。

従来、パノラマ画像を生成して該パノラマ画像の各画素の奥行きを測定するために、所謂画像モザイキングを利用した方法がある。この方法では、カメラを回転台に載置、固定して、回転台を回転させてカメラにより全方位を撮影し、得られた画像をつなぎ合わせることによりパノラマ画像が生成される。このようにして２枚以上のパノラマ画像を取得し、ステレオ計測の原理で三次元計測が行われる。この方法は、比較的高い解像度のパノラマ画像が得られるので、高い測定密度の三次元計測が行える。

三次元計測を行うためには、２枚以上のパノラマ画像を取得しなければならないが、２枚のパノラマ画像を１台の回転カメラを用いて取得することが、非特許文献１〜３に開示されている。図１に従来技術によるパノラマ画像撮影装置を示す。

この方法では、図１５に示すように、先ず、１台のカメラ１０を回転中心Ｏに関して半径方向外方へ向けて、回転中心Ｏ回りに回転自在の回転台１２に取付ける。このとき、カメラ１０は、その光軸が回転中心Ｏを通るように配置される。次いで、回転台１２を回転させて、カメラ１０により撮影する。こうして得られた撮影された画像データを、図１６に示すように、回転角度毎に順次並べて、左右対称の２つのスリットを通して画像データを抽出し、２枚のパノラマ画像を生成する。ただし、カメラの光学中心の位置が回転中心と一致していると、得られる２枚のパノラマ画像に視差が生じないため奥行きは推定できない。よって、カメラ配置は、光学中心の位置を回転中心からずらしておく必要がある。

この方法は、カメラを１台しか利用しないことに加え、ステレオ計測の際に行われる対応点探索が、パノラマの水平軸（θ軸）に限定されるため、画像間のマッチング計算が簡単（エピポーラ拘束が単純）であるという利点を持つ。

然しながら一方で、(1)ステレオ計測の精度に影響するベースラインが短く推定精度が悪い、(2)１組のステレオペアのみを利用しているため画像ノイズやオクルージョン（隠れ）に弱い、という２つの問題がある。

まず、(1)のベースラインについて説明する。
この従来技術による方法では、図１７に示すように、空間内の点Ｐが左右のスリットに観測されたとき、点Ｐの奥行きλが計算できるという原理を利用して三次元計測が行われる。すなわち、パノラマ間の対応点が得られれば、角度方向の視差（２Δθ）が得られ、既知の回転半径ｒとスリット間画角ψから以下の式（１）により奥行きλが得られる。

このとき、ステレオ計測における無限遠方の測定対象点に対するベースライン長は、図１８において長さＢで示され、以下の式（２）により得られる。
Ｂ＝２ｒｓｉｎθ …（２）

この長さが大きいほど、ステレオ計測の際の奥行き推定精度が高くなることが知られている。然しながら、このベースライン長は、スリットの画角ψに制限されており、一般的なカメラではψは高々２０°程度であるため、Ｂはカメラの回転半径ｒの７０％程度とかなり小さくなってしまう。

また、パノラマ画像を２枚しか利用しない場合、撮影時に画像中にノイズが入ったり、オクルージョンによって見えない部分が存在したりした場合、正しい対応点が得られないことがある。これが(2)の問題であり、この問題を解決するためには、より多くのパノラマ画像を取得して利用することが望ましい。

その他の従来技術による方法として、２枚以上のパノラマ画像を、複数の回転カメラから取得する方法が非特許文献４、５に開示されている。非特許文献４では、画像ノイズの問題を低減するために、複数のカメラを利用している。また、非特許文献５の方法では、ベースラインを大幅に向上することが可能である。然しながら、複数カメラを利用するこれらの方法の場合、カメラ間の配置に関するキャリブレーションや、カメラ特性の違いによって生じる画像の明るさや色ずれなどのキャリブレーションを正確に行わなければならないという問題が生じる。

H. Ishiguro, M. Yamamoto, and S. Tsuji,"Omni-Directional Stereo", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 2, pp. 257-262, February 1992 S. Peleg, M. Ben-Ezra, and Y. Pritch,"Omnistereo: Panoramic Depth Imaging", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 3, pp. 279-290, March 2001 P. Peer and F. Solina,"Panoramic Depth Imaging: Single Standard Camera Approach", International Journal of Computer Vision, Vol. 47, No. 1-3, pp. 149-160, June 2002 Y. Li, H-Y Shum, C-K Tang, and R. Szeliski,"Stereo Reconstruction from Multiperspective Panoramas", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 1, pp. 45-62, January 2004 姜偉、杉本茂樹、奥富正敏、"ステレオマルチパースペクティブパノラマによる全方位三次元再構成"、電子情報通信学会ＰＲＭＵ研究会発表資料２００４年１月２２、２３日大阪府立大学学術交流会館信学技報 Vol. 103, No. 585, pp. 77-82, PRMU2003-211

本発明は、複数のカメラを用いたときに発生するカメラキャリブレーション等の問題を回避するために、複数のカメラを用いることなく１台のカメラによる全方位三次元計測を可能とする全方位三次元計測装置を提供することを目的とする。

更に、本発明は、１台のカメラを用いて、ステレオ計測におけるベースライン長を増大すること、ステレオ計測における簡単なエピポーラ拘束を実現すること、ステレオ計測の際に問題となる画像ノイズ、オクルージョン、繰り返しパターンの影響を低減することを目的としている。

請求項１に記載の本発明は、所定の軸線に関して所定の角度を以て交差するように光軸を前記軸線を中心として回転自在に設けられたカメラと、前記カメラに関して相対移動することなく、前記回転台および前記カメラと共に回転するように設けられた一対の反射鏡であって、該反射鏡は、反射した光が前記カメラの対物レンズに入射できるように、前記カメラの前方に前記光軸に関して所定の角度を以て配向された一対の反射鏡とを具備し、
前記カメラを前記軸線に関して所定の角度毎に回転して、前記カメラにより前記軸線回りのシーンを撮影するようにした全方位三次元計測装置を要旨とする。

本発明によれば、１台のカメラと、該カメラの前方に配置した一対の反射鏡と、前記カメラおよび反射鏡を回転させるための回転台によって複数のカメラを用いることなく全方位三次元計測が可能となる。

前記カメラを反射鏡と共に回転して撮影することにより得られた画像をモザイキングすることにより全方位パノラマ画像を生成し、ステレオ計測の原理を利用して三次元計測がなされる。この方法により、全方位画像センサを利用したときと比較して計測密度の高い全方位三次元計測が可能となる。

反射鏡の配置を調節することにより、実カメラの回転半径より格段に大きなベースライン長を実現可能である。
また、反射鏡の配置を調節することにより、仮想的な対称配置の２台のカメラによる簡単なエピポーラ拘束が実現可能である。

一対の反射鏡間に隙間を設けて画像を撮影することにより、ステレオ計測における基準パノラマ画像が取得される。また、反射鏡の配置を調節することにより、この基準パノラマ画像に対して左右対称となる、仮想カメラに撮影された画像と同等の参照パノラマ画像を得ることが可能となる。基準パノラマ画像と、２枚の参照パノラマ画像を利用して三次元計測を行うことにより、画像ノイズ、オクルージョン、繰り返しパターンの影響が低減される。

画像ノイズ、オクルージョン、繰り返しパターンの影響を低減するための別の方法として、上記装置を回転させることにより得られる画像全体を利用して、時空間画像中の軌跡を抽出することにより、三次元計測を行う。これにより、ステレオ計測の際に問題となる画像ノイズ、オクルージョン、繰り返しパターンの影響を低減する。

以下、本発明による全方位三次元計測装置の好ましい実施形態を説明する。
先ず、図１を参照すると、全方位三次元計測装置１００は、回転中心Ｏｒを形成する鉛直軸線を中心として回転自在に設けられた回転台１０２と、該回転台１０２の周縁部に取付けられたカメラ１０４と、該カメラ１０４の前方または半径方向外側に配設された平板状の一対の反射鏡１０６ａ、１０６ｂとを主要な構成要素として具備している。カメラ１０４は、デジタルカメラであることが好ましい。然しながら、通常のカメラを用いて写真フィルムにシーンを撮影し、該フィルムを現像した後に、ネガフィルムまたは印画紙上に形成された画像を走査して、デジタル処理してもよい。

カメラ１０４は、その光軸ａが回転中心Ｏｒを通り、かつ前記鉛直軸線に対して垂直となるように回転台１００に固定されている。一対の反射鏡１０６ａ、１０６ｂはカメラの前方に配置され、各反射鏡１０６ａ、１０６ｂの各々の平面の法線が、前記鉛直軸線に対して垂直となるように配置される。反射鏡１０６ａ、１０６ｂの反射面はカメラ側にある。こうして、反射鏡１０６ａ、１０６ｂは、該反射鏡１０６ａ、１０６ｂで反射した光はカメラ１０４の対物レンズに入射できるように、回転中心Ｏｒに関する半径方向沿いにカメラ１０４の前方に、光軸Ｏｒに関して所定の角度αを以て配向される。また、一対の反射鏡１０６ａ、１０６ｂは、両者間に隙間ｇが形成されるように配置される。この構成により、カメラ１０４によって撮影される画像は、図２に示すように、左右一対の反射鏡１０６ａ、１０６ｂおよび隙間ｇに対応した３つの領域に分割される。こうした構成によって、回転台１０２を回転中心Ｏｒ回りに回転し、所定の回転角度θ毎に全方位３６０°に渡ってシーンを撮影する。そして、得られた画像を用いてステレオ計測の原理で三次元計測を行う。

この装置のように一対の反射鏡１０６ａ、１０６ｂによって視野分割を行うことにより、１台のカメラは、２台の仮想的なカメラの役割をも同時になし、結果として３台のカメラの役割を果たす。１台の実カメラと仮想的な２台の仮装的なカメラについて詳しく説明する。図３は、左の反射鏡１０６ａに対応する仮想カメラ１１０を示している。実カメラ１０４の回転半径ｒと、左の反射鏡１０６ａの位置と、角度αが正確にわかっている場合、図３に示した左反射鏡１０６ａに対応する仮想カメラ１１０の光学中心Ｃ₁と、その光軸ａ′の方向は演算により得ることができる。また、仮想カメラ１１０の回転半径Ｒは以下の式（３）により得られる。

ここで、
Ｒ：仮想カメラの回転半径
ｒ：実カメラの回転半径
α：実カメラの光軸と反射鏡の平面がなす角度
Ｌ：光軸ａと反射鏡の平面の交点と回転中心との間の距離
である。

反射鏡１０６ａは実カメラ１０４の前方に配置されているので、Ｌ＞ｒである。従って、仮想カメラ１１０の回転半径Ｒは、実カメラ１０４の回転半径ｒよりも大きくなる。ただし、この左の反射鏡１０６ａに対応する仮想カメラ１１０は、右側半分以下の視界しか持たない。同様に、右の反射鏡１０６ｂに対応する仮想カメラも考えることができ、その仮想カメラは左半分以下の視界しか持たない。

反射鏡の配置を決定する距離Ｌは、実カメラの回転半径ｒと該実カメラの大きさを加えた長さよりも十分大きくとる。また、反射鏡の角度αは実カメラの画角に依存し、仮想円１１２の接線方向からの光線反射が実カメラの視野領域に入るように調整する。

次に、上述した装置を用いたパノラマ画像の生成方法を説明する。
先ず、回転台１０２を回転させて、カメラ１０４により回転中心Ｏｒ回りに全方位３６０°にわたって所定の角度θ毎に複数の画像を撮影する。次いで、各θにおいて得られる画像を、図５に示すように、撮影の順にθ方向へ並べて３６０°に渡る時空間画像１３０を生成する。時空間画像１３０は、左の反射鏡１０６ａで反射してカメラ１０４により撮影された左画像領域１３２と、右の反射鏡１０６ｂで反射してカメラ１０４により撮影された右画像領域１３４と、中央の隙間ｇを通過してカメラ１０４により撮影された中央画像領域１３６とから成る。

時空間画像１３０の左画像領域１３２の縦スリット１３２ａによって得られる部分を、回転角θ毎に順に抽出して左パノラマ画像１３２ｂが生成され、同様に、右画像領域１３４の縦スリット１３４ａから右パノラマ画像１３４ｂが生成され、中央画像領域１３６の縦スリット１３６ａから中央パノラマ画像１３６ａが生成される（図６参照）。時空間画像１３０を生成することなく、回転角θ毎に撮影された画像データ中の縦スリット１３４ａ、１３４ｂ、１３６ｂに相当する画像データを蓄積して左右および中央のパノラマ画像１３２ｂ、１３４ｂ、１３６ｂを生成してもよい。こうして得られた３枚のパノラマ画像、つまり左パノラマ画像、中央パノラマ画像、右パノラマ画像の例を図６に示す。

ここで、縦スリット１３２ａ、１３４ａ、１３６ａは、回転中心Ｏｒを決定する軸線に平行に定義される。また、左右領域の縦スリット１３２ａ、１３４ａは、好ましくは、対応するカメラ視線が回転半径Ｒによって定まる円の接線方向になるように決定される。このとき、反射鏡１０６ａ、１０６ｂの角度αは、円の接線方向からの光線反射が実カメラ１０４の視野領域内に入るように調整しなければならない。

以下、これらのパノラマ画像を利用して、ステレオ計測の原理で三次元計測を行う方法を説明する。
本発明の第１の実施形態による三次元計測方法では、左パノラマ画像１３２ｂと、右パノラマ画像１３４ｂの２枚のみを利用して三次元計測を行う。なお、以下の説明では、左パノラマ画像１３２ｂを基準パノラマ画像とし、右パノラマ画像１３４ｂを参照画像とする。

先ず、左パノラマ画像１３２ｂにおいて、奥行きを求めたい注目画素を選択し、その注目画素に対する奥行きの候補λを決定する。λが決定されると、その注目画素の位置に対応する、右パノラマ画像１３４ｂ中の画素座標が計算できる。次いで、左パノラマ画像１３２ｂ上の注目画素と、右パノラマ画像１３４ｂ上の対応画素の各々の濃淡値を求め、注目画素と対応画素の濃淡値の差の二乗和（ＳＳＤ）を、あらかじめ設定したウィンドウに関して計算し、奥行き候補λに対する評価値とする。奥行き候補λが正しい奥行きであれば、ＳＳＤは小さくなる。こうして、λを変化させてＳＳＤを計算し、最小の値を得たλを、注目画素に対する奥行きとする。この操作を、左パノラマ画像１３２ｂ上の全ての画素に対して行い、全方位の三次元計測結果とする。

この方法の場合、ステレオ計測におけるベースライン長は、図７中のＢ₁で示すように、仮想カメラの回転直径となる。このベースライン長は、１台のカメラを利用した従来技術による方法におけるベースライン長よりも格段に大きくなる。また、ステレオ計測におけるエピポーラ拘束は、１台のカメラを利用した従来技術による方法と同様に非常に単純である。

次に、第２の実施形態による三次元計測方法を説明する。
第２の実施形態では、第１の実施形態で用いた左右のパノラマ画像１３２ｂ、１３４ｂに加えて、中央領域のパノラマ画像１３６ｂを用いて各画素の奥行きを求める。すなわち、中央パノラマ画像１３６ｂが基準パノラマ画像となり、左右のパノラマ画像１３２ｂ、１３４ｂが参照画像となる。第１の実施形態と同様に、基準パノラマ画像において、奥行きを求めたい注目画素を選択する。また、その注目画素に対する奥行きの候補λを決定する。λが定まると、その注目画素の位置に対応する、左パノラマ画像１３２ｂ中の画素座標が計算できる。次いで、基準パノラマ画像上の注目画素と、左パノラマ画像１３２ｂ上の対応画素の各々の濃淡値を求め、注目画素と対応画素の濃淡値の差の二乗和（ＳＳＤ）を計算する。同様に、右パノラマ画像１３４ｂに対してもＳＳＤを計算する。

こうして得られた２つのＳＳＤを加算してＳＳＳＤ(Sum of SSD)を求め、奥行き候補λに対する評価値とする。奥行き候補λが正しい奥行きであれば、左右パノラマ画像１３２ｂ、１３４ｂの各々のＳＳＤは小さくなり、得られるＳＳＳＤも小さくなる。よって、λを変化させてＳＳＳＤを計算し、最小の値を得たλを、注目画素に対する奥行きとする。この操作を、基準パノラマ画像上の全ての画素に対して行い、全方位の三次元計測結果とする。

ここで、本実施形態におけるステレオ計測におけるベースライン長は、図７中のＢ₂で示すように、仮想カメラの回転半径Ｒとなる。この回転半径Ｒは、第１の実施形態のベースライン長Ｂ₁、および実カメラ１０４の回転半径ｒよりも大きい。従って、本実施形態におけるベースライン長は、第１の実施形態による方法および１台のカメラを利用した従来技術による方法におけるベースライン長よりも大幅に大きくなる。

また、３枚のパノラマを利用した場合では、右パノラマ画像１３２ｂ中に画像ノイズが存在した場合に、基準パノラマ画像（中央パノラマ画像１３６ｂ）と右パノラマ画像１３２ｂ間のＳＳＤ値が小さくならないことが生じ得る。然しながら、本実施形態では、左パノラマ画像１３４ｂで得られたＳＳＤも同様に利用するため、二つを加算したＳＳＳＤ値は、他のλにおけるＳＳＤよりも小さくなることが期待できる。これにより、画像ノイズの影響を低減できる。

更に、右パノラマ画像１３２ｂ中でオクルージョンが発生した場合も、基準パノラマ画像１３６ｂと右パノラマ画像１３２ｂ間のＳＳＤ値は小さくならない。然しながら、一般に、右パノラマ画像１３２ｂと左パノラマ画像１３４ｂで同時にオクルージョンが発生することは少ないので、二つを加算したＳＳＳＤ値は、他のλにおけるＳＳＤよりも小さくなることが期待できる。これにより、オクルージョンの影響も低減できる。

次に、本発明の第３の実施形態による三次元計測方法を説明する。本実施形態では、特定のパノラマ画像間のＳＳＤを計算するのではなく、図５に示した時空間画像１３０全体から軌跡を抽出することにより三次元計測を行う。本実施形態では、第２の実施形態と同様に中央パノラマ画像１３６ｂを基準パノラマ画像とする。

まず、基準パノラマ画像である中央パノラマ画像１３６ｂにおいて、奥行きを求めたい注目画素を選択し、該注目画素に対する奥行きの候補λを決定する。λが決定されると、その注目画素の位置に対応する、左画像領域１３２中の対応点の軌跡が計算できる。そこで、中央パノラマ画像１３６ｂ中の注目画素と、左画像領域１３２において対応する対応画素の濃淡値の差の二乗和（ＳＳＤ）を、対応点の軌跡に渡って加算しＳＳＳＤを求める。同様に、右画像領域１３４中の対応点の軌跡に関してもＳＳＳＤを計算する。この２つのＳＳＳＤを、異なるλについて全て計算する。例えば、合計Ｎ個のλについてＳＳＳＤを計算すると、合計２×Ｎ個のＳＳＳＤが得られる。このＳＳＳＤの中で、最も小さいＳＳＳＤに対応するλを、注目画素に対する奥行き推定結果λとする。この操作を、基準パノラマ画像上の全ての画素に対して行い、全方位の三次元計測結果とする。

第２の実施形態では、中央パノラマ画像１３６ｂを基準パノラマ画像とし、左右パノラマ画像１３２ｂ、１３４ｂを２枚の参照画像として利用して奥行き推定を行っているが、第３の実施形態では、より多くの参照画像を利用して奥行きを推定しているのと等価である。つまり、第３の実施形態では、左画像領域１３２に注目すると、左画像領域１３２全ての縦スリットで構成されるパノラマ画像を利用してＳＳＳＤを計算することと等価である。よって、左画像領域１３２だけで画像ノイズの影響を低減した三次元計測ができる。このとき、各縦スリットに対応するベースライン長が存在する。よって、第３の実施形態では、複数の異なるベースライン長のステレオ計測を利用した三次元計測となり、そのベースライン長の最大値は、第２の実施形態で述べたＢ₂と同じになる。同様に、右画像領域１３４のみを利用して三次元計測ができるが、一方の反射鏡の領域でオクルージョンが発生した場合、その領域全体に渡って注目画素に対応する対応点の軌跡が失われる可能性があるため、それぞれの反射鏡領域のＳＳＳＤを別々に評価する。これにより、オクルージョンの影響を低減できる。さらに、多くのパノラマ画像を利用する効果として、画像に含まれる繰り返しパターンによる誤対応の問題も改善することができる。

既述した第１から第３の実施形態による方法によれば、１台のカメラを利用した従来技術による方法のものよりも大きなベースライン長を利用できる。例えば、図４においてα＝４５°、Ｌ＝２ｒとすると、(1)第１の実施形態では、Ｂ₁＝２Ｒ＝２ｒ５^1/2となるため、１台のカメラを利用した従来技術による方法（Ｂ＝２ｒｓｉｎψ、ψ＝２０°）よりも約６．５４倍のベースラインを持ち、(2)第２の実施形態では、Ｂ₂＝Ｒ＝ｒ５^1/2となるため、１台のカメラを利用した従来技術による方法（Ｂ＝２ｒｓｉｎψ、ψ＝２０°）よりも約３．２７倍のベースラインを持ち、(3)第３の実施形態では、複数のベースラインを持つステレオ計測の組み合わせになるが、その最大ベースライン長は第２の実施形態と同じである。

また、第２と第３の実施形態による方法では、画像ノイズに対する影響を低減でき、その効果は第３の実施形態による方法において最も高い。さらに、第２と第３の実施形態による方法では、オクルージョンに対する影響を低減でき、その効果は第３の実施形態による方法において最も効果的である。

以下、シミュレーション実験を行った結果を示す。ＣＧを利用して一辺が２．５メートル四方の部屋を作成し、壁にテクスチャを貼り付けたものを生成した。また、部屋の中にボールと円柱を配置した。

図４に示したパラメータについて、それぞれ、ｒ＝１３３．３［mm］、Ｌ＝２００［mm］、α＝４７．９°として、第３の実施形態による方法を利用して三次元形状復元を行った。このとき仮想カメラ１１０の回転半径はＲ＝２１２．９［mm］であった。また、本発明の効果を示すため、１台のカメラを用いた従来方法（ψ＝２０°）との比較を行った。

図８は、従来方法と第３の実施形態による方法で得られたパノラマ画像を示している。図９は、２つの方法による三次元奥行き推定結果をモノクロ画像で示したものであり、近くの点ほど白く表示されるように表示してある。図１０は、２つの方法による三次元奥行き推定結果を断面図として表示したものである。これらの結果において、本発明システムを用いた第３の実施形態による方法の奥行き推定結果が、従来方法よりも良好であることがわかる。図１１は、このようにして得られた奥行き推定結果に、テクスチャを貼り付けたものである。

次に、実画像実験をおこなった結果を示す。
図４に示したパラメータについて、それぞれ、ｒ＝１９８．３４３［mm］、Ｌ＝２３０．０［mm］、左反射鏡のα＝４６．７２５°、右反射鏡のα＝４８．６８８°として、第３の実施形態による方法を利用して三次元形状復元を行った。また、本発明の効果を示すため、１台のカメラを用いた従来方法（ψ＝２０°）との比較を行った。

図１２は、従来方法と第３の実施形態による方法で得られたパノラマ画像を示している。図１３は、２つの方法による三次元奥行き推定結果をモノクロ画像で示したものであり、既述のものと同様に、近くの点ほど白く表示されるように表示している。図１４は、三次元奥行き推定結果を断面図として表示したものである。発明システムを用いた方法が、従来方法よりも良好な結果が得られていることがわかる。

本発明の好ましい実施形態による三次元計測装置の概略図平面図である。図１の装置により撮影された画像の一例である。図１の装置における左の反射鏡に対応する仮想カメラを説明するための説明図である。図１の装置における左の反射鏡に対応する仮想カメラを説明するための説明図である。時空間画像を説明するための説明図である。パノラマ画像の一例を示す図である。本発明による三次元計測装置におけるベースライン長を説明するための説明図である。従来技術と本発明による実験結果を比較するためのパノラマ画像の一例を示す図である。従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。実験に用いて三次元モデルを示す図である。従来技術と本発明による実験結果を比較するためのパノラマ画像の一例を示す図である。従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。従来技術と本発明による実験結果を比較するための奥行き演算結果を示す図である。従来技術によるパノラマ画像撮影装置の略示斜視図である。従来技術によるパノラマ画像生成方法を説明するための説明図である。従来技術による計測方法を説明するための説明図である。従来技術におけるベースライン長を説明するための説明図である。

符号の説明

１００三次元計測装置
１０２回転台
１０４カメラ
１０６ａ反射鏡
１０６ｂ反射鏡

Claims

所定の軸線に関して所定の角度を以て交差するように光軸を前記軸線を中心として回転自在に設けられたカメラと、
前記カメラに関して相対移動することなく、前記回転台および前記カメラと共に回転するように設けられた一対の反射鏡であって、該反射鏡は、反射した光が前記カメラの対物レンズに入射できるように、前記カメラの前方に前記光軸に関して所定の角度を以て配向された一対の反射鏡とを具備し、
前記カメラを前記軸線に関して所定の角度毎に回転して、前記カメラにより前記軸線回りのシーンを撮影するようにした全方位三次元計測装置。
請求項１に記載の全方位三次元計測装置を用いて、前記軸線回りに所定の角度毎に撮影された画像に基づき、基準パノラマ画像と、参照パノラマ画像とを生成し、
基準パノラマ画像中の注目画素の奥行きの候補を定め、
前記注目画素に対応した参照パノラマ画像中の対応画素を求め、
基準パノラマ画像上の注目画素と、参照パノラマ画像中の対応画素の濃淡値の差が最小となる奥行き候補を前記注目画素の奥行きとして決定するようにした全方位三次元計測装置。
前記基準パノラマ画像は、前記一対の反射鏡の一方により反射された光線を撮影して生成された画像に基づいて生成され、前記参照パノラマ画像は、他方の反射鏡により反射された光線を撮影して生成された画像に基づいて生成される請求項１に記載の装置。
前記基準パノラマ画像は、前記一対の反射鏡の間隙を通過した光線を撮影して生成された画像に基づいて生成され、前記参照パノラマ画像は、前記一対の反射鏡により反射された光線を撮影して生成された画像に基づいて生成される請求項１に記載の装置。