[go: up one dir, main page]

JP2003518274A - 調整反射屈折ステレオセンサ - Google Patents

調整反射屈折ステレオセンサ

Info

Publication number
JP2003518274A
JP2003518274A JP2001547594A JP2001547594A JP2003518274A JP 2003518274 A JP2003518274 A JP 2003518274A JP 2001547594 A JP2001547594 A JP 2001547594A JP 2001547594 A JP2001547594 A JP 2001547594A JP 2003518274 A JP2003518274 A JP 2003518274A
Authority
JP
Japan
Prior art keywords
mirror
image
mirrors
equation
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001547594A
Other languages
English (en)
Other versions
JP4790185B2 (ja
Inventor
エム グラックマン ジョシュア
ケイ ナヤル シュレー
Original Assignee
ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク filed Critical ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
Publication of JP2003518274A publication Critical patent/JP2003518274A/ja
Application granted granted Critical
Publication of JP4790185B2 publication Critical patent/JP4790185B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • G03B35/06Stereoscopic photography by sequential recording with axial movement of lens or gate between exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Stereo-Broadcasting Methods (AREA)

Abstract

(57)【要約】 本発明は、1つ以上の鏡を使用し、調整立体画像を発生する反射屈折(単一カメラ)センサを与える。多数のビューを(鏡を使用して)結合することによって、すでに調整された(すなわち、走査ライン一致を有する)合成ステレオ画像を形成し、本発明は、リアルタイムステレオ画像の用意を、調整時のコンピュータ調整に関する最標本化による計算コスト及び画像劣化を回避することによって支援する。本発明は、使用しなければならない鏡の数と、単一カメラで調整ステレオ画像を得るために実際的に満たさなければならない幾何学的/位置的制約とを指定する。本発明は、センササイズを最小にするにはどのように前記鏡を配置すべきかに関する、特別な構成技術も開示する。開示した配置/幾何学的パラメータは、費用効果的で、小型で、エラー耐性のある、単一カメラ立体画像感知システム及び方法を可能にし、コンピュータ制御画像調整の必要性を除去し、ステレオ画像の便利なコンピュータ式取得、処理、操作、格納及び伝送を可能にする。

Description

【発明の詳細な説明】
【0001】 本発明の背景 本願は、1999年12月13日に出願された米国仮特許出願第60/170
,391号の利益を請求し、その全体における参照によってこれを取り入れる。
本願において示す発明は、立体視画像を形成する改善されたシステムに関し、特
に、1つ以上の鏡を使用し、例えばコンピュータ画像システムにおいて格納及び
処理することができる調整立体画像を、前記立体画像の異なった要素を調整する
コンピュータ処理を必要とすることなく供給する反射屈折システムに関する。
【0002】 当該技術分野において既知であるような立体画像は、2つ以上の視点又は角度
からの同じ場面又は物体の(非立体)ビューを結合することによって形成された
画像である。同じ場面又は物体の複数の異なった視点ビューの結合は、強調され
た深さ及び次元の外観を有する前記場面又は物体の合成画像を形成し、すなわち
、前記場面又は物体に関するより多くの視覚的情報及び遠近感を、種々の視点か
らの前記場面又は物体の複数の非立体画像(視覚的ペアともみなすことができる
)によって与えられる視覚的情報を結合する立体画像によって与えることができ
る。立体画像を与えるある便利な装置において、立体画像を、物体の2つ以上の
ビューを同時に、大部分の場合において平面結像表面であろう共通結像点に与え
ることによって形成することができる。単純な例をとると、人の顔の立体画像を
、この人の顔のいずれかの側からのものが1つである2つの(非立体、又は直接
)画像を、1つの写真フィルム(又は、ビデオカメラレンズ)の平面表面におい
て同時に収束させることによって形成することができる。したがって、前記顔の
いずれかの側からのデータを含む合成立体画像が、前記結像点又は面において形
成され、記録される。
【0003】 この立体画像の記録に続いて、種々の技術を使用することによって処理及び記
録してもよい。特に興味深いのは、画像記録及び操作に関するコンピュータ技術
である。例えば、フィルムによって形成された立体写真プリントを、前記プリン
トの(例えば、規定された水平走査軸に沿ったラインごとにおける)光学的走査
によって、コンピュータメモリにディジタル式に格納してもよい。実質上、前記
ディジタル立体画像を、前記コンピュータシステムによって、変更、プリントア
ウト、伝送、又は他の操作を行うことができる。
【0004】 結像点において収束され、合成立体画像を形成する多視点ビュー又は非立体サ
ブ画像を供給する種々の方法及びシステムが存在する。反射屈折システムは、鏡
及びレンズの組み合わせから成る光学システムである。反射屈折を、1台のカメ
ラのみを使用する立体船さを設計するのに使用することができる。このようなシ
ステムは種々の異なった鏡形状及び構成を使用するが、根本的な動機付けは同じ
である。多数の鏡を使用することによって、場面点を、2つ以上の視点から、1
台のカメラのみを使用して撮像することができる。2つ以上の視点から供給され
る要素ビューを、個々の視点における“仮想カメラ”に対応することによって供
給されるように概念付けることができる。
【0005】 単一カメラステレオは、従来の2カメラステレオを上回るいくつかの利点を有
する。単一カメラ及びディジタイザのみを使用するため、スペクトル応答、ゲイ
ン、及びオフセットのようなシステムパラメータが、立体ペアに関して同じであ
る。加えて、内部校正パラメータの1つの組のみを決定する必要がある。あるい
は、最も重要なのは、単一カメラステレオは、データ取得を、単一カメラ及びデ
ィジタイザのみを使用し、同期用のハードウェア又はソフトウェアを必要としな
いことによって単純化することである。
【0006】 反射屈折でも2カメラでも、リアルタイムステレオシステムは、ステレオマッ
チングの前に画像を調整する必要がある。ステレオ画像の対を、エピポラーライ
ンが前記画像の走査ラインと整列している場合、調整する。適切に整列した場合
、一致の探索は簡単になり、したがって、リアルタイム性能を得ることができる
。ステレオシステムのエピポラージオメトリが一度決まれば、調整変換を前記画
像に適用することができる。適切に整列した場合、一致の探索は簡単になり、し
たがって、リアルタイム性能を得ることができる。ステレオシステムのエピポラ
ージオメトリが一度決まれば、(代表的に、コンピュータソフトウェアルーチン
によって与えられる)調整変換を前記画像に適用することができる。しかしなが
ら、このような調整は、リアルタイムステレオに関する2つの欠点を有する。変
換を前記画像にリアルタイムで適用することは、計算上高価であり、前記画像の
再標本化のためステレオデータを劣化させる。
【0007】 前記画像をランタイムにおいて調整することの代案は、前記ステレオ画像形成
システムのジオメトリが、最初から調整された画像を発生することを保証し、し
たがって、どのようなコンピュータが与えるソフトウェア調整も必要としないこ
とである。2カメラステレオに関して、このゴールは、前記2台のカメラ間のど
のような回転も除去し、並進の方向を前記カメラの走査ラインと整列させ、前記
2台のカメラに同じ内部パラメータを使用する(困難な仕事)ことによって成し
遂げられる。調整反射屈折ステレオシステムの幾何学的必要条件は、些細なもの
ではなく、現在までに研究されたとは考えられない。
【0008】 数人の研究者は、湾曲鏡及び平面鏡を使用して、単一のカメラによってステレ
オデータを得ることを実証した。最初に、湾曲鏡を使用し、広い視野を取得する
。前記湾曲鏡の最初の使用のうち1つは、2つの反射する球面に向いた慣例的な
カメラから成る広視野ステレオシステムを示唆した(図1(a)参照)。一方が
他方の上部に置かれた2つの凸面鏡を使用する同様のシステムも提案されている
(図1(b)参照)。最終的に、単一カメラと、放物鏡、楕円鏡、又は双曲面鏡
とを使用するいくつかの異なった反射屈折ステレオ構成が与えられている。
【0009】 何人かの他の研究者は、単一カメラステレオセンサを設計するのに平面レンズ
を使用することも調査した。ある提案されたセンサは、カメラの視野の中心に置
かれたヒンジによって接続された2つの平面鏡を使用する。任意の配置における
2つの鏡をどのようにして自己再調整し、単一カメラステレオに使用できるか(
図1(c)参照)も証明された。4つの平面鏡を使用するステレオシステムがさ
らに提案された(図1(d)参照)。物体及びその鏡反射を撮像することによっ
て、ステレオ画像を単一鏡のみを使用して得ることもできることが知られている
【0010】 これら先行技術のシステムのすてべにおいて、前記ステレオ画像は調整されず
、したがって、前記画像をステレオマッチングの前にリアルタイムで変換しなけ
ればならない。1つの例外は、鏡ではなくプリズムを使用し、調整ステレオ画像
を単一カメラから得る提案されたシステムである。プリズムは鏡の興味深い代案
であるが、十分な透視線を有する小型のセンサを設計できるかは明らかでない。
【0011】 反射屈折でも、2カメラでも、リアルタイムステレオシステムは、ステレオマ
ッチングの前に画像を調整する必要がある。1対のステレオ画像を、エピポラー
ラインが前記画像の走査ラインと整列した場合、調整する。適切に整列した場合
、一致の探索は簡単になり、したがって、リアルタイム性能を得ることができる
。ステレオシステムのエピポラージオメトリが一度決まれば、調整変換を前記画
像に適用することができる。しかしながら、このような調整は、リアルタイムス
テレオに関する2つの欠点を有する。変換を前記画像にリアルタイムで適用する
ことは、計算上高価であり、前記画像の再標本化のためステレオデータを劣化さ
せる。
【0012】 このように、要素非ステレオ画像ビューがどのようなコンピュータが与える調
整プロセスも必要としない、ステレオ画像を形成する単一カメラ用システムを提
供することが望まれている。さらに、これによって形成されたステレオ画像の処
理、格納、操作及び伝送において用いられるコンピュータシステムに関する計算
上の要求を低下させる、リアルタイムステレオ撮像用システムを提供することが
望まれている。また、センササイズの最小化を可能にするセンサジオメトリを有
することが望まれている。同様に、画像の再標本化の必要性と、結果として生じ
るデータ劣化とを減少又は除去することによって、ステレオ画像品質の劣化を回
避することが望まれている。また、撮像された物体と向かい合った結像点又は面
と、要素サブ画像ビューを前記結像点に供給するのに用いる1つ以上の鏡とを位
置決めする幾何学的制約を有し、これらの幾何学的制約の下で、前記結像点に与
えられるステレオ画像が、前記システムジオメトリの効力によって固有的に調整
され、追加の調整を必要としない、システム及び方法を提供することが望まれて
いる。依然としてさらに、これらの目的を満たし、合理的な程度の許容誤差を有
し、その結果、前記ステレオセンサシステムを構成し、用いることにおける小さ
な欠陥が、有用なステレオ画像を得る目的を無効にしない、ステレオ撮像システ
ムを提供することが望まれている。
【0013】本発明の要約 本発明は、2つの主なゴールを有する。第1は、調整画像を保証するために満
足しなければならない制約を明らかにすることであり、第2は、前記鏡を、セン
ササイズが所定の透視線に関して最小になるように配置する自動化ツールを記述
することである。これらの結果を使用し、新規の小型ステレオセンサを設計し、
組み立てることができる。
【0014】 本発明は、画像をランタイムにおいて調整することの代案として、前記ステレ
オシステムのジオメトリが調整画像を与えることを保証する。2カメラステレオ
に関して、これは、前記2台のカメラ間のどのような回転も除去し、並進の方向
を前記カメラの走査ラインと整列させ、前記2台のカメラに同じ内部パラメータ
を使用する(困難な仕事)ことによって成し遂げられる。調整反射屈折ステレオ
システムの幾何学的必要条件は、些細なものではなく、現在までに研究されたと
は考えられない。本発明の展開は、2つの部分から成る。第1は、調整画像を保
証するために満足しなければならない制約を明らかにすることであり、第2は、
前記鏡を、センササイズが所定の透視線に関して最小になるように配置する自動
化ツールを記述することである。これらの結果を使用し、新規の小型ステレオセ
ンサを設計し、組み立てることができる。さらに、本発明のセンサシステムを、
開示した方法によって実行可能に組み立て、最小の、又は追加の処理及びコンピ
ュータ調整なしで、小さい誤差偏差の存在が、有用なステレオ画像を得るゴール
を実際的に達成することを妨害しないようにすることができる。
【0015】 このように、本発明は、少なくとも1つの視覚的ペアから形成された立体視画
像を取得するシステム及び方法を提供し、本装置及びシステムは、1つの画像検
出器と、少なくとも1つの実際的に平面の鏡とを使用し、前記鏡が(更なる調整
又はコンピュータ処理を必要とせずに)前記視覚的ペアを調整し、立体画像を発
生する。
【0016】 本発明は、第1面に位置する第1平面画像検出器と、前記結像面と撮像システ
ム内の他の要素(例えば他の鏡)とに関する特定の幾何学的制約に従って配置さ
れた1つ以上(例えば3つ)の鏡とを用い、調整画像が前記結像面において供給
され、立体画像を他の(例えば、コンピュータ支援)調整なしで形成するように
した、場面の立体視画像を取得する装置及び方法も提供する。
【0017】好適実施形態の詳細な説明 調整反射屈折ステレオに関する必要条件を記載する前に、平面鏡による画像形
成の基本的システム及び方法を再検討することが役に立つであろう。図2(a)
が示すように、鏡が場面点を反射したときに形成された画像は、前記鏡の反対側
において位置する仮想カメラによって撮られた同じ透視画像である。現実カメラ
の座標系に関する前記仮想カメラの座標系の場所は、反射変換を用いることによ
って見つけられる。前記鏡をその法線
【数1】 及び前記現実カメラから測定された距離dによって表す場合、反射変換
【数2】 は、
【数3】 とわかる。
【0018】 前記現実カメラ座標系及び仮想カメラ座標系間の変換
【数2】 は、剛体変換と、左座標系から右座標系(又はその逆)への切り替えとの組み合
わせである。また、反射変換は、それ自身の逆である、すなわち、
【数4】 であることにも注意されたい。
【0019】 2つの鏡(図2(b)を参照)が場面点を反射した場合、前記仮想カメラを、
2つの連続的な反射変換を用いることによって見つける。結果として生じる変換
は、平面剛体運動を表し、これは、並進の方向が回転軸に対して直角であること
を意味する。回転の方向を、
【数5】 とすることを示すこともでき、ここで、
【数6】 及び
【数7】 は、前記2つの鏡の法線である。この2つの鏡の場合において、前記2つの鏡像
は互いに打ち消しあうため、左座標系から右座標系への切り替えは存在しない。
【0020】 各追加の鏡に関して、前記仮想カメラを、他の反射変換を用いることによって
見つける。一般的に、鏡の数が奇数の場合、結果として生じる変換は、左座標系
と右座標系との間で切り替わり、したがって、前記場面の鏡像を生じる。
【0021】 図2(c)に示すように、視野が、異なった鏡が前記場面を前記結像面の異な
った部分において反射するように分割される場合、前記場面は、多数の仮想カメ
ラから撮像され、したがって、ステレオ画像が得られる。ここで、どのように鏡
を使用して調整ステレオ画像を得ることができるかを説明することは有用であろ
う。
【0022】 1 どのくらい多くの鏡が必要か。 調整画像を生じるために、ステレオシステムは、いくつかの必要条件を満たさ
なければならない。前記2台のカメラ間に相対的回転が存在してはならず、前記
並進が前記結像面の走査ラインに対して平行でなければならず、前記2台のカメ
ラの内部パラメータが同じでなければならない。反射屈折ステレオに関して、最
後の必要条件は、単一カメラのみを使用するため、満たされる。最初の2つの必
要条件を保証するために、前記鏡は、式、
【数8】 を満たさなければならず、ここで、bは透視線であり、mは使用する鏡の数であ
り、
【数9】 はi番目の鏡によって生じる反射変換である。前記鏡を図3に示すように配列し
、各鏡を、x軸が前記走査ラインに沿っており、z座標が光軸の方向である左の
仮想カメラに取り付けられた座標系において規定する。
【0023】 式(3)を満たすことが、調整を保証しても、1つ問題がある。我々は、前記
現実カメラの視野を前記2台の仮想カメラ間に分割するため、我々は、前記視野
が正確に重なることを保証しなければならない。図4は、2台の仮想カメラを調
整するが、これらは共通の視野を共有しない4鏡システムを示す。前記視野を2
つの異なった鏡のシステム間で分割する場合、各仮想カメラは、前記現実カメラ
の視野の半分だけを受ける。明らかに、実際には、この2つの半分視野は、重な
らなければならない。
【0024】 図5に示すように、各仮想カメラは、左又は右半分視野のいずれかを受ける。
調整した場合、反射の数に応じて、4つの可能な配置が存在する。しかしながら
、下の2つの配置のみが、実際上のステレオシステムを導く。左上の配置は、重
なる視野を持たず、右上は、前記透視線の幅の狭いビームしか見ていない。下の
配置のうち1つを得るために、一方の半分視野を他方の半分視野に関して反射し
なければならず、したがって、奇数の反射が必要である。我々は、これを、x軸
の方向を変化させることによって行う。
【数10】 どのような数の奇数反射に関しても、解が存在することを示すことは簡単である
。m=1に関して、鏡法線
【数11】 は解を導く。すべての奇数m(m>1)に関して、反射変換はそれ自身の逆であ
り、各対は打ち消しあうため、自明な解を、(m−1)/2対の同じ反射変換を
加えることによって得ることができる。
【0025】 式(4)に対して多くの解が存在しても、大部分は、閉塞及び交差する鏡のた
め、物理的に実現できない。次に、我々は、一方においてシステムサイズ及び単
純さに関して、他方において画像品質理想的な解を与えることができる1つ及び
3つの鏡を使用する可能な解を考察する。5つ以上の鏡を使用することもできる
が、これらのシステムを、厳密に必要なよりも複雑だとみなすことができ、これ
らの前記1又は3鏡システムに対して増加する利点は、比較的小さいであろう。
(それにもかかわらず、本開示の教えは、このような5つ以上の鏡システムに当
てはまり、当業者は、これらの教えを容易に用い、このようなシステムを実現す
ることができる。)
【0026】 2 単一鏡調整ステレオ 単一鏡によって調整画像を得るために、前記鏡を含む面は、式
【数12】 を満たさなければならない。ここで、〔数6〕及びdは、前記カメラ座標から
の前記鏡への法線及び距離である。これについては、〔数11〕を満たす。この
ように、単一鏡を使用する解は、図6に示すように前記鏡の法線が前記カメラの
走査ライン(x軸)と平行な場合にのみ生じる。前記ステレオシステムは、任意
の距離dに関して調整し続けるであろうが、透視線bは、b=2dのように
変化するであろう。
【0027】 この解の利点は、その単純さである。しかしながら、有限の鏡を使用しなけれ
ばならないため、前記仮想カメラの視野は、前記仮想カメラに対する前記鏡の角
度によって制限される(図6参照)。視野αは、透視線b及び鏡の長さhと、 α=arctan(2h/b)−π/2+β/2 (6) のように関係する。したがって、大きい透視線が望まれる場合、大きい鏡を用い
る必要があり、でなければ、視野が厳しく制限される。
【0028】 前記鏡が有限であるため、視野は、前記現実カメラと仮想カメラとの間に非対
称に存在する。前記画像検出器のより大きい部分が前記現実カメラによって使用
される。図7に示すように、この非対称を、前記画像検出器を前記カメラの投影
の中心に関してシフトすることによって除去することができる。興味がある場面
が前記カメラの近くにある用途に関して、これは、前記ステレオシステムに近い
可視堆積が増加するという利益を有する。
【0029】 3 3鏡調整ステレオ 前記単一鏡調整ステレオの制限を、追加の鏡を組み込むことによって克服する
ことができる。3鏡に関して、視野が前記2つの仮想カメラ間で実際的に等しく
共有されることを保証することができる(図8参照)。さらに、大きい透視線を
、比較的小さい鏡を使用して得ることができる。しかしながら、任意に3つの鏡
を置くことはできない。示すように、最適に調整されたステレオを得るために、
前記鏡とカメラとの間の4つの特定の幾何学的制約を実際的に満たさなければな
らない。式(4)から、我々は、前記鏡を、
【数13】 のように置かなければならないことを知る。式(7)を使用して、我々は、最初
に、3つの制約を、どのように前記鏡を配置して、前記仮想カメラ間に回転がな
いようにするかを決定することによって導き出す。次に、我々は、前記並進の方
向を前記走査ライン(x軸)と平行にする必要性から生じる残りの制約を示す。
【0030】 3.1 回転制約 式(7)における行列の左上3×3ブロックは、前記2台の仮想カメラ間の相
互回転に関する。調整のため、われわれは、
【数14】 を有し、ここで、
【数15】 である。各々の
【数16】 は、対称であってそれ自身の逆であり、式(8)を、
【数17】 として書くことができる。
【0031】
【数18】 は、
【数19】 である双方の鏡法線に対して直角の回転軸に関する回転行列であることを思い出
されたい。これは、
【数20】 を意味する。式
【数21】 も保たなければならないことを示すのは簡単である。したがって、式(8)を満
たすために、双方の式(11)及び(12)を満たす必要があり、これは、
【数22】 を意味する。
【0032】 スケール係数λを、我々に2つの独立の制約、
【数25】 及び
【数26】 を我々に与える
【数23】 又は
【数24】 との内積をとることによって除去することができる。
【0033】 これは、3つの鏡の法線〔数23〕、
【数27】 及び〔数24〕とx軸とがすべて共面であることを意味する。前記法線が共面で
ある場合、前記鏡は、前記仮想カメラを共通軸について回転する。もちろん、依
然として、回転角が打ち消されるように前記鏡を向けることが必要である。しか
し、ここで、この解析を、前記法線及びx軸を含む面の2次元において解くこと
によって簡単にすることができる。二次元において、前記鏡を、θがi番目の
鏡法線が前記現実カメラのx軸と作る角度であるラインによって表す。単純化の
ために、x軸を現実カメラ決象面に移動した。
【0034】 前記カメラ中心を角度αにおいて離れる光線と、前記カメラを角度π−αにお
いて離れる対応する光線とを考えると、前記鏡を、前記2つの反射光が平行にな
り、したがって、前記仮想カメラ間に回転がないことを保証するように向きを調
節しなければならない(図9参照)。角度θにおいて向けた鏡によって反射さ
れた後、左の光線の角度は、 α=2θ−α (17) である。
【0035】 前記2つの鏡による反射後の右の光線の角度α2は、 α=2θ−2θ−α (18) である。
【0036】 前記2つの光線は、α=αの場合、平行である。したがって、 θ−θ=θ (19) の場合、回転は打ち消される。
【0037】 式(16)を、前記鏡の法線の項において、
【数28】 のように表すことができる。
【0038】 要約のため、前記鏡の法線が式(14)、(15)及び(19)の3つの制約
を満たす場合、前記2台の仮想カメラ間の回転は存在しなくなる。
【0039】 3.2 並進制約 ここまで、前記仮想カメラを調整するのに満たさなければならない3つの制約
を記載した。しかしながら、前記仮想カメラ間の並進の方向がx軸に沿うことを
保証する必要もある。これに関して、我々は、式(7)の並進部分、すなわち、
【数29】 を考察する必要がある。
【0040】
【数30】 との乗算と式(8)を代入した後、我々は、
【数31】 を得る。
【0041】 次に、式(9)を
【数32】 に代入することによって、我々は、
【数33】 を有する。
【0042】 この式を満足することが調整を保証しても、式(22)において1つの独立し
た制約のみが存在する。bは任意であるため、我々は、
【数34】 及び
【数35】 である少なくとも2つの式のみを展開し、ここで、
【数36】 である。ベクトル式(22)が、前記鏡の法線及びx軸から成ることに注意され
たい。前記回転制約が、これらのベクトルが共面であることを保証するため、我
々は、座標系を、これらのベクトルがx−z面にあるように規定する。前記法線
がx−z面においてある場合、すべてのiに関してniy=0であり、式(23
)は満たされ、1つの制約、式(24)のみが残る。
【0043】 ここで、3鏡調整ステレオに関して4つの制約が得られた。要約のため、前記
3つの鏡の法線がx軸と共面である場合、前記鏡間の角度は、式(19)を満た
し、前記鏡に対する距離を、式(24)が満たされるように選択し、前記2台の
仮想カメラは調整される。
【0044】 4 小型センサ設計 多くの立体撮像用途に関して、前記センタの小型さは重要である。このセクシ
ョンにおいて、我々は、反射屈折ステレオセンサ設計用自動化ツールを記述する
。前記現実カメラの透視線、視野、及びサイズのような設計パラメータを与える
と、我々は、前記仮想カメラが調整され、前記センササイズが最小になるような
前記鏡の最適配置を計算する。
【0045】 前記最適化を簡単にするために、我々は、前記鏡の法線を含む面がx−z面で
あることを仮定し、これは、前記カメラと鏡との間に傾きがないことを意味する
。ここで、前記3つの鏡の各々をラインによって表し、6つのパラメータθ
θ、θ、d及びdのみが存在する。我々はx−z面に限定されるため、
式(14)及び(15)のみを満たす。このように、2つの調整制約、前記鏡の
角度における1つ、式(18)と、前記距離における1つ、式(24)のみが存
在する。所定の透視線bを与えると、我々は、式(22)からもう一つの制約、
【数37】 を有する。
【0046】 6つのパラメータにおける3つの制約は、3つの自由パラメータを残す。これ
らのパラメータを最適化するために、センササイズに関するある基準を選択しな
ければならない。1つの簡単な標準は、前記カメラの投影の中心と、前記鏡の境
界ボックスの周囲とである(図10参照)。
【0047】 最適な構成を見つけるため、我々は、我々は、第1鏡のすべての可能な位置(
θ,d)と、第2鏡に関する可能な角度θとを探索する。残りの3つのパ
ラメータ、前記第2鏡までの距離dと、第3鏡までの距離dと、前記第3鏡
の角度θとを、式(18)、(24)及び(25)を解くことによって見つけ
、ここで、nix=cosθ及びniz=sinθである。計算されたパラ
メータの各組に関して、我々は、前記鏡の終点を、前記光軸を追跡し、前記視野
の光線を制限し、これらを前記鏡と交差させることによって決定する。前記終点
が見つかったら、前記境界ボックスの周囲を計算する。前記パラメータを最小に
する設計を選択する。
【0048】 我々は、前記鏡が互いにかみ合わない解を承認する。このようにして、我々は
、図11における光線
【数38】 が鏡
【数39】 及び
【数40】 と交差せず、光線
【数41】 が〔数39〕と交差しないことを保証する。加えて、我々は、前記現実カメラが
それ自身を見ない解のみを考慮し、このようにして、我々は、光線
【数42】 が前記投影のカメラ中心からの最小距離cであることを保証する(cは透視線に
比例し、前記カメラのサイズから決定されることに注意されたい)。
【0049】 図12は、60°視野を有するカメラに関する2つの最適な構成を示す。図1
2(a)に示すように、c=0の時、前記第2鏡は、極微小であり、前記カメラ
の投影中心において位置する。図12(b)は、c=0.1の場合の最適解を示
す。
【0050】 c及び視野の双方が増大すると、最適センササイズも増大する。図13は、種
々の異なった視野とcの値に関する最適化センサの標本化を示す。我々は、同じ
アプローチを使用し、前記境界ボックスの面積のようなある他のサイズ基準に関
する最適センサを見つけてもよいことに注意されたい。
【0051】 5 許容誤差 鏡構成を選択したら、前記カメラの位置及び方向を、前記鏡法線に対して直角
の並進まで決定する。前記ミラーを高精度で配置することができても、前記カメ
ラ及びレンズを前記ミラーに関して位置決めするとき、必然的にエラーが導かれ
る。このセクションにおいて、我々は、前記調整ジオメトリにおけるこれらの配
置エラーの影響を説明する。
【0052】 単純化のために、我々は、所望の構成を、前記カメラの光軸が、鏡法線面と呼
ばれる前記鏡法線と前記カメラの投影の中心とによって規定される面においてあ
る構成とする。我々は、3つのエラー源、前記撮像システムの投影の中心の誤配
置と、前記鏡法線面内の前記光軸の方向の誤整列と、前記鏡法線面に関する前記
光軸の傾きとを見つける。
【0053】 5.1 投影の中心の誤配列 前記カメラの投影中心の誤配列は、前記鏡の法線を変えず、したがって、我々
は、前記仮想カメラの位置における影響のみを考慮し、方向における影響を考慮
する必要はない。前記カメラの投影中心の、所望の位置cから点
【数43】 への移動は、仮想カメラv及びv´を新たな位置
【数44】 及び
【数45】 にシフトさせる(図14参照)。
【数46】
【数47】 及び
【数48】 が前記3つの鏡についての反射変換である場合、
【数49】 及び
【数50】 となる。反射変換はそれ自身の逆であるため、我々は、
【数51】 も有し、これは
【数52】 を導く。式(7)の調整制約から、〔数45〕が〔数44〕と、c軸についての
シフトによって関係することを示すのは容易である。このように、前記仮想カメ
ラの調整は、前記現実カメラの投影中心の位置に対して不変であり、影響は前記
透視線における変化だけである。これは、前記撮像システムの投影中心を正確に
配置することが困難であるため、重要な特性である。
【0054】 5.2 光軸の誤整列 次に、我々は、前記鏡法線面内の前記カメラの方向の誤整列を考察する。前記
カメラの光軸の誤整列は、前記仮想カメラの位置を変えず、これらの方向のみを
変える。図14に示すように、εの角度エラーは、前記仮想カメラを傾かせ、結
果として、前記仮想カメラ間の回転が生じる。傾きの量は、前記鏡の特定の構成
に依存しないことに注意されたい。傾いたシステムに関して、ピクセル単位にお
ける調整エラーは、傾きの量と、前記カメラの視野と、前記画像における位置と
に依存する。前記調整エラーは、
【数53】 の場合、前記画像のどこでもサブピクセルであり、ここで、Pは前記画像の高さ
であり、αは前記カメラの視野である。前記視野が90°未満の場合、約0.2
°の傾き角に、約500ピクセルの代表的な撮像解像度において耐えることがで
きる。
【0055】 5.3 光軸の傾き 他のエラー源は、前記鏡法線面に関する前記カメラの傾きである。前記カメラ
を傾かせることは、前記鏡法線をx軸について回転させる。回転
【数54】 を与えると、新たな鏡法線は、
【数55】
【数56】 及び
【数57】 となる。式(19)において与えた角度制約
【数58】 が古い法線に保持する場合、
【数59】 も新しい法線に保持することを示すことは容易である。このように、前記仮想カ
メラは、前記カメラが傾いた場合、平行のままである。
【0056】 前記仮想カメラが平行のままでも、これらの双方は、回転し、前記並進の方向
を前記走査ラインからそらさせる。前記並進の方向における変化は、傾きの量φ
に依存するが、前の場合とは異なって、このエラーは、前記鏡の角度に依存する
。図16は、前記カメラの傾きの単一鏡における影響を示す。前記カメラの傾き
は、前記鏡の前記光軸との交差を変化させ、したがって、前記カメラの座標系に
関する角度を変化させる。前記カメラがφ傾き、前記鏡の角度をθによって与え
ると、前記鏡の角度における変化εは、
【数60】 となる。
【0057】 所定の傾きに関して、εは、前記鏡の角度が0°又は90°のいずれかに近づ
くにつれて最小化され、θ=45°の場合、最大になる。前記調整エラーは、2
εである前記並進の方向におけるエラーに依存する。θ=45°の場合であって
も、このエラーは、φ=0における
【数61】 のようにゆっくりと成長する。例えば、φ=1°の傾きエラーは、結果として、
0.009°未満の並進方向エラーを生じる。したがって、前記調整エラーは、
誤整列エラーより傾きエラーにあまり敏感ではない。この解析において、我々は
、前記所望の構成が、前記光軸が前記鏡法線面にある構成であると仮定した。前
記所望の構成が、前記カメラが前記鏡に関しての斜角を上へ指すか下へ指す構成
である場合、前記調整は、小さい傾きエラーに対してより敏感になる。要約にお
いて、前記カメラ中心の誤配列は、前記調整ジオメトリに影響せず、前記光軸の
誤整列は、前記仮想カメラ間に回転を導き、前記光軸の傾きは、前記カメラを回
転させ、前記並進方向における変化を招く。
【0058】 6 実験結果 上記セクションにおいて導入した前記制約を使用し、1及び3鏡ステレオセン
サの双方を組み立てた。図17(a)におけるように、調整ステレオ画像を、単
一鏡を使用して、前記鏡を前記カメラの光学系と平行に置くことによって取得す
ることができる。前記鏡の手動による整列は、前記場面の深さマップを得るのに
適切であることがわかった。前記ステレオ画像を調整することを実証するために
、一致探索を前記走査ラインに沿ってのみ行う。前記深さマップを、640×4
80画像において、15×15サイズウィンドウによるSSD及び正規化相互相
関の双方を使用して計算する。単一鏡の場合において、我々は、前記鏡と鋭角に
おける場面光線の反射によって導入される強度差のため(鏡の反射率が入射角の
関数としてわずかに落ちることを思い出されたい)、正規化相互相関が有益であ
ることを見つけた。
【0059】 3鏡システムを構成するために、最初に、前のセクションにおいて記載したよ
うな最適構成を、70°視野及びc=0.2の値を使用して見つけることが必要
である。前記システムを、透視線b=10cm及びc=2cmとなるように拡大
縮小する。前記鏡を正確に配置するために、図面ツールを使用し、前記3つの鏡
の位置とカメラ投影中心とを、一片の紙に印刷する。図17(b)は、実験の注
釈を示す。
【0060】 図19(a)は、前記3鏡システムによって得られたいくつかの画像を示す。
図19(b)及び19(c)は、SSD及び正規化相互相関の双方を使用して前
記走査ラインに沿って探索することによって計算した深さマップを示す。前記3
鏡の場合に関して、我々は、前記データの正規化が結果を改善しないことを見つ
けた。前記3鏡システムは、単一鏡を使用する場合に出合う正確な入射角に苦し
まない。したがって、正規化相互相関の異常な計算コストを回避することができ
る。
【0061】 本発明のステレオ画像を、写真撮像用の、ディジタル化写真画像を処理、格納
、操作及び伝送する所望の業界標準設備と共に得て、処理することができる。こ
のように、種々の平面撮像装置(例えば、スチールカメラ及び写真フィルム、デ
ィジタルカメラ)と、種々のコンピュータ化写真処理システム(例えば、格納や
、処理及び伝送ソフトウェアと、所望のプラットフォームのハードウェア)を、
ここに開示した方法及びシステムと共に使用することができる。当業者は、上述
した前記画像検出器、鏡、及び撮像される物体間の幾何学的制約が実際的に満た
される間は、本発明の利点を、画像検出器、鏡、画像プロセッサ等のどのような
任意の適切な組み合わせによっても得ることができることを認識するであろう。
【0062】 7 結論 このように、本発明は、新規のステレオセンサのクラスに関する設計を与える
。前記データの同期、調整及び正規化の必要性を回避することによって、これら
のセンサは、リアルタイム用途には都合がよい。反射屈折システムから調整ステ
レオ画像を得るために満たさなければならない幾何学的制約の特定の組を与えた
。加えて、本発明は、どのように残りの自由度を使用して小型のステレオセンサ
を設計するかを開示する。エラー解析を通じて、これらのセンサを組み立てる実
際的な実行可能性を示した。特に、当業者は、本発明が、特別であるが合理的に
柔軟な幾何学的センサシステム制約の組を与えることを認識するであろう。すな
わち、個々の面、法線等が、特に、個々の共面又は直角関係に対して、列挙した
制約及び式の組を満たすことは重要だが、例えば数度(すなわち、5度未満)の
正確な共面又は直角からの逸脱は、本来の調整ステレオ画像の実際的な準備を妨
げない。
【0063】 本発明を、説明の目的のため、その上述の特別な実施形態によって説明したが
、これらの実施形態は、本発明の範囲を限定も減少もしない。むしろ、当業者に
は、種々の代案及び変更を、前記説明した実施形態に、添付した請求項によって
のみ規定される本発明の精神及び範囲を逸脱することなく行えることは明らかで
あろう。
【図面の簡単な説明】
【図1】 種々の鏡を使用するいくつかの先行技術の単一カメラステレオ撮像シ
ステムを示す。場面点の2つの反射を撮像することによって、3次元位置を単一
カメラから決定することができ、(a)は2つの球面鏡の使用を示し、(b)は
2つの重ねられた凸面鏡の使用を示し、(c)は4つの平面鏡の使用を示す。
【図2】 先行技術において既知の立体視システムにおける画像形成への平面鏡
の使用を一般的に示す。
【図3】 どのように、立体視システムにおける左及び右仮想カメラ間の相対的
方向を、図に示す配列における連続的な反射変換を用いることによって見つける
かを示す。
【図4】 どのように、平行の鏡の2つの組を使用し、調整ステレオ撮像システ
ムを構成するかを示す。しかしながら、この解は、2つの仮想カメラが共通の視
野を共有しないため、一般的に実際的ではない。
【図5】 調整したら、合成ステレオ画像に寄与する仮想カメラの4つの可能な
構成があることを示す。しかしながら、下の2つのみが実際的な解を導く。左上
の構成は、視野が重ならず、右上の構成の視野は、狭いビームのみである。下の
構成のうち1つを得るために、奇数の反射を使用しなければならない。
【図6】 単一鏡で調整画像を得るために、前記鏡の法線をカメラの走査ライン
と平行にしなければならないことを示す。右仮想カメラの視野は、前記鏡の有限
のサイズによって制限されることに注意されたい。
【図7】 画像検出器をシフトし、ステレオ視野における非対称性を減少するこ
とを示す。(a)は、単一鏡を使用した場合、左カメラビューは右カメラビュー
より前記画像検出器の大きい部分を使用することを示し、(b)は、非対称性を
、前記画像検出器を撮像レンズ(投影の中心)に関してシフトすることによって
除去することができることを示す。
【図8】 3鏡調整ステレオに関する方法を示す。3つの鏡を使用することによ
って、各仮想カメラの視野が現実カメラの視野の半分である調整ステレオシステ
ムを設計することができる。
【図9】 本発明の3鏡ステレオ撮像構成における鏡ジオメトリを示す。鏡を、
角度α及びπ−αにおける2つの光線が、前記鏡によって反射された後、平行に
なるように傾けなければならず、ここで、α=αである。こうすることは、
2つの仮想カメラ間に回転がないことを保証する。
【図10】 調整制約を満たし、所定の透視線及び視野に対して境界ボックスの
周囲を最小にするように鏡位置をおくことの重要性を示す。前記境界ボックスを
、カメラの視野を鏡位置と交差させ、前記鏡終点とカメラ投影中心との間の頂点
を決定することによって見つける。
【図11】 反射された場面光線が鏡によって閉じ込められないことを保証する
ことの重要性を示す。したがって、光線〔数64〕が鏡〔数65〕と交差せず、
光線〔数66〕が〔数67〕と交差しないことが特に好適である。カメラのサイ
ズのある概念を与えると、光線〔数68〕がカメラ投影中心から最小距離cにお
いてあることを保証することができる。
【図12】 透視線bに関して最適化したステレオセンサを示す。(a)は、(
カメラのサイズを無視して)c=0に関して、最適な解は投影中心における1つ
のミラーを有することを示す。(b)は、c=0.1の場合に最適である構成を
示す。スケールに関して、仮想カメラ間の透視線を示す。
【図13】 最適化センサのサイズは視野(FOV)及びcの値に依存すること
を示す。左上隅において、すべてのセンサに関して同じである透視線bを、スケ
ールに関して示す。
【図14】 〔数69〕から〔数70〕へのカメラの投影中心の移動の影響を示
し、これは、仮想カメラ〔数71〕及び〔数72〕を点〔数73〕及び〔数74
〕にシフトさせる。〔数73〕の位置を、〔数70〕を第1鏡について変換〔数
75〕を使用して反射させることによって見つけ、〔数74〕を、第2及び第3
鏡について変換〔数76〕を使用して反射させることによって見つける。透視線
がもはやbでなくても、新たな仮想カメラは、並進方向が依然としてx軸に沿っ
ているため、依然として調整される。
【図15】 点線が、カメラの所望の方向〔数69〕と、調整仮想カメラ〔数7
1〕及び〔数72〕とを示す。実線は、現実カメラがεの角度エラーを有する場
合の仮想カメラの方向を示す。この場合において、前記仮想カメラは傾き、前記
カメラはもはや調整されない。傾きの量と、したがって調整エラーとは、鏡の構
成に依存する。
【図16】 (a)は、z軸に沿って傾き、指し示す光軸を有する、〔数69〕
において位置するカメラの側面図を示す。角度φによるz軸の傾きは、前記光軸
に沿った前記鏡までの距離を、hからh/cosφに増加させる。(b)は、上
面図を示す。前記カメラが傾いた場合、前記鏡の角度は、前記カメラの座標系に
関して変化する。仮想カメラが平行のままでも、これらは、εが前記鏡の角度に
おける変化量である場合、角度2εだけ回転する。
【図17】 コンピュータ4mmピンホールレンズを有するソニーXC−75カ
メラを使用する1及び3鏡調整ステレオシステムを例として示す。(a)におい
て、単一鏡を、鏡法線が撮像システムの光軸に対して直角になるように配置する
。(b)において、3つの鏡を、調整構成において配置する。
【図18】 単一鏡調整ステレオの設備を一般的に示す。(a)は、単一鏡ステ
レオシステムによって得られた(表示のために得られた)画像を示す。この画像
の右側が反射されることに注意されたい。前記画像が調整されることを実証する
ために、走査ラインに沿ったステレオマッチングを、前記反射を除去した後に行
う。(b)及び(c)は、15×15ウィンドウによるSSD及び正規化相互相
関を使用して計算された深さマップである。正規化相互相関は、鏡と鋭角におけ
る場面光線の反射によって導入される強度さにより、わずかによい。深さを、背
景ピクセルに関して計算しない。
【図19】 3鏡調整ステレオを使用する画像及び深さマップを示す。(a)に
おいて、(表示用に得られた)3つの640×480画像を、3つの鏡を使用し
て取得した。走査ラインに沿ったステレオマッチングを行う前に、各画像の右半
分をフリップし、反射を除去する。(b)及び(c)は、15×15ウィンドウ
によるSSD及び正規化相互相関を使用して得られた深さマップである。これら
の2つのマップ間の違いは無視でき、したがって、単一カメラのみを使用した場
合のSSDがステレオマッチングに十分であるという事実を強調するということ
に注意されたい。深さを、背景ピクセルに関して計算しない。
【手続補正書】
【提出日】平成14年7月1日(2002.7.1)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】図1
【補正方法】変更
【補正の内容】
【図1】 種々の鏡を使用するいくつかの先行技術の単一カメラステレオ撮像シ
ステムを示す。場面点の2つの反射を撮像することによって、3次元位置を単一
カメラから決定することができ、(a)は2つの球面鏡の使用を示し、(b)は
2つの重ねられた凸面鏡の使用を示し、(c)は2つの平面鏡の使用を示し、(
d)は4つの平面鏡の使用を示す。
【手続補正2】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19a】
【図19b】
【図19c】
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE,TR),OA(BF ,BJ,CF,CG,CI,CM,GA,GN,GW, ML,MR,NE,SN,TD,TG),AP(GH,G M,KE,LS,MW,MZ,SD,SL,SZ,TZ ,UG,ZW),EA(AM,AZ,BY,KG,KZ, MD,RU,TJ,TM),AE,AG,AL,AM, AT,AU,AZ,BA,BB,BG,BR,BY,B Z,CA,CH,CN,CR,CU,CZ,DE,DK ,DM,DZ,EE,ES,FI,GB,GD,GE, GH,GM,HR,HU,ID,IL,IN,IS,J P,KE,KG,KP,KR,KZ,LC,LK,LR ,LS,LT,LU,LV,MA,MD,MG,MK, MN,MW,MX,MZ,NO,NZ,PL,PT,R O,RU,SD,SE,SG,SI,SK,SL,TJ ,TM,TR,TT,TZ,UA,UG,US,UZ, VN,YU,ZA,ZW (72)発明者 シュレー ケイ ナヤル アメリカ合衆国 ニューヨーク州 10027 ニューヨーク リヴァーサイド ドライ ヴ 560 アパートメント 15ディー Fターム(参考) 2H059 AA09 2H087 KA03 TA02 5C061 AB01 AB02 AB03

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 ただ1つの画像検出器と、 少なくとも1つの実際的に平面の鏡とを具える、少なくとも1つの視覚的対を
    有する立体視画像を得る装置において、 前記鏡が前記視覚的対を調整することを特徴とする装置。
  2. 【請求項2】 請求項1に記載の装置において、前記画像検出器が、結像面を有
    するカメラを具え、前記視覚的対を、前記カメラ結像面の走査軸に関して調整す
    ることを特徴とする装置。
  3. 【請求項3】 第1面において位置するただ1つの平面画像検出器と、 第1の実際的に平面の鏡とを具える、場面の立体視画像を得る装置において、 前記第1鏡が、前記第1面と実際的に直角の第2面において位置することを特
    徴とする装置。
  4. 【請求項4】 請求項3に記載の装置において、 第2の実際的に平面の鏡をさらに具え、 前記第1鏡及び第2鏡が、前記第1面と実際的に直角の個々の面において位置
    し、前記第1鏡及び第2鏡が、前記第1面と直角の軸の向かい合う側において位
    置することを特徴とする装置。
  5. 【請求項5】 水平軸及び垂直軸を有する第1面において位置する平面画像検出
    器と、 3つの実際的に平面の鏡とを具える、場面の立体視画像を得る装置において、 (a)前記鏡の各々に対して法線の軸が、実際的に共面であることを特徴とす
    る装置。
  6. 【請求項6】 請求項5に記載の装置において、 (b)前記鏡の各々に対して垂直の軸が、すべて、前記第1面の水平軸と実際
    的に平行な面において位置することを特徴とする装置。
  7. 【請求項7】 請求項6に記載の装置において、 (c)前記鏡の第1のものが、前記第1面の水平軸に関して角度θにおいて
    位置し、前記鏡の第2のものが、前記第1面の水平軸に関して角度θにおいて
    位置し、前記鏡の第3のものが、前記第1面の水平軸に関して角度θにおいて
    位置し、前記角度θ、θ及びθが、関係θ−θ=θを実際的に満た
    すことを特徴とする装置。
  8. 【請求項8】 請求項7に記載の装置において、 (d)前記鏡の第1、第2及び第3のものが、各々、法線〔数23〕、〔数2
    7〕及び〔数24〕を有し、前記法線と、前記画像検出器の中心から各々前記第
    1、第2及び第3鏡までのその個々の法線に沿った距離d、d及びdとが
    、実際的に、式 【数62】 を満たし、ここで、 【数63】 であることを特徴とする装置。
  9. 【請求項9】 場面の立体画像を、前記場面の1対の非立体ビューから生じる方
    法において、 鏡を使用することなく前記場面の第1非立体ビューを検出するステップと、 第1の実際的に平面の鏡を使用して前記場面の第2非立体ビューを検出するス
    テップと、 追加の調整ステップなしに、前記第1及び第2非立体ビューを単一の画像検出
    器において結合し、立体画像を形成するステップとを含むことを特徴とする方法
  10. 【請求項10】 場面の立体画像を、前記場面の少なくとも1対の非立体ビュー
    から生じる方法において、 少なくとも第1の実際的に平面の鏡を使用して前記場面の第1非立体ビューを
    検出するステップと、 少なくとも第2及び第3の実際的に平面の鏡を組み合わせにおいて使用して前
    記場面の第2非立体ビューを検出するステップと、 追加の調整ステップなしに、前記第1及び第2非立体ビューを単一の画像検出
    器において結合し、これによって調整立体画像を形成するステップとを含むこと
    を特徴とする方法。
  11. 【請求項11】 請求項10に記載の方法において、前記単一画像検出器を、決
    象面を有する平面画像検出器とし、前記画像検出器の結像平面が、水平及び垂直
    軸を有し、 (a)前記第1鏡と、前記少なくとも第2及び第3鏡との各々に対して法線の
    軸が、実際的に共面であることを特徴とする方法。
  12. 【請求項12】 請求項11に記載の方法において、 (b)前記第1鏡と、前記少なくとも第2及び第3鏡との各々に対して垂直の
    軸が、すべて、前記結像面の水平軸と実際的に平行な面において位置することを
    特徴とする方法。
  13. 【請求項13】 請求項12に記載の方法において、 (c)前記第1鏡が、前記結像面の水平軸に関して角度θにおいて位置し、
    前記第2鏡が、前記結像面の水平軸に関して角度θにおいて位置し、前記第3
    鏡が、前記結像面の水平軸に関して角度θにおいて位置し、前記角度θ、θ 及びθが、関係θ−θ=θを実際的に満たすことを特徴とする方法。
  14. 【請求項14】 請求項13に記載の方法において、 (d)前記第1、第2及び第3鏡が、各々、法線〔数23〕、〔数27〕及び
    〔数24〕を有し、前記法線と、前記画像検出器の中心から各々前記個々の鏡ま
    でのこれらの法線に沿った距離d、d及びdとが、実際的に、式 【数62】 を満たし、ここで、〔数63〕であることを特徴とする方法。
  15. 【請求項15】 ディジタル化立体画像のコンピュータ化処理方法において、 コンピュータプロセッサに、調整なしで少なくとも1つの鏡を使用して得られ
    た少なくとも一対の非立体画像を結合することによって単一の画像検出器から得
    られた立体画像を、ディジタル化された形態において与えるステップと、 前記画像のどのような調整もなしで、前記立体画像における他の処理を行うス
    テップとを含むことを特徴とする方法。
  16. 【請求項16】 請求項15に記載の方法において、前記他の処理を行うステッ
    プが、前記画像の格納、走査、伝送及び出力のグループのうち1つから成ること
    を特徴とする方法。
  17. 【請求項17】 請求項15に記載の方法において、少なくとも3つの鏡を使用
    し、前記立体画像を与えることを特徴とする方法。
  18. 【請求項18】 請求項15に記載の方法において、前記他の処理を行うステッ
    プが、前記画像の格納、走査、伝送及び出力のグループのうち1つから成ること
    を特徴とする方法。
JP2001547594A 1999-12-13 2000-12-13 調整反射屈折ステレオセンサ Expired - Fee Related JP4790185B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17039199P 1999-12-13 1999-12-13
US60/170,391 1999-12-13
PCT/US2000/042796 WO2001046742A2 (en) 1999-12-13 2000-12-13 Rectified catadioptric stereo sensors

Publications (2)

Publication Number Publication Date
JP2003518274A true JP2003518274A (ja) 2003-06-03
JP4790185B2 JP4790185B2 (ja) 2011-10-12

Family

ID=22619683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001547594A Expired - Fee Related JP4790185B2 (ja) 1999-12-13 2000-12-13 調整反射屈折ステレオセンサ

Country Status (8)

Country Link
EP (1) EP1240540B1 (ja)
JP (1) JP4790185B2 (ja)
AT (1) ATE499625T1 (ja)
AU (1) AU4718601A (ja)
CA (1) CA2394260A1 (ja)
DE (1) DE60045664D1 (ja)
MX (1) MXPA02005878A (ja)
WO (1) WO2001046742A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009055318A (ja) * 2007-08-27 2009-03-12 Chuo Electronics Co Ltd ステレオ画像撮影方法、ステレオ画像撮影システム、及びステレオ画像撮影プログラム
JP2009145654A (ja) * 2007-12-14 2009-07-02 Saxa Inc ステレオ画像形成装置
WO2012090813A1 (ja) * 2010-12-28 2012-07-05 コニカミノルタホールディングス株式会社 画像処理装置及び画像処理システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004025516A1 (de) * 2004-05-21 2005-12-29 X3D Technologies Gmbh Anordnung zur Positionsermittlung eines Objektes im Raum
GB2446222A (en) * 2007-02-02 2008-08-06 Mungai Mirrors Ltd A computer camera periscope
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US9230325B2 (en) * 2011-08-19 2016-01-05 University Of Rochester Three-dimensional model acquisition using planar mirrors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01279235A (ja) * 1988-05-02 1989-11-09 Matsushita Electric Ind Co Ltd 撮像装置
JPH07128757A (ja) * 1993-11-02 1995-05-19 Fuji Photo Film Co Ltd ステレオアダプタ
JPH07209775A (ja) * 1994-01-25 1995-08-11 Canon Inc カメラ及びこれに装着するステレオアダプタ
JPH09160143A (ja) * 1995-12-12 1997-06-20 Nikon Corp ステレオカメラ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB505602A (en) * 1937-11-15 1939-05-15 Luis Ley Wood Improvements in or relating to stereoscopic pictures
GB2131969A (en) * 1982-11-25 1984-06-27 Charles Douglas Wehner Stereoscopic viewers
GB2221054A (en) * 1988-07-22 1990-01-24 Peter Mcduffie White Viewer for stereoscopic images
DE19512293A1 (de) * 1995-04-05 1996-10-10 Astrid Kabus Verfahren und Vorrichtung zur Generierung von Raumbildern
GB2312966B (en) * 1996-05-08 1998-08-26 Image Quest Limited Stereo image display system with mirror

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01279235A (ja) * 1988-05-02 1989-11-09 Matsushita Electric Ind Co Ltd 撮像装置
JPH07128757A (ja) * 1993-11-02 1995-05-19 Fuji Photo Film Co Ltd ステレオアダプタ
JPH07209775A (ja) * 1994-01-25 1995-08-11 Canon Inc カメラ及びこれに装着するステレオアダプタ
JPH09160143A (ja) * 1995-12-12 1997-06-20 Nikon Corp ステレオカメラ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009055318A (ja) * 2007-08-27 2009-03-12 Chuo Electronics Co Ltd ステレオ画像撮影方法、ステレオ画像撮影システム、及びステレオ画像撮影プログラム
JP2009145654A (ja) * 2007-12-14 2009-07-02 Saxa Inc ステレオ画像形成装置
WO2012090813A1 (ja) * 2010-12-28 2012-07-05 コニカミノルタホールディングス株式会社 画像処理装置及び画像処理システム

Also Published As

Publication number Publication date
JP4790185B2 (ja) 2011-10-12
AU4718601A (en) 2001-07-03
CA2394260A1 (en) 2001-06-28
EP1240540A2 (en) 2002-09-18
EP1240540B1 (en) 2011-02-23
WO2001046742A2 (en) 2001-06-28
DE60045664D1 (ja) 2011-04-07
ATE499625T1 (de) 2011-03-15
WO2001046742A3 (en) 2002-07-11
MXPA02005878A (es) 2003-02-27

Similar Documents

Publication Publication Date Title
Gluckman et al. Rectified catadioptric stereo sensors
US7710451B2 (en) Rectified catadioptric stereo sensors
Gluckman et al. Planar catadioptric stereo: Geometry and calibration
Svoboda et al. Epipolar geometry for panoramic cameras
Gluckman et al. Real-time omnidirectional and panoramic stereo
JP4790185B2 (ja) 調整反射屈折ステレオセンサ
Ollis et al. Analysis and design of panoramic stereo vision using equi-angular pixel cameras
CN101271187B (zh) 无死角的双目立体全方位视觉传感装置
US20080192344A1 (en) Multi-dimensional imaging apparatus, methods, and systems
Strelow et al. Precise omnidirectional camera calibration
US6545702B1 (en) Method and apparatus for panoramic imaging
US6412961B1 (en) Rectifying mirror
US20070223911A1 (en) Omni-directional stereo camera and method of controlling thereof
CN109099838A (zh) 一种基于折反射的单目立体视觉系统三维信息测量方法
JP2939087B2 (ja) 全方位視覚系
US7420750B2 (en) Catadioptric single camera systems having radial epipolar geometry and methods and means thereof
JP3957888B2 (ja) 撮像装置及び撮像画像合成方法
Pajdla et al. Epipolar geometry of central panoramic catadioptric cameras
KR101995344B1 (ko) 사각지역이 없는 듀얼 깊이 카메라 모듈
JP3752063B2 (ja) 全方位ステレオ画像撮影装置
Wang et al. Geometrical approach for rectification of single-lens stereovision system with a triprism
JP2000134537A (ja) 画像入力装置及びその方法
Caglioti et al. On the localization of straight lines in 3D space from single 2D images
JP2009180562A (ja) 距離計測装置及び距離計測方法
JP4809134B2 (ja) 画像処理装置及びその処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100915

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100924

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101015

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110517

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110720

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees