JP6878415B2 - ライトフィールド・データ表現 - Google Patents

Description

本発明は、ライトフィールドを表わすデータの生成に関する。本発明のある側面は、ライトフィールド・メタデータの提供および処理に関する。

通常のカメラは、三次元シーンからの光を、可視光に感度をもつ二次元センサー・デバイス上で捕捉する。そのような撮像デバイスにおいて使われる光感応性技術はしばしば、光子を電子に変換できる半導体技術、たとえば電荷結合素子（CCD）または相補的金属酸化物技術（CMOS）に基づく。たとえば、デジタル・イメージ光センサーは典型的には、光感応性のセルのアレイを含み、各セルが入射光を捕捉するよう構成される。イメージ・センサー・デバイスの各光感応性セルによって捕捉された光の総量の測定から、空間的情報を与える2D画像が得られる。2D画像は、光センサーの空間的な点における光の強度および光の色についての情報を提供できるが、入射光の方向についての情報は提供されない。

ライトフィールド・カメラ（放射捕捉カメラ（radiance capturing camera）としても知られる）は、2D空間情報に加えて入射光線についての方向情報を提供できる。方向情報は、イメージセンサーに関連付けられている、しばしばマイクロレンズ・アレイ（MLA: microlens array）と称されるマイクロレンズのアレイを使うことによって得られてもよい。たとえば、マイクロレンズ・アレイおよび光センサーを用いてライトフィールド・アレイ・カメラが提供される。ライトフィールド・カメラは、プレノプティック・カメラ、カメラ・アレイ、分散された複数のカメラを含む。プレノプティック・カメラは、光をMLA上に合焦させる主レンズと、MLAに関連付けられている光センサーが設けられる。ライトフィールド・カメラの他の構成では、それぞれ自分自身のレンズおよびセンサーを設けられた複数のカメラが、ライトフィールド・データを得るために使われてもよい。

ライトフィールドはしばしば、シーンにおける種々の点における種々の方向からの光を特徴付ける4D関数として定義される。光線の方向分布についての情報は、典型的にはライトフィールド・データまたは4Dデータと称される。該情報は4つのパラメータ――二次元の位置情報および二次元の角度情報――を提供するので、方向分布は四次元（4D）関数に対応するのである。ライトフィールドは、シーンの2D画像の二次元的な集合体であると解釈されてもよい。

得られたライトフィールド・データは多くの応用のために、たとえばシーンの焦点を直された画像を生成するため、種々の視点からの画像を生成するため、捕捉されたシーン上に奥行き情報を提供するためまたは3D画像を生成するために、処理されることができる。

ライトフィールド・データは大量の記憶スペースを取ることがあり、そのため記憶が大変になり、処理の効率が悪くなることがある。さらに、ライトフィールド取得装置は著しく不均質である。ライトフィールド・カメラは種々の型、たとえばプレノプティックまたはカメラ・アレイである。それぞれの型の中に、異なる光学的配置または異なる焦点距離のマイクロレンズなどといった多くの差異がある。各カメラはそれ自身の独自のファイル・フォーマットをもつ。現在のところ、ライトフィールドが依存する種々のパラメータの網羅的な概観のための多次元情報の取得および伝送をサポートする規格はない。よって、種々のカメラのための収集されたライトフィールド・データは多様なフォーマットをもつ。

本発明は、上記を念頭に考案されたものである。

http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html http://www.ics.uci.edu/~majumder/vispercep/cameracalib.pdf

取得されたライトフィールド・レイを定義するパラメータを減らすための方法を提供するために記載される本発明の実施形態は、四つのライトフィールド座標（x,y,i,j）およびその関連付けられた色の代わりに、前記ライトフィールド・レイに関連付けられた色のみが記憶されることを可能にする。

本発明の第一の側面によれば、シーンから捕捉された諸ピクセルの形のライトフィールド・データから、捕捉されたライトフィールド・データに対応するライトフィールド・レイのシーンからの経路を定義する幾何学的データを生成する段階と；
前記幾何学的データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と；
前記交差データの表現のためのサンプリング・セルのパラメータ空間を定義する段階と；
たとえば離散的なラドン変換によりまたは較正データから、前記交差データを表わす前記パラメータ空間における一つまたは複数のデジタル・データ超平面を決定する段階と；
前記パラメータ空間における前記データ超平面を定義するデータ・パラメータおよびそれぞれの生成されたライトフィールド・レイに関連付けられた前記色値を含む前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを実行する方法が提供される。

4D空間におけるデータ超平面は、a.x1＋b.x2＋c.y1＋d.y2＋e＝0という型の式によって一緒に結びつけられた点の集合である。たとえば、この式は、次のようにライトフィールド・パラメータ・データを関係させる超平面を定義しうる。

(z₂−z₃)(x₁＋y₁)＋(z₃−z₁)(x₂＋y₂)＝(z₂−z₁)(x₃＋y₃)
ここで、z1およびz2は参照平面の奥行きを定義し、x1、y1はライトフィールド・レイの参照平面１との交点を定義し、x2、y2は前記ライトフィールド・レイの参照平面１との交点を定義し、x3、y3、z3は前記ライトフィールド・レイのレンダリング平面との交点を定義する。

ある実施形態では、データ超平面を定義するデータ・パラメータは：
第一の参照平面の交差データの最小値；
前記第一の参照平面の交差データの最大値；
第二の参照平面の交差データの最小値；
前記第二の参照平面の交差データの最大値；
のうちの少なくとも一つを表わすデータを含む。

ある実施形態では、データ超平面を定義するデータ・パラメータは：
前記パラメータ空間を定義するサンプリング・セルの数；
前記第一の参照平面の位置；および
前記第二の参照平面の位置
のうちの少なくとも一つを表わすデータを含む。

ある実施形態では、二つの直交する離散的なラドン変換が前記パラメータ空間において適用されて、前記一つまたは複数のデジタル線を得る。

ある実施形態では、各データ超平面フォーマットは前記パラメータ空間の複数のセルによって定義され、少なくとも一つの第一のセルが前記線の軸との切片を表わし、少なくとも一つの第二のセルからは前記線の傾きが決定されうる。

ある実施形態では、各デジタル超平面は、ブレゼンハムのアルゴリズムの適用によって生成される。

ある実施形態では、諸レイのビームが、同じ傾きおよび異なる軸切片点をもつ複数の線として表わされる。

ある実施形態では、取得されたライトフィールド・データを表わすデータは、前記ビームの線の軸切片データの上端および下端に基づいて前記ビームの太さを表わすデータを含む。

ある実施形態では、取得されたライトフィールド・データを表わすデータは、メタデータとして提供され、メタデータのヘッダは、2Dレイ図における切片データのグラフィック表現を定義するレイ図パラメータを含み、前記メタデータのボディは前記レイの色を表わすデータを含む。

本発明のもう一つの側面は、捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、
ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと；
ライトフィールド・データ生成モジュールであって、
シーンから捕捉された諸ピクセルの形のライトフィールド・データから、捕捉されたライトフィールド・データに対応するライトフィールド・レイのシーンからの経路を定義する幾何学的データを生成する段階と；
前記幾何学的データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面は互いに平行であり、シーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と；
前記交差データの表現のためのサンプリング・セルのパラメータ空間を定義する段階と；
離散的なラドン変換により、前記交差データを表わす前記パラメータ空間における一つまたは複数のデジタル・データ超平面を決定する段階と；
前記パラメータ空間における前記データ超平面を定義するデータ・パラメータおよびそれぞれの生成されたライトフィールド・レイに関連付けられた前記色値を含む前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを実行するよう構成されているライトフィールド・データ生成モジュールとを有する装置を提供する。

本発明のさらなる側面は、規則的な格子構造に配列されたマイクロレンズのアレイと；光センサーであって、マイクロレンズの前記アレイから前記光センサー上に投射された光を捕捉するよう構成されており、前記光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズの前記アレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと；本発明の前記第二の側面のいずれかの実施形態に基づくメタデータを提供する装置とを有する、ライトフィールド撮像装置を提供する。

本発明のもう一つの側面は、本発明の前記第一の側面のいずれかの実施形態に基づく方法を使って得られたライトフィールド・データから画像をレンダリングする装置を提供する。

本発明のもう一つの側面は、ライトフィールドの諸レイを表わすデータのためのデータ・パッケージであって、
前記ライト・レイの交差データのレイ図におけるグラフィック表現を定義するレイ図パラメータであって、前記交差データはシーンからの前記ライトフィールド・レイと複数の所与の参照平面との交点を定義し、前記複数の参照平面はシーンにおける異なる奥行きに対応する、パラメータと；
前記ライトフィールド・レイの色を定義する色データとを含むものを提供する。

前記データ・パッケージは、たとえば信号によって搬送されたり、あるいは非一時的な媒体によって提供されたりしうる。

本発明のもう一つの側面は、ライトフィールドを表わすデータを生成するコンピュータ実装される方法を提供し、本方法は：
シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と；
サンプリング・セルのパラメータ空間において前記交差データを表わす一つまたは複数のデジタル・データ超平面を決定する段階と；
パラメトリックな式によって前記データ超平面上または前記データ超平面のまわりのデータを走査して、前記ライトフィールド・レイを表わすデータをサンプリングする段階と；
前記パラメータ空間において前記少なくとも一つのデータ超平面を定義する少なくとも一つのデータ・パラメータおよびそれぞれの生成されたライトフィールド・レイに関連付けられた前記色値を含む前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを含む。

ある実施形態では、前記一つまたは複数のデジタル・データ超平面は、離散的なラドン変換によって決定される。

ある実施形態では、二つの直交する離散的なラドン変換が前記パラメータ空間において適用されて、前記一つまたは複数のデジタル超平面を得る。

ある実施形態では、前記一つまたは複数のデータ超平面は、カメラ取得パラメータを定義するデータから決定される。

ある実施形態では、前記データを走査することは、次のアルゴリズムを適用することを含む。

本発明のさらなる側面は、ライトフィールドの諸レイを表わすデータのためのデータ・パッケージであって、パラメータ空間において超平面を定義する少なくとも一つのデータ・パラメータであって、前記超平面はシーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを表わし、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合は色値をもつ、パラメータと；各ライトフィールド・レイに関連付けられた色値とを含むデータ・パッケージを提供する。

本発明のもう一つの側面は、ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、シーンから捕捉されたライトフィールド・レイを表わすライトフィールド・データを取得する段階と；取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、シーンにおける異なる奥行きに対応する、段階と；取得されたライトフィールド・データを表わすデータを提供するためのレイ図における前記交差データのグラフィック表現を定義するレイ図パラメータを得る段階とを含む、方法を提供する。

ある実施形態では、ライトフィールド・レイに対応する切片データが、レイ図においてデータ線としてグラフィックに表現され、前記レイ図パラメータは：データ線の傾きおよびデータ線の前記レイ図の軸との切片のうちの少なくとも一方を表わすデータを含む。

ある実施形態では、前記データ線は、前記レイ図において、ラドン変換を適用することによって、検出される。

ある実施形態では、前記グラフィック表現は、デジタル・データ線を提供するためのセルのマトリクスとして提供され、各デジタル・データ線フォーマットは複数のセルによって定義され、少なくとも一つの第一のセルが前記線の軸との切片を表わし、少なくとも一つの第二のセルからは前記線の傾きが決定されうる。

ある実施形態では、各デジタル・データ線は、ブレゼンハムのアルゴリズムの適用によって生成される。

ある実施形態では、取得されたライトフィールド・データを表わすデータが、セルの前記マトリクスを定義するデータを含む。

ある実施形態では、取得されたライトフィールド・データを表わすデータがさらに、対応するライトフィールド・レイの色を表わす色データを含む。

ある実施形態では、取得されたライトフィールド・データを表わすデータが、ライトフィールド・レイを捕捉するために使われるカメラの数を定義するデータを含む。

ある実施形態では、諸レイのビームが、同じ傾きおよび異なる軸切片点をもつ複数の線として表わされる。

ある実施形態では、取得されたライトフィールド・データを表わすデータは、前記ビームの線の軸切片データの上端および下端に基づいて前記ビームの太さを表わすデータを含む。

ある実施形態では、取得されたライトフィールド・データを表わすデータは、メタデータとして提供され、メタデータのヘッダは、レイ図における切片データのグラフィック表現を定義するレイ図パラメータを含み、前記メタデータのボディは前記レイの色を表わすデータを含む。

さらなる側面は、捕捉されたライトフィールド・データについてのメタデータを提供するものであって、本装置は、ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと；ライトフィールド・データ生成モジュールであって、
取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応する、段階と；取得されたライトフィールド・データを表わすデータを提供するために、レイ図において前記交差データのグラフィック表現を定義するレイ図パラメータを得る段階とを実行するよう構成されているライトフィールド・データ取得モジュールとを有する。

もう一つの側面は、規則的な格子構造に配列されたマイクロレンズのアレイと；光センサーであって、マイクロレンズの前記アレイから前記光センサー上に投射された光を捕捉するよう構成されており、前記光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズの前記アレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと；上記のメタデータを提供する装置とを有する、ライトフィールド撮像装置を提供する。

本発明の実施形態に基づく方法の少なくとも一部は、コンピュータ実装されてもよい。よって、そのような要素は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなど）またはソフトウェアおよびハードウェア側面を組み合わせる実施形態の形を取ることができ、これらはみな本稿では一般的に「回路」、「モジュール」または「システム」と称されることがある。さらに、そのような要素は、コンピュータ使用可能なプログラム・コードがその上に具現された、表現の任意の有体の媒体において具現されたコンピュータ・プログラム・プロダクトの形を取ることができる。

本発明の要素はソフトウェアで実装されることができるので、本発明は、任意の好適な担体媒体上でプログラム可能な装置に提供するためのコンピュータ可読コードとして具現されることができる。有体な担体媒体は、フロッピーディスク、CD-ROM、ハードディスクドライブ、磁気テープ装置または半導体メモリ・デバイスなどのような記憶媒体を含んでいてもよい。一時的な担体媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、たとえばマイクロ波またはRF信号といった信号を含みうる。

本発明の実施形態についてこれから単に例として、以下の図面を参照して、記述する。
本発明の第一の実施形態に基づくライトフィールド・カメラの概略図である。 本発明の第二の実施形態に基づくライトフィールド・カメラの概略図である。 本発明のある実施形態に基づくライトフィールド・カメラの機能図である。 本発明のある実施形態に基づくライトフィールド・データ・フォーマッタおよびライトフィールド・データ・プロセッサの機能図である。 光センサー・アレイ上に形成された2Dライトフィールド像の例である。 ＡおよびＢは、本発明の一つまたは複数の実施形態に基づく、ライトフィールド・データのパラメータ表現のための参照平面の使用を図解する図である。 本発明の実施形態に基づく、参照平面に対するライトフィールド・レイの表現を概略的に示す図である。 本発明の一つまたは複数の実施形態に基づく、2Dレイ図におけるレイの表現を含むレイのパラメータ表現を図解する図である。 本発明の一つまたは複数の実施形態に基づく、2Dレイ図におけるレイの表現を含むレイのパラメータ表現を図解する図である。 本発明の一つまたは複数の実施形態に基づく、2Dレイ図におけるレイの表現を含むレイのパラメータ表現を図解する図である。 本発明の一つまたは複数の実施形態に基づく、2Dレイ図におけるレイの表現を含むレイのパラメータ表現を図解する図である。 本発明の実施形態に基づくライトフィールド・レイの表現のためのパラメータを概略的に示す図である。 本発明の実施形態に基づく交差データを図解する2Dレイ図である。 本発明の実施形態に基づいて生成されたデジタル線を図解する図である。 本発明の実施形態に基づいて生成されたデジタル線を図解する図である。 Ａ〜Ｃは、本発明の実施形態に基づいてデジタル線に適用されるラドン変換を図解する図である。 本発明の一つまたは複数の実施形態に基づく方法の段階を示すフローチャートである。 本発明の一つまたは複数の実施形態に基づくライト・データ・フォーマットを提供するための装置のモジュールを示す機能ブロック図である。 Ａは、本発明の実施形態に基づく、ピクセルの逆行追跡〔バック・トレーシング〕の例を概略的に示す図であり、Ｂは、レイ逆行追跡のために使われる取得装置のレイを概略的に示す図である。 本発明の実施形態に基づくパラメータ空間の例である。 本発明の実施形態に基づく、サンプリングされたライト・レイ・パラメータの例である。 本発明の実施形態に基づく、サンプリングされたライト・レイ・パラメータの例である。 本発明の実施形態に基づく、サンプリングされたライト・レイ・パラメータの例である。 本発明の一つまたは複数の実施形態に基づく方法の段階を示すフローチャートである。 本発明の一つまたは複数の実施形態に基づくライト・データ・フォーマットを提供するための装置のモジュールを示す機能ブロック図である。 本発明の一つまたは複数の実施形態に基づく表示装置のモジュールを示す機能ブロック図である。 本発明の実施形態に基づく複数のカメラについての交差データを図解する2Dレイ図である。

ライトフィールド・カメラは典型的には、ピクセルのアレイで構成されるセンサー上で4Dライトフィールドを記録するために使われる。4Dライトフィールド・データは、入射光について二次元の空間的情報および二次元の角度情報を提供する。そのようなライトフィールド・カメラはたとえば：図１Ａに示されるような主レンズ１０１、レンズのアレイ１１０および光センサー１２０を有するプレノプティック・カメラ１００；あるいは図１Ｂに示されるような、主レンズなしの、レンズのアレイ２１０および光センサー２２０を有するマルチカメラ・アレイであってもよい。マルチアレイ・カメラは主レンズが無限焦点をもつプレノプティック・カメラの特別な場合と考えられてもよい。

本発明の実施形態は、フォーマット変換、再合焦、視点変更および3D画像生成といったさらなる処理用途のためのライトフィールド・データのフォーマットを提供する。

図１Ａは、本発明の一つまたは複数の実施形態が適用されうるライトフィールド・カメラの概略図である。

図１Ａのライトフィールド・カメラ１００は、マイクロレンズ・アレイ１１０および該マイクロレンズ・アレイ１１０に関連付けられているイメージセンサー１２０を有するプレノプティック型のライトフィールド・カメラである。選択可能な量の光がライトフィールド・カメラに入射できるようにするための開口１０２のようなさらなる光学系が設けられてもよい。このレンズ配置はさらに、光をマイクロレンズ・アレイ１１０のほうに合焦するための主（対物）レンズ１０１を含んでいる。

マイクロレンズ・アレイ１１０は、規則的な格子構造に配列されたマイクロレンズ１１１、１１２、１１３、……、１１ｎのアレイで構成されている。たとえば、構造は、行および列の長方形格子であってもよい。マイクロレンズ・アレイはレンズレット・アレイと称されることもある。例解の目的のために、マイクロレンズ・アレイ１１０は比較的少数のマイクロレンズをもって示されているが、マイクロレンズの数は数千、あるいはさらには数百万のマイクロレンズにも達しうることが理解されるであろう。

任意的に、あるマイクロレンズからの光がイメージセンサー１２０においてマイクロレンズ・アレイ１１０の他のマイクロレンズの光と重なるのを防ぐために、マイクロレンズ・アレイ１１０およびイメージセンサー１２０の間において、マイクロレンズ・アレイ１１０の各マイクロレンズのまわりにスペーサーが配置されてもよい。

イメージセンサーは、格子構造に配列されたm個の光センサー１２１、１２２、１２３、１２４、……、１２ｍで構成される光センサー・アレイ１２０を有する。たとえば、構造は、行および列の長方形格子であってもよい。各光センサー１２１、１２２、１２３、１２４、……、１２ｍは、光センサー・アレイ１２０によって捕捉されたシーンの生画像のピクセルまたはピクセルの群に対応する。各ピクセルは、シーンの一部（点とも称される）をカバーする。例解の目的のために、光センサー・アレイ１２０は比較的少数の光センサー１２１ないし１２１ｍをもつものとして示されているが、光センサーの数は図１Ａに図示した数に限定されず、任意の数の光センサー、たとえば数千または数百万の光センサーに拡張されうることが理解されるであろう。例解用の例として、4088×3040ピクセル／光センサーのアレイによって、12.4メガピクセルの画像が提供されてもよい。イメージセンサーはたとえば電荷結合素子（CCD）であってもよい。

マイクロレンズ・アレイ１１０のマイクロレンズ１１１、１１２、１１ｎは、各マイクロレンズが光センサー・アレイ１２０の光センサーと光学的に関連付けられるように配列される。光センサー・アレイ１２０は一般に、マイクロレンズ・アレイより細かいピッチである。よって、各マイクロレンズは光センサー・アレイ１２０の複数の光センサーと関連付けられる。マイクロレンズと光センサーの群との間の光学的な関連付けは、所与のマイクロレンズを通過するライト・レイが、該所与のマイクロレンズに光学的に関連付けられている光センサーの群の少なくとも一つの光センサーに達することを表わす。

主レンズ１０１と光センサー１２０との間におけるマイクロレンズ・アレイ１１０の介在の結果、光センサー・アレイ１２０上には複数の画像が形成される。マイクロレンズ・アレイ１１０の各マイクロレンズはそれぞれの画像を、光センサー・アレイ１２０の関連付けられた光センサーに投射する。よって、イメージセンサー１２０によって捕捉される生画像は、たとえば図３に示されるように、小さな画像のアレイで構成される。これらは典型的にはマイクロ画像と称される。各マイクロ画像は、それぞれの異なる視点からの部分的な視野に対応し、マイクロレンズ・アレイのあるマイクロレンズに対応する。光センサー１２０の各ピクセルは、4Dライトフィールド座標に対応すると見られてもよい。二つの次元がセンサー上の空間位置を特定し、二つの次元が、そのピクセルが属するマイクロ画像内でのそのピクセルの2D位置に基づいてそのピクセルに入射する光の角度または方向情報を特定する。

いくつかの場合にはカラー・フィルター・アレイ（CFA）がマイクロレンズ・アレイ１１０上または光センサー・アレイ１２０上に配置されてもよい。CFAは典型的には、光センサーまたはマイクロレンズ・アレイ上にRGB（赤、緑、青）カラー・フィルターを配置する。RGB配置はたとえばベイヤー・フィルター・モザイクの形を取る。一つのカラー・フィルター（赤、緑または青フィルター）は、ベイヤー・フィルターの例では50%緑、25%赤および25%青を含む所定のパターンに従ってMLAに関連付けられてもよい。そのようなパターンはRGBG、GRGBまたはRGGBパターンとも称される。マイクロレンズ・アレイ１１０または光センサー・アレイ１２０上でのカラー・フィルターの配列はRGGBパターンに限定されないことが理解されるであろう。他の実施形態では、所定のパターンは、緑フィルターの一つを「エメラルド」に修正したRGBEパターン（四つのカラー・フィルターのブロックについて）；一つの「シアン」フィルター、二つの「イエロー・フィルター」および一つの「マゼンタ」フィルターをもつCYYMパターン（四つのカラー・フィルターのブロックについて）；一つの「シアン」フィルター、一つの「イエロー・フィルター」、一つの「グリーン・フィルター」および一つの「マゼンタ」フィルターをもつCYGMパターン；一つの「赤」フィルター、一つの「緑フィルター」、一つの「青」フィルターおよび一つの「白」フィルターをもつRGBWパターンであってもよい。RGBWについてはいくつかの配置が可能である（たとえば、左上フィルターに「白」、右上フィルターに「赤」、左下フィルターに「青」および右下フィルターに「緑」として四つのカラー・フィルターのブロックに配列されたり、あるいは第一行に「白」「青」「白」「緑」、第一行の下の第二行に「青」「白」「緑」「白」、第二行の下の第三行に「白」「緑」「白」「赤」、第三行の下の第四行に「緑」「白」「赤」「白」として4×4のカラー・フィルターのブロックに配列されるなど）。

マイクロレンズ・アレイと光センサー・アレイの間のギャップは、空気、屈折率nの光学材料（たとえばガラス層）または少なくとも一つの層空気層および少なくとも一つの光学材料層を含む複数層で構成されてもよい。ギャップを形成するためにガラス層を使うことには、光センサー・アレイ１２０にわたって一様に、マイクロレンズ・アレイ１１０を光センサー・アレイ１２０から一定距離に保つとともに、必要とされるときにはこの距離を短縮するという利点がある。dがマイクロレンズ・アレイ１１０の出力と光センサー・アレイ１２０との間の長手軸に沿った距離であるとすると、マイクロレンズ・アレイ１１０と光センサー・アレイ１２０の間に屈折率n（n＞1、たとえばn＝1.5）をもつ光学材料から構成される層をもつことで、距離dを修正することなく、距離がd/nに設定されることを可能にする。ギャップを形成する光学材料の屈折率を適応させる／修正することによって、距離dを変えることなく、マイクロレンズ・アレイ１１０と光センサー・アレイ１２０との間の距離を表わすパラメータを適応させる／修正することが可能である。

図１Ｂは、本発明の第二の実施形態に基づくライトフィールド・カメラの概略図である。

本発明の第二の実施形態に基づくライトフィールド・カメラ２００は、マイクロレンズ・アレイ２１０および該マイクロレンズ・アレイ２１０に関連付けられているイメージセンサー２２０を有するマルチカメラ・アレイ型のライトフィールド・カメラである。この実施形態では、光をマイクロレンズ・アレイ２１０のほうに合焦するための主（対物）レンズ２０１は存在しない。光センサー・アレイ２２０およびマイクロレンズ・アレイ２１０のような要素は図１Ａのプレノプティック型カメラの対応する要素と同様の仕方で機能する。主たる相違は、主レンズが図１Ｂの実施形態では存在しないということである。各マイクロ画像は、それぞれの異なる視点からの完全な視野に対応する。

図２Ａは、本発明のある実施形態に基づくライトフィールド・カメラ装置のブロック図である。このライトフィールド・カメラは、図１Ａのライトフィールド・カメラに基づく開口／シャッター１０２、主（対物）レンズ１０１、マイクロレンズ・アレイ１１０および光センサー・アレイ１２０を有する。いくつかの実施形態では、このライトフィールド・カメラは、被写体またはシーンのライトフィールド像を捕捉するために作動されるシャッター・ボタンを含む。機能的な特徴は図１Ｂのライトフィールド・カメラにも適用されうることは理解されるであろう。

光センサー・アレイ１２０は、LFデータ取得モジュール１４０によって取得されるライトフィールド画像データを、ライトフィールド・データ・フォーマット・モジュール１５０によるライトフィールド・データ・フォーマットの生成のためおよび／またはライトフィールド・データ・プロセッサ１５５による処理のために提供する。ライトフィールド・データは、取得後および処理後に、メモリ１９０に、生データ・フォーマットでサブ開口画像またはフォーカル・スタックとして、あるいは本発明の実施形態に基づくライトフィールド・データ・フォーマットで、記憶されてもよい。

図示した例では、ライトフィールド・データ・フォーマット・モジュール１５０およびライトフィールド・データ・プロセッサ１５５はライトフィールド・カメラ１００内に配置されるまたはライトフィールド・カメラ１００に統合される。本発明の他の実施形態では、ライトフィールド・データ・フォーマット・モジュール１５０および／またはライトフィールド・データ・プロセッサ１５５はライトフィールド捕捉カメラの外部の別個のコンポーネントにおいて提供されてもよい。別個のコンポーネントは、ライトフィールド画像捕捉装置に関してローカルまたはリモートであってもよい。ライトフィールド画像データをフォーマット・モジュール１５０およびライトフィールド・データ・プロセッサ１５５に伝送するためにいかなる好適な有線または無線のプロトコルが使われてもよい。たとえば、ライトフィールド・データ・プロセッサは、捕捉されたライトフィールド画像データおよび／または他のデータをインターネット、セルラー・データ・ネットワーク、WiFiネットワーク、ブルートゥース通信プロトコルおよび／または他の任意の好適な手段を介して転送してもよい。

ライトフィールド・データ・フォーマット・モジュール１５０は、本発明の実施形態に基づいて、取得されたライトフィールドを表わすデータを生成するよう構成される。ライトフィールド・データ・フォーマット・モジュール１５０は、ソフトウェア、ハードウェアまたはそれらの組み合わせで実装されうる。

ライトフィールド・データ・プロセッサ１５５は、本発明の実施形態に基づいて、LFデータ取得モジュール１４０から直接受領された生のライトフィールド画像データに対して作用して、たとえばフォーカル／スタックまたはビューのマトリクスを生成するよう構成される。

たとえば捕捉されたシーンのスチール画像、2Dビデオ・ストリームなどのような出力データが生成されてもよい。ライトフィールド・データ・プロセッサは、ソフトウェア、ハードウェアまたはそれらの組み合わせで実装されうる。

少なくとも一つの実施形態において、ライトフィールド・カメラ１００は、ユーザーがコントローラ１７０によるカメラ１００の動作を制御するためのユーザー入力を提供できるようにするためのユーザー・インターフェース１６０をも含んでいてもよい。カメラの制御は、シャッター速度のようなカメラの光学パラメータの制御、あるいは調整可能なライトフィールド・カメラの場合にはマイクロレンズ・アレイと光センサーとの間の相対距離または対物レンズとマイクロレンズ・アレイとの間の相対距離の制御の一つまたは複数を含んでいてもよい。いくつかの実施形態では、ライトフィールド・カメラの光学要素の間の相対距離は手動で調整されてもよい。カメラの制御は、カメラの他のライトフィールド・データ取得パラメータ、ライトフィールド・データ・フォーマット・パラメータまたはライトフィールド処理パラメータの制御をも含んでいてもよい。ユーザー・インターフェース１６０は、タッチスクリーン、ボタン、キーボード、ポインティングデバイスおよび／またはその他といったいかなる好適なユーザー入力装置を含んでいてもよい。このようにして、ユーザー・インターフェースによって受領された入力は、データ・フォーマットを制御するためにLFデータ・フォーマット・モジュール１５０を、取得されたライトフィールド・データの処理を制御するためにLFデータ・プロセッサ１５５を、ライトフィールド・カメラ１００を制御するためにコントローラ１７０を制御および／または構成設定するために使用されることができる。

ライトフィールド・カメラは、一つまたは複数の交換可能なまたは再充電可能な電源１８０を含む。ライトフィールド・カメラは、捕捉されたライトフィールド・データおよび／またはレンダリングされた最終的な画像または他のデータ、たとえば本発明の実施形態の方法を実装するためのソフトウェアを記憶するためのメモリ１９０を有する。メモリは、外部および／または内部メモリを含むことができる。少なくとも一つの実施形態では、メモリはカメラ１００とは別個の装置および／または位置に設けられることができる。ある実施形態では、メモリは、メモリースティックのような取り外し可能／入れ換え可能な記憶装置を含む。

ライトフィールド・カメラは、捕捉前にカメラの正面のシーンを見るためおよび／または以前に捕捉および／またはレンダリングされた画像を見るための表示ユニット１６５（たとえばLCD画面）をも含んでいてもよい。画面１６５は、一つまたは複数のメニューまたは他の情報をユーザーに対して表示するために使われてもよい。ライトフィールド・カメラはさらに、ファイアワイヤまたはユニバーサルシリアルバス（USB）インターフェースまたはインターネット、セルラー・データ・ネットワーク、WiFiネットワーク、ブルートゥース通信プロトコルおよび／または他の任意の好適な手段を介したデータ通信のための有線もしくは無線の通信インターフェースのような一つまたは複数のI/Oインターフェース１９５を含んでいてもよい。I/Oインターフェース１９５は、本発明の実施形態に基づいてLFデータ・フォーマット・モジュールによって生成されたライトフィールド表現データまたはLFデータ・プロセッサ１５５によって処理されたデータのようなデータを、コンピュータ・システムまたはレンダリング・アプリケーションのための表示ユニットのような外部装置におよび外部装置から転送するために使われてもよい。

図２Ｂは、ライトフィールド・データ・フォーマット・モジュール１５０およびライトフィールド・データ・プロセッサ１５３の潜在的な実装の個別的な実施形態を示すブロック図である。

回路３００は、メモリ３９０と、メモリ・コントローラ３４５と、一つまたは複数の処理要素（CPU）を有する処理回路３４０とを含む。一つまたは複数の処理ユニット３４０は、ライトフィールド・データ・フォーマットおよびライトフィールド・データ処理を含むさまざまな機能を実行するために、さまざまなソフトウェア・プログラムおよび／またはメモリ３９０に記憶された命令の諸セットを実行するよう構成される。メモリに記憶されるソフトウェア・コンポーネントは、本発明の実施形態に基づいて、取得されたライト・データを表わすデータを生成するためのデータ・フォーマット・モジュール（または命令の集合）３５０と、本発明の実施形態に基づいて、ライトフィールド・データを処理するためのライトフィールド・データ処理モジュール（または命令の集合）３５５とを含む。ライトフィールド・カメラ装置の応用のために、メモリには他のモジュールが含まれていてもよい。たとえば、一般的なシステム・タスク（たとえば電力管理、メモリ管理）を制御するためおよび装置３００のさまざまなハードウェアおよびソフトウェア・コンポーネントの間の通信を容易にするためのオペレーティング・システム・モジュール３５１や、I/Oインターフェース・ポートを介した他の装置との通信を制御および管理するためのインターフェース・モジュール３５２などである。

図３は、図１Ａの光センサー・アレイ１２０または図１Ｂの光センサー・アレイ２２０上に形成された2D画像の例を示している。しばしば生の4Dライトフィールド画像と称される2D画像は、マイクロ画像MIのアレイで構成されており、各マイクロ画像はマイクロレンズ・アレイ１１０、２１０のそれぞれのマイクロレンズ(i,j)によって生成される。マイクロ画像は、軸iおよびjによって定義される長方形の格子構造においてアレイ内に配置される。マイクロレンズ画像は、それぞれのマイクロレンズ座標(i,j)によって参照されうる。光センサー１２０、２２０のピクセルPIはその空間座標(x,y)によって参照されうる。所与のピクセルに関連付けられた4Dライトフィールド・データは(x,y,i,j)として参照されうる。ここで、xおよびyは各マイクロレンズについて参照される。たとえば、座標(i,j)および20×20のピクセルをもつマイクロレンズについて、0＜x＜19および0＜y＜19である。

4Dライトフィールド画像を表わす（または定義する）いくつかの仕方がある。たとえば、4Dライトフィールド画像は、図３を参照して先述したように、マイクロレンズ画像の集合体によって表わすことができる。4Dライトフィールド画像は、プレノプティック・カメラによって記録されるときは、サブ開口画像の集合によって表わされてもよい。各サブ開口画像は各マイクロレンズ画像から選択された同じ位置のピクセルから構成される。さらに、4Dライトフィールド画像はエピポーラー画像の集合によって表わされてもよい。

本発明の実施形態は、ライトフィールド・シーンからのレイの、複数の所与の幾何学的平面を通る交差に基づいて、ライトフィールド・データの表現を提供する。このようにして、フォーマットおよびライトフィールド・デバイスの多様性が考慮に入れられうる。

簡単のため、ライトフィールド放射の四つの次元をパラメータ化する方法は、図４のＡに示した立方体を参照してであってもよい。立方体の六つの面すべてがライトフィールドをパラメータ化するために使われてもよい。方向をパラメータ化するために、立方体の面に平行な平面の第二の集合が追加されてもよい。このようにして、ライトフィールドは、次の軸方向に沿った法線をもつ六対の平面に関して定義されうる。

図４のＢは、パラメータ化のために使われる互いに平行に位置し、それぞれ既知の奥行きz₁およびz₂のところにある二つの参照平面P1およびP2を通過するライトフィールド・レイを示している。ライトフィールド・レイは交点(x₁,y₁)において奥行きz₁にある参照平面P₁に交差し、交点(x₂,y₂)において奥行きz₂にある参照平面P₂に交差する。このようにして、ライトフィールド・レイは四つの座標(x₁,y₁,x₂,y₂)によって同定されうる。こうして、ライトフィールドは、本稿でパラメータ化平面とも称されるパラメータ化のための一対の参照平面P₁、P₂によってパラメータ化でき、各ライトフィールド・レイは4Dレイ空間における点(x₁,y₁,x₂,y₂)として表現される。

たとえば、参照座標系の原点は、座標軸系の基底ベクトル

によって生成される平面P₁の中心に位置されてもよい。

〔本稿では便宜上「→k」または「ベクトルk」と書くこともある〕軸は生成される平面P₁に垂直であり、第二の平面P₂は簡単のため、平面P₁から→k軸に沿って距離z＝Δのところに配置されることができる。六つの異なる伝搬方向

を考慮に入れるために、ライトフィールド全体が、六対のそのような平面によって特徴付けされてもよい。しばしばライト・スラブと称される一対の平面が、伝搬方向に沿ってライトフィールド・カメラのセンサーまたはセンサー・アレイと相互作用するライトフィールドを特徴付ける。

パラメータ化のための参照平面の位置は

として与えられることができる。ここで、→nは法線であり、dは法線の方向に沿った3D座標系の原点からのオフセットである。

パラメータ化のための参照平面のデカルト方程式は次のように与えられることができる。

ライトフィールドは四つの変数の関数なので、一般的に図示するのは難しいことがある。図解を簡単にするために、2Dスライスが使われてもよく、ライトフィールド・レイの特定の諸集合は、2Dグラフィック表現にマッピングされてもよい。図６は、そのような2Dスライスの二つの異なる表現の例を、x₁軸およびx₂軸に制約して示している。図６の左側は、ライトフィールド・レイの種々の配置についてのそれぞれの2Dスライスを示す。右側には、レイの各集合についてのライトフィールド・データが、位相空間系とも称される2Dレイ座標系または2Dレイ図においてグラフィックに示されている。各点はライト・レイに対応し、第一の参照平面P₁とのそのx交差点x₁および第二の参照平面P₂とのそのx交差点x₂によって定義される。

図６Ａは、コリメートされたレイの集合を示し、図６Ｂは発散するレイ・ファンを示し、図５Ｃは、集束するレイの集合を示し、図５Ｄは合焦されるレイ・ファンを描いている。

図６Ａの2Dレイ図では、さまざまな入射角をもつコリメートされたライトフィールド・レイの集合が表わされている。レイ集合がk軸に平行なとき、各ライトフィールド・レイは45°の直線に沿ってプロットされる。レイの集合がもっと傾いているときは、線は2D図において上方にシフトし、ライトフィールド・レイの集合が下を向いているときは、線も下向きにシフトする（負のx2）。結果として、平行なレイは45°の直線にマッピングされ、平行なレイの集合がz軸と角度をなす場合には、x₂線切片はそれに応じてシフトする。図６Ｂの2Dレイ図では、さまざまな異なる度合いの発散がプロットされている。発散点が無限遠から軸x₁のほうに動かされるにつれて、2Dレイ線表現は直線のままだが、線の急峻さは発散の量とともに増す。極限では、レイの集合がそこから発散する点がx1軸上にある場合、レイは2Dレイ図上で垂直軸x₂に沿ってプロットされる。図６Ｃの2Dレイ図は、集束するレイの集合をグラフィックに表わしている。集束点がx₂軸のほうに引っ張られるにつれて、レイは減少する勾配の線にマッピングされる。図６Ｄのレイ図は集束点がx₂上にあるときの極限、すなわち合焦されたレイの集合である。その場合、図のすべてのレイは横軸上に位置される。

本発明の諸実施形態において、4Dレイ図が、一つまたは複数のライトフィールド・カメラによって捕捉されたライトフィールドの基本的な表現として使用されうる。ライトフィールド・データのある部分は、生の捕捉されたフォーマットから生成される。

ライトフィールド・レイが既知の位置

および規格化された伝搬ベクトル

をもつ場合、3Dにおけるレイの一般的なパラメトリック方程式は次のように与えられうる。

ライトフィールド・レイと参照平面との間の交点→x1の座標は次のように与えられる。

次の条件が満たされない場合には、ライトフィールド・レイと参照パラメータ化との間の交差はない。

ライトフィールドをパラメータ化するために使われる参照平面対の系の軸の一つとの垂直性のため、レイ交点の成分の一つは、各平面について常に一定である。よって、ライトフィールド・レイの第一の参照平面との交点→x1および該ライトフィールドの第二の参照平面との交点→x2がある場合、四つの座標があり、ライトフィールド・レイの四つのパラメータを計算するために式(A)を使うことができる。これら四つのパラメータは、ライトフィールドの4Dレイ図を構築するために使用できる。

二つのパラメータ化参照平面を参照してのライトフィールドのパラメータ化を想定すると、ライトフィールドを表わすデータは、以下のように得られてもよい。参照系が図５に描かれるように設定される場合、第一のパラメータ化平面P1はz＝z1においてz軸に垂直であり、第二のパラメータ化平面P2はz＝z2においてz軸に垂直に配置され、ライトフィールド・パラメータがL(x1;y1;x2;y2)であるレイは、ライトフィールド・カメラの光センサー・アレイが置かれている位置z＝z3にレンダリングされる。式(A)から、次が得られる。

上式を展開すると、次式が得られる。

両方の組の方程式は、新たな位置におけるレンダリングされるライトフィールド・レイとして、同じ点→x3を与えるべきである。u_x；u_y；u_zを→x1および→x2の関数としての対応する式で置き換えることにより、前のブロックからの第二の組の方程式が使われ、x3およびy3が足し合わされると、

となり、式

が得られる。

添え字₃をもつ座標は、ライトフィールドがレンダリングされる既知の点(x₃,y₃,z₃)に関係する。すべての奥行き座標z_iは既知である。パラメータ化平面は伝搬またはレンダリングの方向にある。ライトフィールド・データ・パラメータLは(x₁,y₁,x₂,y₂)である。

点(x₃,y₃,z₃)において画像を形成するライトフィールド・レイは、R⁴における超平面を定義する式(B)によって結びつけられる。

これは、二平面でパラメータ化されたライトフィールドから画像がレンダリングされる場合、超平面の近傍のレイのみがレンダリングされる必要があり、それらのレイを追跡する必要はないということを意味する。

カメラの較正から、以下のパラメータ：投影の中心(x₃,y₃,z₃)、カメラの光軸の配向およびカメラのピンホールから光センサーの平面までの距離fを決定できる。ライトフィールド・カメラ・パラメータは図７に示されている。光センサー平面は奥行きz_pのところに位置している。光センサーのピクセル出力は、ライトフィールド・レイの幾何学的表現に変換される。二つの参照平面P₁およびP₂を有するライト・スラブは、カメラの光センサーへの投影の中心の反対側でz₃を越えて、それぞれ奥行きz₁およびz₂のところに位置される。ライト・レイに三角形原理を適用することにより、マイクロレンズのアレイから投影された光を記録するピクセル座標(x_p,y_p,z_p)はレイ・パラメータ、すなわち参照平面交差点(x₁,y₁,x₂,y₂)に、次式を適用することによってマッピングできる。

上記の計算は、異なる三項組の対(x_p,y_p,z_p)(x₃,y₃,z₃)をもつ複数のカメラに拡張されてもよい。

プレノプティック・カメラの場合、開口をもつカメラ・モデルが使われ、ライトフィールド・レイは位相空間において、原点(x_p,y_p,z_p)および方向(x₃',y₃',1)をもつをものとして記述される。奥行きz₃における平面(x₃,y₃)へのその伝搬は、行列変換として記述できる。レンズは、レイを屈折させるABCD行列として作用し、別のABCD行列がレイをライト・スラブ参照平面P₁およびP₂にもたらす。

図８は、位置x3＝2および奥行きz3＝2にある開口|A|＜0.5をもつカメラによって捕捉されたライトフィールド・レイの交差データ(x1,x2)をグラフィックに表わす2Dレイ図である。パラメータ化に使われるレイ図のデータ線は、256セルによってサンプリングされ、256×256ピクセルの画像を与える。

図８に示したレイ図が256×256要素のマトリクスとして解釈される場合、その要素が疎に分布していることが見て取れる。レイが4D位相空間マトリクスの代わりに個々にファイルに保存されるとしたら、これは各レイについて、各位置x_iまたはx₃についての少なくとも2バイト（int16）に加えて色のために3バイトを保存することを要求することになる。すなわち、2Dスライス・ライトフィールドについてはレイ当たり7バイト、その完全な4D表現のためにはレイ当たり11バイトである。それでも、レイはファイルにおいてランダムに記憶されることになり、これはその表現を操作する必要のあるアプリケーションにとって好適ではないことがありうる。本発明の発明者は、いかにしてレイ図マトリクスから代表データのみを抽出し、該データを構造化された仕方でファイルに記憶するかを決定した。

諸ライトフィールド・レイが2Dレイ図のデータ線に沿ってマッピングされるので、線の値そのものではなく、データ線を定義するパラメータを記憶するほうが効率的である。データ線を定義するパラメータ、たとえば傾きを定義するパラメータsおよび軸切片dが、そのデータ線に属するライトフィールド・レイの集合と一緒に記憶されてもよい。

これは、たとえば、傾きパラメータsについて2バイト、傾きパラメータdについて2バイトおよびレイ毎にはたった3バイトしか要求せずにすむ。さらに、諸レイはファイルにおいて線に沿って順序付けされてもよい。マトリクス・セルを通じた線を設定するために、最小の誤差でレイ線を近似するいわゆるデジタル線が生成される。

データ線を位置決定して、傾きパラメータsおよび切片パラメータdを得るために、段階Ｓ７０４では、段階Ｓ７０３で生成されたレイ図に対して線検出モジュール７０４によってラドン変換が実行される（図１８Ａ参照）。

得られた傾きパラメータsおよび切片パラメータdから、段階Ｓ７０５（図１８Ａ参照）において、代表的なデジタル線がデジタル線生成モジュール７０５によって生成される。この段階において、デジタル線は、たとえばブレゼンハムのアルゴリズムを適用することによって、解析的な線をその最も近い格子点に近似することによって生成される。実際、ブレゼンハムのアルゴリズムは、最小限の処理でデジタル線を提供する方法を与える。他の方法は、高速離散ラドン変換計算を適用してもよい。ブレゼンハム・アプリケーションの例は非特許文献１から適応されたものである。

デジタル・フォーマットはデータ線を格子の二点(0,d)および(N−1,s)によって定義する。dはx₁＝0のときのx₂の値に対応する切片であり、sはx₁＝N−1のときのx₂の値に対応する傾きパラメータである。生成されたデジタル・フォーマットから、それぞれの個別の線の傾きaはdおよびsの関数として次のように表現されうる。

図９は、ブレゼンハムのアルゴリズムの適用によって生成されたデジタル線の例を示す。

図１０は、同じ傾きa（またはs−d）をもつが異なる切片dをもつデジタル線の群を示している。このデータ線の群は連続的である。このデータ線の群は本稿では線束と称され、理想的にピンポイントではないカメラから帰結するビームに対応する。各線は異なるピクセルをアドレッシングする。換言すれば、一つのピクセルは、同じ傾きだが異なる切片をもつ束のうちの一意的な線のみに属する。軸切片dの上限および下限はそれぞれd_maxおよびd_minとして与えられる。

サンプリングされた（2Dにおける）線の対によってパラメータ化され、一つのカメラに属するレイ・データは、該データを表わすために使われる位相空間におけるデジタル線のファミリー（ビーム）に属する。ビームのヘッダは単に、傾きaと、軸切片の上限および下限によって定義されるビームの厚さd_max−d_minとを含むことができる。レイ値は、ヘッダがdおよびsでありうるデジタル線に沿ってのRGB色として記憶される。サンプリングされた空間におけるレイ図の空のセルは記憶される必要がない。レイの座標x1；x2は、パラメータd、sからおよびデジタル線に沿ったセルの位置から、演繹できる。

テーブル１は、2Dレイ図記憶の場合における本発明のある実施形態に基づくデータ表現フォーマットの例である。4Dの場合には、このテーブルがy1およびy2次元に拡張されることは理解されるであろう。

データは下記のパラメータを含む。
・切片データx₁、x₂の2D図のマトリクスのセルの数（NかけるM）。Nはx₁セルの数に対応し、Mはx₂セルの数に対応する。
・たとえば図９に示されるように(0,d)から(N−1,s)まで延びる一つまたは複数のライトフィールド・レイに対応するデジタル・データ線を定義するパラメータdおよびs
・取得カメラの数n
・各データ線のRGBデータ。

ライトフィールドからまたはカメラの幾何構成から推定されるパラメータは、傾きa、デジタル線切片の上限および下限(d_min,d_max)およびデジタル線パラメータ(d_i,s_i)である。離散ラドン変換は、レイ図におけるライトフィールドのサポート位置を測定するためのツールとしてすでに論じた。

図１１のＢは、図１１のＡのデータ線のデジタル線パラメータ空間(d,s)における離散ラドン変換（discrete Radon transform）を示している。図１１のＣは、図１１のＢに含まれる関心領域のズームである。デジタル線のビームは、最大値パラメータの探索によって位置特定される。DRTの対称性の幾何学的な中心と該最大の実際の位置との間には、画像内容に起因していくらかのオフセットがあることがあり、よって、あとで、最大の代わりに対称中心をピンポイントに特定するためにアルゴリズムが使われる。すると、図１１のＣに示されるようにビーム変換の腰は簡単にみつけられ、値(d_min,d_max)を与える。点（d_min＝74、s＝201）は図１１Ａからのデジタル線のビームの下側の包絡線であり、点（d_max＝81、s＝208）はデジタル線のビームの上側の包絡線である。

式(B)からの二つの直交する2Dスライスされた空間の方程式は次のように与えられる。

x_i座標についての2Dスライスが取られる場合、(x₃,y₃,z₃)におけるサイズAの開口を通るレイ・データがマッピングされる線のビームの式は次のように与えられる。

同様に、y_i座標について2Dスライスが取られる場合には次のようになる。

先述したように、mおよびd_maxx、d_minx、d_maxx、d_minyの値は離散領域で評価されてもよい。先に論じたフォーマットによって定義されるライトフィールドの特徴を局在化するためには、4D離散ラドン変換を実行する必要はない。二つの直交2D DRTが得られれば、超平面の傾きmおよびデジタル超平面のビーム幅の測定が実行されることができる。ここで、すべてのデータは4Dレイ図において集中する。

この、より単純な位置特定手順は、円形の入射ひとみAを想定しており、よってd_maxx、d_minx、d_maxx、d_minyはあらゆる超平面切片を包含する。このフォーマットで書かれたいくつかの値は、値を含まない。

本発明の諸実施形態では、ライトフィールド・レイの参照平面P₁、P₂との交差を幾何学的に定義する交差データ(x₁,y₁,x₂,y₂)は、後述するように、逆行追跡（back tracing）およびパラメータ化の段階によって得られる。

図１２Ａは、本発明の一つまたは複数の実施形態に基づくライトフィールドを表わすデータを生成するための方法の段階を示すフローチャートである。図１２Ｂは、本発明の一つまたは複数の実施形態に基づくライトフィールドを表わすデータを生成するためのシステムの主要なモジュールを概略的に示すブロック図である。

本方法の予備的段階Ｓ８０１では、生のライトフィールド・データがライトフィールド・カメラ８０１によって取得される。生のライトフィールド・データはたとえば、図３を参照して述べたマイクロ画像の形であってもよい。ライトフィールド・カメラは、図１Ａまたは図１Ｂおよび図２Ａおよび図２Ｂに示されるようなライトフィールド・カメラ装置であってもよい。一般に、データは、光を検出する光センサーのピクセルに対応するピクセル形で提供される。

段階Ｓ８０２では、取得されたライトフィールド・データは、逆行追跡モジュール７０２によって処理されて、ピクセル・データから、捕捉されたライトフィールドに対応するライトフィールド・レイを生成する。

ピクセル逆行追跡とは、ピクセルおよびカメラ・データからのレイ生成の動作をいう。このプロセスは典型的にはカメラ固有である。各カメラ型は、レイをピクセルにマッピングする、その独自の特定的な技術をもつ。プレノプティック・カメラは、諸画像の諸2Dアレイを非常に特定的な仕方でレジスターする（register）。他の型のカメラは、4πステラジアンの立体角を取得することができ、装置はレイを再生成するために異なる仕方で扱われる。ピクセル逆行追跡はそれぞれの取得システムに固有なので、逆行追跡器の種々のモジュールが開発される必要がある。伝統的なライトフィールド・カメラは、ピンホールとして記述およびモデル化されることができ、逆行追跡はストレートである。プレノプティック2.0カメラは逆行追跡するのがより難しい。マイクロレンズ・アレイが三つの異なるレンズレット・フォーカル（lenslet focal）を有する場合は特にそうである。その場合、逆行追跡は、フォーカル・スタックを通じて間接的に得られてもよい。

図１３のＡは、逆行追跡の例を示している。図１３のＢは、諸アルゴリズムの明細が記述されるレイ逆行追跡のために使われる取得装置のレイを示している。図１３のＡに示されるようなレイ逆行追跡のプロセスは、ピンホール・カメラによってモデル化される。

もとのピクセル・アレイがフルRGBアレイにモザイク解除されるべきか、生のデータ・アレイとして保持されるべきかは、逆行追跡されたレイにフルRGB値または一意的な色値のみのどちらかを割り当てることによって扱われることができる。

ピンホール・カメラ・モデルでの逆行追跡のために、すべてのレイが交わる共通点のはたらきをするピンホールの位置を位置特定するためにカメラ較正が実行される。較正はまた、ピクセル・サイズおよび投影中心へのピクセル平面の距離をも与える。それにより、各ピクセルは、グローバル座標系においてピンホールを通過するレイとして簡単に変換されることができる。レイの方向は、ピクセルからピンホールへの方向である。

各ピクセルにおいて積分され、レンズ出射ひとみによって張られる各レイ束は、単純なピンホール・モデルによって構想されるように、レンズからピクセルへの伝搬の平均ビーム方向に帰着されることができる。ピクセルを逆行追跡するためにカメラ内在要因および外来要因をどのように使うかの例が非特許文献２に見出せる。

ピクセル逆行追跡手順を示すために、簡単のため、カメラの投影中心は(0,0,0)にあり、画像平面は(0;0;f)を中心としているとする。カメラは回転されず、その主軸はZ方向を向いている。また、ピクセルは正方形であり、m_u＝m_v＝mピクセル毎メートルであることも想定される。最後に、画像平面は、左下ピクセルが(u＝0；v＝0)のところになるように(t_u,t_v)だけ並進される。ピクセルは、その行‐列インデックス対(i,j)によってアドレッシングされる。Iがピクセルでの画像位置ベクトル(i,j,1)であるとすると、ピクセルと、中心投影を通じてそのピクセルにマッピングされる点P(X,Y,Z)との間の関係は次のようになる。

較正段階からm、f t_u、t_vを知って、ピクセルを逆行追跡すると、次のようになる。

Pは、ピクセル(i,j)からのレイが通過する3D空間における点である。一つの位置Pを用いると、レイは(0,0,0)を通るので、方向はベクトルP(X,Y,Z)によって与えられる。

段階Ｓ８０３では、パラメータ化のプロセスが実行される。パラメータ化は、各レイを、タグを用いて一意的に同定するプロセスである。レイはある位置を通過し、方向をもつので、最もストレートなパラメータ化は、空間座標および方向座標を混合した六つの実数(x,y,z,u,v,w)の集合であろう。簡単のため、すでに論じた二平面パラメータ化が採用される。非常にしばしば問われる問題は、それらの平面を収集システムに対してどこに置くか、ということである。文献ではしばしば、特にプレノプティック・カメラについては、何らかの計算上の便宜のために、一つはセンサーのところに置かれ、もう一つはレンズレット・アレイまたは主レンズ上に置かれる。それらの位置は避けるべきである。というのも、マイクロレンズは厚さをもつので、正確にはどこに、それらの平面の一つを置いたらいいのであろうか。主レンズは、非常に込み入った、未知のレンズ処方をもつ。よって、最善なのは、それらの平面を取得システムの外部に置くことである。第一の平面がz＝z1に位置され、第二の平面がz＝z2に位置され、z2＞z1であるとする。式(F)から、ピクセル(I,j)から逆行追跡されたレイについてのパラメータが次のように見出せる。

この方程式の最初の二行は、斉次座標のための規則に基づいて、Z1で割る。第二の平面との交差に由来するパラメータの第二の集合は次のように書ける。

組(z₁,z₂)はわかっているので、先の導出から、レイは四項組(x₁,y₁,x₂,y₂)∈R⁴によって一意的に記述されることが見て取れる。

さらに、レイはRGB値を割り当てられる。よって、そのようなパラメータ化によってレイを表現するには、四つの浮動小数点数（float）および3バイトで、結果として合計19バイトが必要になる（だがレイ空間はまだサンプリングされていない）。画像ベースのフォーマットでは、要素データは二つの整数および3バイトのみによって表現される。よって、このパラメータ化はコンテンツに対して多くのデータを加えること、一般にライトフィールドは四次元データセットなので、そのままでは扱えない量の記憶を必要とすることが見て取れる。

段階Ｓ８０４では、サンプリングおよび縮小（reduction）が実行される。ライトフィールド・データ・フォーマットを構築するために、ライトフィールド・データの数値表現が必要とされる。今まで、レイは実数によって記述されているので、各レイについて実数ではなく整数インデックスの一意的な四項組を割り当てるために、レイ空間座標系はサンプリングされる。その目的のために、4Dレイ空間x₁,y₁,x₂,y₂はΔx₁,Δy₁,Δx₂,Δy₂のきざみでサンプリングされる。結果として、各レイは、

となってこれらのインデックスが現実のレイのパラメータを最もよく近似するように、4つのインデックス(i,j,k,l)∈N⁴によって一意的に定義される。これは実際上は、インデックスが次のようなものであることを意味する。

縮小は、ライトフィールド・カメラによって取得されたピクセルから逆行追跡されたレイによって生成されるライトフィールドのコンパクトなサポート空間（support space）を定義するプロセスである。図１４は、3D空間に限定された縮小プロセスを概略的に示している。ここで、ライトフィールドのサポート・セルが網掛けされている。この図は、サンプリングされた空間においてサポートを示しているが、サポートは、解析的導出により連続領域でも知られることができる。離散領域では、サポートは、4Dパラメータ空間におけるライトフィールドの離散ラドン変換によって見出せる。より正確には、二つの直交DRTによって見出される。

図１５では、パラメータ空間におけるライトフィールド領域のサポートが網掛けされたセルによって描かれている。これは連続的サポートである。サポートは、セルを構築する格子線によってサンプリングされる。[0,N−1；0,M−1]の範囲のN×Mのセルがある。デジタル線は列‐行インデックス（i＝0；j＝d）で始まり、（i＝N−1；j＝s）で終わる。

下記の例解用の例は2Dスライスに制約される。先のセクションからわかるように、諸ブロックの線の解析的な式が、既知の座標(x₃,y₃,＝0,z₃)∈R³に位置する投影中心をもつシステムについて、見出せる。

やはり既知の(z₁,z₂)∈R²に位置する二つのパラメータ化線がある場合、ライトフィールド・レイは次式のアフィン直線上に位置される。

ここで、

はすべてのレイ・パラメータ(x₁,x₂)の境を定めるパラメータ化線に対する限界である。アフィン直線は、デジタル線に沿って網掛けされたセルを通過する。セル・サイズは次のとおり。

4D空間は今や一般化されてもよい。取得されたライトフィールドの超平面サポートは次のように与えられる。

ここで、3のインデックスを付された変数ならびにZ₁およびZ₂は既知である。メタデータを単純化するために、この式は正準形式： で書かれる。

次の下限および上限

ならびに次のセル・サイズ

が与えられる。

4Dパラメータ空間は埋め尽くされているので（または図１５に示す例では2D空間）、データを走査してRGB値だけをフォーマット（またはパック）に保存するために、セル・インデックスが使われてもよい。ファイル・フォーマットのメタデータが、該ファイル・フォーマットに書き込まれた各値をそのレイについてのサンプリングされた四項組パラメータに変換し戻すためのすべての必要な値を含む。この変換はパッキングの作用を逆にするものであり、アンパッキングと称される。このプロセスは、ライトフィールドをスライスして2D空間に帰着させることによって、小さな視覚的な例で例解されうる。先のサブセクションからの数学的記法に従うと、第一列インデックスはi＝0である。この列ではセルj＝2において存在するデータがある。デジタル線のピクセルのインデックスを見出すために、下記のデータが必要とされる。

ここで、Eは、任意の実数を、より小さな自然数（整数）に切り下げる整数関数を表わす。よって、データの走査は単にiを0からN−1までインクリメントしていくということになる。各iについて、データはセル(i,j)内にあり、jは先の一組の式によって計算される。各iについて、レイによって担持されるRGB値が記憶され、このRGB値はそのセル(i,j)に見出される。のちにこのフォーマットからデータをアンパックするために、フォーマットの各セルが階数iによってインデックス付けされていることが知られており、レイ・パラメータ(i,j)を生成するために、x_1m,x_2m,x_1M,x_2M,N,M,a,b,z₁,z₂の値がメタデータとしてファイル・フォーマットに格納される。図１６は、走査およびパックのプロセスと、保存されるもののほかメタデータをもつ、必要とされるファイル・フォーマット構造とを示している。二つの側面が注目されてもよい：第一に、データ部分はN個のセルを含み、そこにRGBレイ・データが順序付けられる。第二に、レイ・パラメータ(x₁,x₂)は記憶されない。レイをパラメータ化するために使われる線の位置、z₁およびz₂は与えられており、投影中心の位置に関係した他のデータx₃およびz₃は、aおよびbを式(H)からのそれらの表式と同定し、次いで未知数について解くことによって導出されることができる。

カメラがピンホールとしてモデル化されることができない場合には、フォーマットは、上記の諸サブセクションで提示したものの一般化と考えることのできる、やや異なる構成に適応される。

実際、レイは、一意的なデジタル線に沿ってではなく、デジタル線のビームに沿ってマッピングされることをすでに示した。図１７に示されるように、メタデータは、走査される必要があるデジタル線の数である一つの補足値nを含み、フォーマットのデータ・セクションは、追加的な線についてのRGBデータの追加的なベクトルをパックする。

ここでもまた、先に行なったように、今や2Dの例を使ってプロセスを例解したので、それを現実の空間、すなわち4Dパラメータ空間に一般化してもよい。4Dレイ空間では、レイのパラメータは、四つの自然数(i,j,k,l)∈R⁴によってインデックス付けされる4Dセルにマッピングされる。これらのインデックスは、［0,N−1；0,M−1；0,K−1；0,L−1］の範囲になる。データを含むセルを走査するために、超平面のパラメトリック方程式のデジタル等価物が使用されてもよい。

すると、

これから、

なので、最後の欠けていたインデックスlが演繹されうる。

4Dにおける走査およびパック・アルゴリズムはたとえば次によって与えられてもよい。

テーブル２は、メタデータ・フォーマットにおいて使われるパラメータの型をまとめている。データ・セクションはここではRGBデータの二つのベクトルを含む。RGBデータの二つのベクトルは、ライトフィールドからのレイが二つ以上の超平面上にマッピングされるという、より一般的な場合を示すために使われる。フォーマットにおいて一対のデジタル超平面が格納されることを意味するレイとして、n＝2と想定する。

このフォーマットは、レイを生成するために使われる。第一に、2Dの場合が例解目的のために使われる。第一に、メタデータが読まれる。次いで、RGBセル一つずつ、データ・セクションが走査される。

読み出しがセル番号iにおいてであるとすると、その場所にRGB値が格納されているレイのパラメータである(x_1i,x_2j)を生成するために、三つの式（F）が適用される。ヘッダから追加的データを読んで、それが含められてもよく、フォーマットのデータ・セクションにおける位置iに記憶されたレイがそのパラメータ(x_1i,z₁,x_2j,z₂)をもち、それらのパラメータは、みなファイルから計算され、一意的にそのレイを定義する。

図１２Ｃは、上記の本発明のいずれかの実施形態の方法に基づいて得られたデータを処理するためのプロセッサ８１１と、処理されたデータに応じて画像をレンダリングするためのディスプレイ８１２とを有する、ライトフィールド・データからの少なくとも一つの画像をレンダリングするためのデバイスを示している。

図１８Ａは、本発明の一つまたは複数の実施形態に基づく、ライトフィールドを表わすデータを生成するための方法の段階を示すフローチャートである。図１８Ｂは、本発明の一つまたは複数の実施形態に基づくライトフィールドを表わすデータを生成するためのシステムの主要なモジュールを概略的に示すブロック図である。

本方法の予備的段階Ｓ７０１では、ライトフィールド・データがライトフィールド・カメラ７０１によって取得される。生のライトフィールド・データはたとえば図３を参照して述べたマイクロ画像の形であってもよい。ライトフィールド・カメラは、図１Ａまたは図１Ｂおよび図２Ａおよび図２Ｂに示したようなライトフィールド・カメラ装置であってもよい。

段階Ｓ７０２では、取得されたライトフィールド・データはレイ・パラメータ・モジュール７０２によって処理されて、捕捉されたライトフィールド・レイの、それぞれ奥行きz₁およびz₂にあるパラメータ化のための一対の参照平面P₁、P₂との交点を定義する交差データ(x₁,y₁,x₂,y₂)を与える。

この段階から、ライトフィールド・レイの参照平面P₁、P₂との交点を幾何学的に定義する交差データ(x₁,y₁,x₂,y₂)が得られる。

2Dの場合について提案されたものと同様の、4Dの場合についてのフォーマットを得ることが有益であろう。そうするために、Π(x₁,x₂)平面上で見出された2D線をΠ(y₁,y₂)平面上で見出された線と関連付けることが有益であろう。すなわち、対応する超平面の、Π(x₁,x₂)およびΠ(y₁,y₂)の二つの直交するスライスとの交差の結果である線である。式(D)および(E)から、対応する線が同じ傾きmをもつことがわかる。これは、ある奥行きにあるカメラについて、Π(x₁,x₂)における各線をΠ(y₁,y₂)における線に関連付ける第一のパラメータである。同じ奥行きに複数のカメラがある場合には、同じ推定される傾きmをもつ、Π(x₁,x₂)における三つの線、Π(y₁,y₂)における三つの線がある。これら二つの平面における線の間の線オフセットにおける対応が次いで決定される。これを行なうために、式(D)および(E)における線の定式化が活用される。具体的には、

と記すと、オフセットは次のようになる。

これらの連立方程式はk、x₃およびy₃について解かれてもよい。(x₃,y₃,z₃)がカメラの座標、あるいは換言すれば、対応する光の束が半径Aの円に合焦されるボクセルに対応することを注意しておく。z3に位置される平面上での開口は円形であると想定したので、d_maxx−d_minx＝d_maxy−d_miny＝2kAであり、先の連立方程式を解くことにより、次のようになる。

デジタル線は、上記と同様にΠ(x₁,x₂)上でブレゼンハム・デジタル線を使って走査されてもよい。それぞれの個別の(x₁,x₂)値について、ライトフィールドにおいて捕捉された対応する(y₁,y₂)値が記憶される。そのような値を見出すために、式(C)が活用される。x₃；y₃；z₃；z₁；z₂はみな、既知であるか、式(F)および(G)から推定される。

Π(x₁,x₂)における各線上を進み、各(x₁ ^q,x₂ ^q)について、(y₁,y₂)の下記の関係が得られる。

Π(x₁,x₂)における各点について、Π(y₁,y₂)における線の集合体が保存される。d_offは、(x₁ ^q,x₂ ^q)について走査され保存された線のオフセットに対応する。

であることを注意しておく。

図１１を参照するに、各正方形は(x₁ ^q,x₂ ^q)点であり、これらの点のそれぞれについて、描かれているデータ線には垂直だが4D空間内の、次式によって定義されるデジタル束に沿って図の平面から飛び出すブレゼンハム・デジタル線の集合がある。ここで、y₃*はy₃−Aからy₃＋Aの間で変化する。

カメラ毎のデータ線の束についての例示的なデータ・フォーマットがテーブル２に示される。

第一に、4D空間の一般的メタデータが提供される。それは、四つの軸x₁、x₂、y₁、y₂の境界およびその対応するサンプリングを含む。カメラ（束）の数も提供される。各カメラjについて、次のパラメータが保存される：
開口のサイズ：A_j
カメラcam_jの焦点：焦点＝(x₃,y₃,z₃)
(x1_x,2)における最低のd切片＝d_j
傾き＝m_j
(x₁,x₂)におけるデジタル線の数＝l^x _j
(y₁,y₂)におけるデジタル線の数＝l^y _j
。

各カメラで、各(x₁ ^q,x₂ ^q)について(y₁,y₂)で、ブレゼンハム・デジタル線を使って式(K)に関して走査が開始され、RGB値が保存される。y₃ ^*はy₃−Aからy₃＋Aまでの間で変化し、対応するd_offが式(K)に従って計算される。

デコード段階においては、記憶されたメタデータを使って同じ計算が実行される。特に、kが式(H)を使って見出される。よって、フォーマットはコンパクトに留まる。システムにおける各レイについて四つのインデックスを記憶する必要はない。上記の超平面のサンプリングは4Dレイ空間のサンプリングであり、よって単一のx₁；y₁；x₂；y₂位置が見逃されることがないことを注意しておく。これは、非常にコンパクトな形ですべてのデータを保存するための4Dレイ空間の系統的な走査のほんの一例である。もちろん、他のプロセスが適用されてもよい。パラメトリックな形は、インターリーブされた空間活用を許容するので、超平面を活用するよう適応されるように思われる。

超平面のいくつかの束を含むデータに作用する複数のカメラの場合（複数のカメラのため、ラドン変換においていくつかの極大がある）、より複雑なアルゴリズムが使われてもよい。前処理段階として、Π(x₁,x₂)のラドン変換におけるすべてのピークについて、パラメータ(m,k)が見出され、一つの集合に入れられる。(y₁,y₂)におけるピークについて同じことが行なわれ、パラメータが別の集合に入れられる。ここで、貪欲なアルゴリズムの各反復工程において、(x₁,x₂)の2Dラドン変換において最大ピーク強度が見出され、(y₁,y₂)における対応するピークは、以前に見出されたパラメータ(m,k)をマッチさせることによって見出される。前セクションにおいて言及したようにデータを保存した後、これらのピークはラドン変換からクリーニングされ、次の反復工程が開始される。これがライトフィールドに有意なものが残らなくなるまで繰り返される。

図１３のＣは、上記で述べた本発明のいずれかの実施形態の方法に基づいて得られたデータを処理するためのプロセッサ７１１と、処理されたデータに応じて画像をレンダリングするためのディスプレイとを有する、ライトフィールド・データから少なくとも一つの画像をレンダリングするためのデバイスを示している。

上記の例示的実施形態を参照すれば、当業者は多くのさらなる修正および変形を思いつくであろう。上記の例示的実施形態は単に例として与えられており、本発明の範囲を限定することは意図されていない。本発明の範囲は付属の請求項によってのみ決定される。特に、異なる実施形態からの異なる特徴は、適宜交換されてもよい。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、当該方法は、
シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
サンプリング・セルのパラメータ空間において交差データを表わす一つまたは複数のデータ超平面を決定する段階と、
パラメトリックな式によってデータ超平面上またはデータ超平面の付近のデータを走査して、ライトフィールド・レイを表わすデータをサンプリングする段階と、
パラメータ空間において少なくとも一つのデータ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれのライトフィールド・レイに関連付けられた色値とを含む、ライトフィールドを表わすデータ・フォーマットを提供する段階とを含む、方法。
（付記２）
一つまたは複数のデジタル・データ超平面は、離散ラドン変換によって決定される、付記１記載の方法。
（付記３）
二つの直交する離散ラドン変換がパラメータ空間において適用されて、一つまたは複数のデジタル超平面を得る、付記２記載の方法。
（付記４）
一つまたは複数のデータ超平面は、カメラ取得パラメータを定義するデータから決定される、付記１記載の方法。
（付記５）
データを走査することは、次のアルゴリズム

を適用することを含む、付記１乃至４のうち何れか一項記載の方法。
（付記６）
少なくとも一つのデータ超平面を定義するデータ・パラメータは、
第一の参照平面の交差データの最小値、
第一の参照平面の交差データの最大値、
第二の参照平面の交差データの最小値、
第二の参照平面の交差データの最大値、
パラメータ空間を定義するサンプリング・セルの数、
第一の参照平面の位置、及び
第二の参照平面の位置
のうちの少なくとも一つを表わすデータを含む、付記１乃至５のうち何れか一項記載の方法。
（付記７）
各データ超平面は、パラメータ空間の複数のセルによって定義され、
少なくとも一つの第一のセルが直線の、軸との切片を表わし、
少なくとも一つの第二のセルからは直線の傾きが決定できる、付記１乃至６のうち何れか一項記載の方法。
（付記８）
各デジタル超平面は、ブレゼンハムのアルゴリズムの適用によって生成される、付記１乃至７のうち何れか一項記載の方法。
（付記９）
諸レイのビームが、同じ傾きおよび異なる軸切片点をもつ複数の直線として表わされる、付記１乃至８のうち何れか一項記載の方法。
（付記１０）
取得されたライトフィールド・データを表わすデータは、前記ビームの直線の軸切片データの上端および下端に基づいて前記ビームの太さを表わすデータを含む、付記９記載の方法。
（付記１１）
付記１乃至１０のうち何れか一項記載の方法に従って提供されるライトフィールド・データからライトフィールド・レイを生成する方法であって、
少なくとも一つの超平面を定義するデータ・パラメータを定義するメタデータを読み、セルごとに色データを読むことを含む、方法。
（付記１２）
捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、
ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと、
ライトフィールド・データ生成モジュールであって、
シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
サンプリング・セルのパラメータ空間において交差データを表わす一つまたは複数のデータ超平面を決定する段階と、
パラメトリックな式によってデータ超平面上またはデータ超平面の付近のデータを走査して、ライトフィールド・レイを表わすデータをサンプリングする段階と、
パラメータ空間においてデータ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれの生成されたライトフィールド・レイに関連付けられた色値とを含む、ライトフィールドを表わすデータ・フォーマットを提供する段階とを実行するよう構成されている、
ライトフィールド・データ生成モジュールと、
を備える、装置。
（付記１３）
規則的な格子構造に配列されたマイクロレンズのアレイと、
光センサーであって、マイクロレンズのアレイから光センサー上に投射された光を捕捉するよう構成されており、光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズのアレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと、
付記１２記載のメタデータを提供する装置と、
を備える、ライトフィールド撮像装置。
（付記１４）
付記１乃至１１のうち何れか一項記載の方法を使って得られたライトフィールド・データから画像をレンダリングする装置。
（付記１５）
ライトフィールドの諸レイを表わすデータのためのデータ・パッケージであって、
パラメータ空間において超平面を定義する少なくとも一つのデータ・パラメータであって、超平面はシーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを表わし、複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合は色値をもつ、データ・パラメータと、
各ライトフィールド・レイに関連付けられた前記色値と、
を含む、データ・パッケージ。
（付記１６）
ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、
シーンから捕捉されたライトフィールド・レイを表わすライトフィールド・データを取得する段階と、
取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階と、
取得されたライトフィールド・データを表わすデータを提供するためのレイ図における交差データのグラフィック表現を定義するレイ図パラメータを得る段階と、
を含む方法。
（付記１７）
ライトフィールド・レイに対応する切片データが、レイ図においてデータ直線としてグラフィックに表現され、レイ図パラメータは、
データ直線の傾き、及び
データ直線のレイ図の軸との切片
のうちの少なくとも一方を表わすデータを含む、付記１６記載の方法。
（付記１８）
データ直線は、レイ図において、ラドン変換を適用することによって、検出される、付記１７記載の方法。
（付記１９）
グラフィック表現は、デジタル・データ直線を提供するためのセルのマトリクスとして提供され、各デジタル・データ直線フォーマットは、複数のセルによって定義され、少なくとも一つの第一のセルが直線の軸との切片を表わし、少なくとも一つの第二のセルからは直線の傾きが決定できる、付記１７または１８記載の方法。
（付記２０）
各デジタル・データ直線は、ブレゼンハムのアルゴリズムの適用によって生成される、付記１９記載の方法。
（付記２１）
取得されたライトフィールド・データを表わすデータが、セルのマトリクスを定義するデータを含む、付記１９または２０記載の方法。
（付記２２）
取得されたライトフィールド・データを表わすデータが、更に、対応するライトフィールド・レイの色を表わす色データを含む、付記１６乃至２１のうち何れか一項記載の方法。
（付記２３）
取得されたライトフィールド・データを表わすデータが、ライトフィールド・レイを捕捉するために使われるカメラの数を定義するデータを含む、付記１６乃至２２のうち何れか一項記載の方法。
（付記２４）
諸レイのビームが、同じ傾きおよび異なる軸切片点をもつ複数の直線として表わされる、付記１７乃至２３のうち何れか一項記載の方法。
（付記２５）
取得されたライトフィールド・データを表わすデータは、ビームの直線の軸切片データの上端および下端に基づいてビームの太さを表わすデータを含む、付記２４記載の方法。
（付記２６）
取得されたライトフィールド・データを表わすデータは、メタデータとして提供され、メタデータのヘッダは、レイ図における切片データのグラフィック表現を定義するレイ図パラメータを含み、メタデータのボディは、レイの色を表わすデータを含む、付記２５記載の方法。
（付記２７）
捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、当該装置は、
ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと、
ライトフィールド・データ生成モジュールであって、
取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、複数の参照平面はシーンにおける異なる奥行きに対応する、段階と、
取得されたライトフィールド・データを表わすデータを提供するために、レイ図において交差データのグラフィック表現を定義するレイ図パラメータを得る段階と、を実行するよう構成されている
ライトフィールド・データ取得モジュールと、
を備える装置。
（付記２８）
規則的な格子構造に配列されたマイクロレンズのアレイと、
光センサーであって、マイクロレンズのアレイから光センサー上に投射された光を捕捉するよう構成されており、光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズのアレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと、
付記１２記載のメタデータを提供する装置と、
を備える、ライトフィールド撮像装置。
（付記２９）
付記１６乃至２６のうち何れか一項記載の方法に従って得られたデータを処理するプロセッサと、
処理されたデータに従って画像をレンダリングするディスプレイと、
を備える、ライトフィールド・データから画像をレンダリングする装置。
（付記３０）
ライトフィールドの諸レイを表わすデータのためのデータ・パッケージであって、
ライト・レイの交差データのレイ図におけるグラフィック表現を定義するレイ図パラメータであって、交差データはシーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義し、複数の参照平面はシーンにおける異なる奥行きに対応する、パラメータと、
ライトフィールド・レイの色を定義する色データと、
を含む、データ・パッケージ。
（付記３１）
プログラム可能な装置にロードされて実行されるときに付記１乃至１０または１６乃至２６のうち何れか一項記載の方法を実装するための命令のシーケンスを有する、プログラム可能な装置のためのコンピュータ・プログラム・プロダクト。

Claims (8)

1. ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、当該方法は、
   シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
   サンプリング・セルのパラメータ空間において前記交差データを表わす一つまたは複数のデータ超平面を決定する段階と、
   パラメトリックな式によって前記データ超平面上または前記データ超平面の付近のデータを走査して、前記ライトフィールド・レイを表わすデータをサンプリングする段階と、
   前記パラメータ空間において前記少なくとも一つのデータ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれのライトフィールド・レイに関連付けられた前記色値とを含む、前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを含み、
   前記一つまたは複数のデータ超平面は、離散ラドン変換によって決定される、方法。
2. 二つの直交する離散ラドン変換が前記パラメータ空間において適用されて、前記一つまたは複数のデータ超平面を得る、請求項１記載の方法。
3. 前記一つまたは複数のデータ超平面は、カメラ取得パラメータを定義するデータから決定される、請求項１記載の方法。
4. 前記少なくとも一つのデータ超平面を定義する前記データ・パラメータは、
   第一の参照平面の交差データの最小値、
   前記第一の参照平面の交差データの最大値、
   第二の参照平面の交差データの最小値、
   前記第二の参照平面の交差データの最大値、
   前記パラメータ空間を定義するサンプリング・セルの数、
   前記第一の参照平面の位置、及び
   前記第二の参照平面の位置
   のうちの少なくとも一つを表わすデータを含む、請求項１乃至３のうち何れか一項記載の方法。
5. 捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、
   ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと、
   ライトフィールド・データ生成モジュールであって、
   シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
   サンプリング・セルのパラメータ空間において前記交差データを表わす一つまたは複数のデータ超平面を離散ラドン変換により決定する段階と、
   パラメトリックな式によって前記データ超平面上または前記データ超平面の付近のデータを走査して、前記ライトフィールド・レイを表わすデータをサンプリングする段階と、
   前記パラメータ空間において前記データ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれの生成されたライトフィールド・レイに関連付けられた前記色値とを含む、前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを実行するよう構成されている、
   ライトフィールド・データ生成モジュールと、
   を備える、装置。
6. 規則的な格子構造に配列されたマイクロレンズのアレイと、
   光センサーであって、マイクロレンズの前記アレイから前記光センサー上に投射された光を捕捉するよう構成されており、前記光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズの前記アレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと、
   請求項５に記載のメタデータを提供する装置と、
   を備える、ライトフィールド撮像装置。
7. 請求項１乃至４のうち何れか１項に記載の方法を使って得られたライトフィールド・データから画像をレンダリングする装置。
8. ライトフィールドの諸レイを表わすデータのためのデータ・パッケージから画像をレンダリングするための装置であって、
   前記データ・パッケージを処理するように構成されているプロセッサであって、前記データ・パッケージは、パラメータ空間において超平面を定義する少なくとも一つのデータ・パラメータであって、前記超平面は、離散ラドン変換により決定され、且つシーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを表わし、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合は色値をもつ、データ・パラメータと、各ライトフィールド・レイに関連付けられた前記色値と、を備える、プロセッサと、
   前記処理されたデータ・パッケージに従って画像をレンダリングするように構成されているディスプレイと、
   を備える装置。
   

Images