JP2019511851A - ピクセルビームを表すデータを生成する方法及び装置 - Google Patents

Abstract

市場には、いくつかのタイプのプレノプティック装置及びカメラアレイが利用可能な状態において存在しており、これらのライトフィールド取得装置は、いずれも、そのプロプライエタリなファイルフォーマットを有する。但し、多次元情報の取得及び送信をサポートする規格は、存在していない。前記光学取得システムのセンサのピクセルと前記光学取得システムの物体空間の間の対応性に関係する情報の取得は、興味深い。実際に、前記光学取得システムのセンサに属するピクセルが光学取得システムの物体空間のいずれの部分を検知しているのかを知ることにより、信号処理動作の改善が可能となる。従って、そのような情報を保存するコンパクトな１５個のフォーマットを有する、カメラの光学系の物体空間内の、光線の組によって占有される容積を表すピクセルビームの概念が導入されている。

Description

本発明は、演算の分野に関する。更に詳しくは、本発明は、ライトフィールドデータの送信、レンダリング、処理のために使用できる表現フォーマットに関する。

ライトフィールドは、それぞれの可能な方向に沿って三次元（３Ｄ）空間のそれぞれの地点を通過する光の量を表している。これは、時間、波長、位置、及び方向の関数として輝度を表す７つの変数の関数によってモデル化される。コンピュータグラフィクスにおいては、ライトフィールドのサポートは、４次元（４Ｄ）指向のライン空間に低減されている。

４Ｄライトフィールドのサンプリング、即ち、光線の記録、と見なされうる、４Ｄライトフィールドデータの取得は、”Understanding camera trade-offs through a Bayesian analysis of light field projections” by Anat Levin and al., published in the conference proceedings of ECCV 2008という論文において説明されており、これは、活発に研究されている主題である。

従来のカメラから取得される従来の２次元又は２Ｄ画像との比較において、４Ｄライトフィールドデータの場合には、ユーザーは、画像のレンダリング及びユーザーとの間の対話性を改善する相対的に多くの事後処理特徴に対してアクセスすることができる。例えば、４Ｄライトフィールドデータによれば、焦点面の位置を後から規定／選択しうることを意味する、自由に選択された合焦の距離による画像の再合焦のみならず、画像のシーンにおける視点のわずかな変更をも実行することができる。４Ｄライトフィールドデータを取得するべく、いくつかの技法を使用することができる。例えば、プレノプティックカメラは、４Ｄライトフィールドデータを取得することができる。図１Ａには、プレノプティックカメラのアーキテクチャの詳細が提供されている。図１Ａは、プレノプティックカメラを概略的に表す図である。プレノプティックカメラ１００は、メインレンズ１０１と、２次元アレイとして配置された複数のマイクロレンズ１０３を含むマイクロレンズアレイ１０２と、画像センサ１０４と、を含む。

４Ｄライトフィールドデータを取得するための別の方法は、図１Ｂに描かれているように、カメラアレイを使用するというものである。図１Ｂは、マルチアレイカメラ１１０を表している。マルチアレイカメラ１１０は、レンズアレイ１１２と、画像センサ１１４と、を含む。

図１Ａに示されているプレノプティックカメラ１００の例においては、メインレンズ１０１は、メインレンズ１０１の物体野内の物体（図には示されていない）から光を受け取り、且つ、この光がメインレンズ１０１の像野を通過するようにしている。

最後に、４Ｄライトフィールドを取得する別の方法は、異なる焦点面において同一のシーンの２Ｄ画像のシーケンスをキャプチャするように構成された従来のカメラを使用するというものである。例えば、“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays” by J.-H. Park et al., published in OPTICS EXPRESS, Vol. 22, No. 21, in October 2014という文献において記述されている技法は、従来のカメラによって４Ｄライトフィールドデータの取得を実現するべく使用することができる。

４Ｄライトフィールドデータを表すためのいくつかの方法が存在している。実際に、“Digital Light Field Photography” by Ren Ng, published in July 2006という名称の博士号論文の第３．３章には、４Ｄライトフィールドデータを表すための３つの異なる方法について記述されている。第１に、４Ｄライトフィールドデータは、プレノプティックカメラによって記録される際には、マイクロレンズ画像の集合体によって表すことができる。この表現における４Ｄライトフィールドデータは、未加工の画像又は未加工の４Ｄライトフィールドデータと呼称される。第２に、４Ｄライトフィールドデータは、プレノプティックカメラによって又はカメラアレイによって記録される際には、サブアパーチャ画像の組によって表すことができる。サブアパーチャ画像は、視点からのシーンのキャプチャされた画像に対応しており、視点は、２つのサブアパーチャ画像の間においてわずかに異なっている。これらのサブアパーチャ画像は、撮像されたシーンの視差及び深さに関するデータを付与している。第３に、４Ｄライトフィールドデータは、エピポーラ画像の組によって表すことが可能であり、例えば、“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”, by S. Wanner and al., published in the conference proceedings of ISVC 2011という名称の論文を参照されたい。

ライトフィールドデータは、最大で、数テラバイト（ＴＢ）にも及ぶ、大量のストレージ空間を占有する可能性があり、この結果、保存が厄介になりうると共に処理の効率が低下しうる。これに加えて、ライトフィールド取得装置は、極めて多様である。ライトフィールドカメラは、例えば、プレノプティック又はカメラアレイなどのように、様々なタイプを有する。それぞれのタイプごとに、異なる光学構成又は異なる焦点距離のマイクロレンズなどの、多くの相違点が存在しており、且つ、特に、それぞれのカメラは、その独自のプロプライエタリなファイルフォーマットを有している。現在、ライトフィールドが依存している異なるパラメータのすべてを網羅した通覧のための多次元情報の取得及び送信をサポートする規格は、存在していない。従って、取得されたライトフィールドデータは、異なるカメラごとに多様なフォーマットを有する。本発明は、上述の内容に留意して案出されたものである。

本発明の第１の態様によれば、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表すデータの組を生成するコンピュータ実装された方法が提供され、前記容積は、ピクセルビームと呼称され、方法は、
一葉双曲面の回転軸である第２直線を中心として、第１生成光線と呼称される、ピクセルビームを表す双曲面の表面を記述する第１直線の第１回転角度を演算することであって、前記回転は、第１生成光線を基準直線と交差する第２生成光線に変換する、ことと、
−双曲面の回転軸を中心として、第３生成光線と呼称される、双曲面の表面を記述する第３直線の第２回転角度を演算することであって、前記回転は、第３生成光線を基準直線と交差する第４生成光線に変換する、ことと、
−第２又は第４生成光線のうちの１つと双曲面の回転軸の間の距離を演算することと、
−第２生成光線を表すパラメータ、第４生成光線を表すパラメータ、並びに、第２又は第４生成光線のうちの１つと双曲面の回転軸の間の距離を含むピクセルビームを表すデータの組を生成することと、
を含む。

ピクセルビームは、光学取得システムの光学系を通じて伝播する際に光学取得システムのセンサの所与のピクセルに到達する光の光線のペンシルとして定義される。ピクセルビームは、一葉双曲面によって表される。一葉双曲面は、光の光線のペンシルの概念をサポートする線織面であり、且つ、物理的な光ビームの「etendue」の概念と合致している。

「etendue」は、光が面積及び角度においてどれだけ「広がっているか」を特徴付ける光学系における光のプロパティである。

供給源の観点においては、「etendue」は、供給源の面積と、供給源から観察された際に光学系の入射瞳孔が範囲を画定する立体角と、の積である。等価な方式により、光学系の観点においては、「etendue」は、入射瞳孔の面積と、瞳孔から観察された際に供給源が範囲を画定する立体角と、を乗算したものに等しい。

「etendue」の顕著な特徴の１つは、なんらの光学系においても、決して減少しないという点にある。「etendue」は、ラグランジュの不変量及び光学的不変量と関係付けられており、これらの不変量は、理想的な光学系において一定であるというプロパティを共有している。光学系の輝度は、「etendue」との関係において放射束の導関数に等しい。

ピクセルビームを使用して４Ｄライトフィールドデータを表すことが有利であり、その理由は、ピクセルビームは、それ自体で、「etendue」に関係する情報を伝達しているからである。

４Ｄライトフィールドデータは、大量のストレージ空間を占有しうるピクセルビームの集合体によって表される場合があり、その理由は、ピクセルビームは、６〜１０個のパラメータによって表されうるからである。本発明の発明者らによって開発された４Ｄライトフィールドデータ用のコンパクトな表現フォーマットは、光線に基づいたプレノプティック機能の表現に依存している。このコンパクトな表現フォーマットは、光線が非ランダムな方式によってソートされることを必要としている。実際に、光線は、ラインに沿ってマッピングされることから、コンパクト性の観点においては、所与のラインに属する光線の集合体と共に、前記所与のラインのパラメータを、即ち、関係するスロープ及びインターセプトを、ラインごとに、順番に保存することが効率的である。

ピクセルビームは、ピクセルビームを表す双曲面の表面について記述している、生成光線と呼称される、２つの光線によって表すことができる。生成光線は、光学取得システムのマイクロレンズを通過している間に強力な逸脱を経験する場合があり、且つ、従って、相対的に大きなアパーチャ角度において光学取得システムのメインレンズに衝突しうる。従って、歪のような収差が生成光線の集合体を妨げることになり、その結果、コンパクトな表現フォーマットの使用の効率が低下しうる。

本発明の一実施形態による方法は、コンパクトな表現フォーマットの使用の効率を改善するべく、位置及び向きのランダム性を低減するために、ピクセルビームの集合体のピクセルビームを定義する生成光線のペアをソートすることを有する。

更には、本発明の一実施形態による方法は、ピクセルビームを表すパラメータのうちの１つが黙示的なものとなり、これにより、前記ピクセルビームを表すデータセットの次元を１次元だけ低減することを可能にすることにより、コンパクトな表現フォーマットのコンパクト性に寄与するような方式により、ピクセルビームの集合体のピクセルビームを定義する生成光線のペアを制約している。

本発明の別の態様によれば、基準直線は、光学取得システムのメインレンズの光軸に対して平行である。

メインレンズの光軸に対して平行な基準直線を選択することは、興味深いことであり、その理由は、メインレンズの光軸が光学取得システムの対称軸であるからである。

本発明の別の態様によれば、基準直線は、光学取得システムのレンズアレイの中心軸に対して平行である。

レンズアレイの光軸に対して平行な基準直線を選択することは、興味深いことであり、その理由は、レンズアレイの光軸が光学取得システムの対称軸であるからである。

本発明の別の態様によれば、それぞれ、第１及び第２回転角度を演算することは、
−それぞれ、第１及び第３生成光線を定義するベクトルに回転行列を乗算することにより、それぞれ、第２及び第４生成光線を定義するベクトルの座標を演算することと、
−それぞれ、前記第２及び第４生成光線と前記基準直線が互いに交差していることから、それぞれ、第２及び第４生成光線と基準直線の間の距離がゼロに等しいことに鑑み、それぞれ、前記第２及び第４生成光線及び前記基準直線を定義する地点及びベクトルに基づいて、それぞれ、第１及び第２回転角度の値を演算することと、
を有する。

本発明の別の態様によれば、第２及び第４生成光線は、第１及び第２回転角度が増大する順序において配列されるように、ピクセルビームを表すデータの組の生成の前に、ソートされている。

第２及び第４生成光線は、再構築対象であるピクセルビームを表すデータの組の演算に関与する外積ベクトルの方向を制約することにより、増大する順序における回転角度によって、テレビ受像機、スマートフォン、タブレット、パーソナルコンピュータ、ラップトップなどのような、レンダリング装置によるピクセルビームの再構築が相対的に容易なものとなるように、配列されている。

本発明の別の態様によれば、第２又は第４生成光線のうちの１つと双曲面の回転軸の間の演算距離は、第２又は第４生成光線のうちの１つと双曲面の回転軸の間の最短距離である。

第２又は第４生成光線のうちの１つと双曲面の回転軸の間の最短距離は、ピクセルビームのウエストに、即ち、ピクセルビームを表す双曲面の最小セクションに、対応している。

本発明の第２の態様によれば、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表すデータの組を生成する装置が提供され、前記容積は、ピクセルビームと呼称され、前記装置は、
−一葉双曲面の回転軸である第２直線を中心として、第１生成光線と呼称される、ピクセルビームを表す双曲面の表面を記述する第１直線の第１回転角度を演算し、前記回転は、第１生成光線を基準直線と交差する第２生成光線に変換し、
−双曲面の回転軸を中心として、第３生成光線と呼称される、双曲面の表面を記述する第３直線の第２回転角度を演算し、前記回転は、第３生成光線を基準直線と交差する第４生成光線に変換し、
−第２又は第４生成光線のうちの１つと双曲面の回転軸の間の距離を演算し、
−第２生成光線を表すパラメータ、第４生成光線を表すパラメータは、並びに、第２又は第４生成光線のうちの１つと双曲面の回転軸の間の距離を含むピクセルビームを表すデータの組を生成する、
ように構成されたプロセッサを含む。

このような装置は、プレノプティックカメラ、或いは、スマートフォン、ラップトップ、パーソナルコンピュータ、タブレットなどのような、任意のその他の装置などの光学取得システム内において埋め込まれてもよい。

本発明の別の態様によれば、プロセッサは、
−それぞれ、第１及び第３生成光線を定義するベクトルに回転行列を乗算することにより、それぞれ、第２及び第４生成光線を定義するベクトルの座標を演算し、
−それぞれ、前記第２及び第４生成光線と前記基準直線が互いに交差していることから、それぞれ、第２及び第４生成光線と基準直線の間の距離がゼロに等しいことに鑑み、それぞれ、前記第２及び第４生成光線及び前記基準直線を定義するベクトルに基づいて、それぞれ、第１及び第２回転角度を演算する、
ことにより、それぞれ、第１及び第２回転角度を演算するように構成されている。

本発明の第３の態様によれば、ライトフィールドコンテンツをレンダリングする方法が提供され、方法は、
−一葉双曲面の回転軸と基準直線と交差する、第１生成光線と呼称される、双曲面の表面を記述する第２直線の間の距離を使用することにより、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表す前記双曲面の回転軸である第１直線の座標を演算することであって、前記容積は、ピクセルビームと呼称される、ことと、
−双曲面の回転軸の座標及び第１生成光線を表すパラメータ、並びに、基準直線と交差する、第２生成光線と呼称される、双曲面の表面を記述する第３直線のパラメータを使用することにより、ピクセルビームを演算することと、
−前記ライトフィールドコンテンツをレンダリングすることと、
を含む。

本発明の第４の態様によれば、ライトフィールドコンテンツをレンダリングする装置が提供され、装置は、
−一葉双曲面の回転軸と基準直線と交差する、第１生成光線と呼称される、双曲面の表面を記述する第２直線の間の距離を使用することにより、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表す前記双曲面の回転軸である第１直線の座標を演算し、前記容積は、ピクセルビームと呼称され、
−双曲面の回転軸の座標及び第１生成光線を表すパラメータ、並びに、基準直線と交差する、第２生成光線と呼称される、双曲面の表面を記述する第３直線のパラメータを使用することにより、ピクセルビームを演算する、
ように構成されたプロセッサを含み、且つ、
前記装置は、前記ライトフィールドコンテンツをレンダリングするディスプレイを更に含む。

このようなライトフィールドコンテンツをレンダリングする能力を有する装置は、テレビ受像機、スマートフォン、ラップトップ、パーソナルコンピュータ、タブレットなどであってもよい。

本発明の第５実施形態によれば、ライトフィールド撮像装置が提供され、装置は、
−規則的な格子構造において配列されたマイクロレンズのアレイと、
−マイクロレンズのアレイからフォトセンサ上において投射された光をキャプチャするように構成されたフォトセンサであって、フォトセンサは、ピクセルの組を含み、それぞれのピクセルの組は、マイクロレンズのアレイの個々のマイクロレンズと光学的に関連付けられている、フォトセンサと、
−本発明の第２の態様による装置に従ってメタデータを提供する装置と、
を含む。

このようなライトフィールド撮像装置は、例えば、プレノプティックカメラである。

本発明の第６の態様によれば、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表すデータの組を含むライトフィールドコンテンツを表す信号が提供され、前記容積は、ピクセルビームと呼称され、ピクセルビームを表すデータの組は、
−基準直線と交差する、第１生成光線と呼称される、ピクセルビームを表す一葉双曲面の表面を記述する第１直線を表すパラメータと、
−基準直線と交差する、第２生成光線と呼称される、双曲面の表面を記述する第２直線を表すパラメータと、
−双曲面の回転軸と第１又は第２生成光線のうちの１つの間の距離と、
を含む。

本発明の要素によって実装されるいくつかのプロセスは、コンピュータ実装することができる。従って、このような要素は、全体的にハードウェア実施形態の、全体的にソフトウェア実施形態（ファームウェア、レジデントソフトウェア、マイクロコードなどを含む）の、或いは、そのすべてが、「回路」、「モジュール」、又は「システム」と本明細書において一般的に呼称されうる、ソフトウェア及びハードウェア態様を組み合わせた実施形態の、形態を有することができる。更には、このような要素は、媒体内において実施されたコンピュータ使用可能プログラムコードを有する表現の任意の有体媒体内において実施されたコンピュータプログラムプロダクトの形態を有することができる。

本発明の要素は、ソフトウェアにおいて実装されうることから、本発明は、任意の適切な担持体媒体上におけるプログラム可能な装置に対する提供のためのコンピュータ可読コードとして実施することができる。有体の担持体媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、又は半導体メモリ装置、並びに、これらに類似したものなどの、ストレージ媒体を含むことができる。一時的な担持体媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、或いは、例えば、マイクロ波又はＲＦ信号などの電磁信号などの信号を含むことができる。

以下、一例としてのみ、且つ、以下の図面を参照し、本発明の実施形態について説明することとする。

プレノプティックカメラを概略的に表す図である。 マルチアレイカメラを表す。 本発明の一実施形態によるライトフィールドカメラの機能図である。 本発明の一実施形態によるライトフィールドデータフォーマッタ及びライトフィールドデータプロセッサの機能図である。 フォトセンサアレイ上において形成された未加工のライトフィールド画像の一例である。 カメラ又は光学取得システムの光学系の物体空間内の、光線の組によって占有された容積を表す。 一葉双曲面を表す。 本発明の１つ又は複数の実施形態によるピクセルビームの生成光線をソートする装置のモジュールを示す機能ブロックダイアグラムである。 本発明の１つ又は複数の実施形態によるピクセルビームの生成光線をソートする方法のステップを示すフローチャートである。 本発明の１つ又は複数の実施形態によるライトフィールドデータのパラメータ化用の基準プレーンの使用法をグラフィカルに示す。 本発明の１つ又は複数の実施形態によるライトフィールドデータのパラメータ化用の基準プレーンの使用法をグラフィカルに示す。 本発明の実施形態による基準プレーンとの関係におけるライトフィールド光線の表現を概略的に示す。 本発明の１つ又は複数の実施形態による方法のステップを示すフローチャートである。 本発明の１つ又は複数の実施形態によるライトデータフォーマットを提供する装置のモジュールを示す機能ブロックダイアグラムである。 本発明の実施形態によるライトフィールド光線の表現用のパラメータを概略的に示す。 本発明の実施形態による交差点データをグラフィカルに示す２Ｄ光線図である。 本発明の実施形態に従って生成されたデジタルラインをグラフィカルに示す。 本発明の実施形態に従って生成されたデジタルラインをグラフィカルに示す。 本発明の実施形態によるデジタルラインに適用されたラドン変換をグラフィカルに示す。 本発明の実施形態によるデジタルラインに適用されたラドン変換をグラフィカルに示す。 本発明の実施形態によるデジタルラインに適用されたラドン変換をグラフィカルに示す。 本発明の実施形態による複数のカメラにおける交差点データをグラフィカルに示す２Ｄ光線図である。

当業者には理解されるように、本原理の態様は、システム、方法、又はコンピュータ可読媒体として実施することができる。従って、本原理の態様は、全体的にハードウェア実施形態の、全体的にソフトウェア実施形態（ファームウェア、レジデントソフトウェア、マイクロコードなどを含む）の、或いは、そのすべてが、「回路」、「モジュール」、又は「システム」と本明細書において一般的に呼称されうる、ソフトウェア及びハードウェア態様を組み合わせた実施形態の、形態を有することができる。更には、本原理の態様は、コンピュータ可読ストレージ媒体の形態を有することもできる。１つ又は複数のコンピュータ可読ストレージ媒体の任意の組合せを利用することができる。

本発明の実施形態は、フォーマット変換、再合焦、視点変更、及び３Ｄ画像生成などの更なる処理用途用のライトフィールドデータのフォーマッティングを提供している。

図２Ａは、本発明の一実施形態によるライトフィールドカメラ装置のブロックダイアグラムである。

ライトフィールドカメラは、図１Ａのライトフィールドカメラに従って、アパーチャ／シャッタ２０２と、メイン（対物）レンズ２０１と、マイクロレンズアレイ２１０と、フォトセンサアレイ２２０と、を含む。いくつかの実施形態においては、ライトフィールドカメラは、主題又はシーンのライトフィールド画像をキャプチャするべく起動されるシャッタリリースを含む。これらの機能的な特徴は、図１Ｂのライトフィールドカメラにも適用されうることを理解されたい。

フォトセンサアレイ２２０は、ライトフィールドデータフォーマッティングモジュール２５０によるライトフィールドデータフォーマットの生成のために、且つ／又は、ライトフィールドデータプロセッサ２５５による処理のために、ＬＦデータ取得モジュール２４０によって取得されたライトフィールド画像データを提供している。ライトフィールドデータは、取得の後に、且つ、処理の後に、メモリ２９０内において、本発明の実施形態に従って、未加工データフォーマットにおいて、サブアパーチャ画像又は焦点スタックとして、或いは、ライトフィールドデータフォーマットにおいて、保存することができる。

図示の例においては、ライトフィールドデータフォーマッティングモジュール１５０及びライトフィールドプロセッサ２５５は、ライトフィールドカメラ２００内において配設されているか又はこの内部に統合されている。本発明のその他の実施形態においては、ライトフィールドデータフォーマッティングモジュール２５０及び／又はライトフィールドデータプロセッサ２５５は、ライトフィールドキャプチャカメラの外部の別個のコンポーネント内において提供することができる。別個のコンポーネントは、ライトフィールド画像キャプチャ装置との関係において、ローカル状態又はリモート状態にあってもよい。ライトフィールド画像データをフォーマッティングモジュール２５０又はライトフィールドデータプロセッサ２５５に送信するべく、任意の適切な有線又は無線プロトコルが使用されてもよく、例えば、ライトフィールドデータプロセッサは、インターネット、セルラーデータネットワーク、WiFiネットワーク、BlueTooth（登録商標）通信プロトコル、及び／又は任意のその他の適切な手段を介して、キャプチャされたライトフィールド画像データ及び／又はその他のデータを転送することができることを理解されたい。

ライトフィールドフォーマッティングモジュール２５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成されている。ライトフィールドデータフォーマッティングモジュール２５０は、ソフトウェア、ハードウェア、又はこれらの組合せにおいて実装することができる。

ライトフィールドデータプロセッサ２５５は、本発明の実施形態に従って、例えば、焦点スタック又は視野の行列を生成するべく、ＬＦデータ取得モジュール２４０から直接的に受け取った未加工のライトフィールド画像データに対して動作するように構成されている。例えば、キャプチャされたシーンのスチール画像、２Ｄビデオストリーム、及びこれらに類似したものなどの出力データを生成することができる。ライトフィールドデータプロセッサは、ソフトウェア、ハードウェア、又はこれらの組合せにおいて実装することができる。

また、少なくとも１つの実施形態においては、ライトフィールドカメラ２００は、コントローラ２７０によってカメラ１００の動作を制御するべくユーザーがユーザー入力を提供できるようにするためのユーザーインターフェイス２６０を含むこともできる。カメラの制御は、シャッタ速度などのカメラの光学パラメータの制御、或いは、調節可能なライトフィールドカメラのケースにおいては、マイクロレンズアレイとフォトセンサの間の相対距離又は対物レンズとマイクロレンズアレイの間の相対距離の制御のうちの１つ又は複数を含むことができる。いくつかの実施形態においては、ライトフィールドカメラの光学要素の間における相対距離は、相互に調節することができる。また、カメラの制御は、カメラのその他のライトフィールドデータ取得パラメータ、ライトフィールドデータフォーマッティングパラメータ、又はライトフィールド処理パラメータの制御を含むこともできる。ユーザーインターフェイス２６０は、タッチスクリーン、ボタン、キーボード、ポインティング装置、及び／又はこれらに類似したものなどの、１つ又は複数の任意の適切なユーザー入力装置を含むことができる。この結果、ユーザーインターフェイスによって受け取られた入力は、データフォーマッティングを制御するためにＬＦデータフォーマッティングモジュール２５０を制御及び／又は構成するべく、取得されたライトフィールドデータの処理を制御するためにＬＦデータプロセッサ２５５を制御及び／又は構成するべく、且つ、ライトフィールドカメラ２００を制御するためにコントローラ２７０を制御及び／又は構成するべく、使用することができる。

ライトフィールドカメラは、１つ又は複数の置換可能な又は充電可能な電池などの電源２８０を含む。ライトフィールドカメラは、キャプチャされたライトフィールドデータ及び／又はレンダリングされた最終画像、或いは、本発明の実施形態の方法を実装するためのソフトウェアなどのその他のデータを保存するべく、メモリ２９０を含む。メモリは、外部及び／又は内部メモリを含むことができる。少なくとも１つの実施形態においては、メモリは、カメラ２００とは別個の装置及び／又は場所において提供することができる。一実施形態においては、メモリは、メモリスティックなどの着脱自在／スワップ可能なストレージ装置を含む。

また、ライトフィールドカメラは、キャプチャする前に、カメラの正面のシーンを観察するための、且つ／又は、予めキャプチャ及び／又はレンダリングされた画像を観察するための、表示ユニット２６５（例えば、ＬＣＤ画面）を含むこともできる。また、画面２６５は、１つ又は複数のメニュー又はその他の情報をユーザーに対して表示するべく、使用することもできる。ライトフィールドカメラは、ＦｉｒｅＷｉｒｅ又はユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）インターフェイスなどの１つ又は複数のＩ／Ｏインターフェイス２９５、或いは、インターネット、セルラーデータネットワーク、WiFiネットワーク、BlueTooth通信プロトコル、及び／又は任意のその他の適切な手段を介したデータ通信用の有線又は無線通信インターフェイスを更に含むこともできる。Ｉ／Ｏインターフェイス２９５は、レンダリング用途において、コンピュータシステム又は表示ユニットなどの外部装置との間における、本発明の実施形態に従ってＬＦデータフォーマッティングモジュールによって生成されたライトフィールドを表すデータ及び未加工のライトフィールドデータなどのライトフィールドデータ、或いは、ＬＦデータプロセッサ２５５によって処理されたデータなどのデータの転送のために使用することができる。

図２Ｂは、ライトフィールドデータフォーマッティングモジュール２５０及びライトフィールドデータプロセッサ２５３の潜在的な実装形態の特定の一実施形態を示すブロックダイアグラムである。

回路２０００は、メモリ２０９０と、メモリコントローラ２０４５と、１つ又は複数の処理ユニット（１つ又は複数のＣＰＵ）を含む処理回路２０４０と、を含む。１つ又は複数の処理ユニット２０４０は、ライトフィールドデータのフォーマッティング及びライトフィールドデータの処理を含む様々な機能を実行するべく、メモリ２０９０内において保存されている様々なソフトウェアプログラム及び／又は命令の組を実行するように構成されている。メモリ内において保存されているソフトウェアコンポーネントは、本発明の実施形態に従って取得されたライトデータを表すデータを生成するデータフォーマッティングモジュール（又は、命令の組）２０５０と、本発明の実施形態に従ってライトフィールドデータを処理するライトフィールドデータ処理モジュール（又は、命令の組）２０５５と、を含む。一般的なシステムタスク（例えば、電源管理やメモリ管理）を制御するための、且つ、装置２０００の様々なハードウェア及びソフトウェアコンポーネントの間の通信を促進するための、オペレーティングシステムモジュール２０５１、並びに、Ｉ／Ｏインターフェイスポートを介したその他の装置との間の通信を制御及び管理するためのインターフェイスモジュール２０５２、などの、ライトフィールドカメラ装置の用途のために、その他のモジュールがメモリ内において含まれていてもよい。

図３は、図２Ａのフォトセンサアレイ２２０上において形成された２Ｄ画像の一例を示している。しばしば、４Ｄライトフィールドを表す未加工画像と呼称される、２Ｄ画像は、マイクロ画像ＭＩのアレイから構成されており、それぞれのマイクロ画像は、マイクロレンズアレイ２１０の個々のマイクロレンズ（ｉ，ｊ）によって生成されている。マイクロ画像は、軸ｉ及びｊによって定義された矩形の格子構造において、アレイとして配列されている。マイクロレンズ画像は、個々のマイクロレンズ座標（ｉ，ｊ）によって参照することができる。フォトセンサ２２０のピクセルＰＩは、その空間座標（ｘ，ｙ）によって参照することができる。所与のピクセルと関連付けられた４Ｄライトフィールドデータは、（ｘ，ｙ，ｉ，ｊ）として参照することができる。

４Ｄライトフィールド画像を表す（又は、定義する）方法には、いくつかのものが存在している。例えば、４Ｄライトフィールド画像は、図３を参照して上述したように、マイクロレンズ画像の集合体によって表現することができる。また、４Ｄライトフィールド画像は、プレノプティックカメラによって記録される際には、サブアパーチャ画像の組によって表すこともできる。それぞれのサブアパーチャ画像は、それぞれのマイクロレンズ画像から選択された同一場所のピクセルから構成されている。更には、４Ｄライトフィールド画像は、エピポーラ画像の組によって表すこともできるが、これは、ピクセルビームのケースには該当しない。

本発明の実施形態は、ピクセルビームの概念に基づいたライトフィールドデータの表現を提供している。この結果、フォーマット及びライトフィールド装置の多様性を考慮することができる。実際に、光線に基づいたフォーマットの欠点の１つは、ピクセルフォーマット及びサイズを反映するように、光線を表すパラメータを演算するべく使用されるパラメータ化プレーンをサンプリングしなければならないという点にある。即ち、有意な物理的情報を回復するように、サンプリングをその他のデータに沿って定義する必要がある。

図４に示されているように、ピクセルビーム４０は、カメラの光学系４１の物体空間内の光線の組によって占有された容積を表している。光線の組は、前記光学系４１の瞳孔４４を通じて、カメラのセンサ４３のピクセル４２によって検知されている。光線とは逆に、ピクセルビーム４０は、自由にサンプリングされてもよく、その理由は、これらが、それ自体において、物理的な光線のセクションに跨るエネルギーの保存に対応する「etendue」を伝達しているからである。

光学系の瞳孔は、前記光学系の一部、即ち、開口絞りに先行するカメラのレンズ、を通じて観察される前記開口絞りの像として定義される。開口絞りは、カメラの光学系を通過する光の量を制限する開口である。例えば、カメラレンズ内に配置された調節可能なダイアフラムが、レンズ用の開口絞りである。ダイアフラムを通過することが認められる光の量は、カメラのユーザーが認めることを所望する光の量、またはフィールドの深さに応じて適合されうるダイアフラム開口の直径によって制御されている。例えば、開口を小さくすれば、ダイアフラムを通過することが認められる光の量が低減され、しかし、フィールドの深さが増大する。絞りの見かけのサイズは、レンズの屈折動作に起因して、その物理的なサイズを上回ってもよく、或いは、下回ってもよい。形式的には、瞳孔は、カメラの光学システムを通じた開口絞りの像である。

ピクセルビーム４０は、入射瞳孔４４を介して光学系４１を通じて伝播する際に所与のピクセル４２に到達する光線の光束として定義される。光が自由空間内において直線上を進行するのに伴って、このようなピクセルビーム４０の形状は、ピクセル４２の共役４５である１つのものと、入射瞳孔４４であるもう１つのものという、２つのセクションによって定義することができる。ピクセル４２は、その非ヌル表面及びその感度マップによって定義される。

従って、ピクセルビームは、カメラの物体空間内の瞳孔５４及びピクセル４２の共役５５という、２つの要素によってサポートされた、図５に示されている、一葉双曲面５０によって表すことができる。

一葉双曲面は、光線の光束の概念をサポートしうる線織面であり、且つ、物理的な光ビームの「etendue」の概念との適合性を有する。

一葉双曲面は、線織面であることから、双曲面の、主光線と呼称される、回転軸を中心として回転する、生成光線と呼称される、直線の少なくとも１つのファミリーが、このような表面を表現している。双曲面の生成ラインのファミリーに属する主光線及び任意の生成光線を定義するパラメータの知識は、ピクセルビーム４０、５０を定義するのに十分なものである。

ピクセルビーム４０、５０を表す一般的な式は、次式のとおりであり、

ここで、（ｘ_０，ｙ_０，ｚ_０）は、（ｘ，ｙ，ｚ）座標系内のピクセルビームのウエストの中心の座標であり、ａ、ｂ、ｃは、それぞれ、Ｏ_ｘ、Ｏ_ｙ、Ｏ_ｚに沿った半軸の長さに一致しており、且つ、θ_ｘ、θ_ｙは、瞳孔４４の中心の入口との関係における主光線方向を定義している。これらは、センサ４３上のピクセル４２位置と、光学系４１の光学要素とに、に依存している。更に正確には、パラメータθ_ｘ、θ_ｙは、瞳孔４４の中心からのピクセル４２の共役４５の方向を定義するせん断角度を表している。但し、このようなピクセルビーム４０、５０の表現は、大量のストレージ空間を占有することになり、その理由は、光線を保存するための従来のファイルフォーマットが、３Ｄ空間内の位置及び方向を保存することを有しているからである。ピクセルビームの表現を保存するべく必要とされるストレージ空間の量を低減するための解決策については、図９Ｂを参照して後述する。

本質的に、主光線は、滑らかにカメラのマイクロレンズアレイのマイクロレンズの中心を通過するように振る舞うことになる一方において、生成光線は、マイクロレンズの境界上において相対的に強力な逸脱を経験する。この生成光線の妨害により、図９Ｂを参照して説明されている方法を実行することが困難になり、その理由は、前記方法が、光線の順序付けられた集合体と共に稼働しているからである。これを目的として、本発明の発明者らは、このような生成光線のソートされた集合体を図９Ｂによる方法に対して供給するべく、カメラのピクセルビームの集合体の生成光線をソートする方法を提案している。

図６Ａは、本発明の１つ又は複数の実施形態によるカメラのピクセルビームの集合体の生成光線をソートする装置の主要なモジュールを概略的に示すブロックダイアグラムである。

装置６００は、バス６０６によって接続されたプロセッサ６０１、ストレージユニット６０２、入力装置６０３、表示装置６０４、及びインターフェイスユニット６０５を含む。当然のことながら、コンピュータ装置６００の構成要素は、バス接続以外の接続によって接続することもできる。

プロセッサ６０１は、装置６００の動作を制御している。ストレージユニット６０２は、プロセッサ６０１によって実行される、カメラのピクセルビームの集合体の生成光線をソートできる少なくとも１つのプログラムと、光学取得システムの光学系２１０に関係するパラメータ、プロセッサ６０１によって実行される演算によって使用されるパラメータ、プロセッサ６０１によって実行される演算の中間データなどを含む、様々なデータと、を保存している。プロセッサ６０１は、任意の既知の、且つ、適切な、ハードウェア、又はソフトウェア、或いは、ハードウェア及びソフトウェアの組合せによって形成することができる。例えば、プロセッサ６０１は、処理回路などの専用のハードウェアにより、或いは、そのメモリ内において保存されたプログラムを実行するＣＰＵ（Central Processing Unit）などのプログラム可能な処理ユニットにより、形成することができる。

ストレージユニット６０２は、任意の適切なストレージにより、或いは、プログラム、データ、又はこれらに類似したものをコンピュータ可読方式によって保存する能力を有する手段により、形成することができる。ストレージユニット６０２の例は、半導体メモリ装置などの一時的ではないコンピュータ可読ストレージ媒体と、読み取り及び書き込みユニット内に装填される磁気的、光学的、又は磁気光学的記録媒体と、を含む。プログラムは、プロセッサ６０１が、光学系の物体空間内の、光線の組によって占有された容積を表すパラメータを演算すると共に、図９Ｂを参照して後述する本開示の一実施形態に従って光学取得システムによってキャプチャされた画像によってこれらのパラメータをエンコードするためのプロセスを実行するようにしている。

入力装置６０３は、光学系の物体空間内の、光線の組によって占有された容積のパラメトリック表現を生成するために使用されるパラメータのユーザーの選択を実施するためのコマンドを入力するべく、ユーザーによって使用される、キーボード、マウスなどのポインティング装置、或いは、これらに類似したものによって形成することができる。出力装置６０４は、例えば、本開示の一実施形態に従って生成される画像である、グラフィカルユーザーインターフェイス（ＧＵＩ：Graphical User Interface）を表示するべく、表示装置によって形成することができる。入力装置６０３及び出力装置６０４は、例えば、タッチスクリーンパネルにより、一体的に形成されてもよい。

インターフェイスユニット６０５は、装置６００と外部装置の間のインターフェイスを提供している。インターフェイスユニット６０５は、ケーブル又は無線通信を介して外部装置と通信自在であってもよい。一実施形態においては、外部装置は、カメラ、またはそのようなカメラを内蔵したモバイル電話のようなポータブル機器、またはタブレットであってもよい。

図６Ｂは、本発明の１つ又は複数の実施形態によるカメラのピクセルビームの集合体の生成光線をソートする方法のステップを示すフローチャートである。

ピクセルビームの集合体を表すすべての生成光線が基準直線Δと交差している際には、この知識を使用することにより、ピクセルビームの集合体のピクセルビームを表すデータの次元を１つだけ低減することができる。本発明の一実施形態によるピクセルビームの集合体の生成光線をソートする方法は、このプロパティに依存している。

プレノプティック機能の２平行プレーンパラメータ化の例において、ピクセルビームを表す双曲面の基準直線Δ及び生成光線ρが、それぞれのプレーン内の２つの座標によって表されるものと定義しよう。

ρ及びΔは、互いに交差していることから、第１プレーンｘ_１Ｏ_１ｙ_１及び第２プレーンｘ_２Ｏ_２ｙ_２内の基準直線Δ及び第１プレーンｘ_１Ｏ_１ｙ_１及び第２プレーンｘ_２Ｏ_２ｙ_２内の生成光線ρをそれぞれ定義する４つの地点Ｍ_Δ１、Ｍ_Δ２、Ｍ_１、Ｍ_２は、パラメータｋが、

として定義されうるように、２つの平行なプレーンｘ_１Ｏ_１ｙ_１及びｘ_２Ｏ_２ｙ_２と交差する同一のプレーン内に配置されている。その結果、基準直線Δの座標（ｘ_Δ１，ｙ_Δ１，ｘ_Δ２，ｙ_Δ２）を知ることにより、トリプレット（ｘ_１，ｙ_１，ｋ）により、Δと交差する任意の生成光線ρを定義することができる。従って、次元が４から３に低減される。

同一の次元の低減に伴い、その他のパラメータ化を想定することもできる。

例えば、基準直線Δを知ることにより、トリプレット（ｘ_１，ｙ_１，ｚ_ＩΔ１）により、生成光線（Ｍ_１，Ｉ_Δ）を定義することが可能であり、この場合に、Ｉ_Δは、基準直線Δと生成光線ρの間の交差点であり、且つ、ｚ_ＩΔ１は、Ｏｚに沿ったＩ_Δの座標である。

予備ステップＳ６０１において、カメラを較正することにより、或いは、リモートサーバー内において、又はカメラのメモリ２９０又はカメラに接続されたフラッシュディスクなどのローカルストレージ上において、保存されたデータファイルから、このようなパラメータを取得することにより、カメラのセンサのピクセルに関連付けられた異なるピクセルビームを定義するパラメータ（ｘ_０，ｙ_０，ｚ_０）、ａ，ｂ，ｃ、及びθ_ｘ，θ_ｙが取得されている。この取得又は較正は、装置６００のプロセッサ６０１によって実行することができる。

パラメータ（ｘ_０，ｙ_０，ｚ_０）、ａ，ｂ，ｃ、及びθ_ｘ，θ_ｙの値の演算は、例えば、カメラの光学系を通じた光線の伝播をモデル化する能力を有するプログラムを実行することにより、実現される。このようなプログラムは、例えば、Ｚｅｍａｘ（著作権）、ＡＳＡＰ（著作権）、又はＣｏｄｅＶ（著作権）などの光学設計プログラムである。光学設計プログラムは、光学系を設計及び分析するべく使用される。光学設計プログラムは、光学系を通じた光線の伝播をモデル化し、且つ、単純なレンズ、非球面レンズ、屈折率分布型レンズ、ミラー、及び回折光学要素などのような光学要素の効果をモデル化することができる。光学設計プログラムは、装置６００のプロセッサ６０１によって実行することができる。

プロセッサ６０１によって実行されるステップＳ６０２において、ピクセルビームの主光線のせん断が除去されている。主光線のせん断の除去は、次式の記述を有し、

これは、以下のように、その主光線がＯ_ｚ軸に平行である一葉双曲面を付与し、

ここで

は、双曲面の表面に属するポイントの座標であり、且つ、（ｘ_０，ｙ_０，ｚ_０）は、検討対象のピクセルビームのウエストの中心の座標である。

ステップＳ６０３において、プロセッサ６０１は、座標（ｘ_０，ｙ_０，ｚ_０）のポイント上の双曲面のセンタリングを演算し、且つ、次いで、双曲面の正規化を演算しており、その結果、次式が得られる。

この結果、式（１）は、次式として読み替えられる。
Ｘ^２＋Ｙ^２−Ｚ^２＝１ （４）

ピクセルビームのせん断除去と、その後のセンタリング及び正規化は、（ｘ，ｙ，ｚ）座標を（Ｘ，Ｙ，Ｚ）座標に変換する関数

の使用に戻る。

双曲面の中心軸は、Ｏｚ軸であることから、この軸に属する２つのポイントは、（ＸＹＺ）座標系において、座標（０，０，０）及び（０，０，１）という組を有する。オリジナルの座標系（ｘ，ｙ，ｚ）において変換して戻された、双曲面のこの中心軸は、ピクセルビームの主光線ρ_Ｃである。

式（４）によって定義された双曲面は、
・生成光線の第１のファミリーは、例えば、ζ＝１などの、任意の

について、座標の第１ポイント（１，０，０）及び座標の第２ポイント（１，ζ，ζ）を結合する直線のＯＺ軸を中心とした回転によって付与され、且つ、
・生成光線の第２ファミリーは、任意の

について、座標のポイント（１，０，０）及び座標の第３ポイント（１，−ζ，ζ）を結合する直線のＯＺ軸を中心とした回転によって付与される、
という生成光線の２つのファミリーを有する。

オリジナルの座標系において変換して戻された、これらの生成光線のうちの任意のものをピクセルビームの生成光線であるρ_Ｇ０として選択することができる。

本発明の一実施形態による方法の以下の説明においては、（ＸＹＺ）座標系において、その座標が（１，０，０）であるＧ_０と、その座標が（１，１，１）であるＩ_０と、という２つのポイントが、（ＸＹＺ）座標系における初期生成光線ρ_Ｇ０を定義している。

ステップＳ６０４において、プロセッサ６０１は、先程定義された関数Ｔをカメラの物体空間内の基準直線Δに対して適用している。本発明の一実施形態においては、基準直線Δは、カメラのメインレンズの光軸である。本発明の別の実施形態においては、基準直線Δは、カメラのレンズアレイの中心軸であり、第３実施形態においては、基準直線Δは、カメラのメインレンズの光軸との間において

以下の角度を形成する方向を有するラインである。

基準直線Δは、（ｘ，ｙ，ｚ）座標系における座標の２つのポイントＰ_Δ０（ｘ_Δ０，ｙ_Δ０，ｚ_Δ０）及びＰ_Δ１（ｘ_Δ１，ｙ_Δ１，ｚ_Δ１）によって定義されている。

関数ＴをＰ_Δ０及びＰ_Δ１の座標に適用することにより、（ＸＹＺ）座標系において、次式が得られる。

ピクセルビームの主光線ρ_Ｃは、（ＸＹＺ）座標系におけるＯｚ軸であることから、主光線ρ_Ｃを中心とした角度φの回転は、次式の回転行列によって付与される。

ρ_Ｇφ（Ｇ_φ，Ｉ_φ）を、主光線ρ_Ｃを中心とした角度φの回転による生成光線ρ_Ｇ０（Ｇ_０，Ｉ_０）の画像と命名することにより、ポイントの座標Ｇ_φ及びＩ_φは、次式によって付与される。

ステップＳ６０５において、プロセッサ６０１は、変換済みの生成光線と呼称される、生成光線ρ_Ｇ０の２つの画像光線ρ_Ｇφａ及びρ_Ｇφｂの演算を可能にする２つの別個の回転角度φ_ａ及びφ_ｂの値を演算している。生成光線ρ_Ｇ０の２つの画像光線、即ち、光線ρ_Ｇφａ及びρ_Ｇφｂは、それぞれ、主光線ρ_Ｃを中心とした角度φ_ａ及びφ_ｂの回転によって得られる。

回転角度φの値は、所与の生成光線ρ_Ｇφが基準直線Δと交差した際に、即ち、基準直線Δと生成光線ρ_Ｇφの間の距離が０に等しい際に、得られる。

次式

を有する２つの傾斜ラインの間の距離は、（Gellert et al. 1989, p. 538）により、付与される。

これは、

を定義することにより、以下のように、簡潔な形態において記述することができる。

現時点のケースにおいては、

の場合に、ｘ_１＝Ｐ_Δ０であり、且つ、ｘ_２＝Ｐ_Δ１であり、且つ、ｘ_３＝Ｇ_φであり、且つ、ｘ_４＝Ｉ_φである。

２つの直線の間の距離がゼロに等しい場合には、次式の演算に戻る。

基準直線Δ及び生成光線ρ_Ｇφのケースにおいては、次式のとおりである。

Ａ、Ｂ、及びＣが、次式のとおりである場合に、Ｄ＝Ａ．ｃｏｓφ＋Ｂ．ｓｉｎφ−Ｃと記述される。

次式により、Ｄ＝０を付与するφにおける２つの解を見出すことができる。

弁別式：∧＝４．Ａ^２．Ｂ^２−４．（Ｂ^２−Ｃ^２）．（Ａ^２−Ｃ^２）＝４．（Ａ^２＋Ｂ^２−Ｃ^２）．Ｃ^２

これは、次式のような２つの解をもたらす。

従って、２つの角度φ^＋及びφ⁻が、基準直線Δと交差するものとして、所与の生成光線ρ_Ｇφについて識別される。

同一の双曲面について生成光線の２つのファミリーが存在していることから、ピクセルビームを生成する４つの異なる光線が、生成光線の２つのファミリーのそれぞれごとに２つずつ、基準直線Δと交差している。１つの生成光線が、基準直線と交差している４つの生成光線のうちから選択される。次いで、選択された生成光線は、ステップＳ６０６において、オリジナルの座標系において変換して戻される。

従って、本発明の一実施形態においては、２つ光線ρ_Ｇφａ及びρ_Ｇφｂは、ピクセルビームを生成する４つの異なる光線のうちから選択されている。

この方法は、カメラの異なるピクセルビームに対して実行される。即ち、光線の２つの集合体が取得され、第１の光線の集合体は、カメラのピクセルビームの第１の変換済みの生成光線ρ_Ｇφａを含み、且つ、第２の光線の集合体は、第２の変換済みの生成光線ρ_Ｇφｂを含む。

ステップＳ６０７において、変換済みの生成光線ρ_Ｇφａ及びρ_Ｇφｂは、０≦φ_ｂ−φ_ａ＜πとなるように、必要に応じて、生成光線の集合体内において再順序付けされている。

ステップＳ６０８において、画像光線ρ_Ｇφａ又はρ_Ｇφｂのうちの１つと主光線ρ_Ｃの間の最短距離ｄが演算されている。この最短距離ｄは、ピクセルビームを表す双曲面のウエストに対応しており、且つ、本発明の一実施形態による方法のステップＳ６０５を参照して上述したように、(Gellert et al. 1989, p. 538)によって付与されている方法に従って演算される。

次いで、ピクセルビームを表すためのコンパクトなフォーマットを提供するべく、本発明による方法のステップＳ６０１〜Ｓ６０８に従って演算された、ピクセルビームを表す、３つのパラメータ（ρ_Ｇφａ，ρ_Ｇφｂ，ｄ）が、図９Ｂを参照して後述する方法において使用される。

トリプレット（ρ_Ｇφａ，ρ_Ｇφｂ，ｄ）を知ることにより、ピクセルビームを再構築することができる。画像光線ρ_Ｇφａ及びρ_Ｇφｂは、生成光線の同一のファミリーに属していることから、これら２つのラインは、決して交差することがなく、且つ、相対的に短い距離に位置する２つ地点は、ピクセルビームの相対的に小さな半径の円上に、即ち、そのウエスト上に、位置している。

２つの地点であるＭ_Ｇａ及びＭ_Ｇｂが、その他のラインから相対的に短い距離に位置しており、且つ、空間内のベクトルである

が、これら２つの地点を結合しているものと定義しよう。文献から、

であることが知られており、この場合に、ｋ_ａｂは、定数であり、

は、ρ_Ｇａ及びρ_Ｇｂの単位ベクトルであり、且つ、×は、外積である。

同様に、Ｍ_ＧａとＭ_Ｇｂの間の中間地点であるＭ_ａｂを定義しよう。対称性を理由として、主光線ρ_Ｃは、光線ファミリーを生成するピクセルビームの回転軸であることから、
１）ρ_Ｃは、

に対して垂直であるＭ_ａｂを通じたプレーンΠ上において位置し、
２）ρ_Ｃは、

に対して平行であるその単位ベクトルを有し、これにより、ピクセルビームのウエストの中心であるＭ_Ｃがノルムと命名され、且つ、ベクトルである

の向きが演算される。

は、プレーンΠ内に位置しており、且つ、対称性の理由から、

に対して垂直であることを知ることにより、

と表現することが可能であり、この場合に、ｋ_Ｃ⊥は、ウエスト半径ｄに応じて判定される定数である。ｋ_Ｃ⊥は、正又は負であってもよく、これにより、

ベクトルの一側部又は他側部においてウエスト円を定義している。

但し、画像光線ρ_Ｇφａ及びρ_Ｇφｂが＋ｚに向かって方向付けられており（この場合には、単位ベクトルのｚ座標は、正である）、且つ、これらは、０≦φ_ｂ−φ_ａ＜πとなるように順序付けられている、という条件が、ｋ_Ｃ⊥が正として定義されるように、外積ベクトルの向きを制約している。

３）ｋ_Ｃ⊥値は、

（且つ、同時に、対称性の理由から、

）となるように調節されている。

条件１、２、及び３は、ピクセルビームの再構築を可能にするトリプレット（ρ_Ｇφａ，ρ_Ｇφｂ，ｄ）から主光線ρ_Ｃを定義している。

相対的に小さなストレージ空間を必要としている、光線を保存するファイルフォーマットを提案するべく、図７Ａに示されているキューブを参照し、ライトフィールド放射輝度の４つの次元をパラメータ化する方法について説明することができる。ライトフィールドをパラメータ化するべく、キューブのすべての６つの面を使用することができる。方向をパラメータ化するべく、キューブの面に対して平行であるプレーンの第２の組を追加することができる。その結果、次式：

のように、軸方向に沿って法線を有するプレーンの６つのペアとの関係において、ライトフィールドを定義することができる。

図７Ｂは、それぞれ、互いに平行に位置決めされると共に既知の深さｚ_１及びｚ_２において配置された、パラメータ化に使用される２つの基準プレーンＰ１及びＰ２を通過する、ピクセルビームを定義する生成光線などの、ライトフィールド光線を示している。ライトフィールド光線は、深さｚ_１において、交差点（ｘ_１，ｙ_１）において第１基準プレーンＰ_１と交差し、且つ、深さｚ_２において、交差点（ｘ_２，ｙ_２）において第２基準プレーンＰ_２と交差している。その結果、ライトフィールド光線は、４つの座標（ｘ_１，ｙ_１，ｘ_２，ｙ_２）によって識別することができる。従って、ライトフィールドは、それぞれのライトフィールド光線が、４Ｄ光線空間において、ポイント（ｘ_１，ｙ_１，ｘ_２，ｘ_２，）∈Ｒ^４として表される状態において、本明細書においてパラメータ化プレーンとも呼称されている、パラメータ化Ｐ_１、Ｐ_２用の基準プレーンのペアにより、パラメータ化することができる。従って、これは、カメラのピクセルビームの集合体のそれぞれの生成光線ごとに、実行される。

例えば、基準座標系の原点は、座標軸系の基本ベクトル

によって生成されるプレーンＰ_１の中心において配置することができる。

軸は、生成されたプレーンＰ_１に対して垂直であり、且つ、わかりやすさを目的として、第２プレーンＰ_２は、

軸に沿ったプレーンＰ_１からの距離ｚ＝Δにおいて配置することができる。６つの異なる伝播の方向を考慮するべく、このようなプレーンの６つのペアにより、ライトフィールド全体を特徴付けることができる。しばしばライトスラブと呼称される、プレーンのペアが、伝播の方向に沿ってライトフィールドカメラのセンサ又はセンサアレイとやり取りしているライトフィールドを特徴付けている。

パラメータ化用の基準プレーンの位置は、次式：

として付与することが可能であり、ここで、

は、法線であり、且つ、ｄは、法線の方向に沿った３Ｄ座標系の原点からのオフセットである。

パラメータ化用の基準プレーンのデカルト式は、次式として付与することができる。

ライトフィールド光線が、

という既知の位置と、

という正規化された伝播ベクトルと、を有する場合には、３Ｄにおける光線の一般的なパラメトリック方程式は、次式：

として付与することができる。

ライトフィールド光線と基準プレーンの間の交差点である

の座標は、次式：

として付与される。

以下の条件が充足されない場合には、ライトフィールド光線と基準パラメータ化の間に交差点は存在していない。

ライトフィールドをパラメータ化するべく使用される基準プレーンのペアのシステムの軸のうちの１つに伴う垂直性に起因して、光線交差点の成分の１つは、それぞれのプレーンごとに、常に一定である。従って、第１基準プレーンとの間におけるライトフィールド光線の交差点

と、第２基準プレーンとの間における前記ライトフィールドの交差点

と、が存在している場合には、４つの座標は、変化し、且つ、ライトフィールド光線の４つのパラメータを算出するべく、式Ａを使用することができる。これら４つのパラメータは、ライトフィールドの４Ｄ光線図を構築するべく、使用することができる。

２つのパラメータ化基準プレーンを参照したライトフィールドのパラメータを仮定することにより、ライトフィールドを表すデータを以下のように取得することができる。基準システムが、図８に描かれているように設定されている場合には、第１パラメータ化プレーンＰ１は、ｚ＝ｚ１においてｚ軸に対して垂直であり、第２パラメータ化プレーンＰ２は、ｚ＝ｚ２においてｚ軸に対して垂直に配置されており、且つ、そのライトフィールドパラメータがＬ（ｘ１；ｙ１；ｘ２；ｙ２）である光線は、ライトフィールドカメラのフォトセンサアレイが位置決めされる場所ｚ＝ｚ３においてレンダリングする必要がある。式（Ａ）から、次式のとおりである。

上述の式を展開することにより、次式が得られる。

式の両方の組は、新しい場所におけるレンダリングされたライトフィールド光線として、同一のポイント

を供給することになろう。ｕ_ｘ，ｕ_ｙ，ｕ_ｚを

の関数としてのそれぞれの対応する式によって置換することにより、以前のブロックからの式の第２の組が使用され、且つ、ｘ３及びｙ３が１つに加算される場合には、次式のとおりである。

これは、以下の式をもたらす。

添え字_３を有する座標は、ライトフィールドがレンダリングされる既知のポイント（ｘ_３，ｙ_３，ｚ_３）に関係している。すべての深さ座標ｚ_ｉは、既知である。パラメータ化プレーンは、伝播又はレンダリングの方向において位置している。ライトフィールドデータパラメータＬは、（ｘ_１，ｙ_１，ｘ_２，ｙ_２）である。

ポイント（ｘ_３，ｙ_３，ｚ_３）において画像を形成するライトフィールド光線は、

においてハイパープレーンを定義する式（Ｂ）によってリンクされている。

これは、画像が２プレーンパラメータ化ライトフィールドからレンダリングされる場合には、ハイパープレーンの近傍内の光線のみをレンダリングする必要があり、それらを追跡する必要はないことを意味している。図９Ａは、本発明の１つ又は複数の実施形態によるライトフィールドを表すデータを生成する方法のステップを示すフローチャートである。図９Ｂは、本発明の１つ又は複数の実施形態によるライトフィールドを表すデータを生成するシステムの主要なモジュールを概略的に示すブロックダイアグラムである。

方法の予備的ステップＳ８０１において、生成光線を定義するパラメータと、カメラのセンサのピクセルに関連付けられた異なるピクセルビームの生成光線の１つと主光線ρＣの間の最短距離と、が取得されている。これらのパラメータは、上述の生成光線をソートする方法の結果として得られる。

このようなパラメータは、異なるピクセルの基準直線と交差する２つの生成光線の座標である。

別の予備的ステップＳ８０２において、未加工のライトフィールドデータが、ライトフィールドカメラ８０１により、取得されている。未加工のライトフィールドデータは、例えば、図３を参照して説明したマイクロ画像の形態を有することができる。ライトフィールドカメラは、図１Ａ又は図１Ｂ並びに図２Ａ及び図２Ｂに示されているものなどの、ライトフィールドカメラ装置であってもよい。

ステップＳ８０３において、取得されたライトフィールドデータは、個々の深さｚ_１、ｚ_２におけるパラメータ化用の基準プレーンのペアＰ_１、Ｐ_２との間における、ピクセルビーム４０、５０の基準直線と交差する生成光線に対応する、キャプチャされたライトフィールド光線の交差点を定義する交差点データ（ｘ_１，ｙ_１，ｘ_２，ｙ_２）を提供するべく、光線パラメータモジュール８０２によって処理されている。

カメラの較正から、投影の中心（ｘ_３，ｙ_３，ｚ_３）、カメラの光軸の向き、及びカメラのピンホールからフォトセンサのプレーンまでの距離ｆという、パラメータを判定することができる。図１０には、ライトフィールドカメラパラメータが示されている。フォトセンサプレーンは、深さｚ_ｐにおいて配置されている。フォトセンサのピクセル出力は、ライトフィールド光線の幾何学的表現に変換されている。２つの基準プレーンＰ_１及びＰ_２を含むライトスラブは、フォトセンサに対するカメラの投影の中心の他側において、ｚ_３を超えて、それぞれ、深さｚ_１及びｚ_２において配置されている。三角形の原則を光線に適用することにより、マイクロレンズのアレイから投影された光を記録するピクセル座標（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）は、以下の式を適用することにより、光線パラメータに、即ち、基準プレーン交差点（ｘ_１，ｙ_１，ｘ_２，ｙ_２）に、マッピングすることできる。

上述の計算は、異なるトリプレットのペア（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）（ｘ_３，ｙ_３，ｚ_３）を有する複数のカメラに拡張することができる。

プレノプティックカメラのケースにおいては、アパーチャを有するカメラモデルが使用され、且つ、ライトフィールド光線は、原点（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）及び方向（ｘ’_３，ｙ’_３，１）を有するものとして、位相空間内において記述される。深さｚ_３におけるプレーン（ｘ_３、ｙ_３）上へのその伝播は、行列変換として記述することができる。レンズは、光線を屈折させるべく、ＡＢＣＤ行列として機能することになり、且つ、別のＡＢＣＤ伝播行列が光線をライトスラブ基準プレーンＰ_１及びＰ_２上に配置することになる。

このステップから、基準プレーンＰ_１、Ｐ_２との間における、基準直線と交差する生成光線の交差点を幾何学的に定義する交差点データ（ｘ_１，ｙ_１，ｘ_２，ｙ_２）が取得される。

ステップＳ８０４において、交差点データ（ｘ_１，ｙ_１，ｘ_２，ｙ_２）をグラフィカルに表す２Ｄ光線図が、光線図生成器モジュール８０３によって取得されている。

図１１は、アパーチャ｜Ａ｜＜０．５を有する、場所ｘ_３＝２及び深さｚ_３＝２におけるカメラによってキャプチャされたライトフィールド光線の交差点データ（ｘ_１，ｘ_２）をグラフィカルに表す２Ｄ光線図である。パラメータ化するべく使用される光線図のデータラインが、２５６×２５６個のピクセルの画像を提供する２５６個のセルによってサンプリングされている。

図１１に示されている光線図を行列として解釈すれば、これは、まばらに入力されていることがわかる。光線が、４Ｄ位相空間行列の代わりに、ファイル内において、個別に保存される必要がある場合には、これは、それぞれの光線ごとに、それぞれの位置ｘ_ｉ又はｘ_３ごとに少なくとも２バイト（ｉｎｔ１６）と、これに加えて、色用の３バイト、即ち、２Ｄスライスライトフィールドの場合には、７バイト／光線、そして、そのフル４Ｄ表現の場合には、１１バイト／光線、を保存することを必要とすることになろう。その場合にも、光線は、ファイル内においてランダムに保存されることになり、これは、表現の操作を必要としている用途の場合には、適していないであろう。本発明の本発明者らは、光線図行列から代表データのみを抽出すると共にデータを構造化された方式によってファイル内において保存する方法を判定した。

ライトフィールド光線は、２Ｄ光線図のデータラインに沿ってマッピングされることから、ライン値自体ではなく、データラインを定義するパラメータを保存するほうが効率的である。そのデータラインに属するライトフィールド光線の組と共に、例えば、勾配定義パラメータｓ及び軸切片ｄなどの、データラインを定義するパラメータを保存することができる。

これは、例えば、勾配パラメータｓ用に２バイト、切片パラメータｄ用に２バイト、そして、その結果、光線当たりには、３バイトというほどに、少ない容量しか必要としえないであろう。更には、光線をファイル内においてラインに沿って順序付けすることもできる。行列セルを通じてラインを設定するべく、最小誤差を有する光線ラインを近似する、所謂、デジタルラインが生成される。

データラインを見出すべく、且つ、勾配パラメータｓ及び切片パラメータｄを取得するべく、ステップＳ８０５において、ライン検出モジュール８０４により、ステップＳ８０４において生成された光線図に対してラドン変換が実行されている。

ステップＳ８０６において、デジタルライン生成モジュール８０５により、取得された勾配パラメータｓ及び切片パラメータｄから、代表的なデジタルラインが生成されている。このステップにおいては、デジタルラインは、例えば、ブレゼンハムのアルゴリズムを適用することにより、分析ラインをその最も近いグリッドポイントに対して近似することにより、生成されている。実際に、ブレゼンハムのアルゴリズムは、最小の演算を有するデジタルラインを提供する方法を提供している。その他の方法は、高速離散ラドン変換計算を適用することができる。ブレゼンハムアプリケーションの一例は、以下の参考文献：http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.htmlから適合されたものである。

デジタルフォーマットは、グリッドの２つのポイント（０，ｄ）及び（Ｎ−１，ｓ）によってデータラインを定義しており、ここで、ｄは、ｘ_１＝０である際のｘ_２の値に対応する交差点であり、且つ、ｓは、ｘ_１＝Ｎ−１である際のｘ_２の値に対応する勾配パラメータである。生成されたデジタルフォーマットから、それぞれの個々のラインの勾配ａは、ｄ、Ｎ、及びｓの関数として、次式：

（ここで、ｓ∈｛０，１，…．Ｎ−１｝であり、且つ、ｄ∈｛０，１，…．Ｎ−１｝である）として表現することができる。

図１２は、ブレゼンハムのアルゴリズムの適用によって生成されたデジタルラインの一例を示している。

図１３は、同一の勾配ａ（或いは、ｓ−ｄ）を有するが、異なる切片ｄを有する、デジタルラインのグループを示しており、この場合に、このデータラインのグループは、連続的である。このデータラインのグループは、本明細書においては、ラインの束と呼称され、且つ、カメラが理想的なピンホールカメラではない結果として得られるビームに対応している。それぞれのラインは、異なるピクセルをアドレス指定している。換言すれば、１つのピクセルは、同一の勾配を有するが、異なる切片を有する、束の一意のラインにのみ属している。軸交差点ｄの上部及び下部境界は、それぞれ、ｄ_ｍａｘ及びｄ_ｍｉｎとして付与されている。

（２Ｄにおける）サンプリングされたラインのペアによってパラメータ化されると共に１つのカメラに属している、光線データは、データを表すべく使用される位相空間内においてデジタルライン（ビーム）のファミリーに属している。ビームのヘッダは、ビームの勾配ａと、軸交差点ｄ_ｍａｘ−ｄ_ｍｉｎの上部及び下部境界によって定義された太さと、のみを含むことできる。光線値は、そのヘッダがｄ及びｓでありうるデジタルラインに沿ったＲＧＢ色として保存されることになる。サンプリングされた空間内の光線図の空のセルは、保存する必要がない。光線の座標ｘ_１，ｘ_２は、パラメータｄ、ｓから、且つ、デジタルラインに沿ったセルの位置から、推定することができる。

ライトフィールドから、或いは、カメラの形状から、推定されるパラメータは、勾配ａ、デジタルライン切片の下部及び上部境界（ｄ_ｍｉｎ，ｄ_ｍａｘ）、デジタルラインパラメータ（ｄ_ｉ，ｓ_ｉ）である。離散ラドン変換については、光線図内におけるライトフィールドのサポート場所を計測するためのツールとして既に説明済みである。

図１４Ｂは、図１４Ａのデータラインのデジタルラインパラメータ空間（ｄ，ｓ）における離散ラドン変換を示している。図１４Ｃは、図１４Ｂに含まれている対象の領域のズームである。最大値パラメータについてのサーチにより、デジタルラインのビームが見出される。ＤＲＴの対称性の幾何学的中心と最大値の実際の位置の間には、画像コンテンツに起因して、なんらかのオフセットが存在する可能性があり、その結果、後から、最大値の代わりに、対称性の中心の位置を示すべく、アルゴリズムが使用される。その結果、値（ｄ_ｍｉｎ，ｄ_ｍａｘ）を付与するべく、図１３Ｃに示されているビーム変換のウエストを見出すのは、容易である。ポイント（ｄ_ｍｉｎ＝７４，ｓ＝２０１）は、図１２Ａからのデジタルラインのビームの下部エンベロープであり、且つ、ポイント（ｄ_ｍａｘ＝８１，ｓ＝２０８）は、デジタルラインのビームの上部エンベロープである。

式Ｂからの２つの直交２Ｄスライス化空間の式は、次式として付与される。
（ｚ_２−ｚ_３）（ｘ_１＋ｙ_１）＋（ｚ_３−ｚ_１）（ｘ_２＋ｙ_２）＝（ｚ_２−ｚ_１）（ｘ_３＋ｙ_３） （Ｃ）

ｘ_ｉ座標用の２Ｄスライスが取得された場合には、（ｘ_３，ｙ_３，ｚ_３）におけるサイズＡのアパーチャを通じた光線データがマッピングすることになるラインのビームの式は、次式：

として付与される。

同様に、２Ｄスライスがｙ_ｉ座標について取得された場合には、

のとおりである。

上述のように、ｍ及び

の値は、離散ドメインにおいて評価することができる。上述のフォーマットによって定義されたライトフィールドの特性を局所化するには、４Ｄ離散ラドン変換（ＤＲＴ）を実行する必要はない。２つの直交２Ｄ−ＤＲＴが取得された場合に、ハイパープレーンの勾配ｍと、すべてのデータが４Ｄ光線図内において集中するデジタルハイパープレーンのビーム幅と、の計測を実行することができる。

この相対的に単純な位置特定の手順は、

がすべてのハイパープレーン切片を含むことになり、フォーマットにおいて記述されているいくつかの値が値を含むことにならないように、円形の入射瞳孔Ａを仮定している。

２Ｄのケースについて提案されたものに類似した４Ｄケース用のフォーマットを取得することが興味深いであろう。これを実行するためには、Π（ｘ_１，ｘ_２）プレーン上において見出された２ＤラインをΠ（ｙ_１，ｙ_２）場所上において見出されるライン、即ち、Π（ｘ_１，ｘ_２）及びΠ（ｙ_１，ｙ_２）の２つの直交スライスとの間における対応するハイパープレーンの交差の結果として得られるライン、と関連付けることが興味深いであろう。式Ｄ及び式Ｅから、対応するラインが同一の勾配ｍを有することが判明している。これは、特定の深さにおけるカメラにおいて、Π（ｘ_１，ｘ_２）内のそれぞれのラインをΠ（ｙ_１，ｙ_２）内のラインに対して関連付ける第１のパラメータである。同一の深さにおいて複数のカメラが存在している場合（即ち、図１４Ａのケース）には、ｍという同一の推定された勾配を有する、Π（ｘ_１，ｘ_２）内の３つのラインと、Π（ｙ_１，ｙ_２）内の３つのラインと、が存在している。次いで、これら２つのプレーン内のラインの間のラインオフセットにおける対応性が判定される。これを実行するべく、式Ｄ及び式Ｅにおけるラインの公式が活用される。具体的には、

と表記することにより、オフセットは、次式のとおりである。

これらの式の組は、ｋ、ｘ_３、及びｙ_３について解くことができる。（ｘ_３，ｙ_３，ｚ_３）は、カメラの座標に、或いは、換言すれば、対応する光束が半径Ａの円内に合焦されるボクセルに、対応していることに留意されたい。我々は、

となるように、ｚ_３において位置決めされたプレーン上のアパーチャが円形であるものと想定しており、且つ、以前の式の組を解くことにより、次式が得られた。

デジタルラインは、以前と同様に、ブレゼンハムデジタルラインを使用することにより、Π（ｘ_１，ｘ_２）上においてスキャニングされてもよく、それぞれの個々の（ｘ_１，ｘ_２）値ごとに、ライトフィールド内においてキャプチャされた対応する（ｙ_１，ｙ_２）値が保存される。このような値を見出すべく、式Ｃが活用される。ｘ_３、ｙ_３、ｚ_３、ｚ_１、ｚ_２のすべては、既知であるか、或いは、式Ｆ及び式Ｇから推定されている。

Π（ｘ_１，ｘ_２）内のそれぞれのライン上において移動することにより、それぞれの

ごとに、（ｙ_１，ｙ_２）における以下の関係：

或いは、

が得られる。

Π（ｘ_１，ｘ_２）内のそれぞれのポイントごとに、Π（ｙ_１，ｙ_２）内のラインの集合体が保存される。ｄ_ｏｆｆは、

についてスキャニング及び保存されたラインのオフセットに対応している。次式：

に留意されたい。

図１２を参照すれば、それぞれの正方形は、

ポイントであり、且つ、これらのポイントのうちのそれぞれごとに、描かれたデータラインに対して垂直に、但し、４Ｄ空間内において、次式：

によって定義されたデジタル束に沿って図のプレーンから射出するブレゼンハムデジタルラインの組が存在している。

表１には、カメラ当たりのデータラインの束用の例示用のデータフォーマットが示されている。

第１に、４つの軸の境界ｘ_１、ｘ_２、ｙ_１、ｙ_２と、その対応するサンプリングと、を含む、４Ｄ空間の一般的なメタデータが提供されている。また、カメラ（束）の数も提供されている。それぞれのカメラｊごとに、以下のパラメータが保存されている。
アパーチャのサイズ：ピクセルビームの瞳孔の直径に対応したＡ_ｊ
カメラｃａｍｊの焦点：ｆｏｃｕｓＰｏｉｎｔ＝（ｕ_３，ｕ_３，ｗ_３）
（ｘ１_ｘ，２）＝ｄ_ｊにおける最小ｄ切片
急峻性＝ｍ_ｊ
（ｘ_１，ｘ_２）におけるデジタルラインの数＝

（ｙ_１、ｙ_２）におけるデジタルラインの数＝

それぞれのカメラ上において、それぞれの（ｘ^ｑ _１，ｘ^ｑ _２）ごとに、ブレゼンハムデジタルラインを使用することにより、式（Ｋ）との関係において、スキャニングが（ｙ_１，ｙ_２）上において開始され、且つ、それぞれのライトフィールド光線のＲＧＢ値が保存される。具体的には、

と、対応するｄ_ｏｆｆと、は、式（Ｋ）に従って算出される。

保存されているメタデータを使用することにより、同一の計算がデコーディングステップにおいて実行される。具体的には、式（Ｈ）を使用することにより、ｋが見出される。従って、フォーマットは、コンパクトな状態において留まっている。システム内においてそれぞれの光線ごとに４つのインデックスを保存する必要性は存在していない。上述のハイパープレーンのサンプリングは、４Ｄ光線空間のサンプリングであり、且つ、従って、単一のｘ_１；ｙ_１；ｘ_２；ｙ_２場所も見逃されないことに留意されたい。これは、非常にコンパクトな形態においてすべてのデータを保存するための４Ｄ光線空間のシステマチックなスキャニングの一例であるに過ぎない。当然のことながら、その他のプロセスを適用することもできる。このパラメトリックな形態は、ハイパープレーンを調査するべく適合されているものと考えられ、その理由は、これが、インターリーブされた空間の調査を許容しているからである。

ハイパープレーンのいくつかの束（複数のカメラに起因したラドン変換におけるいくつかの極大値）を含むデータを検討するための複数のカメラのケースにおいては、相対的に複雑なアルゴリズムを使用することができる。事前処理ステップとして、パラメータ（ｍ，ｋ）が、Π（ｘ_１，ｘ_２）のラドン変換において、すべてのピークについて見出され、且つ、１つの組として配置される。同一の内容が、（ｙ_１，ｙ_２）におけるピークについても実行され、且つ、パラメータが別の組として配置される。この結果、貪欲なアルゴリズムのそれぞれの反復において、最大ピーク強度が（ｘ_１，ｘ_２）の２Ｄラドン変換において見出され、且つ、予め見出されたパラメータ（ｍ，ｋ）をマッチングさせることにより、（ｙ_１，ｙ_２）における対応するピークが見出される。最後の節において言及したように、データを保存した後に、これらのピークは、ラドン変換からクリーニングされ、且つ、有意なものがライトフィールド内において存在しなくなる時点まで、次の反復が開始される。

以上、特定の実施形態を参照し、本発明について説明したが、本発明は、特定の実施形態に限定されるものではなく、且つ、当業者には、本発明の範囲に含まれる変更が明らかとなろう。

多くの更なる変更及び変形は、例としてのみ付与されていると共に、添付の請求項によってのみ判定される本発明の範囲の限定を意図したものではない、上述の例示用の実施形態を参照した際、それ自体が当業者に対して示唆されることになろう。具体的には、異なる実施形態からの異なる特徴が、適宜、相互交換可能でありうる。

Claims (15)

1. 光学取得システムの瞳孔を通過する光の光線の組と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、によって占有された前記光学取得システムの物体空間内の、容積を表すデータの組を生成するコンピュータ実装された方法であって、前記容積は、ピクセルビームと呼称される前記光の光線の組によって占有されている、方法において、
   一葉双曲面の回転軸である第２直線を中心として、第１生成光線と呼称される、前記ピクセルビームを表す前記双曲面の表面を記述する第１直線の第１回転角度を演算することであって、前記回転は、前記第１生成光線を基準直線と交差する第２生成光線に変換する、ことと、
   前記双曲面の前記回転軸を中心として、第３生成光線と呼称される、前記双曲面の前記表面を記述する第３直線の第２回転角度を演算することであって、前記回転は、前記第３生成光線を前記基準直線と交差する第４生成光線に変換し、これにより、前記第２又は第４生成光線のうちの１つと前記双曲面の前記回転軸の間の距離を演算することと、
   により、前記ピクセルビームを表すデータの組を生成することを含み、
   前記データの組は、前記第２生成光線を表すパラメータ、前記第４生成曲線を表すパラメータ、並びに、前記第２又は第４生成光線のうちの１つと前記双曲面の前記回転軸の間の前記距離を含む、方法。
2. 前記基準直線は、前記光学取得システムのメインレンズの光軸に対して平行である請求項１に記載の方法。
3. 前記基準直線は、前記光学取得システムのレンズアレイの中心軸に対して平行である請求項１に記載の方法。
4. それぞれ、前記第１及び前記第２回転角度を演算することは、
   −それぞれ、前記第１及び前記第３生成光線を定義するベクトルに回転行列を乗算することにより、それぞれ、前記第２及び第４生成光線を定義するベクトルの座標を演算することと、
   −それぞれ、前記第２及び第４生成光線と前記基準直線が互いに交差していることから、それぞれ、前記第２及び第４生成光線と前記基準直線の間の前記距離がゼロに等しいことに鑑み、それぞれ、前記第２及び第４生成光線及び前記基準直線を定義する地点及びベクトルに基づいて、それぞれ、前記第１及び第２回転角度の値を演算することと、
   を有する請求項１から３のいずれか１項に記載の方法。
5. 前記第２及び第４生成光線は、前記第１及び第２回転角度が増大する順序において配列されるように、前記ピクセルビームを表す前記データの組の前記生成の前に、ソートされる請求項１から４のいずれか１項に記載の方法。
6. 前記第２又は第４生成光線のうちの１つと前記双曲面の前記回転軸の間の前記演算された距離は、前記第２又は第４生成光線のうちの１つと前記双曲面の前記回転軸の間の最短距離である請求項１から５のいずれか１項に記載の方法。
7. 光学取得システムの瞳孔を通過する光の光線の組と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、によって占有された、前記光学取得システムの物体空間内の、容積を表すデータの組を生成する装置であって、前記光の光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記装置は、
   葉双曲面の回転軸である第２直線を中心として、第１生成光線と呼称される、前記ピクセルビームを表す前記双曲面の表面を記述する第１直線の第１回転角度を演算することであって、前記回転は、前記第１生成光線を基準直線と交差する第２生成光線に変換する、ことと、
   前記双曲面の前記回転軸を中心として、第３生成光線と呼称される、前記双曲面の前記表面を記述する第３直線の第２回転角度を演算することであって、前記回転は、前記第３生成光線を前記基準直線と交差する第４生成光線に変換し、これにより、前記第２又は第４生成曲線のうちの１つと前記双曲面の前記回転軸の間の距離を演算することと、
   により、前記ピクセルビームを表すデータの組を生成するように構成されたプロセッサを含み、
   前記データの組は、前記第２生成光線を表すパラメータ、前記第４生成光線を表すパラメータ、及び前記第２又は第４生成光線のうちの１つと前記双曲面の前記回転軸の間の前記距離を含む、装置。
8. 前記プロセッサは、
   それぞれ、前記第１及び第３生成光線を定義するベクトルに回転行列を乗算することにより、それぞれ、前記第２及び第４生成光線を定義するベクトルの座標を演算することと、
   それぞれ、前記第２及び第４生成光線と前記基準直線が互いに交差していることから、それぞれ、前記第２及び第４生成光線と前記基準直線の間の前記距離がゼロに等しいことに鑑み、それぞれ、前記第２及び第４生成光線及び前記基準直線を定義するベクトルに基づいて、それぞれ、前記第１及び第２回転角度の値を演算することと、
   により、それぞれ、前記第１及び第２回転角度を演算するように構成されている請求項７に記載の装置。
9. ライトフィールドコンテンツをレンダリングする方法であって、
   一葉双曲面の回転軸と基準直線と交差する、第１生成光線と呼称される、前記双曲面の表面を記述する第２直線の間の距離を使用することにより、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表す前記双曲面の回転軸である第１直線の座標を演算することであって、前記容積は、ピクセルビームと呼称される、ことと、
   前記双曲面の前記回転軸の座標及び前記第１生成光線を表すパラメータ、並びに、前記基準直線と交差する、第２生成光線と呼称される、前記双曲面の表面を記述する第３直線のパラメータを使用することにより、前記ピクセルビームを演算することと、
   前記ライトフィールドコンテンツをレンダリングすることと、
   を含む方法。
10. ライトフィールドコンテンツをレンダリングする装置であって、
    一葉双曲面の回転軸と基準直線と交差する、第１生成光線と呼称される、前記双曲面の表面を記述する第２直線の間の距離を使用することにより、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表す前記双曲面の回転軸である第１直線の座標を演算し、前記容積は、ピクセルビームと呼称され、
    前記双曲面の前記回転軸の座標及び前記第１光線を表すパラメータ、並びに、前記基準直線と交差する、第２生成光線と呼称される、前記双曲面の表面を記述する第３直線のパラメータを使用することにより、前記ピクセルビームを演算する、
    ように構成されたプロセッサを含み、且つ、
    前記装置は、前記ライトフィールドコンテンツをレンダリングするためのディスプレイを更に含む、装置。
11. ライトフィールド撮像装置であって、
    規則的な格子構造において配列されたマイクロレンズのアレイと、
    フォトセンサであって、マイクロレンズのアレイから前記フォトセンサ上において投射された光をキャプチャするように構成されたフォトセンサであり、前記フォトセンサは、ピクセルの組を有し、それぞれのピクセルの組は、前記マイクロレンズのアレイの個々のマイクロレンズと光学的に関連付けられている、フォトセンサと、
    請求項７に記載のメタデータを提供する装置と、
    を含む装置。
12. 光学取得システムの瞳孔を通過する光の光線の組と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、によって占有された、前記光学取得システムの物体空間内の、容積を表すデータの組を含むライトフィールドコンテンツを表す信号であって、前記容積は、ピクセルビームと呼称される前記光の光線の組によって占有されており、前記ピクセルビームを表す前記データの組は、
    基準直線と交差する、第１生成光線と呼称される、前記ピクセルビームを表す一葉双曲面の表面を記述する第１直線を表すパラメータと、
    前記基準直線と交差する、第２生成光線と呼称される、前記双曲面の表面を記述する第２直線を表すパラメータと、
    前記双曲面の回転軸と前記第１又は前記第２生成光線のうちの１つの間の距離と、
    を含む、信号。
13. 光学取得システムの瞳孔を通過する光の光線の組と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、によって占有された、前記光学取得システムの物体空間内の、容積を表すデータのデータパッケージであって、前記容積は、ピクセルビームと呼称される前記光の光線の組によって占有されている、データパッケージにおいて、
    基準直線と交差する、第１生成光線と呼称される、前記ピクセルビームを表す一葉双曲面の表面を記述する第１直線を表すパラメータと、
    前記基準直線と交差する、第２生成光線と呼称される、前記双曲面の表面を記述する第２直線を表すパラメータと、
    前記双曲面の回転軸と前記第１又は第２生成光線のうちの１つの間の距離と、
    を含む、データパッケージ。
14. 通信ネットワークからダウンロード可能である、且つ／又は、コンピュータによって読取り可能である、且つ／又は、プロセッサによって実行可能である、媒体上において記録されたコンピュータプログラムプロダクトであって、請求項１から６のいずれか１項に記載の方法を実装するプログラムコード命令を含むコンピュータプログラムプロダクト。
15. 通信ネットワークからダウンロード可能である、且つ／又は、コンピュータによって読取り可能である、且つ／又は、プロセッサによって実行可能である、媒体上において記録されたコンピュータプログラムプロダクトであって、請求項９に記載の方法を実装するプログラムコード命令を含むコンピュータプログラムプロダクト。
    

Images