JP2018512070A - シーンに関連付けられた電磁場の複素振幅を決定する方法 - Google Patents

Abstract

シーンに関連付けられた電磁場の複素振幅を決定する方法であって、ａ）シーンの複数の画像を写真用カメラによって取得することであって、画像が、異なる距離に配置された焦点面において焦点を合わせられ、カメラが、焦点距離Ｆのレンズと、その画像空間においてレンズから一定の距離に配置されたセンサと、を備えている、取得することと、複数の画像から少なくとも１つの画像対を取得し、２つの画像対の焦点面に関する中間平面に対応する物体空間における共役面に蓄積された波面を決定することと、を含む、方法。

Description

本発明は、シーンに関連付けられた電磁場の複素振幅を決定する方法に関する。

本発明の方法により、シーンの、その全体における光学的再構築（電磁場の絶対値および位相）が可能になり、これにより、シーンの距離地図の取得、３Ｄステレオモードまたは３Ｄ一体モードでのシーンの表示、完全に焦点が合ったか、光学的に随意に逸脱したか、（屈折率の変化に起因する）光学的歪みが修正されたシーンの表示などの、異なる用途での、再構築の後のシーンの使用が許容される。

本発明は、コンピュータによる写真撮影および適応制御光学（天文学、眼科、顕微鏡法など）を含む、異なる技術分野に適用することができる。

現在まで、シーンの３次元（ステレオまたは一体）画像を生成するために、異なる観点からのシーンの取得が使用されてきた。

Ｏｒｔｈ（Ｏｒｔｈ，Ａ．，＆Ｃｒｏｚｉｅｒ，Ｋ．Ｂ．（２０１３），Ｌｉｇｈｔ ｆｉｅｌｄ ｍｏｍｅｎｔ ｉｍａｇｉｎｇ，Ｏｐｔｉｃｓ ｌｅｔｔｅｒｓ，３８（１５），２６６６−２６６８）により、ステレオ（一体型ではない）画像が、変換ドメインで作用する光照射野モーメントイメージング法を使用して、焦点がぼやけた２つの画像から生成されている。

Ｐａｒｋ（Ｐａｒｋ，Ｊ．Ｈ．，Ｌｅｅ，Ｓ．Ｋ．，Ｊｏ，Ｎ．Ｙ．，Ｋｉｍ，Ｈ．Ｊ．，Ｋｉｍ，Ｙ．Ｓ．，＆Ｌｉｍ，Ｈ．Ｇ．（２０１４），Ｌｉｇｈｔ ｒａｙ ｆｉｅｌｄ ｃａｐｔｕｒｅ ｕｓｉｎｇ ｆｏｃａｌ ｐｌａｎｅ ｓｗｅｅｐｉｎｇ ａｎｄ ｉｔｓ ｏｐｔｉｃａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｓｉｎｇ ３Ｄ ｄｉｓｐｌａｙｓ，Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ，２２（２１），２５４４４−２５４５４）により、３Ｄのステレオおよび一体画像が、焦点がぼやけたシーンの画像から形成されるように、光照射野に適用される、フィルタリングされた逆投影アルゴリズムが提案されている。この場合、焦点がぼやけた画像（強度）は、変換空間の光照射野の異なる角度におけるセクションである。焦点がぼやけたわずかな画像を得ることは、ライトが弱い場合においてもっとも適している。しかし、焦点がぼやけたわずかな画像を伴う変換ドメインでの作動は、確かな空間周波数における情報が欠如していることに起因して、ぶれを生じる。

湾曲センサは、焦点がぼやけた２つの画像からの、瞳孔における波面の位相を収集する。Ｖａｎ Ｄａｍ ａｎｄ Ｌａｎｅ（Ｖａｎ Ｄａｍ，Ｍ．Ａ．，＆Ｌａｎｅ，Ｒ．Ｇ．（２００２），Ｗａｖｅ−ｆｒｏｎｔ ｓｅｎｓｉｎｇ ｆｒｏｍ ｄｅｆｏｃｕｓｅｄ ｉｍａｇｅｓ ｂｙ ｕｓｅ ｏｆ ｗａｖｅ−ｆｒｏｎｔ ｓｌｏｐｅｓ，Ａｐｐｌｉｅｄ ｏｐｔｉｃｓ，４１（２６），５４９７−５５０２）によって提案された幾何学センサも、焦点がぼやけた２つの画像からの、瞳孔における波面位相を収集する。しかし、瞳孔における波面位相の測定は、光軸における収差の修正のみを可能にする。

上述の問題は、請求項１に係る方法、および、請求項１０に係るデバイスによって解決される。従属請求項は、本発明の好ましい実施形態を規定する。

本発明の第１の態様は、シーンに関連付けられた電磁場の複素振幅を決定する方法であって、
ａ）シーンの複数の画像を写真用カメラによって取得するステップであって、画像が、異なる距離に配置された焦点面において焦点を合わせられ、カメラが、焦点距離Ｆのレンズと、画像の空間においてレンズから一定の距離に配置されたセンサとを有するステップと、
ｂ）複数の画像から少なくとも１つの画像対を取得し、２つの画像対の焦点面に関する中間平面に対応する物体空間における共役面に蓄積した波面を決定するステップであって、波面Ｗ（ｘ，ｙ）を以下のように決定する、ステップと、を備え、

｛Ｚ_ｐ（ｘ，ｙ）｝は、所定の多項式であり、Ｎは、展開において使用される多項式の数であり、
係数ｄ_ｊは、以下の連立方程式を解くことによって決定され、

２ｚは、２つの画像対の焦点面の間の距離であり、それぞれ１≦ｊ、ｋ≦Ｔになるように、｛（ｕ_１Ｘ（ｊ），ｕ_１Ｙ（ｋ）），ｊ，ｋ＝１．．．Ｔ｝は第１画像対に属する点であり、｛（ｕ_２Ｘ（ｊ），ｕ_２Ｙ（ｋ）），ｊ，ｋ＝１．．．Ｔ｝は第２画像対に属する点であり、

および、

が証明されるようになっており、
ｓ（ｊ）は０と１との間の実数値の列であり、各１≦ｊ≦Ｔに関して単調増加し、
ｆ_ｘｙは、フォトンの発生確立を考慮するとともに対応する画像対の正規化強度Ｉ（ｘ，ｙ）のいずれの場合にも決定される２次元の密度関数であり、すなわち、

となる、方法を規定する。

本発明は、単一の観点から取得されたシーンの、焦点がぼやけた画像からの３次元画像のみならず、シーンのトモグラフィによる位相分布をも生成することを可能にする。このことは、プレノプティック光照射野取得カメラに生じるように、異なる観点を使用することなく、その全体において、シーンに含まれる電磁場を有することを意味しており、これに続く、最終的な光学系の解像度が向上する。このことは、プレノプティックカメラの場合、各観点に関連付けられたサブアパーチャの直径によって制限される。

本発明の文脈では、複数の画像は、２つ以上の数の画像であることを理解されたい。

画像を取得するのに使用される写真用カメラは、慣習的な光学系に対応し、決まった焦点距離、または、可変焦点距離（ぼやけている）で作動する、単一のレンズ、またはレンズの系と、画像空間の、光学系から所定の距離に配置されたセンサとを含んでいる。

カメラによって取得された画像は、異なる平面における共役画像である。各画像は、収束要素（これら要素は、画像の焦点面に配置されている）と、焦点がぼやけた要素（これらは、焦点面の前後に位置している）とを含んでいる。

本発明の方法によれば、複数の取得された画像の各画像対により、集光レンズの古典的な規則に従って取得位置と共益された、散乱層に蓄積された波面位相を決定することが可能になる。したがって、異なる共役距離において得られた画像対の各々の寄与を減じることにより、位相画像に関する、波面位相マップのその距離における散乱の値が見出される。したがって、複数の画像が２つの画像のみを含む場合、本発明の方法により、関連付けられた、焦点がぼやけた画像対からの共役距離における単一面で、波面を得ることが可能になる。

好ましい実施形態では、選択された画像対の各々の２つの画像は、それぞれ、焦点の両側で取得される。好ましい実施形態では、選択された画像対の各々の２つの画像は、焦点の両側で対称な距離から取得される。しかし、本発明の方法は、任意の焦点がぼやけた画像対に関して有効である。

本発明の方法は、Ｓｈａｃｋ−Ｈａｒｔｍａｎｎまたはピラミッドセンサなどの、慣習的な２次元位相センサを使用する代わりに、大型の対象の焦点がぼやけた画像を使用することに基づく、散乱層に向けられた複数共役トモグラフィ（層に向けられたＭＣＡＯ）の方法である。

本発明の方法により、光学距離にマイクロレンズアレイを有する、取得のために使用されるカメラなしで、単一のレンズおよび単一の観点で、その焦点がぼやけた画像の取得からのシーン、それどころか、リアルタイム（空気中の散乱においては、可視領域で作動する場合に１０ｍｓ未満、ビデオの場合は、毎秒２４画像など）で得られたものの取得からのシーンに関連付けられた、電磁場の複素振幅を決定することが可能になる。

一実施形態では、波面は、以下の式で決定される。

ここで、０≦ｐ、ｑ≦Ｎ−１の各々に関して、

である。

有利には、この実施形態では、複素指数関数として展開される２次元の波面が回収され、これにより、波面位相の水平および垂直な傾きのデカルト分布を直接得ること、ひいては、Ｈｕｄｇｉｎまたはフーリエ変換のフィルタリンなどの、慣習的な傾きの積分法を使用することが可能になる。

一実施形態では、蓄積した波面は、複数の画像対に関して決定される。

一実施形態では、本方法は、蓄積された波面の、すでに決定された前述の平面に対しての減算として、物体空間の２つの平面の間の位相シフトを決定することをさらに含んでいる。好ましくは、位相シフトは、複数の平面に関して決定される。

本発明は、波面位相のトモグラフィによる収集とともに、測定ドメイン（変換ドメインにはない）内の焦点がぼやけた画像に作用することにより、電磁場の、その強度に限らず、その全体（係数および位相）を得ることを可能にしている。有利には、測定ドメインでの作用の結果は、変換領域での作用の結果よりもかなり良好に規定され、ここでは、焦点がぼやけたわずかな画像を始点とする場合、特定の空間的な周波数における情報の欠如によってぶれが生じる。焦点がぼやけたわずかな画像を得ることは、光が少ない場合においてはもっとも適切である。

瞳孔においてのみ波面位相を収集する最新技術からの方法に比べ、本発明は、シーンから得られた、焦点がぼやけた画像のセットに最適にフィットする波面位相をトモグラフィにより収集することの利点がある。波面位相のトモグラフィによる測定により、入口の瞳孔における視野全体の収差を収集することが可能になる。

一実施形態では、本方法は、取得された複数の画像から選択されたＰ画像から、以下の連立方程式を証明する光照射野の値として、ｕ以外のＭであってＭ≦Ｐを満たすＭの値で距離Ｆに焦点を合わせられた前記光照射野（Ｌ）の値を決定するステップをさらに備え、

Ｐは、光照射野を決定するために考慮される画像の数であり、Ｆは、レンズの焦点距離であり、Ｌ_Ｆは、距離Ｆに焦点を合わせられた光照射野の値であり、α_ｊＦは、画像ｊの焦点距離であり、Ｉ_ｊ（ｘ）は、画像ｊの強度であり、ここで［ｘ］は、１≦ｊ≦Ｐを満たす各画像ｊの結果として得られるｘにもっとも近い整数を示し、光照射野Ｌ_Ｆ（ｘ）は、適合すなわち値ｕ_ｊに対応する前記光照射野の視野の結果としてのｕ_ｊの値において評価され、ｘとｕとは、それぞれ、カメラの、センサ内およびレンズ内における位置を決定する２次元ベクトルである、ｕ_ｊの値に対応する光照射野の視野を結果として得ることと、をさらに含んでいる。

本発明の第１の態様に係る、波面位相を決定する方法と組み合わせて光照射野を決定することを記載したのに関わらず、光照射野を決定する方法は、別々に実施することができる。したがって、本発明のさらなる態様は、光照射野を決定する方法であって、
ａ）シーンの複数の画像を写真用カメラによって取得することであって、画像が、異なる距離に配置された焦点面において焦点を合わせられ、カメラが、焦点距離Ｆのレンズと、その焦点距離に等しい、レンズからの一定の距離に配置されたセンサとを有する取得すること、
ｂ）取得された複数の画像から選択されたＰ画像から、以下の連立方程式を証明する光照射野の値として、ｕ以外のＭであってＭ≦Ｐを満たすＭの値で距離Ｆに焦点を合わせられた光照射野（Ｌ）の値を決定することをさらに備え、

Ｐは、光照射野を決定するために考慮される画像の数であり、Ｆは、レンズの焦点距離であり、Ｌ_Ｆは、距離Ｆに焦点を合わせられた光照射野の値であり、α_ｊＦは、画像ｊの焦点距離であり、Ｉ_ｊ（ｘ）は、画像ｊの強度であり、［ｘ］は、１≦ｊ≦Ｐを満たす各画像ｊの結果として得られるｘにもっとも近い整数を示し、光照射野Ｌ_Ｆ（ｘ）は、適合すなわち値ｕ_ｊに対応する光照射野の視野の結果としてのｕ_ｊの値において評価され、ｘとｕとは、それぞれ、カメラの、センサ内およびレンズ内における位置を決定する２次元ベクトルである、方法を提供する。

一実施形態では、光照射野の値は、最小二乗すること、すなわち、以下の式の最小化による連立方程式を解くことで決定される。

第２の態様では、シーンに関連付けられた電磁場の複素振幅を決定するデバイスが規定される。このデバイスは、
焦点距離Ｆのレンズ、および、その画像空間におけるレンズから所定の距離においてレンズに対して並行に配置された画像センサを備えた、画像取得手段と、
本発明の第１の態様に係る方法のステップｂ）を実行する処理手段と、を備えている。

本明細書（特許請求の範囲、詳細な説明、および図面を含む）に記載の特徴および／または方法のステップのすべては、相互に排他的な特徴の組合せを除き、任意の組合せで組み合わせることができる。

以下に記載される詳細な説明を補足するため、かつ、本発明の好ましい実践的な実施形態に係る、本発明の特徴をよりよく理解することを助ける目的のために、図面のセットが、前述の詳細な説明に一体の一部として包含され、図中、以下の事項が、説明的かつ非限定的な方式で記載される。

本発明の方法の一部の概略図。 本発明の方法の一部の概略図。 カメラのレンズとセンサとの間の光照射野の概略図。 本発明の方法の一部を概略的に例示する図。 本発明の方法の一部を概略的に例示する図。 異なる面に対応する波面位相の取得の概略図。 変換ドメインの画像の再構築を示す図。 測定ドメインの画像の再構築を示す図。

２次元波面の再構築
本発明の方法により、焦点がぼやけた２つ以上の画像からの、多項式ベースの水平および垂直の傾きの波面位相のデカルト分布の収集が可能になる。これにより、次いで、それらがゾーン法（Ｈｕｄｇｉｎなど）とモード法のいずれに関わらず、傾きからの位相の再構築の任意の方法を使用することが可能になる。モード法の場合、波面位相のマップが展開されるとともにフィットされる多項式は、ゼルニケ多項式（古典的な光学系またはサイダル収差に一致している）、複素指数関数（フーリエ変換の核を含み、この核の使用により、計算が加速する）、Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ関数（いずれの分析的形態をも伴わないが、環状瞳孔の基礎を構成しており、このことは、望遠鏡では一般的である）など、問題の要請に応じて選択することができる。

通常、位相マップを、多項式Ｚ_ｊ（ｘ，ｙ）において、その展開から回復させる方法は、以下のように、点（ｘ，ｙ）における波面位相を考慮することを含んでいる。

ここで、Ｎは、展開で使用される多項式の数を示している。

水平なデカルトの傾きであるＳ^ｘと、垂直なデカルトの傾きであるＳ^ｙとは、それぞれ、以下の波面の偏導関数に対応している。

フォトンは、−ｚ平面から＋ｚ平面に置き換えられるように推定され、中間平面の点（ｘ，ｙ）における波面が見積もられる。

伝播した波面の強度は、対応する２次元の累積分布関数（ＣＤＦ）（Ｃ（ｘ，ｙ）で示される）を通して、フォトンの発生確率（ｆ_ｘｙ（ｘ，ｙ）として示される）を考慮するために、２次元の密度関数（ＰＤＦ）で表される。

密度関数により、以下が証明される。

変数ｘの境界の累積分布関数は、以下のように構築される。

ここで、ｆ_ｘは、密度関数（ｆ_ｘｙ）から以下のように構築された境界密度関数である。

対応する変数における累積分布関数であることの特性は、境界密度関数に関して維持される。したがって、以下のようになる。

考慮される２つの画像に対応する−ｚの平面と＋ｚの平面とにデータが存在することから、２つの累積分布関数が存在する。−ｚの平面における境界累積分布関数は、Ｃ_１ｘとして示され、＋ｚの平面における境界累積分布関数は、Ｃ_２ｘとして示される。

本方法は、−ｚの平面と＋ｚの平面におけるｆ_ｘｙの値を始点とする場合、−ｚの平面に関連付けられたデータがｆ_１ｘｙによって規定され、＋ｚの平面に関連付けられたデータがｆ_２ｘｙによって決定されることが推定される。

および、

単調増加する実数の列（ｓ（ｊ））は１≦ｊ≦Ｔに関して考慮され、０と１との間の値であり、すなわち、１≦ｊ≦Ｔの各々に関し、０≦ｓ（ｊ）≦１である。

ｓ（ｊ）の値の累積分布関数の値の鏡像を見出すために、境界累積分布関数におけるヒストグラムの整合が実行される。換言すると、１≦ｊ≦Ｔの各々に関する、以下を満たすｕ_１ｘ（ｊ）の値が求められる。
Ｃ_１ｘ（ｕ_１Ｘ（ｊ））＝ｓ（ｊ）
また、ｕ_２Ｘ（ｊ）の値は以下を満たす。
Ｃ_２ｘ（ｕ_２Ｘ（ｊ））＝ｓ（ｊ）

したがって、ｕ_１Ｘ（ｊ）とｕ_２Ｘ（ｊ）とは、ｓ（ｊ）の各固定値に関して見出される。図式で示すと、図１に概略的に示されているように、検索は、対応する点のｘ軸のスキャンで行われ、縦座標をすべて識別する。

より正確な値を提供するのは、ここでは、これら値の各々に関し、２つの変数における密度関数から進行し、１からＴの各値ｋに関し、以下を満たす値ｕ_１Ｙ（ｋ）およびｕ_２Ｙ（ｋ）を見出す。

および、

ここで、関数ｆ_１ＸＹ（ｘ，ｙ）と関数ｆ_２ＸＹ（ｘ，ｙ）とは、考慮される画像Ｉ_１（ｘ，ｙ）とＩ_２（ｘ，ｙ）とにそれぞれ対応する。

図式では、図２に概略的に示すように、行われることは、ｘ軸上の対応する値の各々を、累積分布関数のマッチアップを通して鏡像を形成する縦座標に関連付けることである。

結果は、以下によって決定される、点の２次元のメッシュである。
−ｚの高さにおいて、｛（ｕ_１Ｘ（ｊ），ｕ_１Ｙ（ｋ）），ｊ，ｋ＝１．．．Ｔ｝
＋ｚの高さにおいて，｛（ｕ_２Ｘ（ｊ），ｕ_２Ｙ（ｋ）），ｊ，ｋ＝１．．．Ｔ｝
それにより、１≦ｊ、ｋ≦Ｔの各々に関し、点（ｕ_１Ｘ（ｊ），ｕ_１Ｙ（ｋ））と点（ｕ_２Ｘ（ｊ），ｕ_２Ｙ（ｋ））とは、波面における光線の同一値に関連付けられる。

中間平面における点での波面の方向導関数は、以下の式によって決定されると見なすことができる。
１≦ｊ≦Ｔの各々に関して、

１≦ｋ≦Ｔの各々に関して、

したがって、方程式（２）と方程式（３）との系は、以下のように記載することができる。

すなわち、より単純化された形態では、以下のようになる。
（６） Ｓ＝Ａ・ｄ
ここで、未知数は、係数ｄの行列である。方程式（６）は、複数の要因によって決定された連立方程式を示しており、未知数（Ｎ）よりも多くの方程式（２Ｔ^２）がある。ここで、２Ｔ^２は、利用可能であるピクセル（ｘ，ｙ）の数である。

展開の係数ｄは、最小二乗の意味で、平面にもっともフィットするものとして見出すことができる。前述の系を解く好ましい方法は、以下のように、最小二乗の手段によって解くことである。
（７） ｄ＝（Ａ^ＴＡ）^−１Ａ^ＴＳ＝Ａ^＋Ｓ

方程式（７）は、行列Ａ^ＴＡが非正則行列であるか否かに応じて、当業者に知られている複数の技術によって解くことができる。

特定の実施形態では、波面は、複素指数関数として展開される。展開は、特定のＮ≧１で切り捨てることができ、それにより、展開は以下のように記述することができるようになっている。

ここで、（ｄ_ｐｑ）_ｐ，ｑ≧０は、二重の指標の係数の集合であり、０≦ｐ、ｑ≦Ｎ−１の各々に関して、以下のようになる。

この点において、最小二乗の問題は、得られたデータで解くことができるが、この理由は、ｘまたはｙに関して微分することで、式（８）から以下が導き出されるためである。

したがって、０≦ｐ、ｑ≦Ｎ−１の各々に関して、以下のようになる。

中間点で評価し、式（４）と式（５）とを考慮し、これら値を方程式（９）と方程式（１０）とに置換することで、以下の、Ｎ^２の未知数と２Ｔ^２の方程式を伴う、複数の要因によって決定された系に達することが可能である。

Ｔの値は、データによって決定され、指数に関して、位相の展開において付加された数よりもかなり多いものと見なされる。

この場合、展開の係数は、以下の式から得ることができる。

ここで、ＤＦは離散フーリエ変換を示している。

画像のトモグラフィ回復
本発明の方法により、焦点がぼやけた画像からの波面位相の２次元の回復が提供される。得られた波面位相は、物体空間における共役位置に関する蓄積された位相差に対応する。換言すると、２つの焦点がぼやけた画像は、レンズの焦点からもはや離れて取得され、それらが瞳孔で取得された画像にほぼ対応している（または光学系の入口の瞳孔からわずかに分離している）場合、対物レンズに到達するシーンの視野の全領域に蓄積された位相が得られることになる。焦点がぼやけた画像の使用された対が適切な焦点に近付くにつれて、物体空間の共役面は、入口の瞳孔から離れた平面に対応することになり、その平面に関するシーンに蓄積された位相を描写することになる。

両方の蓄積された位相間の差異により、光学系のもっとも遠い平面と瞳孔の平面との間に存在する位相シフトが与えられる。したがって、使用される、焦点がぼやけた画像の数が増大するにつれて、物体空間の離散化がより完全になり、波面位相のトモグラフィ分布が得られる。波面位相のこのトモグラフィ分布は、キャプチャセンサに関連付けられた、オリジナルの２次元の光学的解像度と、複数の画像の使用によって許容される、（光軸ｚにおける）３次元の解像度とを有することになる。３次元の解像度は、平面の数、または、取得された、焦点がぼやけた画像の数に厳密には一致しないことを指摘するべきである。この理由は、図６に概略的に記載されているように、蓄積された波面位相のサブ離散化（ｓｕｂｄｉｓｃｒｅｔｉｚａｔｉｏｎ）を得るために、取得平面の任意の対を考慮することが可能であるためである。

平面Ｉ_ａおよび平面Ｉ_ｂに関し、瞳孔に関する蓄積された位相Ｗ_１（ｘ，ｙ）が見出される。Ｉ_ａ’およびＩ_ｂ’に関し、蓄積された位相Ｗ_２（ｘ，ｙ）が見出される。Ｗ_２とＷ_１との間の差異により、キーによって示されるセクションの位相が提供される。より多くの平面（より多くの取得された画像）を使用することにより、位相の軸ｚの解像度が増大し、波面位相の３次元マップが得られる。

本発明の方法は、コンピュータによる写真撮影および適応制御光学を含む、シーンの観察に関連付けられた波面が知られることになる、任意の技術分野で適用可能である。特に、大気の柱に関連付けられた散乱（波面位相）の３次元マップを得る天体観測に関する用途、散乱媒体（たとえば、増大した実際のガラス、可動物、顕微鏡、または内視鏡）を通しての視野を修正する必要がある用途、透過性有機組織のサンプルにおける、屈折率が変化するトモグラフィによる測定の用途、または、散乱媒体（大気、海、体液など）を通しての視覚通信の用途で適用可能である。

画像の強度の再構築
光照射野Ｌは、カメラの対物レンズを通ることになる光線の４次元表示である。単純化のために、単純化された２次元の表記を使用する。したがって、図３に示すように、Ｌ_Ｆ（ｘ，ｕ）は、焦点距離Ｆのカメラに関する、ｕ＝（ｕ_１，ｕ_２）の位置にあるカメラのメインレンズを通り、ｘ＝（ｘ_１，ｘ_２）の位置にあるセンサに到達する光線を示している。

したがって、カメラに入るすべての光線と、センサへ到達する光線の場所とを示す、４次元の量が存在する。Ｎｇ（Ｎｇ，Ｒ．，Ｆｏｕｒｉｅｒ ｓｌｉｃｅ ｐｈｏｔｏｇｒａｐｈｙ，ｉｎ ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ（ＴＯＧ），Ｖｏｌ．２４，Ｎｏ．３，ｐｐ．７３５−７４４，ＡＣＭ，２００５，Ｊｕｌｙ）は、センサがαＦの距離にある場合、図４に概略的に示すように、前述のセンサ上に投影される画像が、θ＝ｔａｎ^−１（１／α）の角度における光照射野の２次元の投影に対応することを証明している。

本発明の方法は、図５に概略的に示すように、Ｉα（ｘ）を相互に関して置き換えられた異なる値ｕにおける画像の合計として介することと、異なる値ｕにおける画像を見積もり、値α’に起因して置き換えられ、相互に加えられた画像のどのセットが、焦点距離Ｆα’で取得された画像の入力を最適に近似するかを見出すこととに基づいている。したがって、ｘの次元の（ピクセルでの）変位は、ｕ＋（ｘ−ｕ）／α’である。

本方法は、距離α_１Ｆ，α_２Ｆ…α_ＰＦにおいて焦点を合わせ、慣習的な写真用カメラで取得されたＰ画像（Ｉ_１（ｘ），Ｉ_２（ｘ）…Ｉ_Ｐ（ｘ））から、ｕ以外のＭの値における、距離Ｆ（Ｌ_Ｆ）で焦点を合わせる光照射野の値を見積もることを含んでいる。このため、本方法は、光照射野の値を見出すことを目的としており、それにより、以下が満たされるようになっている。

前述の式は、Ａｘ＝ｂのタイプの方程式の線形系によって単純に表現することができる。この系は、｜｜Ａｘ−ｂ｜｜^２を最小化するように、ｘの値を見出すことによって解くことができる。

ここまでは、単一のチャネルの画像が推定されている。カラー画像（複数のチャネルを有する）の場合、行列Ａを一回生成することで十分である。このため、解かれることになるチャネルの画像に関する情報を含む新しいベクトルｂが形成される。

本発明に係る、画像の強度の再構築の方法により、顕微鏡法、写真撮影、内視鏡検査、映画撮影技術などの用途で、完全に焦点を合わせた単一の画像を、完全な光学的解像度（すべてが焦点にある）で生成すること、すべてが焦点にあるステレオの対を生成すること、すべてが焦点にあるマルチステレオ画像（光照射野）を生成すること、および、所望であれば、随意に焦点を合わせられた光照射野を生成することが可能になる。

例
Ｆ＝１ｍで、距離α_１＝２と距離α_２＝４とにおいて焦点を合わせられた、Ｉ_１（ｘ）とＩ_２（ｘ）との、８つの要素の２つの画像を想定する。この場合の合計は、ｎ＝１からｎ＝２までの指針を伴っている。

ｊ＝１に関する方程式は以下のようになる。

ｊ＝２については、以下のようになる。

以下のように展開される。
Ｌ_Ｆ（１，１）＋Ｌ_Ｆ（２，２）＝２^２Ｉ_１（１）
Ｌ_Ｆ（２，１）＋Ｌ_Ｆ（２，２）＝２^２Ｉ_１（２）
Ｌ_Ｆ（２，１）＋Ｌ_Ｆ（３，２）＝２^２Ｉ_１（３）
Ｌ_Ｆ（３，１）＋Ｌ_Ｆ（３，２）＝２^２Ｉ_１（４）
Ｌ_Ｆ（３，１）＋Ｌ_Ｆ（４，２）＝２^２Ｉ_１（５）
Ｌ_Ｆ（４，１）＋Ｌ_Ｆ（４，２）＝２^２Ｉ_１（６）
Ｌ_Ｆ（４，１）＋Ｌ_Ｆ（５，２）＝２^２Ｉ_１（７）
Ｌ_Ｆ（５，１）＋Ｌ_Ｆ（５，２）＝２^２Ｉ_１（８）
Ｌ_Ｆ（１，１）＋Ｌ_Ｆ（２，２）＝４^２Ｉ_２（１）
Ｌ_Ｆ（１，１）＋Ｌ_Ｆ（２，２）＝４^２Ｉ_２（２）
Ｌ_Ｆ（２，１）＋Ｌ_Ｆ（２，２）＝４^２Ｉ_２（３）
Ｌ_Ｆ（２，１）＋Ｌ_Ｆ（３，２）＝４^２Ｉ_２（４）
Ｌ_Ｆ（２，１）＋Ｌ_Ｆ（３，２）＝４^２Ｉ_２（５）
Ｌ_Ｆ（２，１）＋Ｌ_Ｆ（３，２）＝４^２Ｉ_２（６）
Ｌ_Ｆ（３，１）＋Ｌ_Ｆ（３，２）＝４^２Ｉ_２（７）
Ｌ_Ｆ（３，１）＋Ｌ_Ｆ（４，２）＝４^２Ｉ_２（８）

行列の形態は、以下のようになる。

前述の系の解像度により、光照射野Ｌ_Ｆの値が提供される。前述の系においていずれの方程式においても規定されない光照射野の値は、０の値を取っている。

図７は、最新技術の方法に係る、変換ドメインで実行されるシーンの画像の再構築を示している。図８は、焦点がぼやけた画像から光照射野を得るために、本発明の方法を使用した、測定ドメインで実行される同じシーンの画像の再構築を示している。図７の画像と図８の画像とが同じ信号強度の値に正規化されていないが、測定ドメインで実行された再構築が、よりよく規定され、解像度テストの図のエッジがより鮮明であることを見ることができる。より完全に見ることができるように箱でマークし、拡大したエリアにより、両方の回復間の品質の差異が示されている。

Claims (11)

1. シーンに関連付けられた電磁場の複素振幅を決定する方法であって、
   ａ）前記シーンの複数の画像を写真用カメラによって取得するステップであって、前記画像が異なる距離に配置された焦点面に焦点を合わせられ、前記カメラが焦点距離Ｆのレンズまたはレンズ系と前記画像の空間において前記レンズから一定の距離に配置されたセンサとを有するステップと、
   ｂ）前記複数の画像から少なくとも１つの画像対を取得し、２つの前記画像対の焦点面に関する中間平面に対応する物体空間における共役面に蓄積された波面を決定するステップであって、前記波面Ｗ（ｘ，ｙ）を以下のように決定するステップと、
   を備え、
   

   

   ｛Ｚ_ｐ（ｘ，ｙ）｝は、所定の多項式であり、Ｎは、展開において使用される多項式の数であり、
   係数ｄ_ｊは、以下の連立方程式を解くことによって決定され、
   

   

   ２ｚは、２つの前記画像対の前記焦点面の間の距離であり、それぞれ１≦ｊ、ｋ≦Ｔになるように、｛（ｕ_１Ｘ（ｊ），ｕ_１Ｙ（ｋ）），ｊ，ｋ＝１．．．Ｔ｝は、第１画像対に属する点であり、｛（ｕ_２Ｘ（ｊ），ｕ_２Ｙ（ｋ）），ｊ，ｋ＝１．．．Ｔ｝は、第２画像対に属する点であり、
   

   

   および、
   

   

   が証明されるようになっており、
   ｓ（ｊ）は０と１との間の実数値の列あり、各１≦ｊ≦Ｔに関して単調増加し、
   ｆ_ｘｙは、フォトンの発生確率を考慮するとともに対応する前記画像対の正規化強度Ｉ（ｘ，ｙ）のいずれの場合にも決定される２次元の密度関数であり、すなわち、
   

   

   となる、方法。
2. 前記波面は、
   

   

   の式で決定され、
   ０≦ｐ、ｑ≦Ｎ−１の各々に関して、
   

   

   である、請求項１に記載の方法。
3. 複数の画像対に関して前記蓄積された波面を決定する、請求項１または請求項２に記載の方法。
4. 前記平面に前記蓄積された波面の減算として、前記物体空間の２つの平面の間の位相シフトを決定する、請求項３に記載の方法。
5. 複数の物体平面に関する前記位相シフトを決定する、請求項４に記載の方法。
6. 前記取得された複数の画像から選択されたＰ画像から、以下の連立方程式を証明する光照射野の値として、ｕ以外のＭであってＭ≦Ｐを満たすＭの値で距離Ｆに焦点を合わせられた前記光照射野（Ｌ）の値を決定するステップをさらに備え、
   

   

   Ｐは、前記光照射野を決定するために考慮される画像の数であり、Ｆは、前記レンズの前記焦点距離であり、Ｌ_Ｆは、距離Ｆに焦点を合わせられた前記光照射野の値であり、α_ｊＦは、前記画像ｊの焦点距離であり、Ｉ_ｊ（ｘ）は、前記画像ｊの強度であり、［ｘ］は、１≦ｊ≦Ｐを満たす各画像ｊの結果として得られるｘにもっとも近い整数を示し、前記光照射野Ｌ_Ｆ（ｘ）は、適合すなわち値ｕ_ｊに対応する前記光照射野の視野の結果としてのｕ_ｊの値において評価され、ｘとｕとは、それぞれ、前記カメラの前記センサ内および前記レンズ内における位置を決定する２次元ベクトルである、請求項１から請求項５のいずれか一項に記載の方法。
7. 前記光照射野の値は、最小二乗、すなわち、
   

   

   の最小化による連立方程式を解くことで決定される、請求項６に記載の方法。
8. 選択された画像対の各々の２つの前記画像は、それぞれ、前記焦点の両側で取得される、請求項１から請求項７のいずれか一項に記載の方法。
9. 選択された画像対の各々の２つの前記画像は、前記焦点の両側で対称な距離から取得される、請求項１から請求項８のいずれか一項に記載の方法。
10. シーンに関連付けられた電磁場の振幅を決定する装置であって、
    焦点距離Ｆのレンズ、および、その画像空間における前記レンズから所定の距離において前記レンズに対して並行に配置された画像センサを有する画像取得手段と、
    請求項1に記載の方法のステップｂ）を実行する処理手段と、
    を備えた、装置。
11. 前記処理手段は、請求項２から請求項９のいずれか一項に記載の動作をさらに実行する、請求項１０に記載の装置。

Images