[go: up one dir, main page]

TWI687661B - 用於確定場景相關電磁場的複振幅的方法及裝置 - Google Patents

用於確定場景相關電磁場的複振幅的方法及裝置 Download PDF

Info

Publication number
TWI687661B
TWI687661B TW104143159A TW104143159A TWI687661B TW I687661 B TWI687661 B TW I687661B TW 104143159 A TW104143159 A TW 104143159A TW 104143159 A TW104143159 A TW 104143159A TW I687661 B TWI687661 B TW I687661B
Authority
TW
Taiwan
Prior art keywords
images
image
patent application
lens
light field
Prior art date
Application number
TW104143159A
Other languages
English (en)
Other versions
TW201643391A (zh
Inventor
何塞 羅德里格斯拉莫斯
喬納斯 盧克
胡安 特魯希略塞維亞
胡安 費爾南德斯瓦爾迪亞
Original Assignee
拉古納大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 拉古納大學 filed Critical 拉古納大學
Publication of TW201643391A publication Critical patent/TW201643391A/zh
Application granted granted Critical
Publication of TWI687661B publication Critical patent/TWI687661B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J11/00—Measuring the characteristics of individual optical pulses or of optical pulse trains
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0411—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using focussing or collimating elements, i.e. lenses or mirrors; Aberration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • G01J2009/002—Wavefront phase distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Optics & Photonics (AREA)
  • Lenses (AREA)

Abstract

一種用於確定場景相關電磁場的複振幅的方法，包括：a)通過照相機捕獲該場景的多個圖像，圖像聚焦在佈置於不同距離的多個焦點平面，其中，所述相機包括焦距F的透鏡和佈置在圖像空間中距透鏡一定距離的傳感器，從所述多個圖像中挑選至少一個圖像對並相應於該對中兩個圖像的焦點平面針對的中間平面測定對象空間中到共軛平面的累積波前。

Description

用於確定場景相關電磁場的複振幅的方法及裝置
本發明涉及一種用於確定場景相關電磁場複振幅的方法。
本發明的方法允許場景整體(電磁場的係數和相位)的光學重建，這允許其在各種應用中的後續使用，例如在獲得場景的距離圖、在3D立體模式或3D整體模式中代表場景、表示完全聚焦、光學隨意相差或為光學畸變(由於折射率變化)而校正的場景中。
本發明可應用在不同的技術領域，包括計算攝影和自適應光學(天文學、眼科、顯微鏡等)。
截至目前為止，為產生三維(立體或整體)場景圖像，已經使用了從各種視角捕獲場景。
Orth(Orth,A.,&Crozier,K.B.(2013),Light field moment imaging,Optics letters,38(15),2666-2668)使用光 場的時刻成像方法從在變換域中工作的兩個散焦圖像產生的立體(非整體)圖像。
Park(Park,J.H.,Lee,S.K.,Jo,N.Y.,Kim,H.J.,Kim,Y.S.,& Lim,H.G.(2014),Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays,Optics Express,22(21),25444-25454)提出應用到光場的濾波反投影算法，使得3D立體和整體圖像從場景的散焦圖像創建。在這種情況下，散焦圖像(強度)是變換空間中光場的不同角度的多個部分。獲取少數散焦圖像在光線不足的場景中是最適合的。但是，在散焦圖像很少的變換域中工作由於在一定的空間頻率中缺乏信息，會導致模糊。
曲率傳感器在光瞳中從兩個散焦圖像中檢索波前相位。由Van Dam和Lane(Van Dam,M.A.,& Lane,R.G.(2002),Wave-front sensing from defocused images by use of wave-front slopes,Applied optics,41(26),5497-5502)提出的幾何傳感器還在光瞳中從兩個散焦圖像中檢索波前相位。然而，光瞳中波前相位的測量只允許在光軸中校正像差。
前述問題通過根據申請專利範圍第1項的方法和根據申請專利範圍第10項的裝置的方式來解決。從屬申請專利範圍限定了本發明優選的實施方案。
本發明的第一方面限定了用於確定場景相關電磁場的複振幅的方法，包括以下步驟：a)通過照相機的方式捕獲該場景的多個圖像，圖像在佈置在不同距離的多個焦點平面聚焦，其中，所述相機包括焦距F的透鏡和佈置在圖像空間中距透鏡一定距離的傳感器；b)從所述多個圖像中挑選至少一個圖像對並相應於該對中兩個圖像的焦點平面針對的中間平面測定對象空間中到共軛平面的累積波前，按
Figure 104143159-A0305-02-0005-1
確定波前W(x,y)，其中{Z p (x,y)}是一組預定的多項式，且N是展開式中使用的多項式的個數，其中係數d p 通過解方程組的方式確定：
Figure 104143159-A0305-02-0005-2
其中2z是該對中兩個圖像的焦點平面之間的距離，其中{(u 1X (j),u 1Y (k)),j,k=1...T}是屬於該對中第一圖像的點，{(u ZX (j),u 2Y (k)),j,k=1...T}是屬於該對中第二圖像的點，從而對於 每個1
Figure 104143159-A0305-02-0006-25
j，k
Figure 104143159-A0305-02-0006-26
T，下式被驗證
Figure 104143159-A0305-02-0006-3
 和
Figure 104143159-A0305-02-0006-29
其中s(j)是0和1之間的值的實數序列，每個1
Figure 104143159-A0305-02-0006-27
j
Figure 104143159-A0305-02-0006-28
T單調遞增，其中f XY 是二維密度函數，其考慮光子發生的可能性並在每個情況下通過該對中相應圖像的歸一化強度I(x,y)確定，即：
Figure 104143159-A0305-02-0006-5
本發明允許不僅從單個視角拍攝的場景的散焦圖像產生三維圖像，而且產生場景的斷層相位分佈。這是指不使用不同視角的情況下具有整體地包含在場景中的電磁場，這在全光光場捕獲相機中發生，具有在得到的最終光學分辨率上的後續改進，這在全光相機的情況下受限於每個視角相關的子孔徑的直徑。
在本發明的上下文中，應當理解的是，多個圖像是大 於或等於二的若干圖像。
用於捕獲圖像的照相機對應傳統光學系統，且其包括單個透鏡或透鏡系統、在固定或可變焦距(隱約地)處工作，和在圖像空間中距光學系統一定距離佈置的傳感器。
由攝像機捕獲的圖像是不同平面內的共軛圖像。每個圖像包括聚焦元素(那些佈置在圖像的焦點平面的元素)和散焦元素(那些佈置在圖像的焦點平面前面和後面的元素)。
根據本發明的方法，來自多個捕獲圖像的每個圖像對允許確定到與跟隨凸透鏡經典規則的採集位置共軛的湍流層的積累的波前相位。因此，通過減去在不同共軛距離得到的每對圖像對的貢獻，發現在波前相位圖的該距離處的相位成像方面的湍流值。因此，當多個圖像僅包括兩個圖像時，本發明的方法允許從相關散焦圖像對的共軛距離處的單個平面上得到波前。
在優選的實施方式中，每個選取的圖像對的兩個圖像分別在聚焦的兩側上拍攝。在優選的實施方式中，每個選取的圖像對的兩個圖像從焦點兩側上對稱的距離拍攝。然而，本發明的方法對任何散焦圖像對是有效的。
本發明的方法是基於使用大型對象的散焦圖像而不是使用例如Shack-Hartmann或四棱錐傳感器的傳統二維相傳感器的湍流層取向的多元共軛斷層攝影(取向層MCAO)的方法。
本發明的方法允許確定來自其捕獲的散焦圖像的場景 相關電磁場的複振幅，即使是使用單個透鏡和單個視角而無需用於在光路中具有微透鏡陣列的捕獲的照相機實時(在帶有大氣湍流的可見範圍內工作的情況下小於10ms，在視頻情況下每秒24張圖像等)獲取。
在一個實施方式中，波前通過表達式：
Figure 104143159-A0202-12-0006-8
確定
其中
Figure 104143159-A0202-12-0006-10
每個0
Figure 104143159-A0202-12-0006-83
p，q
Figure 104143159-A0202-12-0006-86
N-1。
有利地，在此實施方式中，檢索到展開為複指數函數的二維波前，該二維波前允許直接得到波前相位水平和垂直斜率的笛卡爾分佈以及因此常規斜率積分方法的使用，例如Hudgin或傅立葉變換過濾。
在一個實施方式中，為多個圖像對確定累積的波前。
在一個實施方式中，該方法還包括確定對象空間的兩個平面之間的相移作為積累的波前與所述確定平面的差。優選地，為多個平面確定相移。
本發明允許通過在測量域(未在變換域中)與散焦圖像以及波前相位的斷層檢索工作來得到整體(係數和相位)電磁場，而不僅是其強度。有利地，定義在測量域中 的工作的結果比在變換域中的工作的結果好得多，其中當從很少的散焦圖像開始時，在一定空間頻率中缺乏信息會導致模糊。在光線不足的情況下最適合的是採集少數散焦圖像。
與來自僅在光瞳檢索波前相位的領域狀態的方法相比，本發明具有的層析成像地從場景獲取的最適合的該組散焦圖像檢索波前相位的優點。波前相位的斷層測量允許在入射光瞳的整個視野中校正像差。
在一個實施方式中，該方法還包括從選自多張捕獲的圖像的P張圖像在M值而不是u處確定在距離F聚焦的光場(L)的值，M
Figure 104143159-A0202-12-0007-91
P，該光場的值驗證方程組：
Figure 104143159-A0202-12-0007-11
其中P是考慮用於確定光場的圖像數目，F是透鏡的焦距，L F 是在距離F聚焦的光場的值，α j F是圖像j的焦距且I j (x)是圖像j的強度，且其中[x]表示最接近x的整數，對每個圖像j且1
Figure 104143159-A0202-12-0007-92
j
Figure 104143159-A0202-12-0007-93
P得到結果，在值u j 評估的光場L F (x)由擬合造成，即相應於值u j 的光場的視圖，其中x和u分別是傳感器中和照相機的透鏡中確定位置的二維矢量。
儘管已經描述結合用於確定根據本發明第一方面的波前相位方法確定光場，確定光場的方法可以單獨進行。因此，本發明的另一個方面提供了用於確定光場的方法，該 方法包括：a)通過照相機的方式捕獲該場景的多個圖像，圖像在佈置在不同距離的多個焦點平面聚焦，其中，所述相機包括焦距F的透鏡和佈置在距透鏡等同於其焦距的距離的傳感器，和b)從選自多張捕獲的圖像的P張圖像在M值而不是u處確定在距離F聚焦的光場(L)的值，M
Figure 104143159-A0202-12-0008-94
P，該光場的值驗證方程組：
Figure 104143159-A0202-12-0008-12
其中P是考慮用於確定光場的圖像數目，F是透鏡的焦距，L F 在距離F聚焦的光場的值，α j F是圖像j的焦距且I j (x)是圖像j的強度，且其中[x]表示最接近x的整數，對每個圖像j且1
Figure 104143159-A0202-12-0008-152
j
Figure 104143159-A0202-12-0008-99
P得到結果，在值u j 評估的光場L F (x)由擬合造成，即相應於值u j 的光場的視圖，其中x和u分別是傳感器中和照相機的透鏡中確定位置的二維矢量。
在一個實施方式中，光場的值通過最小二乘法解方程組確定，即，最小化表達式：
Figure 104143159-A0202-12-0008-13
在第二方面中，定義了一種用於確定場景相關電磁場的複振幅的裝置，包括用於捕獲圖像的部件，包括焦距F的透鏡和在其圖像空間中距離透鏡一定距離的與透鏡平行設置的圖像傳感器，和處理部件，被配置用於實施根據發明第一方面的方法的步驟b)。
此說明書(包括申請專利範圍、說明書和附圖)中描述的方法的所有特徵和/或步驟可以以任何組合進行組合，相互排斥的特徵組合除外。
為了補充下面所作說明並為了有助於更好地理解根據其優選實施方式的本發明特徵，將一組附圖作為所述說明書的組成部分，其中以說明性和非限制性地方式描述如下：圖1和2示意性地描繪了本發明的方法的一部分。
圖3示意性地描繪了照相機的透鏡和傳感器之間的光場。
圖4和5示意性地舉例說明本發明的方法的一部分。
圖6示意性地描繪了得到相應於不同平面的波前相位。
圖7和8分別示出了在變換域和測量域中的圖像重構。
二維波前重構
本發明的方法允許在多項式基中從兩個或更多個散焦圖像檢索波前相位水平和垂直斜率的笛卡爾分佈，這反過來允許使用任何用於從斜率相重構的方法，無論它們是區域法(Hudgin等)或模態法。在模態法的情況下，在其上展開和擬合的波前相位圖的該組多項式可以根據需要的問題進行選擇：澤尼克多項式(與經典光學或塞德爾像差一致)、複指數(包括傅立葉變換內核、其加速計算的使用)、卡亨南-拉維函數(沒有任何分析形式但構成環形光瞳的基礎，這在望遠鏡中是典型的)等。
在一般情況下，用於從一組多項式Z j (x,y)的展開式中恢復相位圖的方法包括在點(x,y)考慮波前相位，如下式：
Figure 104143159-A0202-12-0010-14
其中N代表展開式中使用的多項式的個數。
水平和垂直笛卡兒斜率sx和sy分別對應下述的波前偏導數：
Figure 104143159-A0202-12-0010-15
Figure 104143159-A0202-12-0010-16
假設光子從平面-z移動到平面+z，並估計中間平面在點(x,y)處的波前。
為考慮光子(表示為f XY (x,y))通過相應兩維累積分佈函數(CDF)(表示為C(x,y))出現的概率，傳播的波前強度通過二維密度函數(PDF)表示。
密度函數驗證：
Figure 104143159-A0202-12-0011-17
變量x的邊緣累積分佈函數被構造為：
Figure 104143159-A0202-12-0011-18
其中，f X 是由密度函數(f XY )構造的邊緣密度函數，如下式：
Figure 104143159-A0202-12-0011-19
相應的變量中作為累積分佈函數的屬性對邊緣密度函數是保守的。因此，
Figure 104143159-A0202-12-0011-20
由於在平面-z和+z上具有數據，所以相應於考慮的 兩個圖像，存在有兩個累積分佈函數。平面-z上的邊緣累積分佈函數表示為C 1X ，而平面+z上的邊緣累積分佈函數表示為C 2X 。
考慮到該方法在平面-z和+z上從f XY 的值開始，假設與平面-z相關數據通過f 1XY 定義且與平面+z相關數據通過f 2XY 確定：
Figure 104143159-A0202-12-0012-21
Figure 104143159-A0202-12-0012-22
且
Figure 104143159-A0202-12-0012-23
Figure 104143159-A0202-12-0012-24
單調增加的值在0和1之間的實數(s(j))序列被考慮為1
Figure 104143159-A0202-12-0012-100
j
Figure 104143159-A0202-12-0012-101
T，即對每個1
Figure 104143159-A0202-12-0012-102
j
Figure 104143159-A0202-12-0012-104
T，0
Figure 104143159-A0202-12-0012-105
s(j)
Figure 104143159-A0202-12-0012-107
10。
執行邊緣累積分佈函數中的直方圖匹配以尋找值s(j)值的累積分佈函數的值的鏡像。換句話說，找到滿足下式的值u1X(j)：C 1x (u 1X (j))=s(j)
對每個1
Figure 104143159-A0202-12-0012-108
j
Figure 104143159-A0202-12-0012-110
T，值u 2X(j)滿足下式：C 2x (u 2X (j))=s(j)
因此，已經發現了每個固定值s(j)的u 1X (j)和u 2X (j)。從圖形來說，如圖1示意性地描繪，對相應點的x軸掃描進行搜索，確定所有縱坐標。
對這些值中的每個，提供更準確值的是現在來自兩個變量中的密度函數，以對每個從1到T值k，發現值u 1Y (k)和u 2Y (k)滿足下式：
Figure 104143159-A0202-12-0013-25
和
Figure 104143159-A0202-12-0013-26
其中函數f 1XY (x,y)和f 2XY (x,y)分別相應於考慮的圖像I 1(x,y)和I 2(x,y)。
用圖表表示，所要做的是將在x軸上的每個相應值與縱坐標相關聯，該縱坐標使鏡像通過累積分佈函數匹配起來，如在圖2中示意性地描繪。
其結果是點的二維網格，這些點通過{(u 1X (j),u 1Y (k)),j,k=1...T}在高度-z處，和{(u 2X (j),u 2Y (k)),j,k=1...T}在高度+z處確定，使得對每個1
Figure 104143159-A0202-12-0013-112
j，k
Figure 104143159-A0202-12-0013-111
T，點(u 1X (j),u 1Y (k))和(u 2X (j),u 2Y (k))與在波前的光線的相同值相關聯。
在中間平面的點上的波前的方向導數可以考慮通過表達式確定：
Figure 104143159-A0202-12-0014-27
對每個1
Figure 104143159-A0202-12-0014-113
j
Figure 104143159-A0202-12-0014-116
T，和
Figure 104143159-A0202-12-0014-28
對每個1
Figure 104143159-A0202-12-0014-117
k
Figure 104143159-A0202-12-0014-118
T。
因此，方程組(2)和(3)可寫成：
Figure 104143159-A0202-12-0014-29
Figure 104143159-A0202-12-0014-30
或者以簡化形式：(6)S=A．d
其中未知數是係數d的矩陣。等式(6)表示其中有比未知數(N)更多的方程(2T2)的超定方程組，其中2T2是可用像素(X，Y)的數量。
按照最小二乘法的意義擴展式係數d可以視為在平面上最匹配的。解決上述方程中的優選方式是通過最小二乘法的方式來解決：(7)d=(ATA)-1ATS=A+ S
等式(7)可以根據矩陣ATA是否是單數來通過許多 本領域技術人員公知的技術解決。
在具體實施方式中，波前被擴展為複指數函數。擴展式在某些N
Figure 104143159-A0202-12-0015-151
1情況下可縮減，使得其可以被寫為
Figure 104143159-A0202-12-0015-31
其中(dpq)p,q
Figure 104143159-A0202-12-0015-121
0是係數的雙重索引家族，且其中
Figure 104143159-A0202-12-0015-32
對每個0
Figure 104143159-A0202-12-0015-122
p，q
Figure 104143159-A0202-12-0015-150
N-1。
此時最小二乘的問題可以用獲得的數據來解決，是因為通過對X或Y求導，從表達式(8)推導出下式
Figure 104143159-A0202-12-0015-33
Figure 104143159-A0202-12-0015-34
 因此，對每個0
Figure 104143159-A0202-12-0015-124
p，q
Figure 104143159-A0202-12-0015-126
N-1：
Figure 104143159-A0202-12-0015-35
Figure 104143159-A0202-12-0015-36
通過在中點評估，考慮表達式(4)和(5)和在方程(9)和(10)更換這些值，有可能達到下面的超定方程：
Figure 104143159-A0202-12-0016-37
Figure 104143159-A0202-12-0016-38
伴隨N2未知數和2T2方程。T值由數據確定，其被認為在指數方面在相位展開式中比加數的個數大得多。
在這種情況下，擴展式的係數可從表達式得到：
Figure 104143159-A0202-12-0016-39
其中DF表示離散傅立葉變換。
圖像的斷層恢復
本發明的方法提供了從散焦圖像的波前相位的二維恢復。所得相應於累計相位的波前相位與對象空間中的共軛位置不同。換句話說，如果拍攝兩個散焦圖像，遠離透鏡焦點以致於它們幾乎與在光瞳(或從光學系統的入射光瞳很少分離)中拍攝圖像對應，將得到場景視角的整個領域中累計到達該目標的相位。隨著使用的散焦圖像對接近焦 點，對象空間中共軛平面將對應於遠離入射光瞳的平面，且它將描述場景中積累到該平面的相位。
兩累積相位之間的差異提供了最遠平面和光學系統的光瞳平面之間存在的相移。因此，使用的散焦圖像的數量越多，對象空間的離散化和得到的波前相位的斷層分佈將會更完整。此波前相位的斷層分佈將具有捕獲傳感器相關的原始兩維光學分辨率和使用的圖像數量允許的三維分辨率(在光軸z上)。應當指出的是，如圖6示意性地描繪，三維分辨率並不嚴格與採集的散焦圖像或平面數量一致，因為有可能考慮任何一對用於獲得累積波前相位子離散採集平面的。
利用平面Ia和Ib，發現到光瞳的累積相位W1(x,y)。利用平面Ia’和Ib’，發現累積相位W2(x,y)。W2和W1之間的差異在由鍵指示的區域提供了相位。通過使用更多的平面(更多捕獲的圖像)，相位軸線z上的分辨率增加，並且獲得該波前相位的三維地圖。
本發明的方法可以應用到任何領域中，其中已知的是與場景觀察相關的波前，包括計算攝影和自適應光學，特別是在有關天文觀測以得到氣柱相關的湍流(波前相位)的三維地圖的應用中，在有必要通過湍流介質(例如在增強的現實眼鏡、手機、顯微鏡或內窺鏡中)校正視角的應用中，在用於在透明有機組織樣品中折射率變化的斷層測量的應用中或在通過湍流介質(大氣、海洋、體液等)的光學通信的應用中。
圖像強度重構
光場L是通過照相機的目標的光線的四維表示。為簡單起見，簡化的二維表示法將被使用。因此，L F (x,u)表示在位置u=(u 1,u 2)處通過照相機主透鏡並到達傳感器為照相機焦距F的位置x=(x 1,x 2)的光線，如在圖3中描繪。
因此，具有代表進入照相機的所有光線和它們到達傳感器的位置的四維體積。Ng(Ng,R.,Fourier slice photography,in ACM Transactions on Graphics(TOG),Vol.24,No.3,pp.735-744,ACM,2005,July)表明，如果傳感器位於距離αF處，投射到傳感器上的圖像將對應於光場以角度θ=tan-1(1/ α )的二維投影：
Figure 104143159-A0202-12-0018-40
如在圖4中示意性地描繪。
如在圖5示意性地描繪，本發明的方法是基於將Iα(x)解釋為位於彼此替換的不同的值u處的多個圖像，且基於在不同的值u處估計圖像，發現由於值α’被替換並添加到彼此最好接近用焦距Fα’捕獲的輸入圖像的圖像集。因此X維(像素)上的位移是u+(x-u)/α’。
該方法包括在M值估計在距離F(LF)處聚焦的光場的值，而不是在u處從在距離α1F，α2F...αPF處聚焦並用常規照相機捕獲的P圖像(I1(x),I2(x)...IP(x))估計光場的值。 為此，該方法試圖找到光場的值，使得下式滿足：
Figure 104143159-A0202-12-0019-41
前述表達式可以簡單地由線性Ax=b型方程組表示。該方程組可以通過查找x來解決，x使得∥Ax-b∥2最小化。
到現在為止，單通道圖像已被假定。在彩色圖像的情況下(具有多個頻道)，生成矩陣A一次就足夠。然後，創建包含關於在待解決的通道中圖像的信息的新矢量b。
用於重組根據本發明的圖像的強度的方法允許憑藉在顯微鏡、攝影、內窺鏡檢查、電影藝術等中的應用，生成完全聚焦和具有完整的光學分辨率(全景對焦)的單個圖像，生成全景對焦的立體像對、生成全景對焦的多立體圖像(光場)和需要時生成隨意聚焦的光場。
實施例
假定在距離α1=2和α2=4聚焦且F=1m的8個元素的兩個圖像I1(x)和I2(x)。在這種情況下求和是從n=1到n=2的指數。
對j=1的方程是：
Figure 104143159-A0202-12-0019-42
Figure 104143159-A0202-12-0019-43
Figure 104143159-A0202-12-0020-51
Figure 104143159-A0202-12-0020-52
且對j=2
Figure 104143159-A0202-12-0020-50
Figure 104143159-A0202-12-0020-53
Figure 104143159-A0202-12-0020-54
Figure 104143159-A0202-12-0020-49
展開：L F (1,1)+L F (2,2)=22 I 1 (1)
L F (2,1)+L F (2,2)=22 I 1 (2)
L F (2,1)+L F (3,2)=22 I 1 (3)
L F (3,1)+L F (3,2)=22 I 1 (4)
L F (3,1)+L F (4,2)=22 I 1 (5)
L F (4,1)+L F (4,2)=22 I 1 (6)
L F (4,1)+L F (5,2)=22 I 1 (7)
L F (5,1)+L F (5,2)=22 I 1 (8)
L F (1,1)+L F (2,2)=42 I 2 (1)
L F (1,1)+L F (2,2)=42 I 2 (2)
L F (2,1)+L F (2,2)=42 I 2 (3)
L F (2,1)+L F (3,2)=42 I 2 (4)
L F (2,1)+L F (3,2)=42 I 2 (5)
L F (2,1)+L F (3,2)=42 I 2 (6)
L F (3,1)+L F (3,2)=42 I 2 (7)
L F (3,1)+L F (4,2)=42 I 2 (8)
矩陣形式：
Figure 104143159-A0202-12-0021-55
前述系統的分辨率提供光場的L F 的值。前述系統中任何方程中未定義的光場的值取0值。
根據來自本領域狀態的方法，圖7示出在變換域中執行的場景的圖像重構。圖8示出使用用於從散焦圖像得到光場的本發明的方法，在測量域中執行的相同場景的圖像 重構。儘管圖7和8的圖像不歸一化到相同的信號強度值，但是可以看出的是，在測量域中執行的重構是在分辨率測試圖中的邊緣被更好地限定且更清晰。框內標記的面積增大，因此可以看到更好完全示出了兩個檢索之間質量上的差異。

Claims (11)

  1. 一種用於確定場景相關的電磁場的複振幅的方法，包括以下步驟：a)通過照相機捕獲場景的多個圖像，圖像聚焦在佈置於不同距離的多個焦點平面，其中，所述相機包括焦距F的透鏡和佈置在圖像空間中距透鏡一定距離的傳感器，b)從所述多個圖像中挑選至少一個圖像對並相應於所述對中兩個圖像的焦點平面針對的中間平面測定對象空間中到共軛平面的累積波前，按
    Figure 104143159-A0305-02-0025-6
     確定波前W(x,y)，其中{Z p (x,y)}是一組預定的多項式，且N是展開式中使用的多項式的個數，其中係數d p 通過解方程組的方式確定：
    Figure 104143159-A0305-02-0025-7
     其中2z是該對中兩個圖像的焦點平面之間的距離，其中{(u 1X (j),u 1Y (k)),j,k=1...T}是屬於所述對中第一圖像的點， {(u 2X (j),u 2Y (k)),j,k=1...T}是屬於所述對中第二圖像的點，其中每個1
    Figure 104143159-A0305-02-0026-21
    j，k
    Figure 104143159-A0305-02-0026-22
    T，下式被驗證
    Figure 104143159-A0305-02-0026-8
     和
    Figure 104143159-A0305-02-0026-9
     其中s(j)是0和1之間的值的實數序列，對於每個1
    Figure 104143159-A0305-02-0026-23
    j
    Figure 104143159-A0305-02-0026-24
    T單調遞增，其中f XY 是二維密度函數，其考慮光子發生的可能性並在每個情況下通過所述對中相應圖片的歸一化強度I(x,y)確定，即：
    Figure 104143159-A0305-02-0026-10
  2. 根據申請專利範圍第1項所述的方法，其中波前通過表達式：
    Figure 104143159-A0305-02-0026-11
     確定其中
    Figure 104143159-A0305-02-0026-14
     對每個0
    Figure 104143159-A0305-02-0027-16
    p，q
    Figure 104143159-A0305-02-0027-17
    N-1。
  3. 根據申請專利範圍第1或2項所述的方法，所述方法包括為多個圖像對確定累積的波前。
  4. 根據申請專利範圍第3項所述的方法，所述方法包括確定對象空間的兩個平面之間的相移為積累的波前到所述平面的差。
  5. 根據申請專利範圍第4項所述的方法，所述方法包括為多個對象平面確定相移。
  6. 根據申請專利範圍第1項所述的方法，所述方法還包括：從選自多張捕獲的圖像的P張圖像在M值而不是u處確定在距離F聚焦的光場(L)的值，M
    Figure 104143159-A0305-02-0027-18
    P，所述光場的值驗證方程組：
    Figure 104143159-A0305-02-0027-15
     其中P是考慮用於確定光場的圖像數目，F是透鏡的焦距，LF是在距離F聚焦的光場的值，αjF是圖像j的焦距且Ij(x)是圖像j的強度，且其中[x]表示最接近x的整數，對每個圖像j且1
    Figure 104143159-A0305-02-0027-19
    j
    Figure 104143159-A0305-02-0027-20
    P得到結果，在值uj評估的光場LF(x)由擬合造成，即相應於值uj的光場的視圖，其中x和u分別是傳感器中和照相機的透鏡中確定位置的二維矢量。
  7. 根據申請專利範圍第6項所述的方法，其中光場的 值通過最小二乘法解方程組確定，即，最小化：
    Figure 104143159-A0305-02-0028-13
  8. 根據申請專利範圍第1項所述的方法，其中每個選取的圖像對的兩個圖像分別在聚焦的兩側上拍攝。
  9. 根據申請專利範圍第8項所述的方法，其中每個選取的圖像對的兩個圖像從焦點兩側上對稱的距離拍攝。
  10. 一種用於確定場景相關的電磁場的複振幅的裝置，包括：用於捕獲圖像的部件，包括焦距F的透鏡和在其圖像空間中距離透鏡一定距離的與透鏡平行設置的圖像傳感器，和處理部件，被配置用於實施根據申請專利範圍第1所述的方法的步驟b)。
  11. 根據申請專利範圍第10項所述的裝置，其中處理部件額外地配置用於實施申請專利範圍第2到9項中任一項所述的方法。
TW104143159A 2014-12-22 2015-12-22 用於確定場景相關電磁場的複振幅的方法及裝置 TWI687661B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ES201431900A ES2578356B1 (es) 2014-12-22 2014-12-22 Método para determinar la amplitud compleja del campo electromagnético asociado a una escena
ESP201431900 2014-12-22

Publications (2)

Publication Number Publication Date
TW201643391A TW201643391A (zh) 2016-12-16
TWI687661B true TWI687661B (zh) 2020-03-11

Family

ID=56149310

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104143159A TWI687661B (zh) 2014-12-22 2015-12-22 用於確定場景相關電磁場的複振幅的方法及裝置

Country Status (10)

Country Link
US (1) US10230940B2 (zh)
EP (1) EP3239672B1 (zh)
JP (1) JP6600360B2 (zh)
KR (1) KR102501402B1 (zh)
CN (1) CN107209061B (zh)
DK (1) DK3239672T3 (zh)
ES (1) ES2578356B1 (zh)
IL (1) IL253142B (zh)
TW (1) TWI687661B (zh)
WO (1) WO2016102731A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3214444A1 (en) 2016-04-12 2017-10-19 Quidient, Llc Quotidian scene reconstruction engine
AU2017202910A1 (en) * 2017-05-02 2018-11-22 Canon Kabushiki Kaisha Image processing for turbulence compensation
EP4459446A3 (en) 2018-05-02 2025-01-22 Quidient, LLC A codec for processing scenes of almost unlimited detail
US10664555B2 (en) * 2018-06-06 2020-05-26 Sas Institute Inc. Two-stage distributed estimation system
CN108873363B (zh) * 2018-09-06 2023-11-17 深圳技术大学（筹） 基于结构光标记的三维光场成像系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100060962A1 (en) * 2007-01-29 2010-03-11 Celloptic, Inc. System, apparatus and method for extracting image cross-sections of an object from received electromagnetic radiation
US20100142014A1 (en) * 2006-11-17 2010-06-10 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
CN101952855A (zh) * 2008-01-15 2011-01-19 拉古纳大学 从三维场景实时获取视觉信息的方法和照相机
TW201137923A (en) * 2010-02-10 2011-11-01 Halcyon Molecular Inc Aberration-correcting dark-field electron microscopy
CN102662238A (zh) * 2012-05-03 2012-09-12 中国科学院长春光学精密机械与物理研究所 一种具有在轨自诊断和补偿功能的空间光学相机

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101939703B (zh) * 2008-12-25 2011-08-31 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
JP2010169976A (ja) * 2009-01-23 2010-08-05 Sony Corp 空間像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100142014A1 (en) * 2006-11-17 2010-06-10 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US20100060962A1 (en) * 2007-01-29 2010-03-11 Celloptic, Inc. System, apparatus and method for extracting image cross-sections of an object from received electromagnetic radiation
CN101952855A (zh) * 2008-01-15 2011-01-19 拉古纳大学 从三维场景实时获取视觉信息的方法和照相机
TW201137923A (en) * 2010-02-10 2011-11-01 Halcyon Molecular Inc Aberration-correcting dark-field electron microscopy
CN102662238A (zh) * 2012-05-03 2012-09-12 中国科学院长春光学精密机械与物理研究所 一种具有在轨自诊断和补偿功能的空间光学相机

Also Published As

Publication number Publication date
JP2018512070A (ja) 2018-05-10
EP3239672A4 (en) 2018-09-19
EP3239672A1 (en) 2017-11-01
US10230940B2 (en) 2019-03-12
CN107209061A (zh) 2017-09-26
EP3239672B1 (en) 2020-01-15
ES2578356B1 (es) 2017-08-04
KR102501402B1 (ko) 2023-02-20
CN107209061B (zh) 2020-04-14
WO2016102731A1 (es) 2016-06-30
JP6600360B2 (ja) 2019-10-30
IL253142A0 (en) 2017-08-31
KR20170099959A (ko) 2017-09-01
US20180007342A1 (en) 2018-01-04
TW201643391A (zh) 2016-12-16
IL253142B (en) 2021-07-29
DK3239672T3 (da) 2020-04-14
ES2578356A1 (es) 2016-07-26

Similar Documents

Publication Publication Date Title
US8305485B2 (en) Digital camera with coded aperture rangefinder
US8432479B2 (en) Range measurement using a zoom camera
KR101233013B1 (ko) 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법
JP5681954B2 (ja) 撮像装置及び撮像システム
JP5866383B2 (ja) 画像における焦点誤差推定
JP5358039B1 (ja) 撮像装置
US8436912B2 (en) Range measurement using multiple coded apertures
TWI687661B (zh) 用於確定場景相關電磁場的複振幅的方法及裝置
KR20100136448A (ko) 3차원 장면으로부터 시각 정보의 실시간 포착을 위한 방법 및 카메라
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JPWO2019171691A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
Tang et al. Utilizing optical aberrations for extended-depth-of-field panoramas
JP6968895B2 (ja) 電磁場の波頭の断層撮影分布を取得する方法及び光学システム
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2018088587A (ja) 画像処理方法および画像処理装置
HK1240313A1 (zh) 用於确定场景相关电磁场的复振幅的方法
HK1240313B (zh) 用於确定场景相关电磁场的复振幅的方法
KR20130106525A (ko) 영상 처리 장치 및 이의 영상 처리 방법
CN120282035A (zh) 用于内窥镜的景深延拓成像装置、方法及电子设备
Alonso Multi-focus computational optical Imaging in Fourier Domain