[go: up one dir, main page]

TWI910077B - 基於使用與光導光學元件相關聯的光學佈置對來自眼睛的光的重定向來進行眼睛跟蹤的系統和方法 - Google Patents

基於使用與光導光學元件相關聯的光學佈置對來自眼睛的光的重定向來進行眼睛跟蹤的系統和方法

Info

Publication number
TWI910077B
TWI910077B TW114126982A TW114126982A TWI910077B TW I910077 B TWI910077 B TW I910077B TW 114126982 A TW114126982 A TW 114126982A TW 114126982 A TW114126982 A TW 114126982A TW I910077 B TWI910077 B TW I910077B
Authority
TW
Taiwan
Prior art keywords
light
eye
transmitting substrate
optical
optical sensor
Prior art date
Application number
TW114126982A
Other languages
English (en)
Other versions
TW202542602A (zh
Inventor
埃坦 羅寧
羅寧 切里基
拿瑪 勒萬
莉雅 羅巴欽斯基
Original Assignee
以色列商魯姆斯有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商魯姆斯有限公司 filed Critical 以色列商魯姆斯有限公司
Publication of TW202542602A publication Critical patent/TW202542602A/zh
Application granted granted Critical
Publication of TWI910077B publication Critical patent/TWI910077B/zh

Links

Abstract

透光基板具有至少兩個主表面,並且被佈置為主表面中的第一主表面與觀看者的眼睛成面對關係。光重定向佈置與透光基板相關聯,並且將來自眼睛的光朝向感測光的光學感測器偏轉,使得光偏轉發生在透光基板處並且到達光學感測器的偏轉光未被透光基板引導。處理器通過處理來自光學感測器的信號來得出眼睛的當前注視方向。

Description

基於使用與光導光學元件相關聯的光學佈置對來自眼睛的光的重定向來進行眼睛跟蹤的系統和方法
本申請要求2019年12月25日提交的美國臨時專利申請第62/953,557號、2020年1月9日提交的美國臨時專利申請第62/958,755號以及2020年5月13日提交的美國臨時專利申請第63/023,891號的優先權,以上美國臨時專利申請的全部公開內容通過引用併入本文中。
本發明內容涉及眼睛跟蹤。
近眼顯示器(NED,near eye display)、頭戴式顯示器(HMD,head mounted display)和平視顯示器(HUD,head up display)的光學佈置需要大孔徑以覆蓋觀察者的眼睛所在的區域(通常被稱為眼睛運動盒或EMB)。為了實現緊湊的設備,要投影到觀察者的眼睛中的圖像由具有小孔徑的小型光學圖像生成器(投影儀)生成,該小孔徑被倍增以生成大孔徑。
基於透明材料的平行面對的板開發了一種在一個維度上進行孔徑倍增的方法,在該平行面對的板中圖像通過內反射進行傳播。通過使用成斜角的部分反射器或通過在板的一個表面上使用衍射光學元件,將圖像波前的一部分耦出板。這樣的板在本文中被稱為光導光學元件(LOE,light-guide optical element)、透光基板或光波導。在圖1中示意性地示出了這樣的孔徑倍增的原理,圖1示出了具有一對平行的主外表面(面)12、14用於通過內反射(優選地但不一定是全內反射)來引導光的光導光學元件10。圖像投影儀16(示意性地表示為矩形)生成如此處由照明束示意性地表示的投影圖像18,該照明束包括跨越束的樣本光線18A和樣本光線18B。投影圖像18由如此處由棱鏡20(可互換地被稱為“楔形件”)示意性地示出的光學耦入配置耦入光導光學元件10中,以生成反射光線22,該反射光線22通過內反射被捕獲在基板內,從而還生成光線24。此處,耦合楔形件20包括三個主表面,其中一個主表面位於LOE 10的傾斜邊緣26旁邊(或與LOE 10的傾斜邊緣26是共同的)(此處邊緣26與面12、面14成傾斜角度)。
耦入圖像18通過來自面12、面14的重複內反射沿基板10傳播,撞擊在如此處由與平行的面12、面14成傾斜角度(αsur )的一系列部分反射表面28示意性地示出的光學耦出配置上,在一系列部分反射表面28上,圖像強度的一部分被反射,以作為光線30A和30B朝向位於EMB 36中的觀察者的眼睛34的瞳孔32耦出基板,該EMB 36與表面12相距出瞳間隔(ER,eye relief)距離38。為了使可能引起重影圖像的不需要的反射最小化,部分反射表面28優選地被塗覆成針對第一入射角度範圍具有低反射率,同時針對第二入射角度範圍具有所期望的部分反射率,其中,相對於部分反射表面28的法線具有小傾斜度(此處表示為角度βref )的光線被分開以生成用於耦出的反射光線,而高傾斜度(相對於法線)的光線以可忽略的反射率透射。
投影圖像18是準直圖像,即其中每個圖元由對應角度處的平行光線束——相當於來自遠離觀察者的場景的光——來表示(準直圖像被稱為“準直到無限遠”)。此處,圖像由與圖像中的單個點(通常是圖像的質心)對應的光線簡化地表示,但事實上,圖像包括到該中心束的每一側的角度範圍,該圖像以對應角度範圍耦入至基板,並且類似地以對應的角度耦出,從而創建與以不同方向到達觀察者的眼睛34的圖像的部分對應的視場。
對NED、HMD或HUD設計可能有用的光學功能是眼睛跟蹤,或感測觀察者的眼睛相對於頭部的方向正在看的方向(通常被稱為注視方向)。已經提出了用於眼睛跟蹤的各種解決方案。在一組解決方案中,通過將從眼睛反射的光耦合入LOE中,使得反射光通過內反射通過LOE傳播回到圖像投影儀(即,在相對於來自圖像投影儀的圖像光的相反方向上),經由LOE在EMB內對眼睛進行成像。這些解決方案試圖克服基本問題,即EMB不像來自圖像投影儀的準直圖像那樣位於無限遠處,而是位於距LOE相對近的距離處。在另一組解決方案中,使用一個或更多個攝像裝置對EMB進行成像,所述一個或更多個攝像裝置被佈置在眼睛前方安裝有LOE的機械體(例如,眼鏡框架)的週邊部分上的離軸位置處。然而,機械體的週邊部分與眼睛之間的接近度使得由於相對大的梯形角度而難以在EMB內對眼睛進行成像。顯然地,將攝像裝置直接佈置在眼睛前方可以實現高品質的EMB成像和影像處理,但是將攝像裝置直接定位在眼睛前方會使觀看者的自然視野模糊。
本發明的各方面提供了眼睛跟蹤器和對應的方法,其用於基於經由光導光學元件對眼睛進行成像來跟蹤人眼的注視方向並且特別適於集成為NED、HMD或HUD的一部分。
本發明的各方面提供了眼睛跟蹤器和對應的方法,其用於基於經由與光導光學元件相關聯的光重定向光學佈置對眼睛進行成像來跟蹤人眼的注視方向並且特別適於集成為NED、HMD或HUD的一部分,該光重定向光學佈置回應於對眼睛的照明將從眼睛反射的光朝向光學感測器重定向為非引導光。
根據本發明的實施方式的教導,提供了一種光學系統。光學系統包括:透光基板,具有至少兩個主表面,所述透光基板佈置為主表面中的第一主表面與觀看者的眼睛成面對關係;光學感測器,被佈置成用於感測光;與透光基板相關聯的光重定向佈置,被配置成將來自眼睛的光朝向光學感測器偏轉,使得到達光學感測器的偏轉光未被透光基板引導,並且由光重定向佈置對光的偏轉發生在透光基板處;以及至少一個處理器,電耦接至光學感測器並且被配置成處理來自光學感測器的信號,以得出眼睛的當前注視方向。
可選地,光學系統還包括:照明佈置,被佈置成用光照射眼睛,使得眼睛將來自照明佈置的光的一部分反射作為反射光,並且反射光對應於來自眼睛的被光重定向佈置偏轉的光。
可選地,照明佈置至少包括第一光源和第二光源,第一光源被配置成產生具有在給定的第一波長範圍內的波長的光,第二光源被配置成產生具有在給定的第二波長範圍內的波長的光,給定的第一波長範圍與給定的第二波長範圍是非交疊範圍。
可選地,來自眼睛的被光重定向佈置偏轉的光主要包括具有在電磁光譜的可見光區域之外的波長的光。
可選地,來自眼睛的被光重定向佈置偏轉的光主要包括具有在電磁光譜的可見光區域內的波長的光。
可選地,光重定向佈置透射具有在電磁光譜的可見光區域內的波長的光並且反射具有在電磁光譜的可見光區域之外的波長的光。
可選地,光重定向佈置包括位於透光基板內的至少一個部分反射表面。
可選地,透光基板的兩個主表面相互平行,並且至少一個部分反射表面是與兩個主表面成傾斜角度的平坦表面。
可選地,透光基板被配置成通過透光基板的兩個主表面之間的內反射來引導與準直到無限遠的圖像對應的光,並且光學系統還包括:位於透光基板內的第二至少一個部分反射表面,用於將通過兩個主表面之間的內反射引導的光從透光基板耦出到觀看者的眼睛。
可選地,第二至少一個部分反射表面是與兩個主表面成傾斜角度的平坦表面。
可選地,至少一個部分反射表面和第二至少一個部分反射表面彼此平行。
可選地,至少一個部分反射表面和第二至少一個部分反射表面彼此不平行。
可選地,至少一個部分反射表面被佈置成與第二至少一個部分反射表面成非交疊關係。
可選地,至少一個部分反射表面被佈置成與第二至少一個部分反射表面成交疊關係。
可選地,光重定向佈置包括衍射元件,該衍射元件與透光基板的主表面中的一個主表面的至少一部分相關聯。
可選地,光重定向佈置包括選擇性反射表面,該選擇性反射表面與透光基板的主表面之一的至少一部分相關聯。
可選地,選擇性反射表面由應用到主表面的至少一部分的電介質塗層或二向色塗層中的至少一個形成。
可選地,光重定向佈置將來自眼睛的第一組光線通過成像透鏡朝向光學感測器偏轉,以形成眼睛的至少一部分的第一圖像,並且光學系統還包括:第二光重定向佈置,被配置成使第二組光線從眼睛通過成像透鏡朝向光學感測器偏轉,以形成眼睛的至少一部分的第二圖像。
可選地,至少一個處理器還被配置成處理來自光學感測器的與第一圖像和第二圖像對應的信號,以確定眼睛與主表面中的第一主表面之間的距離。
可選地,光重定向佈置包括以下中的一個:位於透光表面的第一部分內的至少一個部分反射表面;與透光基板的主表面中的一個主表面的至少第一部分相關聯的衍射元件;或與透光基板的主表面中的一個主表面的至少第一部分相關聯的選擇性反射表面,並且第二光重定向佈置包括以下中的一個:位元元元元於透光表面的第二部分內的至少一個部分反射表面;與透光基板的主表面中的一個主表面的至少第二部分相關聯的衍射元件;或與透光基板的主表面中的一個主表面的至少第二部分相關聯的選擇性反射表面。
可選地,透光基板的主表面中的至少一個主表面是彎曲表面。
可選地,透光基板被配置成通過透光基板的兩個主表面之間的內反射來引導與準直到無限遠的圖像對應的光,並且光學系統還包括:光學耦出配置,用於將通過兩個主表面之間的內反射引導的光耦出透光基板。
可選地,光學耦出配置包括衍射元件。
可選地,光學耦出配置包括位元元元元於透光基板內的至少一個部分反射表面。
可選地,透光基板的兩個主表面彼此平行,並且至少一個部分反射表面是與兩個主表面成傾斜角度的平坦表面。
可選地,光學耦出配置被佈置成與光重定向佈置成非交疊關係。
可選地,光學耦出配置被佈置成與光重定向佈置成交疊關係。
可選地,透光基板被配置成在一個維度上引導光。
可選地,透光基板被配置成在兩個維度上引導光。
可選地,光重定向佈置被佈置在第一組平行平面中,並且光學耦出配置被佈置在第二組平行平面中。
可選地,第一組平面與第二組平面相互平行。
可選地,第一組平面與第二組平面相互正交。
可選地,第一組平面與第二組平面是相互傾斜的。
可選地,將透光基板集成為近眼顯示器的一部分。
可選地,將透光基板集成為平視顯示器的一部分。
可選地,光學感測器被佈置在觀看者的眼睛與主表面中的第一主表面之間。
可選地,來自眼睛的被光重定向佈置偏轉的光在到達光學感測器之前在透光基板內至多經歷單次反射。
可選地,光學系統還包括:至少一個成像光學元件,被佈置在從光重定向佈置到光學感測器的光路徑中,用於在光學感測器上形成眼睛的至少一部分的至少一個圖像。
根據本發明的教導的實施方式,還提供了一種光學系統。光學系統包括:透光基板,具有兩個相互平行的主外表面,透光基板佈置為主外表面中的一個主外表面與觀看者的眼睛成面對關係;光學耦入配置,用於將與準直圖像對應的光耦入透光基板中,以通過主外表面之間的內反射在透光基板內傳播;光學耦出配置,用於將通過內反射在透光基板內傳播的光耦出透光基板;光學感測器,被佈置成用於感測光;與透光基板相關聯的光重定向佈置,該光重定向佈置被配置成將來自眼睛的光朝向光學感測器偏轉,使得到達光學感測器的偏轉光未被透光基板引導,並且由光重定向佈置對光的偏轉發生在透光基板處;以及至少一個處理器,電耦接至光學感測器並且被配置成處理來自光學感測器的信號,以得出眼睛的當前注視方向。
可選地,光重定向佈置包括位於透光表面內的至少一個部分反射表面,並且至少一個部分反射表面是與兩個主外表面成傾斜角度的平坦表面。
可選地,光學耦出配置包括第二至少一個部分反射表面,並且第二至少一個部分反射表面是與兩個主外表面成傾斜角度的平坦表面。
可選地,至少一個部分反射表面與第二至少一個部分反射表面相互平行。
可選地,至少一個部分反射表面與第二至少一個部分反射表面不平行。
可選地,光學耦出配置被佈置成與光重定向佈置成非交疊關係。
可選地,光學耦出配置被佈置成與光重定向佈置成交疊關係。
可選地,與準直圖像對應的光主要包括具有在電磁光譜的可見光區域內的波長的光,並且來自眼睛的被光重定向佈置偏轉的光主要包括具有在電磁光譜的可見光區域之外的波長的光。
可選地,光學系統還包括:至少一個成像光學元件,被佈置在從光重定向佈置到光學感測器的光路徑中,用於在光學感測器上形成眼睛的至少一部分的至少一個圖像。
根據本發明的教導的實施方式,還提供了一種光學系統。該光學系統包括:透光基板,具有兩個相互平行的主外表面,所述透光基板佈置為主外表面中的一個主外表面與觀看者的眼睛成面對關係;光學耦入配置,用於將與準直圖像對應的光耦入透光基板中,以通過主外表面之間的內反射在透光基板內傳播;位於透光基板內的至少一個第一部分反射面,用於將通過內反射在透光基板內傳播的光耦出透光基板,至少一個第一部分反射表面是與兩個主外表面不平行並且與兩個主外表面成傾斜角度的平坦表面;光學感測器,被佈置成用於感測光;光重定向佈置,包括至少一個第二部分反射表面,該至少一個第二部分反射表面位元元元元於透光基板內,該至少一個第二部分反射表面被配置成將來自眼睛的光朝向光學感測器偏轉,使得到達光學感測器的偏轉光未被透光基板引導,並且由光重定向佈置對光線的偏轉發生在透光基板處;以及至少一個處理器,電耦接至光學感測器並且被配置成處理來自光學感測器的信號,以得出眼睛的當前注視方向。
可選地,至少一個第二部分反射表面透射具有在電磁光譜的可見光區域內的波長的光並且反射具有在電磁光譜的可見光區域之外的波長的光。
可選地,與準直圖像對應的光主要包括具有在電磁光譜的可見光區域內的波長的光,並且來自眼睛的被光重定向佈置偏轉的光主要包括具有在電磁光譜的可見光區域之外的波長的光。
可選地,至少一個第一部分反射表面與至少一個第二部分反射表面相互平行。
可選地,至少一個第一部分反射表面與至少一個第二部分反射表面不平行。
可選地,至少一個第一部分反射表面被佈置成與至少一個第二部分反射表面成非交疊關係。
可選地,至少一個第一部分反射表面被佈置成與至少一個第二部分反射表面成交疊關係。
可選地,該光學系統還包括:至少一個成像光學元件,被佈置在從光重定向佈置到光學感測器的光路徑中,用於在光學感測器上形成眼睛的至少一部分的至少一個圖像。
根據本發明的教導的實施方式,還提供了一種光學系統。該光學系統包括:光學感測器,被佈置成用於感測光;光重定向佈置,與具有至少兩個主表面的透光基板相關聯,該透光基板佈置為主表面中的第一主表面與觀看者的眼睛成面對關係,光重定向佈置被配置成將來自眼睛的光朝向光學感測器偏轉,使得到達光學感測器的偏轉光未被透光基板引導,並且由光重定向佈置對光的偏轉發生在透光基板處;以及至少一個處理器,電耦接至光學感測器並且被配置成處理來自光學感測器的信號,以得出眼睛的當前注視方向。
根據本發明的教導的實施方式,還提供了一種光學系統。該光學系統包括:透光基板,具有至少兩個主表面,該透光基板佈置為主表面中的第一主表面與觀看者的眼睛成面對關係,該眼睛相對於透光基板的位置限定眼睛運動盒;照明佈置,被佈置成利用眼睛跟蹤光照射眼睛運動盒,使得眼睛跟蹤光的強度的一部分被眼睛反射為反射光;光學感測器,被佈置成用於感測光;與透光基板相關聯的光重定向佈置,該光重定向佈置被配置成將反射光朝向光學感測器偏轉,到達光學感測器的偏轉光未被透光基板引導,並且由光重定向佈置對光的偏轉發生在透光基板處;以及至少一個處理器,電耦接至光學感測器並且被配置成處理來自光學感測器的信號,以得出眼睛的當前注視方向。
根據本發明的教導的實施方式,還提供了一種光學系統。該光學系統包括:照明佈置,被佈置成利用眼睛跟蹤光照射眼睛運動盒,眼睛運動盒限定觀看者的眼睛相對於具有至少兩個主表面的透光基板的位置,所述透光基板佈置為主表面中的第一主表面與眼睛成面對關係,眼睛跟蹤光的強度的一部分被眼睛反射為反射光;光學感測器,被佈置成用於感測光;光重定向佈置,與透光基板相關聯並且被配置成將反射光朝向光學感測器偏轉,到達光學感測器的偏轉光未被透光基板引導,並且由光重定向佈置對光的偏轉發生在透光基板處;以及至少一個處理器,電耦接至光學感測器並且被配置成處理來自光學感測器的信號,以得出眼睛的當前注視方向。
在本文檔的上下文內,術語“引導的”通常是指通過在透光材料的主外表面處的內反射而被捕獲在透光材料(例如,基板)內的光,使得被捕獲在透光材料內的光在傳播方向上穿過透光材料傳播。當傳播的光以在給定角度範圍內的入射角入射到透光材料的主外表面時,在透光基板內傳播的光通過內反射被捕獲。被捕獲的光的內反射可以呈全內反射的形式,由此以大於臨界角(部分由透光材料的折射率和佈置有透光材料的介質例如空氣的折射率限定)的角度入射到透光材料的主外表面的傳播光在主外表面處經歷內反射。替選地,可以通過將塗層(例如,角度選擇性反射塗層)應用至透光材料的主外表面以實現在給定的角度範圍入射到主外表面的光的反射來實現被捕獲的光的內反射。被引導穿過透光材料的光經歷來自透光材料的主外表面的至少兩次反射。
在本公開內容的上下文中使用的術語“未引導的”通常是指未被引導的光。未被引導的光橫穿透光材料(例如,基板)而未被捕獲在透光材料內,即,未通過內反射而被捕獲在透光材料的主外表面之間。本公開內容的光重定向佈置將來自EMB/觀看者的眼睛的光偏轉到成像/檢測子系統,並且特別地偏轉至光學感測器,使得光在透光材料處偏轉而不被捕獲在透光材料內,以在自由空間傳播下傳播到光學感測器。換言之,來自EMB/觀看者的眼睛的光被光重定向佈置偏轉,使得到達光學感測器的光未被透光材料引導。
根據本發明的各個實施方式的眼睛跟蹤器依賴於由光重定向佈置對從眼睛反射的光朝向光學感測器的偏轉。從眼睛反射的光在本文中也被稱為眼睛跟蹤光,並且在本文中被稱為在“眼睛跟蹤光譜”之內。當眼睛跟蹤光在電磁光譜的近紅外(NIR,near infrared)區域內時(即,當眼睛跟蹤光譜在NIR區域內時),根據本發明的各個實施方式的眼睛跟蹤器特別有效。然而,當眼睛跟蹤光在電磁光譜的可見區域中時(即,當眼睛跟蹤光譜在可見光區域內時),眼睛跟蹤器也可以是有效的。此外並且如將更詳細地討論的那樣,還構想了其中眼睛跟蹤光譜在可見光和NIR區域兩者之外的本發明的實施方式。
在本文檔的上下文內,在電磁光譜的NIR區域中的光通常是指波長在700至1400納米(nm)並且在某些情況下在680至1400 nm的範圍內的光。在700 nm附近的波長(即在680至750 nm範圍內的波長)可能會侵蝕較暗的紅色可見光,但在用於眼睛跟蹤目的而照射眼睛時可能會特別有利。在本文檔的上下文中,除非另有明確說明,否則被描述為主要具有在NIR區域內的波長的光通常是指具有在700至1400 nm或680至1400 nm範圍內的波長的光。在本文檔的上下文中,除非另有明確說明,否則被描述為具有在NIR區域之外的波長的光通常是指具有小於700 nm(或小於680 nm)或大於1400 nm的波長的光。
在本文檔的上下文中,電磁光譜的可見區域內的光通常是指具有在380至750 nm範圍內的波長的光。因此,NIR區域與可見光區域之間可能存在一些交疊。在本文檔的上下文中,除非另有明確說明,否則被描述為主要具有在可見光區域內的波長的光通常是指具有在380至700 nm或380至680 nm範圍內的波長的光。在本文檔的上下文中,除非另有明確說明,否則被描述為主要具有可見光區域之外的波長的光通常是指具有小於380 nm或大於700 nm(或大於680 nm)的波長的光。可見區域在本文中可互換地稱為“可見光區域”、“亮視覺區域”和“亮視覺光譜”。
除非本文中另有限定,否則本文所使用的所有技術和/或科學術語具有與本發明所屬領域的技術人員通常所理解的含義相同的含義。儘管與本文所描述的那些方法和材料相似或等同的方法和材料可以在實踐或測試本發明的實施方式中使用,但是在下面描述了示例性的方法和/或材料。在有衝突的情況下,以包括限定的專利說明書為准。此外,材料、方法和示例僅是說明性的,並不旨在必然是限制性的。
本發明的實施方式提供了用於基於經由與光導光學元件相關聯的光學佈置對眼睛進行成像來跟蹤人眼的注視方向的各種設備和對應方法。
參照說明書的圖式,可以更好地理解根據本發明內容的各種眼睛跟蹤設備的原理和操作。
在詳細說明本發明的至少一個實施方式之前,應當理解,本發明的應用並不一定限於在以下描述中闡述的以及/或者在圖式和/或示例中示出的部件的構造和佈置和/或方法的細節。本發明能夠具有其他實施方式或者能夠以各種方式實踐或執行。
現在參照圖式,圖2示出了根據本發明的非限制性實施方式構造和操作的用於得出人眼152的注視方向的光學系統(總體上指定為光學系統100)的結構和操作的各個方面。一般而言,光學系統100包括基板102以及與基板102相關聯的設備以用於得出眼睛152的注視方向,基板102由透明材料(例如,玻璃)形成並且具有一對面(主表面)104、面106,該基板102佈置為表面之一104與觀看者的眼睛152成面對關係。該設備包括:用於感測光的光學感測器140;與基板102相關聯的用於將從眼睛152反射的光朝向光學感測器140偏轉的重定向光學佈置(下文中被稱為“光重定向佈置”)124;以及處理來自光學感測器140的信號以得出眼睛152的當前注視方向的處理子系統146。
從眼睛152反射的光在大體反射方向(在圖中由標記為“RD”的粗箭頭示意性表示)上朝向光重定向佈置124傳播,並且由光重定向佈置124偏轉的光在大體偏轉方向(在圖中由標記有“DD”的粗箭頭示意性地表示)上朝向光學感測器140傳播。
所示出的實施方式特別適合於增強現實(AR,augmented reality)和虛擬實境(VR,virtual reality)應用,其中,投影圖像被耦合到基板102中,通過內反射被引導穿過基板102,並且耦出基板以供眼睛152觀看。然而,注意,本發明的實施方式也可以適合於其中基板未被配置成通過內反射來引導光的非AR/VR應用。這樣的實施方式將在本公開內容的後續部分中討論。
在圖2所示的非限制性實施方式中,基板102是透光基板(即,光導光學元件或“LOE”),其具有平面的且相互平行的面(表面)104、106並且被配置成用於通過內反射來引導光,類似於參照圖1所描述的。在某些實施方式中,通過內反射進行的傳播呈全內反射的形式(即,內反射由臨界角控制,如以上所討論的),而在其他實施方式中,通過內反射進行的傳播是通過應用至表面104、表面106的塗層(例如,角度選擇性反射塗層)來實現的。
在所示的實施方式中,LOE 102是用於得出注視方向的設備的一部分,並且設備還被配置成向眼睛152顯示圖像(當眼睛152位於EMB 154內時)。此處,光學系統100還包括圖像投影佈置(下文中被稱為“圖像投影儀”)108,該圖像投影佈置108生成如在此處示意性地由照明束(在電磁光譜的可見光區域內)表示的投影圖像110,該照明束包括跨越光束的樣本光線110A和樣本光線110B。儘管在圖中未被示出,但圖像投影儀108包括用於生成圖像光的微顯示器(例如矽上液晶(LCoS,liquid-crystal on silicon)、有機發光二極體(OLED,organic light-emitting diode)等)以及用於將圖像準直到無限遠的對應準直光學器件。當微顯示器被實現為反射式或透射式顯示器時,在圖像投影儀108中還包括照明部件(例如,一個或更多個LED)和照明光學器件(例如,分束器),以將光從照明部件引導到微顯示器,以及將圖像光引導至準直光學器件。
圖像光通過光學耦入配置112(此處示意性地示出為在LOE 102的傾斜邊緣118處或附近佈置的楔形件)耦合到LOE 102中,以生成反射光線114(下行光線),該反射光線114通過內反射被捕獲在基板102內,從而還生成光線116(上行光線)。然而,注意,其他光學耦入配置也是可能的,包括例如相對於表面104、表面106傾斜佈置的反射表面。
耦入圖像通過來自表面104、表面106的重複內反射沿基板102傳播(即,由基板102引導),撞擊在如此處示意性地由以與平行面104、面106成傾斜角度佈置在基板102內的一系列相互平行的部分反射表面120所示的光學耦出配置上,在該光學耦出配置處,圖像強度中的一部分被光學耦出配置反射,以朝向眼睛152耦出基板102。耦出圖像光示意性地被表示為光線122A和光線122B。一組部分反射表面僅是說明光學耦出配置的一個非限制性實現方式,並且其他光學耦合配置可以用於將圖像光耦出LOE 102。光學耦出配置可以是將已經通過內反射在LOE 102內傳播的圖像入射光的一部分偏轉到一定角度使得圖像入射光的被偏轉部分離開LOE 102的任何光學耦合佈置。這樣的合適光學耦合佈置的其他示例包括但不限於佈置在面104、面106上的一個或更多個衍射光學元件和分束器佈置。
照明佈置126被佈置成用於用光(被稱為“眼睛跟蹤光”)130照射EMB 154,使得當眼睛152位於EMB 154內時,用眼睛跟蹤光130照射眼睛152。在某些優選但非限制性的實現方式中,照明佈置126被配置成用具有在電磁光譜的亮視覺區域之外的波長的光照射EMB 154。換言之,照明佈置126優選地被配置成用人眼不可見的光來照射眼睛152,以不干擾人的視覺。在特別優選但非限制性的實現方式中,照明佈置126被配置成用具有在電磁光譜的近紅外(NIR)區域內的波長——優選地在700至1000納米(nm)範圍內以及在某些情況下在680至1000 nm的範圍內的波長——的光照射眼睛152。然而,考慮了其他非限制性實現方式,其中照明佈置126被配置成用具有在亮視覺光譜(即,電磁光譜的可見光區域)中的波長或在可見區域、IR區域和NIR區域之外的電磁光譜的區域中的波長的光照射眼睛152。
照明佈置126包括至少一個光源,並且優選地包括多個光源,每個光源被配置成用眼睛跟蹤光照射EMB 154。照明佈置126的光源(或多個光源)可以被實現為LED或者被配置成發射(產生)眼睛跟蹤光譜中的光的任何其他光源。在某些非限制性實現方式中,照明佈置126的光源是在所有方向上發光的各向同性(或接近各向同性)的源。在圖2中,通過樣本光線130A、樣本光線130B、樣本光線130C示意性地表示由照明佈置126利用眼睛跟蹤光130對EMB 154的照射。應當理解,這些樣本光線130A、樣本光線130B、樣本光線130C僅表示到達EMB 154(和眼睛152)的眼睛跟蹤光130,並且來自其他照明方向的其他光線也可以到達EMB 154。
照射眼睛152的眼睛跟蹤光130的強度的一部分被眼睛152反射為朝向光重定向佈置124的大體反射方向上的反射光。示意性地表示為反射光線132A、反射光線132B、反射光線132C的反射光的強度的一部分到達與基板102相關聯的光重定向佈置124,並且被光重定向佈置124偏轉為示意性地表示為反射光線138A、反射光線138B、反射光線138C的偏轉光,以使反射光在朝向光學感測器140的大體偏轉方向上重定向。由光重定向佈置124對眼睛跟蹤光的偏轉發生在基板102處,這意味著眼睛跟蹤光的偏轉點在基板102內。
附帶地,出於簡化呈現的目的,在本文的正文和圖式中參考了唯一的“反射方向”和唯一的“偏轉方向”,其對應於從眼睛發出的光波,但是該光波經由光重定向佈置引起的偏轉朝向光學感測器傳播。這些“方向”用於表示前述光波的大體傳播方向,並且嚴格來說,不是向量方向,而是指示光波從一個點到另一點行進通過自由空間的大體路徑。各個反射光線中的每一個(例如,光線132A、光線132B、光線132C)具有其自身的向量傳播方向,各個反射光線共同跨越以上討論的大體反射方向。同樣地,各個偏轉光線中的每一個(例如,光線138A、光線138B、光線138C)具有其自身的向量傳播方向,各個偏轉光線共同跨越以上討論的大體偏轉方向。
在圖2所示的非限制性實施方式中,光重定向佈置124被實現為以與平行的面104、面106成傾斜角度佈置在基板102內的一系列(組)部分反射表面。部分反射表面優選地(但不一定)相互平行。此外,部分反射表面是平面(即,平坦的)表面。儘管在本文中示出了三個部分反射表面,但是光重定向佈置124可以包括少於三個的這種表面或多於三個的這種表面。通常,光重定向佈置124包括至少一個部分反射表面。
將光重定向佈置實現為一組部分反射表面僅是光重定向佈置的一個說明性示例。在本公開內容的後續部分中將詳細描述光重定向佈置的其他示例實現方式,包括基於衍射和電介質和/或二向色塗層技術的實現方式。
部分反射表面被配置成反射具有在眼睛跟蹤光譜中的波長的光(即,反射由眼睛152回應於照明佈置126的照明反射的光)。在某些非限制性實施方式中,部分反射表面還被配置成使具有在亮視覺區域內的波長的光透射(例如,使可見光透射)。
在某些非限制性實現方式中,光重定向佈置124被佈置成使得到達光重定向佈置124的眼睛跟蹤光被光重定向佈置124以相對於傳入角度的傾斜角度偏轉,這意味著相對於表面104測量的光重定向佈置124的傳入光(光線132A、光線132B、光線132C)的角度不同於偏轉光(光線138A、光線138B、光線138C)的角度。在某些情況下,相對於表面106測量的傳入光的角度比偏轉光的角度陡峭(例如,如圖2所示),例如,這部分地是由於部分反射表面的佈置角(αsur124)而引起的。
在圖2所示的非限制性示例配置中,到光重定向佈置124的傳入光以及被光重定向佈置124反射的光通過表面106折射。特別地,從眼睛152反射的入射到LOE 102的主表面104上的光(例如,光線132A、光線132B、光線132C)通過表面104折射(示意性地示出為折射光線134A、折射光線134B、折射光線134C)。折射光134A、折射光134B、折射光134C被光重定向佈置124偏轉,即被部分反射表面反射(示意性地示出為反射光線136A、反射光線136B、反射光線136C),以再次撞擊到LOE 102的主表面104上。入射光136A、入射光136B、入射光136C再次通過表面104折射(示意性地示出為折射光線138A、折射光線138B、折射光線138C),並且(在自由空間中)朝向光學感測器140傳播。
應當明顯的是,來自眼睛152的反射光可以撞擊部分反射表面的不同部分,而不僅僅是圖2所示的位置。應當清楚的是,除了所示出的光線132A、光線132B、光線132C之外,附加的光線可以入射到表面104上,以生成折射光線,該折射光線撞擊到部分反射表面的多個部分或區域上,所述多個部分或區域基本上覆蓋每個部分反射表面的整體。
要強調的是,與來自圖像投影儀108的被基板102引導的圖像光相比,被光重定向佈置124偏轉的光未被基板102引導。特別地,並且如以上所限定的,被光重定向佈置124偏轉的光到達光學感測器140而沒有通過內反射被捕獲在基板102內(即,自由空間傳播)。當被實現為一組部分反射表面時,部分反射表面以相對於主表面104、106成傾斜角度(αsur124)地佈置,使得入射到部分反射表面的眼睛跟蹤光(光線134A、光線134B,光線134C)被部分反射表面反射,以不通過內反射被捕獲,而是在自由空間傳播下朝向光學感測器140傳播。在所示的實施方式中,來自眼睛152的反射光在到達光學感測器140之前至多在基板102內經歷單次反射(單次反射是由部分反射表面進行的反射)。
示意性地表示為透鏡(但是其可以包括一組透鏡)的聚焦光學器件142被佈置在光重定向佈置與光學感測器140之間的光路徑中。聚焦光學器件142接收被光重定向佈置124偏轉的光138A、光138B、光138C,並且將接收到的光138A、光138B、光138C轉換成撞擊在光學感測器140上的會聚光束(示意性地表示為光線144A、光線144B、光線144C)。在某些優選實現方式中,聚焦光學器件142是在光學感測器140上形成眼睛152的圖像的成像光學器件。聚焦光學器件142優選地被佈置成限定對應於與基板102相關聯的區域或部分的視場,偏轉的眼睛跟蹤光將從該區域或部分到達,以實現通過聚焦光學器件142對偏轉的眼睛跟蹤光的捕獲。與基板102相關聯的區域或部分通常是佈置光重定向佈置的區域或部分。聚焦光學器件142優選地與光學感測器140集成作為攝像裝置系統的一部分,該攝像裝置系統被佈置在眼睛152與表面104之間,用於通過捕獲由光重定向佈置124偏轉的光138A、光138B、光138C來對眼睛152進行成像。
處理子系統146與光學感測器140電關聯,並且被配置成處理來自光學感測器140的信號以得出眼睛152的當前注視方向。處理子系統146優選地還與照明佈置126電關聯,以通過照明佈置126控制EMB的照明定時。處理子系統146可以使用如本領域中已知的任何適合類型的處理硬體和/或軟體來實現,包括但不限於在任何合適的作業系統下操作並實現合適的軟體或固件模組的各種專用電腦化處理器的任何組合。處理子系統146還可以包括各種通信部件,用於允許與LAN和/或WAN裝置進行有線或無線通訊,以進行對資訊和圖形內容的雙向傳輸。在圖11中示出了根據非限制性示例實現方式的處理子系統146的簡化框圖。此處,處理子系統146包括耦接至存儲介質150的至少一個電腦化處理器148。存儲介質150可以是一個或更多電腦化存儲裝置,例如易失性資料存儲裝置。處理器148可以被實現為任何數量的電腦化處理器,包括但不限於微處理器、微控制器、圖形處理器、顯示驅動器、專用積體電路(ASIC,application-specific integrated circuit)、數位訊號處理器(DSP,digital signal processor)、影像處理器、現場可程式設計閘陣列(FPGA,field-programmable gate array)、現場可程式設計邏輯陣列(FPLA,field-programmable logic array)等。這樣的電腦化處理器包括電腦可讀介質,或者可以與電腦可讀介質進行電子通信,該電腦可讀介質存儲程式碼或指令集,該程式碼或指令集在由電腦化處理器執行時使電腦化處理器執行動作。電腦可讀介質的類型包括但不限於能夠向電腦化處理器提供電腦可讀指令的電子、光學、磁性或其他存儲或傳送裝置。
以下段落描述了根據本發明的非限制性實施方式的光重定向佈置124的各種佈置選項。在光重定向佈置124被實現為一組部分反射表面的非限制性實現方式中,發現部分反射表面的在10至35度範圍內的佈置角度(αsur124)特別適於以非引導方式將來自EMB 154(眼睛152)的光偏轉到光學感測器140。特別地,這樣的佈置角度適於將以在18至40度範圍內的入射角(AOI,angles of incidence)入射到主表面104的傳入光(光線132A、光線132B、光線132C)偏轉到在60至90度範圍內的偏轉角(其中在光線138A、光線138B、光線138C與主表面104的法線之間測量偏轉角)。18至40度的角度範圍對應於從眼睛朝向光重定向佈置124反射的眼睛跟蹤光的角度分佈。
如先前所提及的,每個部分反射表面優選地(但不一定)具有相同的佈置角度(αsur124)。此外,部分反射表面的佈置角度(αsur124)可以與部分反射表面120的佈置角度(αsur120)相同或不同。一般而言,可以在決定部分反射表面的佈置角度時考慮在光學系統100(以及特別是具有成組的嵌入式部分反射表面120和部分反射表面的基板102)的製造複雜度與光學感測器140(即,攝像裝置)的位置之間的折衷。例如,以與主表面104、主表面106成共同傾斜角度地佈置部分反射表面120、部分反射表面(即,使得表面120、表面相互平行)可以通過減少製造步驟的數量在基板102的製造期間提供某些優點。通常,通過以下方式來製造具有嵌入的部分反射表面的基板102:將塗覆有部分反射塗層的透明板佈置在堆疊中並且然後以傾斜角度切割堆疊(例如,如在美國專利第8,432,614號中所描述的)以形成具有嵌入式斜角部分反射器的板(基板)。當將部分反射表面120、部分反射表面以共同的傾斜角度佈置時,簡化了本發明的基板102的製造過程,這是因為可以如美國專利第8,432,614號中所描述的那樣類似地執行塗覆板的堆疊和切割。
然而,如果以不同的傾斜角度佈置部分反射表面120、部分反射表面(即,使得部分反射表面和部分反射表面120彼此不平行),則製造過程的複雜度可能會因需要附加步驟而增加。此處,製造過程通常可以包括諸如以下步驟:生產具有呈第一傾斜角度的相互平行的部分反射表面120的基板的第一部分;生產具有呈第二傾斜角度的相互平行的部分反射表面的基板的第二部分;以及將兩個基板部分附接(例如,通過光學膠合劑)在一起以形成具有呈兩個不同的佈置角度的兩組部分反射表面的整體基板。這兩個不同的佈置角度儘管具有製造缺點,但可以提供在光學系統100的部件的佈置方面的某些優點。特別地,不同的佈置角度提供光學感測器140相對於基板102的放置(即,空間定位)方面的靈活性。例如,與當對部分反射表面120使用共同佈置角度時原本可實現的情況相比,以比部分反射表面120的佈置角度更陡峭或更淺的角度來佈置部分反射表面的能力可以允許光學感測器140定位在觀看者的週邊視場的更外側。
除了具有相同或不同的佈置角度之外,部分反射表面和部分反射表面120可以以相同或不同的平面取向佈置。優選地,部分反射表面120是位於第一組相互平行的平面中的相互平行的平面表面。同樣地,部分反射表面是位於第二組相互平行的平面中的相互平行的平面表面。在一個非限制性佈置配置中,例如,如圖2所示,第一組平面和第二組平面是平行的(即,所有反射表面和反射表面120全部彼此平行)。在另一非限制性佈置配置中,第一組平面和第二組平面彼此正交地被定向(即,每個部分反射表面的平面與每個部分反射表面120的平面正交)。在又一非限制性佈置配置中,第一組平面和第二組平面既不平行也不彼此正交(即,它們是傾斜定向的,即,每個部分反射表面的平面相對於每個部分反射表面120的平面傾斜)。如在以上佈置角度討論中,當考慮部分反射表面120、部分反射表面的平面取向時,可能存在製造複雜度與部件佈局靈活性之間的折衷。使用平行平面可以提供用於構造具有嵌入式部分反射表面120、部分反射表面的基板102的最簡單的製造過程。然而,正交或傾斜的平面組可以提供關於光學感測器140的放置的靈活性。
部分反射表面優選地具有尺寸,並且優選地以一定角度和取向佈置,使得跨期望的垂直和水準場的水準眼睛移動和垂直眼睛移動兩者被捕獲。注意,人的注視方向在水準場上比垂直場寬。因此,在某些優選實施方式中,部分反射表面以一定取向(平面和佈置角度)被佈置和定尺寸成使來自水準場的光的偏轉角度範圍比來自垂直場的光的偏轉角度範圍更大。
在圖2所示的非限制性實施方式中,光重定向佈置124被佈置在基板102的遠端處或在基板102的遠端附近(其中基板102的近端是光學耦入配置112和圖像投影儀108所在的端部),並且光學耦出配置沿基板102的中心部分被佈置在基板102的近端與遠端之間。然而,圖2中所示的配置僅僅是一個示例佈置配置。在本文中預期了光重定向佈置124的其他佈置配置。例如,圖3示出了另一非限制性的佈置配置,其中,光重定向佈置124被佈置在基板102的近端處或在基板102的近端附近,並且光學耦出配置沿基板102的中心部分被佈置在基板102的近端與遠端之間。
在以上參照圖2和圖3描述的非限制性佈置配置中,光重定向佈置124和光學耦出配置被分離到基板102的相應區域,使得光重定向佈置124與光學耦出配置成非交疊的關係。換言之,部分反射表面不與任何部分反射表面120交疊。然而,在其他非限制性示例佈置配置中,光重定向佈置124被佈置成與光學耦出配置至少部分地交疊。在圖4中示出了這樣的配置的示例,其中部分反射表面與部分反射表面120交錯。
參照圖5和圖6,示出了根據本發明的非限制實施方式的與基板102相關聯的光重定向佈置224,該光重定向佈置224被實現為一個或更多個衍射光學元件(可互換地稱為衍射光柵),用於將眼睛跟蹤光朝向光學感測器140偏轉。與參照圖2至圖4描述的實施方式中的情況類似,由光重定向佈置224朝向光學感測器140偏轉的光未被基板102引導。
首先參照圖5,光重定向佈置224被實現為佈置在基板102的主表面中之一的主表面104上的衍射光學元件。與以上參照圖2描述的情況類似,在大體反射方向上傳播的反射眼睛跟蹤光(光線132A、光線132B、光線132C)的強度的一部分到達衍射光柵,並且被光重定向佈置224偏轉為偏轉光(光線138A、光線138B、光線138C),以在朝向光學感測器140的大體偏轉方向上重定向光(光線132A、光線132B、光線132C)。由光重定向佈置224對眼睛跟蹤光的偏轉發生在基板102處,這意味著眼睛跟蹤光的偏轉點在基板102內(如圖6中所示),以及/或者在基板102的主表面之一處或在基板102的主表面之一附近(如圖5和圖6兩者中所示)。
在該非限制性示例配置中,衍射光柵被佈置在基板102的遠端處或在基板102的遠端附近的主表面104上,並且與光學耦出配置成非交疊的關係(與參照圖2描述的情況類似)。然而,應當注意,衍射光柵在主表面104上的其他非交疊佈置位置是可能的,包括在基板102的近端處或在基板102的近端附近(與參照圖3所描述的情況類似)。更進一步地,衍射光柵可以被佈置在主表面104上,以與光學耦出配置成交疊關係。例如,衍射光柵可以沿主表面104的相同部分的一部分被佈置,一個或更多個部分反射表面120的投影沿該該相同部分延伸。
與光重定向佈置124(被實現為至少一個部分反射表面)類似,在某些佈置配置中,光重定向佈置224使得到達光重定向佈置224的眼睛跟蹤光(光線132A、光線132B、光線132C)被光重定向佈置124以傾斜角度偏轉,這意味著相對於表面106測量的光重定向佈置224的傳入光(光線132A、光線132B、光線132C)的角度不同於偏轉光(光線138A、光線138B、光線138C)的角度。在某些情況下,相對於表面106測量的傳入光的角度比由光重定向佈置224偏轉的光的角度更陡峭。
注意,與光重定向佈置124不同,當衍射光學元件被佈置在主表面104上時,眼睛跟蹤光不會被主表面104折射。然而,在圖6所示的非限制性實現方式中,衍射光柵被佈置在主表面106上,使得眼睛跟蹤光被主表面104折射。此處,從眼睛152反射的在大體反射方向上傳播的入射到LOE 102的主表面104上的光(例如,光線132A、光線132B、光線132C)被表面104折射為折射光(光線134A、光線134B、光線134C)。折射光134A、折射光134B、折射光134C被衍射光柵偏轉為偏轉光(反射光線136A、反射光線136B、反射光線136C),以再次撞擊到LOE 102的主表面104上。入射光(光線136A、光線136B、光線136C)再次被表面104折射為折射光(光線138A、光線138B、光線138C),該折射光(光線138A、光線138B、光線138C)在自由空間中在朝向光學感測器140的大體偏轉方向上傳播。注意,在本實施方式中,與參照圖2至圖4所描述的實施方式中的情況類似,來自眼睛152的光在到達光學感測器140之前在基板102內至多經歷單次反射,該單次反射是由衍射光柵進行的反射。
在圖6所示的非限制性示例配置中,衍射光柵被佈置在基板102的遠端處或在基板102的遠端附近,並且與光學耦出配置成非交疊關係(與參照圖2和圖5描述的情況類似)。然而,應當注意,衍射光柵在主表面106上的其他非交疊佈置位置是可能的,包括在基板102的近端處或在基板102的近端附近(與參照圖3所描述的情況類似)。更進一步地,衍射光柵可以被佈置在主表面106上,以與光學耦出配置成交疊關係(與參照圖5所描述的情況類似)。
雖然分別在圖5和圖6中示出了沿主表面104和主表面106的部分佈置的單個連續衍射光柵,但可以沿基板102的主表面104、主表面106中的至少一個主表面的部分以不連續的方式佈置衍射光學元件陣列(即,多於一個衍射光柵)。
與光重定向佈置124類似,光重定向佈置224優選地被配置成將以在18至40度範圍內的AOI入射到主表面104的傳入光(光線132A、光線132B、光線132C)偏轉到在60至90度的範圍內的偏轉角度(其中在光線138A、光線138B、光線138C與主表面104的法線之間測量偏轉角度)。
現在參照圖7,示出了根據本發明的另一非限制性實施方式的與基板102相關聯的光重定向佈置324,該光重定向佈置324用於將眼睛跟蹤光朝向光學感測器140偏轉。與參照圖2至圖6描述的實施方式中的情況類似,由光重定向佈置324朝向光學感測器140偏轉的光未被基板102引導。在本實施方式中,光重定向佈置324被實現為與基板102的主表面中之一106(即,基板102的背離眼睛152的表面)的至少一部分相關聯的選擇性反射表面。選擇性反射表面優選地由一層或更多層光學塗層(例如,電介質和/或二向色塗層)形成,該光學塗層被應用至基板102的主表面中之一106的至少一部分。在該實現方式中,從眼睛反射的眼睛跟蹤光在大體反射方向上傳播,並且通過電介質和/或二向色塗層在基板102處(在該示例中在主表面106處)偏轉。電介質和/或二向色塗層被設計成對亮視覺光譜中的光(即,具有在電磁光譜的可見區域內的波長的光)是高透光的,以使得觀看者能夠通過基板102觀看真實世界的場景,並且對具有在眼睛跟蹤光譜中(例如,在NIR區域中)的波長的光是高反射的。“熱鏡”是具有二向色濾波器的特定類別的電介質鏡,該二向色濾波器提供了光重定向佈置324的必要的透射和反射特性。簡單的熱鏡可以經由光學接合劑或機械附接佈置在主表面106的必要區域或部分處,以形成光重定向佈置324。
注意,在本實施方式中,與參照圖2至圖6描述的實施方式中的情況類似,來自眼睛152的光在到達光學感測器140之前在基板102內至多經歷單次反射,該單次反射是由用於實現光重定向佈置324的光學塗層(或多個塗層)引起的反射。
光重定向佈置324優選地被配置成將以在18至40度範圍內的AOI入射到主表面104的傳入光(光線132A、光線132B、光線132C)偏轉到與入射光處於相同角度範圍內的偏轉角度(其中在光線138A、光線138B、光線138C與主表面104的法線之間測量偏轉角度)。18至40度的入射光角度範圍對應於從眼睛朝向光重定向佈置324反射的眼睛跟蹤光的角度分佈。
在某些實施方式中,還可以將色選擇性反射塗層應用至基板102的形成有光重定向佈置324的區域,以支援以上提及的傳入光的角度分佈和偏轉光的角度範圍。
在圖7所示的非限制性實施方式中,光重定向佈置324(熱鏡)被佈置在主表面106上,使得眼睛跟蹤光被主表面104折射。此處,從眼睛152反射的在大體反射方向上傳播的入射到基板102的主表面104上的光(例如,光線132A、光線132B、光線132C)被主表面104折射為折射光(光線134A、光線134B、光線134C)。折射光134A、折射光134B、折射光134C被熱鏡324偏轉為偏轉光(反射光線136A、反射光線136B、反射光線136C),以再次撞擊到基板102的主表面104上。入射光(光線136A、光線136B、光線136C)再次被表面104折射為折射光(光線138A、光線138B、光線138C),該折射光(光線138A、光線138B、光線138C)在自由空間中在朝向光學感測器140的大體偏轉方向上傳播。
眼睛跟蹤光在主表面106處的偏轉使得光學感測器140(即,攝像裝置系統)能夠更靠近主表面104地佈置,從而增大了光學感測器140(即,攝像裝置系統)與眼睛152(和EMB)之間的距離,為觀看者提供更舒適的觀看體驗。
在圖7所示的非限制性配置中,主表面104優選地塗覆有抗反射塗層,該抗反射塗層減少了在亮視覺光譜(例如,可見光區域)和眼睛跟蹤光譜(例如,NIR區域)中的光的反射,以允許來自外部場景的光穿過表面104到達觀看者的眼睛152,並且允許由光重定向佈置324偏轉的眼睛跟蹤光穿過表面104(具有可能的折射率)到達光學感測器140。
儘管圖7示出了在基板102的近端處或在基板102的近端附近佈置在基板102的表面106的至少一部分上的光重定向佈置324的實現方式,但是這樣的實現方式僅是光重定向佈置324的非限制性說明性示例。其他非限制性實現方式也是可能的,其中光重定向佈置324被佈置在基板102的近端處或在基板102的近端附近的主表面104的至少一部分上。在這樣的實現方式中,光重定向佈置324優選地被實現為應用至表面104的至少一部分的電介質塗層(被稱為“電介質鏡”)。在該實現方式中,光學感測器140應當比圖7中所示的實現方式距表面104更遠地佈置,以允許光學感測器140捕獲覆蓋寬角度分佈的眼睛跟蹤光。因此,光重定向佈置324在表面104處的實現方式不如在圖7中所示的實現方式優選,因為光學感測器140(即,攝像裝置系統)與眼睛152(和EMB)之間的距離與圖7中所示的實現方式相比減小。
注意,佈置有光重定向佈置324的主表面104、主表面106的部分可以是主表面104、主表面106的單個連續部分,或者可以是主表面104、主表面106的一個或更多個不連續部分(即,單獨的段)。
到目前為止描述的光重定向佈置324的非限制性實現方式涉及在基板102的近端處或在基板102的近端附近的表面104、表面106之一的一部分上佈置反射表面。這些實現方式中的光重定向佈置324與光學耦出配置成非交疊關係(與參照圖3所描述的情況類似)。然而,應當注意,光重定向佈置324在主表面104、主表面106之一上的其他非交疊佈置位置是可能的,包括在基板102的遠端處或在基板102的遠端附近(與參照圖2和圖5所描述的情況類似)。更進一步地,光重定向佈置324可以被佈置在主表面104、主表面106之一上,以與光學耦出配置成交疊關係。例如,反射表面可以沿主表面104、106的相同部分的一部分被佈置,一個或更多個部分反射表面120的投影沿該相同部分延伸。
根據本發明的各種實施方式的光重定向佈置124、光重定向佈置224、光重定向佈置324可以被佈置在主表面104的各個部分處或在主表面104的各個部分附近,使得從眼睛152傳送至光重定向佈置124、光重定向佈置224、光重定向佈置324的眼睛跟蹤光首先以傾斜角度(即,相對於表面104的法線測量的相對高的AOI)以及通過相對於表面104的平面(在表面104是平面的實施方式中)的等效的淺角度入射到主表面104的部分上。這在圖2、圖5和圖6中最清楚地說明,其中光線132A、光線132B、光線132C(表示從眼睛152傳送至光重定向佈置的眼睛跟蹤光)以相對高的AOI入射。高AOI和光重定向佈置的反射特性(例如包括部分反射表面的佈置角度)使得偏轉光(光線138A、光線138B、光線138C)處於比傳入光132A、132B、132C更高的AOI。
光重定向佈置124、光重定向佈置224、光重定向佈置324的這樣的佈置配置允許將光學感測器140(和聚焦光學器件142)放置在圖像投影儀108處或靠近圖像投影儀108,並且在某些優選實施方式中,允許將光學感測器140(和聚焦光學器件142)附接至容納該圖像投影儀108的部件的機械體或殼體。
以下段落描述了照明佈置126的幾個佈置選項。一般而言,在本文中預期照明佈置126的各種配置。在所有照明佈置配置中,照明佈置126包括至少一個光源,該至少一個光源被配置成用眼睛跟蹤光照射EMB 154(因此,當眼睛152定位在EMB 154中時,照射眼睛152),眼睛跟蹤光在優選的但非限制性的實現方式中是在電磁光譜的NIR區域內。
在一個非限制性佈置配置中,可以將眼睛跟蹤照明併入為由圖像投影儀108投影的圖像的一部分。照明可以在圖像投影期間或在單獨的時隙中進行。眼睛跟蹤照明和圖像投影的定時控制優選地由處理子系統146來控制。在眼睛跟蹤照明在IR區域中的情況下,存在用於向眼睛提供IR照明的各種選項。在使用接近可見光波長的NIR波長的情況下,例如可以使用LCoS調製器,將IR照明組合作為常規可見圖像投影儀中的第四“顏色”。如果對於較長的IR波長需要圖案化照明,則通常優選數位光處理(DPL,digital light processing)裝置。對於非圖案化照明,通常提供獨立於圖像投影儀的專用照明源。由圖像投影儀生成的眼睛跟蹤照明以與可見圖像照明相同的方式耦入到基板102中,並且通過內反射傳播。光學耦出配置優選地被配置成透射眼睛跟蹤光譜中的光,而光重定向佈置124、光重定向佈置224、光重定向佈置324優選地被配置成使在眼睛跟蹤光譜中的光偏轉並且使在可見光譜中的光透射。可以通過將適當的塗層應用至部分反射表面120來實現光學耦出配置的期望的反射和透射特性。類似地,可以通過將適當的塗層應用至部分反射表面來實現光重定向佈置124的期望的反射和透射特性。
在更優選的佈置配置中,照明佈置126與圖像投影儀分離,並且包括在光學感測器140附近和/或圍繞附接基板102的光學系統100的機械體的週邊佈置的一個或更多個光源。圖8示出了這樣的優選的非限制性示例實現方式,其中光學系統100以具有被實施為眼鏡框架156的頭戴式機械體的眼鏡的形狀因數來實現,該眼鏡框架156具有用於接合觀察者(觀看者)的耳朵的側臂158。光學系統100由合適的電源供電,該合適的電源可以是電池和/或提供的外部電源(此處示意性地示出為經由線纜162連接的電源160)的任何組合。在使用電池電源的情況下,電池可以被集成為眼鏡或頭盔安裝結構的一部分。應當注意,其他形狀因數例如頭盔安裝形狀因數、車輛擋風玻璃形狀因數以及其他平視顯示器和近眼顯示器形狀因數也顯然落入本發明的範圍內。
在本非限制性實現方式中,照明佈置126包括三個分開的光源即光源128A、光源128B、光源128C(例如,實現為三個LED)。光源128A、光源128B二者被佈置在眼鏡框架156的週邊部分上,在光學耦出配置處或附近。第三光源128C被佈置在接近光學感測器140的觀察者的頭部的側面附近(在圖8中,該光學感測器140被示為附接至圖像投影儀108,圖像投影儀108被附接至側臂158)。
通常,照明佈置126可以被配置成用眼睛跟蹤光來照射眼睛152的特定區域或整個眼睛152。如以上詳細討論的,由照明佈置發出的眼睛跟蹤光(光線130A、光線130B、光線130C)被眼睛152反射為反射光132A、反射光132B、反射光132C,並且被光重定向佈置124、光重定向佈置224、光重定向佈置324朝向光學感測器140偏轉作為偏轉光(光線138A、光線138B、光線138C),其中該偏轉光(光線138A、光線138B、光線138C)優選地(通過光學器件142)聚焦在光學感測器140上。在某些非限制性實現方式中,偏振光(例如,光線138A、光線138B、光線138C)通過聚焦光學器件142聚焦到光學感測器140的不同區域或部分上。光學感測器140回應於感測到聚焦的光(例如,對應於眼睛的圖像)而生成信號,並且這些信號被傳遞至處理子系統146,該處理子系統146被配置成處理信號以得出眼睛152的當前注視方向。在某些非限制性實現方式中,光學系統100通過對存在於眼睛152的特定區域上的圖案進行成像來獲得注視方向(眼睛的角度取向或眼睛的視線)。這樣的圖案的位置及其運動指示眼睛的當前注視方向和運動。人眼包括各種可跟蹤的特徵,包括例如由角膜神經基於角膜反射生成的圖案(即,角膜神經圖案)、眼睛瞳孔153的中心以及通過視神經盤的血管生成的圖案。可以使用通過由處理子系統146執行的合適的影像處理指令實現的適當的跟蹤演算法來跟蹤這些可跟蹤特徵。在某些非限制性實現方式中,處理子系統146基於瞳孔中心與角膜反射之間的向量來計算注視方向。
通常,所有背景照明都會引起使眼睛圖像的品質降低的雜訊。為了減少外部照明源(例如,環境光、自然日光等)的影響,照明佈置126可以被配置成生成短的光脈衝(優選地低於1 ms),並且光學感測器140被(通過處理子系統146)同步成僅在該短的照明持續時間期間集成光。以這種方式,可以大大抑制連續的背景照明。另外地或替選地,可以在從光重定向佈置到光學感測器140的光路徑中佈置通帶光譜濾波器,以阻擋在其中生成眼睛跟蹤照明的給定波長範圍之外的波長的光到達光學感測器140。光譜濾波器可以理想地定位在聚焦光學器件142與光學感測器140之間,但是可以替選地佈置在聚焦光學器件142之前。
在用於得出和跟蹤注視方向的非限制性過程中,映射角膜圖案(可選地與視神經盤圖案和/或瞳孔組合),並且在初始設置過程期間確定可跟蹤特徵,並且然後執行連續跟蹤過程。例如,可以向觀察者顯示圖像標記,以供觀察者在初始化期間觀看。當觀察者朝向標記看時,照明佈置126完全照射角膜,並且(經由光學感測器140)獲得角膜(和瞳孔)的完整圖像。然後,該圖像由處理子系統146處理以識別可跟蹤特徵(例如,視神經盤和中央凹)。在連續跟蹤過程中,所選擇的眼睛152的感興趣區域(ROI,regions of interest)由照明佈置126選擇性地照射,並且在對應的照明脈衝期間對(由光學感測器140獲得的)ROI的圖像採樣和處理(由處理子系統146)以確定當前的注視方向(視線),並且該得出的注視方向用於在後續照明週期內更新ROI的位置,並且通過照射更新的ROI來重複連續跟蹤過程。假設與眼睛的運動速度相比跟蹤測量的頻率較高,則該更新過程通常有效地保持連續跟蹤,可選地與來自另一隻眼睛的跟蹤資訊相結合。隨著注視方向改變,照明區域也改變。可以根據從最後採樣的圖像確定的“當前”注視方向來執行對ROI的更新,或者在某些情況下,可以使用基於先前兩次或更多次測量之間的眼睛運動的預測外推法。在跟蹤失敗的情況下,可以臨時增大照明區域的大小,直到恢復可跟蹤特徵為止。
照明佈置126的光源可以被配置成發出處於眼睛跟蹤光譜內的大致相同或不同的中心波長處的眼睛跟蹤光。通常,在NIR區域中,可以構造基板102的玻璃材料的色散足夠低,以避免在單個眼睛跟蹤光源的光譜寬度(對於LED,光譜寬度通常在20至50 nm範圍內)內遭受失真。然而,採用發出兩個光譜上分離的中心波長(儘管仍在眼睛跟蹤電磁光譜的同一區域內)的眼睛跟蹤光的光源可以在對眼睛成像時提供某些優勢。例如,佈置具有分別發出以大約700 nm和950 nm為中心的光的第一光源和第二光源的照明佈置126可以導致形成在光學感測器140上的兩個不同的眼睛圖像,一個眼睛圖像相對於另一個眼睛圖像偏移。通過應用適當的影像處理演算法例如相關演算法,處理子系統146可以實現注視方向計算方面的較高的解析度。
注意,例如,如圖8所示,處理子系統146和攝像裝置(具有聚焦光學器件的光學感測器)優選地彼此緊密靠近地佈置,以實現光學感測器與處理子系統146之間的簡單電連接(例如,短電線或電纜)。還注意到,本發明的光重定向佈置被佈置成在與佈置有攝像裝置的區域或區的大體偏轉方向上偏轉光。如以上所提及的,聚焦光學器件142限定與偏轉的眼睛跟蹤光將到達的區域對應的視場。因此,聚焦光學器件142被佈置成捕獲來自偏轉方向的光。在圖8所示的非限制性示例實現方式中,聚焦光學器件142被佈置在眼鏡框架156的右側,以捕獲從聚焦光學器件142的左側的區域發出的偏轉的眼睛跟蹤光。因此,圖8的光重定向佈置應當被佈置成使光在向右(即,朝向聚焦光學器件142)的大體偏轉方向上偏轉。然而,光重定向佈置可以被配置成使光在向左的大體偏轉方向上偏轉,只要相應地佈置聚焦光學器件即可。在圖8中,這將需要將聚焦光學器件定位在(直接或間接地)附接至左側臂(未示出)的眼鏡框架156的左側。由於處理子系統146優選地還控制圖像投影儀108,因此可能有利的是,保持處理子系統146接近圖像投影儀108同時犧牲與攝像裝置的接近度,並且替代地在光學感測器與處理子系統146之間佈置較長的電連接。
可以通過改變光重定向佈置的佈置取向和/或光學參數,容易地將與光重定向佈置相關聯的大體偏轉方向從向右改變成向左(反之亦然)。例如,觀察圖2中的部分反射表面的大體向右偏轉方向,可以通過使部分反射表面繞垂直或水準軸旋轉180度以改變部分反射表面的取向,來實現大體向左偏轉方向。在另一示例中,可以將用於形成衍射光柵的週期性結構反轉或旋轉以改變偏轉方向。
現在返回到圖2至圖7,光重定向佈置124、光重定向佈置224、光重定向佈置324中的任何一對可以組合地使用,以便能夠使用單個光學感測器140獲得眼睛152的兩個獨立圖像。優選地,兩個光重定向佈置被佈置在基板102的不同的相應部分處。例如,一個光重定向佈置可以被佈置在基板102的近端或在基板102的近端附近,而另一個光重定向佈置可以被佈置在基板102的遠端或在基板102的遠端附近。這兩個光重定向佈置可以是相同類型的(例如,兩者被實現為部分反射表面),或者可以是不同類型的(例如,一個可以被實現為一組部分反射表面,而另一個可以被實現為一個或更多個衍射光柵)。
圖9示出了具有兩個不同的光重定向佈置的光學系統的非限制性示例的示意圖。在非限制性說明性示例中,與參照圖2所描述的情況類似地實現第一光重定向佈置124,並且與參照圖7所描述的情況類似地實現第二光重定向佈置324。在圖9中示意性地示出了從眼睛到光學感測器140的光的遍歷。為簡單起見,圖式中未示出由主表面104對眼睛跟蹤光的折射,但是應當理解,眼睛跟蹤光的折射可以與如參照圖2和圖7所描述的情況類似地發生。
眼睛跟蹤照明從眼睛152反射,其由光線132A、光線132B、光線132C、光線132D、光線132E、光線132F示意性地表示。由第一組光線132A、光線132B、光線132C示意性地表示的由眼睛反射的眼睛跟蹤光中的一些在第一大體反射方向(由標記為“RD1”的粗箭頭示意性表示)上傳播,並且被光重定向佈置124偏轉為在第一大體偏轉方向(由標記為“DD1”的粗箭頭示意性地表示)上的偏轉光(由光線138A、光線138B、光線138C示意性地表示)。由第二組光線132D、光線132E、光線132F示意性地表示的由眼睛反射的眼睛跟蹤光中的一些在第二大體反射方向(由標記為“RD2”的粗箭頭示意性地表示)上傳播,並且被光重定向佈置324偏轉為在第二大體偏轉方向(由標記為“DD2”的粗箭頭示意性地表示)上的偏轉光(由光線138D、光線138E、光線138F示意性地表示)。呈兩組偏轉光線形式的偏轉光到達聚焦光學器件142。聚焦光學器件142將第一組偏轉的傳入光138A、傳入光138B、傳入光138C轉換成會聚光束(示意性地表示為光線144A、光線144B、光線144C),該會聚光束撞擊在光學感測器140的第一部分或區域指定為141a,以形成EMB內的眼睛152的第一圖像。聚焦光學器件142還將第二組偏轉的傳入光138D、傳入光138E、傳入光138F轉換成會聚光束(示意性地表示為光線144D、光線144E、光線144F),該會聚光束撞擊到光學感測器140的指定為141b的第二部分或區域上,以形成EMB內的眼睛152的第二圖像。
圖10示出了在實驗室模擬中使用兩個光重定向佈置由單個光學感測器140捕獲的兩個獨立圖像。
注意,當生成眼睛的兩個獨立圖像時,處理子系統146可以處理由光學感測器140生成的信號,以使用三角測量技術來計算或估計出瞳間隔距離。還注意到,原則上,可以組合地使用多於兩個光重定向佈置來生成眼睛的一組多於兩個的獨立圖像。
本公開內容的某些實施方式可以在被佈置為車輛或飛行器中的平視顯示器(head-up display,HUD)的一部分時具有特定價值,由此在機動車輛或航空環境中由圖像投影儀108投影的圖像的顯示可以至少部分地取決於HUD的使用者的眼睛注視方向或通過HUD的用戶的眼睛注視方向來控制。在機動車輛環境中,可以將採用根據所公開的實施方式的眼睛跟蹤設備的主要部件的HUD安裝在車輛的駕駛員的前方,例如集成在車輛的儀錶板或前擋風玻璃中。在航空環境中,可以將HUD安裝在飛行器的飛行員的前方,例如作為飛行員頭盔的一部分安裝在頭盔的前部區域中。
到目前為止,在基板102的上下文中描述了光學系統的實施方式,基板102是被配置成通過內反射來引導(從圖像投影儀108注入的)圖像光的光導光學元件(light-guide optical element,LOE)。當在AR和/或VR應用中使用時,這樣的實施方式具有特別的價值,其中AR/VR圖像是由具有小孔徑的緊湊型圖像投影儀產生的,該小孔徑通過LOE被倍增以生成大孔徑。如背景技術部分中所討論的,一個維度上的孔徑倍增是基於透明材料的平行面對的板開發的,在該平行面對的板內圖像通過內反射傳播。注意,還使用各種光波導配置開發了兩個維度上的孔徑倍增。在一個示例配置中,通過第一光波導和第二光波導來實現二個維度的孔徑擴展。第一光波導具有形成矩形截面的兩對平行的主外表面。第一組相互平行的部分反射表面傾斜于光波導的伸長方向而橫穿第一光波導。光耦合至第一光波導的第二光波導具有形成板型波導的一對平行的主外表面。第二組相互平行的部分反射表面傾斜于第二光波導的主要外表面而橫穿第二光波導。此外,包含第一組部分反射表面的平面優選地傾斜於包含第二組部分反射表面的平面。兩個光波導之間的光耦合以及兩組部分反射表面的佈置和配置使得,當圖像以初始傳播方向以傾斜于第一光波導的兩對平行主外表面的耦合角度耦合到第一光波導中時,圖像沿第一光波導通過四重內反射(即,在兩個維度上)前進,其中在第一組部分反射表面處反射的圖像的一部分強度被耦出第一光波導並耦入第二光波導,並且然後通過第二光波導內的雙重內反射(即,在一個維度上)傳播,其中在第二組部分反射表面處反射的圖像的一部分強度被耦出第二光波導,作為由觀察者的眼睛看到的可見圖像。當將光重定向佈置實現為一組平行的平面部分反射表面時,部分反射表面的平面可以被定向成與第一組相互平行的部分反射表面或第二組相互平行的部分反射表面的平面平行、正交或傾斜。二維孔徑倍增器的進一步細節可以在各種專利文獻——包括例如美國專利第10,564,417號中找到,該美國專利第10,564,417號的全部內容通過引用併入本文中。
在另一示例配置中,通過第一板型光波導和第二板型光波導來實現二維孔徑擴展。第一光波導具有形成板型波導的兩對平行的主外表面。第一組相互平行的內部部分反射表面以與兩對平行的主外表面成傾斜角度橫穿第一光波導。第二光波導也具有兩對平行的主外表面。第二組相互平行的內部部分反射表面以與第二光波導的兩對平行的主外表面成傾斜角度地橫穿第二光波導。此外,包含第一組部分反射表面的平面傾斜于或垂直於包含第二組部分反射表面的平面。兩個光波導之間的光耦合以及兩組部分反射表面的佈置和配置使得,當圖像被耦合到第一光波導管中時,圖像在第一引導方向上在兩對外表面中的一對的外表面之間通過在第一光波導內的兩重內反射傳播,其中在第一組部分反射表面處反射的圖像的一部分強度被耦出第一光波導並耦入第二光波導中,並且然後在第二引導方向(傾斜於第一引導方向)上在第二光波導的兩對外表面中的一對的外表面之間通過在第二光波導內的兩重內反射傳播,其中,在第二組部分反射表面處反射的圖像的一部分強度被耦出第二光波導,作為觀察者的眼睛看到的可見圖像。當將光重定向佈置實現為一組平行的平面部分反射表面時,部分反射表面的平面可以被定向成與第一組相互平行的部分反射表面或第二組相互平行的部分反射表面的平面平行、正交或傾斜。二維孔徑倍增器的進一步細節可以在各種專利文獻——包括例如美國專利第10,551,544號中找到,該美國專利第10,551,544號的全部內容通過引用併入本文中。
還應當注意,即使當在非AR或非VR應用中使用時,用於得出眼睛注視方向的設備也可能是有價值的。在一組附加應用中,用於得出注視方向的設備可以有利地與具有任何類型的基板的元件結合使用,該基板由佈置在觀看者的眼睛前方的可以至少部分地使光透過的材料形成。這樣的元件中的“基板”可以包括但不限於太陽鏡、眼鏡、具有光學屈光度的眼鏡、具有一個或多個衍射光柵的眼鏡以及具有由塑膠或玻璃形成的護罩或圓頂型結構的眼睛保護裝置,該護罩或圓頂型結構被佈置成保護眼睛免受碎屑或微粒的傷害。與作為平坦的平面表面的LOE的主外表面不同,前述基板的主外表面中的一些或全部可以是彎曲表面。
在另一組附加應用中,用於得出注視方向的設備可以有利地與電腦或移動裝置相關應用結合使用,其中用戶眼睛的注視方向可以用於導航顯示幕、網頁、功能表或等,或者可以用於與在電腦裝置(例如,視頻遊戲系統、移動裝置、膝上型電腦、桌子等)上玩的電腦化遊戲進行交互。在這樣的應用中,“基板”可以包括電腦裝置的顯示幕,並且光重定向佈置可以適當地與顯示幕的部分相關聯,以將從眼睛反射的眼睛跟蹤光朝向顯示幕偏轉。
圖12示意性地示出了可以在上述非AR/VR應用中使用的本發明的實施方式。此處,基板102由形成以上提及的類型的組件之一的一部分的透光材料形成,並且不被配置成通過內反射來引導光。此外,由於光未被基板102引導,因此不存在與基板102相關聯的光學耦出配置。替代地,僅光重定向佈置(在該示例中被實現為一組部分反射表面)與基板102相關聯。光重定向佈置124將傳入的眼睛跟蹤光(示意性地由光線132A、光線132B、光線132C表示)偏轉為在朝向光學感測器140的偏轉方向上的偏轉光(示意性地由光線138A、光線138B、光線138C表示)。注意,為簡單起見,圖式中未示出由主表面104對眼睛跟蹤光132A、眼睛跟蹤光132B、眼睛跟蹤光132C的折射,但是應當理解,眼睛跟蹤光的折射可以與如參照圖2和圖7所描述的情況類似地發生。
應當理解,如上所述,可以單獨地或成對組合地使用光重定向佈置124、光重定向佈置224、光重定向佈置324中的任何光重定向佈置來實現圖12中所示的實施方式。在這樣的非AR/VR應用中,EMB通常被限定為位於距基板102的表面104的給定距離處或在距基板102的表面104的給定距離內的二維區域,使得當眼睛位於EMB內時,光學感測器140可以感測來自眼睛的被光重定向佈置124、光重定向佈置224、光重定向佈置324偏轉的光,並且可以優選地對眼睛的部分進行成像。
儘管到目前為止所描述的本公開內容的實施方式涉及用優選地在電磁光譜的不可見區域(優選地,NIR區域)內的眼睛跟蹤光來照射EMB內的眼睛152,但是其他實施方式也是可能的,在其他實施方式中,用具有在NIR區域之外的波長的光包括例如可見光和紫外(UV,ultraviolet)光來照射眼睛。在照明佈置126用可見光來照射眼睛的實施方式中,可以有利的是,將照明源佈置成將照明集中在眼睛的對可見光不太敏感的區域(例如,鞏膜)上,以避免用非圖像可見光轟擊眼睛。在照明佈置126用UV光照射眼睛的實施方式中,應當採取預防措施以減少或最小化眼睛暴露於有害的UV輻射,例如通過對給定持續時間內在給定面積的眼睛區域上接收到的UV束的強度/功率設置限制(例如,對於波長在315 nm至400 nm範圍內的UV光,在大於1000秒的時段內,每平方釐米小於1毫瓦)。
還要注意的是,照明佈置126的光源可以被配置成發出在電磁光譜的兩個或更多個不同區域內的光。例如,第一組(即一個或更多個)光源可以發出在NIR區域內的光,而第二組光源可以發出在可見區域內的光(優選地聚焦在鞏膜上)。
根據某些非限制性實現方式,可以複製本公開內容的各種眼睛跟蹤設備以用於同時跟蹤被攝體的兩隻眼睛。此外,當眼睛跟蹤設備被集成為還將圖像投射到眼睛的光學系統的一部分時,可以複製光學系統以用於將圖像投射到兩隻眼睛。通過組合來自兩個眼睛跟蹤器的資料,可以實現增強的跟蹤穩定性和連續性。例如,當眼睛移動時,眼睛的可追蹤部分可能在一隻眼睛中對追蹤器可見而在另一隻眼睛中對追蹤器不可見。如果使用採用對可跟蹤特徵的跟蹤的跟蹤演算法,則對兩隻眼睛的同時跟蹤允許在僅一個眼睛跟蹤器可以跟蹤盲點的時段內連續保持跟蹤。
在光學系統是雙目的情況下,每個眼睛都有其自己的圖像投影和眼睛跟蹤裝置,並且可選地可以在兩個眼睛跟蹤系統之間共用各種處理和電源部件。可以融合由雙目眼睛跟蹤裝置收集的眼睛跟蹤資訊,以提供增強的跟蹤穩定性和連續性,如以上所提及的。
已經出於說明的目的給出了對本公開內容的各種實施方式的描述,但是其並非旨在是窮舉的或限於所公開的實施方式。在不脫離所描述的實施方式的範圍和精神的情況下,許多修改和變化對於本領域的普通技術人員將是明顯的。選擇本文所使用的術語以最好地解釋實施方式的原理、實際應用或對市場中發現的技術的技術改進,或使本領域的其他普通技術人員能夠理解本文所公開的實施方式。
如本文所使用的,無量詞修飾的單數形式和“該”包括複數引用,除非上下文另外明確指出。
詞語“示例性”在這裡用於表示“用作示例、實例或說明”。被描述為“示例性”的任何實施方式不必然被解釋為比其他實施方式優選或有利和/或排除來自其他實施方式的特徵的結合。
應當理解,為了清楚起見在單獨的實施方式的上下文中描述的本發明的某些特徵也可以在單個實施方式中組合地提供。相反,為了簡潔起見在單個實施方式的上下文中描述的本發明的各種特徵也可以單獨地或以任何合適的子組合或根據需要在本發明的任何其他描述的實施方式中提供。在各種實施方式的上下文中描述的某些特徵不應被認為是這些實施方式的必要特徵,除非該實施方式在沒有這些要素的情況下是不可操作的。
就所附申請專利範圍的撰寫沒有多項引用來說,這樣做僅僅是為了適應在不允許這種多項引用的管轄區域中的形式要求。應當注意,通過使請求項多項引用而隱含的特徵的所有可能組合被明確地設想並且應當被認為是本發明的一部分。
儘管已經結合本發明的特定實施方式描述了本發明,但是顯然,對於本領域技術人員而言,許多替代、修改和變化將是明顯的。因此,本發明旨在涵蓋落入所附申請專利範圍的精神和廣義範圍內的所有這樣的替代、修改和變化。
12,14,104,106: 主外表面(面)   10: 光導光學元件   16: 圖像投影儀   18: 圖像   110: 照明束   18A,18B,110A ,110B: 樣本光線   20: 棱鏡 (楔形件)   148L: 處理器   26,118: 邊緣   28: 反射表面   142: 聚焦光學器件   120: 反射表面   34: 眼睛   32: 瞳孔   158: 耳朵的側臂   160: 連接的電源   141a: 第一部分或區域   12C:  睛跟蹤光   38: 距離   152: 人眼(眼睛)   100: 光學系統   102: 基板 (光導光學元件或“LOE”)   140: 光學感測器   108: 投影佈置(“圖像投影儀”)   112 光學耦入配置   116: 光線(上行光線)   114: 反射光線(下行光線)   126: 照明佈置   130: 光(被稱為“眼睛跟蹤光”)   124,224, 324: 光重定向佈置   146: 處理子系統   150: 存儲介質   156: 眼鏡框架   162: 線纜   153 瞳孔   36 ,154: 光學佈置需要大孔徑以覆蓋觀察者的眼睛所在的區域 24,30A,30B, 122A,122B, 130A,130B,130C,132A,132B,132C,132D,132E,132F,144A,144B,144C, 22,114,132A,132B,132C, 138A, 138B, 138C, 136A, 136B, 136C, 138D, 138E, 138F, 134A, 134B, 134C:   光線
在本文中參照圖式僅通過示例的方式描述了本發明的一些實施方式。通過詳細地具體參照圖式,要強調的是,所示的細節是作為示例的,並且是出於對本發明的實施方式的說明性論述的目的。在這方面,結合圖式進行的描述使得本領域技術人員清楚可以如何實踐本發明的實施方式。 現在將注意力轉向圖式,在圖式中,相同的圖式標記指示相應或相同的部件。在圖式中:  圖1是如上所述的用於近眼顯示器的採用部分反射表面的現有技術的光導光學元件的示意性側視圖;  圖2是根據本發明的實施方式構造和操作的光學系統的示意性側視圖,該光學系統用於經由光導光學元件顯示圖像,並且包括用於使用光重定向佈置跟蹤人眼的注視方向的設備,該光重定向佈置被實現為與光導光學元件相關聯的一組部分反射表面,該光重定向佈置將光朝向光學感測器偏轉;  圖3是圖2的光重定向佈置的替選佈置配置的示意性側視圖;  圖4是圖2的光重定向佈置的又一替選佈置配置的示意性側視圖,其中部分反射表面與被實現為另一組部分反射表面的光學耦出配置成交疊關係,該光學耦出配置將圖像耦出光導光學元件到眼睛; 圖5是根據本發明的另一實施方式構造和操作的光學系統的示意性側視圖,該光學系統用於經由光導光學元件顯示圖像,並且包括用於使用光重定向佈置跟蹤人眼的注視方向的設備,該光重定向佈置被實現為與光導光學元件的主表面之一的一部分相關聯的衍射光學元件,該光重定向佈置將光朝向光學感測器偏轉; 圖6是圖5的光重定向佈置的替選佈置配置的示意性側視圖,其中衍射光學元件與光導光學元件的主表面中的另一主表面的一部分相關聯; 圖7是根據本發明的另一實施方式構造和操作的光學系統的示意性側視圖,該光學系統用於經由光導光學元件顯示圖像,並且包括用於使用光重定向佈置跟蹤人眼的注視方向的設備,該光重定向佈置被實現為與光導光學元件的主表面之一的一部分相關聯的選擇性反射表面,該光重定向佈置將光朝向光學感測器偏轉; 圖8是以眼鏡形狀因數實現的圖2的光學系統的局部示意性等距視圖; 圖9是根據本發明的另一實施方式構造和操作的光學系統的示意性側視圖,該光學系統結合了兩個光重定向佈置,這兩個光重定向佈置獨立地使光朝向光學感測器偏轉; 圖10是使用兩個光重定向佈置由單個光學感測器捕獲的兩個獨立圖像的表示; 圖11是被配置成處理來自光學感測器的信號以得出眼睛的當前注視方向的處理子系統的框圖;以及 圖12是根據本發明的實施方式構造和操作的光學系統的示意性側視圖,該光學系統具有用於使用光重定向佈置跟蹤人眼的注視方向的設備,該光重定向佈置被實現為與透光基板相關聯的一組部分反射表面,該光重定向佈置使光朝向光學感測器偏轉。
104,106: 主外表面(面)   152: 人眼(眼睛)   100: 光學系統   102: 基板 (光導光學元件或“LOE”)   110: 照明束   110A ,110B 樣本光線   140: 光學感測器   108: 投影佈置(“圖像投影儀”)   112: 光學耦入配置   118: 邊緣   116: 光線(上行光線)   114: 反射光線(下行光線)   142: 聚焦光學器件   120: 反射表面   126: 照明佈置   130: 光(被稱為“眼睛跟蹤光”)   124: 光重定向佈置   146: 處理子系統   153 瞳孔   154: 光學佈置需要大孔徑以覆蓋觀察者的眼睛所在的區域 122A,122B, 130A,130B,130C,132A,132B,132C, 144A,144B,144C,114, 132A,132B,132C, 138C, 136A, 136B, 136C, 134A, 134B, 134C:   光線

Claims (17)

  1. 一種光學系統,包括: 透光基板,具有兩個相互平行的主外表面,所述透光基板佈置為所述主外表面中的一個主外表面與觀看者的眼睛成面對關係; 光學耦入配置,用於將與準直圖像對應的光耦入所述透光基板中,以通過所述主外表面之間的內反射在所述透光基板內傳播; 光學耦出配置,用於將通過內反射在所述透光基板內傳播的光耦出所述透光基板,所述光學耦出配置包括位於所述透光基板內的相對於兩個主外表面斜向傾斜的至少兩個第一內表面,所述至少兩個第一內表面是平坦的、相互平行的部分反射表面; 光學感測器,被佈置成用於感測光; 光重定向佈置,包括位於所述透光基板內的相對於兩個主外表面斜向傾斜的至少一個第二內表面,所述至少一個第二內表面是平坦的部分反射表面,所述光重定向佈置被配置成將來自所述眼睛的光朝向所述光學感測器偏轉,使得到達所述光學感測器的偏轉光未被所述透光基板引導,並且其中,由所述光重定向佈置對光的偏轉發生在所述透光基板處;以及 至少一個處理器,電耦接至所述光學感測器並且被配置成處理來自所述光學感測器的信號,以得出所述眼睛的當前注視方向。
  2. 如請求項1所述的光學系統,其中,所述至少兩個第一內表面與所述至少一個第二內表面相互平行。
  3. 如請求項1所述的光學系統,其中,所述至少兩個第一內表面與所述至少一個第二內表面不平行。
  4. 如請求項1所述的光學系統,其中,所述光學耦出配置被佈置成與所述光重定向佈置成非交疊關係。
  5. 如請求項1所述的光學系統,其中,所述光學耦出配置被佈置成與所述光重定向佈置成交疊關係。
  6. 如請求項1所述的光學系統,其中,與所述準直圖像對應的光主要包括具有在電磁光譜的可見光區域內的波長的光,並且其中,來自所述眼睛的被所述光重定向佈置偏轉的光主要包括具有在電磁光譜的可見光區域之外的波長的光。
  7. 如請求項1所述的光學系統,還包括: 至少一個成像光學元件,被佈置在從所述光重定向佈置到所述光學感測器的光路徑中,用於在所述光學感測器上形成所述眼睛的至少一部分的至少一個圖像。
  8. 一種光學系統,包括: 透光基板,具有兩個相互平行的主外表面,所述透光基板佈置為所述主外表面中的一個主外表面與觀看者的眼睛成面對關係; 光學耦入配置,用於將與準直圖像對應的光耦入所述透光基板中,以通過所述主外表面之間的內反射在所述透光基板內傳播; 位於所述透光基板內的至少兩個第一內表面,用於將通過內反射在所述透光基板內傳播的光耦出所述透光基板,其中,所述至少兩個第一內表面是與所述兩個主外表面成傾斜角度的平坦的、相互平行的部分反射表面; 光學感測器,被佈置成用於感測光; 光重定向佈置,包括位於所述透光基板內的相對於兩個主外表面斜向傾斜的至少一個第二內表面,所述至少一個第二內表面是平坦的部分反射表面,所述光重定向佈置被配置成將來自所述眼睛的光朝向所述光學感測器偏轉,使得到達所述光學感測器的偏轉光未被所述透光基板引導,並且其中,由所述光重定向佈置對光線的偏轉發生在所述透光基板處;以及 至少一個處理器,電耦接至所述光學感測器並且被配置成處理來自所述光學感測器的信號,以得出所述眼睛的當前注視方向。
  9. 如請求項8所述的光學系統,其中,所述至少一個第二內表面透射具有在電磁光譜的可見光區域內的波長的光,並且反射具有在電磁光譜的可見光區域之外的波長的光。
  10. 如請求項8所述的光學系統,其中,與所述準直圖像對應的光主要包括具有在電磁光譜的可見光區域內的波長的光,並且其中,來自所述眼睛的被所述光重定向佈置偏轉的光主要包括具有在電磁光譜的可見光區域之外的波長的光。
  11. 如請求項8所述的光學系統,其中,所述至少兩個第一內表面與所述至少一個第二內表面相互平行。
  12. 如請求項8所述的光學系統,其中,所述至少兩個第一內表面與所述至少一個第二內表面不平行。
  13. 如請求項8所述的光學系統,其中,所述至少兩個第一內表面被佈置成與所述至少一個第二內表面成非交疊關係。
  14. 如請求項8所述的光學系統,其中,所述至少兩個第一內表面被佈置成與所述至少一個第二內表面成交疊關係。
  15. 如請求項8所述的光學系統,還包括: 至少一個成像光學元件,被佈置在從所述光重定向佈置到所述光學感測器的光路徑中,用於在所述光學感測器上形成所述眼睛的至少一部分的至少一個圖像。
  16. 一種光學系統,包括: 透光基板,具有至少兩個平行的主表面,所述透光基板佈置為所述主表面中的第一主表面與觀看者的眼睛成面對關係,所述眼睛相對於所述透光基板的位置限定眼睛運動盒,所述透光基板被配置成通過所述透光基板的所述兩個主表面之間的內反射來引導與被準直到無窮遠的圖像對應的圖像照明,所述透光基板包括位於所述兩個主表面之間並且相對於所述兩個主表面斜向傾斜的至少兩個第一內表面,所述至少兩個第一內表面是平坦的、相互平行的部分反射表面,用於將所引導的圖像照明從所述透光基板耦出到所述觀看者的眼睛; 照明佈置,被佈置成利用眼睛跟蹤光照射所述眼睛運動盒,使得所述眼睛跟蹤光的強度的一部分被所述眼睛反射為反射光; 光學感測器,被佈置成用於感測光; 光重定向佈置,包括位於所述透光基板內的相對於所述兩個主表面斜向傾斜的至少一個第二內表面,所述至少一個第二內表面是平坦的部分反射表面,所述光重定向佈置被配置成將所述反射光朝向所述光學感測器偏轉,其中,到達所述光學感測器的偏轉光未被所述透光基板引導,並且其中,由所述光重定向佈置對光的偏轉發生在所述透光基板處;以及 至少一個處理器,電耦接至所述光學感測器並且被配置成處理來自所述光學感測器的信號,以得出所述眼睛的當前注視方向。
  17. 一種光學系統,包括: 透光基板,具有兩個相互平行的主外表面,所述透光基板佈置為所述主外表面中的一個主外表面與觀看者的眼睛成面對關係; 光學耦入配置,用於將與準直圖像對應的光耦入所述透光基板中,以通過所述主外表面之間的內反射在所述透光基板內傳播; 光學耦出配置,用於將通過內反射在所述透光基板內傳播的光耦出所述透光基板; 光學感測器,被佈置成用於感測光; 與所述透光基板相關聯的光重定向佈置,所述光重定向佈置被配置成將來自所述眼睛的光朝向所述光學感測器偏轉,使得到達所述光學感測器的偏轉光未被所述透光基板引導,並且其中,所述光重定向佈置對光的偏轉發生在所述透光基板處;以及 至少一個處理器,電耦接至所述光學感測器並且被配置成處理來自所述光學感測器的信號,以得出所述眼睛的當前注視方向, 其中,與所述準直圖像對應的光主要包括具有在電磁光譜的可見光區域內的波長的光,並且其中,來自所述眼睛的被所述光重定向佈置偏轉的光主要包括具有在所述電磁光譜的可見光區域之外的波長的光。
TW114126982A 2019-12-25 2020-12-24 基於使用與光導光學元件相關聯的光學佈置對來自眼睛的光的重定向來進行眼睛跟蹤的系統和方法 TWI910077B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962953557P 2019-12-25 2019-12-25
US62/953,557 2019-12-25
US202062958755P 2020-01-09 2020-01-09
US62/958,755 2020-01-09
US202063023891P 2020-05-13 2020-05-13
US63/023,891 2020-05-13

Publications (2)

Publication Number Publication Date
TW202542602A TW202542602A (zh) 2025-11-01
TWI910077B true TWI910077B (zh) 2025-12-21

Family

ID=

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106716223A (zh) 2014-09-24 2017-05-24 微软技术许可有限责任公司 采用可切换衍射光栅的波导眼睛跟踪

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106716223A (zh) 2014-09-24 2017-05-24 微软技术许可有限责任公司 采用可切换衍射光栅的波导眼睛跟踪

Similar Documents

Publication Publication Date Title
JP7274724B2 (ja) 導光光学素子を介したレチナールイメージングに基づく目の追跡具
US8582206B2 (en) Laser-scanning virtual image display
US9298001B2 (en) Optical configurations for head worn computing
CN114072717B (zh) 基于经由光导光学元件对眼睛成像来进行眼睛追踪的设备和方法
TWI895322B (zh) 基於使用與光導光學元件相關聯的光學佈置對來自眼睛的光的重定向來進行眼睛跟蹤的系統和方法
US12529891B2 (en) Optical systems and methods for eye tracking based on eye imaging via collimating element and light-guide optical element
US10969675B1 (en) Optical assemblies having scanning reflectors for projecting augmented reality content
WO2013066521A1 (en) Adaptive brightness control of head mounted display
CN118489082A (zh) 具有用于视差感测检测器的收集光学器件的显示系统
TWI910077B (zh) 基於使用與光導光學元件相關聯的光學佈置對來自眼睛的光的重定向來進行眼睛跟蹤的系統和方法
US12025795B1 (en) Wedge combiner for eye-tracking