[go: up one dir, main page]

TWI670521B - 近眼顯示系統、演現系統及在近眼顯示系統中使用之方法 - Google Patents

近眼顯示系統、演現系統及在近眼顯示系統中使用之方法 Download PDF

Info

Publication number
TWI670521B
TWI670521B TW107107795A TW107107795A TWI670521B TW I670521 B TWI670521 B TW I670521B TW 107107795 A TW107107795 A TW 107107795A TW 107107795 A TW107107795 A TW 107107795A TW I670521 B TWI670521 B TW I670521B
Authority
TW
Taiwan
Prior art keywords
array
image
display panel
images
element image
Prior art date
Application number
TW107107795A
Other languages
English (en)
Other versions
TW201908810A (zh
Inventor
派翠克 魯爾
約翰Ｄ 派瑞奧特
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW201908810A publication Critical patent/TW201908810A/zh
Application granted granted Critical
Publication of TWI670521B publication Critical patent/TWI670521B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/005—Diaphragms

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Electroluminescent Light Sources (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種近眼顯示系統包含：顯示面板，其用以顯示包括一元素影像陣列之一積分光場圖框；及一小透鏡陣列，其用以呈現該積分光場圖框給一使用者之眼睛。該系統進一步包含一演現組件，該演現組件用以至少部分基於一源影像之一稀疏採樣而產生一元素影像陣列，以減小該元素影像陣列之各個別元素影像內所含的影像資料之一重疊。一種操作該近眼顯示系統之方法包含基於主體物件之當前視點之一稀疏採樣而產生形成該積分光場圖框之一元素影像陣列，以減小該陣列之各個別元素影像內所含的影像資料之一重疊。

Description

近眼顯示系統、演現系統及在近眼顯示系統中使用之方法
頭戴式顯示器(HMD)及其他近眼顯示系統可利用一積分光場顯示器或其他運算顯示器以提供三維(3D)圖形之有效顯示。一般言之，積分光場顯示器採用一或多個顯示面板，及覆蓋一或多個顯示面板之小透鏡、針孔或其他光學特徵之一陣列。一演現系統演現一元素影像陣列，其中各元素影像表示來自一對應視角或虛擬攝影機位置之一物件或場景之一影像或視圖。此等積分光場顯示器通常展現解析度與適眼距(eye relief)(即，使用者之眼睛可獲得一全視場之距離)之間的權衡。採用一積分光場顯示器之習知近眼顯示系統通常歸因於小透鏡投影器陣列中之重疊而犧牲空間解析度。
100‧‧‧近眼顯示系統
102‧‧‧運算顯示子系統
104‧‧‧演現組件
110‧‧‧左眼顯示器
112‧‧‧右眼顯示器
114‧‧‧裝置
116‧‧‧視圖
118‧‧‧顯示面板
120‧‧‧陣列/光場圖框
122‧‧‧元素影像
122-1至122-9‧‧‧元素影像
124‧‧‧小透鏡陣列
126‧‧‧小透鏡
126-1至126-3‧‧‧小透鏡
128‧‧‧截面視圖
130‧‧‧顯示表面
132‧‧‧眼睛
136‧‧‧中央處理單元(CPU)/處理器
138‧‧‧圖形處理單元(GPU)/處理器
140‧‧‧圖形處理單元(GPU)/處理器
142‧‧‧系統記憶體
144‧‧‧演現程式
148‧‧‧演現資訊
150‧‧‧本端或遠端內容源/姿勢資訊
151‧‧‧光場圖框
153‧‧‧光場圖框
154‧‧‧慣性管理單元(IMU)
200‧‧‧截面視圖
202‧‧‧複合虛擬影像
204‧‧‧局部區域
204-1至204-3‧‧‧子區域
206‧‧‧局部區域
206-1至206-3‧‧‧子區域
208-1‧‧‧子區域
300‧‧‧截面視圖
400‧‧‧截面視圖
402‧‧‧發光元件
402-1至402-3‧‧‧發光元件
404‧‧‧像素孔徑遮罩
406‧‧‧像素孔徑遮罩
408-1至408-3‧‧‧子區域
410‧‧‧孔徑
412‧‧‧孔徑
500‧‧‧截面視圖
502‧‧‧微透鏡
600‧‧‧方法
602‧‧‧步驟
604‧‧‧步驟
606‧‧‧步驟
700‧‧‧截面視圖
802‧‧‧元素影像
804‧‧‧元素影像
806‧‧‧元素影像
808‧‧‧聚合光場像素柵格
810‧‧‧紅色子像素
812‧‧‧藍色子像素
814‧‧‧綠色子像素
816‧‧‧元素影像
818‧‧‧元素影像
820‧‧‧元素影像
822‧‧‧複合視網膜影像
824‧‧‧子像素
熟習此項技術者參考隨附圖式可更好地理解本發明，且明白本發明之眾多特徵及優點。不同圖式中相同元件符號之使用指示類似或相同品項。
圖1係繪示根據一些實施例之採用姿勢偵測及稀疏採樣以提供增大的 顯示解析度之一近眼顯示系統之一圖。
圖2係繪示一近眼顯示系統中之一習知運算顯示器之一圖。
圖3係繪示根據一些實施例之用於圖1之近眼顯示系統的一實例性低填充因數(fill-factor)顯示器之一圖。
圖4係繪示根據一些實施例之用於圖1之近眼顯示系統的另一實例性低填充因數顯示器之一圖。
圖5係繪示根據一些實施例之用於圖1之近眼顯示系統的另一實例性低填充因數顯示器之一圖。
圖6係繪示根據一些實施例之用於在圖1之近眼顯示系統中演現具有增大的解析度之光場圖框的一稀疏採樣方法之一實例的一流程圖。
圖7係繪示根據一些實施例之用於演現光場圖框的一實例性稀疏採樣操作之一圖。
圖8係繪示根據一些實施例之光場超高解析度的一實例之一圖。
本申請案係關於標題為「NEAR-EYE DISPLAY WITH SPARSE SAMPLING SUPER-RESOLUTION」且於2017年5月26日申請之美國臨時專利申請案第62/511,561號，該案之全部內容以引用方式併入本文中。
圖1至圖8繪示用於一近眼顯示系統中之積分光場圖框的稀疏採樣之超高解析度演現的實例性方法及系統。在至少一項實施例中，近眼顯示系統採用一運算顯示器以顯示影像之積分光場圖框給一使用者，以對使用者提供一沉浸式虛擬實境(VR)或擴增實境(AR)體驗。各積分光場圖框係由一元素影像陣列組成，其中各元素影像表示自一不同對應視點之一物件或場景之一視圖。一小透鏡陣列覆蓋顯示面板且進行操作以將元素影像陣列 作為單一自動立體影像呈現給使用者。
由於運算顯示器之解析度展現解析度與適眼距(即，使用者之眼睛可獲得一全視場之距離)之間的權衡，故採用一積分光場顯示器之近眼顯示系統通常歸因於小透鏡投影器陣列中之重疊而犧牲空間解析度。為提供改良解析度，在至少一項實施例中，本文中所描述之近眼顯示系統利用低填充因數顯示器之稀疏採樣以藉由移除投影器陣列元件內之影像資料之重疊而恢復一些損失的解析度。作為一實例，投影器陣列元件之各者可經組態以對一源影像之一稍微不同子區域採樣，且因此具有相對於彼此之唯一影像資料。據此，可藉由低填充因數顯示器獲得源影像之一稀疏採樣，以減少小透鏡投影器陣列處接收之影像資料之重疊且恢復起因於近眼系統之減小觀看距離之損失空間解析度(例如，小於10毫米(mm)對習知光場顯示器之10mm至40mm透鏡焦距對習知放大顯示器之40+mm)。
圖1繪示根據至少一項實施例之併入積分光場圖框的稀疏採樣之超高解析度演現之一近眼顯示系統100。在所描繪實例中，近眼顯示系統100包含一運算顯示子系統102及一演現組件104。運算顯示子系統102包含安裝於一裝置114(例如，護目鏡、眼鏡等)中之一左眼顯示器110及一右眼顯示器112，該裝置114將顯示器110、112分別放置於使用者之左眼及右眼前方。
如由視圖116所展示，顯示器110、112之各者包含至少一個顯示面板118以顯示一系列或一連串積分光場圖框(在後文中為便於參考，稱為「光場圖框」)，該等積分光場圖框之各者包括元素影像122之一陣列120。為便於參考，元素影像122之一陣列120亦可在本文中稱為光場圖框120。顯示器110、112之各者進一步包含覆蓋顯示面板118之小透鏡126(通常亦稱 為「微透鏡」)之一陣列124。通常，小透鏡陣列124中之小透鏡126之數目等於陣列120中之元素影像122之數目，但在其他實施方案中，小透鏡126之數目可少於或多於元素影像122之數目。應注意，雖然為便於繪示，圖1之實例繪示元素影像122之一5x4陣列及小透鏡126之一對應5x4陣列120，但在一典型實施方案中，一光場圖框120中之元素影像122之數目及小透鏡陣列124中之小透鏡126之數目通常高得多。此外，在一些實施例中，針對顯示器110、112之各者實施一分離顯示面板118，而在其他實施例中，左眼顯示器110及右眼顯示器112共用單一顯示面板118，其中顯示面板118之左半部用於左眼顯示器110且顯示面板118之右半部用於右眼顯示器112。
圖1之截面視圖128描繪小透鏡陣列124之沿線A-A之一截面視圖，小透鏡陣列124覆蓋顯示面板118使得小透鏡陣列124覆蓋顯示面板118之顯示表面130，以安置於顯示表面130與使用者之對應眼睛132之間。在此組態中，各小透鏡126將顯示表面130之一對應區域聚焦至眼睛之瞳孔134上，其中各此區域與一或多個鄰近區域至少部分重疊。因此，在此等運算顯示器組態中，當元素影像122之一陣列120經顯示於顯示面板118之顯示表面130處且接著由眼睛132透過小透鏡陣列124觀看時，使用者將元素影像120之陣列122感知為一場景之單一影像。因此，當針對使用者之左眼及右眼兩者(在其等間實施適當視差)平行執行此程序時，結果係呈現自動立體三維(3D)影像給使用者。
亦如圖1中所展示，演現組件104包含一組一或多個處理器(諸如所繪示之中央處理單元(CPU)136及圖形處理單元(GPU)138、140)及一或多個儲存組件(諸如系統記憶體142)，該一或多個儲存組件用以儲存由處理 器136、138、140存取及執行以操縱處理器136、138、140之一或多者以執行如本文中所描述之各種任務之軟體程式或其他可執行指令。此等軟體程式包含例如演現程式144，該演現程式144包括用於如下文所描述之一稀疏採樣程序之可執行指令。
在操作中，演現組件104自一本端或遠端內容源150接收演現資訊148，其中演現資訊148表示圖形資料、視訊資料、或表示作為待在顯示子系統102處演現及顯示之影像的主體之一物件或場景的其他資料。在執行演現程式144的情況下，CPU 136使用演現資訊148以將繪圖指令發送至GPU 138、140，該等GPU 138、140繼而利用繪圖指令以使用各種熟知VR/AR運算/光場演現程序之任一者平行演現待在左眼顯示器110處顯示之一系列光場圖框151及待在右眼顯示器112處顯示之一系列光場圖框153。作為此演現程序之部分，CPU 136可接收來自一慣性管理單元(IMU)154之姿勢資訊150，藉此姿勢資訊150表示顯示子系統102之一當前姿勢且控制一或多對光場圖框151、153之演現以自當前姿勢反映物件或場景之視點。儘管本文在VR及/或AR顯示器之背景下描述各項實施例，但熟習此項技術者將認知，稀疏採樣之超高解析度演現系統及方法被描述為類似地適用於捕獲影像之光場攝影機系統。
圖2繪示一習知運算顯示器之一截面視圖200。小透鏡陣列124之小透鏡126之各者用作至使用者之一眼睛(例如，圖1之眼睛132)上之一分離「投影器」，其中各「投影器」與一或多個鄰近投影器重疊以自顯示面板118處顯示之元素影像122之陣列120形成一複合虛擬影像202。如此視圖中所展示，作用折射面積(在本文中稱為「填充因數」)幾乎為100%。即，引導光朝向小透鏡陣列124(即，顯示面板118)之面積與由小透鏡陣 列所佔據之包含任何間隙之總連續面積之比率接近100%。
具有高填充因數之顯示器在來自虛擬影像202之多個元素影像122中具有重疊資料。為闡釋，小透鏡126-1接收來自對應於虛擬影像202之區域206之元素影像122-2之影像資料。類似地，小透鏡126-2接收來自對應於虛擬影像202之區域206之元素影像122-5之影像資料，且小透鏡126-3接收來自對應於虛擬影像202之區域206之元素影像122-8之影像資料。據此，自元素影像122-2、122-5及122-8接收之影像資料具有大量重疊資訊。具有高填充因數之習知顯示器常常在虛擬影像平面上重疊多個元素影像(例如，4個至6個元素影像)。此重疊導致源解析度降低達相同倍數(即，解析度降低4倍至6倍)。
可使用較低填充因數顯示器恢復解析度降低之一部分。圖3繪示根據一些實施例之可用於近眼顯示系統100的一低填充因數顯示器之一截面視圖300。小透鏡陣列124之小透鏡126之各者用作至使用者之一眼睛(例如，圖1之眼睛132)上之一分離「投影器」，其中各「投影器」與一或多個鄰近投影器重疊以自顯示面板118處顯示之元素影像122之陣列120形成一複合虛擬影像202。如此視圖中所展示，填充因數近似為33%。即，引導光朝向小透鏡陣列124(即，呈現顯示面板118之元素影像122之發光元件)之面積與由小透鏡陣列所佔據之包含任何間隙之總連續面積之比率近似為33%。
具有較低填充因數之顯示器相對於高填充因數顯示器提供源資料之一稀疏採樣，諸如圖3中所繪示。為闡釋，類似於圖2之高填充因數顯示器，小透鏡126-1接收來自對應於虛擬影像202之區域206之元素影像122-2之影像資料。類似地，小透鏡126-2接收來自對應於虛擬影像202之區域 206之元素影像122-5之影像資料，且小透鏡126-3接收來自對應於虛擬影像202之區域206之元素影像122-8之影像資料。然而，較低填充因數顯示器包含較小發光元件，進而允許源影像資料的更離散分佈以減小在小透鏡陣列124處接收之影像資料的重疊。
如所展示，小透鏡126-1接收來自對應於虛擬影像202之區域206內的子區域206-1之元素影像122-2之影像資料。小透鏡126-2接收來自對應於虛擬影像202之區域206內的子區域206-2之元素影像122-5之影像資料。小透鏡126-3接收來自對應於虛擬影像202之區域206內的子區域206-3之元素影像122-8之影像資料。據此，雖然所有小透鏡126-1、126-2及126-3自源影像之相同局部區域(即，區域206)採樣，但小透鏡126未對完全相同位置中的影像資料採樣。小透鏡126-1、126-2及126-3之各者對源影像之一略微不同子區域採樣，且因此具有相對於彼此之影像資料之唯一強度值(即，資訊內容)。據此，可藉由較低填充因數顯示器獲得虛擬影像202之一稀疏採樣，以減小在小透鏡126處接收之影像資料之重疊且恢復損失的解析度達1/(填充因數)之比率。例如，圖3之近似33%填充因數顯示器增大虛擬影像202之解析度達近似3倍(即，1/0.33填充因數)。
在各項實施例中，顯示面板118可包含依一小填充因數製造之發光元件，諸如圖3中所繪示。此等發光元件可包含例如有機發光二極體(OLED)發射器。然而，針對給定每單位面積之電流密度及填充因數比，此等發光元件之亮度輸出可受限。換言之，藉由減小填充因數以增大虛擬影像解析度而進行稀疏採樣有時可具有降低顯示面板118之亮度的後果。此較低亮度至少部分歸因於較小表面積量可用於發光元件輸出。
圖4繪示根據一些實施例之可用於近眼顯示系統100的一低填充因數 顯示器之一組態。如由截面視圖400所展示，小透鏡陣列124之小透鏡126之各者用作至使用者之一眼睛(例如，圖1之眼睛132)上之一分離「投影器」，其中各「投影器」與一或多個鄰近投影器重疊以自藉由發光元件402在顯示面板118處顯示之元素影像陣列形成一複合虛擬影像202。如此視圖中所展示，作用折射面積(在本文中稱為「填充因數」)幾乎為100%。即，引導光朝向小透鏡陣列124(即，顯示面板118)之面積與由小透鏡陣列所佔據之包含任何間隙之總連續面積之比率接近100%。
具有高填充因數之習知顯示器常常在虛擬影像平面上重疊多個元素影像(例如，4個至6個元素影像)。具有高填充因數之顯示器在來自虛擬影像202之多個元素影像122中具有重疊資料。據此，如由截面視圖400所展示，在此組態中，一像素孔徑遮罩404經定位於顯示面板118之光發射器與小透鏡陣列124之間。應注意，像素孔徑遮罩404實際上不減小顯示面板118之填充因數。類似於圖2之組態，引導光朝向小透鏡陣列124之表面積近似為100%。然而，額外像素孔徑遮罩406使小透鏡陣列124處接收之光變窄，且允許影像資料僅歸因於發光元件402之區域之一部分。
例如，基於孔徑404之實體尺寸，在小透鏡126-1處經過像素孔徑遮罩接收之光可歸因於發光元件402-1之一子區域408-1。發光元件402-1之子區域408-1類似於圖3之元素影像122-2且對應於虛擬影像202之區域206內之子區域206-1。類似地，基於在小透鏡126-2處經過孔徑410接收之光可歸因於發光元件402-2之一子區域408-2，且在小透鏡126-3處經過孔徑412接收之光可歸因於發光元件402-3之一子區域408-3。此等子區域408-2及408-3類似於圖3之元素影像122-5、122-8且分別對應於虛擬影像202之區域206內之子區域206-2、206-3。據此，像素孔徑遮罩406藉由減小 「有效填充因數」(即，如自小透鏡126之角度經歷之填充因數)來允許更大解析度而不改變顯示面板118之實際填充因數，由此增大虛擬影像202之空間解析度，同時維持一較大發射器表面積(例如，相對於圖3)用於增大輸出亮度。
應注意，截面視圖400不提供關於像素孔徑遮罩406中之孔徑的尺寸及形狀之任何細節。熟習此項技術者將認知，可在不背離本發明之範疇之情況下使用各種尺寸及形狀的孔徑。例如，可使用實質上正方形或矩形的孔徑。應進一步注意，儘管截面視圖400繪示在像素孔徑遮罩406與顯示面板118及小透鏡陣列124之間的空間，但該等空間係出於清晰及相關目的而提供。例如，在各項實施例中，在不背離本發明之範疇之情況下，像素孔徑遮罩406可經安置以與顯示面板118或小透鏡陣列124直接接觸，或經施加於與顯示面板118或小透鏡陣列124直接接觸之一玻璃表面。
圖5繪示根據一些實施例之可用於近眼顯示系統100的一低填充因數顯示器之另一組態。如由截面視圖500所展示，小透鏡陣列124之小透鏡126之各者用作至使用者之一眼睛(例如，圖1之眼睛132)上之一分離「投影器」，其中各「投影器」與一或多個鄰近投影器重疊以自藉由發光元件402在顯示面板118處顯示之元素影像陣列形成一複合虛擬影像202。如此視圖中所展示，作用折射面積(在本文中稱為「填充因數」)幾乎為100%。即，引導光朝向小透鏡陣列124(即，顯示面板118)之面積與由小透鏡陣列所佔據之包含任何間隙之總連續面積之比率接近100%。
具有高填充因數之習知顯示器常常在虛擬影像平面上重疊多個元素影像(例如，4個至6個元素影像)。具有高填充因數之顯示器在來自虛擬影像202之多個元素影像122中具有重疊資料。據此，如由截面視圖500所展 示且如前文關於圖4所論述，一像素孔徑遮罩404經定位於顯示面板118之光發射器與小透鏡陣列124之間。應注意，像素孔徑遮罩404實際上不減小顯示面板118之填充因數。類似於圖2之組態，引導光朝向小透鏡陣列124之表面積近似為100%。然而，額外像素孔徑遮罩406使小透鏡陣列124處接收之光變窄，且允許影像資料僅歸因於發光元件402之區域之一部分。
例如，基於孔徑404之實體尺寸，在小透鏡126-1處經過像素孔徑遮罩接收之光可歸因於發光元件402-1之一子區域408-1。發光元件402-1之子區域408-1類似於圖3之元素影像122-2且對應於虛擬影像202之區域206內之子區域206-1。類似地，基於在小透鏡126-2處經過孔徑410接收之光可歸因於發光元件402-2之一子區域408-2且在小透鏡126-3處經過孔徑412接收之光可歸因於發光元件402-3之一子區域408-3。此等子區域408-2及408-3類似於圖3之元素影像122-5、122-8且分別對應於虛擬影像202之區域206內之子區域206-2、206-3。據此，像素孔徑遮罩406藉由減小「有效填充因數」(即，如自小透鏡126之角度經歷之填充因數)來允許更大解析度而不改變顯示面板118之實際填充因數，由此增大虛擬影像202之空間解析度，同時維持一較大發射器表面積(例如，相對於圖3)用於增大輸出亮度。
應注意，儘管圖4中所繪示之組態相對於圖2之組態提供一增大的發射器表面積用於增大輸出亮度，但像素孔徑遮罩406之存在的確減小亮度達η2，其中η=NAlenslet/NAelem(NAlenslet=小透鏡之數值孔徑且NAelem=元素影像之數值孔徑)。據此，圖5之組態進一步包含定位於各發光元件402前方之一微透鏡502。如圖5中所繪示，微透鏡502經安置於顯示面板118與 像素孔徑遮罩406之間，使得微透鏡502經組態以聚焦由發光元件402發射之經過孔徑之光。據此，組合微透鏡502與像素孔徑遮罩406藉由減小「有效填充因數」(即，如自小透鏡126之角度經歷之填充因數)來允許更大解析度而不改變顯示面板118之實際填充因數，由此增大虛擬影像202之空間解析度，同時使用微透鏡502以聚焦自較大發射器表面積(例如，相對於圖3)發射之光用於增大至小透鏡126之輸出亮度及光通量。
應注意，截面視圖500未提供關於像素孔徑遮罩406中之孔徑的尺寸及形狀之任何細節。熟習此項技術者將認知，可在不背離本發明之範疇之情況下使用各種尺寸及形狀的孔徑。例如，可使用實質上正方形或矩形的孔徑。應進一步注意，儘管截面視圖500繪示在像素孔徑遮罩406與顯示面板118及小透鏡陣列124之間的空間，但該等空間係出於清晰及相關目的而提供。例如，在各項實施例中，在不背離本發明之範疇之情況下，像素孔徑遮罩406可經安置以與顯示面板118或小透鏡陣列124直接接觸，或經施加於與顯示面板118或小透鏡陣列124直接接觸之一玻璃表面。
圖6繪示根據一些實施例之用於使用低填充因數顯示面板演現光場圖框以產生高解析度光場顯示的近眼顯示系統100之操作的一方法600。方法600繪示用於對左眼顯示器110或右眼顯示器112之一者演現及顯示一光場圖框的程序之一次反覆，且因此針對顯示器110、112之各者平行地重複執行所繪示程序以在不同時間點針對各眼睛產生且顯示一不同光場圖框串流或序列，且因此提供一3D自動立體VR或AR體驗給使用者。
針對待產生且顯示之一光場圖框，方法600在方塊602處開始，藉此演現組件104將待顯示給使用者之對應眼睛之影像內容識別為一光場圖框。在至少一項實施例中，演現組件104接收表示來自各種姿勢相關感測 器(諸如一陀螺儀、加速度計、磁力計、全球定位系統(GPS)感測器及類似者)之資料之IMU資訊152，且自IMU資訊152判定用以將顯示器110、112安裝於使用者眼睛附近之裝置114(例如，HMD)之一當前姿勢。執行演現程式144之CPU 136可自此IMU資訊152判定主體場景或物件之一對應當前視點，且自此視點以及作為演現資訊148提供之場景或物件之圖形及空間描述判定待演現影像。
在方塊604處，演現程式144操縱CPU 136以對空間域中之源物件(例如，圖2之虛擬影像202)稀疏採樣，且基於方塊602中對待演現影像之判定產生元素影像。如上文所論述，各元素影像表示諸如在方塊602中判定之一對應視角或虛擬攝影機位置的一物件或場景之一影像或視圖。在各項實施例中，對源物件稀疏採樣包含最小化各產生元素影像內與虛擬影像平面處之其他元素影像內之影像資料重疊之影像資料的量。
例如，現參考圖7，繪示經組態以對待顯示虛擬影像稀疏採樣之一低填充因數顯示器(例如，圖3之實施例)的一截面視圖700之一圖。如所展示，小透鏡陣列124之小透鏡126之各者用作至使用者之一眼睛(例如，圖1之眼睛132)上之一分離「投影器」，其中各「投影器」與一或多個鄰近投影器重疊以自顯示面板118處顯示之元素影像形成一複合虛擬影像202。如此視圖中所展示，填充因數近似為33%。即，引導光朝向小透鏡陣列124(即，顯示面板118之發光元件，諸如像素122)之面積與由小透鏡陣列所佔據之包含任何間隙之總連續面積之比率近似為33%。
如所繪示，由一給定圖案表示之像素122係來自源虛擬影像202之相同局部區域(例如，局部區域204至206之一者)之樣本。然而，像素122並未在完全相同位置中採樣，且因此具有唯一強度值(即，資訊內容)。例 如，像素122-1對應於子區域204-1之一稀疏採樣，且像素122-4對應於子區域204-2之一稀疏採樣。儘管像素122-1及122-4兩者係在相同局部區域204中採樣，但其等捕獲不同視角且具有相對於彼此之唯一強度值。此外，如所繪示，像素122-2對應於子區域206-1之一稀疏採樣，且像素122-3對應於子區域208-1之一稀疏採樣。據此，基於像素122-1、122-2及122-3演現以經由小透鏡126-1呈現之一元素影像將含有相對於例如基於像素122-4、122-5及122-6演現以經由小透鏡126-2呈現之一元素影像之唯一資料(與例如圖2之顯示器相反，其中所有三個顯示小透鏡在各個小透鏡處接收相同虛擬影像資料之一個以上複本)。
類似地，圖4至圖5及其等相關聯揭示內容亦論述具有較大空間解析度及元素影像之間的較小影像資料重疊之元素影像之產生。在一替代實施例中，演現程式144操縱CPU 136以在空間域中對源物件(例如，圖2之虛擬影像202)稀疏採樣且在虛擬影像平面處產生無影像資料重疊之元素影像，由此最大化系統之效率。隨後，在方塊606處，GPU演現光場圖框且將光場圖框提供給運算顯示器110、112之對應者以顯示給使用者之眼睛132。另外，在各項實施例中，本文中所描述之稀疏採樣而演現操作可與變焦透鏡組合以使虛擬影像平面偏移以達成對顯示影像之解析度之額外改良。
圖8係繪示根據一些實施例之光場超高解析度的一實例之一圖。使用光場顯示器，例如在使用者之圖1的眼睛132之視網膜處感知的影像係複數個元素影像之複合物。元素影像之各者經過一陣列(例如，圖1之陣列124)內之一小透鏡(例如，圖1之小透鏡126)且重疊以形成重疊的複合影像。如所繪示，元素影像802、804及806之視網膜影像重疊以形成具有重 疊子像素元件(例如，紅色子像素810、藍色子像素812及綠色子像素814)之一聚合光場像素柵格808。當小透鏡陣列124與像素網格柵格對準時，子像素元件之視網膜影像如所展示般重疊。
在一些實施例中，小透鏡陣列124相對於顯示面板118之旋轉導致光場超高解析度。當顯示像素(即，樣本柵格)相對於小透鏡陣列124旋轉(例如，透過小透鏡陣列124及/或顯示面板118之旋轉)時，來自鄰近元素影像之各者的子像素之虛擬影像將不再完全重疊。一旋轉係一複合平移(例如，子像素位置之x軸及y軸平移)，由此引起在視網膜處感知之虛擬影像之一偏差。如所展示，旋轉經模型化為一個元素影像之像素柵格相對於其相鄰者之柵格的x軸及y軸位置之一子像素偏移。
在某個角度上，子像素將完全交錯。如所繪示，在旋轉之後，元素影像816、818及820之像素柵格變為沿一個方向分離達半個像素且沿另一方向分離達整數個半個像素，從而導致相鄰元素影像之像素的交織。因此，影像資訊自相鄰元素影像轉向至複合視網膜影像822之正常黑色區域(例如，歸因於子像素之間的顯示之非發射部分)，由此產生解析度之一1/N倍增大，其中N表示共用相同像素之元素影像之數目(例如，冗餘因數)。
在圖8之實施例中，藉由使標稱上重疊像素之虛擬影像遠離彼此移位達半個像素節距之一距離，所得複合視網膜影像822具有增大達兩倍之一解析度。額外感知之像素係來自相鄰元素影像之提供額外影像資訊之貢獻。例如，子像素824係將來自兩個不同元素影像之一藍色子像素及一綠色子像素重疊之結果。
儘管本文在沿各方向旋轉兩個元素影像之實例性背景下描述，但熟 習此項技術者將認知，新增更多元素影像將填滿色彩通道之間隙。藉由使小透鏡陣列124相對於顯示面板118之旋轉偏移達成之超高解析度可擴展至解析度增大達1/(填充因數)倍。因此，藉由調整演現功能以根據視網膜上之經旋轉虛擬採樣柵格對源影像重新採樣，相對於子像素元件之視網膜影像重疊之情況(例如，小透鏡陣列124與像素網格柵格對準)產生更大解析度及更小冗餘度之一複合視網膜影像。
在其他實施例中，藉由使子像素交錯達成之超高解析度亦可藉由使小透鏡-顯示器距離(例如，小透鏡陣列124相對於圖3之顯示面板之間的z軸距離)偏移而非歸因於小透鏡-顯示器旋轉所致之x軸及y軸平移來達成。為達成交錯狀況，使小透鏡-顯示器距離偏移達一量△z=△Φ'=f a p/d a N，其中△Φ'=自交錯狀況至一異常影像平面之屈光度距離，f a =小透鏡焦距，p=像素尺寸，d a =小透鏡孔徑尺寸，且N=光場冗餘因數(例如，1/(填充因數))。自交錯狀況至一異常影像平面之屈光度距離△Φ'係由方程式△Φ'=，表示，其中p/N=光發射器尺寸，d a =小透鏡孔徑尺寸，且f a =小透鏡焦距。類似地，混疊重疊狀況(即，異常影像平面)之間的屈光度距離係由方程式△Φ=，表示，其中p=像素尺寸，d a =小透鏡孔徑尺寸，且f a =小透鏡焦距。
在此等交錯狀況下之虛擬影像(例如，圖3之虛擬影像202)之深度範圍受小透鏡景深或使用者之眼睛容納範圍之限制，諸如以阻止對隔開達p/(dafa)之異常影像重構的感知，其中p=像素尺寸，d a =小透鏡孔徑尺寸，且f a =小透鏡焦距。理想地，η=NAlenslet/NAelem(即，NAlenslet=小透鏡之數值孔徑且NAelem=元素影像之數值孔徑)，但任何值η<1將產生解析度增益，前提是填充因數無法>1，且光場顯示解析度無法超過顯示面板118之 原生顯示面板解析度。以此方式，藉由使小透鏡陣列124與顯示面板118之間的相對距離偏移，產生更高解析度之複合視網膜影像。
在一些實施例中，上文所描述之技術之特定態樣可由執行軟體之一處理系統之一或多個處理器來實施。該軟體包括儲存或以其他方式有形體現於一非暫時性電腦可讀儲存媒體上之一或多個可執行指令集。該軟體可包含指令及特定資料，該等指令及特定資料在由一或多個處理器執行時操縱一或多個處理器以執行上文所描述之技術之一或多個態樣。非暫時性電腦可讀儲存媒體可包含例如一磁碟或光碟儲存器件、固態儲存器件(諸如快閃記憶體、一快取記憶體、隨機存取記憶體(RAM)、或另一或其他非揮發性記憶體器件)、及類似者。儲存於非暫時性電腦可讀儲存媒體上之可執行指令可為原始程式碼、組合語言程式碼、物件程式碼、或由一或多個處理器解譯或可以其他方式執行之其他指令格式。
一電腦可讀儲存媒體可包含在使用期間可由一電腦系統存取以將指令及/或資料提供給該電腦系統之任何儲存媒體或儲存媒體之組合。此儲存媒體可包含但不限於光學媒體(例如，光碟(CD)、數位多功能光碟(DVD)、藍光光碟)、磁性媒體(例如，軟碟、磁帶或磁性硬碟機)、揮發性記憶體(例如，隨機存取記憶體(RAM)或快取記憶體)、非揮發性記憶體(例如，唯讀記憶體(ROM)或快閃記憶體)或基於微機電系統(MEMS)之儲存媒體。電腦可讀儲存媒體可經嵌入運算系統(例如，系統RAM或ROM)中，固定地附接至運算系統(例如，一磁性硬碟機)，可拆卸地附接至運算系統(例如，一光碟或基於通用串列匯流排(USB)之快閃記憶體)，或經由一有線或無線網路(例如，網路可存取儲存裝置(NAS))耦合至電腦系統。
應注意，並非需要上文在概述中所描述之所有活動或元件，可能無 需一特定活動或器件之一部分，且可執行一或多個進一步活動，或包含除彼等所描述元件外之元件。更進一步，列舉活動之順序不必係執行其等之順序。再者，概念已參考特定實施例予以描述。然而，一般技術者應明白，可在不背離如下文發明申請專利範圍中所闡述之本發明的範疇之情況下作出各種修改及變化。據此，說明書及圖將被視為闡釋性而非限制性意義，且所有此等修改意欲包含於本發明之範疇內。
上文已關於特定實施例描述優勢、其他優點及問題之解決方案。然而，優勢、優點、問題之解決方案、及可能引起任何優勢、優點或解決方案發生或變得更明顯之任何(若干)特徵不應被解釋為任何或所有發明申請專利範圍之一關鍵、必需或至關重要的特徵。此外，上文所揭示之特定實施例僅係闡釋性的，此係因為所揭示標的物可依對受益於本文教示之熟習此項技術者顯而易見之不同但等效之方式修改及實踐。除如下文發明申請專利範圍中所描述外，並非意欲限制本文中所展示之構造或設計之細節。因此顯然，可更改或修改上文所揭示之特定實施例，且所有此等變化被視為在所揭示標的物之範疇內。因此，本文中所尋求之保護係如下文發明申請專利範圍中闡述般。

Claims (21)

  1. 一種近眼(near-eye)顯示系統，其包括：一演現(rendering)組件，其用以至少部分基於一源影像之一稀疏(sparse)採樣而產生一元素影像陣列(an array of elemental images)，以減小該元素影像陣列之每一個別元素影像內所含的影像資料之一重疊；一顯示面板，其用以顯示包含該元素影像陣列之一積分光場圖框(integral lightfield frame)；及一小透鏡陣列(lenslet)，其用以呈現該積分光場圖框給一使用者之眼睛。
  2. 如請求項1之近眼顯示系統，其進一步包括：一像素孔徑遮罩，其經安置於該顯示面板與該小透鏡陣列之間，其中該像素孔徑遮罩包含經組態以相對於該顯示面板之一實際填充因數(fill-factor)減小該顯示面板之一有效填充因數之孔徑。
  3. 如請求項2之近眼顯示系統，其中該像素孔徑遮罩之該等孔徑暴露該顯示面板之各發光元件之一部分以將影像資料傳輸至該小透鏡陣列。
  4. 如請求項3之近眼顯示系統，其中該演現組件用以藉由以下步驟產生該元素影像陣列：識別對應於各發光元件之該暴露部分的一源影像之區域。
  5. 如請求項2之近眼顯示系統，其進一步包括：複數個微透鏡，其等經安置於該顯示面板與該像素孔徑遮罩之間，其中該等微透鏡經組態以增大至該小透鏡陣列之光通量。
  6. 如請求項1之近眼顯示系統，其中該演現組件用以藉由以下步驟產生該元素影像陣列：產生該元素影像陣列，使得該陣列之各個別元素影像含有相對於該陣列中之所有其他元素影像唯一之唯一影像資料。
  7. 如請求項1之近眼顯示系統，其中該小透鏡陣列相對於該顯示面板旋轉，使得來自各個別元素影像之虛擬像素影像在位置上相對於該陣列中之所有其他元素影像平移。
  8. 如請求項7之近眼顯示系統，其中來自各個別元素影像之該等虛擬像素影像經交錯於該陣列中之一或多個鄰近元素影像的虛擬像素影像之間。
  9. 一種演現系統，其包括：至少一個處理器；一輸入端，其用以接收來自至少一個姿勢相關感測器之資料，該資料指示一主體物件相對於一近眼顯示面板之一當前視點；及一儲存組件，其用以儲存一可執行指令集，該可執行指令集經組態以操縱該至少一個處理器以至少部分基於該主體物件之一稀疏採樣而演現包括一元素影像陣列之一積分光場圖框，以減小該元素影像陣列之各個別元素影像內所含的影像資料之一重疊。
  10. 如請求項9之演現系統，其中該可執行指令集經組態以操縱該至少一個處理器以藉由以下步驟演現該積分光場圖框：將該主體物件之一部分歸因於待由該近眼顯示面板之發光元件顯示之一或多個元素影像。
  11. 如請求項9之演現系統，其中該可執行指令集經組態以操縱該至少一個處理器以藉由以下步驟演現該積分光場圖框：判定由一像素孔徑遮罩曝光之該近眼顯示面板之發光元件的各者之一部分；及將該主體物件(subject object)之部分歸因於(attributing to)待由該近眼顯示面板之該等發光元件的經曝光之(exposed)該等部分顯示之一或多個元素影像。
  12. 如請求項9之演現系統，其中該可執行指令集經組態以操縱該至少一個處理器以藉由以下步驟演現該積分光場圖框：產生該元素影像陣列，使得該陣列之各個別元素影像含有相對於該陣列中之所有其他元素影像唯一之唯一影像資料。
  13. 如請求項9之演現系統，其中該可執行指令集經組態以操縱該至少一個處理器以藉由以下步驟演現該積分光場圖框：基於該元素影像陣列之各個別元素影像對該主體物件採樣，該個別元素影像具有交錯於該陣列中之一或多個鄰近元素影像的虛擬像素影像之間的虛擬像素影像。
  14. 一種在一近眼顯示系統中使用之方法，其包括：使用至少一個姿勢相關感測器判定一主體物件相對於該近眼顯示系統之一顯示面板之一當前視點(current viewpoint)；基於該主體物件之該當前視點之一稀疏採樣而產生形成一積分光場圖框之一元素影像陣列，以減小該陣列之各個別元素影像內所含的影像資料之一重疊；在該積分光場圖框內之一位置處演現該元素影像陣列；及在該顯示面板處顯示該積分光場圖框。
  15. 如請求項14之方法，其中產生該元素影像陣列包括：識別由一像素孔徑遮罩中之孔徑暴露的該顯示面板之複數個發光元件的各者之一暴露部分。
  16. 如請求項15之方法，其中產生該元素影像陣列包括：識別對應於各發光元件之該暴露部分的該主體物件之區域。
  17. 如請求項15之方法，其中在該顯示面板處顯示該積分光場圖框包括：使用一小透鏡陣列(a lenslet array)聚焦表示該元素影像陣列之經過該等孔徑之光。
  18. 如請求項17之方法，其進一步包括：相對於該顯示面板旋轉該小透鏡陣列，使得來自各個別元素影像之虛擬像素影像在位置上相對於該陣列中之所有其他元素影像平移。
  19. 如請求項18之方法，其中相對於該顯示面板旋轉該小透鏡陣列使來自各個別元素影像之該等虛擬像素影像交錯於該陣列中之一或多個鄰近元素影像的虛擬像素影像之間。
  20. 如請求項14之方法，其中產生該元素影像陣列包括：產生該元素影像陣列，使得該陣列之各個別元素影像含有相對於該陣列中之所有其他元素影像唯一之唯一影像資料。
  21. 如請求項14之方法，其進一步包括：藉由使可歸因於該顯示面板之複數個發光元件的各者之該主體物件的該當前視點之部分變窄而增大該積分光場圖框中之空間解析度。
TW107107795A 2017-05-26 2018-03-08 近眼顯示系統、演現系統及在近眼顯示系統中使用之方法 TWI670521B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762511561P 2017-05-26 2017-05-26
US62/511,561 2017-05-26
US15/897,611 US10764552B2 (en) 2017-05-26 2018-02-15 Near-eye display with sparse sampling super-resolution
US15/897,611 2018-02-15

Publications (2)

Publication Number Publication Date
TW201908810A TW201908810A (zh) 2019-03-01
TWI670521B true TWI670521B (zh) 2019-09-01

Family

ID=61557341

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107107795A TWI670521B (zh) 2017-05-26 2018-03-08 近眼顯示系統、演現系統及在近眼顯示系統中使用之方法

Country Status (6)

Country Link
US (1) US10764552B2 (zh)
JP (1) JP2020523803A (zh)
KR (1) KR102270131B1 (zh)
DE (1) DE202018101096U1 (zh)
TW (1) TWI670521B (zh)
WO (1) WO2018217253A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771812B (zh) * 2018-11-27 2022-07-21 國立臺灣大學 頭戴式顯示裝置及其近眼光場顯示裝置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2564259B1 (en) 2010-04-30 2015-01-21 Beijing Institute Of Technology Wide angle and high resolution tiled head-mounted display device
EP3761072A1 (en) 2012-01-24 2021-01-06 Augmented Vision Inc. Compact eye-tracked head-mounted display
KR102611752B1 (ko) 2017-03-09 2023-12-07 아리조나 보드 오브 리전츠 온 비해프 오브 더 유니버시티 오브 아리조나 통합 이미징 및 도파관 프리즘을 구비한 헤드 장착 광 필드 디스플레이
CA3055542A1 (en) 2017-03-09 2018-09-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted light field display with integral imaging and relay optics
US10466487B2 (en) 2017-06-01 2019-11-05 PogoTec, Inc. Releasably attachable augmented reality system for eyewear
WO2018222892A1 (en) 2017-06-01 2018-12-06 Pogotec Inc. Releasably attachable augmented reality system for eyewear
US10634921B2 (en) 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical display
US10634912B2 (en) 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical module
US11119353B2 (en) 2017-06-01 2021-09-14 E-Vision Smart Optics, Inc. Switchable micro-lens array for augmented reality and mixed reality
CN111869204B (zh) * 2018-03-22 2023-10-03 亚利桑那大学评议会 为基于积分成像的光场显示来渲染光场图像的方法
CN109870820B (zh) * 2019-03-26 2023-10-17 成都工业学院 针孔反射镜阵列集成成像增强现实装置及方法
CN110441918B (zh) * 2019-07-28 2024-04-05 成都航空职业技术学院 分辨率均匀的集成成像双视3d显示装置
CN110426857B (zh) * 2019-07-28 2024-03-26 成都航空职业技术学院 基于渐变宽度矩形针孔阵列的集成成像3d显示装置
CN110441915B (zh) * 2019-07-28 2024-05-28 北京龙翼风科技有限公司 基于矩形针孔阵列的集成成像3d显示装置
KR102837402B1 (ko) * 2019-07-28 2025-07-23 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
JP2022552770A (ja) * 2019-08-09 2022-12-20 ライト フィールド ラボ、インコーポレイテッド ライトフィールドディスプレイシステムに基づいたデジタルサイネージシステム発明者：ジョナサン・シャン・カラフィン、ブレンダン・エルウッド・ベベンシー、ジョン・ドーム
EP4070152A4 (en) * 2019-12-05 2024-07-10 Tesseland LLC Lenslet based ultra-high resolution optics for virtual and mixed reality
US11980055B2 (en) 2020-03-19 2024-05-07 Boe Technology Group Co., Ltd. Display device and display method thereof
TWI775069B (zh) 2020-04-27 2022-08-21 宏碁股份有限公司 頭戴式顯示器
WO2022133751A1 (zh) * 2020-12-22 2022-06-30 京东方科技集团股份有限公司 一种显示装置及其制备方法
US12400290B2 (en) * 2021-12-14 2025-08-26 Intel Corporation Method and system of efficient image rendering for near-eye light field displays
KR20230094581A (ko) * 2021-12-21 2023-06-28 삼성전자주식회사 라이트 필드 디스플레이
US11943417B2 (en) * 2022-07-13 2024-03-26 Huawei Technologies Co., Ltd. Three-dimensional integral-imaging light field display and optimization method therefor
TWI858918B (zh) * 2023-09-14 2024-10-11 宏達國際電子股份有限公司 影像顯示裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
CN105209960A (zh) * 2013-05-17 2015-12-30 辉达公司 为近眼光场显示器生成图像的系统、方法和计算机程序产品
US20170038590A1 (en) * 2015-08-03 2017-02-09 Oculus Vr, Llc Enhanced Pixel Resolution through Non-Uniform Ocular Projection
US20170132757A1 (en) * 2014-06-17 2017-05-11 Thompson Licensing A method and a display device with pixel repartition optimization
US20170147034A1 (en) * 2013-08-14 2017-05-25 Nvidia Corporation Hybrid optics for near-eye displays

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002131693A (ja) 2000-10-26 2002-05-09 Mixed Reality Systems Laboratory Inc 画像観察装置
US7486341B2 (en) * 2005-11-03 2009-02-03 University Of Central Florida Research Foundation, Inc. Head mounted display with eye accommodation having 3-D image producing system consisting of, for each eye, one single planar display screen, one single planar tunable focus LC micro-lens array, one single planar black mask and bias lens
US7646450B2 (en) * 2005-12-29 2010-01-12 Lg Display Co., Ltd. Light emitting diode array, method of manufacturing the same, backlight assembly having the same, and LCD having the same
TWI432844B (zh) * 2009-02-17 2014-04-01 Au Optronics Corp 用於一薄型顯示器之導光裝置及該薄型顯示器
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US9519144B2 (en) * 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
CN105934902B (zh) * 2013-11-27 2018-11-23 奇跃公司 虚拟和增强现实系统与方法
US9594247B2 (en) * 2013-12-19 2017-03-14 Nvidia Corporation System, method, and computer program product for a pinlight see-through near-eye display
CA3049801C (en) * 2014-07-10 2023-02-28 Lusospace, Projectos Engenharia Lda Display device
CN106292139A (zh) * 2015-05-27 2017-01-04 鸿富锦精密工业（深圳）有限公司 背投显示系统
KR102629584B1 (ko) * 2016-07-19 2024-01-25 삼성전자주식회사 빔 조향 백라이트 유닛 및 이를 포함하는 홀로그래픽 디스플레이 장치
US10623723B2 (en) * 2016-09-29 2020-04-14 Intel Corporation Hybrid stereo rendering for depth extension in dynamic light field displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
CN105209960A (zh) * 2013-05-17 2015-12-30 辉达公司 为近眼光场显示器生成图像的系统、方法和计算机程序产品
US20170147034A1 (en) * 2013-08-14 2017-05-25 Nvidia Corporation Hybrid optics for near-eye displays
US20170132757A1 (en) * 2014-06-17 2017-05-11 Thompson Licensing A method and a display device with pixel repartition optimization
US20170038590A1 (en) * 2015-08-03 2017-02-09 Oculus Vr, Llc Enhanced Pixel Resolution through Non-Uniform Ocular Projection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771812B (zh) * 2018-11-27 2022-07-21 國立臺灣大學 頭戴式顯示裝置及其近眼光場顯示裝置

Also Published As

Publication number Publication date
TW201908810A (zh) 2019-03-01
JP2020523803A (ja) 2020-08-06
WO2018217253A1 (en) 2018-11-29
US20180343434A1 (en) 2018-11-29
DE202018101096U1 (de) 2018-05-24
KR102270131B1 (ko) 2021-06-28
US10764552B2 (en) 2020-09-01
KR20190105648A (ko) 2019-09-17

Similar Documents

Publication Publication Date Title
TWI670521B (zh) 近眼顯示系統、演現系統及在近眼顯示系統中使用之方法
CN110325892A (zh) 具有稀疏采样超分辨率的近眼显示
JP4403162B2 (ja) 立体画像表示装置および立体画像の作製方法
JP6886253B2 (ja) 複数のユーザのためのレンダリング方法及び装置
JP6681675B2 (ja) 映像処理方法及び装置
CN107402453B (zh) 一种3d显示装置
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
US20100033479A1 (en) Apparatus, method, and computer program product for displaying stereoscopic images
CN103809293B (zh) 基于子像素的3d集成成像显示设备
JP2005258421A (ja) 三次元画像表示装置
KR20080100206A (ko) 온 더 플라이 하드웨어 기반 인터디지테이션
JP4764624B2 (ja) 立体視表示装置及び立体視用画像生成方法
US10678049B2 (en) Near-eye display having lenslet array with reduced off-axis optical aberrations
CN113302549B (zh) 自动立体显示器
US9791707B2 (en) Auto-stereoscopic display apparatus and non-transitory computer readable storage device
JP4327758B2 (ja) 立体画像表示装置
JP4489610B2 (ja) 立体視可能な表示装置および方法
CN108803054A (zh) 一种3d光场显示系统
WO2020256767A1 (en) Method and apparatus for correcting lenticular distortion
US20150234196A1 (en) Image display apparatus, lenticular lens, and image display method
CN110824726A (zh) 一种π型像素排布的立体显示装置
TWI614534B (zh) 多視域顯示器
TWI556623B (zh) 三維影像控制方法
CN211014877U (zh) 一种π型像素排布的立体显示装置
JP5428723B2 (ja) 画像生成装置、画像生成方法、および、プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees