TWI675583B - 擴增實境系統及其色彩補償方法 - Google Patents
擴增實境系統及其色彩補償方法 Download PDFInfo
- Publication number
- TWI675583B TWI675583B TW107125351A TW107125351A TWI675583B TW I675583 B TWI675583 B TW I675583B TW 107125351 A TW107125351 A TW 107125351A TW 107125351 A TW107125351 A TW 107125351A TW I675583 B TWI675583 B TW I675583B
- Authority
- TW
- Taiwan
- Prior art keywords
- img
- brightness
- display
- virtual object
- image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一種擴增實境系統及其色彩補償方法,此方法適用於具有可透光的顯示器以及影像感測器的擴增實境系統,並且包括下列步驟。設定虛擬物件相對於實際場景的預設物件位置。利用影像感測器擷取實際場景的影像,並且將實際場景的影像映射於顯示器的視野範圍,以產生相對於顯示器的視野範圍的背景影像。根據背景影像中對應於預設物件位置的背景重疊區域,針對虛擬物件進行色彩補償,以產生調整後的虛擬物件,以及根據預設物件位置,將調整後的虛擬物件顯示於顯示器。
Description
<title lang="zh">擴增實境系統及其色彩補償方法</title><title lang="en">AUGMENTED REALITY SYSTEM AND COLOR COMPENSATION METHOD THEREOF</title><technical-field><p>本發明是有關於一種涉及對虛擬影像色彩處理的技術,且特別是有關於一種利用該虛擬影像色彩處理技術之擴增實境(augmented reality,AR)系統及其色彩補償方法。</p></technical-field><background-art><p>隨著影像處理技術與空間定位識別技術的高度發展,市面上業者已不斷推出各種虛擬實境(virtual reality,VR)、擴增實境(augmented reality,AR)、混合實境(mixed reality,MR)等等各類型的頭戴式裝置(head-mounted device,HMD)以及其應用軟體程式。其中,例如AR眼鏡是一種將虛擬影像投射或顯示在經過特殊設計的透明鏡片上的電子裝置,讓使用者可透過AR眼鏡同時看到真實環境以及虛擬影像。為了達到上述功能,AR眼鏡的鏡片皆為透明或半透明並且其穿透率約為70%,而鏡片上的虛像顏色也因此受到環境的影響。當虛像投射在某一特定區域並且與該特定區域所對應的實像背景的顏色不同時,則使用者看到的虛像會疊加上背景的顏色。</p><p>舉例來說,如果虛像是疊加於白色或是單色的實像背景時,使用者所看到的成像的顏色則較為正常。然而,如果虛像是疊加於多重顏色的實像背景時,則會與實像背景的顏色混合在一起而與應所呈現的顏色有落差。</p></background-art><disclosure><p>有鑑於此,本發明提供一種AR系統及其色彩補償方法,其可避免使用者看到與實像背景顏色混合的虛像物件,以提升使用者經驗。</p><p>在本發明的一實施例中,上述的方法適用於具有可透光的顯示器以及影像感測器的AR系統,包括下列步驟。設定虛擬物件相對於實際場景的預設物件位置。利用影像感測器擷取實際場景的影像,並且將實際場景的影像映射於顯示器的視野範圍(field of view,FOV),以產生相對於顯示器的視野範圍的背景影像。根據背景影像中對應於預設物件位置的背景重疊區域,針對虛擬物件進行色彩補償,以產生調整後的虛擬物件,以及根據預設物件位置,將調整後的虛擬物件顯示於顯示器。</p><p>在本發明的一實施例中,上述的系統包括影像感測器、可透光的顯示器以及運算裝置,其中運算裝置連接於影像感測器以及顯示器。影像感測器用以擷取影像。顯示器用以顯示虛擬物件。運算裝置用以設定虛擬物件相對於實際場景的預設物件位置,利用影像感測器擷取實際場景的影像,並且將實際場景的影像映射於顯示器的視野範圍,以產生相對於顯示器的視野範圍的背景影像,又根據背景影像中對應於預設物件位置的背景重疊區域,針對虛擬物件進行色彩補償,以產生調整後的虛擬物件,以及根據預設物件位置,將調整後的虛擬物件顯示於顯示器。</p><p>在本發明的一實施例中,上述的方法適用於具有可透光且可顯示虛擬物件的顯示器以及影像感測器的電子裝置,此方法包括下列步驟。利用影像感測器擷取實際場景的影像,以產生背景影像。將顯示器的虛擬物件與背景影像進行比較,以判斷出虛擬物件與背景影像的實際重疊區域。依據判斷背景影像的實際重疊區域穿透顯示器的背景穿透色彩亮度與原色彩亮度的關係而將虛擬物件的原色彩亮度調整為校正色彩亮度。</p><p>為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。</p></disclosure><mode-for-invention><p>本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的方法以及系統的範例。</p><p>圖1為根據本發明一實施例所繪示的AR系統的示意圖,但此僅是為了方便說明,並不用以限制本發明。首先圖1先介紹AR系統中的所有構件以及配置關係,詳細功能將配合圖2一併揭露。</p><p>請參照圖1,AR系統100至少包括影像感測器110、可透光的顯示器120以及運算裝置130,其中運算裝置130直接或間接電性連接於影像感測器110以及顯示器120。</p><p>影像感測器110用以擷取影像並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度,進而產生影像。感光元件可以例如是電荷耦合元件(charge coupled device,CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor,CMOS)元件或其他元件,本發明不在此設限。</p><p>顯示器120可以液晶、有機發光二極體、電子墨水或是投影方式等顯示技術顯示虛擬物件,其具有半透明或是透明的光學鏡片。因此,使用者透過顯示器120所觀看到的內容將會是疊加虛擬物件的實體場景。</p><p>運算裝置130用以控制AR系統100的作動,其包括記憶體以及處理器。記憶體可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。處理器可以例如是中央處理單元(central processing unit,CPU)、應用處理器(application processor,AP),或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)、影像訊號處理器(image signal processor,ISP)、圖形處理器(graphics processing unit,GPU)或其他類似裝置、積體電路及其組合。</p><p>在本實施例中,AR系統100為單一整合系統,其可以實作成AR眼鏡等一體式頭戴式顯示裝置,而在以下的說明中將以AR眼鏡來做為實作範例。在另一實施例中,影像感測器110以及顯示器120可以實作成頭戴式顯示裝置,而運算裝置130實作成電腦系統,而頭戴式顯示裝置與電腦系統將構成分離式系統,並且透過各自的通訊介面以習知有線或是無線的方式傳輸資訊。</p><p>以一般的AR眼鏡來說,僅有在虛像物件疊加於白色或是單色的實像背景時,使用者所看到的成像的顏色才較為正常。以圖2A根據習知AR眼鏡的顯示畫面的示意圖為例,假設實像背景210以及實像背景220為具有多重顏色的實像背景。當虛像物件250並沒有成像在實像背景210以及實像背景220上時,使用者所看到的成像顏色可接近於正常。然而,以圖2B根據習知AR眼鏡的顯示畫面的示意圖為例,當虛像物件250成像於實像背景220上時,兩者的顏色將混合在一起,虛像物件250的右半部會透出實像背景220的顏色,造成使用者看到的虛像物件250的顏色與其原本應有的顏色有所差異。因此,本實施例所提出的AR系統100可針對與實像背景220有重疊的虛像物件250進行色彩補償,讓使用者在不同背景也能透過AR系統100的顯示畫面看到如圖2C所示不受到實像背景220所影響的虛像物件250’。以下實施例中將搭配AR系統100的各元件來說明色彩補償的實施細節。</p><p>圖3是根據本發明之一實施例所繪示的色彩補償方法的流程圖,而圖3的方法流程可以圖1的AR系統100來實現。</p><p>請同時參照圖1以及圖3,首先,AR系統100的運算裝置130將設定虛擬物件相對於實際場景的預設物件位置(步驟S302)。在此,假設對於運算裝置130而言,虛擬物件的大小、形狀等外觀為已知,也就是已預先儲存於運算裝置130的記憶體中以讓使用者進行選擇或者是運算裝置130自行設定。另一方面,預設物件位置則是虛擬物件相對於實際場景的位置。</p><p>為了在後續使得虛擬物件呈現於更為精確的位置,預設物件位置可以是以絕對座標來表示。在本實施例中,運算裝置130可在針對虛擬物件進行任何設定之前,利用同步定位與地圖建構(simultaneous localization and mapping,SLAM)技術搭配實際場景的深度圖以及慣性測量單元(inertial measurement unit,IMU)來針對實際場景進行掃描,以實現對於實際場景的三維絕對座標定位,而運算裝置130可從而設定虛擬物件於實際場景中的絕對座標位置。</p><p>深度圖的產生方式可以是利用影像感測器110搭配深度感測器(未繪示)以本領域具通常知識者所熟知的方式來產生。深度感測器用以偵測實際場景的深度資訊,其可以分為主動式深度感測器以及被動式深度感測器。主動式深度感測器可藉由主動發出光源、紅外線、超音波、雷射等作為訊號搭配時差測距技術(time-of-flight,ToF)來計算實際場景的深度資訊。另一方面,被動式深度感測器可以例如是另一個影像感測器,並且與影像感測器110以不同視角同時擷取其前方的兩張影像,以利用兩張影像的視差來計算實際場景的深度資訊。惟在其它實施例,亦不排除該深度感測器採用標準的深度感測器而獨立於影像感測器110外單獨運作而取得實際場景的深度資訊。或是在其它實施例中,採用具有前述影像感測器功能之深度感測器,亦即其不但能產生深度資訊以進行三維座標地圖建構,並且亦能將擷取到的實際場景影像輸出傳送至運算裝置130以進行本案後續步驟304之處理。據此,本案所指的「深度感測器」係為一種廣義的抽象功能機制而泛指具有偵測空間中深度資訊功能之機制手段者,亦即可與前述影像感測器110各為單獨元件,或是與前述影像感測器110協同組成深度感測器,或是融合前述影像感測器110功能。</p><p>慣性測量單元為多軸的運動感測器,其可以包括三軸的陀螺儀以及三個方向的加速度器來測量AR系統100在三維空間中的角速度以及加速度。慣性測量單元可以即時提供AR系統100的角度以及一小段時間內的移動距離。運算單元130可以利用AR系統100所得到的深度圖以及搭配本身的姿態與移動距離,透過SLAM技術來達到自身於實際場景中的定位以及針對實際場景來進行地圖構建的目的。</p><p>接著,運算裝置130將利用影像感測器110擷取實際場景的影像(步驟S304),並且將實際場景的影像映射於顯示器120的視野範圍,以產生背景影像(步驟S306)。詳細來說,實際場景的影像關聯於影像感測器110的視野範圍,而顯示器120的視野範圍關聯於顯示器120的顯示區域以及預設人眼位置。在此可合理地假設影像感測器110與顯示器120的設置位置不同,並且影像感測器110的視野範圍大於顯示器120的視野範圍。運算裝置130會先計算影像感測器110的視野範圍與影像感測器110的視野範圍之間的重疊區域(以下稱為「視野重疊區域」),並且會進一步地將視野重疊區域映射至顯示器120的整個視野範圍。</p><p>具體來說,圖4A為根據本發明之一實施例所繪示的視野重疊區域的示意圖。以顯示器120的觀點來說,區域ARVS為自預設人眼位置E以視角
<img he="22" wi="11" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0001.tif" />(angle of view)下透過顯示器120所能觀看到的場景內容(即,顯示器120的視野範圍)。以影像感測器110的觀點來說,區域ARVS為以視角
<img he="22" wi="12" img-format="jpg" id="i0015" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0002.tif" />所擷取到的場景內容,其涵蓋在影像感測器110的視野範圍中。
</p><p>換句話說,區域ARVS即為影像感測器110的視野範圍與顯示器120的視野範圍的重疊區域,即前述所定義的視野重疊區域。運算裝置130可藉由計算視角
<img he="22" wi="12" img-format="jpg" id="i0016" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0002.tif" />,自影像感測器110所擷取到的實際場景的影像中定義出視野重疊區域,再將視野重疊區域映射回顯示器120的整個視野範圍,以產生對應於顯示器120的視野範圍的背景影像。必須先說明的是,基於影像感測器110與顯示器120的設置位置不同,並且影像感測器110的視野範圍大於顯示器120的視野範圍,因此在顯示器120的鄰近區域NA則會無法涵蓋到,本實施例將不針對此區域NA進行處理。以下將說明自實際場景的影像中取出視野重疊區域的方式。
</p><p>圖4B為根據本發明之一實施例所繪示的相對於垂直方向的視野重疊區域的示意圖。請參照圖4B,由於影像感測器110的設置位置
<img he="22" wi="94" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0004.tif" />、預設人眼位置
<img he="22" wi="85" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0005.tif" />及其相對於顯示器120的視角
<img he="22" wi="11" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0001.tif" />為已知,運算裝置130可計算在預設人眼位置
<img he="22" wi="21" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0007.tif" />與視野重疊區域ARVS為不同距離
<img he="22" wi="11" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0008.tif" />下(即,影像感測器110的設置位置
<img he="22" wi="21" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0009.tif" />與視野重疊區域ARVS為不同距離
<img he="22" wi="49" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0010.tif" />下),影像感測器110相對於視野重疊區域ARVS的垂直視角
<img he="44" wi="109" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0011.tif" />。在此,視野重疊區域ARVS的垂直中心點位置為C
<img he="22" wi="62" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0012.tif" />,而視野重疊區域ARVS的垂直端點為
<img he="22" wi="165" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0013.tif" />以及
<img he="22" wi="183" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0014.tif" />,因此可進而計算出
<img he="22" wi="163" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0015.tif" />以及
<img he="22" wi="168" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0016.tif" />。藉由三角函數可得出
<img he="44" wi="109" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0011.tif" />,其中:
<img he="44" wi="313" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0018.tif" /><img he="44" wi="313" img-format="jpg" id="i0017" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0019.tif" /></p><p>圖4C為根據本發明之一實施例所繪示的相對於水平方向的視野重疊區域的示意圖。請參照圖4C,由於影像感測器110的設置位置
<img he="22" wi="94" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0020.tif" />、預設人眼位置
<img he="22" wi="90" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0021.tif" />及其與顯示器120的視角ψ為已知,運算裝置130可計算在預設人眼位置
<img he="22" wi="21" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0007.tif" />的不同距離
<img he="22" wi="11" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0008.tif" />下(即,影像感測器110的設置位置
<img he="22" wi="26" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0024.tif" />與視野重疊區域ARVS為不同距離
<img he="22" wi="44" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0025.tif" />下),影像感測器110相對於視野重疊區域ARVS的垂直視角
<img he="22" wi="85" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0026.tif" />。在此,視野重疊區域ARVS的水平中心點位置為C
<img he="22" wi="62" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0012.tif" />,而視野重疊區域ARVS的水平端點為
<img he="22" wi="167" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0028.tif" />以及
<img he="22" wi="185" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0029.tif" />,因此可進而計算出
<img he="22" wi="165" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0030.tif" />以及
<img he="22" wi="170" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0031.tif" />。藉由三角函數可得出
<img he="22" wi="85" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0026.tif" />,其中:
<img he="44" wi="312" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0033.tif" /><img he="44" wi="312" img-format="jpg" id="i0018" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0034.tif" /></p><p>接著,針對各個不同距離,運算裝置130可自影像感測器110的視野範圍之中取得垂直視角以及水平視角所涵蓋的範圍,以設定為視野重疊區域。以圖4D根據本發明之一實施例所繪示的影像感測器110的視野範圍40為例,顯示器120的視野範圍41為
<img he="22" wi="127" img-format="jpg" id="i0019" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0035.tif" />、
<img he="22" wi="127" img-format="jpg" id="i0019" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0036.tif" />、
<img he="22" wi="127" img-format="jpg" id="i0019" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0037.tif" />以及
<img he="22" wi="127" img-format="jpg" id="i0019" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0038.tif" />四個端點所構成的區域,其亦為視野重疊區域。
</p><p>在另一實施例中,可以預先在離線(offline)階段時,在預設人眼位置設置另一個視野範圍大於顯示器120的視野範圍的影像感測器,並且在相對於顯示器120的不同距離下放置具有參考圖案的校正板(例如棋盤格板),其大小需大於顯示器120的視野範圍。以圖4E根據本發明之一實施例所繪示的校正板40’為例,運算裝置130可利用位於預設人眼位置的影像感測器110’擷取顯示器120的視野範圍所涵蓋的區域41’,也就是
<img he="22" wi="127" img-format="jpg" id="i0020" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0035.tif" />、
<img he="22" wi="127" img-format="jpg" id="i0020" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0036.tif" />、
<img he="22" wi="127" img-format="jpg" id="i0020" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0037.tif" />以及
<img he="22" wi="127" img-format="jpg" id="i0020" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0038.tif" />四個端點所構成的區域,其亦為視野重疊區域。
</p><p>運算裝置130在得到影像感測器110與顯示器120的視野重疊區域後,可以從影像感測器130的視野範圍中直接定義出顯示器120的視野範圍。以圖5根據本發明一實施例所繪示的影像感測器130的視野範圍以及顯示器120的視野範圍的示意圖為例,運算裝置130會將影像感測器110的視野範圍51內的視野重疊區域(即
<img he="22" wi="127" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0035.tif" />、
<img he="22" wi="127" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0036.tif" />、
<img he="22" wi="127" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0037.tif" />以及
<img he="22" wi="127" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0038.tif" />所構成的區域),根據顯示器120的視野範圍來進行影像縮放處理(image resizing)、影像扭轉處理(image warping),以針對影像感測器110與顯示器120之間角度或是解析度的差異所造成的位置差距進行修正,而處理後的影像即為背景影像50,其中
<img he="22" wi="127" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0035.tif" />、
<img he="22" wi="127" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0036.tif" />、
<img he="22" wi="127" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0037.tif" />以及
<img he="22" wi="131" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0050.tif" />分別映射為
<img he="22" wi="98" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0051.tif" />、
<img he="22" wi="112" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0052.tif" />、
<img he="22" wi="112" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0053.tif" />以及
<img he="22" wi="123" img-format="jpg" id="i0021" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0054.tif" />。
</p><p>請再回到圖3,運算裝置130將根據背景影像中對應於預設物件位置的背景重疊區域,針對虛擬物件進行色彩補償,以產生調整後的虛擬物件(步驟S308)。具體來說,以圖6根據本發明一實施例所繪示的背景影像以及虛像物件的示意圖為例,
<img he="22" wi="98" img-format="jpg" id="i0022" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0051.tif" />、
<img he="22" wi="112" img-format="jpg" id="i0022" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0052.tif" />、
<img he="22" wi="112" img-format="jpg" id="i0022" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0053.tif" />以及
<img he="22" wi="123" img-format="jpg" id="i0022" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0054.tif" />所構成的背景影像61中包括實像背景610以及實像背景620,其中運算裝置130可得知虛擬物件650中的物件重疊區域651將會與實像背景620重疊,因此將會針對物件重疊區域651進行色彩補償。
</p><p>在本實施例中,運算裝置130可根據虛擬物件的亮度(luminance,單位為nit)以及實際場景中對應於背景重疊區域的實際重疊區域穿透顯示器120後的亮度,針對虛擬物件進行色彩補償。詳細來說,如前述,基於顯示器120為可透光,因此實際場景中會有一部份穿透顯示器120,而穿透的量與顯示器120的穿透率、實際場景中的環境亮度以及虛擬物體的色彩相關。在此,運算裝置130可以根據影像感測器110所使用的自動曝光(auto-exposure,AE)的增益值(gain)以及曝光時間(exposure time)來補償環境亮度。當增益值以及曝光時間越高時,則代表環境越暗、穿透顯示器120的強度較弱,也代表顯示器120可以調整的亮度以及可以補償的區間就越大。反之,當增益值以及曝光時間越短時,則代表環境越亮、穿透顯示器120的強度較強,也代表顯示器120可以調整的亮度以及可以補償的區間就越小。在本發明另一實施例,AR系統100也可以設置有獨立於影像感測器110之外的光感應器以偵測與取得環境亮度值。</p><p>為方便明瞭,以下將針對虛擬物件的單一像素來說明色彩補償的細節,其它像素可依此類推。假設原本虛擬物件的原色彩可以表示成
<img he="22" wi="125" img-format="jpg" id="i0024" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0059.tif" />,而原色彩經過顯示器120的顯示亮度加乘L後,雙眼將接收到的虛擬物件的色彩亮度為
<img he="22" wi="92" img-format="jpg" id="i0024" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0060.tif" />,其可以下列公式表示:
<img he="66" wi="119" img-format="jpg" id="i0024" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0061.tif" />其中L代表顯示器120的顯示亮度對原色彩的加乘,當顯示器120的亮度較暗時,L的數值較低,反之則較高。此外,不同的顯示器的特性亦有可能對於原色彩的三個通道有不同的加乘。在此,虛擬物件相對應的實際重疊區域的背景色彩亮度可以表示成
<img he="22" wi="122" img-format="jpg" id="i0024" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0062.tif" />,由於預估實際重疊區域穿透顯示器120後的色彩亮度將會與環境亮度成正比,也就是與增益值以及曝光時間成反比。因此,預估實際重疊區域的背景色彩亮度穿透顯示器120到眼睛的背景穿透色彩亮度
<img he="22" wi="150" img-format="jpg" id="i0024" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0063.tif" />可以下列公式表示:
<img he="66" wi="143" img-format="jpg" id="i0024" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0064.tif" />其中
<img he="22" wi="12" img-format="jpg" id="i0024" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0065.tif" />關聯於環境亮度或者是同時關聯於環境亮度以及顯示器120的穿透率,例如:
<img he="44" wi="198" img-format="jpg" id="i0024" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0066.tif" />其中
<img he="22" wi="11" img-format="jpg" id="i0024" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0067.tif" />為經驗常數值或者是變數乘上顯示器120的穿透率。此外,運算裝置130可以預先儲存例如是以下表1的對應表來取得
<img he="22" wi="12" img-format="jpg" id="i0024" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0065.tif" />:
<tables><table border="1" bordercolor="#000000" width="85%"><tbody><tr><td><img wi="161" he="22" file="img-2/draw/02_image091.tif" img-format="tif"></img></td><td><img wi="12" he="22" file="twi675583b_d0065.tif" img-format="jpg"/></img></td></tr><tr><td> 1 </td><td> 1000 </td></tr><tr><td> 2 </td><td> 900 </td></tr><tr><td> 3 </td><td> 840 </td></tr><tr><td> …. </td><td> …. </td></tr><tr><td> 2000 </td><td> 50 </td></tr></tbody></table></tables>表1
</p><p>由於背景穿透色彩亮度
<img he="22" wi="150" img-format="jpg" id="i0025" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0063.tif" />與虛擬物件的原色彩亮度
<img he="22" wi="92" img-format="jpg" id="i0025" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0060.tif" />重疊,因此眼睛將接收到的視覺色彩
<img he="44" wi="131" img-format="jpg" id="i0025" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0071.tif" />應為:
<img he="66" wi="306" img-format="jpg" id="i0025" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0072.tif" />在此,須將原始虛擬物件的原色彩
<img he="44" wi="135" img-format="jpg" id="i0025" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0073.tif" />調整為校正色彩亮度
<img he="22" wi="87" img-format="jpg" id="i0025" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0074.tif" />,以使得眼睛實際所接收到的視覺色彩亮度
<img he="22" wi="89" img-format="jpg" id="i0025" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0075.tif" />能與原始虛擬物件的原色彩亮度
<img he="22" wi="92" img-format="jpg" id="i0025" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0060.tif" />一樣,而得到以下公式:
<img he="66" wi="240" img-format="jpg" id="i0025" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0077.tif" /><img he="66" wi="180" img-format="jpg" id="i0025" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0078.tif" />也就是說,色彩補償後的虛擬物件的校正色彩亮度應為虛擬物件的原色彩亮度與實際重疊區域穿透顯示器120後的背景穿透色彩亮度的差值。
</p><p>值得注意的是,當環境過亮時,將會導致預估實際重疊區域穿透顯示器120到眼睛的背景穿透色彩亮度
<img he="66" wi="62" img-format="jpg" id="i0026" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0079.tif" />比虛擬物件的原色彩亮度
<img he="22" wi="92" img-format="jpg" id="i0026" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0060.tif" />還亮,然而顯示器120為半透明的材料而無法吸收光線,因此色彩補償後的校正色彩亮度
<img he="22" wi="87" img-format="jpg" id="i0026" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0074.tif" />並不能小於0。此時,僅能提升整體的校正色彩
<img he="44" wi="129" img-format="jpg" id="i0026" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0082.tif" />,但又基於顯示器120的顯示亮度範圍並無法無上限地提升,也就是色彩補償後
<img he="44" wi="236" img-format="jpg" id="i0026" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0083.tif" />應要設有上限值。因此,運算裝置130將以圖7以及圖8分別根據本發明一實施例所繪示的亮度調整方法的流程圖來針對色彩補償後的虛擬物件的校正色彩進行調整。
</p><p>請先參照圖7,運算裝置130將先取得色彩補償後的虛擬物件的各個像素的亮度值
<img he="22" wi="111" img-format="jpg" id="i0027" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0084.tif" />,以設定為虛擬物件的補償亮度值(步驟S702)。接著,運算裝置130將取得所有補償亮度值中的最小補償亮度值
<img he="22" wi="156" img-format="jpg" id="i0027" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0085.tif" />以及最大補償亮度值
<img he="22" wi="159" img-format="jpg" id="i0027" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0086.tif" />(步驟S704以及步驟S706,此二步驟不分前後順序),而此兩個極值是用以做為調整所有補償亮度值的依據。
</p><p>具體來說,基於最小亮度值有可能是負數,運算裝置130可以針對各個補償亮度值
<img he="22" wi="111" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0084.tif" />與最小補償亮度值
<img he="22" wi="156" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0085.tif" />進行相減,以分別產生移位亮度值
<img he="22" wi="116" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0089.tif" />(步驟S708),其可表示如下:
<img he="22" wi="430" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0090.tif" />接著,運算裝置130將判斷最大補償亮度值
<img he="22" wi="159" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0086.tif" />與最小補償亮度值
<img he="22" wi="156" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0085.tif" />的差值是否大於第一亮度閥值
<img he="22" wi="35" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0093.tif" />(步驟S710),也就是判斷是否滿足以下條件式:
<img he="22" wi="397" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0094.tif" />在此的第一亮度閥值
<img he="22" wi="35" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0093.tif" />可以例如是2000 nits。若否,則運算裝置130會將各個移位亮度值
<img he="22" wi="116" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0089.tif" />直接設定為調整後的虛擬物件的各個像素的亮度值
<img he="22" wi="54" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0097.tif" />(步驟S712),其可表示如下:
<img he="22" wi="194" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0098.tif" />若是,則運算裝置130將根據第一亮度閥值
<img he="22" wi="35" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0093.tif" />,針對各所述移位亮度值
<img he="22" wi="116" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0089.tif" />進行正規化處理,以設定為調整後的虛擬物件的各個像素的亮度值
<img he="22" wi="54" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0097.tif" />,例如以第一亮度閥值
<img he="22" wi="35" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0093.tif" />與所有移位亮度值中的最大移位亮度值
<img he="22" wi="164" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0103.tif" />之間的比值,針對所有移位亮度值進行正規化處理,以產生調整後的虛擬物件的各個像素的亮度值
<img he="22" wi="164" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0103.tif" />(步驟S714),其可表示如下:
<img he="66" wi="379" img-format="jpg" id="i0028" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0105.tif" />然而,此方法可在環境過亮處可能導致補償後的虛擬物件的色彩變淡,因此較不適用於環境過亮的實際場景。
</p><p>請再參照圖8,類似於圖7,運算裝置130將先取得色彩補償後的虛擬物件的各個像素的亮度值
<img he="22" wi="111" img-format="jpg" id="i0029" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0084.tif" />,以設定為虛擬物件的補償亮度值(步驟S802)。接著,運算裝置130將取得所有補償亮度值中的最小補償亮度值
<img he="22" wi="156" img-format="jpg" id="i0029" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0085.tif" />以及最大補償亮度值
<img he="22" wi="159" img-format="jpg" id="i0029" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0086.tif" />(步驟S804以及步驟S806,此二步驟不分前後順序),而此兩個極值是用以做為調整所有補償亮度值的依據。
</p><p>具體來說,運算裝置130將判斷最大補償亮度值
<img he="22" wi="159" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0086.tif" />與最小補償亮度值
<img he="22" wi="156" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0085.tif" />的差值是否大於第二亮度閥值
<img he="22" wi="35" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0111.tif" />(步驟S808),也就是判斷是否滿足以下條件:
<img he="22" wi="397" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0112.tif" />在此的第二亮度閥值
<img he="22" wi="35" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0111.tif" />可以例如是2000 nits。若否,則運算裝置130將針對各個補償亮度值
<img he="22" wi="111" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0084.tif" />與該最小補償亮度值
<img he="22" wi="156" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0085.tif" />進行相減,以設定為調整後的虛擬物件的各個像素的亮度值
<img he="22" wi="54" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0097.tif" />(步驟S810),其可表示如下:
<img he="22" wi="454" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0117.tif" />若是,運算裝置130會將各個補償亮度值
<img he="22" wi="111" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0084.tif" />調整到0至第二亮度閥值
<img he="22" wi="34" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0119.tif" />的區間。具體來說,針對各個補償亮度值
<img he="22" wi="111" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0084.tif" />,運算裝置會130先判斷其是否大於0(步驟S812)。若是,則運算裝置130將會先計算最大補償亮度值
<img he="22" wi="159" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0086.tif" />與第二亮度閥值之間的差值,再根據此差值來對補償亮度值進行移位,以設定為調整後的虛擬物件的各個像素的亮度值
<img he="22" wi="54" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0097.tif" />(步驟S814),如下表示:
<img he="22" wi="527" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0123.tif" />若否,則運算裝置130會將調整後的虛擬物件的各所述像素的亮度值
<img he="22" wi="54" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0124.tif" />設定為0(步驟S816),即:
<img he="22" wi="175" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0125.tif" />藉由將補償亮度值調整至0與第二亮度閥值
<img he="22" wi="34" img-format="jpg" id="i0030" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0126.tif" />的區間可使得環境過亮處仍保持虛擬物件的色彩,而放棄補償過亮的部份。
</p><p>請再回到圖3,運算裝置130將根據預設物件位置來使調整後的虛擬物件顯示於顯示器120(步驟S310)。詳細來說,前述步驟已藉由影像感測器110的視野範圍與顯示器120的視野範圍的重疊部份來進行映射,而當運算裝置130要顯示器120上對應於預設預定位置的地方成像前,即可利用映射後的關係得知背景影像中對應於預設物件位置的背景重疊區域的形狀以及顏色,再根據自動曝光功能對應出顯示器120所看到的區域的環境亮度,以對應出環境可能入射顯示器120的光量,進而調整虛擬物件的亮度以及顏色,並且將調整後的虛擬物件顯示在顯示器120上。以AR眼鏡來說,調整後的虛擬物件則是分別會在左右鏡片上成像。如此一來,使用者所觀看到的虛擬物件的顏色將會較為統一且不會被其背景的顏色所影響。</p><p>綜上所述,本發明所提出的AR系統及其色彩補償方法,其可在顯示虛擬物件前,先根據實際場景中與虛擬物件重疊的背景重疊區域,針對虛擬物件進行色彩補償。如此一來,可避免使用者看到與實像背景顏色混合的虛像物件,從而提升使用者經驗。</p><p>此外,本案上述說明書以及申請專利範圍中所提及的AR眼鏡或AR系統只是一種在技術概念上至少採用了廣義AR技術的眼鏡或系統而並非專指狹義且具特定結構或功能而命名為「AR」的裝置,事實上,只要是能將虛像結合在實像上或是將實像結合在虛像上而會產生實像與虛像重疊的任何型態電子裝置皆可屬於本案以廣義定義的AR眼鏡或AR系統。</p><p>雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。</p></mode-for-invention><description-of-drawings><description-of-element><p>100‧‧‧VR系統</p><p>110、110’‧‧‧影像感測器</p><p>120‧‧‧顯示器</p><p>130‧‧‧運算裝置</p><p>210、220‧‧‧實像背景</p><p>250‧‧‧虛擬物件</p><p>250’‧‧‧調整後的虛擬物件</p><p>S302~S310、S702~S714、S802~S816‧‧‧步驟</p><p>E‧‧‧預設人眼位置</p><p>NA‧‧‧顯示器的鄰近區域</p><p>ARVS‧‧‧視野重疊區域</p><p>B1~B4‧‧‧端點</p><p>C‧‧‧中心點</p><p>p1、p1’‧‧‧影像感測器的設置位置</p><p>p2、p2’‧‧‧預設人眼位置</p><p><img he="44" wi="173" img-format="jpg" id="i0001" img-content="drawing" orientation="portrait" inline="no" file="TWI675583B_D0127.tif" />‧‧‧角度</p><p>40‧‧‧影像感測器的視野範圍</p><p>40’‧‧‧校正板</p><p>41、41’‧‧‧視野重疊區域</p><p>F1~F4‧‧‧端點</p><p>AR1~AR4‧‧‧F1~F4的映射點</p><p>50‧‧‧背景影像</p><p>51‧‧‧影像感測器的視野範圍</p><p>61‧‧‧背景影像</p><p>610、620‧‧‧實像背景</p><p>650‧‧‧虛擬物件</p><p>651‧‧‧物件重疊區域</p></description-of-element><p>圖1為根據本發明一實施例所繪示的AR系統的示意圖。 圖2A為根據習知AR眼鏡的顯示畫面的示意圖。 圖2B為根據習知AR眼鏡的顯示畫面的示意圖。 圖2C為根據本發明一實施例所繪示的AR系統的顯示畫面的示意圖。 圖3為根據本發明一實施例所繪示的色彩補償方法的流程圖。 圖4A為根據本發明之一實施例所繪示的視野重疊區域的示意圖。 圖4B為根據本發明之一實施例所繪示的相對於垂直方向的視野重疊區域的示意圖。 圖4C為根據本發明之一實施例所繪示的相對於水平方向的視野重疊區域的示意圖。 圖4D為根據本發明之一實施例所繪示的影像感測器的視野範圍的示意圖。 圖4E為根據本發明之一實施例所繪示的校正板的示意圖。 圖5為根據本發明一實施例所繪示的影像感測器的視野範圍以及顯示器的視野範圍的示意圖。 圖6為根據本發明一實施例所繪示的背景影像以及虛像物件的示意圖。 圖7為根據本發明一實施例所繪示的亮度調整方法的流程圖。 圖8為根據本發明另一實施例所繪示的亮度調整方法的流程圖。</p></description-of-drawings><bio-deposit /><sequence-list-text />
Claims (22)
- 一種色彩補償方法,適用於具有可透光的顯示器以及影像感測器的擴增實境系統,包括下列步驟:設定虛擬物件相對於實際場景的預設物件位置;利用該影像感測器擷取該實際場景的影像,並且映射該實際場景的該影像於該顯示器的視野範圍,以產生相對於該顯示器的視野範圍的背景影像;根據該背景影像中對應於該預設物件位置的背景重疊區域,針對該虛擬物件進行色彩亮度的補償,以產生調整後的虛擬物件;以及根據該預設物件位置,顯示該調整後的虛擬物件於該顯示器。
- 如申請專利範圍第1項所述的方法,其中該擴增實境系統更包括深度感測器,而在設定該虛擬物件相對於該實際場景的該預設物件位置之前,該方法更包括:至少利用該深度感測器,計算該實際場景的深度圖;以及以同步定位與地圖構建方法,根據該深度圖,產生該實際場景的絕對座標。
- 如申請專利範圍第2項所述的方法,其中設定該虛擬物件相對於該實際場景的該預設物件位置的步驟更包括:設定該虛擬物件的外觀;以及設定該虛擬物件相對於該實際場景的絕對座標位置,以做為該預設物件位置。
- 如申請專利範圍第1項所述的方法,映射該實際場景的該影像於該顯示器的該視野範圍,以產生相對於該顯示器的該視野範圍的該背景影像的步驟包括:取得該顯示器的該視野範圍與該影像感測器的視野範圍,據以計算視野重疊區域,其中該影像感測器的該視野範圍大於該顯示器的該視野範圍;以及映射該視野重疊區域於該顯示器的該視野範圍,以產生相對於該顯示器的該視野範圍的該背景影像。
- 如申請專利範圍第4項所述的方法,其中取得該顯示器的該視野範圍與該影像感測器的該視野範圍,據以計算該視野重疊區域的步驟包括:根據預設人眼位置、該顯示器的設置位置以及該影像感測器的設置位置,計算該影像感測器相對於該視野重疊區域在不同距離下的垂直視角以及水平視角;以及針對各所述不同距離,自該影像感測器的該視野範圍中取得該垂直視角以及該水平視角所涵蓋的範圍,以設定為該視野重疊區域。
- 如申請專利範圍第4項所述的方法,其中取得該顯示器的該視野範圍與該影像感測器的該視野範圍,據以計算該視野重疊區域的步驟包括:設置另一影像感測器於預設人眼位置,其中該另一影像感測器的視野範圍大於該顯示器的該視野範圍; 於相對於該顯示器的不同距離下放置校正板,其中該校正板具有參考圖案並且大於該顯示器的該視野範圍;以及利用該另一影像感測器,擷取該校正板中該顯示器的該視野範圍所涵蓋的區域,以設定為該視野重疊區域。
- 如申請專利範圍第4項所述的方法,其中映射該視野重疊區域於該顯示器的該視野範圍,以產生該背景影像的步驟包括:根據該顯示器的該視野範圍,針對該視野重疊區域進行影像縮放處理以及影像扭轉處理,以產生該背景影像。
- 如申請專利範圍第1項所述的方法,其中根據該背景影像中對應於該預設物件位置的該背景重疊區域,針對該虛擬物件進行所述色彩亮度的補償的步驟包括:根據該虛擬物件的原色彩亮度以及該實際場景中對應於該背景重疊區域的實際重疊區域穿透該顯示器後的背景穿透色彩亮度,針對該虛擬物件進行所述色彩亮度的補償。
- 如申請專利範圍第8項所述的方法,其中所述色彩亮度的補償後的虛擬物件的校正色彩亮度為該虛擬物件的該原色彩亮度與該實際重疊區域穿透該顯示器後的該背景穿透色彩亮度的差值。
- 如申請專利範圍第9項所述的方法,其中該實際重疊區域穿透該顯示器後的該背景穿透色彩亮度與環境亮度成正比。
- 如申請專利範圍第10項所述的方法,其中該環境亮度的判斷步驟為: 根據該影像感測器擷取該實際場景的該影像進行自動曝光時所使用的增益值以及曝光時間,判斷該環境亮度。
- 如申請專利範圍第9項所述的方法,其中該實際重疊區域穿透該顯示器後的該背景穿透色彩亮度與環境亮度以及該顯示器的穿透率成正比。
- 如申請專利範圍第1項所述的方法,其中針對該虛擬物件進行所述色彩亮度的補償,以產生該調整後的虛擬物件的步驟包括:取得所述色彩亮度的補償後的虛擬物件的各個像素的亮度值,以設定為該虛擬物件的各個補償亮度值;取得各所述補償亮度值中的最大補償亮度值以及最小補償亮度值;以及根據該最大補償亮度值以及該最小補償亮度值,調整各所述補償亮度值,以產生該調整後的虛擬物件。
- 如申請專利範圍第12項所述的方法,其中根據該最大補償亮度值以及該最小補償亮度值,調整各所述補償亮度值,以產生該調整後的虛擬物件的步驟包括:針對各所述補償亮度值與該最小亮度值進行相減,以分別產生移位亮度值;判斷該最大補償亮度值與該最小補償亮度值的差值是否大於第一亮度閥值; 若是,根據該第一亮度閥值,針對各所述移位亮度值進行正規化處理,以設定為該調整後的虛擬物件的各個像素的亮度值;以及若否,設定各所述移位亮度值為該調整後的虛擬物件的各所述像素的該亮度值。
- 如申請專利範圍第13項所述的方法,其中根據該第一亮度閥值,針對各所述移位亮度值進行正規化處理的步驟包括:以該第一亮度閥值與所述移位亮度值中的最大移位亮度值之間的比值,針對所述移位亮度值進行正規化處理。
- 如申請專利範圍第12項所述的方法,其中根據該最大補償亮度值以及該最小補償亮度值,調整各所述補償亮度值,以產生該調整後的虛擬物件的步驟包括:判斷該最大補償亮度值與該最小補償亮度值的差值是否大於第二亮度閥值;若否,針對各所述補償亮度值與該最小亮度值進行相減,以分別產生移位亮度值,並且設定各所述移位亮度值為該調整後的虛擬物件的各所述像素的該亮度值;以及若是,調整所述補償亮度值至0與該第二亮度閥值的區間,以做為該調整後的虛擬物件的各所述像素的該亮度值。
- 如申請專利範圍第12項所述的方法,其中調整所述補償亮度值至0與該第二亮度閥值的該區間的步驟包括:針對各所述補償亮度值:判斷該補償亮度值是否小於零; 若是,調整該補償亮度值為0,以做為該調整後的虛擬物件的對應像素的亮度值;以及若否,計算該最大補償亮度值與該第二亮度閥值之間的差值,並且根據該差值針對該補償亮度值進行移位,以做為該調整後的虛擬物件的該對應像素的亮度值。
- 一種擴增實境系統,包括:影像感測器,用以擷取實際場景的影像;可透光的顯示器,用以顯示虛擬物件;以及運算裝置,直接或間接電性連接於該影像感測器以及該顯示器,用以:設定該虛擬物件相對於該實際場景的預設物件位置;利用該影像感測器擷取該實際場景的影像,並且映射該實際場景的該影像於該顯示器的視野範圍,以產生相對於該顯示器的該視野範圍的背景影像;根據該背景影像中對應於該預設物件位置的背景重疊區域,針對該虛擬物件進行色彩亮度的補償,以產生調整後的虛擬物件;以及根據該預設物件位置,顯示該調整後的虛擬物件於該顯示器。
- 如申請專利範圍第18項所述的擴增實境系統,更包括: 深度感測器,其中該運算裝置至少利用該深度感測器,計算該實際場景的深度圖,並且以同步定位與地圖建構方法,根據該深度圖,產生並且儲存該實際場景的絕對座標。
- 如申請專利範圍第18項所述的擴增實境系統,其中該運算裝置更根據虛擬物件的原色彩亮度以及實際場景中對應於該背景重疊區域的實際重疊區域穿透該顯示器後的背景穿透色彩亮度,針對該虛擬物件進行所述色彩亮度的補償。
- 如申請專利範圍第20項所述的擴增實境系統,其中該運算裝置更根據該影像感測器擷取該實際場景的該影像進行自動曝光時所使用的增益值以及曝光時間,判斷環境亮度。
- 一種色彩補償方法,適用於具有可透光且可顯示虛擬物件的顯示器以及影像感測器的裝置,其中該虛擬物件具有原色彩,該方法包括以下步驟:利用該影像感測器擷取實際場景的影像,以產生背景影像:比較該顯示器的該虛擬物件與該背景影像,以判斷出該虛擬物件與該背景影像的實際重疊區域;依據判斷該背景影像的該實際重疊區域穿透該顯示器的背景穿透色彩亮度與原色彩亮度之一關係而調整該虛擬物件的該原色彩亮度為校正色彩亮度。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107125351A TWI675583B (zh) | 2018-07-23 | 2018-07-23 | 擴增實境系統及其色彩補償方法 |
| CN201810923506.8A CN110753216B (zh) | 2018-07-23 | 2018-08-14 | 增强现实系统及其色彩补偿方法 |
| US16/183,743 US11087443B2 (en) | 2018-07-23 | 2018-11-08 | Augmented reality system and color compensation method thereof |
| JP2018243022A JP6653369B2 (ja) | 2018-07-23 | 2018-12-26 | 拡張現実感システム及びその色補償方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107125351A TWI675583B (zh) | 2018-07-23 | 2018-07-23 | 擴增實境系統及其色彩補償方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI675583B true TWI675583B (zh) | 2019-10-21 |
| TW202008780A TW202008780A (zh) | 2020-02-16 |
Family
ID=69023869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107125351A TWI675583B (zh) | 2018-07-23 | 2018-07-23 | 擴增實境系統及其色彩補償方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11087443B2 (zh) |
| JP (1) | JP6653369B2 (zh) |
| CN (1) | CN110753216B (zh) |
| TW (1) | TWI675583B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI843315B (zh) * | 2022-12-05 | 2024-05-21 | 中華電信股份有限公司 | 在擴增實境中融合環景影像之方法及執行該方法之電腦程式產品 |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
| DK180640B1 (en) | 2018-05-07 | 2021-11-09 | Apple Inc | Devices and methods of measurement using augmented reality |
| US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
| CN109817147B (zh) * | 2019-03-18 | 2021-01-15 | 京东方科技集团股份有限公司 | 显示面板及其显示方法、显示设备及计算机可读存储介质 |
| US11227446B2 (en) | 2019-09-27 | 2022-01-18 | Apple Inc. | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality |
| JP7358258B2 (ja) * | 2020-01-28 | 2023-10-10 | キヤノン株式会社 | 画像観察装置 |
| US11080879B1 (en) | 2020-02-03 | 2021-08-03 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
| US11727650B2 (en) * | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
| US11823343B1 (en) * | 2020-03-26 | 2023-11-21 | Apple Inc. | Method and device for modifying content according to various simulation characteristics |
| US11069104B1 (en) * | 2020-05-13 | 2021-07-20 | Facebook Technologies, Llc | Display that uses a light sensor to generate environmentally matched artificial reality content |
| US11423621B1 (en) * | 2020-05-21 | 2022-08-23 | Facebook Technologies, Llc. | Adaptive rendering in artificial reality environments |
| KR102757101B1 (ko) | 2020-07-13 | 2025-01-21 | 삼성전자 주식회사 | 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치 |
| US11869395B2 (en) * | 2020-11-04 | 2024-01-09 | POSTECH Research and Business Development Foundation | Color calibration display apparatus, color calibration display method, and switchable display system for providing virtual reality or augmented reality using color calibration display apparatus |
| TWI786497B (zh) | 2020-12-22 | 2022-12-11 | 宏正自動科技股份有限公司 | 影像輸出裝置、影像接收裝置及影像傳輸方法 |
| JP2022126206A (ja) * | 2021-02-18 | 2022-08-30 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2022225795A1 (en) | 2021-04-18 | 2022-10-27 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
| US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
| CN113552942B (zh) * | 2021-07-14 | 2024-08-30 | 海信视像科技股份有限公司 | 一种基于光照强度显示虚拟对象的方法及设备 |
| US12003859B2 (en) * | 2021-07-16 | 2024-06-04 | Samsung Electronics Co., Ltd. | Brightness adjustment method, and apparatus thereof |
| CN114513612B (zh) * | 2021-12-20 | 2022-12-20 | 华邮数字文化技术研究院(厦门)有限公司 | 一种基于机器学习的ar拍照图像补光方法和系统 |
| US12469207B2 (en) | 2022-05-10 | 2025-11-11 | Apple Inc. | Systems, methods, and graphical user interfaces for scanning and modeling environments |
| WO2024071776A1 (ko) * | 2022-09-26 | 2024-04-04 | 삼성전자 주식회사 | 증강 현실 객체 표시 방법 및 이를 지원하는 전자 장치 |
| US12067909B2 (en) * | 2022-12-16 | 2024-08-20 | Apple Inc. | Electronic devices with dynamic brightness ranges for passthrough display content |
| CN116993633B (zh) * | 2023-02-01 | 2025-11-14 | 南京栢拓视觉科技有限公司 | 虚拟现实成像系统中分析干涉彩虹问题来源的方法 |
| US12309492B2 (en) | 2023-03-08 | 2025-05-20 | Meta Platforms Technologies, Llc | Texture based auto exposure control algorithm |
| CN117560577B (zh) * | 2023-10-26 | 2025-07-11 | 神力视界(深圳)文化科技有限公司 | 虚实材质颜色对齐方法、装置、设备及存储介质 |
| TWI893502B (zh) * | 2023-10-31 | 2025-08-11 | 財團法人資訊工業策進會 | 混合實境頭戴式裝置以及景深校正系統及方法 |
| CN117354439B (zh) * | 2023-10-31 | 2024-10-29 | 神力视界(深圳)文化科技有限公司 | 光强处理方法、装置、电子设备和计算机存储介质 |
| JP2025186884A (ja) | 2024-06-12 | 2025-12-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム及びプログラム |
| CN119316576B (zh) * | 2024-12-11 | 2025-04-18 | 长江龙新媒体有限公司 | 一种虚拟场景实时色彩校正方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103973983A (zh) * | 2014-05-29 | 2014-08-06 | 成都品果科技有限公司 | 一种基于环境亮度检测的在拍照时智能调节照片亮度的方法 |
| TW201733352A (zh) * | 2015-12-04 | 2017-09-16 | Panasonic Ip Corp America | 圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置 |
| US20170270707A1 (en) * | 2016-03-15 | 2017-09-21 | Magic Leap, Inc. | Direct light compensation technique for augmented reality system |
| US20170301145A1 (en) * | 2016-04-19 | 2017-10-19 | Adobe Systems Incorporated | Image Compensation for an Occluding Direct-View Augmented Reality System |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4038976B2 (ja) * | 2000-09-26 | 2008-01-30 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体 |
| US20020044152A1 (en) | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
| US20070115484A1 (en) * | 2005-10-24 | 2007-05-24 | Peisen Huang | 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration |
| KR100914515B1 (ko) * | 2006-06-23 | 2009-09-02 | 주식회사 칼라짚미디어 | 색상 기반 이미지 코드의 색상 판별 방법 |
| CN101282416B (zh) * | 2008-01-29 | 2010-04-14 | 青岛海信电器股份有限公司 | 投影显示方法 |
| CN101527125B (zh) * | 2008-03-03 | 2013-02-06 | 奇美电子股份有限公司 | 影像显示装置及其影像数据补偿方法及装置 |
| JP5687881B2 (ja) | 2010-11-12 | 2015-03-25 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 |
| JP2015095147A (ja) * | 2013-11-13 | 2015-05-18 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| JP5937128B2 (ja) | 2014-03-17 | 2016-06-22 | 富士フイルム株式会社 | 拡張現実感提供システム、方法及びプログラム |
| DE102014220818A1 (de) * | 2014-10-14 | 2016-04-14 | Signum Bildtechnik GmbH | Vorrichtung und Verfahren zur Reduzierung der Blendwirkung |
| WO2016059781A1 (en) | 2014-10-15 | 2016-04-21 | Seiko Epson Corporation | Head-mounted display device, method of controlling head-mounted display device, and computer program |
| JP6488629B2 (ja) * | 2014-10-15 | 2019-03-27 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
| KR101740326B1 (ko) | 2015-03-23 | 2017-06-08 | 한국전자통신연구원 | 증강현실 기반 실감체험 장치 및 제공 방법 |
| AU2016349891B9 (en) * | 2015-11-04 | 2021-05-06 | Magic Leap, Inc. | Dynamic display calibration based on eye-tracking |
| JP2017191378A (ja) * | 2016-04-11 | 2017-10-19 | 富士通テン株式会社 | 拡張現実情報表示装置および拡張現実情報表示方法 |
| EP3631769A1 (en) * | 2017-05-31 | 2020-04-08 | PCMS Holdings, Inc. | Apparatus and methods for dynamic white point compensation to improve perceived color of synthetic content |
-
2018
- 2018-07-23 TW TW107125351A patent/TWI675583B/zh active
- 2018-08-14 CN CN201810923506.8A patent/CN110753216B/zh active Active
- 2018-11-08 US US16/183,743 patent/US11087443B2/en active Active
- 2018-12-26 JP JP2018243022A patent/JP6653369B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103973983A (zh) * | 2014-05-29 | 2014-08-06 | 成都品果科技有限公司 | 一种基于环境亮度检测的在拍照时智能调节照片亮度的方法 |
| TW201733352A (zh) * | 2015-12-04 | 2017-09-16 | Panasonic Ip Corp America | 圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置 |
| US20170270707A1 (en) * | 2016-03-15 | 2017-09-21 | Magic Leap, Inc. | Direct light compensation technique for augmented reality system |
| US20170301145A1 (en) * | 2016-04-19 | 2017-10-19 | Adobe Systems Incorporated | Image Compensation for an Occluding Direct-View Augmented Reality System |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI843315B (zh) * | 2022-12-05 | 2024-05-21 | 中華電信股份有限公司 | 在擴增實境中融合環景影像之方法及執行該方法之電腦程式產品 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200027201A1 (en) | 2020-01-23 |
| JP2020017252A (ja) | 2020-01-30 |
| CN110753216B (zh) | 2022-06-14 |
| TW202008780A (zh) | 2020-02-16 |
| CN110753216A (zh) | 2020-02-04 |
| JP6653369B2 (ja) | 2020-02-26 |
| US11087443B2 (en) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI675583B (zh) | 擴增實境系統及其色彩補償方法 | |
| KR102777120B1 (ko) | Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처 | |
| EP4165871B1 (en) | System for correcting rolling shutter artifacts | |
| TWI610571B (zh) | 顯示方法及其系統與電腦可讀取記錄媒體 | |
| US10754420B2 (en) | Method and device for displaying image based on virtual reality (VR) apparatus | |
| US10944957B2 (en) | Active stereo matching for depth applications | |
| TWI637288B (zh) | 用於眼球視線校正的影像處理方法及其系統 | |
| US11030732B2 (en) | Information processing device, information processing system, and image processing method for generating a sum picture by adding pixel values of multiple pictures | |
| CN114531912B (zh) | 风格化图像绘画 | |
| WO2018233217A1 (zh) | 图像处理方法、装置和增强现实设备 | |
| TWI745955B (zh) | 擴增實境系統與其錨定顯示方法 | |
| US20150304625A1 (en) | Image processing device, method, and recording medium | |
| CN113870213B (zh) | 图像显示方法、装置、存储介质以及电子设备 | |
| US20210400249A1 (en) | Systems and methods for temporal corrections for parallax reprojection | |
| CN118317069A (zh) | 多维渲染 | |
| TWI669703B (zh) | 適於多人觀看的資訊顯示方法及資訊顯示裝置 | |
| WO2022019976A1 (en) | Systems and methods for updating continuous image alignment of separate cameras | |
| JP2014102668A (ja) | 表示装置 | |
| US10726636B2 (en) | Systems and methods to adapt an interactive experience based on user height | |
| US20250322615A1 (en) | See-through display method and see-through display system | |
| CN117710445B (zh) | 一种应用于ar设备的目标定位方法、装置及电子设备 | |
| CN113703161B (zh) | 扩增实境系统与其锚定显示方法 | |
| CN121486553A (zh) | 控制传感装置的方法、装置、电子设备和存储介质 | |
| JP2019129469A (ja) | 画像処理装置 | |
| WO2025243410A1 (ja) | 半導体装置、方法、及びヘッドマウントディスプレイ |