TWI898464B

TWI898464B - 用於多個頭戴式顯示器的座標系對準的系統和方法

Info

Publication number: TWI898464B
Application number: TW113107853A
Authority: TW
Inventors: 陳映文; 曹志安
Original assignee: 宏達國際電子股份有限公司
Priority date: 2024-01-25
Filing date: 2024-03-05
Publication date: 2025-09-21
Also published as: CN120374709A; TW202530798A; US20250245852A1

Abstract

提供一種用於多個頭戴式顯示器的座標系對準的系統和方法。方法包含：通過第一頭戴式顯示器的第一攝影機捕獲第二頭戴式顯示器的第一圖像；通過第一頭戴式顯示器對第一圖像執行第一人臉檢測以獲得對應於第一座標系的第一定界框；通過第一頭戴式顯示器根據第一定界框的第一位置將對應於第一頭戴式顯示器的第一座標系與對應於第二頭戴式顯示器的第二座標系對準，以便更新第一座標系；以及通過第一頭戴式顯示器根據更新後的第一座標系顯示輸出圖像。

Description

用於多個頭戴式顯示器的座標系對準的系統和方法

本揭露涉及擴展實境(extended reality；XR)技術，且具體來說，涉及一種用於多頭戴式顯示器(head mounted displays；HMD)的座標系對準的系統和方法。

為了對多個HMD執行座標系對準，人們經常使用第三方物件作為參考物件。HMD可通過捕獲同一參考物件的圖像來執行座標系對準。然而，為了執行上文提到的方法，每一HMD需要預配置有參考物件的資訊。也就是說，不能自由改變參考物件的類型或位置。因此，傳統方法在一些情況下可能並不方便。

本發明是針對一種用於多個HMD的座標系對準的系統和方法。

本發明是針對一種用於多個頭戴式顯示器的座標系對準的系統。所述系統包含第一頭戴式顯示器和第二頭戴式顯示器。第一頭戴式顯示器包含第一攝影機，其中第一頭戴式顯示器配置成：通過第一攝影機捕獲第二頭戴式顯示器的第一圖像；對第一圖像執行第一人臉檢測以獲得對應於第一座標系的第一定界框；根據第一定界框的第一位置將對應於第一頭戴式顯示器的第一座標系與對應於第二頭戴式顯示器的第二座標系對準，以便更新第一座標系；以及根據更新後的第一座標系顯示輸出圖像。

在本發明的一個實施例中，第二頭戴式顯示器包含第二攝影機，其中第二頭戴式顯示器以通訊方式連接到第一頭戴式顯示器且配置成：通過第二攝影機捕獲第一頭戴式顯示器的第二圖像；對第二圖像執行第二人臉檢測以獲得對應於第二座標系的第二定界框；以及將資訊傳輸到第一頭戴式顯示器，其中資訊與第二定界框的第二位置相關聯。

在本發明的一個實施例中，第一頭戴式顯示器根據資訊將第一座標系與第二座標系對準。

在本發明的一個實施例中，資訊包含第二頭戴式顯示器的第二位置與第三位置之間的差異。

在本發明的一個實施例中，第一頭戴式顯示器進一步配置成：獲得第一定界框的座標；及根據座標、第一攝影機的內參矩陣的逆矩陣以及第一攝影機的外參矩陣的逆矩陣來計算第一位置。

在本發明的一個實施例中，第一頭戴式顯示器進一步配置成：通過第一攝影機捕獲多個圖像；及根據多個圖像執行同時定位與地圖構建演算法以獲得外參矩陣。

在本發明的一個實施例中，第一頭戴式顯示器進一步配置成：通過第一攝影機獲得第一頭戴式顯示器的深度資訊；及根據深度資訊計算第一位置。

在本發明的一個實施例中，第一頭戴式顯示器更包含距離感測器且第一頭戴式顯示器進一步配置成：通過距離感測器獲得第一頭戴式顯示器的深度資訊；及根據深度資訊計算第一位置。

本發明是針對一種用於多個頭戴式顯示器的座標系對準的方法，包含：通過第一頭戴式顯示器的第一攝影機捕獲第二頭戴式顯示器的第一圖像；通過第一頭戴式顯示器對第一圖像執行第一人臉檢測以獲得對應於第一座標系的第一定界框；通過第一頭戴式顯示器根據第一定界框的第一位置將對應於第一頭戴式顯示器的第一座標系與對應於第二頭戴式顯示器的第二座標系對準，以便更新第一座標系；以及通過第一頭戴式顯示器根據更新後的第一座標系顯示輸出圖像。

在本發明的一個實施例中，方法更包含：通過第二頭戴式顯示器的第二攝影機捕獲第一頭戴式顯示器的第二圖像，其中第二頭戴式顯示器以通訊方式連接到第一頭戴式顯示器；通過第二頭戴式顯示器對第二圖像執行第二人臉檢測以獲得對應於第二座標系的第二定界框；以及通過第二頭戴式顯示器將資訊傳輸到第一頭戴式顯示器，其中資訊與第二定界框的第二位置相關聯。

基於上述，本發明的系統提供一種僅通過彼此注視來對準多個HMD的座標系的方法。

為了使前述內容更易理解，如下詳細地描述附有圖式的數個實施例。

10:系統

30:圖像

31:人

32:定界框

100,200,300:頭戴式顯示器

110,210:處理器

120,220:儲存媒體

130,230:收發器

140,240:攝影機

150,250:距離感測器

160,260:顯示器

S201,S202,S203,S204,S205,S206,S401,S402,S403,S404: 步驟

包含附圖以提供對本揭露的進一步理解，且附圖併入在本說明書中且構成本說明書的一部分。圖式示出本揭露的例性實施例，且與描述一起用來解釋本揭露的原理。

圖1示出根據本發明的一個實施例的用於多個HMD的座標系對準的系統的示意圖。

圖2示出根據本發明的一個實施例的用於多個HMD的座標系對準的方法的流程圖。

圖3示出根據本發明的一個實施例的人臉檢測的示意圖。

圖4示出根據本發明的一個實施例的用於多個HMD的座標系對準的方法的流程圖。

圖1示出根据本发明的一个突施例的用於多个HMD的座標系對準的系統10的示意圖，其中系統10可突施於XR系統(例如，虛拟實境(virtual reality；VR)系統、增強實境(augmented reality；AR)系統或混合實境(mixed reality；MR)系統)中。系統10可包含含有HMD 100、HMD 200以及HMD 300的多個HMD。多個HMD中的每一個可具有相同或類似硬體或軟體且可執行相同或類似功能。多個HMD中的一個可為主機HMD，其他HMD可為訪客HMD。舉例來說，HMD 100可為主機HMD，且HMD 200或HMD 300可為訪客HMD。訪客HMD可將其自身的攝影機座標系與主機HMD的攝影機座標系對準。

HMD 100可包含處理器110、儲存媒體120、收發器130、攝影機140以及顯示器160。在一個實施例中，HMD 100可更包含距離感測器150。處理器110可為例如中央處理單元(central processing unit；CPU)或通用或專用的其它可程式化微控制單元(micro control unit；MCU)、微處理器、數位訊號處理器(digital signal processor；DSP)、可程式化控制器、專用積體電路(application specific integrated circuit；ASIC)、圖形處理單元(graphics processing unit；GPU)、算術邏輯單元(arithmetic logic unit；ALU)、複雜可程式化邏輯裝置(complex programmable logic device；CPLD)、現場可程式化閘陣列(field programmable gate array；FPGA)或其它類似裝置或上述裝置的組合。處理器110可耦合到儲存媒體120、收發器130、攝影機140、距離感測器150以及顯示器160。

儲存媒體120可為例如任何類型的固定或可移動隨機存取記憶體(random access memory；RAM)、唯讀記憶體(read-only memory；ROM)、快閃記憶體、硬碟(hard disk drive；HDD)、固態硬碟(solid state drive；SSD)或類似元件，或其組合，其配置成記錄可由處理器110執行的多個模組或各種應用。

收發器130可配置成傳輸或接收有線或無線訊號。收發器130還可執行如低噪聲放大、阻抗匹配、頻率混合、上變頻或下變頻、濾波、放大等的操作。HMD 100可經由收發器130與HMD 200或HMD 300通訊。

攝影機140可為用於捕獲圖像的攝影裝置。攝影機140可包含圖像感測器，如互補金屬氧化物半導體(complementary metal oxide semiconductor；CMOS)感測器或電荷耦合裝置(charge coupled device；CCD)感測器。

距離感測器150可通過捕獲物件的立體圖像或通過檢測(例如，通過光學訊號或無線訊號)物件的飛行時間(time of flight；ToF)來獲得物件的深度資訊。

顯示器160可在佩戴HMD 100的人的視網膜上形成虛擬圖像。

HMD 200可包含處理器210、儲存媒體220、收發器230、攝影機240以及顯示器260。在一個實施例中，HMD 200可更包含距離感測器250。處理器210可為例如CPU或通用或專用的其它可程式化MCU、微處理器、DSP、可程式化控制器、ASIC、GPU、ALU、CPLD、FPGA或其它類似裝置或上述裝置的組合。處理器210可耦合到儲存媒體220、收發器230、攝影機240、距離感測器250以及顯示器260。

儲存媒體220可為例如任何類型的固定或可移動RAM、 ROM、快閃儲存器、HDD、SSD或類似元件或其組合，其配置成記錄可由處理器210執行的多個模組或各種應用。

收發器230可配置成傳輸或接收有線或無線訊號。收發器230還可執行如低噪聲放大、阻抗匹配、頻率混合、上變頻或下變頻、濾波、放大等的操作。HMD 200可經由收發器230與HMD 100或HMD 300通訊。

攝影機240可為用於捕獲圖像的攝影裝置。攝影機240可包含圖像感測器，如CMOS感測器或CCD感測器。

距離感測器250可通過捕獲物件的立體圖像或通過檢測(例如，通過光學訊號或無線訊號)物件的飛行時間來獲得物件的深度資訊。

顯示器260可在佩戴HMD 100的人的視網膜上形成虛擬圖像。

圖2示出根據本發明的一個實施例的用於多個HMD的座標系對準的方法的流程圖，其中方法可由圖1中所繪示的系統10實施。

在步驟S201中，主機HMD(即，HMD 100)可檢測一或多個未對準訪客HMD(即，HMD 200或HMD 300)。在一個實施例中，HMD 100可通過經由收發器130與HMD 200通訊來檢測HMD 200(或HMD 300)。

在步驟S202中，主機HMD(即，HMD 100)可判斷未對準訪客HMD的數目是否大於0。若未對準訪客HMD的數目大於 0，則接著進行步驟S203。若未對準訪客HMD的數目等於0，則停止方法的執行過程。

在步驟S203中，系統10可通知訪客HMD(即，HMD 200)哪個HMD為主機HMD(即，HMD 100)。在一個實施例中，主機HMD或訪客HMD的身份可預儲存在HMD 100的儲存媒體120或HMD 200的儲存媒體220中。在一個實施例中，主機HMD或訪客HMD的身份可根據用戶輸入的命令來判定。舉例來說，HMD(例如，HMD 100、HMD 200或HMD 300)可經由HMD的收發器與輸入裝置(例如，鍵盤、觸摸屏、攝影機或由HMD顯示的虛擬場景中的虛擬鍵盤)通訊。用戶可操控輸入裝置以將命令傳輸到HMD。

在步驟S204中，HMD 200(或HMD 300)可引導HMD 200的用戶以使其目光指向佩戴HMD 100的人，使得HMD 200可捕獲佩戴HMD 100的人的圖像。舉例來說，HMD 200可通過顯示器260向用戶展示文本消息以使用戶的目光指向佩戴HMD 100的人。

在步驟S205中，HMD(即，HMD 100、HMD 200或HMD 300)可估計彼此的姿態。具體來說，HMD 200可通過攝影機240捕獲佩戴HMD 100的人的圖像，且可對圖像執行人臉檢測以獲得對應於HMD 200的座標系的定界框。圖3示出根據本發明的一個實施例的人臉檢測的示意圖。HMD 200可捕獲圖像30，其中圖像30可包含HMD 100和佩戴HMD 100的人31。HMD 200可對圖像30執行人臉檢測以獲得人31的人臉的定界框32，其中定界框32可對應於HMD 200(或攝影機240)的座標系(例如，世界座標系、攝影機座標系或像素座標系)。

在一個實施例中，HMD 200可通過攝影機240或距離感測器250獲得定界框32的深度資訊。之後，HMD 200可根據深度資訊和定界框32計算定界框32的位置，如等式(1)中所展示，其中[x _w y _w z _w 1]為HMD 100在世界座標系中的3D姿態或位置(或定界框32的座標)，z _c為HMD 100(或定界框32)的深度資訊，I ^-1為用於將定界框32的座標從HMD 200的攝影機座標系轉換為世界座標系的外參矩陣，K ^-1為用於將定界框32的座標從像素座標系轉換為HMD 200的攝影機座標系的內參矩陣，R _I為旋轉矩陣，T _I為平移矩陣，且[u v]為HMD 100在像素座標系中的2D姿態或位置(或定界框32的座標)。在一個實施例中，內參矩陣K或外參矩陣I可預配置到HMD 200或預儲存在儲存媒體220中。在一個實施例中，HMD 200可通過攝影機240捕獲多個圖像且可根據多個圖像執行同時定位與地圖構建(simultaneous localization and mapping；SLAM)演算法以獲得外參矩陣I。

另一方面，HMD 100可通過攝影機140捕獲佩戴HMD 200的人的圖像，且可對圖像執行人臉檢測以獲得對應於HMD 100的座標系的定界框。HMD 100還可通過攝影機140或距離感測器 150獲得定界框的深度資訊。HMD 100可根據定界框的深度資訊計算定界框在HMD 100的座標系中的位置，類似於等式(1)所描述的方式。

在步驟S206中，訪客HMD(即，HMD 200)可根據由訪客HMD估計的主機HMD的3D姿態和從主機HMD接收到的資訊將訪客HMD的座標系與主機HMD(即，HMD 100)的座標系對準，以便更新訪客HMD的座標系。HMD 200可根據HMD 200的更新後的座標系經由顯示器260顯示輸出圖像(即，HMD 200產生的渲染圖像)。

具體來說，HMD 100可將資訊傳輸到HMD 200，其中資訊可包含由HMD 100估計的HMD 200的位置與HMD 100的位置之間的差異。在HMD 200自HMD 100接收資訊之後，HMD 200可根據由HMD 200估計的HMD 100的位置、由HMD 200估計的HMD 200的位置以及從HMD 100接收到的資訊將HMD 200的座標系與HMD 100的座標系對準，如等式(2)到等式(7)中所展示，其中P _h(g)為由HMD 100估計的HMD 200的位置(即，HMD 200的位置對應於HMD 100的世界座標系)，P _h(h)為由HMD 100估計的HMD 100的位置(即，HMD 100的位置對應於HMD 100的世界座標系)，P _g(g)為由HMD 200估計的HMD 200的位置(即，HMD 200的位置對應於HMD 200的座標系)，P _g(h)(即，如等式(1)中所展示的[x _w y _w z _w 1])為由HMD 200估計的HMD 100的位置(即，HMD 100的位置對應於HMD 200的世界座標系)，T為平移矩陣且R為旋轉矩陣。HMD 200可根據如等式(6)到等式(7)中所展示的平移矩陣T和旋轉矩陣R將HMD 200的座標系與HMD 100的座標系對準，以便更新HMD 200的座標系。

T=P _h(g')-P _g(g)...(6)

圖4示出根據本發明的一個實施例的用於多個HMD的座標系對準的方法的流程圖，其中方法可由圖1中所繪示的系統10實施。在步驟S401中，通過第一頭戴式顯示器的第一攝影機捕獲第二頭戴式顯示器的第一圖像。在步驟S402中，通過第一頭戴式顯示器對第一圖像執行第一人臉檢測以獲得對應於第一座標系的第一定界框。在步驟S403中，通過第一頭戴式顯示器根據第一定界框的第一位置將對應於第一頭戴式顯示器的第一座標系與對應於第二頭戴式顯示器的第二座標系對準，以便更新第一座標系。在步驟S404中，通過第一頭戴式顯示器根據更新後的第一座標系顯示輸出圖像。

綜上所述，本發明的系統提供一種僅通過彼此注視來對準多個HMD的座標系的方法。訪客HMD可執行人臉檢測以判定主機HMD的位置，且訪客HMD可基於所述位置將其自身的攝影機座標系與主機HMD的攝影機座標系對準。當實施本發明時，對於座標系對準，無需現場設置第三方參考物件。

對於所屬領域的技術人員將顯而易見的是，可在不脫離本揭露的範圍或精神的情況下對所揭露實施例作出各種修改和變化。鑒於前述內容，希望本揭露涵蓋修改和變化，前提是所述修改和變化屬於所附申請專利範圍和其等效物的範圍內。