TWI874171B

TWI874171B - 手追蹤裝置、系統以及方法

Info

Publication number: TWI874171B
Application number: TW113110709A
Authority: TW
Inventors: 吳健民; 魏敏家
Original assignee: 宏達國際電子股份有限公司
Priority date: 2023-06-28
Filing date: 2024-03-22
Publication date: 2025-02-21
Also published as: EP4485144A1; TW202501235A; US12436602B2; CN119225524A; US20250004541A1

Abstract

本揭露提供一種手追蹤裝置。手追蹤裝置包含儲存電路和處理器。儲存電路儲存程式碼。處理器耦接到儲存電路，且存取程式碼。處理器被配置成獲得在一時間段內的手的手運動曲線。處理器被配置成獲得在所述時間段內的物體的物體運動曲線。處理器被配置成基於手運動曲線和物體運動曲線，而判定手是否握住物體。

Description

手追蹤裝置、系統以及方法

本發明是有關於一種手追蹤裝置，且特別是有關於一種手追蹤裝置、系統以及方法。

為了給使用者帶來沉浸式體驗，不斷地開發與擴展現實（extended reality；XR）相關的技術，例如增強現實（augmented reality；AR）、虛擬現實（virtual reality；VR）以及混合現實（mixed reality；MR）。AR技術允許使用者將虛擬元素帶到現實世界。VR技術允許使用者進入整個新虛擬世界以體驗不同的生活。MR技術合並現實世界與虛擬世界。此外，為了給使用者帶來完全沉浸式體驗，可通過一個或多個裝置提供視覺內容、音頻內容或其它感觀的內容。

本發明提供一種手追蹤裝置、一種手追蹤系統以及一種手追蹤方法，以便提高在手握住物體時手追蹤的準確度。

在本揭露中，提供一種手追蹤裝置。手追蹤裝置包含儲存電路和處理器。儲存電路儲存程式碼。處理器耦接到儲存電路且存取程式碼。處理器被配置成獲得在一時間段內的手的手運動曲線。處理器被配置成獲得在所述時間段內的物體的物體運動曲線。處理器被配置成基於手運動曲線和物體運動曲線，而判定手是否握住物體。

在本揭露中，提供一種手追蹤系統。手追蹤系統包含相機、追蹤器、儲存電路以及處理器。相機被配置成提供影像資料。追蹤器被配置成提供追蹤器資料。追蹤器適於放置在物體上。儲存電路儲存程式碼。處理器耦接到儲存電路且存取程式碼，以執行以下操作：從相機接收影像資料；基於影像資料，而判定在一時間段內的手的手運動曲線；從追蹤器接收追蹤器資料；基於追蹤器資料，而判定在所述時間段內的物體的物體運動曲線；以及基於手運動曲線和物體運動曲線，而判定手是否握住物體。

在本揭露中，提供一種手追蹤方法。手追蹤方法包含：獲得在一時間段內的手的手運動曲線；獲得在所述時間段內的物體的物體運動曲線；以及基於手運動曲線和物體運動曲線，而判定手是否握住物體。

基於上文，根據手追蹤裝置、手追蹤系統以及手追蹤方法，提高在手握住物體時手追蹤的準確度。

現在將詳細地參考本揭露的示範性實施例，在隨附圖式中示出所述實施例的實例。只要可能，在圖式和描述中使用相同附圖標號，來指代相同或相似組件。

在本揭露的整個說明書和所附申請專利範圍中，特定術語用於指代特定組件。本領域的技術人員應理解，電子裝置製造商可用不同名稱，來指代相同組件。本文並不意圖區分具有相同功能但具有不同名稱的那些組件。在以下描述和權利請求中，例如“包括”和“包含”的詞語為開放式術語，且應解釋為“包含但不限於……”。

在本申請的整個說明書（包含所附申請專利範圍）中使用的術語“耦接（或連接）”可指代任何直接或間接連接構件。舉例來說，如果文本描述第一裝置耦接（或連接）到第二裝置，那麼應解釋為第一裝置可直接連接到第二裝置，或第一裝置可通過其它裝置或某些連接構件間接連接以連接到第二裝置。在本申請的整個說明書（包含所附申請專利範圍）中提及的術語“第一”、“第二”以及類似術語僅用於命名離散元件或用於在不同實施例或範圍當中進行區分。因此，術語不應視為限制元件數量的上限或下限且不應用於限制元件的布置順序。另外，在可能的情況下，在圖式和實施例中使用相同附圖標號的元件/組件/步驟，表示相同或類似部分。在不同實施例中使用相同附圖標號或使用相同術語，可相互參考元件/組件/步驟的相關描述。

應注意，在以下實施例中，在不脫離本揭露的精神的情況下，可替換、重組以及混合數個不同實施例的技術特徵以完成其它實施例。只要每一實施例的特徵並不違反本揭露的精神或彼此衝突，那麼所述特徵可任意地混合且一起使用。

為了給使用者帶來沉浸式體驗，不斷地開發與擴展現實（XR）相關的技術，例如增強現實（AR）、虛擬現實（VR）以及混合現實（MR）。AR技術允許使用者將虛擬元素帶到現實世界。VR技術允許使用者進入整個新虛擬世界以體驗不同的生活。MR技術合並現實世界與虛擬世界。此外，為了給使用者帶來完全沉浸式體驗，可通過一個或多個裝置提供視覺內容、音頻內容或其它感觀的內容。

手追蹤常常用於增加沉浸式體驗。舉例來說，手追蹤可能不需要控制器，允許使用者以更自然和直觀的方式與虛擬世界互動，就像他們處於現實世界中一樣。然而，當用手抓取物體時涉及手追蹤，可能會出現一些挑戰。舉例來說，相機可能會將陰影、反射或甚至物體的部分誤解為使用者的身體，從而觸發意外的互動或導致虛擬環境出現故障。這可能會對使用者流程造成混亂和擾亂。此外，大部分VR頭戴裝置的相機視野（field of view；FOV）有限，從而使得使用者周圍的某些區域對系統不可見。這可能導致不方便的情況，像是使用者的手消失在盲點中或物體突然憑空出現。另外，世界上存在大量不同類型的物體，且其外觀差異很大。這使得使用影像來準確地識別物體的類型變得困難。因此，在涉及物體時以更自然和直觀的方式來進行手追蹤是本領域的技術人員的追求。

圖1A為根據本揭露的實施例的手追蹤裝置的示意圖。參考圖1A，繪示了一種手追蹤裝置100A。在不同實施例中，手追蹤裝置100A可實施為各種智能裝置和/或電腦裝置，但不限於此。

在圖1A中，手追蹤裝置100A包含儲存電路SC和處理器PCS。儲存電路SC為例如任何類型的固定或可拆卸隨機存取記憶體（random access memory；RAM）、唯獨記憶體（read-only memory；ROM）、快閃記憶體、硬碟、其它類似裝置，或這些裝置的組合，且可用於記錄多個程式碼或模組。

處理器PCS耦接到儲存電路SC，且可為通用處理器、專用處理器、常規處理器、數位訊號處理器、多個微處理器、與數位訊號處理器核心組合的一個或多個微處理器、控制器、微控制器、專用積體電路（application specific integrated circuit；ASIC）、現場可程式化門陣列（field programmable gate array；FPGA）、任何其它種類的積體電路、狀態機、基於高級RISC機器（advanced RISC machine；ARM）的處理器等。

在本發明的實施例中，處理器PCS可存取儲存電路SC中所記錄的模組和程式碼，來實施本揭露所提出的手追蹤方法，且在下文描述其中的細節。

圖1B為根據本揭露的實施例的手追蹤系統的示意圖。參考圖1B，手追蹤系統100B可包含相機CMR、追蹤器TRK、儲存電路SC以及處理器PCS。在一個實施例中，相機CMR、儲存電路SC和/或處理器PCS可集成在單一電子裝置（例如，手追蹤裝置100A）中或彼此分離，但不限於此。在一個實施例中，相機CMR可包含在頭戴式顯示器（head-mounted display；HMD）裝置中，且追蹤器TRK可附接到物體或包含在物體中。在另一實施例中，相機CMR可放置在除使用者的頭部以外的某處，以捕獲使用者的影像。然而，本揭露不限於此。另外，為了便於解釋，在以下實施例中，儘管繪示了HMD裝置由使用者佩戴，但值得注意的是，使用者不一定要配帶著HMD裝置。

在一個實施例中，相機CMR可包含例如互補金屬氧化物半導體（complementary metal oxide semiconductor；CMOS）相機或電荷耦合裝置（charge coupled device；CCD）相機。在一個實施例中，相機110可安置在HMD裝置、可佩戴眼鏡（例如，AR/VR護目鏡）、電子裝置、其它類似裝置或這些裝置的組合上。然而，本揭露不限於此。

在一個實施例中，HMD裝置可被配置成顯示AR、VR、MR或XR的內容。HMD裝置可包含例如頭戴裝置、可佩戴眼鏡（例如，AR/VR護目鏡）、適於AR、VR、MR、XR或其它現實相關技術的其它類似裝置，或這些裝置的組合。然而，本揭露不限於此。

在一個實施例中，追蹤器TRK可包含例如陀螺儀、加速計、慣性測量單元（inertial measurement unit；IMU）感測器、其它類似裝置，或這些裝置的組合。此外，追蹤器TRK可與物體OBJ相關聯以提供物體OBJ的資訊。舉例來說，追蹤器TRK可被配置成提供與三條軸線相關的三個線性加速度值（例如，位置）和/或三個角速度（例如，旋轉）。然而，本揭露不限於此。

在一個實施例中，手追蹤系統100B中的每一組件可包含通訊電路，且通訊電路可包含例如有線網路模組、無線網路模組藍牙模組、紅外模組、射頻識別（radio frequency identification；RFID）模組、紫蜂（Zigbee）網路模組、或近場通訊（near field communication；NFC）網路模組，但本揭露不限於此。也就是說，手追蹤系統100B中的每一組件可通過有線通訊或無線通訊彼此通訊。

在一個實施例中，處理器PCS可將資料傳輸到相機CMR、追蹤器TRK以及儲存電路SC且從相機CMR、追蹤器TRK以及儲存電路SC接收資料。此外，處理器PCS可存取儲存電路SC中所記錄的程式碼，來實施本揭露所提出的手追蹤方法，且在下文描述其中的細節。

圖2為根據本揭露的實施例的手追蹤方法的示意性流程圖。參考圖1A、圖1B以及圖2，手追蹤方法200可由圖1A中的手追蹤裝置100A或圖1B中的手追蹤系統100B執行，且將下文結合圖1A或圖1B中所示的組件描述圖2中的每一步驟的細節。

首先，在步驟S210中，處理器PCS可被配置成獲得在一時間段內的手的手運動曲線。接著，在步驟S220中，處理器PCS可被配置成獲得在所述時間段內的物體的物體運動曲線。然後，在步驟S230中，處理器PCS可被配置成基於手運動曲線和物體運動曲線，而判定手是否握住物體。

如此一來，基於手運動曲線和物體運動曲線，可判定手是否握住物體。也就是說，可以基於手運動曲線和物體運動曲線，而進行手握演算法。因此，當涉及物體時，可仍然以自然和直觀的方式進行手的手追蹤，進而給使用者帶來完全沉浸式的體驗。

另外，手追蹤方法200的實施細節可參考以下描述以獲得足夠的教示、建議和實施實施例，而本文中不冗餘地描述細節。

圖3A為根據本揭露的實施例的手追蹤情境的示意圖。參考圖3A，手追蹤情境300A可包含手H、物體OBJ以及追蹤器TRK。在手追蹤情境300A中，手H可握住物體OBJ，且追蹤器TRK可放置在（例如，包含在物體OBJ中或附接到物體OBJ）物體OBJ上。

在一個實施例中，在一時間段內（從時間t1到時間t2），使用者可移動手H。如圖3A中所示，軌跡T_H可表示手H在所述時間段內的移動軌跡。此外，由於物體OBJ由手H握住，因此軌跡T_O可表示物體OBJ在所述時間段內的移動軌跡，且軌跡T_O可與軌跡T_H類似。此外，由於追蹤器TRK放置在物體OBJ上，軌跡T_T可表示追蹤器TRK在所述時間段內的移動軌跡，且軌跡T_T可與軌跡T_O類似。在一個實施例中，軌跡T_H也可稱為手運動曲線，且T_O也可稱為物體運動曲線。

值得一提的是，當手H握住物體OBJ時，無論手H如何移動，物體OBJ也可類似地移動。此外，由於追蹤器TRK放置在物體OBJ上，因此追蹤器TRK的追蹤器資料不僅可用於表示追蹤器TRK的移動，而且可用於表示OBJ的移動。因此，通過從追蹤器TRK獲得追蹤器資料，可判定軌跡T_T。同時，基於追蹤器TRK放置在物體OBJ上的位置，軌跡T_T可轉換為軌跡T_O。此外，通過比較軌跡T_O與軌跡T_H，可獲得這兩個軌跡之間的相似度。在一個實施例中，可以基於曲線擬合演算法，而判定相似度，但不限於此。也就是說，處理器PCS可被配置成判定軌跡T_H與軌跡T_O之間的相似度。而且，響應於相似度高於預定閾值，處理器PCS可被配置成判定手H握住物體OBJ。另一方面，響應於相似度不高於預定閾值，處理器PCS可被配置成判定手H未握住物體OBJ。因此，當涉及物體OBJ時，可仍然以自然和直觀的方式進行手H的手追蹤，進而給使用者帶來完全沉浸式的體驗。

另外，在追蹤使用者的手H（例如，左手）的同時，可同時追蹤使用者的另一手（例如，右手）。此外，使用者可使用手H和另一手中的一者握住物體OBJ。然而，由於手H和另一手可能看起來類似，因此手追蹤演算法可能無法混淆或無法區分手H和另一手。也就是說，僅基於手追蹤演算法自身，手追蹤演算法有時可能會混淆哪個手握住物體OBJ。值得注意的是，無論物體OBJ由手H還是另一手握住，握住物體OBJ的手可具有與軌跡T_O類似的軌跡。因此，通過比較軌跡T_O、軌跡T_H以及另一手的軌跡，可判定哪個手握住物體OBJ。換句話說，處理器PCS可被配置成獲得在所述時間段內的另一手的另一手運動曲線。此外，處理器PCS可被配置成基於手運動曲線、另一手運動曲線以及物體運動曲線，而判定手或另一手是否握住物體OBJ。因此，可易於區分手H和另一手，進而增加使用者體驗。

在一個實施例中，可以基於從相機CMR提供的影像資料，而產生軌跡T_H，且可以基於從追蹤器TRK提供的追蹤器資料，而產生軌跡T_O。舉例來說，影像資料可包含使用者的手H和/或另一手的影像。另外，追蹤器資料可包含與物體OBJ的三條軸線（例如，X軸、Y軸、Z軸）相關的加速度值和/或角速度。然而，本揭露不限於此。也就是說，處理器PCS可被配置成從相機CMR接收影像資料。此外，處理器PCS可被配置成基於影像資料，而判定手運動曲線。此外，處理器PCS可被配置成從追蹤器TRK接收追蹤器資料。追蹤器TRK可適於放置在物體OBJ上或附接到物體OBJ。舉例來說，基於追蹤器TRK的大小或重量，可使用螺栓、螺釘、條帶、膠帶等將追蹤器TRK安裝在物體OBJ上。而且，處理器PCS可被配置成基於追蹤器資料，而判定物體運動曲線。因此，當涉及物體OBJ時，可仍然以自然和直觀的方式進行手H的手追蹤，進而給使用者帶來完全沉浸式的體驗。

圖3B為根據本揭露的實施例的手追蹤情境的示意圖。參考圖3B，手追蹤情境300B可包含情境301和情境302。值得注意的是，為清楚起見，已簡化圖3B以更好地理解本揭露。舉例來說，儘管未繪示，但追蹤器TRK可放置在物體OBJ上。然而，本揭露不限於此。

首先參考情境301。在一個實施例中，手H可以不握住物體OBJ。換句話說，手H的握持狀態可以為不握住任何東西。基於握持狀態，可在虛擬世界中顯示使用者相對應的化身的虛擬手和虛擬物體。也就是說，處理器PCS可被配置成：在虛擬世界中，顯示虛擬手和虛擬物體。此外，處理器PCS可被配置成：響應於判定手H未握住物體OBJ，顯示虛擬手未握住虛擬物體。

現在參考情境302。在一個實施例中，手H可握住物體OBJ。換句話說，手H的握持狀態可以為握住物體OBJ。基於握持狀態，可在虛擬世界中顯示使用者相對應的化身的虛擬手和虛擬物體。也就是說，處理器PCS可被配置成：在虛擬世界中，顯示虛擬手和虛擬物體。此外，處理器PCS可被配置成：響應於判定手H正握住物體OBJ，顯示虛擬手正握住虛擬物體。

值得一提的是，可以基於圖3A中所描述的軌跡T_H和軌跡T_O，而判定手H的握持狀態。因此，可以正確地追蹤手H和物體OBJ，且可真實地在虛擬世界中顯示虛擬手和虛擬物體，進而給使用者帶來完全沉浸式的體驗。

在一個實施例中，可以基於軌跡T_H，而進行手H的手追蹤，且可以基於軌跡T_O，而進行物體OBJ的物體追蹤。此外，基於手追蹤的手追蹤結果和物體追蹤的物體追蹤結果，可以在虛擬世界中顯示使用者相對應的化身的虛擬手和虛擬物體。也就是說，處理器PCS可被配置成在虛擬世界中顯示虛擬手和虛擬物體。此外，處理器PCS可被配置成基於手運動曲線（利用手追蹤演算法），而移動虛擬手。此外，處理器PCS可被配置成基於物體運動曲線（利用物體追蹤演算法），而移動虛擬物體。

圖4A為根據本揭露的實施例的手追蹤情境的示意圖。參考圖4A，手追蹤情境400A可包含使用者U、物體O1、物體O2以及物體O3。使用者U可在頭部佩戴HMD裝置HDD以及在腰部周圍佩戴腰帶BLT。物體O1可由使用者U的手H握住，且物體O2和物體O3可懸挂在腰帶BLT上。在一個實施例中，物體O1也可稱為物體OBJ，物體O2或物體O3可稱為額外物體。然而，本揭露不限於此。在一個實施例中，物體O1、物體O2或物體O3也可稱為物體OBJ。值得注意的是，為清楚起見，已簡化圖4A以更好地理解本揭露。舉例來說，儘管未繪示，但額外追蹤器可放置在物體O2和物體O3中的每一者上。然而，本揭露不限於此。

在一個實施例中，在一時間段內（從時間t1到時間t2），使用者U可從一個位置移動到另一位置，且軌跡T_U可表示在所述時間段內的使用者的移動軌跡。此外，軌跡T_O2和軌跡T_O3可分別表示物體O2和物體O3在所述時間段內的移動軌跡。軌跡T_O2或軌跡T_O3也可稱為額外物體運動曲線。由於物體O2和物體O3懸挂在腰帶BLT上，因此物體O2的軌跡T_O2和軌跡T_O3可以與軌跡T_U類似。值得一提的是，在所述時間段內，使用者U可移動物體O1（例如，抬高物體O1），且軌跡T_O1可表示物體O1在所述時間段內的移動軌跡。也就是說，軌跡T_O1可以不與軌跡T_U、軌跡O2和/或軌跡O3類似。換句話說，處理器PCS可被配置成獲得在所述時間段內的使用者U的使用者運動曲線。此外，處理器PCS可被配置成獲得在所述時間段內的額外物體的額外物體運動曲線。額外物體放置在使用者上。此外，處理器PCS可被配置成：響應於使用者正在行走，使用者運動曲線與額外物體運動曲線類似，並且使用者運動曲線不與物體運動曲線類似，判定物體O1由手H握住且額外物體未由手H握住。因此，可以清楚地識別哪個物體由使用者U握住，進而增加使用者體驗。

在一個實施例中，當追蹤器TRK放置在物體O1、物體O2或物體O3上時，可以進行追蹤器TRK與物體O1、物體O2或物體O3之間的配對操作。通過進行配對操作，可以獲得物體O1、物體O2或物體O3的細節且將所述細節儲存在追蹤器TRK或儲存電路SC中。資訊可儲存為配對資訊，其可包含物體O1、物體O2或物體O3（也稱為物體OBJ）的物體類型、物體3D模型、形狀、大小、顏色、功能等。也就是說，處理器PCS可被配置成將追蹤器TRK與物體OBJ配對。此外，處理器PCS可被配置成：響應於追蹤器TRK與物體OBJ配對，產生配對資訊。配對資訊可包含物體OBJ的物體類型。此外，處理器PCS可被配置成基於配對資訊，而判定物體OBJ的物體類型。因此，基於配對資訊，可獲得物體OBJ的物體類型，且可在虛擬世界中正確地顯示對應於所述物體類型的虛擬物體。舉例來說，當物體類型判定為棒球時，可在虛擬世界中顯示虛擬棒球棒。此外，物體OBJ的物體3D模型可用於允許虛擬棒球棒如實地呈現物體OBJ的形狀和大小。然而，本揭露不限於此。如此一來，可以增加使用者體驗。

圖4B為根據本揭露的實施例的手追蹤情境的示意圖。參考圖4B，手追蹤情境400B可包含情境401和情境402。值得注意的是，為清楚起見，已簡化圖4B以更好地理解本揭露。然而，本揭露不限於此。

首先參考情境401。在一個實施例中，手H可握住物體O2而不是物體O1。類似於物體O1，追蹤器TRK可放置在物體O2上。放置在物體O2上的追蹤器TRK也可稱為額外追蹤器。在某些情況下，使用者U可能需要抓取物體O1、物體O2和物體O3中的一者。舉例來說，物體O1可為棍子（例如，棒球棒），物體O2可為手電筒，且物體O3可為手槍。在警察培訓課程期間，使用者U可能需要根據指令，抓取正確的物體。舉例來說，使用者U可能需要抓取物體O1。然而，使用者U可能會改為抓取物體O2。也就是說，使用者U可能會進行與指令不同的錯誤動作。

現在參考情境402。當使用者U未能正確地遵循指令時，可產生提示消息MSG，並且提供給使用者U。在一個實施例中，提示消息MSG可為視覺提示或音頻提示。然而，本揭露不限於此。在一個實施例中，提示消息MSG可為：“你握著錯誤物體。請將物體O2放回去，並握住物體O1。”。在另一個實施例中，提示消息MSG可為：“你將手電筒放置在了錯誤位置。請將手電筒移動到你的頭部側，並將光瞄準前方。”。也就是說，提示消息MSG可告知使用者U某事為錯誤的，且指導使用者如何糾正它。換句話說，處理器PCS可被配置成：響應於判定手H握住物體OBJ，向使用者U提供提示消息MSG。因此，使用者U可遵循提示消息MSG，並在培訓或比賽期間表現得更好，進而增加使用者體驗。

圖5為根據本揭露的實施例的手追蹤情境的示意圖。參考圖5，手追蹤情境500可包含使用者U和物體OBJ。使用者U可在頭部上佩戴HMD裝置HDD。物體OBJ可以由使用者U的手H握住，且追蹤器TRK可放置在物體OBJ上。

在一個實施例中，相機CMR可以包含在HMD裝置HDD中。當使用者U在頭部上佩戴HMD裝置HDD時，相機CMR的FOV可能會在使用者U的正前方。另一方面，相機CMR的盲區可能會在使用者U的後方。值得注意的是，當手H在FOV中可見時，可以基於相機CMR的影像資料，而進行手H的手追蹤。舉例來說，可以基於影像資料，而判定手H的軌跡T_H，且可以基於軌跡T_H，而進行手追蹤。然而，當手H從FOV消失時，可能無法基於影像資料，而進行手追蹤。

值得一提的是，由於物體OBJ放置在手H上，物體OBJ的軌跡T_O可能會與手H的軌跡T_H類似。也就是說，基於物體OBJ與手H之間的關係，物體OBJ的軌跡T_O可以直接用作手H的軌跡T_H，或物體OBJ的軌跡T_O可轉換為手H的軌跡T_H。換句話說，處理器PCS可被配置成：響應於手H處於相機CMR的FOV中，基於手運動曲線，而進行手H的手追蹤。此外，處理器PCS可被配置成：響應於手H並不在相機CMR的FOV中，基於物體運動曲線，而進行手H的手追蹤。因此，即使手H不在相機CMR的FOV中，仍然可以正確地進行手追蹤，進而增加使用者體驗。

圖6為根據本揭露的實施例的手追蹤情境的示意圖。參考圖6，手追蹤情境600可包含情境601和情境602。手追蹤情境601可包含手H和物體OBJ。使用者U可在腰部周圍佩戴腰帶BLT。物體OBJ可放置在BLT上，且追蹤器TRK可放置在物體OBJ上。

首先參考情境601。當使用者U移動手H靠近腰部以握住物體OBJ時，可能會觸發（啟用）手握演算法，以基於軌跡T_O和軌跡T_H，而判定手U是否握住物體OBJ。也就是說，僅在某一時間段內（例如，時間t1到時間t2），啟用手握演算法。舉例來說，處理器PCS可被配置成：響應於手H靠近物體OBJ，基於手運動曲線和物體運動曲線，而判定手H是否握住物體。在一個實施例中，術語“靠近”可定義為手H與物體OBJ之間的距離小於閾值，但不限於此。換句話說，可僅在某一時間段內，啟用手握演算法。因此，可以節省處理器PCS的計算能力，並且可以減少總體功率消耗。另外，如果手H正在遠離物體OBJ，那麼手H可能會不被檢測到握住物體OBJ，進而減少手握演算法的誤差且增加使用者體驗。

現在參考情境602。在使用者U將物體OBJ放回腰部之後，手H與物體OBJ之間的距離可能會隨著手H移開而逐漸增大。也就是說，手不再握住物體OBJ。換句話說，處理器PCS可被配置成：響應於手H不靠近物體OBJ，判定手H未握住物體OBJ。因此，可以準確且不斷地追蹤手H的實時狀態，這可以帶來更好的使用者體驗。

值得一提的是，在情境601和情境602中，感測器SNR可靠近物體OBJ放置。舉例來說，感測器SNR可放置在腰帶BLT上，但不限於此。在一個實施例中，物體OBJ可放置在腰帶BLT的物體固定區域中，且感測器SNR可放置在物體固定區域中。舉例來說，物體OBJ可為手槍，且物體固定區域為槍套。此外，感測器SNR可放置在槍套中，以檢測手槍是否在槍套中。在一個實施例中，感測器SNR可包含例如接近感測器、觸摸感測器、鎖存器、包含檢測機構的其它類似裝置，或這些裝置的組合。然而，本揭露不限於此。

也就是說，感測器SNR可提供感測器資料，且感測器資料可指示物體OBJ是否停留在物體固定區域中。換句話說，感測器資料還可指示物體OBJ是否正在靠近或遠離感測器SNR。值得注意的是，當物體OBJ不在物體固定區域中時，物體OBJ才可以被手H握住。換句話說，處理器PCS可被配置成從感測器SNR接收感測器資料。感測器SNR可能會靠近物體OBJ而放置。此外，處理器PCS可被配置成基於感測器資料，而判定物體OBJ是否正在遠離感測器SNR。此外，處理器PCS可被配置成：響應於物體OBJ正在遠離感測器SNR，基於手運動曲線和物體運動曲線，而判定手H是否握住物體OBJ。簡單地說，可僅在一時間段內（即，當檢測到物體OBJ從物體固定區域中移出時），啟用手握演算法。因此，可以節省處理器PCS的計算能力，並且可以減少總體功率消耗。另外，如果物體OBJ仍然停留在物體固定區域中，那麼手H可能會不被檢測到握住物體OBJ，進而減少手握演算法的誤差並增加使用者體驗。

總而言之，根據手追蹤裝置100A、手追蹤系統100B以及手追蹤方法200，基於手運動曲線和物體運動曲線，可以判定手是否握住物體。也就是說，可以基於手運動曲線和物體運動曲線，而進行手握演算法。因此，當涉及物體OBJ時，可仍然以自然和直觀的方式進行手H的手追蹤，進而給使用者帶來完全沉浸式的體驗。

對於本領域的技術人員將顯而易見的是，可在不脫離本揭露的範圍或精神的情況下對所揭露的實施例作出各種修改和變化。鑒於前述內容，希望本揭露涵蓋修改和變化，前提條件是所述修改和變化屬所附申請專利範圍和其等效物的範圍內。

100A:手追蹤裝置 100B:手追蹤系統 200:手追蹤方法 300A、300B、400A、400B、500、600:手追蹤情境 301、302、401、402、601、602:情境 BLT:腰帶 CMR:相機 H:手 HDD:HMD裝置 MSG:提示消息 O1、O2、O3、OBJ:物體 PCS:處理器 S210、S220、S230:步驟 SC:儲存電路 SNR:感測器 T_H、T_O、T_O1、T_O2、T_O3、T_T、T_U:軌跡 t1、t2:時間 TRK:追蹤器 U:使用者

圖1A為根據本揭露的實施例的手追蹤裝置的示意圖。圖1B為根據本揭露的實施例的手追蹤系統的示意圖。圖2為根據本揭露的實施例的手追蹤方法的示意性流程圖。圖3A為根據本揭露的實施例的手追蹤情境的示意圖。圖3B為根據本揭露的實施例的手追蹤情境的示意圖。圖4A為根據本揭露的實施例的手追蹤情境的示意圖。圖4B為根據本揭露的實施例的手追蹤情境的示意圖。圖5為根據本揭露的實施例的手追蹤情境的示意圖。圖6為根據本揭露的實施例的手追蹤情境的示意圖。

200:手追蹤方法 S210、S220、S230:步驟

Claims

一種手追蹤裝置，包括：儲存電路，儲存程式碼；以及處理器，耦接到所述儲存電路，且存取所述程式碼，以執行以下操作：獲得在一時間段內的手的手運動曲線；獲得在所述時間段內的物體的物體運動曲線；判定所述手運動曲線與所述物體運動曲線之間的相似度；以及基於所述相似度，而判定所述手是否握住所述物體。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：響應於所述相似度高於預定閾值，判定所述手握住所述物體。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：響應於所述相似度不高於預定閾值，判定所述手未握住所述物體。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：獲得在所述時間段內的另一手的另一手運動曲線；基於所述手運動曲線、所述另一手運動曲線以及所述物體運動曲線，而判定所述手或所述另一手是否握住所述物體。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：從相機接收影像資料；基於所述影像資料，而判定所述手運動曲線；從追蹤器接收追蹤器資料，其中所述追蹤器適於放置在所述物體上；以及基於所述追蹤器資料，而判定所述物體運動曲線。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：在虛擬世界中，顯示虛擬手和虛擬物體；響應於判定所述手握住所述物體，在所述虛擬世界中，顯示所述虛擬手握住所述虛擬物體。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：在虛擬世界中，顯示虛擬手和虛擬物體；基於所述手運動曲線，而移動所述虛擬手；以及基於所述物體運動曲線，而移動所述虛擬物體。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：將追蹤器與所述物體配對，其中所述追蹤器適於放置在所述物體上；響應於將所述追蹤器與所述物體配對，產生配對資訊，其中所述配對資訊包括所述物體的物體類型；以及基於所述配對資訊，而判定所述物體的所述物體類型。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：獲得在所述時間段內的使用者的使用者運動曲線；獲得在所述時間段內的額外物體的額外物體運動曲線，其中所述額外物體放置在所述使用者上；以及響應於所述使用者正在行走，所述使用者運動曲線與所述額外物體運動曲線類似，且所述使用者運動曲線不與所述物體運動曲線類似，判定所述物體由所述手握住，且所述額外物體不由所述手握住。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：響應於判定所述手握住所述物體，向使用者提供提示消息。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：響應於所述手處於相機的視野中，基於所述手運動曲線，而進行所述手的手追蹤；以及響應於所述手不在所述相機的所述視野中，基於所述物體運動曲線，而進行所述手的所述手追蹤。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：響應於所述手靠近所述物體，基於所述手運動曲線和所述物體運動曲線，而判定所述手是否握住所述物體。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：響應於所述手不靠近所述物體，判定所述手未握住所述物體。
如請求項1所述的手追蹤裝置，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：從感測器接收感測器資料，其中所述感測器靠近所述物體放置；基於所述感測器資料，而判定所述物體是否正在遠離所述感測器；以及響應於所述物體正在遠離所述感測器，基於所述手運動曲線和所述物體運動曲線，而判定所述手是否握住所述物體。
一種手追蹤系統，包括：相機，被配置成提供影像資料；追蹤器，被配置成提供追蹤器資料，其中所述追蹤器適於放置在物體上；儲存電路，儲存程式碼；以及處理器，耦接到所述儲存電路且存取所述程式碼，以執行以下操作：從所述相機接收所述影像資料；基於所述影像資料，而判定在一時間段內的手的手運動曲線；從所述追蹤器接收所述追蹤器資料；基於所述追蹤器資料，而判定在所述時間段內的所述物體的物體運動曲線；判定所述手運動曲線與所述物體運動曲線之間的相似度；以及基於所述相似度，而判定所述手是否握住所述物體。
如請求項15所述的手追蹤系統，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：響應於所述相似度高於預定閾值，判定所述手握住所述物體。
如請求項15所述的手追蹤系統，其中所述處理器進一步被配置成存取所述程式碼，以執行以下操作：響應於所述相似度不高於預定閾值，判定所述手未握住所述物體。
一種手追蹤方法，包括：獲得在一時間段內的手的手運動曲線；獲得在所述時間段內的物體的物體運動曲線；判定所述手運動曲線與所述物體運動曲線之間的相似度；以及基於所述相似度，而判定所述手是否握住所述物體。