TWI908003B - 手部追蹤方法、主機以及手部追蹤系統 - Google Patents

Abstract

本揭露的實施例提供一種用於手部追蹤的方法。方法包含：通過頭戴式裝置，獲得手部的第一影像；通過處理器，基於第一影像，判定手部的第一部分的第一姿態；通過手持式裝置，獲得手部的第二影像；通過處理器，基於第二影像，判定手部的第二部分的第二姿態，其中第一部分和第二部分互補地形成手部的整體；以及通過處理器，基於第一姿態和第二姿態，判定手部的手勢。

Description

手部追蹤方法、主機以及手部追蹤系統

本發明是有關於一種手部追蹤方法，且特別是有關於一種手部追蹤方法、主機以及手部追蹤系統。

為了給使用者帶來沉浸式體驗，涉及擴展實境（extended reality；XR）的技術不斷地開發，例如增強實境（augmented reality；AR）、虛擬實境（virtual reality；VR）以及混合實境（mixed reality；MR）。AR技術允許使用者將虛擬元素帶到現實世界。VR技術允許使用者進入整個新虛擬世界，以體驗不同的生活。MR技術合並現實世界與虛擬世界。此外，為了給使用者帶來完全沉浸式體驗，可通過一個或多個裝置，提供視覺內容、音頻內容或其它感覺的內容。

本發明提供一種手部追蹤方法、主機以及手部追蹤系統，以便改進手部追蹤的準確性。

本揭露的實施例提供一種用於手部追蹤的方法。方法包含：通過頭戴式裝置，獲得手部的第一影像；通過處理器，基於第一影像，判定手部的第一部分的第一姿態（pose）；通過手持式裝置，獲得手部的第二影像；通過處理器，基於第二影像，判定手部的第二部分的第二姿態，其中第一部分和第二部分互補地（complimentarily）形成手部的整體；以及通過處理器，基於第一姿態和第二姿態，判定手部的手勢（gesture）。

本揭露的實施例提供一種主機。主機包含儲存電路和處理器。儲存電路儲存程式碼。處理器耦合到儲存電路，且存取程式碼以執行：通過頭戴式裝置，獲得手部的第一影像；基於第一影像，判定手部的第一部分的第一姿態；通過手持式裝置，獲得手部的第二影像；基於第二影像，判定手部的第二部分的第二姿態，其中第一部分和第二部分互補地形成手部的整體；以及基於第一姿態和第二姿態，判定手部的手勢。

本揭露的實施例提供一種手部追蹤系統。手部追蹤系統包含頭戴式裝置、手持式裝置、儲存電路以及處理器。頭戴式裝置適於安裝在頭部上。頭戴式裝置包含第一相機。第一相機被配置成獲得手部的第一影像。手持式裝置適於佩戴在手部上。手持式裝置包含主體部分和延伸部分。主體部分適於由手部握持。延伸部分從主體部分延伸。延伸部分包含第二相機。第二相機被配置成獲得手部的第二影像。儲存電路儲存程式碼。處理器耦合到儲存電路，且存取程式碼以執行：通過頭戴式裝置，獲得手部的第一影像；基於第一影像，判定手部的第一部分的第一姿態；通過手持式裝置，獲得手部的第二影像；基於第二影像，判定手部的第二部分的第二姿態，其中第一部分和第二部分互補地形成手部的整體；以及基於第一姿態和第二姿態，判定手部的手勢。

基於上述，根據手部追蹤方法、主機以及手部追蹤系統，改進手部追蹤的準確性。

現將詳細參考本發明的當前優選實施例，在附圖中示出所述優選實施例的實例。在可能的情況下，相同附圖標號用於圖式和描述中，以指代相同或類似部分。

為了給使用者帶來沉浸式體驗，與XR有關的技術不斷地開發，例如AR、VR以及MR。AR技術允許使用者將虛擬元素帶到現實世界。VR技術允許使用者進入整個新虛擬世界，以體驗不同的生活。MR技術合並現實世界與虛擬世界。此外，為了給使用者帶來完全沉浸式體驗，可通過一個或多個裝置，提供視覺內容、音頻內容或其它感覺的內容。

手持式控制器為比其它的輸入方法（例如，鍵盤和鼠標）提供更沉浸式體驗的裝置。這是因為手持式控制器允許使用者以更自然的方式，與虛擬世界互動，就好像使用者真的在那裏一樣。舉例來說，使用者可使用手持式控制器來拾取物件、投擲物件，且與虛擬按鈕和開關互動。然而，手持式控制器的一個限制是手持式控制器需要使用者握持其。這可能會限制手部移動，且使得難以執行某些任務。舉例來說，使用者在持握手持式控制器時，不能夠執行張開的手勢。

為了減輕手持式控制器對手部移動的影響，可利用帶綁帶的控制器。通過將控制器捆綁到手部，手部可自由地移動。然而，帶綁帶的控制器也具有一些缺點。第一，設計帶綁帶的控制器可能更困難。綁帶需要舒適且牢固，且綁帶需要能夠容納多種手部大小。第二，帶綁帶的控制器可能更難以使用。使用者需要學習如何正確地戴上和取下綁帶，且使用者需要習慣手部上綁著東西的感覺。

圖1A和圖1B為根據本揭露的實施例的手持式裝置的示意圖。參考圖1A，手持式裝置10包含主體部分12和延伸部分14。主體部分12的形狀可變化，但形狀通常被設計成符合人體工程學且使用者的手部握用起來很舒適。延伸部分14從主體部分12延伸，且間隙位於延伸部分14與主體部分12之間，使得使用者可通過間隙插入手指，以將手持式控制器10固定在手部上。另外，延伸部分14可由彈性材料製成，使得間隙可以是可調節的，以符合使用者手指的大小。由於手持式控制器10固定在手部上，因此使用者仍能夠在佩戴手持式控制器時，執行張開的手勢。

手部追蹤是一種允許使用者使用所述使用者裸露的手部與XR環境互動的技術。舉例來說，手部追蹤系統可使用相機，來即時地追蹤使用者的手部的位置和定向（orientation）。需要說明的是，如圖1B中所繪示，當在XR環境中使用手持式控制器10，以向使用者提供更沉浸和互動的體驗時，手持式控制器10可能同樣會阻擋使用者的手部（例如，圖1B中所繪示的遮擋19），其可影響手部追蹤的準確性。因此，需要改進在佩戴手持式控制器10時的手部追蹤的準確性。

圖2為根據本揭露的實施例的手部追蹤系統的示意圖。參考圖2，手部追蹤系統可包含頭戴式裝置200和手持式裝置100。頭戴式裝置200可適於安裝在使用者的頭部上，且手持式裝置100可適於佩戴在使用者的手部上。頭戴式裝置200可包含第一相機202。手持式裝置100可包含主體部分102和延伸部分104。延伸部104可包含第二相機106。

需要說明的是，主體部分102和延伸部分104可類似於主體部分12和延伸部分14。也就是說，主體部分102和延伸部分104的細節可參考主體部分12和延伸部分14的描述，以獲得足夠的教示、建議以及實施方案實施例，而細節在本文中不被冗餘地描述。然而，本揭露不限於此。

在一個實施例中，頭戴式裝置200的第一相機202可被配置成提供用於使用者的手部的手部追蹤的第一影像。此外，當使用者佩戴手持式裝置100時，第二相機106可被配置成提供用於使用者的手部的手部追蹤的第二影像。如此一來，通過來自第一相機202的第一影像和來自第二相機106的第二影像的融合（fusion），可在使用者佩戴手持式裝置100時改進手部追蹤的準確性。

在一個實施例中，通過來自第一相機202的第一影像和來自第二相機106的第二影像的融合，可利用同時定位與映射（simultaneous localization and mapping；SLAM）演算法，產生使用者周圍的環境的SLAM地圖。基於SLAM地圖，可分別判定頭戴式裝置200和手持式裝置100的位置和定向。

在一個實施例中，頭戴式裝置200和手持式裝置100可分別包含追蹤器。舉例來說，頭戴式裝置200可包含第一追蹤器，且手持式裝置100可包含第二追蹤器。追蹤器可為例如陀螺儀、加速計、慣性測量單元（inertial measurement unit；IMU）感測器、其它類似裝置或這些裝置的組合。基於來自追蹤器的資料，可分別獲得頭戴式裝置200和手持式裝置100的隨時間的線加速度值和/或角速度。然而，本揭露不限於此。此外，基於頭戴式裝置200和手持式裝置100的加速度值和/或角速度，可獲得頭戴式裝置200和手持式裝置100的旋轉資訊和位移資訊。基於旋轉資訊和位移資訊，由頭戴式裝置200的第一相機202捕獲的第一影像和由手持式裝置100的第二相機106捕獲的第二影像，可在空間坐標中組合在一起，以產生手部的完整影像。如此一來，基於手部的完整影像，可獲得手部的準確手部姿態。

在一個實施例中，頭戴式裝置200和手持式裝置100可分別包含通訊電路。通訊電路可為例如有線網路模組、無線網路模組、藍牙模組、紅外模組、射頻識別（radio frequency identification；RFID）模組、紫蜂（Zigbee）網路模組或近場通訊（near field communication；NFC）網路模組，但本揭露不限於此。也就是說，頭戴式裝置200可通過有線通訊或無線通訊，與手持式裝置100通訊。

在一些實施例中，頭戴式裝置200可為例如XR裝置，例如一對AR/VR眼鏡和/或頭戴式顯示器（head-mounted display；HMD）裝置。然而，本揭露不限於此。

圖3為根據本揭露的實施例的主機的示意圖。在各種實施例中，主機300可為任何智能裝置和/或電腦裝置。在一些實施例中，主機300可為能夠提供實境服務（例如，AR/VR/MR服務等）的任何電子裝置。在一些實施例中，主機300可包含在頭戴式裝置200或手持式裝置100中。在一些實施例中，主機300可為電腦和/或伺服器，且主機300可將所計算的結果（例如，AR/VR/MR內容），提供到其它一個或多個外部顯示裝置（例如，頭戴式裝置200），使得一個或多個外部顯示裝置，可將所計算的結果展示給使用者。然而，本揭露不限於此。

在圖3中，主機300包含儲存電路302和處理器304。儲存電路302為靜止或移動隨機存取記憶體（random access memory；RAM）、唯讀記憶體（read-only memory；ROM）、閃速記憶體、硬碟或任何其它類似裝置中的一個或組合，且所述儲存電路302記錄可由處理器304執行的多個模組和/或程式碼。

處理器304可與儲存電路302耦合，且處理器304可為例如通用處理器、專用處理器、常規處理器、數位訊號處理器（digital signal processor；DSP）、多個微處理器、與DSP核心相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路（Application Specific Integrated Circuit；ASIC）、現場可程式化門陣列（Field Programmable Gate Array；FPGA）電路、任何其它類型的積體電路（integrated circuit；IC）、狀態機等。

在本揭露的實施例中，處理器304可存取儲存在儲存電路302中的模組和/或程式碼，以實施本揭露中提供的手部追蹤方法，這將在下文中進一步論述。

圖4為根據本揭露的實施例的手部追蹤方法的示意性流程圖。本實施例的手部追蹤方法可由圖3中的主機300執行，且圖4中的每一步驟的細節將在下文用圖2和圖3中所繪示的組件來描述。另外，為了更好地理解本揭露的概念，圖5A到圖5C將用作解釋的實例，其中圖5A到圖5C繪示根據本揭露的一些實施例的手部追蹤場景。

第一，在步驟S410中，頭戴式裝置200的第一相機202可被配置成獲得手部的第一影像。隨後，在步驟S420中，處理器304可被配置成基於第一影像，判定手部的第一部分的第一姿態。舉例來說，處理器304可被配置成基於第一影像，執行手部的第一手部追蹤。接著，處理器304可被配置成基於第一手部追蹤，判定第一姿態。然而，本揭露不限於此。

值得注意的是，當使用者佩戴手持式裝置100時，手部的一部分（也被稱作第二部分）可能會被手持式裝置100遮擋。舉例來說，如圖5A中所繪示，當手持式裝置100佩戴在手部的中指和無名指附近時，中指和無名指可能會被手持式裝置100遮擋。也就是說，在第一影像中，可能無法完全看到中指和無名指的節點（例如，關節）。因此，中指和無名指的姿態（例如，伸展（extend）或彎曲），可能不能夠基於第一影像來判定（例如，通過第一手部追蹤）。

另一方面，手部的部分的其餘部分（也被稱作第一部分）未被手持式裝置100遮擋。也就是說，在第一影像中，可以完全看到部分的其餘部分（例如，拇指、食指以及小指）的節點。因此，其餘部分的姿態（也被稱作第一姿態）可基於第一影像判定（例如，通過第一手部追蹤）。

換句話說，處理器304可被配置成基於第一影像（例如，通過第一手部追蹤），將手部的手指，分類成（classify）已知姿態的第一部分或未知姿態的第二部分。也就是說，通過利用頭戴式裝置200的第一相機202，可判定第一部分的第一姿態，且可能無法夠判定第二部分的第二姿態。

接著，在步驟S430中，手持式裝置100的第二相機106可被配置成獲得手部的第二影像。然後，在步驟S440中，處理器304可被配置成基於第二影像，判定手部的第二部分的第二姿態。舉例來說，處理器304可被配置成基於第二影像，執行手部的第二手部追蹤。接著，處理器304可被配置成基於第二手部追蹤，判定第二姿態。然而，本揭露不限於此。在一個實施例中，第一部分和第二部分互補地形成手部的整體。舉例來說，第一部分可包含拇指、食指以及小指，且第二部分可包含中指和無名指。然而，本揭露不限於此。

再次參考圖5A。當使用者佩戴手持式裝置100時，第二相機106的方向和/或位置可被設計成，用於捕獲手部的被手持式裝置100遮擋的部分（即，第二部分）的影像。也就是說，第二相機106可安置成面向手部的第二部分。舉例來說，第二相機106的視野（field of view；FOV）106F可安置成面向手部的第二部分。因此，基於來自第二相機106的第二影像，可執行第二手部追蹤。基於第二影像（例如，通過第二手部追蹤），可判定第二部分的第二姿態（例如，伸展或彎曲）。

現在參考圖5B和圖5C。在圖5B的手部追蹤場景501中，使用者的手部可處於抓握（grasping）手勢。另一方面，在圖5C的手部追蹤場景502中，使用者的手部可處於張開的手勢姿態中。換句話說，手部的每個手指在手部追蹤場景501中彎曲，且手部的每個手指在手部追蹤場景502中伸展。

在一個實施例中，處理器304可被配置成基於第二影像，判定第二相機106的由手部的第二部分的手指占據的FOV 106F的百分比。此外，處理器304可被配置成基於百分比，判定手指是伸展還是彎曲。舉例來說，在手部追蹤場景501中，當手指彎曲時，手指未出現在FOV 106F中。也就是說，百分比可為零。另一方面，在手部追蹤場景502中，當手指伸展時，手指出現在FOV 106F中。也就是說，百分比不為零。因此，通過比較百分比與預定閾值，可判定手指是伸展還是彎曲。預定閾值可為例如100%、80%、60%或根據設計需要的任何其它數目，且本揭露不限制預定閾值的值。

在一個實施例中，處理器304可被配置成基於第二影像，判定在第二相機106的FOV 106F中，第二部分的手指的指甲的存在（presence）。此外，處理器304可被配置成基於存在，判定手指是伸展還是彎曲。舉例來說，在手部追蹤場景501中，當手指彎曲時，手指的指甲未出現在FOV 106F中。另一方面，在手部追蹤場景502中，當手指伸展時，手指的指甲出現在FOV 106F中。因此，基於指甲在FOV中的存在或不存在，可判定手指是伸展還是彎曲。另外，還可利用手指的遠端關節的存在，來基於百分比和存在，判定手指是伸展還是彎曲，而細節在本文中不被冗餘地描述。

在一個實施例中，不僅可利用由手指占據的FOV 106F的百分比，而且可同時一起利用手指的指甲的存在，以增加手部追蹤的準確性。也就是說，處理器304可被配置成基於百分比和存在，判定手指是伸展還是彎曲。

在一個實施例中，處理器304可被配置成判定第二部分的手指的近端邊界與手指的遠端邊界之間的角度。此外，處理器304可被配置成基於角度，判定手指是伸展還是彎曲。舉例來說，手指可具有三個指骨，包含近端指骨、中間指骨以及遠端指骨。在手部追蹤場景501中，當手指彎曲時，近側指骨的邊界B1（也被稱作近端邊界）與遠端指骨或中間指骨的邊界B2（也被稱作遠端邊界）之間的角度可顯示為邊界角度BA。另一方面，在手部追蹤場景502中，當手指伸展時，邊界B1與邊界B2之間的角度可（近似）為零。因此，通過比較角度與預定閾值，可判定手指是伸展還是彎曲。預定閾值可為例如15度、30度、45度或根據設計需要的任何其它數目，且本揭露不限制預定閾值的值。

最後，在步驟S450中，處理器304可被配置成基於第一姿態和第二姿態，判定手部的手勢。也就是說，雖然手部的一些手指可能會被手持式裝置100遮擋，但第一相機202和第二相機106可一起工作，以捕獲所有手指的影像。換句話說，基於手勢，可判定手部的每個手指是伸展還是彎曲。如此一來，通過來自第一相機202的第一影像和來自第二相機106的第二影像的融合，可在使用者佩戴手持式裝置100時，改進手部追蹤的準確性。

在一個實施例中，為了節省電力，第二相機106通常可被停用（關閉）。也就是說，第二相機106可被配置成，僅響應於由處理器304接收到的手部追蹤請求而啟用（打開）。然而，本揭露不限於此。

在一個實施例中，手持式裝置100的主體部分102可更包含抓取感測器（capture sensor）。抓取感測器被配置成獲得感測器資料。此外，處理器304可被配置成基於感測器資料，判定手部是否處於抓握手勢。舉例來說，抓取感測器為距離感測器或接觸感測器，且感測器資料被配置成指示（indicate）手部的手指與主體部分102之間的距離。當手部處於抓握手勢（例如，握持主體部分102）時，手指與主體部分102接觸，且手指與主體部分102之間的距離為零。另一方面，當手部不處於抓握手勢（例如，握持主體部分102）時，手指不與主體部分102接觸，且手指與主體部分102之間的距離不為零。

在一個實施例中，手持式裝置100的主體部分102可更包含按鈕。按鈕可被配置成從使用者收集輸入。然而，本揭露不限於此。

綜上所述，根據手部追蹤方法、主機300以及手部追蹤系統，通過來自第一相機202的第一影像和來自第二相機106的第二影像的融合，當使用者佩戴手持式裝置100時，可改進手部追蹤的準確性。

本領域的普通技術人員將顯而易見，可在不脫離本揭露的範圍或精神的情況下對本發明的結構進行各種修改和變化。鑒於前述內容，本揭露旨在覆蓋落入所附請求項及其等同物的範圍內的本發明的修改和變化。

10:手持式裝置 12、102:主體部分 14、104:延伸部分 19:遮擋 100:手持式裝置 106:第二相機 106F:視野 200:頭戴式裝置 202:第一相機 300:主機 302:儲存電路 304:處理器 501、502:手部追蹤場景 B1、B2:邊界 BA:邊界角度 S410、S420、S430、S440、S450:步驟

圖1A為根據本揭露的實施例的手持式裝置的示意圖。 圖1B為根據本揭露的實施例的手持式裝置的示意圖。 圖2為根據本揭露的實施例的手部追蹤系統的示意圖。 圖3為根據本揭露的實施例的主機的示意圖。 圖4為根據本揭露的實施例的手部追蹤方法的示意性流程圖。 圖5A為根據本揭露的實施例的手部追蹤場景的示意圖。 圖5B為根據本揭露的實施例的手部追蹤場景的示意圖。 圖5C為根據本揭露的實施例的手部追蹤場景的示意圖。

S410、S420、S430、S440、S450:步驟

Claims (12)

1. 一種用於手部追蹤的方法，包括： 通過頭戴式裝置的第一相機，獲得手部的第一影像； 通過處理器，基於所述第一影像，判定所述手部的第一部分的第一姿態； 通過手持式裝置的第二相機，獲得所述手部的第二部分的第二影像，其中所述第二部分於所述第一影像中係被所述手持式裝置所遮擋之部分； 通過所述處理器，基於所述第二影像，判定所述手部的所述第二部分的第二姿態，其中所述第一部分和所述第二部分互補地形成所述手部的整體；以及 通過所述處理器，基於所述第一姿態和所述第二姿態，判定所述手部的手勢。
2. 如請求項1所述的用於手部追蹤的方法，更包括： 通過所述處理器，基於所述第一影像，將所述手部的手指分類成已知姿態的所述第一部分或未知姿態的所述第二部分。
3. 如請求項1所述的用於手部追蹤的方法，更包括： 基於所述手勢，判定所述手部的每個手指是伸展還是彎曲。
4. 如請求項1所述的用於手部追蹤的方法，更包括： 基於所述第二影像，判定所述第二相機的由所述手部的所述第二部分的手指占據的視野的百分比；以及 基於所述百分比，判定所述手指是伸展還是彎曲。
5. 如請求項1所述的用於手部追蹤的方法，更包括： 基於所述第二影像，判定在所述第二相機的視野中，所述第二部分的手指的指甲的存在；以及 基於所述存在，判定所述手指是伸展還是彎曲。
6. 如請求項1所述的用於手部追蹤的方法，更包括： 基於所述第二影像，判定所述第二相機的由所述手部的所述第二部分的手指占據的視野的百分比； 基於所述第二影像，判定在所述第二相機的視野中，所述手指的指甲的存在；以及 基於所述百分比和所述存在，判定所述手指是伸展還是彎曲。
7. 如請求項1所述的用於手部追蹤的方法，更包括： 判定所述第二部分的手指的近端邊界與所述手指的遠端邊界之間的角度；以及 基於所述角度，判定所述手指是伸展還是彎曲。
8. 如請求項1所述的用於手部追蹤的方法，更包括： 通過所述第一影像和所述第二影像的融合，產生使用者周圍的環境的同時定位與映射地圖；以及 基於所述同時定位與映射地圖，判定所述頭戴式裝置和所述手持式裝置的位置和定向。
9. 如請求項1所述的用於手部追蹤的方法，更包括： 通過所述手持式裝置的抓取感測器，獲得感測器資料；以及 基於所述感測器資料，判定所述手部是否處於抓握手勢。
10. 如請求項9所述的用於手部追蹤的方法，其中所述抓取感測器為距離感測器或接觸感測器，且所述感測器資料被配置成指示所述手部的手指與所述手持式裝置的主體部分之間的距離。
11. 一種主機，包括： 儲存電路，儲存程式碼；以及 處理器，耦合到所述儲存電路，且存取所述程式碼以執行：       通過頭戴式裝置的第一相機，獲得手部的第一影像；       基於所述第一影像，判定所述手部的第一部分的第一姿態；       通過手持式裝置的第二相機，獲得所述手部的第二部分的第二影像，其中所述第二部分於所述第一影像中係被所述手持式裝置所遮擋之部分；       基於所述第二影像，判定所述手部的所述第二部分的第二姿態，其中所述第一部分和所述第二部分互補地形成所述手部的整體；以及       基於所述第一姿態和所述第二姿態，判定所述手部的手勢。
12. 一種手部追蹤系統，包括： 頭戴式裝置，適於安裝在頭部上，且包括：       第一相機，被配置成獲得手部的第一影像； 手持式裝置，適於佩戴在所述手部上，且包括：       主體部分，適於由所述手部握持；以及       延伸部分，從所述主體部分延伸，且包括：         第二相機，被配置成獲得所述手部的第二部分的第二影像，其中所述第二部分於所述第一影像中係被所述手持式裝置所遮擋之部分； 儲存電路，儲存程式碼；以及 處理器，耦合到所述儲存電路，且存取所述程式碼以執行：       基於所述第一影像，判定所述手部的第一部分的第一姿態；       基於所述第二影像，判定所述手部的所述第二部分的第二姿態，其中所述第一部分和所述第二部分互補地形成所述手部的整體；以及      基於所述第一姿態和所述第二姿態，判定所述手部的手勢。