[go: up one dir, main page]

TWI783655B - 頭戴式裝置追蹤方法與頭戴式裝置追蹤系統 - Google Patents

頭戴式裝置追蹤方法與頭戴式裝置追蹤系統 Download PDF

Info

Publication number
TWI783655B
TWI783655B TW110132125A TW110132125A TWI783655B TW I783655 B TWI783655 B TW I783655B TW 110132125 A TW110132125 A TW 110132125A TW 110132125 A TW110132125 A TW 110132125A TW I783655 B TWI783655 B TW I783655B
Authority
TW
Taiwan
Prior art keywords
head
mounted device
data
coordinate system
tracking
Prior art date
Application number
TW110132125A
Other languages
English (en)
Other versions
TW202210908A (zh
Inventor
廖文選
趙浩雲
張慈殷
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202210908A publication Critical patent/TW202210908A/zh
Application granted granted Critical
Publication of TWI783655B publication Critical patent/TWI783655B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Position Input By Displaying (AREA)
  • Adjustment Of The Magnetic Head Position Track Following On Tapes (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用以追蹤頭戴式裝置的一種追蹤方法包含下列步驟。追蹤頭戴式裝置在內往外座標系統中的第一姿勢資料。追蹤頭戴式裝置在外往內座標系統中的第二姿勢資料。根據第一姿勢資料以及第二姿勢資料計算內往外座標系統與外往內座標系統之間的轉換關係。根據轉換關係將內往外座標系統中的第一姿勢資料轉換為外往內座標系統中的第三姿勢資料。相應於第二姿勢資料目前為可取得，利用第二姿勢資料決定頭戴式裝置之裝置姿勢。相應於第二姿勢資料目前為無法取得，利用第三姿勢資料決定頭戴式裝置之裝置姿勢。

Description

頭戴式裝置追蹤方法與頭戴式裝置追蹤系統
本揭示有關於一種追蹤方法與追蹤系統，且特別是有關於使用在頭戴式裝置上的追蹤方法與追蹤系統。
虛擬實境(Virtual Reality,VR)、擴增實境(Augmented Reality,AR)、替代實境(Substitutional Reality,SR)及/或混合實境(Mixed Reality,MR)等裝置是設計用來提供使用者沉浸式的體驗。當使用者配戴頭戴式裝置時，使用者的視線將被頭戴式裝置所顯示的沉浸式內容所覆蓋。沉浸式內容可以展示特定空間的場景。
為了提供沉浸式體驗，必須能夠追蹤使用者的移動，並且即時性根據使用者的移動提供相應的畫面。當使用者移動到不同的位置時，虛擬實境當中的場景可以同步地切換至不同的視角。因此，在虛擬實境、擴增實境或混合實境等應用當中，如何有效地及準確地追蹤使用者的移動是非常重要的。
本揭示的一態樣有關一種追蹤方法，包含下列步驟。追蹤頭戴式裝置在一內往外座標系統中的一第一姿勢資料。追蹤該頭戴式裝置在一外往內座標系統中的一第二姿勢資料。根據該第一姿勢資料以及該第二姿勢資料計算該內往外座標系統與該外往內座標系統之間的一轉換關係。根據該轉換關係將該內往外座標系統中的該第一姿勢資料轉換為該外往內座標系統中的一第三姿勢資料。相應於該第二姿勢資料目前為可取得，利用該第二姿勢資料決定該頭戴式裝置之一裝置姿勢。相應於該第二姿勢資料目前為無法取得，利用該第三姿勢資料決定該頭戴式裝置之該裝置姿勢。
本揭示的另一態樣有關一種追蹤系統，包含頭戴式裝置、追蹤基站以及處理單元。頭戴式裝置用以追蹤該頭戴式裝置在一內往外座標系統中的一第一姿勢資料。追蹤基站與該頭戴式裝置交互配合，用以在追蹤該頭戴式裝置在一外往內座標系統中的一第二姿勢資料。處理單元用以接收該第一姿勢資料以及該第二姿勢資料，該處理單元用以執行下列操作以決定該頭戴式裝置之一裝置姿勢。處理單元根據該第一姿勢資料以及該第二姿勢資料計算該內往外座標系統與該外往內座標系統之間的一轉換關係。處理單元根據該轉換關係將該內往外座標系統中的該第一姿勢資料轉換為該外往內座標系統中的一第三姿勢資料。相應於該第二姿勢資料目前為可取得，處理單元利用該第二姿 勢資料決定該頭戴式裝置之該裝置姿勢。相應於該第二姿勢資料目前為無法取得，處理單元利用該第三姿勢資料決定該頭戴式裝置之該裝置姿勢。
追蹤系統與追蹤方法可以利用兩種追蹤功能來追蹤頭戴式裝置，包含內往外追蹤功能以及外往內追蹤功能，如此一來，可以在相對較高的準確性、較短延遲以及較低電力消耗的情況下追蹤頭戴式裝置。並且在外往內追蹤功能因某些限制而無法追蹤時，可以無縫地改由內往外追蹤功能提供頭戴式裝置的姿勢資料。
須說明的是，上述說明以及後續詳細描述是以實施例方式例示性說明本案，並用以輔助本案所請求之發明內容的解釋與理解。
100,100a:追蹤系統
120:頭戴式裝置
122:相機
124:光感測器
126:慣性量測單元
140:追蹤基站
142:光發射器
160:處理單元
162:旋轉估算器
164:姿勢轉換器
166:姿勢切換器
180:手持式控制器
182:光感測器
200:追蹤方法
S210~S256:步驟
CA:覆蓋範圍
SA:空間區域
AN1,AN2:特徵錨點
PD1:第一姿勢資料
PD2:第二姿勢資料
PD3:第三姿勢資料
PD4:第四姿勢資料
PD5:第五姿勢資料
PD6:第六姿勢資料
PDf:融合姿勢資料
Rpd2,Rpd3:比例
TR1,TR3:內往外追蹤功能
TR2,TR4:外往內追蹤功能
TRAN:轉換關係
PHMD:裝置姿勢
PCON:控制器姿勢
DIS:位移量
OW:外往內世界座標系統
IW:內往外世界座標系統
OD:外往內驅動器座標系統
ID:內往外驅動器座標系統
T0,T1,T2,Ti:時間點
第1圖繪示根據本揭示文件之一些實施例中的一種追蹤系統的示意圖；第2圖繪示根據本揭示文件的一些實施例中追蹤系統的功能方塊圖；第3圖繪示根據本揭示文件之一些實施例中追蹤方法的流程圖；第4A圖繪示在一些實施例中內往外座標系統與外往內座標系統在時間點的示意圖；第4B圖繪示在一些實施例中內往外座標系統與外往內座 標系統在另一時間點的示意圖；第5圖繪示第3圖中追蹤方法之步驟其中進一步步驟的流程圖；第6A圖繪示在一些實施例中在由第二姿勢資料變化至第三姿勢資料的示意圖；第6B圖繪示在一些實施例中在由第三姿勢資料變化至第二姿勢資料的示意圖；第7圖繪示根據本揭示文件的一些實施例中具有手持式控制器追蹤功能的追蹤系統的功能方塊圖；以及第8圖繪示根據本揭示文件的另一些實施例中追蹤系統當中具有兩種追蹤功能以追蹤手持式控制器的功能方塊圖。
以下揭示提供許多不同實施例或例證用以實施本揭示文件的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本揭示。所討論的任何例證只用來作解說的用途，並不會以任何方式限制本揭示文件或其例證之範圍和意義。在適當的情況下，在圖示之間及相應文字說明中採用相同的標號以代表相同或是相似的元件。
第1圖繪示根據本揭示文件之一些實施例中的一種追蹤系統100的示意圖。追蹤系統100包含位在空間區域SA當中的頭戴式裝置120以及追蹤基站140。舉例來說，如第1圖所示的空間區域SA可以是真實世界中的臥室或者會議室，但本揭示文件並不以此為限。在一些實施 例中，空間區域SA也可以室外空間中的特定範圍(圖中未繪示)。
頭戴式裝置120通常是配戴在空間區域SA當中使用者的頭部。追蹤系統100並不限於追蹤第1圖當中的單一個頭戴式裝置120。追蹤系統100可以追蹤兩個或更多個頭戴式裝置。使用者可以在空間區域SA自由移動到不同的位置且可以面朝不同的方向。在這個情況下，頭戴式裝置120會隨著移動到不同的位置(基於使用者的位移)以及具有不同的軸向(基於使用者頭部的軸向)。
多種不同的技術可以用來追蹤使用者的動態，其中兩種主要的追蹤技術種類，分別為內往外追蹤(inside-out tracking)與外往內追蹤(outside-in tracking)。內往外追蹤是以頭戴式裝置120本身的視角出發觀察外部環境的相對變化以追蹤使用者的動態。外往內追蹤則是利用外部裝置來追蹤使用者的動態，這個外部裝置是與頭戴式裝置120分開設置且用來觀察/追蹤頭戴式裝置120的動態。
在一些實施例中，頭戴式裝置120可以提供虛擬實境、擴增實境、替代實境或混合實境的內容給使用者。為了讓使用者可以有沉浸式的體驗，追蹤系統100用以追蹤頭戴式裝置120，藉此偵測使用者其動態的位置與旋轉。
於一些實施例中，頭戴式裝置120可以透過內往外追蹤功能得知其本身的裝置姿勢，內往外追蹤功能可以 由內部視角(即由頭戴式裝置120的視角)向外觀察空間區域SA當中的一些物件(例如特徵錨點AN1與AN2)，藉此偵測到關於頭戴式裝置120的內往外姿勢資料(inside-out pose data)。
於一些實施例中，追蹤基站140設置在空間區域SA當中的固定位置。舉例來說，追蹤基站140可以設置在第1圖所示之房間的靠近天花板的一個角落位置。在一些實施例中，追蹤基站140是用來提供外往內追蹤功能的構件，其可以由外部視角進行頭戴式裝置120的追蹤，藉此偵測關於頭戴式裝置120的外往內姿勢資料(outside-in pose data)。
在一些實施例中，追蹤系統100包含處理單元160。處理單元160可以接收上述內往外姿勢資料與外往內姿勢資料兩者，且處理單元160利用內往外姿勢資料與外往內姿勢資料兩者的組合來決定頭戴式裝置120的裝置姿勢。換句話說，追蹤系統100可以整合兩種追蹤功能(例如內往外與外往內)以追蹤頭戴式裝置120。更進一步的細節將在後續段落中有完整說明。
在一些實施例中，處理單元160可以由獨立於頭戴式裝置120與追蹤基站140之外的電腦中的處理器來實現。在一些實施例中，處理單元160也可以由整合於頭戴式裝置120或追蹤基站140當中的處理器或特定應用積體電路(application specific integrated circuit,ASIC)來實現。
請一併參閱第2圖，其繪示根據本揭示文件的一些實施例中追蹤系統100的功能方塊圖。
於一些實施例中，如第1圖以及第2圖所示，頭戴式裝置120包含相機122、多個光感測器124以及慣性量測單元(inertial measurement unit,IMU)126。在一些實施例中，相機122與慣性量測單元126用以實現內往外追蹤功能TR1。
於第1圖的實施例所示，相機122設置於頭戴式裝置120的前側，相機122可以用來擷取以頭戴式裝置120視角觀察的串流圖像資料。
基於相機122擷取的串流圖像資料，追蹤系統100可以找出空間區域SA當中的至少一個特徵錨點(例如特徵錨點AN1與AN2)。如第1圖所示的實施例，特徵錨點AN1可以是房間裡的窗戶，而特徵錨點AN2可以是房間裡的電視機。基於串流圖像資料，頭戴式裝置120(或者是處理單元160)能夠建立空間區域SA的地圖，並且能夠感測頭戴式裝置120相對於空間區域SA當中特徵錨點AN1與AN2的相對位置。於一些實施例中，頭戴式裝置120(或者是處理單元160)可以採用同時定位與地圖構建(Simultaneous Localization and Mapping,SLAM)技術來建立未知環境(例如空間區域SA)的地圖並且同步地追蹤頭戴式裝置120在未知環境中的位置。
基於相機122所觀察到特徵錨點AN1與AN2在串流圖像資料所呈現的尺寸及/或形狀，內往外追蹤功能 TR1可以偵測頭戴式裝置120與特徵錨點AN1之間的距離以及頭戴式裝置120與特徵錨點AN2之間的另一距離，如此一來，內往外追蹤功能TR1可以偵測頭戴式裝置120所在的位置。於一些其他實施例中，頭戴式裝置120可以包含兩個或更多的相機(圖中未繪示)藉以提高內往外追蹤功能TR1的精準度。慣性量測單元126可以偵測頭戴式裝置120的軸向或旋轉。如第2圖所示，內往外追蹤功能TR1可以偵測頭戴式裝置120在內往外座標系統中的第一姿勢資料PD1。此第一姿勢資料PD1是有關頭戴式裝置120在內往外座標系統當中的位置與軸向。頭戴式裝置120可以在空間區域SA移動。第一姿勢資料PD1是以頭戴式裝置120的視角相對於空間區域SA進行追蹤。
需要特別說明的是，在第2圖繪示的一些實施例中，內往外追蹤功能TR1可由機器視覺追蹤方式所實現，至少透過相機122與慣性量測單元126加以執行，但本揭示文件並不以此為限。在其他的一些實施例中，內往外追蹤功能TR1可由其他具相似性的追蹤技術加以實現，例如超音波追蹤技術(例如向外發射超音波並且偵測反彈的超音波)、紅外線追蹤技術或其他具相等性的內往外追蹤方式。
在一些實施例中，如第1圖及第2圖所示，追蹤基站140包含光發射器142，頭戴式裝置120包含多個光感測器124。在一些實施例中，光發射器142與這些光感測器124是用來實現外往內追蹤功能TR2。在一些實施例 中，這些光感測器124設置在頭戴式裝置120的不同位置點上，這些光感測器124是各自用來偵測光發射器142所產生的光訊號，藉以追蹤頭戴式裝置120在外往內座標系統中的第二姿勢資料PD2。由於這些光感測器124是設置在頭戴式裝置120的不同位置點上，由光發射器142發射的光訊號將在些微不同的時間點抵達各個光感測器124，根據上述些微不同的時間差，外往內追蹤功能TR2可以追蹤有關頭戴式裝置120的第二姿勢資料PD2。在此實施例中，第二姿勢資料PD2可由多個光感測器124產生。
第二姿勢資料PD2是有關於頭戴式裝置120在外往內座標系統中的位置與軸向。第二姿勢資料PD2是以追蹤基站140的視角進行追蹤，追蹤基站140設置在空間區域SA的固定位置。
需要特別說明的是，在第2圖繪示的一些實施例中，外往內追蹤功能TR2可由光學追蹤方式所實現，至少透過光發射器142與這些光感測器124加以執行，但本揭示文件並不以此為限。舉例來說，在另一替換方案中，可以在頭戴式裝置120上設置光發射器(圖中未繪示)，而光感測器可以改設置在追蹤裝置上。在其他的一些實施例中，追蹤裝置可以使用機器視覺(例如相機及搭配的物件辨識演算法)以進行外往內追蹤功能TR2。在一些其他的實施例中，追蹤基站140也可以使用超音波追蹤、紅外線追蹤或其他具相似性的外往內追蹤技術來達成外往內追蹤功能TR2。
在多數的情況下，相較於內往外追蹤功能TR1，透過外往內追蹤功能TR2來追蹤頭戴式裝置120可以提供較高的準確度、較短的延遲及/或較低的電力消耗。然而，外往內追蹤功能TR2在一些特別情況下也存在使用上的限制。例如，光發射器142能夠發射光訊號至第1圖所示的覆蓋範圍CA。當使用者踏出覆蓋範圍CA之外，外往內追蹤功能TR2可能失去對頭戴式裝置120的追蹤。在這樣的情況下，使用者將被限制僅能在覆蓋範圍CA之內移動。在另一個例子中，當使用者旋轉至特定的角度，或者當使用者將手臂舉高至頭頂位置時，光發射器142發射的光訊號可能被阻擋而無法抵達頭戴式裝置120上的光感測器124，因此外往內追蹤功能TR2也可能失去對頭戴式裝置120的追蹤。
另一方面，內往外追蹤功能TR1則不限於在覆蓋範圍CA內使用。然而，相較於外往內追蹤功能TR2，利用內往外追蹤功能TR1來追蹤頭戴式裝置120可能會造成較長的延遲、較低的準確度及/或較高的電力消耗(以進行機器視覺的運算)。
在一些實施例中，處理單元160可以結合內往外追蹤功能TR1產生的第一姿勢資料PD1以及外往內追蹤功能TR2的第二姿勢資料PD2以決定頭戴式裝置120的裝置姿勢PHMD。
請一併參閱第3圖，其繪示根據本揭示文件之一些實施例中追蹤方法200的流程圖。追蹤方法200可由第 1圖及第2圖所示的追蹤系統100所執行。
如第2圖及第3圖所示，在步驟S210，透過內往外追蹤功能TR1追蹤頭戴式裝置120在內往外座標系統中的第一姿勢資料PD1。在步驟S220當中，透過外往內追蹤功能TR2追蹤頭戴式裝置120在外往內座標系統的第二姿勢資料PD2。
需特別說明的是，在一些實施例中，內往外座標系統是以頭戴式裝置120的視角為基礎，而外往內座標系統是以追蹤基站140的視角為基礎。因此，第一姿勢資料PD1與第二姿勢資料PD2彼此並無法直接比較，且無法直接地一起使用來決定裝置姿勢PHMD。
如第2圖及第3圖所示，在步驟S230當中，處理單元160的旋轉估算器162根據第一姿勢資料PD1與第二姿勢資料PD2計算內往外座標系統與外往內座標系統之間的轉換關係TRAN。
內往外座標系統與外往內座標系統之間的轉換關係TRAN可以透過進一步步驟來計算。首先，處理單元160的旋轉估算器162同步取得(在相同的時間點)第一姿勢資料PD1與第二姿勢資料PD2的一對靜態資料。第一姿勢資料PD1紀錄了頭戴式裝置120在內往外座標系統中姿勢資料，第二姿勢資料PD2紀錄了同一個頭戴式裝置120在外往內座標系統中姿勢資料。旋轉估算器162可以對齊該一對靜態資料當中的第一姿勢資料PD1與第二姿勢資料PD2，藉此找出第一姿勢資料PD1與第二姿勢資料 PD2彼此之間的對齊關聯性。接著，處理單元160的旋轉估算器162可以根據對齊後的第一姿勢資料PD1與第二姿勢資料PD2計算轉換關係TRAN。需特別注意的是，在一些實施例中，可以在一定時段內的不同時間點上分別收集由第一姿勢資料PD1與第二姿勢資料PD2組成的複數對靜態資料，每一對靜態資料包含同一時間點上的一組第一姿勢資料PD1與第二姿勢資料PD2。舉例來說，可以在一分鐘內每秒各收集一對靜態資料，如此便可收集共由第一姿勢資料PD1與第二姿勢資料PD2所組成的60對靜態資料來計算轉換關係TRAN。
在一些實施例中，轉換關係TRAN包含內往外座標系統與外往內座標系統之間的旋轉轉換矩陣以及內往外座標系統與外往內座標系統之間的位置轉換矩陣。轉換關係TRAN可以透過下列方式計算：
Figure 110132125-A0305-02-0015-1
Figure 110132125-A0305-02-0015-2
轉換關係TRAN當中的位置轉換矩陣可以透過公式(a)計算，轉換關係TRAN當中的旋轉轉換矩陣可以透過公式(b)計算。
請一併參閱第4A圖以及第4B圖，第4A圖繪示在一些實施例中內往外座標系統與外往內座標系統在時間點T0的示意圖，第4B圖繪示在一些實施例中內往外座標系統與外往內座標系統在另一時間點Ti(在時間點T0之後)的示意圖。
如第4A圖以及第4B圖所示，其中繪示了外往內世界座標系統OW、外往內驅動器座標系統OD、內往外世界座標系統IW以及內往外驅動器座標系統ID。在公式(a)與(b)當中，P 0表示頭戴式裝置120在時間點T0時的位置，P i 表示頭戴式裝置120在時間點Ti時的位置，
Figure 110132125-A0305-02-0016-3
-
Figure 110132125-A0305-02-0016-4
表示由外往內驅動器座標系統OD轉換為外往內世界座標系統OW上的頭戴式裝置120由時間點T0至時間點Ti之間的位移量DIS。
Figure 110132125-A0305-02-0016-13
表示由內往外驅動器座標系統ID轉換為外往內世界座標系統OW上的頭戴式裝置120在時間點Ti時的旋轉轉換矩陣。
外往內世界座標系統OW為固定的，並且內往外世界座標系統IW也為固定的。外往內世界座標系統OW與內往外世界座標系統IW可以具有不同的原點以及不同的軸向。外往內世界座標系統OW與內往外世界座標系統IW之間的旋轉轉換矩陣
Figure 110132125-A0305-02-0016-14
可以根據對齊後的第一姿勢資料PD1與第二姿勢資料PD2而找到。
外往內驅動器座標系統OD是根據追蹤基站140當中的光發射器142的軸向而定。外往內世界座標系統OW與外往內驅動器座標系統OD之間的旋轉轉換矩陣
Figure 110132125-A0305-02-0016-15
可以由追蹤基站140當中的光發射器142(例如透過與光發射器142連接的感測器)偵測。
內往外驅動器座標系統ID是根據頭戴式裝置120的軸向而定。內往外世界座標系統IW與內往外驅動器座標系統ID之間的旋轉轉換矩陣
Figure 110132125-A0305-02-0016-16
可以由頭戴式裝置120 當中的慣性量測單元126與相機122所偵測。由於上述公式(a)與(b)當中的旋轉轉換矩陣
Figure 110132125-A0305-02-0017-17
、位置轉換矩陣
Figure 110132125-A0305-02-0017-18
與旋轉轉換矩陣
Figure 110132125-A0305-02-0017-19
可以透過對齊後的第一姿勢資料PD1與第二姿勢資料PD2而得知，因此，便可推算出包含公式(a)與(b)的轉換關係TRAN。
基於第2圖及第3圖所示的轉換關係TRAN，在步驟S240當中，處理單元160的姿勢轉換器164用以將內往外座標系統中的第一姿勢資料PD1轉換為外往內座標系統中的第三姿勢資料PD3。
需特別注意的是，轉換關係TRAN的計算可以在第一姿勢資料PD1與第二姿勢資料PD2均為當前可取得的情況下完成。之後，若使用者移動至覆蓋範圍CA之外或者阻擋了光訊號使其無法抵達光感測器124，而使外往內追蹤功能TR2當前無法產生第二姿勢資料PD2時(即第二姿勢資料PD2為無法取得)，步驟S240可將內往外座標系統中的第一姿勢資料PD1轉換為外往內座標系統中的第三姿勢資料PD3。於此例子中，即使當第二姿勢資料PD2目前為無法取得時，追蹤系統100仍可以在外往內座標系統中持續追蹤裝置姿勢PHMD。
如第2圖以及第3圖所示，在步驟S250中，處理單元160套用第二姿勢資料PD2與第三姿勢資料PD3的組合來決定裝置姿勢PHMD。
請一併參閱第5圖，其繪示第3圖中追蹤方法200之步驟S250其中進一步步驟的流程圖。追蹤方法200可 以由第1圖以及第2圖當中的追蹤系統100所執行。
如第2圖以及第5圖所示的實施例中，步驟S250更包含四個進一步步驟S251~S254。在步驟S251中，處理單元160偵測第二姿勢資料PD2當前是否為可取得的。當第二姿勢資料PD2目前為可取得的，由處理單元160的姿勢切換器166執行步驟S252，選擇第二姿勢資料PD2作為裝置姿勢PHMD。
當第二姿勢資料PD2目前為無法取得的(例如離開覆蓋範圍CA或阻擋了光訊號)，由處理單元160的姿勢切換器166執行步驟S254，選擇第三姿勢資料PD3作為裝置姿勢PHMD。
在一些實施例中，當第二姿勢資料PD2剛剛無法取得時，若追蹤系統100是立刻將裝置姿勢PHMD由第二姿勢資料PD2切換為第三姿勢資料PD3，使用者可能會因為裝置姿勢PHMD的明顯改變而感到不適，而頭戴式裝置120所顯示的場景也可能會劇烈改變。
因此，在一些實施例中，追蹤方法200在步驟S254(選擇第三姿勢資料PD3作為裝置姿勢PHMD)之前進一步包含步驟S253。步驟S253中，當第二姿勢資料PD2剛由可取得變為無法取得時，姿勢切換器166使用介於第二姿勢資料PD2的最新可取得資料與第三姿勢資料PD3之間的融合姿勢資料PDf，以決定頭戴式裝置120之裝置姿勢PHMD。請一併參閱第6A圖，其繪示在一些實施例中在由第二姿勢資料PD2變化至第三姿勢資料 PD3的示意圖。如第6A圖所示，在時間點T1之前，第二姿勢資料PD2為可取得的，此時裝置姿勢PHMD設定為與第二姿勢資料PD2相同。從時間點T1開始，第二姿勢資料PD2剛剛變為無法取得，裝置姿勢PHMD設定為介於第二姿勢資料PD2的最新可取得資料與第三姿勢資料PD3之間的融合姿勢資料PDf。在一開始時，用以決定裝置姿勢PHMD當中因素中是由第二姿勢資料PD2佔有較高的比例Rpd2，而第三姿勢資料PD3佔有較低的比例Rpd3。也就是說，在一開始時，裝置姿勢PHMD主要是由第二姿勢資料PD2所影響。接著，用來決定裝置姿勢PHMD的因素中第二姿勢資料PD2佔有的比例Rpd2逐漸下降，而第三姿勢資料PD3佔有的比例Rpd3逐漸上升。在時間點T2以後，裝置姿勢PHMD設定為與第三姿勢資料PD3相同。
相似地，當第二姿勢資料PD2剛由無法取得恢復為可取得時，可以採用融合姿勢資料PDf並逐漸提高第二姿勢資料PD2佔有的比例Rpd2。如第5圖所示，由處理單元160執行步驟S255，偵測第二姿勢資料PD2是否由無法取得恢復為可取得。若第二姿勢資料PD2仍然為無法取得，則回到步驟S254。若發現第二姿勢資料PD2由無法取得恢復為可取得時，執行步驟S256，姿勢切換器166使用介於第三姿勢資料PD3與第二姿勢資料PD2之間的融合姿勢資料PDf以決定頭戴式裝置120之裝置姿勢PHMD。請一併參閱第6B圖，其繪示在一些實施例中在 由第三姿勢資料PD3變化至第二姿勢資料PD2的示意圖。在此例子中，如第6B圖所示，融合姿勢資料PDf由第三姿勢資料PD3逐漸地回到第二姿勢資料PD2。接著，執行步驟S252，姿勢切換器166使用第二姿勢資料PD2來決定頭戴式裝置120之裝置姿勢PHMD。
如第1圖所示的實施例中，使用者的手中握持了至少一個手持式控制器180。於一些實施例中，手持式控制器180可以是虛擬實境、擴增實境、替代實境或混合實境系統的輸入介面，如此一來使用者可以透過手持式控制器180與虛擬的物件互動。追蹤系統100也有需要追蹤手持式控制器180的動態。
請一併參閱第7圖，其繪示根據本揭示文件的一些實施例中具有手持式控制器180追蹤功能的追蹤系統100的功能方塊圖。相較於第2圖的實施例，第7圖的實施例中具有另一內對外追蹤功能TR3用以追蹤手持式控制器180。
如第7圖所示，此內對外追蹤功能TR3可由相機122、慣性量測單元126與手持式控制器180所實現。相機122可由頭戴式裝置120的視角擷取關於手持式控制器180的串流影像，並將手持式控制器180的位置與旋轉(可參考慣性量測單元126之訊號)映射至內對外座標系統上。內對外追蹤功能TR3能夠由頭戴式裝置120的視角產生手持式控制器180在內對外座標系統上的第四姿勢資料PD4。
由於第四姿勢資料PD4不能直接與其他在外對內座標系統上的姿勢資料一起使用，處理單元160中的姿勢轉換器164可進一步用以根據轉換關係TRAN將內對外座標系統上的第四姿勢資料PD4轉換為外對內座標系統上的第五姿勢資料PD5。於此情況下，姿勢切換器166便能使用第五姿勢資料PD5來決定手持式控制器180的控制器姿勢PCON。
在第7圖所示的實施例中，控制器姿勢PCON是基於內對外追蹤功能TR3追蹤的第四姿勢資料PD4進而轉換產生的，但本揭示文件並不以此為限。
請一併參閱第8圖，其繪示根據本揭示文件的另一些實施例中追蹤系統100a當中具有兩種追蹤功能以追蹤手持式控制器180的功能方塊圖。相較於第2圖之實施例，第8圖之實施例中額外具有兩個追蹤功能，分別是第8圖所示的內對外追蹤功能TR3以及外對內追蹤功能TR4以追蹤手持式控制器180。
如第8圖所示，內對外追蹤功能TR3可由相機122、慣性量測單元126與手持式控制器180所實現，外對內追蹤功能TR4可由追蹤基站140的光發射器142與設置在手持式控制器180上的多個光感測器182。內對外追蹤功能TR3能夠由頭戴式裝置120的視角產生手持式控制器180在內對外座標系統上的第四姿勢資料PD4。處理單元160中的姿勢轉換器164可進一步用以根據轉換關係TRAN將內對外座標系統上的第四姿勢資料PD4轉換 為外對內座標系統上的第五姿勢資料PD5。外對內追蹤功能TR4能夠由追蹤基站140的視角產生手持式控制器180在外對內座標系統上的第六姿勢資料PD6。
在上述實施例中，內對外座標系統與外對內座標系統之間的轉換關係TRAN可以根據第一姿勢資料PD1與第二姿勢資料PD2進行計算，但本揭示文件並不以此為限。在一些實施例中，有關手持式控制器180在內對外座標系統上的第四姿勢資料PD4與外對內座標系統上的第六姿勢資料PD6也可以被傳送(第8圖中未示)至旋轉估測器162。在這樣的情況下，除了根據第一姿勢資料PD1與第二姿勢資料PD2組成的多對靜態資料，旋轉估測器162還可以進一步根據第四姿勢資料PD4與第六姿勢資料PD6組成的額外的多對靜態資料來計算轉換關係TRAN。
相似於先前第5圖的實施例，第8圖之實施例中的追蹤系統100a可以選擇以第五姿勢資料PD5或第六姿勢資料PD6來決定控制器姿勢PCON。相似地，在第五姿勢資料PD5與第六姿勢資料PD6切換的過程中，追蹤系統100a可以產生第五姿勢資料PD5或第六姿勢資料PD6之間的融合姿勢資料來作為控制器姿勢PCON。關於上述切換過程的細部說明已經在先前實施例中配合第5圖有完整討論，在此不另贅述。
基於上述實施例，追蹤系統100或100a以及追蹤方法200能夠以兩種追蹤功能追蹤頭戴式裝置120與手持式控制器180，包含了內往外追蹤功能(TR1與TR3) 以及外往內追蹤功能(TR2與TR4)，如此一來，可以在相對較高的準確性、較短延遲以及較低電力消耗的情況下，追蹤頭戴式裝置120與手持式控制器180。並且在外往內追蹤功能因某些限制而無法追蹤時，可以無縫地改由內往外追蹤功能提供頭戴式裝置120與手持式控制器180的姿勢資料。
雖然本揭示文件之實施例已揭露如上，然其並非用以限定本揭示文件，任何熟習此技藝者，在不脫離本揭示文件之精神和範圍內，當可做些許之更動與潤飾，因此本揭示文件之保護範圍當以後附之申請專利範圍所界定為準。
100:追蹤系統
120:頭戴式裝置
122:相機
124:光感測器
126:慣性量測單元
140:追蹤基站
142:光發射器
160:處理單元
162:旋轉估算器
164:姿勢轉換器
166:姿勢切換器
PD1:第一姿勢資料
PD2:第二姿勢資料
PD3:第三姿勢資料
TR1:內往外追蹤功能
TR2:外往內追蹤功能
TRAN:轉換關係
PHMD:裝置姿勢

Claims (20)

  1. 一種頭戴式裝置追蹤方法，包含：追蹤一頭戴式裝置在一內往外座標系統中的一第一姿勢資料；追蹤該頭戴式裝置在一外往內座標系統中的一第二姿勢資料；根據該第一姿勢資料以及該第二姿勢資料計算該內往外座標系統與該外往內座標系統之間的一轉換關係；根據該轉換關係將該內往外座標系統中的該第一姿勢資料轉換為該外往內座標系統中的一第三姿勢資料；相應於該第二姿勢資料目前為可取得，利用該第二姿勢資料決定該頭戴式裝置之一裝置姿勢；以及相應於該第二姿勢資料目前為無法取得，利用該第三姿勢資料決定該頭戴式裝置之該裝置姿勢。
  2. 如請求項1所述之頭戴式裝置追蹤方法，其中該第一姿勢資料是有關於該頭戴式裝置在該內往外座標系統中的一位置與一軸向，該頭戴式裝置在一空間區域內移動，該第一姿勢資料是以該頭戴式裝置的視角相對於該空間區域進行追蹤。
  3. 如請求項2所述之頭戴式裝置追蹤方法，其中該頭戴式裝置包含一相機以及一慣性量測單元，該頭戴式裝置之該相機用以感測該空間區域中的一特徵錨點以追 蹤該第一姿勢資料，該慣性量測單元用以感測該頭戴式裝置之該軸向。
  4. 如請求項1所述之頭戴式裝置追蹤方法，其中該第二姿勢資料是有關於該頭戴式裝置在該外往內座標系統中的一位置與一軸向，該頭戴式裝置是以一追蹤基站的視角進行追蹤，該追蹤基站設置於一空間區域中的一固定位置。
  5. 如請求項4所述之頭戴式裝置追蹤方法，其中該追蹤基站包含一光發射器，該頭戴式裝置包含複數個光感測器，該些光感測器用以分別感測該光發射器產生的一光訊號以追蹤該第二姿勢資料。
  6. 如請求項5所述之頭戴式裝置追蹤方法，其中相應於該光發射器產生的該光訊號被阻擋無法照射至該頭戴式裝置上的該些光感測器或者該頭戴式裝置位在該追蹤基站之一覆蓋範圍之外，該第二姿勢資料目前為無法取得。
  7. 如請求項6所述之頭戴式裝置追蹤方法，其中決定該裝置姿勢之步驟包含：相應於該第二姿勢資料目前由可取得切換為無法取得，利用介於該第二姿勢資料的最新可取得資料與該第三姿勢 資料之間的一融合姿勢資料以決定該頭戴式裝置之該裝置姿勢。
  8. 如請求項6所述之頭戴式裝置追蹤方法，其中決定該裝置姿勢之步驟包含：相應於該第二姿勢資料目前由無法取得恢復為可取得，利用介於該第三姿勢資料與該第二姿勢資料之間的一融合姿勢資料以決定該頭戴式裝置之該裝置姿勢。
  9. 如請求項1所述之頭戴式裝置追蹤方法，其中計算該內往外座標系統與該外往內座標系統之間的該轉換關係之步驟包含：同步取得該第一姿勢資料與該第二姿勢資料的一對靜態資料；對齊該對靜態資料當中的該第一姿勢資料與該第二姿勢資料；以及根據對齊後的該對靜態資料當中的該第一姿勢資料與該第二姿勢資料，計算該內往外座標系統與該外往內座標系統之間的一旋轉轉換矩陣以及該內往外座標系統與該外往內座標系統之間的一位置轉換矩陣。
  10. 如請求項1所述之頭戴式裝置追蹤方法，更包含：以該頭戴式裝置的視角追蹤一手持式控制器在該內往外 座標系統中的一第四姿勢資料；根據該轉換關係將該內往外座標系統中的該第四姿勢資料轉換為該外往內座標系統中的一第五姿勢資料；以及套用該第五姿勢資料決定一控制器姿勢。
  11. 一種頭戴式裝置追蹤系統，包含：一頭戴式裝置，用以追蹤該頭戴式裝置在一內往外座標系統中的一第一姿勢資料；一追蹤基站，與該頭戴式裝置交互配合，用以在追蹤該頭戴式裝置在一外往內座標系統中的一第二姿勢資料；以及一處理單元，用以接收該第一姿勢資料以及該第二姿勢資料，該處理單元用以執行下列操作以決定該頭戴式裝置之一裝置姿勢：根據該第一姿勢資料以及該第二姿勢資料計算該內往外座標系統與該外往內座標系統之間的一轉換關係；根據該轉換關係將該內往外座標系統中的該第一姿勢資料轉換為該外往內座標系統中的一第三姿勢資料；相應於該第二姿勢資料目前為可取得，利用該第二姿勢資料決定該頭戴式裝置之該裝置姿勢；以及相應於該第二姿勢資料目前為無法取得，利用該第三姿勢資料決定該頭戴式裝置之該裝置姿勢。
  12. 如請求項11所述之頭戴式裝置追蹤系統， 其中該第一姿勢資料是有關於該頭戴式裝置在該內往外座標系統中的一位置與一軸向，該頭戴式裝置在一空間區域內移動，該第一姿勢資料是以該頭戴式裝置的視角相對於該空間區域進行追蹤。
  13. 如請求項12所述之頭戴式裝置追蹤系統，其中該頭戴式裝置包含一相機以及一慣性量測單元，該頭戴式裝置之該相機用以感測該空間區域中的一特徵錨點以追蹤該第一姿勢資料，該慣性量測單元用以感測該頭戴式裝置之該軸向。
  14. 如請求項11所述之頭戴式裝置追蹤系統，其中該第二姿勢資料是有關於該頭戴式裝置在該外往內座標系統中的一位置與一軸向，該頭戴式裝置是以一追蹤基站的視角進行追蹤，該追蹤基站設置於一空間區域中的一固定位置。
  15. 如請求項14所述之頭戴式裝置追蹤系統，其中該追蹤基站包含一光發射器，該頭戴式裝置包含複數個光感測器，該些光感測器用以分別感測該光發射器產生的一光訊號以追蹤該第二姿勢資料。
  16. 如請求項15所述之頭戴式裝置追蹤系統，其中相應於該光發射器產生的該光訊號被阻擋無法照射至 該頭戴式裝置上的該些光感測器或者該頭戴式裝置位在該追蹤基站之一覆蓋範圍之外，該第二姿勢資料目前為無法取得。
  17. 如請求項15所述之頭戴式裝置追蹤系統，其中相應於該第二姿勢資料目前由可取得切換為無法取得，該處理單元利用介於該第二姿勢資料的最新可取得資料與該第三姿勢資料之間的一融合姿勢資料以決定該頭戴式裝置之該裝置姿勢。
  18. 如請求項15所述之頭戴式裝置追蹤系統，其中相應於該第二姿勢資料目前由無法取得恢復為可取得，該處理單元利用介於該第三姿勢資料與該第二姿勢資料之間的一融合姿勢資料以決定該頭戴式裝置之該裝置姿勢。
  19. 如請求項11所述之頭戴式裝置追蹤系統，其中該處理單元計算該內往外座標系統與該外往內座標系統之間的該轉換關係之操作是透過：同步取得該第一姿勢資料與該第二姿勢資料的一對靜態資料；對齊該對靜態資料當中的該第一姿勢資料與該第二姿勢資料；以及根據對齊後的該對靜態資料當中的該第一姿勢資料與該第二姿勢資料，計算該內往外座標系統與該外往內座標系 統之間的一旋轉轉換矩陣以及該內往外座標系統與該外往內座標系統之間的一位置轉換矩陣。
  20. 如請求項11所述之頭戴式裝置追蹤系統，更包含：一手持式控制器，以該頭戴式裝置的視角追蹤一手持式控制器在該內往外座標系統中的一第四姿勢資料，該處理單元根據該轉換關係將該內往外座標系統中的該第四姿勢資料轉換為該外往內座標系統中的一第五姿勢資料，該處理單元套用該第五姿勢資料決定一控制器姿勢。
TW110132125A 2020-09-01 2021-08-30 頭戴式裝置追蹤方法與頭戴式裝置追蹤系統 TWI783655B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063072952P 2020-09-01 2020-09-01
US63/072,952 2020-09-01
US17/385,893 2021-07-26
US17/385,893 US11422619B2 (en) 2020-09-01 2021-07-26 Tracking method and tracking system

Publications (2)

Publication Number Publication Date
TW202210908A TW202210908A (zh) 2022-03-16
TWI783655B true TWI783655B (zh) 2022-11-11

Family

ID=80356795

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110132125A TWI783655B (zh) 2020-09-01 2021-08-30 頭戴式裝置追蹤方法與頭戴式裝置追蹤系統

Country Status (3)

Country Link
US (1) US11422619B2 (zh)
CN (1) CN114115521B (zh)
TW (1) TWI783655B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI866697B (zh) * 2023-10-06 2024-12-11 宏達國際電子股份有限公司 姿態校準方法、主機以及電腦可讀儲存媒體

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022202016A1 (ja) * 2021-03-26 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法、記憶媒体
US12045385B2 (en) * 2022-03-23 2024-07-23 Htc Corporation Wearable tracking system and wearable tracking method
US20240095942A1 (en) * 2022-09-15 2024-03-21 Htc Corporation Controller, control method, and wearable tracking system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105431763A (zh) * 2013-06-24 2016-03-23 微软技术许可有限责任公司 在佩戴移动设备时跟踪头部移动
US20160260251A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment Inc. Tracking System for Head Mounted Display
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor
US20180196507A1 (en) * 2017-01-09 2018-07-12 Samsung Display Co., Ltd. Head mounted display device and image correction method for the same
JP6408634B2 (ja) * 2013-06-09 2018-10-17 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイ
US20180341325A1 (en) * 2017-05-25 2018-11-29 Acer Incorporated Content-aware virtual reality systems and related methods
CN110047104A (zh) * 2017-12-26 2019-07-23 精工爱普生株式会社 对象检测和跟踪方法、头戴式显示装置和存储介质
CN110622107A (zh) * 2017-05-09 2019-12-27 微软技术许可有限责任公司 跟踪可穿戴设备和手持对象姿势

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9588593B2 (en) * 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures
US10365712B2 (en) * 2016-05-17 2019-07-30 Google Llc Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment
CN106484121A (zh) * 2016-11-14 2017-03-08 陈华丰 一种动作捕捉系统及方法
TWI653546B (zh) * 2017-06-07 2019-03-11 宏碁股份有限公司 具有外置追蹤及內置追蹤之虛擬實境系統及其控制方法
CN109814413A (zh) * 2017-11-21 2019-05-28 宏碁股份有限公司 头戴式显示设备、电子系统以及相关控制方法
WO2019143572A1 (en) * 2018-01-17 2019-07-25 Pcms Holdings, Inc. Method and system for ar and vr collaboration in shared spaces
CN108844529A (zh) * 2018-06-07 2018-11-20 青岛海信电器股份有限公司 确定姿态的方法、装置及智能设备
GB2582657B (en) * 2019-03-29 2021-09-15 Sony Interactive Entertainment Inc User tracking system using a camera mounted on the user and an external camera
US11138760B2 (en) * 2019-11-06 2021-10-05 Varjo Technologies Oy Display systems and methods for correcting drifts in camera poses

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6408634B2 (ja) * 2013-06-09 2018-10-17 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイ
CN105431763A (zh) * 2013-06-24 2016-03-23 微软技术许可有限责任公司 在佩戴移动设备时跟踪头部移动
US20160260251A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment Inc. Tracking System for Head Mounted Display
TW201633104A (zh) * 2015-03-06 2016-09-16 新力電腦娛樂股份有限公司 頭戴顯示器之追蹤系統
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor
US20180196507A1 (en) * 2017-01-09 2018-07-12 Samsung Display Co., Ltd. Head mounted display device and image correction method for the same
CN110622107A (zh) * 2017-05-09 2019-12-27 微软技术许可有限责任公司 跟踪可穿戴设备和手持对象姿势
US20180341325A1 (en) * 2017-05-25 2018-11-29 Acer Incorporated Content-aware virtual reality systems and related methods
CN110047104A (zh) * 2017-12-26 2019-07-23 精工爱普生株式会社 对象检测和跟踪方法、头戴式显示装置和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI866697B (zh) * 2023-10-06 2024-12-11 宏達國際電子股份有限公司 姿態校準方法、主機以及電腦可讀儲存媒體

Also Published As

Publication number Publication date
CN114115521A (zh) 2022-03-01
US20220066547A1 (en) 2022-03-03
US11422619B2 (en) 2022-08-23
CN114115521B (zh) 2023-08-29
TW202210908A (zh) 2022-03-16

Similar Documents

Publication Publication Date Title
TWI783655B (zh) 頭戴式裝置追蹤方法與頭戴式裝置追蹤系統
JP6304241B2 (ja) 表示制御装置、表示制御方法およびプログラム
TWI722280B (zh) 用於多個自由度之控制器追蹤
EP2691938B1 (en) Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
Maeda et al. Tracking of user position and orientation by stereo measurement of infrared markers and orientation sensing
US20210049360A1 (en) CONTROLLER GESTURES IN VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2017027206A (ja) 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
CN106304842A (zh) 用于定位和地图创建的增强现实系统和方法
CN104104862A (zh) 图像处理装置和图像处理方法
JP2015095147A (ja) 表示制御装置、表示制御方法、およびプログラム
JP2020047239A (ja) トラッキングシステム及びそのトラッキング方法
CN111947650A (zh) 基于光学追踪与惯性追踪的融合定位系统及方法
JP2004265222A (ja) インタフェース方法、装置、およびプログラム
WO2023051305A1 (zh) 一种智能设备控制方法、系统、电子设备及存储介质
CN114136306B (zh) 一种可拓展的基于uwb和摄像头的相对定位的设备和方法
US11494149B2 (en) Display system, information processing device, display control method of display system
WO2019130729A1 (ja) 情報処理装置、情報処理方法および情報処理システム
WO2017163648A1 (ja) 頭部装着装置
CN114549641B (zh) 一种人手-机器人接触状态检测系统及方法
Mitsugami et al. Robot navigation by eye pointing
JP2024163628A (ja) 情報処理システム
WO2023234824A1 (en) A virtual-reality interaction system
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230326056A1 (en) Information processing apparatus, information processing method, and program