TWI759670B

TWI759670B - 物體追蹤系統及物體追蹤方法

Info

Publication number: TWI759670B
Application number: TW108147557A
Authority: TW
Inventors: 陳遠東; 陳至謙; 石宜承; 周蘇剛; 林俊仲
Original assignee: 宏達國際電子股份有限公司
Priority date: 2018-12-26
Filing date: 2019-12-25
Publication date: 2022-04-01
Also published as: CN111383266B; US20200211207A1; DE102019135676A1; TW202029127A; DE102019135676B4; US10943358B2; CN111383266A

Abstract

一種物體追蹤方法包括：藉由一第一處理器在一搜尋階段(search stage)傳輸一搜尋訊息，搜尋資訊用以搜尋一物件；接收搜尋訊息並藉由一第二處理器判斷是否存在任何的至少一配件攝像機在該搜尋階段已拍到一物件影像；其中，當第二處理器判斷存在至少一配件攝像機在搜尋階段已拍到物件影像時，第二處理器傳送一通知訊息到第一處理器，且第一處理器進入一追蹤階段(tracking stage)並傳送一請求訊息到第二處理器；當第二處理器接收請求訊息後，第二處理器執行傳送物件影像到第一處理器，其中第一處理器依據物件影像計算一物件姿勢。

Description

物體追蹤系統及物體追蹤方法

本發明係有關於追蹤系統，特別是有關於一種物體追蹤系統及物體追蹤方法。

現有的基於攝像機的頭戴式顯示器（head-mounted display，HMD）具有固定數量的攝像機。例如，在基於攝像機的頭戴式顯示器的前中部可能有兩個攝像機，一個攝像機位於右側，而另一個攝像頭位於左側。固定數量的攝像機可以捕獲特定視角（例如水平視角）內的影像。

然而，固定數量的攝像機只能提供有限的視野，例如受限的垂直視野。這可能會限制控制器的追蹤區域，從而無法拍攝到基於攝像機的頭戴式顯示器上方和下方的區域。

因此，如何將至少一個攝像模組添加到像是基於攝像機的頭戴式顯示器的現有模組中，以擴充基於攝像頭的頭戴式顯示器的視野，已成為本領域有待解決的問題之一。

本發明實施例係提供一種物體追蹤系統，包括一頭戴式顯示器裝置以及一配件裝置。頭戴式顯示器裝置包括一第一處理器。第一處理器用以在一搜尋階段(search stage)傳輸一搜尋訊息，搜尋資訊用以搜尋一物件。配件裝置連接至該頭戴式顯示器裝置。配件裝置包括至少一配件攝像機以及一第二處理器。第二處理器連接至至少一配件攝像機。第二處理器用以接收搜尋訊息並判斷是否存在任何的至少一配件攝像機在搜尋階段已拍到一物件影像。其中，當第二處理器判斷存在至少一配件攝像機在搜尋階段已拍到物件影像時，第二處理器傳送一通知訊息到第一處理器，且第一處理器進入一追蹤階段(tracking stage)並傳送一請求訊息到第二處理器；當第二處理器接收請求訊息後，第二處理器執行以下操作之一者：傳送物件影像到第一處理器，其中第一處理器依據物件影像計算一物件姿勢；以及依據物件影像計算物件姿勢並傳送物件姿勢到第一處理器。

本發明實施例係提供一種物體追蹤方法，包括：藉由一第一處理器在一搜尋階段(search stage)傳輸一搜尋訊息，搜尋資訊用以搜尋一物件；接收搜尋訊息並藉由一第二處理器判斷是否存在任何的至少一配件攝像機在該搜尋階段已拍到一物件影像；其中，當第二處理器判斷存在至少一配件攝像機在搜尋階段已拍到物件影像時，第二處理器傳送一通知訊息到第一處理器，且第一處理器進入一追蹤階段(tracking stage)並傳送一請求訊息到第二處理器；當第二處理器接收請求訊息後，第二處理器執行以下操作之一者：傳送物件影像到第一處理器，其中第一處理器依據物件影像計算一物件姿勢；以及依據物件影像計算物件姿勢並傳送物件姿勢到第一處理器。

本發明實施例係提供一種物體追蹤系統及物體追蹤方法，提供了包含模組化的配件攝像機的一配件裝置。配件攝像機可依據不同需求插入或連接至頭戴式顯示器裝置。此外，配件裝置中的處理器可以協助頭戴式顯示器裝置進行搜尋及追蹤控制器。因此，物件追蹤系統及物件追蹤方法可以彈性地增加至少一相機模組(即配件攝像機)到一現有模組(即頭戴式顯示器裝置)，藉此擴充頭戴式顯示器裝置的視野。此外，物件追蹤區域(例如控制器追蹤區域)可以被擴大。

以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。

必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。

於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。

請參照第1~4A及4B圖，第1~2圖為根據本發明之一實施例繪示的一種物件追蹤系統100之示意圖。第3圖為根據本發明之一實施例繪示的一種掛載在(mounted on)物件追蹤系統100上的配件裝置的前視圖之示意圖。第4A圖為根據本發明之一實施例繪示的一種物件追蹤系統100之方塊圖。第4B圖為根據本發明之一實施例繪示的一種控制器CR之方塊圖。

於一實施例中，一使用者USR穿戴頭戴式顯示器裝置HMD以體驗虛擬實境。於一實施例中，頭戴式顯示器裝置HMD可以透過頭帶HB或頭盔以固定於使用者頭部。

於一實施例中，物件追蹤系統100包含一頭戴式顯示器裝置HMD及一配件裝置COV。配件裝置COV連接至頭戴式顯示器裝置HMD。於一實施例中，配件裝置COV可以是任何可穿戴的裝置，像是智慧手錶、攝像機模組、智慧手環、感測器模組、前蓋裝置等等。配件裝置COV包含至少一配件攝像機及一處理器。

於一實施例中，配件裝置COV為頭戴式顯示器裝置HMD的一前蓋裝置(如第1圖所示)。主要攝像機C0~C3包含一左側攝像機C2、一右側攝像機C3、一左前攝像機C0及一右前攝像機C1。至少一配件攝像機C4~C5包含一設置於前蓋裝置上側的攝像機C4及一設置於前蓋裝置下側的攝像機C5。

請參照第1及4A圖，於一實施例中，頭戴式顯示器裝置HMD包含一處理器P1及至少一主要攝像機C0~C3。每個主要攝像機C0~C3連接至處理器P1(如第4A圖所示)。於一實施例中，主要攝像機C0~C3為位於頭戴式顯示器裝置HMD上的一左側攝像機C2、一右側攝像機C3、一左前攝像機C0及一右前攝像機C1。為方便說明，以下實施例使用四個主要攝像機C0~C3為例。然而，本領域具通常知識者應能理解本發明不限於初始設置四個攝像機在頭戴式顯示器裝置HMD中。

於一實施例中，配件裝置COV包含處理器P2及至少一配件攝像機C4~C5(例如配件攝像機C4)。每個配件攝像機C4~C5連接至處理器P2(如第4A圖所示)。於一實施例中，配件裝置COV可以是一個與處理器P2連接的包含有嵌入式配件攝像機C4~C5的殼體(cover)。於一實施例中，配件攝像機C4~C5的其中一者(例如配件攝像機C4)設置於配件裝置COV的上側，另一個配件攝像機(例如配件攝像機C5)設置於配件裝置COV的下側。為方便說明，以下實施例使用兩個配件攝像機C4~C5為例。然而，本領域具通常知識者應能理解本發明不限於設置兩個配件攝像機C4~C5中於配件裝置COV。

於一實施例中，配件攝像機C4~C5可以是組裝或嵌入到配件裝置COV的攝像機模組。

於一實施例中，配件裝置COV包含孔洞H1及H0。孔洞H1的位置對應到主要攝像機C1的位置。孔洞H0的位置對應到主要攝像機C0的位置。

於一實施例中，處理器P1及/或處理器P2可以是任何具有運算功能的電子裝置。處理器P1及/或處理器P2可以由積體電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路來實施。

於一實施例中，主要攝像機C0~C3及配件攝像機C4~C5可以由包含電荷耦合裝置(charge coupled device，CCD)或互補金屬氧化物半導體(complementary metal-oxide semiconductor，COMS)的攝像機模組以實現之。

於一實施例中，配件裝置COV以有線或無線方式連接至頭戴式顯示器裝置HMD。例如，配件裝置COV可以透過序列周邊介面(serial peripheral interface，SPI)插入(plugged-in)頭戴式顯示器裝置HMD。藉此，在配件裝置COV連接到頭戴式顯示器裝置HMD後(如第2圖所示)，處理器P1、P2之間的資訊可以交換。

於一實施例中，如第3圖所示，當配件裝置COV連接到頭戴式顯示器裝置HMD後，配件攝像機C4的位置會在高於左前攝像機C0及右前攝像機C1處，配件攝像機C5的位置會在低於左前攝像機C0及右前攝像機C1處。

於一實施例中，配件攝像機C4~C5選擇性的配置於不同的位置以擴充頭戴式顯示器裝置HMD的視野(field of view，FOV)。處理器P1可以從配件攝像機(例如配件攝像機C5)取得一物件影像(例如一控制器影像)或是主要攝像機(例如主要攝像機C0)。

換句話說，配件裝置COV可以被視為包含上側與下側配件攝像機C4~C5的一前蓋裝置。如第2圖所示，配件裝置COV可以被插入(plugged-in)頭戴式顯示器裝置HMD。藉由插入式配件攝像機C4-C5的輔助，可以擴大垂直視野（例如，提升至220度）。因此，物件追蹤範圍可以藉由加入配件攝像機C4~C5被擴充。為方便說明，以下實施例使用控制器CR作為物件的例子。然而，本領域具通常知識者應能理解本發明不限於追蹤控制器CR。

於一實施例中，如第4B圖所示，控制器CR包含一或多個發光二極體(light-emitting diodes，LEDs)40。處理器P1或處理器P2依據物件影像(例如控制器影像)中多個發光二極體40的相對位置，計算物件姿勢(例如，控制器姿勢)。於一實施例中，此些攝像機C0~C5可以一幀一幀地捕捉此些發光二極體40的影像。

於一實施例中，物件影像是一物件的影像。此外，物件影像可以僅包含物件之可辨識特徵的部分影像。可辨識特徵例如為光球、發光二極體40或其他特殊圖騰。

於一實施例中，發光二極體40被排列成一圖騰(如第7圖所示)。處理器P1或P2可以透過圖騰中每條線段的距離，以判斷頭戴式顯示器裝置HMD與控制器CR之間的距離。

於一實施例中，發光二極體40被排列成一圖騰。處理器P1或P2可以透過圖騰的旋轉角度，以判斷控制器姿勢。處理器P1或P2可以應用已知的演算法以計算物件姿勢(例如控制器姿勢)。

於一實施例中，物件姿勢是物件的姿勢。物件姿勢包含物件之角度及座標的相關資訊。例如，處理器P1或處理器P2可以依據控制器影像中的圖騰(例如透過圖騰中的線段位置)，以定義控制器CR在三維真實空間的旋轉角度、X軸、Y軸及Z軸之絕對座標及頭戴式顯示器裝置HMD的位置。然後，處理器P1或處理器P2可以追蹤控制器CR在X軸、Y軸及Z軸之絕對座標上的移動及控制器CR的旋轉角度，藉以計算出控制器CR與頭戴式顯示器裝置HMD於虛擬實境中的相對位置。然而，本領域具通常知識者應可理解本發明不限於追蹤包含發光二極體40的控制器CR，也不限於使用上述方法。此外，處理器P1或處理器P2可以使用不同的追蹤演算法以追蹤不同的物件。

請參照第5~8圖，第5圖為根據本發明之一實施例繪示的一種用於開啟配件裝置電源的方法500之流程圖。第6圖為根據本發明之一實施例繪示的一種物件追蹤方法600之流程圖。第7圖為根據本發明之一實施例繪示的追蹤物件之示意圖。第8圖為根據本發明之一實施例繪示的一種物件追蹤方法800之流程圖。

於一實施例中，物件追蹤方法600及/或物件追蹤方法800可以應用於追蹤多個物件。為使方便敘述，以下使用控制器CR為例進行說明。

請參閱第5圖，於步驟510中，頭戴式顯示器裝置HMD偵測是否配件裝置COV被插入頭戴式顯示器裝置HMD中。如果頭戴式顯示器裝置HMD偵測到配件裝置COV被插入頭戴式顯示器裝置HMD中，則進入步驟520。如果頭戴式顯示器裝置HMD偵測到配件裝置COV沒有被插入頭戴式顯示器裝置HMD中，則再次進入步驟510。於步驟520中，頭戴式顯示器裝置HMD提供電源給配件裝置COV。因此，配件裝置COV於步驟520中被開啟電源(power -on)。藉此，配件裝置COV的電源由頭戴式顯示器裝置HMD提供。一旦配件裝置COV被插入頭戴式顯示器裝置HMD中，配件裝置COV進入開啟電源模式。

請參閱第6圖，物件追蹤方法600是由頭戴式顯示器裝置HMD中的處理器P1及配件裝置COV中的處理器P2所執行。

於步驟610中，處理器P1進入搜尋階段(search stage)以搜尋一物件影像(例如控制器CR的影像)。

於一實施例中，處理器P1判斷是否存在任何的至少一主要攝像機C0~C3在搜尋階段已拍到物件影像。

於步驟620，處理器P1傳送一搜尋訊息，搜尋資訊用於在搜尋階段搜尋一物件。

於步驟630，處理器P2接收搜尋訊息。

於一實施例中，處理器P2接收搜尋訊息並執行一搜尋演算法。搜尋演算法用以搜尋物件影像，搜尋演算法可以應用已知的搜尋演算法，例如感知雜湊演算法、特徵匹配演算法…等等。

於一實施例中，處理器P1於一主要攝像機C0~C3所拍攝到的影像上執行搜尋演算法，處理器P2於一配件攝像機C4~C5所拍攝到的影像上執行搜尋演算法，以判斷是否物件影像已在搜尋階段被拍攝到。

於一實施例中，物件影像可以是包含控制器影像的一影像。

於一實施例中，處理器P1檢查所有主要攝像機C0~C3所拍攝到的影像，以尋找物件影像。

於一實施例中，處理器P2檢查所有配件攝像機C4~C5所拍攝到的影像，以尋找物件影像。例如，在配件攝像機C4~C5所拍攝到的影像中，處理器P2比對每張影像的何者部分相似於一控制器CR，以尋找控制器影像。

於步驟640中，處理器P2判斷是否存在任何的至少一配件攝像機C4~C5已拍到一物件影像。

於一實施例中，處理器P2判斷連接到處理器P2的至少一配件攝像機C4~C5是否在搜尋階段已拍到一物件影像。若處理器P2判斷至少一配件攝像機C4~C5在搜尋階段已拍到物件影像，則執行步驟650。

於步驟650中，處理器P2傳送通知訊息至處理器P1。

於一實施例中，通知訊息包含一攝像機訊息。攝像機訊息代表一特定配件攝像機(例如配件攝像機C5)已拍攝到該物件影像。由於處理器P1已取得攝像機訊息，則進入步驟660。

於步驟660中，處理器P1進入一追蹤階段。

於一實施例中，處理器P1在追蹤階段持續地依據由特定配件攝像機(例如配件攝像機C5)拍攝到的物件影像追蹤或計算物件姿勢。因此，處理器P1需要通知配件裝置COV提供物件影像。

於一實施例中，當物件正由攝像機C0~C5其中一者的視野(例如配件攝像機C4的視野)移動到另一個攝像機的視野(例如配件攝像機C5的視野)時，處理器P2傳送一換手訊息到頭戴式顯示器裝置HMD。換手訊息代表另一個特定配件攝像機(例如配件攝像機C5)拍攝到該物件影像，且處理器P1執行一換手程序(handover process)，以在追蹤階段持續地追蹤或計算由另一特定配件攝像機(例如配件攝像機C5)拍攝到的物件影像的物件姿勢。例如第7圖所示，當控制器CR從頭戴式顯示器裝置HMD的下方往上方移動時(即，如箭號所示意的，控制器CR由下往上移動時)，控制器影像初始時是由攝像機C5所拍攝，移動後改變成由攝像機C4所拍攝，處理器P1執行換手程序，以在追蹤階段持續地追蹤或計算由攝像機C4所拍攝到的物件影像的物件姿勢。

於步驟670中，處理器P1傳送一請求訊息到處理器P2。於一實施例中，處理器傳送一請求訊息到處理器P2以請求配件裝置COV提供物件影像或更多的物件影像。

於步驟680中，當處理器P2接收請求訊息後，處理器P2準備將要傳送的物件影像。

於一實施例中，請求訊息包含一裁剪指令(crop command)，且當處理器P2接收請求資訊後，處理器P2裁剪物件影像，以取得物件影像的一部分影像(例如，從整張物件影像中，萃取/裁剪出控制器影像的部份)，此部分影像仍包含物件的影像，處理器P2傳送部分影像(例如，控制器影像部分)到處理器P1，且處理器P1依據部分影像計算物件姿勢。例如，整個物件影像為640*480像素，處理器P2從整個物件影像中剪裁出控制器影像部分(例如為60*40像素)。藉由剪裁物件部分，可以降低執行步驟690時的傳輸量。

於一實施例中，部分影像可以只包含物件的部分可辨識特徵。例如，部分影像可以只包括一光球、一些發光二極體40或部分特殊圖騰，無須是完整的控制器CR之影像。

換言之，一旦找到控制器影像，搜尋階段改變成追蹤階段，頭戴式顯示器裝置HMD的處理器P1將會傳送裁剪指令到處理器P2，以請求提供物件影像。進一步地，裁剪指令代表配件裝置COV只傳送包含控制器影像(即控制器圖樣)的物件影像區域，並非傳送整張物件影像。此技術可以提升影像資料傳輸的立即性。

於步驟690中，處理器P2傳輸物件影像到處理器P1。

於一實施例中，一旦一配件攝像機(例如配件攝像機C5)拍攝到物件影像，處理器P2傳送物件影像到頭戴式顯示器裝置HMD中的一緩衝器(例如RAM)。處理器P1可以由緩衝器中取得物件影像。

於步驟695中，處理器P1依據物件影像追蹤或計算物件姿勢。

於一實施例中，在處理器P1接收到一或多張物件影像後，處理器P1依據物件影像追蹤或計算物件姿勢。

於一實施例中，如果處理器P1沒有持續地取得物件影像，處理器P1再次進入搜尋階段(步驟610)。例如，當處理器P1追丟了物件，則處理器P1進入搜尋階段。然後，所有主要攝像機C0~C3及/或所有配件攝像機C4~C5再次搜尋物件影像。

於一實施例中，搜尋階段用以使用多個或所有攝像機C0~C5以尋找何者攝像機拍攝到物件影像。進一步而言，搜尋階段用以尋找物件影像出現在整個視野中的何者部分。

例如，在控制器CR先離開視野後，然後控制器CR再次進入視野，處理器P1進入搜尋階段，以找出何者特定攝像機拍攝到控制器影像。

於另一例中，在搜尋階段中，若處理器P1得知控制器CR正要從視野的下方移動到視野之外，處理器P1會預測控制器CR將會從視野的下方跑回視野之內。因此，處理器P1增加配件攝像機C5之搜尋權重的優先等級。然而，處理器O1仍會搜尋所有攝像機C0~C5以尋找控制器影像。

於一實施例中，在搜尋階段時，找到特定攝像機(例如配件攝像機C5)拍攝到物件影像後，追蹤階段用以依據特定攝像機例如配件攝像機C5所拍攝到的影像精確地追蹤物件姿勢。在追蹤階段時，其他攝像機(例如攝像機C0~C4)會持續地拍攝影像，但此些影像不會被儲存到暫存器，也不會用來作進一步的計算。

因此，藉由應用擴充攝像機的概念，至少一配件裝置COV可以被掛載或連接至頭戴式顯示器裝置HMD中。配件裝置COV連接至頭戴式顯示器裝置HMD的方法並不限於本發明所述。

第8圖為根據本發明之一實施例繪示的一種物件追蹤方法800之流程圖。步驟610~660分別與步驟810~860相同。因此，以下描述步驟870~890。

第6圖及第8圖所提及的物件影像是由至少一插入式配件攝像機C4-C5拍攝。不同之處在於，在第6圖中，物件姿勢是由處理器P1計算，在第8圖中，物件姿勢是由處理器P2計算。在步驟870中，處理器P1傳送請求資訊到處理器P2。

於一實施例中，處理器P1傳送請求資訊到處理器P2，以請求配件裝置COV依據一或多個物件影像提供物件姿勢。

例如，一旦找到控制器影像，由搜尋階段改為追蹤階段，頭戴式顯示器裝置HMD的處理器P1將會傳送追蹤指令到處理器P2以請求提供控制器姿勢。

於步驟880，當處理器220接收請求資訊後，處理器P2依據一或多個物件影像計算物件姿勢。

當處理器P2有較佳的運算能力時，處理器P2可以依據一或多個物件影像計算物件姿勢。

於步驟890，處理器P2傳送物件姿勢到處理器P1。

於一實施例中，一旦一配件攝像機(例如配件攝像機C5)拍攝到物件影像，處理器P2傳送物件姿勢到頭戴式顯示器裝置HMD中的一緩衝器(例如RAM)。處理器P1可以從緩衝器中取得物件姿勢。

例如，處理器P2依據控制器影像中的圖騰及頭戴式顯示器裝置HMD的位置，定義控制器CR在三維真實空間的旋轉角度、X軸、Y軸及Z軸之絕對座標。

於步驟895中，處理器P1使用來自處理器P2的物件姿勢或是處理器P1依據至少一主要攝像機C0~C3所拍攝的物件影像計算物件姿勢。

例如，處理器P1追蹤控制器CR在X軸、Y軸及Z軸之絕對座標上的移動及控制器CR的旋轉角度，藉以計算出控制器CR與頭戴式顯示器裝置HMD於虛擬實境中的相對位置。

於一實施例中，若至少一主要攝像機C0~C3拍攝到物件影像，處理器P1依據至少一主要攝像機C0~C3所拍攝的物件影像計算物件姿勢。若至少一配件攝像機C4~C5拍攝到物件影像，處理器P1或處理器P2依據至少一配件攝像機C4~C5(藉由物件追蹤方法600或800)所拍攝的物件影像計算物件姿勢。

於一實施例中，若至少一主要攝像機C0~C3及至少一配件攝像機C4~C5都拍攝到物件影像，處理器P1或處理器P2分別依據物件影像計算物件姿勢。此外，處理器P2傳送處理器P2所計算出來的物件姿勢到處理器P1，然後，處理器P1依據處理器P2所計算出來的物件姿勢及處理器P1所計算出來的物件姿勢產生一融合姿勢(fusion pose)。

本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100:物件追蹤系統 USR:使用者 HB:頭帶 HMD:頭戴式顯示器裝置 C0~C5:攝像機 H0、H1: 孔洞 COV:配件裝置 P1、P2:處理器 CR:控制器 500:用於開啟配件裝置電源的方法 510~520、610~695、810~895:步驟 600、800:物件追蹤方法

第1圖為根據本發明之一實施例繪示的一種物件追蹤系統之示意圖。第2圖為根據本發明之一實施例繪示的一種物件追蹤系統之示意圖。第3圖為根據本發明之一實施例繪示的一種掛載在物件追蹤系統上的配件裝置的前視圖之示意圖。第4A圖為根據本發明之一實施例繪示的一種物件追蹤系統之方塊圖。第4B圖為根據本發明之一實施例繪示的一種控制器之方塊圖。第5圖為根據本發明之一實施例繪示的一種用於開啟配件裝置電源的方法之流程圖。第6圖為根據本發明之一實施例繪示的一種物件追蹤方法之流程圖。第7圖為根據本發明之一實施例繪示的追蹤物件之示意圖。第8圖為根據本發明之一實施例繪示的一種物件追蹤方法之流程圖。

100:物件追蹤系統

COV:配件裝置

H0、H1:孔洞

C0~C5:攝像機

HMD:頭戴式顯示器裝置

USR:使用者

HB:頭帶

Claims

一種物體追蹤系統，包括：一頭戴式顯示器裝置，包括：至少一主要攝像機；以及一第一處理器，用以在一搜尋階段(search stage)傳送一搜尋訊息，該搜尋訊息用於搜尋一物件，該第一處理器還判斷是否存在任何的該至少一主要攝像機在該搜尋階段已拍到一物件影像；以及一配件裝置，連接至該頭戴式顯示器裝置，該配件裝置包括：至少一配件攝像機；以及一第二處理器，連接至該至少一配件攝像機，該第二處理器用以接收該搜尋訊息並判斷是否存在任何的該至少一配件攝像機在該搜尋階段已拍到該物件影像；其中，當該第二處理器判斷存在該至少一配件攝像機在該搜尋階段已拍到該物件影像時，該第二處理器傳送一通知訊息到該第一處理器，且該第一處理器進入一追蹤階段(tracking stage)並傳送一請求訊息到該第二處理器；當該第二處理器接收該請求訊息後，該第二處理器執行以下操作之一者：傳送該物件影像到該第一處理器；以及依據該物件影像計算一物件姿勢並傳送該物件姿勢到該第一處理器；其中，該第一處理器依據該至少一主要攝像機所拍到的該物件影像或該第二處理器所傳送的該物件影像，來計算該物件姿勢。
如申請專利範圍第1項所述之物體追蹤系統，其中，該通知訊息包含一攝像機訊息，該攝像機訊息代表一特定配件攝像機已拍攝到該物件影像，及該第一處理器在該追蹤階段持續地依據由該特定配件攝像機拍攝到的該物件影像追蹤或計算該物件姿勢。
如申請專利範圍第1項所述之物體追蹤系統，其中，該第二處理器傳送一換手訊息到該頭戴式顯示器裝置，且該換手訊息代表另一個特定配件攝像機拍攝到該物件影像，且該第一處理器執行一換手程序(handover process)，以在該追蹤階段持續地追蹤或計算由該另一特定配件攝像機拍攝到的該物件影像的該物件姿勢。
如申請專利範圍第1項所述之物體追蹤系統，其中，該請求訊息包含一裁剪指令(crop command)，且當該第二處理器接收該請求資訊後，該第二處理器裁剪該物件影像，以取得該物件影像的一部分影像，該部分影像仍包含該物件，該第二處理器傳送該部分影像到該第一處理器，且該第一處理器依據該部分影像計算該物件姿勢。
如申請專利範圍第1項所述之物體追蹤系統，其中，該配件裝置為該頭戴式顯示器裝置的一前蓋裝置，該前蓋裝置包含複數個主要攝像機，該些主要攝像機包含一左側攝像機、一右側攝像機、一左前攝像機及一右前攝像機，且該至少一配件攝像機包含一設置於該前蓋裝置上側的攝像機及一設置於該前蓋裝置下側的攝像機。
一種物體追蹤方法，包括：藉由一第一處理器在一搜尋階段(search stage)傳送一搜尋訊息，該搜尋訊息用於搜尋一物件，該第一處理器還判斷是否存在任何的至少一主要攝像機在該搜尋階段已拍到一物件影像；接收該搜尋訊息並藉由一第二處理器判斷是否存在任何的至少一配件攝像機在該搜尋階段已拍到該物件影像；其中，當該第二處理器判斷存在該至少一配件攝像機在該搜尋階段已拍到該物件影像時，該第二處理器傳送一通知訊息到該第一處理器，且該第一處理器進入一追蹤階段(tracking stage)並傳送一請求訊息到該第二處理器；當該第二處理器接收該請求訊息後，該第二處理器執行以下操作之一者：傳送該物件影像到該第一處理器；以及依據該物件影像計算該物件姿勢並傳送一物件姿勢到該第一處理器；其中，該第一處理器依據該至少一主要攝像機所拍到的該物件影像或該第二處理器所傳送的該物件影像，來計算該物件姿勢。
如申請專利範圍第6項所述之物體追蹤方法，其中，該通知訊息包含一攝像機訊息，該攝像機訊息代表一特定配件攝像機已拍攝到該物件影像，及該第一處理器在該追蹤階段持續地依據由該特定配件攝像機拍攝到的該物件影像追蹤或計算該物件姿勢。
如申請專利範圍第6項所述之物體追蹤方法，其中，該第二處理器傳送一換手訊息到一頭戴式顯示器裝置，且該換手訊息代表另一個特定配件攝像機拍攝到該物件影像，且該第一處理器執行一換手程序(handover process)，以在該追蹤階段持續地追蹤或計算由該另一特定配件攝像機拍攝到的該物件影像的該物件姿勢。
如申請專利範圍第6項所述之物體追蹤方法，其中該請求訊息包含一裁剪指令(crop command)，且當該第二處理器接收該請求資訊後，該第二處理器裁剪該物件影像，以取得該物件影像的一部分影像，該部分影像仍包含該物件，該第二處理器傳送該部分影像到該第一處理器，且該第一處理器依據該部分影像計算該物件姿勢。
如申請專利範圍第6項所述之物體追蹤方法，其中該配件裝置為該頭戴式顯示器裝置的一前蓋裝置，該前蓋裝置包含複數個主要攝像機，該些主要攝像機包含一左側攝像機、一右側攝像機、一左前攝像機及一右前攝像機，且該至少一配件攝像機包含一設置於該前蓋裝置上側的攝像機及一設置於該前蓋裝置下側的攝像機。