TW201837861A

TW201837861A - 深度處理系統

Info

Publication number: TW201837861A
Application number: TW107112311A
Authority: TW
Inventors: 李季峰
Original assignee: 鈺立微電子股份有限公司
Priority date: 2017-04-10
Filing date: 2018-04-10
Publication date: 2018-10-16
Also published as: US20180295338A1; TWI672674B; CN108881885A

Abstract

深度處理系統包含複數個深度擷取裝置及主機。複數個深度擷取裝置是散佈於特定區域設置，且每一深度擷取裝置根據自身之對應角度產生特定區域之深度資訊。主機根據各深度擷取裝置之相對空間狀態融合複數個深度擷取裝置所產生的複數個深度資訊以產生對應於該特定區域之三維點雲。

Description

深度處理系統

本發明是有關於一種深度處理系統，特別是一種能夠從多個角度擷取深度資訊的深度處理系統。

隨著使用者對於電子裝置的各種應用需求增加，利用深度處理器來取得外部物體的深度資訊也成為了許多電子裝置所需的功能。舉例來說，在電子裝置透過深度處理器取得了外部物體的深度資訊，亦即外部物體與電子裝置之間的距離後，電子裝置就能夠進一步根據深度資訊達到物體辨識、影像合成等各種不同的應用。目前常見的深度處理器可能是透過雙眼視覺、偵測結構光及飛時測距法(Time of Flight，ToF)等方式來取得外部物體的深度資訊。

然而在先前技術中，由於深度處理器只能夠以單一角度取得相對於該電子裝置的深度資訊，因此常常產生死角，而難以掌握外部物體的實際狀況。此外，由於電子裝置根據自身的深度處理器所產生深度資訊只能夠代表自身觀察的結果，因此也無法與其他的電子裝置共用。也就是說，為了能夠取得深度資訊，每台電子裝置都必須自身搭載對應的深度處理器。如此一來，不僅資源難以共用整合，也增加電子裝置在設計上的複雜度。

本發明之一實施例提供一種深度處理系統。深度處理系統包含複數個深度擷取裝置及主機。

複數個深度擷取裝置散布著特定區域設置，且每一深度擷取裝置根據自身之對應角度產生特定區域之深度資訊。主機根據各深度擷取裝置之相對空間狀態融合複數個深度擷取裝置所產生的複數個深度資訊以產生對應特定區域之三維點雲(point cloud)。

本發明之另一實施例提供一種深度處理系統。深度處理系統包含複數個深度擷取裝置及主機。

複數個深度擷取裝置散布著特定區域設置，且每一深度擷取裝置根據自身之對應角度產生特定區域之深度資訊。主機控制深度擷取裝置擷取深度資訊的擷取時點，以及根據深度擷取裝置的相對空間狀態，融合深度資訊以產生對應於特定區域之三維點雲(point cloud)。

第1圖為本發明一實施例之深度處理系統100的示意圖。深度處理系統100包含主機110及複數個深度擷取裝置1201至120N，其中N為大於1的整數。

深度擷取裝置1201至120N可散佈於特定區域CR設置，且每一深度擷取裝置1201至120N皆可根據自身的對應角度產生特定區域CR的深度資訊。在本發明的部分實施例中，深度擷取裝置1201至120N可分別利用相同或相異的方式，例如雙眼視覺、偵測結構光及飛時測距法(Time of Flight，ToF)…等方式，來取得特定區域CR在不同角度上的深度資訊。主機110則能夠根據深度擷取裝置1201至120N所在的位置及擷取角度，將深度擷取裝置1201至120N所產生的深度資訊轉換至相同的空間座標體系，進而將深度擷取裝置1201至120N所產生的深度資訊融合以產生對應於特定區域CR的三維點雲(point cloud)以提供對應於特定區域CR的完整三維環境資訊。

在本發明的部分實施例中，深度擷取裝置1201至120N所裝設的位置、拍攝角度、焦距、解析度等參數在設計時即可先行決定，因此這些參數可事先儲存於主機110中，以便主機110能夠有效合理地組合深度擷取裝置1201至120N所取得之深度資訊。此外，由於在實際裝設深度擷取裝置1201至120N時，裝設的位置或角度都可能有所差異，因此主機110可以執行校正功能，以對深度擷取裝置1201至120N的各項參數進行校正，確保深度擷取裝置1201至120N所取得之深度資訊能夠對應地融合。在本發明的部分實施例中，深度資訊可能會包含色彩資訊。

此外，特定區域CR的物體可能處於運動的狀態，因此主機110必須利用深度擷取裝置1201至120N在相近的時間點上所產生的深度資訊才能夠產生正確的三維點雲。為了讓深度擷取裝置1201至120N能夠同步產生深度資訊，主機110可以執行同步功能。

當主機110執行同步功能時，主機110可例如先送出第一同步訊號SIG1至深度擷取裝置1201至120N。在本發明的部分實施例中，主機110可透過有線、無線或結合兩者的方式傳送第一同步訊號SIG1至深度擷取裝置1201至120N。深度擷取裝置1201至120N在接收到第一同步訊號SIG1後，會分別產生各自的第一深度資訊DA1至DAN，並將擷取第一深度資訊DA1至DAN的第一擷取時點TA1至TAN及第一深度資訊DA1至DAN傳送至主機110。

由於深度擷取裝置1201至120N從擷取資訊到完成產生深度資訊的過程所需要花費的時間可能各不相同，因此為了確保同步功能可以有效地讓深度擷取裝置1201至120N產生同步的深度資訊，在此實施例中，第一深度資訊DA1至DAN的第一擷取時點TA1至TAN可為第一深度資訊DA1至DAN實際上被擷取的時間，而非其產出的時間。

此外，由於每一個深度擷取裝置1201至120N與主機110之間的通訊路徑可能長短不同，物理條件也有所差異，且內部的處理速度亦不同，因此每一個深度擷取裝置1201至120N接收到第一同步訊號SIG1的時間以及擷取第一深度資訊DA1至DAN的時間也可能不同，而後將深度資訊DA1至DAN及與之對應的第一擷取時點TA1至TAN等資訊回傳到主機110的時間也可能不同。在本發明的部分實施例中，主機110在接收到第一深度資訊DA1至DAN及第一擷取時點TA1至TAN之後，會根據第一擷取時點TA1至TAN整理排序出各個深度擷取裝置1201至120N擷取第一深度資訊DA1至DAN的第一擷取時點TA1至TAN，並根據每一深度擷取裝置1201至120N擷取第一深度資訊DA1至DAN之第一擷取時點TA1至TAN產生對應於每一深度擷取裝置1201至120N之調整時間，而每一深度擷取裝置1201至120N在下一次接收到同步訊號時，便可據其所對應的調整時間來調整擷取深度資訊的時點。

第2圖為深度擷取裝置1201至120N之第一擷取時點TA1至TAN的時序圖。在第2圖中，深度擷取裝置1201擷取第一深度資訊DA1的第一擷取時點TA1是所有第一擷取時點TA1至TAN中最早的，而深度擷取裝置120n擷取第一深度資訊DAn的第一擷取時點TAn是所有第一擷取時點TA1至TAN中最晚的，其中N≧n＞1。為了避免每個深度擷取裝置1201至120N擷取深度資訊的時間差異過大，導致其所產生的深度資訊無法合理組合，主機110可以將最晚的第一擷取時點TAn作為標準，要求在第一擷取時點TAn之前就擷取深度資訊的深度擷取裝置在下次擷取深度資訊時，延後擷取深度資訊的時間。舉例來說，在第2圖中，第一擷取時點TA1與第一擷取時點TAn之間可能差了1.5毫秒，因此主機110可以依此設定深度擷取裝置1201所對應的調整時間，例如為1毫秒。如此一來，下次當主機110傳送第二同步訊號至深度擷取裝置1201時，深度擷取裝置1201便可根據主機110所設定的調整時間來決定擷取第二深度資訊的擷取時點。

第3圖為深度擷取裝置1201至120N在接收到第二同步訊號後，擷取第二深度資訊DB1至DBN的第二擷取時點TB1至TBN的時序圖。在第3圖中，深度擷取裝置1201會在接收到第二同步訊號後，延遲1毫秒才擷取第二深度資訊DB1，因此深度擷取裝置1201擷取第二深度資訊DB1的第二擷取時點TB1與深度擷取裝置120n擷取第二深度資訊DBn的第二擷取時點TBn之間的差距就能夠縮小。在本發明的部分實施例中，主機110可以例如但不限於透過控制深度擷取裝置1201至120N中影像感測器的時脈調整頻率或垂直同步訊號(v-blank)來延遲深度擷取裝置1201至120N擷取深度資訊的時間。

相似地，主機110也會根據深度擷取裝置1202至120N之第一擷取時點TA2至TAN的早晚程度來設定對應的調整時間，因此在第3圖中，深度擷取裝置1201至120N的第二擷取時間TB1至TBN整體上會較第2圖中深度擷取裝置1201至120N的第一擷取時間TA1至TAN更加集中，如此一來，深度擷取裝置1201至120N擷取深度資訊的時間就能夠趨於同步。

此外，由於深度擷取裝置1201至120N的外在環境和內部狀態都可能隨時間而有所變化，例如每個深度擷取裝置1201至120N內部的時脈訊號可能有不同的偏移狀況，因此在本發明的部分實施例中，主機110會持續地執行同步功能，以確保深度擷取裝置1201至120N能夠產生同步的深度資訊。

在本發明的其他實施例中，主機110也可利用其他的方式來執行同步功能。舉例來說，主機110可持續送出一系列的計時訊號至深度擷取裝置1201至120N。主機110送出的系列計時訊號可例如包含不斷更新之當下的時間資訊，亦即主機110可以持續送出報時訊號，因此深度擷取裝置1201至120N在擷取深度資訊時，便可根據擷取深度資訊時所接收到的計時訊號來記錄其擷取時點，並將擷取時點及深度資訊傳送至主機110。由於各裝置距離差異可能過大，導致各裝置接受到報時訊號所需時間不同，且傳送深度與時間資訊到主機的時間點亦不同，主機110可根據各裝置傳輸的時間差進行調整後並將深度擷取裝置1201至120N擷取深度資訊的擷取時點進行排序，例如第2圖所示。為了避免深度擷取裝置1201至120N擷取深度資訊的時間差異過大，導致其所產生的深度資訊無法合理組合，主機110可以根據每一深度擷取裝置1201至120N擷取深度資訊之擷取時點TA1至TAN產生對應於每一深度擷取裝置1201至120N的調整時間，而每一深度擷取裝置1201至120N則可根據對應的調整時間調整擷取深度資訊的頻率或延遲時間。

舉例來說，在第2圖中，主機110可將最晚的第一擷取時點TAn作為標準，要求在第一擷取時點TAn之前就擷取深度資訊的深度擷取裝置減緩擷取深度資訊的頻率或增加延遲時間，例如使深度擷取裝置1201減緩擷取深度資訊的頻率或增加延遲時間。如此一來，就能夠使深度擷取裝置1201至120N擷取深度資訊的時點趨於同步。

雖然在上述的實施例中，主機110是以最晚的第一擷取時點TAn為基準來延遲其他深度擷取裝置的擷取時點，然而本發明並不以此為限。在系統允許的情況下，主機110也可能要求深度擷取裝置120n提前擷取深度資訊的時間點或加快擷取深度資訊的頻率，來配合其他的深度擷取裝置。

此外，在本發明的部分實施例中，主機110所設定的調整時間主要是用來調整深度擷取裝置1201至120N擷取外部資訊以產生深度資訊的時間點，至於深度擷取裝置1201至120N若利用到雙眼視覺而需同步擷取左右眼影像的狀況，則會由深度擷取裝置1201至120N內部的時脈控制訊號自行控制並達到同步。

如同前述，主機110可能會在不同的接收時點接收深度擷取裝置1201至120N所產生的深度資訊。在此情況下，為了確保深度擷取裝置1201至120N可以持續地產生同步的深度資訊以提供即時的三維點雲，主機110可以設定三維點雲的掃描週期，使得深度擷取裝置1201至120N能夠週期性地產生同步的深度資訊。在本發明的部分實施例中，主機110可根據接收深度擷取裝置1201至120N所產生之深度資訊的N個接收時點中，最晚的接收時點來設定深度擷取裝置1201至120N的掃描週期。也就是說，主機110可以將深度擷取裝置1201至120N中所需傳送時間最久的深度擷取裝置作為標準，並根據其所需的傳送時間來設定掃描週期。如此一來，就能夠確保在每個掃描週期內，所有的深度擷取裝置1201至120N都能夠及時產生並傳送對應的深度資訊至主機110。

此外，為了避免有部分深度擷取裝置故障，導致深度處理系統100完全停擺，在本發明的部分實施例中，主機110送出同步訊號之後，倘若在掃描週期結束後的緩衝時間內仍未收到部分深度擷取裝置傳來之訊號時，主機110便可判斷部分深度擷取裝置落幀(drop frame)，並可繼續進行下一個掃描週期使得其他深度擷取裝置繼續產生深度資訊。

舉例來說，深度處理系統100的掃描週期可例如為10毫秒而緩衝時間為2毫秒，則在主機110送出同步訊號之後，倘若在12毫秒內都未接收到深度擷取裝置1201所產生的深度資訊，主機110將判斷深度擷取裝置1201落幀，並會繼續下一個週期，而不會無止境地等待空轉。

在第1圖中，深度擷取裝置1201至120N可能會根據不同的方式來產生深度資訊，例如可能有部分的深度擷取裝置可以在環境光源或物體紋理不足的情況下，利用結構光來增進深度資訊的精確度。舉例來說，在第1圖中，深度擷取裝置1203及1204可利用雙眼視覺的演算法並輔以結構光來取得深度資訊。在此情況下，深度處理系統100還可包含至少一結構光源130。結構光源130可朝著特定區域CR發出結構光S1。在本發明的部分實施例中，結構光S1可投射出特定的圖案，而當結構光S1投射在物體上時，其所投射出的特定圖案就會隨著物體表面凹凸而產生不同程度的改變，而根據特定圖案改變的情況，對應的深度擷取裝置就能夠反推得知物體表面凹凸的深度資訊。

在本發明的部分實施例中，結構光源130可與深度擷取裝置1201至120N分開設置，且結構光源130所發出的結構光S1可由兩個以上的深度擷取裝置共用以各自產生對應的深度資訊。例如在第1圖中，深度擷取裝置1203及1204便可同樣根據結構光S1來判斷物體的深度資訊。也就是說，不同的深度擷取裝置也可以根據相同的結構光S1來產生對應的深度資訊。如此一來，就能夠簡化深度擷取裝置的硬體設計。此外，由於結構光源130可以獨立於深度擷取裝置1201至120N設置，因此也可以更加貼近所欲掃描的物體，而不會被深度擷取裝置1201至120N所在的位置限制，增加深度處理系統100在設計上的彈性。

此外，倘若在環境光源及物體紋理足夠的情況下，利用雙眼視覺的演算法便足以產生滿足需求的深度資訊時，則無須利用結構光源130，此時深度處理系統100便可關閉結構光源130或可根據使用情境，將結構光源130省略。

在本發明的部分實施例中，主機110在取得三維點雲之後，可以根據三維點雲產生立體網狀圖(mesh)，並根據立體網狀圖產生對應於特定區域CR的即時三維環境資訊。透過對應於特定區域CR的即時三維環境資訊，深度處理系統100就能夠監控特定區域CR內的物體運動並支援許多應用。

舉例來說，在本發明的部分實施例中，使用者可以在深度處理系統100中，設定所欲追蹤的興趣物體，例如透過人臉辨識、無線射頻標籤或是刷卡認證等方式，使得深度處理系統100能夠判斷出所欲追蹤的興趣物體。接著，主機110便可以根據立體網狀圖或三維點雲所取得的即時三維環境資訊追蹤興趣物體以判斷出興趣物體的所在位置及動作。舉例來說，深度處理系統100所關注的特定區域CR可為病院、療養院或監獄等場域，而深度處理系統100則可監控病人或犯人的位置及行動，並根據其動作執行對應於該動作的功能，例如在判斷出病人摔跌或犯人越獄時，可適時地發出警告訊號。又或者深度處理系統100也可應用於商場，並以顧客作為興趣物體，紀錄顧客的行動路線，並以大數據的方式歸納出顧客可能的消費習慣，進而提出更適合顧客的服務。

此外，深度處理系統100也可應用於追蹤骨幹模型(skeleton)的動作。為了能夠追蹤骨幹模型的動作，使用者可穿戴具有特定追蹤器或特定顏色的服裝以供深度處理系統100的深度擷取裝置1201至120N辨別並追蹤各個骨幹的位置變化。第4圖為深度處理系統100應用於追蹤骨幹模型ST的情境示意圖。在第4圖中，深度處理系統100的深度擷取裝置1201至1203會分別自不同的角度擷取骨幹模型ST的深度資訊，深度擷取裝置1201是由正面觀察骨幹模型ST，深度擷取裝置1202是由側面觀察骨幹模型ST，而深度擷取裝置1203則是由上方觀察骨幹模型ST。深度擷取裝置1201至1203可分別根據其觀察的角度產生骨幹模型ST的深度資訊圖DST1、DST2及DST3。

在先前技術中，當以單一角度取得骨幹模型的深度資訊時，常會受限於單一角度而無法得知骨幹模型ST的完整動作。舉例來說，若單純根據深度擷取裝置1201所取得的深度資訊圖DST1，則由於骨幹模型ST的身體擋住了其右臂的動作，因此我們無法得知其右臂的動作為何。然而透過深度擷取裝置1201至1203分別取得的深度資訊圖DST1、DST2及DST3，深度處理系統100就能夠統整得出骨幹模型ST的完整動作。

在本發明的部分實施例中，主機110可以根據三維點雲中產生移動的複數個雲點來判斷出位於特定區域CR之骨幹模型ST的動作。由於長時間靜止不動的雲點可能屬於背景，而實際上有產生移動的雲點則較可能與骨幹模型ST的動作相關，因此主機110可以先將雲點維持靜止的區域略過不予計算，只關注在雲點有產生移動的區域，如此一來就能夠減輕主機110的運算負擔。

此外，在本發明的其他實施例中，主機110也可根據立體網狀圖所提供的即時三維環境資訊來產生對應於骨幹模型ST之複數個相異觀察視角的深度資訊以判斷位於特定區域CR之骨幹模型ST的動作。也就是說，在深度處理系統100已經取得完整的三維環境資訊的情況下，深度處理系統100實際上可以根據使用者所需的虛擬角度產生對應的深度資訊。舉例來說，深度處理系統100可以在掌握了完整的三維環境資訊後，產生自骨幹模型ST之前、後、左、右及上方等不同方向觀察所得的深度資訊，並根據這些方向所對應的深度資訊來判斷骨幹模型ST的動作。如此一來，就能夠更加精準地追蹤骨幹模型的動作。

此外，在本發明的部分實施例中，深度處理系統100還可將產生的三維點雲重整成能夠提供機器學習(machine learning)演算法使用的格式。由於三維點雲並沒有特定的格式，而各雲點的紀錄順序也沒有明確的關聯，因此不易被其他應用所使用。機器學習演算法或深度學習演算法常用來辨識二維影像中的物件，然而為了有效率地處理所欲辨識的二維影像，常須將二維影像以固定的格式儲存，例如以紅、綠、藍三色畫素(pixel)的方式按照位於畫面中的行列依序儲存。而對應於二維影像的畫素，三維影像同樣可以紅、綠、藍三色體素(voxel)的方式按照在空間中的位置依序儲存。

然而，深度處理系統100主要是提供物體的深度資訊，而不限定會否提供對應的物體顏色資訊，惟實際上透過機器學習演算法或深度學習演算法來辨識物體時，也未必需要根據物體的顏色來做判斷，而可能只根據物體的形狀就足以判斷。因此在本發明的部分實施例中，深度處理系統100可將三維點雲儲存成在複數個單位空間中的二元體素，以供後續的機器學習演算法或深度學習演算法計算使用。

舉例來說，主機110可將三維點雲所在的空間區分為複數個單位空間，而每一個單位空間即會對應於一個體素，主機110可以根據每個單位空間內是否具有超過預定數量的雲點來判斷對應於該單位空間的體素的值。舉例來說，若第一單位空間中具有超過預定數量的雲點，例如超過10個雲點時，主機110便可將第一單位空間所對應之第一體素設定為具有第一位元值，例如為1，表示第一體素中存在有物體。反之，當第二單位空間不具有超過預定數量之雲點時，主機110便可將第二單位空間所對應之第二體素設定為具有第二位元值，例如為0，表示第二體數中並未存在有物體。如此一來，就能夠以二元的方式將三維點雲儲存為體素的格式，使得深度處理系統100所產生的深度資訊能夠更廣泛的被應用，同時也可以避免浪費記憶體的儲存空間。

第5圖為本發明另一實施例之深度處理系統200的示意圖。深度處理系統200與深度處理系統100具有相似的結構及操作原理，然而深度處理系統200還另包含互動裝置240。互動裝置240可以根據在互動裝置240有效範圍內之使用者的動作來執行對應於該動作的功能。舉例來說，深度處理系統200可設置於商場中，並在商場區域觀察顧客的行動，而互動裝置240可例如包含顯示螢幕。當深度處理系統200判斷有顧客走進互動裝置240的有效範圍內時，就可以進一步辨識顧客的身分，並根據顧客的身分，提供顧客可能需要的資訊，例如根據顧客過去的消費紀錄，顯示顧客可能會感興趣的廣告內容。此外，由於深度處理系統200能夠提供顧客的深度資訊，因此互動裝置240也可以判斷並根據顧客的動作，例如手勢，來與顧客互動，例如顯示客戶所選取的選單。

也就是說，由於深度處理系統200可以提供完整的三維環境資訊，因此互動裝置240本身無須擷取及處理深度資訊就能夠取得對應的深度資訊，因此可以簡化硬體的設計，也增加使用上的彈性。

在本發明的部分實施例中，主機210可以根據立體網狀圖或三維點雲所提供之特定區域CR的即時三維環境資訊來提供互動裝置240所對應之虛擬視角上的深度資訊以使互動裝置240能夠判斷使用者相對於互動裝置240的位置及動作。舉例來說，第6圖為深度處理系統200所取得之三維點雲，而深度處理系統200可根據互動裝置240所在的位置選擇對應的虛擬視角，並根據第6圖的三維點雲產生對應於互動裝置240的深度資訊，亦即由互動裝置240所在的位置觀察特定區域CR時所取得的深度資訊。

在第6圖中，由互動裝置240所在的位置觀察特定區域CR時所取得的深度資訊可以利用深度圖242的方式呈現，且深度圖242中的每一個畫素實際上可對應至自互動裝置240觀察特定區域CR時的一特定視野，例如在第6圖中，畫素P1的內容即是由視野V1所觀察的結果。在此情況下，主機210可判斷視野V1中，由互動裝置240所在的位置觀察所包含的物體中，何者最接近互動裝置240，由於在相同的視野V1中，距離較遠的物體會被距離較近的物體遮蔽，因此主機210會以最接近互動裝置240的物體的深度作為畫素P1的值。

此外，當利用三維點雲來產生深度資訊時，由於深度資訊的角度與當初建立三維點雲的角度可能不同，因此可能在某些部位會出現漏洞，此時主機210可先在設定的範圍內確認是否有超過預設數量的雲點，若有超過預設數量的雲點，表示該區域的資訊較為可信，此時就可選擇離深度資訊之深度圖242投影平面最近的距離作為深度值，又或是以其他加權的方式取得。然而，若在設定的範圍內無法找到超過預設數量的雲點，則主機210可進一步加大範圍，直到在加大後的範圍內能夠找到超過預設數量的雲點。然而，為了避免無止境地加大範圍造成最終深度資訊誤差太大，主機210可進一步限定加大範圍的次數，當加大範圍達到限定的次數且仍找不到足夠的雲點時，即可判斷該畫素為無效值。

第7圖為本發明一實施例之深度處理系統100的操作方法300的流程圖。

方法300包含步驟S310至S360。

S310：深度擷取裝置1201至120N產生複數個深度資訊；

S320：融合深度擷取裝置1201至120N所產生的深度資訊以產生對應於特定區域CR之三維點雲；

S330：主機110根據三維點雲產生立體網狀圖；

S340：主機110根據立體網狀圖產生對應於特定區域CR之即時三維環境資訊；

S350：主機110根據立體網狀圖或三維點雲追蹤興趣物體以判斷興趣物體之所在位置及動作；

S360：主機110根據興趣物體之動作執行對應於動作之功能。

在本發明的部分實施例中，為使深度擷取裝置1201至120N能夠同步產生物體深度資訊以便融合產生三維點雲，方法300還可包含主機110執行同步功能的步驟。第8圖為本發明一實施例之執行同步功能的流程圖，執行同步功能的方法可包含步驟S411至S415。

S411：主機110送出第一同步訊號SIG1至深度擷取裝置1201至120N；

S412：深度擷取裝置1201至120N在接收到第一同步訊號SIG1後，擷取第一深度資訊DA1至DAN；

S413：將擷取第一深度資訊DA1至DAN之第一擷取時點TA1至TAN及第一深度資訊DA1至DAN傳送至主機110；

S414：主機110根據每一深度擷取裝置1201至120N擷取第一深度資訊DA1至DAN之第一擷取時點TA1至TAN產生對應於每一深度擷取裝置1201至120N之調整時間；

S415：在接收到主機110傳來之第二同步訊號後，每一深度擷取裝置1201至120N根據調整時間調整擷取第二深度資訊DB1至DBN之第二擷取時點TB1至TBN。

透過同步功能，深度擷取裝置1201至120N就可以產生同步的深度資訊，因此在步驟S320中，就可以根據各深度擷取裝置1201至120N所在的位置以及擷取深度資訊的角度，將各深度擷取裝置1201至120N所產生的深度資訊結合至統一的座標系，並產生特定區域CR的三維點雲。

在本發明的部分實施例中，同步功能也可透過其他的方式完成。第9圖為本發明另一實施例之執行同步功能的流程圖，執行同步功能的方法可包含子步驟S411’至S415’。

S411’：主機110持續送出一系列之計時訊號至深度擷取裝置1201至120N；

S412’：每一深度擷取裝置1201至120N在擷取深度資訊DA1至DAN時，根據擷取深度資訊DA1至DAN時所接收到的計時訊號記錄擷取時點；

S413’：將擷取深度資訊DA1至DAN之擷取時點TA1至TAN及深度資訊DA1至DAN傳送至主機110；

S414’：主機110根據每一深度擷取裝置1201至120N擷取深度資訊DA1至DAN之擷取時點TA1至TAN產生對應於每一深度擷取裝置1201至120N之調整時間；

S415’：每一深度擷取裝置1201至120N根據調整時間調整擷取深度資訊的頻率或延遲時間。

此外，在本發明的部分實施例中，主機110可於相異的接收時點接收深度擷取裝置1201至120N所產生的深度資訊，而方法300還可使主機110根據各個接收時點中的最晚接收時點來設定深度擷取裝置1201至120N的掃描週期，以確保在每個掃描週期內，主機110能夠及時接收到深度擷取裝置1201至120N所產生的深度資訊。而在主機110送出同步訊號後，倘若經過掃描週期及緩衝時間且仍未收到深度擷取裝置傳來之訊號時，主機110則可判斷深度擷取裝置落幀(drop frame)，並繼續進行後續的操作，而不至於完全停擺。

在步驟S330及S340進一步產生特定區域CR的立體網狀圖及即時三維環境資訊後，便可進一步利用深度處理系統100來執行各種應用。舉例來說，當深度處理系統100應用於醫院或監獄時，深度處理系統100便可以透過步驟S350及S360來追蹤並判斷病人或犯人的位置及動作，並根據病人或犯人所在的位置或動作執行對應的功能，例如給予協助或提出警告。

此外，深度處理系統100也可例如應用於商場中，此時方法300還可進一步記錄興趣物體，例如顧客，的行動路線，並透過大數據分析顧客的消費習慣，以給予合適的服務。

在本發明的部分實施例中，方法300也可應用於深度處理系統200，且由於深度處理系統200還包含了互動裝置240，因此在此情況下，深度處理系統200還可根據三維點雲提供互動裝置240所對應之虛擬視角上的深度資訊，使得互動裝置240能夠判斷使用者相對於互動裝置240之位置及動作，並當使用者位於互動裝置240之有效範圍內時，使互動裝置240根據使用者的動作執行對應於動作之功能。例如當使用者走近時，互動裝置240可顯示廣告或服務內容，而當使用者改變手勢時，互動裝置240則可對應地顯示選單。

另外，深度處理系統100也可例如應用於骨幹模型的動作追蹤，舉例來說，方法300還可包含主機110根據立體網狀圖產生對應於骨幹模型之複數個相異觀察視角深度資訊以判斷位於特定區域CR之骨幹模型的動作，或者根據三維點雲中產生移動的複數個雲點判斷位於特定區域CR之骨幹模型的動作。

甚至在本發明的部分實施例中，為了使深度處理系統100所取得的即時三維資訊能夠更便利的被廣泛應用，方法300還可將深度處理系統100所取得的三維資訊以二元體素的格式儲存。舉例來說，方法300還可包含主機110將三維點雲所在之空間區分為複數個單位空間，其中每一單位空間係對應於一體素(voxel)，當第一單位空間具有超過預定數量之雲點時，主機110設定第一單位空間所對應之第一體素具有第一位元值，而當第二單位空間不具有超過預定數量之雲點時，主機110則設定第二單位空間所對應之第二體素具有第二位元值。也就是說，深度處理系統100可以將三維資訊儲存為不帶色彩資訊的二元體素，以便提供給機器學習演算法或深度學習的演算法使用。

綜上所述，本發明之實施例所提供的深度處理系統及操作深度處理系統的方法可以使設置於相異位置上的深度擷取裝置擷取同步的深度資訊，進而產生完整的三維環境資訊，並可根據完整的三維環境資訊執行各種應用，例如監控興趣物體、分析骨幹模型及將三維環境資訊提供給其他的互動裝置，進而簡化互動裝置的硬體設計，也增加使用上的彈性。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100、200‧‧‧深度處理系統

110、210‧‧‧主機

130‧‧‧結構光源

1201至120N‧‧‧深度擷取裝置

CR‧‧‧特定區域

SIG1‧‧‧第一同步訊號

D1至DN‧‧‧深度資訊

TA1至TAN‧‧‧第一擷取時點

TB1至TBN‧‧‧第二擷取時點

ST‧‧‧骨幹模型

240‧‧‧互動裝置

242‧‧‧深度圖

P1‧‧‧畫素

V1‧‧‧視野

300‧‧‧方法

S310至S360、S411至S415、S411’至S415’‧‧‧步驟

第1圖為本發明一實施例之深度處理系統的示意圖。第2圖為第1圖深度處理系統的複數個深度擷取裝置之第一擷取時點的時序圖。第3圖為第1圖深度處理系統的複數個深度擷取裝置之第二擷取時點的時序圖。第4圖為第1圖深度處理系統應用於追蹤骨幹模型的情境示意圖。第5圖為本發明另一實施例之深度處理系統的示意圖。第6圖為第5圖之深度處理系統所取得之三維點雲及深度圖。第7圖為第1圖深度處理系統的操作方法流程圖。第8圖為本發明一實施例之執行同步功能的方法流程圖。第9圖為本發明另一實施例之執行同步功能的方法流程圖。

Claims

一種深度處理系統，包含：複數個深度擷取裝置，散佈於一特定區域設置，該些深度擷取裝置中的每一深度擷取裝置用以根據自身之一對應角度產生一深度資訊；及一主機，用以根據該些深度擷取裝置之相對空間狀態融合該些深度擷取裝置所產生的複數個深度資訊以產生對應於特定區域之一三維點雲(point cloud)。
如請求項1所述之深度處理系統，其中該主機另用以執行一同步功能以控制該些深度擷取裝置同步產生該些深度資訊。
如請求項2所述之深度處理系統，其中當該主機執行該同步功能時：該主機送出一第一同步訊號至該些深度擷取裝置；每一深度擷取裝置在接收到該第一同步訊號後，擷取一第一深度資訊，並將擷取該第一深度資訊之一第一擷取時點及該第一深度資訊傳送至該主機；該主機根據每一深度擷取裝置擷取該第一深度資訊之該第一擷取時點產生對應於每一深度擷取裝置之一調整時間；及在接收到該主機傳來之一第二同步訊號後，每一深度擷取裝置根據該調整時間調整擷取一第二深度資訊之一第二擷取時點。
如請求項2所述之深度處理系統，其中當該主機執行該同步功能時：該主機持續送出一系列之計時訊號至該些深度擷取裝置；每一深度擷取裝置在擷取一深度資訊時，根據擷取該深度資訊時所接收到的計時訊號記錄一擷取時點，並將該擷取時點及該深度資訊傳送至該主機；該主機根據每一深度擷取裝置擷取該深度資訊之該擷取時點產生對應於每一深度擷取裝置之一調整時間；及每一深度擷取裝置根據該調整時間調整擷取深度資訊之一頻率或一延遲時間。
如請求項1所述之深度處理系統，其中：該主機係於複數個接收時點接收該些深度擷取裝置所產生之該些深度資訊；該主機係根據該些接收時點中的一最晚接收時點設定該些深度擷取裝置之一掃描週期；及在該主機送出一同步訊號後，經過該掃描週期及一緩衝時間且仍未收到一深度擷取裝置傳來之訊號時，該主機判斷該深度擷取裝置落幀(drop frame)。
如請求項1所述之深度處理系統，另包含一結構光源，用以朝該特定區域發出一結構光，其中該些深度擷取裝置中的至少二深度擷取裝置係根據該結構光產生對應之至少二深度資訊。
如請求項1所述之深度處理系統，其中：該主機另用以根據該三維點雲產生一立體網狀圖(mesh)，及根據該立體網狀圖產生對應於該特定區域之一即時三維環境資訊。
如請求項7所述之深度處理系統，另包含一互動裝置，用以根據於該互動裝置一有效範圍內之一使用者之一動作以執行對應於該動作之一功能，其中該主機另用以根據該立體網狀圖或該三維點雲提供該互動裝置所對應之一虛擬視角上的深度資訊以使該互動裝置判斷該使用者相對於該互動裝置之該位置及該動作。
如請求項7所述之深度處理系統，其中該主機另用以根據該立體網狀圖或該三維點雲追蹤一興趣物體以判斷該興趣物體之一所在位置及一動作。
如請求項9所述之深度處理系統，其中該主機另用以根據該興趣物體之該動作執行對應於該動作之一提示功能或記錄該興趣物體之一行動路線。
如請求項7所述之深度處理系統，其中該主機另用以根據該立體網狀圖產生對應於一骨幹模型之複數個相異視角的深度資訊以判斷位於該特定區域之該骨幹模型的動作。
如請求項1所述之深度處理系統，其中該主機另用以根據該三維點雲中產生移動的複數個雲點判斷位於該特定區域之一骨幹模型的動作。
如請求項1所述之深度處理系統，其中：該主機另用以將該三維點雲所在之一空間區分為複數個單位空間；每一單位空間係對應於一體素(voxel)；當一第一單位空間具有超過一預定數量之雲點時，該第一單位空間所對應之一第一體素具有一第一位元值；及當一第二單位空間不具有超過該預定數量之雲點時，該第二單位空間所對應之一第二體素具有一第二位元值。
一種深度處理系統，包含：複數個深度擷取裝置，散佈於一特定區域設置，該些深度擷取裝置中的每一深度擷取裝置用以根據自身之一對應角度產生一深度資訊；及一主機，用以控制該些深度擷取裝置擷取複數個深度資訊的複數個擷取時點，以及根據該些深度擷取裝置的相對空間狀態，融合該些深度資訊以產生對應於特定區域之一三維點雲(point cloud)。