TWI872764B - 適用於混合實境的人體及物件狀態三維定位與動作偵測系統及其方法 - Google Patents

Abstract

一種適用於混合實境的人體及物件狀態三維定位與動作偵測系統及其方法，虛擬運算裝置對實體環境影像進行手勢識別以對虛擬體態膜進行縮放、移動或三維旋轉的調整，使虛擬體態膜的每一個體態膜對位點與每一個體態膜定位點相互對應貼合，並由虛實顯示裝置即時顯示虛擬體態膜的調整變化，當虛擬體態膜被固定時，虛擬運算裝置基於體態膜定位點對實體環境影像進行手部位置的識別與於該手部位置進行動作偵測以生成操作位置資訊以及手部動作資訊，以由虛實顯示裝置將操作位置資訊、手部動作資訊以及實體空間進行虛實整合顯示，藉此可以達成透過混合實境提供虛擬體態膜的空間定位以識別與動作偵測教學輔助的技術功效。

Description

適用於混合實境的人體及物件狀態三維定位與動作偵測系統及其方法

一種定位與偵測系統及其方法，尤其是指一種適用於混合實境的人體及物件狀態三維定位與動作偵測系統及其方法。

部分學科（例如：醫學學科）是需要提供實體的物件（例如：安妮教學人偶）以輔助教學與學習的操作，但是提供大量的實體物件輔助教學會造成教學成本的大幅提升，故而基於教學成本的考量，目前僅能提供少量的實體物件輔助教學。

在教學時間固定的情況，提供少量的實體物件輔助教學並無法滿足每一個學生可以實際的進行學習操作，這無疑還是會影響到教學的品質以及學生學習的效果，藉此將有必要提出改善方案。

綜上所述，可知先前技術中長期以來一直存在基於教學成本考量無法提供充足的實體物件輔助教學導致學習效果不佳的問題，因此有必要提出改進的技術手段，來解決此一問題。

有鑒於先前技術存在基於教學成本考量無法提供充足的實體物件輔助教學導致學習效果不佳的問題，本發明遂揭露一種適用於混合實境的人體及物件狀態三維定位與動作偵測系統及其方法，其中：

本發明所揭露第一實施態樣的適用於混合實境的人體及物件狀態三維定位與動作偵測系統，其包含：攝影裝置、虛擬運算裝置以及虛實顯示裝置，虛擬運算裝置包含：非暫態電腦可讀儲存媒體以及硬體處理器。

攝影裝置取得並提供實體空間的實體環境影像；虛擬運算裝置與攝影裝置偶接，虛擬運算裝置的非暫態電腦可讀儲存媒體，儲存多個電腦可讀指令；及虛擬運算裝置的硬體處理器，電性連接非暫態電腦可讀儲存媒體，執行多個電腦可讀指令，使虛擬運算裝置執行：

自攝影裝置接收實體環境影像；於實體環境影像中設定多個體態膜定位點；依據預設的尺寸生成具有多個體態膜對位點的虛擬體態膜；對實體環境影像進行手勢識別為調整手勢以縮放、移動或三維旋轉虛擬體態膜，使虛擬體態膜的每一個體態膜對位點與每一個體態膜定位點相互對應貼合；對實體環境影像進行手勢識別為位定手勢以固定虛擬體態膜；及當虛擬體態膜被固定時，基於體態膜定位點對實體環境影像進行手部位置的識別與於該手部位置進行動作偵測以生成操作位置資訊以及手部動作資訊。

虛實顯示裝置與虛擬運算裝置偶接，以將體態膜定位點、虛擬體態膜以及實體空間進行虛實整合顯示，且即時顯示虛擬體態膜的調整變化，以及將操作位置資訊、手部動作資訊以及實體空間進行虛實整合顯示。

本發明所揭露第一實施態樣的適用於混合實境的人體及物件狀態三維定位與動作偵測方法，其包含下列步驟：

首先，攝影裝置取得並提供實體空間的實體環境影像至偶接的虛擬運算裝置；接著，虛擬運算裝置於實體環境影像中設定多個體態膜定位點；接著，虛擬運算裝置依據預設的尺寸生成具有多個體態膜對位點的虛擬體態膜；接著，虛擬運算裝置透過偶接的虛實顯示裝置將體態膜定位點、虛擬體態膜以及實體空間進行虛實整合顯示；接著，虛擬運算裝置對實體環境影像進行手勢識別為調整手勢以縮放、移動或三維旋轉虛擬體態膜且由虛實顯示裝置即時顯示虛擬體態膜的調整變化，使虛擬體態膜的每一個體態膜對位點與每一個體態膜定位點相互對應貼合；接著，虛擬運算裝置對實體環境影像進行手勢識別為位定手勢以固定虛擬體態膜；接著，當虛擬體態膜被固定時，虛擬運算裝置基於體態膜定位點對實體環境影像進行手部位置的識別與於該手部位置進行動作偵測以生成操作位置資訊以及手部動作資訊；最後，虛實顯示裝置將操作位置資訊、手部動作資訊以及實體空間進行虛實整合顯示。

本發明所揭露第二實施態樣的適用於混合實境的人體及物件狀態三維定位與動作偵測系統，其包含：攝影裝置、虛擬運算裝置以及虛實顯示裝置，虛擬運算裝置包含：非暫態電腦可讀儲存媒體以及硬體處理器。

攝影裝置取得並提供實體空間的實體環境影像，實體環境影像包含具有多個體態膜定位點的實體物件，實體物件於特定位置設置有對應的感測器。

虛擬運算裝置分別與攝影裝置以及實體物件偶接，虛擬運算裝置的非暫態電腦可讀儲存媒體，儲存多個電腦可讀指令；及虛擬運算裝置的硬體處理器，電性連接非暫態電腦可讀儲存媒體，執行多個電腦可讀指令，使虛擬運算裝置執行：

自攝影裝置接收實體環境影像；依據預設的尺寸生成具有多個體態膜對位點的虛擬體態膜；對實體環境影像進行手勢識別為調整手勢以縮放、移動或三維旋轉虛擬體態膜，使虛擬體態膜的每一個體態膜對位點與實體物件的每一個體態膜定位點相互對應貼合；對實體環境影像進行手勢識別為位定手勢以將虛擬體態膜固定於實體物件的位置；及當虛擬體態膜被固定時，自實體物件取得對應的感測器的感測訊號，以依據感測訊號識別對應的操作位置資訊以及手部動作資訊。

虛實顯示裝置與虛擬運算裝置偶接，以將虛擬體態膜、實體物件以及實體空間進行虛實整合顯示，且即時顯示虛擬體態膜的調整變化，以及將操作位置資訊、手部動作資訊、實體物件以及實體空間進行虛實整合顯示。

本發明所揭露第二實施態樣的適用於混合實境的人體及物件狀態三維定位與動作偵測方法，其包含下列步驟：

首先，攝影裝置取得並提供實體空間的實體環境影像至偶接的虛擬運算裝置，實體環境影像包含具有多個體態膜定位點的實體物件，實體物件於特定位置設置有對應的感測器；接著，虛擬運算裝置依據預設的尺寸生成具有多個體態膜對位點的虛擬體態膜；接著，虛擬運算裝置透過偶接的虛實顯示裝置將虛擬體態膜、實體物件以及實體空間進行虛實整合顯示；接著，虛擬運算裝置對實體環境影像進行手勢識別為調整手勢以縮放、移動或三維旋轉虛擬體態膜且由虛實顯示裝置即時顯示虛擬體態膜的調整變化，使虛擬體態膜的每一個體態膜對位點與實體物件的每一個體態膜定位點相互對應貼合；接著，虛擬運算裝置對實體環境影像進行手勢識別為位定手勢以將虛擬體態膜固定於實體物件的位置；接著，當虛擬體態膜被固定時，虛擬運算裝置自實體物件取得對應的感測器的感測訊號，以依據感測訊號識別對應的操作位置資訊以及手部動作資訊；最後，虛實顯示裝置將操作位置資訊、手部動作資訊、實體物件以及實體空間進行虛實整合顯示。

本發明所揭露的系統及方法如上，虛擬運算裝置對實體環境影像進行手勢識別以對虛擬體態膜進行縮放、移動或三維旋轉的調整使虛擬體態膜的每一個體態膜對位點與每一個體態膜定位點相互對應貼合，並由虛實顯示裝置即時顯示虛擬體態膜的調整變化，當虛擬體態膜被固定時，虛擬運算裝置基於體態膜定位點對實體環境影像進行手部位置的識別與於該手部位置進行動作偵測以生成操作位置資訊以及手部動作資訊，以由虛實顯示裝置將操作位置資訊、手部動作資訊以及實體空間進行虛實整合顯示。

透過上述的技術手段，本發明可以達成透過混合實境提供虛擬體態膜的空間定位以識別與動作偵測教學輔助的技術功效。

以下將配合圖式及實施例來詳細說明本發明的實施方式，藉此對本發明如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。

以下首先要說明本發明所揭露第一實施態樣的適用於混合實境的人體及物件狀態三維定位與動作偵測系統，該系統提供給醫學教學使用，並請參考「第1圖」所示，「第1圖」繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測系統的第一實施態樣系統方塊圖。

本發明所揭露第一實施態樣的適用於混合實境的人體及物件狀態三維定位與動作偵測系統，其包含：攝影裝置10、虛擬運算裝置20以及虛實顯示裝置30，虛擬運算裝置20包含：非暫態電腦可讀儲存媒體21以及硬體處理器22。

攝影裝置10取得並提供實體空間的實體環境影像；虛擬運算裝置20與攝影裝置10偶接，虛擬運算裝置20的非暫態電腦可讀儲存媒體21儲存多個電腦可讀指令，虛擬運算裝置20的硬體處理器22電性連接虛擬運算裝置20的非暫態電腦可讀儲存媒體21，虛擬運算裝置20的硬體處理器22執行多個電腦可讀指令，使虛擬運算裝置20執行：

虛擬運算裝置20與攝影裝置10是透過有線傳輸方式或是無線傳輸方式偶接，前述的有線傳輸方式例如是：電纜網路、光纖網路…等，前述的無線傳輸方式例如是：Wi-Fi、行動通訊網路（例如是：4G、5G…等）…等，在此僅為舉例說明之，並不以此侷限本發明的應用範疇，使虛擬運算裝置20自攝影裝置10接收實體環境影像。

虛擬運算裝置20於實體環境影像11中設定多個體態膜定位點12，實體環境影像11的示意請參考「第2圖」所示，「第2圖」繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測系統的第一實施態樣實體環境影像示意圖，值得注意的是，每一個體態膜定位點12相對於其他的體態膜定位點12的相對空間三維座標是固定的。

虛擬運算裝置20依據預設的尺寸生成具有多個體態膜對位點41的虛擬體態膜40，虛擬體態膜40的示意請參考「第3圖」所示，「第3圖」繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測系統的第一實施態樣虛擬體態膜示意圖，值得注意的是，每一個體態膜對位點41相對於其他的體態膜對位點41的相對空間三維座標是固定的。

虛實顯示裝置30與虛擬運算裝置20偶接，以將體態膜定位點12、虛擬體態膜40以及實體空間進行虛實整合顯示，虛實顯示裝置30可以採用裸視三維技術將體態膜定位點12、虛擬體態膜40以及實體空間進行虛實整合顯示，虛實顯示裝置30也可以採用具有用以耦合光輸入光柵及/或輸出光柵的透明波導的混合實境裝置將體態膜定位點12、虛擬體態膜40以及實體空間進行虛實整合顯示，在此僅為舉例說明之，並不以此侷限本發明的應用範疇。

操作者於實體空間對虛擬體態膜40進行手勢操作時，攝影裝置10取得並提供的實體環境影像11即包含有手勢操作，虛擬運算裝置20對實體環境影像11進行手勢識別為調整手勢以縮放、移動或三維旋轉虛擬體態膜40，虛擬運算裝置20的手勢識別是透過經過機器學習後所建構的手勢模型以識別出對應的手勢操作，前述的手勢模型例如是：三維模型、骨架模型、外觀模型…等，前述所採用的機器學習例如是：Adaboost、決策樹（decision tree）、隱馬可夫模型（hidden Markov model, HMM）、支持向量機（support vector machine, SVM）、動態時間校正（dynamic time warping, DTW）以及人工神經網路（artificial neural network）…等，在此僅為舉例說明之，並不以此侷限本發明的應用範疇，虛擬體態膜40的縮放、移動或三維旋轉的調整變化由虛實顯示裝置30即時顯示。

藉由調整手勢以縮放、移動或三維旋轉虛擬體態膜40，使虛擬體態膜40的每一個體態膜對位點41與每一個體態膜定位點12相互對應貼合，虛擬運算裝置20對實體環境影像11進行手勢識別為位定手勢以固定虛擬體態膜40，值得注意的是，虛擬體態膜40的每一個體態膜對位點41與每一個體態膜定位點12相互對應貼合使得虛擬體態膜40呈現仰躺的人體姿態、側躺的人體姿態或是趴臥的人體姿態，在此僅為舉例說明之，並不以此侷限本發明的應用範疇。

值得注意的是，調整手勢包含有雙手操作的手勢（例如：透過雙手外擴或是內縮、透過雙手轉動…等）、單手操作的手勢（例如：透過單手移動、透過單手轉動…等），位定手勢包含有單手操作的手勢（例如：透過單手點選體態膜定位點或體態膜對位點），在此僅為舉例說明之，並不以此侷限本發明的應用範疇。

虛擬運算裝置20亦可將虛擬體態膜40的每一個體態膜對位點41與每一個體態膜定位點12相互指定對應，虛擬運算裝置20自動校正計算出虛擬體態膜40的縮放、移動或三維旋轉調整指令，以將虛擬體態膜40自動校正至體態膜定位點12的位置。

當虛擬體態膜40被固定時，虛擬運算裝置20基於體態膜定位點對實體環境影像進行手部位置的識別與於該手部位置進行動作偵測以生成操作位置資訊以及手部動作資訊，值得注意的是，操作位置資訊例如是心臟位置、氣管位置…等，手部動作資訊例如是：雙手按壓、單手捶擊、單手拍擊…等，在此僅為舉例說明之，並不以此侷限本發明的應用範疇，且由虛實顯示裝置30將操作位置資訊、手部動作資訊以及實體空間進行虛實整合顯示。

虛擬運算裝置20進一步於實體環境影像中生成虛擬操作器材，虛擬操作器材具有器材識別點，虛擬運算裝置20再對實體環境影像進行手勢識別為器材選用手勢以操作虛擬操作器材，器材選用手勢包含有單手操作的手勢（例如：透過單手夾選虛擬操作器材），在此僅為舉例說明之，並不以此侷限本發明的應用範疇，虛擬運算裝置20基於體態膜定位點對器材識別點進行位置與動作的識別以生成操作位置資訊以及器材動作資訊，值得注意的是，操作位置資訊例如是心臟位置、氣管位置…等，器材動作資訊例如是：切割、黏貼、插入…等，在此僅為舉例說明之，並不以此侷限本發明的應用範疇，且由虛實顯示裝置30即時顯示虛擬操作器材的操作變化，以及將操作位置資訊、器材動作資訊以及實體空間進行虛實整合顯示。

虛擬運算裝置20對於手部的動作偵測以及器材的動作識別亦是透過經過機器學習後所建構的手部動作模型以及器材動作模型以識別出對應的手部動作以及器材動作，前述的手部動作模型以及器材動作模型可以參考手勢模型的說明，在此不再進行贅述，前述的機器學習亦可參考前述的機器學習說明，在此不再進行贅述。

在實體空間中可以配置實體的操作器材，攝影裝置10取得並提供實體空間的實體環境影像，實體環境影像即具有實體的操作器材，操作器材具有器材識別點以及器材感測器，虛擬運算裝置20與操作器材透過有線傳輸方式或是無線傳輸方式偶接，虛擬運算裝置20自器材感測器取得器材感測訊號，虛擬運算裝置20基於體態膜定位點對器材識別點進行位置的識別以及依據器材感測訊號識別對應的器材動作資訊，虛擬運算裝置20是透過對照表以對照出器材感測訊號對應的器材動作資訊，且由虛實顯示裝置30即時顯示操作器材的操作變化，以及將操作位置資訊、器材動作資訊、實體物件以及實體空間進行虛實整合顯示。

接著，以下將以說明本發明第一實施態樣的運作方法，並請同時參考「第4A圖」以及「第4B圖」所示，「第4A圖」以及「第4B圖」繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測方法的第一實施態樣方法流程圖。

本發明所揭露第一實施態樣的適用於混合實境的人體及物件狀態三維定位與動作偵測方法，其包含下列步驟：

首先，攝影裝置取得並提供實體空間的實體環境影像至偶接的虛擬運算裝置（步驟601）；接著，虛擬運算裝置於實體環境影像中設定多個體態膜定位點（步驟602）；接著，虛擬運算裝置依據預設的尺寸生成具有多個體態膜對位點的虛擬體態膜（步驟603）；接著，虛擬運算裝置透過偶接的虛實顯示裝置將體態膜定位點、虛擬體態膜以及實體空間進行虛實整合顯示（步驟604）；接著，虛擬運算裝置對實體環境影像進行手勢識別為調整手勢以縮放、移動或三維旋轉虛擬體態膜且由虛實顯示裝置即時顯示虛擬體態膜的調整變化，使虛擬體態膜的每一個體態膜對位點與實體物件的每一個體態膜定位點相互對應貼合（步驟605）；接著，虛擬運算裝置對實體環境影像進行手勢識別為位定手勢以固定虛擬體態膜（步驟606）；接著，當虛擬體態膜被固定時，虛擬運算裝置基於體態膜定位點對實體環境影像進行手部位置的識別與於該手部位置進行動作偵測以生成操作位置資訊以及手部動作資訊（步驟607）；最後，虛實顯示裝置將操作位置資訊、手部動作資訊以及實體空間進行虛實整合顯示（步驟608）。

以下要說明本發明所揭露第二實施態樣的適用於混合實境的人體及物件狀態三維定位與動作偵測系統，並請參考「第5圖」所示，「第5圖」繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測系統的第二實施態樣系統方塊圖。

本發明所揭露第二實施態樣的適用於混合實境的人體及物件狀態三維定位與動作偵測系統，其包含：攝影裝置10、虛擬運算裝置20以及虛實顯示裝置30，虛擬運算裝置20包含：非暫態電腦可讀儲存媒體21以及硬體處理器22。

虛擬運算裝置20分別與攝影裝置10以及實體物件50偶接，虛擬運算裝置20的非暫態電腦可讀儲存媒體21儲存多個電腦可讀指令，虛擬運算裝置20的硬體處理器22電性連接虛擬運算裝置20的非暫態電腦可讀儲存媒體21，虛擬運算裝置20的硬體處理器22執行多個電腦可讀指令，使虛擬運算裝置20執行：

虛擬運算裝置20分別與攝影裝置10以及實體物件50透過有線傳輸方式或是無線傳輸方式偶接，前述的有線傳輸方式例如是：電纜網路、光纖網路…等，前述的無線傳輸方式例如是：Wi-Fi、行動通訊網路（例如是：4G、5G…等）…等，在此僅為舉例說明之，並不以此侷限本發明的應用範疇，使虛擬運算裝置20自攝影裝置10接收實體環境影像。

攝影裝置10取得並提供實體空間的實體環境影像，實體環境影像包含具有多個體態膜定位點51的實體物件50，實體物件50於特定位置設置有對應的感測器，請參考「第6圖」所示，「第6圖」繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測系統的第二實施態樣實體環境影像示意圖。

虛擬運算裝置20依據預設的尺寸生成具有多個體態膜對位點41的虛擬體態膜40，虛實顯示裝置30與虛擬運算裝置20偶接，以將虛擬體態膜40、實體物件50以及實體空間進行虛實整合顯示，虛實顯示裝置30可以採用裸視三維技術將虛擬體態膜40、實體物件50以及實體空間進行虛實整合顯示，虛實顯示裝置30也可以採用具有用以耦合光輸入光柵及/或輸出光柵的透明波導的混合實境裝置將虛擬體態膜40、實體物件50以及實體空間進行虛實整合顯示，在此僅為舉例說明之，並不以此侷限本發明的應用範疇。

操作者於實體空間對虛擬體態膜40進行手勢操作時，攝影裝置10取得並提供的實體環境影像11即包含有手勢操作，虛擬運算裝置20對實體環境影像11進行手勢識別為調整手勢以縮放、移動或三維旋轉虛擬體態膜40，虛擬體態膜40的縮放、移動或三維旋轉的調整變化由虛實顯示裝置30即時顯示。

藉由調整手勢以縮放、移動或三維旋轉虛擬體態膜40，使虛擬體態膜40的每一個體態膜對位點41與實體物件50的每一個體態膜定位點51相互對應貼合，虛擬運算裝置20對實體環境影像11進行手勢識別為位定手勢以將虛擬體態膜40固定於實體物件50的位置。

虛擬運算裝置20亦可將虛擬體態膜40的每一個體態膜對位點41與實體物件50的每一個體態膜定位點51相互指定對應，虛擬運算裝置20自動校正計算出虛擬體態膜40的縮放、移動或三維旋轉調整指令，以將虛擬體態膜40自動校正至實體物件50的位置。

當虛擬體態膜40被固定時，虛擬運算裝置20自實體物件50取得對應的感測器的感測訊號，以依據感測訊號識別對應的操作位置資訊以及手部動作資訊，值得注意的是，操作位置資訊例如是心臟位置、氣管位置…等，手部動作資訊例如是：雙手按壓、單手捶擊、單手拍擊…等，在此僅為舉例說明之，並不以此侷限本發明的應用範疇，且由虛實顯示裝置30將操作位置資訊、手部動作資訊、實體物件50以及實體空間進行虛實整合顯示。

在實體空間中可以配置實體的操作器材，攝影裝置10取得並提供實體空間的實體環境影像，實體環境影像即具有實體的操作器材，操作器材具有器材識別點以及器材感測器，虛擬運算裝置20與操作器材透過有線傳輸方式或是無線傳輸方式偶接，虛擬運算裝置20自器材感測器取得器材感測訊號，虛擬運算裝置20基於體態膜定位點對器材識別點進行位置的識別以及依據器材感測訊號識別對應的器材動作資訊，虛擬運算裝置20是透過對照表以對照出器材感測訊號對應的器材動作資訊，值得注意的是，操作位置資訊例如是心臟位置、氣管位置…等，器材動作資訊例如是：切割、黏貼、插入…等，在此僅為舉例說明之，並不以此侷限本發明的應用範疇，且由虛實顯示裝置30即時顯示操作器材的操作變化，以及將操作位置資訊、器材動作資訊、實體物件以及實體空間進行虛實整合顯示。

虛擬運算裝置20進一步於實體環境影像中生成虛擬操作器材，虛擬操作器材具有器材識別點，虛擬運算裝置20再對實體環境影像進行手勢識別為器材選用手勢以操作虛擬操作器材，虛擬運算裝置20基於體態膜定位點對器材識別點進行位置與動作的識別以生成操作位置資訊以及器材動作資訊，且由虛實顯示裝置30即時顯示虛擬操作器材的操作變化，以及將操作位置資訊、器材動作資訊以及實體空間進行虛實整合顯示。

接著，以下將以說明本發明第一實施態樣的運作方法，並請同時參考「第7A圖」以及「第7B圖」所示，「第7A圖」以及「第7B圖」繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測方法的第二實施態樣方法流程圖。

本發明所揭露第二實施態樣的適用於混合實境的人體及物件狀態三維定位與動作偵測方法，其包含下列步驟：

首先，攝影裝置取得並提供實體空間的實體環境影像至偶接的虛擬運算裝置，實體環境影像包含具有多個體態膜定位點的實體物件，實體物件於特定位置設置有對應的感測器（步驟701）；接著，虛擬運算裝置依據預設的尺寸生成具有多個體態膜對位點的虛擬體態膜（步驟702）；接著，虛擬運算裝置透過偶接的虛實顯示裝置將體態膜定位點、虛擬體態膜、實體物件以及實體空間進行虛實整合顯示（步驟703）；接著，虛擬運算裝置對實體環境影像進行手勢識別為調整手勢以縮放、移動或三維旋轉虛擬體態膜且由虛實顯示裝置即時顯示虛擬體態膜的調整變化，使虛擬體態膜的每一個體態膜對位點與實體物件的每一個體態膜定位點相互對應貼合（步驟704）；接著，虛擬運算裝置對實體環境影像進行手勢識別為位定手勢以將虛擬體態膜固定於實體物件的位置（步驟705）；接著，當虛擬體態膜被固定時，虛擬運算裝置自實體物件取得對應的感測器的感測訊號，以依據感測訊號識別對應的操作位置資訊以及手部動作資訊（步驟706）；最後，虛實顯示裝置將操作位置資訊、手部動作資訊、實體物件以及實體空間進行虛實整合顯示（步驟707）。

綜上所述，虛擬運算裝置對實體環境影像進行手勢識別以對虛擬體態膜進行縮放、移動或三維旋轉的調整使虛擬體態膜的每一個體態膜對位點與每一個體態膜定位點相互對應貼合，並由虛實顯示裝置即時顯示虛擬體態膜的調整變化，當虛擬體態膜被固定時，虛擬運算裝置基於體態膜定位點對實體環境影像進行手部位置的識別與於該手部位置進行動作偵測以生成操作位置資訊以及手部動作資訊，以由虛實顯示裝置將操作位置資訊、手部動作資訊以及實體空間進行虛實整合顯示。

藉由此一技術手段可以來解決先前技術所存在基於教學成本考量無法提供充足的實體物件輔助教學導致學習效果不佳的問題，進而達成透過混合實境提供虛擬體態膜的空間定位以識別與動作偵測教學輔助的技術功效。

雖然本發明所揭露的實施方式如上，惟所述的內容並非用以直接限定本發明的專利保護範圍。任何本發明所屬技術領域中具有通常知識者，在不脫離本發明所揭露的精神和範圍的前提下，可以在實施的形式上及細節上作些許的更動。本發明的專利保護範圍，仍須以所附的申請專利範圍所界定者為準。

10:攝影裝置

11:實體環境影像

12:體態膜定位點

20:虛擬運算裝置

21:非暫態電腦可讀儲存媒體

22:硬體處理器

30:虛實顯示裝置

40:虛擬體態膜

41:體態膜對位點

50:實體物件

51:體態膜定位點

步驟601:攝影裝置取得並提供實體空間的實體環境影像至偶接的虛擬運算裝置

步驟602:虛擬運算裝置於實體環境影像中設定多個體態膜定位點

步驟603:虛擬運算裝置依據預設的尺寸生成具有多個體態膜對位點的虛擬體態膜

步驟604:虛擬運算裝置透過偶接的虛實顯示裝置將體態膜定位點、虛擬體態膜以及實體空間進行虛實整合顯示

步驟605:虛擬運算裝置對實體環境影像進行手勢識別為調整手勢以縮放、移動或三維旋轉虛擬體態膜且由虛實顯示裝置即時顯示虛擬體態膜的調整變化，使虛擬體態膜的每一個體態膜對位點與實體物件的每一個體態膜定位點相互對應貼合

步驟606:虛擬運算裝置對實體環境影像進行手勢識別為位定手勢以固定虛擬體態膜

步驟607:當虛擬體態膜被固定時，虛擬運算裝置基於體態膜定位點對實體環境影像進行手部位置的識別與於該手部位置進行動作偵測以生成操作位置資訊以及手部動作資訊

步驟608:虛實顯示裝置將操作位置資訊、手部動作資訊以及實體空間進行虛實整合顯示

步驟701:攝影裝置取得並提供實體空間的實體環境影像至偶接的虛擬運算裝置，實體環境影像包含具有多個體態膜定位點的實體物件，實體物件於特定位置設置有對應的感測器

步驟702:虛擬運算裝置依據預設的尺寸生成具有多個體態膜對位點的虛擬體態膜

步驟703:虛擬運算裝置透過偶接的虛實顯示裝置將體態膜定位點、虛擬體態膜、實體物件以及實體空間進行虛實整合顯示

步驟704:虛擬運算裝置對實體環境影像進行手勢識別為調整手勢以縮放、移動或三維旋轉虛擬體態膜且由虛實顯示裝置即時顯示虛擬體態膜的調整變化，使虛擬體態膜的每一個體態膜對位點與實體物件的每一個體態膜定位點相互對應貼合

步驟705:虛擬運算裝置對實體環境影像進行手勢識別為位定手勢以將虛擬體態膜固定於實體物件的位置

步驟706:當虛擬體態膜被固定時，虛擬運算裝置自實體物件取得對應的感測器的感測訊號，以依據感測訊號識別對應的操作位置資訊以及手部動作資訊

步驟707:虛實顯示裝置將操作位置資訊、手部動作資訊、實體物件以及實體空間進行虛實整合顯示

第1圖繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測系統的第一實施態樣系統方塊圖。 第2圖繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測系統的第一實施態樣實體環境影像示意圖。 第3圖繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測系統的第一實施態樣虛擬體態膜示意圖。 第4A圖以及第4B圖繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測方法的第一實施態樣方法流程圖。 第5圖繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測系統的第二實施態樣系統方塊圖。 第6圖繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測系統的第二實施態樣實體環境影像示意圖。 第7A圖以及第7B圖繪示為本發明適用於混合實境的人體及物件狀態三維定位與動作偵測方法的第二實施態樣方法流程圖。

10:攝影裝置

20:虛擬運算裝置

21:非暫態電腦可讀儲存媒體

22:硬體處理器

30:虛實顯示裝置

Claims (8)

1. 一種適用於混合實境的人體及物件狀態三維定位與動作偵測系統，其包含：一操作器材位於一實體空間，所述操作器材具有一器材識別點以及一器材感測器，由所述器材感測器取得一器材感測訊號；一攝影裝置，取得並提供所述實體空間的一實體環境影像，所述實體環境影像具有所述操作器材；一虛擬運算裝置，分別與所述攝影裝置以及所述操作器材偶接，所述虛擬運算裝置包含：一非暫態電腦可讀儲存媒體，儲存多個電腦可讀指令；及一硬體處理器，電性連接所述非暫態電腦可讀儲存媒體，執行所述多個電腦可讀指令，使所述虛擬運算裝置執行：自所述攝影裝置接收所述實體環境影像；自所述器材感測器取得所述器材感測訊號；於所述實體環境影像中設定多個體態膜定位點；依據預設的尺寸生成具有多個體態膜對位點的一虛擬體態膜；對所述實體環境影像進行手勢識別為一調整手勢以縮放、移動或三維旋轉所述虛擬體態膜，使所述虛擬體態膜的每一個體態膜對位點與每一個體態膜定位點相互對應貼合；對所述實體環境影像進行手勢識別為一位定手勢以固定所述虛擬體態膜； 當所述虛擬體態膜被固定時，基於所述體態膜定位點對所述實體環境影像進行手部位置的識別與於該手部位置進行動作偵測以生成一操作位置資訊以及一手部動作資訊；及基於所述體態膜定位點對所述器材識別點進行位置的識別以及依據所述器材感測訊號識別對應的一器材動作資訊；及一虛實顯示裝置，與所述虛擬運算裝置偶接，以將所述體態膜定位點、所述虛擬體態膜以及所述實體空間進行虛實整合顯示，且即時顯示所述虛擬體態膜的調整變化以及即時顯示所述操作器材的操作變化，以及將所述操作位置資訊、所述手部動作資訊、所述器材動作資訊以及所述實體空間進行虛實整合顯示。
2. 如請求項1所述的適用於混合實境的人體及物件狀態三維定位與動作偵測系統，其中：所述虛擬運算裝置更執行：於所述實體環境影像中生成一虛擬操作器材，所述虛擬操作器材具有所述器材識別點；對所述實體環境影像進行手勢識別為一器材選用手勢以操作所述虛擬操作器材；及基於所述體態膜定位點對所述器材識別點進行位置與動作的識別以生成所述操作位置資訊以及所述器材動作資訊；及所述虛實顯示裝置即時顯示所述虛擬操作器材的操作變化。
3. 一種適用於混合實境的人體及物件狀態三維定位與動作偵測方法，其包含下列步驟： 一操作器材位於一實體空間，所述操作器材具有一器材識別點以及一器材感測器，由所述器材感測器取得一器材感測訊號；所述操作器材提供所述器材感測訊號至偶接的一虛擬運算裝置；一攝影裝置取得並提供所述實體空間的一實體環境影像至偶接的所述虛擬運算裝置，所述實體環境影像具有所述操作器材；所述虛擬運算裝置於所述實體環境影像中設定多個體態膜定位點；所述虛擬運算裝置依據預設的尺寸生成具有多個體態膜對位點的一虛擬體態膜；所述虛擬運算裝置透過偶接的一虛實顯示裝置將所述體態膜定位點、所述虛擬體態膜以及所述實體空間進行虛實整合顯示；所述虛擬運算裝置對所述實體環境影像進行手勢識別為一調整手勢以縮放、移動或三維旋轉所述虛擬體態膜且由所述虛實顯示裝置即時顯示所述虛擬體態膜的調整變化，使所述虛擬體態膜的每一個體態膜對位點與每一個體態膜定位點相互對應貼合；所述虛擬運算裝置對所述實體環境影像進行手勢識別為一位定手勢以固定所述虛擬體態膜；當所述虛擬體態膜被固定時，所述虛擬運算裝置基於所述體態膜定位點對所述實體環境影像進行手部位置的識別與於該手部位置進行動作偵測以生成一操作位置資訊以及一手部動作資訊；所述虛擬運算裝置基於所述體態膜定位點對所述器材識別點進行位置的識別以及依據所述器材感測訊號識別對應的一器材動作資訊且由所述虛實顯示裝置即時顯示所述操作器材的操作變化；及 所述虛實顯示裝置將所述操作位置資訊、所述手部動作資訊、所述器材動作資訊以及所述實體空間進行虛實整合顯示。
4. 如請求項3所述的適用於混合實境的人體及物件狀態三維定位與動作偵測方法，其中所述方法更包含下列步驟：所述虛擬運算裝置於所述實體環境影像中生成一虛擬操作器材，所述虛擬操作器材具有所述器材識別點；所述虛擬運算裝置對所述實體環境影像進行手勢識別為一器材選用手勢以操作所述虛擬操作器材；所述虛擬運算裝置基於所述體態膜定位點對所述器材識別點進行位置與動作的識別以生成所述操作位置資訊以及所述器材動作資訊；及所述虛實顯示裝置即時顯示所述虛擬操作器材的操作變化，以及將所述操作位置資訊、所述器材動作資訊以及所述實體空間進行虛實整合顯示。
5. 一種適用於混合實境的人體及物件狀態三維定位與動作偵測系統，其包含：一操作器材位於一實體空間，所述操作器材具有一器材識別點以及一器材感測器，由所述器材感測器取得一器材感測訊號；一攝影裝置，取得並提供所述實體空間的一實體環境影像，所述實體環境影像包含具有多個體態膜定位點的一實體物件以及所述操作器材，所述實體物件於特定位置設置有對應的一感測器；一虛擬運算裝置，分別與所述操作器材、所述攝影裝置以及所述實體物件偶接，所述虛擬運算裝置包含： 一非暫態電腦可讀儲存媒體，儲存多個電腦可讀指令；及一硬體處理器，電性連接所述非暫態電腦可讀儲存媒體，執行所述多個電腦可讀指令，使所述虛擬運算裝置執行：自所述攝影裝置接收所述實體環境影像；自所述器材感測器取得所述器材感測訊號；依據預設的尺寸生成具有多個體態膜對位點的一虛擬體態膜；對所述實體環境影像進行手勢識別為一調整手勢以縮放、移動或三維旋轉所述虛擬體態膜，使所述虛擬體態膜的每一個體態膜對位點與所述實體物件的每一個體態膜定位點相互對應貼合；對所述實體環境影像進行手勢識別為一位定手勢以將所述虛擬體態膜固定於所述實體物件的位置；當所述虛擬體態膜被固定時，自所述實體物件取得對應的所述感測器的一感測訊號，以依據所述感測訊號識別對應的一操作位置資訊以及一手部動作資訊；及基於所述體態膜定位點對所述器材識別點進行位置的識別以及依據所述器材感測訊號識別對應的所述器材動作資訊；及一虛實顯示裝置，與所述虛擬運算裝置偶接，以將所述虛擬體態膜、所述實體物件以及所述實體空間進行虛實整合顯示，且即時顯示所述虛擬體態膜的調整變化以及即時顯示所述操作器材的操作變化，以及將所述操作位置資訊、所述手部動作資訊、所述器材動作資訊、所述實體物件以及所述實體空間進行虛實整合顯示。
6. 如請求項5所述的適用於混合實境的人體及物件狀態三維定位與動作偵測系統，其中：所述虛擬運算裝置更執行：於所述實體環境影像中生成一虛擬操作器材，所述虛擬操作器材具有所述器材識別點；對所述實體環境影像進行手勢識別為一器材選用手勢以操作所述虛擬操作器材；及基於所述體態膜定位點對所述器材識別點進行位置與動作的識別以生成所述操作位置資訊以及所述器材動作資訊；及所述虛實顯示裝置即時顯示所述虛擬操作器材的操作變化。
7. 一種適用於混合實境的人體及物件狀態三維定位與動作偵測方法，其包含下列步驟：一操作器材位於一實體空間，所述操作器材具有一器材識別點以及一器材感測器，由所述器材感測器取得一器材感測訊號；所述操作器材提供所述器材感測訊號至偶接的一虛擬運算裝置；一攝影裝置取得並提供所述實體空間的一實體環境影像至偶接的所述虛擬運算裝置，所述實體環境影像包含具有多個體態膜定位點的一實體物件以及所述操作器材，所述實體物件於特定位置設置有對應的一感測器；所述虛擬運算裝置依據預設的尺寸生成具有多個體態膜對位點的一虛擬體態膜； 所述虛擬運算裝置透過偶接的一虛實顯示裝置將所述虛擬體態膜、所述實體物件以及所述實體空間進行虛實整合顯示；所述虛擬運算裝置對所述實體環境影像進行手勢識別為一調整手勢以縮放、移動或三維旋轉所述虛擬體態膜且由所述虛實顯示裝置即時顯示所述虛擬體態膜的調整變化，使所述虛擬體態膜的每一個體態膜對位點與所述實體物件的每一個體態膜定位點相互對應貼合；所述虛擬運算裝置對所述實體環境影像進行手勢識別為一位定手勢以將所述虛擬體態膜固定於所述實體物件的位置；當所述虛擬體態膜被固定時，所述虛擬運算裝置自所述實體物件取得對應的所述感測器的一感測訊號，以依據所述感測訊號識別對應的一操作位置資訊以及一手部動作資訊；所述虛擬運算裝置基於所述體態膜定位點對所述器材識別點進行位置的識別以及依據所述器材感測訊號識別對應的一器材動作資訊且由所述虛實顯示裝置即時顯示所述操作器材的操作變化；及所述虛實顯示裝置將所述操作位置資訊、所述手部動作資訊、所述器材動作資訊、所述實體物件以及所述實體空間進行虛實整合顯示。
8. 如請求項7所述的適用於混合實境的人體及物件狀態三維定位與動作偵測方法，其中所述方法更包含下列步驟：所述虛擬運算裝置於所述實體環境影像中生成一虛擬操作器材，所述虛擬操作器材具有所述器材識別點；所述虛擬運算裝置對所述實體環境影像進行手勢識別為一器材選用手勢以操作所述虛擬操作器材； 所述虛擬運算裝置基於所述體態膜定位點對所述器材識別點進行位置與動作的識別以生成所述操作位置資訊以及所述器材動作資訊；及所述虛實顯示裝置即時顯示所述虛擬操作器材的操作變化。

Images