TWI879264B - 手術機械臂控制系統以及手術機械臂控制方法 - Google Patents

Abstract

本發明提出一種手術機械臂控制系統以及手術機械臂控制方法。手術機械臂控制系統包括手術機械臂、空間定位資訊擷取單元、深度影像擷取單元以及處理器。空間定位資訊擷取單元用以取得空間座標資料。深度影像擷取單元用以取得全景深度影像。處理器對全景深度影像進行影像辨識，以辨識手術機械臂，並且根據空間座標資料來定位手術機械臂的位置。處理器根據手術機械臂的位置來定義環境空間，並且規劃在環境空間中的機械手臂移動路徑。處理器根據機械手臂移動路徑控制手術機械臂。

Description

手術機械臂控制系統以及手術機械臂控制方法

本發明是有關於一種控制系統，且特別是有關於一種手術機械臂控制系統以及手術機械臂控制方法。

手術機械臂目前已被廣泛地應用於各種醫療手術中，並且可用於協助醫療人員進行相關手術操作。對此，手術機械臂可例如用於避免醫療人員在手術行為的過程中因手部的震顫而造成手術對象產生不必要的傷口，以有助於可有效減少失血量、減小傷口、降低疼痛、縮短住院天數、降低術後感染風險、以及加快手術對象在手術後的恢復速度等。然而，在現有的手術機械臂控制應用中，手術機械臂的操作通常仍須由醫療人員進行整體的移動及操控，而使容易發生操作失誤以及操作效率過低的情況。

本發明提供一種手術機械臂控制系統以及手術機械臂控制方法，可有效地提供手術輔助功能。

本發明的手術機械臂控制系統包括手術機械臂、空間定位資訊擷取單元、深度影像擷取單元以及處理器。空間定位資訊擷取單元用以取得空間座標資料。深度影像擷取單元用以取得全景深度影像。處理器耦接手術機械臂、空間定位資訊擷取單元以及深度影像擷取單元。處理器對全景深度影像進行影像辨識，以辨識手術機械臂，並且根據空間座標資料來定位手術機械臂的位置。處理器根據手術機械臂的位置來定義環境空間，並且規劃在環境空間中的機械手臂移動路徑。處理器根據機械手臂移動路徑控制手術機械臂。

本發明的手術機械臂控制方法包括以下步驟：透過空間定位資訊擷取單元取得空間座標資料；透過深度影像擷取單元取得全景深度影像；透過處理器對全景深度影像進行影像辨識，以辨識手術機械臂；透過處理器根據空間座標資料來定位手術機械臂的位置；透過處理器根據手術機械臂的位置來定義環境空間，並且規劃在環境空間中的機械手臂移動路徑；以及透過處理器根據機械手臂移動路徑控制手術機械臂。

基於上述，本發明的手術機械臂控制系統以及手術機械臂控制方法可透過電腦視覺影像來辨識環境，並且進行定位，以自動控制手術機械臂移動至目標區域的位置。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合附圖作詳細說明如下。

100:手術機械臂控制系統

110:處理器

120:手術機械臂

130:空間定位資訊擷取單元

140:深度影像擷取單元

301:全景深度影像

302:深度影像資訊

303:空間座標資料

304:目標座標點

305:確認結果

306:驅動信號

310:全景深度影像辨識模組

320:空間環境影像處理模組

330:目標區域確認模組

340:機械臂動作回饋模組

400:手術對象

401:手術器件

402:環境空間

411、412:追跡球

D1~D3:方向

S210~S260、S610~S650:步驟

圖1是本發明的一實施例的手術機械臂控制系統的電路示意圖。

圖2是本發明的一實施例的手術機械臂控制方法的流程圖。

圖3是本發明的一實施例的多個模組的示意圖。

圖4是本發明的一實施例的操作手術機械臂的情境示意圖。

圖5是本發明的一實施例的操作手術機械臂的情境示意圖。

圖6是本發明的一實施例的手術機械臂控制方法的流程圖。

圖1是本發明的一實施例的手術機械臂控制系統的電路示意圖。參考圖1，手術機械臂控制系統100包括處理器110、手術機械臂120、空間定位資訊擷取單元130以及深度影像擷取單元140。處理器110耦接手術機械臂120、空間定位資訊擷取單元130以及深度影像擷取單元140。在本實施例中，手術機械臂控制系統100可例如設置手術室或其他手術環境中，並且可在醫護人員進行手術的過程中提供輔助功能。

在本實施例中，處理器110可例如設置在個人電腦(Personal Computer，PC)、筆記型電腦(Notebook computer)、平板電腦(Tablet)、上業電腦(Industrial computer)、嵌入式電腦(Embedded computer)或雲端伺服器(Cloud server)中等

諸如此類的具有運算功能的電子設備中，但本發明並不加以限制。在本實施例中，手術機械臂120可包括至少三個關節軸，以例如實現具有空間六自由度的機械手臂。處理器110可控制手術機械臂120，並實現機械臂正向運動學以及反向運動學。

在本實施例中，空間定位資訊擷取單元130可為攝影機或相機設備，並且可用於取得空間座標資料。在本實施例中，深度影像擷取單元140可為深度攝影機(Depth camera)，並且用於產生全景深度影像，其中全景深度影像可例如包括RGB數位影像資訊及/或深度影像資訊。

在本實施例中，手術機械臂控制系統100還可包括顯示器(圖未示)。處理器110耦接顯示器。在本實施例中，手術機械臂控制系統100還可包括儲存裝置(圖未示)。處理器110耦接儲存裝置。儲存裝置可包括記憶體，其中記憶體可例如是唯讀記憶體(Read Only Memory，ROM)、可抹除可編程唯讀記憶體(Erasable Programmable Read Only Memory，EPROM)等非揮發記憶體、隨機存取儲存器(Random Access Memory，RAM)等揮發記憶體、及硬碟驅動器(hard disc drive)、半導體記憶體等記憶體，並且用於儲存本發明所提到的各種模組、影像、資訊、參數以及資料等。

在本實施例中，處理器110可透過網路協定(Internet Protocol)、通用序列匯流排(Universal Serial Bus，USB)以及Type-C USB等連接方式連接手術機械臂120，並執行機械臂自動控制模組來控制手術機械臂120。

圖2是本發明的一實施例的手術機械臂控制方法的流程圖。參考圖1以及圖2，手術機械臂控制系統100可執行如以下步驟S210~S260。在步驟S210，空間定位資訊擷取單元130可取得空間座標資料。在本實施例中，空間定位資訊擷取單元130可偵測擷取範圍內的各物件的位置資訊，例如座標。在步驟S220，深度影像擷取單元140可取得全景深度影像。在本實施例中，所述全景深度影像中可包括所述至少一追跡球、所述手術對象以及手術機械臂120的影像，並且所述至少一追跡球可設置在(被安裝在)所述手術對象上。值得注意的是，所述追跡球用於安裝在手術器件上，且此手術器件設置在所述手術對象上，以使手術機械臂控制系統100可辨識手術器件的位置，以便手術機械臂120的移動路徑可避開，而避免發生碰撞。所述追跡球可例如為多面體球且包括定位圖案，以便於空間定位資訊擷取單元130進行定位，但本發明並不限制追跡球的樣式。

在步驟S230，處理器110可對全景深度影像進行影像辨識，以辨識手術機械臂120。在步驟S240，處理器110可根據空間座標資料來定位手術機械臂120的位置。在本實施例中，處理器110可對所述全景深度影像進行影像辨識，以辨識所述至少一追跡球、所述手術對象以及手術機械臂120。所述空間座標資料包括所述至少一追跡球、所述手術對象以及手術機械臂120的多個座標。

在步驟S250，處理器110可根據手術機械臂120的位置 來定義環境空間，並且規劃在環境空間中的機械手臂移動路徑。在步驟S260，處理器110可根據機械手臂移動路徑控制手術機械臂120。所述環境空間為在真實空間中的一個區域範圍。在本實施例中，環境空間可以手術機械臂120的末端機構為中心，並且所述環境空間隨著手術機械臂120的末端機構移動而更新，但本發明並不限於此。在本實施例中，處理器110可根據虛擬路徑模型透過遷移學習來訓練對應於所述環境空間的真實路徑模型，以透過真實路徑模型取得機械手臂移動路徑。在本實施例中，虛擬路徑模型以及真實路徑模型分別為一密集連接卷積神經網路模型(Densely connected convolutional network，Densenet)，但本發明並不限於此。在一實施例中，虛擬路徑模型以及真實路徑模型也可為其他類型的卷積神經網路模型。

圖3是本發明的一實施例的多個模組的示意圖。參考圖1以及圖3，手術機械臂控制系統100的儲存裝置可儲存如圖3的全景深度影像辨識模組310、空間環境影像處理模組320、目標區域確認模組330以及機械臂動作回饋模組340的相關演算法及/或程式，並且處理器110可執行之。具體而言，全景深度影像辨識模組310可取得全景深度影像301，其中全景深度影像301包括環境場域的影像內容，並且包括影像資訊、深度資訊以及方向資訊。全景深度影像辨識模組310可辨識全景深度影像301中的障礙物(不一定有)、至少一追跡球、手術對象以及手術機械臂120，並且輸出相關深度影像資訊302至空間環境影像處理模組320。

空間環境影像處理模組320可取得相關深度影像資訊302以及空間座標資料303。空間座標資料303包括立體空間座標數值(即提供世界座標系的相關參數)。空間座標資料303包括所述至少一追跡球、所述手術對象以及手術機械臂120的多個座標。空間環境影像處理模組320可依手術機械臂120的末端機構(例如機械爪)的位置為中心點，並且從全景深度影像301擷取局部的影像內容。空間環境影像處理模組320可以此中心點向周圍空間延伸，以形成一個環境空間矩陣來包為此中心點。值得注意的是，隨著此中心點移動環境空間將會隨著手術機械臂120的末端機構移動而更新。處理器110可根據在此環境空間中的障礙物(不一定有)、至少一追跡球、手術對象以及手術機械臂120的末端機構的空間位置資訊來自動生成機械手臂移動路徑。對此，手術機械臂120在此機械手臂移動路徑不會與障礙物(不一定有)、至少一追跡球以及手術對象發生碰撞。空間環境影像處理模組320可將機械手臂移動路徑中的手術機械臂120的目標座標點304提供至目標區域確認模組330。

在移動手術機械臂120之前，處理器110可執行目標區域確認模組330，以對目標座標點進行重新定義，以將目標座標點延伸至線段，再轉換為參考目標區域。目標區域確認模組330可判斷參考目標區域與目標區域是否匹配，以決定是否根據機械手臂移動路徑控制手術機械臂。目標區域確認模組330可將確認結果305(即經確認後的目標座標點)提供至機械臂動作回饋模組340。 處理器110可根據經確認後的目標座標點來產生相關機械臂控制指令，並且機械臂動作回饋模組340可根據相關機械臂控制指令來生成驅動信號306，並且輸出驅動信號306至手術機械臂120，以驅動手術機械臂120。

圖4是本發明的一實施例的操作手術機械臂的情境示意圖。圖5是本發明的一實施例的操作手術機械臂的情境示意圖。舉例而言，參考圖1、圖4以及圖5，以醫療人員進行骨科醫療中的手術前脊突鑽削作業為例。在圖4中，手術對象400(即被手術者)可臉部朝下而平躺在手術台上。手術台的表面可平行於由方向D1(水平方向)以及方向D2(水平方向)分別延伸所形成的平面。方向D3為垂直方向。在本實施例中，手術機械臂120的末端機構121可例如夾持手術器件401。

在本實施例中，空間定位資訊擷取單元130可取得手術環境中的各物件的空間座標資料。深度影像擷取單元140可取得手術環境的全景深度影像。深度影像擷取單元140的擷取角度大於空間定位資訊擷取單元130的擷取角度。處理器110可取得手術對象400、已設置在手術對象400上的手術器件的追跡球411、412、手術機械臂120、手術機械臂120的末端機構121在真實世界的空間座標，並且以手術機械臂120的末端機構121為中心定義環境空間402(立方體區域)。處理器110可根據虛擬路徑模型透過遷移學習來訓練對應於環境空間402的真實路徑模型，以透過真實路徑模型取得在環境空間402中的機械手臂移動路徑。此外， 手術機械臂120的末端機構121也可安裝有一參考追跡球，並且處理器110可根據參考追跡球來準確地定位手術機械臂的末端機構121的位置。

在圖5中，當處理器110可逐步控制手術機械臂120的末端機構121靠近手術對象400。手術機械臂120的末端機構121在移動過程中，可有效避開手術對象400以及追跡球411、412的位置，以避免碰撞。並且，當處理器110透過空間定位資訊擷取單元130判斷手術機械臂120的末端機構121抵達目標位置點時，處理器110可停止移動且固定手術機械臂120的末端機構121，以便於醫療人員可便利地使用或拿取手術器件401來對手術對象400進行手術。

圖6是本發明的一實施例的手術機械臂控制方法的流程圖。參考圖1以及圖6，手術機械臂控制系統100可執行如以下步驟S610~S650。在步驟S610，處理器110可根據虛擬路徑模型進行遷移學習，以訓練真實路徑模型。在本實施例中，處理器110可先建立虛擬手術環境模型。虛擬手術環境模型可例如包括虛擬手術對象、虛擬脊椎模型以及虛擬手術機械臂等。虛擬脊椎模型放置於虛擬手術對象中的預設位置。在本實施例中，虛擬手術環境模型可例如是V-Rep或MuJoCo等軟體，並且能在虛擬環境中放置虛擬手術機械臂、虛擬脊椎模型以及虛擬識別物件等。處理器110可訓練虛擬手術機械臂在虛擬手術環境中的虛擬移動路徑，以建立虛擬路徑模型，並且可根據虛實手術環境搬遷雛型轉換技術，來利 用遷移學習作特徵權重移轉，以搭配全景深度影像以及各物件的空間座標資料來建立真實路徑模型。對此，處理器110可將虛擬路徑模型的特徵權重替換至真實路徑模型的特徵權重，並可產生新的特徵權重。並且，處理器110可將特徵權重差異範圍隨機帶入模型的獎勵機制來驗證，以根據得到的獎勵值是否最大，以決定是否取代其特徵權重。如此一來，可有效減少真實路徑模型中的全卷積層中的原始特徵模糊化及強化特徵分割，以使有效地初部泛化至脊椎手術真實空間。

在步驟S620，處理器110可根據真實路徑模型產生移動座標，以控制手術機械臂120。在步驟S630，在移動手術機械臂120之後，處理器110可辨識手術機械臂120周圍的手術環境。在步驟S640，處理器110可判斷手術機械臂120是否抵達目標位置(即手術機械臂120的末端器件位於目標座標點上)。若否，則處理器110可透過(或再次訓練)真實路徑模型來重新定義新的環境空間，並且規劃在新的環境空間中的機械手臂移動路徑。若是，則處理器110可結束手術機械臂120的移動操作，以停止移動且固定手術機械臂120的末端機構，以便於醫療人員可便利地使用或拿取末端機構所夾持的手術器件來對手術對象進行手術。

綜上所述，本發明的手術機械臂控制系統以及手術機械臂控制方法可透過電腦視覺影像以及機器學習演算法，來辨識出環境有效空間徵特值及障礙物位置，並且可推論出可迴避障礙物的多重方向，且從中挑選出最佳化路徑，以使手術機械臂可以逆 運動學模式，在未端位移過程中可以自動閃避環境相關物件，並且抵達目標區域的位置。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S210~S260:步驟

Claims (16)

1. 一種手術機械臂控制系統，包括： 一手術機械臂； 一空間定位資訊擷取單元，用以取得一空間座標資料； 一深度影像擷取單元，用以取得一全景深度影像；以及 一處理器，耦接該手術機械臂、該空間定位資訊擷取單元以及該深度影像擷取單元， 其中該處理器對該全景深度影像進行影像辨識，以辨識該手術機械臂，並且根據該空間座標資料來定位該手術機械臂的位置，其中該處理器根據該手術機械臂的位置來定義一環境空間，並且規劃在該環境空間中的一機械手臂移動路徑， 其中該處理器根據該機械手臂移動路徑控制該手術機械臂。
2. 如請求項1所述的手術機械臂控制系統，其中該全景深度影像中包括至少一追跡球以及該手術機械臂的影像，並且該至少一追跡球設置在一手術對象上， 其中該處理器對該全景深度影像進行影像辨識，以辨識該至少一追跡球、該手術對象以及該手術機械臂，並且該空間座標資料包括該至少一追跡球、該手術對象以及該手術機械臂的多個座標。
3. 如請求項1所述的手術機械臂控制系統，其中該環境空間以該手術機械臂的一末端機構為中心，並且該環境空間隨著該手術機械臂的該末端機構移動而更新。
4. 如請求項1所述的手術機械臂控制系統，其中該處理器根據一虛擬路徑模型透過遷移學習來訓練對應於該環境空間的一真實路徑模型，以透過該真實路徑模型取得該機械手臂移動路徑。
5. 如請求項4所述的手術機械臂控制系統，其中該虛擬路徑模型以及該真實路徑模型分別為一密集連接卷積神經網路模型。
6. 如請求項1所述的手術機械臂控制系統，其中在移動該手術機械臂之後，該處理器辨識該手術機械臂周圍的手術環境，以判斷該手術機械臂是否抵達一目標區域，以決定是否重新定義新的環境空間，並且規劃在該新的環境空間中的另一機械手臂移動路徑。
7. 如請求項6所述的手術機械臂控制系統，其中該手術機械臂的一末端機構安裝有一參考追跡球，並且該處理器根據該參考追跡球來定位該手術機械臂的位置，其中該處理器根據該機械手臂移動路徑控制該手術機械臂，以使該手術機械臂的該末端機構靠近該目標區域。
8. 如請求項6所述的手術機械臂控制系統，其中在移動該手術機械臂之前，該處理器對一目標座標點進行重新定義，以將該目標座標點延伸至線段，再轉換為一參考目標區域， 其中該處理器判斷該參考目標區域與該目標區域是否匹配，以決定是否根據該機械手臂移動路徑控制該手術機械臂。
9. 一種手術機械臂控制方法，包括： 透過一空間定位資訊擷取單元取得一空間座標資料； 透過一深度影像擷取單元取得一全景深度影像； 透過一處理器對該全景深度影像進行影像辨識，以辨識一手術機械臂； 透過該處理器根據該空間座標資料來定位該手術機械臂的位置； 透過該處理器根據該手術機械臂的位置來定義一環境空間，並且規劃在該環境空間中的一機械手臂移動路徑；以及 透過該處理器根據該機械手臂移動路徑控制該手術機械臂。
10. 如請求項9所述的手術機械臂控制方法，其中該全景深度影像中包括至少一追跡球以及該手術機械臂的影像，並且該至少一追跡球設置在一手術對象上， 其中該全景深度影像進行影像辨識的步驟包括： 透過該處理器對該全景深度影像進行影像辨識，以辨識該至少一追跡球、該手術對象以及該手術機械臂， 其中該空間座標資料包括該至少一追跡球、該手術對象以及該手術機械臂的多個座標。
11. 如請求項9所述的手術機械臂控制方法，其中該環境空間以該手術機械臂的一末端機構為中心，並且該環境空間隨著該手術機械臂的該末端機構移動而更新。
12. 如請求項9所述的手術機械臂控制方法，其中規劃在該環境空間中的該機械手臂移動路徑的步驟包括： 透過該處理器根據一虛擬路徑模型透過遷移學習來訓練對應於該環境空間的一真實路徑模型，以透過該真實路徑模型取得該機械手臂移動路徑。
13. 如請求項12所述的手術機械臂控制方法，其中該虛擬路徑模型以及該真實路徑模型分別為一密集連接卷積神經網路模型。
14. 如請求項9所述的手術機械臂控制方法，還包括： 在移動該手術機械臂之後，透過該處理器辨識該手術機械臂周圍的手術環境，以判斷該手術機械臂是否抵達一目標區域，以決定是否重新定義新的環境空間，並且規劃在該新的環境空間中的另一機械手臂移動路徑。
15. 如請求項14所述的手術機械臂控制方法，其中該手術機械臂的一末端機構安裝有一參考追跡球， 其中控制該手術機械臂的步驟包括： 透過該處理器根據該參考追跡球來定位該手術機械臂的位置；以及 透過該處理器根據該機械手臂移動路徑控制該手術機械臂，以使該手術機械臂的該末端機構靠近該目標區域。
16. 如請求項14所述的手術機械臂控制方法，其中控制該手術機械臂的步驟包括： 在移動該手術機械臂之前，透過該處理器對一目標座標點進行重新定義，以將該目標座標點延伸至線段，再轉換為一參考目標區域；以及 透過該處理器判斷該參考目標區域與該目標區域是否匹配，以決定是否根據該機械手臂移動路徑控制該手術機械臂。

Images