TWI880123B - 手術機械臂控制系統及其控制方法 - Google Patents

Abstract

本發明提出一種手術機械臂控制系統及其控制方法。手術機械臂控制系統包括手術機械臂、影像擷取單元以及處理器。影像擷取單元取得第一影像。處理器根據第一影像取得多個識別物件影像的多個識別物件座標，並且執行虛擬環境模型，以計算虛擬脊椎模型的多個虛擬脊突座標。處理器根據在虛擬環境模型中的虛擬手術機械臂朝位於多個虛擬脊突座標的多個虛擬識別物件移動的移動軌跡來產生手術機械臂作動資訊，並且根據手術機械臂作動資訊以及多個識別物件座標控制手術機械臂。

Description

手術機械臂控制系統及其控制方法

本發明是有關於一種控制系統，且特別是有關於一種手術機械臂控制系統及其控制方法。

手術機械臂目前已被廣泛地應用於各種醫療手術中，並且可用於協助醫療人員進行相關手術操作。對此，手術機械臂可例如用於避免醫療人員在手術行為的過程中因手部的震顫而造成手術對象產生不必要的傷口，以有助於可有效減少失血量、減小傷口、降低疼痛、縮短住院天數、降低術後感染風險、以及加快手術對象在手術後的恢復速度等。然而，在現有的手術機械臂控制應用中，手術機械臂的操作通常仍須由醫療人員進行整體的移動及操控，而使容易發生操作失誤以及操作效率過低的情況。

本發明提供一種手術機械臂控制系統及其控制方法可有效地控制手術機械臂，以在手術過程中可有效地輔助施術者進行 相關手術任務。

本發明的手術機械臂控制系統包括手術機械臂、影像擷取單元以及處理器。影像擷取單元用以取得第一影像。第一影像包括多個識別物件的多個識別物件影像。處理器耦接手術機械臂以及影像擷取單元。處理器根據第一影像取得多個識別物件影像的多個識別物件座標。處理器執行虛擬環境模型，以計算虛擬脊椎模型的多個虛擬脊突座標。處理器根據在虛擬環境模型中的虛擬手術機械臂朝位於多個虛擬脊突座標的多個虛擬識別物件移動的移動軌跡來產生手術機械臂作動資訊。處理器根據手術機械臂作動資訊以及多個識別物件座標控制手術機械臂。

本發明的手術機械臂控制方法包括以下步驟：透過影像擷取單元取得第一影像，其中第一影像包括多個識別物件的多個識別物件影像；根據第一影像取得多個識別物件影像的多個識別物件座標；執行虛擬環境模型，以計算虛擬脊椎模型的多個虛擬脊突座標；根據在虛擬環境模型中的虛擬手術機械臂朝位於多個虛擬脊突座標的多個虛擬識別物件移動的移動軌跡來產生手術機械臂作動資訊；以及根據手術機械臂作動資訊以及多個識別物件座標控制手術機械臂。

基於上述，本發明的手術機械臂控制系統及其控制方法，可自動地控制手術機械臂移動至鄰近於手術目標的附近位置，並且自動調整手術機械臂的姿態，以在手術過程中可有效地輔助施術者進行相關手術任務。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合附圖作詳細說明如下。

100:手術機械臂控制系統

110:處理器

120:手術機械臂

121:鑽削器材

130:影像擷取單元

S210~S250:步驟

301:手術對象

302:醫療人員

311~313:識別物件

400:虛擬環境

401:虛擬手術對象

410:虛擬脊椎模型

411~413:虛擬識別物件

420:虛擬手術機械臂

421:虛擬鑽削器材

511:背部脊突識別點

501~503:指示圖標

圖1是依照本發明的一實施例的手術機械臂控制系統的示意圖。

圖2是依照本發明的一實施例的手術機械臂控制方法的流程圖。

圖3是依照本發明的一實施例的手術機械臂的操作場景的示意圖。

圖4是依照本發明的一實施例的虛擬環境的示意圖。

圖5是依照本發明的一實施例的指示圖標的示意圖。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本揭示確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是依照本發明的一實施例的手術機械臂控制系統的示意圖。參考圖1，手術機械臂控制系統100包括處理器110、手術機械臂120以及影像擷取單元130。處理器110耦接手術機械臂 120以及影像擷取單元130。在本實施例中，手術機械臂控制系統100可例如設置手術室或其他手術環境中，並且可在醫護人員進行手術的過程中提供輔助功能。

在本實施例中，處理器110可例如設置在個人電腦(Personal Computer，PC)、筆記型電腦(Notebook computer)、平板電腦(Tablet)、工業電腦(Industrial computer)、嵌入式電腦(Embedded computer)或雲端伺服器(Cloud server)中等諸如此類的具有運算功能的電子設備中，但本發明並不加以限制。

在本實施例中，手術機械臂120可包括至少三個關節軸，以例如實現具有空間六自由度的機械手臂。在本實施例中，處理器110可控制手術機械臂120，並實現機械臂正運動學以及反向運動學。在本實施例中，影像擷取單元130可為深度攝影機(Depth camera)，並且產生RGB數位影像資訊以及深度影像資訊。

在本實施例中，手術機械臂控制系統100還可包括顯示器(圖未示)。處理器110耦接顯示器。在本實施例中，手術機械臂控制系統100還可包括儲存裝置(圖未示)。處理器110耦接儲存裝置。儲存裝置可包括記憶體，其中記憶體可例如是唯讀記憶體(Read Only Memory，ROM)、可抹除可編程唯讀記憶體(Erasable Programmable Read Only Memory，EPROM)等非揮發記憶體、隨機存取儲存器(Random Access Memory，RAM)等揮發記憶體、及硬碟驅動器(hard disc drive)、半導體記憶體等記憶體，並且用於儲存本發明所提到的各種模組、影像、資訊、參數以及資料等。 在本實施例中，儲存裝置可例如儲存有全景環境場域定位模組、物件影像偵測模型、虛擬環境模型、機械臂運動資料庫以及機械臂自動控制模組等，並且可供處理器110讀取並執行之，以實現本發明各實施例所述的手術機械臂控制功能。

在本實施例中，處理器110可透過網路協定(Internet Protocol)、通用序列匯流排(Universal Serial Bus，USB)以及Type-C USB等連接方式連接手術機械臂120，並執行機械臂自動控制模組來控制手術機械臂120。在本實施例中，虛擬環境模型可例如是V-Rep或MuJoCo等軟體，並且能在虛擬環境中放置虛擬手術機械臂、虛擬脊椎模型以及虛擬識別物件等。

圖2是依照本發明的一實施例的手術機械臂控制方法的流程圖。圖3是依照本發明的一實施例的手術機械臂的操作場景的示意圖。參考圖1至圖3，手術機械臂控制系統100可執行如以下步驟S210~S250，以控制手術機械臂120，並且輔助醫療人員302進行骨科醫療中的手術前脊突鑽削作業。先說明的是，如圖3所示，手術對象301可臉朝下方且平躺於手術平台(固定作業平台)上，並且手術機械臂120以及影像擷取單元130可設置在手術平台周邊。手術對象301的脊椎的多個脊突位置上可放置有多個識別物件311~313。在一實施例中，識別物件的數量可為一個。在其他實施例中，識別物件的數量也可為兩個或者兩個以上。

在步驟S210，處理器110可操作影像擷取單元130，以透過影像擷取單元130取得第一影像，其中第一影像包括多個識 別物件311~313的多個識別物件影像。在步驟S220，處理器110可根據第一影像取得多個識別物件影像的多個識別物件座標。在本實施例中，第一影像可包括RGB數位影像資料以及深度影像資料。處理器110可執行物件影像偵測模型，以辨識RGB數位影像資料中的識別物件影像及其位置。在本實施例中，處理器110可分析第一影像，以根據識別物件厚度、識別物件大小以及影像擷取方位角等特徵辨識參數來辨識第一影像中的的多個識別物件影像，並取得識別物件311~313在機械臂世界座標系中的對應的多個識別物件座標。

在一實施例中，處理器110可計算任意兩個識別物件之間的距離，及/或手術機械臂120分別與任意兩個識別物件之間的距離，以作為在後續虛擬環境中的虛擬識別物件的距離驗證。舉例而言，如圖3所示，處理器110可計算識別物件311與識別物件312的第一距離、識別物件311與識別物件313的第二距離以及識別物件312與識別物件313的第三距離。並且，處理器110還可計算任一識別物件與手術機械臂的第四距離。接著，處理器110可根據前述的第一距離、第二距離、第三距離以及第四距離來進行對應的各種相對距離計算及/或參數換算，以校正識別物件311~313在機械臂世界座標系中的多個識別物件座標。

在本實施例中，物件影像偵測模型可包括已訓練好的卷積神經網路模型。卷積神經網路模型可例如包括全卷積神經網路(Fully Convolutional Networks，FCN)模型，並且可預先經由深度 學習演算法訓練之。在一實施例中，物件影像偵測模型也可例如是以VCG-16、Inception Net、ResNet以及Densenet等模型來實現之。處理器110可執行卷積神經網路模型，以辨識第一影像中的多個識別物件影像。處理器110可將第一影像輸入至卷積神經網路模型，以使卷積神經網路模型可輸出識別物件311~313的多個識別物件影像。接著，處理器110可將所述多個識別物件影像疊合至機械臂世界座標系，以取得識別物件311~313在機械臂世界座標系中的對應的多個識別物件座標。

在步驟S230，處理器110可執行虛擬環境模型，以計算虛擬脊椎模型的多個虛擬脊突座標。對此，請搭配參考圖4，圖4是依照本發明的一實施例的虛擬環境的示意圖。在本實施例中，處理器110可執行脊椎醫療影像處理模組，以預先將手術對象301的脊椎醫療影像轉換為虛擬脊椎模型410，並且標定換算座標值，以根據換算座標值以及虛擬脊椎模型410計算多個操作參數。虛擬環境400(虛擬立體世界)包括虛擬手術對象401、虛擬脊椎模型410以及虛擬手術機械臂420。虛擬脊椎模型410放置於虛擬手術對象401中的預設位置。在本實施例中，脊椎醫療影像可例如是電腦斷層掃描(Computed Tomography scan，CT scan)影像或其他符合醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine，DICOM)的醫學影像。

在本實施例中，處理器110可根據換算座標值以及虛擬脊椎模型410計算多個操作參數。處理器110可根據在虛擬脊椎 模型410上的換算座標值，來計算虛擬脊椎模型座標系以及虛擬環境座標系的對映函數，以使在虛擬環境400中位於多個背部脊突識別點上的多個虛擬識別物件411~413的座標值可根據對映函數對映回虛擬脊椎模型座標系及手術對象301的脊椎醫療影像。處理器110可在虛擬機械臂世界座標系中可得到其脊突座標值，透過換算座標值返還至脊椎醫療影像，並且根據預設固定距離來框選虛擬脊椎模型410的脊突的空間範圍，以計算多個操作參數，其中所述多個操作參數可例如包括鑽削進入角度及鑽削脊突Z軸高度。並且，處理器110可將這些識別物件影像的多個識別物件座標匹配至虛擬環境400中的多個虛擬脊突座標，以取得座標換算參數。

在步驟S240，處理器110可根據在虛擬環境模型中的虛擬手術機械臂420朝位於多個虛擬脊突座標的多個虛擬識別物件411~413移動的移動軌跡來產生手術機械臂作動資訊。搭配參考圖5，圖5是依照本發明的一實施例的指示圖標的示意圖。在本實施例中，手術機械臂控制系統100還可包括顯示器。處理器110可耦接顯示器，並驅動顯示器，以顯示虛擬環境400的虛擬環境影像。處理器110可根據多個操作參數於虛擬環境影像顯示對應的如圖5所示的對應於虛擬環境400中的虛擬識別物件411的背部脊突識別點511的多個指示圖標501~503。醫療人員302可透過觀看顯示器所顯示的操作介面中的虛擬環境影像，並參考指示圖標501~503，以例如透過輸入設備(例如滑鼠及鍵盤)控制虛擬環境 400的虛擬手術機械臂420進行移動。處理器110可記錄虛擬手術機械臂420在虛擬環境400中的移動結果的手術機械臂作動資訊。手術機械臂作動資訊可包括手術機械臂的移動位置以及關節軸角度。

在步驟S250，處理器110可根據手術機械臂作動資訊以及多個識別物件座標控制手術機械臂。在本實施例中，處理器110可根據所述多個操作參數以及手術機械臂作動資訊讀取機械臂運動資料庫，以取得用於控制手術機械臂120的控制資訊。機械臂運動資料庫可機械預先建立，並儲存在手術機械臂控制系統100的儲存裝置中。機械臂運動資料庫可記錄上述虛擬環境中的虛擬手術機械臂420模擬真實環境的移動軌跡，其中移動軌跡為虛擬手術機械臂420的機械臂末端的虛擬鑽削器材421(即末端原點位置)分別移動至虛擬識別物件411~413上方的控制資訊。對此，控制資訊可為虛擬手術機械臂420的移動軌跡資訊及末端姿態資訊。

換言之，手術機械臂控制系統100可模擬真實的手術環境來模擬鑽削作業，並且可根據座標換算參數以及控制資訊控制所述手術機械臂。在本實施例中，處理器110可執行機械臂自動控制模組，以根據前述經確認後的機械臂末端移動位置及腕關節軸角度，將其控制資訊從機械臂運動資料庫讀取至真實環境的機械臂，並且操作手術機械臂120。處理器110可將先前儲存的手術機械臂120的機械臂末端的移動座標值得控制資訊，匯入手術機械臂120，以使運行機械臂正反向運動學。如此一來，手術機械臂 120可被自動還原實施如虛擬手術機械臂420在虛擬環境400中的機械臂末端的虛擬鑽削器材421的移動軌跡、移動位置及腕關節軸角度等的相關機械臂操作。因此，手術機械臂120可根據虛擬手術機械臂420在虛擬環境400中的操作，而對應地自動移動至例如鄰近於對應於識別物件311的脊突位置，並且預先改變姿態，以使機械臂末端的鑽削器材可呈現適當的鑽削角度。據此醫療人員302可接續操作真實世界的手術機械臂120，以準確且快速地進行手術前脊突鑽削作業。

另外，在本實施例中，手術機械臂控制系統100可預先建立手術機械臂120的機械臂世界座標系。處理器110可藉由影像擷取單元130拍攝手術機械臂120以及定位物件，以取得參考影像。處理器110可執行全景環境場域定位模組，以根據影像擷取單元130提供的焦距參數以及座標旋轉矩陣對參考影像進行影像分析，以決定影像擷取單元130位在機械臂世界座標系中的相對位置。定位物件可例如預先設置在手術機械臂120的機械臂末端的鑽削器材121的位置，並且可例如是具有棋盤格圖案的定位板。如此一來，處理器110可根據焦距參數將機械臂世界座標系投映至後續取得的第一影像，以將第一影像精準地疊合至機械臂世界座標系中。處理器110即可根據識別物件影像在第一影像中的位置來對應地取得識別物件311~313在機械臂世界座標系中的識別物件座標。

綜上所述，本發明的手術機械臂控制系統及其控制方 法，可讓醫療人員預先透過操作虛擬環境的虛擬手術機械臂移動至虛擬識別物件的鄰近位置，並且使機械臂末端的虛擬鑽削器材可呈現特定的適當的鑽削角度。接著，手術機械臂控制系統可自動地控制手術機械臂移動至鄰近於手術目標的附近位置，並且自動調整手術機械臂的機械臂末端的鑽削器材的姿態。如此一來，醫療人員可快速且準確地接續手動控制手術機械臂的機械臂末端的鑽削器材進行對應的手術操作。因此，本發明的手術機械臂控制系統及其控制方法，可有效地輔助施術者進行相關手術任務。本發明的手術機械臂控制系統及其控制方法可有效地降低手術機械臂發生操作失誤的機率，且可提升手術機械臂的操作效率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S210~S250:步驟

Claims (18)

1. 一種手術機械臂控制系統，包括：一手術機械臂；一影像擷取單元，用以取得一第一影像，其中所述第一影像包括多個識別物件的多個識別物件影像，並且所述第一影像包括RGB數位影像資料以及深度影像資料；以及一處理器，耦接所述手術機械臂以及所述影像擷取單元，其中所述處理器執行物件影像偵測模型以辨識所述RGB數位影像資料中的所述多個識別物件影像的多個識別物件座標，並且所述處理器執行一虛擬環境模型，以計算一虛擬脊椎模型的多個虛擬脊突座標，其中所述處理器根據所述多個識別物件的每一個識別物件的厚度、大小以及所述第一影像的擷取方位角辨識所述第一影像中的所述多個識別物件影像，其中所述處理器根據在所述虛擬環境模型中的一虛擬手術機械臂朝位於所述多個虛擬脊突座標的多個虛擬識別物件移動的一移動軌跡來產生一手術機械臂作動資訊，並且所述處理器根據所述手術機械臂作動資訊以及所述多個識別物件座標控制所述手術機械臂，其中所述多個識別物件的數量為至少三個，並且所述處理器根據第一識別物件以及第二識別物件計算第一距離，根據所述第一識別物件以及第三識別物件計算第二距離，根據所述第二識別物件以及所述第三識別物件計算第三距離，以及根據所述第 一識別物件以及手術機械臂計算第四距離，並根據所述第一距離、所述第二距離、所述第三距離以及所述第四距離校正所述多個虛擬脊突座標。
2. 如請求項1所述的手術機械臂控制系統，其中所述處理器藉由所述影像擷取單元拍攝所述手術機械臂以及一定位物件，以取得一參考影像，並且所述處理器根據一焦距參數以及一座標旋轉矩陣對所述參考影像進行影像分析，以決定所述影像擷取單元位在一機械臂世界座標系中的一相對位置。
3. 如請求項1所述的手術機械臂控制系統，其中所述處理器執行一卷積神經網路模型，以辨識所述第一影像中的所述多個識別物件影像，並將所述多個識別物件影像疊合至一機械臂世界座標系，以取得所述多個識別物件座標。
4. 如請求項1所述的手術機械臂控制系統，其中所述處理器將一脊椎醫療影像轉換為所述虛擬脊椎模型，並且標定一換算座標值，以根據所述換算座標值以及所述虛擬脊椎模型計算多個操作參數，其中所述處理器根據所述多個操作參數以及所述手術機械臂作動資訊讀取一機械臂運動資料庫，以取得用於控制所述手術機械臂的一控制資訊。
5. 如請求項4所述的手術機械臂控制系統，其中所述處理器將所述多個識別物件影像的所述多個識別物件座標匹配至所述虛擬環境模型中的所述多個虛擬脊突座標，以取得一座標換算 參數，並且所述處理器根據所述座標換算參數以及所述控制資訊控制所述手術機械臂。
6. 如請求項4所述的手術機械臂控制系統，其中所述處理器控制所述手術機械臂移動至鄰近於所述多個識別物件的其中之一，並且控制所述手術機械臂的一末端姿態對應於所述多個操作參數。
7. 如請求項4所述的手術機械臂控制系統，其中所述處理器驅動一顯示器，以顯示所述虛擬環境模型的一虛擬環境影像，並且所述處理器根據所述多個操作參數於虛擬環境影像顯示對應的多個指示圖標。
8. 如請求項4所述的手術機械臂控制系統，其中所述多個操作參數包括一鑽削進入角度以及一鑽削脊突高度。
9. 如請求項4所述的手術機械臂控制系統，其中所述脊椎醫療影像為一電腦斷層掃描影像。
10. 一種手術機械臂控制方法，包括：透過一影像擷取單元取得一第一影像，其中所述第一影像包括多個識別物件的多個識別物件影像，並且所述第一影像包括RGB數位影像資料以及深度影像資料；辨識所述RGB數位影像資料中的所述多個識別物件影像的多個識別物件座標，還包括：根據所述多個識別物件的每一個識別物件的厚度、大小以及所述第一影像的擷取方位角辨識所述第一影像中的所述 多個識別物件影像；執行一虛擬環境模型，以計算一虛擬脊椎模型的多個虛擬脊突座標；根據在所述虛擬環境模型中的一虛擬手術機械臂朝位於所述多個虛擬脊突座標的多個虛擬識別物件移動的一移動軌跡來產生一手術機械臂作動資訊；以及根據所述手術機械臂作動資訊以及所述多個識別物件座標控制一手術機械臂，其中所述多個識別物件的數量為至少三個，並且處理器根據第一識別物件以及第二識別物件計算第一距離，根據所述第一識別物件以及第三識別物件計算第二距離，根據所述第二識別物件以及所述第三識別物件計算第三距離，以及根據所述第一識別物件以及手術機械臂計算第四距離，並根據所述第一距離、所述第二距離、所述第三距離以及所述第四距離校正所述多個虛擬脊突座標。
11. 如請求項10所述的手術機械臂控制方法，還包括：藉由所述影像擷取單元拍攝所述手術機械臂以及一定位物件，以取得一參考影像；以及根據一焦距參數以及一座標旋轉矩陣對所述參考影像進行影像分析，以決定所述影像擷取單元位在一機械臂世界座標系中的一相對位置。
12. 如請求項10所述的手術機械臂控制方法，其中根據所述第一影像取得所述多個識別物件影像的所述多個識別物件座標的步驟包括：執行一卷積神經網路模型，以辨識所述第一影像中的所述多個識別物件影像；以及將所述多個識別物件影像疊合至一機械臂世界座標系，以取得所述多個識別物件座標。
13. 如請求項10所述的手術機械臂控制方法，其中根據所述手術機械臂作動資訊以及所述多個識別物件座標控制所述手術機械臂的步驟包括：將一脊椎醫療影像轉換為所述虛擬脊椎模型，並且標定一換算座標值，以根據所述換算座標值以及所述虛擬脊椎模型計算多個操作參數；以及根據所述多個操作參數以及所述手術機械臂作動資訊讀取一機械臂運動資料庫，以取得用於控制所述手術機械臂的一控制資訊。
14. 如請求項13所述的手術機械臂控制方法，其中根據所述手術機械臂作動資訊以及所述多個識別物件座標控制所述手術機械臂的步驟還包括：將所述多個識別物件影像的所述多個識別物件座標匹配至所述虛擬環境模型中的所述多個虛擬脊突座標，以取得一座標換算參數；以及 根據所述座標換算參數以及所述控制資訊控制所述手術機械臂。
15. 如請求項13所述的手術機械臂控制方法，其中根據所述手術機械臂作動資訊以及所述多個識別物件座標控制所述手術機械臂的步驟還包括：控制所述手術機械臂移動至鄰近於所述多個識別物件的其中之一；以及控制所述手術機械臂的一末端姿態對應於所述多個操作參數。
16. 如請求項13所述的手術機械臂控制方法，還包括：透過一顯示器顯示所述虛擬環境模型的一虛擬環境影像；以及根據所述多個操作參數於虛擬環境影像顯示對應的多個指示圖標。
17. 如請求項13所述的手術機械臂控制方法，其中所述多個操作參數包括一鑽削進入角度以及一鑽削脊突高度。
18. 如請求項13所述的手術機械臂控制方法，其中所述脊椎醫療影像為一電腦斷層掃描影像。

Images