TWI696441B

TWI696441B - 手術影像的智慧標記系統及其方法

Info

Publication number: TWI696441B
Application number: TW108117494A
Authority: TW
Inventors: 劉偉民; 李宇倢; 沈易達
Original assignee: 臺北醫學大學
Priority date: 2019-05-21
Filing date: 2019-05-21
Publication date: 2020-06-21
Also published as: TW202042738A

Abstract

一種手術影像的智慧標記系統及其方法，透過執行影像辨識以生成對應手術影像的物件訊息，並且將生成的物件訊息作為與手術影像對應的特徵數據，用以在載入待分析影像後，根據待分析影像及特徵數據進行特徵值分析及統計，以便計算待分析影像與每一手術影像的相似率，並且選擇相似率最高的手術影像所對應的術式名稱以標記為待分析影像所對應的術式名稱，以及將待分析影像及其對應的術式名稱一併儲存至資料庫作為手術影像，達到提高標記手術影像的效率之技術功效。

Description

手術影像的智慧標記系統及其方法

本發明涉及一種標記系統及其方法，特別是手術影像的智慧標記系統及其方法。

近年來，隨著醫療科技的普及與蓬勃發展，各種相關應用便如雨後春筍般出現，其中又以手術影像的加值應用最受矚目。

一般而言，手術影像可以提供醫生、學生或相關從業人員學習，甚至可以作為手術紀錄避免醫療糾紛，然而，由於手術的種類十分龐雜，為了便於瀏覽，所以需要對手術影像進行標記，例如：記錄術式、器官、執刀醫生等等。如此一來，即可根據標記的資訊快速查詢所有相關的手術影像。不過，以往透過人工進行判斷及標記的方式容易因疲勞而導致錯誤率大增、效率不佳等問題。

有鑑於此，便有廠商提出結合影像辨識的技術，其透過器官辨識技術，用以自動對手術影像中出現的器官進行分類標記，進而改善標記的錯誤率及提升標記效率。然而，此方式僅能針對器官進行概略性分類，而無法進一步針對使用的術式進行辨識，因此，仍然需要仰賴專業的醫療人員判斷術式並進行補充標記，故仍然存在標記手術影像的效率不佳的問題。

綜上所述，可知先前技術中長期以來一直存在標記手術影像的效率不佳之問題，因此實有必要提出改進的技術手段，來解決此一問題。

本發明揭露一種手術影像的智慧標記系統及其方法。

首先，本發明揭露一種手術影像的智慧標記系統，此系統包含：資料庫、特徵生成模組、分析模組及儲存模組。其中，所述資料庫用以儲存手術影像，每一手術影像對應術式名稱；特徵生成模組連接資料庫，用以於初始時，分別載入資料庫的手術影像以進行影像辨識，並且根據影像辨識結果生成對應的物件訊息，以及將物件訊息作為對應手術影像的特徵數據並儲存於資料庫，其中，每一物件訊息包含圖像物件存在於手術影像中的座標、比例及時間點；分析模組連接資料庫，用以在載入待分析影像後，根據此待分析影像及特徵數據進行特徵值分析及統計，以計算待分析影像與每一手術影像的相似率；儲存模組連接分析模組，用以選擇與相似率最高的手術影像對應的術式名稱以標記為待分析影像對應的術式名稱，並且將待分析影像及標記的術式名稱一併儲存至資料庫作為手術影像其中之一。

另外，本發明揭露一種手術影像的智慧標記方法，其步驟包括：在資料庫提供手術影像，每一手術影像對應一個術式名稱；於初始時，分別載入資料庫的手術影像以進行影像辨識，並且根據影像辨識結果生成對應的物件訊息，以及將物件訊息作為對應手術影像的特徵數據並儲存於資料庫，其中，每一物件訊息包含圖像物件存在於手術影像中的座標、比例及時間點；當載入待分析影像後，根據此待分析影像及特徵數據進行特徵值分析及統計，以計算待分析影像與每一手術影像的相似率；以及選擇與相似率最高的手術影像對應的術式名稱以標記為待分析影像對應的術式名稱，並且將待分析影像及標記的術式名稱一併儲存至資料庫作為手術影像其中之一。

本發明所揭露之系統與方法如上，與先前技術的差異在於本發明是透過執行影像辨識以生成對應手術影像的物件訊息，並且將生成的物件訊息作為與手術影像對應的特徵數據，用以在載入待分析影像後，根據待分析影像及特徵數據進行特徵值分析及統計，以便計算待分析影像與每一手術影像的相似率，並且選擇相似率最高的手術影像所對應的術式名稱以標記為待分析影像所對應的術式名稱，以及將待分析影像及其對應的術式名稱一併儲存至資料庫作為手術影像。

透過上述的技術手段，本發明可以達成提高標記手術影像的效率之技術功效。

以下將配合圖式及實施例來詳細說明本發明之實施方式，藉此對本發明如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。

在說明本發明所揭露之手術影像的智慧標記系統及其方法之前，先對本發明所自行定義的名詞作說明，本發明所述的「術式名稱」是指手術方式的名稱，例如：「子宮切除術」、「肌瘤切除術」等等。至於所述「物件訊息」則是透過如器官、手術器具的影像辨識技術所生成的訊息，舉例來說，透過器官辨識技術辨識出在手術影像中的器官，並且擷取此器官的圖像作為圖像物件，以及將此圖像物件及其存在於手術影像中的座標、比例及時間點等資訊一併作為物件訊息。換句話說，能夠被影像辨識出的物體便稱為物件，而物件訊息記載了此物件的詳細訊息，如：出現的座標、比例及時間點。

以下配合圖式對本發明手術影像的智慧標記系統及其方法做進一步說明，請先參閱「第1圖」，「第1圖」為本發明手術影像的智慧標記系統的系統方塊圖，此系統包含：資料庫110、特徵生成模組120、分析模組130及儲存模組140。其中，資料庫110用以儲存手術影像，每一手術影像對應一個術式名稱。在實際實施上，所述資料庫110可使用關聯式資料庫（Relational Database）、NoSQL資料庫等等來實現。另外，資料庫110更可儲存器官特徵值及手術器具特徵值，用以在對手術影像進行影像辨識時載入，並且在手術影像中擷取符合載入的器官特徵值或手術器具特徵值的圖像作為物件訊息的圖像物件，以及將此圖像物件存在於手術影像中的座標、比例及時間點記錄於物件訊息。其中，所述器官特徵值及手術器具特徵值可透過類神經網路（Neural Network, ANN）、深度學習（Deep Learning）等方式產生，例如：預先將大量的器官及手術器具的圖像作為訓練資料，進而生成相應的特徵值，即：器官特徵值及手術器具特徵值。

特徵生成模組120連接資料庫110，用以於初始時，分別載入資料庫110的手術影像以進行影像辨識，並且根據影像辨識結果生成對應的物件訊息，以及將物件訊息作為對應手術影像的特徵數據並儲存於資料庫110，其中，每一物件訊息包含圖像物件存在於手術影像中的座標、比例及時間點。在實際實施上，生成的物件訊息可以僅保留與關鍵器官相關的部分，而其它非關鍵器官的物件訊息則刪除，至於關鍵器官則是根據圖像物件的座標及比例來決定，例如：器官的圖像物件位於手術影像的中心位置或佔據的比例大於預設值即代表關鍵器官。除此之外，所述特徵生成模組120還可載入所有相同的術式名稱的手術影像，用以辨識其中的手術器具的種類與異常器官的種類、形狀及大小，並且根據辨識結果生成對應此術式名稱的起手式特徵值，以及將此起手式特徵值及其對應的術式名稱一併儲存至資料庫110。在實際實施上，所述起手式特徵值的生成方式與上述所述器官特徵值及手術器具特徵值的生成方式相同。

分析模組130連接資料庫110，用以在載入待分析影像後，根據此待分析影像及特徵數據進行特徵值分析及統計，以計算此待分析影像與每一手術影像的相似率。其中，所述待分析影像是指尚未標記有術式名稱的手術影像。在實際實施上，由於特徵生成模組120已經分別根據每一手術影像生成相應的特徵數據，所以分析模組130將待分析影像與各特徵數據進行特徵值分析及統計後，即可計算出待分析影像與每一手術影像的相似率，例如：待分析影像與第一個手術影像的相似率為「90%」、待分析影像與第二個手術影像的相似率為「40%」等等。另外，當資料庫110儲存有起手式特徵值時，分析模組130還可將載入的待分析影像與資料庫110中的起手式特徵值進行比對，並且載入比對符合的起手式特徵值對應的術式名稱，當載入的術式名稱與根據相似率選擇的術式名稱不同時，產生提示訊息並允許任選其一作為待分析影像對應的術式名稱。舉例來說，假設載入的術式名稱為「全子宮切除術」，而根據相似率選擇的術式名稱則為「次子宮切除術」，此時產生提示訊息以進行顯示，並且允許使用者在其中任選其一作為待分析影像對應的術式名稱，甚至也可以由使用者自行鍵入文字以指定術式名稱。特別要說明的是，在實際實施上，分析模組130還可根據關鍵器官（例如：佔據影像比例最大的器官，或是座標位置在中央的器官等等）是否有實心組織、腫瘤邊緣細胞的異常度來調整相似率，以上述待分析影像與第一個手術影像及第二個手術影像為例，假設待分析影像的關鍵器官不具有實心組織，而第一個手術影像的關鍵器官具有實心組織，那麼可以將待分析影像與第一個手術影像的相似率進行調降，例如：從「90%」調降為「80%」。反之，倘若是皆具有實心組織或腫瘤邊緣細胞的異常度雷同，則可調升相似率。雖然本發明以上述舉例說明相似率的調整方式，然本發明並不以此為限，任何根據影像中出現的器官、組織、細胞或手術器具的差異來進一步調整相似率的方式皆不脫離本發明的應用範疇。舉例來說，還可將手術器具的類型、環境判定（如：卵巢）、異常器官（如：囊腫）、醫學統計訊息（如：卵巢腫瘤約八成至八成五為良性）、液體流出之瞬間畫面占比及液體色澤等等作為分析的參數。

儲存模組140連接分析模組，用以選擇與相似率最高的手術影像對應的術式名稱以標記為待分析影像對應的術式名稱，並且將待分析影像及標記的術式名稱一併儲存至資料庫110作為手術影像其中之一。舉例來說，假設待分析影像與第三個手術影像相似率最高，而且第三個手術影像所對應的術式名稱為「肌瘤切除術」，那麼，儲存模組140會將此第三個手術影像所對應的術式名稱「肌瘤切除術」標記為待分析影像所對應的術式名稱，並且將此待分析影像及其對應的術式名稱「肌瘤切除術」一併儲存至資料庫110中作為手術影像其中之一。如此一來，輸入待分析影像後，即可快速對此待分析影像進行相應術式名稱的標記，甚至可以根據標記的術式名稱來進行分類儲存，例如：相同術式名稱為同一類，儲存在相同資料夾。

另外，本發明的所述系統更可包含分割模組150，用以在資料庫110中儲存有器官特徵值及手術器具特徵值時，偵測手術影像中存在器官特徵值及手術器具特徵值至少其中之一的時間點，並且在相鄰的時間點之間的時間間隔大於預設間隔時，將手術影像中與時間間隔對應的訊框刪除以形成分割影像並儲存於資料庫110。換句話說，將存在器官及手術器具或兩者任一的影像保留，反之則刪除。在實際實施上，通常是將兩者皆存在的影像保留作為關鍵影像。藉由上述方式，可以刪除不重要的影像，甚至還可將多個分割影像重組為單一影像，達到剪輯出精華片段的效果。

特別要說明的是，在實際實施上，本發明所述的各模組皆可利用各種方式來實現，包含軟體、硬體或其任意組合，例如，在某些實施方式中，各模組可利用軟體及硬體或其中之一來實現，除此之外，本發明亦可部分地或完全地基於硬體來實現，例如，系統中的一個或多個模組可以透過積體電路晶片、系統單晶片（System on Chip, SoC）、複雜可程式邏輯裝置（Complex Programmable Logic Device, CPLD）、現場可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）等來實現。本發明可以是系統、方法及／或電腦程式。電腦程式可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令，電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體可以是但不限於電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：硬碟、隨機存取記憶體、唯讀記憶體、快閃記憶體、光碟、軟碟以及上述的任意合適的組合。此處所使用的電腦可讀儲存媒體不被解釋爲瞬時信號本身，諸如無線電波或者其它自由傳播的電磁波、通過波導或其它傳輸媒介傳播的電磁波（例如，通過光纖電纜的光信號）、或者通過電線傳輸的電信號。另外，此處所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算／處理設備，或者通過網路，例如：網際網路、區域網路、廣域網路及／或無線網路下載到外部電腦設備或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換器、集線器及／或閘道器。每一個計算／處理設備中的網路卡或者網路介面從網路接收電腦可讀程式指令，並轉發此電腦可讀程式指令，以供儲存在各個計算／處理設備中的電腦可讀儲存媒體中。執行本發明操作的電腦程式指令可以是組合語言指令、指令集架構指令、機器指令、機器相關指令、微指令、韌體指令、或者以一種或多種程式語言的任意組合編寫的原始碼或目的碼（Object Code），所述程式語言包括物件導向的程式語言，如：Common Lisp、Python、C++、Objective-C、Smalltalk、Delphi、Java、Swift、C#、Perl、Ruby與PHP等，以及常規的程序式（Procedural）程式語言，如：C語言或類似的程式語言。計算機可讀程式指令可以完全地在電腦上執行、部分地在電腦上執行、作爲一個獨立的軟體執行、部分在客戶端電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。

請參閱「第2A圖」至「第2C圖」，「第2A圖」至「第2C圖」為本發明手術影像的智慧標記方法的方法流程圖，其步驟包括：在資料庫110提供手術影像，每一手術影像對應一個術式名稱（步驟210）；於初始時，分別載入資料庫110的手術影像以進行影像辨識，並且根據影像辨識結果生成對應的物件訊息，以及將物件訊息作為對應手術影像的特徵數據並儲存於資料庫110，其中，每一物件訊息包含圖像物件存在於手術影像中的座標、比例及時間點（步驟220）；當載入待分析影像後，根據此待分析影像及特徵數據進行特徵值分析及統計，以計算待分析影像與每一手術影像的相似率（步驟230）；選擇與相似率最高的手術影像對應的術式名稱以標記為待分析影像對應的術式名稱，並且將待分析影像及標記的術式名稱一併儲存至資料庫110作為手術影像其中之一（步驟240）。透過上述步驟，即可透過執行影像辨識以生成對應手術影像的物件訊息，並且將生成的物件訊息作為與手術影像對應的特徵數據，用以在載入待分析影像後，根據待分析影像及特徵數據進行特徵值分析及統計，以便計算待分析影像與每一手術影像的相似率，並且選擇相似率最高的手術影像所對應的術式名稱以標記為待分析影像所對應的術式名稱，以及將待分析影像及其對應的術式名稱一併儲存至資料庫110作為手術影像。

另外，如「第2B圖」所示意，在步驟220之後，還可載入所有相同術式名稱的手術影像，用以辨識其中的手術器具的種類與異常器官的種類、形狀及大小，並且根據辨識結果生成對應術式名稱的起手式特徵值，以及將起手式特徵值及其對應的術式名稱一併儲存至資料庫110（步驟221）；以及在步驟240之後，將載入的待分析影像與起手式特徵值進行比對，並且載入比對符合的起手式特徵值對應的術式名稱，當載入的術式名稱與根據相似率選擇的術式名稱不同時，產生提示訊息並允許任選其一作為待分析影像對應的術式名稱（步驟241）。除此之外，如「第2C圖」所示意，在步驟210之後，資料庫110更可提供器官特徵值及手術器具特徵值（步驟211）；以及偵測手術影像中存在器官特徵值及手術器具特徵值至少其中之一的時間點，並且在相鄰的時間點之間的時間間隔大於預設間隔時，將手術影像中與時間間隔對應的訊框刪除以形成分割影像並儲存於資料庫110（步驟212）。

以下配合「第3圖」至「第5圖」以實施例的方式進行如下說明，請先參閱「第3圖」，「第3圖」為應用本發明判斷待分析影像的術式名稱並進行標記之示意圖。假設在初始時，已經針對資料庫110的每一個手術影像分別生成對應的特徵數據，當使用者開啟顯示視窗300並以游標點選載入元件321後，可以選擇欲進行標記的影像作為載入的待分析影像，並且將此待分析影像顯示在播放區塊310中，接著，使用者可點選分析元件322將此待分析影像與資料庫110中的特徵數據進行特徵值分析及統計，以便計算待分析影像與每一手術影像的相似率。假設資料庫110中已儲存有二個手術影像，其中，第一個手術影像所對應的術式名稱為「肌瘤剃除術」、第二個手術影像所對應的術式名稱為「脂肪瘤剃除術」，在計算相似率後，可獲得待分析影像與第一個手術影像的相似率為「90%」、以及獲得待分析影像與第二個手術影像的相似率為「10%」。此時，可以如「第3圖」所示意，依照相似率的高低，在術式名稱區塊330中依序顯示手術影像所對應的術式名稱及其相應的相似率，並且直接將相似率最高的手術影像所對應的術式名稱「肌瘤剃除術」標記為此待分析影像所對應的術式名稱。特別要說明的是，假設相似率非常接近時，使用者亦可點選播放元件323來播放待分析影像，接著根據待分析影像的瀏覽結果，直接在術式名稱區塊330中選擇合適的術式名稱，以標記為對應此待分析影像的術式名稱。當標記完成後，即可將待分析影像及其對應的術式名稱一併儲存在資料庫110中作為手術影像。另外，為了提高標記的效率，上述流程亦可使用批次作業方式進行處理，舉例來說，同時載入多個待分析影像並逐一進行標記，其標記方式是直接將相似率最高的手術影像所對應的術式名稱標記為當前的待分析影像所對應的術式名稱，而不需要提供使用者選擇術式名稱及瀏覽待分析影像，故可大幅提升標記效率。

如「第4圖」所示意，「第4圖」為應用本發明生成起手式特徵值之示意圖。假設資料庫110預先儲存有多個手術影像，而且每一個手術影像皆對應有一個術式名稱時，使用者可以先載入所有相同術式名稱的手術影像，用以辨識影像中的手術器具的種類與異常器官的種類、形狀及大小，並且根據辨識結果生成對應術式名稱的起手式特徵值，以及將此起手式特徵值及其對應的術式名稱一併儲存至資料庫110。以術式名稱為「子宮肌瘤剃除術」為例，使用者可先載入所有對應此術式名稱的手術影像（410、420及430）的開頭部分，並且將這些載入的部分作為訓練樣本，以便利用類神經網路或深度學習等方式生成相應的起手式特徵值。在訓練過程中，由於所有手術影像中皆存在相同種類的第一個手術器具，即：第一手術器具（412、422、432）及相同種類的第二個手術器具，即：第二手術器具（413、423、433），而且同樣具有子宮（414、424及434）以及肌瘤（411、421及431）。因此，即便在位置、大小及形狀上存在些微差異，但是在經過類神經網路或深度學習的訓練後，仍然能夠生成對應子宮肌瘤剃除術的起手式特徵值。也就是說，在手術影像中，同一術式的起手式大同小異的前提下，能夠藉由類神經網路或深度學習來建立相對應的起手式特徵值，並且以此類推，分別建立每一個術式及其相應的起手式特徵值。

請參閱「第5圖」，「第5圖」為應用本發明結合起手式特徵值判斷術式名稱之示意圖。當所有術式名稱皆已生成對應的起手式特徵值後，分析模組130除了將待分析影像與特徵數據進行特徵值分析及統計，用以以計算出待分析影像與手術影像的相似率之外，還可以將載入的待分析影像與所有起手式特徵值進行比對，並且載入比對符合（例如：相似率最高）的起手式特徵值所對應的術式名稱。換句話說，此時除了選擇相似率最高的手術影像所對應的術式名稱（例如：「子宮肌瘤剃除術」）之外，同時也會載入比對符合的起手式特徵值所對應的術式名稱（例如：「子宮肌瘤剃除術」）。一般而言，載入的術式名稱與根據手術影像的相似率所選出的術式名稱會相同，故可直接將術式名稱標記為待分析影像的術式名稱。然而，假設兩者不同時（例如：前者為全子宮切除術；後者為次子宮切除術），此時，可如「第5圖」所示意產生提示訊息500，並且允許使用者在「全子宮切除術」及「次子宮切除術」中任選其一作為待分析影像對應的術式名稱，而為了幫助使用者選擇適當的術式名稱，還可以在播放區塊520中播放待分析影像供使用者瀏覽，以此例而言，由於影像中可看到子宮頸521的存在，所以選擇次子宮切除術較為適當。除此之外，倘若沒有適當的術式名稱，使用者也可以直接在輸入區塊510中鍵入合適的術式名稱以與待分析影像進行對應，進而完成標記。

綜上所述，可知本發明與先前技術之間的差異在於透過執行影像辨識以生成對應手術影像的物件訊息，並且將生成的物件訊息作為與手術影像對應的特徵數據，用以在載入待分析影像後，根據待分析影像及特徵數據進行特徵值分析及統計，以便計算待分析影像與每一手術影像的相似率，並且選擇相似率最高的手術影像所對應的術式名稱以標記為待分析影像所對應的術式名稱，以及將待分析影像及其對應的術式名稱一併儲存至資料庫作為手術影像，藉由此一技術手段可以解決先前技術所存在的問題，進而達成提高標記手術影像的效率之技術功效。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

110:資料庫 120:特徵生成模組 130:分析模組 140:儲存模組 150:分割模組 300:顯示視窗 310:播放區塊 321:載入元件 322:分析元件 323:播放元件 330:術式名稱區塊 410、420、430:手術影像 411、421、431:肌瘤 412、422、432:第一手術器具 413、423、433:第二手術器具 414、424、434:子宮步驟210:在一資料庫提供多個手術影像，每一手術影像對應一術式名稱步驟211:該資料庫更提供多個器官特徵值及多個手術器具特徵值步驟212:偵測所述手術影像中存在所述器官特徵值及所述手術器具特徵值至少其中之一的多個時間點，並且在相鄰的所述時間點之間的一時間間隔大於一預設間隔時，將所述手術影像中與該時間間隔對應的多個訊框刪除以形成多個分割影像並儲存於該資料庫步驟220:於初始時，分別載入該資料庫的所述手術影像以進行影像辨識，並且根據影像辨識結果生成對應的至少一物件訊息，以及將所述物件訊息作為對應所述手術影像的一特徵數據並儲存於該資料庫，其中，每一物件訊息包含一圖像物件存在於所述手術影像中的座標、比例及時間點步驟221:載入所有相同所述術式名稱的所述手術影像，用以辨識其中的手術器具的種類與異常器官的種類、形狀及大小，並且根據辨識結果生成對應該術式名稱的一起手式特徵值，以及將該起手式特徵值及其對應的該術式名稱一併儲存至該資料庫步驟230:當載入一待分析影像後，根據該待分析影像及所述特徵數據進行特徵值分析及統計，以計算該待分析影像與每一手術影像的一相似率步驟240:選擇與所述相似率最高的所述手術影像對應的該術式名稱以標記為該待分析影像對應的該術式名稱，並且將該待分析影像及標記的該術式名稱一併儲存至該資料庫作為所述手術影像其中之一步驟241:將載入的該待分析影像與所述起手式特徵值進行比對，並且載入比對符合的所述起手式特徵值對應的該術式名稱，當載入的該術式名稱與根據所述相似率選擇的該術式名稱不同時，產生一提示訊息並允許任選其一作為該待分析影像對應的該術式名稱

第1圖為本發明手術影像的智慧標記系統之系統方塊圖。第2A圖至第2C圖為本發明手術影像的智慧標記方法之方法流程圖。第3圖為應用本發明判斷待分析影像的術式名稱並進行標記之示意圖。第4圖為應用本發明生成起手式特徵值之示意圖。第5圖為應用本發明結合起手式特徵值判斷術式名稱之示意圖。

110:資料庫

120:特徵生成模組

130:分析模組

140:儲存模組

150:分割模組

Claims

一種手術影像的智慧標記系統，該系統包含：一資料庫，用以儲存多個手術影像，每一手術影像對應一術式名稱；一特徵生成模組，連接該資料庫，用以於初始時，分別載入該資料庫的所述手術影像以進行影像辨識，並且根據影像辨識結果生成對應的至少一物件訊息，以及將所述物件訊息作為對應所述手術影像的一特徵數據並儲存於該資料庫，其中，每一物件訊息包含一圖像物件存在於所述手術影像中的座標、比例及時間點；一分析模組，連接該資料庫，用以在載入一待分析影像後，根據該待分析影像及所述特徵數據進行特徵值分析及統計，以計算該待分析影像與每一手術影像的一相似率；以及一儲存模組，連接該分析模組，用以選擇與所述相似率最高的所述手術影像對應的該術式名稱以標記為該待分析影像對應的該術式名稱，並且將該待分析影像及標記的該術式名稱一併儲存至該資料庫作為所述手術影像其中之一。
根據申請專利範圍第1項之手術影像的智慧標記系統，其中該特徵生成模組載入所有相同所述術式名稱的所述手術影像，用以辨識其中的手術器具的種類與異常器官的種類、形狀及大小，並且根據辨識結果生成對應該術式名稱的一起手式特徵值，以及將該起手式特徵值及其對應的該術式名稱一併儲存至該資料庫。
根據申請專利範圍第2項之手術影像的智慧標記系統，其中該分析模組將載入的該待分析影像與所述起手式特徵值進行比對，並且載入比對符合的所述起手式特徵值對應的該術式名稱，當載入的該術式名稱與根據所述相似率選擇的該術式名稱不同時，產生一提示訊息並允許任選其一作為該待分析影像對應的該術式名稱。
根據申請專利範圍第1項之手術影像的智慧標記系統，其中該資料庫更儲存多個器官特徵值及多個手術器具特徵值，用以在所述手術影像進行影像辨識時載入，並且在所述手術影像中擷取符合載入的所述器官特徵值或所述手術器具特徵值的圖像作為所述物件訊息的該圖像物件，以及將該圖像物件存在於所述手術影像中的座標、比例及時間點記錄於該所述物件訊息。
根據申請專利範圍第4項之手術影像的智慧標記系統，其中該系統更包含一分割模組，用以偵測所述手術影像中存在所述器官特徵值及所述手術器具特徵值至少其中之一的多個時間點，並且在相鄰的所述時間點之間的一時間間隔大於一預設間隔時，將所述手術影像中與該時間間隔對應的多個訊框刪除以形成多個分割影像並儲存於該資料庫。
一種手術影像的智慧標記方法，其步驟包括：在一資料庫提供多個手術影像，每一手術影像對應一術式名稱；於初始時，分別載入該資料庫的所述手術影像以進行影像辨識，並且根據影像辨識結果生成對應的至少一物件訊息，以及將所述物件訊息作為對應所述手術影像的一特徵數據並儲存於該資料庫，其中，每一物件訊息包含一圖像物件存在於所述手術影像中的座標、比例及時間點；當載入一待分析影像後，根據該待分析影像及所述特徵數據進行特徵值分析及統計，以計算該待分析影像與每一手術影像的一相似率；以及選擇與所述相似率最高的所述手術影像對應的該術式名稱以標記為該待分析影像對應的該術式名稱，並且將該待分析影像及標記的該術式名稱一併儲存至該資料庫作為所述手術影像其中之一。
根據申請專利範圍第6項之手術影像的智慧標記方法，其中該方法更包含載入所有相同所述術式名稱的所述手術影像，用以辨識其中的手術器具的種類與異常器官的種類、形狀及大小，並且根據辨識結果生成對應該術式名稱的一起手式特徵值，以及將該起手式特徵值及其對應的該術式名稱一併儲存至該資料庫的步驟。
根據申請專利範圍第7項之手術影像的智慧標記方法，其中該方法更包含將載入的該待分析影像與所述起手式特徵值進行比對，並且載入比對符合的所述起手式特徵值對應的該術式名稱，當載入的該術式名稱與根據所述相似率選擇的該術式名稱不同時，產生一提示訊息並允許任選其一作為該待分析影像對應的該術式名稱的步驟。
根據申請專利範圍第6項之手術影像的智慧標記方法，其中該資料庫更提供多個器官特徵值及多個手術器具特徵值，用以在所述手術影像進行影像辨識時載入，並且在所述手術影像中擷取符合載入的所述器官特徵值或所述手術器具特徵值的圖像作為所述物件訊息的該圖像物件，以及將該圖像物件存在於所述手術影像中的座標、比例及時間點記錄於該所述物件訊息。
根據申請專利範圍第9項之手術影像的智慧標記方法，其中該方法更包含偵測所述手術影像中存在所述器官特徵值及所述手術器具特徵值至少其中之一的多個時間點，並且在相鄰的所述時間點之間的一時間間隔大於一預設間隔時，將所述手術影像中與該時間間隔對應的多個訊框刪除以形成多個分割影像並儲存於該資料庫。