TWI881698B

TWI881698B - 病灶辨識學習裝置以及方法

Info

Publication number: TWI881698B
Application number: TW113104217A
Authority: TW
Inventors: 羅崇銘
Original assignee: 國立政治大學
Priority date: 2024-02-02
Filing date: 2024-02-02
Publication date: 2025-04-21
Also published as: TW202533252A

Abstract

一種病灶辨識學習裝置，包括記憶體以及處理器。處理器執行以下步驟：(a)選擇與第一病灶類型對應的多個候選病灶影像的一者做為問題影像；(b)判斷回答類型是否與第一病灶類型相同；(c)當回答類型與第一病灶類型不同時，從與第一病灶類型對應的多個候選病灶影像中選擇與問題影像相似的多個參考影像；(d)選擇與回答類型相同的候選病灶類型做為第二病灶類型，並從與第二病灶類型對應的多個候選病灶影像中選擇與問題影像相似的多個相似影像；以及(e)在輸出介面上顯示多個參考影像以及多個相似影像以供使用者學習病灶辨識。

Description

病灶辨識學習裝置以及方法

本揭示有關於一種醫療應用的技術，且特別是有關於病灶辨識學習裝置以及方法。

在臨床診斷中，超音波(ultrasound)檢測儀器、電腦斷層(computed tomography,CT)檢測儀器以及核磁共振(magnetic resonance imaging,MRI)檢測儀器等通常可用來檢測病灶的變化。一般而言，實體病灶的評估都是採用人為對病灶影像進行觀察或比較。然而，面對這樣微妙的人體的病灶辨識，有志從事醫事工作者通常需要耗費相當的時間以及精力才能有一定程度的認識。這樣的進入門檻其實是很高。當然，一些人也因為門檻過高而卻步，或是熱忱在學習過程中逐漸消退導致半途而廢。因此，如何使從事醫事工作者更快速且更有效率地學習病灶辨識，以避免潛在的醫事人才流失，是本領域相當重要的課題。

本揭示之主要目的，在於提供一種病灶辨識學習裝置以及方法，可使從事醫事工作者更快速且更有效率地學習病灶辨識，以避免潛在的醫事人才流失。

為了達成上述之目的，本揭示的病灶辨識學習裝置，包括：一記憶體，經配置以儲存多個指令以及與多個候選病灶類型的各者分別對應的多個候選病灶影像；以及一處理器，連接該記憶體，並經配置以存取該多個指令以執行以下步驟：(a)選擇該多個候選病灶類型的一者做為一第一病灶類型，並選擇與該第一病灶類型對應的該多個候選病灶影像的一者做為一問題影像；(b)接收一回答類型，並判斷該回答類型是否與該第一病灶類型相同；(c)當該回答類型與該第一病灶類型不同時，從與該第一病灶類型對應的該多個候選病灶影像中選擇與該問題影像相似的多個參考影像；(d)選擇與該回答類型相同的該候選病灶類型做為一第二病灶類型，並從與該第二病灶類型對應的該多個候選病灶影像中選擇與該問題影像相似的多個相似影像；以及(e)在一輸出介面上產生與該第一病灶類型對應的該多個參考影像以及與該第二病灶類型對應的該多個相似影像以供一使用者學習病灶辨識。

為了達成上述之目的，本揭示的病灶辨識學習方法，適用於對與多個候選病灶類型的各者分別對應的多個候選病灶影像的辨識學習，包括： (a)選擇與多個候選病灶類型的一者做為一第一病灶類型，並選擇與該第一病灶類型對應的該多個候選病灶影像的一者做為一問題影像；(b)接收一回答類型，並判斷該回答類型是否與該第一病灶類型相同；(c)當該回答類型與該第一病灶類型不同時，從與該第一病灶類型對應的該多個候選病灶影像中選擇與該問題影像相似的多個參考影像；(d)選擇與該回答類型相同的該候選病灶類型做為一第二病灶類型，並從與該第二病灶類型對應的該多個候選病灶影像中選擇分別與該多個參考影像相似的多個相似影像；以及(e)在一輸出介面上顯示與該第一病灶類型對應的該多個參考影像以及與該第二病灶類型對應的該多個相似影像。

為了達成上述之目的，本揭示的病灶辨識學習方法，適用於對與多個候選病灶類型的各者分別對應的多個候選病灶影像的辨識學習，包括：(a)藉由一處理器，選擇與多個候選病灶類型的一者做為一第一病灶類型，並選擇與該第一病灶類型對應的該多個候選病灶影像的一者做為一問題影像；(b)藉由該處理器，接收一回答類型，並判斷該回答類型是否與該第一病灶類型相同；(c)藉由該處理器，當該回答類型與該第一病灶類型不同時，從與該第一病灶類型對應的該多個候選病灶影像中選擇與該問題影像相似的多個參考影像； (d)藉由該處理器，選擇與該回答類型相同的該候選病灶類型做為一第二病灶類型，並從與該第二病灶類型對應的該多個候選病灶影像中選擇與該問題影像相似的多個相似影像；以及(e)藉由該處理器，在一輸出介面上顯示與該第一病灶類型對應的該多個參考影像以及與該第二病灶類型對應的該多個相似影像。

相較於相關技術，本揭示在使用者回答錯誤的病灶類別時顯示與問題影像相似的正確的病灶類別的影像以及與問題影像相似的錯誤的病灶類別的影像，藉此，可達到供使用者同時學習正確的病灶類別的特徵以及錯誤的病灶類別的特徵以提昇病灶辨識能力的技術效果。如此一來，將可使從事醫事工作者更快速且更有效率地學習病灶辨識，並解決潛在的醫事人才流失的問題。

100:病灶辨識學習裝置

110:記憶體

120:處理器

130:顯示器

140:輸入電路

tp1~tpn:候選病灶類型

img11~imgnz:候選病灶影像

S210~S250:步驟

300:圖形介面

310、610:問題欄位

320~340:輸入欄位

350:下拉式選單

360:答案欄位

370~380:選項圖樣

600:輸出介面

620~640:參考欄位

650~670:相似欄位

FR:特徵區

圖1繪示在一些實施例中的病灶辨識學習裝置的方塊圖。

圖2繪示在一些實施例中的病灶辨識學習方法的流程圖。

圖3繪示在一些實施例中的圖形介面的示意圖。

圖4繪示在一些實施例中的圖形介面的下拉式選單的示意圖。

圖5繪示在一些實施例中的圖形介面的答案欄位的示意圖。

圖6繪示在一些實施例中的輸出介面的示意圖。

圖7繪示在一些實施例中的多個關鍵特徵點的示意圖。

一併參照圖1，圖1繪示在一些實施例中的病灶(lesion)辨識學習裝置100的方塊圖，其中病灶辨識學習裝置100可以由任意的電子裝置或伺服器等實現(例如，可以是終端處理裝置(即，手機、桌上型電腦或平板電腦等)、雲端裝置、伺服器或雲端伺服器等)。如圖1所示，病灶辨識學習裝置100包括記憶體110以及處理器120。處理器120連接於記憶體110。

在本實施例中，記憶體110儲存多個指令以及與多個候選病灶類型tp1~tpn的各者分別對應的多個候選病灶影像。詳細而言，候選病灶類型tp1對應於多個候選病灶影像img11~img1m。候選病灶類型tp2對應於多個候選病灶影像img21~img2o。以此類推，其他候選病灶類型tp3~tpn的各者也分別對應於多個候選病灶影像。值得注意的是，m~z為任意的正整數，並沒有特別的限制。在一些實施例中，記憶體110更儲存分類模型(未繪示)。在一些實施例中，處理器120利用分類模型對所有候選病灶影像進行分類，以將所有候選病灶影像分類為候選病灶類型tp1~tpn。在一些實施例中，分類模型可以是任意的深度學習演算法(例如，卷積神經網路(conyolutional neural network)模型、轉換器(transformer)模型或YOLO(you only look once)模型等)的模型。

在一些實施中，候選病灶類型tp1~tpn可以是任意的身體組織所具有的病灶類型(例如，眼睛的多發性玻璃疣或糖尿病黃斑水腫等)。在一些實施中，候選病灶影像可以是任意的具有病灶的身體組織的影像(例如，患有視乳突水腫的眼睛的超音波(ultrasound)影像、患有多發性玻璃疣的眼睛的電腦斷層(computed tomography,CT)影像或患有糖尿病黃斑水腫的眼睛的核磁共振(magnetic resonance imaging,MRI)影像)。在一些實施中，記憶體110可以由記憶單元、快閃記憶體、唯讀記憶體、硬碟或任何具相等性的儲存組件等實現，但不以此為限。在一些實施例中，上述多個指令可以是相應的軟體或韌體指令程序。

在本實施例中，處理器120基於上述這些指令執行後續段落的病灶辨識學習方法的詳細步驟。在一些實施例中，處理器120可以由中央處理單元(central processing unit,CPU)、微控制單元(micro control unit,MCU)、可程式化邏輯控制器(programmable logic controller,PLC)、系統單晶片(system on chip,SoC)或現場可程式邏輯閘陣列(field programmable gate array,FPGA)等實現，但不以此為限。

在一些實施例中，病灶辨識學習裝置100更包括顯示器130，顯示器130顯示後續段落的輸出介面，進而供使用者觀看以學習病灶辨識。在一些實施例中，顯示器130可以由任意類型的顯示器(例如，液晶顯示器、觸控顯示器或頭戴顯示器等)實現。在一些實施例中，輸出介面可以是任意的可視化圖形介面。在一些實施例中，病灶辨識學習裝置100更包括輸入電路140，輸入電路140供使用者在圖形介面上輸入後續段落的回答類型。在一些實施例中，在一些實施例中，圖形介面也可顯示於顯示器130上。在一些實施例中，圖形介面也可以是任意的可視化圖形介面。在一些實施例中，輸入電路140可以由任意的輸入用的電路(例如，鍵盤、滑鼠或觸控面板等)實現。在一些實施例中，輸入電路140可由顯示器130(例如為觸控顯示器)來實現。

以下進一步說明本揭示的病灶辨識學習方法。一併參照圖2，圖2繪示在一些實施例中的病灶辨識學習方法的流程圖，此病灶辨識學習方法適用於圖1所示的病灶辨識學習裝置100。

如圖2所示，病灶辨識學習方法包括步驟S210~S250。首先，於步驟S210中，處理器120選擇多個候選病灶類型tp1~tpn的一者做為第一病灶類型，並選擇與第一病灶類型對應的多個候選病灶影像的一者做為問題影像。

在一些實施例中，輸入電路140接收影像類型以及器官類型以傳送至處理器120。接著，處理器120隨機選擇與器官類型相關的候選病灶類型的其中一者做為第一病灶類型，並隨機從與第一病灶類型對應的多個候選病灶影像中，選擇與影像類型對應的候選病灶影像的其中一者做為問題影像。在一些實施例中，影像類型可以是由任意的成像方式產生的影像的類型(例如，超音波影像、電腦斷層影像或核磁共振影像等)。在一些實施例中，器官類型可以是任意的人體器官的類型(例如，眼睛、耳朵、胃或腎臟等)。在一些實施例中，圖形介面可接收使用者利用輸入電路140所輸入的影像類型以及器官類型，以在圖形介面中的輸入成像類型欄位以及輸入器官欄位上分別顯示影像類型以及器官類型。在一些實施例中，圖形介面更具有輸入疾病欄位以供使用者輸入後續段落的回答類型。在一些實施例中，圖形介面更具有問題欄位以顯示問題影像供使用者觀看。

以下以實際的例子說明圖形介面。一併參照圖3，圖3繪示在一些實施例中的圖形介面300的示意圖。如圖3所示，圖形介面300具有輸入欄位320~340。輸入欄位320用以接收使用者輸入的影像類型(即，光學同調斷層掃描)。輸入欄位330用以接收使用者輸入的器官類型(即，眼睛)。處理器120隨機選擇與眼睛對應的候選病灶類型的其中一者(即，糖尿病黃斑水腫)做為第一病灶類型，並隨機從與糖尿病黃斑水腫對應的多個候選病灶影像中，選擇與光學同調斷層掃描對應的候選病灶影像的其中一者做為問題影像。值得一提的是，處理器120並不會將隨機選擇的上述第一病灶類型顯示出來，故使用者無法得知所述第一病灶類型。圖形介面300上更具有問題欄位310，問題欄位310用以顯示處理器120基於輸入欄位320、330所選擇的問題影像(即，糖尿病黃斑水腫的光學同調斷層掃描的其中任一候選病灶影像)。使用者觀看了問題欄位310上顯示的問題影像後，可在輸入欄位340輸入後續段落的回答類型(即，觀看問題的病灶的影像，並辨識出影像存在哪種病灶)。藉此，達到訓練病灶辨識的能力的效果。

回到圖2，於步驟S220中，處理器120接收回答類型，並判斷回答類型是否與第一病灶類型相同。在一些實施例中，回答類型為與輸入的器官類型相關的候選病灶類型的一者。在一些實施例中，處理器120從圖形介面接收與輸入的器官類型相關的候選病灶類型的一者。在一些實施例中，處理器120在從輸入電路140接收對圖形介面的與疾病相關的輸入欄位的點選指令時產生下拉式選單。接著，處理器120在從輸入電路140接收對下拉式選單中的與器官類型相關的候選病灶類型的一者的點選指令時將點選的候選病灶類型做為回答類型。在其他實施例中，處理器120也可在從輸入電路140接收回答類型的直接輸入時將輸入的回答類型顯示於圖形介面。

以下以實際的例子說明圖形介面。一併參照圖4，圖4繪示在一些實施例中的圖形介面300的下拉式選單350的示意圖。如圖3以及圖4所示，延續圖3的例子，當使用者利用輸入電路140在圖形介面300上點選輸入欄位340時，處理器120可在圖形介面300產生一個下拉式選單350，下拉式選單350包括與眼睛相關的候選病灶類型(例如，與眼睛相關的多發性玻璃疣、糖尿病黃斑水腫或視乳突水腫等)。接著，使用者可觀看問題欄位310顯示的問題影像，並利用輸入電路140點選與眼睛相關的多發性玻璃疣、糖尿病黃斑水腫或視乳突水腫等的一者做為回答類型(即，使用者可選擇問題影像應是哪種候選病灶類型的影像)。

回到圖2，於步驟S230中，當回答類型與第一病灶類型不同時，處理器120從與第一病灶類型對應的多個候選病灶影像中選擇與問題影像相似的多個參考影像。在一些實施例中，處理器120利用相似度演算法，從與第一病灶類型對應的多個候選病灶影像中選擇與問題影像相似的多個候選病灶影像做為多個參考影像。在一些實施例中，處理器120利用相似度演算法，從與第一病灶類型對應的多個候選病灶影像中辨識與問題影像的相似度最高的特定數量的候選病灶影像做為多個參考影像。在一些實施例中，相似度演算法可以是任意的計算相似度的演算法(例如，歐式距離(Euclidean distance)演算法、初比雪夫距離(Chebyshev distance)演算法或主成分分析(principal component analysis)演算法等)。在一些實施例中，特定數量可以是使用者預先設定的任意數量。在一些實施例中，當回答類型與第一病灶類型不同時，處理器120在圖形介面上產生答案欄位，並在答案欄位顯示第一病灶類型。

以下以實際的例子說明答案欄位。一併參照圖5，圖5繪示在一些實施例中的圖形介面300的答案欄位360的示意圖。如圖5所示，當使用者利用輸入電路140在圖形介面300上輸入回答類型(即，多發性玻璃疣)時，處理器120從圖形介面300接收回答類型，並比對回答類型與第一病灶類型(即，糖尿病黃斑水腫)是否相同。此時，處理器120判斷輸入的回答類型並非是糖尿病黃斑水腫。接著，處理器120在圖形介面300上產生答案欄位360，並在答案欄位360顯示糖尿病黃斑水腫(即，顯示正確答案)。此外，圖形介面300更具有選項圖樣 370~380。選項圖樣370用以供使用者選擇以產生後續段落的輸出介面。後續段落將會對輸出介面進一步說明，因此，在此不贅述。選項圖樣380用以供使用者選擇以產生下一題的圖形介面。下一題的圖形介面與上述圖形介面相似，因此，在此也不贅述。

在一些實施例中，當回答類型與第一病灶類型相同時，處理器120利用相似度演算法，從與不同於第一病灶類型的候選病灶類型的各者分別對應的多個候選病灶影像中，選擇與問題影像最相似的候選病灶影像做為新的問題影像。接著，處理器120將與新的問題影像對應的候選病灶類型做為新的第一病灶類型。接著，處理器120再次執行步驟S220。

回到圖2，於步驟S240中，處理器120選擇與回答類型相同的候選病灶類型做為第二病灶類型，並從與第二病灶類型對應的多個候選病灶影像中選擇與問題影像相似的多個相似影像。在一些實施例中，處理器120利用相似度演算法，從與第二病灶類型對應的多個候選病灶影像中辨識與問題影像的相似度最高的特定數量的候選病灶影像做為多個相似影像。換言之，處理器120會利用相似度演算法分別找出與第二病灶類型對應的多個候選病灶影像中的最相似於問題影像的幾個候選病灶影像做為這些相似影像(即，找到與問題影像的相似度前幾高的候選病灶影像)。在一些實施例中，此特定數量也可以是使用者預先設定的任意數量。在一些實施例中，相似影像的數量等於參考影像的數量。

於步驟S250中，處理器120在輸出介面上產生與第一病灶類型對應的多個參考影像以及與第二病灶類型對應的多個相似影像以供使用者學習病灶辨識。在一些實施例中，處理器120利用分類模型辨識問題影像中的與病灶相關的多個關鍵特徵點(例如，從卷積神經網路模型的其中多個卷積層分別提取與病灶對應的多個關鍵特徵點的座標)。在一些實施例中，處理器120更在輸出介面上產生問題影像，並在問題影像中的與病灶相關的多個關鍵特徵點的位置上產生對應的多個顏色(例如，病灶組織密度越高的關鍵特徵點的位置上有越接近紅色的顏色，而病灶組織密度越低的關鍵特徵點的位置上有越接近綠色的顏色)。在一些實施例中，處理器120將輸出介面顯示於顯示器130上以供使用者學習病灶辨識。

以下以實際的例子說明輸出介面。一併參照圖6，圖6繪示在一些實施例中的輸出介面600的示意圖。如圖6所示，輸出介面600具有問題欄位610。問題欄位610用以顯示上述問題影像(即，糖尿病黃斑水腫的其中一候選病灶影像)，並在問題影像上與病灶相關的多個關鍵特徵點的位置上產生特徵區FR，其中特徵區FR會顯示與多個關鍵特徵點對應的顏色，其中特徵區FR中的病灶組織密度越高的關鍵特徵點的位置上有越接近紅色的顏色，而病灶組織密度越低的關鍵特徵點的位置上有越接近綠色的顏色。一併參照圖7的圖式，圖7繪示了在一些實施例中的多個關鍵特徵點的示意圖。在圖7的圖式中，病灶組織密度越高的關鍵特徵點的位置上有越接近第一顏色(例如紅色)的顏色，而病灶組織密度越低的關鍵特徵點的位置上有越接近第二顏色(綠色)的顏色。換言之，問題欄位610顯示了對圖5的圖形介面300上的問題欄位310的問題影像進行特徵強化後的彩色的問題影像。如圖6所示，輸出介面600更具有參考欄位620~640。參考欄位620~640分別用以顯示與問題影像最相似的三個參考影像(即，與問題影像的相似度最高的前三個糖尿病黃斑水腫的影像)，其中參考欄位620顯示的參考影像與問題影像之間具有最高的相似性(即，與問題影像最相似的一個糖尿病黃斑水腫的影像)。換言之，參考欄位620顯示的糖尿病黃斑水腫的影像與問題影像具有最高的相似度。

輸出介面600還具有相似欄位650~670。相似欄位650~670分別用以顯示與上述圖5的圖形介面300上的問題欄位310的問題影像最相似的相似影像(即，與問題影像的糖尿病黃斑水腫的影像的相似度最高的多發性玻璃疣的影像)。換言之，相似欄位650顯示的多發性玻璃疣的影像與問題欄位310顯示的糖尿病黃斑水腫的影像具有最高的相似度(即，與上述圖5的問題欄位310所顯示的問題影像的相似度最高的前三個多發性玻璃疣的影像)，其中相似欄位650顯示的相似影像與上述圖5的問題欄位310所顯示的問題影像之間具有最高的相似性(即，與問題影像最相似的一個多發性玻璃疣的影像)。換言之，相似欄位650顯示的多發性玻璃疣的影像與上述圖5的問題欄位310所顯示的問題影像具有最高的相似度。而相似欄位660~670分別顯示的多發性玻璃疣的影像與上述圖5的問題欄位310所顯示的問題影像具有第二以及第三高的相似度。

藉由上述步驟，使用者可在顯示器130顯示的輸出介面觀看問題影像中存在病灶的特徵的位置，也可在顯示器130顯示的輸出介面觀看與問題影像相似的參考影像(相同病灶類型)以及與問題影像難以區分的相似影像(不同病灶類型)。使用者可直接觀察參考影像以及與問題影像最相似的不同病灶類型的相似影像之間的差異。藉此，使用者不僅能學習到第一病灶類型的病灶的影像的特徵，也能學習到第二病灶類型的病灶的影像的特徵，進而讓使用者更精準且更快速地辨識出影像的病灶以及病灶類型。如此一來，這樣的方法將可克服以往由於影像類型過多造成病灶難以辨識的問題。

綜上所述，本揭示提出的病灶辨識學習裝置以及方法先設定好問題的病灶類型以及與病灶類型對應的問題的影像，並將影像顯示在顯示器供使用者做答。當接收到錯誤的回答時，本揭示提出的病灶辨識學習裝置以及方法會找出與問題的影像相似的影像，其中此影像也對應於問題的病灶類型。本揭示提出的病灶辨識學習裝置以及方法更會找出其他病灶類型中與問題的影像相似的影像。藉此，使用者可在顯示器上的成對的相似影像觀察兩種病灶類型的差異以及特徵。此外，本揭示提出的病灶辨識學習裝置以及方法更會顯示問題的影像中的關鍵特徵點以供使用者觀察問題的病灶類型的各種特徵。如此一來，本揭示提出的病灶辨識學習裝置以及方法可使從事醫事工作者更快速且更有效率地學習病灶辨識，並解決潛在的醫事人才流失的問題。

雖然本揭示已以實施例揭露如上，然其並非用以限定本揭示，任何所屬技術領域中具有通常知識者，在不脫離本揭示的精神和範圍內，當可作些許的更動與潤飾，故本揭示的保護範圍當視後附的申請專利範圍所界定者為準。