TWI882800B - 以人工智慧辨識黴菌之菌屬及菌種的方法、電腦程式、電腦可讀取媒體 - Google Patents

Abstract

本發明係一種以人工智慧辨識黴菌之菌屬及菌種的方法、電腦程式、電腦可讀取媒體。首先取得待辨識黴菌之待辨識黴菌影像，並以影像處理取得該待辨識黴菌的形態特徵；將所述形態特徵輸入卷積神經網路模型(CNN model)，該卷積神經網路模型係根據複數樣本黴菌影像的樣本形態特徵經卷積神經網路學習而建立，該卷積神經網路模型根據所述形態特徵鑑定分類該待辨識黴菌之黴菌菌屬。之後將該待辨識黴菌影像輸入物件偵測模型(Object Detection)，該物件偵測模型係在所述複數樣本黴菌影像上框選待偵測物件為標籤後，經物件偵測學習而建立，該物件偵測模型在該卷積神經網路模型分類的黴菌菌屬下，根據該待辨識黴菌影像鑑定分類該待辨識黴菌之黴菌菌種。藉此，可輔助檢驗人員快速辨識黴菌之菌屬、菌種並獲取菌名。

Description

以人工智慧辨識黴菌之菌屬及菌種的方法、電腦程式、電腦可讀取媒體

本發明係一種以人工智慧辨識黴菌之菌屬及菌種的方法、電腦程式、電腦可讀取媒體，特別是指先使用卷積神經網路模型(CNN model)鑑定分類待辨識黴菌之黴菌菌屬，再使用物件偵測模型(Object Detection)在所分類的黴菌菌屬下鑑定分類待辨識黴菌之黴菌菌種的二階段黴菌菌屬及菌種的鑑定分類發明。

台灣氣候高溫潮濕炎熱，對於黴菌生長提供有利環境，除了日常生活環境包括食物、衣物、日用品、家具、住宅等可能發霉之外，人體的黴菌感染有時也常造成致命後果。

對黴菌感染的治療而言，目前醫院臨床上辨識黴菌種類的方式主要是由檢驗人員以顯微鏡下的形態學進行鑑定，而待辨識黴菌的形態則是建立在玻片培養獲取的圖像，並以待辨識黴菌的圖像上的形態特徵作為黴菌菌屬、菌種、菌名的鑑定分類。

但是黴菌生長時間長，導致利用玻片培養以獲取圖像的過程相當耗時，且習知黴菌的形態特徵鑑定需依賴具有黴菌檢驗專業且有經驗的檢驗人 員，時常因為檢驗人員的短缺以及經驗不足帶來誤判問題，影響鑑定分類的準確性。

參閱第五圖所示，臨床應用上會使用簡易的膠帶黏貼法直接獲取黴菌菌株，並取得膠帶上的黴菌圖像，藉此取代耗時的玻片培養技術以提升時效。但是採用膠帶黏貼法可能使黴菌菌株的外形破損，影響其辨識率。

臨床應用上也會進一步配合質譜鑑定來輔助分類黴菌種類，但質譜鑑定的成功率不高，發明人實測在鑑定麴黴菌屬(Aspergillus)上成功率約86%，在鑑定枝孢菌屬(Cladosporium)上成功率約40.5%，在鑑定毛癬菌屬(Trichophyton)上成功率約83.3%，在鑑定青黴菌屬(Penicillium)上成功率約44.3%。因此質譜鑑定對於準確鑑定分類黴菌種類的幫助有限。

由於人工智慧的發展，使用人工智慧來輔助檢驗人員鑑定黴菌種類提高了準確性。例如Md Arafatur Rahman等人提出的「Classification of fungal genera from microscopic images using artificial intelligence」，該案揭露使用卷積神經網路(CNN)模型來辨識89種菌屬(Genus)；Lukáš Picek等人提出的「Automatic Fungi Recognition：Deep Learning Meets Mycology」，該案經由產生細緻分類之資料集Danish Fungi 2020(DF20)進行CNN模型訓練，產生低辨識錯誤之菌種等級標籤(species-level labels)輸出；Fahad Jubayer等人提出的「Detection of mold on the food surface using YOLOv5」，該案使用YOLO物件偵測模型來進行黴菌偵測。

參閱第六圖及第七圖所示，由於黴菌的鑑定分類主要採用形態學，雖然CNN可以快速根據形態特徵來辨識出黴菌菌屬，但是相同的黴菌菌屬下的黴菌菌種在形態特徵上差異更小，發明人實測以CNN鑑定分類黴菌菌種的 準確率較低。而物件偵測(YOLO)雖可透過框選物件(例如框選孢子或孢子囊等細節的形態特徵為物件)進行偵測，但是AI辨識需要耗費許多運算資源，且僅使用物件偵測框選物件而冀望能根據形態特徵在許多不同黴菌菌屬下找出正確的黴菌菌種仍猶如大海撈針，容易辨識錯誤。

為了使人工智慧如同人為依據形態學辨識黴菌菌屬及菌種，並提升鑑定分類的準確性，本發明提出一種以人工智慧辨識黴菌之菌屬及菌種的方法，步驟包括：一處理單元取得一待辨識黴菌之一待辨識黴菌影像，並以影像處理取得該待辨識黴菌的至少一形態特徵；將所述形態特徵輸入一卷積神經網路模型(CNN model)，該卷積神經網路模型係根據複數樣本黴菌影像的至少一樣本形態特徵經卷積神經網路學習而建立，該卷積神經網路模型根據所述形態特徵鑑定分類該待辨識黴菌之一黴菌菌屬。將該待辨識黴菌影像輸入一物件偵測模型(Object Detection)，該物件偵測模型係在所述複數樣本黴菌影像上框選待偵測物件為標籤後經物件偵測學習而建立，所述待偵測物件為黴菌的細部形態特徵，該物件偵測模型在所分類的黴菌菌屬下，根據該待辨識黴菌影像鑑定分類該待辨識黴菌之一黴菌菌種。

進一步，該待辨識黴菌係以膠帶黏貼法獲得。

進一步，係取得該待辨識黴菌在不同視野下之多個待辨識黴菌影像進行鑑定分類。更進一步，在該處理單元上設定一第一辨識閾值，該處理單元計算該多個待辨識黴菌影像分類在同一個黴菌菌屬的比例，並找出比例最高的黴菌菌屬，當該比例最高的黴菌菌屬的比例高於該第一辨識閾值時，所述黴 菌菌屬作為該待辨識黴菌的分類結果，當該比例低於該第一辨識閾值時，輸出一無法辨識訊息；較佳的，所述第一辨識閾值設定在60%或70%。更進一步，在該處理單元上設定一第二辨識閾值，該處理單元計算該多個待辨識黴菌影像分類在同一個黴菌菌種的比例，並找出比例最高的黴菌菌種，當該比例最高的黴菌菌種的比例高於該第二辨識閾值時，所述黴菌菌種作為該待辨識黴菌的分類結果，當該比例低於該第二辨識閾值時，輸出一無法辨識訊息；較佳的，所述第二辨識閾值設定在60%或70%。

進一步，所述形態特徵包括顏色、質地、形狀、大小及生長方式之一或組合。

進一步，該卷積神經網路模型係經由卷積神經網路合併轉移學習(transfer learning)並加上注意力模型(attention mechanism)學習而建立。

進一步，所述物件偵測模型係選自下列之一：YOLO模型、Faster-RCNN模型、及SSD模型(Single Shot Multi-box Detector)。

本發明再提出一種電腦程式，供安裝於一電腦，而由該電腦程式執行前述以人工智慧辨識黴菌之菌屬及菌種的方法。

本發明再提出一種電腦可讀取媒體，係儲存有前述電腦程式。

根據上述技術特徵可達成以下功效：

1.解決了專業檢驗人員短缺和經驗不足帶來的誤判問題，提高了黴菌菌屬及黴菌菌種鑑定分類的準確性。

2.該待辨識黴菌使用簡易的膠帶黏貼法取得，代替耗時的玻片培養方法，對於醫學的臨床應用，可提升檢驗的時效性。

3.取得該待辨識黴菌不同視野之多個待辨識黴菌影像進行鑑定分類，可避免使用單一影像而誤判分類，提高準確性。

4.採用「先辨識菌屬、再辨識菌種」的二階段辨識程序，在醫學臨床上應用時，所辨識的黴菌菌屬分類結果若為無法辨識時則逕歸類為其它(MOLD)，可不再進行黴菌菌種的辨識，若辨識出黴菌菌屬，則可利用物件偵測進一步辨識黴菌菌種。

5.合併CNN與物件偵測，可以達到快速及準確分類黴菌菌屬及黴菌菌種的效果。其中，CNN先辨識黴菌菌屬猶如將搜尋範圍由大海縮小到小池子的範圍，之後由物件偵測在相同黴菌菌屬的小池子下辨識黴菌菌種的細部形態特徵(例如孢子或孢子囊的形態特徵)，辨識準確率較高。

6.當CNN合併轉移學習(transfer learning)並加上注意力模型(attention mechanism)時，可以提高辨識準確率達3.4%至23.2%。

1:卷積神經網路模型

2:物件偵測模型

3:待辨識黴菌影像

4:使用介面

5:處理單元

6:鑑定分類結果

[第一圖]係為本發明實施例的功能方塊圖。

[第二圖]係為本發明實施例的流程圖。

[第三圖]係為本發明實施例中，待辨識黴菌在不同視野下之多個待辨識黴菌影像的顯微圖。

[第四圖]係為本發明實施例的使用介面示意圖。

[第五圖]係為本發明實施例中，待辨識黴菌以玻片培養法及膠帶黏貼法在外觀形態比對的顯微圖。

[第六圖]係為不同黴菌菌屬的形態特徵差異比較的顯微圖。

[第七圖]係為相同黴菌菌屬下之不同黴菌菌種的形態特徵差異比較的顯微圖。

下列所述的實施例，只是輔助說明本發明之以人工智慧辨識黴菌之菌屬及菌種的方法、電腦程式、電腦可讀取媒體，並非用以限制本發明。

參閱第一圖及第二圖所示，本實施例包括下列步驟：根據複數樣本黴菌影像的多個樣本形態特徵，使用卷積神經網路學習而建立一卷積神經網路模型1(CNN model)，所述樣本形態特徵包括顏色、質地、形狀、大小等等，這些樣本形態特徵的特徵值可以由習知的影像處理獲得，例如可根據像素值(例如RGB值)來獲得顏色、質地的特徵值，可使用幾何輪廓的識別來獲得形狀、大小的特徵值等等。本實施例中，該卷積神經網路模型1進一步由卷積神經網路合併轉移學習(transfer learning)並加上注意力模型(attention mechanism)學習而建立，而初始卷積神經網路學習所根據之複數樣本黴菌影像來自Google的圖像資料庫，共以4108張圖像進行訓練，包括麴菌屬(Aspergillus)1488張(佔36.2%)、枝孢菌屬(Cladosporium)779張(佔19%)、青黴菌屬(Penicillium)522張(佔12.7%)、毛癬菌屬(Trichophyton)487張(佔11.9%)、其它黴菌圖像832張(佔20.3%)；其中，由臨床病人檢體常見的麴黴菌屬(Aspergillus)中，黑麴菌(Aspergillus niger)有302張(佔Aspergillus中20.3%)、煙麴菌(Aspergillus fumigatus)有238張(佔Aspergillus中16%)、土麴菌(Aspergillus terreus)有227張(佔Aspergillus中15.3%)、雜色麴菌(Aspergillus versicolor)有117張(佔Aspergillus中7.9%)、黃麴菌(Aspergillus flavus)有111張(佔Aspergillus中7.5%)、其它麴黴菌 (Aspergillus sp.)有493張(佔Aspergillus中31.9%)；卷積神經網路的學習中，訓練集佔64%、驗證集佔16%、測試集佔20%。

在所述複數樣本黴菌影像上框選待偵測物件為標籤後，使用物件偵測學習而建立一物件偵測模型2(Object Detection)，例如框選樣本黴菌影像上的孢子或孢子囊作為待偵測物件而作為物件偵測學習的標籤，所述物件偵測模型2可選自下列之一：YOLO模型、Faster-RCNN模型、及SSD模型(Single Shot Multi-box Detector)，本實施例使用YOLOv7進行試驗，物件偵測學習的特徵值來自待偵測物件的顏色、質地、形狀、大小及生長方式等等。物件偵測學習中，同樣以訓練集佔64%、驗證集佔16%、測試集佔20%。

取得所述卷積神經網路模型1及物件偵測模型2後，可用於一待辨識黴菌之黴菌菌屬及黴菌菌種的鑑定分類。

參閱第三圖所示，以膠帶黏貼法取得該待辨識黴菌，並以攝影單元取得該待辨識黴菌在不同視野下的多個待辨識黴菌影像3，第三圖中顯示四個不同視野的待辨識黴菌影像3。

參閱第一圖、第二圖及第四圖所示，由一使用介面4將所述待辨識黴菌影像3輸入一處理單元5，其中，該處理單元5可以是服務端提供的雲端伺服器，該使用介面4為網路介面，或是該處理單元5為單機版電腦，該使用介面4為單機電腦介面皆可。該處理單元5以影像處理取得該待辨識黴菌的形態特徵，包括顏色、質地、形狀、大小等等，再由該卷積神經網路模型1根據所述形態特徵鑑定分類該待辨識黴菌之一黴菌菌屬，所述形態特徵與檢驗人員根據形態學分類黴菌菌屬相當，因而該卷積神經網路模型1可有效的鑑定分類正確的黴菌菌屬。由於本實施例使用不同視野下的多個待辨識黴菌影像3進行鑑定分 類，因此在該處理單元5上設定一第一辨識閾值，所述第一辨識閾值設定在60%或70%，本實施例設定為60%，該處理單元5會計算該卷積神經網路模型1將該多個待辨識黴菌影像3分類在同一個黴菌菌屬的比例，並找出比例最高的黴菌菌屬，當該比例高於該第一辨識閾值時，所述黴菌菌屬作為該待辨識黴菌的鑑定分類結果6，當該比例低於該第一辨識閾值時，輸出一無法辨識訊息，根據試驗，黴菌菌屬整體的鑑定分類正確率約94.9%，其中麴菌屬(Aspergillus)的鑑定分類正確率約98.1%、枝孢菌屬(Cladosporium)的鑑定分類正確率約96.3%、青黴菌屬(Penicillium)的鑑定分類正確率約92.5%、毛癬菌屬(Trichophyton)的鑑定分類正確率約92.6%、其它黴菌菌屬的鑑定分類正確率約90.6%。

參閱下表一，本實施例並比較使用卷積神經網路以及合併使用注意力模型下的辨識準確率差異，可以發現當各種卷積神經網路合併使用注意力模型時，可以提高辨識準確率達3.4%至23.2%。

獲得該待辨識黴菌之黴菌菌屬後，由該物件偵測模型2在該卷積神經網路模型1所分類的黴菌菌屬下，根據該待辨識黴菌影像3分類該待辨識黴菌之一黴菌菌種，其中，由於相同黴菌菌屬的形態特徵差異較小，檢驗人員常根據孢子或孢子囊的型態來分類黴菌菌種，因此物件偵測框選孢子或孢子囊作為待偵測物件可有效鑑定分類正確的黴菌菌種。相同地，由於本實施例使用不同視野下的多個待辨識黴菌影像3進行鑑定分類，因此在該處理單元5上設定一第二辨識閾值，所述第二辨識閾值設定在60%或70%，本實施例設定為60%，該處理單元5會計算該物件偵測模型2將該多個待辨識黴菌影像3分類在同一個黴菌菌種的比例，並找出比例最高的黴菌菌種，當該比例高於該第二辨識閾值時，所述黴菌菌種作為該待辨識黴菌的鑑定分類結果6，當該比例低於該第二辨識閾值時，輸出一無法辨識訊息。

參閱下表二及下表三，在物件偵測模型2上，本實施例進一步取得36個待辨識黴菌的不同視野下共135張待辨識黴菌影像3。

下表二中顯示135張待辨識黴菌影像3中的每一張待辨識黴菌影像3各自以物件偵測模型2進行鑑定分類，並在物件偵測模型2本身設定不同閾值下的辨識準確率，可發現物件偵測模型2本身設定不同閾值下對於待辨識黴菌的黴菌菌種的辨識準確率皆可達90%以上。

下表三中顯示將每一個待辨識黴菌輸入不同視野的多張待辨識黴菌影像3進行鑑定分類並設定不同第二辨識閾值下的辨識準確率，可發現當每一個待辨識黴菌以不同視野的多張待辨識黴菌影像3進行鑑定分類且第二辨識閾值設定在60%或70%時，待辨識黴菌的黴菌菌種的辨識準確率皆達100%。

本實施例後續將所述待辨識黴菌影像3儲存於卷積神經網路與物件偵測的學習資料庫做為樣本黴菌影像，使卷積神經網路模型與物件偵測模型的鑑定分類準確度能夠持續提高。

執行上述以人工智慧辨識黴菌之菌屬及菌種的方法所安裝之電腦程式可儲存於雲端供下載，或可儲存於電腦可讀取媒體中。

綜合上述實施例之說明，當可充分瞭解本發明之操作、使用及本發明產生之功效，惟以上所述實施例僅係為本發明之較佳實施例，當不能以此限定本發明實施之範圍，即依本發明申請專利範圍及發明說明內容所作簡單的等效變化與修飾，皆屬本發明涵蓋之範圍內。

Claims (12)

1. 一種以人工智慧辨識黴菌之菌屬及菌種的方法，步驟包括： 一處理單元取得一待辨識黴菌之一待辨識黴菌影像，並以影像處理取得該待辨識黴菌的至少一形態特徵；將所述形態特徵輸入一卷積神經網路模型(CNN model)，該卷積神經網路模型係根據複數樣本黴菌影像的至少一樣本形態特徵經卷積神經網路學習而建立，該卷積神經網路模型根據所述形態特徵鑑定分類該待辨識黴菌之一黴菌菌屬； 將該待辨識黴菌影像輸入一物件偵測模型(Object Detection)，該物件偵測模型係在所述複數樣本黴菌影像上框選待偵測物件為標籤後經物件偵測學習而建立，所述待偵測物件為黴菌的細部形態特徵，該物件偵測模型在所分類的黴菌菌屬下，根據該待辨識黴菌影像鑑定分類該待辨識黴菌之一黴菌菌種。
2. 如請求項1所述之以人工智慧辨識黴菌之菌屬及菌種的方法，其中，該待辨識黴菌係以膠帶黏貼法獲得。
3. 如請求項1所述之以人工智慧辨識黴菌之菌屬及菌種的方法，其中，係取得該待辨識黴菌在不同視野下之多個待辨識黴菌影像進行鑑定分類。
4. 如請求項3所述之以人工智慧辨識黴菌之菌屬及菌種的方法，其中，在該處理單元上設定一第一辨識閾值，該處理單元計算該多個待辨識黴菌影像分類在同一個黴菌菌屬的比例，並找出比例最高的黴菌菌屬，當該比例最高的黴菌菌屬的比例高於該第一辨識閾值時，所述黴菌菌屬作為該待辨識黴菌的分類結果，當該比例低於該第一辨識閾值時，輸出一無法辨識訊息。
5. 如請求項4所述之以人工智慧辨識黴菌之菌屬及菌種的方法，其中，所述第一辨識閾值設定在60%或70%。
6. 如請求項3所述之以人工智慧辨識黴菌之菌屬及菌種的方法，其中，在該處理單元上設定一第二辨識閾值，該處理單元計算該多個待辨識黴菌影像分類在同一個黴菌菌種的比例，並找出比例最高的黴菌菌種，當該比例最高的黴菌菌種的比例高於該第二辨識閾值時，所述黴菌菌種作為該待辨識黴菌的分類結果，當該比例低於該第二辨識閾值時，輸出一無法辨識訊息。
7. 如請求項6所述之以人工智慧辨識黴菌之菌屬及菌種的方法，其中，所述第二辨識閾值設定在60%或70%。
8. 如請求項1所述之以人工智慧辨識黴菌之菌屬及菌種的方法，其中，所述形態特徵包括顏色、質地、形狀、大小之一或組合。
9. 如請求項1所述之以人工智慧辨識黴菌之菌屬及菌種的方法，其中，該卷積神經網路模型係經由卷積神經網路合併轉移學習(transfer learning)並加上注意力模型(attention mechanism)學習而建立。
10. 如請求項1所述之以人工智慧辨識黴菌之菌屬及菌種的方法，其中，所述物件偵測模型係選自下列之一：YOLO模型、Faster-RCNN模型、及SSD模型(Single Shot Multi-box Detector)。
11. 一種電腦程式，供安裝於一電腦，並執行如請求項1至請求項10任一項所述之以人工智慧辨識黴菌之菌屬及菌種的方法。
12. 一種電腦可讀取媒體，係儲存有如請求項11所述之電腦程式。