TWI877875B - 腦部斷層掃描電腦輔助偵測系統、方法及電腦程式產品 - Google Patents
腦部斷層掃描電腦輔助偵測系統、方法及電腦程式產品 Download PDFInfo
- Publication number
- TWI877875B TWI877875B TW112141805A TW112141805A TWI877875B TW I877875 B TWI877875 B TW I877875B TW 112141805 A TW112141805 A TW 112141805A TW 112141805 A TW112141805 A TW 112141805A TW I877875 B TWI877875 B TW I877875B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- images
- module
- detection system
- trodat
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一種腦部斷層掃描電腦輔助偵測系統,包括:影像挑選模組、影像預處理模組及視覺分級預測模組。影像挑選模組從受測者的一組多巴胺斷層掃描原始影像中挑選出至少一合適原始影像。影像預處理模組將至少一合適原始影像轉換成至少一處理後影像。視覺分級預測模組根據至少一處理後影像而產生受測者的視覺分級預測等級。
Description
本發明屬於電腦輔助辨識技術領域,特別是腦部斷層掃描之電腦輔助辨識技術領域。
帕金森氏症(Parkinson's Disease,PD)是一種影響運動的進行性疾病,通常與多巴胺神經元的缺少有關。多巴胺斷層掃描(TRODAT)常應用於檢測受測者的腦部的多巴胺神經元是否發生缺少。然而,目前檢閱TRODAT影像並做出判斷仍必須仰賴人力,然而醫生的工作繁忙且人力不足,常常會導致判斷品質下降或耗費大量時間成本
因此,目前需要一種腦部斷層掃描之電腦輔助辨識系統、方法及電腦程式產品來解決上述問題。
本發明提出一種腦部斷層掃描之電腦輔助辨識技術,是以深度神經網路為基礎,並利用受測者(例如患者)的TRODAT影像來對深度神經網路的訓
練用模型進行訓練,當訓練完成後,深度神經網路即可具備輔助預測受測者的視覺分級(Visual Scale,VS)預測等級的能力。
根據本發明的一觀點,茲提出一種腦部斷層掃描電腦輔助偵測系統。該系統包括一影像挑選模組、一影像預處理模組及一視覺分級預測模組。影像挑選模組執行一影像挑選程序,從一受測者的一組TRODAT原始影像中挑選出至少一合適原始影像。影像預處理模組執行一影像預處理程序,將至少一合適原始影像轉換成至少一處理後影像。視覺分級預測模組根據至少一處理後影像而產生受測者的一Visual Scale預測等級。
根據本發明的另一觀點,是提供一種腦部斷層掃描電腦輔助偵測方法,該方法是透過一腦部斷層掃描電腦輔助偵測系統來執行,其中腦部斷層掃描電腦輔助偵測系統包含一影像挑選模組、一影像預處理模組以及一視覺分級預測模組。該方法包含步驟:藉由影像挑選模組執行一影像挑選程序,從一受測者的一組TRODAT原始影像中挑選出至少一合適原始影像;藉由影像預處理模組執行一影像預處理程序,將至少一合適原始影像轉換成至少一處理後影像;以及藉由視覺分級預測模組,根據至少一處理後影像而產生受測者的一Visual Scale預測等級。
根據本發明又另一觀點,是提供一種電腦程式產品,儲存於非暫態電腦可讀取媒體之中,用以使一腦部斷層掃描電腦輔助偵測系統進行運作,其中腦部斷層掃描電腦輔助偵測系統包含一影像挑選模組、一影像預處理模組以及一視覺分級預測模組。該電腦程式產品包括:一指令,使影像挑選模組執行一影像挑選程序,從一受測者的一組TRODAT原始影像中挑選出至少一合適原始影像;一指令,使影像預處理模組執行一影像預處理程序,將至少一合適
原始影像轉換成至少一處理後影像;以及一指令,使視覺分級預測模組根據至少一處理後影像而產生受測者的一Visual Scale預測等級。
1:腦部斷層掃描電腦輔助偵測系統
10:資料取得介面
20:影像挑選模組
30:影像預處理模組
40:視覺分級預測模組
41:第一類神經網路
50:微處理器
51:電腦程式產品
60:第二預測模組
61:第二類神經網路
S21~S25:步驟
S41~S45a:步驟
S51~S57:步驟
S61~S62:步驟
S71~S73:步驟
S81~S83:步驟
圖1是本發明一實施例的腦部斷層掃描電腦輔助偵測系統的示意圖;圖2是本發明一實施例的腦部斷層掃描電腦輔助偵測方法的步驟流程圖;圖3是本發明另一實施例的腦部斷層掃描電腦輔助偵測系統的示意圖;圖4是本發明另一實施例的腦部斷層掃描電腦輔助偵測方法的步驟流程圖;圖5是本發明一實施例的影像挑選程序的步驟流程圖;圖6是本發明一實施例的影像預處理程序的步驟流程圖;圖7是本發明一實施例的第一類神經網路的訓練過程流程圖;圖8是本發明一實施例的第二類神經網路的訓練過程流程圖。
當結合附圖閱讀時,下列實施例用於清楚地展示本發明的上述及其他技術內容、特徵及/或效果。透過具體實施方式的闡述,人們將進一步瞭解本發明所採用的技術手段及效果,以達到上述的目的。此外,由於本發明所揭示的內容應易於理解且可為本領域技術人員所實施,因此,所有不脫離本發明的概念的相等置換或修改應包含在請求項中。
應注意的是,在本文中,除了特別指明者之外,「一」元件不限於單一的該元件,還可指一或更多的該元件。
此外,說明書及權利要求中例如「第一」或「第二」等序數僅為描述所請求的元件,而不代表或不表示所請求的元件具有任何順序的序數,且不是所請求的元件及另一所請求的元件之間或製造方法的步驟之間的順序。這些序數的使用僅是為了將具有特定名稱的一個請求元件與具有相同名稱的另一請求元件區分開來。
此外,本發明中關於“當...”或“...時”等描述表示“當下、之前或之後”等態樣,而不限定為同時發生之情形,在此先行敘明。本發明中關於“設置於...上”等類似描述係表示兩元件的對應位置關係,並不限定兩元件之間是否有所接觸,除非特別有限定,在此先行敘明。再者,本發明記載多個功效時,若在功效之間使用“或”一詞,係表示功效可獨立存在,但不排除多個功效可同時存在。
此外,說明書及權利要求中例如「連接」或「耦接」一詞不僅指與另一元件直接連接,也可指與另一元件間接連接或電性連接。另外,電性連接包含直接連接、間接連接或二元件間以無線電信號交流的態樣。
此外,說明書及權利要求中,「約」、「大約」、「實質上」、「大致上」之用語通常表示在一值與一給定值的差距在該給定值的10%內,或5%內,或3%之內,或2%之內,或1%之內,或0.5%之內的範圍。在此給定的數量為大約的數量,亦即在沒有特定說明「約」、「大約」、「實質上」、「大致上」的情況下,仍可隱含「約」、「大約」、「實質上」、「大致上」之含義。此外,用語「範圍為第一數值至第二數值」、「範圍介於第一數值至第二數值之間」表示所述範圍包含第一數值、第二數值以及它們之間的其它數值。
此外,在本文中,「系統」、「設備」、「裝置」、「模組」、或「單元」等用語,是指包含了一電子元件或由多個電子元件所組成的一數位電路、一類比電路、或其他更廣義電路,且除了特別指明者之外,它們不必然有位階或層級關係。上述組態皆是依照實際應用而定。
此外,只要合理,本發明所揭示的不同實施例的技術特徵可結合形成另一實施例。
圖1是本發明一實施例的腦部斷層掃描電腦輔助偵測系統1(以下簡稱系統1)的示意圖。系統1可用於產生一受測者(例如患者)的Visual Scale預測等級。如圖1所示,系統1可包含一資料取得介面10、一影像挑選模組20、一影像預處理模組30以及一視覺分級預測模組40。
在一實施例中,資料取得介面10可用以取得來自外部的資料,亦即使用者(例如醫師)可透過資料取得介面10將影像資料輸入至系統1中,其中影像資料可例如是受測者的一組TRODAT原始影像。
影像挑選模組20可自資料取得介面10處取得該受測者的該組TRODAT原始影像,且影像挑選模組20可執行一影像挑選程序,從該受測者的該組TRODAT原始影像中挑選出至少一合適原始影像。
影像預處理模組30可自影像挑選模組20處取得至少一合適原始影像。影像預處理模組30可執行一影像預處理程序,將至少一合適原始影像轉換成至少一處理後影像。
視覺分級預測模組40可包含已完成深度學習訓練的一第一類神經網路41。視覺分級預測模組40可自影像預處理模組30處取得至少一處理後影像,並對至少一處理後影像進行特徵分析,進而輸出受測者的Visual Scale預測
等級。在一實施例中,第一類神經網路41可包含一訓練編碼器及一線性分類器,其中訓練編碼器可找出該受測者的至少一處理後影像中的各種特徵,線性分類器可根據訓練編碼器找出的特徵分析出受測者的Visual Scale預測等級,且不限於此。在一實施例中,視覺分級預測模組40可將受測者的Visual Scale預測等級輸出,此處「輸出」可例如是將受測者的Visual Scale預測等級顯示於例如電腦或其它類似電子裝置的螢幕上,或者以圖表、圖形、影像、聲音、文字、文件及/或檔案等方式輸出,且不限於此。
接著更詳細說明上述元件的細節。
在一實施例中,系統1可以是一資料處理設備,其可透過任何具有微處理器的電子裝置來實現,例如桌上型電腦、筆記型電腦、智慧型行動裝置、伺服器或雲端主機等類似裝置,或者系統1亦可透過電子裝置中的晶片來實現。在一實施例中,系統1可具備網路通訊功能,以將資料透過網路進行傳輸,其中網路通訊可以是有線網路或無線網路,因此系統1亦可透過網路來取得資料。在一實施例中,系統1可由一微處理器50執行一電腦程式產品51來實現其功能,其中電腦程式產品51可具有複數個指令,該等指令可使微處理器50執行特殊運作,進而使微處理器實現如影像挑選模組20、影像預處理模組30以及視覺分級預測模組40的功能,且不限於此。在一實施例中,電腦程式產品51可儲存於一非暫態電腦可讀取媒體(例如記憶體)之中,但不限於此。在一實施例中,電腦程式產品51亦可預先儲存於網路伺服器中,以供使用者下載。在一實施例中,電腦程式產品51實際上可包括多個子程式。
此外,在一實施例中,資料取得介面10可以是系統1取得外部資料的一實體連接埠,例如當系統1是電腦時,資料取得介面10可以是電腦上USB
介面、各種傳輸線接頭等,但並非限定。此外,資料取得介面10亦可與無線通訊晶片整合,因此能以無線傳輸的方式接收資料。在一實施例中,資料取得介面10可與系統1的一暫存器或一記憶體電性連接,以存放取得的資料。
在一實施例中,受測者的一組TRODAT原始影像例如是核子醫學科使用的一組「Tc-99m大腦TRODAT影像」,但不限於此。在一實施例中,TRODAT原始影像例如是在受測者注射TRODAT追蹤劑後的一段時間(例如大約四小時),以掃描機器對受測者的腦部進行斷層掃描造影所產生的一組影像,該組影像會對頭部進行掃描,且不限於此。在一實施例中,至少2000組影像被用於訓練第一類神經網路41,且至少150組影像被用於測試第一類神經網路41,但不限於此。
當系統1實際使用時(例如第一類神經網路41已完成訓練時),系統1可執行一腦部斷層掃描電腦輔助偵測方法。圖2是本發明一實施例的腦部斷層掃描電腦輔助偵測方法的步驟流程圖,並請同時參考圖1。
如圖2所示,首先步驟S21被執行,資料取得介面10取得受測者的一組TRODAT原始影像。之後步驟S22被執行,影像挑選模組20執行影像挑選程序,從該組TRODAT原始影像中挑選出至少一合適原始影像,以做為輸入至第一類神經網路41進行分析的影像。接著步驟S23被執行,影像預處理模組30執行影像預處理程序,將該至少一合適原始影像轉換成至少一處理後影像。之後步驟S24被執行,視覺分級預測模組40的第一類神經網路41找出至少一處理後影像的複數個特徵。之後步驟S25被執行,第一類神經網路41根據特徵分析出受測者的Visual Scale預測等級。之後,視覺分級預測模組40可輸出受測者的Visual Scale預測等級。
上述步驟可依照需求調整順序或增減,且不限於此。藉此,系統1可根據受測者的TRODAT影像,分析出受測者的Visual Scale預測等級,可輔助醫師進行判斷,可減輕醫師的疲勞,並可提升準確度。
此外,本發明的系統1亦可具有變化態樣。圖3是本發明另一實施例的腦部斷層掃描電腦輔助偵測系統1的示意圖。圖3實施例大致可適用圖1實施例的說明,故以下主要針對差異進行說明。
如圖3所示,系統1還包含一第二預測模組60。第二預測模組60可包含已完成深度學習訓練的一第二類神經網路61。第二預測模組60可自影像預處理模組30處取得至少一處理後影像,並對至少一處理後影像進行特徵分析,進而輸出受測者的Hoehn-Yahr Scale預測等級。在一實施例中,第二預測模組60可包含一訓練編碼器及一線性分類器,其中訓練編碼器可找出該受測者的至少一處理後影像中的各種特徵,線性分類器可根據訓練編碼器找出的特徵分析出受測者的Hoehn-Yahr Scale預測等級,且不限於此。在一實施例中,第二預測模組60可將受測者的Hoehn-Yahr Scale預測等級,此處「輸出」可例如是將受測者的Hoehn-Yahr Scale預測等級顯示於例如電腦或其它類似電子裝置的螢幕上,或者以圖表、圖形、影像、聲音、文字、文件及/或檔案等方式輸出,且不限於此。在一實施例中,至少250組影像被用於訓練第二類神經網路61,且至少30組影像被用於測試第二類神經網路61,但不限於此
圖4是本發明另一實施例的腦部斷層掃描電腦輔助偵測方法的步驟流程圖,並請同時參考圖3。
如圖4所示,首先步驟S41被執行,資料取得介面10取得受測者的一組TRODAT原始影像。之後步驟S42被執行,影像挑選模組20執行影像挑選程
序,從該組TRODAT原始影像中挑選出至少一合適原始影像,以做為輸入至第一類神經網路41及第二類神經網路61進行分析的影像。接著步驟S43被執行,影像預處理模組30執行影像預處理程序,將該至少一合適原始影像轉換成至少一處理後影像。之後步驟S44被執行,視覺分級預測模組40的第一類神經網路41找出至少一處理後影像的複數個特徵。此外,步驟S44a可執行,第二預測模組60的第二類神經網路61找出至少一處理後影像的複數個特徵。之後步驟S45被執行,第一類神經網路41根據特徵分析出受測者的Visual Scale預測等級。此外,步驟S45a可執行,第二類神經網路61根據特徵分析出受測者的Hoehn-Yahr Scale預測等級。之後,視覺分級預測模組40可輸出受測者的Visual Scale預測等級,且第二預測模組60可輸出受測者的Hoehn-Yahr Scale預測等級。
對於評估病患的帕金森症嚴重程度而言,Hoehn-Yahr分級是重要的評估指標,因此系統1可同時藉由受測者的TRODAT影像,分析出受測者的Visual Scale預測等級及Hoehn-Yahr Scale預測等級,將輔助醫師在評估病患的病況時更加準確,並可提升效率。
由此可知,本發明的系統1可具備視覺分級預測模組40,並可選擇性地具備第二預測模組60。為方便說明,後續段落皆以系統1同時具備視覺分級預測模組40及第二預測模組60的態樣來說明。
進一步地,本發明的特色之一包含,TRODAT原始影像在輸入至視覺分級預測模組40及第二預測模組60之前可進行影像挑選程序及影像預處理程序,進而可提升視覺分級預測模組40及第二預測模組60的預測效果。
首先針對影像挑選程序進行說明。當受測者進行的腦部進行斷層掃描造影後,掃描的機台可產生多張TRODAT原始影像,其中每張TRODAT原
始影像可例如顯示腦部的某位置的橫切面的影像,然而由於斷層掃描的方向通常是自受測者的頭頂開始掃描,而實際上能反映腦部多寡的基底核部位位於腦部的中間位置,因該等原始影像中的一部分影像可能具備較多雜質,例如影像由頭骨所佔據等情形,而這些雜質會影響到第一類神經網路41及第二類神經網路61分析的精準度,因此影像挑選模組20需進行影像挑選程序,以自動挑選出適合第一類神經網路41及第二類神經網路61分析的影像。
為實現上述目的,影像挑選程序可包含複數個步驟。圖5是本發明一實施例的影像挑選程序的步驟流程圖,請同時參考圖1至圖4。
首先,步驟S51被執行,影像挑選模組20判斷受測者的一組TRODAT原始影像的影像數量是否大於一第一門檻值。當該組TRODAT原始影像的影像數量大於第一門檻值時,步驟S51a被執行,影像挑選模組20從該組TRODAT原始影像中的第一張影像開始找出符合一預設條件的一影像,並將符合預設條件的該張影像以及接續於該張影像之後的特定數量的影像取出,以作為一組初步挑選影像。而當該組TRODAT原始影像的影像數量小於或等於第一門檻值時,影像挑選模組20直接將該組TRODAT原始影像設定為該組初步挑選影像。當該組初步挑選影像被選取出後,步驟S52被執行,對該組初步挑選影像進行一縮減優化處理,以從該組初步挑選影像中取得至少一部分影像。接著步驟S53被執行,將縮減優化處理後所取得的該組初步挑選影像的至少一部分影像與一遮罩進行中心點對位,其中該遮罩包含一基底核範圍。接著步驟S54被執行,針對對位後的每張影像,取得每張影像對應該基底核範圍內的一最大像素值。接著步驟S55被執行,將對位後的每張影像對應該基底核範圍內的最大像素值進行比較。接著步驟S56被執行,將最大像素值高於其它影像的該張影像設定
為至少一合適原始影像。接著步驟S57可執行,將具有最大像素值的該張影像的前一張影像及後一張影像也設定為該至少一合適原始影像。藉此,影像挑選程序可完成,影像挑選模組20可自動挑選出適合第一類神經網路41及第二類神經網路61進行分析的至少一合適原始影像。需注意的是,上述步驟僅是舉例,只要合理可實現,上述步驟可依照需求變換順序或進行增減。
關於步驟S51。在一實施例中,第一門檻值可例如是介於60張至70張影像之間,例如64張,且不限於此。具體而言,由於每張影像皆可對應以受測者的頭頂做為起始點的掃描路徑上的一個掃描位置,因此當影像數量超過第一門檻值時,可能表示某些不需要觀察的部位(例如骨頭的部位)也可能被掃描多次,故該組TRODAT原始影像可能包含了許多張具有較多雜質而不利於分析的影像,因此這種情況需要進行步驟S51a以對該組TRODAT原始影像進行初步挑選。反之,當影像數量超過第一門檻值時,表示該組TRODAT原始影像中對應雜質的影像的數量較少,因此可直接以該組TRODAT原始影像進行後續處理。
步驟S51a是初步挑選的細節,此步驟會以該組TRODAT原始影像的第一張影像(例如對應頭頂)做為起點,在該組TRODAT原始影像挑選出符合預設條件的影像做為初步挑選影像。在一實施例中,預設條件可包含至少:(1)該影像具備像素值大於一第二門檻值的複數個像素點;以及(2)像素值大於該第二門檻值的像素點的數量大於一第三門檻值。在一實施例中,第二門檻值可例如但不限於介於3至10之間、4至8之間、或4至6之間,且不限於此。在一實施例中,第三門檻值可介於300至700之間、400至600之間、或450至550之間,且不限於此。舉例來說,若第二門檻值舉例為5,第三門檻值舉例為500,則在步驟S51a中,影像挑選模組20會從該組TRODAT原始影像中的第一張影像開始尋找具有
超過500個像素值大於5的像素點的一張影像,藉此,影像挑選模組20首次找到的該張影像以及接續於該張影像之後的多張影像(接續的影像最多可例如為64張,連同該張影像為65張,但不限於此)可被設定為該組初步挑選影像。
具體而言,由於基底核吸收TRODAT追蹤劑後,基底核部位因為分泌多巴胺而使得其像素值會高於其它部位,因此具有超過500個像素值大於5的像素點的影像是對應基底核部位的可能性也較高,也因此當找到符合預設條件的一張影像時,表示掃描的位置已經接近基底核的部位,也因此該張影像及後續多張影像可被挑選出來做為初步挑選影像。藉此,步驟S51及S51a已可被理解。
關於步驟S52,此步驟可以對初步挑選影像進行進一步的縮減優化,使得縮減優化後的影像可更加符合基底核的部位。在一實施例中,影像挑選模組20可將初步挑選影像的總數量取中間值,在將該中間值往前及往後取得複數張影像,例如總數量的1/4、1/5、1/6、1/7、或1/8張影像,且不限於此。舉例來說,如果總數量為60張影像,則中間數可為第30張(或第31張)影像,而總數量的1/6為10,因此影像挑選模組20會從初步挑選影像中挑選出第20至第40張影像做為縮減優化後的影像。藉此,步驟S52已可被理解。
關於步驟S53,此步驟是利用遮罩來取得縮減優化後的影像中的基底核的範圍,例如遮罩可將影像中基底核的範圍標示出來,或者可將影像中的基底核以外的範圍覆蓋掉,且不限於此。藉此,後續步驟可針對各張影像中的基底核的相關部分進行處理。
關於步驟S54至步驟S56,影像挑選模組20可在每張影像對應的基底核範圍內的像素點中取得該張影像的最大像素值,接著比較每張影像的最
大像素值,藉此取得最大像素值高於其它影像的影像。具體而言,基底核分泌多巴胺時可具備較高的像素值,因此像素值越高通常代表越接近需要觀察的區域(region of interest,ROI),因此最大像素值高於其它影像的該張影像可視為該等影像中最適合用於分析的影像。因此,影像挑選模組20可挑選出適合第一類神經網路41及第二類神經網路61進行分析的至少一合適原始影像。藉此,步驟S54至步驟S56已可被理解。
關於步驟S57,具體而言,最大像素值高於其它影像的影像的前一張影像及後一張影像的基底核範圍通常也具備較高的像素值,也適合供第一類神經網路41及第二類神經網路61進行分析,並且可以增加第一類神經網路41及第二類神經網路61的輸入資料數量,因此步驟S57將具有最高的最大像素值的影像的前一張影像及後一張影像也用於做為合適原始影像,將可提升分析品質。藉此,步驟S57已可被理解。
藉由影像挑選程序的執行,影像挑選模組20可以自動挑選出適合進行分析的影像,進而提升分析的品質及效果。藉此,影像挑選程序已可被理解。
接著說明影像預處理程序。圖6是本發明一實施例的影像預處理程序的步驟流程圖,並請同時參考圖1至圖5。
首先,步驟S61被執行,根據至少一合適原始影像對應的一最大像素值與一預設最大像素值,將該至少一合適原始影像的所有像素值進行縮放。接著步驟S62被執行,對縮放後的該至少一合適原始影像進行正規化處理,以產生該至少一處理後影像,其中正規化處理包含二值化處理。
關於步驟S61,具體而言,由於不同檢測中心對於TRODAT斷層掃描的掃描時間可能不一致,使得掃描出的影像的像素值範圍也可能不一致,例如掃描時間較短會使得影像中的最大像素值較低,而掃描時間常會使得影像中的最大像素值較高,因此假如不同檢測中心的資料直接輸入至第一類神經網路41及第二類神經網路61,會因為最大像素值的標準不一致,造成分析失去準確度,因此需要進行步驟S61來解決此問題。在一實施例中,系統1可預設有預設最大像素值,而影像預處理模組30可根據至少一合適原始影像中的最大像素值與預設最大像素值之間的比值,將至少一合適原始影像中的所有像素點的像素值進行縮放調整,藉此可使得所有輸入至第一類神經網路41及第二類神經網路61的影像的像素值範圍都可以一致。藉此,步驟S61已可被理解。
關於步驟S62,在一實施例中,影像預處理模組30可對縮放調整後的至少一合適原始影像進行二值化處理,例如像素值大於(或大於等於)一特定數值的像素值皆轉換成1,而像素值小於或等於(或小於)該特定數值的像素值皆轉換成0,藉此使得影像更能凸顯出基底核的吸收效果。需注意的是,上述步驟僅是舉例,只要合理可實現,上述步驟可依照需求變換順序或進行增減。
藉此,影像預處理程序已可被理解。
接著說明視覺分級預測模組40的細節。
在一實施例中,視覺分級預測模組40的第一類神經網路41是利用深度卷積神經網路(CNN)來分析影像的特徵的人工智慧模型。在一實施例中,第一類神經網路41是由一第一訓練用模型(例如一訓練用的深度卷積神經網路)經由深度學習進行訓練而形成。在一實施例中,第一訓練用模型是利用大量的訓練用影像,以監督式對比學習的方式來進行訓練。在一實施例中,當第一訓練
用模型訓練完成後會產生特徵路徑,特徵路徑可視為人工智慧模型中的神經元傳導路徑,其中每個神經元可代表一個影像特徵偵測點,且每個影像特徵偵測點可能會具有不同的權重值,藉此第一訓練用模型被訓練完成後,即可形成第一類神經網路41。
在一實施例中,監督式對比學習可例如使用自主監督式對比學習技術,但不限於此。使用監督式對比學習對於本發明的好處在於,監督式對比學習技術可使得人工智慧模型的分析能夠更有效利用標籤的訊息,把同一類別的集群在向量(Embedding)空間中拉到一起,同時推開來自不同類別的樣本集群,因此可更加明顯區分出對應不同Visual Scale等級的特徵之間的特異性。藉此,本發明可具備良好的準確性和穩健性,並且對影像損壞(image corruptions)和超參數變化具有穩健性。在一實施例中,系統1或視覺分級預測模組40的硬體設備可例如採用Nvidia V100圖形處理器,但不限於此。
在一實施例中,第一類神經網路41的架構可例如包括1~3個輸入層、4~8個卷積層(convolutional layer)、1~3個平坦層、1~3個全連接層(fully-connected layer)及1~3個輸出層,且不限於此。在一實施例中,卷積層可用於從訓練用資料中找出及整合複數個影像特徵。平坦層可對卷積層找出的特徵做維度轉換。全連接層可建立該等影像特徵與「訓練用資料的標籤(例如不同Visual Scale等級)」之間的關聯性(例如建立出特徵路徑)。此外,全連接層可包括損失函數層,其中損失函數層可例如使用交叉熵(cross entropy)損失來實現,例如使用Categorical Cross-entropy,但不限於此。另外,上述架構亦可視為形成第一類神經網路41的第一訓練用模型之架構,但第一訓練用模型的特徵路徑及神經元尚未訓練成熟。
在一實施例中,第一類神經網路41可包含百萬以上的神經元數量,但不限於此。在一實施例中,第一類神經網路41的超參數設定如下:批次尺寸(batch size)設定為介於200~600之間,訓練週期(epoch)設定為介於300~500之間,但不限於此。
接著說明第一類神經網路41(第一訓練用模型)的訓練過程。圖7是本發明一實施例的第一類神經網路41的訓練過程流程圖,請同時參考圖1至圖6。
如圖7所示,首先步驟S71被執行,複數訓練用影像被輸入至第一訓練用模型,其中訓練用影像具有對應的visual scale等級的標籤。在一實施例中,訓練用影像可以是不同受測者的TRODAT原始影像,其中該等影像是直接使用醫療數位影像傳輸協定(digital imaging and communications in medicine,DICOM)的原始影像格式,而不執行格式轉換,其中DICOM影像的像素值可藉由軟體工具python 3.7.0的pydicom功能進行讀取,但不限於此。此外,輸入至第一訓練用模型的訓練用影像可先進行先前段落說明的影像挑選程序以及影像預處理程序,因此訓練用影像可視為處理後影像。另外,每個受測者的訓練用影像可例如是一組訓練用影像,例如一組三個訓練用影像,如同圖5的影像挑選程序所選取出的三個影像。
接著步驟S72被執行,第一訓練用模型利用該等訓練用影像執行監督式對比學習,以找出該等訓練用影像中的影像特徵。
接著步驟S73被執行,第一訓練用模型根據找出的影像特徵建立出特徵路徑,以完成第一訓練用模型的訓練。在一實施例中,第一訓練用模型可例如使用交叉熵損失的方式進行訓練,以建立出影像特徵路徑,但不限於此。
在一實施例中,第一訓練用模型需經歷至少一「訓練階段」來進行訓練並建立出一特徵路徑,且需經歷至少一「測試階段」來測試該特徵路徑的準確度,當準確度達到需求時,才能做為後續實際使用的第一類神經網路41。在一實施例中,第一訓練用模型將經歷複數次訓練,並且每次訓練後皆會產生不同的特徵路徑,而準確度最高的特徵路徑會被設定為第一類神經網路41的實際特徵路徑,且不限於此。此外,第一類神經網路41的實際特徵路徑也可隨時調整。
藉此,第一類神經網路41的建立過程已可被理解。據此,本發明的視覺分級預測模組40可預測出受測者的visual scale等級,可用於輔助醫師進行判斷,可大幅提升醫療效率。
接著說明第二預測模組60的細部結構。
在一實施例中,第二預測模組60的第二類神經網路61是利用深度卷積神經網路(CNN)來分析影像的特徵的人工智慧模型。在一實施例中,第二類神經網路61是由一第二訓練用模型(例如訓練用的深度卷積神經網路)經由深度學習進行訓練而形成。在一實施例中,第二預測模組60的第二類神經網路61可採用與第一類神經網路41相同的架構,故不再詳述細節。換言之,第二訓練用模型可具備與第一訓練用模型相同的架構,但藉由不同的訓練用資料而產生不同預測能力。
接著說明第二類神經網路61(第二訓練用模型)的訓練過程。圖8是本發明一實施例的第二類神經網路61的訓練過程流程圖,請同時參考圖1至圖7。
如圖8所示,首先步驟S81被執行,複數訓練用影像被輸入至第二訓練用模型,其中訓練用影像具有對應的Hoehn-Yahr Scale等級的標籤。在一實施例中,訓練用影像可以是不同受測者的TRODAT原始影像,且在訓練用影像輸入至第二訓練用模型之前可先進行影像挑選程序以及影像預處理程序,因此訓練用影像可視為處理後影像。
接著步驟S82被執行,第二訓練用模型利用該等訓練用影像執行監督式對比學習,以找出該等訓練用影像中的影像特徵。
接著步驟S83被執行,第二訓練用模型根據找出的影像特徵建立出特徵路徑,以完成第二訓練用模型的訓練。在一實施例中,第二訓練用模型可例如使用交叉熵損失的方式進行訓練,以建立出影像特徵路徑,但不限於此。
相似於第一訓練用模型的訓練,第二訓練用模型也需經歷至少一「訓練階段」及至少一「測試階段」。此外,訓練完成後的第二類神經網路61的實際特徵路徑也可隨時調整。
藉此,第二類神經網路61的建立過程已可被理解。據此,本發明的第二預測模組60可預測出受測者的Hoehn-Yahr Scale等級,可加強對於醫師的輔助。
進一步地,在一實施例中,當視覺分級預測模組40或第二預測模組60產生預測結果後,系統1可將預設結果輸出。在一實施例中,系統1可以與特定應用程式(application,APP)的使用者介面(user interface,UI)連結,進而在使用者介面上顯示出視覺分級預測模組40或第二預測模組60的預測結果,且不限於此。在另一實施例中,系統1可根據視覺分級預測模組40或第二預測模組60的預測結果,自動產生出一份相關的報告,但不限於此。
藉此,透過本發明,只要將受測者的一組TRODAT原始影像輸入至系統1中,系統1即可自動挑選出適合分析的影像,並且根據影像預測出該受測者的visual scale預測等級或Hoehn-Yahr Scale預測等級,進而可輔助醫師進行醫學判斷。藉由深度學習訓練,本發明的系統1可精準地提供預測等級,可輔助受測者尋求最佳的醫療照護方式。
儘管本發明已透過上述實施例來說明,可理解的是,根據本發明的精神及本發明所主張的申請專利範圍,許多修飾及變化都是可能的。
S41~S45a:步驟
Claims (10)
- 一種腦部斷層掃描電腦輔助偵測系統,包含:一影像挑選模組(20),執行一影像挑選程序,從一受測者的一組多巴胺斷層掃描(TRODAT)原始影像中挑選出至少一合適原始影像;一影像預處理模組(30),執行一影像預處理程序,將該至少一合適原始影像轉換成至少一處理後影像;以及一視覺分級預測模組(40),根據該至少一處理後影像而產生該受測者的一視覺分級(Visual Scale)預測等級。
- 如請求項1所述的腦部斷層掃描電腦輔助偵測系統,其中該影像挑選程序包含步驟:該影像挑選模組(20)判斷該組TRODAT原始影像中的影像數量是否大於一第一門檻值;當該組TRODAT原始影像的影像數量大於該第一門檻值時,從該組TRODAT原始影像中的第一張影像開始找出符合一預設條件的一影像,以及將符合該預設條件的該影像以及接續於該影像之後的特定數量的影像取出,以做為一組初步挑選影像,其中該預設條件包含:該影像具備像素值大於一第二門檻值的複數個像素點,且像素值大於該第二門檻值的像素點的數量大於一第三門檻值;以及當該組TRODAT原始影像的影像數量小於或等於該第一門檻值時,以該組TRODAT原始影像做為該組初步挑選影像。
- 如請求項2所述的腦部斷層掃描電腦輔助偵測系統,其中該影像挑選程序包含步驟: 將該組初步挑選影像中的至少一部分影像與一遮罩進行中心點對位,其中該遮罩包含一基底核範圍;取得對位後的每張影像對應該基底核範圍內的一最大像素值;將對位後的每張影像對應該基底核範圍內的該最大像素值進行比較;以及將具有最大像素值的該張影像設定為該至少一合適原始影像。
- 如請求項3所述的腦部斷層掃描電腦輔助偵測系統,其中該至少一合適原始影像還包含具有最大像素值的該張影像的前一張影像及後一張影像。
- 如請求項3所述的腦部斷層掃描電腦輔助偵測系統,其中該影像挑選程序包含步驟:將該組初步挑選影像進行一縮減優化處理,並將縮減優化處理後的該組初步挑選影像與該遮罩進行中心點對位。
- 如請求項1所述的腦部斷層掃描電腦輔助偵測系統,其中該影像預處理程序包含步驟:對該至少一合適原始影像進行一正規化處理,以形成該至少一處理後影像,其中該正規化處理包含一二值化處理。
- 如請求項6所述的腦部斷層掃描電腦輔助偵測系統,其中該正規化處理包含步驟:根據該至少一合適原始影像所對應的一最大像素值以及一預設最大像素值,將該至少一合適原始影像的所有像素值進行縮放。
- 如請求項1所述的腦部斷層掃描電腦輔助偵測系統,更包含一第二預測模組,根據該至少一處理後影像而產生該受測者的一侯恩亞爾分級(Hoehn-Yahr Scale)預測等級。
- 一種腦部斷層掃描電腦輔助偵測方法,該方法是透過一腦部斷層掃描電腦輔助偵測系統來執行,其中該腦部斷層掃描電腦輔助偵測系統包含一影像挑選模組(20)、一影像預處理模組(30)以及一視覺分級預測模組(40),其中該方法包含步驟:藉由該影像挑選模組(20)執行一影像挑選程序,從一受測者的一組TRODAT原始影像中挑選出至少一合適原始影像;藉由該影像預處理模組(30)執行一影像預處理程序,將該至少一合適原始影像轉換成至少一處理後影像;以及藉由該視覺分級預測模組(40),根據該至少一處理後影像而產生該受測者的一Visual Scale預測等級。
- 一種電腦程式產品,儲存於一非暫態電腦可讀取媒體之中,用以使一腦部斷層掃描電腦輔助偵測系統進行運作,其中該腦部斷層掃描電腦輔助偵測系統包含一影像挑選模組(20)、一影像預處理模組(30)以及一視覺分級預測模組(40),其中該電腦程式產品包含:一指令,使該影像挑選模組(20)執行一影像挑選程序,從一受測者的一組TRODAT原始影像中挑選出至少一合適原始影像;一指令,使該影像預處理模組(30)執行一影像預處理程序,將該至少一合適原始影像轉換成至少一處理後影像;以及一指令,使該視覺分級預測模組(40)根據該至少一處理後影像而產生該受測者的一Visual Scale預測等級。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112141805A TWI877875B (zh) | 2023-10-31 | 2023-10-31 | 腦部斷層掃描電腦輔助偵測系統、方法及電腦程式產品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112141805A TWI877875B (zh) | 2023-10-31 | 2023-10-31 | 腦部斷層掃描電腦輔助偵測系統、方法及電腦程式產品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI877875B true TWI877875B (zh) | 2025-03-21 |
| TW202519162A TW202519162A (zh) | 2025-05-16 |
Family
ID=95830360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112141805A TWI877875B (zh) | 2023-10-31 | 2023-10-31 | 腦部斷層掃描電腦輔助偵測系統、方法及電腦程式產品 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI877875B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200222010A1 (en) * | 2016-04-22 | 2020-07-16 | Newton Howard | System and method for deep mind analysis |
| CN113554663A (zh) * | 2021-06-08 | 2021-10-26 | 浙江大学 | 一种基于ct结构图像自动化分析多巴胺转运体pet图像的系统 |
| TW202216070A (zh) * | 2020-10-15 | 2022-05-01 | 臺北醫學大學 | 腦部多巴胺轉運體檢查系統及其運作方法 |
| WO2022104288A1 (en) * | 2020-11-16 | 2022-05-19 | Terran Biosciences, Inc. | Neuromelanin-sensitive mri and methods of use thereof |
-
2023
- 2023-10-31 TW TW112141805A patent/TWI877875B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200222010A1 (en) * | 2016-04-22 | 2020-07-16 | Newton Howard | System and method for deep mind analysis |
| TW202216070A (zh) * | 2020-10-15 | 2022-05-01 | 臺北醫學大學 | 腦部多巴胺轉運體檢查系統及其運作方法 |
| WO2022104288A1 (en) * | 2020-11-16 | 2022-05-19 | Terran Biosciences, Inc. | Neuromelanin-sensitive mri and methods of use thereof |
| CN113554663A (zh) * | 2021-06-08 | 2021-10-26 | 浙江大学 | 一种基于ct结构图像自动化分析多巴胺转运体pet图像的系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202519162A (zh) | 2025-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021036695A1 (zh) | 一种待标注图像确定的方法、模型训练的方法及装置 | |
| CN110910351B (zh) | 基于生成对抗网络的超声图像模态迁移、分类方法及终端 | |
| Li et al. | AGMB-transformer: anatomy-guided multi-branch transformer network for automated evaluation of root canal therapy | |
| CN111462116A (zh) | 基于影像组学特征的多模态参数模型优化融合方法 | |
| Shanmugavadivel et al. | Optimized polycystic ovarian disease prognosis and classification using AI based computational approaches on multi-modality data | |
| US20250045359A1 (en) | Method and system for training and deploying an artificial intelligence model on pre-scan converted ultrasound image data | |
| CN114511759A (zh) | 一种皮肤状态图像的类别识别和特征确定方法及系统 | |
| CN117218129A (zh) | 食道癌图像识别分类方法、系统、设备及介质 | |
| Mansur et al. | Deep learning-based brain tumor image analysis for segmentation | |
| Santos et al. | A new method based on deep learning to detect lesions in retinal images using YOLOv5 | |
| Jeong et al. | Image quality assessment using convolutional neural network in clinical skin images | |
| Yadav et al. | Dual scale light weight cross attention transformer for skin lesion classification | |
| TWI877875B (zh) | 腦部斷層掃描電腦輔助偵測系統、方法及電腦程式產品 | |
| CN119624978B (zh) | 一种医疗用影像数据的处理方法及系统 | |
| CN107590806B (zh) | 一种基于大脑医学成像的检测方法和系统 | |
| Liu et al. | Intelligent detection of left ventricular hypertrophy from pediatric echocardiography videos | |
| Gurumurthy et al. | M2AI-CVD: Multi-modal AI approach cardiovascular risk prediction system using fundus images | |
| Zhang et al. | Efficient slice anomaly detection network for 3D brain MRI Volume | |
| Lohith et al. | Facial skin disease detection using image processing | |
| Nage et al. | A novel preprocessing unit for effective deep learning based classification and grading of diabetic retinopathy | |
| Wu et al. | 3D U-TFA: A deep convolutional neural network for automatic segmentation of glioblastoma | |
| Li et al. | Automatic detection of pituitary microadenoma from magnetic resonance imaging using deep learning algorithms | |
| TWI825643B (zh) | 醫療輔助資訊產生方法與醫療輔助資訊產生系統 | |
| Ganai et al. | Transformers in Cardiology: Automated ECG-Based Heart Disease Detection | |
| TWI862264B (zh) | 用於分類內群與離群資料的資料分類方法 |