TWI856681B - 基於深度學習之核型圖染色體自動偵測辨識系統及方法 - Google Patents
基於深度學習之核型圖染色體自動偵測辨識系統及方法 Download PDFInfo
- Publication number
- TWI856681B TWI856681B TW112119884A TW112119884A TWI856681B TW I856681 B TWI856681 B TW I856681B TW 112119884 A TW112119884 A TW 112119884A TW 112119884 A TW112119884 A TW 112119884A TW I856681 B TWI856681 B TW I856681B
- Authority
- TW
- Taiwan
- Prior art keywords
- chromosome
- chromosomes
- pair
- automatic detection
- image
- Prior art date
Links
- 210000000349 chromosome Anatomy 0.000 title claims abstract description 303
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000010586 diagram Methods 0.000 title claims description 11
- 238000010801 machine learning Methods 0.000 claims abstract description 30
- 239000000284 extract Substances 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 38
- 238000012805 post-processing Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000000717 retained effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 description 7
- 230000002068 genetic effect Effects 0.000 description 4
- 210000002230 centromere Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 206010008805 Chromosomal abnormalities Diseases 0.000 description 2
- 208000031404 Chromosome Aberrations Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 208000024971 chromosomal disease Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000003754 fetus Anatomy 0.000 description 2
- 206010020718 hyperplasia Diseases 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 210000003765 sex chromosome Anatomy 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 208000036626 Mental retardation Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002390 hyperplastic effect Effects 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000009609 prenatal screening Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000032678 sex differentiation Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本發明係提供一種基於深度學習之核型圖染色體自動偵測辨識方法及系統，其係能夠機器學習建立一染色體自動偵測辨識模型，進而能夠直接針對染色體原圖進行其內染色體之特徵擷取及分類，以有效地減少臨床人員花費於影像判斷上之時間。
Description
本發明係有關於遺傳分子辨識系統，特別係指一種基於深度學習之核型圖染色體自動偵測辨識系統及方法。
按，染色體是細胞內具有遺傳性質的聚合體，是遺傳信息(基因)的主要載體。正常人類之染色體數量為46條，含有22對體染色體與1對性染色體，染色體異常會引起染色體疾病，所謂染色體異常係包含染色體數目異常或是結構異常。而染色體疾病會導致智力低下、發育畸型、性別分化異常、癌症、不孕等等。
根據統計，一般產前胎兒中約有2%會發生染色體異常症，因此，染色體核型分析成為目前產前篩檢中之重要項目。目前臨床進行染色體核型分析需要醫生或是醫檢師親自進行染色體圖片之判讀，並一個受檢者至少會提供4張染色體圖片，使得染色體核型分析造成醫療人力上之負擔。雖然目前已有開發自動染色體分析系統來取代人工分析，惟，現有自動染色體分析系統係以圖像編輯軟體為基礎，不僅準確度不高，並且分析過程中仍需要體檢人員全程參與，以致於仍無法達到降低檢測時間成本及人力成本之問題。
本發明之主要目的係在於提供一種基於深度學習之核型圖染色體自動偵測辨識方法及系統，其係能夠透過機器學習模組生成一染色體自動偵測辨識模型，藉此能夠自動地偵測且識別染色體圖樣中各對染色體，以達到降低染色體核型分析之檢測成本。
是以，為能達成上述目的，本發明係提供一種基於深度學習之核型圖染色體自動偵測辨識方法，其係透過一處理器使用儲存在一數據庫中之電腦可讀指令來執行，而主要包含有下列步驟：
步驟A：選擇一染色體訓練圖集，其內包含對應各對染色體之複數特徵圖。
步驟B：將該染色體訓練圖集輸出至一機器學習模型中，進行第一階段物件偵測，意即偵測染色體訓練圖集中之各對染色體並進行框選，並分析各對染色體之框選結果，以生成識別各對染色體之一第一預測框。
步驟C：分別將各對染色體之該些第一預測框輸出至以一第二物件偵測模型進行分析，該第二物件偵測模型係偵測染色體訓練圖集中之各對染色體並調整該第一預測框，生成識別各對染色體之一第二預測框。
步驟D：以該些對應各對染色體之第二預測框及其對應之染色體序號作為參數，生成一染色體自動偵測辨識模型，用以自動辨識及分類一待測染色體圖樣中至少一對染色體。
更進一步來說，由於藉由染色體自動偵測辨識模型係能夠用以快速且準確識別一待測染色體圖樣之各對染色體，並加以分類，因此，本發明所揭該基於深度學習之核型圖染色體自動偵測辨識方法係更包含有一步驟E，其中，該步驟E係將一待測染色體圖樣輸出至該染色體自動偵測辨識模型，該染色體自動偵測辨識模型偵測並框選該待測染色體圖樣中之染色體，且識別所框選之染色體的染色體序號，以生成一識別結果。
於本發明之實施例中，該步驟A中之該些特徵圖係擷取自一染色體原圖，具體來說，將一染色體原圖輸出至一圖像標記軟體，該圖像標記軟體於該染色體原圖中標記各對染色體，並依據標記進行裁切及染色體序號分類後，即可得到該些特徵圖。
為能即時提升本發明所揭染色體自動偵測辨識模型識別性能，於本發明之一實施例中係更包含有一步驟F，係指當一回饋訓練模型偵測到一對染色體具有2個以上之第二預測框時，且該些第二預測框之重疊率係高於一預定IOU閾值時，該待測染色體圖樣輸入至該染色體訓練圖集，並且再次執行步驟B至D。
於本發明之實施例中，為能得到較佳之識別效果，故於該染色體訓練圖集輸出至該第一物件偵測模型前，對該些特徵圖之至少一部進行一圖像前處理程序，如調整尺寸、亮度或方向等。
為能增加臨床上使用便利度及應用性，於該步驟E中，將該識別結果輸入至一影像後處理模型，該影像後處理模型係自該待測染色體圖樣進行如去背、排序、位置校正等後處理。
於本發明又一實施例中係揭露一種基於深度學習之核型圖染色體自動偵測辨識系統，其主要包含有一數據庫及一處理器，其中，該數據庫，至少儲存有複數染色體特徵圖；該處理器係與該數據庫間傳輸數據，並且透過機器學習模組生成一染色體自動偵測辨識模型，再透過該自動辨識模組辨識一待測染色體圖樣中之各對染色體並加以分類，以生成一識別結果。
其中，機器學習模組，具有一機器學習模型，並於本發明之一實施例中，該機器學習模型係包含有二階段物件偵測程序。
於本發明之另一實施例中，該機器學習模組中更包含有一回饋訓練模型，用以透過一預定IOU閾值，判斷框選於同一對染色體之二預測框是否應
該被保留，並且將該染色體圖樣及其判斷結果回饋至機器學習模組，以即時更新該染色體自動偵測辨識模型，達到提升染色體自動偵測辨識模型辨識性能之功效。
於本發明之次一實施例中，該處理器係更包含有一影像前處理模型，其係接收來自該數據庫之染色體特徵圖，並進行一影像前處理程序，如旋轉、鏡像、裁切、亮度調整等。
於本發明之另一實施例中，該處理器更包含有一影像後處理模型，其係接收經由該染色體自動偵測辨識模型完成偵測及辨識之待測染色體圖樣，並根據一影像處理指令對該辨識結果進行影像後處理。
本發明係揭露一種基於深度學習之核型圖染色體自動偵測辨識方法及系統，其係能夠機器學習建立一染色體自動偵測辨識模型，而透過該染色體自動偵測辨識模型，係能夠直接針對染色體原圖進行其內染色體之特徵擷取及分類，不僅能夠有效地減少臨床人員花費於影像判斷上之時間，更能提升對於困難圖相之識別準確率。
術語「數據」，又可被理解為「資料」、「訊息」，係指可被識別或處理之符號、檔案、指令、文字、數字等。
術語「機器學習」，係會以一機器學習模型於資料中進行學習以及改善，尋找到模式與關連，並根據其學習及分析結果制訂出決策與預測。
術語「染色體圖像」或「染色體原圖」，係自來自染色體檢體所得之核型圖，原則上，各核型圖中具有22對體染色體加上1對性染色體，其中，臨床上係依據染色體的大小，大致分為9個群組：A、B、C、D、E、F、G、X與Y，其中被分為A組群的大型染色體為A1、A2、A3、B4與B5；尺寸最小的組群為G、X及Y。
而本發明所指染色體圖樣被判定為正常者，係代表染色體圖像中之各對染色體結構及特徵係無異常；本發明所指染色體圖樣被判定為異常者，係指染色體圖樣中之各對染色體結構或/及特徵有病變、增生、斷裂、折疊、或是無法判讀等情形，例如第5或21對染色體增生、染色體圖樣中受到雜質遮擋過多特徵、或於觀察過程中無法完全排除異染色體群者。
術語「特徵圖」，係指透過一圖形特徵處理模組自一染色體原圖中提取各對染色體之特徵所得之結果。
術語「機器學習」，係指處理器會透過演算法來識別輸入數據集之模式，並透過該模式建立出一資料模型。
術語「模組(Module)」，係指由一個或數個基礎功能元件組成的特定功能組件，一般來說，模組會包含有模組輸入介面、模型(Model)及其代碼說明，而透過模組輸入介面將數據或資料輸入至模型後，再執行該模型而得到一個結果。
術語「模型」，又可被理解為代碼，為一種電腦可讀指令而得於電腦或處理器上被執行。
術語「序號」或「染色體序號」，係指染色體的編號，例如第1對染色的序號為1，依此類推。
術語「IOU(intersection over union)」，係指預測的物件區域與真實物件區域之交集，以本發明來說，IOU係以下式計算而得：IOU=二框重疊之面積/二框面積之總和。
術語「校正」或「位置校正」，係指能夠識別染色體之著絲粒，並將染色體短臂位置調整為於著絲粒上方，且長臂位置調整為著絲粒下方。
本發明之一實施例係提供一種基於深度學習之核型圖染色體自動偵測辨識方法，其係藉由一系統執行，而該系統係主要包含有一數據庫及一處理器，其中：該數據庫係用以儲存資料及/或數據，包含有複數染色體原圖、複數染色體特徵圖、複數電腦可讀指令等。
該處理器係與該該數據庫間得以無線或有線之方式傳輸資料或/及數據內之資料執行機器學習模型並進行染色體核型體之自動偵測辨識。具體來說，該處理器係至少包含有一輸入/輸出模組、一機器學習模組及一自動辨識模組，其中：該輸入/輸出模組係用以與該數據庫間傳輸數據及/或資料，並得將之輸入至該機器學習模組或該自動辨識模組。
該機器學習模組係具有一機器學習模型，而該機器學習模型係接收該數據庫之一部染色體特徵圖，進行該些染色體特徵圖中之物件偵測程序，再從中提取出各對染色體之序號及其預測框，並將各對染色體之預測框及其序號作為參數，以生成一染色體自動偵測辨識模型。
該自動辨識模組係接收一待測染色體圖樣及該染色體自動偵測辨識模型，透過將該待測染色體圖樣輸入至該染色體自動偵測辨識模型，以識別該待測染色體圖樣內各對染色體，生成一識別結果。
於本發明之一實施例中，該機器學習模型中係包含二階段物件偵測，意即先對該些染色體特徵圖進行第一階段物件偵測，並將第一階段物件偵測結果再進行第二階段物件偵測，以得到各對染色體之序號及其預測框。
於本發明之另一實施例中，該機器學習模組係更包含有一回饋訓練模型，其係透過一預定IOU閾值，判斷框選於同一對染色體之複數預測框何種應保留，並且將該染色體圖樣及其判斷結果回饋至機器學習模組，作為再次訓練之訓練資料集，以生成新的染色體自動偵測辨識模型。
本發明之一實施例中，該處理器係更包含有一影像後處理模型，其係接收經由該染色體自動偵測辨識模型完成偵測及辨識之待測染色體圖樣，並根據一影像處理指令對該辨識結果進行影像處理，如擷取特定序號之染色體或含有其之圖片、去除所選取圖片或特定區域之背景，調整色調、校正染色體之位置、依據所識別之染色體序號進行圖像中所有染色體之排序等。
本發明之另一實施例中，該處理器係更包含有一影像前處理模型，係於染色體特徵圖輸入至該機器學習模型前，對該些染色體特徵圖之至少一張進行如圖像增廣(Efficient Det Resize Crop)之圖像前處理程序。
更進一步來說，本發明於實施例中所揭基於深度學習之核型圖染色體自動偵測辨識方法係包含有下列步驟：
步驟101：選擇一染色體訓練圖集，其內包含對應各對染色體之複數特徵圖，其中，各對染色體之特徵圖係將一染色體原圖輸出至一圖像標記軟體，如imagelaber軟體，該圖像標記軟體於該染色體原圖中標記各對染色體，並依據標記進行裁切及染色體序號分類後所得者。
步驟102：該染色體訓練圖集進入機器學習模組前，先將該些特徵圖輸入至影像前處理模組進行圖像增廣處理，具體來說，當特徵圖超過設定之尺寸時，先將超出部分裁切掉，再進行旋轉、鏡像、亮度調整等處理；當特徵圖未超過設定之尺寸時，則不需要進行裁切及後續影像前處理程序。
步驟103：將該染色體訓練圖集輸出至一機器學習模型中，進行第一階段物件偵測，意即偵測並框選各特徵圖中之染色體，並分析框選結果，以生成對應各對染色體之該第一預測框生成各對染色體之序號及用以框選各對染色體之一第一預測框。
步驟104：將該些第一預測框輸出至以一第二物件偵測模型進行分析，根據分析結果調整該第一預測框之位置或/及尺寸，生成各對染色體之序號及用以框選各對染色體之一第二預測框。
步驟105：以該些第二預測框及其對應之染色體序號作為參數，生成一染色體自動偵測辨識模型，用以自動辨識及分類一待測染色體圖樣中至少一對染色體。
步驟106：將一待測染色體圖樣輸出至該染色體自動偵測辨識模型，該染色體自動偵測辨識模型係偵測且框選該待測染色體圖樣中之各對染色體，並標示所框選之染色體的染色體序號，生成一識別結果。
步驟107：依據一使用者指令，將該識別結果輸入至一影像後處理模型，進行識別結果之後處理，具體來說，該自該識別結果中擷取含有特定序號之染色體對之圖片，並將除特定序號之染色體外的其他物件去除；或是將各對染色體進行位置校正；或是將該些染色體依據其序號大小進行排序。
步驟108：當一識別結果中之任一對染色體具有2個以上之第二預測框時，該識別結果會輸入至該回饋訓練模型，以分別比較各該第二預測框及真實框之IOU與一預定IOU閾值之大小，並根據比較結果判斷得以保留之第二預測
框，而當保留之第二預測框數量大於等於2時，則將複數個第二預測框融合為單一第二預測框，並將該染色體圖樣及判斷結果輸入至該染色體訓練圖集，並且再次執行步驟102至105，以生成新的染色體自動偵測辨識模型。
其中，該預定IOU閾值通常會依據染色體大小而設定，如第1-5對染色體及第13-16對染色體係分別屬於大型及中型染色體，其預定IOU閾值設定為0.7；而其他小型染色體，如第19-22染色體，其預定IOU閾值則會設定為0.5或0.6。
更進一步來說，於步驟108中，該些第二預測框彼此不相交或是尺寸相同而造成IOU為零時，則該回饋訓練模型係會根據該些第二預測框之中心點間相距之距離、各該第二預測框之長、寬等數值納入判斷參數。
其中，於本發明所揭基於深度學習之核型圖染色體自動偵測辨識方法係於Res2Net101及BiFPN所組成之骨幹網路中生成特徵圖，再透過one stage及two stage組成之二階段物件偵測架構得到各對染色體之預測框及其對應之預測得分。
以下，為能驗證本發明之技術特徵所能達成之功效，將茲舉下列實例並搭配詳細說明如後。
實例一：資料處理
本實例中所使用之染色體原始圖檔係來自於台中榮民總醫院婦女醫學部基因實驗室；染色體檢體來自孕婦中的胎兒之羊水，共5000張，229852條染色體，其中，每張染色體原始圖檔都有對應之一核型圖。
於進行機器訓練前，須針對各染色體原始圖檔進行以下標記處理，而成為染色體圖樣：由受過醫檢師訓練與驗收之人員依據每條染色體的特徵進行識別，並與標準核型圖進行核對，以確保準確性；在每張染色體圖像的末尾，檢查
染色體的數量是否準確；通過另一個標記檢查每條染色體的注釋，並確認染色體的總數量是否正確；其中，注釋染色體圖像之工具為Matlab中的imagelaber軟體，儲存格式為gTruth或xml檔，而xml係由gTruth轉換而來者。
經由染色體圖像係依據3：1之比例隨機分為訓練資料集及測試資料.aa集中之染色體圖樣分為困難及簡單，如表2所示，其中，困難圖像之判斷標準為：(1)染色體重疊，尤其是超過兩條以上之重疊；(2)顏色黯淡，特徵不清晰；(3)染色體過於細長。
實例二：訓練參數與性能測試結果
在訓練時的參數設定上，迭代優化方式為Adaptive Moment Estimation(ADAM)；batchsize的大小為1；初始學習率等於warm up的最佳學習率；另外為防止過擬合，只要當前驗證總損失值超過先前驗證總損失值5次，則停止訓練。於在Focal loss的部分，將正樣本權重設為0.6，負樣本權重為0.4。
以1250張染色體圖樣作為測試資料集，並以不同骨幹架構作為特徵提取網路，檢測本發明所揭基於深度學習之核型圖染色體自動偵測辨識方法及系統之性能，結果如表3及表4所示。
表3中FPN為FEATURE PYRAMID NETWORK之縮寫；BiFPN為Weighted Bi-directional Feature Pyramid Network之縮寫；MULTI-IOU為多尺度
IOU，係會對不同大小的染色體採取不同的IOU閾值；DIOU為Distance-IOU loss之縮寫；GIOU為GIOU_Loss之縮寫。
表3所使用之驗證方法採用COCOAPI的mAP，參照測試集的真實數值來驗證與計算準確度，意即所使用之性能評估指標包含有mAP(IOU=0.5)、抓取率(Recall)、精準度(Precision)與F1指數(F1 score)，其中，mAP是基於COCOAPI之mAP50所計畫，如下式(1)與式(2)，並測框與真實框之間應以IOU=0.5(包含0.5)作為判斷標準，以確認預測框架是真(True)；Recall則是以下式(3)計算所得者；精準度是以下式(4)計算所得者；而TP為預測框與真實框皆是真；TN為預測框與真實框皆是假；FP為預測框為真但真實框為假；FN為預測框為假但真實框為真。
AP.50=AP(IOUTH=Multi)...(1)
由表3之結果可知，本發明所揭基於深度學習之核型圖染色體自動偵測辨識方法及系統無論於何種骨幹網路下皆具有良好辨識性能，準確率超過98%，其中，又以使用Res2Net101+BiFPN+MULTI-IOU+DIOU之骨幹網路者的抓取率更高，意即對於困難圖像之辨識性能更佳。
由表4之結果可知被分類為大型染色體之A1、A2、A3、B4與B5能夠獲得較高之準確度；而小型染色體，如G、X、Y組群則因於染色體圖樣中較容易被大型染色體覆蓋，準確度較低。
請參圖1及圖2，當訓練資料集數量為800張時，準確率開始逐漸提高；在2000張圖像時，準確率達到98.87%；於3200張圖像時，準確率係達到98.87%；於5000張圖像時，準確率達到98.91%。當數據量與準確度穩定後，設置150個epoch，每10個epoch進行驗證，紀錄每次準確度與總損失，得知於epoch100時能得到最佳性能，性能水準達98.91%。
實例三：實際測試
於本實例中係選取簡單、困難及高度困難的染色體圖像，如圖3至圖5所示，其中，圖3係為簡單染色體圖樣，染色體重疊與黏合都相當少，且染色體大小適中，特徵清晰；圖4為困難染色體圖樣，重疊與黏合染色體數量上升，
染色體彎曲方向更多變；圖5為高度困難染色體圖樣，樣重疊與黏和染色體數量大幅上升，染色體更加多變，甚至有染色體與雜質重疊。
將該3張染色體圖樣分別由本發明所揭基於深度學習之核型圖染色體自動偵測辨識方法及系統進行識別，並且識別結果經由醫檢師評估準確度。由評估結果可知，本發明所揭基於深度學習之核型圖染色體自動偵測辨識方法及系統針對簡單染色體圖像具有100%之準確度；對於困難染色體圖像具有98%之準確度；對於高度困難染色體圖像具有90%之準確度。
實例四：與其他模型之比較
對於其他物件偵測模型：Faster-RCNN、YOLOv4、Retinanet、Swin-transformer、YOLOR與Centernet++分別使用實例一所揭資料集進行訓練與測試，並將結果與本發明所揭染色體自動偵測辨識模型與進行辨識性能之比較，結果如表5所示。
由表5之結果可知，相較於其他模型來說，本發明所揭基於深度學習之核型圖染色體自動偵測辨識方法及系統於四項指標皆表現較佳，意即能夠有效地區分染色體與背景，並能夠進行正確分類，以能夠達到具有較高準確度之優點。
又，將本發明所揭基於深度學習之核型圖染色體自動偵測辨識方法及系統與另一模型：DeepACEV2(H.Bai,T.Zhang,C.Lu,W.Chen,F.Xu,and Z.-B.Han,"Chromosome extraction based on U-Net and YOLOv3,"IEEE Access,vol.8,pp.178563-178569,2020.)進行性能比較，所使用之訓練方式都相同，結果如表6所示；並且，比較本發明所揭基於深度學習之核型圖染色體自動偵測辨識方法及系統與DeepACEV2識別困難圖像之準確度，結果如表7所示，其中，DeepACEV2將重疊的染色體視為困難圖像，根據物件的IOU來找出重疊染色體並計算其準確度，而本發明所定義之困難圖樣係採取臨床上醫檢師之標準，因此相較於DeepACEV2來說，本發明所進行判斷之困難圖像之難度係較高。
由表6及表7之結果可知，本發明之準確度上係較deepACEv2高0.07%，且在測試資料量上是DeepACv2的3倍以上，且圖像更加困難的情況下，本發明依然能獲得98.78的高準確度。由此結果證明了本發明所揭基於深度學習之核型圖染色體自動偵測辨識方法及系統具有極佳之穩定性及穩健性。
圖1係為總數據量(張數)和準確率(%)之曲線圖。
圖2係為epoch(訓練次數)和準確率(%)之曲線圖。
圖3係為簡單之染色體圖樣。
圖4係為困難之染色體圖樣。
圖5係為高度困難之染色體圖樣。
Claims (11)
- 一種基於深度學習之核型圖染色體自動偵測辨識方法，其係包含有下列步驟：步驟A：選擇一染色體訓練圖集，其內包含對應各對染色體之複數特徵圖；步驟B：將該染色體訓練圖集輸出至一機器學習模型中，進行第一階段物件偵測，生成識別各對染色體之一第一預測框；步驟C：分別將各對染色體之該些第一預測框輸出至以一第二物件偵測模型進行分析，生成識別各對染色體之一第二預測框；步驟D：以該些對應各對染色體之第二預測框及其對應之染色體序號作為參數，生成一染色體自動偵測辨識模型，用以自動辨識及分類一待測染色體圖樣中至少一對染色體；步驟E：將一待測染色體圖樣輸出至該染色體自動偵測辨識模型，該染色體自動偵測辨識模型偵測並框選該待測染色體圖樣中之染色體，且識別所框選之染色體的染色體序號，以生成一識別結果。 步驟F：當該識別結果中之任一對染色體具有2個以上之第二預測框時，該識別結果會輸入至一回饋訓練模型，進行該些第二預測框之IOU分析，而保留IOU高於一預定IOU閾值之第二預測框，並該待測染色體圖樣及其更新後之識別結果輸入至該染色體訓練圖集，並且再次執行步驟B至D，以生成新的染色體自動偵測辨識模型；其中，選擇、生成、接收、輸出、偵測、輸入、辨識及分類由一處理器使用儲存在一數據庫中之電腦可讀指令來執行。
- 如請求項1所述基於深度學習之核型圖染色體自動偵測辨識方法，其中，該步驟A中之該些特徵圖係擷取自一染色體原圖。
- 如請求項2所述基於深度學習之核型圖染色體自動偵測辨識方法，其中，對應各對染色體之特徵圖係將一染色體原圖輸出至一圖像標記軟體，該圖像標記軟體於該染色體原圖中標記各對染色體，並依據標記進行裁切及染色體序號分類後所得者。
- 如請求項1所述基於深度學習之核型圖染色體自動偵測辨識方法，其中，於該步驟B中，該染色體訓練圖集輸出至該第一物件偵測模型前，對該些特徵圖之至少一部進行一圖像前處理程序，而該圖像前處理程序係包含尺寸調整、亮度調整或方向調整。
- 如請求項1所述基於深度學習之核型圖染色體自動偵測辨識方法，其中，於該步驟B中，該第一物件偵測模型係偵測染色體訓練圖集中之各對染色體並進行框選，並分析各對染色體之框選結果，以生成對應各對染色體之該第一預測框。
- 如請求項1所述基於深度學習之核型圖染色體自動偵測辨識方法，其中，於該步驟C中，該第二物件偵測模型係偵測染色體訓練圖集中之各對染色體並調整該第一預測框，以生成對應各對染色體之該第二預測框。
- 如請求項1所述基於深度學習之核型圖染色體自動偵測辨識方法，其中，於該步驟E中，將該識別結果輸入至一影像後處理模型，該影像後處理模型係自該待測染色體圖樣中擷取含有一預定染色體對之圖片，並進行背景處理，以生成該預定染色體對之圖像。
- 如請求項1所述基於深度學習之核型圖染色體自動偵測辨識方法，其中，於該步驟E中，將該識別結果輸入至一影像後處理模型，該影像後處理模型將所框選之各對染色體進行位置校正處理。
- 一種基於深度學習之核型圖染色體自動偵測辨識系統，其係包含有： 一數據庫，至少儲存有複數染色體特徵圖，其中，各該染色體特徵圖中各對染色體係具有分類標記；一處理器，具有：一輸入/輸出模組，用以與該數據庫間傳輸數據；一機器學習模組，具有一機器學習模型，用以接收來自該數據庫中之至少一部染色體特徵圖，並從該些染色體特徵圖中偵測且提取出各對染色體之序號及其預測框，將各對染色體之序號及其預測框作為參數，以生成一染色體自動偵測辨識模型；一自動辨識模組，接收一待測染色體圖樣，並將該待測染色體圖樣輸入至該染色體自動偵測辨識模型，以偵測該待測染色體圖樣中之各對染色體，並生成一識別結果；其中，其特徵在於：該機器學習模型係包含有一二階段物件偵測程序及一回饋訓練模型；該二階段物件偵測程序中之第一階段係先偵測染色體訓練圖集中之各對染色體並進行框選，並分析各對染色體之框選結果，以生成對應各對染色體之該第一預測框；第二階段係偵測染色體訓練圖集中之各對染色體並調整該第一預測框，以生成對應各對染色體之該第二預測框；該回饋訓練模型用以透過一預定IOU閾值，判斷框選於同一對染色體之二預測框是否應該被保留，並且將該染色體圖樣及其判斷結果回饋至機器學習模組，作為再次訓練之訓練資料集，以生成新的染色體自動偵測辨識模型。
- 如請求項9所述基於深度學習之核型圖染色體自動偵測辨識系統，其中，該處理器係更包含有一影像後處理模型，其係接收經由該染色體自動偵測辨識模型完成偵測及辨識之待測染色體圖樣，並根據一影像處理指令對該辨識結果進行影像處理。
- 如請求項9所述基於深度學習之核型圖染色體自動偵測辨識系統，其中，該處理器係更包含有一影像前處理模型，其係接受來自該數據庫之染色體特徵圖，並進行影像前處理程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112119884A TWI856681B (zh) | 2023-05-29 | 2023-05-29 | 基於深度學習之核型圖染色體自動偵測辨識系統及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112119884A TWI856681B (zh) | 2023-05-29 | 2023-05-29 | 基於深度學習之核型圖染色體自動偵測辨識系統及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI856681B true TWI856681B (zh) | 2024-09-21 |
| TW202447636A TW202447636A (zh) | 2024-12-01 |
Family
ID=93649351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112119884A TWI856681B (zh) | 2023-05-29 | 2023-05-29 | 基於深度學習之核型圖染色體自動偵測辨識系統及方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI856681B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI765262B (zh) * | 2019-06-26 | 2022-05-21 | 長佳智能股份有限公司 | 根據仿真分離重疊染色體之分離模型的訓練方法及利用該分離模型分離重疊染色體的方法及系統 |
-
2023
- 2023-05-29 TW TW112119884A patent/TWI856681B/zh active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI765262B (zh) * | 2019-06-26 | 2022-05-21 | 長佳智能股份有限公司 | 根據仿真分離重疊染色體之分離模型的訓練方法及利用該分離模型分離重疊染色體的方法及系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202447636A (zh) | 2024-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI687937B (zh) | 染色體異常檢測模型之建立方法、染色體異常檢測系統及染色體異常檢測方法 | |
| CN111681209B (zh) | 卵裂球分裂状态智能检测系统 | |
| JP2006252559A (ja) | 画像において対象物の位置を特定する方法および対象物の画像を相異なる画像カテゴリに分類する方法 | |
| WO2020168511A1 (zh) | 染色体异常检测模型、其检测系统及染色体异常检测方法 | |
| CN111462102B (zh) | 基于新型冠状病毒肺炎x射线胸片的智能分析系统及方法 | |
| CN114240978B (zh) | 基于自适应形态学的细胞边缘分割方法和装置 | |
| CN114998332B (zh) | 核型异常细胞的确定方法和装置 | |
| US20250259461A1 (en) | Method for accurately measuring live sperm morphology | |
| CN111414930B (zh) | 深度学习模型训练方法及装置、电子设备及存储介质 | |
| TW200842762A (en) | Systems and methods for processing an image of a biological specimen | |
| CN118887664A (zh) | 一种细胞识别训练方法、细胞识别训练系统及细胞识别系统 | |
| KR20210113573A (ko) | 인공지능을 이용하여 정렬된 염색체 이미지의 분석을 통한 염색체 이상 판단 방법, 장치 및 컴퓨터프로그램 | |
| CN116542978B (zh) | Fish探针的质量检测方法和装置 | |
| CN117352164A (zh) | 基于人工智能的多模态肿瘤检测诊断平台及其处理方法 | |
| Chidester et al. | Discriminative bag-of-cells for imaging-genomics | |
| TWI856681B (zh) | 基於深度學習之核型圖染色體自動偵測辨識系統及方法 | |
| CN114037868B (zh) | 图像识别模型的生成方法及装置 | |
| KR20210124025A (ko) | 영상 데이터 필터링을 위한 품질 점수 임계값 산출 방법, 장치 및 컴퓨터프로그램 | |
| CN101762448A (zh) | 一种粒子分类方法及粒子检测装置 | |
| CN120019419A (zh) | 对样本图像中的异常的检测 | |
| Iqbal et al. | Towards efficient segmentation and classification of white blood cell cancer using deep learning | |
| CN117974555A (zh) | 基于计算机视觉的细胞计数方法 | |
| CN118379571A (zh) | 一种筛选阈值可调的多标签舌象识别方法及系统 | |
| CN114004851B (zh) | 一种细胞图像分割方法、装置及细胞计数方法 | |
| CN116364178B (zh) | 一种体细胞序列数据分类方法及相关设备 |