TW201902411A

TW201902411A - 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體

Info

Publication number: TW201902411A
Application number: TW107116169A
Authority: TW
Inventors: 多田智裕; 青山和玄; 瀧山博年; 小澤毅士; 遠藤有真; 熊谷洋一
Original assignee: 多田智裕
Priority date: 2017-06-09
Filing date: 2018-05-11
Publication date: 2019-01-16
Also published as: US11270433B2; JP6875709B2; JP7216376B2; WO2018225448A1; US20200279368A1; JP2021112593A; SG11201911791RA; CN111278348A; JPWO2018225448A1

Abstract

本發明提供一種利用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法等。本發明係一種使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：使用消化器官之第1內視鏡影像、及與上述第1內視鏡影像對應之上述消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、或與所拍攝之部位對應之資訊中之至少一者之確診結果訓練類神經網路，上述經訓練之類神經網路基於消化器官之第2內視鏡影像，輸出該消化器官之疾病之陽性及/或陰性之機率、過去之疾病之機率、疾病之重症度之等級、或與所拍攝之部位對應之資訊中之至少一者。

Description

藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體

本發明係關於一種使用類神經網路(neural network)之藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體。

對於消化器官、例如喉頭、咽部、食道、胃、十二指腸、膽道、胰管、小腸、大腸等，多數進行內視鏡檢查，上部消化器官之內視鏡檢查係為了篩查胃癌、食道癌、消化性潰瘍、逆流性胃炎等而經常進行，又，大腸之內視鏡檢查係為了篩查大腸癌、大腸息肉、潰瘍性大腸炎等而經常進行。尤其是上部消化器官之內視鏡檢查對各種上腹部症狀之詳細檢查、接受針對胃病之鋇檢查之陽性結果後之精密檢查、及一般納入日本之定期健康診斷之針對異常之血清胃蛋白酶原等級之精密檢查亦有用。又，近年來，胃癌診查正推進自先前之鋇檢查向胃內視鏡檢查轉變。

胃癌係最常見之惡性腫瘤之一，推定於數年前全世界發病約達100萬件。胃癌發病之根本原因中之幽門螺旋桿菌(Helicobacter pylori，以下有時稱為「H.pylori」)感染會誘發萎縮性胃炎、腸上皮化生，並最終導致胃癌發病。認為全世界非賁門胃癌中之98%係由H.pylori導致。考慮到感染了H.pylori的患者之胃癌之危險性提高，而H.pylori除菌後之胃癌之發生率降低，國際癌症研究機構(International Agency for Research on Cancer)將H.pylori分類為明確之致癌物質。根據此結果，為了降低胃癌發病之風險，進行H.pylori之除菌較為有用，利用抗菌藥物之除菌亦成為我國之保險診療，且係今後仍於保健衛生上強烈提倡之治療方法。

對於H.pylori感染之存在之鑑別診斷中，胃內視鏡檢查提供極其有用之資訊。毛細血管能夠清楚地觀察到之情形(RAC(regular arrangement of collecting venules，規則排列之集合小靜脈))或胃底腺息肉係H.pylori陰性之胃黏膜之特徵，但萎縮、發紅、黏膜腫脹、皺壁肥大係H.pylori感染胃炎之代表性所見。H.pylori感染之準確之內視鏡診斷係藉由血液或尿中之抗H.pylori IgG等級測定、糞便抗原測定、尿素呼氣試驗、或迅速脲酶試驗等各種檢查而確認，檢查結果為陽性之患者可進行H.pylori除菌。內視鏡檢查廣泛用於胃病變之檢查，但若於不依據臨床檢體分析而進行胃病變之確認時甚至可特定出H.pylori感染，則可不進行統一之血液檢查或尿檢查等，患者之負擔大幅減輕，又，亦能夠期待醫療經濟上之貢獻。

又，尤其是於先進工業國，潰瘍性大腸炎(UC)之罹患率穩步增加，提示了歐美之飲食生活或環境係潰瘍性大腸炎之原因之一。為了治療潰瘍性大腸炎，有包含美沙拉、皮質類固醇、及抗腫瘤壞死因子單株抗體之若干個選項，按照患者之臨床症狀及疾病活動指數使用該等藥物將疾病活性保持為緩解狀態較為重要。

除臨床症狀之得分以外，亦使用潰瘍性大腸炎患者之大腸內視鏡檢查主要對其程度及重症度進行評估，於以前之研究中，報告有與內視鏡疾病活動之測定之組合。其中，Mayo(梅奧)內視鏡得分係於用以評估潰瘍性大腸炎患者之疾病活動性之臨床實踐中可靠性最高且被廣泛使用之指標之一。具體而言，Mayo內視鏡得分被分類為0：正常或非活動性、1：輕症(發紅、血管透視影像不清晰、輕度之易出血性)、2：中等症(透亮發紅、血管透視影像消失、易出血性、糜爛)、3：重傷(自然出血、潰瘍)之4種。

定義為Mayo內視鏡得分＜1且被稱為「黏膜治癒」之內視鏡緩解狀態表示與皮質類固醇使用率、入院率、臨床復發率及結腸切除率之降低相關。然而，於之前之報告中，若為非專家，則κ-係數為0.45～0.53之範圍，於疾病活動性之評估中存在相當大之觀察者間之差，即便是受過適度訓練之專家，亦為0.71～0.74之範圍之一致度。再者，κ-係數係評估觀察者間之診斷之一致度的參數，取0～1之值，值越大則判斷為一致度越高。

於此種消化器官之內視鏡檢查中，收集較多之內視鏡影像，但為了進行精度管理，內視鏡專科醫生有義務進行內視鏡影像之雙重檢查。伴隨著每年多達數萬件之內視鏡診查，於二次讀影時內視鏡專科醫生所要讀影之影像張數為每人1小時約2800張之龐大數量，成為現場之較大負擔。

並且，基於該等內視鏡影像之診斷不僅於針對內視鏡專科醫生之訓練或檢查保存影像方面需要花費大量時間，而且較為主觀，可能會產生各種假陽性判斷及假陰性判斷。進而，內視鏡專科醫生之診斷有時會因疲勞而導致精度劣化。此種現場之巨大負擔或精度之降低可能亦會導致受診者人數之限制，甚至亦假定不能充分地提供與需要相應之醫療服務之顧慮。

為了改善上述內視鏡檢查之勞務負荷及精度降低，而期待有效利用AI(人工智慧：artificial intelligence)。若能夠使用近年來之影像識別能力超過人類之AI作為內視鏡專科醫生之輔助，則期待提高二次讀影作業之精度及速度。近年來，使用深層學習(deep learning)之AI於各種醫療領域受到關注，有可代替專科醫生篩查放射線腫瘤學、皮膚癌分類、糖尿病性視網膜病變等醫學影像之報告。

尤其是，已證明於顯微內視鏡等級之篩查中，AI可展現與專科醫生同等之精度(非專利文獻1)。又，發表了於皮膚科中具有深層學習功能之AI發揮與專科醫生同等之影像診斷能力(非專利文獻2)，亦存在利用各種機械學習法之專利文獻(參照專利文獻1、2)。然而，關於AI之內視鏡影像診斷能力能否滿足於實際之醫療現場起作用之精度(準確性)及性能(速度)，則尚未驗證，且利用機械學習法之基於內視鏡影像之診斷尚未被實用化。

深層學習可使用複數層重疊而構成之類神經網路，根據輸入資料學習高次之特徵值。又，深層學習可使用反向傳播演算法，藉由表示裝置應如何變更而更新用以根據之前之層之表現來計算各層之表現的內部參數。

於醫用影像建立關聯時，深層學習能夠成為可使用過去累積之醫用影像進行訓練，從而可根據醫學影像直接獲得患者之臨床特徵之高效之機械學習技術。類神經網路係藉由計算機上之模擬來表現腦神經迴路之特性之數理模型，支持深層學習之演算法之途徑係類神經網路。 [先前技術文獻] [專利文獻]

[專利文獻1]日本專利特開2017-045341號公報 [專利文獻2]日本專利特開2017-067489號公報 [專利文獻3]日本專利特開2013-113689號公報 [非專利文獻]

[非專利文獻1] http://www.giejournal.org/article/S0016-5107(14)02171-3/fulltext, "Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy" Yuichi Mori et. al. Presented at Digestive Disease Week 2014, May 3-6, 2014, Chicago, Illinois, USA [非專利文獻2]「Nature」2017年2月號，卷頭論文，「學習皮膚之病變：強化人工智慧根據影像檢測皮膚癌之能力」(http://www.natureasia.com/ja-jp/nature/highlights/82762) [非專利文獻3] http://gentaikyo.or.jp/about/pdf/report/131119.pdf [非專利文獻4] Kumagai Y, Monma K, Kawada K. "Magnifying chromoendoscopy of the esophagus: in-vivo pathological diagnosis using an endocytoscopy system.", Endoscopy, 2004, vol.36, p590 - 4. [非專利文獻5] Esteva A, Kuprel B, Novoa RA, et al. "Dermatologist-level classification of skin cancer with deep neural networks", Nature, 2017, vol. 542, p115-8

[發明所欲解決之問題]

於消化管內視鏡檢查中之內視鏡影像之判定作業中，維持較高精度之基礎上之效率化成為較大之課題。又，於欲在該領域之影像解析中有效利用AI時，該AI技術之提昇成為較大之課題。進而，就發明者們所知，並不存在與用以診斷H.pylori感染胃炎、潰瘍性大腸炎或食道疾病、尤其是使用超放大內視鏡(Endocytoscopy：ECS)影像之食道疾病的類神經網路之能力相關之報告、或經由利用類神經網路之深層學習而於基於該等消化管內視鏡影像之解析之H.pylori感染胃炎檢查、潰瘍性大腸炎之檢查或食道疾病之檢查中被最佳化而安裝於醫療現場並加以利用之例，成為今後應解決之課題。

又，於上部內視鏡檢查中，不僅胃，而且喉頭、咽部、食道、十二指腸等複數個器官之影像亦混合存在，但認為尤其是於胃癌內視鏡診查中若可利用AI將所收集之影像按器官或部位進行區分，則會減輕內視鏡專科醫生之觀察結果填寫或二次讀影之負擔。

本發明之目的在於提供一種可藉由使用消化器官之內視鏡影像且使用類神經網路而準確地進行疾病、例如H.pylori感染胃炎、潰瘍性大腸炎或食道疾病等之診斷的藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體。 [解決問題之技術手段]

本發明之第1態樣之藉由消化器官之內視鏡影像之疾病的診斷支援方法之特徵在於：其係使用類神經網路者，且使用消化器官之第1內視鏡影像、及與上述第1內視鏡影像對應之上述消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、或與所拍攝之部位對應之資訊中之至少一者之確診結果訓練類神經網路，上述經訓練之類神經網路基於消化器官之第2內視鏡影像輸出該消化器官之疾病之陽性及/或陰性之機率、過去之疾病之機率、疾病之重症度之等級、或與所拍攝之部位對應之資訊中之至少一者。

根據該態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於基於針對複數位受驗者之各者預先獲得之包含複數個消化器官之內視鏡影像之第1內視鏡影像、及針對複數位受驗者之各者預先獲得之上述疾病之陽性或陰性、過去之疾病、重症度之等級、或與所拍攝之部位對應之資訊中之至少一者之確診結果而訓練類神經網路，故而能於短時間內以實質上與內視鏡專科醫生匹敵之精度獲得受驗者之消化器官之疾病之陽性及/或陰性之機率、過去之疾病之機率、疾病之重症度之等級、或與所拍攝之部位對應之資訊中之任一者以上，從而能於短時間內篩選必須另行進行確診之受驗者。並且，由於可自動診斷相對於包含針對多個受驗者之複數個消化器官之內視鏡影像之測試資料的疾病之陽性及/或陰性之機率、過去之疾病之機率、疾病之重症度之等級、或與所拍攝之部位對應之資訊中之至少一者，故而不僅內視鏡專科醫生之檢查/修正變得容易，而且亦可謀求製作與疾病建立關聯之影像之集合的作業之省略化。

又，本發明之第2態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第1態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法系統，其特徵在於：上述第1內視鏡影像進行了對比度之調整。

根據第2態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於對所有第1內視鏡影像之對比度以成為實質上相同之灰階之方式進行了調整，故而疾病之陽性及陰性各者之機率或重症度之等級之檢測精度提昇。

又，本發明之第3態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第1或第2態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述第1內視鏡影像分別與被拍攝之部位建立了關聯。

於未被訓練之類神經網路中，存在難以識別具體之消化器官之內視鏡影像係哪個部位之影像之情形。根據第3態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於成為使用根據各個部位而分類之內視鏡影像訓練之類神經網路，故而能夠對類神經網路進行與各個部位對應之細緻之訓練，因此，相對於第2內視鏡影像之疾病之陽性及陰性各者之陰性之機率、過去之疾病之機率、疾病之重症度之等級等之檢測精度提昇。

又，本發明之第4態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第3態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述部位包括咽部、食道、胃或十二指腸中之至少一者。

根據第4態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，可準確地進行咽部、食道、胃及十二指腸之每個部位之分類，因此，對於各個部位之疾病之陽性及陰性之各者之陰性之機率、過去之疾病之機率、疾病之重症度之等級等之檢測精度提昇。

又，本發明之第5態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第3或第4態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述部位於上述複數個消化器官中之至少1個中被劃分為複數個部位。

由於消化器官分別呈複雜之形狀，故而若部位之分類數較少，則存在難以識別具體之內視鏡影像係該消化器官之哪個部位之影像之情形。根據第5態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於在複數個消化器官之各者中劃分為複數個部位，故而可於短時間內獲得高精度之診斷結果。

又，本發明之第6態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第5態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：於上述部位係胃之情形時，上述劃分包含上部胃、中部胃或下部胃中之至少一者。又，本發明之第7態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第5態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：於上述部位係胃之情形時，上述劃分包含賁門部、胃底部、胃體部、胃角部、前庭部、幽門竇或幽門部中之至少一者。

根據本發明之第6或第7態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於可準確地進行胃之各劃分或每個部位之分類，故而對於各個劃分或部位之疾病之陽性及陰性之各者之陰性之機率、過去之疾病之機率、疾病之重症度之等級等之檢測精度提昇。再者，胃之劃分或部位之選擇只要視需要適當地選擇即可。

又，本發明之第8態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第3至第7態樣中任一態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：於上述所拍攝之部位中之上述第1內視鏡影像之數量較其他部位少之情形時，藉由使用將上述第1內視鏡影像旋轉、放大、縮小、進行像素數之變更、明暗部之擷取、或色調變化部位之擷取中之至少一種，而使所有部位中之上述第1內視鏡影像之數量實質上相等。

存在如下情形：針對複數位受驗者之各者預先獲得之包含複數個消化器官之內視鏡影像之第1內視鏡影像之數量針對每個部位有較大差異。根據第8態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，於此種情形時，藉由使用將該部位之第1內視鏡影像適當地旋轉、放大、縮小、進行像素數之變更、明暗部之擷取、或色調變化部位之擷取中之至少一種，亦能夠增加用以訓練類神經網路之影像數，因此，基於部位不同之疾病之陽性及陰性之各者之機率、過去之疾病之機率、疾病之重症度之等級等之檢測精度之差異減少。再者，於第8態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法中，各部位之內視鏡影像之數量亦可不必相同，只要數量之差異較少即可。

又，本發明之第9態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第3至第8態樣中任一態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述經訓練之類神經網路能夠輸出與被拍攝有上述第2內視鏡影像之部位對應之資訊。

通常，對一位受檢者可獲得較多之消化器官之內視鏡影像或連續拍攝影像。根據第9態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於針對每個第2內視鏡影像輸出疾病之陽性及陰性之各者之機率及部位名，故而容易理解疾病之陽性部位或分佈。

又，本發明之第10態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第9態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述經訓練之類神經網路一併輸出上述機率或上述重症度及與上述部位對應之資訊。

根據第10態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於按照疾病之陽性之機率或重症度由高到低之順序輸出該機率或重症度及部位名，故而容易理解必須精密地檢查之部位。

又，本發明之第11態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第1至第10態樣中任一態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述第1內視鏡影像包含胃內視鏡影像，上述疾病包含幽門螺旋桿菌感染或幽門螺旋桿菌除菌之有無之至少一種。

根據第11態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，能以與日本消化器內視鏡學會專科醫生同等之精度預測受驗者之幽門螺旋桿菌感染之陽性或陰性之各者之機率或幽門螺旋桿菌除菌之有無，從而能於短時間內準確地篩選必須另行進行確診之受驗者。再者，確診可藉由對篩選出之受驗者進行血液或尿之抗H.pylori IgG等級測定、糞便抗原檢查、或者尿素呼氣檢查而進行。

又，本發明之第12態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第1至第10態樣中任一態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述第1內視鏡影像包含大腸內視鏡影像，上述疾病至少包含潰瘍性大腸炎，上述經訓練之類神經網路劃分為與上述潰瘍性大腸炎之重症度對應之複數個階段而輸出。

根據第12態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於能以與日本消化器內視鏡學會專科醫生同等之精度預測受驗者之潰瘍性大腸炎之重症度，故而能於短時間內準確地篩選必須另行進行進一步精密檢查之受驗者。

又，本發明之第13態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第1至第10態樣中任一態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述第1內視鏡影像包含利用超放大內視鏡所得之食道內視鏡影像，上述疾病包含食道癌、胃食道逆流症、或食道炎中之至少一種，上述經訓練之類神經網路劃分並輸出上述食道癌、胃食道逆流症、或食道炎中之至少一種。

根據第13態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，可基於利用超放大內視鏡所得之食道內視鏡影像將把非癌性之病變設為癌性之過度診斷抑制為最小限度，因此，可減少必須進行組織活體檢查之受驗者之人數。

又，本發明之第14態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第1至第13態樣中任一態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述第2內視鏡影像係利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端型系統而提供之影像、記錄於電腦可讀取之記錄媒體之影像、或動態影像中之至少一種。

根據第14態樣之藉由消化器官之內視鏡影像之疾病的診斷支援方法，能於短時間內輸出相對於所輸入之第2內視鏡影像之消化器官之疾病陽性及陰性之各者之機率或重症度，因此，不論第2內視鏡影像之輸入形式如何，例如，即便為自遠距離處發送之影像或動態影像，亦能夠利用。

再者，作為通信網路，可利用周知之網際網路、內部網路、商際網路、LAN(Local Area Network，區域網路)、ISDN(Integrated Service Digital Network，整合式服務數位網路)、VAN(value added network，加值網路)、CATV(Community Antenna TeleVision，社區共用天線電視)通信網路、虛擬專用網路(virtual private network)、電話線路網、行動通信網路、衛星通信網路等。又，構成通信網路之傳輸媒體亦可利用周知之IEEE1394串列匯流排、USB(Universal Serial Bus，通用串列匯流排)、電力線載波、有線電視線路、電話線線路、ADSL(Asymmetric Digital Subscriber Line，非對稱數位式用戶迴路)線路等有線、紅外線、Bluetooth(註冊商標)、IEEE802.11等無線、行動電話網路、衛星線路、地面數位網路等無線等。藉由其等，能以所謂之雲服務或遠距離支援服務之形態利用。

又，作為電腦可讀取之記錄媒體，可使用周知之磁帶或卡式磁帶等帶系、包含軟(註冊商標)碟、硬碟等磁碟、光碟-ROM(Read Only Memory，唯讀記憶體)/MO(magneto-optical，磁光)/MD(MiniDisc，小型磁碟)/數位影音光碟/光碟-R等光碟之碟系、IC卡、記憶卡、光學卡等卡系、或者遮罩ROM/EPROM(Erasable Programmable Read Only Memory，可抹除可程式化唯讀記憶體)/EEPROM(Electrically Erasable Programmable Read Only Memory，電子可抹除可程式化唯讀記憶體)/快閃ROM等半導體記憶體系等。藉由其等，可提供能夠對所謂之醫療機構或診查機構簡便地移植或設置系統之形態。

又，本發明之第15態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第1至第14態樣中任一態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：作為上述類神經網路，使用卷積類神經網路。

作為類神經網路之卷積類神經網路係模擬腦之視覺皮質之特性之數理模型，對影像之學習能力非常優異。因此，根據第15態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，成為更高感度且更高特異度，因此，有用性變得非常大。

進而，本發明之第16態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統之特徵在於：其係具有內視鏡影像輸入部、輸出部、及組入有類神經網路之電腦者，上述電腦具備：第1記憶區域，其記憶消化器官之第1內視鏡影像；第2記憶區域，其記憶與上述第1內視鏡影像對應之上述消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、或與所拍攝之部位對應之資訊中之至少一者之確診結果；及第3記憶區域，其記憶上述類神經網路程式；上述類神經網路程式係基於記憶於上述第1記憶區域之上述第1內視鏡影像、及記憶於上述第2記憶區域之確診結果被訓練，且基於自上述內視鏡影像輸入部輸入之消化器官之第2內視鏡影像，將相對於上述第2內視鏡影像之消化器官之疾病之陽性及/或陰性之機率、過去之疾病之機率、疾病之重症度之等級、或與所拍攝之部位對應之資訊中之至少一者輸出至上述輸出部。

又，本發明之第17態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第16態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述訓練/驗證資料進行了對比度之調整。

又，本發明之第18態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第16或第17態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述第1內視鏡影像分別與被拍攝之部位建立了關聯。

又，本發明之第19態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第18態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述部位包含咽部、食道、胃或十二指腸中之至少一者。

又，本發明之第20態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第18或第19態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述部位於上述複數個消化器官中之至少1個中被劃分為複數個部位。

又，本發明之第21態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第20態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：於上述部位係胃之情形時，上述劃分包含上部胃、中部胃或下部胃中之至少一者。

又，本發明之第22態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第20態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：於上述部位係胃之情形時，上述劃分包含賁門部、胃底部、胃體部、胃角部、前庭部、幽門竇或幽門部中之至少一者。

又，本發明之第23態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第16至第22態樣中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：於上述所拍攝之部位中之上述第1內視鏡影像之數量較其他部位少之情形時，藉由使用將上述第1內視鏡影像旋轉、放大、縮小、進行像素數之變更、明暗部之擷取或色調變化部位之擷取中之至少一種，而使所有部位中之訓練/驗證資料之數量實質上相等。

又，本發明之第24態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第16至第23態樣中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述經訓練之類神經網路程式能夠輸出與被拍攝有上述第2內視鏡影像之部位對應之資訊。

又，本發明之第25態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第24態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述經訓練之類神經網路程式一併輸出上述機率或上述重症度及與上述部位對應之資訊。

又，本發明之第26態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第16至第25態樣中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述第1內視鏡影像包含胃內視鏡影像，上述疾病包含幽門螺旋桿菌感染或幽門螺旋桿菌除菌之有無中之至少一種。

又，本發明之第27態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第16至第25態樣中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述第1內視鏡影像包含大腸內視鏡影像，上述疾病至少包含潰瘍性大腸炎，上述經訓練之類神經網路程式劃分為與上述潰瘍性大腸炎之重症度對應之複數個階段而輸出。

又，本發明之第28態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第16至第25態樣中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述第1內視鏡影像包含利用超放大內視鏡所得之食道內視鏡影像，上述疾病包含食道癌、胃食道逆流症、或食道炎中之至少1種，上述經訓練之類神經網路劃分並輸出上述食道癌、胃食道逆流症、或食道炎中之至少1種。

又，本發明之第29態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如第16至第28態樣中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述第2內視鏡影像係利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端型系統而提供之影像、記錄於電腦可讀取之記錄媒體之影像、或動態影像中之至少一種。

又，本發明之第30態樣之藉由內視鏡影像之疾病的診斷支援系統係如第16至第29態樣中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述類神經網路係卷積類神經網路。

根據本發明之第16至第30態樣中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，可分別發揮與第1至第15態樣中任一態樣之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法相同之效果。

進而，本發明之第31態樣之藉由消化器官之內視鏡影像之診斷支援程式之特徵在於：其係用以作為第16至第30態樣中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統中之各構件使電腦動作者。

根據本發明之第31態樣之藉由消化器官之內視鏡影像之診斷支援程式，可提供一種用以作為第16至第30態樣中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統中之各構件使電腦動作之藉由消化器官之內視鏡影像之診斷支援程式。

又，本發明之第32態樣之藉由消化器官之內視鏡影像之診斷支援程式之特徵在於：記錄有第31態樣之藉由消化器官之內視鏡影像之診斷支援程式。

根據本發明之第32態樣之藉由消化器官之內視鏡影像之診斷支援程式，可提供一種記錄有第31態樣之藉由消化器官之內視鏡影像之診斷支援程式的電腦可讀取之記錄媒體。

進而，本發明之第33態樣之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別方法之特徵在於：使用消化器官之第1內視鏡影像、及與上述第1內視鏡影像對應之與所拍攝之部位對應之資訊之確定資訊訓練類神經網路，上述經訓練之類神經網路基於消化器官之第2內視鏡影像，輸出與該消化器官之被拍攝之部位對應之資訊。

根據本發明之第33態樣之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別方法，由於使用消化器官之第1內視鏡影像、及與上述第1內視鏡影像對應之與所拍攝之部位對應之資訊之確定資訊訓練類神經網路，故而能於短時間內以實質上與內視鏡專科醫生匹敵之精度獲得與受驗者之被拍攝部位對應之資訊，從而能於短時間內判別診斷對象之消化器官之部位。並且，由於可自動判別相對於包含針對多個受驗者之複數個消化器官之內視鏡影像之測試資料的與所拍攝之部位對應之資訊，故而不僅由內視鏡專科醫生進行之檢查等變得容易，而且亦能謀求對與疾病建立了關聯之影像進行解析之作業的省略化。

又，本發明之第34態樣之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別系統之特徵在於：其係具有內視鏡影像輸入部、輸出部、及組入有類神經網路之電腦者，且上述電腦具備：第1記憶區域，其記憶消化器官之第1內視鏡影像；第2記憶區域，其記憶與上述第1內視鏡影像對應且與上述消化器官之被拍攝部位對應之資訊之確定資訊；及第3記憶區域，其記憶上述類神經網路程式；上述類神經網路程式係基於記憶於上述第1記憶區域之上述第1內視鏡影像、及記憶於上述第2記憶區域之確定資訊被訓練，且基於自上述內視鏡影像輸入部輸入之消化器官之第2內視鏡影像將相對於上述第2內視鏡影像之與消化器官之被拍攝部位對應之資訊輸出至上述輸出部。

根據本發明之第34態樣之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別系統，可發揮與第33態樣之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別方法相同之效果。

又，本發明之第35態樣之藉由消化器官之內視鏡影像之消化器官之部位的判別程式之特徵在於：其係用以使電腦作為第34態樣之藉由消化器官之內視鏡影像之消化器官之部位的判別系統中之各構件而動作者。

根據本發明之第35態樣之藉由消化器官之內視鏡影像之消化器官之部位的判別程式，可提供一種用以使電腦作為第34態樣之藉由消化器官之內視鏡影像之消化器官之部位的判別系統中之各構件而動作之藉由消化器官之內視鏡影像之消化器官之部位的判別程式。

又，本發明之第36態樣之電腦可讀取之記錄媒體之特徵在於：記錄有第35態樣之藉由消化器官之內視鏡影像之消化器官之部位的判別程式。

根據本發明之第36態樣之電腦可讀取之記錄媒體，可提供一種記錄有第35態樣之藉由消化器官之內視鏡影像之消化器官之部位之判別程式的電腦可讀取之記錄媒體。 [發明之效果]

如上所述，根據本發明，由於組入有類神經網路之程式係基於針對複數位受驗者之各者預先獲得之複數個消化器官之內視鏡影像、及針對複數位受驗者之各者預先獲得之上述疾病之陽性或陰性之確診結果予以訓練，故而可於短時間內以實質上與內視鏡專科醫生匹敵之精度獲得受驗者之消化器官之疾病之陽性及/或陰性之機率、過去之疾病之機率、疾病之重症度之等級、與所拍攝之部位對應之資訊等，從而能於短時間內篩選必須另行進行確診之受驗者。

以下，首先以H.pylori感染胃炎之情形及按器官之分類為例，繼而以潰瘍性大腸炎及食道疾病之情形為例，對本發明之藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體詳細地進行說明。但是，以下所示之實施形態係表示用以將本發明之技術思想具體化之例者，並非意圖將本發明特定為該等情形。即，本發明係涉及可藉由消化器官之內視鏡影像而特定之常見疾病者，且係亦能夠同等地適應於申請專利範圍所包含之其他實施形態者。又，於本發明中，影像之用語不僅包含靜止影像，亦可包含動態影像。

首先，使用表1所示之四分表，對一般之檢查之精度、感度及特異度簡單地進行說明。一般而言，檢查值係連續量，因此，決定臨界值(閾值)，將較其高之值之情形判斷為陽性，將較其更低之情形判斷為陰性(亦存在相反之情形)。

[表1]

如表1所示，根據患者之疾病之有無及檢查結果為陽性抑或陰性而分類為a～d之4個區域。再者，於患者有疾病之情形時，分類為有病者(有)，於無疾病之情形時，分類為無病者(無)。a區域係患者有疾病且檢查結果為陽性之情形，係真陽性之區域。b區域係患者無疾病但檢查結果為陽性之情形，係假陽性之區域。c區域係患者有疾病但檢查結果為陰性之情形，係假陰性之區域。同樣地，d區域係患者無疾病且檢查結果為陰性之情形，係真陰性之情形。

另一方面，感度係於有病者中檢查結果成為陽性之機率(有病確診率)，以a/(a＋c)表示。特異度係於無病者中檢查結果成為陰性之機率(無病確診率)，以d/(b＋d)表示。再者，假陽性率係於無病者中檢查結果成為陽性之機率(無病誤診率)，以b/(b＋d)表示。又，假陰性率係於有病者中檢查結果成為陰性之機率(有病誤診率)，以c/(a＋c)表示。

進而，若一面變更臨界值一面隨時算出感度及特異度，將縱軸設為感度且將橫軸設為假陽性率(＝1－特異度)而進行繪圖，則可獲得ROC曲線(Receiver Operating Characteristic：接收者動作特性曲線)(參照圖4及圖5)。

[實施形態1] 於實施形態1中，針對本發明之藉由內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體，說明應用於H.pylori感染胃炎之情形之例。於一位發明者所屬之醫院中，總計33人之內視鏡檢查醫生使用利用白色光之通常倍率之內視鏡進行食道、胃、十二指腸鏡檢查(以下稱為「EGD」)。EGD之適應症係與各種上腹部症狀、針對胃病之鋇檢查之陽性結果、異常之血清胃蛋白酶原之等級、胃或十二指腸之既往症或篩查相關之來自基層醫療醫師之介紹。即便不存在異常，所有內視鏡醫生亦被指示拍攝喉頭、食道、胃、及十二指腸之整體像。無胃腸疾病之患者之典型之影像數為34(喉頭1、食道6、胃25、十二指腸2)。

利用標準之內視鏡(EVIS GIF-XP290N、GIF-XP260、GIF-XP260NS、GIF-N260等、Olympus Medical Systems公司、東京)使用白色光拍攝影像，而進行EGD。所獲得之影像係通常倍率之影像，未使用放大之影像。於圖1中表示所獲得之典型之胃部內視鏡影像。再者，圖1A係診斷為H.pylori感染陽性之影像之例，圖1B係診斷為H.pylori感染陰性之影像之例。

所有患者接受用以檢測H.pylori感染之有無之檢查。該檢查係血液或尿中之抗H.pylori IgG等級測定、糞便抗原測定及尿素呼氣試驗中之至少一種。而且，於該等檢查之任一者中顯示陽性反應之患者被分類為H.pylori感染陽性。於未被診斷為H.pylori感染陽性之患者中，無接受過H.pylori除菌治療之經驗者被分類為H.pylori陰性。又，過去接受過H.pylori除菌治療且已除菌成功之患者自測定對象排除。

[關於資料集] 藉由對2014年1月至2016年12月進行之1768例之EGD之影像進行追溯評論，而準備AI庫之診斷系統之訓練及構築所使用之資料(稱為「訓練/驗證用資料」)集。具有胃癌、潰瘍、或黏膜下腫瘤之存在或病歷之患者之資料自訓練/驗證用資料集排除。亦有因胃之食物殘渣、活體檢查後之出血、暈影或其他理由而由內視鏡專科醫生自診斷為H.pylori感染陽性或H.pylori感染陰性之胃之影像中排除之影像。又，亦準備成為評估對象之內視鏡影像資料(稱為「測試資料」)集。再者，該「訓練/驗證用資料」與本發明之「第1內視鏡影像」對應，「測試資料」與本發明之「第2內視鏡影像」對應。將該等患者之人口統計學特徵及影像特徵示於表2。

[表2]

如表2所示，使用來自判定為H.pylori陽性之753位患者及分類為陰性之1,015位患者之影像製作32,208張訓練/驗證用資料集。該資料集對所有影像之RGB之各信號以相同比率進行對比度調整。RGB之各色分別取8位元、即0～255之範圍之值，但RGB之所有顏色以成為255、255、255之點(白色)必定存在1點之方式進行對比度調整。通常，由於內視鏡影像之畫質良好，故而實際上不進行對比度調整之情形亦較多。又，雖於內視鏡之畫面中加入有黑框，但自動地修整而進行放大、縮小，使所有影像成為相同之尺寸。

作為分類，亦可於複數個消化器官之各者中劃分為複數個部位，此處，僅針對胃獲得根據位置分類為複數個部位之影像，並且關於其他部位則未劃分而直接使用。進而，亦能夠按男女、年齡等屬性進行劃分並輸入，藉此進行按屬性之診斷。

若對於所有分類可獲得均等數量之資料，則較為理想，但對於資料數量較少之分類，於0度至359度之間隨機地旋轉，藉由工具適當地放大或縮小，藉此增加資料。作為其結果，獲得32,208張訓練/驗證用之原始內視鏡影像。

首先，藉由組合使用不含分類資料之所有影像，而進行第1次類神經網路之構築。其次，使用如上述般被分類為複數個之影像進行第2次類神經網路之構築。再者，該等類神經網路之構築之重複處理較多，因此，使用藉由並行處理而高速化之電腦。

[測試資料之準備] 為了評估使用上述訓練/驗證用資料集而構築之實施形態1之類神經網路與內視鏡檢查醫生之診斷精度，而準備有測試資料集。於一位發明者所屬之醫院中，將2017年1月至2月進行過內視鏡檢查之587位患者之影像資料中之H.pylori除菌後之166位患者之影像資料、H.pylori感染狀態不明之23位患者之影像資料及胃切除後之1位患者之影像資料排除(參照圖2)。作為結果，將判斷為H.pylori感染陽性或陰性之剩餘之397位患者之影像資料用作測試資料。

於測試資料集中，72人(43%)係藉由糞便抗原檢查予以診斷，87人(21%)係基於尿中抗H.pylori IgG等級予以診斷。測試資料集包含來自合計397位患者之合計11,481張影像。其中，72人被診斷為H.pylori感染陽性，325人被診斷為H.pylori感染陰性。測試資料集與訓練/驗證用資料集之間不重複。

[訓練、演算法] 為了構築AI庫之診斷系統，利用Caffe架構作為深層學習類神經網路之開發基盤，使用包含22層之GoogLeNet作為卷積類神經網路(CNN)體系結構。

於本實施形態1中使用之CNN係如圖3所示般使用反向傳播(Backpropagation：誤差逆向傳播法)進行訓練。CNN之各層係使用作為參數最佳化方法之一之Adam(https://arxiv.org/abs/1412.6980)以全局學習率0.0001進行調整。

為了使所有影像與GoogLeNet具有相容性，而將各影像調整大小為244×244像素。又，將通過ImageNet而學習了自然影像之特徵值之已訓練過之模型用作訓練開始時之初始值。ImageNet(http://www.image-net.org/)係於2017年年初收載有多達1,400萬點以上之影像之資料庫。該訓練方法被稱為遷移學習，已確認即便於指導資料較少之情形時亦有效。

[評估演算法] 經訓練之類神經網路輸出0至1間之機率值(PS)作為相對於所輸入之影像之H.pylori感染陽性或陰性之診斷結果。ROC曲線係藉由變更用以識別陽性及陰性之閾值而對該機率值進行繪圖所得者。

[CNN及內視鏡檢查醫生之間之測試資料集之性能比較] 相對於測試資料集，CNN與EGD之經驗豐富之23位內視鏡檢查醫生分別基於各患者之內視鏡影像將各患者分類為H.pylori感染陽性或陰性。又，測定H.pylori感染診斷之準確性及評估所需之時間，於CNN與內視鏡專科醫生之間對其等進行比較。

23位內視鏡檢查醫生中之6位係日本消化器內視鏡學會之專科醫生。剩餘之17人係EGD經驗為1000人以上(n＝9)及未達1000人(n＝8)，將前者分類為「經驗醫生」以及將後者分類為「研修中醫師」。CNN之診斷精度顯示用之ROC曲線係使用R軟體(統計分析免費軟體)記載。CNN之診斷精度顯示用之ROC曲線係使用R軟體(統計分析免費軟體)記載。顯示於該等影像之所有患者之資訊於資料解析之前出於匿名之目的而無法識別，使得與該評估相關之所有內視鏡檢查醫生無法對能夠識別之患者之資訊進行存取。該研究係受到日本醫師會倫理審查委員會之批准而進行(ID JMΑ-IIA00283)。

[內視鏡檢查醫生之結果] 將關於H.pylori感染之診斷之各個內視鏡檢查醫生之感度、特異度及評估所需之時間集中示於表3。所有內視鏡檢查醫生之感度及特異度分別平均為79.6%及83.2%，評估測試資料集之所有影像所需之時間(評估時間)為230±65分鐘(平均±標準偏差)。

[表3]

23位內視鏡檢查醫生中，專科醫生(n＝6)之感度及特異度分別為85.2%及89.3%，與研修中醫師(n＝8)之72.2%及76.3%相比，具備非常高之感度及特異度。再者，關於評估時間，專科醫生為252.5±92.3分鐘，相對於此，研修中醫師為206.6±54.7分鐘。經驗醫生(n＝9)之感度、特異度及評估時間均為專科醫生與研修中醫師之中間值。

[CNN之性能] 於本實施形態1中構築之CNN輸出每一張影像之H.pylori感染機率P，進而，計算每位患者之檢體之標準偏差。首先，調查使用不包含分類資料之所有訓練/驗證用資料集所構築之第1次CNN之特性。將此時所獲得之ROC曲線示於圖4。再者，本來之ROC曲線之橫軸表示「1－特異度」，左端係原點「0」，右端為「1」，但於圖4(圖5中亦同樣)中橫軸表示「特異度」，左端之原點為「1」，右端為「0」。

各內視鏡檢查醫生對每位患者進行H.pylori感染之預測，各內視鏡檢查醫生之每一位之預測結果以中空點表示。黑色點表示所有內視鏡檢查醫生之預測值之平均。CNN針對每張影像輸出H.pylori機率P，程式計算每位患者之機率之標準偏差。

圖4之ROC曲線之下側部分之面積為0.89，若將臨界值定義為0.53，則第1次CNN之感度及特異度分別為81.9%及83.4%。又，利用第1次所構築之CNN進行之所有影像之診斷時間為3.3分鐘。該第1次所構築之CNN準確地診斷了397人中之350人(88.2%)。對於利用第1次所構築之CNN產生之47人之誤診例，內視鏡檢查醫生診斷之結果為，準確度之平均±標準偏差為43.5±33.4%。

其次，求出藉由分類為複數個之相同之訓練/驗證用資料集構築之第2次CNN之ROC曲線。將其結果示於圖5。圖5係利用藉由使用僅針對胃根據位置分類為複數個部位之訓練/驗證用資料集進行學習而獲得之CNN者，輸出較利用第1次CNN所得者更佳之機率。ROC曲線下之面積為93%。各中空點表示各內視鏡檢查醫生之預測結果，黑色點表示所有內視鏡檢查醫生之平均值，均與圖4所示者相同。

圖5之ROC曲線之下側部分之面積自圖4之89%增加至93%。最佳臨界值為0.42，此時之CNN之感度及特異度分別為88.9%及87.4%，其等係與日本消化器內視鏡學會之專科醫生之診斷結果匹敵且遠高於研修中醫師之值。利用該第2次CNN進行之所有影像之診斷時間為3.2分鐘。

由上述結果可知以下情況。第1次CNN之診斷能力係研修中醫師與經驗醫生之間附近，第2次CNN之診斷能力與經驗豐富之內視鏡專科醫生之診斷能力匹敵，第1次及第2次之任一CNN均能以較內視鏡專科醫生顯著短之時間進行診斷。該結果表示使用實施形態1之CNN之H.pylori感染篩查系統應用於臨床實踐具有足夠高之感度及特異性。

與皮膚或視網膜之情形不同，胃呈複雜之形狀，胃內視鏡檢查之影像中包含觀察方法不同之各種部位之影像，故而於使用藉由使用未進行與胃內之位置對應之分類之訓練/驗證用資料集進行學習而獲得之CNN視之情形時，存在難以識別係哪個部位之影像之情形。因此，若使用僅針對胃根據位置分類為複數個部位之訓練/驗證用資料集構築CNN，則感度自81.9%增加至88.9%，診斷H.pylori感染胃炎之能力變高。

再者，認為內視鏡檢查醫生及CNN係利用互不相同之方法識別影像，而進行診斷。萎縮或腸上皮化生等因H.pylori感染導致之胃黏膜之變化首先產生於遠端胃(幽門部)，逐漸擴大至近端之胃(賁門部)。如此，於其中有輕度之變化之胃中，有可能將正常之黏膜誤診為存在異常，因此，內視鏡專科醫生於識別胃之影像之位置、尤其是幽門部、角度、或整體影像等之後進行診斷。

在我國，尤其是高齡者中H.pylori感染較多，自2016年起開始了胃癌之內視鏡群集篩查，因此，尋求更有效之篩查方法。於本實施形態1中獲得之結果提示藉由將大量之保存影像連接於該自動化系統，即便無內視鏡檢查者之評估，亦可較大程度地幫助H.pylori感染之篩查，藉由進一步之試驗，而實現H.pylori感染之確認並且有可能最終達到根治。

本實施形態1之CNN可不知疲倦地大幅縮短H.pylori感染之篩查時間，且於內視鏡檢查後立即獲得報告結果。藉此，可有助於作為全世界應解決之較大課題之內視鏡檢查醫生之H.pylori感染診斷之負擔減輕及醫療費之削減。進而，利用本實施形態1之CNN進行之H.pylori診斷只要輸入內視鏡檢查時之影像即可立即獲得結果，因此，可完全地「線上」進行H.pylori診斷輔助，從而能以所謂之「遠距離醫療」之形式解決因地域導致之醫師之分佈不均勻性之問題。

又，於本實施形態1之第2次CNN中，示出了使用根據位置分類為複數個部位之訓練/驗證用資料集使之學習之例，但該複數個部位之分類只要設為3～10個部位左右即可，只要由業者適當地規定即可。再者，於構築第2次CNN時，不僅包含胃之影像，而且亦包含咽部、食道及十二指腸之影像，因此，為了提昇幽門螺旋桿菌感染陽性及陰性之診斷之準確度，而將該等影像排除。

進而，於實施形態1中，示出了使用訓練/訓練影像之例，該訓練/訓練影像係使用利用白色光之通常倍率之內視鏡而獲得，但若影像數變多，則亦可使用利用影像增強內視鏡或放大內視鏡獲得之影像、或藉由使用NBI(Narrow Band Imaging：窄頻帶光法，照射波長不同之雷射光進行觀察者，參照上述非專利文獻3)或受激拉曼散射顯微鏡法之內視鏡(參照上述專利文獻3)等而獲得之影像。

又，於實施形態1中，作為訓練/驗證資料集及測試資料集之兩者，使用僅於單一之醫院取得者，但認為藉由追加使用利用其他內視鏡裝置及技法以其他設施獲得之影像之例，能夠進一步提高CNN之感度及特異性。進而，於實施形態1中，將H.pylori除菌後之患者排除，但能夠藉由學習H.pylori除菌後之影像而用於判定是否完成了H.pylori除菌。

又，H.pylori感染狀態之診斷係藉由血液或尿之抗H.pylori IgG等級測定、糞便抗原檢查、或尿素呼氣檢查等各種檢查而確認，但並非於該等檢查之任一種均可獲得100%之感受性或100%之特異性。因此，有可能於訓練/驗證資料集中作為結果而混入有伴隨著錯誤診斷之影像，對此，可藉由如下方法解決，即，僅增多於複數次臨床檢查中診斷為H.pylori感染陰性者，或製作即便係於一次檢查中診斷為H.pylori感染陰性者於其他檢查中亦判斷為H.pylori感染陽性者等之分類並收集與其對應之影像，使用與該分類對應之訓練/驗證資料集訓練CNN。

又，於實施形態1中，並未根據胃之狀態、即萎縮之程度、發紅之有無等評估診斷能力之不同，但今後若訓練用影像數增加，根據此種所見將訓練用影像進一步細分化，並使CNN記住，則不僅H.pylori感染胃炎之有無，對於該所見將來亦有可能可進行與專科醫生同等之判定。除此以外，於實施形態1中，作為用於胃之H.pylori感染狀態之診斷之輔助者進行了說明，但內視鏡檢查除胃以外，亦對喉頭、咽部、食道、十二指腸、膽道、胰管、小腸、大腸等進行，若針對該等部位之影像累積推進，從而訓練用影像增加，則可用於針對該等部位之診斷輔助。

尤其是於疾病為潰瘍性大腸炎之情形時，由於特徵之擷取及解析演算法與H.pylori感染胃炎之有無之情形類似，故而若於CNN中使用大腸內視鏡影像進行訓練，則CNN能夠容易地劃分為與潰瘍性大腸炎之重症度對應之複數個階段而輸出。成為訓練/驗證用資料之大腸內視鏡影像與胃之情形同樣地，根據大腸之部位被分類為複數個部位，且針對潰瘍性大腸炎被賦予了疾病之陽性或陰性或者重症度之階段之確診結果。藉由使用基於包含該大腸內視鏡影像之訓練/驗證用資料及確診結果而訓練之CNN，可自動診斷相對於包含針對設為評估對策之多位受驗者之複數個大腸內視鏡影像之測試資料的疾病之陽性或陰性或者重症度等級。

進而，於製作內視鏡影像之訓練用資料之過程中，存在由人進行之人工作業，因此，無法否定可能會於一部分資料中訓練用資料存在錯誤。若混入有錯誤之訓練用資料，則會對CNN之判定精度造成不良影響。於本實施形態1中使用之內視鏡影像實施了匿名化處理，無法確認訓練用資料是否存在錯誤。為了儘可能地排除該情況，藉由根據臨床檢查判定之結果機械地對影像進行分類，可製作品質較高之訓練用資料集。若利用該訓練用資料使CNN學習，則可進一步提昇判定精度。

再者，於實施形態1中，示出了使用GoogLeNet作為CNN之體系結構之例，但CNN之體系結構日益進化，存在若採用最新者則可獲得更良好之結果之情形。又，作為深層學習架構同樣使用開放原始碼之Caffe，但除此以外可使用CNTK、TensorFlow、Theano、Torch、MXNet等。進而，作為最佳化方法使用了Adam，但除此以外可適當地選擇使用周知之SGD(Stochastic Gradient Descent：隨機梯度下降法)法、對SGD賦予慣性項(Momentum)之MomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等。

如上所述，利用本實施形態1之CNN之藉由胃之內視鏡影像之H.pylori感染之診斷精度與內視鏡檢查醫生匹敵。因此，實施形態之CNN對根據篩查或其他理由自所獲得之內視鏡影像篩選H.pylori感染患者有用。又，若使CNN學習H.pylori菌除菌後之影像，則亦可用於是否已完成H.pylori除菌之判定。又，是否已將H.pylori菌除菌於問診中可簡單地瞭解，因此，對於H.pylori感染診斷，有僅藉由本次之H.pylori菌陽性陰性之判定便能夠於臨床現場立即應用之有用性。

[診斷支援系統] 組入有實施形態1之作為診斷支援系統之CNN之電腦基本上具備內視鏡影像輸入部、記憶部(硬碟或半導體記憶體)、影像解析裝置、判定顯示裝置、及判定輸出裝置。除此以外，亦可為直接具備內視鏡影像拍攝裝置者。又，該電腦系統亦可遠離內視鏡檢查設施而設置，自遠距離地方獲得影像資訊而作為中央診斷支援系統、或作為經由網際網路網之雲端型電腦系統而運轉。

該電腦於內部之記憶部具備：第1記憶區域，其記憶針對複數位受驗者之各者預先獲得之複數個消化器官之內視鏡影像；第2記憶區域，其記憶針對複數位受驗者之各者預先獲得之上述疾病之陽性或陰性之確診結果；及第3記憶區域，其記憶CNN程式。於此情形時，由於針對複數位受驗者之各者預先獲得之複數個消化器官之內視鏡影像之數量較多而資料量變大、以及於CNN程式之作動時進行大量之資料處理，故而較佳為進行並行處理，又，較佳為具有大容量之記憶部。

近年來，CPU(Central Processing Unit，中央處理單元)或GPU(Graphics Processing Unit，圖形處理單元)之能力顯著提昇，組入有於實施形態1中使用之作為診斷支援系統之CNN的電腦若使用於某種程度上高性能之市售之個人電腦之情形時，作為H.pylori感染胃炎診斷系統，亦可於1小時內處理3000症例以上，針對1張影像能以約0.2秒鐘進行處理。因此，藉由將利用內視鏡拍攝中之影像資料賦予至組入有於本實施形態1中使用之CNN之電腦，亦能夠即時地進行H.pylori感染判定，自全世界或偏僻地方發送來之胃內視鏡影像自不必說，即便其係動態影像，亦能夠遠距離地進行診斷。尤其是，近年來之電腦之GPU性能非常優異，因此，藉由組入本實施形態1之CNN，能夠進行高速且高精度之影像處理。

又，輸入至組入有實施形態1之作為診斷支援系統之CNN之電腦之輸入部的受驗者之消化器官之內視鏡影像可設為利用內視鏡拍攝中之影像、經由通信網路發送來之影像或記錄於電腦可讀取之記錄媒體之影像。即，組入有實施形態1之作為診斷支援系統之CNN的電腦可於短時間內對所輸入之受驗者之消化器官之內視鏡影像輸出消化器官之疾病陽性及陰性之各者之機率，因此，可不侷限於受驗者之消化器官之內視鏡影像之輸入形式而利用。

再者，作為通信網路，可利用周知之網際網路、內部網路、商際網路、LAN、ISDN、VAN、CATV通信網、虛擬專用網路(virtual private network)、電話線路網、行動通訊網路、衛星通信網路等。又，構成通信網路之傳輸媒體亦可利用周知之IEEE1394串列匯流排、USB、電力線載波、有線電視線路、電話線線路、ADSL線路等有線、紅外線、Bluetooth(註冊商標)、IEEE802.11等無線、行動電話網、衛星線路、地面數位網路等無線等。又，作為電腦可讀取之記錄媒體，可使用周知之磁帶或卡式磁帶等帶系、包含軟(註冊商標)碟、硬碟等磁碟、及光碟-ROM/MO/MD/數位影音光碟/光碟-R等光碟之碟系、IC卡、記憶卡、光學卡等卡系、或者遮罩ROM/EPROM/EEPROM/快閃ROM等半導體記憶體系等。

[實施形態2] 於利用組入有於實施形態1中使用之CNN之電腦的H.pylori感染胃炎診斷系統中，可自動地判斷所輸入之影像係哪一部分之影像。因此，於該H.pylori感染胃炎診斷系統中，能夠針對賁門部、胃底部、胃體部、胃角部、前庭部、幽門竇之7個分類之各者顯示H.pylori感染機率，或自該等部位之若干個例如針對H.pylori感染機率之上位5個分類，進行分類並且顯示H.pylori感染機率。此種進行分類並且顯示H.pylori感染機率之方法最終必須藉由血液檢查或尿檢查進行確診，但對內視鏡專科醫生之判斷有用。

因此，於實施形態2中，進行可自動地判斷所輸入之影像係哪一部分之影像之驗證。首先，由內視鏡專科醫生將於實施形態1中獲得之EGD之影像中之因癌、潰瘍、殘渣、異物、出血、暈影、模糊或焦點不良而不明確之影像排除，將來自剩餘之1750位患者之27,335張影像分類為6個主要之範疇(喉頭、食道、十二指腸、上部胃、中部胃、下部胃)。主要之胃範疇之各者如圖6所示般包含複數個子範疇，下部胃包含幽門部、幽門竇、前庭部，上部胃包含賁門部及胃底部，中部胃包含胃角部及胃體部。

以與實施形態1之情形相同之方式藉由工具使該等27,335張原來之內視鏡影像於0度至359度之間隨機地旋轉而增大影像數，將包圍各影像之黑框自動地修正剪切，並適當地放大或縮小，而僅包含具有通常倍率之通常之白色光影像，將窄頻帶影像等經強調之影像排除，而獲得超過100萬之訓練用影像資料。為了使以此方式獲得之實施形態2之訓練用影像資料與GoogLeNet具有相容性，而將所有影像之尺寸調整大小為244×244像素。而且，於實施形態2中使用之CNN系統除使用該等訓練用影像資料將學習率變更為0.0002以外係使用與實施形態1之CNN系統相同者進行訓練。

實施形態2之經訓練之CNN系統產生0至100%之範圍之各影像之機率值(PS)。其表示各影像之屬於各解剖學分類之機率。具有最高之機率值之範疇作為CNN之最終分類被採用，藉由該CNN而分類之影像由2位內視鏡專科醫生以人工作業進行評估，評估是否正確地進行了分類。於該評估根據2位內視鏡專科醫生而不同之情形時，為了達到滿意之解決而進行討論。

進而，為了評估CNN系統之診斷精度，而收集於2017年2月至2017年3月期間在一位發明者所屬之醫院中接受了內視鏡檢查之435位患者之17,081張獨立之影像資料，製作一系列之驗證用影像資料。該驗證用影像資料僅包含具有通常倍率之通常之白色光影像，強化影像或解剖學分類無法識別之影像資料則利用與訓練用影像資料之情形相同之方法自驗證用影像資料排除。最終，於驗證用影像資料中使用包含喉頭影像363件、食道影像2,142件、胃影像13,047件、十二指腸影像1,528件之17,081件影像(參照表4)。

[表4]

首先，對實施形態2之CNN系統能否識別喉頭、食道、胃及十二指腸之影像進行評估，繼而，如圖6所示，對能否識別基於日本之胃癌分類的胃之位置(上部胃、中部胃、下部胃)進行評估。然後，計算關於利用實施形態2之CNN系統之解剖學分類之感度及特異度。為了進行各器官之分類，而繪製接受者動作特性(ROC)曲線，利用GraphPad Prism 7(GraphPad software, Inc., California, U.S.A.)算出下側部分之面積(AUC)。將該等試驗方法之簡化後之概要示於圖7。

首先，將GIE影像分類為4個主要之範疇(喉頭、食道、胃及十二指腸)。實施形態2之CNN系統將17,081張影像中之16,632(97%)張之解剖學位置準確地進行了分類。CNN系統所計算出之機率值為0～100%之範圍，影像之96%之各者之最高機率值為90%以上(參照表5)。

[表5]

即，實施形態2之CNN系統係以利用AUC值之準確度計咽部為1.00[95%置信區間(CI)：1.00～1.00，p＜0.0001]、食道為1.00(95%CI：1.00～1.00，p＜0.0001)、胃為0.99(95%CI：0.99～1.00，p＜0.0001)、十二指腸為0.99(95%CI：0.99～0.99，p＜0.0001)自動地識別GIE影像之解剖學位置(參照圖8A～圖8D)。再者，實施形態2之CNN系統之用以識別各部位之解剖學位置之感度及特異度係關於喉頭為93.9%及100%，關於食道為95.8%及99.7%，關於胃為89.9%及93.0%，關於十二指腸為87.0%及99.2%(參照表6)。

[表6]

其次，對實施形態2之CNN系統能否將自胃之不同部分取得之影像資料之解剖學位置正確地分類進行研究。由於若干種胃之疾病有發生於胃之特定區域之傾向，故而對胃之解剖學位置正確地進行分類較為重要。於實施形態2之CNN系統之訓練中，使用包含來自上部胃之3,532張影像資料、來自中部胃之6,379張影像資料及來自下部胃之3,137張影像資料之合計13,048張胃影像資料。

如圖9所示，實施形態2之CNN系統針對上部胃、中部胃及下部胃獲得AUC值0.99(95%CI：0.99～0.99、p＜0.0001)，將該等胃影像之解剖學位置準確地進行了分類。將各部位之解剖學位置分類時之CNN之感度及特異度係上部胃為96.9%及98.5%，中部胃為95.9%及98.0%，下部胃為96.0%及98.8%(參照表7)。即，實施形態2之CNN系統將GIE影像資料正確地分類為胃之3個解剖學位置(上部胃、中部胃、下部胃)。

[表7]

[被錯誤分類之影像之評估」最後，為了提供用以提昇CNN之性能之基礎，對由CNN錯誤分類之影像進行了研究。將被錯誤分類之影像之典型之例示於圖10～圖13。圖10A表示被誤分類為下部胃之十二指腸之影像，圖10B係被正確分類之下部胃之影像。如於該等影像中所觀察般，若自側面觀察，則十二指腸有時與下部胃相似。認為其係誤分類之原因。

圖11A表示被誤分類為下部胃之食道之影像，圖11B表示被正確地分類為下部胃之下部胃之影像。又，圖12A表示被誤分類為中部胃之十二指腸之影像，圖12B表示被正確分類之上部胃之影像。進而，圖13A表示被誤分類為食道之咽部之影像，圖13B表示被正確分類之食道之影像。

圖11A及圖12A之影像係因向內腔吹入空氣不充分及/或內視鏡觀測鏡向管腔壁接近而導致無法用於識別整體之構造者。另一方面，圖13A表示喉頭之影像，但利用肉眼觀察明顯不同，而被錯誤分類為食道。

用於影像之分類之體系結構不斷進步。根據使用此種技術之Imagenet大規模視覺識別挑戰賽2016(ILSVRC2016, http://image-net.org/challenges/LSVRC/2016/results)之最新結果，分類錯誤率為3.0%～7.3%。相對於此，實施形態2之CNN系統顯示出具有0.99～1.00之較高之AUC之高精度之分類結果，證實了根據解剖學位置之GIE影像之分類中之CNN之潛在可能性。識別解剖學分類之該能力係明確CNN系統能否可藉由在自患者取得之影像上自動檢測病變或異常所見而尤其用於胃腸疾病之診斷的重要步驟。

醫師為了成為GIE之專家需要經過數年之重要之訓練，因此，本發明之CNN系統減輕患者之負擔，對患者而言有益。關於該方面，本發明之結果示出了本發明之CNN系統確立新的GIE支援系統之有望之可能性。進而，被自動地收集並以電子形式保存之GIE影像為了不看漏疾病而由第2觀察者頻繁地再看，因此，自動GIE影像分類本身於臨床設定中有益。解剖學上分類之影像可使第2觀察者更容易地進行解釋，從而可減輕其負擔。

[實施形態3] 於實施形態3中，針對本發明之藉由內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體，說明應用於潰瘍性大腸炎之情形之例。回顧性地評論於一位發明者所屬之醫院中接受過大腸內視鏡檢查之患者之臨床資料。整體上包含達958例患者之症狀、內視鏡所見、病理學所見。患者全體接受全大腸內視鏡檢查，所獲得之大腸內視鏡影像由3位消化器專科醫生進行評論。

於實施形態3中，僅包含具有通常倍率之通常之白色光影像，窄頻帶影像等經強化之影像被排除。亦將伴隨著糞便、模糊、暈影或空氣混入之不清晰之影像排除，其他清晰之影像根據結腸、直腸之部位、即右側結腸(盲腸、上行及橫行結腸)、左結腸(下行及S狀結腸)及直腸進行分類，根據各者之內視鏡疾病活動性，按照3劃分之Mayo內視鏡得分(Mayo0、Mayo1及Mayo2-3)進行分類。於圖14中表示典型之直腸之被分類為Mayo0～Mayo3之大腸內視鏡影像。再者，圖14A表示Mayo0之例，圖14B表示Mayo1之例，圖14C表示Mayo2之例，圖14D表示Mayo3之例。

對於被評論之各影像，於評論者之分類不同之情形時，上述3位消化器專科醫生中之至少2位重看各張影像，對各影像再賦予Mayo內視鏡得分。將以此方式再賦予之Mayo內視鏡得分稱為「真Mayo分類」。

將來自於2006年10月至2017年3月期間拍攝之841位潰瘍性大腸炎患者之26,304張影像用作訓練用資料集，將來自於4月至2017年6月收集之117位潰瘍性大腸炎患者之4,589張影像用作驗證用資料集。將訓練用資料集及驗證用資料集之患者特性之詳情示於表8。

[表8]

使該等原來之內視鏡影像於0度至359度之間隨機地旋轉，將包圍各影像之黑框於各側剪切，並使用軟體放大或縮小至0.9倍或1.1倍。最後，以訓練用資料集之數量超過100萬之方式進行放大。

所有影像係使用標準之大腸內視鏡(EVIS LUCERA ELITE、Olympus Medical Systems、東京、日本)予以拍攝。隨附之所有患者資訊係於資料分析前被附加註釋，使得與研究相關之內視鏡醫生均無法對能夠識別之患者資訊進行存取。該研究獲得了日本醫師會倫理審查委員會(ID：JMΑ-IIA00283)之批准。又，關於知情同意書，由於該研究具有追溯性質，且使用完全匿名化之資料，故而被刪除。

為了使以此方式獲得之實施形態3之訓練用影像資料與GoogLeNet具有相容性，而將所有影像之尺寸調整大小為244×244像素。而且，於實施形態3中使用之CNN系統除使用該等訓練用影像資料將學習率變更為0.0002以外係使用與實施形態1之CNN系統相同者進行訓練。

經訓練之CNN庫之診斷系統製作0至1之範圍之各影像之機率值(PS)，各影像表示屬於各Mayo內視鏡得分之機率。具有最高機率值之範疇作為CNN之最終之分類被採用。將實施形態3之CNN庫之診斷系統之簡單概要示於圖15，將實施形態3之CNN之代表性影像及所獲得之3劃分之Mayo內視鏡得分之例示於圖16。再者，圖16A表示橫行結腸之被分類為Mayo0之例，圖16B表示直腸之被分類為Mayo1之例，圖16C表示直腸之被分類為Mayo2或Mayo3之例。

CNN之性能之驗證係藉由評估CNN能否將各影像進行2劃分之分類、即分類為Mayo0～1及Mayo2-3之2劃分而進行。其原因在於：Mayo0及Mayo1係處於緩解(症狀可控)之狀態者，Mayo2及Mayo3係產生有炎症者。然後，為了Mayo內視鏡得分，而繪製接受者動作特性(ROC)曲線，利用GraphPad Prism 7(GraphPad software, Inc, 美國)測定具有95%置信區間(CI)之ROC曲線之下側之面積(AUC)。進而，於結腸、直腸之各部位(右側結腸、左側結腸、及直腸)評估AUC。

於表9中表示真Mayo內視鏡得分與利用CNN所得之Mayo0-1、Mayo2-3之2劃分之分類之間之關聯性。又，於圖17A中以色彩之濃淡表示Mayo0-1及Mayo2-3之2劃分之Mayo內視鏡得分中之各機率得分之例，同樣地，於圖17B中表示Mayo0-1及Mayo2-3之2劃分之Mayo內視鏡得分中之ROC曲線。

[表9]

根據表9及圖17所示之結果，Mayo0-1影像之96%、Mayo2-3影像之49%由CNN正確地分類為各種Mayo內視鏡得分。圖17B所示之ROC曲線表示相對於Mayo0-1、及Mayo2-3之2劃分之分類具有0.95(95%CI：0.94-0.95)之較高之AUC，而表示CNN具有較高之性能。

[根據結腸、直腸之各位置之真Mayo分類與CNN分類之間之關聯性] 其次，由於結腸、直腸之位置可能會對CNN之性能造成影響，故而評估根據結腸、直腸之各位置(右側結腸、左側結腸、及直腸)之CNN之性能。

表10表示ROC曲線之AUC、真Mayo分類及各位置處之CNN之結果之一致度。CNN之性能於分類為Mayo0-1及Mayo2-3之2劃分時，於較直腸(AUC＝0.88)更靠右側之結腸(AUC＝0.96)及更靠左側之結腸(AUC＝0.97)良好。

[表10]

如上所述，根據實施形態3，可確認藉由經訓練之CNN，可識別潰瘍性大腸炎影像之內視鏡疾病活動性，表現出區分緩解狀態之影像(Mayo0、Mayo1)與重度炎症(Mayo2、Mayo3)影像之有望之性能。

根據實施形態3之結果，CNN於識別黏膜處於治癒狀態(Mayo0、Mayo1)時顯示非常良好之性能，相較於右結腸及左結腸，直腸中更良好。其理由之一在於：所使用之影像係治療中之潰瘍性大腸炎患者之影像占大部分。該治療改變了炎症之重症度，將炎症引導為「斑狀」或「非連續病變」，而難以適當地對Mayo內視鏡得分進行分類。其係由於直腸具有若干個治療方案，斑狀或非連續性病變經常發生，故而於直腸中利用CNN進行分類時，可能會導致進一步之性能降低。

又，於實施形態3中，將利用CNN之分類定義為Mayo內視鏡得分之機率值最高者。因此，即便Mayo1之機率值為0.344之影像(最低值)，亦被分類為與Mayo1之機率值為1.00之影像相同之Mayo1。其係真Mayo內視鏡得分與利用CNN之分類之間之一致相較於AUC值而言相對較低之理由之一。因此，為了定義利用CNN之分類，而對機率值設定最佳之臨界值，藉此，能夠改善CNN之性能。

實施形態3之測定中有若干個限制。第1，其係回顧性研究，為了評估實際之臨床狀況下之CNN之性能需要前瞻性研究。第2，由於在不具入院設施之診所收集所有大腸內視鏡檢查影像，故而Mayo2-3之影像於訓練用資料及驗證用資料之兩者相對較少。因此，考慮藉由利用更多之Mayo2-3影像訓練CNN，CNN之性能會進一步提昇。

[實施形態4] 於實施形態4中，針對本發明之藉由內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體，說明使用超放大內視鏡(Endocytoscopy：ECS)系統應用於食道疾病之例。此處使用之ECS系統係能夠使用亞甲基藍等活體染色即時地於活體內觀察表面上皮細胞之新穎之放大內視鏡檢查。發明者等人於2003年首次進行了使用ECS之臨床試驗，並報告了正常鱗狀上皮及食道癌之表面上皮細胞之特徵(參照非專利文獻4)。目前市售之第4代ECS之倍率係光學500倍，亦可進而使用內置於視訊處理器之數位放大功能使倍率放大至最大900倍。

於一位發明者所屬之醫院中，在2011年11月至2018年2月期間，對醫院內之241位患者進行了308例食道ECS檢查。觀測鏡係使用GIF-Y0002(光學倍率：400倍(數位倍率700倍))及GIF-Y0074(光學倍率：500倍(數位倍率900倍))之2種原型ECS(Olympus Medical Systems)。又，作為內視鏡視訊觀測鏡系統，使用標準之內視鏡視訊系統(EVIS LUCERA CV-260/CLV-260、EVIS LUCERA ELITE CV-290/CLV-290SL：Olympus Medical Systems)。

如圖18所示，一併保存有ECS之最大光學倍率(低倍率影像)之內視鏡影像(圖18之a～e)、及數位倍率1.8倍之內視鏡影像(高倍率影像、圖18之f～j))。於308例之ECS檢查中，來自於2011年11月至2016年12月期間進行之240例症例之4715張影像係作為用以開發用來分析ECS影像之演算法之訓練用資料集而採用。

訓練用資料集係食道癌126例(淺表癌58例、進展期癌68例)、食道炎106例(放射線關聯食道炎52例、胃食道逆流症45例、念珠菌食道炎、嗜酸細胞食道炎2例、食道炎3例)、正常鱗狀上皮症8例。使用活體檢查組織或切除檢體對所有病變部進行組織學診斷。最後，將訓練用資料集分類為「惡性影像(影像數：1141(低倍率影像：231、高倍率影像：910))」及「非惡性影像(影像數：3574(低倍率影像：1150、高倍率影像：2424))」。於實施形態4中，使用低倍率影像及高倍率影像集中訓練CNN。

作為用於所構築之CNN之診斷能力之評估的測試資料集，使用能夠利用ECS良好地觀察食道之表面細胞形態之55例。測試資料係使用包含惡性病變27例及非惡性病變28例之1520張影像(低倍率影像：467、高倍率影像：1053)。惡性病變之所有症例係食道鱗狀細胞癌。其中淺表癌為20例，進展期癌為7例。非惡性病變係食道炎(放射線關聯食道炎14例、胃食道逆流症(GERD)9例、食道炎4例)為27例，食道乳頭狀瘤為1例。

為了使以此方式獲得之實施形態3之訓練用影像資料與GoogLeNet具有相容性，而將所有影像之尺寸調整大小為244×244像素。而且，於實施形態4中使用之CNN系統係使用該等訓練用影像資料且使用與實施形態1之CNN系統相同者進行訓練。

[利用CNN之診斷結果] 於使用訓練資料集構築CNN之後，對測試資料進行研究。針對測試資料之各影像計算為惡性之機率，繪製接收器動作特性(ROC)曲線，並計算ROC曲線之下側部分之面積(AUC)。臨界值係考慮ROC曲線之感度及特異性而決定。

於針對每一症例之研究中，於對自同一病變取得之複數張ECS影像診斷為2張以上係惡性之情形時，診斷其為惡性。以如下方式計算診斷食道癌之CNN之感度、陽性命中率(PPV)、陰性命中率(NPV)、及特異度。感度＝CNN正確地診斷為惡性之數量/經組織學證明之食道癌病變之數量 PPV＝CNN正確地診斷為惡性之數量/利用CNN診斷為食道癌之病變之數量 NPV＝CNN正確地診斷為非惡性病變之數量(被診斷為惡性之ECS影像為1張以下)/利用CNN診斷為非惡性病變之病變之數量特異度＝CNN正確地診斷為非惡性病變之數量/經組織學證明之非惡性病變

於利用CNN進行診斷之前，經驗豐富之1位內視鏡專科醫生於內視鏡檢查中進行診斷。內視鏡專科醫生將所有症例按照以下類型分類進行分類。類型1：表面上皮細胞之核/細胞質比較低，細胞密度較低。無法確認核異型。(參照圖19a) 類型2：核密度較高，但並無明確之核異型。細胞間邊界不明確。(參照圖19b) 類型3：確認到明確之核密度之上升及核異型。亦確認到核之腫大(參照圖19c)

[測試資料之臨床診斷及病理診斷結果] 將測試資料症例之臨床診斷及病理診斷結果示於表11。 [表11]

如表11所示，藉由臨床診斷而診斷為食道癌之27例全部係鱗狀細胞癌。藉由臨床診斷而診斷為胃食道逆流症之9例於組織學上4例被診斷為再生上皮，3例被診斷為食道潰瘍，2例被診斷為食道炎。藉由臨床診斷而診斷為放射線性食道炎之14例於組織學上2例被診斷為再生上皮，8例被診斷為食道炎，其他被診斷為食道潰瘍、伴隨異型細胞之食道炎、肉芽組織及壞死組織。

[ROC曲線及其下側部分之面積及臨界值] 於實施形態4中獲得之CNN為了分析1520張影像(每張影像0.011秒)需要17秒。根據自所有影像繪製之ROC曲線(圖20A)求出之AUC係0.85。又，於高倍率影像(圖20B)及低倍率影像之情形(圖20C)分別製作ROC曲線進行分析，結果，高倍率影像之情形時之AUC及低倍率影像之情形時之AUC分別為0.90及0.72。

期待對非惡性病變之較高之特異性，根據ROC曲線將惡性腫瘤之機率之臨界值設定為90%。如表12所示，所有影像之情形之感度、特異度、PPV、NPV分別為39.4、98.2、92.9及73.2。又，於對高倍率影像之情形及低倍率影像之情形分別獨立進行分析之情形時，高倍率影像之情形之感度、特異性、PPV、NPV分別為46.4、98.4、95.2及72.6，低倍率影像之情形之感度、特異性、PPV、NPV分別為17.4、98.2、79.3、74.4。

[表12]

於高倍率影像中臨床診斷為非惡性之622例中之10張影像(1.6%)之惡性腫瘤之機率超過90%。於該10張影像中，包含自白斑部分獲得之7張影像、自異型上皮獲得之2張影像、自正常上皮獲得之1張影像。於低倍率影像中臨床診斷為非惡性之332例中之被診斷為食道炎之7張影像(2.1%)之惡性之機率超過90%。

[針對各症例之由內視鏡醫生進行之類型分類之評估與利用CNN進行之診斷之比較] 將被診斷為食道鱗狀細胞癌之27症例中之利用於實施形態4中構築之CNN之診斷結果與由內視鏡專科醫生分類之類型之關係示於表13。 [表13]

根據表13所示之結果，被診斷為食道鱗狀細胞癌之27症例中，CNN將25症例(感度92.6%)準確地診斷為惡性(包含惡性腫瘤之機率超過90%之2張以上之影像)。CNN於拍攝有癌細胞之照片中識別為惡性之比率之中央值(範圍)為40.9(0～88.9)%。CNN將非惡性病變之28症例之25症例準確地診斷為非惡性(特異性89.3%)。PPV、NPV、及整體之精度分別為89.3%、92.6%、90.9%。

內視鏡專科醫生將所有惡性病變診斷為類型3。內視鏡專科醫生將非惡性病變之28例中之13例病變診斷為類型1，將12例病變診斷為類型2，將3例病變診斷為類型3。於認為類型3與惡性腫瘤對應之情形時，感度、特異性、PPV、NPV、內視鏡檢查之診斷之綜合精度分別為100%、89.3%、90.0%、100%、94.5%。

CNN誤診為非惡性之2例惡性病變由內視鏡專科醫生準確診斷為類型3。該等2例係淺表癌，核密度之增加及核之異常明確。然而，核之放大並不明確(參照圖21)。再者，圖21A係普通內視鏡影像，圖21B同樣係ECS影像，圖21C同樣係病理組織檢查影像。

CNN將非惡性病變診斷為惡性之3例中之2例係放射線照射後之食道炎，1例係等級為C之胃食道逆流症。根據該等病變之非放大內視鏡影像，內視鏡專科醫生並未將其等視為惡性。然而，於放射線食道炎之1例中，由於核密度及核異常明確增加，內視鏡專科醫生分類為類型3。於該症例中，藉由病變部之組織學檢查，明確其係肉芽組織(參照圖22)。再者，圖22A係普通內視鏡影像，圖22B係ECS影像，圖22C係病理組織檢查影像。

針對食道之ECS診斷之最有望之目標係省略食道鱗狀細胞癌之活體檢查組織診斷。於實施形態4之結果中，尤其是於高倍率影像之ROC曲線中確認到較高之AUC。以前對1名病理醫生能否僅根據ECS影像區分惡性ECS影像進行了試驗。病理學者於僅使用低倍率影像之情形時，將食道炎之約2/3診斷為惡性。於此等情形時，雖然核密度增加，但由於係低倍率，故而無法識別核異型。其後，為了識別核異型，利用數位1.8倍(高倍率)之影像再次進行了試驗。此時之病理學者之感度及特異度急遽改善為90%以上。

於實施形態4中，所有被診斷為惡性之非惡性低倍率影像係自食道炎症例獲得。該等影像顯示出較高之核密度，但由於係低倍率，故而無法評估核之異常。因此，推薦參照高倍率影像而非低倍率影像。另一方面，被誤診為惡性之大部分非惡性高倍率影像係自白斑部分之觀察獲得。白斑部分之ECS影像之特徵係炎症細胞之集簇。推測該等影像係作為鱗狀細胞癌之低倍率影像被識別者(參照圖18)。因此，今後，較理想為分別確立高倍率影像及低倍率影像之2種不同之CNN。

為了省略組織活體檢查，必須將非惡性病變之惡性誤診(假陽性)抑制為最小限度。由使用ECS之內視鏡專科醫生進行之鱗狀上皮腫瘤之過度診斷需要有死亡風險之手術。於為了早期發現癌而應用AI之論文中，容許一定之假陽性率。因此，臨界值以相對較低之機率設定。於本次研究中，將惡性腫瘤之機率之臨界值設定為90%。其係為了使上文所述之假陽性為最小限度。

於針對各症例之評估中，內視鏡專科醫生應用了用於利用ECS之診斷之類型分類。類型1及類型3分別與非腫瘤性上皮及食道鱗狀細胞癌對應。該等症例中，可省略組織活體檢查。然而，類型2由於包含各種組織學狀況，故而為了決定治療方針，應實施組織活體檢查。於實施形態4之結果中，利用CNN之ECS影像之診斷結果超過了接近內視鏡專科醫生之結果之90%。

該結果即便為較高之臨界值亦被容許。該等症例可藉由CNN之支援而省略組織活體檢查。進而，未被CNN診斷為惡性之2例惡性症例由內視鏡專科醫生準確地診斷為類型3。由於根據病變普通內視鏡觀察清晰地表示為惡性腫瘤，故而該等症例可僅利用ECS影像無需CNN之支援而省略組織活體檢查。

另一方面，實施形態4之特異度為89.3%，3例非惡性病變由CNN診斷為惡性。1例係等級C之胃食道逆流症，其他2例係放射線食道炎。該等病變之病理學診斷係再生上皮、肉芽組織及食道潰瘍。關於再生上皮，即便為經驗豐富之病理學者亦難以與食道鱗狀細胞癌區分。

輻射食道炎之1例由內視鏡專科醫生診斷為類型3，由實施形態4之CNN診斷為惡性。存在於放射線照射後即便進行組織活體檢查亦難以診斷復發或殘存食道癌之情形。除ECS觀察以外，於食道癌之放射線照射後之追蹤之情形時，應實施組織活體檢查。

根據實施形態4之結果，於本次CNN之研究中可指出若干個界限。第1，測試資料之數量較少。為了解決該問題，計劃自動態影像取得龐大數量之影像。期待進一步深入學習過之CNN改善診斷結果。第2，使用了光學倍率為400倍及500倍之不同之2個ECS。該等2個ECS之倍率之差可能會對利用CNN之診斷結果造成影響。因此，認為今後必須限定為使用市售之光學倍率500倍之ECS之影像。

作為結論，實施形態4之CNN能夠強力地支持內視鏡專科醫生基於ECS影像而省略組織活體檢查。又，為了識別核異型，應參照併用了數位變焦之高倍率影像而非低倍率影像。

[實施形態5] 使用圖23對實施形態5之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法進行說明。於實施形態5中，可使用實施形態1～4之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法。於S1中，使用消化器官之第1內視鏡影像、及與第1內視鏡影像對應之消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、或與所拍攝之部位對應之資訊中之至少一者之確診結果訓練類神經網路。於S2中，於S1中經訓練之類神經網路基於消化器官之第2內視鏡影像輸出該消化器官之疾病之陽性及/或陰性之機率、過去之疾病之機率、疾病之重症度之等級、或與所拍攝之部位對應之資訊中之至少一者。

於S1中，第1內視鏡影像亦可進行對比度之調整。又，於S1中，第1內視鏡影像亦可分別與被拍攝之部位建立關聯。作為部位，可包含咽部、食道、胃或十二指腸中之至少一者，該部位亦可於複數個消化器官中之至少一者中被劃分為複數個部位。於部位係胃之情形時，劃分可包含上部胃、中部胃或下部胃中之至少一者，又，劃分亦可包含賁門部、胃底部、胃體部、胃角部、前庭部、幽門竇或幽門部中之至少一者。

於所拍攝之部位中之第1內視鏡影像之數量較其他部位少之情形時，亦可藉由使用將第1內視鏡影像旋轉、放大、縮小、進行像素數之變更、明暗部之擷取、或色調變化部位之擷取中之至少一種而使所有部位中之上述第1內視鏡影像之數量實質上相等。

經訓練之類神經網路可設為能夠輸出與被拍攝有第2內視鏡影像之部位對應之資訊，又，亦可一併輸出機率或重症度以及與部位對應之資訊。

於第1內視鏡影像包含胃內視鏡影像之情形時，作為疾病，亦可包含幽門螺旋桿菌感染或幽門螺旋桿菌除菌之有無之至少一種。於第1內視鏡影像包含大腸內視鏡影像之情形時，作為疾病，至少包含潰瘍性大腸炎，經訓練之類神經網路亦可劃分為與上述潰瘍性大腸炎之重症度對應之複數個階段而輸出。於第1內視鏡影像包含食道內視鏡影像之情形時，作為疾病，包含食道癌、胃食道逆流症、或食道炎中之至少一種，經訓練之類神經網路亦可劃分並輸出食道癌、胃食道逆流症、或食道炎中之至少一種。

第2內視鏡影像亦可為利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端型系統而提供之影像、記錄於電腦可讀取之記錄媒體之影像、或動態影像中之至少一種。又，作為類神經網路，亦可使用卷積類神經網路。

[實施形態6] 參照圖24，對實施形態6之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援系統、藉由消化器官之內視鏡影像之診斷支援程式、及電腦可讀取之記錄媒體進行說明。於實施形態6中，可利用於實施形態1～4中說明之藉由消化器官之內視鏡影像之疾病的診斷支援系統。藉由消化器官之內視鏡影像之疾病的診斷支援系統具有內視鏡影像輸入部10、輸出部30、及組入有類神經網路之電腦20。電腦20具備：第1記憶區域21，其記憶消化器官之第1內視鏡影像；第2記憶區域22，其記憶與第1內視鏡影像對應之消化器官之疾病之陽性或陰性、過去之疾病、重症度之等級、或與所拍攝之部位對應之資訊中之至少一者之確診結果；及第3記憶區域23，其記憶類神經網路程式。記憶於第3記憶區域23之類神經網路程式係基於記憶於第1記憶區域21之第1內視鏡影像、及記憶於第2記憶區域22之確診結果被訓練，且基於自內視鏡影像輸入部10輸入之消化器官之第2內視鏡影像將相對於第2內視鏡影像之消化器官之疾病之陽性及/或陰性之機率、過去之疾病之機率、疾病之重症度之等級、或與所拍攝之部位對應之資訊中之至少一者輸出至輸出部30。

第1內視鏡影像亦可進行對比度之調整。又，第1內視鏡影像亦可分別與被拍攝之部位建立關聯。作為部位，可包含咽部、食道、胃或十二指腸中之至少一者，該部位亦可於複數個消化器官中之至少一者中被劃分為複數個部位。於部位係胃之情形時，劃分可包含上部胃、中部胃或下部胃中之至少一者，又，劃分亦可包含賁門部、胃底部、胃體部、胃角部、前庭部、幽門竇或幽門部中之至少一者。

經訓練之類神經網路程式可設為能夠輸出與被拍攝有第2內視鏡影像之部位對應之資訊，又，亦可一併輸出機率或重症度以及與部位對應之資訊。

藉由消化器官之內視鏡影像之疾病的診斷支援系統具備用以作為各構件使電腦動作之藉由消化器官之內視鏡影像之診斷支援程式。又，藉由消化器官之內視鏡影像之診斷支援程式可預先記憶於電腦可讀取之記錄媒體。

[實施形態7] 參照圖25，對實施形態7之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別方法進行說明。於實施形態7中，可利用於實施形態1～4中說明之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別方法。於S11中，使用消化器官之第1內視鏡影像、及對應於第1內視鏡影像之與所拍攝之部位對應之資訊之確定資訊訓練類神經網路。於S12中，經訓練之類神經網路基於消化器官之第2內視鏡影像輸出與該消化器官之被拍攝之部位對應之資訊。

[實施形態8] 參照圖26對實施形態8之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別系統、藉由消化器官之內視鏡影像之消化器官之部位的判別程式、及電腦可讀取之記錄媒體進行說明。於實施形態8中，可利用於實施形態1～4中說明之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別系統。實施形態8之藉由消化器官之內視鏡影像之消化器官之部位的判別系統具有內視鏡影像輸入部40、輸出部60、及組入有類神經網路之電腦50。電腦50具備：第1記憶區域51，其記憶消化器官之第1內視鏡影像；第2記憶區域52，其記憶對應於第1內視鏡影像之與消化器官之被拍攝之部位對應之資訊之確定資訊；及第3記憶區域53，其記憶類神經網路程式。記憶於第3記憶區域53之類神經網路程式係基於記憶於第1記憶區域51之第1內視鏡影像、及記憶於第2記憶區域52之確定資訊被訓練，且基於自內視鏡影像輸入部40輸入之消化器官之第2內視鏡影像將相對於第2內視鏡影像之與消化器官之被拍攝之部位對應之資訊輸出至輸出部60。

藉由消化器官之內視鏡影像之消化器官之部位的判別系統具備用以作為各構件進行動作之藉由消化器官之內視鏡影像之消化器官之部位的判別程式。又，藉由消化器官之內視鏡影像之消化器官之部位的判別程式可記憶於電腦可讀取之記錄媒體。

10‧‧‧內視鏡影像輸入部

20‧‧‧電腦

21‧‧‧第1記憶區域

22‧‧‧第2記憶區域

23‧‧‧第3記憶區域

30‧‧‧輸出部

40‧‧‧內視鏡影像輸入部

50‧‧‧電腦

51‧‧‧第1記憶區域

52‧‧‧第2記憶區域

53‧‧‧第3記憶區域

60‧‧‧輸出部

S1、S2、S11、S12‧‧‧步驟

圖1之圖1A係H.pylori感染呈陽性之情形時之胃內視鏡影像例，圖1B係H.pylori感染呈陰性之情形時之胃內視鏡影像例。圖2係表示為了測試資料集而進行患者之篩選之圖。圖3係表示GoogLeNet之動作之模式概念圖。圖4係表示說明第一次學習結果之ROC曲線及內視鏡檢查醫生之H.pylori感染診斷結果之圖。圖5係表示說明第2次實施結果之ROC曲線及內視鏡檢查醫生之H.pylori感染診斷結果之圖。圖6係表示基於日本之準則之胃之主要之解剖學分類及準解剖學分類之圖。圖7係實施形態2之CNN系統之流程圖之概略圖。圖8之圖8A係利用實施形態2之CNN系統所得之喉頭之影像之ROC曲線，圖8B係同樣地利用CNN系統所得之食道之影像之ROC曲線，圖8C係同樣地利用CNN系統所得之胃之影像之ROC曲線，圖8D係同樣地利用CNN系統所得之十二指腸之影像之ROC曲線。圖9之圖9A係利用實施形態2之CNN系統所得之上部胃之影像之ROC曲線，圖9B係同樣地利用CNN系統所得之中部胃之影像之ROC曲線，圖9C係同樣地利用CNN系統所得之下部胃之影像之ROC曲線。圖10之圖10A係被誤分類為下部胃之十二指腸之影像，圖10B係被正確分類之下部胃之影像。圖11之圖11A係被誤分類為下部胃之食道之影像，圖11B係被正確地分類為下部胃之下部胃之影像。圖12之圖12A係被誤分類為中部胃之十二指腸之影像，12B係被正確分類之上部胃之影像。圖13之圖13A係被誤分類為食道之咽部之影像，圖13B係被正確分類之食道之影像。圖14A～D係被分類為典型之Mayo0～Mayo3之大腸內視鏡影像。圖15係實施形態3之CNN庫之診斷系統之概要圖。圖16A～C係表示實施形態3之CNN之代表性影像及3劃分之Mayo分類之例的圖。圖17A、B係實施形態3之2劃分之Mayo分類中之ROC曲線。圖18係實施形態4之低倍率影像(a～e)及高倍率影像(f～j)之例。圖19係於實施形態4中分別被分類為類型1(圖19a)、類型2(圖19b)、類型3(圖19c)之影像之例。圖20之圖20A係實施形態4之所有影像之ROC曲線，圖20B同樣係HMP之情形時之ROC曲線，圖20C同樣係LMP之情形時之ROC曲線。圖21係實施形態4之CNN誤診為非惡性之例之影像，圖21A係通常內視鏡影像，圖21B同樣係超放大內視鏡影像，圖21C同樣係病理組織檢查影像。圖22係內視鏡專科醫生誤診為惡性之例之影像，圖22A係通常內視鏡影像，圖22B同樣係超放大內視鏡影像，圖22C同樣係病理組織檢查影像。圖23係實施形態5之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法之方塊圖。圖24係關於實施形態6之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援系統、藉由消化器官之內視鏡影像之診斷支援程式、及電腦可讀取之記錄媒體之方塊圖。圖25係實施形態7之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別方法之方塊圖。圖26係關於實施形態8之使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別系統、藉由消化器官之內視鏡影像之消化器官之部位的判別程式、及電腦可讀取之記錄媒體的方塊圖。

Claims

一種使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：使用消化器官之第1內視鏡影像、及與上述第1內視鏡影像對應之上述消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、或與所拍攝之部位對應之資訊中之至少一者之確診結果，訓練類神經網路，且上述經訓練之類神經網路基於消化器官之第2內視鏡影像輸出該消化器官之疾病之陽性及/或陰性之機率、過去之疾病之機率、疾病之重症度之等級、或與所拍攝之部位對應之資訊中之至少一者。
如請求項1之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述第1內視鏡影像進行了對比度之調整。
如請求項1或2之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述第1內視鏡影像分別與所拍攝之部位建立了關聯。
如請求項3之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述部位包含咽部、食道、胃或十二指腸中之至少一者。
如請求項3或4之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述部位於上述複數個消化器官中之至少一者中被劃分為複數個部位。
如請求項5之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中於上述部位係胃之情形時，上述劃分包含上部胃、中部胃或下部胃中之至少一者。
如請求項5之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中於上述部位係胃之情形時，上述劃分包含賁門部、胃底部、胃體部、胃角部、前庭部、幽門竇或幽門部中之至少一者。
如請求項3至7中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中於上述所拍攝之部位中之上述第1內視鏡影像之數量較其他部位少之情形時，藉由使用將上述第1內視鏡影像旋轉、放大、縮小、進行像素數之變更、明暗部之擷取、或色調變化部位之擷取中之至少一種，而使所有部位中之上述第1內視鏡影像之數量實質上相等。
如請求項3至8中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述經訓練之類神經網路能夠輸出與被拍攝有上述第2內視鏡影像之部位對應之資訊。
如請求項9之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述經訓練之類神經網路一併輸出上述機率或上述重症度以及與上述部位對應之資訊。
如請求項1至10中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述第1內視鏡影像包含胃內視鏡影像，上述疾病包含幽門螺旋桿菌感染或幽門螺旋桿菌除菌之有無之至少一種。
如請求項1至10中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述第1內視鏡影像包含大腸內視鏡影像，上述疾病至少包含潰瘍性大腸炎，上述經訓練之類神經網路劃分為與上述潰瘍性大腸炎之重症度對應之複數個階段而輸出。
如請求項1至10中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述第1內視鏡影像包含利用超放大內視鏡所得之食道內視鏡影像，上述疾病包含食道癌、胃食道逆流症、或食道炎中之至少一種，上述經訓練之類神經網路劃分並輸出上述食道癌、胃食道逆流症、或食道炎中之至少一種。
如請求項1至13中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述第2內視鏡影像係利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端型系統而提供之影像、記錄於電腦可讀取之記錄媒體之影像、或動態影像中之至少一種。
如請求項1至14中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中作為上述類神經網路，使用卷積類神經網路。
一種藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：具有內視鏡影像輸入部、輸出部、及組入有類神經網路之電腦，且上述電腦具備：第1記憶區域，其記憶消化器官之第1內視鏡影像；第2記憶區域，其記憶與上述第1內視鏡影像對應之上述消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、或與所拍攝之部位對應之資訊中之至少一者之確診結果；及第3記憶區域，其記憶上述類神經網路程式；且上述類神經網路程式係基於記憶於上述第1記憶區域之上述第1內視鏡影像、及記憶於上述第2記憶區域之確診結果被訓練，且基於自上述內視鏡影像輸入部輸入之消化器官之第2內視鏡影像，將相對於上述第2內視鏡影像之消化器官之疾病之陽性及/或陰性之機率、過去之疾病之機率、疾病之重症度之等級、或與所拍攝之部位對應之資訊中之至少一者輸出至上述輸出部。
如請求項16之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述第1內視鏡影像進行了對比度之調整。
如請求項16或17之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述第1內視鏡影像分別與所拍攝之部位建立了關聯。
如請求項18之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述部位包含咽部、食道、胃或十二指腸中之至少一者。
如請求項18或19之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述部位於上述複數個消化器官中之至少一者中被劃分為複數個部位。
如請求項20之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中於上述部位係胃之情形時，上述劃分包含上部胃、中部胃或下部胃中之至少一者。
如請求項20之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中於上述部位係胃之情形時，上述劃分包含賁門部、胃底部、胃體部、胃角部、前庭部、幽門竇或幽門部中之至少一者。
如請求項16至22中任一項之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中於上述所拍攝之部位中之上述第1內視鏡影像之數量較其他部位少之情形時，藉由使用將上述第1內視鏡影像旋轉、放大、縮小、進行像素數之變更、明暗部之擷取或色調變化部位之擷取中之至少一種，而使所有部位中之訓練/驗證資料之數量實質上相等。
如請求項16至23中任一項之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述經訓練之類神經網路程式能夠輸出與被拍攝有上述第2內視鏡影像之部位對應之資訊。
如請求項24之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述經訓練之類神經網路程式一併輸出上述機率或上述重症度以及與上述部位對應之資訊。
如請求項16至25中任一項之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述第1內視鏡影像包含胃內視鏡影像，上述疾病包含幽門螺旋桿菌感染或幽門螺旋桿菌除菌之有無之至少一種。
如請求項16至25中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述第1內視鏡影像包含大腸內視鏡影像，上述疾病至少包含潰瘍性大腸炎，上述經訓練之類神經網路程式劃分為與上述潰瘍性大腸炎之重症度對應之複數個階段而輸出。
如請求項16至25中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述第1內視鏡影像包含利用超放大內視鏡所得之食道內視鏡影像，上述疾病包含食道癌、胃食道逆流症、或食道炎中之至少一種，上述經訓練之類神經網路劃分並輸出上述食道癌、胃食道逆流症、或食道炎中之至少一種。
如請求項16至28中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述第2內視鏡影像係利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端型系統而提供之影像、記錄於電腦可讀取之記錄媒體之影像、或動態影像中之至少一種。
如請求項16至29中任一項之使用類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述類神經網路係卷積類神經網路。
一種藉由消化器官之內視鏡影像之診斷支援程式，其特徵在於：其係用以使電腦作為如請求項16至30中任一項之藉由消化器官之內視鏡影像之疾病的診斷支援系統中之各構件而動作者。
一種電腦可讀取之記錄媒體，其特徵在於：記錄有如請求項31之藉由消化器官之內視鏡影像之診斷支援程式。
一種使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別方法，其特徵在於：使用消化器官之第1內視鏡影像、及對應於上述第1內視鏡影像之與所拍攝之部位對應之資訊之確定資訊訓練類神經網路，上述經訓練之類神經網路基於消化器官之第2內視鏡影像輸出與該消化器官之被拍攝之部位對應之資訊。
一種使用類神經網路之藉由消化器官之內視鏡影像之消化器官之部位的判別系統，其特徵在於：其係具有內視鏡影像輸入部、輸出部、及組入有類神經網路之電腦的藉由消化器官之內視鏡影像之消化器官之部位的判別系統，且上述電腦具備：第1記憶區域，其記憶消化器官之第1內視鏡影像；第2記憶區域，其記憶對應於上述第1內視鏡影像之與上述消化器官之被拍攝之部位對應之資訊之確定資訊；及第3記憶區域，其記憶上述類神經網路程式；且上述類神經網路程式係基於記憶於上述第1記憶區域之上述第1內視鏡影像、及記憶於上述第2記憶區域之確定資訊被訓練，且基於自上述內視鏡影像輸入部輸入之消化器官之第2內視鏡影像，將相對於上述第2內視鏡影像之與消化器官之被拍攝之部位對應之資訊輸出至上述輸出部。
一種藉由消化器官之內視鏡影像之消化器官之部位的判別程式，其特徵在於：其係用以作為如請求項34之藉由消化器官之內視鏡影像之消化器官之部位的判別系統中之各構件進行動作者。
一種電腦可讀取之記錄媒體，其特徵在於：記錄有如請求項35之藉由消化器官之內視鏡影像之消化器官之部位的判別程式。