[go: up one dir, main page]

TWI828109B - 用於組織分割之機器學習模型的交互式訓練 - Google Patents

用於組織分割之機器學習模型的交互式訓練 Download PDF

Info

Publication number
TWI828109B
TWI828109B TW111113578A TW111113578A TWI828109B TW I828109 B TWI828109 B TW I828109B TW 111113578 A TW111113578 A TW 111113578A TW 111113578 A TW111113578 A TW 111113578A TW I828109 B TWI828109 B TW I828109B
Authority
TW
Taiwan
Prior art keywords
user
image
partition
tissue
automatic
Prior art date
Application number
TW111113578A
Other languages
English (en)
Other versions
TW202232387A (zh
Inventor
蘇米特庫瑪 嘉
亞迪堤雅 希思塔
甘奈許庫瑪莫哈能 洛格尤納坦
悠貝 穆瑪
凱達 史派勒
Original Assignee
美商應用材料股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商應用材料股份有限公司 filed Critical 美商應用材料股份有限公司
Publication of TW202232387A publication Critical patent/TW202232387A/zh
Application granted granted Critical
Publication of TWI828109B publication Critical patent/TWI828109B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本案有關用於訓練機器學習模型以分割組織樣本之放大影像的方法、系統、及設備，包括經編碼在電腦儲存媒體上的電腦程式。在一態樣中，一種方法包含取得組織樣本的放大影像；按照一機器學習模型的模型參數的目前值來處理輸入，以產生讓該影像成為複數個組織分類的自動分區，該輸入包含該影像、自該影像得出的特徵、或以上兩者；藉由使用者介面向使用者提供針對以下的表示：(i)該影像、及(ii)該影像的該自動分區；決定該影像的經編輯分區，包含對該影像的該自動分區施加該使用者所指定的該等修改；及基於該影像的該經編輯分區，決定該機器學習模型的該等模型參數的更新值。

Description

用於組織分割之機器學習模型的交互式訓練
本說明書有關利用機器學習模型來處理組織樣本的放大影像。
機器學習模型接收輸入並基於該經接收輸入而產生輸出（例如預測輸出）。有些機器學習模型為參數性模型而基於所接收輸入和該模型的參數的值來產生輸出。
有些機器學習模型為採用多層模型以針對一所接收輸入產生輸出的深度模型。例如，深度神經網路是包括一輸出層和一或更多個隱藏層的深度機器學習模型，該一或更多個隱藏層各對經接收輸入應用非線性轉換來產生輸出。
本說明書說明一種系統，其經實施成在一或更多個地點的一或更多個電腦上的電腦程式，以用於將組織樣本的放大影像分割成為個別的組織分類。
按照第一態樣，提供一種由一或更多個資料處理設備進行以訓練一機器學習模型來分割組織樣本之放大影像的方法。該方法包括重複地進行包括取得一組織樣本之一放大影像的操作。一輸入經按照一機器學習模型的模型參數的目前值被處理，以產生讓該影像成為一組織分類集合的自動分區，該輸入包含該影像、自該影像得出的特徵、或以上兩者，其中該自動分區指定對應於該影像之各像素的一相應組織分類。藉由一使用者介面向一使用者提供針對以下的表示：(i)該影像、及(ii)該影像的自動分區。藉由該使用者介面從該使用者取得一輸入，該輸入指定對該影像的該自動分區的一或更多個修改。決定該影像的經編輯分區，包括將該使用者指定的修改施加至該影像的該自動分區。該機器學習模型的模型參數的更新值經基於該影像的該經編輯分區決定。
在一些實施方式中，該組織分類集合包括癌組織及非癌組織。
在一些實施方式中，該影像是利用一顯微鏡擷取的全玻片影像（whole slide image）（WSI）。
在一些實施方式中，該機器學習模型包括一神經網路模型。
在一些實施方式中，該神經網路模型是包括一或更多個卷積神經網路層的一卷積神經網路模型。
在一些實施方式中，藉由該使用者介面向該使用者提供針對(i)該影像、及(ii)該影像的該自動分區的一表示的步驟包括：藉由該使用者介面向該使用者提供一視像，該視像描繪疊加在該影像上的該自動分區。
在一些實施方式中，描繪疊加在該影像上的該自動分區的該視像指示出對應於該影像之各像素的該個別組織分類。
在一些實施方式中，該自動分區的各修改指示出，對於該影像的一或更多個像素而言，對於由該自動分區為該像素所指定的該個別組織分類的一改變。對該影像的該自動分區施加該使用者所指定的該等修改的步驟包括：按照由該使用者指定的該等修改，改變對應於該影像的一或更多個像素的該等組織分類。
在一些實施方式中，基於該影像的該經編輯分區來決定該等模型參數的更新值的步驟包括：決定一目標函數的梯度，該目標函數特性化在以下兩者之間的一相似性：(i)該影像的該自動分區、及(ii)該影像的該經編輯分區；及利用該等梯度來調整該等模型參數的值。
在一些實施方式中，該方法進一步包括決定一專業度得分，該專業度得分特性化該使用者在檢視及編輯組織分區上的一預測技能。
按照另一態樣，提供有一種系統，包括：一或更多個電腦；及通訊耦合至該一或更多個電腦的一或更多個儲存裝置，其中該一或更多個儲存裝置儲存指令，當該等指令由該一或更多個電腦執行時，致使該一或更多個電腦進行第一個態樣的方法的操作。
按照第三個態樣，提供有一或更多儲存指令的非暫時性電腦儲存媒體，當該等指令由一或更多個電腦執行時致使該一或更多個電腦進行第一個態樣的方法的操作。
本說明書說明的所請標的之特定實施例能經實施以實現以下優點中的一或更多者。本說明書中所述分割系統使使用者（例如病理學家）能夠與機器學習模型協作，以既省時又高度準確的方式將組織樣本的放大影像分割成為（目標）組織分類。本說明書說明用於計算一使用者之「專業度」得分的技術，該專業度得分特性化該使用者在人工檢視及編輯分區結果（即對目標組織分類的分區）上的預測技能。該等專業度得分能經用以改良分割系統的效能。例如，該等專業度得分能經用以改良經使用以訓練該分割系統的訓練資料的品質，例如藉由基於使用者的專業度得分來決定是否將該使用者產生的分區結果包括在訓練資料中。
本說明書之所請標的之一或更多個實施例的細節經闡述在隨附圖式及以下說明中。所請標的之其他特徵、態樣、及優點將從說明、圖式及申請專利範圍中顯而易見。
本說明書描述一種用於將組織樣本之放大影像（例如利用顯微鏡，像是光學顯微鏡，所產生的組織樣本之放大影像）分割成為個別組織分類的分割系統。更特定地，該分割系統能處理組織樣本的放大影像以識別出對應於該影像之各像素的個別（目標）組織分類。該影像中一像素的（目標）組織分類表現出在該組織樣本對應於該像素的部分中的組織類型的特徵。
如在本文件之整體中所使用的，「顯微鏡」可能指能夠產生樣本之放大影像的任何系統，例如利用1維（1-D）光偵測器陣列、或利用電荷耦合裝置（CCD）的2-D陣列。
分割系統能經配置以將影像分割成為任何適當的組織分類集合。在一例中，分割系統可將影像分割成為癌組織與非癌組織。在另一例中，分割系統可將影像分割成為：健康的組織、癌組織、及壞死組織。另一例中，分割系統可將影像分割成為：肌肉組織、神經組織、結締組織、上皮組織、及「其他」組織。能在各式各樣的環境之任意者中使用分割系統，例如為了分割藉由活體組織切片程序從病患取得的組織樣本放大影像。該些組織樣本能為任何適當種類之組織的樣本，例如前列腺組織、乳房組織、肝臟組織、或腎臟組織。分割系統所產生的分區能被使用於各種用途之任意者，例如用以特性化疾病（例如癌症）的存在或程度。
將組織樣本的單一放大影像人工分割可能是耗費數小時時間的困難任務，例如因為該影像的高維度（可能有10 10個像素的數量級）。另一方面，能訓練一機器學習模型來以顯著較少的時間（例如數秒或數分鐘，像是10～30分鐘）來將組織樣本的放大影像自動分割。然而，可能難以將一機器學習模型訓練到達成將被認為針對特定實際應用（例如辨識出在活體組織切片樣本中的癌組織）為可接受的準確程度。特定言之，由於組織之固有因素（例如組織中出現的疾病類型與階段）與組織之外在因素（例如顯微鏡如何校準以及被用以將組織染色的程序）兩者所致，組織的顯微鏡外觀可能非常複雜且多變。此使得要彙整足夠大以捕捉到組織之顯微外觀中的可能變異的完整範圍的經標記訓練資料（即，用於訓練機器學習模型者）的集合，是困難的。
本說明書中所述分割系統使使用者（例如病理學家）能夠與機器學習模型協作，以既省時又高度準確的方式分割組織樣本。為分割一影像，機器學習模型先產生該影像的自動分區，該影像的該自動分區經後續地藉由使用者介面提供給該使用者，該使用者介面讓使用者能檢視並依需要人工地編輯該自動分區。「經編輯的」分區結果由該分割系統提供做為輸出，也被用以更新機器學習模型的參數值（例如即刻地或在一後續時間點）以使該機器學習模型產生更密切符合使用者之分區結果的分區。
以此方式，該機器學習模型不是以靜態且有限的訓練資料集合（如同在一些習用系統中）被訓練一次，卻是持續地學習並基於由使用者藉由經編輯分區結果所提供的回饋來調適其參數值。此外，使用者不需要從零開始分割一影像，卻能從該機器學習模型所產生的自動分區結果開始，並可能由於該機器學習模型持續地改善，在長時間上該使用者需要對該些自動分區結果做出較少的校正。
相對於個別的細胞，在此「組織」一詞指的是具有類似結構及功能的一群細胞。組織的顏色、紋理、及類似的影像屬性顯著不同於個別細胞的該些屬性，因此適用於細胞歸類的影像處理技術往往無法適用於分割組織樣本的影像以及歸類該些分割結果。
以上特徵與其他特徵將在以下更詳細說明。
第1圖顯示一範例分割系統100。分割系統100是經實施成在一或更多個地點的一或更多個電腦上的電腦程式之系統的範例，以下說明之系統、組件、及技術經實施成該等電腦程式。
分割系統100經配置以處理一組織樣本的一放大影像102，以產生該影像102成為個別組織分類（例如癌變的及非癌變的組織分類）的分區104。
影像102可為（例如）安裝在一顯微鏡玻片上之組織樣本的全玻片影像（WSI），其中該WSI是利用一光學顯微鏡產生並利用數位相機擷取的。影像102能以各式各樣方法之任意者表示，例如表示成像素的二維（2-D）陣列，其中各像素關聯於數值的一向量，其特性化該等像素的外觀，例如界定該像素之紅綠藍（RGB）顏色的3-D向量。表示出影像102的像素陣列可具有數量級為（例如）10 5×10 5個像素的維度，而可佔據數十億位元組（GB）的記憶體。系統100可以各式各樣方式之任一者來接收影像102，例如作為來自系統之使用者利用使用者介面所上傳的影像，該使用者介面由系統100提供。
機器學習模型106經配置以按照一組模型參數108的目前值處理影像102、自影像102得出的特徵、或以上兩者，以產生影像102的一自動分區110，該自動分區指定對應於影像102之各像素的一個別組織分類。機器學習模型106可為（例如）神經網路模型、隨機森林模型、支持向量機器模型、或線性模型。在一例中，機器學習模型可為一卷積神經網路，該卷積神經網路具有接收影像102的一輸入層、處理該影像以在漸進升高之抽象程度下產生該影像之替代表示方式的一組卷積層、以及一歸一化（soft-max）輸出層。另一例中，機器學習模型可為一隨機森林模型，其經配置以處理影像102之各像素的個別特徵表示方式，來產生指定了用於該像素之組織分類的一輸出。在此例中，像素的特徵表示方式指的是數值的一有序集合（例如數值的向量），其特性化該像素的外觀。特徵表示方式可利用（例如）定向梯度（HOG）特徵、加速強大特徵（SURF）、或尺度不變特徵轉換（SIFT）特徵的直方圖而產生。
模型參數108是在訓練機器學習模型106的期間所學習的一數值集合，其指定機器學習模型106所進行以產生影像102之自動分區110的操作。例如，若機器學習模型106是一神經網路，模型參數108可指定該神經網路之各層的權值，例如該神經網路之各卷積層的卷積過濾器的權值。（用於神經網路之一給定層的權值可指關聯於該給定層的神經元與該神經網路中之前一層中神經元之間的連接的值）。做為另一例，若機器學習模型106是隨機森林模型，模型參數108可指定於該隨機森林之各決策樹的各節點處使用的個別分裂函數的參數值。做為另一例，若機器學習模型106是一線性模型，模型參數108可指定該線性模型的係數。
系統100在一使用者介面112的顯示裝置上顯示影像102及該影像的自動分區110。例如，系統100可顯示一視像（visualization），其描繪疊加至影像102上的自動分區110，如參照第2圖所示。使用者介面112可具有任何適當種類的顯示裝置，例如液晶顯示器（LCD）。
使用者介面112使該系統的使用者（例如病理學家）檢視影像102及自動分區110，並隨需要藉由指定對自動分區110的一或更多個修改來編輯自動分區110。修改自動分區110指的是針對影像102的一或更多個像素，將自動分區110指定的組織分類改變成一不同組織分類。一般，使用者可編輯自動分區110以校正自動分區110中的任何錯誤。例如，使用者介面112可讓使用者能藉由將被該自動分區結果指定為具有特定組織分類（例如癌組織）的該影像的一區重新標記為具有一預設組織分類（例如非癌組織），來「取消選取」該影像的該區。做為另一例，使用者介面112可使使用者能「選取」該影像的一區並將該區標記為具有某一組織分類（例如癌組織）。做為另一例，使用者介面112可使使用者能改變被標記為具有一特定組織分類的該區域。能（例如）藉由拖曳圍繞一區域的多邊形的角落來進行對該區域的改變。
使用者可以各式各樣方式中任意者來與使用者介面112互動以編輯自動分區110，例如利用電腦滑鼠、觸控螢幕、或以上兩者。例如，為選取該影像的一區域並將該區域標記成具有一組織分類，使用者可利用游標在圍繞該影像之該區域處繪製一封閉環形，並接著從一下拉式選單選取所欲的組織分類。使用者可藉由對該使用者介面提供一適當輸入（例如點擊「完畢」按鈕）來指示出對該自動分區的編輯已完成，此時經編輯的分區114（即已由使用者重新檢視並可能經修改的分區）被提供做為輸出。例如，經輸出的分區104可被儲存在關聯於一病患識別符的醫療紀錄資料存儲中。
除了提供經編輯的分區114作為輸出，系統100也可利用經編輯的分區114來產生一訓練範例，該訓練範例指明：(i)該影像、及(ii)經編輯的分區114，並將該訓練範例儲存在一組訓練資料116中。一般，訓練資料116儲存多個訓練範例（即各範例指定一個別影像及一經編輯分區結果），並可隨著使用者產生新影像的編輯分區而持續地隨時間被擴充。系統100利用訓練引擎118來藉由更新模型參數108在訓練資料116上重複地訓練機器學習模型106，以鼓勵機器學習模型106產生符合訓練資料116指定之經編輯分區的自動分區結果。
只要當滿足一訓練標準之時，訓練引擎118就可在訓練資料116上訓練機器學習模型106。例如，每次有預先定義之數量的新訓練範例被加至訓練資料116，訓練引擎118就可訓練機器學習模型106。做為另一例，訓練引擎118可在每次機器學習模型106產生了與使用者所指定之對應經編輯分區114實質上相異的自動分區110時訓練機器學習模型106。在此例中，訓練引擎118可利用自動分區110與經編輯的分區114之間的實質不同作為機器學習模型106無法正確分割一影像且機器學習模型106應該被訓練以避免重複錯誤的暗示。若兩分區結果之間的相似性量測（例如Jaccard指數相似性量測）不滿足一預先決定的閾值，訓練引擎118可判定該兩分區結果為實質上不同的。
訓練引擎118在訓練資料116上訓練機器學習模型106的方式依照機器學習模型106的形式而定。在一些情況中，訓練引擎118可藉由決定對模型參數108之目前值的調整來訓練機器學習模型106。在其他情況中，訓練引擎118可藉由在每次訓練機器學習模型106時將模型參數108初始化為預設值（例如取樣自一預先定義的機率分佈的值，例如標準常態分佈）來開始。
以下列情況作為一例，其中機器學習模型106是神經網路模型，而訓練引擎118利用一或更多次迭代之隨機梯度下降來訓練該神經網路模型。在此例中，於各次迭代，訓練引擎118從訓練資料116選擇一「批次」（組）訓練範例，例如隨機選擇預定個數的訓練範例。訓練引擎118按照模型參數108的目前值來利用機器學習模型106處理來自各個經選擇訓練範例的影像102，以產生對應的自動分區。訓練引擎118決定針對模型參數108而言一目標函數的梯度，其中該目標函數量測以下兩者之間的相似性：(i)機器學習模型106產生的自動分區，及(ii)該等訓練範例指定的經編輯分區。訓練引擎118接著利用目標函數的梯度來調整機器學習模型106之模型參數108的目前值。該目標函數可為例如像素層級交叉熵（cross entropy）目標函數，訓練引擎118可利用反向傳播技術來決定梯度，及訓練引擎118可利用任何適當的梯度下降技術來調整模型參數108的目前值，例如Adam或RMSprop。
可選地，訓練引擎118可較佳地在較近期產生之訓練範例上（即，相較於將各訓練範例平等看待）訓練機器學習模型106。例如，訓練引擎118可在從訓練資料116取樣之訓練範例上訓練機器學習模型106，在該訓練資料中較近期產生的訓練範例比起較舊的訓練範例有更高的可能性被取樣。在較近期產生之訓練範例上較佳地訓練機器學習模型106能使機器學習模型106能聚焦在從較新的訓練範例學習，同時維持從較舊訓練範例所得到的洞見。
一般，系統100訓練機器學習模型106以產生符合系統100之使用者（例如病理學家）指定的經編輯分區114的自動分區110。然而，某些使用者可能在針對準確度而重新檢視及編輯機器學習模型106上比其他人更具技能。例如，較有經驗的病理學家比起較資淺的病理學家，可能在重新檢視及編輯複雜且模擬兩可之組織樣本的分區上達成較高的正確度。在一些實施方式中，系統100的各使用者可關聯於一「專業度」得分，其將該使用者在重新檢視及編輯分區結果上的預測技能特性化。在這些實施方式中，可僅利用由具有足夠高之專業度得分（例如滿足一預定閾值的專業度得分）的使用者產生的經編輯分區來訓練機器學習模型106。將較詳細地參照第4圖說明用於決定一使用者之專業度得分的範例流程。
基於產生一經編輯分區之使用者的專業度得分來決定是否在該經編輯分區上訓練機器學習模型106，能藉由改善訓練資料的品質來改善機器學習模型106的效能。可選地，系統100的使用者可針對提供了被用以訓練機器學習模型106的分區結果而得到補償（例如財務上或其他方式）。在一例中，提供給使用者的補償數量可依使用者的專業度得分而定，而具有較高專業度得分的使用者可比具有較低專業度得分的使用者收到更多補償。
可選地，系統100可為分散式系統，其中該系統的不同組件彼此遠離而在一資料通訊網路（例如網際網路）上通訊。例如，使用者介面112（包括顯示裝置）可經實施在臨床環境中（例如醫院），同時機器學習模型106和訓練引擎118可經實施在遠端資料中心中。
可選地，可提供給系統100之使用者停用機器學習模型106的選項。若此選項被選擇，該使用者能載入影像102並在沒有利用機器學習模型106下人工地分割該等影像。
第2圖是組織樣本的放大影像200，其中區域202-A～202-E（與該影像在區域202-A～202-E以外的部分）對應於個別的組織分類。
第3圖是重複訓練一機器學習模型來分割組織樣本之放大影像的範例程序300之流程圖。為了方便，將把程序300描述成由位在一或更多個地點中之一或更多個電腦的系統進行。例如，如第1圖之分割系統100、經按照本說明書適當地程式化的一分割系統，能進行程序300。
該系統取得組織樣本的放大影像（302）。例如，該影像可為來自一病患之活體樣本的放大全玻片影像，該影像為利用顯微鏡所產生。
該系統按照機器學習模型之模型參數的目前值處理一輸入，以產生該影像成為一組（目標）組織分類的一自動分區（304），該輸入包括：(i)該影像、(ii)自該影像得出的特徵、或(iii)兩者。該自動分區指定對應於該影像之各像素的一個別組織分類。該等組織分類可包括癌組織及非癌組織。該機器學習模型可為神經網路模型，例如具有一或更多個卷積層的卷積神經網路模型。
該系統藉由使用者介面對該使用者提供以下的一表示：(i)該影像、及(ii)該影像的該自動分區（306）。例如，該系統可提供一視像，其藉由使用者介面的顯示裝置描繪疊加在該影像上的該自動分區。疊加在該影像上的該自動分區的該視像可表示出由自動分區所劃分出之區域之各者的預測組織類型。例如，該視像可藉由基於組織類型來將一區域著色，以指示出該區域的預測組織類型，例如癌組織被著成紅色，同時非癌組織被著成綠色。
該系統藉由該使用者介面從該使用者取得一輸入，該輸入指定對該影像之該自動分區的一或更多個修改（308）。該自動分區的各修改可指示出，針對該影像的一或更多個像素，對於該自動分區為該影像指定之個別組織分類的一改變。
該系統決定該影像的一經編輯分區（310）。例如，該系統可藉由施加使用者藉由使用者介面對該影像之該自動分區所指定的修改，來決定該影像的經編輯分區。
該系統基於該影像的該經編輯分區，決定機器學習模型的模型參數的更新值（312）。例如，該系統可決定一目標函數的梯度，該目標函數特性化以下兩者之間的相似性：(i)該影像的該自動分區，及(ii)該影像的該經編輯的分區，並接著利用該等梯度來調整模型參數的值。在一些情況中，該系統可僅在回應於決定了滿足一訓練標準時（例如當自從上次更新模型參數後已有產生一預先定義個數的新經編輯分區時），才決定機器學習模型之模型參數的更新值。決定了該等模型參數的更新值後，該系統可回到步驟302。若未滿足該訓練標準，則該系統可在沒有訓練該機器學習模型下回到步驟302。
第4圖是用於決定專業度得分的範例程序400的流程圖，該專業度得分特性化一使用者在重新檢視及編輯組織樣本之放大影像的經編輯分區上的預測技能。為了方便，將把程序400描述成由位在一或更多個地點中之一或更多個電腦的系統進行。例如，如第1圖之分割系統100、經按照本說明書適當地程式化的一分割系統，能進行程序400。
該系統取得由該使用者產生的一或更多個組織分區（402）。各組織分區對應於組織樣本的放大影像，並指明了該影像之各像素的一個別組織分類。在一些實施方式中，使用者可能已從零開始（例如在沒有受益於從機器學習模型所產生之自動分區開始）進行分區。
該系統取得一或更多個特徵，該一或更多個特徵特性化使用者的醫療經驗，例如在病理學領域中（404）。例如，該系統可取得將下列一或更多者特性化的特徵：使用者在病理學領域之經歷年數、使用者在病理學領域的學術公開文件的數目、使用者在病理學領域的學術公開文件的引用次數、使用者的學術表現（例如在醫學院）、及使用者目前的職位（例如主治醫師）。
該系統基於以下來決定該使用者的專業度得分：(i)由該使用者產生的組織分區，及(ii)將該使用者之醫療經驗特性化的該等特徵（406）。例如，該系統可將專業度得分決定為以下的函數（例如線性函數）：(i)在使用者所產生之分區與相同圖像之對應「黃金標準」分區之間的相似性量測，及(ii)將使用者之醫療經驗特性化的該等特徵。一影像的黃金標準分區可以是由在進行組織分區上被認可為具有高度專業度的一使用者（例如病理學家）所產生的分區結果。一影像的兩分區結果之間的相似性量測可利用（例如）Jaccard指數來運算。一使用者的專業度得分可被表示成一數值，例如在[0,1]的範圍中。
該系統提供針對該使用者的專業度得分（408）。例如，該系統可提供該使用者的專業度得分以決定是否由該使用者產生的分區結果應被包括在被用以訓練進行自動組織樣本分區的一機器學習模型的訓練資料中。在此例中，惟若一使用者的專業度得分滿足一閾值，由該使用者產生的分區可被包括在訓練資料中。另一例中，該系統可提供該使用者的專業度得分以用於決定該使用者應如何得到針對提供組織樣本分區的補償（例如財務上或其他方式），例如有較高專業度得分者可造成較高的補償。
本說明書在相關於系統及電腦程式組件上利用「經配置」一詞。對於具有將被配置以進行特定操作或動作之一或更多個電腦的一系統而言，表示該系統已在其上安裝軟體、韌體、硬體、或以上之組合，該軟體、韌體、硬體、或其組合在運作中致使該系統進行該等操作或動作。對於將被配置以進行特定操作或動作之一或更多個電腦程式而言，其表示該一或更多個程式包括指令，當該等指令被資料處理設備執行時致使該設備進行該等操作或動作。
本說明書中所述的所請標的實施例與功能性操作能經實施在數位電子電路系統中、在有形地實現的電腦軟體或韌體中、在電腦硬體（包括本說明書中所揭露的結構與其結構均等物）中、或在以上之一或更多者之組合中。本說明書中所述所請標的實施例能經實施成一或更多個電腦程式，即具電腦程式指令的一或更多個模組，該等指令經編碼在一有形的非暫時性儲存媒體上已供由資料處理設備執行（或控制該資料處理設備的操作）。電腦儲存媒體可能是機器可讀取儲存裝置、機器可讀取儲存基板、隨機或序列存取記憶體裝置、或以上之一或更多者的組合。替代地或額外地，該等程式指令能經編碼在人工產生的傳播信號上，例如機器產生的電性、光學、或電磁信號，該信號經產生以將資訊編碼以用於傳輸至適當的接收器設備，供資料處理設備執行。
「資料處理設備」一詞指的是資料處理硬體，並涵蓋用於處理資料的全部種類的設備、裝置、及機器，包括（例如）可程式化處理器（例如中央處理單元(CPU)、圖形處理單元(GPU)）、電腦、或多個處理器或電腦。該設備也可能是（或進一步包括）特殊用途邏輯電路系統，例如FPGA（現場可程式化閘陣列）或ASIC（應用特定積體電路）。除了硬體，該設備能可選擇地包括創造用於電腦程式之一執行環境的代碼，例如構成韌體、協定疊、資料庫管理系統、作業系統、或以上的一或更多者之組合的代碼。
電腦程式（也可稱為或描述為程式、軟體、軟體應用、應用、模組、軟體模組、描述檔(script)、或代碼）能以任何形式的程式語言寫成，包括編譯語言或直譯語言，或宣告式或程序式語言；且電腦程式能以任何形式部署，包括做為一獨立程式或作為模組、組件、次常式、或其他適合用於計算環境中的單元。程式可（但不一定）對應於檔案系統中的一檔案。程式能被儲存在保存其他程式或資料的一檔案的一部分中，例如在一標記語言文件中所儲存的一或更多個描述檔中，在專屬於有問題之程式的單一檔案中，或在多個協作檔案中（例如儲存一或更多個模組、次程式、或部分代碼的檔案）。能將電腦程式部署以在一電腦或多個電腦上執行，該多個電腦位在一個地點處或跨於多個地點分散並由一資料通訊網路互連。
本說明書中「引擎」一詞經廣泛用以指稱一種基於軟體的系統、次系統、或程序，其經程式化以進行一或更多個特定功能。一般而言，引擎將經實施成一或更多個軟體模組或組件，被安裝在一或更多個地點中的一或更多個電腦上。在一些情況中，一或更多個電腦將專用於一特定引擎；其他情況中，能在同一電腦或相同的多個電腦上安裝並運行多個引擎。
本說明書中所述程序及邏輯流程能由執行一或更多個電腦程式的一或更多個可程式化電腦所執行，以藉由在輸入資料上操作並產生輸出來執行功能。該等程序及邏輯流程也能由特殊用途邏輯電路系統進行，例如FPGA或ASIC，或藉由特殊用途邏輯電路系統與一或更多個經程式化之電腦的組合。
適合用於一電腦程式之執行的電腦能為基於一般用途微處理器或特殊用途微處理器或兩者的，或者是基於任何其他種類的中央處理單元。一般，中央處理單元將從唯讀記憶體或隨機存取記憶體或兩者來接收指令及資料。電腦的基本元件是用於執行指令的中央處理單元與用於儲存指令及資料的一或更多個記憶體裝置。中央處理單元及記憶體能補充有（或併入）特殊用途邏輯電路系統。一般，電腦也將包括用於儲存資料的一或更多個大量儲存裝置、或與該一或更多個大量儲存裝置操作耦合以自其接收資料或傳輸資料至該大量儲存裝置，該大量儲存裝置例如磁性、磁光學碟片、光學碟片。然而，電腦部必然具有此類裝置。更甚者，電腦能經嵌入另一裝置中，例如行動電話、個人數位助理（PDA）、行動音訊或視訊播放器、遊戲機、全球定位系統（GPS）接收器、或可攜式儲存裝置（例如通用序列埠(USB)隨身碟），僅舉數例。
適合用於儲存電腦程式指令及資料的電腦可讀取媒體包括所有形式的非揮發性記憶體、媒體和記憶體裝置，包括例如半導體記憶體裝置（例如EPROM、EEPROM、及快閃記憶體裝置）；磁碟（例如內部硬碟或可移除式碟片）；磁性光碟；及CD-ROM和DVD-ROM碟片。
為供與使用者互動之用，本說明書中所述標的之實施例能經實施在一電腦上，該電腦具有用於對使用者顯示資訊之顯示裝置（例如CRT(映像管)或LCD(液晶顯示器)監視器）、及使用者能用以向電腦提供輸入的鍵盤和指向裝置（例如滑鼠或軌跡球）。也能使用其他種類的裝置來提供與使用者的互動；例如，提供給使用者的回饋能為任意形式的感覺回饋，例如視覺回饋、聽覺回饋、或觸覺回饋；而來自使用者的輸入能以任何形式接收，包括聲音、口語、或觸覺輸入。此外，電腦能藉由發送文件至使用者使用的裝置或從該裝置接收文件來與該使用者互動；例如，藉由回應於從使用者之裝置上的網頁瀏覽器接收的請求，而向該網頁瀏覽器發送網頁。另外，電腦能藉由向一個人裝置（例如正執行傳訊應用的智慧型手機）發送文字訊息或其他形式的訊息來與使用者互動，並從該使用者接收回覆性訊息作為回報。
用於實施機器學習模型的資料處理設備也能包括（例如）特殊用途硬體加速器單元，其用於處理機器學習訓練或生產（即推論）工作量上共同的且計算密集之部分。
能利用一機器學習架構來實施及部署機器學習模型，該機器學習架構例如TensorFlow架構、Microsoft Cognitive Toolkit架構、Apache Singa架構、或Apache MXNet架構。
本說明書中所述標的之實施例能經實施在包括一後端組件（例如資料伺服器）、或包括中介軟體組件（例如應用伺服器）、或包括前端組件（例如客戶端電腦，該客戶端電腦具有圖形化使用者介面、網頁瀏覽器、或app，使用者藉由該圖形化使用者介面、該網頁瀏覽緝或該app能與本說明書中所述標的之實施互動）、或此類後端、中介軟體、或前端組件中一或更多者之任意組合之計算系統中。該系統的組件能由任何形式的數位資料通訊或其介質所互連，例如通訊網路。通訊網路的範例包括區域網路（LAN）及廣域網路（WAN），例如網際網路。
計算系統能包括客戶端及伺服器。客戶端及伺服器大致彼此遠離且典型藉由通訊網路來互動。客戶端與伺服器之間的關係是由於在個別電腦上運行並且彼此之間具有主從式關係的電腦程式而產生的。在一些實施例中，伺服器向使用者裝置傳送資料（例如HTML頁面），例如為了向與該裝置互動的使用者顯示資料並從該使用者接收使用者輸入，該裝置是作為客戶端。於該使用者裝置處產生的資料（例如因使用者互動所產生）能於該伺服器處接收自該裝置。
儘管本說明書包含許多特定的實施方式細節，這些不應被解讀為對任何發明之範疇或對所請標的之範疇的限制，卻應被認為是對特定於某些發明之某些實施例之特徵的描述。本說明書中在不同實施例之情境中說明的特定特徵也能結合在單一實施例中而實施。相反地，在單一實施例的情境中說明的各不同特徵也能被獨立地實施在多個實施例中或在任何適當的次組合中。此外，雖然以上可能將特徵描述為以特定組合來作動且甚至一開始經聲明為如此，但來自一個經聲明之組合的一或更多個特徵在某些情況中能從該組合中去除，且該經聲明之組合可針對一個次組合或是一個次組合的變化型。
類似地，儘管在圖式中描繪並記載於申請專利範圍中的操作有特定順序，此不應被理解為要達成所欲效果，就必須要求此類操作必須以所圖示之特定順序或循序地進行，或者全部所描繪之操作必須被進行。在某些情況中，多工及平行處理可能是有益的。此外，上述實施例中各不同系統模組及組件的區分不應被理解為在全部實施例中均必須有此種區分，並應理解所述程式組件及系統一般能被一起整合在單一軟體產品中或包裝成為多個軟體產品。
以上已說明所請標的之特定實施例。其他實施例在以下申請專利範圍之範疇內。例如，申請專利範圍中所記動作能以不同順序進行並仍達成所欲結果。作為一例，隨附圖中描繪的程序不必然需要有所圖式的特定順序（或循序）以達成所欲結果。在一些情況中，多工及平行處理可為有益的。
100:分割系統 102:影像 104:分區 106:機器學習模型 108:模型參數 110:自動分區 112:使用者介面 114:經編輯分區 116:訓練資料 118:訓練引擎 200:影像 202-A,202-B,202-C,202-D,202-E:區域 300:程序 302:取得組織樣本的放大影像 304:利用機器學習模型產生組織樣本的自動分區 306:藉由使用者介面向使用者提供自動分區 308:藉由使用者介面取得對自動分區的修改 310:從修改決定經編輯的分區 312:基於經編輯的分區決定模型參數的更新值 400:程序 402:取得由使用者產生的組織分區 404:取得將使用者之醫療經驗特性化的特徵 406:決定專業度得分 408:提供專業度得分
第1圖顯示一範例分割系統。
第2圖是一組織樣本之放大影像的範例分區結果的描繪圖。
第3圖是用於重複訓練一機器學習模型以分割組織樣本之放大影像的範例程序流程圖。
第4圖是用於決定專業度得分之範例程序流程圖，該專業度得分特性化一使用者在檢視及編輯組織樣本之放大影像中的目標組織分類之分區上的預測技能。
不同圖式中的相似參考元件符號及標記指示出相似的元件。
100:分割系統
102:影像
104:分區
106:機器學習模型
108:模型參數
110:自動分區
112:使用者介面
114:經編輯分區
116:訓練資料
118:訓練引擎

Claims (20)

  1. 一種儲存指令的非暫時性電腦儲存媒體，當該等指令由一或更多個電腦執行時致使該一或更多個電腦進行操作以用於訓練一機器學習模型來分割組織樣本之放大影像，其中該等操作包含：決定一使用者的一專業度得分，該專業度得分特性化該使用者在分割組織樣本的放大影像上的一預測技能；回應於決定該使用者的該專業度得分滿足一閾值，重複地進行包括以下的操作：取得一組織樣本的一放大影像；按照一機器學習模型的模型參數的目前值來處理一輸入，以產生讓該影像成為複數個組織分類的一自動分區，該輸入包含該影像、自該影像得出的特徵、或以上兩者，其中該自動分區指定對應於該影像之各像素的一個別組織分類；藉由一使用者介面，向該使用者提供針對以下的一表示：(i)該影像、及(ii)該影像的該自動分區；藉由該使用者介面從該使用者取得一輸入，該輸入指定對該影像之該自動分區的一或更多個修改；決定該影像的一經編輯分區，包含對該影像的該自動分區施加該使用者所指定的該等修改；及基於該影像的該經編輯分區，決定該機器學習模型的該等模型參數的更新值。
  2. 如請求項1所述之非暫時性電腦儲存媒體， 其中決定該使用者的該專業度得分的操作包含：獲得由該使用者所產生的對組織樣本的放大影像的一或更多個人工分區；及至少部分地基於該使用者所產生的該等人工分區來決定該使用者的該專業度得分。
  3. 如請求項2所述之非暫時性電腦儲存媒體，其中至少部分地基於該使用者所產生的該等人工分區來決定該使用者的該專業度得分的操作包含：針對該使用者所產生的該一或更多個人工分區之每個人工分區，至少部分地基於在以下兩者之間的一個別相似性量測來決定該使用者的該專業度得分：(i)該人工分區，及(ii)一黃金標準分區。
  4. 如請求項3所述之非暫時性電腦儲存媒體，其中針對該使用者所產生的該一或更多個人工分區之每個人工分區，該相似性量測是基於一Jaccard指數的。
  5. 如請求項2所述之非暫時性電腦儲存媒體，其中該等操作進一步包含：獲得一組特徵，該組特徵特性化該使用者的一醫療經驗；及基於以下兩者來決定該使用者的該專業度得分：(i)該使用者所產生的該等人工分區，及(ii)特性化該使用者的該醫療經驗的該組特徵。
  6. 如請求項5所述之非暫時性電腦儲存媒體，其中特性化該使用者的該醫療經驗的該組特徵包含將該 使用者的醫療經歷年數特性化的一特徵。
  7. 如請求項5所述之非暫時性電腦儲存媒體，其中特性化該使用者的該醫療經驗的該組特徵包含將該使用者的公開文件數目特性化的一特徵。
  8. 如請求項7所述之非暫時性電腦儲存媒體，其中特性化該使用者的該醫療經驗的該組特徵包含將該使用者的公開文件的引用次數特性化的一特徵。
  9. 如請求項5所述之非暫時性電腦儲存媒體，其中基於(i)該使用者所產生的該等人工分區，及(ii)特性化該使用者的該醫療經驗的該組特徵兩者來決定該使用者的該專業度得分的操作進一步包含：基於以下兩者的一線性組合來決定該使用者的該專業度得分：(i)基於該使用者所產生的該等人工分區的一第一得分，及(ii)基於特性化該使用者的該醫療經驗的該組特徵的一第二得分。
  10. 如請求項1所述之非暫時性電腦儲存媒體，其中該複數個組織分類包含癌組織及非癌組織。
  11. 如請求項1所述之非暫時性電腦儲存媒體，其中該影像是利用一顯微鏡擷取的一全玻片影像(whole slide image)(WSI)。
  12. 如請求項1所述之非暫時性電腦儲存媒體，其中藉由該使用者介面向該使用者提供針對(i)該影像、及(ii)該影像的該自動分區的一表示的步驟包含以下步驟： 藉由該使用者介面向該使用者提供一視像，該視像描繪疊加在該影像上的該自動分區。
  13. 如請求項12所述之非暫時性電腦儲存媒體，其中描繪疊加在該影像上的該自動分區的該視像指示出對應於該影像之各像素的該個別組織分類。
  14. 如請求項1所述之非暫時性電腦儲存媒體，其中：對該影像的該自動分區的各修改指示出，對於該影像的一或更多個像素而言，對於由該自動分區為該像素所指定的該個別組織分類的一改變；及對該影像的該自動分區施加該使用者所指定的該等修改的步驟包含以下步驟：按照由該使用者指定的該等修改，改變對應於該影像的一或更多個像素的該等組織分類。
  15. 如請求項1所述之非暫時性電腦儲存媒體，其中基於該影像的該經編輯分區來決定該等模型參數的更新值的步驟包含以下步驟：決定一目標函數的梯度，該目標函數特性化在以下兩者之間的一相似性：(i)該影像的該自動分區、及(ii)該影像的該經編輯分區；及利用該等梯度來調整該等模型參數的值。
  16. 一種用於訓練一機器學習模型來分割組織樣本之放大影像的系統，包含：一或更多個電腦；及 一或更多個儲存裝置，該一或更多個儲存裝置通訊耦合至該一或更多個電腦，其中該一或更多個儲存裝置儲存指令，當該等指令由該一或更多個電腦執行時，致使該一或更多個電腦進行操作以用於訓練一機器學習模型來分割組織樣本之放大影像，其中該等操作包含：決定一使用者的一專業度得分，該專業度得分特性化該使用者在分割組織樣本的放大影像上的一預測技能；回應於決定該使用者的該專業度得分滿足一閾值，重複地進行包括以下的操作：取得一組織樣本的一放大影像；按照一機器學習模型的模型參數的目前值來處理一輸入，以產生讓該影像成為複數個組織分類的一自動分區，該輸入包含該影像、自該影像得出的特徵、或以上兩者，其中該自動分區指定對應於該影像之各像素的一個別組織分類；藉由一使用者介面，向該使用者提供針對以下的一表示：(i)該影像、及(ii)該影像的該自動分區；藉由該使用者介面從該使用者取得一輸入，該輸入指定對該影像之該自動分區的一或更多個修改；決定該影像的一經編輯分區，包含對該影像的該自動分區施加該使用者所指定的該等修改；及基於該影像的該經編輯分區，決定該機器學習模型的該等模型參數的更新值。
  17. 一種由一或更多個電腦進行以用於訓練一機器學習模型來分割組織樣本之放大影像的方法，該方法包含下列步驟：決定一使用者的一專業度得分，該專業度得分特性化該使用者在分割組織樣本的放大影像上的一預測技能；回應於決定該使用者的該專業度得分滿足一閾值，重複地進行包括以下的操作：取得一組織樣本的一放大影像；按照一機器學習模型的模型參數的目前值來處理一輸入，以產生讓該影像成為複數個組織分類的一自動分區，該輸入包含該影像、自該影像得出的特徵、或以上兩者，其中該自動分區指定對應於該影像之各像素的一個別組織分類；藉由一使用者介面，向該使用者提供針對以下的一表示：(i)該影像、及(ii)該影像的該自動分區；藉由該使用者介面從該使用者取得一輸入，該輸入指定對該影像之該自動分區的一或更多個修改；決定該影像的一經編輯分區，包含對該影像的該自動分區施加該使用者所指定的該等修改；及基於該影像的該經編輯分區，決定該機器學習模型的該等模型參數的更新值。
  18. 如請求項17所述之方法，其中決定該使用者的該專業度得分的操作包含：獲得由該使用者所產生的對組織樣本的放大影像的一 或更多個人工分區；及至少部分地基於該使用者所產生的該等人工分區來決定該使用者的該專業度得分。
  19. 如請求項18所述之方法，其中至少部分地基於該使用者所產生的該等人工分區來決定該使用者的該專業度得分的操作包含：針對該使用者所產生的該一或更多個人工分區之每個人工分區，至少部分地基於在以下兩者之間的一個別相似性量測來決定該使用者的該專業度得分：(i)該人工分區，及(ii)一黃金標準分區。
  20. 如請求項19所述之方法，其中針對該使用者所產生的該一或更多個人工分區之每個人工分區，該相似性量測是基於一Jaccard指數的。
TW111113578A 2019-09-24 2020-09-22 用於組織分割之機器學習模型的交互式訓練 TWI828109B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962905232P 2019-09-24 2019-09-24
US62/905,232 2019-09-24

Publications (2)

Publication Number Publication Date
TW202232387A TW202232387A (zh) 2022-08-16
TWI828109B true TWI828109B (zh) 2024-01-01

Family

ID=74881982

Family Applications (2)

Application Number Title Priority Date Filing Date
TW111113578A TWI828109B (zh) 2019-09-24 2020-09-22 用於組織分割之機器學習模型的交互式訓練
TW109132717A TWI764287B (zh) 2019-09-24 2020-09-22 用於組織分割之機器學習模型的交互式訓練

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW109132717A TWI764287B (zh) 2019-09-24 2020-09-22 用於組織分割之機器學習模型的交互式訓練

Country Status (7)

Country Link
US (2) US11321839B2 (zh)
EP (1) EP4035127A4 (zh)
JP (1) JP7434537B2 (zh)
KR (1) KR20220066944A (zh)
CN (1) CN114556413A (zh)
TW (2) TWI828109B (zh)
WO (1) WO2021061613A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI828109B (zh) 2019-09-24 2024-01-01 美商應用材料股份有限公司 用於組織分割之機器學習模型的交互式訓練
US20220309670A1 (en) * 2021-03-26 2022-09-29 Applied Materials, Inc. Method and system for visualizing information on gigapixels whole slide image
US11586789B2 (en) 2021-04-07 2023-02-21 Applied Materials, Inc. Machine learning based smart process recipe builder to improve azimuthal flow and thickness uniformity
US20230060113A1 (en) * 2021-08-17 2023-02-23 Siemens Healthcare Gmbh Editing presegmented images and volumes using deep learning
DE102021121635A1 (de) 2021-08-20 2023-02-23 Carl Zeiss Microscopy Gmbh Automatisiertes trainieren eines maschinengelernten algorithmus basierend auf der überwachung einer mikroskopiemessung
US11847725B2 (en) * 2021-10-15 2023-12-19 Adobe Inc. Performing interactive digital image operations utilizing modified machine learning models
US12475564B2 (en) 2022-02-16 2025-11-18 Proscia Inc. Digital pathology artificial intelligence quality check
US20250141692A1 (en) * 2023-10-30 2025-05-01 Arris Enterprises Llc System and method for measuring, scoring and authenticating artificial intelligence produced contents
US12437857B1 (en) * 2024-03-22 2025-10-07 NovinoAI LLC System and method for diagnosing prostate cancer

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322489A1 (en) * 2009-06-18 2010-12-23 Omisa Inc. System and method for image segmentation
US20140358825A1 (en) * 2013-05-29 2014-12-04 Cloudvu, Inc. User interface for machine learning
TW201503001A (zh) * 2013-04-12 2015-01-16 Qualcomm Inc 定義多個神經元的動態
TW201523463A (zh) * 2013-09-25 2015-06-16 高通公司 針對神經模型的群組標籤的實現方案的方法和裝置
TW201832181A (zh) * 2017-02-15 2018-09-01 美商脫其泰有限責任公司 圖像分析系統及相關方法
US20190188849A1 (en) * 2017-12-20 2019-06-20 International Business Machines Corporation Generating simulated photographic anatomical slices
US20190209116A1 (en) * 2018-01-08 2019-07-11 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
TW201937163A (zh) * 2017-12-28 2019-09-16 美商克萊譚克公司 使用機械學習檢查光罩
US20200097701A1 (en) * 2016-11-16 2020-03-26 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
US11462308B2 (en) * 2018-11-21 2022-10-04 Enlitic, Inc. Triage routing based on inference data from computer vision model

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3224860B2 (ja) 1992-06-19 2001-11-05 ポーラ化成工業株式会社 顕微鏡画像評価システム
EP1461592B1 (en) 2001-12-05 2019-04-10 The J. David Gladstone Institutes Robotic microscopy systems
WO2003105675A2 (en) 2002-06-18 2003-12-24 Lifespan Biosciences, Inc. Computerized image capture of structures of interest within a tissue sample
US7826977B2 (en) 2006-08-25 2010-11-02 The Trustees Of Columbia University In The City Of New York Systems and methods for high-speed image scanning
EP2518514B1 (en) 2011-04-29 2014-06-18 F. Hoffmann-La Roche AG A method for operating an automated sample workcell
CN104769415B (zh) * 2012-07-25 2020-12-25 赛拉诺斯知识产权有限责任公司 生物学样本的图像分析及测量
JP6421421B2 (ja) * 2014-03-04 2018-11-14 富士ゼロックス株式会社 注釈情報付与プログラム及び情報処理装置
US10078778B2 (en) 2015-01-15 2018-09-18 Massachusetts Institute Of Technology Systems, methods, and apparatus for in vitro single-cell identification and recovery
US10169871B2 (en) * 2016-01-21 2019-01-01 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
US10203491B2 (en) 2016-08-01 2019-02-12 Verily Life Sciences Llc Pathology data capture
EP3516621B1 (en) * 2016-09-21 2020-05-27 Koninklijke Philips N.V. Apparatus for adaptive contouring of a body part
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
JP6801587B2 (ja) * 2017-05-26 2020-12-16 トヨタ自動車株式会社 音声対話装置
JP6947841B2 (ja) 2017-06-13 2021-10-13 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 病理学用の拡張現実顕微鏡
CA3081643A1 (en) 2017-11-06 2019-05-09 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network
EP3979127A1 (en) 2018-02-15 2022-04-06 Verily Life Sciences LLC Pathology predictions on unstained tissue
EP3811287B1 (en) * 2018-06-19 2025-09-17 MetaSystems Hard & Software GmbH System and method for detection and classification of objects of interest in microscope images by supervised machine learning
JP7190495B2 (ja) * 2018-09-03 2022-12-15 株式会社Preferred Networks 推論方法、推論装置、モデルの生成方法及び学習装置
US12175661B2 (en) * 2019-03-26 2024-12-24 Panakeia Technologies Limited Method of processing an image of tissue, a system for processing an image of tissue, a method for disease diagnosis and a disease diagnosis system
TWI828109B (zh) 2019-09-24 2024-01-01 美商應用材料股份有限公司 用於組織分割之機器學習模型的交互式訓練

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322489A1 (en) * 2009-06-18 2010-12-23 Omisa Inc. System and method for image segmentation
TW201503001A (zh) * 2013-04-12 2015-01-16 Qualcomm Inc 定義多個神經元的動態
US20140358825A1 (en) * 2013-05-29 2014-12-04 Cloudvu, Inc. User interface for machine learning
TW201523463A (zh) * 2013-09-25 2015-06-16 高通公司 針對神經模型的群組標籤的實現方案的方法和裝置
US20200097701A1 (en) * 2016-11-16 2020-03-26 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
TW201832181A (zh) * 2017-02-15 2018-09-01 美商脫其泰有限責任公司 圖像分析系統及相關方法
US20190188849A1 (en) * 2017-12-20 2019-06-20 International Business Machines Corporation Generating simulated photographic anatomical slices
TW201937163A (zh) * 2017-12-28 2019-09-16 美商克萊譚克公司 使用機械學習檢查光罩
US20190209116A1 (en) * 2018-01-08 2019-07-11 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
US11462308B2 (en) * 2018-11-21 2022-10-04 Enlitic, Inc. Triage routing based on inference data from computer vision model

Also Published As

Publication number Publication date
JP7434537B2 (ja) 2024-02-20
TW202232387A (zh) 2022-08-16
CN114556413A (zh) 2022-05-27
KR20220066944A (ko) 2022-05-24
EP4035127A4 (en) 2023-10-18
US11321839B2 (en) 2022-05-03
US20220261992A1 (en) 2022-08-18
EP4035127A1 (en) 2022-08-03
JP2022549652A (ja) 2022-11-28
WO2021061613A1 (en) 2021-04-01
US11663722B2 (en) 2023-05-30
TW202125345A (zh) 2021-07-01
US20210090251A1 (en) 2021-03-25
TWI764287B (zh) 2022-05-11

Similar Documents

Publication Publication Date Title
TWI828109B (zh) 用於組織分割之機器學習模型的交互式訓練
CN113678142B (zh) 基于深度学习的经由回归层的实例分割训练
CN109791693B (zh) 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程
US11574430B2 (en) Method and system for creating animal type avatar using human face
US10255681B2 (en) Image matting using deep learning
US10049301B2 (en) Medical scanner teaches itself to optimize clinical protocols and image acquisition
US20180365557A1 (en) Information processing method and information processing apparatus
US20200090796A1 (en) Multimodal learning framework for analysis of clinical trials
US20220309670A1 (en) Method and system for visualizing information on gigapixels whole slide image
Khan et al. A novel fusion of genetic grey wolf optimization and kernel extreme learning machines for precise diabetic eye disease classification
WO2024074921A1 (en) Distinguishing a disease state from a non-disease state in an image
JP2017026482A (ja) データ処理装置、決定木生成方法、識別装置及びプログラム
Wu et al. Semiautomatic segmentation of glioma on mobile devices
CN109241930B (zh) 用于处理眉部图像的方法和装置
CN108256428A (zh) 实物翻译方法及移动终端、服务器
Agushinta Augmented reality design of Indonesia fruit recognition
CN117218359B (zh) 图像处理方法、装置、设备、存储介质及程序产品
Hasan et al. An automated image quality assessment method for dairy applications by multi-threshold analysis with parallel computing and computer vision
US12159329B2 (en) System and methods for color gamut normalization for pathology slides
US20250378701A1 (en) Method, system, and computer program product for processing medical image
JP2025033659A (ja) 学習装置、画像処理装置、及び画像処理方法
Nasr Enhancing Biomedical Imaging With AI: Compression, Prediction, and Multi-Modal Integration for Clinical Advancement
Zahoor Ul Huq et al. Breast Cancer Detection and Classification Using Adaptively Regularized Fuzzy C-Means Based on Kernels Inception Transformer Quantum Generative Adversarial Network with Emperor Penguin Optimization
WO2023156988A1 (en) Systems and methods for annotation of images for training a machine learning model