TWI752100B - 用於訓練檢查相關演算法之系統、非暫時性電腦可讀媒體及電腦實施方法 - Google Patents

Abstract

本發明提供用於訓練一檢查相關演算法之方法及系統。一系統包含一或多個電腦子系統，其等經組態以使用一標記缺陷組來執行一檢查相關演算法之一初始訓練，藉此產生該檢查相關演算法之一初始版本，且將該檢查相關演算法之初始版本應用至一未標記缺陷組。該(該等)電腦子系統亦經組態以基於該應用之結果來變更該標記缺陷組。接著，該(該等)電腦子系統可迭代地再訓練該檢查相關演算法且變更該標記缺陷組，直至該演算法之一最近版本與一先前版本所產生的結果之間的一或多個差達到一或多個標準。當該一或多個差達到該一或多個標準時，輸出該檢查相關演算法之最新版本作為經訓練演算法。

Description

用於訓練檢查相關演算法之系統、非暫時性電腦可讀媒體及電腦實施方法

本發明大體上係關於最佳化使用於設定檢查相關演算法之訓練組的方法及系統。

在此節中，下列描述及實例不憑藉其內含物而認為係先前技術。

在一半導體製造程序期間，在各種步驟中使用檢查程序以偵測晶圓上之缺陷，從而促進該製造程序中之更高良率且因此促進更高利潤。檢查一直係製造半導體裝置之一重要部分。然而，隨著半導體裝置之尺寸減小，檢查對可接受之半導體裝置之成功製造變得更重要，此係因為較小缺陷可導致裝置不合格。

當在樣本(諸如晶圓)上偵測到缺陷時，通常將某些類型之演算法應用至所偵測之缺陷以將其等分成不同類型之缺陷(或將缺陷與非缺陷分離開)。完成此之一方式係將一缺陷分類器應用至所偵測之缺陷，其將所偵測之缺陷分成不同類型或等級之缺陷。缺陷分類器通常將缺陷及/或缺陷影像(例如，該等缺陷附近中所獲取之通常叫作「區塊」影像或「區塊」)之一或多個參數用作輸入以判定缺陷之類型或等級。接著，缺陷分類器將某些類型之識別符或ID分配給各缺陷以表明所判定之類型或等級。分離所偵測缺陷之另一方式係將實際缺陷與妨害或雜訊分離開。「妨害」缺陷一般經界定為一使用者不在乎之缺陷及/或經偵測為缺陷但實際上非缺陷之缺陷。此等演算法通常指稱缺陷過濾器及/或妨害過濾器。 光學檢查工具上最廣泛使用之分類器/妨害過濾器係基於人工建構之決策樹。用於此等決策樹之調整方法利用併入至用於樹建構之最佳已知方法(BKM)中的經驗及領域知識。此通常導致該決策樹最初使用BKM「模板」、缺陷群聚及實質上較粗糙之缺陷標記(使用區塊)建構而成。在已獲得該樹之結構之後，接著使用多樣性取樣來對該樹進行多樣化取樣，其中跨該樹上之葉節點存在一智慧型樣品分佈。接著，掃描式電子顯微鏡(SEM)對所取樣缺陷進行檢視、分類且將其等用於最後調整決策切割線(分離不同類型之缺陷之邊界)。若給定一訓練組，則基於機器學習演算法之其他分類器(例如最近鄰點型分類器)將自動找到決策邊界，但當前不存在獲得將最大化其等效能之訓練組的方法。 然而，當前所使用之用於設定及調整缺陷分類器之方法存在諸多缺點。例如，既有方法為勞力密集型、需要大量專業知識且將產生依賴於人類專家之不一致結果。由一人類專家建造分類器易於產生誤差且昂貴且耗時。各缺陷具有一相對較大數目之特徵，此使得幾乎不可能適當視覺化該等特徵以便於分類。因此，歸因於缺乏關於潛在多維分佈之知識，一人類專家可在建造該分類邊界時出現重大誤差。即使不存在重大誤差，人工創造非最佳分類器之可能性實質上很高。 據此，研發不具有上文所描述之缺點之一或多者的用於最佳化使用於設定檢查相關演算法之系統及/或方法將係有利的。

各種實施例之下列描述不得以任何方式解釋為限制隨附申請專利範圍之標的。 一實施例係關於經組態以訓練一檢查相關演算法之一系統。該系統包含一檢查子系統(其包含至少一能源及一偵測器)。該能源經組態以產生經導引至一樣本之能量。該偵測器經組態以偵測來自樣本之能量且回應於所偵測之能量產生輸出。該系統亦包含一或多個電腦子系統。一或多個電腦子系統經組態以使用一標記缺陷組執行一檢查相關演算法之一初始訓練，藉此產生檢查相關演算法之一初始版本。該(該等)電腦子系統亦經組態以將檢查相關演算法之初始版本應用至一未標記缺陷組且基於該應用之結果變更該標記缺陷組。另外，該(該等)電腦子系統經組態以使用經變更之標記缺陷組再訓練檢查相關演算法，藉此產生檢查相關演算法之一較新版本。該(該等)電腦子系統經進一步組態以將檢查相關演算法之較新版本應用至另一未標記缺陷組。另外，該(該等)電腦子系統經組態以判定應用檢查相關演算法之較新版本之結果與應用檢查相關演算法之初始版本或一較舊版本之結果之間的一或多個差。該(該等)電腦子系統亦經組態以重複變更該標記缺陷組、再訓練該檢查相關演算法、應用檢查相關演算法之較新版本且判定該一或多個差直至該一或多個差達到一或多個標準。當該一或多個差達到該一或多個標準時，該(該等)子系統經組態以輸出檢查相關演算法之一最新版本作為一經訓練檢查相關演算法以用於檢查其他樣本。該系統可如本文所描述般進一步組態。 另一實施例係關於用於訓練一檢查相關演算法之一電腦實施方法。該方法包含上文所描述之一或多個電腦子系統之功能之各者之步驟。由一或多個電腦系統來執行該方法之步驟。可如本文中所進一步描述般執行該方法。另外，該方法可包含在本文所描述之(若干)任何其他方法之(若干)任何其他步驟。此外，該方法可由本文所描述之系統之任何者執行。 一額外實施例係關於一非暫時性電腦可讀媒體，其儲存在電腦系統上執行之用於執行訓練一檢查相關演算法之一電腦實施方法的程式指令。該電腦實施方法包含上文所描述之方法之步驟。該電腦可讀媒體可如本文所描述般進一步組態。該電腦實施方法之步驟可如本文所進一步描述般執行。另外，該電腦實施方法(可針對該方法執行該等程式指令)可包含在本文所描述之(若干)任何其他方法之(若干)任何其他步驟。

現在轉至圖式，應注意圖不按比例繪製。特定而言之，圖之一些元件之比例經非常誇大以強調元件之特性。亦應注意圖未按相同比例繪製。一個以上圖中所展示之可經相似地組態之元件已使用相同元件符號指示。除非本文中另有規定，否則所描述及展示之元件之任何者可包含任何適合的可商業購得之元件。 一實施例係關於經組態以訓練一檢查相關演算法之一系統。一般而言，本文中所描述之實施例提供用於獲得一最小大小之訓練組的方法及系統，該訓練組用於分類由光學工具及其他工具捕獲之缺陷，或用於其他檢查相關功能。另外，本文中所描述之實施例可有利地用於找到最具指導性之缺陷的最小組，以建造本文中所描述之分類器及其他檢查相關演算法，從而用於本文中所描述之缺陷分類及其他檢查相關功能的目的。 傳統上，為了最佳效能調整樣本檢查(例如光學晶圓檢查)的程序幾乎完全為人工的。調整程序一般依賴於最佳已知方法(BKM)及執行調整之人類專家的經驗及技巧。因此，不期望將此等方法用於設定生產監測系統，此不僅因為其等代價極高(精力及勞力)，亦因為調整成果較主觀且缺少一致性。然而，儘管當前檢查調整方法存在此等明顯缺點，然在此生產環境中，將此程序自動化的嘗試並未得到廣泛接受。主要原因在於此自動化依賴於演算法，而演算法之效能來源於訓練其等之資料(指稱一訓練組)。因此，除非依一系統方式獲取訓練資料，否則此等演算法之效能是不確定的。換言之，在不存在找到最佳化該等演算法之效能之一可靠方法的情況下，此等自動化解決方案具有人工方法之所有問題。特定而言之，此等解決方法不一致，且不論潛在演算法多好，亦無法保證其等之效能匹配人工方法之效能。另外，診斷效能問題且在找到該等問題之後解決它們實質上常常是十分困難的(若非不可能)。因此，目前為止，機器學習方法(現在此等方法之叫法)尚未成功。 本文中所描述之實施例提供用於任何機器學習演算法(其等可用於如分類及過濾之檢查相關功能)之一綜合調整方法。(即使該等實施例亦可被應用於偵測演算法調整，然本文中所描述之實施例尤其有用於妨害過濾器及分類器。)該等實施例係基於針對檢查，用於獲取訓練組之方法可與演算法調整本身有利地完全整合的實現。該兩者係互連的，且其等不應彼此分離開以提供一致行為。此相互依賴性的基本原因如下。 使用熱掃描(具有實質上較高妨害率之高缺陷性掃描)來調整諸如光學檢查之檢查。調整本身需要標記缺陷(即，通常由一人類專家分類之分類缺陷)。對藉由一SEM檢視工具獲取之掃描式電子顯微鏡(SEM)影像執行此分類。若可檢視及分類在熱掃描中偵測到之所有缺陷，則將不需要本文中所描述之實施例。然而，因為此檢視/分類程序實質上在勞力及工具時間上花費很大，因此實際上不可能做到此般。因此，識別可產生分類器或其他檢查相關演算法之最佳效能的一適合缺陷子組係絕對必要的，且非常期望找到實現此之一最小組。 本文中所描述之實施例提供藉由學習迭代來最佳化缺陷訓練組之選擇的系統及方法，在學習迭代中，檢查相關演算法(例如分類器模型)學習資料且請求所需要之資料以提高其之效能。本文中所描述之實施例亦將有利地提供用於判定學習已達到終點之時間點的方法及系統。 在一實施例中，樣本包含一晶圓。在另一實施例中，樣本包含一光罩。該晶圓及該光罩可包含該項技術中已知之任何晶圓及光罩。 圖1中展示此一系統之一實施例。該系統包含一檢查子系統(其包含至少一能源及一偵測器)。該能源經組態以產生經導引至一樣本之能量。該偵測器經組態以偵測來自樣本之能量且回應於所偵測之能量產生輸出。 在一實施例中，導引至樣本之能量包含光，且自樣本偵測到之能量包含光。例如，在圖1中所展示之系統之實施例中，檢查子系統10包含經組態以將光導引至樣本14之一照明子系統。照明子系統包含至少一光源。例如，如圖1中所展示，照明子系統包含光源16。在一實施例中，照明子系統經組態以依一或多個入射角(其可包含一或多個傾斜角及/或一或多個法線角)將光導引至樣本。例如，如圖1中所展示，來自光源16之光經導引穿過光學元件18且接著穿過透鏡20而至分束器21，該分束器依一法線入射角將光導引至樣本14。該入射角可包含任何適合入射角，其可取決於(例如)樣本之特性及將在樣本上偵測到之缺陷而變動。 照明子系統可經組態以在不同時間依不同入射角將光導引至該樣本。例如，檢查子系統可經組態以變更照明子系統之一或多個元件之一或多個特性，使得可依不同於圖1中所展示之一入射角將光導引至該樣本。在一種此類實例中，檢查子系統可經組態以移動光源16、光學元件18及透鏡20，使得依一不同入射角將光導引至該樣本。 在一些例項中，檢查子系統可經組態以同時依一個以上入射角將光導引至樣本。例如，照明子系統可包含一個以上照明通道，該等照明通道之一者可包含如圖1中所示之光源16、光學元件18及透鏡20且該等照明通道之另一者(圖中未展示)可包含類似元件，其可經不同或相同組態，或可包含至少一光源且可包含一或多個組件(諸如本文所進一步描述之該等組件)。若此光與另一光同時經導引至樣本，則依不同入射角導引至樣本之光之一或多個特性(例如波長、偏光等等)可為不同的，使得依不同入射角自樣本之照明產生之光可在(若干)偵測器處彼此區別開。 在另一例項中，照明子系統可僅包含一光源(例如，圖1中所展示之源16)且可藉由照明子系統之一或多個光學元件(圖中未展示)來將來自該光源之光分成不同光學路徑(例如，基於波長、偏光等等)。接著，可將該等不同光學路徑之各者中之光導引至樣本。多個照明通道可經組態以同時或在不同時間(例如，當不同照明通道用於依序照射樣本時)將光導引至樣本。在另一例項中，相同照明通道可經組態以在不同時間將具有不同特性之光導引至樣本。例如，在一些例項中，光學元件18可經組態為一光譜濾波器且可依各種不同方式(例如，藉由調換光譜濾波器)改變光譜濾波器之性質，使得可在不同時間將不同波長之光導引至樣本。照明子系統可具有該項技術中已知之任何其他適合組態，其用於依序或同時依不同或相同入射角將具有不同或相同特性之光導引至樣本。 在一實施例中，光源16可包含一寬頻電漿(BBP)光源。依此方式，由光源產生且被導引至樣本之光可包含寬頻光。然而，光源可包含諸如一雷射之任何其他適合光源。雷射可包含該項技術中已知之任何適合雷射且可經組態以依該項技術中已知之一或若干任何適合波長產生光。另外，雷射可經組態以產生單色光或近單色光。依此方式，雷射可為一窄頻雷射。光源亦可包含依多個離散波長或波帶產生光之一多色光源。 來自光學元件18之光可由透鏡20聚焦至分束器21上。儘管透鏡20在圖1中展示為一單一折射光學元件，但應瞭解，透鏡20實際上可包含一起將來自光學元件之光聚焦至樣本之若干折射及/或反射光學元件。圖1中所展示及本文所描述之照明子系統可包含任何其他適合光學元件(圖中未展示)。此等光學元件之實例包含但不限於(若干)偏光組件、(若干)光譜過濾器、(若干)空間過濾器、(若干)反射光學元件、(若干)變跡器、(若干)分束器、(若干)孔隙及其類似者，其可包含該項技術中已知之任何此等適合光學元件。另外，該系統可經組態以基於待用於檢查之照明之類型來變更照明子系統之元件之一或多者。 檢查子系統亦可包含經組態以引起光掃描樣本之一掃描子系統。例如，檢查子系統可包含在檢查期間將樣本14安置於其上之置物台22。掃描子系統可包含任何適合機械及/或機器人總成(其包含置物台22)，其可經組態以移動樣本，使得光可掃描樣本。另外或替代地，檢查子系統可經組態使得檢查子系統之一或多個光學元件執行使光對樣本進行某種掃描。可使光依任何適合方式掃描樣本。 檢查子系統進一步包含一或多個偵測通道。一或多個偵測通道之至少一者包含一偵測器，其經組態以歸因於由檢查子系統照射樣本來偵測來自樣本之光且回應於所偵測之光來產生輸出。例如，圖1中所展示之檢查子系統包含兩個偵測通道：一偵測通道由集光器24、元件26及偵測器28形成且另一偵測通道由集光器30、元件32及偵測器34形成。如圖1中所展示，兩個偵測通道經組態以依不同集光角收集且偵測光。在一些例項中，一偵測通道經組態以偵測鏡面反射之光，且另一偵測通道經組態以偵測非自樣本鏡面反射(例如散射、衍射等等)之光。然而，偵測通道之兩者或兩者以上可經組態以偵測來自樣本之相同類型之光(例如鏡面反射之光)。雖然圖1展示包含兩個偵測通道之檢查子系統之一實施例，但檢查子系統可包含一不同數目之偵測通道(例如，僅一偵測通道或兩個或兩個以上偵測通道)。雖然集光器之各者在圖1中展示為單一折射光學元件，但應瞭解該等集光器之各者可包含一或多個折射光學元件及/或一或多個反射光學元件。 一或多個偵測通道可包含該項技術中已知之任何適合偵測器。例如，偵測器可包含光倍增管(PMT)、電荷耦合裝置(CCD)及延時積分(TDI)攝影機。偵測器亦可包含該項技術中已知之任何其他適合偵測器。偵測器亦可包含非成像偵測器或成像偵測器。依此方式，若偵測器係非成像偵測器，則偵測器之各者可經組態以偵測散射光之特定特性(諸如強度)，但不可經組態以偵測依據成像面內之位置而變化之特性。因而，由包含於檢查子系統之偵測通道之各者中的偵測器之各者產生之輸出可為信號或資料，但非影像信號或影像資料。在此等例項中，一電腦子系統(諸如該系統之電腦子系統36)可經組態以自偵測器之非成像輸出產生樣本之影像。然而，在其他例項中，偵測器可經組態為經組態以產生影像信號或影像資料之成像偵測器。因此，該系統可經組態以依諸多方式產生本文所描述之輸出。 應注意，本文中提供圖1來大體上繪示一檢查子系統之一組態。顯而易見，本文所描述之檢查子系統可經變更以如設計一商用檢查系統時正常所執行般最佳化該系統之效能。另外，可使用一既有系統(例如，藉由將本文所描述之功能性新增至一既有檢查系統)(諸如購自KLA-Tencor, Milpitas, Calif之28xx及29xx系列工具)來實施本文中所描述之系統。對於一些此等系統，可提供本文中所描述之方法作為系統之選用功能性(例如，除系統之其他功能性之外)。替代地，本文所描述之系統可經「從頭開始」設計以提供一全新系統。 系統之電腦子系統36可依任何適合方式(例如，經由一或多個傳輸媒體，其可包含「有線」及/或「無線」傳輸媒體)耦合至檢查子系統之偵測器，使得在樣本之掃描期間，電腦子系統可接收由偵測器產生之輸出。電腦子系統36可經組態以使用本文中所描述之偵測器之輸出來執行若干功能及本文所進一步描述之任何其他功能。此電腦系統可如本文中所描述般經進一步組態。 此電腦子系統(及本文中所描述之其他電腦子系統)在本文中亦可指稱(若干)電腦系統。本文所描述之(若干)電腦子系統或系統之各者可採用各種形式，其包含一個人電腦系統、影像電腦、大型電腦系統、工作站、網路設備、網際網路設備或其他裝置。一般而言，術語「電腦系統」可經廣泛界定以涵蓋具有一或多個處理器(其執行來自一記憶體媒體之指令)之任何裝置。(若干)電腦子系統或系統亦可包含該項技術中已知之任何適合處理器，諸如一並行處理器。另外，(若干)電腦子系統或系統可包含具有高速處理及軟體之一電腦平台作為一單機或連網工具。 若系統包含一個以上電腦子系統，則不同電腦子系統可經彼此耦合，使得可在電腦子系統之間發送影像、資料、資訊、指令等等，如本文進一步所描述。例如，電腦子系統36可係藉由任何適合傳輸媒體(其可包含該項技術中已知之任何適合有線及/或無線傳輸媒體)來耦合至(若干)電腦子系統102，如由圖1中之虛線所展示。此等電腦子系統之兩者或兩者以上亦可係由一共用電腦可讀儲存媒體(圖中未展示)有效耦合。 雖然檢查子系統在上文中被描述為一基於光學或光之檢查子系統，但檢查子系統可為一基於電子束之檢查子系統。例如，在一實施例中，導引至樣本之能量包含電子，且自樣本偵測到之能量包含電子。依此方式，能源可為一電子束源。在圖2中所展示之一此類實施例中，檢查子系統包含經耦合至電腦子系統124之電子柱122。 亦如圖2中所展示，電子柱包含電子束源126，其經組態以產生由一或多個元件130聚焦至樣本128之電子。電子束源可包含(例如)一陰極源或射極尖端，且一或多個元件130可包含(例如)一槍透鏡、一陽極、一射束限制孔隙、一閘閥、一射束電流選擇孔隙、一物鏡，及一掃描子系統，其等所有可包含該項技術中已知之任何此等適合元件。 自樣本回射之電子(例如二次電子)可由一或多個元件132聚焦至偵測器134。一或多個元件132可包含(例如)一掃描子系統，其可為經包含於(若干)元件130中之相同掃描子系統。 電子柱可包含該項技術中已知之任何其他適合元件。另外，可如以下中所描述般進一步組態電子柱：2014年4月4日核發給Jiang等人之美國專利第8,664,594號、2014年4月8日核發給Kojima等人之美國專利第8,692,204號、2014年4月15日核發給Gubbens等人之美國專利第8,698,093號，及2014年5月6日核發給MacDonald等人之美國專利第8,716,662號，該等專利係以宛如全文闡述引用之方式併入本文中。 雖然電子柱在圖2中展示為經組態使得電子依一傾斜入射角導引至樣本且依另一傾斜角自樣本散射，但應瞭解，電子束可依任何適合角度導引至樣本且自樣本散射。另外，基於電子束之子系統可經組態以使用多個模式來產生樣本之影像(例如，依不同照射角、集光角等等)。基於電子束之子系統之多個模式可在子系統之任何影像產生參數上不同。 電腦子系統124可經耦合至偵測器134，如上文所描述。偵測器可偵測自樣本之表面回射之電子，藉此形成樣本之電子束影像。電子束影像可包含任何適合電子束影像。電腦子系統124可經組態以使用偵測器之輸出及/或電子束影像來執行本文中所描述之功能之任何者。電腦子系統124可經組態以執行本文所描述之任何額外(若干)步驟。可如本文所描述般進一步組態包含圖2中所展示之檢驗子系統的一系統。 應注意，本文中提供圖2來大體上繪示可包含於本文所描述之實施例中之一基於電子束之檢查子系統之一組態。如同上文所描述之光學檢查系統，本文所描述之基於電子束之檢查子系統組態可經變更以如設計一商用檢查系統時正常所執行般最佳化檢查子系統之效能。另外，可使用一既有檢查系統(例如，藉由將本文所描述之功能性新增至一既有系統)來實施本文所描述之系統。對於一些此等系統，可提供本文所描述之方法作為系統之選用功能性(例如，除系統之其他功能性之外)。替代地，本文所描述之系統可經「從頭開始」設計以提供一全新系統。 雖然檢查子系統在上文中描述為一基於光或電子束之檢查子系統，但檢查子系統可為一基於離子束之檢查子系統。除可使用該項技術中已知之任何適合離子束源來替換電子束源之外，可如圖2中所展示般組態此一檢查子系統。另外，檢查子系統可為任何其他適合基於離子束之子系統，諸如包含於市售聚焦離子束(FIB)系統、氦離子顯微鏡(HIM)系統及二次離子質譜分析(SIMS)系統。 本文中所進一步描述之一或多個電腦子系統可經耦合至執行該樣本檢查之檢查子系統。例如，在一實施例中，一或多個電腦子系統經組態用於基於偵測器所產生之輸出來偵測樣本上之缺陷。替代地，其他一或多個電腦子系統可經耦合至執行樣本檢查之檢查子系統。此(此等)電腦子系統可如本文中所進一步描述般經組態。在任何情況下，經耦合至檢查子系統之一或多個電腦子系統經組態以基於檢查子系統之一或多個偵測器所產生之輸出來偵測樣本上之缺陷。可依任何適合方式(例如，藉由對該輸出應用一臨限值且將具有高於該臨限值之一或多個值的輸出識別為一缺陷且不將具有低於該臨限值之一或多個值的輸出識別為一缺陷)來偵測樣本上之缺陷。樣本上所偵測到之缺陷可包括該項技術中已知之任何缺陷。 然而，本文中所描述之系統中所包含之(若干)電腦子系統不必要偵測樣本上之缺陷。例如，(若干)電腦子系統可經組態以獲取一樣本檢查之結果，其包含樣本上所偵測到之缺陷之資訊。可由本文中所描述之(若干)電腦子系統來直接自執行檢查之系統(例如，自檢查系統之一電腦子系統)或自檢查結果已儲存於其中之一儲存媒體(諸如一晶圓廠資料庫)來獲取樣本檢查之結果。 如上文所提及，檢查子系統經組態以用於使能量(例如光或電子)掃描樣本之一實體版本，藉此產生樣本之實體版本之實際影像。依此方式，檢查子系統可經組態為一「實際」工具，而非一「虛擬」工具。例如，圖1中所展示之一儲存媒體(圖中未展示)及(若干)電腦子系統102可經組態為一「虛擬」工具。特定而言，儲存媒體及(若干)電腦子系統不是檢查子系統10之部分且不具有處置樣本之實體版本之任何能力。換言之，在經組態為虛擬工具之工具中，其一或多個「偵測器」之輸出可為先前由一實際工具之一或多個偵測器產生且儲存於虛擬工具中之輸出，且在「掃描」期間，虛擬工具可宛如樣本被掃描般重播所儲存輸出。依此方式，使用一虛擬工具掃描樣本可似乎相同於使用一實際工具掃描一實體樣本，但事實上，「掃描」僅涉及依相同於可掃描樣本之方式重播樣本之輸出。以下各者中描述經組態為「虛擬」檢查工具之系統及方法：共同讓與之Bhaskar等人於2012年2月28日發佈之美國專利第8,126,255號及Duffy等人於2015年12月29日發佈之美國專利第9,222,895號，該兩個專利以宛如全文闡述引用之方式併入本文中。可如此等專利中所描述般進一步組態本文所描述之實施例。例如，可如此等專利中所描述般進一步組態本文所描述之一或多個電腦子系統。另外，可如上文所引用之Duffy專利中所描述般執行將一或多個虛擬系統組態為一中央運算及儲存(CCS)系統。本文所描述之持久儲存機制可具有分散運算及儲存(諸如CCS架構)，但本文所描述之實施例不受限於該架構。 如上文進一步所提及，檢查子系統可經組態以使用多個模式來產生樣本之輸出。一般而言，一「模式」可由用於產生一樣本之輸出之檢查子系統之參數值來界定。因此，不同模式可使檢查子系統之成像參數之至少一者具有不同值。例如，在一基於光學之檢查子系統之一實施例中，多個模式之至少一者使用不同於用於多個模式之至少另一者之照明光之至少一波長的照明光之至少一波長。模式可因不同模式而具有不同照明波長，如本文進一步所描述(例如，藉由使用不同光源、不同光譜濾波器等等)。在另一實施例中，該等模式之至少一者使用不同於該等模式之至少另一者所使用之檢查子系統之一照明通道的檢查子系統系統之一照明通道。例如，如上文所提及，檢查子系統可包含一個以上照明通道。因而，不同照明通道可用於不同模式。 例如，本文中所描述之光學及電子束子系統可經組態為檢查子系統。然而，本文中所描述之光學及電子束子系統可經組態為諸如缺陷檢視子系統之其他類型工具。特定而言之，本文中所描述及圖1及圖2中所展示之檢查子系統之實施例可取決於將使用其之應用來修改一或多個參數以提供不同成像能力。在一此類實例中，若圖2中所展示之檢查子系統用於缺陷檢視而非檢查，則其可經組態以具有一較高解析度。換言之，圖1及圖2中所展示之檢查子系統之實施例描述用於一光學或電子束子系統之一些一般及各種組態，其可依熟習技術者顯而易見之若干方式調適以產生具有幾乎適合於不同應用之不同成像能力的不同子系統。 一或多個電腦子系統可經組態以用於獲取由本文所描述之一檢查子系統所產生之樣本之輸出。可使用本文所描述之檢查子系統之一者來執行獲取輸出(例如，藉由將光或一電子束導引至樣本且分別檢測來自樣本之光或一電子束)。依此方式，可使用實體樣本本身及某種成像硬體來執行獲取輸出。然而，獲取輸出未必包含：使用成像硬體來使樣本成像。例如，另一系統及/或方法可產生輸出且可將所產生之輸出儲存於本文所描述之一或多個儲存媒體(諸如一虛擬檢測系統)或本文所描述之另一儲存媒體中。因此，獲取輸出可包含：自其中已儲存輸出之儲存媒體獲取輸出。 在一實施例中，檢查相關演算法係一缺陷分類器。例如，演算法可將一樣本上所偵測到之缺陷分成不同類型或等級之缺陷。缺陷分類器可具有諸如一決策樹或一最近鄰點型組態之任何適合組態。在另一實施例中，檢查相關演算法係一缺陷過濾器。缺陷過濾器可經組態為一妨害過濾器，因為其可經組態以將實際缺陷與妨害(其可如本文中所進一步闡述般界定)及其他雜訊分離開，且接著自檢查結果消除(且藉此過濾掉)妨害及雜訊。缺陷過濾器亦可具有諸如一決策樹或一最近鄰點型組態之任何適合組態。在一額外實施例中，檢查相關演算法係一缺陷偵測演算法。缺陷偵測演算法可經組態以如本文中所進一步描述般及/或依該項技術中已知之任何其他適合方式來執行缺陷偵測。在一額外實施例中，檢查相關演算法係一機器學習演算法。本文中所描述之檢查相關演算法可經組態為機器學習演算法。例如，缺陷分類器、缺陷過濾器及缺陷偵測演算法可具有機器學習演算法組態。另外，機器學習演算法可如以下各者中所描述般組態：Zhang等人於2017年5月25日所發表之美國專利申請公開案第2017/0148226號、Zhang等人於2017年6月6日所發表之第2017/0193680號、Bhaskar等人於2017年6月6日所發表之第2017/0194126號、Bhaskar等人於2017年7月13日所發表之第2017/0200260號及Bhaskar等人於2017年7月13日所發表之第2017/0200265號及Zhang等人於2017年5月23日所申請之美國專利申請案第15/603,249號，其等以宛如全文闡述引用之方式併入本文中。本文中所描述之檢查相關演算法可具有此等公開案中所描述之任何組態。 一或多個電腦子系統經組態以使用一標記缺陷組來執行一檢查相關演算法之一初始訓練，藉此產生檢查相關演算法之一初始版本。在一些實施例中，(若干)電腦子系統可經組態以產生用於執行初始訓練之標記缺陷組。例如，如圖3中所展示，(若干)電腦子系統可如步驟300中所展示般選擇第一批缺陷。可如本文中所進一步描述般來選擇第一批缺陷。另外，(若干)電腦子系統可如步驟302中所展示般分類所選擇缺陷。(雖然圖3相對於一缺陷分類器來描述步驟，但圖3中所展示及本文中所描述之步驟可針對本文中所描述之一不同檢查相關演算法來執行。)(若干)電腦子系統可分類所選擇缺陷及/或可如本文中所進一步描述般獲取對所選擇缺陷之分類。接著，(若干)電腦子系統可如步驟304中所展示般訓練分類器。因此，步驟304中所執行之訓練可為本文中所描述之初始訓練。可依該項技術中已知之任何適合方式執行初始訓練。例如，該等缺陷之資訊(諸如屬性及/或影像(或其他偵測器輸出))可經輸入至缺陷分類器，其可接著分類標記缺陷。接著，可修改缺陷分類器之一或多個參數，直至缺陷分類器針對該等缺陷所產生之分類匹配分配至該等缺陷之標記。雖然該等缺陷可如本文中所描述般標記，但缺陷屬性及缺陷區塊(例如光學屬性及/或光學區塊)可用作檢查相關演算法之輸入資料。 (若干)電腦子系統亦經進一步組態以將檢查相關演算法之初始版本應用至一未標記缺陷組。例如，一旦使用標記缺陷初始訓練檢查相關演算法，即可將檢查相關演算法之初始版本應用至由一標本檢查所偵測到且未經標記之剩餘缺陷(及潛在缺陷) (在一晶圓之一熱檢查中，其可包含成千上萬個缺陷)。 依此方式，如上文所描述，雖然該等缺陷可如本文中所描述般標記，但(若干)屬性及/或區塊影像或其他偵測器輸出經輸入至檢查相關演算法以用於初始訓練。在(例如，使用該(該等)缺陷屬性及/或區塊或其他偵測器輸出)對標記組進行初始訓練之後，可將檢查相關演算法之初始版本應用至未標記缺陷組。可藉由將針對未標記缺陷組可獲得之資訊之所有或(一些)輸入至檢查相關演算法中來執行應用檢查相關演算法之初始版本。可如本文中所進一步描述般來組態未標記缺陷組。 (若干)電腦子系統經進一步組態以基於該應用之結果來變更標記缺陷組。例如，當將檢查相關演算法之初始版本應用至未標記缺陷時，檢查相關演算法可不僅輸出針對未標記缺陷之各者之結果(例如一缺陷分類)，亦可輸出其之決策(例如，關於分類)之一信度。接著，可將此信度用於下一迭代之缺陷選擇程序。可如本文中所進一步描述般標記在缺陷選擇程序中所選擇之缺陷，且接著將該等缺陷新增至標記缺陷組，藉此變更該標記缺陷組。可如本文中所進一步描述般來執行變更該標記缺陷組。 在一實施例中，標記缺陷組及未標記缺陷組可經包含於相同檢查結果中。例如，如本文中所進一步描述，可藉由掃描一或多個樣本來產生標記缺陷組及未標記缺陷組。可將此掃描執行為熱掃描以藉此捕獲盡可能多之缺陷或缺陷類型。當掃描包含熱掃描時，歸因於此掃描所偵測到之缺陷量，僅一樣本之僅一熱掃描即可產生針對本文中所描述之所有步驟之足夠缺陷。可如本文中所描述般標記由此掃描偵測到之缺陷之一些以藉此產生標記缺陷組(即缺陷訓練組)。未標記缺陷組可為由此掃描偵測到之為未標記缺陷組之剩餘缺陷。因此，一或多個熱掃描偵測到之缺陷之所有者可形成本文中所描述之實施例所使用之缺陷之全部，其等之一些經標記且用於本文中所描述之一或多個步驟，且其等之其他者未經標記且用於本文中所描述之一或多個其他步驟。 在另一實施例中，變更標記缺陷組包含標記未標記組中之缺陷之一或多者且將該標記之缺陷之一或多者新增至標記組。例如，可如本文中所描述般選擇未標記組中之做選擇缺陷之一或多者，且接著可依任何適合方式來標記該一或多個缺陷。在一此類實例中，可藉由具有高於檢查子系統之解析度的一解析度之一影像獲取子系統來成像該一或多個選擇缺陷，以藉此產生該一或多個缺陷之較高解析度影像。接著，可將該等較高解析度缺陷影像提供至分配標記至該等缺陷之一使用者。然而，如本文中所進一步描述，可藉由一自動缺陷分類器(ADC)來標記選擇缺陷。因此，亦可將該等較高解析度缺陷影像提供至使用者或操作於該等較高解析度影像之ADC。由使用者分配之標記可包含本文中所描述之標記(諸如缺陷、妨害、雜訊、缺陷分類碼等等)之任何者。由使用者分配之標記可取決於檢查相關演算法之構形而變動。在一些例項中，(若干)電腦子系統可為使用者提供若干可能標記(例如，缺陷、非缺陷、缺陷等級碼x、缺陷等級碼y等等)。另外，(若干)電腦子系統可允許一使用者輸入諸如一新缺陷等級碼之一新標記，接著，可將其用於修改檢查相關演算法之構形(例如，當一檢查相關演算法為一新缺陷標記創造一新節點、儲存區、定義等等時)。可依任何方式(例如，藉由將新標記缺陷之資訊隨附至先前標記之缺陷之資訊儲存於其中的一檔案或其他資料結構)將標記之缺陷之一或多者新增至缺陷標記組。 如本文中所進一步描述，在一實施例中，一或多個電腦子系統經組態以基於偵測器所產生之輸出來偵測樣本上之缺陷，且該樣本上所偵測到之缺陷包含標記缺陷組及未標記缺陷組。例如，本文中所描述之(若干)電腦子系統所使用之缺陷可全部藉由對(若干)樣本執行(若干)熱掃描來在一樣本或若干樣本上偵測到。特定而言，針對諸如光學檢查之檢查，通常使用熱掃描之結果來訓練妨害過濾器及其他檢查相關演算法(即，產生含有成千上萬缺陷之結果的樣本檢查)。一「熱掃描」可大體界定為執行於一樣本上之一檢查，其中用於偵測潛在缺陷及缺陷之臨限值經有意設定在或實質上靠近該掃描所產生之輸出之雜訊底限處。通常執行「熱掃描」以偵測盡可能多之潛在缺陷及缺陷，從而確保所關注缺陷之大部分缺陷或所有缺陷係出於檢查方案設定及其類似者之目的而捕獲的。因此，可使用熱掃描結果來訓練妨害過濾器及其他檢查相關演算法。 為訓練諸如一妨害過濾器或缺陷分類器之一檢查相關演算法，可標記一樣本上所偵測到之一相對較小缺陷子組。藉由標記意指「分類」該等缺陷。「分類」該等缺陷可取決於(若干)電腦子系統所訓練或產生之檢查相關演算法而變動。例如，若檢查相關演算法係一缺陷偵測演算法，則分類可涉及將所偵測缺陷標記為實際缺陷及非實際缺陷(例如雜訊)。在另一實例中，若檢查相關演算法係一妨害過濾器，則分類可涉及將所偵測缺陷標記為實際缺陷及妨害缺陷(其等可經大體界定為使用者實際上不在乎之雜訊及/或實際缺陷)。在一進一步實例中，若檢查相關演算法係一缺陷分類器，則分類可涉及使用缺陷ID (例如，指示不同類型之缺陷(諸如橋接、顆粒、劃痕、缺失特徵、粗糙度等等)之等級碼)來標記所偵測缺陷。此缺陷分類或標記可大體上包含首先獲取該等缺陷之實質上較高解析度影像。可使用一SEM或高解析度光學成像來產生該等高解析度影像。 在一實施例中，用於初始訓練之標記缺陷組包含自樣本上所偵測之所有缺陷選擇之一預定最小數目之缺陷。例如，如本文中所進一步描述，實施例之優點之一者在於可在不犧牲所訓練檢查相關演算法之質量的情況下最小化訓練組中之標記缺陷。因此，用於初始訓練之標記缺陷之預定最小數目可為產生檢查相關演算法之一經粗略訓練初始版本所需要之缺陷最小數目。可探索式地或基於過去經驗及知識(例如，關於需要多少標記缺陷來訓練一檢查相關演算法)來預定標記缺陷之最小數目。另外，標記缺陷之預定最小數目可取決於檢查相關演算法而變動。例如，針對一缺陷分類器，標記缺陷之預定最小數目可為樣本上所預期的及/或分類器經構形的各缺陷類型之少量(例如2個或3個)缺陷。針對諸如一缺陷偵測演算法或一妨害過濾器之一不同檢查相關演算法，標記缺陷之預定最小數目可為諸多或數十個缺陷及非缺陷(例如，各者之10至50個)。可自可用於本文中所描述之實施例中之缺陷及/或樣本上所偵測之缺陷(例如，熱掃描結果中之未標記缺陷)隨機選擇該預定最小數目之缺陷。接著，可如本文中所描述般來標記該等隨機選擇之缺陷。接著，可分析標記缺陷以判定該預定最小數目之標記缺陷對於初始訓練是否足夠。若未選擇及標記足夠之一特定類型之缺陷，則可重複上文所描述之步驟直至標記缺陷之樣品包含所要數目之所要標記缺陷。 本文中所描述之實施例提供用於找到接近潛在分佈之邊界的缺陷之一迭代方式。另外，本文中所描述之實施例藉由使檢查相關演算法驅動選擇程序來將訓練組選擇及缺陷標記與調整程序組合(據信此為尤其適合於光學檢查之一新想法)。例如，在一進一步實施例中，變更標記缺陷組包含藉由應用檢查相關演算法之初始版本來判定針對未標記組中之缺陷所產生之結果的確定性、選擇未標記組中具有最低確定性之缺陷、獲得所選擇缺陷之標記及將所選擇缺陷及其等之標記新增至標記缺陷組。例如，如圖3中所展示，(若干)電腦子系統可經組態以如步驟306中所展示般計算模型(即檢查相關演算法)針對各缺陷之不確定性。另外，(若干)電腦子系統可經組態以如步驟308中所展示般找到測試資料中具有最低確定性之缺陷之一新組。(若干)電腦子系統可經進一步組態以如步驟310中所展示般分類該新組。(若干)電腦子系統亦可經組態以如步驟312中所展示般將該新組新增至訓練組。依此方式，在此等步驟中，在使用一實質上較小之標記缺陷組初始訓練檢查相關演算法之後，可量測檢查相關演算法(例如分類器)關於各缺陷之確定性。可依任何適合方式來判定確定性。例如，檢查相關演算法可經組態以產生與其產生之各結果相關聯之一信度(例如，與各缺陷分類相關聯之一信度)。該信度可用於判定確定性。檢查相關演算法亦可經組態以自動產生針對由檢查相關演算法產生之各結果的一確定性。因此，選擇且標記該檢查相關演算法最不確定之缺陷組。可使用光學影像(例如區塊)或SEM影像來人工完成針對訓練組之缺陷標記(分類)。亦可使用一預先訓練之SEM自動缺陷分類器(ADC)來自動執行標記。就可靠SEM ADC而言，此方法將完全自動化訓練程序且在本文中所描述之主要建構想法之上進一步加快方案調整程序。此新一批標記缺陷經新增至先前標記之缺陷且用於再訓練(或校正)檢查相關演算法。可如本文中進一步描述執行此等步驟之各者。 在一此實施例中，選擇未標記組中具有最低確定性之缺陷包含選擇未標記組中具有最低確定性之一預定最小數目之缺陷。例如，可自具有最低確定性之缺陷至具有第二低確定性之缺陷及等等選擇未標記組中之缺陷直至已達到該預定最小數目。可如本文中所描述般(例如，探索式地或基於先前實驗及歷史來判定實現對檢查相關演算法之足夠訓練所需要之缺陷之最小數目)預定所選擇之未標記組中之缺陷之預定最小數目。 在另一此類實施例中，獨立於未標記組中之缺陷之一或多個特性之多樣性來執行選擇未標記組中具有最低確定性之缺陷。例如，本文中所描述之實施例可在不考慮缺陷之一第一特性之多樣性、缺陷之一第二特性之多樣性或缺陷之任何其他特性之多樣性之情況下，基於檢查相關演算法所分配之標記之不確定性來選擇缺陷。依此方式，基於檢查相關演算法針對該等缺陷所產生之結果之不確定性選擇缺陷不同於多樣性取樣。另外，可在不考慮關於該等缺陷之任何其他屬性或資訊之情況下，執行選擇未標記組中具有最低確定性之缺陷。然而，當檢查相關演算法經組態以分配不同標記至不同之先前未標記缺陷時，具有最低確定性之缺陷可包含被分配一第一標記且具有最低確定性之缺陷、被分配一第二標記且具有最低確定性之缺陷。換言之，在不考慮缺陷之一或多個特性之多樣性的情況下選擇未標記組中具有最低確定性之缺陷可基於(或依賴於)由檢查相關演算法所分配之標記來執行。然而，仍未基於該等缺陷本身之特性之任何一或多者之多樣性來執行該選擇。例如，被分配不同標記且具有最低確定性之缺陷不必要針對缺陷之任一特性具有相對多樣化之值。實際上，致使檢查相關演算法之一初始、初步或中間版本難以標記缺陷的係該等缺陷之任一特性之類似性而非多樣性。 在一些實施例中，變更標記缺陷組包含藉由應用檢查相關演算法之初始版本來判定針對未標記組中之缺陷所產生之結果的確定性、選擇未標記組中具有最低確定性之一缺陷群組、選擇該群組中具有該子組中之缺陷之一特性之最大多樣性的一缺陷子組、獲得該缺陷子組之標記及將所選擇缺陷子組及其等之標記新增至標記缺陷組。例如，本文中所描述之實施例可將不確定性與多樣性組合以使取樣更高效。第一優先係取樣檢查相關演算法最不確信之缺陷，此係因為已知此等係處於分類邊界之缺陷，且提供此等缺陷之實況將最能提高檢查相關演算法之質量。然而，當存在諸多「低信度」缺陷時，試圖確保(若干)電腦子系統不選擇將全部具有相同信度之看起來基本上相同之缺陷，但反而在諸多不同低信度缺陷之間選擇多樣化之缺陷可係有利的。依此方式，與僅選擇僅位於邊界之一部分中之諸多缺陷相反，(若干)電腦子系統可在分類邊界周圍選擇最多樣化之組。(原則上，分類邊界係複雜的、未知的且可在一多維空間中超平面，且其用於獲得具有最小數目之標記缺陷的一經足夠訓練之檢查相關演算法，(若干)電腦子系統較佳在整個邊界周圍仔細選擇缺陷。換言之，(若干)電腦子系統較佳不選擇相對較遠離該分類邊界(即，具有相對較高信度)或位於該邊界之相同部分中(即，未顯著多樣化)之缺陷。) (若干)電腦子系統亦經組態以使用經變更之標記缺陷組再訓練檢查相關演算法，藉此產生檢查相關演算法之一較新版本。例如，如圖3中所展示，(若干)電腦子系統可經組態以如步驟314中所展示般再訓練(或校正)分類器。可相對於初始訓練來如本文中所進一步描述般執行再訓練。然而，在再訓練步驟中，再訓練可開始於檢查相關演算法之最先前版本(例如，由初始訓練產生之檢查相關演算法之參數)或檢查相關演算法之第一版本(例如，具有初始訓練前參數之檢查相關演算法版本)。一般而言，當在標記新一批缺陷且將其等新增至訓練組之後再訓練分類器時，雖然再訓練可自分類器之先前版本開始，但大多數情況下，再訓練從頭開始。(雖然可執行任一可能，但僅使用各新訓練組來訓練一新分類器。)依此方式，再訓練可涉及使用檢查相關演算法之一初始訓練前版本來基本上從頭訓練檢查相關演算法，或藉由調整且可微調前一個版本之一或多個參數來再訓練檢查相關演算法之前一個版本。 另外，(若干)電腦子系統經組態以將檢查相關演算法之較新版本應用至另一未標記缺陷組。應用檢查相關演算法之較新版本之未標記缺陷組可包含可用於本文中所描述之實施例中及/或樣本或若干樣本上所偵測之剩餘未標記缺陷之任何者及/或所有者。依此方式，應用較新版本之未標記組不同於應用初始版本(或一先前版本)之未標記組，此係因為未標記組中之一或多個缺陷經選擇、標記且經新增至標記缺陷組。因此，應用較新版本之未標記缺陷組可包含少於應用初始(或一先前)版本之未標記缺陷組之缺陷的缺陷。然而，在一些例項中，若剩餘未標記缺陷之數目不夠大，則可使用額外未標記缺陷來擴增在已選擇、標記一些且將其等新增至標記組之後剩餘之未標記缺陷組。可依任何適合方式(諸如對另一樣本執行另一熱掃描及/或自一儲存媒體、虛擬系統等等獲取額外檢查結果)來執行擴增該未標記組。一般而言，本文中所描述之掃描將為本文中所描述之功能/步驟提供足夠未標記缺陷。因此，若不存在足以藉此增大缺陷數目之此等缺陷，則較通常執行之擴增將係標記組之擴增。可如本文中所描述般將檢查相關演算法之較新版本應用至其他未標記缺陷組。例如，可將其他未標記組中之缺陷之所有或至少一些之資訊輸入至檢查相關演算法之最新版本，接著，該最新版本將產生針對該組中之未標記缺陷之各者或至少一些之結果。 (若干)電腦子系統亦經組態以判定應用檢查相關演算法之較新版本之結果與應用檢查相關演算法之初始版本或一較舊版本之結果之間的一或多個差。檢查相關演算法之初始版本將用於判定僅當該較新版本為所產生之檢查相關演算法之第二版本(初始版本之後緊接著產生之版本)時之差。在所有其他例項中，用於在此步驟中判定差之檢查相關演算法之較舊版本可為緊接著較新版本之前所產生之檢查相關演算法。依此方式，可判定檢查相關演算法之最新產生版本與緊接著該版本之前產生之版本之間的差。換言之，在此步驟中，可判定檢查相關演算法之第n版本與檢查相關演算法之第n-1版本之間的差。 接著，將此等差用於判定是否如本文中所進一步描述般收斂該程序。例如，如本文中所進一步描述，可判定該(該等)電腦子系統所執行之程序在迭代之間的分類(或其他結果)之變化變得相對較小時收斂。歸因於訓練程序中之統計波動，該等變化可不嚴格為零。換言之，當多次重複使用相同訓練組訓練時，針對相同缺陷可不產生完全相同分類(或其他結果)。可估計此等小波動，且當迭代之間的變化變得小至此估計值時，可停止由該(該等)電腦子系統執行之程序——其已收斂。此外，當已達到此標準時，檢查相關演算法已實現其之最大效能。 (若干)電腦子系統經進一步組態以重複變更該標記缺陷組、再訓練該檢查相關演算法、應用檢查相關演算法之較新版本且判定該一或多個差直至該一或多個差達到一或多個標準。因此，該一或多個標準界定終止標記缺陷及本文中所描述之其他步驟之迭代的停止標準。例如，如上文所描述，當一或多個差等於或小於將發生於訓練之間的相對較小波動(不論檢查相關演算法之效能如何)之估計值時，可判定該一或多個差達到該一或多個標準。另外，檢查相關演算法所產生之不同結果可具有不同標準。例如，針對一缺陷分類所產生之結果之差的一或多個標準可不用於針對另一缺陷分類所產生之結果之差的一或多個標準。在此等例項中，可重複上文所描述之步驟直至已達到該一或多個標準之所有者。在其他例項中，檢查相關演算法所產生之不同結果之所有者可具有相同標準。例如，不同缺陷分類所產生之結果之差的一或多個標準可為相同的。然而，在此等例項中，亦可重複上文所描述之步驟直至已達到該一或多個標準之所有者。例如，即使兩個缺陷分類需要達到相同之一或多個標準，針對一缺陷分類所產生之結果亦可比針對另一缺陷所產生之結果更快達到該一或多個標準。 在一此類實例中，如圖3中所展示，(若干)電腦子系統可經組態以如步驟316中所展示般判定是否已滿足收斂標準。若未滿足該收斂標準，則如圖3中所展示，(若干)電腦子系統可退回至步驟306且計算模型(檢查相關演算法)針對各缺陷之不確定性。(若干)電腦子系統亦可重複步驟圖3中所展示之308、310、312及314，直至已判定滿足該收斂標準。據信，本文中所描述之實施例對資料驅動收斂標準之依賴很新穎。換言之，如本文中所進一步描述，可選擇檢查相關演算法(例如分類器)最不確信之一批未標記缺陷。接著，可如本文中所描述般標記所選擇缺陷。可將新標記缺陷新增至訓練組，且可將經變更訓練組用於訓練一新檢查相關演算法。可重複此等步驟直至已滿足收斂。 在一實施例中，該一或多個標準界定以下兩者之間的一邊界：a)指示檢查相關演算法之較新版本可忽略地不同於檢查相關演算法之初始版本或較舊版本的一或多個差與b)指示較新檢查相關演算法顯著不同於檢查相關演算法之初始版本或較舊版本的一或多個差。該一或多個差係如上文所描述般判定之差(例如，檢查相關演算法之第n版本與檢查相關算法之第n-1版本之間的差)。依此方式，(若干)電腦子系統可在各迭代之後追蹤檢查相關演算法之歷史，且若檢查相關演算法所產生之結果的變化足夠小，則其將終止迭代。 如本文中所使用之術語「可忽略地不同」可隨檢查相關演算法而變動。然而，如本文中所使用之「可忽略地不同」可經界定為足夠小至指示自檢查相關演算法之一版本至另一版本，檢查相關演算法未顯著變化之任何差。因此，可稱得上為「可忽略地不同」之(若干)差界定本文中所描述之實施例之停止標準。因而，該一或多個差之「可忽略地不同」之值可由一使用者(基於其等之可接受停止標準)來預定及界定，及/或可由(若干)電腦子系統或另一方法或系統基於關於正訓練之特定檢查相關演算法之可重複性及/或正訓練之檢查相關演算法之類型的一般或特定資訊來預定。如本文中所使用之術語「顯著不同」之一或多個差可為除該等差之「可忽略地不同」之值之外的任何及所有差。依此方式，該一或多個差可具有兩個不同範圍之值：1)如本文中所描述般界定之「可忽略地不同」之差；及2)「顯著不同」之差(除「可忽略地不同」之差之外的所有差)。 若自先前迭代至當前迭代之變化係零(或很小)，則由於檢查相關演算法對缺陷很確定，因此(若干)電腦子系統判定不存在任何值得標記之新缺陷。在一特定實例中，(若干)電腦子系統可使用上一測試資料組中之缺陷之預測等級碼的變化歷史。然而，可考慮將若干其他收斂措施用於本文中所描述之實施例中。收斂量測之所有者可監測分類器效能之一些態樣及/或依據訓練迭代而變化之訓練組之內容。例如，(若干)電腦子系統可藉由追蹤依據迭代而變化之精確度來監測檢查相關演算法效能本身。另一方法依賴於監測依據迭代而變化之接受者操作曲線(ROC)之改良。一ROC基本上係對一二進制分類器跨整個範圍之操作點(例如，不同妨害率)之效能之一量測。另外，在某些境況下或出於某些特定目的，(若干)電腦子系統可監測不同缺陷類型如何藉由各迭代成為訓練組，例如，(若干)電腦子系統可在電腦子系統不再使所關注缺陷(DOI)成為訓練組時停止。 當該一或多個差達到該一或多個標準時，該(該等)子系統經組態以輸出檢查相關演算法之一最新版本作為一經訓練檢查相關演算法以用於檢查其他樣本。輸出檢查相關演算法之最新版本可包含(必要時)輸出可具有檢查相關演算法之一般構形的檢查相關演算法之最新訓練參數。輸出檢查相關演算法之最新版本亦可包含將該最新版本儲存於一儲存媒體(諸如本文中所描述之儲存媒體之一者)中及/或一檢查方案中使得在執行該檢查方案時執行該檢查相關演算法。(如本文中所使用之術語一「方案」可大體上經界定為可由一系統用於執行一程序之一指令組。) 在一實施例中，一或多個電腦子系統經組態以判定由檢查相關演算法之最新版本所產生之不同結果之一可分離性量測值，且僅在所判定之可分離性量測值高於一預定臨限值之後執行輸出。例如，將檢查相關演算法(例如妨害過濾器(分類器))應用至具有在對應於不同事物(例如缺陷對妨害、一類型之缺陷對另一類型之缺陷等等)之資料之間的各種程度之可分離性的資料。當資料之分離度為中等或差時，檢查相關演算法最好不執行，且不論已完成什麼，其通常都將剩餘大量相對較低信度之結果。因此，收斂標準不基於信度或效能之任何量測。因此，(若干)電腦子系統可僅監測檢查相關演算法何時停止改進，且此時已產生針對此資料之最佳檢查相關演算法。因而，可判定檢查相關演算法之最新版本之一可分離性量測值，以判定已使用可用訓練資料產生之最佳檢查相關演算法實際上是否執行得足夠好以用於其他樣本。若判定該可分離性量測值不夠，則可探究其他選項(諸如使用檢查子系統之其他輸出產生參數產生之其他資料)以作為如本文中所進一步描述之檢查相關演算法之替代輸入。 在一此類實例中，如圖3中所展示，一旦在步驟316中判定已滿足收斂標準，則該(該等)電腦子系統可如步驟318中所展示般判定該資料是否可分離。若在步驟318中判定該資料可分離，則在步驟320中，該(該等)電腦子系統可判定檢查相關演算法已準備好(即，準備好用於檢查其他樣本、準備好用於生產監測等等)。依此方式，該等實施例可使用一量測來保證檢查相關演算法之正確性。為確保檢查相關演算法可正確分離該資料，可量測該資料之可分離性。此量測表明該資料是否可分離。針對為一缺陷分類器之一檢查相關演算法，量測可表明該資料是否可分離且分類器是否可比一隨機猜測更好地分類各缺陷等級。若訓練組中之資料可分離，則可宣佈已建造一正確分類器。若分類器針對各等級碼之精確度高於一特定臨限值(例如，高於50%之某值(此係因為一平衡訓練組之50%之精確度意謂完全隨機分類，即，無可分離性))，則訓練組中之資料可視為可分離。 若(若干)電腦子系統在圖3之步驟318中判定資料不可分離，則如圖3中所展示，該(該等)電腦子系統可如步驟322中所展示般改變檢查參數。例如，若資料不可分離，則在缺陷分類器之情況中，資料不可分類。在此情況中，(若干)電腦子系統可判定應改變檢查子系統之一或多個參數。例如，(若干)電腦子系統可判定應改變檢查模式。接著，(若干)電腦子系統可執行調整該檢查子系統之一或多個參數或僅對執行調整之另一子系統(電腦或其他)提供一指令。可依任何適合方式執行檢查子系統之一或多個參數之調整或變更。接著，可將使用檢查子系統之經調整或經變更參數產生之輸出用於產生一標記缺陷組及一未標記缺陷組，接著，可將其等用於執行本文中所描述之(若干)步驟以產生一經訓練檢查相關演算法。依此方式，可產生針對檢查子系統之新參數訓練之一檢查相關演算法。 本文所描述之實施例提供訓練一檢查相關演算法之若干優點。例如，將檢查相關演算法調整及訓練組獲取組合成一單一方法將提供優於既有方法之巨大優勢，此係因為本文中所描述之檢查相關演算法調整及訓練組獲取將最大化標記缺陷對於檢查相關演算法之效能的有效性。(標記缺陷係對訓練目的最具指導性之缺陷，且因此針對給定資料，檢查相關演算法之效能始終為最佳。)另外，就工具時間及勞力而言，標記缺陷(例如，人工分類缺陷)實質上花費很大。識別訓練組獲取及檢查相關演算法調整程序之收斂標準將最小化訓練組大小且因此提供一優勢。此外，將訓練組選擇及缺陷標記與調整程序組合對於應用用於光學檢查妨害過濾器及分類器之任何機器學習演算法絕對必要之認知很新穎。(需要將訓練組選擇及缺陷標記與調整程序組合係因為訓練資料具有成千上萬個缺陷，其等之大部分為妨害。)本文中所描述之實施例亦保證檢查方案之一致性，即，妨害過濾器調整不再取決於經驗及技巧。 本文中所描述之系統之實施例之各者可與本文中所描述之系統之任何其他實施例組合。 另一實施例係關於用於訓練一檢查相關演算法之一電腦實施方法。該方法包含上文所描述之(若干)電腦子系統之功能之各者之步驟。特定而言之，該方法包含使用一標記缺陷組執行一檢查相關演算法之一初始訓練，藉此產生檢查相關演算法之一初始版本。該方法亦包含將檢查相關演算法之初始版本應用至一未標記缺陷組且基於該應用之結果來變更標記缺陷組。另外，該方法包含使用經變更標記缺陷組再訓練該檢查相關演算法，藉此產生檢查相關演算法之一較新版本。該方法進一步包含將檢查相關演算法之較新版本應用至另一未標記缺陷組。該方法亦包含判定應用檢查相關演算法之較新版本之結果與應用檢查相關演算法之初始版本或一較舊版本之結果之間的一或多個差。另外，該方法包含重複變更該標記缺陷組、再訓練該檢查相關演算法、應用檢查相關演算法之較新版本且判定該一或多個差直至該一或多個差達到一或多個標準。當該一或多個差達到該一或多個標準時，該方法包含輸出檢查相關演算法之一最新版本作為一經訓練檢查相關演算法以用於檢查其他樣本。 可如本文中所進一步描述般執行該方法之步驟之各者。該方法亦可包含可由本文中所描述之檢查子系統及/或(若干)電腦子系統及/或(若干)系統執行之(若干)任何其他步驟。可由根據本文中所描述之實施例之任何者組態之一或多個電腦系統執行該方法之步驟。另外，可藉由本文中所描述之系統實施例之任何者來執行上文所描述之方法。 一額外實施例係關於一非暫時性電腦可讀媒體，其儲存在電腦系統上執行之用於執行訓練一檢查相關演算法之一電腦實施方法的程式指令。在圖4中展示一種此類實施例。特定而言之，如圖4中所展示，非暫時性電腦可讀媒體400包含可在電腦系統404上執行之程式指令402。該電腦實施方法可包含本文所描述之(若干)任何方法之(若干)任何步驟。 實施諸如本文中所描述之方法之方法之程式指令402可經儲存於電腦可讀媒體400上。該電腦可讀媒體可為一儲存媒體，諸如一磁碟或光碟、一磁帶或該項技術中已知之任何其他適合非暫時性電腦可讀媒體。 可依各種方式(包含基於程序之技術、基於組件之技術及/或物件導向技術及其他)之任何者實施程式指令。例如，可根據期望使用ActiveX控制、C++物件、JavaBeans、微軟基礎類別(「MFC」)、SSE (串流SIMD擴展)或其他技術或方法來實施程式指令。 可根據本發明所描述之實施例之任何者來組態電腦系統404。 本文所描述之方法之所有者可包含儲存一電腦可讀儲存媒體中之方法實施例之一或多個步驟之結果。該等結果可包括本文中所描述之結果之任何者且可依該項技術中已知之任何方式儲存。儲存媒體可包括本文中所描述之任何儲存媒體或該項技術中已知之任何其他適合儲存媒體。在儲存結果之後，該等結果可經存取於儲存媒體中且可藉由本文中所描述之方法或系統實施例之任何者使用，可經格式化以對一使用者顯示，可由另一軟體模組、方法或系統等等使用。例如，經訓練檢查相關演算法可用於對(若干)其他樣本執行(若干)檢查(可如本文中所描述般來執行該等檢查)。由該(該等)檢查產生之結果可用於執行(若干)其他樣本之一或多個功能或執行用於形成(若干)其他樣本之程序。例如，使用如本文中所描述般訓練之檢查相關演算法執行之(若干)檢查所產生之結果可用於變更用於形成(若干)其他樣本之一或多個程序之一或多個參數。另外或替代地，使用如本文中所描述般訓練之檢查相關演算法執行之檢查所產生之結果可用於變更一或多個程序之一或多個參數，該一或多個程序將執行於(若干)其他樣本上以在該(該等)其他樣本上形成額外特徵或材料或以校正該(該等)其他樣本上之缺陷，藉此變更(若干)其他樣本本身。 鑒於此描述，熟習該項技術者將明白本發明之各種態樣之進一步修改及替代實施例。例如，本發明提供用於訓練一檢查相關演算法之方法及系統。據此，此描述僅解釋為繪示性的且出於教示熟習該項技術者實施本發明之一般方式之目的。應瞭解，本文中所展示及描述之本發明之形式係應作為當前較佳實施例。如熟習該項技術者在受益於本發明之此描述之後將明白般，元件及材料可替代本文中所繪示及描述之該等元件及材料，可顛倒零件及程序且可獨立利用本發明之某些特徵。在不背離如以下申請專利範圍中所描述之本發明之精神及範疇之情況下，可對本文中所描述之元件作出改變。

10‧‧‧檢查子系統14‧‧‧樣本16‧‧‧光源18‧‧‧光學元件20‧‧‧透鏡21‧‧‧分束器22‧‧‧置物台24‧‧‧集光器26‧‧‧元件28‧‧‧偵測器30‧‧‧集光器32‧‧‧元件34‧‧‧偵測器36‧‧‧電腦子系統102‧‧‧電腦子系統122‧‧‧電子柱124‧‧‧電腦子系統126‧‧‧電子束源128‧‧‧樣本130‧‧‧元件132‧‧‧元件134‧‧‧偵測器300‧‧‧步驟302‧‧‧步驟304‧‧‧步驟306‧‧‧步驟308‧‧‧步驟310‧‧‧步驟312‧‧‧步驟314‧‧‧步驟316‧‧‧步驟318‧‧‧步驟320‧‧‧步驟322‧‧‧步驟400‧‧‧非暫時性電腦可讀媒體402‧‧‧程式指令404‧‧‧電腦系統

在閱讀下列詳細描述時及在參考附圖時，將明白本發明之其他目的及優點，其中： 圖1及圖2係繪示如本文所描述般組態之一系統之實施例之側視圖的示意圖； 圖3係繪示可藉由本文中所描述之實施例執行之步驟的一實施例之一流程圖； 圖4係儲存在電腦系統上執行之用於執行本文中所描述之電腦實施方法之一者或多者的程式指令之一非暫時性電腦可讀媒體之一實施例的一方塊圖。 雖然本發明易於以各種修改及替代形式呈現，但其之特定實施例藉由實例之方式在圖式中展示且將在本文中詳細描述。然而，應瞭解圖式及其詳細描述不意欲將本發明限於所揭示之特定形式，但相反，本發明覆蓋在如藉由隨附申請專利範圍所界定之本發明之精神及範疇內之所有修改、等效物及替代方式。

10‧‧‧檢查子系統

14‧‧‧樣本

16‧‧‧光源

18‧‧‧光學元件

20‧‧‧透鏡

21‧‧‧分束器

22‧‧‧置物台

24‧‧‧集光器

26‧‧‧元件

28‧‧‧偵測器

30‧‧‧集光器

32‧‧‧元件

34‧‧‧偵測器

36‧‧‧電腦子系統

102‧‧‧電腦子系統

Claims (20)

1. 一種經組態以訓練一檢查相關演算法之系統，其包括：一檢查子系統，其包括至少一能源及一偵測器，其中該能源經組態以產生被導引至一樣本之能量，且其中該偵測器經組態以偵測來自該樣本之能量，且回應於該經偵測之能量而產生輸出；及一或多個電腦子系統，其等經組態以：使用一標記缺陷組來執行一檢查相關演算法之一初始訓練，藉此產生該檢查相關演算法之一初始版本；將該檢查相關演算法之該初始版本應用至一未標記缺陷組；基於該應用之結果來變更該標記缺陷組；使用該經變更標記缺陷組來再訓練該檢查相關演算法，藉此產生該檢查相關演算法之一較新版本；將該檢查相關演算法之該較新版本應用至另一未標記缺陷組；判定應用該檢查相關演算法之該較新版本之結果與該應用該檢查相關演算法之該初始版本或一較舊版本之該等結果之間的一或多個差；重複變更該標記缺陷組、再訓練該檢查相關演算法、應用該檢查相關演算法之該較新版本，且判定該一或多個差直至該一或多個差達到一或多個標準；及當該一或多個差達到該一或多個標準時，輸出該檢查相關演算法之一最新版本作為一經訓練檢查相關演算法以用於檢查其他樣本。
2. 如請求項1之系統，其中該檢查相關演算法係一缺陷分類器。
3. 如請求項1之系統，其中該檢查相關演算法係一缺陷過濾器。
4. 如請求項1之系統，其中該檢查相關演算法係一缺陷偵測演算法。
5. 如請求項1之系統，其中該檢查相關演算法係一機器學習演算法。
6. 如請求項1之系統，其中該標記缺陷組及該未標記缺陷組係包含於相同結果中。
7. 如請求項1之系統，其中變更該標記缺陷組包括標記該未標記缺陷組中之該等缺陷之一或多者，且將該標記之缺陷之一或多者新增至該標記缺陷組。
8. 如請求項1之系統，其中該一或多個電腦子系統經進一步組態以基於該偵測器所產生之該輸出來偵測該樣本上之缺陷，且其中該樣本上所偵測到之該等缺陷包括該標記缺陷組及該未標記缺陷組。
9. 如請求項1之系統，其中該標記缺陷組包括自該樣本上所偵測到之所有缺陷選擇之一預定最小數目的缺陷。
10. 如請求項1之系統，其中變更該標記缺陷組包括藉由該應用該檢查相 關演算法之該初始版本來判定針對該未標記缺陷組中之該等缺陷所產生之該等結果的確定性、選擇該未標記缺陷組中具有最低之該確定性之該等缺陷、獲得該等所選擇缺陷之標記，及將該等所選擇缺陷與其等之標記新增至該標記缺陷組。
11. 如請求項10之系統，其中選擇該未標記缺陷組中具有最低之該確定性之該等缺陷包括選擇該未標記缺陷組中具有最低之該確定性之一預定最小數目之該等缺陷。
12. 如請求項10之系統，其中獨立於該未標記缺陷組中之該等缺陷之一或多個特性的多樣性來執行選擇該未標記缺陷組中具有最低之該確定性的該等缺陷。
13. 如請求項1之系統，其中變更該標記缺陷組包括藉由該應用該檢查相關演算法之該初始版本來判定針對該標記缺陷組中之該等缺陷所產生之該等結果的確定性、選擇該未標記缺陷組中具有最低之該確定性之一群組該等缺陷、選擇該群組中具有最大多樣性為該等缺陷之一特性之一缺陷子組、獲得該缺陷子組之標記，及將該所選擇缺陷子組與其等之標記新增至該標記缺陷組。
14. 如請求項1之系統，其中該一或多個標準界定以下兩者之間之一邊界：a)指示該檢查相關演算法之該較新版本可忽略地不同於該檢查相關演算法之該初始版本或該較舊版本的該一或多個差，與b)指示該較新檢查相 關演算法顯著不同於該檢查相關演算法之該初始版本或該較舊版本的該一或多個差。
15. 如請求項1之系統，其中該一或多個電腦子系統經進一步組態以判定由該檢查相關演算法之該最新版本產生之不同結果之一可分離性量測值，且僅在所判定之該可分離性量測值高於一預定臨限值之後執行該輸出。
16. 如請求項1之系統，其中該樣本包括一晶圓。
17. 如請求項1之系統，其中被導引至該樣本之該能量包括光，且其中自該樣本偵測到之該能量包括光。
18. 如請求項1之系統，其中被導引至該樣本之該能量包括電子，且其中自該樣本偵測到之該能量包括電子。
19. 一種非暫時性電腦可讀媒體，其儲存在一電腦系統上執行之用於執行訓練一檢查相關演算法之一電腦實施方法的程式指令，其中該電腦實施方法包括：使用一標記缺陷組執行一檢查相關演算法之一初始訓練，藉此產生該檢查相關演算法之一初始版本；將該檢查相關演算法之該初始版本應用至一未標記缺陷組；基於該應用之結果來變更該標記缺陷組；使用該經變更標記缺陷組來再訓練該檢查相關演算法，藉此產生該 檢查相關演算法之一較新版本；將該檢查相關演算法之該較新版本應用至另一未標記缺陷組；判定應用該檢查相關演算法之該較新版本之結果與該應用該檢查相關演算法之該初始版本或一較舊版本之該等結果之間的一或多個差；重複變更該標記缺陷組、再訓練該檢查相關演算法、應用該檢查相關演算法之該較新版本且判定該一或多個差直至該一或多個差達到一或多個標準；及當該一或多個差達到該一或多個標準時，輸出該檢查相關演算法之一最新版本作為一經訓練檢查相關演算法以用於檢查其他樣本，其中執行該初始訓練、應用該初始版本、變更該標記缺陷組、再訓練該檢查相關演算法、應用該較新版本、判定該一或多個差、該重複及該輸出係由該電腦系統來執行。
20. 一種用於訓練一檢查相關演算法之電腦實施方法，其包括：使用一標記缺陷組來執行一檢查相關演算法之一初始訓練，藉此產生該檢查相關演算法之一初始版本；將該檢查相關演算法之該初始版本應用至一未標記缺陷組；基於該應用之結果來變更該標記缺陷組；使用該經變更標記缺陷組來再訓練該檢查相關演算法，藉此產生該檢查相關演算法之一較新版本；將該檢查相關演算法之該較新版本應用至另一未標記缺陷組；判定應用該檢查相關演算法之該較新版本之結果與應用該檢查相關演算法之該初始版本或一較舊版本之該等結果之間的一或多個差； 重複變更該標記缺陷組、再訓練該檢查相關演算法、應用該檢查相關演算法之該較新版本且判定該一或多個差直至該一或多個差達到一或多個標準；及當該一或多個差達到該一或多個標準時，輸出該檢查相關演算法之一最新版本作為一經訓練檢查相關演算法以用於檢查其他樣本，其中執行該初始訓練、應用該初始版本、變更該標記缺陷組、再訓練該檢查相關演算法、應用該較新版本、判定該一或多個差、該重複及該輸出係由一或多個電腦系統來執行。

Images