TW202424895A - 用於索引和半導體缺陷影像檢索的建模 - Google Patents

Abstract

本說明書的標的可以尤其在方法、系統、電腦可讀取儲存媒體中實施。方法可以包括處理裝置儲存複數個特徵向量，該等特徵向量表示對應於各種基板處理缺陷的先前處理的影像視框。該方法進一步包括接收第一影像資料，該第一影像資料包含指示第一基板處理缺陷的一或多個影像視框。該方法進一步包括確定對應於該第一影像資料的第一特徵向量。該方法進一步包括基於在該第一特徵向量與該複數個特徵向量的選擇的每一者之間的接近度來確定該複數個特徵向量的選擇。該方法進一步包括確定第二影像資料，該第二影像資料包含對應於複數個嵌入向量的選擇的一或多個影像視框，以及基於確定該第二影像資料來執行動作。

Description

用於索引和半導體缺陷影像檢索的建模

本說明書的實施例大體而言係關於用於半導體缺陷影像索引及檢索的建模。更特定言之，本說明書的實施例係關於使用深度學習及向量搜尋技術的新穎組合在半導體缺陷影像上進行影像搜尋。

在製造中，例如在半導體裝置製造中，晶圓廠產量取決於可以使用計量工具直接量測並且藉由監控處理設備感測器間接量測的裝置品質。此資訊係在產品製造生命週期的不同時間收集的。當製造工程師需要辨識處理工具或最終產品的問題時，他或她必須經歷一個費力且昂貴的過程來分析大量資料點（例如，具有各種量測參數的許多樣品的計量資料）。例如，當工程師被告知產品有潛在問題時，工程師必須核查對應的計量資料來找到產品的警報特性。辨識計量違規的常見方法係使用影像分析。

半導體工業從各種工具產生用於處理步驟之間的故障分析的影像，從而辨識在各種資料庫中儲存的缺陷位置、特性、及分類。缺陷偵測/分類的障礙係在資料庫內搜尋有助於表徵對應於影像處理的基板處理缺陷的索引資料。在習知系統中搜尋缺陷資訊經常受到文本查詢的限制，該等文本查詢可能係主觀的、手動的、乏味的、間接的、低效的、並且受到評估者的知識、背景、相關經驗及特定興趣的限制。

一種方法、系統、及電腦可讀取媒體(computer readable media; CRM)促進用於半導體缺陷影像索引及檢索的建模。在一些實施例中，一種藉由處理裝置執行的方法可包括儲存複數個特徵向量，該等特徵向量表示對應於各種基板處理缺陷的先前處理的影像視框。方法進一步包括接收第一影像資料，包含指示第一基板處理缺陷的一或多個影像視框。方法進一步包括確定對應於第一影像資料的第一特徵向量。方法進一步包括基於在第一特徵向量與複數個特徵向量的選擇的每一者之間的接近度來確定複數個特徵向量的選擇。方法進一步包括確定第二影像資料，該第二影像資料包含對應於複數個嵌入向量的選擇的一或多個影像視框，並且基於確定第二影像資料來執行動作。

在一些實施例中，一種方法可包括處理裝置接收指示基板處理缺陷的第一影像視框。方法進一步包括藉由裁剪第一影像視框的第一區域來產生第二影像視框。方法進一步包括藉由裁剪第一影像視框的第二區域來產生第三影像視框，其中第一區域包含第二區域。方法進一步包括使用第二影像視框作為第一機器學習(machine learning; ML)模型的輸入。方法進一步包括獲得第一ML模型的一或多個輸出，一或多個輸出指示對應於第二影像視框的第一特徵向量。方法進一步包括使用第三影像視框作為第二ML模型的輸入並且獲得指示對應於第三影像視框的第二特徵向量的第二ML模型的一或多個輸出。方法進一步包括基於在第一ML模型的一或多個輸出與第二ML模型的一或多個輸出之間的比較來更新第一ML模型或第二ML模型中的至少一者的一或多個參數。

在一些實施例中，一種非暫時性機器可讀取儲存媒體包含指令，當藉由處理裝置執行時，該等指令導致處理裝置執行操作。操作可包括在資料儲存裝置中儲存複數個特徵向量，該等特徵向量表示對應於各種基板處理缺陷的先前處理的影像視框。操作可進一步包括接收第一影像資料，該第一影像資料包含指示第一基板處理缺陷的一或多個影像視框。操作可進一步包括確定對應於第一影像資料的第一特徵向量。操作可進一步包括基於在第一特徵向量與複數個特徵向量的選擇的每一者之間的接近度來確定複數個特徵向量的選擇。操作可進一步包括確定第二影像資料，該第二影像資料包含對應於複數個嵌入向量的選擇的一或多個影像視框。操作可進一步包括基於確定第二影像資料來執行動作。

本文描述的實施例係關於半導體缺陷影像索引及檢索。在製造中，例如在半導體裝置製造中，產品品質可以使用計量工具直接量測並且藉由監控處理設備感測器間接量測。此資訊係在產品製造生命週期的不同時間收集的。當製造工程師需要辨識處理工具或最終產品的問題時，他或她必須經歷一個費力且昂貴的過程來分析大量資料點（例如，具有各種量測參數的許多樣品的計量資料）。例如，當工程師被告知產品有潛在問題時，工程師必須核查對應的計量資料來找到產品的警報特性。分析計量資料的一種形式係經由使用基板成像，諸如，例如經由使用電子顯微鏡（例如，掃描電子顯微鏡）。

半導體工業從各種工具產生用於處理步驟之間的故障分析及問題排除的影像，從而辨識在各種資料庫中儲存的缺陷位置、特性、及分類。缺陷偵測/分類的障礙係在資料庫內搜尋有助於表徵對應於影像處理的基板處理缺陷的索引資料。在習知系統中搜尋缺陷資訊經常受到文本查詢的限制，該等文本查詢可能係主觀的、手動的、乏味的、間接的、低效的、並且受到評估者的知識、背景、相關經驗及特定興趣的限制。習知系統進一步不能處理具有新的或非分佈（out-of-distribution; OOD）資料及多種缺陷的組合的影像。習知的基板缺陷分析在提供靶向基板的特定區域的靈活性及選擇性移除可能干擾某一缺陷分類的其他缺陷的影響方面亦存在不足。

習知的缺陷分類演算法經常需要學習製造製程，諸如基板裝置處理參數。缺陷的影像（諸如顯微影像）經常需要工程師多年的經驗來理解影像內的症狀（例如，缺陷的大小、定向、形狀、紋理、形貌、類型等）並且基於症狀來確定基板處理程序或基板處理設備的一或多個異常，諸如，例如，缺陷來自何處、缺陷係如何導致的（例如，缺陷係如何產生或運輸的等）。另外，當多個缺陷相互重疊時，辨識缺陷的挑戰進一步加劇。

除了採用域特定過濾器之外，本揭示的態樣及實施方式藉由提供能夠基於影像的內容及/或缺陷大小以及聚焦或忽略缺陷的特定區域的選項來索引及檢索基板上的基於半導體的顆粒的數位影像的框架，來解決現有技術的此等其他缺點。本揭示利用電腦學習建模來確定影像的表示並且建立影像及/或影像的特徵表示的儲存庫。在一些實施例中，本揭示提供了使用影像特徵的搜尋機制，該等影像特徵使用計算建模（例如，基於深度學習的視覺變換器(Visual Transformer; ViT)模型）提取。在一些實施例中，本揭示提供了用於裁剪影像的某些部分及/或忽略（例如，遮蔽）影像的某些部分的選項。在一些實施例中，本揭示提供了用於提取大小資訊（例如，放大、影像縮放、缺陷大小等）並且使其可用以用於辨識類似影像及/或缺陷的模組。

所提出的解決方案利用學習模型（例如，ViT）來提取缺陷影像的良好表示。所提出的解決方案採用針對向量類似性搜尋最佳化的索引來以快速方式檢索類似影像。所提出的解決方案有效地減輕了處理新資料的困難，因為索引及資料庫可用新資料更新。與習知的基於文本的解決方案相比，所提出的解決方案提供了更快且更集中的結果。另外，基於影像的搜尋解決方案不受缺陷關鍵字、類別標籤及/或習知系統中需要的其他機構知識的限制。所提出的解決方案進一步能夠執行動態搜尋，其中可以檢索、處理、及索引新資訊，以及提供處理相同影像中的多個缺陷的能力。除了提供靶向影像的特定區域的靈活性（例如，使用裁剪及/或遮蔽特徵）之外，所提出的解決方案進一步提供了基板缺陷的改進影像表示。

一種方法、系統、及電腦可讀取媒體(CRM)促進用於半導體缺陷影像索引及檢索的建模。在示例實施例中，一種藉由處理裝置執行的方法可包括儲存複數個特徵向量，該等特徵向量表示對應於各種基板處理缺陷的先前處理的影像視框。方法進一步包括接收第一影像資料，包含指示第一基板處理缺陷的一或多個影像視框。方法進一步包括確定對應於第一影像資料的第一特徵向量。方法進一步包括基於在第一特徵向量與複數個特徵向量的選擇的每一者之間的接近度來確定複數個特徵向量的選擇。方法進一步包括確定第二影像資料，該第二影像資料包含對應於複數個嵌入向量的選擇的一或多個影像視框，並且基於確定第二影像資料來執行動作。

在示例實施例中，一種方法可包括處理裝置接收指示基板處理缺陷的第一影像視框。方法進一步包括藉由裁剪第一影像視框的第一區域來產生第二影像視框。方法進一步包括藉由裁剪第一影像視框的第二區域來產生第三影像視框，其中第一區域包含第二區域。方法進一步包括使用第二影像視框作為第一機器(ML)模型的輸入。方法進一步包括獲得第一ML模型的一或多個輸出，一或多個輸出指示對應於第二影像視框的第一特徵向量。方法進一步包括使用第三影像視框作為第二ML模型的輸入並且獲得指示對應於第三影像視框的第二特徵向量的第二ML模型的一或多個輸出。方法進一步包括基於在第一ML模型的一或多個輸出與第二ML模型的一或多個輸出之間的比較來更新第一ML模型或第二ML模型中的至少一者的一或多個參數。

在示例實施例中，一種非暫時性機器可讀取儲存媒體包含指令，當藉由處理裝置執行時，該等指令導致處理裝置執行操作。操作可包括在資料儲存裝置中儲存複數個特徵向量，該等特徵向量表示對應於各種基板處理缺陷的先前處理的影像視框。操作可進一步包括接收第一影像資料，該第一影像資料包含指示第一基板處理缺陷的一或多個影像視框。操作可進一步包括確定對應於第一影像資料的第一特徵向量。操作可進一步包括基於在第一特徵向量與複數個特徵向量的選擇的每一者之間的接近度來確定複數個特徵向量的選擇。操作可進一步包括確定第二影像資料，該第二影像資料包含對應於複數個嵌入向量的選擇的一或多個影像視框。操作可進一步包括基於確定第二影像資料來執行動作。

第1圖係示出其中本揭示的實施方式可操作的示例系統架構100的方塊圖。如第1圖所示，系統架構100包括製造系統102、計量系統110、客戶端裝置150、資料儲存140、伺服器120、及機器學習系統170。機器學習系統170可係伺服器120的部分。在一些實施例中，機器學習系統170的一或多個部件可完全或部分整合到客戶端裝置150中。製造系統102、計量系統110、客戶端裝置150、資料儲存140、伺服器120、及機器學習系統170可以各自藉由一或多個計算裝置代管，包括伺服器電腦、桌上型電腦、膝上型電腦、平板電腦、筆記型電腦、個人數位助理(personal digital assistant; PDA)、行動通訊裝置、蜂巢電話、手持電腦、雲端伺服器、基於雲端的系統（例如，雲端服務裝置、雲端網路裝置、或類似計算裝置）。

製造系統102、計量系統110、客戶端裝置150、資料儲存140、伺服器120、及機器學習系統170可經由網路160彼此耦接（例如，用於執行本文描述的方法）。在一些實施例中，網路160係私有網路，該私有網路為系統架構100的每個元件提供對彼此及其他私有可用的計算裝置的存取。網路160可包括一或多個廣域網路(wide area network; WAN)、區域網路(local area network; LAN)、有線網路（例如，乙太網路）、無線網路（例如，802.11網路或Wi-Fi網路）、蜂巢網路（例如，長期演進(Long Term Evolution; LTE)網路）、路由器、集線器、開關、伺服器電腦、及/或其任何組合。在一些實施例中，網路160係能夠執行基於雲端的功能性（例如，將雲端服務功能性提供到系統中的一或多個裝置）的基於雲端的網路。替代地或額外地，系統架構100的元件的任一者可以整合在一起或以其他方式耦接而不使用網路160。

客戶端裝置150可係或包括任何個人電腦(personal computer; PC)、膝上型電腦、行動電話、平板電腦、筆記型電腦、網路連接的電視（「智慧TV」）、網路連接的媒體播放機（例如，藍光播放機）、機上盒、過頂(OTT)串流裝置、操作人員盒等。客戶端裝置能夠執行基於雲端的操作（例如，利用伺服器120、資料儲存140、製造系統102、機器學習系統170、計量系統110等）。客戶端裝置150可包括瀏覽器152、應用程式154、及/或所描述並且藉由系統架構100的其他系統執行的其他工具。在一些實施例中，客戶端裝置150能夠存取製造系統102、計量系統110、資料儲存140、伺服器120、及/或機器學習系統170並且通訊（例如，發送及/或接收）對下列的指示：計量資料、經處理的資料（例如，增強影像資料、嵌入向量、及類似者）、處理結果資料（例如，關鍵尺寸資料、厚度資料）、及/或在處理系統架構100的各個階段的各種處理工具（例如，成像工具114、資料準備工具116、影像增強工具124、嵌入工具126、搜尋工具128、缺陷工具130、及/或檢索部件194）的輸入及輸出，如本文描述。

如第1圖所示，製造系統102包括處理工具104、處理程序106、及處理控制器108。處理控制器108可協調處理工具104的操作以執行一或多個處理程序106。例如，各個處理工具可包括專業腔室，諸如蝕刻腔室、沉積腔室（包括用於原子層沉積、化學氣相沉積、濺射腔室、物理氣相沉積、或其電漿增強版本的腔室）、退火腔室、佈植腔室、電鍍腔室、處理腔室、及/或類似者。在另一實例中，機器可整合樣品運輸系統（例如，選擇性順應組裝機械臂(selective compliance assembly robot arm; SCARA)機器人、移送腔室、前開式晶圓傳送盒(front opening pod; FOUP)、側面儲存盒(side storage pod; SSP)、及/或類似者）以在機器與處理步驟之間運輸樣品

處理程序106或有時稱為處理配方或處理步驟，可包括用於藉由處理工具104執行操作的各種規範。例如，處理程序106可包括處理規範，諸如機器（例如，腔室）的處理操作的啟動持續時間、用於操作的處理工具、溫度、流程、壓力等、沉積順序、及類似者。在另一實例中，處理程序可包括移送指令，用於將樣品運輸到進一步處理步驟或由計量系統110量測。

處理控制器108可以包括經設計為管理及協調處理工具104的動作的裝置。在一些實施例中，處理控制器108與處理配方或一系列處理程序106的指令相關聯，當以設計的方式應用時該等指令導致基板處理的期望處理結果。例如，處理配方可與處理基板相關聯以產生目標處理結果（例如，關鍵尺寸、厚度、均勻性準則等）。

如第1圖所示，計量系統110包括成像工具114及資料準備工具116。成像工具114可以包括各種感測器以量測製造系統102內的處理結果（例如，關鍵尺寸、厚度、均勻性等）。例如，成像工具114可包括掃描穿隧顯微鏡(scanning tunneling microscope; STM)或掃描電子顯微鏡(scanning electron microscope; SEM)。在另一實例中，在一或多個處理腔室內處理的晶圓可以用於量測關鍵尺寸。成像工具114亦可包括用於量測使用製造系統處理的基板的處理結果的裝置。例如，可以估計根據藉由處理控制器108執行的處理配方及/或動作處理的基板的處理結果，諸如關鍵尺寸、厚度量測（例如，來自蝕刻、沉積等的膜層）。彼等量測亦可以用於在整個基板處理程序中量測腔室的條件。

資料準備工具116可包括處理方法，該處理方法用於提取特徵及/或產生與藉由成像工具114量測的資料相關聯的合成/工程設計的資料。在一些實施例中，資料準備工具116可以辨識計量或處理效能資料的相關性、圖案、及/或異常。例如，資料準備工具116可執行特徵提取，其中資料準備工具116使用量測資料的組合來確定是否滿足準則。例如，資料準備工具116可以分析相關聯參數的多個資料點以確定在基板處理程序期間是否發生跨多個處理腔室的快速改變。在一些實施例中，資料準備工具116對與各種處理腔室條件相關聯的各種感測器資料執行標準化。標準化可包括處理輸入感測器資料，以使其在用於獲取資料的各個腔室及感測器上看起來類似。

在一些實施例中，資料準備工具116可以對計量資料（例如，藉由成像工具114獲得的計量資料）執行處理控制分析、單變數極限違反分析、或多變數極限違反分析中的一或多個。例如，資料準備工具116可以藉由採用基於統計的方法監控及控制處理控制器108，來執行統計處理控制(statistical process control; SPC)。例如，SPC可以提高基板處理程序的效率及準確性（例如，藉由辨識落在控制限值內及/或控制限值外的資料點）。

在一些實施例中，提取的特徵、產生的合成/工程設計資料、及統計分析可以與機器學習系統170相關聯地使用（例如，用於訓練、驗證、及/或測試機器學習模型190）。額外地及/或替代地，資料準備工具116可以向伺服器120輸出資料，以供影像增強工具124、嵌入工具126、搜尋工具128、及缺陷工具130中的任一者使用。

資料儲存140可係記憶體（例如，隨機存取記憶體）、驅動器（例如，硬驅動器、快閃驅動器）、資料庫系統、基於雲端的系統、或能夠儲存資料的另一類型的部件或裝置。資料儲存140可儲存一或多個歷史資料142，包括容納（例如，基板缺陷的）先前處理的影像以及對應的向量化影像特徵及元資料146的影像儲存庫144。向量化影像資料可包括表示成像資料（例如，影像視框、使用成像工具114獲取的影像）的特徵向量或嵌入資料。

伺服器120可包括一或多個計算設備，諸如機架式伺服器、路由器電腦、伺服器電腦、個人電腦、大型電腦、膝上型電腦、平板電腦、桌上型電腦等。伺服器120可以包括影像增強工具124、嵌入工具126、搜尋工具128、及/或缺陷工具130。伺服器120包括雲端伺服器或能夠執行一或多個基於雲端的功能的伺服器。例如，影像增強工具124、嵌入工具126、搜尋工具128、及/或缺陷工具130的一或多個操作可使用雲端環境提供到遠端裝置（例如，客戶端裝置150）。

影像增強工具124接收指示基板處理缺陷的影像資料（例如，影像視框），並且對接收的影像資料執行影像增強。在一些實施例中，影像增強工具124執行過濾程序，其中處理邏輯處理接收到的影像視框的選擇，並且藉由辨識影像的特徵及移除不符合特定準則的影像視框。例如，基板缺陷的影像可包括影像集合內，該影像集合包括圖表、資料表、及/或計量相關影像。過濾程序辨識哪些影像描繪了基板缺陷，並且移除不直接指示基板處理缺陷的影像。

在一些實施例中，影像增強工具124利用一或多個接收的影像視框執行裁剪程序。裁剪係從相片或示出的影像移除非所要的外部區域。該過程通常由移除影像的一些周邊區域組成，用於從圖片中移除無關的垃圾、改進其取景、改變縱橫比、或者突出或隔離標的與其背景。此可以藉由使用影像編輯軟體及/或模擬影像編輯程序的演算法來執行。例如，影像增強124可接收一或多個影像視框的選擇（例如，來自計量系統110及/或客戶端裝置150），並且根據該選擇裁剪一或多個影像視框（例如，基於根據該選擇裁剪第一影像視框來產生第二影像視框）。

在一些實施例中，影像增強工具124對一或多個接收的影像視框執行遮蔽程序。影像遮蔽係用於隔離影像的不同部分的技術。例如，影像遮蔽可包括相片合成多個影像、隱藏應用選擇性調整的全部或部分、進行剪切（例如，移除背景）、調整透明度及/或類似者。例如，影像增強124可接收一或多個影像視框的選擇（例如，來自計量系統110及/或客戶端裝置150），並且根據該選擇遮蔽一或多個影像視框（例如，基於根據該選擇裁剪第一影像視框來產生第二影像視框）。

嵌入工具126接收包括一或多個影像視框（例如，來自計量系統110）的影像資料，並且確定表示影像資料的嵌入資料。嵌入工具126包括用於以特徵資料（例如，特徵向量）的形式提取特徵及/或產生與成像工具114量測的資料相關聯的合成/工程設計的資料的過程方法。在一些實施例中，嵌入工具116可以辨識計量或處理效能資料的相關性、圖案、及/或異常。嵌入係相對低維的空間，高維的表示（例如，影像）可以轉換到其中。嵌入資料（例如，特徵向量）捕獲接收的影像視框的語義。嵌入工具126輸出嵌入資料（例如，供搜尋工具128使用）。嵌入層的輸出可以進一步傳遞到其他機器學習技術，諸如聚類、k最近鄰分析等。

搜尋工具128接收嵌入資料（例如，特徵向量、特徵嵌入）並且確定對應於先前處理的影像（例如，影像儲存庫）的其他特徵嵌入（例如，向量化影像特徵及元資料）。搜尋工具128在接收的特徵嵌入及向量化影像的一或多個特徵嵌入與歷史資料142的特徵及元資料146之間執行接近度搜尋。

在一些實施例中，搜尋工具128使用向量搜尋及/或最近鄰解決方案方法來確定影像儲存庫144的接近影像的集合。搜尋工具可辨識最靠近（例如，最類似於）接收及/或提供的特徵向量的向量。

在一些實施例中，搜尋工具128掃描歷史資料142並且擷取影像儲存庫144以及向量化影像特徵及元資料146。搜尋工具128可採用並且索引向量化影像特徵以快速解析特徵向量。在一些實施例中，搜尋工具利用歐氏(Euclidean)距離及/或餘弦類似性來確定特徵向量之間的距離。

缺陷工具130接收指示基板處理缺陷的一或多個類似影像視框。缺陷工具130基於類似影像視框的選擇來辨識基板處理缺陷。缺陷工具130基於當前影像與類似影像視框的選擇的每一者之間的比較來辨識製造製程的異常實例。在一些實施例中，缺陷工具138從圖案映射工具137接收類似並且基於樣品圖案來辨識異常實例。

缺陷工具130可檢索故障模式及效應分析(failure mode and effect analysis; FMEA)資料。FMEA資料可包括給定設備的已知問題及根本原因的列表，該等已知問題及根本原因具有與各者相關聯的已知症狀。藉由缺陷工具138接收的所辨識的缺陷及/或類似影像應用於已知問題的列表，並且產生辨識缺陷的常見原因的報告。例如，缺陷工具130可確定缺陷並且辨識對應於所辨識的缺陷的工具、機器或製造製程的操作。

在一些實施例中，缺陷工具138可以與過程依賴性資料一起使用，以從正對當前樣品執行的當前機器操作辨識在上游操作的工具、機器、或過程（例如，在相同的製造製程的當前製造步驟之前發生的操作步驟）。例如，當前樣品可能最近經歷了藉由第一機器的第一操作。在一些實施例中，缺陷工具130可以利用過程依賴性資料與故障模式及效應分析資料的組合來找出樣品的過去操作，諸如藉由第二機器或工具的第二操作。

一旦辨識出異常實例，缺陷工具130就可以藉由執行下列中的一者來進行：更改與異常實例相關聯的機器的操作或過程的實施方式中的至少一者及/或提供呈現與異常實例相關聯的機器或過程的視覺指示器的圖形使用者介面(graphical user interface; GUI)。GUI可經由網路160發送並且在客戶端裝置150上呈現。在一些實施例中，更改機器的操作或過程的實施方式可包括向製造執行系統102發送指令以更改處理工具104、處理程序106、及/或處理控制器108。

如先前描述，影像增強工具124、嵌入工具126、搜尋工具128、及/或缺陷工具130的一些實施例可使用機器學習模型來執行其描述的方法。相關聯的機器學習模型可使用機器學習系統170來產生（例如，訓練、驗證及/或測試）。對機器學習系統170的以下示例描述將在使用機器學習系統170產生與嵌入工具126相關聯的機器學習模型190的上下文中描述。然而，應當注意到，此描述僅僅係實例。類似的處理層次及方法可以用於與影像增強工具124、嵌入工具126、搜尋工具128、及/或缺陷工具130相關聯的機器學習模型的產生及執行，可使用機器學習模型來執行其描述的方法。

機器學習系統170可包括一或多個計算裝置，諸如機架式伺服器、路由器電腦、伺服器電腦、個人電腦、大型電腦、膝上型電腦、平板電腦、桌上型電腦、雲端電腦、雲端伺服器、在一或多個雲端上儲存的系統等。機器學習系統170可包括嵌入部件194及檢索部件196。在一些實施例中，嵌入部件194可接收指示基板處理缺陷的一或多個影像視框作為輸入，並且使用歷史資料142及經訓練的機器學習模型190來確定對應於影像視框的特徵嵌入。在一些實施例中，檢索部件196可使用經訓練的機器學習模型190以使用向量化影像特徵及元資料146來搜尋影像儲存庫144。

在一些實施例中，機器學習系統170進一步包括伺服器機器172及伺服器機器180。伺服器機器172及180可係一或多個計算裝置（諸如機架式伺服器、路由器電腦、伺服器電腦、個人電腦、大型電腦、膝上型電腦、平板電腦、桌上型電腦、雲端電腦、雲端伺服器、儲存在一或多個雲端上的系統等）、資料存儲（例如，硬碟、記憶體資料庫）、網路、軟體部件、或硬體部件。

伺服器機器172可包括資料集產生器174，該資料集產生器能夠產生資料集（例如，資料輸入的集合及目標輸出的集合）以訓練、驗證、或測試機器學習模型。資料集產生器174可將歷史資料142劃分為訓練集（例如，歷史資料的60%、或歷史資料的任何其他部分）、驗證集（例如，歷史資料的20%、或歷史資料的一些其他部分）、及測試集（例如，歷史資料的20%）。在一些實施例中，資料集產生器174產生訓練資料的多個集合。例如，訓練資料的一或多個集合可包括資料集（例如，訓練集、驗證集、及測試集）的每一者。

伺服器機器180包括訓練引擎182、驗證引擎184、及測試引擎186。訓練引擎182能夠使用影像儲存庫144的一或多個影像、向量化影像特徵及元資料146、及/或（資料儲存140的）歷史資料142的歷史過程結果資料148來訓練機器學習模型190。在一些實施例中，機器學習模型190可使用資料準備工具116、影像增強工具124、嵌入工具126、搜尋工具128、及/或缺陷工具130的一或多個輸出來訓練。例如，機器學習模型190可係使用影像資料及/或嵌入特徵（諸如特徵提取、機械建模及/或統計建模）的混合機器學習模型。訓練引擎182可產生多個經訓練的機器學習模型190，其中每個經訓練的機器學習模型190對應於每個訓練集的特徵的不同集合。

驗證引擎184可基於每個訓練集的特徵的對應集合來確定經訓練的機器學習模型190的每一者的準確性。驗證引擎184可丟棄具有不滿足閾值準確性的準確性的經訓練的機器學習模型190。測試引擎186可基於測試（並且視情況，驗證）集來確定具有所有經訓練的機器學習模型的最高準確性的經訓練的機器學習模型190。

在一些實施例中，提供訓練資料以訓練機器學習模型190，使得經訓練的機器學習模型可接收具有指示新基板處理缺陷的新影像資料的新輸入。新輸出可指示新特徵嵌入（例如，特徵向量）。在一些實施例中，訓練資料可進一步使用，使得新輸出進一步包括對應於類似基板處理缺陷的影像的類似特徵向量的選擇。

機器學習模型190可指藉由訓練引擎182使用包括資料輸入及對應目標輸出（影像視框以及對應的向量化影像特徵及元資料）的訓練集創建的模型。可以發現在資料集中將資料輸入映射到目標輸出（例如，辨識在感測器資料的部分與所得腔室狀態之間的連接）的圖案並且向機器學習模型190提供捕獲此等圖案的映射。機器學習模型190可使用邏輯迴歸、語法分析、決策樹、或支援向量機(support vector machine; SVM)中的一或多者。機器學習可由單級線性或非線性運算（例如，SVM）組成及/或可係神經網路。

嵌入部件194可提供當前資料（例如，指示基板處理缺陷的影像視框）作為經訓練的機器學習模型190的輸入，並且可對輸入運行經訓練的機器學習模型190以獲得包括向量化影像特徵及元資料的集合的一或多個輸出。嵌入部件194能夠從輸出中辨識置信資料，該置信資料指示預測的向量化影像特徵及元資料的置信位準。在一個非限制性實例中，置信位準係0與1之間的實數（包括0與1），其中0指示對一或多個腔室狀態沒有置信度，而1表示對腔室狀態的絕對置信度。

出於說明而非限制的目的，本揭示的態樣描述了對機器學習模型的訓練及使用涉及歷史資料142的資訊對經訓練的學習模型的使用。在其他實施方式中，啟發式模型或基於規則的模型用於確定腔室狀態。

在一些實施例中，客戶端裝置150、伺服器120、資料儲存140、及機器學習系統170的功能可藉由與第1圖所示者相比較少數量的機器來提供。例如，在一些實施例中，伺服器機器172及180可整合到單個機器中，而在一些其他實施例中，伺服器機器172、180、及192可整合到單個機器中。在一些實施例中，機器學習系統170可完全或部分藉由伺服器120提供。

通常，在一個實施例中描述為藉由客戶端裝置150、資料儲存140、計量系統110、製造系統102、及機器學習系統170執行的功能亦可以在其他實施例中在伺服器120上執行，若適當。此外，歸因於特定部件的功能性可以藉由一起操作的不同或多個部件執行。

在實施例中，「使用者」可表示為單個個體。然而，本揭示的其他實施例涵蓋「使用者」係藉由多個使用者及/或自動化源控制的實體。例如，作為一組管理員聯合的獨立使用者集合可被認為係「使用者」。

第2圖係示出其中本揭示的實施方式可操作的基板缺陷影像索引及檢索系統200的方塊圖。基板缺陷影像索引及檢索系統200可包括系統架構100的態樣及/或特徵。

如第2圖所示，基板缺陷索引及檢索系統200接收輸入影像202。輸入影像可包括指示基板處理缺陷的一或多個影像視框。輸入影像202可包括具有基板處理缺陷的基板處理結果的影像。例如，輸入影像202可包括掃描穿隧顯微鏡(STM)或掃描電子顯微鏡(SEM)影像。

如第2圖所示，基板缺陷索引及檢索系統200包括影像增強邏輯，包括裁剪邏輯204、遮蔽邏輯206、及大小偵測邏輯208。裁剪邏輯204執行具有一或多個接收的影像視框的裁剪程序。裁剪係從相片或示出的影像移除非所要的外部區域。該過程通常由移除影像的一些周邊區域組成，用於從圖片中移除無關的垃圾、改進其取景、改變縱橫比、或者突出或隔離標的與其背景。此可以藉由使用影像編輯軟體及/或模擬影像編輯程序的演算法來執行。例如，裁剪邏輯204可接收一或多個影像視框的選擇，並且根據該選擇裁剪一或多個影像視框（例如，基於根據該選擇裁剪第一影像視框來產生第二影像視框）。

遮蔽邏輯206執行具有一或多個接收的影像視框的遮蔽程序。影像遮蔽係用於隔離影像的不同部分的技術。例如，影像遮蔽可包括相片合成多個影像、隱藏影像的全部或部分、應用選擇性調整、進行剪切（例如，移除背景）、調整透明度及/或類似者。例如，遮蔽邏輯206可接收一或多個影像視框的選擇，並且根據該選擇遮蔽一或多個影像視框（例如，基於根據該選擇裁剪第一影像視框來產生第二影像視框）。

大小偵測邏輯208處理輸入影像202並且從輸入影像202中提取指示與輸入影像202相關聯的影像縮放因數的內容。影像縮放因數指示在影像內相對於影像的大小的描繪的相對大小。例如，影像縮放因數可包括影像縮放、放大因數、所描繪的物件的指示大小、及類似者。大小偵測邏輯208提取大小辨識資訊（例如，文本）並且確定所描繪缺陷的大小。缺陷大小進一步傳遞到一或多個下游過程（例如，嵌入邏輯210、搜尋邏輯212、缺陷偵測邏輯214、及類似者）。與第3圖相關聯地論述關於大小偵測邏輯208的進一步細節。

如第2圖所示，基板缺陷索引及檢索系統200包括嵌入邏輯210。嵌入邏輯210接收包括輸入影像202的影像資料。嵌入邏輯210包括用於以特徵資料（例如，特徵向量）的形式提取特徵及/或產生與成像工具量測的資料相關聯的合成/工程設計的資料的過程方法。在一些實施例中，嵌入邏輯210可以辨識計量或處理效能資料的相關性、圖案、及/或異常。嵌入係相對低維的空間，高維的表示（例如，影像）可以轉換到其中。嵌入資料（例如，特徵向量）捕獲接收的影像視框的語義。嵌入邏輯210輸出嵌入資料（例如，供搜尋工具128使用）。嵌入層的輸出可以進一步移送到其他機器學習技術，諸如聚類、k最近鄰分析等。

如第2圖所示，基板缺陷索引及檢索系統200包括搜尋邏輯212。搜尋邏輯212接收嵌入資料（例如，特徵向量、特徵嵌入）並且確定對應於先前處理的影像（例如，影像儲存庫）的其他特徵嵌入（例如，向量化影像特徵及元資料）。搜尋邏輯212在接收的特徵嵌入及向量化影像的一或多個特徵嵌入與其他基板處理缺陷的先前處理的影像的特徵及元資料之間執行接近度搜尋。

在一些實施例中，搜尋邏輯212使用向量搜尋及/或最近鄰解決方案方法來確定影像儲存庫的接近影像的集合。搜尋工具可辨識最靠近（例如，最類似於）接收及/或提供的特徵向量的向量。

在一些實施例中，搜尋邏輯212掃描資料結構並且擷取影像儲存庫以及對應的向量化影像特徵及元資料。搜尋邏輯212可採用向量化影像特徵的索引方法來快速解析特徵向量。在一些實施例中，搜尋工具利用歐氏距離及/或餘弦類似性來確定特徵向量之間的距離。

如第2圖所示，基板缺陷索引及檢索系統200包括缺陷偵測邏輯214。缺陷偵測邏輯214接收指示基板處理缺陷的一或多個類似影像視框。缺陷偵測邏輯214基於類似影像視框的選擇來辨識基板處理缺陷。缺陷偵測邏輯214基於當前影像與類似影像視框的選擇的每一者之間的比較來辨識製造製程的異常實例。在一些實施例中，缺陷偵測邏輯214從搜尋邏輯212接收類似影像並且基於類似影像來辨識異常實例。

缺陷偵測邏輯214可檢索故障模式及效應分析(FMEA)資料。FMEA資料可包括給定設備的已知問題及根本原因的列表，該等已知問題及根本原因具有與各者相關聯的已知症狀。藉由缺陷偵測邏輯214接收的所辨識的缺陷及/或類似影像應用於已知問題的列表，並且產生辨識缺陷的常見原因的報告。例如，缺陷偵測工具214可確定缺陷並且辨識對應於所辨識的缺陷的工具、機器或製造製程的操作。

在一些實施例中，缺陷偵測邏輯214可以與過程依賴性資料一起使用，以從正對當前樣品執行的當前機器操作辨識在上游操作的工具、機器、或過程（例如，在相同的製造製程的當前製造步驟之前發生的操作步驟）。例如，當前樣品可能最近經歷了藉由第一機器的第一操作。在一些實施例中，缺陷偵測工具214可以利用過程依賴性資料與故障模式及效應分析資料的組合來找出樣品的過去操作，諸如藉由第二機器或工具的第二操作。

一旦辨識出異常實例，缺陷工具130就可以藉由執行下列中的一者來進行：更改與異常實例相關聯的機器的操作或過程的實施方式中的至少一者及/或提供呈現與異常實例相關聯的機器或過程的視覺指示器的圖形使用者介面(GUI) 216。GUI可經由網路160發送並且在客戶端裝置150上呈現。在一些實施例中，更改機器的操作或過程的實施方式可包括向製造執行系統102發送指令以更改製造系統102的處理實體（例如，第1圖的處理工具104、處理程序106、及/或處理控制器108）。

在一些實施例中，搜尋邏輯212輸出類似向量化影像特徵的選擇或具有與輸入影像202類似的向量化影像特徵的影像。影像可直接發送到GUI 216，而不確定特定缺陷。例如，GUI 216可包括圖示已經確定為類似於輸入影像202的影像的位置。

第3圖示出了根據本揭示的態樣的缺陷大小確定系統300的方塊圖。與第3圖相關聯地論述的一或多個特徵可藉由第2圖的大小偵測邏輯208執行。如第3圖所示，缺陷大小確定系統300可包括接收輸入影像302、線遮蔽邏輯304、線移除邏輯306、文本辨識邏輯308、及/或後處理邏輯310。輸入影像302可包括指示基板處理缺陷的一或多個影像視框。輸入影像302可包括具有基板處理缺陷的基板處理結果的影像。例如，輸入影像302可包括掃描穿隧顯微鏡(STM)或掃描電子顯微鏡(SEM)影像。

線遮蔽邏輯304確定在影像視框內的邊緣的放置。線遮蔽邏輯可確定影像視框的邊界或全域邊緣。例如，一些影像可包括在影像視框的邊緣上的垂直線或水平線。在一些實施例中，線遮蔽邏輯304執行伽馬校正閾值處理以辨識影像視框內的一或多個邊緣。例如，垂直線及/或水平線可在影像視框內用於辨識儲存在影像內的資料，諸如，例如，覆蓋在影像上的文本。在一些實施例中，線遮蔽邏輯304使用分段來執行局部化並且產生用於影像視框的修復的遮罩。

線移除邏輯306從線遮蔽邏輯304接收線遮蔽資料。線移除工具基於偵測的線應用影像視框的影像增強方法（例如，裁剪、遮蔽）部分。例如，影像可包括使用線遮蔽邏輯304辨識的品牌標誌或其他人工標記。線移除邏輯306可應用遮罩來移除藉由線遮蔽邏輯304偵測的線。

文本辨識邏輯308辨識影像視框內的文本。例如，影像可包括相對影像縮放因數，諸如指示影像上表示的距離的標尺。文本辨識邏輯308可辨識給定影像縮放因數（例如，放大率、相對描繪距離等）的數字及單位。文本辨識邏輯308可將文本與輸入影像302的剩餘部分隔離。

後處理邏輯310基於所辨識的文本採取動作。例如，後處理日誌可執行資料清理及標準化。此可包括提供藉由文本辨識邏輯308辨識的輸入影像302的區域的清理描繪。後處理邏輯310可進一步包括使大小資料可用於系統的其他過程。在一些實施例中，後處理邏輯310基於縮放來確定缺陷的大小並且提供缺陷的大小（例如，作為元資料）以進一步與輸入影像302相關的嵌入及/或分類程序。

第4圖係根據某些實施例示出用於訓練機器學習模型以產生輸出的過程400的方塊圖。過程400包括接收以輸入影像402的形式的訓練資料。輸入影像402可包括指示基板處理缺陷的一或多個影像視框。輸入影像402可包括具有基板處理缺陷的基板處理結果的影像。例如，輸入影像402可包括掃描穿隧顯微鏡(STM)或掃描電子顯微鏡(SEM)影像。

如第4圖所示，過程400包括輸入影像402的裁剪增強。輸入影像402的副本可經歷局部裁剪404並且輸入影像402的副本可經歷全域裁剪406。局部裁剪可與在輸入影像402的選擇內設置的輸入影像402的選擇相關聯。局部裁剪影像用作學生模型408的輸入。全域裁剪影像用作教師模型410的輸入。學生模型輸出學生模型預測412。學生模型預測412及/或教師模型預測414包括指示對應於輸入影像402的不同嵌入向量以及與輸出的每一者相關聯的對應置信位準（例如，機率）的簡檔（例如，分佈）。

在操作中，示例訓練程序可包括處理邏輯接收指示基板處理缺陷的第一影像視框（例如，輸入影像402）。處理邏輯進一步藉由裁剪（例如，全域裁剪406）第一影像視框的第一區域來產生第二影像視框。處理邏輯進一步藉由裁剪（例如，局部裁剪404）第一影像視框的第二區域來產生第三影像視框。第一區域（與全域裁剪406相關聯）包含第二區域（與局部裁剪404相關聯）。處理邏輯使用第二影像視框作為第一機器(ML)模型（例如，教師模型410）的輸入。處理邏輯獲得第一ML模型的一或多個輸出。一或多個輸出（教師模型預測414）指示對應於第二影像視框的第一特徵向量。處理邏輯使用第三影像視框作為第二ML模型（例如，學生模型408）的輸入。處理邏輯獲得第二ML模型的一或多個輸出（例如，學生模型預測412）。一或多個輸出指示對應於第三影像視框的第二特徵向量。處理邏輯基於在第一ML模型的一或多個輸出與第二ML模型的一或多個輸出之間的比較來更新（例如，模型調諧416）第一ML模型或第二ML模型中的至少一者的一或多個參數。

在一些實施例中，學生模型408可係機器學習模型，該機器學習模型類似於經訓練的教師模型410，但含有與經訓練的教示模型410的每一者相比較少的層及/或節點，從而導致壓縮更多的機器學習模型。在一些實施例中，可訓練多個學生模型408，其中每個學生模型408可經訓練以在輸入影像群集中預測輸入影像402的不同子集的嵌入向量，教示模型410經訓練為針對該輸入影像群集輸出誤差預測。在一些實施例中，不同的學習模型408可針對輸入影像402的每個群集及/或基板處理缺陷來訓練。教師模型的每一者可隨後用於訓練多個學生模型。

在一些實施例中，模型調諧416包括確定損失函數的誤差或結果，諸如，例如反向傳播到學生模型408的分級損失。分級損失表示誤差的機率（來自學生模型）與感知真理的機率（來自教學模型）之間的差異。例如，若教師模型410確定第一預測具有第一機率且學生模型408確定第一預測具有第二機率，則誤差與兩個機率之間的差異相關。在一些實施例中，分級損失函數可係分類交叉熵函數、Kullback-Leibler散度函數、或任何適當的損失函數。

在一些實施例中，訓練可藉由一次一個地將輸入影像402輸入到機器學習模型中來執行。在一些實施例中，在一或多輪訓練之後，處理邏輯可確定是否已滿足停止準則。停止準則可係目標準確性位準、來自訓練資料集的處理影像的目標數量、在一或多個先前資料點上的參數的目標改變量、其組合及/或其他準則。在一個實施例中，當至少最小數量的資料點已經被處理並且損失值已經穩定及/或停止減少時，滿足停止準則。損失值可表示機器學習模型中的誤差總和。例如，損失值可表示建模值與實際值之間的增量總和。在一個實施例中，若已停止改進機器學習模型的準確性，則滿足停止準則。若尚未滿足停止準則，則執行進一步訓練。若已經滿足停止準則，則訓練可完成。一旦訓練了機器學習模型，訓練資料集的保留部分就可用於測試模型。

第5圖示出了根據本揭示的態樣的用於基板處理結果預測的模型訓練工作流程505及模型應用工作流程517。在一些實施例中，模型訓練工作流程505可在伺服器處執行，該伺服器可能或可能不包括處理缺陷影像索引及檢索應用，並且將經訓練的模型提供到可執行模型應用工作流程517的處理缺陷影像索引及檢索應用。模型訓練工作流程505及模型應用工作流程517可藉由計算裝置（例如，第1圖的伺服器120）的處理器執行的處理邏輯來執行。此等工作流程505、517中的一或多個可例如藉由一或多個機器學習模組實施的處理裝置及/或在處理裝置上執行的其他軟體及/或韌體來實施。

模型訓練工作流程505用於訓練一或多個機器學習模型（例如，迴歸模型、增強迴歸模型、主成分分析模型、深度學習模型、視覺轉換器）以執行一或多項確定、預測、修改等與處理結果預測器相關聯的任務（例如，特徵提取、影像檢索）。模型應用工作流程517用於應用一或多個經訓練的機器學習模型來執行影像資料（例如，指示基板處理缺陷的影像視框）的確定及/或調諧等任務。一或多個機器學習模型可接收影像資料（例如，指示基板處理缺陷的影像視框）。

本文描述了各種機器學習輸出。描述並且圖示了機器學習模型的特定數量及佈置。然而，應當理解，所使用的機器學習模型的數量及類型以及此種機器學習模型的佈置可以經修改以實現相同或類似的最終結果。由此，所描述並且圖示的機器學習模型的佈置僅僅係實例並且不應當解釋為限制性。

在一些實施例中，一或多個機器學習模型經訓練以執行一或多個以下任務。每個任務可藉由分離的機器學習模型執行。替代地，單個機器學習模型可執行任務的每一者或任務的子集。額外地或替代地，不同的機器學習模型可經訓練以執行任務的不同組合。在一實例中，可訓練一個或幾個機器學習模型，其中經訓練的機器學習(ML)模型係具有多個共享層及多個較高階不同輸出層的單個共享的神經網路，其中輸出層的每一者輸出不同預測、分類、辨識等。一或多個經訓練的機器學習模型可經訓練以執行的任務係如下： a.特徵提取器567-如先前論述，特徵提取器接收影像資料（例如，指示基板處理缺陷的原始及/或增強影像視框）。特徵提取器包括用於以特徵資料（例如，特徵向量）的形式提取特徵及/或產生與成像工具量測的資料相關聯的合成/工程設計的資料的過程方法。在一些實施例中，特徵提取器可以辨識計量或處理效能資料的相關性、圖案、及/或異常。嵌入係相對低維的空間，高維的表示（例如，影像）可以轉換到其中。嵌入資料（例如，特徵向量）捕獲接收的影像視框的語義。 b.影像檢索器564-影像擷取器接收嵌入資料（例如，特徵向量、特徵嵌入）並且確定對應於先前處理的影像（例如，影像儲存庫）的其他特徵嵌入（例如，向量化影像特徵及元資料）。影像檢索器在接收的特徵嵌入及向量化影像的一或多個特徵嵌入與特徵及元資料之間執行接近度搜尋。在一些實施例中，影像檢索器使用向量搜尋及/或最近鄰解決方案方法來確定接近影像的集合（例如，在閾值接近度內）。在一些實施例中，影像檢索器利用歐氏距離及/或餘弦類似性來確定特徵向量之間的距離。

為了完成訓練，處理邏輯將訓練資料集536輸入到一或多個未訓練的機器學習模型中。（參見第4圖，用於訓練的進一步細節）在將第一輸入輸入到機器學習模型中之前，可初始化機器學習模型。處理邏輯基於訓練資料集訓練未訓練的機器學習模型以產生執行如上文闡述的各種操作的一或多個經訓練的機器學習模型。

一旦產生了一或多個經訓練的機器學習模型538，該等機器學習模型可儲存在模型儲存器545中，並且可添加到處理缺陷影像索引及檢索應用。處理缺陷影像索引及檢索應用可隨後使用一或多個經訓練的ML模型538以及額外處理邏輯以實施自動模型，其中最小化或甚至在一些實例中消除資訊的使用者人工輸入。

對於模型應用工作流程517，根據一個實施例，輸入資料562（例如，指示基板處理缺陷的影像視框）可用作特徵提取器567的輸入，該特徵提取器可包括經訓練的機器學習模型。基於輸入資料562，特徵提取器567輸出特徵資料569及表示輸入資料562的元資料。將特徵資料569輸入到影像檢索器564中，該影像檢索器可包括經訓練的機器學習模型。基於特徵資料569，影像檢索器564經由特徵資料569辨識被辨識為與輸入資料562類似的一或多個其他影像（例如，類似影像資料566）。

第6A圖至第6B圖示出了根據本揭示的態樣的用於基板缺陷影像索引及檢索的模型架構600。一或多個ML模型可使用模型架構600進行。通常，模型架構600由嵌入層608、編碼器614、及最終標頭分類器616組成。最初，將影像細分為不重疊的補丁。每個補丁由架構視為獨立符記。針對大小為 c× h× w（其中 h係高度， w係寬度並且 c表示通道數量）的影像。提取每個維度× p× p的補丁。此形成了長度為 n的補丁序列( x ₁ , x ₂ ,…, x _n )，其中 n= 。在一些實施例中，將補丁大小 p選擇為16×16或32×32。

如第6A圖所示，於604，將輸入影像602分為（例如，平坦化為）獨立影像補丁。例如，將輸入影像602分為固定數量的大小相等的補丁或嵌入符記。輸入影像可轉換（例如，平坦化）為指示影像補丁內容的符記嵌入序列606。在一些實施例中，模型架構經由其所有層使用恆定的潛在向量大小 n，並且補丁使用線性嵌入層608來利用可訓練的線性投影平坦化並且映射到 n個維度。

在將補丁序列饋送到編碼器614中之前，使用學習的嵌入矩陣將其線性投影到模型維度d的向量中。嵌入表示隨後與用於執行分類任務的可學習分類符記級聯在一起。嵌入影像補丁由轉換器視為補丁集合，而沒有任何順序的概念。為了保持補丁的空間佈置與原始影像中一樣，將位置資訊610編碼並且附加到補丁表示612（例如，表示對應影像補丁的內容的線性嵌入）。具有符記0的補丁的所得嵌入序列藉由下式給出：

將嵌入補丁z ₀的所得序列傳遞到轉換器編碼器614。如第6B圖所示，編碼器614由L個相等層組成。每一者具有兩個主要子成分：(1)多頭自注意區塊(multihead self-attention block; MSA) 656，及(2)完全連接的前饋密集區塊(feed-forward dense block; MLP) 660。編碼器的兩個子成分中的每一者採用剩餘跳過連接，並且在標準化層(normalization layer; LN)之前（例如，標準化層654及標準化層658）。在編碼器614的最後一層，吾人獲取序列中的第一元素，並且將其傳遞到外部標頭分類器，用於預測由 表示的類別標記。

編碼器614中的MSA區塊656係轉換器的中心部件。MSA區塊656確定單個補丁嵌入相對於序列中的其他嵌入的相對重要性。此區塊具有四層：線性層、自注意層、級聯層（級聯多個注意頭的輸出）以及最終線性層。在高位準下，注意可以由注意權重表示，該注意權重藉由求序列z的所有值的加權和來計算。MSA區塊採用注意函數，該注意函數映射查詢及密鑰值對到輸出的集合，其中查詢、密鑰、值及輸出均係向量。將輸出計算為值的加權和，其中指派給每個值的權重藉由查詢與相應鍵的相容性函數來計算。所有注意頭的結果級聯在一起，並且隨後經由具有可學習權重的前饋層投影到期望的維度。MLP 616基於從編碼器614接收的資料來進行類別預測618。

第7圖描繪了根據本揭示的一些實施方式的用於基板缺陷影像索引及檢索的一個示例方法700的流程圖。方法700藉由處理邏輯執行，該處理邏輯可包含硬體（例如，電路系統、專用邏輯等）、軟體（諸如在通用電腦系統或專用機器上運行）或其任何組合。在一個實施方式中，方法使用第1圖的伺服器120及經訓練的機器學習模型190來執行，而在一些其他實施方式中，第7圖的一或多個方塊可藉由未在圖式中描繪的一或多個其他機器來執行。

方法700可包括接收影像資料（例如，與基板處理缺陷相關聯），以及使用經訓練的機器學習模型190來處理接收的影像資料。經訓練的模型可經配置為基於影像資料來產生影像的特徵嵌入。方法700進一步包括辨識可示出類似缺陷的類似影像。

於方塊702，處理邏輯在資料儲存裝置中儲存複數個特徵向量，該等特徵向量表示對應於各種基板處理缺陷的先前處理的影像視框。於方塊704，處理邏輯接收第一影像資料，該第一影像資料包含指示第一基板處理缺陷的一或多個影像視框。第一影像資料可包括指示基板處理缺陷的一或多個影像視框。輸入影像可包括具有基板處理缺陷的基板處理結果的影像。例如，輸入影像可包括掃描穿隧顯微鏡(STM)或掃描電子顯微鏡(SEM)影像。

在一些實施例中，處理邏輯接收第一影像資料的第一影像視框的第一選擇，並且藉由基於第一選擇裁剪第一影像視框的區域來產生第二影像視框。第一特徵向量使用第二影像視框來確定。在一些實施例中，處理邏輯接收第一影像資料的第一影像視框的第一選擇。處理邏輯藉由基於第一選擇遮蔽第一影像視框的區域來產生第二影像視框。第一特徵向量使用第二影像視框來確定。

在一些實施例中，處理邏輯從第一影像資料的第一影像視框提取文本的選擇。處理邏輯進一步確定與第一影像視框相關聯的影像縮放因數。處理邏輯進一步基於影像縮放因數來確定與第一基板處理缺陷相關聯的大小。複數個特徵向量的選擇使用大小來確定。

於方塊706，處理邏輯確定對應於第一影像資料的第一特徵向量。在一些實施例中，處理邏輯進一步將第一影像資料的第一影像視框分為對應於第一影像視框的影像補丁集合。處理邏輯進一步確定對應於影像補丁集合的每個影像補丁的內容的線性嵌入集合。處理邏輯進一步確定對應於影像補丁集合的影像補丁的每一者的相對位置的位置嵌入集合。第一特徵向量基於線性嵌入集合及位置嵌入集合來確定。

於方塊708，處理邏輯基於在第一特徵向量與複數個特徵向量的選擇的每一者之間的接近度來確定複數個特徵向量的選擇。於方塊710，處理邏輯確定第二影像資料，該第二影像資料包含對應於複數個嵌入向量的選擇的一或多個影像視框。處理邏輯接收嵌入資料（例如，特徵向量、特徵嵌入）並且確定對應於先前處理的影像（例如，影像儲存庫）的其他特徵嵌入（例如，向量化影像特徵及元資料）。處理邏輯在接收的特徵嵌入及向量化影像的一或多個特徵嵌入與特徵及元資料之間執行接近度搜尋。在一些實施例中，處理邏輯使用向量搜尋及/或最近鄰解決方案方法來確定接近影像的集合（例如，在閾值接近度內）。在一些實施例中，處理邏輯利用歐氏距離及/或餘弦類似性來確定特徵向量之間的距離。

於方塊712，處理邏輯視情況基於確定第二影像資料來執行動作。在一些實施例中，處理邏輯視情況準備第二影像資料，用於在圖形使用者介面(GUI)上呈現。例如，第二影像資料係類似於第一影像視框的影像視框的集合，並且指示類似的基板處理缺陷。在另一實例中，第二影像資料可藉由顯示第一基板處理缺陷的指示來在GUI上顯示。

在一些實施例中，處理邏輯視情況基於第二影像資料來更改處理腔室及/或處理工具的操作。例如，處理邏輯可基於第二影像資料來確定基板處理缺陷。處理邏輯進一步確定與第一基板處理缺陷相關聯的製造製程的異常實例。處理邏輯可進一步向一或多個處理控制器發送指令（例如，執行與製造製程設備相關聯的校正動作），以更改與異常實例相關聯的處理裝置的一或多個操作（例如，更改處理配方及/或處理參數、一或多個處理工具及/或處理腔室的最終基板處理、發起與一或多個處理腔室及/或處理工具相關聯的預防性維護等）。

第8圖描繪了根據本揭示的一或多個態樣操作的示例計算裝置800的方塊圖。在各個說明性實例中，計算裝置800的各個部件可表示第1圖中示出的客戶端裝置150、計量系統110、伺服器120、資料儲存140、及機器學習系統170的各個部件。

示例計算裝置800可連接到LAN、網內網路、網外網路、及/或網際網路中的其他處理裝置。計算裝置800可在客戶端-伺服器網路環境中在伺服器的容量中操作。計算裝置800可係個人電腦(PC)、機上盒(set-top box; STB)、伺服器、網路路由器、開關或橋接器、或能夠執行指令集（連續或以其他方式）的任何裝置，該指令集規定由彼裝置採取的動作。另外，儘管僅示出單個示例計算裝置，術語「電腦」亦應當被認為包括電腦的任何集合，該等電腦獨立或聯合地執行指令集（或多個指令集）以執行本文論述的任何一或多種方法。

示例計算裝置800可包括處理裝置802（亦稱為處理器或CPU）、主記憶體804（例如，唯讀記憶體(read-only memory; ROM)、快閃記憶體、動態隨機存取記憶體(dynamic random access memory; DRAM)諸如同步DRAM(SDRAM)等）、靜態記憶體806（例如，快閃記憶體、靜態隨機存取記憶體(static random access memory; SRAM)等）、及輔助記憶體（例如，資料儲存裝置818），其等可經由匯流排830彼此通訊。

處理裝置802表示一或多個通用處理裝置，諸如微處理器、中央處理單元、或類似者。更特定地，處理裝置802可係複雜指令集計算(complex instruction set computing; CISC)微處理器、精簡指令集計算(reduced instruction set computing; RISC)微處理器、極長指令字(very long instruction word; VLIW)微處理器、實施其他指令集的處理器、或實施指令集的組合的處理器。處理裝置802亦可係一或多個專用處理裝置，諸如特殊應用積體電路(application specific integrated circuit; ASIC)、場可程式設計閘陣列(field programmable gate array; FPGA)、數位信號處理器(digital signal processor; DSP)、網路處理器、或類似者。根據本揭示的一或多個態樣，處理裝置802可經配置為執行實施第7圖中示出的方法700的指令。

示例計算裝置800可進一步包含網路介面裝置808，該網路介面裝置可通訊地耦合到網路820。示例計算裝置800可進一步包含視訊顯示器810（例如，液晶顯示器(liquid crystal display; LCD)、觸控式螢幕、或陰極射線管(cathode ray tube; CRT)）、字母數字輸入裝置812（例如，鍵盤）、游標控制裝置814（例如，滑鼠）、及聲音信號產生裝置816（例如，揚聲器）。

資料儲存裝置818可包括其上儲存可執行指令822的一或多個集合的機器可讀取儲存媒體（或更具體地，非暫時性機器可讀取儲存媒體）828。根據本揭示的一或多個態樣，可執行指令822可包含與執行第7圖中示出的方法700相關聯的可執行指令。

可執行指令822亦可在其執行期間藉由亦構成電腦可讀取儲存媒體的示例計算裝置800、主記憶體804及處理裝置802完全或至少部分駐存在主記憶體804內及/或處理裝置802內。可執行指令822可進一步在網路上經由網路介面裝置808發送或接收。

儘管在第8圖中將電腦可讀取儲存媒體828圖示為單個媒體，術語「電腦可讀取儲存媒體」應當被認為包括儲存操作指令的一或多個集合的單個媒體或多個媒體（例如，集中式或分散式資料庫、及/或相關聯的快取記憶體及伺服器）。術語「電腦可讀取儲存媒體」亦應當被認為包括能夠儲存或編碼指令集用於由機器執行並且導致機器執行本文描述的任何一或多個方法的任何媒體。術語「電腦可讀取儲存媒體」由此應當被認為包括但不限於固態記憶體、以及光學及磁性媒體。

上文的詳細描述的一些部分已經關於對電腦記憶體內的資料位元的操作的演算法及符號表示來提供。此等演算法描述及表示係資料處理領域中技藝人士用於最有效地將其工作的實質傳達給本領域的其他技藝人士的手段。演算法在本文中並且通常被認為係導致期望結果的步驟的自相一致的序列。步驟係需要實體量的實體操控的彼等。這通常，儘管不係必須的，此等量採取能夠儲存、傳送、組合、比較、及以其他方式操控的電或磁信號的形式。主要出於通用原因，將此等信號稱為位元、值、元素、符號、字符、項、數字、或類似者有時證實係方便的。

然而，應當記住，所有此等及類似的術語將與適當的實體量相關聯，並且僅僅係應用於此等量的方便標記。除非另外具體聲明，否則如從以下論述中顯而易見，將瞭解，在整個描述中，利用術語諸如「辨識」、「確定」、「儲存」、「調節」、「導致」、「返回」、「比較」、「創建」、「停止」、「載入」、「複製」、「投擲」、「替換」、「執行」、或類似者的論述指將表示為電腦系統的暫存器及記憶體中的實體（電子）量的資料操控及變換為類似地表示為電腦系統記憶體或暫存器或其他此種資訊儲存、傳輸、或顯示裝置內的實體量的其他資料的電腦系統或類似電子計算裝置的動作及處理。

本揭示的實例亦關於一種用於執行本文描述的方法的設備。此設備可經專門構造用於所需目的，或其可係藉由儲存在電腦系統中的電腦程式選擇性程式設計的通用電腦系統。此種電腦程式可儲存在電腦可讀取儲存媒體中，諸如但不限於，任何類型的碟，包括光碟、壓縮光碟唯讀記憶體(CD-ROM)、及磁光碟、唯讀記憶體(ROM)、隨機存取記憶體(random access memory; RAM)、可抹除可程式設計唯讀記憶體(erasable programmable read-only memory; EPROM)、電子可抹除可程式設計唯讀記憶體(electrically erasable programmable read-only memory; EEPROM)、磁碟儲存媒體、光學儲存媒體、快閃記憶體裝置、其他類型的機器可存取儲存媒體、或適用於儲存電子指令的任何類型的媒體，各自耦合到電腦系統匯流排。

本文提供的方法及顯示器並非固有地與任何特定電腦或其他設備相關。各種通用系統可根據本文的教示與程式一起使用，或可證明構造更專用的設備來執行期望的方法步驟係方便的。各種此等系統所需的結構將如在下文的描述中闡述般顯而易見。此外，本揭示的範疇不限於任何特定的程式設計語言。將瞭解，各種程式設計語言可用於實施本揭示的教示。

將理解，以上描述意欲為說明性而非限制性的。在讀取及理解以上描述之後，許多其他實現方式實例將對本領域技藝人士顯而易見。儘管本揭示描述了具體實例，將認識到，本揭示的系統及方法不限於本文描述的實例，但可在所附申請專利範圍的範疇內以修改實踐。由此，說明書及附圖被認為係說明性意義而非限制性意義。由此，本揭示的範疇應當參考隨附申請專利範圍連同此種申請專利範圍所賦予的等效物的全部範疇來確定。

100:系統架構 102:製造系統 104:處理工具 106:處理程序 108:處理控制器 110:計量系統 114:成像工具 116:資料準備工具 120:伺服器 124:影像增強工具 126:嵌入工具 128:搜尋工具 130:缺陷工具 140:資料儲存 142:歷史資料 144:影像儲存庫 146:向量化影像特徵及元資料 150:客戶端裝置 152:瀏覽器 154:應用程式 160:網路 170:機器學習系統 172:伺服器機器 174:資料集產生器 180:伺服器機器 182:訓練引擎 184:驗證引擎 186:測試引擎 190:機器學習模型 192:伺服器機器 194:嵌入部件 196:檢索部件 200:基板缺陷影像索引及檢索系統 202:輸入影像 204:裁剪邏輯 206:遮蔽邏輯 208:大小偵測邏輯 210:嵌入邏輯 212:搜尋邏輯 214:缺陷偵測邏輯 216:圖形使用者介面(GUI) 300:缺陷大小確定系統 302:輸入影像 304:線遮蔽邏輯 306:線移除邏輯 308:文本辨識邏輯 310:後處理邏輯 400:過程 402:輸入影像 404:局部裁剪 406:全域裁剪 408:學生模型 410:教師模型 412:學生模型預測 414:教師模型預測 416:模型調諧 505:模型訓練工作流程 517:模型應用工作流程 536:訓練資料集 538:經訓練的機器學習模型 545:模型儲存器 562:輸入資料 564:影像檢索器 566:類似影像資料 567:特徵提取器 569:特徵資料 600:模型架構 602:輸入影像 606:符記嵌入序列 608:線性嵌入層 610:位置資訊 612:補丁表示 614:編碼器 616:最終標頭分類器 618:類別預測 654:標準化層 656:多頭自注意區塊(MSA) 658:標準化層 700:方法 702:方塊 704:方塊 706:方塊 708:方塊 710:方塊 712:方塊 800:計算裝置 802:處理裝置 804:主記憶體 806:靜態記憶體 808:網路介面裝置 810:視訊顯示器 812:字母數字輸入裝置 814:游標控制裝置 816:聲音信號產生裝置 818:資料儲存裝置 820:網路 822:可執行指令 828:機器可讀取儲存媒體 830:匯流排

本揭示的態樣及實施方式將從下文給出的詳細描述及附圖更全面理解，該等附圖意欲藉由實例的方式並且不作限制地說明態樣及實施方式。

第1圖係示出其中本揭示的實施方式可操作的示例系統架構的方塊圖。

第2圖係示出其中本揭示的實施方式可操作的基板缺陷影像索引及檢索系統的方塊圖。

第3圖係根據本揭示的態樣的缺陷大小確定系統的方塊圖。

第4圖係根據本揭示的態樣示出用於訓練機器學習模型以產生輸出的過程的方塊圖。

第5圖示出了根據本揭示的態樣的用於基板缺陷影像索引及檢索的模型訓練工作流程及模型應用工作流程。

第6A圖至第6B圖示出了根據本揭示的態樣的用於基板缺陷影像索引及檢索的模型架構。

第7圖描繪了根據本揭示的一些實施方式的用於基板缺陷影像索引及檢索的一個示例方法的流程圖。

第8圖描繪了根據本揭示的一或多個態樣操作的示例計算裝置的方塊圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

200:基板缺陷影像索引及檢索系統

202:輸入影像

204:裁剪邏輯

206:遮蔽邏輯

208:大小偵測邏輯

210:嵌入邏輯

212:搜尋邏輯

214:缺陷偵測邏輯

216:圖形使用者介面(GUI)

Claims (20)

1. 一種方法，包括以下步驟： 在一資料儲存裝置中儲存複數個特徵向量，該等特徵向量表示對應於各種基板處理缺陷的先前處理的影像視框； 由一處理裝置接收第一影像資料，該第一影像資料包含指示一第一基板處理缺陷的一或多個影像視框； 由該處理裝置確定對應於該第一影像資料的一第一特徵向量； 由該處理裝置基於在該第一特徵向量與該複數個特徵向量的一選擇的每一者之間的一接近度來確定該複數個特徵向量的該選擇； 由該處理裝置確定第二影像資料，該第二影像資料包含對應於該複數個嵌入向量的該選擇的一或多個影像視框； 由該處理裝置基於確定該第二影像資料來執行一動作。
2. 如請求項1所述之方法，進一步包括以下步驟： 由該處理裝置基於該第二影像資料辨識該第一基板處理缺陷，其中該動作進一步基於該第一基板處理缺陷的一標識。
3. 如請求項2所述之方法，進一步包括以下步驟： 由該處理裝置辨識與該第一基板處理缺陷相關聯的一製造製程的一異常實例；以及 由該處理裝置導致基於該異常實例執行與製造處理設備相關聯的一校正動作。
4. 如請求項1所述之方法，進一步包括以下步驟： 由該處理裝置準備該第二影像資料的一或多個影像，以用於在一圖形使用者介面(GUI)上呈現。
5. 如請求項1所述之方法，進一步包括以下步驟： 由該處理裝置接收該第一影像資料的一第一影像視框的一第一選擇；以及 由該處理裝置藉由基於該第一選擇裁剪該第一影像視框的一區域來產生一第二影像視框，其中該第一特徵向量是使用該第二影像視框確定的。
6. 如請求項1所述之方法，進一步包括以下步驟： 由該處理裝置接收該第一影像資料的一第一影像視框的一第一選擇；以及 由該處理裝置藉由基於該第一選擇遮蔽該第一影像視框的一區域來產生一第二影像視框，其中該第一特徵向量使用該第二影像視框來確定。
7. 如請求項1所述之方法，進一步包括以下步驟： 由該處理裝置從該第一影像資料的一第一影像視框提取文本的一選擇。 由該處理裝置確定與該第一影像視框相關聯的一影像縮放因數；以及 由該處理裝置基於該影像縮放因數來確定與該第一基板處理缺陷相關聯的一大小；其中該複數個特徵向量的該選擇進一步使用該大小來確定。
8. 如請求項1所述之方法，進一步包括以下步驟： 由該處理裝置將該第一影像資料的一第一影像視框分為對應於該第一影像視框的一影像補丁集合； 由該處理裝置確定對應於該影像補丁集合的每個影像補丁的一內容的一線性嵌入集合； 由該處理裝置確定對應於該影像補丁集合的該等影像補丁的每一者的一相對位置的一位置嵌入集合，其中該第一特徵向量基於該線性嵌入集合及該位置嵌入集合來確定。
9. 一種方法，包括以下步驟： 由一處理裝置接收指示一基板處理缺陷的一第一影像視框； 由該處理裝置藉由裁剪該第一影像視框的一第一區域來產生一第二影像視框； 由該處理裝置藉由裁剪該第一影像視框的一第二區域來產生一第三影像視框，其中該第一區域包含該第二區域； 使用該第二影像視框作為一第一機器學習(ML)模型的輸入； 獲得該第一ML模型的一或多個輸出，該一或多個輸出指示對應於該第二影像視框的一第一特徵向量； 使用該第三影像視框作為一第二ML模型的輸入； 獲得該第二ML模型的一或多個輸出，該一或多個輸出指示對應於該第三影像視框的一第二特徵向量； 基於在該第一ML模型的該一或多個輸出與該第二ML模型的該一或多個輸出之間的一比較來更新該第一ML模型或該第二ML模型中的至少一者的一或多個參數。
10. 如請求項9所述之方法，其中： 該第一ML模型的該一或多個輸出進一步指示與該第一特徵向量相關聯的一置信位準；以及 該第二ML模型的該一或多個輸出進一步指示與該第二特徵向量相關聯的一置信位準。
11. 如請求項9所述之方法，進一步包括以下步驟： 使用該第一ML模型將該第二影像視框分為對應於該第二影像視框的一影像補丁集合； 使用該第一ML模型確定對應於該影像補丁集合的每個影像補丁的一內容的一線性嵌入集合； 使用該第一ML模型確定各自對應於該影像補丁集合的一對應影像補丁的一位置的一位置嵌入集合，其中該第一特徵向量基於該線性嵌入集合及該位置嵌入集合來確定。
12. 如請求項9所述之方法，其中： 該第一ML模型的該一或多個輸出包含(i)一第一預測集合以及(ii)一第一機率集合，各自對應於該第一預測集合的一預測；並且 該第二ML模型的該一或多個輸出包含(i)一第二預測集合以及(ii)一第二機率集合，各自對應於該第二預測集合的一預測。
13. 如請求項9所述之方法，其中該第一ML模型或該第二ML模型的至少一者包含一視覺轉換器(ViT)。
14. 一種非暫時性電腦可讀取儲存媒體，包含指令，該等指令當由一處理裝置執行時導致該處理裝置執行包括下列步驟的操作： 在一資料儲存裝置中儲存複數個特徵向量，該等特徵向量表示對應於各種基板處理缺陷的先前處理的影像視框； 接收第一影像資料，該第一影像資料包含指示一第一基板處理缺陷的一或多個影像視框； 確定對應於該第一影像資料的一第一特徵向量； 基於在該第一特徵向量與該複數個特徵向量的一選擇的每一者之間的一接近度來確定該複數個特徵向量的該選擇； 確定第二影像資料，該第二影像資料包含對應於該複數個嵌入向量的該選擇的一或多個影像視框； 基於確定該第二影像資料來執行一動作。
15. 如請求項14所述之非暫時性機器可讀取儲存媒體，該等操作進一步包含以下步驟： 基於該第二影像資料辨識該第一基板處理缺陷，其中該動作進一步基於該第一基板處理缺陷的一標識。
16. 如請求項15所述之非暫時性機器可讀取儲存媒體，該等操作進一步包含以下步驟： 辨識與該第一基板處理缺陷相關聯的一製造製程的一異常實例；以及 導致基於該異常實例執行與製造處理設備相關聯的一校正動作。
17. 如請求項14所述之非暫時性機器可讀取儲存媒體，該等操作進一步包括以下步驟： 準備該第二影像資料的一或多個影像，以用於在一圖形使用者介面(GUI)上呈現。
18. 如請求項14所述之非暫時性機器可讀取儲存媒體，該等操作進一步包含： 接收該第一影像資料的一第一影像視框的一第一選擇；以及 藉由基於該第一選擇裁剪或遮蔽該第一影像視框的一區域中的至少一者來產生一第二影像視框，其中該第一特徵向量使用該第二影像視框來確定。
19. 如請求項14所述之非暫時性機器可讀取儲存媒體，該等操作進一步包含以下步驟： 從該第一影像資料的一第一影像視框提取文本的一選擇。 確定與該第一影像視框相關聯的一影像縮放因數；以及 基於該影像縮放因數來確定與該第一基板處理缺陷相關聯的一大小，其中該複數個特徵向量的該選擇進一步使用該大小來確定。
20. 如請求項14所述之非暫時性機器可讀取儲存媒體，該等操作進一步包含以下步驟： 將該第一影像資料的一第一影像視框分為對應於該第一影像視框的一影像補丁集合； 確定對應於該影像補丁集合的每個影像補丁的一內容的一線性嵌入集合； 確定對應於該影像補丁集合的該等影像補丁的每一者的一位置的一位置嵌入集合，其中該第一特徵向量基於該線性嵌入集合及該位置嵌入集合來確定。