[go: up one dir, main page]

TWI699732B - 用於缺陷分類之方法及系統 - Google Patents

用於缺陷分類之方法及系統 Download PDF

Info

Publication number
TWI699732B
TWI699732B TW105114188A TW105114188A TWI699732B TW I699732 B TWI699732 B TW I699732B TW 105114188 A TW105114188 A TW 105114188A TW 105114188 A TW105114188 A TW 105114188A TW I699732 B TWI699732 B TW I699732B
Authority
TW
Taiwan
Prior art keywords
defect
groups
data
defects
defect type
Prior art date
Application number
TW105114188A
Other languages
English (en)
Other versions
TW201706960A (zh
Inventor
賀力
謙輝 亞當 陳
桑卡 梵卡泰若曼
約翰Ｒ 三世 喬丹
應華俊
赫許 辛哈
Original Assignee
美商克萊譚克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商克萊譚克公司 filed Critical 美商克萊譚克公司
Publication of TW201706960A publication Critical patent/TW201706960A/zh
Application granted granted Critical
Publication of TWI699732B publication Critical patent/TWI699732B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

缺陷分類包含：獲取一樣本之一或多個影像；接收基於一或多個訓練缺陷之一或多個屬性之該一或多個訓練缺陷之一手動分類；基於該經接收之手動分類及該一或多個訓練缺陷之該等屬性產生一集成學習分類器；基於一經接收之分類純度要求產生該一或多個訓練缺陷之各缺陷類型之一可信度臨限值；獲取包含一或多個測試缺陷之一或多個影像；使用該經產生之集成學習分類器對該一或多個測試缺陷分類；使用該經產生之集成學習分類器針對該一或多個測試缺陷之各者計算一可信度位準；及經由使用者介面裝置報告具有低於該經產生之可信度臨限值之一可信度位準之一或多個測試缺陷以用於手動分類。

Description

用於缺陷分類之方法及系統 [相關申請案之交叉參考]
本申請案係關於且主張來自(諸)下文所列申請案(「相關申請案」)之最早可用的有效申請日期的權利(例如，主張除臨時專利申請案以外之最早可用的優先日期，或根據35 USC § 119(e)規定主張臨時專利申請案、該(該等)相關申請案之任意及全部父代申請案、祖父代申請案、曾祖父代申請案等等之權利)。
相關申請案：
出於美國專利商標局(USPTO)之額外法定要求，本申請案構成2015年5月8日申請之申請案第62/158,605號之以Li He、Chien Huei Adam Chen、Sankar Venkataraman、John R.Jordan III、Huajun Ying及Sinha Harsh為發明者之標題為METHOD FOR HIGH PURITY DEFECT CLASSIFICATION AND DEFECT DATA ANALYSIS之美國臨時專利申請案之一正規(非臨時)專利申請案。申請案第62/158,605號之全文以引用的方式併入本文中。
本發明大體上係關於缺陷檢視及分類且特定言之，本發明係關於提供高純度缺陷分類之一缺陷分類器之自動產生。
製造諸如邏輯及記憶體裝置之半導體裝置通常包含使用大量半導體製造程序處理諸如一半導體晶圓之一基板以形成半導體裝置之多 種特徵及多個層級。隨著半導體裝置大小變得愈來愈小，開發增強之檢測及檢視裝置及程序變得至關重要。一此程序包含分類且分析一樣本(諸如一晶圓)上之缺陷。如貫穿本發明使用之術語「晶圓」通常係指由一半導體或非半導體材料形成之基板。舉例而言，一半導體或非半導體材料可包含(但不限於)單晶矽、砷化鎵及磷化銦。
缺陷檢視係一檢視工具藉由其檢視由一檢測器或檢測工具獲取之缺陷之一程序。缺陷檢視需要基於一組經計算缺陷屬性之缺陷分類及缺陷類型之區分或分離。然而，當前缺陷分類方法具有若干限制。
首先，用於缺陷分類之決策樹通常係使用經計算屬性手動產生，此係一耗時的程序。在此情況中，一使用者必須自大量(例如，大於80個)屬性選擇一決策樹之各節點之最佳屬性。另外，樹大小可變大(例如，大於50個節點)。另外，手動產生之樹之品質與一使用者對可用屬性之解譯及理解及決策樹產生程序有關。此外，量測缺陷類型可分離性之當前方法有限。先前方法需要一使用者手動發現對於類型對之最佳屬性以分離兩個缺陷類型。再者，透過生產之分類器監測之當前方法耗時且複雜。
因而，提供一種解決上文識別之缺陷之提供經改良缺陷分類、缺陷類型可分離性及分類器監測之系統及方法將係有利的。
揭示一種用於缺陷分類之方法。在一項闡釋性實施例中，該方法包含獲取一樣本之一或多個影像，該一或多個影像包含複數個缺陷類型。在另一闡釋性實施例中，該方法包含自一使用者介面裝置接收指示基於樣本之一或多個訓練缺陷之一或多個屬性之該一或多個訓練缺陷之一手動分類之一信號。在另一闡釋性實施例中，該方法包含基於該經接收之手動分類及該一或多個訓練缺陷之該等屬性產生一集成學習分類器。在另一闡釋性實施例中，該方法包含基於一經接收之分 類純度要求產生該一或多個訓練缺陷之各缺陷類型之一可信度臨限值。在另一闡釋性實施例中，該方法包含獲取包含一或多個測試缺陷之一或多個影像。在另一闡釋性實施例中，該方法包含使用該經產生之集成學習分類器對該一或多個測試缺陷分類。在另一闡釋性實施例中，該方法包含使用該經產生之集成學習分類器針對該一或多個測試缺陷之各者計算一可信度位準。在另一闡釋性實施例中，該方法包含經由該使用者介面裝置報告具有低於該經產生之可信度臨限值之一可信度位準之一或多個測試缺陷以用於手動分類。
揭示一種用於判定一缺陷類型對分數之方法。在一項闡釋性實施例中，該方法包含獲取包含複數個缺陷類型之一或多個影像，該複數個缺陷類型包含一第一缺陷類型及至少一第二缺陷類型。在另一闡釋性實施例中，該方法包含針對該第一缺陷類型及該至少一第二缺陷類型產生一第一集成學習分類器。在另一闡釋性實施例中，該方法包含使用該第一集成學習分類器針對與該第一缺陷類型及該至少一第二缺陷類型相關聯之複數個屬性之各者計算一準確度指數之一平均降低。在另一闡釋性實施例中，該方法包含識別具有準確度指數之最大平均降低之選定數目個屬性。在另一闡釋性實施例中，該方法包含使用具有準確度指數之最大平均降低之該經識別之選定數目個屬性產生一第二集成學習分類器。在另一闡釋性實施例中，該方法包含判定與該第二經產生之集成學習分類器相關聯之一訓練誤差。在另一闡釋性實施例中，該方法包含基於該經判定之訓練誤差計算與該第一缺陷類型及該第二缺陷類型相關聯之一缺陷類型對分數。
揭示一種用於判定缺陷資料之充分性以進行分類之方法。在一項闡釋性實施例中，該方法包含自一樣本獲取一組缺陷資料，該缺陷資料包含與包含複數個缺陷類型之複數個缺陷相關聯之影像資料。在另一闡釋性實施例中，該方法包含自一使用者介面裝置接收指示該複 數個缺陷之一手動分類之一信號。在另一闡釋性實施例中，該方法包含將至少第一缺陷類型之缺陷資料分佈成N個資料群組。在另一闡釋性實施例中，該方法包含將該N個資料群組之一群組識別為含有測試資料。在另一闡釋性實施例中，該方法包含將未經識別為含有測試資料之經分佈缺陷資料之N-1個資料群組識別為含有訓練資料。在另一闡釋性實施例中，該方法包含針對該N個群組之至少一第一群組，基於該N-1個資料群組中含有之訓練缺陷資料增量地產生一系列分類器，其中使用該N-1個資料群組之訓練缺陷資料內含有之至少一第一缺陷類型之一增量百分比產生各分類器。在另一闡釋性實施例中，該方法包含藉由將該系列分類器之各者應用至該經分佈缺陷資料之該N-1個群組中未含有之測試資料而針對用於至少該第一缺陷類型之該系列分類器之各者判定一準確度值。在另一闡釋性實施例中，該方法包含基於N個群組之至少該第一群組之一經產生準確度分數及該N個群組之至少一額外群組之至少一額外經產生準確度分數而針對至少該第一缺陷類型產生一缺陷資料充分性分數。
揭示一種用於缺陷分類之設備。在一項闡釋性實施例中，該設備包含一檢測工具。在另一闡釋性實施例中，檢測工具包含經組態以獲取一樣本之至少一部分之一或多個影像之一或多個偵測器。在另一闡釋性實施例中，該設備包含一使用者介面裝置。在另一闡釋性實施例中，該設備包含一控制器。在另一闡釋性實施例中，該控制器包含通信耦合至該檢測工具之該一或多個偵測器之一或多個處理器，其中該一或多個處理器經組態以執行儲存於記憶體中之一組程式指令。在另一闡釋性實施例中，該組程式指令經組態以導致該一或多個處理器：自該檢測工具之該一或多個偵測器接收該一或多個影像；自一使用者介面裝置接收指示基於該樣本之一或多個訓練缺陷之一或多個屬性之該一或多個訓練缺陷之一手動分類之一信號；基於該經接收之手 動分類及該一或多個訓練缺陷之該等屬性產生一集成學習分類器；基於一經接收之分類純度要求產生該一或多個訓練缺陷之各缺陷類型之一可信度臨限值；獲取包含一或多個測試缺陷之一或多個影像；使用該經產生之集成學習分類器對該一或多個測試缺陷分類；使用該經產生之集成學習分類器針對該一或多個測試缺陷之各者計算一可信度位準；且經由該使用者介面裝置報告具有低於該經產生之可信度臨限值之一可信度位準之一或多個測試缺陷以用於手動分類。
揭示一種用於判定一或多個缺陷類型對分數之設備。在一項闡釋性實施例中，該設備包含一檢測工具。在另一闡釋性實施例中，該檢測工具包含經組態以獲取一樣本之至少一部分之一或多個影像之一或多個偵測器。在另一闡釋性實施例中，該設備包含一使用者介面裝置。在另一闡釋性實施例中，該設備包含一控制器。在另一闡釋性實施例中，該控制器包含通信耦合至該檢測工具之該一或多個偵測器之一或多個處理器，其中該一或多個處理器經組態以執行儲存於記憶體中之一組程式指令。在另一闡釋性實施例中，該組程式指令經組態以導致該一或多個處理器：自該檢測工具接收該一或多個影像，該一或多個影像包含複數個缺陷類型，該複數個缺陷類型包含一第一缺陷類型及至少一第二缺陷類型；針對該第一缺陷類型及該至少一第二缺陷類型產生一第一集成學習分類器；使用該第一集成學習分類器針對與該第一缺陷類型及該至少一第二缺陷類型相關聯之複數個屬性之各者計算一準確度指數之一平均降低；識別具有準確度指數之最大平均降低之選定數目個屬性；使用具有準確度指數之最大平均降低之該經識別之選定數目個屬性產生一第二集成學習分類器；判定與該第二經產生之集成學習分類器相關聯之一訓練誤差；及基於該經判定之訓練誤差計算與該第一缺陷類型及該第二缺陷類型相關聯之一缺陷類型對分數。
揭示一種用於判定缺陷資料之充分性以進行分類之設備。在一項闡釋性實施例中，該設備包含一檢測工具。在另一闡釋性實施例中，該檢測工具包含經組態以獲取一樣本之至少一部分之一或多個影像之一或多個偵測器。在另一闡釋性實施例中，該設備包含一使用者介面裝置。在另一闡釋性實施例中，該設備包含一控制器。在另一闡釋性實施例中，該控制器包含通信耦合至該檢測工具之該一或多個偵測器之一或多個處理器，其中該一或多個處理器經組態以執行儲存於記憶體中之一組程式指令。在另一闡釋性實施例中，該組程式指令經組態以導致該一或多個處理器：自一樣本接收該組缺陷資料，該缺陷資料包含與包含複數個缺陷類型之複數個缺陷相關聯之影像資料；及基於該缺陷資料之N個群組之至少一第一群組之一經產生準確度分數及缺陷資料之該N個群組之至少一額外群組之至少一額外經產生準確度分數而針對至少一第一缺陷類型產生一缺陷資料充分性分數。
應瞭解，前述一般描述及以下詳細描述兩者僅係例示性及說明性的且未必限制本發明。併入至本說明書中且構成本說明書之一部分之隨附圖式繪示本發明之實施例且與一般描述一起用於解釋本發明之原理。
101‧‧‧電子源
102‧‧‧檢測工具
103‧‧‧偵測器
104‧‧‧控制器
105‧‧‧電子光學組件
106‧‧‧處理器
108‧‧‧記憶體/記憶體媒體
110‧‧‧使用者介面
112‧‧‧樣本
113‧‧‧使用者輸入裝置
114‧‧‧顯示器
115‧‧‧樣本載物台
116‧‧‧程式指令
200‧‧‧方法
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
216‧‧‧步驟
218‧‧‧步驟
300‧‧‧方法
302‧‧‧步驟
304‧‧‧步驟
306‧‧‧步驟
308‧‧‧步驟
310‧‧‧步驟
312‧‧‧步驟
314‧‧‧步驟
316‧‧‧步驟
400‧‧‧方法
402‧‧‧步驟
404‧‧‧步驟
406‧‧‧步驟
408‧‧‧步驟
410‧‧‧步驟
412‧‧‧步驟
414‧‧‧步驟
416‧‧‧步驟
418‧‧‧步驟
420‧‧‧步驟
422‧‧‧步驟
熟習此項技術者可藉由參考隨附圖式而更佳理解本發明之多個優點，其中：
圖1係根據本發明之一項實施例之用於缺陷分類及分析之一系統之一方塊圖。
圖2係繪示根據本發明之一項實施例之在用於缺陷分類之一方法中執行之步驟之一流程圖。
圖3係繪示根據本發明之一項實施例之在用於判定一缺陷類型對分數之一方法中執行之步驟之一流程圖。
圖4係繪示根據本發明之一項實施例之在用於判定缺陷資料充分性分數之一方法中執行之步驟之一流程圖。
現在將詳細參考在隨附圖式中繪示之所揭示之標的物。
大體上參考圖1至圖4，根據本發明描述用於缺陷分類及分析之一方法及系統。本發明之實施例係關於由一檢測或檢視工具提供之缺陷之自動分類。在一些實施例中，本發明提供自動產生及/或訓練提供關於缺陷分類之高純度輸出之一基於集成學習之缺陷分類器。另外，本發明之集成學習分類器提供分類器監測。本發明之額外實施例提供缺陷類型對可分離性分析。在此意義上，本發明之實施例係關於在分析與一缺陷對相關聯之一或多個屬性是否足以分離兩個缺陷時判定一缺陷類型對分數。本發明之額外實施例提供一組給定缺陷資料之充分性之判定以便對給定缺陷資料分類。
圖1繪示根據本發明之一或多項實施例之用於缺陷分類及分析之一系統100之一概念方塊圖。在一項實施例中，系統100包含一檢測工具102。在一項實施例中，檢測工具102經組態以量測安置於一樣本(諸如(但不限於)一半導體晶圓(例如，Si晶圓))之表面上或表面中之一或多個缺陷之一或多個特性。
檢測工具102可包含此項技術中已知之能夠檢視缺陷之任何檢測組態。在一項實施例中，如圖1中描繪，檢測工具102係一電子束缺陷檢視(EDR)工具。舉例而言，如圖1中展示，檢測工具102包含一電子源101(例如，電子槍)、一偵測器103(例如，二次電子偵測器)及此項技術中已知之用於實行缺陷檢視之任何一或多個電子光學組件105。
本文中應注意，本發明之範疇通常不限於系統100之EDR組態或電子束檢視。在一項實施例中，檢測工具102可經組態為一基於光之檢測工具。舉例而言，檢測工具102可(但不需要)經組態用於暗場檢 測。藉由另一實例，檢測工具102可(但不需要)經組態用於明場檢測。
在一項實施例中，檢測工具102包含一或多個光源(未展示)以照明樣本112。光源可包含此項技術中已知之任何光源。舉例而言，光源可包含一窄頻光源，諸如一雷射源。藉由另一實例，光源可包含一寬頻光源，諸如一放電燈或一雷射維持電漿(LSP)光源。在另一實施例中，光源可經組態以(經由多種光學組件)將光引導至安置於樣本載物台115上之樣本112之表面。此外，檢測工具102之多種光學組件經組態以將自晶圓112之表面反射、散射及/或繞射之光引導至檢測工具102之一偵測器(未展示)。偵測器可包含此項技術中已知之任何適當光偵測器。在一項實施例中，偵測器可包含(但不限於)一電荷耦合裝置(CCD)偵測器、一光電倍增管(PMT)偵測器及類似者。
應注意，為了簡潔起見，已在一簡化方塊圖中描繪檢測工具102。此描繪(包含組件及幾何組態)並非限制性且僅係為了闡釋性目的而提供。在本文中應認知，檢測工具102可包含任何數目個光學元件(例如，透鏡、鏡、濾光器、光束分離器及類似者)、能量源(例如，光源或電子源)及偵測器(例如，光偵測器或二次電子偵測器)以實行安置於樣本載物台115上之晶圓112之一或多個部分之檢測。
在另一實施例中，系統100包含一控制器104。在一項實施例中，控制器104通信耦合至檢測工具102。舉例而言，控制器104可耦合至檢測工具102之偵測器103之輸出。控制器104可以任何適合方式(例如，藉由由圖1中展示之線指示之一或多個傳輸媒體)耦合至偵測器使得控制器104可接收由檢測工具102產生之輸出。
在一項實施例中，控制器104包含通信耦合至偵測器103及記憶體108之一或多個處理器106。在一項實施例中，一或多個處理器106經組態以執行維持在記憶體108中之一組程式指令116。
控制器104之一或多個處理器106可包含此項技術中已知之任何一或多個處理元件。在此意義上，一或多個處理器106可包含經組態以執行軟體演算法及/或指令之任何微處理器型裝置。在一項實施例中，一或多個處理器106可由一桌上型電腦、主機電腦系統、工作站、影像電腦、平行處理器或經組態以執行一程式(其經組態以操作系統100)之其他電腦系統(例如，網路電腦)組成，如貫穿本發明所描述。應認知，貫穿本發明描述之步驟可藉由一單一電腦系統或替代地多個電腦系統實行。一般言之，術語「處理器」可經廣泛定義以涵蓋具有執行來自一非暫時性記憶體媒體(例如，記憶體108)之程式指令之一或多個處理元件之任何裝置。再者，系統100之不同子系統(例如，檢測工具、顯示器或使用者介面110)可包含適合於實行貫穿本發明描述之步驟之至少一部分之處理器或邏輯元件。因此，上文描述不應解譯為對本發明之一限制而僅解譯為一圖解。
記憶體媒體108可包含此項技術中已知之適合於儲存可由相關聯之一或多個處理器106執行之程式指令之任何儲存媒體。舉例而言，記憶體媒體108可包含一非暫時性記憶體媒體。舉例而言，記憶體媒體108可包含(但不限於)一唯讀記憶體、一隨機存取記憶體、一磁性或光學記憶體裝置(例如，磁碟)、一磁帶、一固態磁碟及類似者。在另一實施例中，本文中應注意，記憶體108經組態以儲存來自檢測工具102之一或多個結果及/或本文中描述之多種步驟之輸出。應進一步注意，記憶體108可與一或多個處理器106一起容置於一共同控制器外殼中。在一替代實施例中，記憶體108可相對於處理器及控制器104之實體位置遠端定位。舉例而言，控制器104之一或多個處理器106可存取一遠端記憶體(例如，伺服器)，可透過一網路(例如，網際網路、內部網及類似者)存取。在另一實施例中，記憶體媒體108儲存用於導致一或多個處理器106實行貫穿本發明描述之多種步驟之程式指令116。
在另一實施例中，系統100之控制器104可經組態以藉由可包含有線及/或無線部分之一傳輸媒體自其他系統接收及/或獲取資料或資訊(例如，來自一檢測系統之檢測結果或來自一度量衡系統之度量衡結果)。以此方式，傳輸媒體可充當控制器104與系統100之其他子系統之間之一資料鏈路。再者，控制器104可經由一傳輸媒體(例如，網路連接)將資料發送至外部系統。
在另一實施例中，系統100包含一使用者介面110。在一項實施例中，使用者介面110通信耦合至控制器104之一或多個處理器106。在另一實施例中，使用者介面裝置110可由控制器104利用以接受來自一使用者之選擇及/或指令。在一些實施例中，在本文中進一步描述，一顯示器114可用於將資料顯示給一使用者(未展示)。繼而，一使用者可回應於經由顯示裝置114顯示給使用者之資料而經由使用者輸入裝置113輸入一選擇及/或指令。
使用者介面裝置110可包含此項技術中已知之任何使用者介面。舉例而言，使用者介面110之使用者輸入裝置113可包含(但不限於)鍵盤、鍵台、觸控螢幕、槓桿、旋鈕、滾輪、軌跡球、開關、撥號盤、滑桿、捲桿、滑件、把手、觸控墊、踏板、方向盤、操縱桿、面板輸入裝置或類似者。在一觸控螢幕介面裝置之情況中，熟習此項技術者應認知，大量觸控螢幕介面裝置可適合實施於本發明中。舉例而言，顯示裝置114可與一觸控螢幕介面整合，諸如(但不限於)電容式觸控螢幕、電阻式觸控螢幕、基於表面聲波之觸控螢幕、基於紅外線之觸控螢幕或類似者。在一般意義上，能夠與一顯示裝置之顯示部分整合之任何觸控螢幕介面適合實施於本發明中。在另一實施例中，使用者輸入裝置113可包含(但不限於)一面板安裝介面。
顯示裝置114可包含此項技術中已知之任何顯示裝置。在一項實施例中，顯示裝置可包含(但不限於)一液晶顯示器(LCD)。在另一實 施例中，顯示裝置可包含(但不限於)一基於有機發光二極體(OLED)之顯示器。在另一實施例中，顯示裝置可包含(但不限於)一CRT顯示器。熟習此項技術者應認知，多種顯示裝置可適合實施於本發明中且顯示裝置之特定選擇可取決於多種因素，包含(但不限於)外觀尺寸、成本及類似者。在一般意義上，能夠與一使用者輸入裝置(例如，觸控螢幕、面板安裝介面、鍵盤、滑鼠、軌跡墊及類似者)整合之任何顯示裝置適合實施於本發明中。
在一項實施例中，控制器104之一或多個處理器106經程式化以實行一缺陷分類器產生及缺陷分類程序之一或多個步驟。在一項實施例中，一或多個處理器106可基於經手動分類之訓練缺陷及經計算屬性自動產生一集成學習分類器。另外，一或多個處理器可根據一所接收之使用者選定純度要求自動計算每一類型可信度臨限值。一或多個處理器106可針對各測試缺陷(例如，一生產晶圓之測試缺陷)計算一可信度量測。另外，在生產中，一或多個處理器106可將具有小於可信度臨限值之一可信度位準之缺陷報告至使用者介面裝置110以用於藉由一使用者手動檢視。
在另一實施例中，控制器104之一或多個處理器106經程式化以實行一缺陷類型對分數判定程序之一或多個步驟。在一項實施例中，藉由一或多個處理器106對一缺陷類型對之缺陷類型計算缺陷類型對分數。在此方面，計算任何兩個缺陷類型之間之一缺陷類型對分數。舉例而言，在其中一組缺陷資料包含缺陷類型A、B及C之情況中，一或多個處理器106可計算以下各者：缺陷類型A與B之間之一缺陷類型對分數；B與C之間之一缺陷類型對分數；及A與C之間之一缺陷類型對分數。在另一實施例中，針對缺陷對資料，可訓練一集成學習分類器(例如，隨機森林分類器)且可計算各屬性之平均準確度降低指數。在對平均準確度降低指數排序之後，使用前N個屬性以訓練一額外隨 機森林分類器，其中計算訓練誤差(例如，袋外(OOB)誤差)。具有低於一預定義臨限值之一分數之一類型對指示屬性不足以分離兩個缺陷類型。
在另一實施例中，一或多個處理器106經程式化以實行一缺陷資料充分性判定程序之一或多個步驟。在一項實施例中，一或多個處理器106接收經分佈成N個群組(例如，文件夾)之手動分類缺陷資料及屬性。另外，N-1個群組(例如，文件夾)之缺陷資料可用作訓練資料，而剩餘群組用作測試資料。在計算一特定缺陷類型之分數時，一或多個處理器106可增量地增加訓練資料中之特定缺陷類型之缺陷之數目(例如，自10%增量地增加至100%)。在此情況中，一或多個處理器106可在各增量步驟處構建一分類器且將其應用至測試資料。接著基於各增量缺陷含量步驟處之準確度之偏差計算一準確度分數。接著藉由針對各群組(例如，文件夾)重複此程序且跨全部資料群組(例如，文件夾)平均化結果而產生一資料充分性分數。接著可針對各缺陷類型重複此程序。
可如本文中描述般進一步組態圖1中繪示之系統100之實施例。另外，系統100可經組態以執行本文中描述之(若干)方法實施例之任何者之(若干)任何其他步驟。
圖2係繪示根據本發明之一項實施例之在缺陷分類之一方法200中執行之步驟之一流程圖。本文中應注意，可全部或部分藉由系統100實施方法200之步驟。然而，應進一步認知，方法200不限於系統100，因為額外或替代系統級實施例可實行方法200之全部或部分步驟。
在步驟202中，獲取包含多個缺陷類型之一或多個影像107。在一項實施例中，如圖1中展示，一樣本112之一或多個影像107中含有之缺陷之至少一部分能夠充當訓練缺陷。在一項實施例中，檢測工具 102獲取一或多個影像107且將一或多個影像107傳輸至一或多個控制器104。進一步預期一或多個影像107可儲存於記憶體108中且用於隨後分析。
在步驟204中，實行一或多個訓練缺陷之一手動分類。舉例而言，一使用者可對經獲取之一或多個影像107中含有之訓練缺陷手動分類。舉例而言，一使用者可基於一或多個訓練缺陷之一或多個屬性而經由使用者介面裝置110對訓練缺陷手動分類。繼而，使用者介面裝置110可將指示樣本112之一或多個訓練缺陷之一手動分類之一信號傳輸至控制器104之一或多個處理器106。在另一實施例中，控制器104可接收訓練缺陷之手動分類且將結果儲存於記憶體108中。用於實行步驟204之分類之一或多個屬性包含可自一缺陷檢測或檢視工具導出之任何一或多個屬性。舉例而言，一或多個屬性可包含(但不限於)影像特徵量、缺陷座標、組合物分析結果、製造起始歷史資料或機器QC(品質控制)資料。此外，在一些實施例中，可自多個類型之缺陷檢測工具或系統獲得一或多個屬性，該多個類型之缺陷檢測工具或系統諸如(但不限於)光學或SEM異物檢測機器、圖案檢測機器、缺陷檢視機器、SPM或元素分析機器。在2009年10月13日頒布之美國專利第7,602,962號中描述適合於缺陷分類之屬性，該專利之全文以引用的方式併入本文中。
在一項實施例中，可藉由一自動分類功能(諸如(但不限於)一即時自動分類(RT-ADC))處理一或多個訓練缺陷之屬性以對一或多個訓練缺陷分類。應注意，利用RT-ADC提供訓練缺陷之一「粗略」自動分類而不犧牲高處理速度。在2009年10月13日頒布之美國專利第7,602,962號中大體上描述即時自動分類，該專利之全文以引用的方式併入上文中。
在步驟206中，產生一集成學習分類器。在一項實施例中，基於 步驟204之訓練缺陷之手動分類及一或多個屬性產生或訓練集成學習分類器。在一項實施例中，控制器104之一或多個處理器106可產生或訓練集成學習分類器且將集成學習分類器儲存於記憶體108中。在一項實施例中，集成學習分類器係一隨機森林分類器。一或多個處理器106可訓練一隨機森林分類器，該隨機森林分類器藉由在一訓練週期期間建構多個決策樹且輸出一類別(其係個別樹之類別之模式)而操作。在此方面，一或多個處理器106可使用訓練缺陷之手動分類及相關聯之屬性以訓練一隨機森林分類器。由Breiman在Random Forests,Machine Learning，第45卷，第1期，第5-32頁(2001年)中大體上描述一隨機森林分類器之實施方案，該案之全文以引用的方式併入本文中。亦由Kulkarni等人在Random Forest Classifiers：A Survey and Future Research Directions,International Journal of Advanced Computing，第36卷，第1期，第1144-1153頁(2013年)中論述隨機森林分類器，該案之全文以引用的方式併入本文中。
在另一實施例中，集成學習分類器係一支援向量機器(SVM)。一或多個處理器106可使用訓練缺陷之手動分類及相關聯之屬性以訓練一基於SVM之分類器。由Xie等人在Detection and Classification of Defect Patterns in Optical Inspection Using Support Vector Machines,Intelligent Computing Theories Lecture Notes in Computer Science，第7995卷、第376-384頁(2013年)中大體上描述一基於SVM之分類器之實施方案，該案之全文以引用的方式併入本文中。
在步驟208中，產生一或多個訓練缺陷之各缺陷類型之一可信度臨限值。在一項實施例中，一或多個處理器106基於自使用者介面110接收之一可信度臨限值產生該一或多個訓練缺陷之各缺陷類型之一可信度臨限值。在另一實施例中，由一或多個處理器106經由一交叉驗證程序而產生可信度臨限值。在另一實施例中，可經由使用者輸入 (例如，經由使用者介面110之使用者輸入)而手動設定可信度臨限值。
舉例而言，一使用者可經由使用者介面110而選擇一純度要求或純度位準。繼而，使用者介面裝置110可將指示選定純度要求之一信號傳輸至控制器104之一或多個處理器106。接著，控制器104可將選定純度要求儲存於記憶體108中。本文中應注意，所接收之純度要求可依據多種參數變動。舉例而言，所接收之純度要求可取決於一使用者偏好及/或一給定生產晶圓上存在之預期缺陷類型。舉例而言，一使用者可對於全部缺陷類型選擇一單一分類純度要求(例如，90%)。在另一例項中，一使用者可對於一第一缺陷類型選擇一第一分類純度要求(例如，90%)且對於一第二缺陷類型選擇一第二分類純度要求(例如，85%)等等。應進一步注意，在一些實施例中，一提高之純度要求與一較高可信度臨限值相關。在此方面，控制器104之一或多個處理器106回應於經由使用者介面110之一使用者輸入而自動調整可信度臨限值。
在步驟210中，獲取包含一或多個測試缺陷之一或多個影像。在一項實施例中，一或多個測試缺陷安置於與一或多個訓練缺陷不同之一樣本(例如，晶圓)上。舉例而言，檢測工具102可自一生產樣本(例如，晶圓)獲取影像資料，藉此控制器104自給定影像資料提取一或多個測試缺陷。此外，可自來自一訓練樣本之影像資料提取用於產生集成學習分類器之訓練缺陷。在另一實施例中，本發明之一或多個測試缺陷及一或多個訓練缺陷安置於相同樣本(例如，晶圓)上。在此方面，用於提取訓練缺陷之影像資料(例如，一或多個影像)亦用於獲取本發明之一或多個測試缺陷。
在步驟212中，使用所產生之集成學習分類器對一或多個測試缺陷分類。在一項實施例中，一或多個處理器106可擷取儲存於記憶體 108中之集成學習分類器(見步驟206)且將集成學習分類器應用至在步驟210中獲取之一或多個測試缺陷。在此方面，一旦已在步驟206中訓練集成學習分類器，接著便可使用該集成學習分類器以對自一給定樣本(例如，生產晶圓)獲取之影像資料中含有之一或多個測試缺陷分類。
在步驟214中，針對一或多個測試缺陷之各者計算一分類可信度位準。在一項實施例中，一或多個處理器106使用在步驟206中訓練之集成學習分類器針對一或多個測試缺陷之各者或至少一些測試缺陷計算一可信度位準。本文中應注意，可以此項技術中已知之任何方式計算針對一或多個缺陷之分類之可信度位準。在一項實施例中，一或多個處理器106經由一投票程序而計算一或多個測試缺陷之可信度位準。舉例而言，在一隨機森林分類器之情況中，隨機森林分類器之各樹具有在本文中稱為一「投票」之一分類輸出。在此情況中，可(但不需要)經由藉由以下給定之主要兩個投票方案計算一或多個測試缺陷之可信度位準：
Figure 105114188-A0202-12-0016-2
在步驟216中，經由使用者介面裝置報告具有低於經產生之可信度臨限值之一可信度位準之一或多個測試缺陷以用於手動分類。在一項實施例中，一或多個處理器106比較步驟214之經計算可信度位準與步驟208之經產生可信度臨限值。在其中經計算可信度位準高於可信度臨限值之情況中，接受分類且將其儲存於記憶體108中。在其中經計算可信度位準低於可信度臨限值之情況中，對給定之一或多個測試缺陷編索引且將該等測試缺陷報告至一使用者以用於手動分類。舉例而言，在其中經計算可信度位準低於一或多個測試缺陷之可信度臨限值之情況中，可於顯示器114上顯示與給定之一或多個測試缺陷相關 聯之影像資料及/或已知屬性。在此方面，一使用者可經由使用者輸入113執行此等測試缺陷之一手動分類。繼而，使用者介面裝置110接著可傳輸此等測試缺陷之手動計算且將其等儲存於記憶體108中。在此方面，接著，可將自動分類之測試缺陷(使用集成學習分類器分類)及手動分類之測試缺陷(經由使用者輸入分類)彙總至一整合資料庫中以用於檢視及/或分析。
另外，在已分析一或多個測試缺陷之後，方法可移動至步驟218，藉此若額外測試缺陷需要分析，則重複步驟212至216。在其中額外測試缺陷無需分析之情況中，程序結束。
在另一實施例中，一或多個測試缺陷之各缺陷類型之一可信度位準可由一或多個處理器106使用以監測由系統100產生之集成學習分類器之有效性。舉例而言，各缺陷類型之一平均可信度位準可由一或多個處理器106使用以監測系統100之集成學習分類器。在此方面，可使用與各缺陷類型之分類相關聯之平均可信度位準以藉由指示一晶圓生產程序中之缺陷類型之柏拉圖(Pareto)改變及/或一新缺陷類型之產生而監測系統100之集成學習分類器。
圖3係繪示根據本發明之一項實施例之在判定一缺陷類型對分數之一方法300中執行之步驟之一流程圖。本文中應注意，方法300之步驟可全部或部分由系統100實施。然而，應進一步認知，方法300不限於系統100，因為額外或替代系統級實施例可實行方法300之全部或部分步驟。應進一步注意，除非另有指明，否則在方法200之背景內容中描述之實施例及實例應解譯為延伸至方法300(且反之亦然)。
在步驟302中，獲取包含多個缺陷類型之一或多個影像107。在一項實施例中，多個缺陷類型包含一第一缺陷類型及至少一第二缺陷類型。在此方面，第一缺陷類型及第二缺陷類型形成一缺陷類型對。本文中應注意，一組給定檢測資料可包含高數目個缺陷類型。在此方 面，兩個不同缺陷類型之任何組合可形成一缺陷類型對。
在步驟304中，針對一缺陷類型對產生或訓練一第一集成學習分類器。在一項實施例中，一或多個處理器106可針對一缺陷類型對訓練一第一集成學習分類器。舉例而言，一或多個處理器106可針對一第一缺陷類型(A)及一第二缺陷類型(B)產生一第一集成學習分類器。藉由另一實例，一或多個處理器106可針對一第二缺陷類型(B)及一第三缺陷類型(C)產生一第一集成學習分類器。藉由另一實例，一或多個處理器106可針對一第一缺陷類型(A)及一第三缺陷類型(C)產生一第一集成學習分類器。本文中應注意，上文中之缺陷類型之標記並非限制性且僅係為了闡釋性目的而提供。此外，多種缺陷類型不限於上文提供之實例且可包含所獲取缺陷資料中存在之任何缺陷類型對。
第一集成學習分類器可包含此項技術中已知之任何集成學習分類器。舉例而言，如本文中先前論述，第一集成學習分類器可包含(但不限於)一隨機森林分類器或一基於SVM之分類器。應進一步注意，控制器104之一或多個處理器106可藉由隨機選擇訓練資料之一子集且接著多次隨機選擇訓練屬性之一子集以產生多個決策樹而訓練集成學習分類器(例如，隨機森林分類器)。
在步驟306中，使用第一集成學習分類器計算與該缺陷類型對相關聯之各屬性之一準確度指數之一平均降低。舉例而言，一或多個處理器106可使用第一集成分類器計算與一缺陷類型對相關聯之各(或至少一些)屬性之準確度指數之一平均降低。舉例而言，一或多個處理器106可使用第一集成學習分類器針對與一第一缺陷類型及一第二缺陷類型(或一第二缺陷類型及一第三缺陷類型；一第一缺陷類型及一第三缺陷類型)相關聯之各(或至少一些)屬性計算準確度指數之一平均降低。
在步驟308中，識別具有準確度指數之最大平均降低之N個屬 性。本文中應注意，一缺陷類型對(例如，第一缺陷類型/第二缺陷類型對)之一準確度指數之一平均降低表示最佳適合於(或至少充分適合於)分離給定缺陷類型對之第一缺陷類型及第二缺陷類型之屬性之一量測。
在一項實施例中，一或多個處理器106可對準確度指數之平均降低排序且接著識別具有準確度指數之最大平均降低之一選定數目(N)。在另一實施例中，一或多個處理器106可以一選定方式(例如，基於平均降低、中值降低等)對準確度指數排序且識別顯示一選定特徵(例如，最大平均降低、最大中值降低、來自具有準確度之最大平均或中值降低之N個屬性之一選定數目)之選定數目個屬性。本文中應注意，本發明及方法300不限於步驟308之統計分析，步驟308僅係為了闡釋性目的而提供。實情係，應注意，步驟308應解譯為延伸至用於識別與準確度指數之一降低相關聯之屬性之一子集之任何統計分析程序。
在步驟310中，使用步驟308之經識別屬性產生或訓練一第二集成學習分類器。在一項實施例中，一或多個處理器106可使用具有準確度指數之最大平均降低之N個屬性訓練一第二集成學習分類器。第二集成學習分類器可包含此項技術中已知之任何集成學習分類器。舉例而言，如本文中先前論述，第二集成學習分類器可包含(但不限於)一隨機森林分類器或一基於SVM之分類器。
在步驟312中，判定與第二經產生之集成學習分類器相關聯之一訓練誤差。在一項實施例中，一或多個處理器106判定與第二經產生之集成學習分類器相關聯之一訓練誤差。舉例而言，一或多個處理器106可判定與第二經產生之集成學習分類器相關聯之一袋外(OOB)訓練誤差。在以下各者中大體上論述OOB誤差之判定：由Breiman在Random Forests,Machine Learning，第45卷，第1期，第5-32頁(2001 年)，該案之全文以引用的方式併入上文中；及由Kulkarni等人在Random Forest Classifiers：A Survey and Future Research Directions,International Journal of Advanced Computing，第36卷，第1期，第1144-1153頁(2013年)，該案之全文以引用的方式併入上文中。
在步驟314中，計算與缺陷類型對相關聯之一類型對分數。在一項實施例中，一或多個處理器106可基於步驟312之訓練誤差判定計算與缺陷類型對相關聯之一類型對分數。舉例而言，一或多個處理器106可基於步驟312之訓練誤差判定計算與第一缺陷類型及第二缺陷類型(或一第二缺陷類型及一第三缺陷類型；一第一缺陷類型及一第三缺陷類型等等)相關聯之一類型對分數。舉例而言，在其中使用OOB誤差以計算訓練誤差之情況中，可使用以下關係計算缺陷類型對分數：類型對分數=1-OOB誤差
在另一實施例中，一或多個處理器106可比較經計算之類型對分數與一預定義臨限值。在另一實施例中，在類型對分數低於一預定義臨限值(例如，經由使用者輸入選擇)之情況中，一或多個處理器106可提供在步驟308中選擇之屬性不足以分離缺陷類別對(例如，第一缺陷類別及第二缺陷類別)之缺陷類別之一指示。此外，一或多個處理器106可經由使用者介面裝置110之顯示器114而將類型對分數報告至使用者或控制器104之記憶體108。
在另一實施例中，控制器104可貫穿一半導體裝置生產程序監測類型對分數。本文中應注意，類型對分數之一減小可指示給定樣本中之一或多個新缺陷類別之形成。在此方面，監測類型對分數提供在生產程序期間是否已形成一新缺陷類別之一指示。
此外，在其中額外缺陷類型對需要分析之情況中，步驟316可導致方法重複步驟304至314以針對額外缺陷類型對判定一類型對分數。 在其中額外缺陷類型對無需分析之情況中，方法300結束。
圖4係繪示根據本發明之一項實施例之在判定一缺陷資料充分性分數之一方法400中執行之步驟之一流程圖。本文中應注意，方法400之步驟可全部或部分由系統100實施。然而，應進一步認知，方法400不限於系統100，因為額外或替代系統級實施例可實行方法400之全部或部分步驟。應進一步注意，除非另有指明，否則在方法200及300之背景內容中描述之實施例及實例應解譯為延伸至方法400(且反之亦然)。
在步驟402中，獲取包含多個缺陷類型之一或多個影像107。在一項實施例中，檢測工具102獲取一或多個影像107且將一或多個影像107傳輸至一或多個控制器104。
在步驟404中，實行一或多個缺陷資料之一手動分類。舉例而言，一使用者可手動分類一或多個影像107中含有之缺陷資料之缺陷。舉例而言，一使用者可基於一或多個缺陷之一或多個屬性經由使用者介面裝置110對缺陷手動分類。繼而，使用者介面裝置110可將指示樣本112之一或多個缺陷之手動分類之一信號傳輸至控制器104之一或多個處理器106。在另一實施例中，控制器104可接收缺陷之手動分類且將結果儲存於記憶體108中。用於實行步驟404之分類之一或多個屬性包含可自一缺陷檢測或檢視工具導出之任何一或多個屬性。舉例而言，一或多個屬性可包含(但不限於)影像特徵量、缺陷座標、組合物分析結果、製造起始歷史資料、機器QC(品質控制)資料。此外，在一些實施例中，可自多個類型之缺陷檢測工具或系統獲得一或多個屬性，該多個類型之缺陷檢測工具或系統諸如(但不限於)光學或SEM異物檢測機器、圖案檢測機器、缺陷檢視機器、SPM或元素分析機器。在2009年10月13日頒布之美國專利第7,602,962號中描述適合於缺陷分類之屬性，該專利之全文先前以引用的方式併入本文中。
在一項實施例中，可藉由一自動分類功能(諸如(但不限於)即時自動分類(RT-ADC))處理一或多個訓練缺陷之屬性以對一或多個訓練缺陷分類。再次應注意，利用RT-ADC提供訓練缺陷之一「粗略」自動分類而不犧牲高處理速度。在2009年10月13日頒布之美國專利第7,602,962號中再次大體上描述即時自動分類，該專利之全文以引用的方式併入上文中。
在步驟406中，將缺陷資料分佈成N個群組。舉例而言，在步驟404中之缺陷資料之手動分類之後，一或多個處理器可將缺陷資料分佈成N個群組。舉例而言，可經由使用者輸入選擇群組之數目N。在另一實施例中，可將缺陷資料隨機分佈成N個群組。此外，本文中應認知，可藉由將缺陷資料分佈且儲存至維持於記憶體108(或另一記憶體)中之一組N個文件夾中而實行將缺陷資料分佈成N個群組。
在步驟408中，將缺陷資料之N個群組之一者識別為測試缺陷資料。在步驟410中，將缺陷資料之剩餘N-1個群組識別為訓練缺陷資料。舉例而言，一或多個處理器106可識別或選擇經分佈缺陷資料之群組之一者以充當測試資料，而剩餘N-1個群組充當一訓練資料。一旦將缺陷資料之N-1個群組識別為訓練缺陷資料，便可組合且使用資料之N-1個群組以用於在下列步驟中分析。
在步驟412及414中，針對缺陷資料之N個群組之至少一第一群組，增量地產生一系列分類器及各分類器之對應準確度值。應注意，可經由本文中進一步論述之步驟418而針對N個群組之額外群組(例如，文件夾)重複此等步驟。在步驟412中，針對其中訓練資料含有一選定百分比(Ci)之一第一缺陷類型之情況，基於N-1個群組中含有之訓練資料產生一第i個分類器。在此方面，可針對第一缺陷類型之各百分比Ci增量地產生一系列分類器。舉例而言，使用資料之N-1個群組之訓練缺陷資料內含有之至少一第一缺陷類型之一增量百分比產生 各分類器。舉例而言，可以自0至100%之第一缺陷百分比之各10%增量產生一系列分類器。舉例而言，可以10%之一第一缺陷百分比(C1)產生一第一分類器；以20%之一第二缺陷百分比(C2)產生一第二分類器；以30%之一第三缺陷百分比(C3)產生一第三分類器；以40%之一第四缺陷百分比(C4)產生一第四分類器；以50%之一第五缺陷百分比(C5)產生一第五分類器；以60%之一第六缺陷百分比(C6)產生一第六分類器；以70%之一第七缺陷百分比(C7)產生一第七分類器；以80%之一第八缺陷百分比(C8)產生一第八分類器；以90%之一第九缺陷百分比(C9)產生一第九分類器；以100%之一第十缺陷百分比(C10)產生一第十分類器。應注意，方法400不限於此等增量且本發明應解譯為延伸至任何增量標準(例如，2%、5%、10%、20%增量等等)。舉例而言，可僅針對其中第一缺陷百分比係80%、90%及100%之情況產生分類器。
本文中應注意，在此步驟中產生之分類器可包含此項技術中已知之任何分類器且不限於一集成學習分類器。在一項實施例中，經產生之分類器之一或多者係集成學習分類器(例如，隨機森林分類器、基於SVM之分類器及類似者)。在另一實施例中，經產生之分類器之一或多者係單一決策樹分類器或多個決策樹分類器(例如，超級分類器)。
在步驟414中，針對用於測試資料之第一缺陷類型之第i個分類器判定一準確度值。舉例而言，一或多個處理器106可判定在步驟412中針對至少第一缺陷類型產生之該系列分類器之各者之一準確度值。在此方面，一或多個處理器可藉由將各分類器應用至經分佈缺陷資料之N-1個群組中未含有之測試資料而針對各分類器判定一準確度值。
如本文中先前提及，可針對第一缺陷類型百分比之各增量重複步驟412及414。一旦已針對第一缺陷類型(或在進一步反覆中之額外 缺陷類型-見步驟422)之各Ci百分比計算各分類器及對應準確度值，方法400移動至步驟416。
在步驟416中，針對第一缺陷類型產生一準確度分數。在一項實施例中，一或多個處理器106藉由彙總在步驟414中針對第一缺陷類型之各Ci百分比計算之準確度值而產生第一缺陷類型之一準確度分數。舉例而言，可由一或多個處理器106藉由判定與Ci百分比相關聯之準確度值之偏差之一統計量測而產生準確度分數。在一項實施例中，一或多個處理器106可藉由經由以下關係而判定第一缺陷類型之準確度分數：準確度分數=1-s * std(Ci百分比之準確度值)
其中s表示一比例因數且std表示步驟414中獲取之第一缺陷類型之Ci百分比之準確度值之標準偏差。
在步驟418中，方法400可針對N個群組之各群組重複步驟408至416。在此方面，該方法可針對N個群組之各者計算一準確度分數。一旦方法400已針對N個群組之各者執行準確度分數判定，該方法便移動至步驟420。
在步驟420中，計算第一缺陷類型之一資料充分性分數。舉例而言，一或多個處理器106可藉由彙總在步驟416中針對N個群組之各者發現之準確度分數且接著針對N個群組計算一平均準確度分數而計算一資料充分性分數。在此方面，第一缺陷類型之資料充分性分數可採取以下形式：
Figure 105114188-A0202-12-0024-3
一旦方法400已針對第一缺陷類別執行資料充分性分數之後，接著方法400可移動至步驟422。
在步驟422中，方法400可針對一或多個額外缺陷類別重複步驟 408至420。在此方面，該方法可針對任何數目個缺陷類別計算一資料充分性分數(步驟420)。一旦已對全部所要缺陷類別計分，方法400便結束。
本文中描述之全部方法可包含將方法實施例之一或多個步驟之結果儲存於一儲存媒體中。結果可包含本文中描述之任何結果且可以此項技術中已知之任何方式儲存。儲存媒體可包含本文中描述之任何儲存媒體或此項技術中已知之任何其他適合儲存媒體。在已儲存結果之後，結果可在儲存媒體中存取且由本文中描述之方法或系統實施例之任何者使用；經格式化用於顯示給一使用者；由另一軟體模組、方法或系統等使用。此外，結果可「永久」、「半永久」、暫時儲存或儲存達某個時間段。舉例而言，儲存媒體可係隨機存取記憶體(RAM)且結果可不必無限期地保存在儲存媒體中。
熟習此項技術者將認知，當前最先進技術已進展至系統之態樣之硬體與軟體實施方案之間不存在區別的地步；硬體或軟體之使用通常係(但非始終，由於在某些背景內容中，硬體與軟體之間之選擇可變得顯著)表示成本對效率權衡之一設計選擇。熟習此項技術者將瞭解，存在可藉由其實現本文中描述之程序及/或系統及/或其他技術之多種載具(例如，硬體、軟體及/或韌體)且較佳載具將隨著部署程序及/或系統及/或其他技術之背景內容而變動。舉例而言，若一實施者判定速度及準確度係最重要的，則實施者可選取一主要硬體及/或韌體載具；替代地，若靈活性係最重要的，則實施者可選取一主要軟體實施方案；或又再次替代地，實施者可選取硬體、軟體及/或韌體之某個組合。因此，存在可藉由其實現本文中描述之程序及/或裝置及/或其他技術之若干可能載具，該等載具之任何者本質上並不優於其他載具，因為待利用之任何載具係取決於其中將部署載具之背景內容及實施者之特定關注(例如，速度、靈活性或可預測性)(其等之任何者可 變動)之一選擇。熟習此項技術者將認知，實施方案之光學態樣通常將採用光學定向硬體、軟體及/或韌體。
雖然已展示且描述本文中描述之當前標的物之特定態樣，但熟習此項技術者將瞭解，基於本文中之教示，可做出改變及修改而不脫離本文中描述之標的物及其較廣態樣，且因此，隨附申請專利範圍在其等之範疇內涵蓋如在本文中描述之標的物之真實精神及範疇內之全部此等改變及修改。
此外，應理解，本發明由隨附申請專利範圍界定。熟習此項技術者將理解，一般言之，本文中所使用之術語且尤其隨附申請專利範圍(例如，隨附申請專利範圍之正文)中所使用之術語一般意欲作為「開放式」術語(例如，術語「包含(including)」應解譯為「包含但不限於」，術語「具有」應解譯為「至少具有」，術語「包含(includes)」應解譯為「包含但不限於」等)。熟習此項技術者將進一步理解，若預期特定數目個引入請求項敘述，則將在申請專利範圍中明確敘述此一意圖，且在缺乏此敘述之情況下不存在此意圖。舉例而言，為幫助理解，以下隨附申請專利範圍可含有介紹性片語「至少一個」及「一或多個」之使用以引入請求項敘述。然而，即使在相同申請專利範圍包含介紹性片語「一或多個」或「至少一個」及諸如「一」或「一個」之不定冠詞(例如，「一」及/或「一個」通常應解譯為意指「至少一個」或「一或多個」)時，亦不應將此等片語之使用理解為暗示藉由不定冠詞「一」或「一個」引入之一請求項敘述將含有此引入請求項敘述之任何特定申請專利範圍限於僅含有一此敘述之發明；對於用於引入請求項敘述之定冠詞的使用同樣有效。再者，即使明確敘述引入之請求項敘述之特定數目，熟習此項技術者應認知，此敘述通常應解譯為意謂至少所敘述之數目(例如，無其他修飾語的「兩個敍述」的裸露敍述，通常意謂至少兩個敘述，或兩個或兩 個以上敘述)。此外，在使用類似於「A、B及C等等之至少一者」慣例的該等例項中，一般以熟習此項技術者理解該慣例的意義預期此一構造(例如，「具有A、B及C之至少一者之一系統」應包含(但不限於)僅具有A、僅具有B、僅具有C、同時具有A及B、同時具有A及C、同時具有B及C及/或同時具有A、B及C等等之系統)。在使用類似於「A、B或C等等之至少一者」之慣例的該等例項中，一般以熟習此項技術者理解該慣例的意義預期此一構造(例如，「具有A、B或C之至少一者之一系統」應包含(但不限制於)僅具有A、僅具有B、僅具有C、同時具有A及B、同時具有A及C、同時具有B及C，及/或同時具有A、B及C等等之系統)。熟習此項技術者應進一步理解，無論在描述、請求項或圖式中，實際上呈現兩個或兩個以上替代項目的任何分離性字詞及/或片語應理解為考量包含該等項目之一者、該等項目之任一者或兩個項目之可能性。例如，片語「A或B」應理解為包含「A」或「B」或「A及B」之可能性。
據信，藉由前述描述，將理解本發明及其許多伴隨優點且將明白，可對組件之形式、構造及配置進行多種改變而不脫離所揭示之標的物或不犧牲全部其材料優點。所描述之形式僅係說明性，且以下申請專利範圍意欲涵蓋且包含此等改變。
200‧‧‧方法
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
212‧‧‧步驟
214‧‧‧步驟
216‧‧‧步驟
218‧‧‧步驟

Claims (36)

  1. 一種用於缺陷分類之方法，其包括：獲取一樣本之一或多個影像，該一或多個影像包含複數個缺陷類型；自一使用者介面裝置接收指示基於該樣本之一或多個訓練缺陷之一或多個屬性之該一或多個訓練缺陷之一手動分類之一信號；基於該經接收之手動分類及該一或多個訓練缺陷之該等屬性產生一集成學習分類器；基於一經接收之分類純度要求產生該一或多個訓練缺陷之各缺陷類型之一可信度臨限值；獲取包含一或多個測試缺陷之一或多個影像；使用該經產生之集成學習分類器對該一或多個測試缺陷分類；使用該經產生之集成學習分類器計算該一或多個測試缺陷之各者之一可信度位準；及經由該使用者介面裝置報告具有低於該經產生之可信度臨限值之一可信度位準之一或多個測試缺陷以用於手動分類。
  2. 如請求項1之方法，其中該一或多個訓練缺陷及該一或多個測試缺陷安置於相同樣本上。
  3. 如請求項1之方法，其中該一或多個訓練缺陷及該一或多個測試缺陷安置於一不同樣本上。
  4. 如請求項1之方法，其中使用一投票方案計算該可信度位準。
  5. 如請求項1之方法，其中使用應用至該一或多個屬性之一即時自動缺陷分類(RT-ADC)方案對該一或多個訓練缺陷手動分類。
  6. 如請求項1之方法，其中該集成學習分類器包括：一隨機森林分類器。
  7. 如請求項1之方法，其中該集成學習分類器包括：一支援向量機器(SVM)。
  8. 如請求項1之方法，其中該基於一經接收之分類純度要求產生該一或多個訓練缺陷之各缺陷類型之一可信度臨限值包括：經由一交叉驗證程序基於一經接收之分類純度要求而產生該一或多個訓練缺陷之各缺陷類型之一可信度臨限值。
  9. 一種用於判定缺陷類型對分數之方法，其包括：獲取包含複數個缺陷類型之一或多個影像，該複數個缺陷類型包含一第一缺陷類型及至少一第二缺陷類型；針對該第一缺陷類型及該至少一第二缺陷類型產生一第一集成學習分類器；使用該第一集成學習分類器針對與該第一缺陷類型及該至少一第二缺陷類型相關聯之複數個屬性之各者計算一準確度指數之一平均降低；識別具有準確度指數之最大平均降低之選定數目個屬性；使用具有準確度指數之最大平均降低之該等經識別之選定數目個屬性產生一第二集成學習分類器；判定與該第二經產生之集成學習分類器相關聯之一訓練誤差；及基於該經判定之訓練誤差計算與該第一缺陷類型及該第二缺陷類型相關聯之一缺陷類型對分數。
  10. 如請求項9之方法，其中該第一集成學習分類器或該第二集成學習分類器之至少一者包括：一隨機森林分類器。
  11. 如請求項9之方法，其中該判定與該第二經產生之集成學習分類器相關聯之一訓練誤差包括：判定與該第二經產生之集成學習分類器相關聯之一袋外誤差。
  12. 一種用於判定缺陷資料之充分性以用於分類之方法包括：自一樣本獲取一組缺陷資料，該缺陷資料包含與包含複數個缺陷類型之複數個缺陷相關聯之影像資料；自一使用者介面裝置接收指示該複數個缺陷之一手動分類之一信號；將至少第一缺陷類型之缺陷資料分佈成N個資料群組；將該N個資料群組之一群組識別為含有測試資料；將未經識別為含有測試資料之該經分佈缺陷資料之N-1個資料群組識別為含有訓練資料；針對該N個群組之至少一第一群組，基於該N-1個資料群組中含有之該訓練缺陷資料增量地產生一系列分類器，其中使用該N-1個資料群組之該訓練缺陷資料內含有之至少一第一缺陷類型之一增量百分比產生各分類器；藉由將該系列分類器之各者應用至該經分佈缺陷資料之該N-1個群組中未含有之該測試資料而針對用於至少該第一缺陷類型之該系列分類器之各者判定一準確度值；及基於N個群組之至少該第一群組之一經產生準確度分數及該N個群組之至少一額外群組之至少一額外經產生準確度分數而針對至少該第一缺陷類型產生一缺陷資料充分性分數。
  13. 如請求項12之方法，其中該基於N個群組之至少該第一群組之一經產生準確度分數及該N個群組之至少一額外群組之至少一額外經產生準確度分數而針對至少該第一缺陷類型產生一缺陷資料 充分性分數包括：基於針對用於至少該第一缺陷類型之該系列分類器之各者判定之該等準確度值產生N個群組之至少該第一群組之一準確度分數；基於針對用於至少該第一缺陷類型之一系列額外分類器之各者判定之該等準確度值產生N個群組之至少一額外群組之一準確度分數；及基於N個群組之至少該第一群組之該經產生準確度分數及該N個群組之該至少一額外群組之該至少一額外經產生準確度分數而針對至少該第一缺陷類型產生一缺陷資料充分性分數。
  14. 如請求項12之方法，其進一步包括：基於N個群組之至少該第一群組之一經產生準確度分數及該N個群組之至少一額外群組之至少一額外經產生準確度分數而針對至少一額外缺陷類型產生一缺陷資料充分性分數。
  15. 如請求項12之方法，其中將訓練資料之該N-1個群組彙總成一單一資料群組。
  16. 如請求項12之方法，其中基於該N-1個群組中含有之該訓練缺陷資料增量地產生一系列分類器包括：基於該N-1個群組中含有之該訓練缺陷資料增量地產生一系列集成學習分類器。
  17. 如請求項16之方法，其中基於該N-1個群組中含有之該訓練缺陷資料增量地產生一系列分類器包括：基於該N-1個群組中含有之該訓練缺陷資料增量地產生一系列隨機森林分類器。
  18. 如請求項12之方法，其中該將至少該第一缺陷類型之缺陷資料分佈成N個群組包括： 將至少該第一缺陷類型之缺陷資料隨機分佈成N個群組。
  19. 如請求項12之方法，其中使用應用至該一或多個屬性之一即時自動缺陷分類(RT-ADC)方案對該一或多個訓練缺陷手動分類。
  20. 一種用於缺陷分類之設備，其包括：一檢測工具，該檢測工具包含經組態以獲取一樣本之至少一部分之一或多個影像之一或多個偵測器；一使用者介面裝置；一控制器，該控制器包含通信耦合至該檢測工具之該一或多個偵測器之一或多個處理器，其中該一或多個處理器經組態以執行儲存於記憶體中之一組程式指令，該組程式指令經組態以導致該一或多個處理器：自該檢測工具之該一或多個偵測器接收該一或多個影像；自一使用者介面裝置接收指示基於該樣本之一或多個訓練缺陷之一或多個屬性之該一或多個訓練缺陷之一手動分類之一信號；基於該經接收之手動分類及該一或多個訓練缺陷之該等屬性產生一集成學習分類器；基於一經接收之分類純度要求產生該一或多個訓練缺陷之各缺陷類型之一可信度臨限值；獲取包含一或多個測試缺陷之一或多個影像；使用該經產生之集成學習分類器對該一或多個測試缺陷分類；使用該經產生之集成學習分類器計算該一或多個測試缺陷之各者之一可信度位準；及經由該使用者介面裝置報告具有低於該經產生之可信度臨限值之一可信度位準之一或多個測試缺陷以用於手動分類。
  21. 如請求項20之設備，其中該集成學習分類器包括：一隨機森林分類器。
  22. 如請求項20之設備，其中該檢測工具包括：一電子束缺陷檢視工具。
  23. 如請求項20之設備，其中該檢測工具包括：一暗場檢測工具。
  24. 如請求項20之設備，其中該檢測工具包括：一明場檢測工具。
  25. 一種用於判定缺陷類型對分數之設備，其包括：一檢測工具，該檢測工具包含經組態以獲取一樣本之至少一部分之一或多個影像之一或多個偵測器；一使用者介面裝置；一控制器，該控制器包含通信耦合至該檢測工具之該一或多個偵測器之一或多個處理器，其中該一或多個處理器經組態以執行儲存於記憶體中之一組程式指令，該組程式指令經組態以導致該一或多個處理器：自該檢測工具接收該一或多個影像，該一或多個影像包含複數個缺陷類型，該複數個缺陷類型包含一第一缺陷類型及至少一第二缺陷類型；針對該第一缺陷類型及該至少一第二缺陷類型產生一第一集成學習分類器；使用該第一集成學習分類器針對與該第一缺陷類型及該至少一第二缺陷類型相關聯之複數個屬性之各者計算一準確度指數之一平均降低；識別具有準確度指數之最大平均降低之選定數目個屬性；使用具有準確度指數之最大平均降低之該等經識別之選定數 目個屬性產生一第二集成學習分類器；判定與該第二經產生之集成學習分類器相關聯之一訓練誤差；且基於該經判定之訓練誤差計算與該第一缺陷類型及該第二缺陷類型相關聯之一缺陷類型對分數。
  26. 如請求項25之設備，其中該第一集成學習分類器或該第二集成學習分類器之至少一者包括：一隨機森林分類器。
  27. 如請求項25之設備，其中該檢測工具包括：一電子束缺陷檢視工具。
  28. 如請求項25之設備，其中該檢測工具包括：一暗場檢測工具。
  29. 如請求項25之設備，其中該檢測工具包括：一明場檢測工具。
  30. 一種用於判定缺陷資料之充分性以用於分類之設備，其包括：一檢測工具，該檢測工具包含經組態以獲取一樣本之至少一部分之一或多個影像之一或多個偵測器；一使用者介面裝置；一控制器，該控制器包含通信耦合至該檢測工具之該一或多個偵測器之一或多個處理器，其中該一或多個處理器經組態以執行儲存於記憶體中之一組程式指令，該組程式指令經組態以導致該一或多個處理器：自一樣本接收該組缺陷資料，該缺陷資料包含與包含複數個缺陷類型之複數個缺陷相關聯之影像資料；及基於該缺陷資料之N個群組之至少一第一群組之一經產生準確度分數及缺陷資料之該N個群組之至少一額外群組之至少一 額外經產生準確度分數而針對至少一第一缺陷類型產生一缺陷資料充分性分數。
  31. 如請求項30之設備，其中該檢測工具包括：一電子束缺陷檢視工具。
  32. 如請求項30之設備，其中該檢測工具包括：一暗場檢測工具。
  33. 如請求項30之設備，其中該檢測工具包括：一明場檢測工具。
  34. 如請求項30之設備，其中該一或多個處理器經組態以藉由以下各者基於該缺陷資料之N個群組之至少一第一群組之一經產生準確度分數及缺陷資料之該N個群組之至少一額外群組之至少一額外經產生準確度分數而針對至少一第一缺陷類型產生一缺陷資料充分性分數：基於針對用於至少該第一缺陷類型之一系列分類器之各者判定之準確度值產生N個群組之至少一第一群組之一準確度分數；基於針對用於至少該第一缺陷類型之一系列額外分類器之各者判定之準確度值產生N個群組之至少一額外群組之一準確度分數；及基於N個群組之至少該第一群組之該經產生準確度分數及該N個群組之該至少一額外群組之該至少一額外經產生準確度分數而針對至少該第一缺陷類型產生一缺陷資料充分性分數。
  35. 如請求項34之設備，其中該系列分類器之至少一者包括：一隨機森林分類器。
  36. 如請求項34之設備，其中該一或多個處理器進一步經組態以：基於N個群組之至少該第一群組之一經產生準確度分數及該N個群組之至少一額外群組之至少一額外經產生準確度分數而針對至少一額外缺陷類型產生一缺陷資料充分性分數。
TW105114188A 2015-05-08 2016-05-06 用於缺陷分類之方法及系統 TWI699732B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562158605P 2015-05-08 2015-05-08
US62/158,605 2015-05-08
US14/749,316 US9898811B2 (en) 2015-05-08 2015-06-24 Method and system for defect classification
US14/749,316 2015-06-24

Publications (2)

Publication Number Publication Date
TW201706960A TW201706960A (zh) 2017-02-16
TWI699732B true TWI699732B (zh) 2020-07-21

Family

ID=57222747

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105114188A TWI699732B (zh) 2015-05-08 2016-05-06 用於缺陷分類之方法及系統

Country Status (8)

Country Link
US (2) US9898811B2 (zh)
KR (1) KR102513713B1 (zh)
CN (3) CN121459039A (zh)
DE (1) DE112016002090T5 (zh)
IL (2) IL255085B (zh)
SG (1) SG10202011451UA (zh)
TW (1) TWI699732B (zh)
WO (1) WO2016182857A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189055A1 (en) * 2014-12-31 2016-06-30 Applied Materials Israel Ltd. Tuning of parameters for automatic classification
IL248241B (en) * 2015-10-12 2020-04-30 Verint Systems Ltd A system and method for evaluating cyber security awareness
US11205119B2 (en) 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
US10586171B2 (en) 2016-05-31 2020-03-10 International Business Machines Corporation Parallel ensemble of support vector machines
TWI608369B (zh) * 2016-11-23 2017-12-11 財團法人工業技術研究院 分類方法、分類模組及電腦程式產品
US10365617B2 (en) * 2016-12-12 2019-07-30 Dmo Systems Limited Auto defect screening using adaptive machine learning in semiconductor device manufacturing flow
CN106845537B (zh) * 2017-01-09 2020-12-04 北京邮电大学 一种基于自适应阈值的分类器半径确定方法及装置
CN106875278B (zh) * 2017-01-19 2020-11-03 浙江工商大学 基于随机森林的社交网络用户画像方法
JP6923794B2 (ja) * 2017-08-04 2021-08-25 富士通株式会社 検査装置、検査プログラム、及び検査方法
US10607119B2 (en) * 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
US11037286B2 (en) * 2017-09-28 2021-06-15 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
US10809635B2 (en) * 2017-11-20 2020-10-20 Taiwan Semiconductor Manufacturing Company, Ltd. Defect inspection method and defect inspection system
US10678682B2 (en) * 2017-12-04 2020-06-09 Bank Of America Corporation Intelligent batch job testing
US11514357B2 (en) * 2018-03-19 2022-11-29 Kla-Tencor Corporation Nuisance mining for novel defect discovery
US11170255B2 (en) * 2018-03-21 2021-11-09 Kla-Tencor Corp. Training a machine learning model with synthetic images
US11132444B2 (en) * 2018-04-16 2021-09-28 International Business Machines Corporation Using gradients to detect backdoors in neural networks
IL259285B2 (en) * 2018-05-10 2023-07-01 Inspekto A M V Ltd A system and method for detecting defects on objects in an image
CN108804558A (zh) * 2018-05-22 2018-11-13 北京航空航天大学 一种基于语义模型的缺陷报告自动分类方法
KR102154393B1 (ko) * 2018-06-20 2020-09-09 에임시스템 주식회사 기계 학습 기반의 자동 결함 분류 방법
CN108982544B (zh) * 2018-06-20 2020-09-29 青岛联合创智科技有限公司 一种印制电路板瑕疵部件检测方法
US11668655B2 (en) * 2018-07-20 2023-06-06 Kla Corporation Multimode defect classification in semiconductor inspection
US10854486B2 (en) * 2018-09-19 2020-12-01 Kla Corporation System and method for characterization of buried defects
CN109344767B (zh) * 2018-09-29 2021-09-28 重庆大学 一种基于多方位多特征协同表示的sar目标识别方法
US11094053B2 (en) * 2018-10-08 2021-08-17 Kla Corporation Deep learning based adaptive regions of interest for critical dimension measurements of semiconductor substrates
CN110147709A (zh) * 2018-11-02 2019-08-20 腾讯科技（深圳）有限公司 车辆属性模型的训练方法、装置、终端及存储介质
CN109522304B (zh) * 2018-11-23 2021-05-18 中国联合网络通信集团有限公司 异常对象识别方法及装置、存储介质
US11151707B2 (en) * 2018-12-07 2021-10-19 Kla Corporation System and method for difference filter and aperture selection using shallow deep learning
US11010885B2 (en) * 2018-12-18 2021-05-18 Kla Corporation Optical-mode selection for multi-mode semiconductor inspection
US11321633B2 (en) * 2018-12-20 2022-05-03 Applied Materials Israel Ltd. Method of classifying defects in a specimen semiconductor examination and system thereof
US11550309B2 (en) * 2019-01-08 2023-01-10 Kla Corporation Unsupervised defect segmentation
US11263737B2 (en) * 2019-01-10 2022-03-01 Lam Research Corporation Defect classification and source analysis for semiconductor equipment
US11151706B2 (en) * 2019-01-16 2021-10-19 Applied Material Israel, Ltd. Method of classifying defects in a semiconductor specimen and system thereof
JP7263074B2 (ja) * 2019-03-22 2023-04-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体
WO2020202332A1 (ja) * 2019-03-29 2020-10-08 武蔵精密工業株式会社 検査装置及び検査方法
CN110135477B (zh) * 2019-04-28 2023-03-24 湖北工业大学 一种基于串/并行集成学习框架的带钢表面质量缺陷分类器及其分类方法
CN112362679B (zh) * 2019-07-23 2024-06-04 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品
CN110909793B (zh) * 2019-11-21 2022-05-31 华中科技大学 一种基于fpga实现的决策森林系统及决策森林推理方法
KR102270347B1 (ko) * 2019-11-26 2021-06-30 한국전력공사 딥러닝 앙상블 모델을 이용한 이상 상황 탐지 장치 및 그 방법
CN111126808A (zh) * 2019-12-11 2020-05-08 天津泰凡科技有限公司 一种数据预警方法、装置及计算机存储介质
US20210182739A1 (en) * 2019-12-17 2021-06-17 Toyota Motor Engineering & Manufacturing North America, Inc. Ensemble learning model to identify conditions of electronic devices
CN111060520B (zh) * 2019-12-30 2021-10-29 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
US11754625B2 (en) * 2020-01-30 2023-09-12 Kla Corporation System and method for identifying latent reliability defects in semiconductor devices
US11360030B2 (en) 2020-02-04 2022-06-14 Applied Materials Isreal Ltd Selecting a coreset of potential defects for estimating expected defects of interest
WO2021193347A1 (ja) * 2020-03-26 2021-09-30 パナソニックＩｐマネジメント株式会社 データ生成システム、データ生成方法、データ生成装置および追加学習要否装置
CN111461243B (zh) * 2020-04-08 2023-06-20 中国医学科学院肿瘤医院 分类方法、装置、电子设备及计算机可读存储介质
CN111860579B (zh) * 2020-06-09 2024-08-20 广州寻星网络科技有限公司 布面瑕疵识别方法、系统和存储介质
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US20220027797A1 (en) * 2020-07-23 2022-01-27 International Business Machines Corporation Hybrid data chunk continuous machine learning
CN111860673B (zh) * 2020-07-28 2022-03-08 河北工业大学 基于分箱置信度筛选深度森林的机器学习分类方法
JP7527162B2 (ja) * 2020-09-08 2024-08-02 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援装置、教師データ作成支援システムおよび教師データ作成支援方法
JP7043645B1 (ja) 2021-03-03 2022-03-29 Dmg森精機株式会社 基板検査方法
CN113673579B (zh) * 2021-07-27 2024-05-28 国网湖北省电力有限公司营销服务中心(计量中心) 一种基于小样本的用电负荷分类算法
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
CN113570603A (zh) * 2021-09-26 2021-10-29 国网浙江省电力有限公司电力科学研究院 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统
CN113706540B (zh) * 2021-11-01 2022-02-08 常州微亿智造科技有限公司 缺陷样本数据生成方法和装置
US12505532B2 (en) 2021-11-17 2025-12-23 Sonix, Inc. Method and apparatus for automated defect detection
KR102793928B1 (ko) * 2021-11-18 2025-04-14 한국과학기술원 오염된 IoT 데이터 환경에서 비지도 이상 감지 모델을 위한 반복적 학습 방법 및 장치
KR102597081B1 (ko) * 2021-11-30 2023-11-02 (주)자비스 인공 지능 기반 대상체 앙상블 비파괴 검사 방법, 장치 및 시스템
CN117173074A (zh) * 2022-05-24 2023-12-05 鸿海精密工业股份有限公司 瑕疵检测方法、电子设备及存储介质
US12422378B2 (en) 2022-11-30 2025-09-23 Applied Materials, Inc. Substrate defect analysis
CN115880696B (zh) * 2022-12-29 2024-11-29 天翼物联科技有限公司 一种基于深度学习的物联网卡管理方法、装置及相关介质
US20250117915A1 (en) * 2023-10-06 2025-04-10 Applied Materials, Inc. Optical inspection-based automatic defect classification
US12491957B2 (en) 2023-11-10 2025-12-09 ZF Active Safety US Inc. Bond quality assessment system
CN119887644A (zh) * 2024-12-19 2025-04-25 内蒙古电力(集团)有限责任公司锡林郭勒供电分公司 一种基于无人机图像分析的输电线路缺陷评价方法及系统
CN120177460A (zh) * 2025-05-20 2025-06-20 中国农业科学院农业质量标准与检测技术研究所 基于拉曼光谱的牛肉产地溯源方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040156540A1 (en) * 2003-02-12 2004-08-12 Kla-Tencor Technologies, Corporation Automatic supervised classifier setup tool for semiconductor defects
US7035447B2 (en) * 1999-12-07 2006-04-25 Sony Corporation Semiconductor wafer examination system
TW201346593A (zh) * 2012-04-20 2013-11-16 Applied Materials Israel Ltd 自動缺陷分類的分類器準備與維持

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148099A (en) * 1997-07-03 2000-11-14 Neopath, Inc. Method and apparatus for incremental concurrent learning in automatic semiconductor wafer and liquid crystal display defect classification
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
JP4118703B2 (ja) * 2002-05-23 2008-07-16 株式会社日立ハイテクノロジーズ 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
US7602962B2 (en) 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
JP4443270B2 (ja) 2003-03-12 2010-03-31 株式会社日立ハイテクノロジーズ 欠陥分類方法
US7756320B2 (en) * 2003-03-12 2010-07-13 Hitachi High-Technologies Corporation Defect classification using a logical equation for high stage classification
US7020536B2 (en) * 2004-02-06 2006-03-28 Powerchip Semiconductor Corp. Method of building a defect database
JP4908995B2 (ja) 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
JP2008256466A (ja) 2007-04-03 2008-10-23 Fuji Electric Holdings Co Ltd 欠陥検出装置、欠陥検出方法および欠陥検出プログラム
JP4262297B2 (ja) 2008-07-25 2009-05-13 大日本スクリーン製造株式会社 クラスタ生成装置、欠陥分類装置、クラスタ生成方法およびプログラム
WO2010091307A2 (en) 2009-02-06 2010-08-12 Kla-Tencor Corporation Selecting one or more parameters for inspection of a wafer
US8315453B2 (en) 2010-07-27 2012-11-20 Applied Materials Israel, Ltd. Defect classification with optimized purity
US8995747B2 (en) * 2010-07-29 2015-03-31 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for defect detection and classification
US20120323506A1 (en) * 2010-11-23 2012-12-20 Andrew Payshin King Semiconductor Defect Signal Capturing and Statistical System and Method
CN102637258B (zh) * 2012-04-01 2014-05-28 首钢总公司 一种建立在线表面质量检测系统缺陷库的方法
US9715723B2 (en) * 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
CN103198322B (zh) 2013-01-18 2017-02-08 江南大学 基于机器视觉的磁瓦表面缺陷特征提取及缺陷分类方法
CN104021264B (zh) * 2013-02-28 2017-06-20 华为技术有限公司 一种缺陷预测方法及装置
US9430824B2 (en) * 2013-05-14 2016-08-30 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
CN103473545B (zh) * 2013-08-01 2016-06-29 西安交通大学 一种基于多特征的文本图像相似度度量方法
US9430743B2 (en) * 2014-03-06 2016-08-30 Kla-Tencor Corp. Composite defect classifier
CN104008550A (zh) * 2014-06-05 2014-08-27 深圳市大族激光科技股份有限公司 晶圆表面缺陷特征分析方法、系统、分类方法和系统
CN104063645B (zh) * 2014-07-01 2017-08-04 清华大学深圳研究生院 一种基于心电信号动态自更新样本的身份识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035447B2 (en) * 1999-12-07 2006-04-25 Sony Corporation Semiconductor wafer examination system
US20040156540A1 (en) * 2003-02-12 2004-08-12 Kla-Tencor Technologies, Corporation Automatic supervised classifier setup tool for semiconductor defects
TW201346593A (zh) * 2012-04-20 2013-11-16 Applied Materials Israel Ltd 自動缺陷分類的分類器準備與維持

Also Published As

Publication number Publication date
IL255085B (en) 2020-02-27
US20160328837A1 (en) 2016-11-10
DE112016002090T5 (de) 2018-02-15
KR20180005218A (ko) 2018-01-15
TW201706960A (zh) 2017-02-16
WO2016182857A1 (en) 2016-11-17
CN113139621B (zh) 2022-10-21
SG10202011451UA (en) 2021-01-28
US10482590B2 (en) 2019-11-19
CN113139621A (zh) 2021-07-20
US20180114310A1 (en) 2018-04-26
CN107820620A (zh) 2018-03-20
KR102513713B1 (ko) 2023-03-23
IL255085A0 (en) 2017-12-31
IL271440B (en) 2020-08-31
IL271440A (en) 2020-01-30
US9898811B2 (en) 2018-02-20
CN121459039A (zh) 2026-02-03

Similar Documents

Publication Publication Date Title
TWI699732B (zh) 用於缺陷分類之方法及系統
TWI670652B (zh) 用於反覆缺陷分類之方法及系統
US10964013B2 (en) System, method for training and applying defect classifiers in wafers having deeply stacked layers
JP6905954B2 (ja) 自動欠陥分類のための未知欠陥除去の最適化
CN106461581B (zh) 基于来自光学检验及光学重检的缺陷属性的用于电子束重检的缺陷取样
WO2021195689A1 (en) Method for artificial intelligence (ai) model selection
CN112840205B (zh) 基于设计及噪声的关注区域
TW201407154A (zh) 自動及手動缺陷分類之整合
CN104520806A (zh) 用于云监控的异常检测
TW201820187A (zh) 基於缺陷與設計屬性之缺陷檢視取樣及正規化
US8830464B2 (en) Film thickness, refractive index, and extinction coefficient determination for film curve creation and defect sizing in real time
JP2017162232A (ja) 教師データ作成支援装置、画像分類装置、教師データ作成支援方法および画像分類方法
WO2018168521A1 (en) Learning result identifying apparatus, learning result identifying method, and program therefor
JP7559633B2 (ja) 統合モデルの生成方法、画像検査システム、画像検査用モデルの生成装置、画像検査用モデルの生成プログラム及び画像検査装置
JP2021068745A (ja) 欠陥分類装置、欠陥分類プログラム
AU2021245268A1 (en) Method for artificial intelligence (AI) model selection