[go: up one dir, main page]

TWI882119B - 評估用於檢查半導體樣本的檢查演算法 - Google Patents

評估用於檢查半導體樣本的檢查演算法 Download PDF

Info

Publication number
TWI882119B
TWI882119B TW110118790A TW110118790A TWI882119B TW I882119 B TWI882119 B TW I882119B TW 110118790 A TW110118790 A TW 110118790A TW 110118790 A TW110118790 A TW 110118790A TW I882119 B TWI882119 B TW I882119B
Authority
TW
Taiwan
Prior art keywords
inspection
algorithm
inspection algorithm
evaluation
new
Prior art date
Application number
TW110118790A
Other languages
English (en)
Other versions
TW202210818A (zh
Inventor
伊爾雅 佈雷瓦司
Original Assignee
以色列商應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商應用材料以色列公司 filed Critical 以色列商應用材料以色列公司
Publication of TW202210818A publication Critical patent/TW202210818A/zh
Application granted granted Critical
Publication of TWI882119B publication Critical patent/TWI882119B/zh

Links

Images

Classifications

    • H10P74/23—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605—Workpiece metrology
    • G03F7/70616—Monitoring the printed patterns
    • G03F7/7065—Defects, e.g. optical inspection of patterned layer for defects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H10P74/203—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)

Abstract

一種用於評估用於檢查半導體樣本的檢查演算法的方法、非瞬態電腦可讀媒體和系統。

Description

評估用於檢查半導體樣本的檢查演算法
本公開內容涉及評估用於檢查半導體樣本的檢查演算法。
本申請要求提交於2020年5月28日的美國申請第16/885,763號的優先權。所述申請的公開內容出於所有目的藉由引用以其整體併入本文。
半導體製造商確實使用先前技術檢查系統來製造半導體樣本。先前技術檢查系統的示例包括美國加利福尼亞州聖克拉拉市應用材料公司(Applied Materials Inc., Santa Clara, California, USA)的UVISIONTM 系列檢查系統。
檢查系統被配置為在檢查半導體樣本期間執行檢查演算法。檢查演算法可決定偵測製程的一個或多個態樣，諸如半導體樣本的照明、來自半導體樣本的輻射的收集、代表從半導體樣本發出的輻射的偵測信號的處理、以及檢查製程的任何機械態樣。
檢查系統通常位於半導體製造工廠(也被稱為製造廠)處，並且由檢查系統生成的檢查結果是半導體製造商的最寶貴的資產之一。
檢查結果被半導體製造商嚴密地保護。尤其是，對檢查結果的訪問通常地被嚴格地限制於半導體製造商本身。檢查結果可包括所檢查的半導體樣本的圖像。
各種半導體樣本缺陷是相對罕見的。為了開發最佳檢查演算法，開發實體(例如，檢查系統製造商的開發者和/或開發團隊)可能會需要數千張圖像，並且甚至是超過一百萬張圖像，尤其是當至少部分地使用機器學習製程開發檢查演算法時。
然而，並不允許開發實體訪問檢查結果。因此，在許多情況下，由開發實體開發的檢查演算法是次佳的。
高成本與由不準確的檢查造成的檢查失敗和/或製造製程失敗相關聯。
還存在將次佳檢查演算法或其他不受信任檢查演算法應用在檢查系統中的風險。
上文提及的高成本和高風險可能會迫使半導體製造商在它們的檢查系統上實現新開發的檢查演算法。
半導體製造商通常藉由在半導體製造工廠中監測缺陷的基線來控制製造製程。新檢查演算法的實現可能會破壞基線。破壞可能會引入關於基線是因新檢查演算法的實現還是因製造製程的改變或是因這兩個原因而改變的不確定性。
藉由在檢查系統上應用當前檢查演算法和新檢查演算法兩者來減輕不確定性是不實際的，因為其成本高並且製造製程生產量減少。
越來越需要提供一種高效、可靠且不會將檢查結果暴露於開發實體的解決方案。
可提供用於評估用於檢查半導體樣本的檢查演算法的一種方法、一種非瞬態電腦可讀媒體和一種系統。
在以下詳細描述中，闡述了許多具體細節，以便提供對本公開內容的實施例的透徹理解。
然而，本領域的技術人員將理解，本公開內容的當前實施例可在沒有這些具體細節的情況下實踐。在其他情況下，並未詳細地描述所熟知的方法、過程和部件，以免模糊本公開內容的當前實施例。
在本說明書的結論部分中特別地指出並明確地要求保護被視為本公開內容的實施例的主題。然而，可在查閱附圖時參考以下詳細描述來就組織和操作方法兩者而言最佳地理解本公開內容的實施例連同其目標、特徵和優點。
應理解，為了說明的簡單和清楚，附圖中示出的要素不一定按比例繪製。例如，為了清楚起見，要素中的一些的尺寸可相對於其他要素被誇大。另外，在認為適當的情況下，附圖標記在附圖間可重複以指示對應或相似要素。
由於本公開內容的所說明的實施例大部分都可使用本領域的技術人員已知的電子部件和電路來實現，因此，為了理解和瞭解本公開內容的當前實施例的基礎概念並且為了避免本公開內容的當前實施例的教導的混亂或分散，除了如上文所說明的被認為必要的解釋之外，不在任何更大範圍上對細節進行解釋。
在本說明書中對方法的任何引用都應加以必要變更以適用於能夠執行所述方法的系統並且都應加以必要變更以適用於非瞬態並存儲用於執行所述方法的指令的電腦可讀媒體。
在本說明書中對系統的任何引用都應加以必要變更以適用於可由所述系統執行的方法並且都應加以必要變更以適用於非瞬態並存儲可由所述系統執行的指令的電腦可讀媒體。
在本說明書中對非瞬態電腦可讀媒體的任何引用都應加以必要變更以適用於可在執行存儲在所述電腦可讀媒體中的指令時應用的方法並且都應加以必要變更以適用於被配置為執行存儲在所述電腦可讀媒體中的指令的系統。
術語「和/或」意指附加地或替代地。
對術語「可為」的任何引用都應加以必要變更以適用於術語「可不為」。
「幾個」可為一個、兩個、三個、四個等。
術語「傾斜」和「偏轉」以可互換的方式使用。
本說明書和/或附圖可參考處理器。處理器可為處理電路系統。處理電路系統可實現為中央處理單元(CPU)和/或一個或多個其他積體電路，諸如專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、全定制積體電路等，或者這些積體電路的組合。
本說明書可參考檢查演算法。對檢查演算法的任何引用可加以必要變更以適用於多個檢查演算法，和/或可加以必要變更以適用於要由任何評估系統(例如計量機、審查機等)執行的任何其他演算法。
當評估多個檢查演算法時，隨後可在多個檢查演算法之間進行選擇。附加地或替代地，可將不同檢查演算法分配到不同情況。此選擇和/或分配可由評估者完成，可由半導體製造工廠的成員完成，或者可至少部分地在沒有人工干預的情況下完成。
圖1示出了用於評估用於檢查半導體樣本的檢查演算法的方法400的示例。
方法400可從步驟410開始，步驟410為由評估單元接收檢查演算法。檢查演算法由開發實體開發。在檢查演算法當前未被檢查系統執行的意義上，檢查演算法可被稱為新檢查演算法。
評估單元可為檢查系統的一部分。替代地，評估單元可不屬於檢查系統。
步驟410之後可為步驟420，步驟420為由評估單元獲得與由檢查系統檢查的多個半導體樣本有關的檢查結果的至少部分。檢查結果可包括在任何時間段內檢查的多個晶圓的檢查結果，所述時間段為少於一小時、一小時、多於一小時、少於一天、一天、多於一天、少於一周、一周、多於一周、少於一個月、一個月、多於一個月、少於一年、一年以及甚至多於一年。
多個半導體樣本可屬於一個或多個批次。
檢查結果的至少部分可由多個檢查系統提供。為了簡化解釋，假設檢查結果由單個檢查系統提供。
每個檢查結果可為或可包括非常高解析度的圖像。非常高的解析度可為亞微米級的解析度。每個圖像可覆蓋晶圓的一區域，而所述區域通常只佔整個晶圓的一小部分。對同一晶圓的區域拍攝的圖像的總體大小可能非常大，可包括數萬億，可超過數十太位元組。
檢查結果可包括附加資料(例如，可包括屬性、中繼資料、測量結果等)，或者可包括圖像和附加資料兩者。
步驟420可包括獲得整個圖像或僅獲得圖像的部分。例如，可將僅關於晶圓的一些區域的資訊發送到評估單元。
圖像的部分的大小可為以下各項之間的折衷：(a)存儲和傳達圖像的部分所需的存儲資源和通信資源，以及(b)丟失包括顯著缺陷的圖像的部分的幾率。
可應用任何折衷。折衷可考慮到遇到缺陷的預期概率、可用存儲資源的數量、缺陷的嚴重性、缺陷的重要性和預期要獲得的圖像的數量。
圖像的部分可藉由一個或多個本端通信路徑傳送到評估單元。由於圖像的部分的大小較大，因此使用有線連接可為有益的。
步驟420之後可為步驟430，步驟430為由評估單元並在沙箱測試環境內評估檢查演算法以提供評估結果。
評估結果可由指示表示，所述指示可包括以下各項中的至少一項：(a)檢查演算法的信任級別，(b)有關檢查演算法的效能的任何其他資訊，例如執行時間、計算資源使用情況、記憶體資源使用情況、準確性、可重複性、解析度、任何類型的錯誤、對可疑缺陷的錯誤偵測、對可疑缺陷的真實偵測、缺失缺陷等，資訊可具有從有關整個類型的可疑缺陷的效能到關於某些缺陷或某些類別的缺陷的效能的任何細微性。指示可由評估者設計。
沙箱測試環境將檢查系統與檢查演算法的評估隔離，並且防止檢查系統被步驟430的執行不利地影響。將檢查演算法的新評估與檢查系統隔離的任何解決方案都可被視為沙箱測試環境。
沙箱測試結果可為(參見www.wikipedia.org)將未測試的代碼改變和整個(outright)實驗與生產環境或儲存庫隔離的測試環境。
步驟430可包括將檢查演算法應用於與多個半導體樣本有關的檢查結果的至少部分。
步驟430之後可為步驟440，步驟440為向開發實體發送至少有關評估結果的指示。
在不將與多個半導體樣本有關的檢查結果的至少部分暴露於開發實體的情況下執行方法400。
這由防止來自開發實體的對檢查結果的至少部分的訪問的步驟402示出。
步驟430可與由檢查系統執行檢查製程(藉由應用當前檢查演算法)以部分地重疊的方式或以不重疊的方式並行地執行。
由步驟404示出由檢查系統執行檢查製程(藉由應用當前檢查演算法)。檢查製程的執行(藉由執行當前檢查演算法)不應被評估單元對檢查演算法的評估中斷。例如，步驟402、410、420、430和440的執行不應影響步驟404的處理量，不應影響步驟404的執行的結果等。
應注意，儘管步驟410、420、430和440與檢查演算法(新檢查演算法或經評估的檢查演算法)的評估有關，但步驟404與當前檢查演算法的執行有關，並且可不被包括在方法400中。
圖2示出了方法401的示例。
方法401包括方法400的步驟402、404、410、420、430和440。
另外，方法401可包括附加步驟460、470和480中的至少一個。
步驟402可包括由檢查系統執行檢查製程。步驟402可包括應用當前檢查演算法。
步驟402之後可為步驟460，步驟460為向受信任實體(諸如半導體製造工廠的另一個系統)輸出以下各項中的至少一項：(a)檢查結果，(b)檢查結果的某些部分，以及(c)檢查結果的任何表示。受信任實體可為例如半導體製造工廠或半導體製造商的另一個評估系統，諸如審查工具、管理系統或監測系統。
步驟470可包括由評估單元接收被應用於多個半導體樣本中的至少一些的審查製程的審查結果。
步驟470之後可為步驟430。因此，步驟430可包括評估檢查演算法，而評估至少部分地基於審查結果。
步驟480可包括由評估單元接收受信任檢查結果。步驟480之後可為步驟430。因此，步驟430可包括評估檢查演算法，而評估至少部分地基於受信任檢查結果。
圖3、圖4、圖5、圖6和圖7示出了開發者10、評估單元25、檢查系統29和它們的環境。
圖3示出了防火牆21或防止開發者10對半導體製造工廠20的未經授權的訪問的任何其他網路安全元件。尤其是，防止開發者10訪問檢查結果31。
防火牆可被包括在半導體製造工廠的輸入/輸出單元(未示出)中，或者可在半導體製造工廠的輸入/輸出單元之前或之後。
開發者10可直接地或間接地向評估單元25發送檢查演算法34。檢查演算法34的間接提供可涉及向可決定是否向評估單元發送檢查演算法34到的中間實體(諸如人或裝置)發送檢查演算法34。人或裝置可由半導體製造工廠授權做出這種決策。
輸入/輸出單元可為任何合適的通信部件，諸如網路介面卡、通用序列匯流排(USB)埠、磁片讀取器、數據機或可操作以使用諸如本領域中已知的協定來直接地或間接地與半導體製造工廠的其他元件和/或其他實體通信的收發器。
半導體製造工廠20被示出為包括檢查系統29和其他系統26(諸如審查系統、另一個檢查系統、管理系統等)。
檢查系統29可包括成像器22和檢查結果生成單元23。成像器22可照亮晶圓並獲得晶圓的成像器或其他偵測信號。檢查系統29可包括光學元件、偵測器和處理器的任何其他組合以生成與半導體樣本有關的偵測信號(甚至不是圖像)。
檢查結果生成單元23可處理圖像以偵測可疑缺陷。檢查結果生成單元23可包括一個或多個處理器。
應注意，檢查系統29可執行當前檢查演算法以檢查一個或多個半導體樣本。
圖3還示出了存儲單元24，存儲單元24可存儲以下列出的各種代碼和資料中的至少一些：檢查結果31(由檢查系統29生成)、審查結果32、受信任檢查結果33、檢查演算法34、當前檢查演算法35(當前用於檢查半導體樣本)和評估結果36(評估檢查演算法)。
存儲單元24可僅存儲這些各種代碼和資料中的一些，可存儲其他資料和/或其他代碼。例如，在圖4、圖5和圖7中，僅這些各種代碼和資料中的一些存儲在存儲單元24中。
審查結果32可由審查系統(諸如掃描電子顯微鏡等)提供。審查結果32可用於評估檢查演算法，例如，指示檢查演算法所發現的哪些可疑缺陷是實際缺陷、檢查演算法未將哪些實際缺陷標記為可疑缺陷等。
受信任檢查結果33是受益於比檢查系統的檢查結果更高的信任級別的檢查結果。它們可由具有比檢查系統29更高的信任級別(例如，更準確)的檢查系統生成、它們可使用可比當前檢查結果更可靠的檢查演算法生成等。受信任檢查結果33可用於評估檢查演算法。
存儲單元24可屬於檢查系統29，可不屬於檢查系統29，或者可僅部分地屬於檢查系統29。
圖3還將評估單元25示出為包括沙箱測試環境27。評估單元25可訪問存儲在存儲單元24內的檢查結果31的至少部分，或者可具有檢查結果的至少部分31'的副本(例如，克隆副本)。
在圖3中，評估單元被示出為包括處理器251和記憶體單元252。記憶體單元252可存儲用於評估檢查演算法的評估指令、可存儲檢查結果的至少部分31'等。處理器251可評估檢查演算法。沙箱測試環境27可由處理器251和記憶體單元252維護。
有關評估的結果的指示37可發送到開發者10。指示可包括以下各項中的至少一項：(a)檢查演算法的信任級別，(b)有關檢查演算法的效能的任何其他資訊，例如執行時間、計算資源使用情況、記憶體資源使用情況、準確性、可重複性、解析度、任何類型的錯誤、對可疑缺陷的錯誤偵測、對可疑缺陷的真實偵測、缺失缺陷等，資訊可具有從有關整個類型的可疑缺陷的效能到關於某些缺陷或某些類別的缺陷的效能的任何細微性。指示可由評估者設計。
圖6將檢查系統29示出為包括成像器22、檢查結果生成單元23、存儲單元24和評估單元25。
圖7將檢查系統29示出為包括成像器22、檢查結果生成單元23和存儲單元24，存儲單元24存儲檢查結果中的一些31"(例如，最近檢查結果，因為檢查系統可能不能夠存儲大量檢查結果)和當前檢查演算法35。
另一個存儲單元24'存儲各種代碼和資料，諸如檢查結果31、審查結果32、受信任檢查結果33、檢查演算法34和評估結果36。
圖7的另一個存儲單元24'、評估單元25和其他系統26未示出為被包括在半導體製造工廠20中。應注意，圖3至圖7中的任一個中示出的被示出為半導體製造工廠20的一部分的系統和/或單元中的至少一些可位於半導體製造工廠外部。
圖8示出了演算法開發者105和半導體製造工廠101的示例。
演算法開發者105在他自己的環境中工作，與半導體製造工廠101資訊上隔離。半導體製造工廠101藉由防火牆110保護其資訊。檢查機115在半導體製造工廠中工作、檢查諸如晶圓120之類的半導體樣本。藉由由檢查系統(光學、電子顯微鏡或其他手段)掃描晶圓獲得的圖像或其他資訊被發送到處理單元125，處理單元125藉由搜索可疑缺陷或其他資訊來分析圖像或其他資訊。檢查結果127可發送到半導體製造工廠的另一個實體。其他資訊137也可由半導體製造工廠101接收。
藉由掃描晶圓獲得的圖像的一部分或全部或其他資訊可複製(「克隆」)到資訊通道130並遞送到演算法開發模組135。演算法開發模組135可以以「沙箱」的形式組織，這意味著在此模組中發生的任何處理或故障都不會干擾檢查機115及其處理單元125的操作。
演算法開發模組135可組織為接收和測試由演算法開發者105發送的一個或多個新檢查演算法(直接經由電子郵件或由防火牆提供的其他互聯網連接發送或經由諸如半導體製造工廠人員150之類的中間實體的輔助發送)。
由於沒有資訊離開半導體製造工廠101，因此由演算法開發模組135接收新檢查演算法不打破防火牆110的完整性。演算法開發模組135被程式設計為在藉由掃描晶圓獲得的圖像或其他資訊上測試新檢查演算法。
演算法開發模組135可被配置為存儲藉由掃描晶圓獲得的圖像或其他資訊，並且將其組織到演算法開發模組135可訪問的本端資料庫中以評估新檢查演算法對藉由掃描晶圓獲得的圖像或其他資訊的選定子集的效能。
檢查演算法的評估的結果155直接經由繪製為路線140的自動解析的電子郵件或其他手段發送回演算法開發者105或者藉由繪製為路線145的半導體製造工廠個體150的輔助發送回演算法開發者105。
由於藉由掃描晶圓獲得的圖像或其他資訊繼續受保護，因此不打破防火牆110的完整性。
圖9是演算法開發模組135的示例。
在此圖中，圖像、圖像的部分或藉由掃描晶圓獲得的其他資訊形成資料集。不同資料集可藉由檢查一個或多個晶圓來生成。
資料集210被維護在半導體製造工廠中並且不暴露於開發者。資料集可藉由資訊通道130來獲得。
一個或多個檢查演算法220正在由演算法開發模組135評估。它們可經由路線140或另一個路線(在圖8中標示為145)從演算法開發者接收。
評估程式230獲得檢查演算法(選自一個或多個檢查演算法220)和選自資料集210的一個或多個資料集，並且藉由對一個或多個資料集執行檢查演算法來評估檢查演算法。
評估結果可存儲在評估結果的資料庫240中。
演算法開發模組135可訪問‘基本真值(ground truth)’結果250(諸如受信任的檢查結果和/或審查結果)。審查結果可從審查系統265(例如，缺陷審查高解析度掃描電子顯微鏡)獲得。受信任審查結果可藉由執行受信任高可信度檢查演算法270來獲得。
單元260以任何方式(包括圖8所示的一個或多個路徑)藉由鏈路將評估結果發送到演算法開發者(未示出)。
客戶的資料的秘密防火牆區域215至少包括資料集210。資料集可能永遠不離開半導體製造工廠。
應注意，可發送與檢查資訊的評估相關聯的資料集的索引，並且可發送評估結果240或至少評估結果的指示。
指示可包括與‘基本真值’結果250的比較，或者與評估結果有關的任何其他資訊。
在前述說明中，已經參考本公開內容的實施例的具體示例來描述本公開內容的實施例。然而，將顯而易見的是，在不脫離如在所附申請專利範圍中所闡述的本公開內容的實施例的更廣泛的精神和範圍的情況下，可在其中做出各種修改和改變。
對術語「包括」或「具有」的任何引用都應加以必要變更以適用於術語「由……組成」或「基本上由……組成」。
此外，說明書和申請專利範圍中的術語「前部」、「後部」、「頂部」、「底部」、「在……之上」、「在……之下」等(如果有的話)用於描述性目的，而不一定用於描述永久性相對位置。應理解，如此使用的術語在適當情況下是可互換的，使得本文描述的本公開內容的實施例例如能夠以除了本文說明或以其他方式描述的取向之外的其他取向操作。
如本文所討論的連接可為適於例如經由中間裝置從相應節點、單元或裝置或向相應節點、單元或裝置傳送信號的任何類型的連接。因此，除非另有暗示或指明，否則連接可為例如直接連接或間接連接。連接可作為單個連接、多個連接、單向連接或雙向連接被參考來說明或描述。然而，不同實施例可改變連接的實現方式。例如，可使用分開的單向連接而不是雙向連接，反之亦然。而且，可用串列地或以時間多工的方式傳送多個信號的單個連接替代多個連接。同樣，攜帶多個信號的單個連接可分離成攜帶這些信號的子集的各種不同連接。因此，存在用於傳送信號的許多選項。
用於實現相同功能性的部件的任何佈置有效地「相關聯」，使得實現所期望的功能性。因此，在本文中組合以實現特定功能性的任何兩個部件都可被認為是彼此「相關聯」使得實現所期望的功能性，而不管架構或中間部件如何。同樣，如此關聯的任何兩個部件也可被視為是彼此「可操作地連接」或「可操作地耦接」以實現所期望的功能性。
此外，本領域的技術人員將認識到，在上述操作之間的邊界僅是說明性的。多個操作可組合成單個操作，單個操作可分佈在附加操作中，並且操作可至少部分地在時間上重疊地執行。此外，替代實施例可包括特定操作的多個實例，並且在各種其他實施例中，操作次序可更改。
而且，例如，在一個實施例中，所說明的示例可實現為位於單個積體電路上或同一裝置內的電路系統。替代地，示例可實現為以合適的方式彼此互連的任何數量的單獨的積體電路或單獨的裝置。
然而，其他修改、變化和替代也是可能的。因此，本說明書和附圖被認為是說明性意義而非限制性意義的。
在申請專利範圍中，放置在括弧之間的任何附圖標記都不應被解釋為限制申請專利範圍。字詞「包括」不排除除了申請專利範圍中列出的要素或步驟之外的其他要素或步驟的存在。此外，如本文所使用的術語「一個(a)」或「一個(an)」被限定為一個或多於一個。而且，在申請專利範圍中使用諸如「至少一個」和「一個或多個」之類的引入性短語不應被理解為暗示由不定冠詞「一個(a)」或「一個(an)」引入的另一個請求項要素將含有這種所引入的請求項要素的任何特定請求項限制為僅含有一個這種要素的本公開內容的實施例，即使同一請求項包括引入性短語「一個或多個」或「至少一個」和不定冠詞(諸如「一個(a)」或「一個(an)」)也是如此。定冠詞的使用也是如此。除非另有指明，否則諸如「第一」和「第二」之類的術語用於任意地區分此類術語所描述的要素。因此，這些術語不一定旨在指示此類要素的時間或其他優先次序。在互不相同的請求項中陳述某些措施這一事實並不指示無法有利地使用這些措施的組合。
儘管在本文中已經說明和描述了本公開內容的實施例的某些特徵，但本領域的普通技術人員現在將想到許多修改、替換、改變和等同物。因此，應理解，所附申請專利範圍旨在涵蓋落入本公開內容的實施例的真實精神內的所有此類修改和改變。
10:開發者 20:半導體製造工廠 21:防火牆 22:成像器 23:檢查結果生成單元 24:存儲單元 25:評估單元 26:系統 27:沙箱測試環境 29:檢查系統 31:檢查結果 32:審查結果 33:受信任檢查結果 34:檢查演算法 35:當前檢查演算法 36:評估結果 37:指示 101:半導體製造工廠 105:演算法開發者 110:防火牆 115:檢查機 120:晶圓 125:處理單元 127:檢查結果 130:資訊通道 135:演算法開發模組 137:資訊 140:路線 145:路線 150:半導體製造工廠人員 155:結果 210:資料集 215:秘密防火牆區域 220:檢查演算法 230:評估程式 240:評估結果 250:結果 251:處理器 252:記憶體單元 260:單元 265:審查系統 270:受信任高可信度檢查演算法 400:方法 401:方法 402:步驟 404:步驟 410:步驟 420:步驟 430:步驟 440:步驟 460:步驟 470:步驟 480:步驟
在本說明書的結論部分中特別地指出並明確地要求保護被視為本公開內容的實施例的主題。然而，可藉由在查閱附圖時參考以下詳細描述來就組織和操作方法兩者而言最佳地理解本公開內容的實施例連同其目標、特徵和優點，在附圖中：
圖1示出了方法的示例；
圖2示出了方法的示例；
圖3示出了開發者、評估單元、檢查系統和它們的環境；
圖4示出了開發者、評估單元、檢查系統和它們的環境；
圖5示出了開發者、評估單元、檢查系統和它們的環境；
圖6示出了開發者、評估單元、檢查系統和它們的環境；
圖7示出了開發者、評估單元、檢查系統和它們的環境；
圖8示出了演算法開發者和半導體製造工廠的示例；以及
圖9是演算法開發模組的示例。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
400:方法
402:步驟
404:步驟
410:步驟
420:步驟
430:步驟
440:步驟

Claims (6)

  1. 一種用於評估用於由一檢查系統偵測半導體晶圓上的缺陷的一新的檢查演算法的方法，該方法包括以下步驟： 由該檢查系統的一評估單元接收該新的檢查演算法；該新的檢查演算法由一檢查演算法開發者進行開發； 由該評估單元的一記憶體儲存來自由該檢查系統使用與該新的檢查演算法不同的一當前檢查演算法檢查的多個半導體晶圓的圖像； 由該評估單元的一處理器並在與該檢查系統的一生產環境隔離的該檢查系統的一沙箱測試環境中評估該新的檢查演算法以提供評估結果；其中該評估之步驟包括以下步驟：將該新的檢查演算法應用於來自該多個半導體晶圓的該圖像，並且該評估結果包括該圖像內的可疑缺陷的偵測； 從該評估單元向該檢查演算法開發者發送至少有關該評估結果的一指示，其中有關該評估結果的該指示包括該新的檢查演算法相對於該當前檢查演算法的一效能； 其中該儲存、該評估和該發送在不將該多個半導體晶圓的該圖像暴露於該檢查演算法開發者的情況下執行。
  2. 如請求項1所述的方法，其中藉由一個或多個本端通信路徑將該圖像傳送到該評估單元。
  3. 如請求項1所述的方法，進一步包括以下步驟：由該評估單元接收對該多個半導體晶圓中的至少一些應用的一審查製程的審查結果；並且其中該檢查演算法的該評估至少部分地基於該審查結果。
  4. 如請求項1所述的方法，其中在不中斷在該檢查系統的該生產環境中執行的一檢查製程的情況下執行該儲存、該評估和該發送。
  5. 一種用於評估用於由一檢查系統偵測半導體晶圓上的缺陷的的一新的檢查演算法的非瞬態電腦可讀媒體，該非瞬態電腦可讀媒體存儲包括以下操作的指令： 由該檢查系統的一評估單元接收該新的檢查演算法；該新的檢查演算法由一檢查演算法開發者進行開發； 由該評估單元的一記憶體儲存來自由該檢查系統使用與該新的檢查演算法不同的一當前檢查演算法檢查的多個半導體晶圓的圖像； 由該評估單元的一處理器並在與該檢查系統的一生產環境隔離的該檢查系統的一沙箱測試環境中評估該新的檢查演算法以提供評估結果；其中該評估包括將該新的檢查演算法應用於來自多個半導體晶圓的該圖像，並且該評估結果包括該圖像內的可疑缺陷的偵測； 從該評估單元向該檢查演算法開發者發送至少有關該評估結果的一指示，其中有關該評估結果的該指示包括該新的檢查演算法相對於該當前檢查演算法的一效能； 其中該儲存、該評估和該發送在不將該多個半導體晶圓的該圖像暴露於該檢查演算法開發者的情況下執行。
  6. 一種用於評估用於偵測半導體晶圓上的缺陷的的一新的檢查演算法的檢查系統，該檢查系統包括一評估單元，其中該評估單元包括一記憶體單元和一處理器，該記憶體單元和該處理器被配置為執行下列步驟： 接收該新的檢查演算法；該新的檢查演算法由一檢查演算法開發者進行開發； 由該記憶體單元儲存來自由該檢查系統使用與該新的檢查演算法不同的一當前檢查演算法檢查的多個半導體晶圓的圖像； 由該評估單元的一處理器並在與該檢查系統的一生產環境隔離的該檢查系統的一沙箱測試環境中評估該新的檢查演算法以提供評估結果；其中該評估包括將該新的檢查演算法應用於來自該多個半導體晶圓的該圖像，並且該評估結果包括該圖像內的可疑缺陷的偵測；以及 在不將該多個半導體晶圓的該圖像暴露於該檢查演算法開發者的情況下生成有關要發送到該該檢查演算法開發者的該評估結果的一指示，其中有關該評估結果的該指示包括該新的檢查演算法相對於該當前檢查演算法的一效能。
TW110118790A 2020-05-28 2021-05-25 評估用於檢查半導體樣本的檢查演算法 TWI882119B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/885,763 2020-05-28
US16/885,763 US11625820B2 (en) 2020-05-28 2020-05-28 Evaluating an inspection algorithm for inspecting a semiconductor specimen

Publications (2)

Publication Number Publication Date
TW202210818A TW202210818A (zh) 2022-03-16
TWI882119B true TWI882119B (zh) 2025-05-01

Family

ID=78705108

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110118790A TWI882119B (zh) 2020-05-28 2021-05-25 評估用於檢查半導體樣本的檢查演算法

Country Status (4)

Country Link
US (1) US11625820B2 (zh)
KR (1) KR20210148932A (zh)
CN (1) CN113763317B (zh)
TW (1) TWI882119B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200523536A (en) * 2003-09-15 2005-07-16 Timbre Tech Inc Selecting a hypothetical profile to use in optical metrology
US7139997B1 (en) * 2004-05-11 2006-11-21 Altera Corporation Method and system for checking operation of a mask generation algorithm
US8687221B1 (en) * 2011-12-13 2014-04-01 Euresys Sa Creating a printed material inspection script and inspecting printed material according to a script
US20140270475A1 (en) * 2013-03-13 2014-09-18 Kla-Tencor Corporation Single Die Inspection on a Dark Field Inspection Tool
TW201519346A (zh) * 2013-08-30 2015-05-16 克萊譚克公司 使用精確缺陷位置調整晶圓檢查配方

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006005617B4 (de) * 2006-02-06 2023-10-12 Bundesdruckerei Gmbh Verfahren zur Bewertung der Qualität eines Bildes, Verfahren zur Herstellung eines Dokuments, Computerprogrammprodukt und elektronisches Gerät
US9219752B2 (en) 2011-08-26 2015-12-22 Hewlett-Packard Development Company, L.P. Data leak prevention systems and methods
DK3410335T3 (da) 2014-06-24 2021-11-01 Virsec Systems Inc Automatiseret kodelåsning til reduktion af angrebsoverfladen for software
US9519557B2 (en) 2014-07-11 2016-12-13 Microsoft Technology Licensing, Llc Compliance testing through sandbox environments
DE102015217181A1 (de) * 2015-09-09 2017-03-09 Robert Bosch Gmbh Anlage und Verfahren zur Lötstellenüberprüfung
US10267748B2 (en) * 2016-10-17 2019-04-23 Kla-Tencor Corp. Optimizing training sets used for setting up inspection-related algorithms
CN107025157B (zh) * 2017-04-21 2019-08-02 浪潮集团有限公司 一种算法自检电路及方法
US10732128B2 (en) * 2017-10-26 2020-08-04 Camtek Ltd. Hierarchical wafer inspection
KR102176335B1 (ko) * 2018-02-07 2020-11-10 어플라이드 머티리얼즈 이스라엘 리미티드 반도체 시편의 시험을 위해 사용 가능한 훈련 세트를 생성하는 방법 및 그 시스템
CN111062043B (zh) * 2019-11-29 2022-05-20 清华大学 基于边缘计算的医疗影像识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200523536A (en) * 2003-09-15 2005-07-16 Timbre Tech Inc Selecting a hypothetical profile to use in optical metrology
US7139997B1 (en) * 2004-05-11 2006-11-21 Altera Corporation Method and system for checking operation of a mask generation algorithm
US8687221B1 (en) * 2011-12-13 2014-04-01 Euresys Sa Creating a printed material inspection script and inspecting printed material according to a script
US20140270475A1 (en) * 2013-03-13 2014-09-18 Kla-Tencor Corporation Single Die Inspection on a Dark Field Inspection Tool
TW201519346A (zh) * 2013-08-30 2015-05-16 克萊譚克公司 使用精確缺陷位置調整晶圓檢查配方

Also Published As

Publication number Publication date
CN113763317B (zh) 2023-12-01
CN113763317A (zh) 2021-12-07
US11625820B2 (en) 2023-04-11
TW202210818A (zh) 2022-03-16
KR20210148932A (ko) 2021-12-08
US20210374935A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
Croft et al. Data quality for software vulnerability datasets
US8139846B2 (en) Verification of integrated circuits against malicious circuit insertions and modifications using non-destructive X-ray microscopy
US8645761B2 (en) Precise fault localization
Flynn et al. Prioritizing alerts from multiple static analysis tools, using classification models
US8347260B2 (en) Method of designing an integrated circuit based on a combination of manufacturability, test coverage and, optionally, diagnostic coverage
Guo et al. A comprehensive analysis on software vulnerability detection datasets: trends, challenges, and road ahead
KR102178255B1 (ko) 인라인 프로세스 제어 툴 및 방법을 위한 포괄적 설계 지침의 추출
EP3070613B1 (en) Computer system testing
TWI882119B (zh) 評估用於檢查半導體樣本的檢查演算法
Huang et al. Benchmarking llms for unit test generation from real-world functions
Inayoshi et al. Detection of inconsistencies between guidance pages and actual data collection of third-party sdks in android apps
Ophir et al. Machine learning for Tool Induced Shift (TIS) reduction: an HVM case study
US20240104235A1 (en) Techniques for agentless detection of sensitive data on managed databases
Bhuiyan et al. Vulnerability discovery strategies used in software projects
Xie et al. Design guided data analysis for summarizing systematic pattern defects and process window
Ah-kiow et al. An Investigation of Hardware Security Bug Characteristics in Open-Source Projects
Shatnawi Comparison of threshold identification techniques for object‐oriented software metrics
CN118643069B (zh) 一种临床专病数据的资产价值评估方法及系统
US20240256676A1 (en) Method for identifying one or more exploitable vulnerabilities in device firmware of an iot device
Ganiga et al. Leveraging the Benefits of Information Flow Tracking for Detecting Hardware Design Flaws
Bylois et al. CM-Explorer: Dissecting data ingestion problems
Harris et al. Lifecycle Management of Nuclear Security Radiation Detection Systems: Testing and Evaluation
Ferreyra et al. Reading Between the Code Lines: On the Use of Self-Admitted Technical Debt for Security Analysis
Liu et al. Identifying System-on-Chip Security Assets with Structure-Based Analysis
Chen et al. LineBreaker: Finding Token-Inconsistency Bugs with Large Language Models