TWI894521B - 用於檢測製品中之缺陷的方法和系統 - Google Patents
用於檢測製品中之缺陷的方法和系統Info
- Publication number
- TWI894521B TWI894521B TW112105881A TW112105881A TWI894521B TW I894521 B TWI894521 B TW I894521B TW 112105881 A TW112105881 A TW 112105881A TW 112105881 A TW112105881 A TW 112105881A TW I894521 B TWI894521 B TW I894521B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- channel
- product
- images
- defect
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一種檢測一製品中之一缺陷的系統及/或方法。該製品之數個影像被產生,該等影像具有彼此不同的成像屬性。使用該等影像來建構一多通道影像,該多通道影像之每一影像通道對應於該等影像中的一個影像。該多通道影像係輸入至一處理器,該處理器基於該輸入來判定該製品是否包括一缺陷。
Description
本申請案主張2022年11月21日申請之PCT申請案第PCT/CN2022/133325號之權益,該PCT申請案之揭露內容由此以引用方式整體併入本文。
本揭露內容係有關於提升製品缺陷檢測之可靠性。
製品包括諸如半導體、發光二極體(LED)及電池的物品。此類物品可包括經製作基體。對於一些物品,經製作基體可由半導體材料製成。此等物品之基體可被製造帶有缺陷。該等缺陷可由故障製作設備、不良校準製作設備、環境條件、材料污染及其他原因引起。正確地識別製品或部分製品中的缺陷對品質控制至關重要且最大化該等物品之輸出產量。
如上述,製品可包括製造或製作為半導體晶片、LED或電池之形成的部分的半導體基體,諸如固態電動車(EV)電池,其可包括透過一系列製作步驟施加之多個電極及電解液以形成一完整電池胞元。物品的組件可透過一系列製作步驟來施加至基體上或併入至基體中。該等製作步驟可包括將一薄膜層添加至該基體上之沉積步驟。該基體可接著利用一光阻塗覆,及一標線的電路圖案可使用微影技術投射在該基體上。接著可發生以蝕刻工具所進行之蝕刻程序。
對於完成的物品,無論是用於半導體裝置或是另一物品,要可使用的話,涉入基體製作程序中的每一工具都必須在針對那個工具所負責的物品之態樣的預定義可接受操作容差內執行。工具性能可取決於工具本身外面的因素,諸如環境條件(例如,環境光、環境雜訊、灰塵、濕氣等等)。檢驗工具及測量工具係用作為基體製造程序的部分,以確保完成的物品滿足預定義規格。若製作程序中即使僅有單一個工具在其容差外執行,也會導致足夠大的物品之基體中的缺陷,從而需要將該批次或後續製作批次中的所有物品或部分物品予以報廢,造成潛在地顯著成本。
在製造程序期間在各種步驟使用檢驗程序,以檢測物品或部分製作物品之基體上的缺陷,以在製造程序中推動較高良率且因此推動較高利潤。檢驗始終為諸如半導體裝置、LED及電池之製作物品的重要部分。然而,隨著此等類型之物品的尺寸減小,檢驗對於成功製造可接受物品變得甚至更加重要,因為更小的缺陷會導致物品故障。
一般而言,本揭露內容係有關於構建一製品之一多通道影像,且基於該多通道影像判定該製品是否包括一缺陷。
本揭露內容之一態樣提供一種檢測一製品中之一缺陷的方法,該方法包括:接收該製品之數個影像,該等影像具有彼此不同的成像屬性;使用該等影像來建構一多通道影像,該多通道影像之每一影像通道對應於該等影像中的一個影像;以及使用人工智慧基於該多通道影像來判定該製品是否包括一缺陷。
本揭露內容之一態樣提供一種檢測一製品中之一缺陷的方法,該方法包括接收該製品之數個影像,該等影像具有彼此不同的成像屬性;使用該等影像來建構一多通道影像,該多通道影像之每一影像通道對應於該等影像中
的一個影像;輸入該多通道影像至一機器學習模型;以及使用該機器學習模型且基於該多通道影像來判定該製品是否包括一缺陷。
在一些範例中,製品為一半導體基體。在一些範例中,製品為完全製作或部分製作之裝置的組件,諸如半導體晶片、發光二極體(LED)或固態電池。在一些範例中,該基體表示用於電動車輛之固態電池的組件。
在一些範例中,影像係使用掃描製品之計量裝置來產生,該計量裝置係諸如光攝影機、聲學攝影機、光譜儀、電子顯微鏡等等。在一些範例中,當影像被拍攝時,不同成像屬性包括在基體處及/或在計量工具處之不同照明條件。在一些範例中,不同的成像屬性包括在拍攝影像時計量工具相對於基體的不同角度。
本揭露內容之態樣係有關於一種系統及方法,其組配來檢驗半導體基體及其他可包括半導體基體之製品,諸如發光二極體(LED)、固態電池等,用於檢驗感興趣缺陷,其中在一多通道類神經網路中計算含有一感興趣缺陷之物品之機率,其中每一通道之每一層中的神經元與該多通道類神經網路之每一其他通道之一後續層中的神經元相連接。
本揭露內容之一態樣提供一種系統,其組配來識別製品中之一缺陷,該系統包括:一數位成像系統,組配來擷取一製品之多個影像,其中該製品之該等多個影像中之每一者在一不同照明條件下擷取;一影像處理器,組配來將由該數位系統擷取的該等多個影像組合成一資料陣列,該資料陣列包含多個影像通道,其中該等多個影像通道中之每一影像通道包含一數值陣列,該數值陣列表示用於該製品的該等多個影像中的每一影像的每一像素之一色彩位準或光位準中的至少一者;以及一處理器,組配來接收並處理一多通道類神經網路中的該資料陣列,其中該類神經網路之每一通道包括複數個神經元層,該等神經元層包括一輸入層及一或多個隱藏層,其中每一層中之每一神經元係連接
至每一通道內之一後續層的每一神經元,且其中每一層中之每一神經元係連接至該等其他通道中之每一通道內的一後續層之每一神經元,其中該多通道類神經網路進一步包括一輸出神經元,其連接至針對每一通道之先前層之每一神經元,其中該多通道類神經網路之每一神經元被指派一偏差值,且該多通道類神經網路之每一連接被指派一權重值。
在一個實施例中,該輸出神經元經組配以產生一數值,該數值表示該製品中存在缺陷的機率。在一個實施例中,所擷取的多個影像包括至少一第一影像,其中光從一第一方向射向該製品,以及一第二影像,其中光從一第二方向射向該製品。在一個實施例中,所擷取的多個影像進一步包括一第三影像,其中光係從一第三方向射向該製品,以及一第四影像,其中光從一第四方向射向該製品。在一個實施例中,所擷取的多個影像包括至少該製品在一明場條件下的一第一影像,及該製品在一暗場條件下的一第二影像。在一個實施例中,所擷取的多個影像包括至少一第一影像,其中光從一第一照明源類型射向該製品,以及一第二影像,其中光係從一第二照明源類型射向該製品。在一個實施例中,所擷取多個影像包括可見光影像、X射線影像、紫外光影像、紅外線影像、由一掃描電子顯微鏡所收集之影像或聲學影像中之至少一者。
本揭露內容之另一態樣提供一種光學檢驗製品之方法,其包括在不同照明條件下擷取一製品之多個數位影像;將該等多個數位影像組合成包含多個影像通道的一資料陣列,其中該等多個影像通道中之每一影像通道包含一數值陣列,該數值陣列代表用於該等多個數位影像中之每一數位影像的每一像素之一色彩位準或光位準中之至少一者;以及藉由在一多通道類神經網路中處理該資料陣列來確定該製品中存在一缺陷之機率,其中該類神經網路之每一通道包括複數個神經元層,該等神經元層包括一輸入層及一或多個隱藏層,其中每一層中之每一神經元係連接至每一通道內之一後續層的每一神經元,且其中
每一層中之每一神經元係連接至該等其他通道中之每一者內的一後續層之每一神經元,其中該多通道類神經網路進一步包括一輸出神經元,該輸出神經元係連接至每一通道之先前層之每一神經元,其中該多通道類神經網路之每一神經元被指派一偏差值,且該多通道類神經網路之每一連接被指派一權重值。
本揭露內容之另一態樣提供一種檢測製品中之缺陷的方法,該方法包括:接收該製品之一第一影像、一第二影像、一第三影像及一第四影像,該第一影像、該第二影像、該第三影像及該第四影像中之每一者彼此具有不同成像屬性;組合該第一影像及該第二影像以形成一第一經修改影像;組合該第三影像及該第四影像以形成一第二經修改影像;組合該第一經修改影像與該第二經修改影像以形成一第三經修改影像;以及基於該第三經修改影像來判定該基體是否包括一缺陷,且若是,則判定該缺陷之一分類。
本揭露內容之另一態樣提供一種檢測製品中之缺陷的方法,該方法包括:接收該製品之一第一影像;將該第一影像與該基體的一參考影像進行比較以形成一差異影像,其中該參考影像表示沒有可觀察到的缺陷之一基體;比較該差異影像與該參考影像以形成一遮罩影像;使用該第一影像、該差異影像及該遮罩影像建構一多通道影像,該多通道影像之每一影像通道對應於該第一影像、該差異影像及該遮罩影像中之一者;以及基於該多通道影像判定該基體是否包括一缺陷,且若是,則判定該缺陷之一分類。
本揭露內容之另一態樣提供一種組配來識別製品中之缺陷的系統,該系統包括:一數位成像系統,其組配來擷取該製品之複數個影像,其中該製品之該等複數個影像中之每一者具有彼此不同的成像屬性;一影像處理器,其組配來修改由該數位成像系統擷取的該等複數個影像以建構一多通道影像,該多通道影像包括該多通道影像之每一通道中的一經修改影像;以及一處理器,其組配來基於該多通道影像判定該製品是否包括一缺陷。
本揭露內容之另一態樣提供一種檢測製品中之缺陷的方法,該方法包括:接收該製品之一第一影像;將該第一影像與該製品之一參考影像進行比較以形成一差異影像,其中該參考影像表示沒有可觀察到的缺陷之一製品;比較該差異影像與該參考影像以形成一遮罩影像;使用該第一影像、該差異影像及該遮罩影像建構一多通道影像,該多通道影像之每一影像通道對應於該第一影像、該差異影像及該遮罩影像中之一者;以及基於該多通道影像判定該製品是否包括一缺陷。
在下文之描述中闡述多種額外發明態樣。本發明態樣可有關於個別特徵以及特徵的組合。應理解,以上概略描述及以下詳細描述兩者皆僅為範例性及解釋性,且非限制性本文所揭露之實施例所基於的廣泛發明概念。
50:製品,物品
52:缺陷
100:系統
102,104:電腦子系統
106:由電腦子系統所執行之組件
108:類神經網路
110:檢驗工具
112:數位成像子系統
114:透鏡
116:光源
118:濾光器或透鏡
120:物品製作系統
122:計量工具
150:第一數學函數
152:第一影像
154:第二影像
156:第一經修改影像
158:第二數學函數
160:第三影像
162:第四影像
164:第二經修改影像,第三經修改影像
166:第三數學函數
174:第一函數
176:第一影像
178:參考影像
180:差異影像
182:第二函數
184:遮罩影像
202A,202B,202C:通道
204:輸入層
206A,206B:隱藏層
208:輸出層
210:神經元,輸出神經元
212:連接
300:方法
302,304,306,308,310,312,314,316:步驟
併入於描述中且構成描述之部分的隨附圖式闡示本揭露內容之若干態樣。對圖式之簡單描述如下:圖1為繪示根據本揭露內容之一實施例的組配來識別一製品中之一缺陷之一系統的一示意圖。
圖2A代表根據本揭露內容之一實施例而由圖1之系統擷取的一範例影像。
圖2B表示根據本揭露內容之一實施例由圖1之系統在與圖2A之影像不同的照明條件下擷取的一範例影像。
圖2C表示根據本揭露內容之一實施例由圖1之系統在與圖2A及圖2B之影像不同的照明條件下擷取的一範例影像。
圖2D表示根據本揭露內容之一實施例由圖1之系統在與圖2A、圖2B及圖2C之影像不同的照明條件下擷取的一範例影像。
圖3A表示根據本發明之一實施例由圖1之系統在暗場條件下擷取
的一示範影像。
圖3B表示根據本揭露內容之一實施例由圖1之系統在明場條件下擷取的一影像。
圖4為繪示來自一數位成像子系統或其他計量工具所擷取之二或多個影像之經修改影像之形成的示意圖,且係根據本發明之實施例繪示。
圖5係繪示從一原始影像產生經增強或經修改影像之方法的一示意圖,且係根據本揭露內容的一實施例繪示。
圖6係繪示根據本揭露內容之一實施例的一類神經網路之一通道的一示意圖。
圖7係根據本揭露內容的一實施例之繪示一類神經網路的一單一神經元之一示意圖。
圖8係繪示根據本揭露內容的一實施例之一個三通道類神經網路的一示意圖。
圖9係根據本揭露內容的一實施例之圖6的該三通道類神經網路的一剖面圖,其中該等通道的每一者被完全連接。
圖10為根據本揭露內容之一實施例的光學檢驗一製品之一方法。
製品之影像所揭露有關於物品之內容可取決於成像之不同屬性。舉例而言,物品中的缺陷可能出現在自某些角度取得的影像中或在某些照明或其他環境條件中,但不會出現在其他狀況下。亦即,同一製品之不同影像可提供關於是否存在缺陷、是何種缺陷等等之衝突資料。通常,沒有智能、自動化方式來在同一基體之此等衝突影像之間進行調和。
本揭露內容提供智能、自動化方式用以在諸如基體之製品的影像之間進行調和,該等影像提供關於該基體上之缺陷的存在或不存在的衝突資
訊。一般而言,本揭露內容係有關於構建製品之多通道影像,且基於該多通道影像判定該製品是否包括缺陷。
諸如機器學習模型之人工智慧(AI)可學習解譯多通道影像,且基於該解譯輸出關於缺陷是否存在之判定。在一些範例中,如果從該(等)多通道影像檢測到一缺陷,則諸如機器學習模型之AI可確定缺陷之類型或分類。在一些範例中,如果從該(等)多通道影像檢測到一缺陷,則AI可確定(例如,藉由參照一缺陷指紋程式庫)導致缺陷之一工具或其他來源,並輸出此資訊。在一些範例中,如果從該(等)多通道影像檢測到一缺陷,則AI可確定(例如,藉由參照一缺陷指紋程式庫)該缺陷之嚴重程度,並且輸出此資訊。在一些範例中,如果從該(等)多通道影像檢測到一缺陷,則AI可確定(例如,藉由參考一缺陷指紋程式庫)並輸出一補救建議(例如,在一工具上進行維護、替換一工具、調整一周圍條件、報廢基體等)。
本揭露內容之範例描述用於改良製品之基體中的缺陷檢測之系統、方法及電腦可讀產品,諸如半導體基體及半導體裝置、LED及電池之其他基體。本揭露內容之範例描述用於執行此等缺陷檢測之系統、方法及電腦可讀產品。
現將詳細參考例示於隨附圖式中的本揭露內容之範例性態樣。在整個圖式中將盡可能使用相同參考號碼來指代相同或相似部分。
參考圖1,根據本揭露內容之一實施例繪示了組配來識別製品50中之缺陷的系統100。物品50可為完整物品或僅被部分製作的物品。物品50可包括一半導體基體,諸如一積體電路之一半導體基體。在一些範例中,物品50可包括一發光二極體(LED)或其一部分。在一些範例中,物品50可包括固態電池或其一部分。在實施例中,系統100可包括一或多個電腦子系統(例如電腦子系統102、104)及由一或多個電腦子系統所執行之一或多個組件106。該一或多
個組件可包括基於AI的機器學習模型,具體地為多通道類神經網路108,如本文所組配及描述者。
在實施例中,系統100可包括一檢驗工具110,該檢驗工具可包括一數位成像子系統112,在一些實施例中,該數位成像子系統可包括一攝影機,該攝影機包括合適的光學器件及一成像器,諸如一CCD或CMOS晶片。在一些實施例中,數位成像子系統112可任擇地包括一或多個透鏡114。舉例而言,在一些實施例中,該一或多個透鏡114可用來放大製品50之一影像(例如,作為一顯微鏡之部分)。另外,在一些實施例中,一或多個透鏡114可表示一或多個濾光器或偏光器,其用來抑制滋擾,以減少樣品上通常與可觀察特徵相關聯的某些電磁波長的存在,該等特徵並不表示製品50上之缺陷。
如所繪示,系統100可進一步包括複數個光源116,該等複數個光源組配來自各種角度或方位照明製品50,以努力擷取製品50之更具代表性之視圖集合。舉例而言,在一些實施例中,光源116可大體上自多個不同方向(例如,自上方、自下方、自左側及右側的任何兩者或兩者以上)射向製品50。在一些實施例中,光源116可為不同照明類型(例如,白熾燈、螢光燈、不同光譜的可見光、紫外線、X射線、紅外線等)。在一些實施例中,可使用一或多個濾光器或透鏡118來修改自光源116發射的光。
據此,在實施例中,數位成像子系統112可包括組配來從製品50之不同視角擷取影像的各種類型之成像系統。舉例而言,在一些實施例中,數位成像子系統112可包括一攝影機,該攝影機組配來擷取橫跨電磁光譜之廣泛範圍(例如可見光、紫外光、x射線、紅外光等)由光表示之影像。在一些實施例中,數位成像子系統112可包含一掃描式電子顯微鏡、聲學成像裝置、超音波成像裝置、或類似者。
雖然圖1將系統繪示為包括四個光源116,但亦可考慮使用更多或
更少數量的光源。舉例而言,光源116可為一單一來源,諸如具有光纖、鏡子、鏡片或濾光器的一寬頻白光發光二極體(LED),用以按需要導引自光源116之電磁輻射,或者為多重來源,各來源覆蓋電磁光譜的不同部分。光源116亦可包括一可見光源,諸如一寬頻LED(諸如,白光LED),其具有跨越可見光波長範圍之一發射光譜。在其他狀況下,光源可為一白熾燈泡或其他基於燈絲的光源。
如圖1進一步所繪示,在一些實施例中,系統100可併入物品製作系統(或子系統)120,使得經由檢驗工具110的檢驗無縫地整合至製造程序中,該製造程序在一些實施例中可包括一或多個重加工程序以解決由系統100發現的缺陷。
另外參考圖2A、圖2B、圖2C及圖2D,根據本揭露內容的實施例繪示由數位成像子系統112擷取的範例影像。在此特定範例中,圖2A表示光源自上方照射之製品50之經擷取影像,圖2B表示相同製品50之經擷取影像,其中光源自右側照射,圖2C表示相同製品50的經擷取影像,其中光源自下方照射,且圖2D表示相同製品50之經擷取影像,其中光源自左側照射。光源之實際投影角度僅表示製品50之不同照明角度,因為自某些方向的照明可能會使製品50內含有的缺陷比自其他方向的照明更容易被觀察到。在一些範例中,該光源之位置係固定的,有多個攝影機自不同角度或視角取得影像。
舉例而言,如圖2B中所繪示,當光源從製品50之右側照射時,數位成像子系統112所擷取之影像中可能包括一缺陷52,然而當光源從上方或下方照射時,同一缺陷52可能不易觀察到。同樣地,當光源從左側照射時,可能會在製品50之影像中擷取到缺陷52之某些態樣。從圖2B與圖2D的比較中可看到,當製品50之影像中擷取到缺陷52時,缺陷52之某些態樣可能在影像之間有所不同,使得分析所有影像(例如,圖2A至2D)可提供缺陷52之更準確表示。
另外參照圖3A及圖3B,在另一範例中,系統100可擷取且分析製品50在明場條件及暗場條件下之影像。在實施例中,不同的照明方法可用來識別製品50上之不同類型的缺陷或特徵。
暗場照明(如圖3A所示)使用光線在黑暗的背景下產生一明亮影像(例如,光線直接射向主體,以充分照亮該主體)。在暗場照明條件下,被成像之製品50看起來通常會很明亮,而傾向於散射光線之缺陷或不連續性看起來比物品50之其他部分(例如,物品50之非缺陷部分)更暗,特別是在缺陷或不連續性可能包括有角度或粗糙表面時,與物品50之其他部分相比,更傾向於散射光線。
相比之下,明場照明(如圖3B所示)使用光以產生一暗影像來抵抗一亮背景(例如,背景被點亮產生一剪影狀影像)。在明場照明條件下,被成像的製品50看起來通常會很暗,偶而會有一些部分之照射背景通過物品50,且對比於物品50的其他部分(例如,物品50的非缺陷部分),缺陷或不連續性看起來會較亮或較暗,特別是在缺陷或不連續性相對於物品50之其他部分可能具有不同的厚度或不同的密度時。
一般而言,明場照明有助於照亮具有大致光滑表面之另外推測性反射基體內的特徵及變化(例如,層邊界、色彩變化等)。暗場照明有助於照亮基體表面中或基體表面上之特徵、粒子及變化,該等特徵、粒子及變化是不連續的或具有將傾向於散射光之特徵。在檢驗製品是否存在碎片、裂紋、粒子、線路、印記及製程變化時,利用明場與暗場照明的組合可能是理想的。
由數位成像子系統112在各種照明組態下擷取的影像可(例如經由電腦子系統102而)被組合成一資料陣列,該資料陣列包括表示各種所擷取影像的複數個影像通道,其中各通道內之個別元件可為表示一所擷取影像內之個別像素之頻譜強度、顏色等的值。舉例而言,參閱圖2A至圖2D,若所擷取影像
中之每一者表示100 x 100像素影像,則可組合四個影像以創建具有沿著x軸之100個單元、沿著y軸之100個單元及沿著z軸之四個單元的一三維數值陣列,其中x軸及y軸表示每一影像內之像素之數目,且z軸表示影像之數目。儘管圖2A至圖2D繪示擷取四個影像以產生四個影像通道資料陣列,但該陣列可包括少至兩個影像通道,多至所需的影像通道(例如,10個、100個、1000個或更多個),取決於有多少具有不同屬性之製品的不同影像被擷取。
在其他實施例中,由數位成像系統112擷取之影像可經組合及處理成為一經修改影像,以供類神經網路108之進一步分析。舉例而言,額外參考圖4,根據本揭露內容之一實施例,繪示了從數位成像子系統112或其他計量工具122所擷取之兩個或多個影像形成一經修改影像。如所繪示,在一實施例中,可對一第一影像152及一第二影像154執行一第一數學函數150(例如,表示來自該第一影像152的像素資料之RGB值可與第二影像154之像素資料進行相加、相減、相乘、相除等),以建立一第一經修改影像156。可對一第三影像160及一第四影像162執行一第二數學函數158,以建立一第二經修改影像164。此後,可對第一經修改影像156及第二經修改影像164執行一第三數學函數166,以建立第三經修改影像164。在一些實施例中,第三經修改影像164可用作為供類神經網路108進一步分析之一輸入。
為了確保各種影像之間的相容性,在一些實施例中,可運用各種技術來確保影像之間的適當對準(例如,平移、旋轉、縮放、正交性、放大等)。舉例而言,在一些實施例中,該等影像中的一或多者可被修改以便與其他影像相容。另外,在一些實施例中,可將一或多個雜訊減少演算法應用於影像以改善清晰度及增強所擷取特徵。在一些實施例中,藉由一或多個計量工具收集之資料可呈現或以其他方式格式化為與由數位成像子系統112擷取之影像相容之一資料陣列。
在一些實施例中,電腦子系統102可使用一波長特定濾光器或使用使用了一波長特定波束分離器的一或多個感測器來將影像分離成數個組成部分,使得只有選定波長被分析。在一些實施例中,可將具有紅色、綠色及藍色(RGB)分量之彩色影像轉換成灰階,該灰階可接著被指派表示其色彩或強度之一數值。在另一實施例中,可劃分單一影像之各種分量(RGB分量等),使得單一所擷取影像之每一分量表示用於輸入至類神經網路108中之一單獨通道。在一些實施例中,可調整一或多個透鏡114之態樣(例如孔隙、焦距等)以建立各種通道。在一些實施例中,可調整一或多個濾光器或透鏡118之態樣(例如經準直光透鏡、帶通濾光器、中性密度濾光器、偏振濾光器、紅外線濾光器等)以建立各種通道。
在一些實施例中,電腦子系統102可組配來將一影像分離成複數個組成部分(例如代表一原始影像、以及一或多個額外影像)作為對類神經網路108的輸入。舉例而言,額外參考圖5,根據本揭露內容之實施例繪示了從一原始影像產生擴增或修改影像之方法之示意圖。如所繪示者,在一實施例中,可對一第一影像176及一參考影像178進行一第一函數174,以建立一差異影像180。第一影像176自身可為如本文所述之一多通道影像,其中每一通道係基於對基體之相同區的所擷取影像,但其成像條件與對應於其他通道之影像不同。在一實施例中,參考影像178可表示沒有可觀察缺陷的基體(例如,表示完美樣品的電腦模型等)。來自第一影像176表示像素資料的值可與來自參考影像178之像素資料做相加、相減、相乘、相除等,以建立差異影像180,其在一些實施例中可傾向於強調存在於基體上之缺陷所產生之差異。如圖5進一步所繪示者,可對差異影像180及第一影像176執行一第二函數182以建立一遮罩影像184。此後,第一影像176、差異影像180及遮罩影像184可制定為一資料陣列或擴增多通道影像,其中該擴增多通道影像之一個通道為第一影像176,該擴增
多通道影像之一第二通道為差異影像180,且該擴增多通道影像之一第三通道為遮罩影像184。此擴增多通道影像可以與本文所述之其他多通道影像之方式相似的方式來處理(例如,藉由將擴增多通道影像輸入至類神經網路中),以更準確地識別及/或分類缺陷,且具有較大信心,接著具有非擴增多通道影像。
資料陣列可隨後例如經由電腦子系統102、104或由電腦子系統所執行之組件106輸入至類神經網路108中,以計算製品50上一缺陷(例如,碎片、破裂、刮傷、粒子等)存在或不存在的機率。在一些實施例中,該輸出可以是呈缺陷存在之百分比或可能性形式的統計機率。在一些實施例中,類神經網路108可嘗試將所觀測缺陷分類為一或多個分類群組,例如,類神經網路108之輸出可以呈任何給定缺陷落在使用者界定分類之有限清單之特定分類內的統計機率形式。在其他實施例中,該輸出可以是物品之影像或圖形表示的形式,其中該影像指出製品50之表面上存在一缺陷的機率。
類神經網路通常由多個層組成,且信號路徑從前到後遍歷。多個層執行數個演算法或變換。一般來說,層的數量並不是很重要,而是依據使用情境而定。出於實際目的,一合適範圍之層從兩層至數十層。現代類神經網路專案計劃通常使用幾千個至幾百萬個類神經單元及數百萬個連接。該類神經網路之目標係以與人腦相同的方式解決問題,透過使用特定網路路徑,該等網路路徑可能類似於人腦中之網路。該等類神經網路可具有業界已知的任何合適架構及/或組態。在一些實施例中,該等類神經網路可組配成一深度卷積類神經網路(DCNN)。
本文所述之類神經網路屬於通常被稱作機器學習之一類計算。機器學習通常可定義為一種人工智慧(AI),其為電腦提供了無需明確編程的學習能力。機器學習聚焦於電腦程式之開發,其可在接觸到新資料時自學成長及改變。換言之,機器學習可定義為電腦科學之子領域,其「給電腦無需明確編程
之學習能力」。機器學習探索研究及建構可從資料中學習且做出預測之演算法,該等演算法通過從樣本輸入建造模型藉由製作資料驅動之預測或決策,從而克服嚴格遵循靜態程式指令之問題。
本文所述之類神經網路亦可或替代地屬於一種通常稱為深度學習(DL)之計算類別。一般而言,「DL」(亦稱為深度結構學習、階層學習或深度機器學習)為機器學習之一分支,其係基於一組演算法,該組演算法嘗試模型化資料中之高階抽象概念。在一簡單情況中,可能存在兩組神經元:接收一輸入信號之神經元及發送一輸出信號之神經元。當輸入層接收到一輸入時,其會將該輸入的一修改版本傳遞到下一層。在一基本模型中,輸入與輸出之間存在許多層(而該等層不是由神經元組成,但把它們想成是神經元可能有助於理解),允許演算法使用多個處理層,其係由多個線性及非線性變換組成。
DL屬於一個更廣泛的機器學習方法家族,其係基於對資料的學習表示形式。觀測(例如,影像)可以用許多方式來表示,諸如每個像素之強度值的向量,或用更抽象的方式表示為一組邊緣、特定形狀之數個區等。在簡化學習任務(例如,臉部辨識或臉部表情辨識)方面,一些表示比其他表示更好。DL的承諾之一是用有效的演算法取代手工製作的特徵,用於非監督或半監督特徵學習及階層式特徵提取。
此區域中之研究試圖作出更好的表示法且創建模型以自大規模未經標記資料學習此等表示法。其中一些表示法受到神經科學的進展啟發,並鬆散地基於對神經系統中之資訊處理及通訊路徑之解譯,諸如神經寫碼,其試圖定義大腦中之各種刺激與相關聯神經回應之間的關係。
另外參看圖6,在基本層級,類神經網路108可包括複數個通道202A-202C(亦參看圖8,繪示三個通道),其中每一通道包括一輸入層204及一或多個隱藏層206A-206B,其中單一輸出層208通常於複數個通道202A-202C當中
共用。該等複數個通道可包括任何數目個輸入通道。每一層204、206、208都可包括一對應的複數個神經元210。雖然僅繪示兩個隱藏層206A-206B,但預期類神經網路108可按需要包括多達一個隱藏層或許多隱藏層。
用於輸入層之輸入可為沿著連續範圍之任何數目(例如,0與255之間的任何數目等)。舉例而言,在一個實施例中,輸入層204可包括總共786,432個神經元,對應於數位成像子系統112之1024×768個像素輸出,其中該等輸入值中之每一者(例如,基於一灰階或RGB色彩碼)。在另一實施例中,輸入層204可包括每一像素之三個輸入層,其中該等輸入值中之各者係基於針對R、G及B色彩中之各者的一數值色彩碼;亦預期其他數量之神經元及輸入值。
給定層(例如,輸入層204)中之神經元210中之每一者可經由一連接212連接至後續層(例如,隱藏層206A)之神經元210中之每一者,因而可以說該網路之層是完全連接。儘管也可考慮將該演算法組織為一卷積類神經網路,其中輸入層204神經元之一不同群組(例如,表示輸入像素之一本端接受域)可經由一共用加權值來耦接至一隱藏層中之一單一神經元。
另外參看圖7,神經元210中之每一者可組配以接收一或多個輸入值(x)且計算一輸出值(y)。在完全連接之網路中,神經元210中之每一者可被指派一偏差值(b),且該等連接212中之每一者可被指派一權重值(w)。總體來說,該等權重及偏差可隨著類神經網路108學習如何正確地對檢測到之物件進行分類而進行調整。神經元210中之每一者可組配為一數學函數,使得每一神經元210之一輸出係根據以下關係而為共同輸入之連接權重之函數,以及神經元210之偏差:y≡w.x+b
在一些實施例中,神經元210之輸出(y)可經組配以採用任何數值(例如,0與1之間的值等)。此外,在一些實施例中,神經元210之輸出可根據一
線性函數、S型函數、雙曲函數、整流線性單元或其他函數中之一者而計算,該等函數被組配為通常抑制飽和(例如,避免極端輸出值,該等極端輸出值往往會在類神經網路108中產生不穩定性)。
在一些實施例中,該輸出層208可包括對應於該類神經網路108之一所欲數目的神經元210。舉例而言,在一個實施例中,類神經網路108可包括將製品50之表面分成許多不同區之複數個輸出神經元,其中存在缺陷之可能性可用一輸出值來指示。其他數量之輸出神經元210亦可被考慮;舉例而言,該等輸出神經元可對應於物件分類(例如,與歷史影像之資料庫相比),其中每一輸出神經元將表示當前影像與已知缺陷之一或多個歷史影像之間相似程度。輸出神經元210可輸出製品50中包括一缺陷或包括複數個類型之缺陷的機率。
另外參看圖6至圖7,類神經網路108可包括複數個通道202A至202C,其中每一通道202A至202C表示一輸入層204,該輸入層204經組配以接收與所擷取之製品50之不同影像中之每一者相關聯的資料。如最佳繪示於圖9中,一給定層(例如,輸入層204)之通道202A-202C中之每一者中的神經元210可經由連接而連接至後續層(例如,隱藏層206A)之神經元210中之每一者,使得通道202A-202C中之每一者可被設置為完全連接,最終隱藏層206B任擇地饋入至單一輸出層208中,從而指出存在缺陷之機率。
該系統100可組配來訓練該類神經網路108。訓練類神經網路108可以受監督、半監督或不受監督方式執行。舉例而言,在一監督訓練方法中,可用數個標籤標注樣品之一或多個影像,該等標籤指出(數個)影像中之雜訊或噪音區域及該(等)影像中的安靜(非噪音)區域。該等標籤可採任何合適方式分配給該(等)影像(例如,由使用者使用基準真相方法或使用已知能夠以相對高準確度將高解析度影像中之缺陷與雜訊進行分離的缺陷檢測方法或演算法)。該(等)影像及其標籤可被輸入至類神經網路108用於訓練,其中一或多個權重及偏差
被改變,直至類神經網路108的輸出層208匹配訓練輸入為止。
在一些實施例中,數位成像子系統112可用於收集具有一或多個已知缺陷或噪音區域之複數個訓練物品上的檢驗資料。舉例而言,數位成像子系統112可獲得訓練物品之多個影像,該等影像中之每一者通常擷取相同視場但具有不同的屬性(例如,在不同照明定向下所擷取之影像、暗場照明、明場照明、可見光影像、X射線影像、紫外光影像、紅外線影像、由掃描電子顯微鏡所收集之影像、聲學影像等)。相似於圖2A-2D中所繪示之影像,預期擷取於複數個訓練物品中之一些影像將顯示缺陷,而具有相似視場之其他影像將不會顯示缺陷,取決於擷取影像時的不同屬性。之後,該等多個影像中的每一者可被轉換成一資料陣列,且被饋送進入該類神經網路108的對應複數個通道之通道202A之輸入層204,其中通道的總數與具有不同屬性之影像的總數匹配。當類神經網路108處理訓練資料時,類神經網路108將被調整為透過輸出層208基於多通道影像來適當地識別、區分及分類缺陷及噪音區域。
深度學習演算法之目標係要調整類神經網路108之權重及平衡,直到輸入至輸入層204之輸入適當地映射至輸出層208之期望輸出為止,從而使演算法能夠為先前未知的輸入(x)準確地產生輸出(y)。舉例而言,若數位成像子系統112擷取製品50之數位影像(其像素被饋送到輸入層204中),則類神經網路108之期望輸出將為是否需要進一步檢視之指示。在一些實施例中,類神經網路108可依賴於訓練資料(例如,具有已知輸出之輸入)以適當地調整該等權重及平衡。
在調整類神經網路108時,可使用一成本函數(例如,二次成本函數、交叉熵交叉函數等)來建立輸出層208之實際輸出資料對應於訓練資料之已知輸出的接近程度。每次類神經網路108運行完一完整訓練資料集時,可被稱作一個時期。逐漸地,在若干時期之過程中,類神經網路108之權重及平衡可
經調整以迭代地最小化成本函數。
類神經網路108之有效調整可藉由計算成本函數之梯度下降來建立,目標為找到成本函數中的全域最小值。在一些實施例中,可使用一反向傳播演算法來計算成本函數之梯度下降。特別地,該反向傳播演算法計算該成本函數相對於類神經網路108中的任何權重(w)或偏差(b)的部分導數。因此,該反向傳播演算法用作持續追蹤當權重及偏差透過網路傳播、抵達輸出並影響該成本時,對其之小擾動的一種方式。在一些實施例中,對於權重及平衡之變化可限制在一學習速率以防止類神經網路108過度擬合(例如,使各別權重及偏差變化過大,以至於成本函數超過全域最小值)。舉例而言,在一些實施例中,學習速率可以被設定在大約0.03與大約10之間。另外,在一些實施例中,可採用各種正則化方法,諸如L1及L2正則化,作為最小化成本函數之輔助手段。
據此,在一些實施例中,系統100被組配來利用來自數位成像子系統112之像素資料作為電腦子系統102、104或由電腦子系統所執行之組件106的輸入,該等電腦子系統組配來操作一深度學習演算法以用於自動指派由數位成像子系統112所查看之物件值得進一步檢視的機率。儘管本揭露內容具體地討論以類神經網路108之形式使用深度學習演算法以建立缺陷存在的機率,但亦涵蓋其他自動辨識及分類之方法。
本揭露內容之實施例特別擅長區分可觀察道之滋擾與感興趣之缺陷(DOI)。舉例而言,本文中所述之系統100可執行一種迭代訓練,其中首先進行針對滋擾抑制之訓練,接著進行DOI檢測。本文使用的用語「滋擾」(其有時與「滋擾缺陷」可互換使用)通常被定義為使用者不關心的缺陷及/或在樣品上檢測到的事件,但實際上並不對樣品造成實際缺陷。實際上非為缺陷之滋擾可被檢測為由於樣品上之非缺陷雜訊源(例如,樣品上之灰階金屬線、來自底料層或樣品上之材料的信號、圖案化特徵中之相對小臨界尺寸(CD)變化、厚度變化等)
及/或由於檢驗子系統自身中之邊際問題或用於檢驗之自身組態的事件。
如本文所使用之術語「DOI」可定義為樣品上檢測到且為樣品上之實際缺陷的缺陷。因此,DOI對使用者而言是感興趣的,因為使用者通常關心被檢驗之樣品上有多少且為何種實際缺陷。在一些上下文中,術語「DOI」用以指樣品上所有實際缺陷之一子集,其僅包括使用者關心的實際缺陷。舉例而言,在任何給定製品50上可存在多個類型DOI,且其中一或多種類型可能比一或多種其他類型更受使用者關注。然而,在本文所述之實施例之上下文中,術語「DOI」用來指代製品50上的任何且所有真實缺陷。
因此,檢驗目標並非檢測製品50上的滋擾。儘管實質上努力避免此類滋擾,但實際上不可能完全消除此類檢測。因此,重要的是要識別所檢測事件中之何者為滋擾而何者為DOI,使得不同類型之缺陷的資訊可被單獨使用,例如DOI之資訊可被用來診斷及/或對樣品上執行的一或更多製程進行改變,而對於滋擾之資訊可被忽略、去除,或用來診斷樣品上之雜訊及/或檢驗程序或工具中之邊際問題。
過去的習知視覺系統可能已採用類神經網路來分類並識別DOI,以前的工作僅限於分析單個擷取之影像,或在一些狀況下,分析一系列製品的若干擷取影像,其中每個都是被獨立分析的。不幸的是,此類習知系統容易遭受錯誤,尤其是在一分析影像擷取到一DOI時,而製品之後續影像卻未擷取到該DOI的情況。
相比之下,本揭露內容之實施例能夠同時分析具有彼此不同成像屬性之製品之多個影像。分析該等多個影像同時使得類神經網路能夠在一粒狀(例如像素)基礎上評估該等不同影像之間的連接,從而產生改良之可靠性,特別是在該DOI僅部分出現於該擷取影像之一部分中的情況下。
參考圖10,根據本揭露內容之實施例繪示了一種光學檢驗製品50
的方法300。在一些實施例中,該方法可包括一迭代訓練迴路,其包含在步驟302處將該資料陣列輸入到該類神經網路中。在步驟304,類神經網路108可被運行以產生一或多個輸出值,其在步驟306,可與已知缺陷比較以便評估類神經網路108之效能。基於該評估,在步驟308處,可調整類神經網路108之各種權重及偏差,且可重複進行訓練迴路(例如,步驟302、304、306及308)。在一些實施例中,可重複進行訓練迴路,直至對權重及偏差之調整降至一給定臨限值以下為止,及/或類神經網路108之輸出被認為在所要準確性範圍內執行。
其後,類神經網路108可組配來接收及處理真實世界成像資料(例如,非訓練資料),以評估製品50存在或不存在感興趣的缺陷。具體言之,在步驟310處,可擷取製品50之影像,其中該製品之影像係在不同照明條件及/或不同的攝影機設定、濾光器或透鏡條件下擷取。在步驟312中,影像可被組合成包含多個通道的一資料陣列,其中該多個通道陣列中之每一通道包含表示每一影像或經修改影像之像素的數值陣列,包括對其的擴增,如上所述。在步驟302,可將該資料陣列輸入至類神經網路108中,且作為一演算法之類神經網路可被運行來產生一輸出值或複數個輸出值,其中該等輸出值係用於一組有限缺陷分類之各者的機率。在步驟314處,該輸出值或複數個輸出值可任擇地與另一檢驗技術之輸出或複數個輸出進行比較,該另一檢驗技術可採用自動化軟體及設備來分析影像、檢測缺陷及分類缺陷之類型。
在步驟316,在類神經網路之輸出值或複數個輸出值與另一檢驗技術之輸出或複數個值之間達到一協議之情況下,系統100可用於確定製品上存在一缺陷的機率。類神經網路108及另一檢驗技術可各自輸出複數個值,該等複數個值各自包括缺陷類型的數值機率且各自可使用影像處理技術,諸如去雜訊、濾波、裁切、影像之對準等。可使用影像處理技術來確保所有影像具有與基體或製品之相同區。(數個)另一檢驗技術通常涉及對基體或製品之影像進
行影像處理,隨後自該等經處理影像提取特徵,然後對該等所提取特徵進行分類。因此,例如,對於一給定基體,若類神經網路與另一檢驗技術兩者之分類輸出值一致,或在一預定義容差內一致,則便有足夠的信心認為輸出是正確的且(數個)缺陷分類被接受。另一方面,對於一給定基體,若其他檢驗技術及類神經網路兩者之缺陷分類輸出值不一致,則無法確信該等輸出是正確的且(數個)缺陷分類被拒絕。
基於所確定的機率,類神經網路108可基於其對多通道影像之分析,且比較檢測到的缺陷與一缺陷指紋程式庫之參考缺陷及對應的元資料(例如,對應於參考缺陷資料的工具資料),從而提供一或多個進一步輸出。類神經網路108之此等進一步輸出可包括例如缺陷之類型、導致缺陷之工具或其他來源之身分、缺陷之嚴重性及/或缺陷補救建議(例如,對工具進行維護、替換工具、調整環境條件、報廢基體等)。
已描述本揭露內容之較佳態樣及實行方式,熟習此項技術者可易於想到所揭露概念之修改及等效物。然而,此等修改及等效物旨在被包括本文所附加之申請專利範圍的範疇內。
50:製品,物品
100:系統
102,104:電腦子系統
106:由電腦子系統所執行之組件
108:類神經網路
110:檢驗工具
112:數位成像子系統
114:透鏡
116:光源
118:濾光器或透鏡
120:物品製作系統
122:計量工具
Claims (29)
- 一種檢測一製品中之一缺陷的方法,該方法包含: 接收該製品之數個影像,該等影像具有彼此不同的成像屬性; 使用該等影像建構一第一多通道影像,該第一多通道影像之每一影像通道對應於該等影像中的一個影像; 修改該第一多通道影像,藉以產生一經修改影像; 建構一第二多通道影像,其中該第二多通道影像中的一個通道影像為該經修改影像;以及 使用人工智慧基於該第二多通道影像來判定該製品是否包括該缺陷。
- 如請求項1之方法,其中該第二多通道影像包括使用來自該製品之該等影像的一第一影像、一差異影像及一遮罩影像,該第二多通道影像之每一影像通道對應於該第一影像、該差異影像及該遮罩影像中之一者。
- 如請求項1之方法,其中該製品包括一半導體晶片、一發光二極體(LED)及一固態電池中之至少一者。
- 如請求項1之方法,其中該等影像係使用掃描該製品之一計量裝置來產生,該計量裝置諸如一光攝影機、一聲學攝影機、一光譜儀或一電子顯微鏡。
- 如請求項1之方法,其中該等不同的成像屬性包括在拍攝該等影像時該製品處及/或一計量工具處的不同照明條件。
- 如請求項1之方法,其中該人工智慧係使用一類神經網路來執行。
- 如請求項1之方法,其中該等不同的成像屬性包括在拍攝該等影像時一計量工具相對於該製品的不同角度。
- 如請求項1之方法,其中該等影像全都為該製品之一相同區。
- 如請求項1之方法,其中修改該第一多通道影像是藉由一參考影像來進行。
- 如請求項9之方法,其中該參考影像表示沒有可觀察缺陷之另一製品。
- 如請求項10之方法,其中該參考影像是一電腦產生的模型。
- 如請求項1之方法,進一步包含: 基於該第一多通道影像和該經修改影像來產生一遮罩影像;以及 建構一第三多通道影像,其中該第三多通道影像中的第一影像通道為該第一多通道影像,該第三多通道影像中的第二影像通道為該經修改影像,且該第三多通道影像中的第三影像通道為該遮罩影像; 其中該人工智慧被配置用以基於該第三多通道影像來判定該製品是否包括該缺陷。
- 一種用於檢測一缺陷之系統,其包含: 至少一處理器;以及 非暫時性電腦可讀記憶體,其上儲存有數個指令,該等指令在由該至少一處理器執行時,致使該至少一處理器進行下列動作: 接收一製品之數個影像,該等影像具有彼此不同的成像屬性; 使用該等影像建構一第一多通道影像,該第一多通道影像之每一影像通道對應於該等影像中的一個影像; 修改該第一多通道影像,藉以產生一經修改影像; 建構一第二多通道影像,其中該第二多通道影像中的一個通道影像為該經修改影像;以及 使用人工智慧基於該第二多通道影像來判定該製品是否包括該缺陷。
- 如請求項13之系統,其中該等影像全都為該製品之一相同區。
- 一種組配來識別一製品中之一缺陷的系統,該系統包含: 一數位成像系統,其組配來擷取該製品之複數個影像,其中該製品之該等複數個影像中之每一者具有彼此不同的成像屬性; 一影像處理器,其組配以: 修改由該數位成像系統所擷取的該等複數個影像以建構一第一多通道影像; 修改該第一多通道影像,藉以產生一經修改影像;以及 建構一第二多通道影像,其中該第二多通道影像中的一個通道影像為該經修改影像;以及 一處理器,其組配以基於該第二多通道影像來判定該製品是否包括該缺陷。
- 如請求項15之系統,其中該處理器藉由使用一多通道類神經網路來判定該製品是否包括該缺陷,其中該多通道類神經網路之每一通道包括複數個神經元層,該等複數個神經元層包括一輸入層及一或多個隱藏層,其中每一層中之每一神經元藉由一連接來與每一通道內之一後續層之每一神經元進行連接,且其中每一層中之每一神經元藉由該連接而連接至該等通道中之每一者內的該後續層之每一神經元,其中該多通道類神經網路進一步包括一輸出神經元,該輸出神經元連接至每一通道之一先前層的每一神經元,其中該多通道類神經網路之每一神經元被指派一偏差值,且該多通道類神經網路之每一連接被指派一權重值。
- 如請求項16之系統,其中該輸出神經元組配來產生一數值,該數值表示該製品中存在該缺陷之機率。
- 如請求項15之系統,其中該等複數個影像包括至少一第一影像,其中光從一第一方向射向該製品,以及一第二影像,其中光從不同於該第一方向的一第二方向射向該製品。
- 如請求項18之系統,其中該等複數個影像進一步包括一第三影像,其中光從不同於該第一方向且不同於該第二方向的一第三方向射向該製品,以及一第四影像,其中光從不同於該第一方向且不同於該第二方向且不同於該第三方向的一第四方向射向該製品。
- 如請求項15之系統,其中擷取到的該等多個影像包括至少該製品在一明場條件下的一第一影像,及該製品在一暗場條件下的一第二影像。
- 如請求項15之系統,其中擷取到的該等多個影像包括至少一第一影像,其中光從一第一照明源類型射向該製品,以及一第二影像,其中光從一第二照明源類型射向該製品。
- 如請求項15之系統,其中該第二多通道影像包括使用來自該製品之該等影像的一第一影像、一差異影像及一遮罩影像,該第二多通道影像之每一影像通道對應於該第一影像、該差異影像及該遮罩影像中之一者。
- 一種檢測一製品中之一缺陷的方法,該方法包含: 接收該製品之一第一影像; 將該第一影像與該製品之一參考影像進行比較以形成一差異影像,其中該參考影像表示沒有可觀察缺陷之一製品; 比較該差異影像與該參考影像以形成一遮罩影像; 使用該第一影像、該差異影像及該遮罩影像建構一多通道影像,該多通道影像之每一影像通道對應於該第一影像、該差異影像及該遮罩影像中之一者;以及 基於該多通道影像判定該製品是否包括該缺陷。
- 如請求項23之方法,其中該製品為一半導體晶片、一發光二極體(LED)及一固態電池中之至少一者。
- 如請求項23之方法,其中該判定係使用人工智慧來執行。
- 如請求項25之方法,其中該人工智慧為一類神經網路,該類神經網路組配來產生一數值,該數值表示該製品中存在該缺陷之機率。
- 如請求項23之方法,其中該等影像全都為該製品之一相同區。
- 如請求項23之方法,其進一步包含: 將該多通道影像輸入至一類神經網路以產生一第一輸出分類機率; 處理該製品之一影像以產生一經處理影像; 自該經處理影像提取一特徵以產生一所提取特徵; 分類該所提取特徵,其包括產生一第二輸出分類機率; 比較該第一輸出分類機率與該第二輸出分類機率;以及 基於該比較,接受或拒絕該製品之該缺陷之分類。
- 一種檢測一製品中之一缺陷的方法,該方法包含: 接收該製品之數個影像,該等影像具有彼此不同的成像屬性,該等影像中的一個影像提供與該等影像中的另一個影像所提供的資料相衝突的資料,以便判定該製品是否包括該缺陷; 使用該等影像建構一多通道影像,該多通道影像之每一影像通道對應於該等影像中的一個影像;以及 使用人工智慧基於該多通道影像來判定該製品是否包括該缺陷。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNPCT/CN2022/133325 | 2022-11-21 | ||
| WOPCT/CN2022/133325 | 2022-11-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202422488A TW202422488A (zh) | 2024-06-01 |
| TWI894521B true TWI894521B (zh) | 2025-08-21 |
Family
ID=91080054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112105881A TWI894521B (zh) | 2022-11-21 | 2023-02-17 | 用於檢測製品中之缺陷的方法和系統 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240169514A1 (zh) |
| KR (1) | KR20250111169A (zh) |
| CN (1) | CN120584358A (zh) |
| TW (1) | TWI894521B (zh) |
| WO (1) | WO2024112440A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12243024B1 (en) * | 2024-07-17 | 2025-03-04 | Salma Baig | System and method for generating knife blade maintenance recommendations |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004191112A (ja) * | 2002-12-10 | 2004-07-08 | Ricoh Co Ltd | 欠陥検査方法 |
| TW202033954A (zh) * | 2018-11-15 | 2020-09-16 | 美商科磊股份有限公司 | 使用以深度學習為基礎之缺陷偵測及分類方案用於像素位準影像量化 |
| TWI731198B (zh) * | 2016-12-07 | 2021-06-21 | 美商克萊譚克公司 | 用於以迴旋神經網路為基礎之缺陷檢測之資料擴增 |
| CN113016004A (zh) * | 2018-11-16 | 2021-06-22 | 阿莱恩技术有限公司 | 基于机器的三维(3d)对象缺陷检测 |
| JP2021173644A (ja) * | 2020-04-24 | 2021-11-01 | 東海光学株式会社 | レンズ外観検査装置及び機械学習装置 |
| TW202208841A (zh) * | 2020-05-22 | 2022-03-01 | 美商科磊股份有限公司 | 利用深度學習方法之缺陷尺寸量測 |
-
2023
- 2023-02-17 TW TW112105881A patent/TWI894521B/zh active
- 2023-02-17 CN CN202380091744.6A patent/CN120584358A/zh active Pending
- 2023-02-17 KR KR1020257020285A patent/KR20250111169A/ko active Pending
- 2023-02-17 US US18/170,792 patent/US20240169514A1/en active Pending
- 2023-02-17 WO PCT/US2023/062838 patent/WO2024112440A1/en not_active Ceased
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004191112A (ja) * | 2002-12-10 | 2004-07-08 | Ricoh Co Ltd | 欠陥検査方法 |
| TWI731198B (zh) * | 2016-12-07 | 2021-06-21 | 美商克萊譚克公司 | 用於以迴旋神經網路為基礎之缺陷檢測之資料擴增 |
| TW202033954A (zh) * | 2018-11-15 | 2020-09-16 | 美商科磊股份有限公司 | 使用以深度學習為基礎之缺陷偵測及分類方案用於像素位準影像量化 |
| CN113016004A (zh) * | 2018-11-16 | 2021-06-22 | 阿莱恩技术有限公司 | 基于机器的三维(3d)对象缺陷检测 |
| JP2021173644A (ja) * | 2020-04-24 | 2021-11-01 | 東海光学株式会社 | レンズ外観検査装置及び機械学習装置 |
| TW202208841A (zh) * | 2020-05-22 | 2022-03-01 | 美商科磊股份有限公司 | 利用深度學習方法之缺陷尺寸量測 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240169514A1 (en) | 2024-05-23 |
| TW202422488A (zh) | 2024-06-01 |
| CN120584358A (zh) | 2025-09-02 |
| WO2024112440A1 (en) | 2024-05-30 |
| KR20250111169A (ko) | 2025-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111052332B (zh) | 训练以学习为基础的缺陷分类器 | |
| CN115769254B (zh) | 基于深度学习的缺陷检测系统及计算机实施方法 | |
| KR102857312B1 (ko) | 딥 러닝 방법을 사용한 결함 사이즈 측정 | |
| TWI855263B (zh) | 用於選擇用於對樣品執行程序的工具之一模式的系統及電腦實施之方法以及相關的儲存程式指令之非暫時性電腦可讀媒體 | |
| KR102650301B1 (ko) | 장애물 필터링을 위한 심층 학습 네트워크 | |
| TW201824417A (zh) | 用於影像融合之以卷積神經網路為基礎之模式選擇及缺陷分類 | |
| TWI809094B (zh) | 用於損害篩選之跨層共同-獨特分析 | |
| EP4154078A1 (en) | Wafer level spatial signature grouping using transfer learning | |
| TWI894521B (zh) | 用於檢測製品中之缺陷的方法和系統 | |
| TW202300900A (zh) | 以經呈現設計影像之設計照護區域之分段 | |
| TWI893650B (zh) | 用於由缺陷分類系統對製成物品中的缺陷分類之方法、電腦系統及將製成物品的表面上的二或更多個缺陷指標分群成缺陷分群之方法 | |
| US20240112326A1 (en) | Inspection of adaptive patterned workpieces with dynamic design and deep learning-based rendering | |
| US20250037261A1 (en) | High-quality wide-spectrum data by generative ai | |
| TW202524414A (zh) | 用於半導體良率相關組件之穩健訓練的稀有事件訓練資料集 | |
| CN121464460A (zh) | 通过生成式ai提供的高质量广谱数据 | |
| TW202548594A (zh) | 將深度學習模型隱藏層輸出與樣本特定輸入結合以用於缺陷分類或其他半導體應用 | |
| TW202223535A (zh) | 電子系統及樣品鑑定方法 |