TWI855614B - 多重複檢之自動化光學複判系統以及多重複檢方法 - Google Patents
多重複檢之自動化光學複判系統以及多重複檢方法 Download PDFInfo
- Publication number
- TWI855614B TWI855614B TW112111562A TW112111562A TWI855614B TW I855614 B TWI855614 B TW I855614B TW 112111562 A TW112111562 A TW 112111562A TW 112111562 A TW112111562 A TW 112111562A TW I855614 B TWI855614 B TW I855614B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- defect
- light source
- automated optical
- detection information
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 118
- 230000003287 optical effect Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims description 33
- 230000007547 defect Effects 0.000 claims abstract description 155
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000012216 screening Methods 0.000 claims abstract description 27
- 238000012552 review Methods 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 34
- 230000005284 excitation Effects 0.000 claims description 16
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims 2
- 230000002950 deficient Effects 0.000 abstract description 4
- 230000010076 replication Effects 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Physics & Mathematics (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
Abstract
本發明係揭示一種多重複檢之自動化光學複判系統，由外部接收一檢測資訊與對應該檢測資訊的一待測物，該系統包括一光源裝置、一影像擷取裝置、以及一瑕疵篩選模組。該光源裝置提供複數光源至一檢測範圍上的該待測物。該影像擷取裝置根據該檢測資訊，拍攝該待測物上對應的一瑕疵區域，以獲得一第一影像與一第二影像。該瑕疵篩選模組判斷該第一影像是否為真實瑕疵影像，並產生一第一複判結果，並根據該第一複判結果，判斷該第二影像是否為真實瑕疵影像，產生一第二複判結果。
Description
本發明係有關於一種自動化光學複判系統，尤指一種多重複檢之自動化光學複判系統。
現行的光學檢測設備，包括用於半導體、PCB、LCD等等的各段製程中的光學檢測設備，都有搭配複檢設備，其目的是將檢測而得的缺陷影像，經由另一獨立的顯示裝置(複判顯示設備)顯示給人員重複檢查，作為複判之用，以降低過檢、漏檢率。
隨著人力費用的提高，傳統一人一機式的人工影像複檢作法，對人力成本的耗費過高，但若不採取複檢，僅利用更高規格的光學拍攝方式或檢測演算法方式來解決「第一次檢測」的過檢、漏檢問題，則又會導致「第一次檢測」的檢測時間大幅增加，無法達到工業化量產需求。
本發明的主要目的，在於提供一種多重複檢之自動化光學複判系統，由外部接收一檢測資訊與對應該檢測資訊的一待測物，該系統包括一光源裝置、一影像擷取裝置、以及一瑕疵篩選模組。該光源裝置提供複數光源至一檢測範圍上的該待測物。該影像擷取裝置根據該檢測資訊，拍攝該待測物上對應的一瑕疵區域，以獲得一第一影像與一第二影像。該瑕疵篩選模組判斷該第一影像是否為真實瑕疵影像，並產生一第一複判結果，並根據該第一複判結果，判斷該第二影像是否為真實瑕疵影像，產生一第二複判結果。
本發明的另一目的，在於提供一種多重複檢方法，包括：由外部接收一檢測資訊與對應該檢測資訊的一待測物；提供第一光源至一檢測範圍上的該待測物上，由影像擷取裝置根據該檢測資訊，拍攝該待測物上對應的一瑕疵區域，以獲得一第一影像，並產生一第一複判結果；以及提供第二光源至該檢測範圍上的該待測物上，由影像擷取裝置根據該第一複判結果，拍攝該待測物上對應的該瑕疵區域，以獲得一第二影像，並判斷該第二影像是否為真實瑕疵影像，產生一第二複判結果。
本發明採用非在線式架構，本發明的分離式複判架構僅自外部接收第三方AOI設備的初檢資訊，以進行複檢。可相容於各種規格之自動光學檢測設備的檢測資訊，並取得齊一化複檢影像與檢測資訊。此外，本發明的白光結合螢光的複檢流程，相對於先前技術僅包括一道白光或螢光的複檢流程，可以更提升複檢的準確度。此外，本發明僅需針對白光複檢程序所過濾的缺陷進行螢光檢測，大幅降低螢光複檢次數，相較於習知的複檢設備必須根據檢測列表的所有缺陷候選逐一進行螢光複檢(螢光檢測所需時間約為白光檢測的數倍)，本發明可有效節省整體檢測的時間。此外，所述的控制裝置可以根據檢測資訊控制光源裝置的光學輸出特性以及影像擷取裝置的外在參數及/或內在參數，強化瑕疵區域影像中的瑕疵特徵，以便於瑕疵篩選模組更精確的執行複判程序。
有關本發明之詳細說明及技術內容，現就配合圖式說明如下。再者，本發明中之圖式，為說明方便，其比例未必按實際比例繪製，而有誇大之情況，該等圖式及其比例非用以限制本發明之範圍。
本發明提出一種多重複檢之自動化光學複判系統，例如但不限定應用於電路板的內層檢測，並用於配合人工智慧（AI）進行檢測，進而實現複判程序。本發明的多重複檢之自動化光學複判系統為包括但不限於，可採用非在線式架構，僅自外部接收初檢檢測資訊，不和實施初檢的外部自動光學檢測設備（Automated Optical Inspection, AOI）實體連接。上述光學複判系統可於近端或遠端存取檢測資料庫所儲存的檢測資訊；資料庫可以同時儲存複數個相同或不同規格的自動光學檢測設備，該等實施例的變化非屬本發明所欲限制的範圍。因此，在進行複判程序時，利用本發明的自動化光學複判系統，會根據外部接收的檢測資訊，依照本發明的自動化光學複判系統的光學架構再次拍攝待測物的瑕疵影像，以正規化(normalize)瑕疵影像，用以後續判斷於該檢測資訊上的缺陷是否為真實瑕疵。如此可在不同硬體規格、檢測環境的初檢設備/系統架構下，正規化複檢影像，以利後續的多重複檢程序。再者，本發明利用了白光與螢光結合之複檢功能，根據外部自動光學檢測設備所提供的瑕疵位置，先進行白光檢測程序先初步過濾假性瑕疵後，再根據螢光檢測程序判斷經過濾後的瑕疵位置，以確認是否為真實缺陷，藉此降低過檢及漏檢的問題。
於本發明中所述的「器」、「模組」、「裝置」，可以由例如後台設備、各裝置及個別設備的處理器、控制器、或電腦等複數個設備所協同控制並執行，亦可以由如上所述的單一裝置或設備控制並執行，該等裝置或設備的數量非屬本發明所欲限制的範圍，且其間的通訊方式（例如實體的或無線的）或通訊協定由於非屬本發明所欲限制的範圍，於本發明中即不再予以贅述。所述的處理器可耦接於儲存單元並執行對應的程式，並依據程式控制裝置即設備的運作。該等處理器、電腦例如是中央處理器(Central Processing Unit, CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)或其他類似裝置或這些裝置的組合，於本發明中不予以限制。
於本發明中各裝置間可以直接或間接的通訊，以進行資料的互換。於一實施例中，各裝置工作的執行可以由中央控制系統進行工作編程的統籌及分配（例如PLC），然而，於本發明中亦不排除可以由各裝置獨立的控制器或處理器相互間的互相協同以完成工作程序，該等實施例的變化非屬本發明所欲限制的範圍。
以下針對本發明的其中一實施例進行詳細說明，請參閱「圖1」，係為本發明多重複檢之自動化光學複判系統的方塊示意圖，如圖所示：本實施例揭示一種多重複檢之自動化光學複判系統100，通過接收自動化光學檢測系統A所提供對應於目標待測物Ak的檢測資訊對目標待測物Ak進行複判。
所述的自動光學檢測設備A用以檢測待測物Ak的瑕疵，並記錄待測物Ak的瑕疵座標或瑕疵種類。自動化光學檢測系統A可以為現行任意規格的自動光學檢測設備(Automated Optical Inspection, AOI)，用於對待測物Ak進行影像分析。影像分析的方式例如可以透過一般影像處理方式(例如高斯、傅立葉、二值化、影像相減、型態分析)獲得瑕疵的種類或是位置、或是透過機器學習、深度學習等利用類神經網絡進行瑕疵種類的辨識或定位，藉此獲得檢測資訊。一般而言，常規的自動光學檢測設備A經檢測後所提供的檢測資訊，例如包括瑕疵種類、瑕疵影像、瑕疵位置、及/或定位點位置。於一實施例中，待測物Ak為電路基板，檢測資訊係關於電路基板的內層瑕疵，於本發明中不予以限制。
所述的多重複檢之自動化光學複判系統100依據待測物Ak的檢測資訊進行複檢。於一實施例中，檢測資訊儲存裝置DB可以同時連線至複數個相同或不同規格的自動光學檢測設備，該等實施例的變化非屬本發明所欲限制的範圍。
所述的多重複檢之自動化光學複判系統100主要包括用於設置待測物Ak的檢測平台B、對應於檢測平台B設置的光源裝置10、對應於檢測平台B設置的影像擷取裝置20、連接至影像擷取裝置20的控制裝置30、以及連接至控制裝置30的瑕疵篩選模組40。
所述的光源裝置10提供複數光源至檢測範圍上的待測物Ak。所述的「檢測範圍」係指待測物Ak上對應於影像擷取裝置20拍攝方向的感興趣區域，例如但不限定於待測物Ak的全幅區域、待測物Ak的部分區域、或是待測物Ak基於檢測資訊對應的瑕疵位置等，該等實施例於本發明中不予以限制。
所述的影像擷取裝置20通過控制裝置30由檢測資訊儲存裝置DB獲取對應待測物Ak的檢測資訊，拍攝待測物Ak上對應的瑕疵區域，以獲得瑕疵區域影像。於一實施例中，請一併參閱「圖2」，係為本發明中影像擷取裝置的方塊示意圖，如圖所示：影像擷取裝置20包括移動裝置21以及設置於移動裝置21上的攝像頭22，移動裝置21通過檢測資訊接收瑕疵座標，移動攝像頭22至待測物Ak的瑕疵位置，對待測物Ak的瑕疵進行拍攝。於一實施例中，移動裝置21例如可以是X-Y線性載台、機械手臂或其他類此的裝置，於本發明中不予以限制。於一實施例中，攝像頭22例如可以是面掃描攝影機（Area Scan Camera）、或線掃描設影機（Line Scan Camera），於本發明中不予以限制。於本發明中，為了取得兩種基於不同特性光源所呈現的影像，影像擷取裝置20於光源裝置10提供第一光源時拍攝待測物Ak以獲得一第一影像，並於光源裝置10提供第二光源時拍攝待測物Ak以獲得一第二影像。於一實施例中，第一影像包括一紅光成分影像、一綠光成分影像、一藍光成分影像或一白光成分影像；第二影像包括一螢光成分影像。
於一實施例中，請參閱「圖3」，係為本發明中光學架構的方塊示意圖，如圖所示：光源裝置10包括白光光源11、以及激發光源12，白光光源11係用於提供白光至檢測範圍上的待測物Ak，使影像擷取裝置20獲得瑕疵區域影像的白光成分影像，亦或是紅光成分影像、綠光成分影像、藍光成分影像；激發光源12用於提供激發光至待測物Ak上以產生螢光，使影像擷取裝置20獲得瑕疵區域影像的螢光成分影像。於使用激發光源12的實施例中，影像擷取裝置20的攝像頭22上將配置激發光濾鏡23，用於將激發光濾除後僅通過待測物Ak所產生的螢光，以對待測物Ak進行檢測。於一實施例中，影像擷取裝置20例如可以是全彩攝影機，用於取得待測物Ak的紅光成分影像、綠光成分影像、藍光成分影像及/或白光成分影像。
於一實施例中，在白光光源11、以及激發光源12兩種光源間切換時，激發光濾鏡23可以經由切換裝置24切換，於啟動激發光源12(白光光源11關閉)時將激發光濾鏡23移動至影像擷取裝置20的攝像頭22與待測物Ak之間的光路上，於啟動白光光源11(激發光源12關閉)時，將激發光濾鏡23由影像擷取裝置20的攝像頭22與待測物Ak之間的光路之間移開。於一實施例中，待測物Ak可以通過輸送裝置(圖未示)，輸送至檢測範圍，以對待測物Ak進行照明及拍攝，所述的輸送裝置例如可以是但不限定於多軸機械手臂、線性載台、輸送帶、移載裝置或其他類此的裝置，於本發明中不予以限制。除上述的光源外，光源裝置10可以進一步包括RGB光源、黃光光源、雷射光源等，於本發明中不予以限制；光源類型例如可以包括環形光源、同軸光源、背光源、側向光源、或可調整光源(例如位置及角度)等，於本發明中不予以限制。
所述的瑕疵篩選模組40用於判斷瑕疵影像是否為真實瑕疵影像。為了有效率地進行檢測，本發明中瑕疵篩選模組40進行多重複檢，先判斷第一影像是否為真實瑕疵影像，產生第一複判結果後，根據第一複判結果，判斷第二影像是否為真實瑕疵影像，產生第二複判結果，藉此減少二次檢測的次數。於一實施例中，請一併參閱「圖4」，係為本發明中瑕疵篩選模組的方塊示意圖，如圖所示：瑕疵篩選模組40可以包括處理器41、及儲存裝置42，於儲存裝置42內儲存經訓練過後的卷積神經網路模型CV，通過處理器41載入儲存裝置42內的卷積神經網路模型CV將瑕疵影像輸入至卷積神經網路模型CV以判斷是否為真實瑕疵影像。所述的「真實瑕疵影像」係依據自動化光學檢測系統A的檢測資訊進行判別，例如自動化光學檢測系統A的檢測資訊判定對應目標區域具有瑕疵，則卷積
神經網路模型CV係訓練為用於分析瑕疵區域影像中是否包括瑕疵；若自動化光學檢測系統A的檢測資訊判定對應目標區域為特定的瑕疵種類(例如灰塵、外層瑕疵、內層瑕疵)，則卷積神經網路模型CV係訓練為用於分析瑕疵區域影像中是否具有對應瑕疵種類的瑕疵；藉此判定瑕疵影像是否為真實瑕疵影像，以完成影像復判。於另一實施例中，卷積神經網路模型CV係訓練成用於檢測目標影像與參考影像的差異性，判斷目標影像是否為真實瑕疵影像，以產生複判結果；例如瑕疵篩選模組40係先通過提供第一光源至待測物Ak，比較第一影像與一參考影像，先判斷第一影像是否為真實瑕疵影像產生該第一複判結果；接續，瑕疵篩選模組40再根據該第一複判結果，比較該第二影像與該參考影像，判斷該第二影像是否為真實瑕疵影像，以產生該第二複判結果。
所述的「參考影像」例如可以是但不限定於母片影像、或是設計圖影像，例如計算機輔助製造圖檔(CAM)，於本發明中不予以限制。
所述的「根據第一複判結果，比較第二影像與該參考影像」，係指由第一複判結果中判定為真實瑕疵影像的缺陷，影像擷取裝置20才會再針對這些相應缺陷位置拍攝第二影像(螢光成分影像)，因此瑕疵篩選模組40才會再基於第二影像(螢光成分影像)進行複判；若判定為非真實瑕疵影像，則相應位置的瑕疵則不進行拍攝，因此瑕疵篩選模組40僅對判定為瑕疵的缺陷進行複判，藉此降低檢測時間及運算量。因為螢光檢測所需要的時間相比白光檢測較久，所以本發明先使用白光複檢判斷過濾假性缺陷，才讓過濾後的缺陷進行螢光複檢，藉由降低螢光複檢的次數而降低螢光複檢的時間。例如影像有100個缺陷、白光濾掉80個假缺陷，剩下20個才進行螢光檢測，針對這20個缺陷處激發螢光拍照，並根據螢光影像比對參考影像判斷缺陷。這樣比起原本需要螢光複檢100個缺陷次數，
整體的檢測時間降低許多(白光檢測的時間很短，主要耗時的是螢光檢測，所以白光檢測100組缺陷加上螢光檢測20組缺陷遠遠小於螢光檢測100組缺陷所需的時間。
請續一併參閱「圖5」，係為本發明中影像擷取裝置及光源裝置的控制方塊示意圖，如圖所示：為了提升複判系統對於瑕疵及缺陷特徵的辨識率，所述的控制裝置30根據檢測資訊控制光源裝置10的光學輸出特性以及影像擷取裝置20的外在參數及/或內在參數，強化瑕疵區域影像中的瑕疵特徵，以便於瑕疵篩選模組40更精確的執行複判程序。
具體而言，由於不同的缺陷特徵對於不同的類型的光源分別有較佳的表現，控制裝置30於檢測資訊中獲得瑕疵種類以及瑕疵位置後，控制裝置30係依據瑕疵種類調整提供至檢測範圍待測物Ak光源的光學輸出特性，先後或同時調整影像擷取裝置20的內部參數或外部參數；所述的「光學輸出特性」例如可以包括但不限定於光源強度、照射角度、光類型(例如漫射光、平行光、準直光等)、或頻譜等；所述的「內部參數」例如可以是但不限定於影像擷取裝置20的光圈大小、焦距、對焦位置、曝光時間、ISO值、色溫值、飽和度、影像預處理等、或其他類此的可調整內部參數；所述的「外部參數」例如可以是但不限定於影像擷取裝置20的拍攝位置、拍攝角度、濾鏡的切換、與待測物Ak間的距離、與光源之間的對應位置關係等、或其他類此的外部參數。
瑕疵種類於光學環境中的表現，以下係舉例說明之，惟下面的列舉內容僅為本發明的其中一可實施態樣，並非用於限制本發明的範圍，在此先行敘明。
若瑕疵特徵相對於周遭之色調、飽和度、亮度反差較大的區域容易經由影像處理程序(如二值化法)中被辨識，可以提供均勻光(或
環境光)至待測物Ak的表面，使待測物Ak之可視平面上每一處的亮度呈均勻分布。所述的瑕疵特徵類型例如可以是但不限定於金屬變色、料件表面變色、黑線、積墨、漏底材、亮點、花斑、髒污、刮傷等。
若瑕疵特徵具備立體特徵，可以提供側向的平行光至待測物Ak的表面，讓光路徑係與待測物Ak的可視平面之間具有一介於0度至90度(但不等於0度及90度)之間的入射角，使影像中的不平整區域產生陰影。所述的缺陷特徵例如可以是但不限定於豎紋、刀紋、砂光紋等造成待測物Ak表面不平整的瑕疵。
如所述的瑕疵特徵係為待測物Ak內部的瑕疵或是所屬的瑕疵特別能夠反射特定波長的光，可以提供背光源至待測物Ak的背面，或是提供可切換頻譜的光源用以照射待測物Ak，使影像中的瑕疵被凸顯出來。所述的瑕疵特徵例如可以是但不限定於斑紋(Mura)、或是亮點、碎亮點等。
除以上揭示的實施態樣外，本發明配合不同的瑕疵特徵亦可以組合各式不同的光源以凸顯影像中的缺陷特徵。經凸顯過瑕疵特徵的瑕疵區域影像，最後傳送至瑕疵篩選模組40複判是否為真實瑕疵影像。
請續一併參閱「圖6」，係為本發明中多重複檢方法的流程示意圖(一)，如圖所示：首先，輸送裝置將欲實施複檢的待測物Ak傳送至檢測範圍上，控制裝置30由外部接收對應待測物的檢測資訊(步驟S01)；接續，控制裝置30提供第一光源至一檢測範圍上的待測物Ak上(步驟S02)；接續，由影像擷取裝置20根據檢測資訊，拍攝待測物上對應的瑕疵區域，以獲得第一影像(步驟S03)，其中第一影像包括一紅光成分影像、一綠光成分影像、一藍光成分影像或一白光成分影像；接續，瑕疵篩選模組40依據第一影像產生第一複判結果(步驟S04)；於獲得第一複判
結果後，由控制裝置30根據第一複判結果提供第二光源至檢測範圍上的待測物Ak上，並由影像擷取裝置20根據第一複判結果，拍攝待測物Ak上對應的瑕疵區域，以獲得第二影像(步驟S05)，其中第二影像包括螢光成分影像；最後，瑕疵篩選模組40判斷第二影像(例如螢光成分影像)是否為真實瑕疵影像，產生第二複判結果(步驟S06)，其中步驟S04中被判定並非真實瑕疵影像的區域先行濾除，藉此省去了非真實瑕疵影像螢光檢測的時間，另一方面亦省去了步驟S06二次複判的運算量。
綜上所述，本發明採用非在線式架構，本發明的分離式複判架構僅自外部接收第三方AOI設備的初檢資訊，以進行複檢。可相容於各種規格之自動光學檢測設備的檢測資訊，並取得齊一化複檢影像與檢測資訊。此外，本發明的白光結合螢光的複檢流程，相對於先前技術僅包括一道白光或螢光的複檢流程，可以更提升複檢的準確度。此外，本發明僅需針對白光複檢程序所過濾的缺陷進行螢光檢測，大幅降低螢光複檢次數，相較於習知的複檢設備必須根據檢測列表的所有缺陷候選逐一進行螢光複檢(螢光檢測所需時間約為白光檢測的數倍)，本發明可有效節省整體檢測的時間。此外，所述的控制裝置可以根據檢測資訊控制光源裝置的光學輸出特性以及影像擷取裝置的外在參數及/或內在參數，強化瑕疵區域影像中的瑕疵特徵，以便於瑕疵篩選模組更精確的執行複判程序。
以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例而已，當不能以此限定本發明實施之範圍，即凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明之專利涵蓋範圍內。
100:多重複檢之自動化光學複判系統
A:自動化光學檢測系統
Ak:待測物
DB:檢測資訊儲存裝置
B:檢測平台
10:光源裝置
11:白光光源
12:激發光源
20:影像擷取裝置
21:移動裝置
22:攝像頭
23:激發光濾鏡
24:切換裝置
30:控制裝置
40:瑕疵篩選模組
41:處理器
42:儲存裝置
CV:卷積神經網路模型
S01~S06:步驟
圖1，係為本發明多重複檢之自動化光學複判系統的方塊示意圖。
圖2，係為本發明中影像擷取裝置的方塊示意圖。
圖3，係為本發明中光學架構的方塊示意圖。
圖4，係為本發明中瑕疵篩選模組的方塊示意圖。
圖5，係為本發明中影像擷取裝置及光源裝置的控制方塊示意圖。
圖6，係為本發明中多重複檢方法的流程示意圖。
A:自動化光學檢測系統
DB:檢測資訊儲存裝置
100:多重複檢之自動化光學複判系統
Ak:待測物
B:檢測平台
10:光源裝置
20:影像擷取裝置
30:控制裝置
40:瑕疵篩選模組
Claims (19)
- 一種多重複檢之自動化光學複判系統，由外部接收一檢測資訊與對應該檢測資訊的一待測物，該系統包括：一光源裝置，提供複數光源至一檢測範圍上的該待測物；一影像擷取裝置，根據該檢測資訊，拍攝該待測物上對應的一瑕疵區域，以獲得一第一影像與一第二影像；以及一瑕疵篩選模組，判斷該第一影像是否為真實瑕疵影像，並產生一第一複判結果，並根據該第一複判結果，判斷該第二影像是否為真實瑕疵影像，產生一第二複判結果；其中，分別用於拍攝該第一影像與該第二影像的該些光源具有不同的光源特性。
- 如請求項1所述的自動化光學複判系統，其中該第一影像包括一紅光成分影像、一綠光成分影像、一藍光成分影像或一白光成分影像；其中該第二影像包括一螢光成分影像。
- 如請求項2所述的自動化光學複判系統，其中該光源裝置包括一激發光源，提供激發光至該待測物上以產生螢光；其中該影像擷取裝置，根據該第一複判結果，拍攝該待測物上的對應瑕疵區域，以獲得該螢光成分影像；其中該瑕疵篩選模組判斷該螢光成分影像是否為真實瑕疵影像，以產生該第二複判結果。
- 如請求項1所述的自動化光學複判系統，其中該檢測資訊係自外部的一自動光學檢查設備產生。
- 如請求項1所述的自動化光學複判系統，其中瑕疵篩選模組包括一卷積神經網路模型，以判斷該第一影像及/或該第二影像是否為真實瑕疵影像。
- 如請求項1所述的自動化光學複判系統，其中該瑕疵篩選模組比較該第一影像與一參考影像，判斷該第一影像是否為真實瑕疵影像，以產生該第一複判結果。
- 如請求項6所述的自動化光學複判系統，其中該瑕疵篩選模組根據該第一複判結果，比較該第二影像與該參考影像，判斷該第二影像是否為真實瑕疵影像，以產生該第二複判結果。
- 如請求項1所述的自動化光學複判系統，其中該檢測資訊包括瑕疵位置資訊或/及瑕疵類別資訊。
- 如請求項1所述的自動化光學複判系統，更進一步包括一控制裝置，根據該檢測資訊控制該光源裝置的光學輸出特性以及該影像擷取裝置的外在參數及/或內在參數，以強化該瑕疵區域影像中的瑕疵特徵。
- 如請求項9所述的自動化光學複判系統，其中該光源裝置所得調整的該光學輸出特性包括光源強度、照射角度、或頻譜。
- 如請求項1所述的自動化光學複判系統，其中該自動化光學複判系統係非在線式架構。
- 一種多重複檢之自動化光學複判方法，包括：由外部接收一檢測資訊與對應該檢測資訊的一待測物；提供第一光源至一檢測範圍上的該待測物上，由影像擷取裝置根據該檢測資訊，拍攝該待測物上對應的一瑕疵區域，以獲得一第一影像，並產生一第一複判結果；以及提供第二光源至該檢測範圍上的該待測物上，由影像擷取裝置根據該第一複判結果，拍攝該待測物上對應的該瑕疵區域，以獲得一第二影像，並判斷該第二影像是否為真實瑕疵影像，產生一第二複判結果；其中，分別用於拍攝該第一影像與該第二影像的該些光源具有不同的光源特性。
- 如請求項12所述的自動化光學複判方法，其中該第一影像包括一紅光成分影像、一綠光成分影像、一藍光成分影像或一白光成分影像；其中該第二影像包括一螢光成分影像。
- 如請求項12所述的自動化光學複判方法，其中若檢測資訊標示該待測物的瑕疵相對於周遭之色調、飽和度、亮度反差較大的區域，係提供均勻光或環境光至該待測物的表面。
- 如請求項12所述的自動化光學複判方法，其中若檢測資訊標示該待測物的瑕疵具備立體特徵，係提供側向的平行光至該待測物的表面。
- 如請求項12所述的自動化光學複判方法，其中若檢測資訊標示該待測物的瑕疵為內部的瑕疵，係提供背光源至該待測物的背面。
- 如請求項12所述的自動化光學複判方法，其中若檢測資訊標示該待測物的瑕疵特別能夠反射特定波長的光，係提供可切換頻譜的光源用以照射該待測物。
- 如請求項12所述的自動化光學複判方法，其中於拍攝該待測物時，控制裝置根據該檢測資訊控制光源裝置的光學輸出特性以及該影像擷取裝置的外在參數及/或內在參數，以強化該瑕疵區域影像中的瑕疵特徵。
- 如請求項18所述的自動化光學複判方法，其中該光源裝置所得調整的該光學輸出特性包括光源強度、照射角度、 或頻譜。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112111562A TWI855614B (zh) | 2023-03-27 | 2023-03-27 | 多重複檢之自動化光學複判系統以及多重複檢方法 |
| CN202310940741.7A CN118706833A (zh) | 2023-03-27 | 2023-07-28 | 一种多重复检的自动化光学复判系统以及多重复检方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112111562A TWI855614B (zh) | 2023-03-27 | 2023-03-27 | 多重複檢之自動化光學複判系統以及多重複檢方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI855614B true TWI855614B (zh) | 2024-09-11 |
| TW202438871A TW202438871A (zh) | 2024-10-01 |
Family
ID=92816869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112111562A TWI855614B (zh) | 2023-03-27 | 2023-03-27 | 多重複檢之自動化光學複判系統以及多重複檢方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN118706833A (zh) |
| TW (1) | TWI855614B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201920944A (zh) * | 2017-09-01 | 2019-06-01 | 美商克萊譚克公司 | 訓練以學習為基礎之缺陷分類器 |
| TW201941246A (zh) * | 2017-12-31 | 2019-10-16 | 荷蘭商Ａｓｍｌ荷蘭公司 | 用於缺陷檢測及再檢測的方法及系統 |
| CN112561904A (zh) * | 2020-12-24 | 2021-03-26 | 凌云光技术股份有限公司 | 一种降低显示屏外观aoi缺陷误检率的方法及系统 |
| TW202134634A (zh) * | 2020-03-13 | 2021-09-16 | 由田新技股份有限公司 | 共生式複檢系統、及共生式複檢方法 |
| TW202242529A (zh) * | 2021-04-16 | 2022-11-01 | 由田新技股份有限公司 | 整合型光學檢測設備 |
-
2023
- 2023-03-27 TW TW112111562A patent/TWI855614B/zh active
- 2023-07-28 CN CN202310940741.7A patent/CN118706833A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201920944A (zh) * | 2017-09-01 | 2019-06-01 | 美商克萊譚克公司 | 訓練以學習為基礎之缺陷分類器 |
| TW201941246A (zh) * | 2017-12-31 | 2019-10-16 | 荷蘭商Ａｓｍｌ荷蘭公司 | 用於缺陷檢測及再檢測的方法及系統 |
| TW202134634A (zh) * | 2020-03-13 | 2021-09-16 | 由田新技股份有限公司 | 共生式複檢系統、及共生式複檢方法 |
| CN112561904A (zh) * | 2020-12-24 | 2021-03-26 | 凌云光技术股份有限公司 | 一种降低显示屏外观aoi缺陷误检率的方法及系统 |
| TW202242529A (zh) * | 2021-04-16 | 2022-11-01 | 由田新技股份有限公司 | 整合型光學檢測設備 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202438871A (zh) | 2024-10-01 |
| CN118706833A (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6820891B2 (ja) | ウェーハの検査システム及び方法 | |
| JP6945245B2 (ja) | 外観検査装置 | |
| CN101924053B (zh) | 检测晶片的系统和方法 | |
| CN101853797B (zh) | 用于检测晶片的系统和方法 | |
| TWI558996B (zh) | 捕捉從多重方向反射之光線的系統與方法 | |
| KR100281881B1 (ko) | 인쇄회로기판의크림솔더검사장치및검사방법 | |
| TWI855614B (zh) | 多重複檢之自動化光學複判系統以及多重複檢方法 | |
| TWI891285B (zh) | 多重自動光學複判系統以及多重自動光學複判方法 | |
| TW202548224A (zh) | 整合式之人工智能自動化光學檢測系統及其方法 | |
| CN121090554A (zh) | 整合式人工智能自动化光学检测系统及其方法 | |
| CN118348029A (zh) | 一种发光芯片的表面缺陷检测方法及装置 | |
| HK40006797B (zh) | 检测晶片的系统和方法 | |
| HK40006797A (zh) | 检测晶片的系统和方法 | |
| SG185301A1 (en) | System and method for inspecting a wafer |