TWI745767B - 光學檢測二次圖像分類方法 - Google Patents
光學檢測二次圖像分類方法 Download PDFInfo
- Publication number
- TWI745767B TWI745767B TW108137799A TW108137799A TWI745767B TW I745767 B TWI745767 B TW I745767B TW 108137799 A TW108137799 A TW 108137799A TW 108137799 A TW108137799 A TW 108137799A TW I745767 B TWI745767 B TW I745767B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- good
- image classification
- images
- defective
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000007689 inspection Methods 0.000 title claims abstract description 34
- 238000013145 classification model Methods 0.000 claims abstract description 95
- 230000002950 deficient Effects 0.000 claims abstract description 93
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000013528 artificial neural network Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000012795 verification Methods 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims 1
- 238000012216 screening Methods 0.000 abstract description 13
- 206010047571 Visual impairment Diseases 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本發明之光學檢測二次圖像分類方法，係將良品圖像及瑕疵品圖像配對成為標記為1的圖像組，將良品圖像及過篩檢圖像配對成為標記為0的圖像組，逐一將各圖像組輸入類行經網路架構進行圖像分類模型訓練，並且在圖像分類模型產生且完成驗證後，記錄所輸入之圖像預測分類結果，將無法被準確預測分類的圖像進行數量擴增、配對、標記之後再次輸入圖像分類模型所屬之類神經網路架構加強訓練，始再產生另一圖像分類模型，透過至少一次加強訓練，可有效降低過度篩檢，提高檢測設備的辨別正確率及效率，並且降低進行二次篩選的成本。
Description
本發明係與深度學習圖像分類技術有關，特別是指一種尤適合應用於產品通過自動光學檢測之後，再次判別產品為良品或瑕疵品的光學檢測二次圖像分類方法。
自動光學檢測(Automatic Optical Inspection；AOI)係以非接觸的方式，運用機器視覺技術擷取圖像進行分析，進而判斷產品(成品或半成品)是否存在瑕疵，可部署於自動化加工產線的節點中間進行檢測，同時不影響產能，為目前業界廣泛應用的檢測手法，更是電路板和顯示面板產業製程中比重甚高的必要投資。
以應用最廣泛的電路板加工產線為例，AOI檢測系統流程主要係先利用光學儀器對待檢測的電路板進行掃描獲取圖像，然後系統對數據庫中的合格參數進行比對，經過電腦圖像處理技術檢查出電路板上是否存在缺陷。
通常電路板加工產線會有極高的良率要求，因此在AOI的參數上設定非常嚴格，加上光學原理容易使AOI因光影干擾而敏感，因此只要有些微外在光影的影響，設備便會自動判斷為瑕疵品，導致AOI檢測經常面臨過度篩檢(將良品誤判為瑕疵品)的現象。
已知，可透過人工智慧和深度學習類神經網路處理圖像資料，並利用規律對未知資料進行預測的演算法針對未知瑕疵進行識別，輔助AOI檢測的後續優化，藉以提高檢測設備的辨別正確率，降低人工進行第二次篩選的成本。
以類神經網路架構為基礎的影像分類模型之所以能夠充分且正確地學習到判別圖像的關鍵，除了必須在深度學習的訓練過程(Training)中提供大量有標記(Label)的圖像資料之外，改良類神經網路架構或許是一個可行的做法。
惟，類神經網路架構中可以調整的參數選項非常繁瑣，不易在繁瑣的參數選項中系統化地找出最好的排列組合；因此，如何在樣品數量有限的條件之下，提升影像分類模型之判別準確率，長久以來一直是產業界及學術界所亟欲解決之課題。
有鑑於此，本發明即在提供自動光學檢測一種可以有效降低過度篩檢，提升圖像分類模型之預測分類準確性的光學檢測二次圖像分類方法，為其主要目的者。
本發明之光學檢測二次圖像分類方法，係使用於一設有自動光學檢測系統之加工產線所提供之產品為良品或瑕疵品之圖像分類判別；該光學檢測二次圖像分類方法，係包括下列步驟：(a)提供一圖像特徵自動辨識系統步驟，一圖像特徵自動辨識系統係整合有一儲存單元、一處理單元以及一圖像擷取單元，該儲存單元中載入有複數良品圖像、複數過度篩檢圖像、複數瑕疵品圖像；(b)建立訓練資料集步驟，至少於該圖像特徵自動辨識系統之該儲存單元中建立一訓練資料集，該訓練資料集係包括複數由該儲存單元中任一良品圖像及任一瑕疵品圖像配對成為標記為1的第一圖像組、複數由該儲存單元中任一良品圖像及任一過篩檢圖像配對成為標記為0的第二圖像組； (c)建立驗證資料集步驟，於該圖像特徵自動辨識系統之該儲存單元中建立一驗證資料集，該驗證資料集係至少包括複數良品圖像、複數瑕疵品圖像； (d)建立類神經網路架構步驟，於該圖像特徵自動辨識系統之該儲存單元中建立一由該處理單元執行運作，供用以對所輸入之圖像進行良品或瑕疵品預測分類的一類神經網路架構，該類神經網路架構係具有兩個可供獨立進行運作的特徵核心模組及一與該兩個特徵核心模組連接的全連接模組； (e)圖像分類模型訓練步驟，透過該圖像擷取單元將該訓練資料集當中複數標記為標籤0的第二圖像組、複數標記為標籤1的第二圖像組逐一輸入該類神經網路架構，經比對該類神經網路架構預測分類輸出結果之後調整該類神經網路架構之特徵和權重，並且儲存成功降低誤差的調整，始產生一更擅於對所輸入之圖像進行良品或瑕疵品預測分類的圖像分類模型； (f)圖像分類模型驗證步驟，在每次產生圖像分類模型時，透過該圖像擷取單元將該驗證資料集當中之複數良品圖像、複數瑕疵品圖像逐一輸入該次產生的圖像分類模型，由該次產生的圖像分類模型對輸入的各該良品圖像及各該瑕疵品圖像進行預測分類，藉以評估該次產生的圖像分類模型預測分類準確性；(g)統計分類預測錯誤分佈及加強訓練步驟，在每次產生圖像分類模型，且在該次產生的圖像分類模型完成驗證時，記錄所輸入之各該良品圖像及各該瑕疵品圖像之預測分類結果，並且統計預測分類錯誤分佈，依照該圖像分類模型訓練步驟當中該第一圖像圖及該第二圖像組之配對、標記模式及訓練模式，將各該實際為良品圖像卻無法被準確預測分類的圖像進行數量擴增之產生的各該良品圖像，與各該實際為瑕疵品圖像卻無法被準確預測分類的圖像進行數量擴增之後產生的各該瑕疵品圖像重新配對、標記之後再次輸入該次產生的圖像分類模型所屬之該類神經網路架構加強訓練，始再產生另一圖像分類模型； (h)確認模型步驟，經至少執行一次該步驟(f)至該步驟(g)之後，於該些圖像分類模型當中確認至少一圖像分類模型，即可利用該至少一被確認的圖像分類模型對該加工產線所提供之產品進行良品或瑕疵品之圖像分類判別。
依據上述技術特徵，該光學檢測二次圖像分類方法，於該確認模型步驟中，係在至少重複一次該步驟(f)至該步驟(g)之後，於該些圖像分類模型當中確認一準確性較佳的圖像分類模型，利用該被確認的圖像分類模型對該加工產線所提供之產品進行良品或瑕疵品之圖像分類判別。
依據上述技術特徵，該光學檢測二次圖像分類方法，於該確認模型步驟中，係在至少重複一次該步驟(f)至該步驟(g)之後，於該些圖像分類模型當中確認複數準確性較佳的圖像分類模型，並且將該些被確認的圖像分類模型進行合併，利用該些合併後的圖像分類模型對該加工產線所提供之產品進行良品或瑕疵品之圖像分類判別。
依據上述技術特徵，該訓練資料集與該驗證資料集之良品圖像數量係由複數經該自動光學檢測系統判別為良品且透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集之過度篩檢圖像數量係由複數經該自動光學檢測系統判別為瑕疵品但透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集與該驗證資料集之瑕疵品圖像數量係由複數經該自動光學檢測系統判別為瑕疵品且透過人工確認為瑕疵品的瑕疵品原始圖像擴增達成。
依據上述技術特徵，該驗證資料集當中之各該良品圖像係與該訓練資料集當中之各該良品圖像不完全相同，該驗證資料集當中之各該瑕疵品圖像係與該訓練資料集當中之各該瑕疵品圖像不完全相同。
依據上述技術特徵，該訓練資料集與該驗證資料集之良品圖像數量係由複數經該自動光學檢測系統判別為良品且透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集之過度篩檢圖像數量係由複數經該自動光學檢測系統判別為瑕疵品但透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集與該驗證資料集之瑕疵品圖像數量係由複數經該自動光學檢測系統判別為瑕疵品且透過人工確認為瑕疵品的瑕疵品原始圖像擴增達成；以及，該驗證資料集當中之各該良品圖像係與該訓練資料集當中之各該良品圖像不完全相同，該驗證資料集當中之各該瑕疵品圖像係與該訓練資料集當中之各該瑕疵品圖像不完全相同。
依據上述技術特徵，各該圖像分類模型之各該類神經網路架構對各輸入圖像之預測輸出值，係以0或1的輸出型態呈現。
依據上述技術特徵，各該圖像分類模型之各該類神經網路架構對各輸入圖像之預測輸出值，係以預測為0之機率及預測為1之機率的輸出型態呈現。
依據上述技術特徵，該光學檢測二次圖像分類方法，於建立類神經網路架構之步驟中，係於該圖像特徵自動辨識系統之該儲存單元中建立一供用以對所輸入之圖像進行良品或瑕疵品預測分類的卷積神經網路架構(Convolutional neural network , CNN)。
本發明所揭露的光學檢測二次圖像分類方法，係將一良品圖像及一瑕疵品圖像配對成為標記為1的圖像組，將一良品圖像及一過篩檢圖像配對成為標記為0的圖像組，逐一將各圖像組輸入類行經網路架構進行圖像分類模型訓練，並且在圖像分類模型產生且完成驗證後，記錄所輸入之圖像預測分類結果，將無法被準確預測分類的圖像進行數量擴增、配對、標記之後再次輸入圖像分類模型所屬之類神經網路架構加強訓練，始再產生另一圖像分類模型，透過至少一次加強訓練，有效降低過度篩檢，提升圖像分類模型之預測分類準確性，尤適合應用在產品通過自動光學檢測之後，再次判別產品為良品或瑕疵品，以相對更為積極、可靠之手段，提高檢測設備的辨別正確率及效率，並且降低進行二次篩選的成本。
本發明主要提供自動光學檢測一種可以有效提升圖像分類準確率的光學檢測二次圖像分類方法，本發明之光學檢測二次圖像分類方法，係使用於一設有自動光學檢測系統之加工產線所提供之產品為良品或瑕疵品之圖像分類判別；如第1圖至第3圖所示，該光學檢測二次圖像分類方法100，係包括下列步驟：
(a)提供一圖像特徵自動辨識系統步驟，一圖像特徵自動辨識系統10係整合有一儲存單元11、一處理單元12以及一圖像擷取單元13，該儲存單元11中載入有複數良品圖像、複數過度篩檢圖像、複數瑕疵品圖像；於實施時，該處理單元12係可以為一圖形處理器(Graphics Processing Unit , GPU)。
(b)建立訓練資料集步驟，至少於該圖像特徵自動辨識系統10之該儲存單元11中建立一訓練資料集20，該訓練資料集20係包括複數由該儲存單元11中任一良品圖像及任一瑕疵品圖像配對成為標記為1的第一圖像組(如第5圖所示)、複數由該儲存單元11中任一良品圖像及任一過篩檢圖像配對成為標記為0的第二圖像組(如第6圖所示)。
(c)建立驗證資料集步驟，於該圖像特徵自動辨識系統10之該儲存單元11中建立一驗證資料集30，該驗證資料集30係至少包括複數良品圖像、複數瑕疵品圖像。
(d)建立類神經網路架構步驟，於該圖像特徵自動辨識系統10之該儲存單元11中建立一由該處理單元12執行運作，供用以對所輸入之圖像進行良品或瑕疵品預測分類的類神經網路架構40，該類神經網路架構40係具有兩個可供獨立進行運作的特徵核心模組41及一與該兩個特徵核心模組41連接的全連接模組42；於實施時，係可於該圖像特徵自動辨識系統10之該儲存單元中11建立一供用以對所輸入之圖像進行良品或瑕疵品預測分類的卷積神經網路架構(Convolutional neural network , CNN)。
(e)圖像分類模型訓練步驟，透過該圖像擷取單元13將該訓練資料集20當中複數標記為標籤0的第二圖像組、複數標記為標籤1的第二圖像組逐一輸入該類神經網路架構40，經比對該類神經網路架構40預測分類輸出結果之後調整該類神經網a路架構40之特徵和權重，並且儲存成功降低誤差的調整，始產生一更擅於對所輸入之圖像進行良品或瑕疵品預測分類的圖像分類模型；於實施時，各第一圖像組或第二圖像組當中之兩個圖像係各輸入類神經網路架構40之其中任一特徵核心模組41，之後由全連接模組42完成圖像預測分類輸出(如第3圖所示)。
(f)圖像分類模型驗證步驟，在每次產生圖像分類模型時，透過該圖像擷取單元13將該驗證資料集30當中之複數良品圖像、複數瑕疵品圖像逐一輸入該次產生的圖像分類模型，由該次產生的圖像分類模型對輸入的各該良品圖像及各該瑕疵品圖像進行預測分類，藉以評估該次產生的圖像分類模型預測分類準確性。
(g)統計分類預測錯誤分佈及加強訓練步驟，在每次產生圖像分類模型，且在該次產生的圖像分類模型完成驗證時，記錄所輸入之各該良品圖像及各該瑕疵品圖像之預測分類結果，並且統計預測分類錯誤分佈，依照該圖像分類模型訓練步驟當中該第一圖像圖及該第二圖像組之配對、標記模式及訓練模式，將各該實際為良品圖像卻無法被準確預測分類的圖像進行數量擴增之產生的各該良品圖像，與各該實際為瑕疵品圖像卻無法被準確預測分類的圖像進行數量擴增之後產生的各該瑕疵品圖像重新配對、標記之後再次輸入該次產生的圖像分類模型所屬之類神經網路架構加強訓練，始再產生另一圖像分類模型。
(h)確認模型步驟，經至少執行一次該步驟(f)至該步驟(g)之後，於該些圖像分類模型當中確認至少一圖像分類模型，即可利用該至少一被確認的圖像分類模型對該加工產線所提供之產品進行良品或瑕疵品之圖像分類判別。
本發明之光學檢測二次圖像分類方法，於該確認模型步驟中，係可在至少重複一次該步驟(f)至該步驟(g)之後，於該些圖像分類模型當中確認一準確性較佳的圖像分類模型，利用該被確認的圖像分類模型對該加工產線所提供之產品進行良品或瑕疵品之圖像分類判別。
本發明之光學檢測二次圖像分類方法，於該確認模型步驟中，亦可在至少重複一次該步驟(f)至該步驟(g)之後，於該些圖像分類模型當中確認複數準確性較佳的圖像分類模型，並且將該些被確認的圖像分類模型進行合併，利用該些合併後的圖像分類模型對該加工產線所提供之產品進行良品或瑕疵品之圖像分類判別。
由於本發明之光學檢測二次圖像分類方法，係將一良品圖像及一瑕疵品圖像配對成為標記為1的圖像組，將一良品圖像及一過篩檢圖像配對成為標記為0的圖像組，逐一將各圖像組輸入類行經網路架構進行圖像分類模型訓練，並且在圖像分類模型產生且完成驗證後，記錄所輸入之圖像預測分類結果，將無法被準確預測分類的圖像進行數量擴增、配對、標記之後再次輸入圖像分類模型所屬之類神經網路架構加強訓練，始再產生另一圖像分類模型，透過至少一次加強訓練，可有效降低過度篩檢，提升圖像分類模型之預測分類準確性，以相對更為積極、可靠之手段，提高檢測設備的辨別正確率及效率，並且降低進行二次篩選的成本。
如第1圖及第4圖所示，本發明之光學檢測二次圖像分類方法，在上揭各種可能實施之樣態下，該訓練資料集20與該驗證資料集30之良品圖像數量係可以由複數經該自動光學檢測系統判別為良品且透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集20之過度篩檢圖像數量係可以由複數經該自動光學檢測系統判別為瑕疵品但透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集20與該驗證資料集30之瑕疵品圖像數量係由複數經該自動光學檢測系統判別為瑕疵品且透過人工確認為瑕疵品的瑕疵品原始圖像擴增達成。
以及，本發明之光學檢測二次圖像分類方法，在上揭各種可能實施之樣態下，該驗證資料集30當中之各該良品圖像係與該訓練資料集20當中之各該良品圖像不完全相同，該驗證資料集30當中之各該瑕疵品圖像係與該訓練資料集20當中之各該瑕疵品圖像不完全相同。
當然，本發明之光學檢測二次圖像分類方法，在上揭各種可能實施之樣態下，又以該訓練資料集20與該驗證資料集30之良品圖像數量係可以由複數經該自動光學檢測系統判別為良品且透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集20之過度篩檢圖像數量係可以由複數經該自動光學檢測系統判別為瑕疵品但透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集20與該驗證資料集30之瑕疵品圖像數量係由複數經該自動光學檢測系統判別為瑕疵品且透過人工確認為瑕疵品的瑕疵品原始圖像擴增達成；以及，該驗證資料集30當中之各該良品圖像係與該訓練資料集20當中之各該良品圖像不完全相同，該驗證資料集30當中之各該瑕疵品圖像係與該訓練資料集20當中之各該瑕疵品圖像不完全相同為佳。
本發明之光學檢測二次圖像分類方法，在上揭各種可能實施之樣態下，各該圖像分類模型之各該類神經網路架構對各輸入圖像之預測輸出值，係能夠選擇以0或1的輸出型態呈現；當然，各該圖像分類模型之各該類神經網路架構對各輸入圖像之預測輸出值，亦能夠選擇以預測為0之機率及預測為1之機率的輸出型態呈現。
具體而言，本發明所揭露的光學檢測二次圖像分類方法，係將一良品圖像及一瑕疵品圖像配對成為標記為1的圖像組，將一良品圖像及一過篩檢圖像配對成為標記為0的圖像組，逐一將各圖像組輸入類行經網路架構進行圖像分類模型訓練，並且在圖像分類模型產生且完成驗證後，記錄所輸入之圖像預測分類結果，將無法被準確預測分類的圖像進行數量擴增、配對、標記之後再次輸入圖像分類模型所屬之類神經網路架構加強訓練，始再產生另一圖像分類模型，透過至少一次加強訓練，有效降低過度篩檢，提升圖像分類模型之預測分類準確性，尤適合應用在產品通過自動光學檢測之後，再次判別產品為良品或瑕疵品，以相對更為積極、可靠之手段，提高檢測設備的辨別正確率及效率，並且降低進行二次篩選的成本。
以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍內。
100:光學檢測二次圖像分類方法
10:圖像特徵自動辨識系統
11:儲存單元
12:處理單元
13:圖像擷取單元
20:訓練資料集
30:驗證資料集
40:類神經網路架構
41:特徵核心模組
42:全連接模組
第1圖係為本發明當中之圖像特徵自動辨識系統基本組成架構方塊示意圖。
第2圖係為本發明之光學檢測二次圖像分類方法基本流程圖。
第3圖係為本發明當中之一種可能實施之圖像分類模型訓練過程示意圖。
第4圖係為本發明當中之一種可能實施之原始圖像確認流程圖。
第5圖係為本發明當中之訓練資料集之第一圖像組配對架構圖。
第6圖係為本發明當中之訓練資料集之第二圖像組配對架構圖。
100:光學檢測二次圖像分類方法
Claims (8)
- 一種光學檢測二次圖像分類方法，係使用於一設有自動光學檢測系統之加工產線所提供之產品為良品或瑕疵品之圖像分類判別；該光學檢測二次圖像分類方法(100)，係包括下列步驟：(a)提供一圖像特徵自動辨識系統步驟，一圖像特徵自動辨識系統(10)係整合有一儲存單元(11)、一處理單元(12)以及一圖像擷取單元(13)，該儲存單元(11)中載入有複數良品圖像、複數過度篩檢圖像、複數瑕疵品圖像；(b)建立訓練資料集步驟，至少於圖像特徵自動辨識系統(10)之該儲存單元(11)中建立一訓練資料集(20)，該訓練資料集(20)係包括複數由該儲存單元(11)中任一良品圖像及任一瑕疵品圖像配對成為標記為1的第一圖像組、複數由該儲存單元(11)中任一良品圖像及任一過篩檢圖像配對成為標記為0的第二圖像組；(c)建立驗證資料集步驟，於該圖像特徵自動辨識系統(10)之該儲存單元(11)中建立一驗證資料集(30)，該驗證資料集(30)係至少包括複數良品圖像、複數瑕疵品圖像，其中，該驗證資料集(30)當中之各該良品圖像係與該訓練資料集(20)當中之各該良品圖像不完全相同，該驗證資料集(30)當中之各該瑕疵品圖像係與該訓練資料集(20)當中之各該瑕疵品圖像不完全相同；(d)建立類神經網路架構步驟，於該圖像特徵自動辨識系統(10)之該儲存單元(11)中建立一由該處理單元(12)執行運作，供用以對所輸入之圖像進行良品或瑕疵品預測分類的一類神經網路架構(40)，該類神經網路架構(40)係具有兩個可供獨立進行運作的特徵核心模組(41)及一與該兩個特徵核心模組(41)連接的全連接模組(42)；(e)圖像分類模型訓練步驟，透過該圖像擷取單元(13)將該訓練資料集(20)當中複數標記為標籤0的第二圖像組、複數標記為標籤1的第二圖像組逐 一輸入該類神經網路架構(40)，經比對該類神經網路架構(40)預測分類輸出結果之後調整該類神經網路架構(40)之特徵和權重，並且儲存成功降低誤差的調整，始產生一更擅於對所輸入之圖像進行良品或瑕疵品預測分類的圖像分類模型；(f)圖像分類模型驗證步驟，在每次產生圖像分類模型時，透過該圖像擷取單元(13)將該驗證資料集(30)當中之複數良品圖像、複數瑕疵品圖像逐一輸入該次產生的圖像分類模型，由該次產生的圖像分類模型對輸入的各該良品圖像及各該瑕疵品圖像進行預測分類，藉以評估該次產生的圖像分類模型預測分類準確性；(g)統計分類預測錯誤分佈及加強訓練步驟，在每次產生圖像分類模型，且在該次產生的圖像分類模型完成驗證時，記錄所輸入之各該良品圖像及各該瑕疵品圖像之預測分類結果，並且統計預測分類錯誤分佈，依照該圖像分類模型訓練步驟當中該第一圖像圖及該第二圖像組之配對、標記模式及訓練模式，將各該實際為良品圖像卻無法被準確預測分類的圖像進行數量擴增之產生的各該良品圖像，與各該實際為瑕疵品圖像卻無法被準確預測分類的圖像進行數量擴增之後產生的各該瑕疵品圖像重新配對、標記之後再次輸入該次產生的圖像分類模型所屬之該類神經網路架構(40)加強訓練，始再產生另一圖像分類模型；(h)確認模型步驟，經至少執行一次該步驟(f)至該步驟(g)之後，於該些圖像分類模型當中確認至少一圖像分類模型，即可利用該至少一被確認的圖像分類模型對該加工產線所提供之產品進行良品或瑕疵品之圖像分類判別。
- 如請求項1所述之光學檢測二次圖像分類方法，其中，該光學檢測二次圖像分類方法(100)，於該確認模型步驟中，係在至少重複一 次該步驟(f)至該步驟(g)之後，於該些圖像分類模型當中確認一準確性較佳的圖像分類模型，利用該被確認的圖像分類模型對該加工產線所提供之產品進行良品或瑕疵品之圖像分類判別。
- 如請求項1所述之光學檢測二次圖像分類方法，其中，該光學檢測二次圖像分類方法(100)，於該確認模型步驟中，係在至少重複一次該步驟(f)至該步驟(g)之後，於該些圖像分類模型當中確認複數準確性較佳的圖像分類模型，並且將該些被確認的圖像分類模型進行合併，利用該些合併後的圖像分類模型對該加工產線所提供之產品進行良品或瑕疵品之圖像分類判別。
- 如請求項1至3其中任一項所述之光學檢測二次圖像分類方法，其中，該訓練資料集(20)與該驗證資料集(30)之良品圖像數量係由複數經該自動光學檢測系統判別為良品且透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集(20)之過度篩檢圖像數量係由複數經該自動光學檢測系統判別為瑕疵品但透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集(20)與該驗證資料集(30)之瑕疵品圖像數量係由複數經該自動光學檢測系統判別為瑕疵品且透過人工確認為瑕疵品的瑕疵品原始圖像擴增達成。
- 如請求項1至3其中任一項所述之光學檢測二次圖像分類方法，其中，該訓練資料集(20)與該驗證資料集(30)之良品圖像數量係由複數經該自動光學檢測系統判別為良品且透過人工確認為良品的良品原始圖像擴增達成；該訓練資料集(20)之過度篩檢圖像數量係由複數經該自動光學檢測系統判別為瑕疵品但透過人工確認為良品的良品原始圖像擴增達 成；該訓練資料集(20)與該驗證資料集(30)之瑕疵品圖像數量係由複數經該自動光學檢測系統判別為瑕疵品且透過人工確認為瑕疵品的瑕疵品原始圖像擴增達成。
- 如請求項1至3其中任一項所述之光學檢測二次圖像分類方法，其中，各該圖像分類模型之各該類神經網路架構(40)對各輸入圖像之預測輸出值，係以0或1的輸出型態呈現。
- 如請求項1至3其中任一項所述之光學檢測二次圖像分類方法，其中，各該圖像分類模型之各該類神經網路架構(40)對各輸入圖像之預測輸出值，係以預測為0之機率及預測為1之機率的輸出型態呈現。
- 如請求項1至3其中任一項所述之光學檢測二次圖像分類方法，其中，該光學檢測二次圖像分類方法(100)，於建立該類神經網路架構(40)之步驟中，係於該圖像特徵自動辨識系統(10)之該儲存單元(11)中建立一供用以對所輸入之圖像進行良品或瑕疵品預測分類的卷積神經網路架構(Convolutional neural network,CNN)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108137799A TWI745767B (zh) | 2019-10-18 | 2019-10-18 | 光學檢測二次圖像分類方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108137799A TWI745767B (zh) | 2019-10-18 | 2019-10-18 | 光學檢測二次圖像分類方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202117592A TW202117592A (zh) | 2021-05-01 |
| TWI745767B true TWI745767B (zh) | 2021-11-11 |
Family
ID=77020581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108137799A TWI745767B (zh) | 2019-10-18 | 2019-10-18 | 光學檢測二次圖像分類方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI745767B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI903894B (zh) * | 2024-11-27 | 2025-11-01 | 英業達股份有限公司 | 以深度學習模型複檢錫膏印刷不良電路板之裝置及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127780A (zh) * | 2016-06-28 | 2016-11-16 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN107481231A (zh) * | 2017-08-17 | 2017-12-15 | 广东工业大学 | 一种基于深度卷积神经网络的五金件缺陷分类识别方法 |
| CN108230317A (zh) * | 2018-01-09 | 2018-06-29 | 北京百度网讯科技有限公司 | 钢板缺陷检测分类方法、装置、设备及计算机可读介质 |
| CN108428247A (zh) * | 2018-02-27 | 2018-08-21 | 广州视源电子科技股份有限公司 | 焊锡点方向的检测方法和系统 |
| CN109146873A (zh) * | 2018-09-04 | 2019-01-04 | 凌云光技术集团有限责任公司 | 一种基于学习的显示屏缺陷智能检测方法及装置 |
-
2019
- 2019-10-18 TW TW108137799A patent/TWI745767B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127780A (zh) * | 2016-06-28 | 2016-11-16 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN107481231A (zh) * | 2017-08-17 | 2017-12-15 | 广东工业大学 | 一种基于深度卷积神经网络的五金件缺陷分类识别方法 |
| CN108230317A (zh) * | 2018-01-09 | 2018-06-29 | 北京百度网讯科技有限公司 | 钢板缺陷检测分类方法、装置、设备及计算机可读介质 |
| CN108428247A (zh) * | 2018-02-27 | 2018-08-21 | 广州视源电子科技股份有限公司 | 焊锡点方向的检测方法和系统 |
| CN109146873A (zh) * | 2018-09-04 | 2019-01-04 | 凌云光技术集团有限责任公司 | 一种基于学习的显示屏缺陷智能检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202117592A (zh) | 2021-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964004B2 (en) | Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof | |
| CN111524478B (zh) | 检测故障的设备和方法 | |
| US11029260B2 (en) | Solder paste printing quality inspection system and method | |
| CN109060817B (zh) | 人工智能复检系统及其方法 | |
| KR20220047535A (ko) | Ai 기반의 사전 훈련 모델 결정 시스템 및 이를 이용한 제품 생산 라인을 위한 ai 기반의 비전 검사 관리 시스템 | |
| CN118279272A (zh) | 一种基于改进YOLOv8的钢板表面缺陷检测方法 | |
| TWI715051B (zh) | 機器學習方法及應用機器學習方法的自動光學檢測設備 | |
| CN110969600A (zh) | 一种产品缺陷检测方法、装置、电子设备及存储介质 | |
| TWI707299B (zh) | 光學檢測二次圖像分類方法 | |
| WO2023282043A1 (ja) | 検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備 | |
| CN117689646A (zh) | 一种正负样本融合的高精度缺陷检测方法、系统及介质 | |
| TWI745767B (zh) | 光學檢測二次圖像分類方法 | |
| JP2020077158A (ja) | 画像処理装置及び画像処理方法 | |
| CN108268899A (zh) | 一种电子元件的检测方法、装置和设备 | |
| CN116468961A (zh) | 一种图像分类方法及注塑产品智能瑕疵检测系统 | |
| CN113554645B (zh) | 基于wgan的工业异常检测方法和装置 | |
| CN111191670A (zh) | 基于神经网络的分类装置及分类方法 | |
| CN117455917B (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
| CN113267506A (zh) | 木板ai视觉缺陷检测装置、方法、设备及介质 | |
| CN118035903B (zh) | 一种基于深度学习的固定污染源异常数据识别系统及方法 | |
| CN114692887A (zh) | 半监督学习系统及半监督学习方法 | |
| CN117576016A (zh) | 一种烟箱外观缺陷的智能检测方法 | |
| CN113642257A (zh) | 一种晶圆质量预测方法及系统 | |
| CN120219857B (zh) | 一种基于ai图像识别的质量追溯方法 | |
| CN120125943A (zh) | 一种激光扫描检测复杂图形的方法及装置 |