TWI843591B - 影像瑕疵檢測模型的建立方法、瑕疵影像的檢測方法及電子裝置 - Google Patents
影像瑕疵檢測模型的建立方法、瑕疵影像的檢測方法及電子裝置 Download PDFInfo
- Publication number
- TWI843591B TWI843591B TW112120504A TW112120504A TWI843591B TW I843591 B TWI843591 B TW I843591B TW 112120504 A TW112120504 A TW 112120504A TW 112120504 A TW112120504 A TW 112120504A TW I843591 B TWI843591 B TW I843591B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- defect
- reconstructed
- reconstruction error
- error
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000003709 image segmentation Methods 0.000 claims abstract description 38
- 230000007547 defect Effects 0.000 claims description 130
- 238000012360 testing method Methods 0.000 claims description 30
- 230000002950 deficient Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本案提出一種影像瑕疵檢測模型的建立方法，包括：使用無瑕疵樣本影像及瑕疵樣本影像生成第一訓練影像；輸入第一訓練影像至自動編碼器以輸出重構影像並計算第一重構誤差；計算第一訓練影像及重構影像的差異以產生重構誤差影像；使用第一訓練影像、重構影像及重構誤差影像生成第二訓練影像；輸入第二訓練影像至影像分割網路以產生遮罩影像並計算第二重構誤差；根據第一重構誤差及第二重構誤差計算總重構誤差；根據總重構誤差優化自動編碼器及影像分割網路的參數；以及重複執行前述步驟以完成影像瑕疵檢測模型的建立及參數優化。
Description
本案有關於影像處理模型的建立及影像處理的方法，特別是有關於一種影像瑕疵檢測模型的建立方法、瑕疵影像的檢測方法，及執行這些方法的電子裝置。
影像辨識技術廣泛運用於瑕疵檢測，相較於傳統以人工檢測提升檢測速度及精準度。瑕疵檢測技術仰賴機器視覺對待判讀影像及已知瑕疵影像來進行比對，故需事先定義瑕疵影像中的瑕疵特徵。基於不同的應用場域，瑕疵影像的內容也會隨著應用領域的影像而有所不同。使用者需依據應用場域定義對應的瑕疵特徵，然而，這樣的作法耗費大量的時間來準備前置作業。
為有效率地找出影像中的瑕疵，神經網路演算法被運用來學習影像中的瑕疵特徵來實現自動化影像瑕疵檢測。神經網路演算法可以從大量輸入的未知影像自行推論出影像特徵，然而，在訓練階段中尚未有從未知影像中推論出瑕疵特徵的有效率的方法。
此外，現有技術的自動編碼器可運用於影像重構，在重構過程中濾除瑕疵，來產生無瑕疵的重構影像。然而，若訓練階段的樣本數量不夠或者訓練影像不存在瑕疵，則自動編碼器模型無從學習瑕疵特徵。換言之，輸入自動編碼器的測試影像中的瑕疵仍會在重構影像中出現，導致自動編碼器的輸出結果不正確，即測試階段的判斷結果之精準度低。
據此，在使用神經網路演算法來檢測影像中的瑕疵的方法中，判讀影像中的瑕疵之準確度不佳的問題仍有待解決。
根據本案的一實施例揭示一種影像瑕疵檢測模型的建立方法，影像瑕疵檢測模型用以檢測影像是否有異常。影像瑕疵檢測模型的建立方法包括：a)使用一無瑕疵樣本影像及一瑕疵樣本影像來生成一第一訓練影像；b)輸入該第一訓練影像至一自動編碼器以輸出一重構影像並計算一第一重構誤差；c)計算該第一訓練影像及該重構影像之間的差異以產生一重構誤差影像；d)使用該第一訓練影像、該重構影像及該重構誤差影像生成一第二訓練影像；e)輸入該第二訓練影像至一影像分割網路以產生一遮罩影像並計算一第二重構誤差；f)根據該第一重構誤差及該第二重構誤差計算一總重構誤差；g)根據該總重構誤差執行該自動編碼器及該影像分割網路的參數的優化；以及h)重複執行步驟a)至步驟g)以完成影像瑕疵檢測模型的建立及參數優化，其中影像瑕疵檢測模型包括自動編碼器及影像分割網路。
根據本案的一實施例揭示一種檢測瑕疵影像的方法，包括：a)獲取一待檢測影像；b)輸入待檢測影像至一自動編碼器並輸出一重構影像；c)計
算待檢測影像及該重構影像的差異以產生一重構誤差影像；d)根據待檢測影像、重構影像及重構誤差影像產生一測試影像；e)輸入測試影像至一影像分割網路以產生一瑕疵遮罩測試影像；以及f)根據瑕疵遮罩測試影像的一指示面積大小來判斷待檢測影像是否為一瑕疵影像。
本案提出的影像處理方法可以自動地擴增用來訓練的影像，於後續測試影像中是否有瑕疵的測試階段，大幅地提升判讀影像中是否有瑕疵以及瑕疵在影像中位置的精準度。
10:電子裝置
110:儲存媒體
120:處理器
150:影像瑕疵檢測模型
155:自動編碼器
157:影像分割網路
159:運算模組
302:無瑕疵樣本影像
304:瑕疵樣本影像
310:第一訓練影像
312:重構影像
314:瑕疵
316:重構誤差影像
318:瑕疵
320:第二訓練影像
328:瑕疵
334:瑕疵遮罩影像
336:過濾區域
338:保留區域
E1:第一誤差函數
E2:第二誤差函數
ES:加權公式
K1:第一重構誤差
K2:第二重構誤差
KS:總重構誤差
S210~S280、S1110~S1180:步驟
圖1為本案根據一實施例所繪示的電子裝置的方塊圖。
圖2為本案根據一實施例所繪示的影像瑕疵檢測模型的建立方法的流程圖。
圖3為本案根據一實施例所繪示的生成第一訓練圖像的示意圖。
圖4為本案根據一實施例所繪示的輸出重構影像的示意圖。
圖5為本案根據一實施例所繪示的計算第一重構誤差的示意圖。
圖6為本案根據一實施例所繪示的產生重構誤差影像的示意圖。
圖7為本案根據一實施例所繪示的生成第二訓練影像的示意圖。
圖8為本案根據一實施例所繪示的產生瑕疵遮罩影像的示意圖。
圖9為本案根據一實施例所繪示的計算第二重構誤差的示意圖。
圖10為本案根據一實施例所繪示的計算總重構誤差的示意圖。
圖11為本案根據一實施例所繪示的瑕疵影像的檢測方法的流程圖。
以下結合圖式和實施例對本案作進一步說明，以使本發明所屬技術領域的相關人員可以更好的理解本發明並能據以實施，但所舉實施例不作為對本發明的限定。
如本文中所使用的，諸如「第一」及「第二」等用語描述了各種元件、組件、區域、層及/或部分，這些元件、組件、區域、層及/或部分不應受這些術語的限制。這些術語僅可用於將一個元素、組件、區域、層或部分與另一個做區分。除非上下文明確指出，否則本文中使用的諸如「第一」及「第二」的用語並不暗示順序或次序。
請參照圖1，其為本案根據一實施例所繪示的電子裝置的方塊圖。電子裝置10包括儲存媒體110及處理器120。儲存媒體110耦接於處理器120。電子裝置10用以建立影像瑕疵檢測模型150。
於一實施例中，影像瑕疵檢測模型150用以檢測影像是否有異常。
儲存媒體110經配置以儲存影像瑕疵檢測模型150。於一實施例中，影像瑕疵檢測模型150係使用神經網路的模型架構來實現。影像瑕疵檢測模型150包括自動編碼器(AutoEncoder)155、影像分割網路157及運算模組159。
於一實施例中，自動編碼器155可以為卷積自動編碼器(CNN AutoEncoder)、稀疏自動編碼器(Sparse AutoEncoder)、降噪自動編碼器(Denoising AutoEncoder)或其他在多層神經網路架構以非監督式學習演算法來實現的自動編碼器。
於一實施例中，影像分割網路(Image Segmentation Network)157可以為物件偵測演算法(例如U-Net或Mask RCNN演算法)，用以偵測影像中的物件並於影像中標記物件輪廓並產生遮罩影像。
運算模組159用以執行自動編碼器155及影像分割網路157以外的其他神經網路運算。
於一實施例中，影像瑕疵檢測模型150包括自動編碼器155、影像分割網路157及運算模組159。於一實施例中，自動編碼器155、影像分割網路157及運算模組159為軟體模型，是由多個程式碼實現，使得處理器120載入多個程式碼後執行自動編碼器155、影像分割網路157及運算模組159的操作。
於一實施例中，影像瑕疵檢測模型150可以為深度學習演算法，例如卷積神經網路(CNN,Convolutional neural network)、遞迴神經網路(RNN,Recurrent Neural Network)、生成對抗網路(GAN,Generative Adversarial Network)、多層感知器(MLP,Multilayer Perceptron)、深度波茲曼機(DBM,Deep Boltzmann Machine)或長短期記憶網路(LSTM,Long Short-Term Memory)。
於一實施例中，處理器可以為但不限於數位訊號處理器(Digital Signal Processor,DSP)、特定用途積體電路(Application Specific Integrated Circuit,ASIC)、中央處理器(Central Processing Unit,CPU)、系統單晶片(System on Chip,SoC)、現場可程式設計閘陣列(Field Programmable Gate Array,FPGA)、網路處理器(Network Processor)晶片或上述元件的組合。
於一實施例中，儲存媒體可以為但不限於隨機存取記憶體(Random Access Memory,RAM)、快閃記憶體(Flash memory)、唯讀記憶體(Read
Only Memory,ROM)、硬碟機(Hard Disk Drive,HDD)、固態硬碟(Solid State Drive,SSD)、光儲存器或上述元件的組合。
於一實施例中，電子裝置10可以為但不限於平板電腦、筆記型電腦、個人電腦、桌上型電腦、主機電腦系統、電腦工作站、影像電腦，或其他具備處理器及/或儲存裝置，而可執行安裝其上及/或雲端的應用程式或可執行儲存在本地端或雲端的指令之電子裝置。
於一實施例中，影像瑕疵檢測模型150可應用於，例如工廠產線產品檢測、晶圓檢測、印刷電路板檢測、公共場域異常檢測，或任何使用機器視覺來實現目的性檢測的場域。
請參照圖2，其為本案根據一實施例所繪示的影像瑕疵檢測模型的建立方法的流程圖。影像瑕疵檢測模型的建立方法可以由圖1的電子裝置10所執行。電子裝置10的處理器120載入儲存媒體110中的多個程式碼以執行多個操作，來實現影像瑕疵檢測模型150的建立與訓練。
於一實施例中，使用者可基於檢測目的事先取得多個無瑕疵樣本影像。無瑕疵樣本影像係指基於所處場域或應用，其內容為正常或正確的影像。舉例而言，於印刷電路板的應用中，無瑕疵樣本影像係指其上的電路元件正確、電路元件的位置正確及配線正確等的印刷電路板影像。另一實施例中，無瑕疵樣本影像可以為被用於訓練學習的影像。
無瑕疵樣本影像可事先儲存於儲存媒體110的影像集合(圖未繪示)。
於步驟S210，運算模組159使用無瑕疵樣本影像及瑕疵樣本影像來生成第一訓練影像。
於一實施例中，第一訓練影像是透過合成無瑕疵樣本影像及瑕疵樣本影像來生成。
請參照圖3，其為本案根據一實施例所繪示的生成第一訓練圖像的示意圖。
如圖3所示，無瑕疵樣本影像302與瑕疵樣本影像304被合成而生成第一訓練影像310。第一訓練影像310包括相同或相似於無瑕疵樣本影像302及瑕疵樣本影像304的影像特徵。
於一實施例中，瑕疵(flaw)樣本影像304包括雜訊(noise)樣本影像及不良(defect)樣本影像。
於一實施例中，運算模組159使用隨機函式產生影像雜訊，並執行仿射變換、透視變換、色彩變換或上述的組合來處理影像雜訊後與無瑕疵樣本影像合成，以產生雜訊樣本影像。
於一實施例中，運算模組159執行仿射變換、透視變換、色彩變換或上述的組合來處理任何可被作為瑕疵的影像後與無瑕疵樣本影像合成，以產生不良(defect)樣本影像。
於一實施例中，儲存媒體110儲存的影像集合包括多個無瑕疵樣本影像及多個瑕疵樣本影像。瑕疵樣本影像的數量及無瑕疵樣本影像的數量之間具有一比例。舉例而言，此比例為1比100，即運算模組159取同一張瑕疵樣本影像及影像集合中所有無瑕疵樣本影像中的100張來分別產生100張的第一訓練影像。此比例用以調整第一訓練影像相對於無瑕疵樣本影像的差異性。
於步驟S220，運算模組159輸入第一訓練影像至自動編碼器155，並由自動編碼器155輸出重構影像並計算第一重構誤差。
請參照圖4，其為本案根據一實施例所繪示的輸出重構影像的示意圖。
如圖4所示，自動編碼器155的輸入影像為第一訓練影像310。自動編碼器155的編碼器(圖未繪示)及解碼器(圖未繪示)對第一訓練影像310執行影像處理之後輸出無瑕疵樣本影像302的重構影像312。
於一實施例中，自動編碼器155具有處理第一訓練影像310中瑕疵的能力(例如濾除瑕疵314)，而將第一訓練影像310轉換為相同或近似於無瑕疵樣本影像302的影像，即重構影像312。重構影像312為自動編碼器155的輸出影像。
承上述實施例，於步驟S220，電子裝置10進一步計算第一重構誤差。於一實施例中，電子裝置10輸入無瑕疵樣本影像302的像素值及重構影像312的像素值至第一誤差函數來計算出第一重構誤差。
於一實施例中，第一誤差函數為：
，其中X i 為無瑕疵樣本影像302的像素值，Y i 為重構影像312的像素值。
請參照圖5，其為本案根據一實施例所繪示的計算第一重構誤差的示意圖。
電子裝置10以第一誤差函數E1逐每個像素計算無瑕疵樣本影像302的像素值及重構影像312的像素值之差平方和後計算平方和的平均值，而得到第一重構誤差K1。第一重構誤差K1呈現無瑕疵樣本影像302與重構影像312兩者整體上的誤差值或差異，反映自動編碼器155當下處理(消除)雜訊的程度。
第一重構誤差K1可被回饋至自動編碼器155作為調整自動編碼器155的參數的要素之一，以優化自動編碼器155處理雜訊的能力。
於步驟S230，運算模組159計算第一訓練影像及重構影像的差異以產生重構誤差影像。
請參照圖6，其為本案根據一實施例所繪示的產生重構誤差影像的示意圖。
如圖6所示，重構影像312與第一訓練影像310之間的差異為重構誤差影像316。
於一實施例中，第一訓練影像310包括瑕疵314，並且重構誤差影像316包括瑕疵318。其中，瑕疵314為被影像處理前的瑕疵特徵，瑕疵318為被影像處理後的瑕疵特徵。瑕疵318會相似於瑕疵314，故重構誤差影像316可被作為另一個類似於瑕疵樣本影像304(如圖3)的瑕疵影像。
於步驟S240，運算模組159使用第一訓練影像310、重構影像312及重構誤差影像316生成第二訓練影像。
請參照圖7，其為本案根據一實施例所繪示的生成第二訓練影像的示意圖。
如圖7所示，運算模組159合併或疊合第一訓練影像310、重構影像312及重構誤差影像316來生成多維度影像(即第二訓練影像320)。
第二訓練影像320為合併或疊合第一訓練影像310、重構影像312及重構誤差影像316所產生，故第二訓練影像320的影像特徵包括瑕疵328，瑕疵328關聯於第一訓練影像310中的瑕疵314及重構誤差影像316中的瑕疵318。
於步驟S250，運算模組159輸入第二訓練影像至影像分割網路157，由影像分割網路157產生遮罩影像並由運算模組159計算第二重構誤差。
請參照圖8，其為本案根據一實施例所繪示的產生瑕疵遮罩影像的示意圖。
如圖8所示，第二訓練影像320被輸入至影像分割網路157。影像分割網路157根據第二訓練影像320的像素及影像特徵來對第二訓練影像320的像素分類為瑕疵或背景。
於一實施例中，影像分割網路157分類第二訓練影像320的所有像素後產生瑕疵遮罩影像334。瑕疵遮罩影像334包括保留區域338及過濾區域336。保留區域338對應於第二訓練影像320的瑕疵328。過濾區域336對應於第二訓練影像320的背景。
於一實施例中，運算模組159使用瑕疵遮罩影像334進行影像處理，濾除被處理影像對應於過濾區域336的影像區塊，並留下對應於保留區域338的影像區塊。於此實施例中，被留下的影像區塊用於指示被處理影像的瑕疵區塊。
於步驟S250，運算模組159進一步計算第二重構誤差。於一實施例中，運算模組159會輸入瑕疵樣本影像304及瑕疵遮罩影像334至第二誤差函數E2，以計算出第二重構誤差K2。
於一實施例中，第二誤差函數為：E2=-α t (1-p t )γ log(p t )，其中p t 為使用此瑕疵遮罩影像334可以正確判斷被處理影像為瑕疵影像或非瑕疵影像的機率，α t 及γ為第二誤差函數E2的係數，屬於用於後續回饋調整影像分割網路157的權重值的超參數。
請參照圖9，其為本案根據一實施例所繪示的計算第二重構誤差的示意圖。
運算模組159以第二誤差函數E2計算瑕疵樣本影像304及瑕疵遮罩影像334之間的差異，以獲得第二重構誤差K2。第二重構誤差K2呈現瑕疵樣本影像304及瑕疵遮罩影像334兩者整體上的誤差值或差異。
於步驟S260，根據第一重構誤差K1及第二重構誤差K2計算總重構誤差。
於一實施例中，運算模組159計算加權公式來得到總重構誤差。
於一實施例中，加權公式為：ES=w 1 E1+w 2 E2，其中w 1及w 2為加權係數(例如總和為100%的比例)。
請參照圖10，其為本案根據一實施例所繪示的計算總重構誤差的示意圖。
如上述說明，於步驟S220計算得到的第一重構誤差K1及於步驟S250計算得到的第二重構誤差K2分別被輸入至加權公式ES。運算模組159使用加權公式ES以加權係數w_1及w_2分別對第一重構誤差K1及第二重構誤差K2進行比例分配，加總後計算得到總重構誤差KS。
於步驟S270，運算模組159根據總重構誤差優化自動編碼器155及影像分割網路157的參數。
於一實施例中，總重構誤差KS可以透過反向傳播法被回授至自動編碼器155及影像分割網路157進行參數優化。
自動編碼器155及影像分割網路157的參數經過調整後，電子裝置10再一次執行前述步驟S210至步驟S270，持續地訓練自動編碼器155及影像分割網路157並調整自動編碼器155及影像分割網路157的參數，以提高自動編碼器155及影像分割網路157的準確度。
於步驟S280，電子裝置10完成自動編碼器155及影像分割網路157的影像訓練及參數優化。
於一實施例中，電子裝置10會判斷每一次的總重構誤差KS是否小於一閥值。若總重構誤差KS小於閥值，則判定已完成影像瑕疵檢測模型150的建立及參數優化。
於建立及優化影像瑕疵檢測模型150後，影像瑕疵檢測模型150可應用於待檢測影像是否為瑕疵影像的檢測。
請參照圖11，其為本案根據一實施例所繪示的瑕疵影像的檢測方法的流程圖。瑕疵影像的檢測方法可以由圖1的電子裝置10所執行。電子裝置10的處理器120載入儲存媒體110中的多個程式碼以執行多個操作，來實現瑕疵影像的檢測。
於步驟S1110，電子裝置10獲取待檢測影像。
於一實施例中，待檢測影像可以為工廠產線產品影像、晶圓影像、印刷電路板影像、公共場域影像，或拍攝自任何場域的影像。
於一實施例中，電子裝置10包括影像擷取模組(例如攝影機)，用於拍攝待測物而獲取待檢測影像。
於步驟S1120，運算模組159輸入待檢測影像至自動編碼器155，並由自動編碼器155輸出檢測重構影像。
於一實施例中，自動編碼器155對待檢測影像執行編碼器運算及解碼器運算後會輸出待檢測影像的檢測重構影像。
於此實施例中，自動編碼器155已經過優化，故可以於此步驟中過濾掉待檢測影像的瑕疵。換言之，檢測重構影像為較待檢測影像更正確的影像。
於步驟S1130，運算模組159計算待檢測影像及檢測重構影像的差異以產生檢測重構誤差影像。
檢測重構誤差影像為待檢測影像及檢測重構影像兩者的差異影像，換言之，此步驟的目的在於擷取出被判定是待檢測影像的瑕疵的影像區塊，並以檢測重構誤差影像來表示。
於步驟S1140，運算模組159根據待檢測影像、檢測重構影像及檢測重構誤差影像來生成測試影像。
於一實施例中，運算模組159合併或疊合待檢測影像、檢測重構影像及檢測重構誤差影像來生成多維度影像(即測試影像)。
由於待檢測影像客觀上存在瑕疵區塊、檢測重構影像為已濾除瑕疵的影像(自動編碼器155認為的無瑕疵影像)，及檢測重構誤差影像為屬於待檢測影像的瑕疵區塊的影像(自動編碼器155認為的瑕疵影像)，將此三個影像合併或疊合後產生的測試影像，可以凸顯客觀上存在的瑕疵及自動編碼器155判定的瑕疵之交集。
於步驟S1150，運算模組159輸入測試影像至影像分割網路157，由影像分割網路157產生瑕疵遮罩測試影像。
於一實施例中，測試影像被輸入至影像分割網路157。影像分割網路157根據測試影像的像素及影像特徵來將測試影像的多個像素區塊分類為瑕疵區域或背景區域。
於一實施例中，影像分割網路157分類測試影像的所有像素區塊後產生瑕疵遮罩測試影像。瑕疵遮罩測試影像包括瑕疵區域及背景區域。瑕疵區
域對應於測試影像的瑕疵的影像區塊。背景區域對應於測試影像的非瑕疵(背景)的影像區塊。
於步驟S1160，運算模組159判斷瑕疵遮罩測試影像的指示面積是否大於閥值。若指示面積等於或小於閥值，則執行步驟S1170。若指示面積大於閥值，則執行步驟S1180。
於一實施例中，指示面積為瑕疵遮罩測試影像的瑕疵區域的面積。
於步驟S1170，由於指示面積小於或等於閥值，代表待測試影像的瑕疵量未超過容忍值，故運算模組159判定待檢測影像為無瑕疵影像。
於步驟S1180，由於指示面積大於閥值，代表待測試影像的瑕疵量超過容忍值，故運算模組159判定待檢測影像為瑕疵影像。
於一實施例中，電子裝置10會發出通知給使用者(例如物品的外觀出現異常的通知)，以供使用者執行對應的處置。
綜上所述，本案提出建立影像瑕疵檢測模型及使用影像瑕疵檢測模型來進行瑕疵影像的檢測，透過加入雜訊樣本及不良樣本至檢測模型的方式來提升訓練模型的多樣性。於檢測階段，檢測結果包括瑕疵在影像中的位置及大小，並根據檢測結果發出待檢測影像是否有瑕疵的通知(即被拍攝的待測物是否有異常)。藉由多個步驟組合而成的影像處理操作來提升模型的參數優化。依據本案的方法所建立的影像瑕疵檢測模型可以提升檢測瑕疵影像的準確性。
以上所述僅為本案的具體實例，非因此即侷限本案的申請專利範圍，故舉凡運用本案內容所為的等效變化，均同理皆包含於本案的範圍內，合予陳明。
S210~S280:步驟
Claims (15)
- 一種影像瑕疵檢測模型的建立方法，該影像瑕疵檢測模型用以檢測影像是否有異常，該方法包括：a)使用一無瑕疵樣本影像及一瑕疵樣本影像來生成一第一訓練影像；b)輸入該第一訓練影像至一自動編碼器以輸出一重構影像並計算一第一重構誤差；c)計算該第一訓練影像及該重構影像之間的差異以產生一重構誤差影像；d)使用該第一訓練影像、該重構影像及該重構誤差影像生成一第二訓練影像；e)輸入該第二訓練影像至一影像分割網路以產生一遮罩影像並計算一第二重構誤差；f)根據該第一重構誤差及該第二重構誤差計算一總重構誤差；g)根據該總重構誤差執行該自動編碼器及該影像分割網路的參數的優化；以及h)重複執行步驟a)至步驟g)以完成該影像瑕疵檢測模型的建立及參數優化，其中該影像瑕疵檢測模型包括該自動編碼器及該影像分割網路。
- 如請求項1所述的方法，其中步驟a)之前包括：使用一隨機函式生成一雜訊樣本影像並合成該雜訊樣本影像及該無瑕疵樣本影像以獲得該瑕疵樣本影像；或者變換一不良樣本影像並合成變換後的該不良樣本影像及該無瑕疵樣本影像以獲得該瑕疵樣本影像。
- 如請求項1所述的方法，其中步驟b)包括： 輸入該無瑕疵樣本影像的像素值及該重構影像的像素值至一第一誤差函數進行計算以得到該第一重構誤差。
- 如請求項1所述的方法，其中步驟d)包括：合併該第一訓練影像、該重構影像及該重構誤差影像來生成該第二訓練影像。
- 如請求項1所述的方法，其中步驟e)包括：透過該影像分割網路分類該第二訓練影像的像素以獲得對應於瑕疵的一保留區域及對應於背景的一過濾區域；以及輸出包括該保留區域及該過濾區域的該遮罩影像。
- 如請求項5所述的方法，其中步驟e)包括：輸入該瑕疵樣本影像的像素值及該遮罩影像的像素值至一第二誤差函數進行計算以得到該第二重構誤差。
- 如請求項6所述的方法，其中步驟f)包括：使用一第一權重及一第二權重分別對該第一重構誤差及該第二重構誤差進行加權計算，以獲得該總重構誤差。
- 如請求項7所述的方法，其中步驟g)包括：根據該第二誤差函數的參數值、該第一權重及該第二權重調整該自動編碼器及該影像分割網路的參數。
- 如請求項8所述的方法，其中步驟h)包括：重複執行步驟a)至步驟g)至該總重構誤差小於一閥值時完成該影像瑕疵檢測模型的建立及參數優化。
- 一種用於建立影像瑕疵檢測模型的電子裝置，包括：一儲存媒體，經配置以儲存該影像瑕疵檢測模型；以及一處理器，耦接該儲存媒體，經配置以執行如請求項1至9中任一項的方法。
- 一種使用如請求項1至9中任一項的方法所建立的該影像瑕疵檢測模型來檢測瑕疵影像的方法，包括：a1)獲取一待檢測影像；b1)輸入該待檢測影像至該自動編碼器並輸出一檢測重構影像；c1)計算該待檢測影像及該檢測重構影像的差異以產生一檢測重構誤差影像；d1)根據該待檢測影像、該檢測重構影像及該檢測重構誤差影像產生一測試影像；e1)輸入該測試影像至該影像分割網路以產生一瑕疵遮罩測試影像；以及f1)根據該瑕疵遮罩測試影像的一指示面積大小來判斷該待檢測影像是否為一瑕疵影像。
- 如請求項11所述的方法，其中步驟d1)包括：合併該待檢測影像、該檢測重構影像及該檢測重構誤差影像來生成該測試影像。
- 如請求項11所述的方法，其中步驟e1)包括：透過該影像分割網路分類該測試影像的像素以獲得一瑕疵區域及一背景區域；以及輸出包括該瑕疵區域及該背景區域的該瑕疵遮罩測試影像。
- 如請求項12所述的方法，其中步驟f1)包括：計算該瑕疵遮罩測試影像的該瑕疵區域的面積以獲得該指示面積；若該指示面積大於一閥值，判斷該待檢測影像為該瑕疵影像；及若該指示面積小於或等於該閥值，判斷該待檢測影像為一無瑕疵影像。
- 一種用於檢測瑕疵影像的電子裝置，包括： 一儲存媒體，經配置以儲存該瑕疵影像檢測模型；以及一處理器，耦接該儲存媒體，經配置以執行如請求項11的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112120504A TWI843591B (zh) | 2023-06-01 | 2023-06-01 | 影像瑕疵檢測模型的建立方法、瑕疵影像的檢測方法及電子裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112120504A TWI843591B (zh) | 2023-06-01 | 2023-06-01 | 影像瑕疵檢測模型的建立方法、瑕疵影像的檢測方法及電子裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI843591B true TWI843591B (zh) | 2024-05-21 |
| TW202449726A TW202449726A (zh) | 2024-12-16 |
Family
ID=92077270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112120504A TWI843591B (zh) | 2023-06-01 | 2023-06-01 | 影像瑕疵檢測模型的建立方法、瑕疵影像的檢測方法及電子裝置 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI843591B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI877045B (zh) * | 2024-07-11 | 2025-03-11 | 華碩電腦股份有限公司 | 瑕疵檢測模型之最佳化方法及電子裝置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021142622A1 (zh) * | 2020-01-14 | 2021-07-22 | 京东方科技集团股份有限公司 | 确定不良原因的方法、电子设备、存储介质及系统 |
| US20210374928A1 (en) * | 2020-05-26 | 2021-12-02 | Fujitsu Limited | Defect detection method and apparatus |
| TWI762193B (zh) * | 2021-02-09 | 2022-04-21 | 鴻海精密工業股份有限公司 | 圖像瑕疵檢測方法、裝置、電子設備及存儲介質 |
| TW202225674A (zh) * | 2020-12-29 | 2022-07-01 | 鴻海精密工業股份有限公司 | 產品瑕疵檢測方法及電腦裝置 |
| CN114764774A (zh) * | 2021-01-12 | 2022-07-19 | 富泰华工业（深圳）有限公司 | 瑕疵检测方法、装置、电子设备及计算机可读存储介质 |
| TW202232380A (zh) * | 2021-02-09 | 2022-08-16 | 鴻海精密工業股份有限公司 | 圖像瑕疵檢測方法、電子設備及存儲介質 |
-
2023
- 2023-06-01 TW TW112120504A patent/TWI843591B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021142622A1 (zh) * | 2020-01-14 | 2021-07-22 | 京东方科技集团股份有限公司 | 确定不良原因的方法、电子设备、存储介质及系统 |
| US20210374928A1 (en) * | 2020-05-26 | 2021-12-02 | Fujitsu Limited | Defect detection method and apparatus |
| TW202225674A (zh) * | 2020-12-29 | 2022-07-01 | 鴻海精密工業股份有限公司 | 產品瑕疵檢測方法及電腦裝置 |
| CN114764774A (zh) * | 2021-01-12 | 2022-07-19 | 富泰华工业（深圳）有限公司 | 瑕疵检测方法、装置、电子设备及计算机可读存储介质 |
| TWI762193B (zh) * | 2021-02-09 | 2022-04-21 | 鴻海精密工業股份有限公司 | 圖像瑕疵檢測方法、裝置、電子設備及存儲介質 |
| TW202232380A (zh) * | 2021-02-09 | 2022-08-16 | 鴻海精密工業股份有限公司 | 圖像瑕疵檢測方法、電子設備及存儲介質 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI877045B (zh) * | 2024-07-11 | 2025-03-11 | 華碩電腦股份有限公司 | 瑕疵檢測模型之最佳化方法及電子裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202449726A (zh) | 2024-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619618B (zh) | 一种表面缺陷检测方法、装置及电子设备 | |
| US12217411B2 (en) | Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program | |
| JP2024509411A (ja) | 欠陥検出方法、装置及びシステム | |
| WO2020031984A1 (ja) | 部品の検査方法及び検査システム | |
| WO2024208102A1 (zh) | 基于深度学习的换向器内侧图像缺陷目标检测方法 | |
| CN112150460B (zh) | 检测方法、检测系统、设备和介质 | |
| CN113807378A (zh) | 训练数据增量方法、电子装置与计算机可读记录介质 | |
| CN106023154A (zh) | 基于双通道卷积神经网络的多时相sar图像变化检测方法 | |
| CN113657539A (zh) | 基于两阶段检测网络的显示面板微缺陷检测方法 | |
| TWI843591B (zh) | 影像瑕疵檢測模型的建立方法、瑕疵影像的檢測方法及電子裝置 | |
| CN120125585A (zh) | 一种基于改进YOLOv10的PCB表面缺陷检测系统及方法 | |
| CN117274258B (zh) | 主板图像的缺陷检测方法、系统、设备及存储介质 | |
| JP7070308B2 (ja) | 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム | |
| JP2021143884A (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| JP7459697B2 (ja) | 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法 | |
| KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 | |
| Supong et al. | PCB Surface Defect Detection Using Defect-Centered Image Generation and Optimized YOLOv8 Architecture | |
| CN119130886A (zh) | 影像瑕疵检测模型建立方法、影像检测方法及电子装置 | |
| JP2022029262A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および学習装置 | |
| CN118261997A (zh) | 模板图像生成模型建立方法、图像生成方法、装置和设备 | |
| JP7446697B2 (ja) | 教師データ作成方法及び作成装置 | |
| CN116993698B (zh) | 织物瑕疵检测方法、装置、终端设备及介质 | |
| CN107123105A (zh) | 基于fast算法的图像匹配缺陷检测方法 | |
| CN118397006B (zh) | 基于图像识别的电路板焊接不良检测方法及系统 |