TWI867790B - 瑕疵檢測方法、瑕疵檢測設備及儲存介質 - Google Patents

Abstract

本申請提供一種瑕疵檢測方法、瑕疵檢測設備及儲存介質，所述方法獲取待檢測產品的第一圖像以及所述第一圖像的第一瑕疵檢測結果；對所述待檢測產品進行清潔，並獲取清潔後的所述待檢測產品的第二圖像以及所述第二圖像的第二瑕疵檢測結果；基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測結果。利用上述方法能夠提高瑕疵檢測的準確率。

Description

瑕疵檢測方法、瑕疵檢測設備及儲存介質

本發明涉及產品檢測技術領域，具體涉及一種瑕疵檢測方法、瑕疵檢測設備及儲存介質。

產品的表面缺陷不僅破壞產品的美感和舒適度，還可能對產品的性能造成嚴重損害。相關技術中基於產品的圖像進行瑕疵檢測時，可能會出現將產品表面的髒汙誤判為瑕疵的情況，導致產品的瑕疵檢測的準確率降低。

鑒於以上內容，有必要提出一種瑕疵檢測方法、瑕疵檢測設備及儲存介質，能夠解決由於產品表面的髒汙導致的產品瑕疵檢測的準確率降低的問題。

本申請的實施例提供一種瑕疵檢測方法，所述方法包括：獲取待檢測產品的第一圖像以及所述第一圖像的第一瑕疵檢測結果；對所述待檢測產品進行清潔，並獲取清潔後的所述待檢測產品的第二圖像以及所述第二圖像的第二瑕疵檢測結果；基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測結果。

在一個實施例中，獲取所述第一瑕疵檢測結果的方法包括：利用預先訓練的瑕疵檢測模型對所述第一圖像進行瑕疵檢測，獲得所述第一瑕疵檢測結果。

在一個實施例中，所述方法還包括：當所述第一瑕疵檢測結果指示所述第一圖像存在第一瑕疵時，確定所述第一瑕疵所在的第一位置；當所述第二瑕疵檢測結果指示所述第二圖像存在第二瑕疵時，確定所述第二瑕疵所在的第二位置。

在一個實施例中，所述對所述待檢測產品進行清潔包括：確定與所述待檢測產品的生產工序相對應的清潔工序，根據所述清潔工序對所述待檢測產品進行清潔。

在一個實施例中，所述基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測結果包括：當存在所述第一瑕疵且不存在所述第二瑕疵時，確定所述第一瑕疵為表面髒汙，並且確定所述第三瑕疵檢測結果為不存在實質瑕疵；或當所述第一位置與所述第二位置不在同一位置時，確定所述第一瑕疵與所述第二瑕疵都為表面髒汙，並且確定所述第三瑕疵檢測結果為不存在實質瑕疵；或當所述第一位置與所述第二位置在同一位置時，確定所述第三瑕疵檢測結果為存在實質瑕疵；或當不存在所述第一瑕疵且存在所述第二瑕疵時，確定所述第二瑕疵為表面髒汙，並且確定所述第三瑕疵檢測結果為不存在實質瑕疵。

在一個實施例中，所述瑕疵檢測模型包括基於分割網路的瑕疵檢測模型，所述基於分割網路的瑕疵檢測模型的模型結構包括分割網路與決策網路構成的兩段式網路結構。

在一個實施例中，所述瑕疵檢測模型還包括基於全卷積神經網路的瑕疵檢測模型、基於編碼器與解碼器的瑕疵檢測模型中的一種或多種。

本申請的實施例提供一種瑕疵檢測裝置，所述裝置包括：獲取模組，用於獲取待檢測產品的第一圖像以及所述第一圖像的第一瑕疵檢測結果；清潔模組，用於對所述待檢測產品進行清潔，並獲取清潔後的所述待檢測產品的第二圖像以及所述第二圖像的第二瑕疵檢測結果；確定模組，用於基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測 結果。

本申請的實施例提供一種瑕疵檢測設備，所述瑕疵檢測設備包括：至少一個攝像裝置，用於拍攝待檢測產品的圖像；清潔裝置，用於對所述待檢測產品進行清潔；處理器和儲存器，所述處理器用於執行所述儲存器中儲存的電腦程式時實現所述瑕疵檢測方法。

本申請的實施例提供一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，所述電腦程式被處理器執行時實現所述瑕疵檢測方法。

綜上所述，本申請所述的瑕疵檢測方法，首先獲取待檢測產品的第一圖像與第一圖像的第一瑕疵檢測結果；之後為了確定第一瑕疵檢測結果中存在的瑕疵是否為表面髒汙，對待檢測產品進行清潔後獲取待檢測產品的第二圖像以及所述第二圖像的第二瑕疵檢測結果；然後基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測結果，能夠避免將產品表面的髒汙誤判為產品瑕疵，提高產品瑕疵檢測的準確率。

10:瑕疵檢測設備

101:通信模組

102:儲存器

103:處理器

104:I/O介面

105:匯流排

106:攝像裝置

107:清潔裝置

108:傳送裝置

40:瑕疵檢測裝置

401:獲取模組

402:清潔模組

403:確定模組

S21~S23:步驟

為了更清楚地說明本申請實施例或習知技術中的技術方案，下面將對實施例或習知技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。

圖1是本申請一實施例提供的瑕疵檢測設備的結構圖。

圖2是本申請一實施例提供的瑕疵檢測方法的流程圖。

圖3是本申請一實施例提供的產品在裝置之間的傳送環境的示例圖。

圖4是本申請一實施例提供的第一位置的示例圖。

圖5是本申請一實施例提供的第一瑕疵檢測結果與第二瑕疵檢測結果的示例圖。

圖6是本申請另一實施例提供的第一瑕疵檢測結果與第二瑕疵檢測結果的示例圖。

圖7是本申請又一實施例提供的第一瑕疵檢測結果與第二瑕疵檢測結果的示例圖。

圖8是本申請再一實施例提供的第一瑕疵檢測結果與第二瑕疵檢測結果的示例圖。

圖9是本申請一實施例提供的瑕疵檢測裝置的結構圖。

為了能夠更清楚地理解本申請的上述目的、特徵和優點，下面結合附圖和具體實施例對本申請進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。

除非另有定義，本文所使用的所有的技術和科學術語與屬於本申請的技術領域的技術人員通常理解的含義相同。本文中在本申請的說明書中所使用的術語只是為了描述在一個實施例中實施例的目的，不是旨在於限制本申請。

需要說明的是，本申請中“至少一個”是指一個或者多個，“多個”是指兩個或多於兩個。“和/或”，描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B可以表示：單獨存在A，同時存在A和B，單獨存在B的情況，其中A，B可以是單數或者複數。本申請的說明書和請求項書及附圖中的術語“第一”、“第二”、“第三”、“第四”等(如果存在)是用於區別類似的物件，而不是用於描述特定的順序或先後次序。

在本申請實施例中，“示例性的”或者“例如”等詞用於表示作例子、例證或說明。本申請實施例中被描述為“示例性的”或者“例如”的任何實施例或設計方案不應被解釋為比其它實施例或設計方案更優選或更具優勢。確切而言，使用“示例性的”或者“例如”等詞旨在以具體方式呈現相關概念。在不衝突的情 況下，下述的實施例及實施例中的特徵可以相互組合。

在一個實施例中，產品的表面缺陷不僅破壞產品的美感和舒適度，還可能對產品的性能造成嚴重損害。相關技術中基於產品的圖像進行瑕疵檢測時，可能會出現將產品表面的髒汙誤判為瑕疵的情況，導致產品的瑕疵檢測的準確率降低。

為解決上述問題，本申請實施例提供一種瑕疵檢測方法，首先獲取待檢測產品的第一圖像與第一圖像的第一瑕疵檢測結果；之後為了確定第一瑕疵檢測結果中存在的瑕疵是否為表面髒汙，對待檢測產品進行清潔後獲取待檢測產品的第二圖像以及所述第二圖像的第二瑕疵檢測結果；然後基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測結果，能夠避免將產品表面的髒汙誤判為產品瑕疵，提高產品瑕疵檢測的準確率。

圖1為本申請實施例提供的一種瑕疵檢測設備的結構示意圖，本申請實施例對瑕疵檢測設備的具體類型不作任何限制。

如圖1所示，該瑕疵檢測設備10可以包括通信模組101、儲存器102、處理器103、輸入/輸出(Input/Output，I/O)介面104及匯流排105。處理器103透過匯流排105分別耦合於通信模組101、儲存器102、I/O介面104、至少一個攝像裝置106、清潔裝置107、傳送裝置108。

通信模組101可以包括有線通信模組和/或無線通訊模組。有線通信模組可以提供通用序列匯流排(universal serial bus,USB)、控制器局域網匯流排(Controller Area Network,CAN)等有線通信的解決方案中的一種或多種。無線通訊模組可以提供無線保真(wireless fidelity,Wi-Fi)，藍牙(bluetooth,BT)，移動通信網路，調頻(frequency modulation,FM)，近距離無線通訊技術(near field communication,NFC)，紅外技術(infrared,IR)等無線通訊的解決方案中的一種或多種。

儲存器102可以包括一個或多個隨機存取儲存器(random access memory,RAM)和一個或多個非易失性儲存器(non-volatile memory,NVM)。隨機存取儲存器可以由處理器103直接進行讀寫，可以用於儲存作業系統或其他正在運行中的程式的可執行程式(例如機器指令)，還可以用於儲存用戶及應用的資料等。隨機存取儲存器可以包括靜態隨機儲存器(static random-access memory,SRAM)、動態隨機儲存器(dynamic random access memory,DRAM)、同步動態隨機儲存器(synchronous dynamic random access memory,SDRAM)、雙倍資料率同步動態隨機存取儲存器(double data rate synchronous dynamic random access memory,DDR SDRAM)等。

非易失性儲存器也可以儲存可執行程式和儲存用戶及應用的資料等，可以提前載入到隨機存取儲存器中，用於處理器103直接進行讀寫。非易失性儲存器可以包括磁碟儲存元件、快閃儲存器(flash memory)。

儲存器102用於儲存一個或多個電腦程式。一個或多個電腦程式被配置為被處理器103執行。該一個或多個電腦程式包括多個指令，多個指令被處理器103執行時，可實現在瑕疵檢測設備10上執行的瑕疵檢測方法。

在其他實施例中，所述瑕疵檢測設備10還包括外部儲存器介面，用於連接外部的儲存器，實現擴展瑕疵檢測設備10的儲存能力。

處理器103可以包括一個或多個處理單元，例如：處理器103可以包括應用處理器(application processor,AP)，調製解調處理器，圖形處理器(graphics processing unit,GPU)，圖像訊號處理器(image signal processor,ISP)，控制器，視頻轉碼器，數位訊號處理器(digital signal processor,DSP)，基帶處理器，和/或神經網路處理器(neural-network processing unit,NPU)等。其中，不同的處理單元可以是獨立的元件，也可以集成在一個或多個處理器中。

處理器103提供計算和控制能力，例如，處理器103用於執行儲存器102內儲存的電腦程式，以實現上述的瑕疵檢測方法。

I/O介面104用於提供用戶輸入或輸出的通道，例如I/O介面104可用於連接各種輸入輸出設備，例如，滑鼠、鍵盤、觸控裝置、顯示螢幕等，使 得用戶可以錄入資訊，或者使資訊視覺化。

匯流排105至少用於提供瑕疵檢測設備10中的通信模組101、儲存器102、處理器103、I/O介面104、攝像裝置106、清潔裝置107、傳送裝置108之間相互通信的通道。

攝像裝置106用於拍攝產品的圖像；清潔裝置107用於對產品進行清潔，例如，清潔裝置107可以包括多種生產工序相對應的清潔工序(例如靜電毛刷、高壓風槍等)；傳送裝置108用於將產品在攝像裝置106所在的位置與清潔裝置107所在的位置之間移動，例如，傳送裝置108可以包括但不限於傳送帶、機械臂等。

可以理解的是，本申請實施例示意的結構並不構成對瑕疵檢測設備10的具體限定。在本申請另一些實施例中，瑕疵檢測設備10可以包括比圖示更多或更少的部件，或者組合某些部件，或者拆分某些部件，或者不同的部件佈置。圖示的部件可以以硬體，軟體或軟體和硬體的組合實現。

圖2是本申請一實施例提供的瑕疵檢測方法的流程圖。所述瑕疵檢測方法應用於瑕疵檢測設備中，例如圖1中的瑕疵檢測設備10，具體包括以下步驟，根據不同的需求，該流程圖中步驟的順序可以改變，某些可以省略。

S21，獲取待檢測產品的第一圖像以及所述第一圖像的第一瑕疵檢測結果。

在一個實施例中，所述待檢測產品可以是工廠生產的任一種要對其進行瑕疵檢測的產品，例如，待檢測產品可以是包含文字或圖像的化妝品說明書、金屬板等。待檢測產品的瑕疵可以包括多種類別，例如，文字殘缺、表面刮痕、表面裂縫等。此外，由於產品生產過程中無法實現真空，產品表面可能附著有生產環境中飄散的髒汙(例如粉塵，毛絮)，導致待檢測產品的瑕疵包括產品的表面髒汙。由於表面髒汙是可以透過清潔去除的瑕疵，因此可以將表面髒汙視為非實質瑕疵，將非表面髒汙視為實質瑕疵，即待檢測產品的瑕疵可以包括兩大類，分別是非實質瑕疵與實質瑕疵。

在一個實施例中，可以使用瑕疵檢測設備的傳送裝置(例如圖1所示的攝像裝置106)將待檢測產品傳送至攝像裝置(例如圖1所示的攝像裝置106)所在的位置，使用攝像裝置拍攝待檢測產品獲得待檢測產品的第一圖像。

例如圖3所示，傳送裝置可以是傳送帶，傳送裝置兩側可以安裝有多個感測器(例如壓力感測器、紅外線感測器等)；當使用感測器檢測到待檢測產品已經被放置於傳送帶上時，瑕疵檢測設備控制傳送帶將待檢測產品傳送至攝像裝置(例如圖3所示第一攝像裝置)所在的位置，使用攝像裝置拍攝待檢測產品獲得所述第一圖像。

在一個實施例中，為了提高對第一圖像進行瑕疵檢測的準確率，在對第一圖像進行瑕疵檢測之前，所述方法還包括：對所述第一圖像進行預處理，所述預處理包括但不限於：尺寸調整，例如，將第一圖像的尺寸調整為瑕疵檢測模型所需輸入的大小；圖像優化，例如，基於插值演算法(例如雙線性插值演算法)對第一圖像的紋理清晰度進行提升；灰度處理，例如使用加權平均法等將第一圖像轉化為灰度圖像；濾波處理，例如使用預設的濾波器(例如均值濾波器、中值濾波器等)對第一圖像進行平滑處理以去除雜訊。

在一個實施例中，獲取所述第一瑕疵檢測結果的方法包括：利用預先訓練的瑕疵檢測模型對所述第一圖像進行瑕疵檢測，獲得所述第一瑕疵檢測結果。所述第一瑕疵檢測結果可以包括第一圖像是否存在第一瑕疵，以及第一圖像存在第一瑕疵時第一瑕疵的瑕疵類別。

在一個實施例中，所述瑕疵檢測模型可以是基於語義分割(Semantic Segmentation)演算法的深度學習網路模型。

在一個示例中，所述瑕疵檢測模型包括基於全卷積神經網路(Fully Convolutional Network,FCN)的瑕疵檢測模型。具體地，普通的卷積神經網路(Convolution Neural Network,CNN)中利用卷積層提取輸入圖像的圖像特徵，利用池化層對卷積層提取的圖像特徵進行降採樣以保留重要特徵並降低資料維度，利用全連接層使用啟動函數(例如，sigmoid、softmax等)對卷積層與 池化層的輸出進行啟動以得到圖像特徵的分類結果。相較於CNN而言，FCN將CNN末尾的全連接層替換為卷積層，FCN可以接受任意尺寸的第一圖像，並輸出與輸入的第一圖像的尺寸相同的第一特徵圖，第一特徵圖中每個圖元點都有對應的語義分割的瑕疵檢測結果，從而得到第一圖像的第一瑕疵檢測結果。其中，圖元點的瑕疵檢測結果可以包括是否屬於瑕疵圖元點以及對應的瑕疵類別，例如，某圖元點的瑕疵檢測結果可以是屬於瑕疵圖元點，且所述瑕疵圖元點對應的瑕疵類別為表面刮痕瑕疵。當第一圖像中存在瑕疵圖元點時，確定第一圖像的第一瑕疵檢測結果為存在瑕疵；當第一圖像中不存在瑕疵圖元點時，確定第一圖像的第一瑕疵檢測結果為不存在瑕疵。

在另一個示例中，所述瑕疵檢測模型還包括基於編碼器與解碼器(Encoder/Decoder-Based)的瑕疵檢測模型。具體地，基於編碼器與解碼器的瑕疵檢測模型對第一圖像進行瑕疵檢測包括：利用編碼器中交替分佈的多個卷積層與池化層對第一圖像進行低維度特徵的提取；利用解碼器對所述低維度特徵進行反卷積與上採樣處理，將低維度特徵還原至與第一圖像相同的尺寸，得到第一圖像的第一瑕疵檢測結果。其中，解碼器的網路結構包括與編碼器的網路結構相反的交替分佈的多個卷積層與池化層。還可以使用U-Net結構將編碼器的編碼過程中產生的尺寸結果運用與解碼器的解碼過程，以提高解碼過程的穩定性。

在又一個示例中，所述瑕疵檢測模型還包括基於分割網路(Segmentation Network)的瑕疵檢測模型，所述基於分割網路的瑕疵檢測模型的模型結構包括分割網路與決策網路構成的兩段式網路結構。具體地，分割網路的前部網路結構與上述的普通的CNN的結構類似，在最後一層卷積層採用預設尺寸(例如1×1×1024)的卷積核將倒數第二層卷積層的較高維度的特徵提取結果(例如1024組特徵提取結果)降維至一維，得到第一圖像中瑕疵特徵的特徵圖像(例如掩膜圖像)，其後分割網路使用池化層對卷積層輸出的特徵圖像進行融合與降維操作，得到更為簡潔的特徵表示；決策網路接收分割網路 的輸出結果，並對其進行全域最大池化(Max Pooling)和平均池化(Average Pooling)處理，其中，全域最大池化提取第一圖像中有瑕疵的最大可能性區域，平均池化則可以得到第一圖像中每個圖元點的平均瑕疵概率，透過全連接層將全域最大池化和平均池化處理的結果被合併起來，計算得到第一圖像的第一瑕疵檢測結果。

在其他示例中，還可以使用跳躍連接機制將瑕疵檢測模型的不同層的輸出直接連接起來，從而允許資訊在瑕疵檢測模型的網路中更自由地流動，以說明網路更好地學習和理解輸入資料的特徵，解決長序列資料處理中的梯度消失和梯度爆炸問題。例如，跳躍連接機制可以包括但不限於殘差連接(Residual connection)或長短期記憶(Long Short-Term Memory Network,LSTM)結構。

在一個實施例中，以基於分割網路的瑕疵檢測模型為例，瑕疵檢測模型的訓練方法包括：獲取樣本集，所述樣本集包括瑕疵分割訓練資料、瑕疵決策訓練資料、測試資料；使用瑕疵分割訓練資料對初始分割模型進行訓練，得到用於識別並分割出圖像中的瑕疵的分割模型；使用瑕疵決策訓練資料對初始決策模型進行訓練，得到用於根據瑕疵的特徵對瑕疵進行分類的決策模型；將瑕疵分割模型和瑕疵決策模型組合為瑕疵檢測模型；使用測試資料與預設損失函數對訓練好的瑕疵檢測模型進行測試，驗證訓練好的瑕疵檢測模型的準確性和精度；若準確性和精度未超出預設閾值，調整模型參數(例如學習速率、優化器、損失函數等)並重複步上述流程，直至得到準確性和精度未超出預設閾值的訓練好的瑕疵檢測模型。

在一個實施例中，所述方法還包括：當所述第一瑕疵檢測結果指示所述第一圖像存在第一瑕疵時，確定所述第一瑕疵所在的第一位置。具體地，可以生成第一瑕疵的第一矩形包圍框(例如圖4所示)，使用第一矩形包圍框的任一角點或中心點的位置作為第一瑕疵所在的第一位置(例如圖4所示)。

在一個實施例中，還可以以所述第一圖像的左下角為座標原點建立 第一座標系，第一座標系以所述第一圖像的長邊所在直線為橫軸並且以所述第一圖像的寬邊所在直線為縱軸，可以以一個圖元點的大小為單位長度，從而確定第一位置在第一座標系中的第一座標。

步驟S22，對所述待檢測產品進行清潔，並獲取清潔後的所述待檢測產品的第二圖像以及所述第二圖像的第二瑕疵檢測結果。

在一個實施例中，為了確定第一瑕疵檢測結果指示的瑕疵是否為實質瑕疵，可以對所述待檢測產品進行清潔。所述對所述待檢測產品進行清潔包括：確定與所述待檢測產品的生產工序相對應的清潔工序，根據所述清潔工序對所述待檢測產品進行清潔。例如，待檢測產品的生產工序的環境中有粉塵時可選用高壓風槍作為清潔工序，待檢測產品的生產工序的環境中有毛絮和粉塵時可選用靜電毛刷作為清潔工序。

在一個實施例中，例如圖3所示，可以使用傳送裝置將待檢測產品從拍攝第一圖像的攝像裝置(例如圖3所示第一攝像裝置)所在的位置傳送至對應的清潔裝置所在的位置，在完成清潔後再使用傳送裝置將待檢測產品從清潔裝置所在的位置傳送至攝像裝置(例如圖3所示第二攝像裝置)所在的位置，使用攝像裝置拍攝清潔後的待檢測產品獲得待檢測產品的第二圖像。

在一個實施例中，在對第二圖像進行瑕疵檢測之前，所述方法還包括對所述第二圖像進行如步驟S21中所述的預處理，並且預處理後的第二圖像與預處理後的第一圖像的尺寸相同，預處理後的第二圖像中的清潔後的待檢測產品與預處理後的第一圖像中清潔前的待檢測產品的大小一致、在圖像中的位置一致。

在一個實施例中，獲取第二圖像的第二瑕疵檢測結果的方法包括；利用如步驟S21中所述的瑕疵檢測模型對所述第二圖像進行瑕疵檢測，獲得所述第二瑕疵檢測結果。

在一個實施例中，所述方法還包括：當所述第二瑕疵檢測結果指示所述第二圖像存在第二瑕疵時，確定所述第二瑕疵所在的第二位置。具體地， 可以生成第二瑕疵的第二矩形包圍框，使用第二矩形包圍框的任一角點或中心點的位置作為第二瑕疵所在的第二位置。其中，第二位置的選擇方式與第一位置的選擇方式相同，例如，第一位置使用的是第一矩形包圍框的中心點，則第二位置使用的是第二矩形包圍框的中心點；或者，第一位置使用的是第一矩形包圍框的左上角點，則第二位置使用的是第二矩形包圍框的左上角點。例如，以所述第二圖像的左下角為座標原點建立第二座標系，第二座標系以所述第二圖像的長邊所在直線為橫軸並且以所述第二圖像的寬邊所在直線為縱軸，可以以一個圖元點的大小為單位長度，從而確定第二位置在第二座標系中的第二座標。

步驟S23，基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測結果。

在一個實施例中，所述基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測結果包括：當存在所述第一瑕疵且不存在所述第二瑕疵時，確定所述第一瑕疵為表面髒汙，並且確定所述第三瑕疵檢測結果為不存在實質瑕疵(例如圖5所示)；或當所述第一位置與所述第二位置不在同一位置時，確定所述第一瑕疵與所述第二瑕疵都為表面髒汙，並且確定所述第三瑕疵檢測結果為不存在實質瑕疵(例如圖6所示)；或當所述第一位置與所述第二位置在同一位置時，確定所述第三瑕疵檢測結果為存在實質瑕疵(例如圖7所示)；或當不存在所述第一瑕疵且存在所述第二瑕疵時，確定所述第二瑕疵為表面髒汙，並且確定所述第三瑕疵檢測結果為不存在實質瑕疵(例如圖8所示)。

在一個實施例中，當不存在所述第一瑕疵且不存在所述第二瑕疵時確定所述第三瑕疵檢測結果為不存在實質瑕疵。

在一個實施例中，確定所述第一位置與所述第二位置是否在同一位置時可以計算第一座標與第二座標之間的歐氏距離，當該歐氏距離等於0時，確定第一位置與所述第二位置在同一位置；或當該歐氏距離不等於0時，確定第一位置與所述第二位置不在同一位置。

在一個實施例中，確定所述待檢測產品的第三瑕疵檢測結果後，所述方法還可以包括：將所述待檢測產品的第一圖像、第二圖像、第一瑕疵檢測結果、第二瑕疵檢測結果、第三瑕疵檢測結果發送至負責所述待檢測產品的用戶，接收用戶對所述待檢測產品的複檢結果，所述複檢結果包括所述第三瑕疵檢測結果是否準確的判定結果。

在一個實施例中，本申請實施例提供的瑕疵檢測方法，利用非實質瑕疵在外力作用下可以移動的特性，對產品進行兩次取像，第一次取像前不做任何清潔處理，第一次取像後進行第一次瑕疵判定並對產品進行清潔；根據第一次瑕疵判定出的瑕疵位置，針對有瑕疵的區域進行第二次取像並進行第二次瑕疵判定；比對兩次瑕疵判定的結果，若第二次瑕疵判定出的瑕疵位置與第一次瑕疵判定出的瑕疵位置相比出現位移或消失，則可以將這些瑕疵判定為表面髒汙的非實質瑕疵，從而避免誤判以提高瑕疵檢測的準確率。此外，能夠無需使用負壓室設備等昂貴清潔裝置對產品進行清潔後再對產品進行瑕疵檢測，降低了瑕疵檢測的成本。

圖9是本申請一實施例提供的瑕疵檢測裝置的結構圖。

在一些實施例中，所述瑕疵檢測裝置40可以包括多個由電腦程式段所組成的功能模組。所述瑕疵檢測裝置40中的各個程式段的電腦程式可以儲存於瑕疵檢測設備的儲存器中，並由至少一個處理器所執行，以執行(詳見圖2描述)瑕疵檢測的功能。

本實施例中，所述瑕疵檢測裝置40根據其所執行的功能，可以被劃分為多個功能模組。所述功能模組可以包括：獲取模組401、清潔模組402、確定模組403。本申請所稱的模組是指一種能夠被至少一個處理器所執行並且 能夠完成固定功能的一系列電腦程式段，其儲存在儲存器中。在本實施例中，關於所述瑕疵檢測裝置40的中各個模組的功能實現方式可以參見上文對瑕疵檢測方法的限定，在此不再重複描述。

所述獲取模組401，用於獲取待檢測產品的第一圖像以及所述第一圖像的第一瑕疵檢測結果。

所述清潔模組402，用於對所述待檢測產品進行清潔，並獲取清潔後的所述待檢測產品的第二圖像以及所述第二圖像的第二瑕疵檢測結果。

所述確定模組403，用於基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測結果。

本申請實施例還提供一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，所述電腦程式中包括程式指令，所述程式指令被執行時所實現的方法可參照本申請上述各個實施例中的方法。

其中，所述電腦可讀儲存介質可以是上述實施例所述的瑕疵檢測設備的內部儲存器，例如所述瑕疵檢測設備的硬碟或儲存器。所述電腦可讀儲存介質也可以是所述瑕疵檢測設備的外接存放裝置，例如所述瑕疵檢測設備上配備的插接式硬碟，智慧儲存卡(Smart Media Card,SMC)，安全數位(Secure Digital，SD)卡，快閃儲存器卡(Flash Card)等。

在一些實施例中，所述電腦可讀儲存介質可以包括儲存程式區和儲存資料區，其中，儲存程式區可儲存作業系統、至少一個功能所需的應用程式等；儲存資料區可儲存根據瑕疵檢測設備的使用所創建的資料等。

在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述或記載的部分，可以參見其它實施例的相關描述。

本領域普通技術人員可以意識到，結合本文中所公開的實施例描述的各示例的單元及演算法步驟，能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法 來實現所描述的功能，但是這種實現不應認為超出本申請的範圍。

在本申請所提供的實施例中，應該理解到，所揭露的裝置/終端設備和方法，可以透過其它的方式實現。例如，以上所描述的裝置/終端設備實施例僅僅是示意性的，例如，所述模組或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是透過一些介面，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。

以上所述實施例僅用以說明本申請的技術方案，而非對其限制；儘管參照前述實施例對本申請進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本申請各實施例技術方案的精神和範圍，均應包含在本申請的保護範圍之內。

S21~S23:步驟

Claims (8)

1. 一種瑕疵檢測方法，其中，所述方法包括：獲取待檢測產品的第一圖像以及所述第一圖像的第一瑕疵檢測結果，其中，獲取所述第一瑕疵檢測結果的方法包括：利用預先訓練的瑕疵檢測模型對所述第一圖像進行瑕疵檢測，獲得所述第一瑕疵檢測結果；其中，所述瑕疵檢測模型包括基於編碼器與解碼器的瑕疵檢測模型，所述基於編碼器與解碼器的瑕疵檢測模型對第一圖像進行瑕疵檢測包括：利用編碼器中交替分佈的多個卷積層與池化層對第一圖像進行低維度特徵的提取；利用解碼器對所述低維度特徵進行反卷積與上採樣處理，將低維度特徵還原至與第一圖像相同的尺寸，得到第一圖像的第一瑕疵檢測結果；其中，解碼器的網路結構包括與編碼器的網路結構相反的交替分佈的多個卷積層與池化層；對所述待檢測產品進行清潔，並獲取清潔後的所述待檢測產品的第二圖像以及所述第二圖像的第二瑕疵檢測結果；基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測結果。
2. 如請求項1所述的瑕疵檢測方法，其中，所述方法還包括：當所述第一瑕疵檢測結果指示所述第一圖像存在第一瑕疵時，確定所述第一瑕疵所在的第一位置；當所述第二瑕疵檢測結果指示所述第二圖像存在第二瑕疵時，確定所述第二瑕疵所在的第二位置。
3. 如請求項1所述的瑕疵檢測方法，其中，所述對所述待檢測產品進行清潔包括：確定與所述待檢測產品的生產工序相對應的清潔工序，根據所述清潔工序對所述待檢測產品進行清潔。
4. 如請求項2所述的瑕疵檢測方法，其中，所述基於所述第一瑕疵檢測結果與所述第二瑕疵檢測結果，確定所述待檢測產品的第三瑕疵檢測結 果包括：當存在所述第一瑕疵且不存在所述第二瑕疵時，確定所述第一瑕疵為表面髒汙，並且確定所述第三瑕疵檢測結果為不存在實質瑕疵；或當所述第一位置與所述第二位置不在同一位置時，確定所述第一瑕疵與所述第二瑕疵都為表面髒汙，並且確定所述第三瑕疵檢測結果為不存在實質瑕疵；或當所述第一位置與所述第二位置在同一位置時，確定所述第三瑕疵檢測結果為存在實質瑕疵；或當不存在所述第一瑕疵且存在所述第二瑕疵時，確定所述第二瑕疵為表面髒汙，並且確定所述第三瑕疵檢測結果為不存在實質瑕疵。
5. 如請求項1所述的瑕疵檢測方法，其中，所述瑕疵檢測模型包括基於分割網路的瑕疵檢測模型，所述基於分割網路的瑕疵檢測模型的模型結構包括分割網路與決策網路構成的兩段式網路結構。
6. 如請求項1所述的瑕疵檢測方法，其中，所述瑕疵檢測模型還包括基於全卷積神經網路的瑕疵檢測模型。
7. 一種瑕疵檢測設備，其中，所述瑕疵檢測設備包括：至少一個攝像裝置，用於拍攝待檢測產品的圖像；清潔裝置，用於對所述待檢測產品進行清潔；處理器和儲存器，所述處理器用於執行所述儲存器中儲存的電腦程式時實現如請求項1至6中任意一項所述的瑕疵檢測方法。
8. 一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，其中，所述電腦程式被處理器執行時實現如請求項1至6中任意一項所述的瑕疵檢測方法。

Images