TWI862890B - 缺陷樣本合成方法、缺陷檢查網路之訓練方法、電腦可讀取媒體、計算系統以及圖像檢查裝置 - Google Patents

Abstract

本案係關於一種缺陷樣本合成方法、缺陷檢查網路之訓練方法、電腦可讀取媒體、計算系統、及圖像檢查裝置，缺陷樣本合成方法的步驟包含提供正常樣本及合成器、輸入正常樣本至合成器、利用合成器生成合成缺陷樣本、輸入合成缺陷樣本至合成器以及利用合成器生成修復正常樣本。

Description

缺陷樣本合成方法、缺陷檢查網路之訓練方法、電腦可讀取媒體、計算系統以及圖像檢查裝置

本案係關於一種缺陷樣本合成方法，尤指一種缺陷樣本合成方法、缺陷檢查網路之訓練方法、電腦可讀取媒體、計算系統以及圖像檢查裝置。

深度卷積神經網路(Deep Convolutional Neural Networks, DCNN) 於電腦視覺領域中具有廣泛的應用，例如圖像識別和物體偵測， 且基於深度卷積神經網路DCNN的模型在上述應用中具有較佳之表現。然而，上述類型之模型的訓練需要大量具有標記之資料，且由於缺陷樣本非常稀少且較難以蒐集，因此限制了基於深度學習的模型在工業自動缺陷檢查中的應用，而相反地，正常樣本通常較為豐富且較容易蒐集。

在缺陷樣本較為稀缺的情況下，數據擴增為一種廣泛採用之技術，且藉由數據擴增生成缺陷樣本以訓練基於深度學習的模型，而生成上述缺陷樣本之方法常利用簡單的仿射轉換及合成操作。然而，由於上述仿射轉換及合成操作較為簡單且有限制，因此生成有助於模型訓練的缺陷樣本仍有其困難度。生成對抗網路(Generative Adversarial Networks, GAN)能以無監督學習的方式執行圖像合成，而實現數據擴增的一種方式係從潛在空間中採樣並直接生成缺陷圖像，然而，該圖像合成方法在生成具有複雜紋理和不規則圖案的缺陷圖像方面之能力有限。實現數據擴增的另一種方式為將缺陷視為一種風格，並將該風格添加至正常圖像中，現有的風格遷移方法 (例如迴圈生成對抗網路(CycleGAN)和星形生成對抗網(StarGAN)) 可以透過上述方式合成逼真的缺陷圖像。然而，上述兩種實現數據擴增之方式皆無法保留其圖像之原始背景。因此，現有的解決方法雖可以同時生成缺陷及其背景，然其因缺乏模擬能力而無法模擬缺陷與正常背景之間的相互作用，即無法模擬不同背景下之缺陷。現有合成缺陷樣本之方法不能為缺陷檢查模型提供未知的資訊，因此利用現有合成缺陷樣本之方法來擴增數據以改進基於卷積神經網路的缺陷檢查模型並非為一種有效的方法。

因此，如何發展一種可改善上述習知技術之缺陷樣本合成方法，實為目前迫切之需求。

本案之目的為提供一種缺陷樣本合成方法、缺陷檢查網路之訓練方法、電腦可讀取媒體、計算系統和圖像檢查裝置，以克服先前技術遇到的上述缺陷中的至少一個。

本案之另一目的為提供了一種缺陷樣本合成方法、缺陷檢查網路之訓練方法、電腦可讀取媒體、計算系統和圖像檢查裝置。 透過將正常樣本輸入至合成器使合成器生成合成缺陷樣本，可以生成真實且多樣的合成缺陷樣本，且該合成缺陷樣本係用於訓練準確及廣泛應用的缺陷檢查網路。

本案之另一目的為提供了一種缺陷樣本合成方法、缺陷檢查網路之訓練方法、電腦可讀取媒體、計算系統和圖像檢查裝置。透過加入雜訊至編碼及解碼器模塊，模擬具有隨機性的破壞和修復過程。 同時，利用控制圖控制缺陷的位置和類別，以實現對缺陷生成的靈活控制。

本案之另一目的為提供一種缺陷樣本合成方法， 缺陷樣本合成方法的步驟包含提供正常樣本和合成器、輸入正常樣本至合成器、利用合成器生成合成缺陷樣本、輸入合成缺陷樣本至合成器以及利用合成器生成修復正常樣本。

本案之另一目的為提供一種缺陷檢查網路之訓練方法，訓練方法的步驟包含提供網路骨幹和缺陷檢查模型、輸入真實數據集和合成數據集至網路骨幹以及利用真實數據集和合成數據集訓練缺陷檢查模型。

本案之另一目的為提供一種電腦可讀取媒體，電腦可讀取媒體具有架構於執行缺陷樣本合成方法和訓練方法中的至少一種的電腦程序。

本案之另一目的為提供一種計算系統，計算系統架構於執行缺陷樣本合成方法和訓練方法中的至少一種。

本案之另一目的為提供一種執行自動缺陷檢查的圖像檢查裝置，圖像檢查裝置包含具有計算機程序的電腦可讀取媒體，且圖像檢查裝置架構於執行缺陷樣本合成方法和訓練方法中的至少一種。

體現本案特徵與優點的一些實施例將在後段的說明中詳細敘述。應理解的是本案能夠在不同的態樣上具有各種的變化，其皆不脫離本案之範圍，且其中的說明及圖示在本質上係當作說明之用，而非架構於限制本案。

第1 圖係為本案之一實施例之缺陷樣本合成方法的流程圖，第2圖係為適用於第1圖之缺陷樣本合成方法的系統示意圖。如第1及2圖所示，本案之缺陷樣本合成方法包含以下步驟，於步驟S100中，提供正常樣本1及合成器2。接著，於步驟S200中，輸入正常樣本1至合成器2。然後，於步驟S300中，利用合成器2生成合成缺陷樣本3。透過將正常樣本1輸入至合成器2使合成器2生成合成缺陷樣本3，可以生成真實且多樣的合成缺陷樣本3，以用於訓練準確且廣泛應用的缺陷檢查網路。於步驟S400中，輸入合成缺陷樣本3至合成器2。於步驟S500中，利用合成器2生成修復正常樣本5。

基於本案的缺陷樣本合成方法，缺陷生成對抗網路(Defect Generative Adversarial Networks, Defect-GAN) 可以透過模仿/學習破壞和修復之過程來生成缺陷樣本，其中，破壞係為在正常樣本上添加缺陷，而修復係為從缺陷樣本中去除缺陷。

於一些實施例中，合成器2可利用編碼及解碼器架構以生成正常樣本上的缺陷以及從缺陷樣本中去除缺陷。請參閱第1、3及4圖，第3圖係為本案一實施例之缺陷樣本合成方法的部分流程圖，第4圖係為適用於第3圖之缺陷樣本合成方法的系統示意圖，其中與第1及2圖相同之元件係以相同標號表示，於此不再贅述。如第3及4圖所示，合成器2包含編碼及解碼器模組21，且於步驟S200中係將正常樣本1輸入至編碼及解碼器模組21。於缺陷樣本合成方法中，第1圖之步驟S300還包含第3圖所示之步驟S310、S330及S350。於步驟S310中，加入雜訊25至編碼及解碼器模組21以增加隨機性。於步驟S330中，利用編碼及解碼器模組21產生缺陷空間分佈22和缺陷前景23。於步驟S350中，根據正常樣本1、缺陷空間分佈22和缺陷前景23進行分層合成24以產生合成缺陷樣本3。分層合成24在正常樣本1上產生缺陷的同時保留正常樣本1的外觀，以在指定區域上產生缺陷，並同時保持正常樣本1的前後關係自然。此外，透過加入雜訊25至編碼及解碼器模組21，可模擬具有隨機性的破壞過程。具體地，雜訊25可由雜訊產生模組產生，但不限於此。雜訊25被隨機加入所產生的缺陷中，以提高所產生之缺陷的多樣性。 因此，透過缺陷樣本合成方法生成的合成缺陷樣本3可以延伸應用至更多類型的缺陷檢查網路。

請參閱第2、5及6圖，第5圖係為本案之一實施例之缺陷樣本合成方法的部分流程圖，第6圖係為適用於第5圖之缺陷樣本合成方法的系統示意圖，其中與第2圖相同之元件係以相同標號表示，於此不再贅述。如第5及6圖所示，合成器2包含編碼及解碼器模組21，且於步驟S400中係將合成缺陷樣本3輸入至編碼及解碼器模組21，但不以此為限。於缺陷樣本合成方法中，第1圖的步驟S500還包含第5圖所示之步驟S510、S530及S550。於步驟S510中，加入雜訊25至編碼及解碼器模組21以增加隨機性，透過加入雜訊25至編碼及解碼器模組21模擬具有隨機性的修復過程。於步驟S530中，利用編碼及解碼器模組21產生修復空間分佈26和修復前景27。於步驟S550中，根據合成缺陷樣本3、修復空間分佈26和修復前景27產生修復正常樣本5。

本案基於缺陷生成對抗網路(Defect-GAN)之缺陷樣本合成方法的缺陷生成包含至少兩次的分層合成，因此不同於現有的圖像與圖像轉換之生成對抗網路。具體來說，在破壞過程中，合成缺陷樣本3是透過在正常樣本1之上加入缺陷前景23來生成，意即透過正常樣本1作為背景合成缺陷前景23來生成。同樣地，在修復過程中，恢復正常樣本5係透過在合成缺陷樣本3之上加入修復前景27來生成 ，意即透過恢復合成缺陷樣本3作為背景合成修復前景27來生成。

請再次參閱第3-6圖，為了控制合成器2產生的缺陷的類別和位置，於步驟S330中，輸入控制圖4至編碼及解碼器模組21以輔助缺陷空間分佈22和缺陷前景23的產生，並且於步驟S530中，生成修復空間分佈26和修復前景27。透過控制圖4控制缺陷的位置和類別，以實現對缺陷產生的靈活控制。

請再次參閱第2圖，於本實施例中，缺陷生成對抗網路(Defect-GAN)中之合成器2包含生成器和鑑別器。於訓練階段中，缺陷生成對抗網路在兩個循環中利用生成器以執行圖像轉換，兩個循環包含 以及 ，其中 代表正常樣本且 ， 代表缺陷樣本且 ， 分別代表修復正常樣本及修復缺陷樣本且 。由於上述兩個循環相同且同時進行，因此以下僅示例說明 之循環。

第4圖示出了採用編碼及解碼器架構(即合成器2中之編碼及解碼器模組21)之生成器，生成器的主要架構為圖像至圖像轉換，其係先將輸入圖像以 步幅參數設定為4進行編碼，再將其解碼為原始大小。此外，為了提高缺陷生成的合成真實性和多樣性，本案之生成器具有空間和類別之控制、可以隨機變化且可以分層合成。鑑別器的架構與星形生成對抗網路(StarGAN)相同，其中包含用於使用PatchGAN區分偽造樣本和真實樣本之 ，以及用於預測生成缺陷的類別之 。

正常樣本於不同位置可以存在不同類型的缺陷，而為了提供生成的缺陷較佳的屬性(於空間及分類上)控制，本案將屬性控制圖 輸入至生成器以將特定類別的缺陷加入至特定的位置，其中 代表相應位置存在缺陷， C代表缺陷類別的數量。控制圖 透過空間自適應歸一化(Spatial Adaptive Normalization, SPADE)加入至網路中，且控制圖 被輸入至生成器的解碼器中的每個區塊中。

控制圖4係用於在於每次生成過程中定義生成目標(例如由正常樣本生成至缺陷樣本，或從缺陷樣本生成至正常樣本)，控制圖4之維度為 ， Ｈ及 Ｗ為空間大小， Ｃ代表在缺陷類別中包含正常樣本之數量。控制圖4透過SPADE加入至生成過程。本實施例僅以「由正常樣本生成至缺陷樣本」為例，但也可適用於「由缺陷樣本生成至正常樣本」。具體來說，控制圖4定義缺陷產生的位置(空間位置)和缺陷產生的類型(例如，裂紋或剝落或上述兩者都有)。此外，控制圖4在訓練和推斷過程之運作略有不同，詳如下段所述。

於控制圖4的訓練過程中，由於僅有每個圖像塊的圖像級之標籤，而沒有像素級之註釋，因此所有空間位置的控制圖都是相同的。因此，在訓練階段，控制圖4係引導缺陷生成對抗網路將特定類型的缺陷加入至正常樣本中的所有空間位置。

在控制圖4的推斷過程中，控制圖4具有較佳之靈活性。控制圖4可以像在訓練階段一樣進行整幅圖像的轉換，還可控制加入特定類型的缺陷的位置。具體來說，本案係生成一個二維高斯圖並將二維高斯圖乘以整個圖像控制圖，而二維高斯圖還用於生成缺陷前景和缺陷空間分佈。因此，控制圖4可在特定的地方產生缺陷。

需特別注意的是，由於本案僅假設圖像級別之註釋，因此於訓練階段，在一實施例中，類別控制圖 A 對於圖像的所有位置可為恆定，即A 為透過在空間上重複目標缺陷標籤 獲得。此限制可於推導階段省略，使缺陷生成對抗網路(Defect-GAN)能夠以上下兼容的方式在不同位置添加缺陷。

與一般目標不相同的是，缺陷是複雜且不規則，並且具有極高的隨機變化，因此缺陷生成對抗網路(Defect-GAN)之建構具有挑戰性。為解決上述問題，本案在編碼及解碼器架構的每個區塊中使用了一個自適應雜訊插入模塊，它在每個卷積區塊之後將高斯雜訊加入至特徵圖中。對於每次雜訊之加入，都具有一公定量值以調整加入之雜訊的強度。透過明確反映缺陷內的隨機變化，缺陷生成對抗網路(Defect-GAN)可生成具有更高多樣性且更真實的缺陷樣本。

如第4及6圖所示，缺陷生成對抗網路(Defect-GAN)不同於現有的圖像至圖像轉換生成對抗網路，因本案之實施例的最終生成係透過兩次的分層合成。具體而言，在破壞過程中，合成缺陷樣本3係透過在正常樣本1之上加入缺陷前景23來生成。同樣地，在修復過程中，恢復正常樣本5係透過在合成缺陷樣本3之上加入修復前景27來生成。破壞過程可以分別表述為下式(1)及(2): (1) (2) 其中， 為空間乘法， 為生成的缺陷前景， 且為 對應的空間分佈圖。同樣地，修復過程可以分別表述為下式(3)及(4): (3) (4) 其中， 為沒有缺陷之修復正常樣本。

本案之缺陷生成對抗網路利用上述分層合成之技術，缺陷因此可以被視為一種特殊之前景且與背景(正常樣本)相互組合，同樣地，從背景中去除缺陷的修復過程也可以被視為是覆蓋缺陷區域的修復過程。本案之缺陷生成對抗網路並非直接生成合成圖像，而是單獨生成缺陷前景以及相應的空間分佈圖，然後進行分層合成以生成合成缺陷樣本。

就真實性和多樣性而言，本案基於分層合成可以顯著改善現有的缺陷合成技術，因本案缺陷生成對抗模型以正常樣本為背景，且著重於缺陷之產生，而非背景之產生。上述特徵為本案缺陷生成模型提供更逼真的缺陷樣本。此外，缺陷可能存在於各種背景中，由於缺陷樣本之稀有性，僅能在有限背景下蒐集特定的缺陷。因此，現有技術的圖像合成方法缺乏缺陷可轉移性，即它們只能在有限制之內容數量下合成缺陷樣本。本案之分層合成技術可以解決上述現有技術的問題，因本案之技術能充分保留背景的特徵(外觀、風格等)，使缺陷生成模型模擬出缺陷與背景之交互作用。因此顯著的提高了缺陷的可轉移性，因此本案之缺陷生成模型能夠在各種不同的背景下生成新的缺陷樣本。

為了生成視覺逼真之圖像，本案利用對抗損耗(adversarial loss)使生成的缺陷樣本 與真實缺陷樣本 難以區分，如第5式所示。 (5)

本案之缺陷生成對抗網路(Defect-GAN)旨在生成以目標缺陷標籤 為基準之缺陷。為了使生成的缺陷與目標類別相互對應，本案加入類別分類損耗(category classification loss)，其由兩參數所組成，分別為利用將真實缺陷樣本 分類到相應類別 以優化鑑別器之 ，以及用於最佳化生成器以於目標類別 生成缺陷樣本之 ，分別如第6及7式所示。 (6) (7)

此外，本案於一些實施例中還加入重建損耗 以盡可能幫助保留輸入圖像之內容，其中本實施例採用絕對值L1損耗做為重建損耗，如第8式所示。 (8)

分層合成技術在於破壞和修復過程之中皆生成空間分佈圖，以達成最終之合成。透過加入兩個額外的空間限制(空間分佈圖之外)以進一步提升合成，該限制為循環一致性損耗和區域限制之損耗。為了將生成的缺陷樣本精確還原為正常樣本，於理想情況下修復空間分佈圖應與缺陷空間分佈圖相同。因此，本案在缺陷空間分佈圖和修復空間分佈圖之間導入空間分佈循環一致性損耗 ，如第9式所示。 (9)

同時，為了避免缺陷前景和修復前景佔據整個圖像區域，本案還導入區域限制損耗 以避免過大的缺陷和前景分佈圖，如第10式所示。 (10)

因此，生成器及鑑別器之訓練公式可分別表示如第11及12式所示， (11) (12) 其中 , , , , 根據多次實驗並依據實驗結果分別設置為 2.0、5.0、5.0、5.0、1.0 ，然實際數值之設置可根據需求調整而不以此為限。

請再參閱第2及7圖，第7圖係為本案另一實施例之缺陷樣本合成方法的流程圖，其中與第1圖相同之步驟係以相同標號表示，於此不再贅述。於本實施例中，缺陷樣本合成方法還包含步驟S600及S700。於步驟S600中，比較修復正常樣本5及正常樣本1，以用於驗證。於執行完步驟S600後係執行步驟S700，於步驟S700中，將合成缺陷樣本3加入至缺陷檢查網路的合成數據集中。於一些實施例中，需於執行步驟S500後執行步驟S600，但不以此為限。於一些實施例中，缺陷樣本合成方法還包含步驟S800，其中係於執行步驟S700後執行步驟S800。於步驟S800中，將合成缺陷樣本3輸入至缺陷檢查網路。步驟S800可以在執行步驟S300、步驟S600或步驟S700之後執行，但不以此為限。

本案提供了一種模仿破壞和修復過程以提高缺陷檢查性能的缺陷樣本合成方法。請參閱第8圖，第8圖示出本案之一實施例中利用缺陷樣本合成方法以及將合成缺陷樣本加入至缺陷檢查網絡中以執行破壞和修復的過程，透過模仿破壞過程，正常樣本可以透過分層合成與缺陷圖像層組合，其中，在一實施例中，分層合成可較佳為逐層合成(layer-wise composition)，以作為合成缺陷樣本。同樣地，透過模仿修復過程，合成缺陷樣本可以透過分層合成與重繪圖像層組合，其中分層合成可較佳為逐層合成，以作為正常樣本。進一步地，合成缺陷樣本可以在合成缺陷樣本合成後，或者合成缺陷樣本與修復後的正常樣本進行比較後，輸入至缺陷檢查網路中。

請參閱第9及10圖，第9 圖係為本案之一實施例之缺陷檢查網路之訓練方法的流程圖，第10圖係為適用於第9圖之缺陷檢查網路之訓練方法的系統示意圖。如第9及10圖所示，缺陷檢查網路的訓練方法包含以下步驟。首先，於步驟S10中，提供網路骨幹61和缺陷檢查模型62。接著，於步驟S20中，輸入真實數據集63和合成數據集64至網路骨幹61。然後，於步驟S30中， 利用真實數據集63和合成數據集64訓練缺陷檢查模型62。

於一些實施例中，缺陷檢查模型62會學習如何區分合成缺陷樣本和真實樣本，然上述學習過程有可能會影響模型之精準度，因此，為防止缺陷檢查模型62不必要的學習如何區分合成缺陷樣本和真實樣本，本案的訓練方法還具有分類器以明確區分合成缺陷樣本和真實樣本，並透過梯度反轉層(Gradient Reversal Layer, GRL)將分類器連接至網路骨幹61。請參閱第10及11圖，第11圖係為本案另一實施例之缺陷檢查網路之訓練方法的流程圖，如第10及11圖所示，本案之缺陷檢查網路的訓練方法還包含以下步驟：透過梯度反轉層66將來源分類器65連接至網路骨幹61，使真實數據集63和合成數據集64之間無法區分，並有助於提高缺陷檢查性能。在一實施例中，透過梯度反轉層66將來源分類器65連接至網路骨幹61，使真實數據集63和合成數據集64之間無法區分，因此缺陷樣本的數據得以擴增，有助於缺陷檢查網路之訓練，提高缺陷檢查性能。

本案還提供一種具有電腦程式的電腦可讀取媒體，其電腦程式架構於執行前述段落中描述的缺陷樣本合成方法和訓練方法中的至少一個。

本案還提供一種計算系統，架構於執行前述段落中描述的缺陷樣本合成方法和訓練方法中的至少一個。

本案還提供一種用於執行自動缺陷檢查的圖像檢查裝置，包含具有電腦程式的電腦可讀取媒體，該電腦程式架構於執行前述段落中描述的缺陷樣本合成方法和訓練方法中的至少一個。

綜上所述，本案提供一種缺陷樣本合成方法，透過將正常樣本輸入至合成器並使合成器生成合成缺陷樣本，可以生成真實且多樣的合成缺陷樣本，用於訓練準確及廣泛應用的缺陷檢查網路。此外，透過加入雜訊的編碼及解碼器模塊，模擬具有隨機性的破壞和修復過程。 同時，透過控制圖控制缺陷的位置和類別，以實現對缺陷產生的靈活控制。

須注意，上述僅是為說明本案而提出之較佳實施例，本案不限於所述之實施例，本案之範圍由如附專利申請範圍決定。且本案得由熟習此技術之人士任施匠思而為諸般修飾，然皆不脫如附專利申請範圍所欲保護者。

1:正常樣本 2:合成器 21:編碼及解碼器模組 22:缺陷空間分佈 23:缺陷前景 24:分層合成 25:雜訊 26:修復空間分佈 27:修復前景 3:合成缺陷樣本 4:控制圖 5:修復正常樣本 6:缺陷檢查網路之訓練方法的系統 61:網路骨幹 62:缺陷檢查模型 63:真實數據集 64:合成數據集 65:來源分類器 66:梯度反轉層 S10、S100、S20、S200、S30、S300、S310、S330、S350、S40、S400、S500、S510、S530、S550、S600、S700、S800:步驟

第1 圖係為本案一實施例之缺陷樣本合成方法的流程圖。

第2圖係為適用於第1圖之缺陷樣本合成方法的系統示意圖。

第3圖係為本案一實施例之缺陷樣本合成方法的部分流程圖。

第4圖係為適用於第3圖之缺陷樣本合成方法的系統示意圖。

第5圖係為本案一實施例之缺陷樣本合成方法的部分流程圖。

第6圖係為適用於第5圖之缺陷樣本合成方法的部分流程的系統示意圖。

第7圖係為本案一實施例之缺陷樣本合成方法的流程圖。

第8圖示出本案一實施例利用缺陷樣本合成方法以及將合成缺陷樣本加入至缺陷檢查網絡中以執行破壞和修復的過程。

第9 圖係為本案一實施例之缺陷檢查網路之訓練方法的流程圖。

第10圖係為適用於第9圖之缺陷檢查網路之訓練方法的系統示意圖。

第11圖係為本案一實施例之缺陷檢查網路之訓練方法的流程圖。

S100、S200、S300、S400、S500:步驟

Claims (14)

1. 一種缺陷樣本合成方法，包含步驟：(a)利用一電腦提供一無缺陷的正常樣本及一合成器；(b)利用該電腦輸入該正常樣本至該合成器；(c)利用該合成器對該正常樣本生成一合成缺陷樣本，其中該合成缺陷樣本具有合成的一缺陷前景；(d)利用該電腦輸入該合成缺陷樣本至該合成器；以及(e)利用該合成器對該合成缺陷樣本生成一修復正常樣本，其中該修復正常樣本具有合成的一修復前景，其中，該缺陷樣本合成方法還包含步驟：輸入一控制圖至該合成器之一編碼及解碼器模組以輔助一缺陷空間分佈和該缺陷前景的產生。
2. 如請求項1之缺陷樣本合成方法，其中該合成器還包含該編碼及解碼器模組，於該步驟(b)中，該正常樣本係被輸入至該編碼及解碼器。
3. 如請求項2之缺陷樣本合成方法，其中於該步驟(c)中，還包含步驟：(c1)利用該電腦加入一雜訊至該編碼及解碼器模組；(c2)利用該編碼及解碼器模組產生該缺陷空間分佈和該缺陷前景；以及(c3)利用該電腦根據該正常樣本、該缺陷空間分佈和該缺陷前景進行一分層合成以產生該合成缺陷樣本。
4. 如請求項1之缺陷樣本合成方法，其中該合成器還包含該編碼及解碼器模組，於該步驟(d)中，輸入該合成缺陷樣本至該編碼及解碼器。
5. 如請求項4之缺陷樣本合成方法，其中於該步驟(e)中，還包含步驟：(e1)利用該電腦加入一雜訊至該編碼及解碼器模組；(e2)利用該編碼及解碼器模組產生一修復空間分佈和該修復前景；以及(e3)利用該電腦根據該合成缺陷樣本、該修復空間分佈和該修復前景進行一分層合成以產生該修復正常樣本。
6. 如請求項5之缺陷樣本合成方法，還包含步驟：輸入一控制圖至該編碼及解碼器模組以輔助該修復空間分佈和該修復前景產生。
7. 如請求項1之缺陷樣本合成方法，還包含步驟：(f)利用該電腦比較該修復正常樣本及該正常樣本。
8. 如請求項7之缺陷樣本合成方法，還包含步驟：(g)利用該電腦將該合成缺陷樣本加入至一缺陷檢查網路的一合成數據集中。
9. 如請求項8之缺陷樣本合成方法，還包含步驟：(h)利用該電腦將該合成缺陷樣本輸入至該缺陷檢查網路。
10. 一種缺陷檢查網路的訓練方法，包含步驟：提供一網路骨幹和一缺陷檢查模型；利用一電腦輸入一真實數據集和一合成數據集至該網路骨幹；以及 利用該真實數據集和該合成數據集訓練該缺陷檢查模型，其中該合成數據集包括透過請求項1~9中任一項所述之缺陷樣本合成方法所生成之該合成缺陷樣本和該修復正常樣本。
11. 如請求項10之缺陷檢查網路的訓練方法，還包含步驟：透過一梯度反轉層將一來源分類器連接至該網路骨幹，使該真實數據集和該合成數據集之間無法區分。
12. 一種電腦程式的電腦可讀取媒體，其中該電腦程式架構於執行請求項1~9中任一項所述之缺陷樣本合成方法和請求項10之訓練方法中的至少一個。
13. 一種計算系統，其中該計算系統架構於執行請求項1~9中任一項所述之缺陷樣本合成方法和請求項10之訓練方法中的至少一個。
14. 一種用於執行自動缺陷檢查的圖像檢查裝置，包含一具有電腦程式的電腦可讀取媒體，該電腦程式架構於執行請求項1~9中任一項所述之缺陷樣本合成方法和請求項10之訓練方法中的至少一個。

Images