TWI877045B

TWI877045B - 瑕疵檢測模型之最佳化方法及電子裝置

Info

Publication number: TWI877045B
Application number: TW113126099A
Authority: TW
Inventors: 洪聖閎; 陳太一
Original assignee: 華碩電腦股份有限公司
Priority date: 2024-07-11
Filing date: 2024-07-11
Publication date: 2025-03-11

Abstract

本案揭露一種瑕疵檢測模型之最佳化方法及電子裝置。電子裝置包含一處理裝置及其電性連接之一儲存裝置。處理裝置進行下列最佳化方法，包含：讀取至少一負樣本訓練資料，負樣本訓練資料係具有相同之一原始影像大小；根據一目標瑕疵資訊，計算出一最佳化分割範圍；根據最佳化分割範圍，推估一重複覆蓋區之一有效範圍；根據原始影像大小、最佳化分割範圍及有效範圍，計算出一模型分割數量，以得到一最佳化建模參數；以及將最佳化建模參數套用在一瑕疵檢測模型上，以對至少一目標影像進行模型推論。

Description

瑕疵檢測模型之最佳化方法及電子裝置

本案係有關一種瑕疵檢測模型之最佳化方法及對瑕疵檢測模型進行最佳化的電子裝置。

在人工智慧的製造領域中，為了盡可能地檢驗出所有瑕疵，高解析度與超高解析度影像普遍被使用。然而，將高解析度影像作為輸入來源，對於深度學習模型的訓練與推論均不利，會大幅增加使用之記憶體可能造成記憶體過載（Out-of-Memory，OOM）的問題，並延長預測時間、降低精準度等，導致模型無法達到使用者需求。

目前針對高解析度影像作為深度學習模型之輸入通常有二種作法，一種是降低原始影像解析度，此種方式將解析度降低後容易造成微小或者細部瑕疵無法被偵測到。另一種則是將高解析度影像切分為數個低解析度影像，但此種作法會造成模型對於全域（global）或者較廣之特徵的分析能力下降，容易造成許多偽陽性（False Positive）的產生。

本案提供一種瑕疵檢測模型之最佳化方法，包含：讀取至少一負樣本訓練資料，負樣本訓練資料係具有相同之一原始影像大小。根據一目標瑕疵資訊，計算出一最佳化分割範圍。根據最佳化分割範圍，推估一重複覆蓋區之一有效範圍。根據原始影像大小、最佳化分割範圍及有效範圍，計算出一模型分割數量，以得到一最佳化建模參數。將最佳化建模參數套用在一瑕疵檢測模型上，以對至少一目標影像進行模型推論。

本案另外提供一種電子裝置，包含一儲存裝置以及一處理裝置。一儲存裝置內儲存有至少一負樣本訓練資料及至少一目標影像，且負樣本訓練資料係具有相同之一原始影像大小。處理裝置電性連接儲存裝置，且內建有一瑕疵檢測模型，處理裝置執行下列步驟：根據一目標瑕疵資訊，計算出一最佳化分割範圍；根據最佳化分割範圍，推估一重複覆蓋區之一有效範圍；根據原始影像大小、最佳化分割範圍及有效範圍，計算出一模型分割數量，以得到一最佳化建模參數；將最佳化建模參數套用在瑕疵檢測模型上，以目標影像進行模型推論。

綜上所述，本案提出一種瑕疵檢測模型之最佳化方法及電子裝置，其係採用目標瑕疵資訊，即可自動產生出最佳化建模參數來套用在瑕疵檢測模型上，不需要使用者自行決定需要降低多少解析度以及需要裁切成多少個低解析度影像，以降低預測時間並提高預測精準度，進而使瑕疵預測模型有效符合使用者需求。

以下提出較佳實施例進行詳細說明，然而，實施例僅用以作為範例說明，並不會限縮本案欲保護之範圍。此外，實施例中的圖式省略部份元件，以清楚顯示本案的技術特點。在所有圖式中相同的標號將用於表示相同或相似的元件。

請參閱圖1所示，一電子裝置10係包含一處理裝置12以及一儲存裝置14，處理裝置12電性連接至儲存裝置14，處理裝置12係內建有一瑕疵檢測模型16，且在儲存裝置14內係儲存有一張或多張負樣本訓練資料（正常圖片）以及一張或多張目標影像，在一實施例中，負樣本訓練資料係由使用者提供，且此負樣本訓練資料係可包含小幅度的旋轉或平移等資料的增強或誤差，但須保持每一負樣本訓練資料具有相同之一原始影像大小。處理裝置12會自儲存裝置14中讀取此負樣本訓練資料，並直接根據此負樣本訓練資料來進行瑕疵檢測模型16的最佳化，並根據目標影像進行模型推論與訓練。再者，電子裝置10更包含一圖形處理器18，圖形處理器18電性連接處理裝置12，當處理裝置12進行計算、推論或訓練時，圖形處理器18係協助處理裝置12進行相關運算處理，以透過圖形處理器18來輔助運算，加速整體運算速度。在一實施例中，電子裝置10係為一個人電腦、一筆記型電腦或是一平板電腦等可獨立進行人工智慧推論與訓練運算的設備，但本案不以此為限。

在一實施例中，處理裝置12係為一中央處理單元（central processing unit，CPU），或是其他一般用途或特殊用途的微處理器（microprocessor）、微控制器（microcontroller）、微控制單元（micro control unit，MCU）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC），或其他類似元件或上述元件的組合，以進行整個演算法的運算，但本案不以此為限。

在一實施例中，儲存裝置14可以是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或其他類似元件或上述元件的組合，以用於儲存處理裝置12所需的任何模型或參數資料等，但本案不以此為限。

在電子裝置10中，處理裝置12係利用軟體方式來進行瑕疵檢測模型16之最佳化方法，請同時參閱圖1、圖2及圖3所示，如步驟S10所示，處理裝置12讀取至少一負樣本訓練資料20，此負樣本訓練資料20須保持同樣大小或調整為相同大小，以具有相同之原始影像大小。如步驟S12所示，根據一目標瑕疵資訊，處理裝置12計算出一最佳化分割範圍22，其中，目標瑕疵資訊係為使用者提供目標檢測出的一瑕疵大小範圍或一目標瑕疵影像及其瑕疵位置資訊，使用者可以決定於負樣本訓練資料20中預期想檢測出的瑕疵大小範圍或目標瑕疵影像及其瑕疵位置資訊。

在一實施例中，在步驟S12之計算出最佳化分割範圍22之步驟中，更進一步包含步驟S121及步驟S122。請同時參閱圖1、圖3及圖4所示，如步驟S121所示，處理裝置12根據一人工智慧模型，例如Backbone模型，計算出一感知範圍24之大小，詳言之，人工智慧模型係以一第一方程式：，計算出感知範圍24，其中R為感知範圍24之大小，n為一模型捲積層數，s為一輸出層步長以及k為一輸出層捲積核大小，使處理裝置12透過Backbone模型執行第一方程式的運算而取得感知範圍24。然後如步驟S122所示，處理裝置12根據感知範圍24及目標瑕疵資訊，計算出最佳化分割範圍22，在此步驟中，處理裝置12係以一第二方程式：計算出最佳化分割範圍22，其中S為最佳化分割範圍22，a為目標瑕疵資訊，在此係以最小的瑕疵範圍26為例，R為感知範圍24之大小以及N為一正整數，最佳化分割範圍22需能以感知範圍24來完整覆蓋瑕疵之特徵。並且，處理裝置12更可根據目標推論速度推估最佳化分割範圍22之長度H _patch與最佳化分割範圍22之寬度W _patch，以優化最佳化分割範圍22，當目標推論速度高時，將盡可能使用較大的最佳化分割範圍22（H _patch*W _patch）；反之，當預期推論表現高時，則會選擇較小的最佳化分割範圍22，以提高偵測精準度。

請同時參閱圖1、圖2及圖3所示，如步驟S14所示，根據此最佳化分割範圍22，處理裝置12推估一重複覆蓋（Overlapping）區28之一有效範圍。在取得最佳化分割範圍22及重複覆蓋區28之有效範圍之後，如步驟S16所示，處理裝置12根據原始影像大小、最佳化分割範圍22及有效範圍，計算出一模型分割數量，以得到一最佳化建模參數。其中，處理裝置12係以一第三方程式：計算出模型分割數量，其中H _ori為原始影像大小之長度，W _ori為原始影像大小之寬度，H _patch為最佳化分割範圍22之長度，W _patch為最佳化分割範圍22之寬度，O為重複覆蓋區28之有效範圍，因此可以藉由第三方程式計算出作為最佳化建模參數之模型分割數量。最後，如步驟S18所示，將最佳化建模參數套用在一瑕疵檢測模型16上，處理裝置12自儲存裝置14讀取至少一目標影像，並將目標影像輸入至瑕疵檢測模型16中進行模型推論。當目標影像輸入至瑕疵檢測模型16中後，瑕疵檢測模型16內之演算法會自動對目標影像進行分割、訓練、推論、重組，以最終取得與輸入之目標影像相同大小的瑕疵熱區圖30，如圖5所示，或是輸出遮罩（Mask），此瑕疵熱區圖30或輸出遮罩可以表示預測瑕疵位置和範圍大小。前述將目標影像輸入至瑕疵檢測模型16中進行模型推論之各步驟係可為一般正常模型的訓練推論流程，本案不以前述流程為限。

因此，本案只要使用者提供預檢測之瑕疵大小，即可自動產生出最佳之瑕疵檢測模型，不需要使用者自行決定「需降低多少解析度」以及「需要裁切成多少大小」。並且，使用者也提供目標推論速度，並且加入最佳化流程，以得到優化後的最佳化建模參數。

以上所述之實施例僅係為說明本案之技術思想及特點，其目的在使熟悉此項技術者能夠瞭解本案之內容並據以實施，當不能以之限定本案之專利範圍，即大凡依本案所揭示之精神所作之均等變化或修飾，仍應涵蓋在本案之申請專利範圍內。

10:電子裝置 12:處理裝置 14:儲存裝置 16:瑕疵檢測模型 18:圖形處理器 20:負樣本訓練資料 22:最佳化分割範圍 24:感知範圍 26:瑕疵範圍 28:重複覆蓋區 30:瑕疵熱區圖 H _patch:最佳化分割範圍之長度 W _patch:最佳化分割範圍之寬度 S10~S18:步驟 S121~S122:步驟

圖1為根據本案一實施例之電子裝置的方塊示意圖。圖2為根據本案一實施例之電子裝置對瑕疵檢測模型進行最佳化的流程示意圖。圖3為根據本案一實施例之顯示有最佳化分割範圍、瑕疵範圍及感知範圍之負樣本訓練資料示意圖。圖4為根據本案一實施例之電子裝置計算出最佳化分割範圍的流程示意圖。圖5為根據本案一實施例產生之瑕疵熱區圖的示意圖。

S10~S18:步驟

Claims

一種瑕疵檢測模型之最佳化方法，包含：讀取至少一負樣本訓練資料，該負樣本訓練資料係具有相同之一原始影像大小；根據一目標瑕疵資訊，計算出一最佳化分割範圍；根據該最佳化分割範圍，推估一重複覆蓋區之一有效範圍；根據該原始影像大小、該最佳化分割範圍及該有效範圍，計算出一模型分割數量，以得到一最佳化建模參數；以及將該最佳化建模參數套用在一瑕疵檢測模型上，以對至少一目標影像進行模型推論。
如請求項1所述之瑕疵檢測模型之最佳化方法，其中該負樣本訓練資料係包含小幅度的旋轉或平移等資料的增強或誤差。
如請求項1所述之瑕疵檢測模型之最佳化方法，其中該目標瑕疵資訊係為一瑕疵大小範圍或一目標瑕疵影像及其瑕疵位置資訊。
如請求項1所述之瑕疵檢測模型之最佳化方法，其中在根據該目標瑕疵資訊，計算出該最佳化分割範圍之步驟中，更包含：根據一人工智慧模型，計算一感知範圍；以及根據該感知範圍及該目標瑕疵資訊，計算出該最佳化分割範圍。
如請求項4所述之瑕疵檢測模型之最佳化方法，其中該人工智慧模型係以一第一方程式：，計算出該感知範圍，其中該R為該感知範圍之大小，該n為一模型捲積層數，該s為一輸出層步長，該k為一輸出層捲積核大小。
如請求項4所述之瑕疵檢測模型之最佳化方法，其中該最佳化分割範圍係以一第二方程式：計算出來，其中該S為該最佳化分割範圍，該a為該目標瑕疵資訊，該R為該感知範圍之大小，該N為一正整數。
如請求項1所述之瑕疵檢測模型之最佳化方法，其中在計算出該最佳化分割範圍之步驟中，更可根據一目標推論速度推估該最佳化分割範圍。
如請求項1所述之瑕疵檢測模型之最佳化方法，其中該模型分割數量係以一第三方程式：計算出來，其中該H _ori為該原始影像大小之長度，該W _ori為該原始影像大小之寬度，H _patch為該最佳化分割範圍之長度，W _patch為該最佳化分割範圍之寬度，該O為該有效範圍。
一種電子裝置，包含：一儲存裝置，其係內儲存有至少一負樣本訓練資料及至少一目標影像，且該負樣本訓練資料係具有相同之一原始影像大小；以及一處理裝置，電性連接該儲存裝置，且內建有一瑕疵檢測模型，該處理裝置執行下列步驟：根據一目標瑕疵資訊，計算出一最佳化分割範圍；根據該最佳化分割範圍，推估一重複覆蓋區之一有效範圍；根據該原始影像大小、該最佳化分割範圍及該有效範圍，計算出一模型分割數量，以得到一最佳化建模參數；以及將該最佳化建模參數套用在該瑕疵檢測模型上，以該目標影像進行模型推論。
如請求項9所述之電子裝置，其中該負樣本訓練資料係包含小幅度的旋轉或平移等資料的增強或誤差。
如請求項9所述之電子裝置，其中該目標瑕疵資訊係為一瑕疵大小範圍或一目標瑕疵影像及其瑕疵位置資訊。
如請求項9所述之電子裝置，其中該處理器計算出該最佳化分割範圍之步驟，更包含：根據一人工智慧模型，計算一感知範圍；以及根據該感知範圍及該目標瑕疵資訊，計算出該最佳化分割範圍。
如請求項12所述之電子裝置，其中該人工智慧模型係以一第一方程式：，計算出該感知範圍，其中該R為該感知範圍之大小，該n為一模型捲積層數，該s為一輸出層步長，該k為一輸出層捲積核大小。
如請求項12所述之電子裝置，其中該處理裝置係透過一第二方程式：計算出該最佳化分割範圍，其中該S為該最佳化分割範圍，該a為該目標瑕疵資訊，該R為該感知範圍之大小，該N為一正整數。
如請求項12所述之電子裝置，其中該處理裝置更可根據一目標推論速度來推估該最佳化分割範圍。
如請求項9所述之電子裝置，其中該處理裝置係透過一第三方程式：計算出該模型分割數量，其中該H _ori為該原始影像大小之長度，該W _ori為該原始影像大小之寬度，H _patch為該最佳化分割範圍之長度，W _patch為該最佳化分割範圍之寬度，該O為該有效範圍。
如請求項9所述之電子裝置，更包含一圖形處理器，該圖形處理器電性連接該處理裝置，該圖形處理器係協助該處理裝置進行運算。