TW202401373A

TW202401373A - 異常檢查裝置及異常檢查方法

Info

Publication number: TW202401373A
Application number: TW111122961A
Authority: TW
Inventors: 余元宸
Original assignee: 福懋科技股份有限公司
Priority date: 2022-06-21
Filing date: 2022-06-21
Publication date: 2024-01-01
Also published as: TWI808801B

Abstract

一種異常檢查裝置及異常檢查方法。異常檢查裝置包括載具、影像擷取器以及處理器。處理器經配置以驅動影像擷取器朝向載具以擷取原始影像，自原始影像中切割出對應於置放在載具上的多個產品的多個產品影像，將各產品影像重疊切割為多個子影像，之後，將子影像輸入至已訓練的至少一檢測模組，以檢測各子影像中是否存在異常區域，並在判定存在有異常區域時，輸出異常座標資訊，並且基於所述檢測模組所輸出的全部異常座標資訊，對異常區域進行合併。

Description

異常檢查裝置及異常檢查方法

本發明是有關於一種自動化機制，且特別是有關於一種異常檢查裝置及異常檢查方法。

記憶體模組（memory module）是一種裝有記憶體積體電路的印刷電路板。記憶體模組可以輕鬆安裝到個人電腦、工作站和伺服器等電腦的電子系統中以及進行更換。記憶體模組在生產過程中經歷的多次檢測，這些檢測包括：焊接檢測、外觀檢測、功能檢測等。現行記憶體模組的外觀檢測是透過人工以目測方式在放大鏡下進行的作業，因此會有因不同檢測人員各別的檢出能力差異的不同，產品檢出條件不同造成人員轉換上落差。

本發明提供一種異常檢查裝置及異常檢查方法，可自動檢測出不良風險的異常區域。

本發明的異常檢查裝置，包括：載具，用以置放多個產品；第一影像擷取器，朝向載具進行拍攝；以及處理器，耦接至第一影像擷取器，且經配置以驅動第一影像擷取器以擷取原始影像來執行異常檢測流程，包括：自原始影像中基於產品外觀切割出對應於所述多個產品的多個產品影像；將每一個產品影像重疊切割為多個子影像；將所述子影像輸入至已訓練的至少一檢測模組，以檢測各子影像中是否存在異常區域，並在判定存在有異常區域時，輸出異常座標資訊；以及於所述檢測模組所輸出的全部異常座標資訊，對異常區域進行合併。

在本發明的一實施例中，上述載具包括第一載放區域與第二載放區域。異常檢查裝置更包括第二影像擷取器。第一影像擷取器朝向第一載放區域拍攝。第二影像擷取器朝向第二載放區域拍攝。處理器耦接至第二影像擷取器，且經配置以驅動第二影像擷取器以擷取另一原始影像來執行異常檢測流程。

在本發明的一實施例中，上述水平相鄰的兩個子影像具有重疊部分，垂直相鄰的兩個子影像具有重疊部分。

在本發明的一實施例中，上述各子影像的解析度為M×N，各子影像在水平方向上與其相鄰的子影像的重疊部分的解析度為M/2×N，各子影像在垂直方向上與其相鄰的子影像的重疊部分的解析度為M×N/2。

在本發明的一實施例中，上述處理器採用三個檢測模組，所述檢測模組包括防焊檢測模組、連接部檢測模組以及標籤檢測模組。處理器執行的異常檢測流程包括：將子影像輸入至防焊檢測模組以偵測在防焊區域上是否存在異常區域；將子影像輸入至連接部檢測模組以偵測在金屬連接部上是否存在異常區域；以及將子影像輸入至標籤檢測模組，以偵測在標籤印刷區域上是否存在異常區域。

本發明的異常檢查方法，利用處理器執行多個步驟，包括：驅動第一影像擷取器以擷取原始影像來執行異常檢測流程，包括：自原始影像中基於產品外觀切割出對應於多個產品的多個產品影像；將各產品影像重疊切割為多個子影像；將所述子影像輸入至已訓練的至少一檢測模組，以檢測各子影像中是否存在異常區域，並在判定存在有異常區域時，輸出異常座標資訊；以及基於所述檢測模組所輸出的全部異常座標資訊，對異常區域進行合併。

基於上述，本揭露整合使用影像擷取器來取得包括多個產品的原始影像，並結合影像辨識來找出原始影像中的對應於各產品外觀的產品影像，進而自動地檢測出各產品影像中的異常區域。據此，可在相同的檢查標準下來檢查每一個產品的外觀，快速地檢測出具有不良風險的異常區域。

圖1是依照本發明一實施例的異常檢查裝置的方塊圖。請參照圖1，異常檢查裝置100包括處理器110、影像擷取器120以及載具130。處理器110耦接至影像擷取器120。載具130用以置放多個產品，以供影像擷取器120拍攝。

處理器110例如為中央處理單元（Central Processing Unit，CPU）、物理處理單元（Physics Processing Unit，PPU）、可程式化之微處理器（Microprocessor）、嵌入式控制晶片、數位訊號處理器（Digital Signal Processor，DSP）、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）或其他類似裝置。

影像擷取器120例如是採用電荷耦合元件（Charge coupled device，CCD）鏡頭、互補式金氧半電晶體（Complementary metal oxide semiconductor transistors，CMOS）鏡頭的攝影機、照相機等。

另，異常檢查裝置100還包括有儲存元件（未繪示），用以儲存至少一程式碼片段，上述程式碼片段在被安裝後，會由處理器110來執行以實現異常檢測流程。儲存元件例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合。

在一實施例中，可採用具有處理器110的任意電子裝置搭配影像擷取器120以及載具130來實現異常檢查裝置100。所述電子裝置例如可採用個人電腦、筆記型電腦、平板電腦、智慧型手機來實現。影像擷取器120可以內建在設置有處理器110的電子裝置內，亦可為外接於設置有處理器110的電子裝置。載具130則是設置在影像擷取器120的拍攝範圍內。處理器110經配置以驅動影像擷取器120以擷取原始影像來執行異常檢測流程。

圖2是依照本發明另一實施例的異常檢查裝置的示意圖。請參照圖2，異常檢查裝置200是圖1的異常檢查裝置100的應用例。在本實施例中，異常檢查裝置200是以個人電腦（包括顯示器及主機）搭配兩個影像擷取器120a、120b以及載具130來實現。影像擷取器120a、120b例如為設置在顯示器的上方，以朝向載具130的方向進行拍攝。影像擷取器120a、120b與圖1所示的影像擷取器120採用相同設計。而處理器110設置在主機內部。在此，載具130包括第一載放區域130a與第二載放區域130b。影像擷取器120a朝向第一載放區域130a拍攝，影像擷取器120b朝向第二載放區域130b拍攝。第一載放區域130a用以置放第一表面朝上的多個產品，第二載放區域130b用以置放第二表面朝上的多個產品。據此，可同時處理多個產品。

處理器110經配置以驅動影像擷取器120a、120b以分別擷取兩張原始影像來執行異常檢測流程。底下再舉例來說明針對一張原始影像的異常檢測流程的各步驟。

圖3是依照本發明一實施例的異常檢查方法的流程圖。在本實施例中，以處理器110驅動影像擷取器120a所擷取的原始影像來說明異常檢測流程。而處理器110驅動影像擷取器120b所擷取的原始影像的異常檢測流程亦可由下述說明來類比。另，在下述說明中一併搭配圖4A～圖4E來進行說明。圖4A～圖4E是依照本發明一實施例的異常檢測流程中的影像處理的示意圖。

在步驟S305中，自原始影像中基於產品外觀切割出對應於多個產品的多個產品影像。舉例來說，以欲進行檢查的產品為記憶體模組（一種印刷電路板）來進行說明。例如，第一載放區域130a與第二載放區域130b可同時置放7片記憶體模組。在第一載放區域130a中置放7片上表面朝上的記憶體模組，在第二載放區域130b中置放另外7片下表面朝上的記憶體模組。第一載放區域130a與第二載放區域130b所能載置的記憶體模組的數量僅為舉例說明，並不以此為限。

圖4A所示的原始影像410例如是由影像擷取器120a所拍攝。由圖4A可以看出包括7片記憶體模組的影像。在此，為了避免使用將多張小尺寸圖片接合所獲得的接合圖片（因接合圖片的四周會有影像重疊現象），而將影像擷取器120a設置為直接擷取第一載放區域130a上所置放的全部產品來獲得一張原始影像410。在擷取鏡頭最少機械動作影響下，影像擷取器120a直接使用高階線性攝影機，以對產品進行連續全區域高解析度全彩擷取影像。

處理器110基於產品外觀將原始影像410切割出對應於各產品的產品影像。在異常檢查裝置200中包括有已訓練的產品切割模組，其用以在一大張的原始影像410中找出產品外觀的特徵，藉此在原始影像410中切割出對應的各產品的產品影像。在此，原始影像410可切割出如圖4B所示的產品影像420。

接著，在步驟S310中，將產品影像420重疊切割為多個子影像。為了避免產品影像420在切割時將異常點切割太小，使得檢測模組無法檢出，因此設計相鄰的子影像之間具有重疊部分。例如，將產品影像420切割為多張解析度為M×N的子影像，水平相鄰的兩個子影像具有重疊部分，垂直相鄰的兩個子影像具有重疊部分。其中M、N可以相等也可以不相等。

在一實施例中，可設計為重疊部分為1/2的子影像大小，各子影像在水平方向上與其相鄰的子影像的重疊部分的解析度為M/2×N，各子影像在垂直方向上與其相鄰的子影像的重疊部分的解析度為M×N/2。如圖4C所示，子影像A11與子影像A12之間的重疊部分、子影像A12與子影像A13之間的重疊部分等在水平方向上的重疊部分的解析度為M/2×N。子影像A11與子影像A21之間的重疊部分、子影像A21與子影像A31之間的重疊部分等在垂直方向上的重疊部分的解析度為M×N/2。

在獲得多個子影像之後，在步驟S315中，將子影像輸入至已訓練的檢測模組，以檢測各子影像中是否存在異常區域，並在判定存在有異常區域時，輸出異常座標資訊。檢測模組用以檢測子影像中是否存在有刮傷、髒污等異常，以在判定存在有異常區域時，輸出異常座標資訊。

在一實施例中，可僅預先訓練一個檢測模組來偵測異常。將每一個子影像輸入至檢測模組，以由檢測模組來找出子影像中是否存在異常區域。檢測模組採用卷積神經網路（Convolutional Neural Network，CNN）架構。CNN架構中具有多個層，輸入的子影像通過層層分析，最後找出最可能的答案。訓練檢測模組的方法是：先輸入大量已標記正確答案的學習材料（如標記好各種異常物件的訓練樣本影像），讓檢測模組學習如何判斷。每次檢測模組判斷結果與正確答案不符，就將這個資訊反饋到前面的網路層，調整每一層的參數，以期下次達到更準確的判斷。在一實施例中，檢測模組採用YOLO演算法。

檢測模組在偵測到輸入的子影像中的異常物件後，會使用一個矩形框來標注此異常物件，以代表偵測到的異常物件在輸入影像中所在位置。將矩形框的中心座標(bx, by)和矩形框的長bh與寬bw作為異常座標資訊而輸出。例如，如圖4D所示，子影像430-1、430-2為具有重疊部分的兩個相鄰的子影像，在子影像430-1、430-2中分別檢測到具有刮痕的異常區域441、442（即，矩形框）。檢測模組會輸出異常區域441、442兩者對應的異常座標資訊（包括矩形框的中心座標和矩形框的長與寬）。

在另一實施例中，也可針對記憶體模組的外觀特性而預先訓練三個檢測模組，即防焊檢測模組、連接部檢測模組以及標籤檢測模組，分別用於針對防焊區域、金屬連接部以及標籤印刷區域的異常偵測。

例如，一般而言記憶體模組除了多個記憶體晶片之外，還包括了防焊區域、金屬連接部以及標籤印刷部。防焊區域指的是將焊罩（solder mask）覆蓋於記憶體模組的上、下表面不需要焊接的位置上，以起到防潮、絕緣、防焊、耐高溫及美觀的需求。金屬連接部是記憶體模組用來插入至插槽的鍍金連接部件，其由眾多金黃色的導電觸片組成，因其表面鍍金而且導電觸片排列如手指狀，所以俗稱為「金手指（connecting finger）」。標籤印刷部例如為條碼貼紙，其印有產品序號、製造日期、製造地、條碼等資訊。

防焊檢測模組是針對防焊區域上的異常而事先訓練的模組，用於偵測防焊區域上的異常區域。連接部檢測模組是針對金屬連接部上的異常而事先訓練的模組，用於偵測金屬連接部上的異常區域。標籤檢測模組是針對標籤印刷部上的異常而事先訓練的模組，用於偵測標籤印刷部上的異常區域。防焊檢測模組、連接部檢測模組以及標籤檢測模組例如皆是採用YOLO演算法來實現。

在檢測模組檢測完所有子影像之後，在步驟S320中，基於檢測模組所輸出的全部異常座標資訊，對異常區域進行合併。舉例來說，圖4E所示的合併後結果440是將圖4D所示的異常區域441、442合併所獲得。另外，在檢測完異常區域並進行合併動作之後，還可進一步在如圖4B所示的產品影像中標示出所有異常區域，並呈現至使用者介面中。例如，可在使用者介面中顯示出檢測出異常區域的產品影像，並在產品影像中標示出異常區域（合併後結果）。此外，還可進一步合計合併後的異常區域的數量，以供使用者參考。

綜上所述，本揭露整合使用影像擷取器來取得包括多個產品的原始影像，並結合影像辨識來找出原始影像中的對應於各產品外觀的產品影像，進而自動地檢測出各產品影像中的異常區域。據此，可在相同的檢查標準下來檢查每一個產品的外觀，快速地檢測出具有不良風險的異常區域。

100、200:異常檢查裝置 110:處理器 120、120a、120b:影像擷取器 130:載具 130a:第一載放區域 130b:第二載放區域 410:原始影像 420:產品影像 430-1、430-2、A11、A12、A13、A21、A31:子影像 440:合併後結果 441、442:異常區域 S305～S320:異常檢查方法的步驟

圖1是依照本發明一實施例的異常檢查裝置的方塊圖。圖2是依照本發明另一實施例的異常檢查裝置的示意圖。圖3是依照本發明一實施例的異常檢查方法的流程圖。圖4A～圖4E是依照本發明一實施例的異常檢測流程中的影像處理的示意圖。

S305~S320:異常檢查方法的步驟

Claims

一種異常檢查裝置，包括：一載具，用以置放多個產品；一第一影像擷取器，朝向該載具進行拍攝；以及一處理器，耦接至該第一影像擷取器，且經配置以驅動該第一影像擷取器以擷取一原始影像來執行一異常檢測流程，包括：自該原始影像中基於一產品外觀切割出對應於該些產品的多個產品影像；將每一該些產品影像重疊切割為多個子影像；將該些子影像輸入至已訓練的至少一檢測模組，以檢測每一該些子影像中是否存在異常區域，並在判定存在有異常區域時，輸出一異常座標資訊；以及基於該至少一檢測模組所輸出的全部異常座標資訊，對所述異常區域進行合併。
如請求項1所述的異常檢查裝置，其中該載具包括一第一載放區域與一第二載放區域，該第一影像擷取器朝向該第一載放區域拍攝，該異常檢查裝置更包括：一第二影像擷取器，朝向該第二載放區域拍攝；其中該處理器耦接至該第二影像擷取器，且經配置以驅動該第二影像擷取器以擷取另一原始影像來執行該異常檢測流程。
如請求項1所述的異常檢查裝置，其中水平相鄰的兩個子影像具有重疊部分，垂直相鄰的兩個子影像具有重疊部分。
如請求項1所述的異常檢查裝置，其中每一該些子影像的解析度為M×N，每一該些子影像在水平方向上與其相鄰的子影像的重疊部分的解析度為M/2×N，每一該些子影像在垂直方向上與其相鄰的子影像的重疊部分的解析度為M×N/2。
如請求項1所述的異常檢查裝置，其中該處理器採用三個檢測模組，所述檢測模組包括一防焊檢測模組、一連接部檢測模組以及一標籤檢測模組，該處理器執行的該異常檢測流程包括：將該些子影像輸入至該防焊檢測模組以偵測在一防焊區域上是否存在異常區域；將該些子影像輸入至該連接部檢測模組以偵測在一金屬連接部上是否存在異常區域；以及將該些子影像輸入至該標籤檢測模組，以偵測在一標籤印刷區域上是否存在異常區域。
一種異常檢查方法，利用一處理器執行多個步驟，包括：驅動一第一影像擷取器以擷取一原始影像來執行一異常檢測流程，包括：自該原始影像中基於一產品外觀切割出對應於多個產品的多個產品影像；將每一該些產品影像重疊切割為多個子影像；將該些子影像輸入至已訓練的至少一檢測模組，以檢測每一該些子影像中是否存在異常區域，並在判定存在有異常區域時，輸出一異常座標資訊；以及基於該至少一檢測模組所輸出的全部異常座標資訊，對所述異常區域進行合併。
如請求項6所述的異常檢查方法，更包括：驅動一第二影像擷取器以擷取另一原始影像來執行該異常檢測流程，其中該些產品置放一載具，該載具包括一第一載放區域與一第二載放區域，該第一影像擷取器朝向該第一載放區域拍攝，該第二影像擷取器朝向該第二載放區域拍攝。
如請求項6所述的異常檢查方法，其中水平相鄰的兩個子影像具有重疊部分，垂直相鄰的兩個子影像具有重疊部分。
如請求項6所述的異常檢查方法，其中每一該些子影像的解析度為M×N，每一該些子影像在水平方向上與其相鄰的子影像的重疊部分的解析度為M/2×N，每一該些子影像在垂直方向上與其相鄰的子影像的重疊部分的解析度為M×N/2。
如請求項6所述的異常檢查方法，其中該處理器採用三個檢測模組，所述檢測模組包括一防焊檢測模組、一連接部檢測模組以及一標籤檢測模組，將該些子影像輸入至該防焊檢測模組以偵測在一防焊區域上是否存在異常區域；將該些子影像輸入至該連接部檢測模組以偵測在一金屬連接部上是否存在異常區域；以及將該些子影像輸入至該標籤檢測模組，以偵測在一標籤印刷區域上是否存在異常區域。