TW202509877A - 缺陷檢查裝置、缺陷檢查方法和缺陷檢查程式 - Google Patents

Abstract

減少檢測缺陷時的處理負荷且提高檢測精度。缺陷檢查裝置包括：圖像識別處理部，對拍攝檢查物件而得到的拍攝圖像資料進行圖像識別處理，判定檢查物件內的各區域的屬性；切取部，從上述拍攝圖像資料中切取出包含上述檢查物件內的各區域當中具有特定屬性的區域的部分圖像資料；預測部，藉由向訓練完畢缺陷檢測模型輸入上述部分圖像資料，來預測上述部分圖像資料中存在缺陷的概率；以及顯示控制部，在上述拍攝圖像資料的切取出上述部分圖像資料的位置，重疊與所預測的上述概率相應的顯示形態的標記物來進行顯示。

Description

缺陷檢查裝置、缺陷檢查方法和缺陷檢查程式

本申請係關於一種缺陷檢查裝置、缺陷檢查方法和缺陷檢查程式。

以往，已知一種缺陷檢查裝置，其對拍攝到檢查物件的拍攝圖像資料執行物體檢測處理以檢測檢查物件中所包含的缺陷。依據該缺陷檢查裝置，例如，藉由提高拍攝圖像資料的解析度，能夠檢測更細微的缺陷。 [先前技術文獻] [專利文獻]

專利文獻1：日本特許第7270314號

[發明所欲解決之問題]

另一方面，當每1張拍攝圖像資料的資料量隨著解析度的提高而增加時，缺陷檢查裝置的處理負荷變大。而與此相對，從減少處理負荷的觀點來看，可以考慮分割拍攝圖像資料並對其進行處理。又，在檢查物件是由多種部件形成的結構體的情況下，與針對整個拍攝圖像資料一併執行物體檢測處理相比，例如，按每個部件的種類分開執行物體檢測處理能夠更高精度地檢測細微缺陷。

本發明的目的在於減少檢測缺陷時的處理負荷並提高檢測精度。 [解決問題之技術手段]

本發明的第一方式的缺陷檢查裝置，包括： 圖像識別處理部，其對拍攝檢查物件而得到的拍攝圖像資料進行圖像識別處理，判定檢查物件內的各區域的屬性； 切取部，其從上述拍攝圖像資料中切取出包含上述檢查物件內的各區域當中具有特定屬性的區域的部分圖像資料； 預測部，其藉由向訓練完畢缺陷檢測模型輸入上述部分圖像資料，來預測上述部分圖像資料中存在缺陷的概率；以及 顯示控制部，其在上述拍攝圖像資料的切取出上述部分圖像資料的位置，重疊與所預測的上述概率相應的顯示形態的標記物來進行顯示。

本發明的第二方式是依據第一方式之缺陷檢查裝置，其中， 上述具有特定屬性的區域是具有被預見會產生缺陷的屬性的區域。

本發明的第三方式是依據第一或第二方式之缺陷檢查裝置，其中， 上述圖像識別處理部對上述檢查物件中具有被預見會產生缺陷的第一屬性的區域和上述檢查物件中具有未被預見會產生缺陷的第二屬性的區域進行判定， 上述切取部基於具有上述第二屬性的區域的排列，計算用以切取包含具有上述第一屬性的區域在內的部分圖像資料的位置。

本發明的第四方式是依據第三方式之缺陷檢查裝置，其中， 具有上述第二屬性的區域在上述檢查物件中排列成網格狀， 上述切取部： 基於具有上述第二屬性的區域的中心點來生成網格， 分別計算網格點的縱向中點的位置、網格點的橫向中點的位置、網格點的斜向中點的位置，以作為上述切取位置， 將上述拍攝圖像資料中的以所計算出的上述切取位置為中心的矩形區域切取出，以作為上述部分圖像資料。

本發明的第五方式是第四方式之缺陷檢查裝置，其中， 上述切取部將以上述切取位置為中心的相同尺寸的正方形區域切取出，以作為上述部分圖像資料。

本發明的第六方式是第四或第五方式之缺陷檢查裝置，其中， 上述檢查物件是半導體封裝基板， 具有上述第一屬性的區域是阻焊劑的區域， 具有上述第二屬性的區域是焊接部的區域。

本發明的第七方式是依據第三至第六方式中任一方式之缺陷檢查裝置，其中， 上述圖像識別處理部使用語義分割模型，以像素為單位判定上述第一屬性和上述第二屬性。

本發明的第八方式是依據第一至第七方式中任一方式之缺陷檢查裝置，其中， 上述顯示控制部在切取出所預測的上述概率達到規定閾值以上的部分圖像資料的位置，重疊與所切取出的部分圖像資料的尺寸相應的、表示存在缺陷的矩形框來進行顯示。

本發明的第九方式是依據第一至第八方式中任一方式之缺陷檢查裝置，其中， 上述顯示控制部將所預測的上述概率以及與對應的部分圖像資料的尺寸相應的矩形框，重疊在切取出對應的部分圖像資料的位置來進行顯示。

本發明的第十方式是依據第一至第九方式中任一方式之缺陷檢查裝置，包括： 合計部，其基於對各個上述部分圖像資料預測的概率，判定是否存在缺陷，並合計判定結果；以及 計算部，其使用判定結果進行統計處理，計算統計值， 其中，上述顯示控制部將所合計的合計結果和所計算出的上述統計值重疊在上述拍攝圖像資料上來進行顯示。

本發明的第十一方式是依據第一至第十方式中任一方式之缺陷檢查裝置，其中， 上述預測部藉由向基於包含部分圖像資料和表示缺陷種類的資訊在內的訓練用資料進行了訓練的訓練完畢缺陷檢測模型，輸入上述部分圖像資料，來預測上述部分圖像資料中存在缺陷的概率。

本發明的第十二方式的缺陷檢查方法由電腦執行： 圖像識別處理工序，用於對拍攝檢查物件而得到的拍攝圖像資料進行圖像識別處理，判定檢查物件內的各區域的屬性； 切取工序，用於從上述拍攝圖像資料中切取出包含上述檢查物件內的各區域當中具有特定屬性的區域的部分圖像資料； 預測工序，用於藉由向訓練完畢缺陷檢測模型輸入上述部分圖像資料，來預測上述部分圖像資料中存在缺陷的概率；以及 顯示控制工序，用於在上述拍攝圖像資料的切取出上述部分圖像資料的位置，重疊與所預測的上述概率相應的顯示形態的標記物來進行顯示。

本發明的第十三方式的缺陷檢查程式使電腦執行： 圖像識別處理工序，用於對拍攝檢查物件而得到的拍攝圖像資料進行圖像識別處理，判定檢查物件內的各區域的屬性； 切取工序，用於從上述拍攝圖像資料中切取出包含上述檢查物件內的各區域當中具有特定屬性的區域的部分圖像資料； 預測工序，用於藉由向訓練完畢缺陷檢測模型輸入上述部分圖像資料，來預測上述部分圖像資料中存在缺陷的概率；以及 顯示控制工序，用於在上述拍攝圖像資料的切取出上述部分圖像資料的位置，重疊與所預測的上述概率相應的顯示形態的標記物來進行顯示。 [發明之效果]

依據本發明，能夠減少檢測缺陷時的處理負荷並提高檢測精度。

以下，參照圖式對各實施形態進行說明。又，在本說明書和圖式中，用相同的符號附註具有基本相同的功能配置的元件，從而省略重複的說明。

[第一實施形態] ＜缺陷檢查系統的系統結構＞ 首先，說明包括第一實施形態的缺陷檢查裝置的缺陷檢查系統的系統結構。圖1示出了缺陷檢查系統的系統結構的一例。如圖1所示，缺陷檢查系統100包括拍攝裝置110、訓練裝置120、缺陷檢查裝置130和顯示裝置140。

拍攝裝置110拍攝放置在檢查台150上的檢查物件160，並將拍攝圖像資料發送到訓練裝置120或缺陷檢查裝置130。

在訓練階段，訓練裝置120對從拍攝裝置110發送來的拍攝圖像資料執行圖像識別處理，並以像素為單位判定檢查物件160內的各區域的屬性。又，訓練裝置120從拍攝圖像資料中切取出部分圖像資料，該部分圖像資料包含已判定屬性的各區域中具有預見到會產生缺陷的特定屬性的區域。又，訓練裝置120從顯示裝置140獲取檢查員170對顯示裝置140上顯示的拍攝圖像資料進行目視檢查時的檢查結果資訊，並將該檢查結果資訊與部分圖像資料相關聯地存儲以作為訓練用資料。進而，訓練裝置120使用訓練用資料對缺陷檢測模型執行訓練處理，並生成訓練完畢缺陷檢測模型。

在檢查階段，缺陷檢查裝置130對從拍攝裝置110發送來的拍攝圖像資料執行圖像識別處理，並以像素為單位判定檢查物件160內的各區域的屬性。需要說明的是，在第一實施形態中，將形成檢查物件160的多種部件中的相同種類的部件的區域判定為具有相同屬性的區域。

又，缺陷檢查裝置130從拍攝圖像資料中切取出部分圖像資料，該部分圖像資料包含已判定屬性的各區域中具有被預見會產生缺陷的特定屬性的區域。又，缺陷檢查裝置130將切取出的部分圖像資料輸入到訓練完畢缺陷檢測模型中，以預測部分圖像資料中存在缺陷的概率。進而，缺陷檢查裝置130在切取拍攝圖像資料上的部分圖像資料的位置，重疊與預測出的概率相應的顯示形態的標記物，並將其發送到顯示裝置140。

在訓練階段，顯示裝置140經由缺陷檢查裝置130獲取由拍攝裝置110所拍攝的拍攝圖像資料，並將其顯示給檢查員170。藉此，檢查員170能夠進行目視檢查，並將檢查結果資訊發送到訓練裝置120。

又，在檢查階段，顯示裝置140從缺陷檢查裝置130接收拍攝圖像資料，並將其顯示給檢查員170，其中該拍攝圖像資料在切取部分圖像資料的各個位置上，分別重疊有與所預測的概率相應的顯示形態的標記物。藉此，檢查員170例如能夠著眼於所預測的概率在規定閾值以上的部分圖像資料來進行目視檢查。

如此，第一實施形態的缺陷檢查裝置130從拍攝圖像資料中切取出部分圖像資料，並預測切取出的部分圖像資料中存在缺陷的概率。藉此，依據第一實施形態，與對整個拍攝圖像資料進行一併處理的情況相比，能夠減少缺陷檢查裝置130的處理負荷。

又，第一實施形態的缺陷檢查裝置130藉由執行圖像識別處理來判定各區域的屬性，並切取出具有被預見會產生缺陷的特定屬性的區域作為部分圖像資料。藉此，依據第一實施形態，即使檢查物件是由多個部件形成的結構體，也能夠切取出被預見會產生缺陷的部件的區域作為部分圖像資料。

也即是說，由於未預見會產生缺陷的部件的區域不是預測物件，因此與切取出全部區域作為部分圖像資料的情況相比，能夠進一步減少缺陷檢查裝置130的處理負荷。又，由於切取出的部分圖像資料中被預見會產生缺陷的特定屬性的占比大，因此與從包含多種部件的區域的拍攝圖像資料中檢測細微缺陷的情況相比，能夠提高細微缺陷的檢測精度。

＜檢查物件的一例＞ 接下來，說明由第一實施形態的缺陷檢查裝置130檢查的檢查物件160的具體例。圖2是示出檢查物件的一例的圖。如圖2所示，檢查物件160是由基部210和多個部件220形成的結構體。更具體地，檢查對象160是半導體封裝基板，圖2的例子示出了從上方觀察半導體封裝基板的情形。因此，基部210是阻焊劑，多個部件220是焊料接合部。

如圖2所示，在檢查物件160是半導體封裝基板的情況下，多個部件220即焊料接合部具有大致相同的尺寸和形狀，且在作為基部210的阻焊劑上以網格形狀等間隔排列。

在第一實施形態中，在檢查物件160的基部210的區域中預見會產生細微缺陷。又，拍攝裝置110具有能夠在產生該細微缺陷的情況下檢測出所產生的細微缺陷的程度的解析度。因此，拍攝整個檢查物件160所獲得的拍攝圖像資料的資料量很大，若要一併處理拍攝圖像資料，則缺陷檢查裝置130的處理負荷會增大。

因此，如上所述，在第一實施形態的缺陷檢查裝置130中，從拍攝圖像資料中切取出部分圖像資料。此時，在第一實施形態的缺陷檢查裝置130中，位於相鄰部件220之間的基部210的區域分別被切取出以作為部分圖像資料。

＜訓練裝置、缺陷檢查裝置的硬體設定＞ 接下來，說明訓練裝置120和缺陷檢查裝置130的硬體設定。需要說明的是，由於訓練裝置120的硬體設定與缺陷檢查裝置130的硬體設定基本相同，因此在此將參考圖3一併進行說明。

圖3是示出訓練裝置和缺陷檢查裝置的硬體設定的一例的圖。如圖3所示，訓練裝置120和缺陷檢查裝置130包括處理器301、記憶體302、輔助存儲裝置303、輸入/輸出裝置304、通信裝置305和驅動裝置306。需要說明的是，訓練裝置120和缺陷檢查裝置130的各硬體經由匯流排307相互連接。

處理器301包括CPU(中央處理單元)和GPU(圖形處理單元)等各種計算設備。處理器301將各種程式讀出到記憶體302上並執行。需要說明的是，在此提及的各種程式包括稍後說明的訓練程式或缺陷檢查程式等程式。

記憶體302包括主存儲裝置，例如ROM(唯讀記憶體)和RAM(隨機存取記憶體)等。處理器301和記憶體302形成所謂的電腦。該電腦藉由處理器301執行在記憶體302上讀出的各種程式來實現各種功能。

輔助存儲裝置303存儲各種程式以及在由處理器301執行各種程式時使用的各種資料。例如，稍後說明的訓練用資料存儲部411、訓練完畢模型存儲部412、訓練完畢模型存儲部1111在輔助存儲裝置303中加以實現。

輸入/輸出裝置304是連接到作為使用者介面裝置的一例的操作裝置311和顯示裝置312的連接設備。通信裝置305是用於經由網路與外部裝置320通信的通信設備。在此所提及的外部裝置320包括拍攝裝置110、顯示裝置140等。

驅動裝置306是用於設置記錄介質330的設備。記錄介質330包括以光、電或磁的方式記錄CD-ROM、軟碟、磁光碟等資訊的介質。記錄介質330也可以包括ROM、快閃記憶體等以電的方式記錄資訊的半導體記憶體等介質。

需要說明的是，安裝在輔助存儲裝置303中的各種程式，例如藉由將分發的記錄介質330設置在驅動裝置306中並將記錄在該記錄介質330中的各種程式讀出來安裝。可選地，安裝在輔助存儲裝置303中的各種程式可以藉由經由通信裝置305從網路下載來安裝。

＜訓練裝置的功能配置＞ 接下來，說明訓練裝置120的功能配置。圖4是示出訓練裝置的功能配置的一例的圖。如上所述，在訓練裝置120中安裝訓練程式。訓練裝置120藉由執行訓練程式而作為圖像資料獲取部401、圖像識別處理部402、點座標計算部403、部分圖像切取部404、檢查結果資訊獲取部405、訓練用資料生成部406和訓練部407發揮功能。

圖像資料獲取部401從拍攝裝置110獲取拍攝圖像資料。圖像資料獲取部401將獲取的拍攝圖像資料通知給圖像識別處理部402和部分圖像切取部404。

圖像識別處理部402藉由對拍攝圖像資料執行圖像識別處理，以像素為單位判定拍攝圖像資料中所包含的各區域的屬性。在第一實施形態中，圖像識別處理部402例如藉由將拍攝圖像資料輸入到語義分割模型，以像素為單位識別基部210的區域和部件220的區域。需要說明的是，圖像識別處理部402使用的語義分割模型例如是“DeepLabV3”等。

點座標計算部403在其屬性以像素為單位被判定的拍攝圖像資料中計算網格向量。網格向量是指用於生成用以確定排列成網格狀的部件220的位置座標的網格的向量。點座標計算部403決定網格向量的起點位置和方向，以使網格點與部件220的中心點之間的距離之和最小。如此，藉由決定網格向量，即使在圖像識別處理中未能識別某些部件220的情況下，只要能夠識別其他部件220，就能夠生成網格。藉此，點座標計算部403能夠適當地計算所有部件220的位置座標。

點座標計算部403基於所決定的網格向量生成網格，並在所生成的網格中計算相鄰網格點之間的中點的位置座標。又，點座標計算部403將計算出的中點的位置座標通知給部分圖像切取部404。

部分圖像切取部404在由圖像資料獲取部401通知的拍攝圖像資料中確定以由點座標計算部403通知的中點的位置座標為中心的矩形區域，並將其切取出以作為部分圖像資料。假設由部分圖像切取部404作為部分圖像資料切取出的矩形區域具有預定的形狀和尺寸。

由部分圖像切取部404切取出的部分圖像資料被依次通知給訓練用資料生成部406。

檢查結果資訊獲取部405從顯示裝置140獲取檢查結果資訊，並通知給訓練用資料生成部406。

訓練用資料生成部406藉由使由部分圖像切取部404通知的部分圖像資料和由檢查結果資訊獲取部405通知的檢查結果資訊相關聯，來生成訓練用資料，並存儲到訓練用資料存儲部411。由檢查結果資訊獲取部405通知的檢查結果資訊包含缺陷的種類和缺陷的位置座標。訓練用資料生成部406藉由使與缺陷的位置座標對應的部分圖像資料與缺陷的種類相關聯，來生成訓練用資料。

訓練部407使用存儲在訓練用資料存儲部411中的訓練用資料，對缺陷檢測模型進行訓練處理，生成訓練完畢缺陷檢測模型。訓練部407將所生成的訓練完畢缺陷檢測模型存儲在訓練完畢模型存儲部412中。

＜訓練裝置的各部件的處理的具體例＞ 接下來，說明訓練裝置120的各部件的處理的具體例。在此，說明作為訓練裝置120的各部件的處理的圖像識別處理部402、點座標計算部403、部分圖像切取部404、訓練用資料生成部406和訓練部407的處理的具體例。

(1)圖像識別處理部402的處理的具體例 首先，說明圖像識別處理部402的處理的具體例。圖5是示出圖像識別處理部的處理的具體例的圖。在圖5中，符號510表示拍攝圖像資料。但是，由於篇幅的原因，在圖5的例子中，摘錄並示出了對檢查物件160拍攝的拍攝圖像資料當中的一部分區域。

如上所述，圖像識別處理部402對符號510所示出的拍攝圖像資料執行圖像識別處理，並以像素為單位判定基部210的區域和部件220的區域。

在圖5中，符號520示出了藉由圖像識別處理部402以像素為單位判定基部210的區域和部件220的區域而獲得的圖像識別處理結果。符號520的例子用白色表示被圖像識別處理部402判定為基部210的區域的像素。符號520的例子用黑色表示被圖像識別處理部402判定為部件220的區域的像素。

需要說明的是，符號520所示出的圖像識別處理結果的例子示出了多個部件220的一部分未被識別的情形。

(2)點座標計算部403的處理的具體例 接下來，說明點座標計算部403的處理的具體例。圖6是示出點座標計算部的處理的具體例的圖。如圖6所示，在輸入符號520所示出的圖像識別處理結果時，如符號610所示，點座標計算部403決定網格向量611。

如上所述，點座標計算部403決定網格向量611的起點位置和方向，以使網格點與部件220的中心點之間的距離之和最小。符號610內所示的實線表示基於所決定的網格向量611等生成的網格。如上所述，藉由生成網格，即使在多個部件220的一部分區域未被識別的情況下，點座標計算部403也能夠適當地計算所有部件220的位置座標。

又，如上所述，點座標計算部403計算所生成的網格中相鄰網格點之間的中點的位置座標。在圖6中，符號620內的黑色圓圈表示由點座標計算部403計算出 · 縱向相鄰的網格點之間的中點的位置座標、 · 橫向相鄰的網格點之間的中點的位置座標、 · 斜向相鄰的網格點之間的中點的位置座標 的情形。

(3)部分圖像切取部404的處理的具體例 接下來，說明部分圖像切取部404的處理的具體例。圖7是示出部分圖像切取單元的處理的具體例的圖。如圖7所示，當輸入了符號510所示的拍攝圖像資料和符號620所示的中點的位置座標時，部分圖像切取部404如符號710所示切取部分圖像資料。

如上所述，部分圖像切取部404從拍攝圖像資料中切取以中點的位置座標為中心的矩形區域以作為部分圖像資料。在符號710中，部分圖像資料711示出了從拍攝圖像資料中切取出以中點621的位置座標為中心的矩形區域的情形。同樣地，在符號710中，部分圖像資料712示出了從拍攝圖像資料中切取出以中點622的位置座標為中心的矩形區域的情形。

需要說明的是，在圖7的例子中，假設矩形區域的形狀為正方形，且要切取的矩形區域的尺寸彼此相同。這是因為在將其輸入到缺陷檢測模型以執行訓練處理時便於訓練處理。此外還因為，藉由將所切取出的部分圖像資料旋轉90度或180度，可以將其作為與旋轉前的部分圖像資料不同的部分圖像資料存儲在訓練用資料中，因此可以增加訓練用資料的數量。

(4)訓練用資料生成部406的處理的具體例 接下來，說明訓練用資料生成部406的處理的具體例。圖8是示出訓練用資料生成部的處理的具體例的圖。

在圖8中，符號810表示從顯示裝置140發送來的檢查結果資訊的一例。如符號810所示，檢查結果資訊包含“缺陷識別字”、“缺陷的位置座標”和“缺陷種類”作為資訊項。

在“缺陷識別字”中，存儲用於識別藉由檢查員170進行目視檢查而檢測到的缺陷的識別字。在“缺陷的位置座標”中，存儲檢查員170藉由輸入缺陷的外接矩形而計算出的、用於確定該外接矩形的位置和大小的資訊。具體地，存儲該外接矩形的左上角的位置座標和右下角的位置座標。在“缺陷種類”中，存儲藉由檢查員170進行目視檢查而判斷出的缺陷的種類。

如圖8所示，當輸入了符號810所示的檢查結果資訊和符號710所示的部分圖像資料711、712等時，訓練用資料生成部406生成訓練用資料820。訓練用資料820包含“部分圖像識別字”、“部分圖像”、“缺陷識別字”、“缺陷的位置座標”和“缺陷種類”作為資訊項。

在“部分圖像識別字”中，存儲用於識別部分圖像資料的識別字。在“部分圖像”中，存儲部分圖像資料。在“缺陷識別字”、“缺陷的位置座標”和“缺陷種類”中，分別存儲對應的檢查結果資訊。

在圖8的例子中，“部分圖像識別字”=“IM1”的部分圖像資料中不存在缺陷，因此沒有對應的檢查結果資訊。因此，“缺陷識別字”和“缺陷的位置座標”為空欄，在“缺陷種類”中存儲“不存在缺陷”。

另一方面，“部分圖像識別字”=“IM20”的部分圖像資料中存在缺陷，具有對應的檢查結果資訊。因此，在“缺陷識別字”、“缺陷的位置座標”和“缺陷種類”中，分別存儲“ID1”、“(x ₁₁, y ₁₁)、(x ₁₂, y ₁₂)”和“缺陷a”。同樣地，“部分圖像識別字”=“IM32”的部分圖像資料中存在缺陷，具有對應的檢查結果資訊。因此，在“缺陷識別字”、“缺陷的位置座標”和“缺陷種類”中，分別存儲“ID2”、“(x ₂₁, y ₂₁)、(x ₂₂, y ₂₂)”和“缺陷a”。

需要說明的是，訓練用資料生成部406基於切取出的部分圖像資料的位置座標與檢查結果資訊的“缺陷的位置座標”中所存儲的位置座標之間的關係，將部分圖像資料與檢查結果資訊相關聯。訓練用資料生成部406將所生成的訓練用資料820存儲在訓練用資料存儲部411中。

(5)訓練部407的處理的具體例 接下來，說明訓練部407的處理的具體例。圖9是示出訓練部的處理的具體例的圖。如圖9所示，訓練部407中包含有缺陷檢測模型901和比較變更部902。訓練部407使用訓練用資料存儲部411中所存儲的訓練用資料820，對缺陷檢測模型901執行訓練處理。

具體地，訓練部407對缺陷檢測模型901，輸入訓練用資料820的“部分圖像”中所存儲的各部分圖像資料。藉此，缺陷檢測模型901將各部分圖像資料中存在缺陷的概率作為輸出資料輸出。又，訓練部407對比較變更部902，輸入訓練用資料820的“缺陷種類”中所存儲的缺陷的種類。藉此，比較變更部902將從缺陷檢測模型901輸出的輸出資料與“缺陷種類”中所存儲的缺陷的種類進行比較。

例如，在“部分圖像識別字”=“IM1”的部分圖像資料的情況下，比較變更部902將從缺陷檢測模型901輸出的輸出資料與表示“缺陷種類”中存儲的缺陷的種類即“不存在缺陷”的“0%”進行比較，並計算誤差。同樣地，在“部分圖像識別字”=“IM20”的部分圖像資料的情況下，比較變更部902將從缺陷檢測模型901輸出的輸出資料與表示“缺陷種類”中存儲的缺陷的種類即“缺陷a”的“100%”進行比較，並計算誤差。同樣地，在“部分圖像識別字”=“IM32”的部分圖像資料的情況下，比較變更部902將從缺陷檢測模型901輸出的輸出資料與表示“缺陷種類”中存儲的缺陷的種類即“缺陷a”的“100%”進行比較，並計算誤差。

又，比較變更部902依據計算出的誤差更新缺陷檢測模型901的模型參數。因此，訓練部407可以生成訓練完畢缺陷檢測模型。

需要說明的是，訓練部407將所生成的訓練完畢缺陷檢測模型存儲在訓練完畢模型存儲部412中。

＜由訓練裝置執行的訓練處理的流程＞ 接下來，說明由訓練裝置120執行的訓練處理的流程。圖10是示出利用由訓練裝置執行的訓練處理的流程的流程圖的一例。在訓練階段執行圖10所示的流程圖。

在步驟S1001中，訓練裝置120獲取由拍攝裝置110拍攝的拍攝圖像資料。

在步驟S1002中，訓練裝置120從顯示裝置140獲取檢查結果資訊。

在步驟S1003中，訓練裝置120對拍攝圖像資料執行圖像識別處理，並以像素為單位判定各區域的屬性。

在步驟S1004中，訓練裝置120基於部件220的中心點的位置座標來決定網格向量。

在步驟S1005中，訓練裝置120基於所決定的網格向量來生成網格，並計算相鄰網格點之間的中點的位置座標。

在步驟S1006中，訓練裝置120將“1”輸入計數器i，其中該計數器i對計算位置座標而得到的中點進行計數。

在步驟S1007中，訓練裝置120切取出以第i個中點的位置座標為中心的矩形區域作為部分圖像資料。

在步驟S1008中，訓練裝置120判定是否存在與部分圖像資料對應的檢查結果資訊。當在步驟S1008中判定為存在對應的檢查結果資訊時(在步驟S1008中為“是”的情況)，處理進入步驟S1009。

在步驟S1009中，訓練裝置120將部分圖像資料與檢查結果資訊相互關聯地存儲在訓練用資料中。

另一方面，當在步驟S1008中判定為不存在對應的檢查結果資訊時(在步驟S1008中為“否”的情況下)，處理進入步驟S1010。

在步驟S1010中，訓練裝置120將“不存在缺陷”與部分圖像資料相關聯地存儲在訓練用資料中。

在步驟S1011中，訓練裝置120判定是否對從拍攝圖像資料中切取出的所有部分圖像資料執行了步驟S1007至S1010的處理。當在步驟S1011中判定為存在未執行處理的部分圖像資料時(在步驟S1011中為“否”的情況下)，處理進入步驟S1012。

在步驟S1012，訓練裝置120使計數器i遞增，且返回步驟S1007。

另一方面，當在步驟S1011中判定為對所有部分圖像資料執行了處理時(在步驟S1011中為“是”的情況下)，處理進入步驟S1013。

在步驟S1013中，訓練裝置120讀取訓練用資料，對缺陷檢測模型執行訓練處理，並生成訓練完畢缺陷檢測模型。

在步驟S1014中，訓練裝置120將所生成的訓練完畢缺陷檢測模型存儲在訓練完畢模型存儲部412中。

＜缺陷檢查裝置的功能配置＞ 接下來，說明缺陷檢查裝置130的功能配置。圖11示出了缺陷檢查裝置的功能配置的一例。如上所述，在缺陷檢查裝置130中安裝有缺陷檢查程式。缺陷檢查裝置130藉由執行該缺陷檢查程式而作為圖像資料獲取部1101、圖像識別處理部1102、點座標計算部1103、部分圖像切取部1104、預測部1105、合計部1106以及顯示控制部1107發揮功能。

圖像資料獲取部1101從拍攝裝置110獲取拍攝圖像資料。圖像資料獲取部1101將獲取的拍攝圖像資料通知給圖像識別處理部1102和部分圖像切取部1104。

圖像識別處理部1102藉由對拍攝圖像資料執行圖像識別處理，以像素為單位判定拍攝圖像資料中所包含的各區域的屬性。在第一實施形態中，圖像識別處理部1102例如藉由將拍攝圖像資料輸入到語義分割模型，以像素為單位識別基部210的區域和部件220的區域。圖像識別處理部1102使用的語義分割模型例如是“DeepLabV3”等。

點座標計算部1103在其屬性以像素為單位被判定的拍攝圖像資料中計算網格向量。網格向量是指用於生成用以確定排列成網格狀的部件220的位置座標的網格的向量。點座標計算部1103決定網格向量的起點位置和方向，以使網格點與部件220的中心點之間的距離之和最小。如此，藉由決定網格向量，即使在圖像識別處理中未能識別某些部件220的情況下，只要能夠識別其他部件220，就能夠生成網格。藉此，點座標計算部403能夠適當地計算所有部件220的位置座標。

點座標計算部1103基於所決定的網格向量生成網格，並在所生成的網格中計算相鄰網格點之間的中點的位置座標。又，點座標計算部1103將計算出的中點的位置座標通知給部分圖像切取部1104。

部分圖像切取部1104在由圖像資料獲取部1101通知的拍攝圖像資料中確定以由點座標計算部1103通知的中點的位置座標為中心的矩形區域，並將其切取出以作為部分圖像資料。假設由部分圖像切取部1104作為部分圖像資料切取出的矩形區域具有預定的形狀和尺寸。

由部分圖像切取部1104切取出的部分圖像資料被依次輸入到預測部1105。

預測部1105藉由向從訓練完畢模型存儲部1111讀出的訓練完畢缺陷檢測模型，輸入不分圖像資料，來預測部分圖像資料中存在缺陷的概率。又，預測部1105將所預測的概率通知給合計部1106以及顯示控制部1107。

合計部1106從預測部1105獲取部分圖像資料中存在缺陷的概率，並判定所獲取的概率是否在規定的閾值以上。合計部1106在判定為在規定的閾值以上時，判定為對應的部分圖像資料中存在缺陷。另一方面，合計部1106在判定為小於規定的閾值時，判定為對應的部分圖像資料不存在缺陷。

合計部1106對從拍攝圖像資料切取出的全部部分圖像資料判定是否存在缺陷，對判定結果進行合計並進行統計處理，計算統計值。又，合計部1106將合計結果及統計值通知給顯示控制部1107。

顯示控制部1107從預測部1105獲取部分圖像資料中存在缺陷的概率，將與所獲取的概率相應的顯示形態的標記物重疊在拍攝圖像資料內的對應的部分圖像資料的位置上。又，顯示控制部1107將由合計部1106通知的合計結果及統計值重疊在拍攝圖像資料上。

又，顯示控制部1107進行控制，以在顯示裝置140上顯示重疊了標記物、合計結果及統計值的拍攝圖像資料。

＜缺陷檢查裝置的各部件的處理的具體例＞ 接下來，說明缺陷檢查裝置130的各部件的處理的具體例。需要說明的是，在缺陷檢查裝置130的各部件的處理中，從圖像資料獲取部1101到部分圖像切取部1104的處理與訓練裝置120的從圖像資料獲取部401到部分圖像切取部404的處理相同，因此在此省略其說明。在此，將僅說明顯示控制部1107的處理的具體例。

圖12示出了顯示控制部的處理的具體例。在圖12中，符號1210示出了顯示控制部1107如何在拍攝圖像資料內對應的部分圖像資料的位置顯示與存在缺陷的概率相應的顯示形態的標記物。

符號1210的例子示出了如何在存在缺陷的概率在規定閾值以上且被判定為存在缺陷的部分圖像資料的切取位置顯示粗實線矩形框作為標記物。依據符號1210所示的顯示形態，藉由從粗實線矩形框1211參照粗實線矩形框1214，檢查員170能夠容易地掌握在拍攝圖像資料中被判定為存在缺陷的位置。

又，符號1220的例子示出了如何在切取各部分圖像資料的位置顯示針對各部分圖像資料預測的概率。又，符號1220的例子示出了如何在切取各部分圖像資料的位置顯示與針對各部分圖像資料預測的概率相應的矩形框。

需要說明的是，符號1220的例子示出了當存在缺陷的概率小於或等於第一閾值時，在切取相應部分圖像資料的位置顯示了虛線矩形框和存在缺陷的概率。又，符號1220的例子示出了當存在缺陷的概率大於第一閾值而小於或等於第二閾值時，在切取相應部分圖像資料的位置顯示了細實線矩形框和存在缺陷的概率。又，符號1220的例子示出了當存在缺陷的概率大於第二閾值時，在切取相應部分圖像資料的位置顯示了粗實線矩形框和存在缺陷的概率。

依據符號1220的顯示形態，藉由參考各矩形框，可以容易地理解訓練完畢缺陷檢測模型如何對部分圖像資料進行預測。

需要說明的是，在符號1220的例子中，由於篇幅的原因，示出了對於切取出的部分圖像資料中的一部分部分圖像資料而顯示對應於存在缺陷的概率的顯示形態的矩形框。然而，對於其他部分圖像資料，也可以同樣地，顯示對應於存在缺陷的概率的顯示形態的矩形框。

又，在符號1220的例子中示出了改變矩形框的線種類和矩形框的線的粗細的情況，作為對應於存在缺陷的概率的顯示形態，但是對應於存在缺陷的概率的顯示形態不限於此。例如，可以採用改變矩形框的顏色、矩形框的形狀和矩形框的大小的構造。

又，在符號1220的例子中，由於篇幅的原因，省略了合計結果和統計值的顯示，但是可以在任意位置顯示合計結果和統計值。

＜由缺陷檢查裝置執行的缺陷檢查處理的流程＞ 接下來，說明由缺陷檢查裝置130執行的缺陷檢查處理的流程。圖13是示出由缺陷檢查裝置執行的缺陷檢查處理的流程的流程圖的一例。在檢查階段執行圖13所示的流程圖。

在步驟S1301中，缺陷檢查裝置130獲取由拍攝裝置110拍攝的拍攝圖像資料。

在步驟S1302中，缺陷檢查裝置130對拍攝圖像資料執行圖像識別處理，並以像素為單位判定各區域的屬性。

在步驟S1303中，缺陷檢查裝置130基於部件的中心點的位置座標來決定網格向量。

在步驟S1304中，缺陷檢查裝置130基於所決定的網格向量生成網格，並計算相鄰網格點之間的中點的位置座標。

在步驟S1305中，缺陷檢查裝置130向計數器i輸入“1”，該計數器i對計算出的位置座標的中點進行計數。

在步驟S1306中，缺陷檢查裝置130切取出以第i個中點的位置座標為中心的矩形區域作為部分圖像資料。

在步驟S1307中，缺陷檢查裝置130將部分圖像資料輸入到訓練完畢缺陷檢測模型中，並預測該部分圖像資料中存在缺陷的概率。

在步驟S1308中，缺陷檢查裝置130判定是否對所有部分圖像資料中存在缺陷的概率進行了預測。

當在步驟S1308中，判定為存在未預測存在缺陷的概率的部分圖像資料時(在步驟S1308中“否”的情況下)，處理進入步驟S1309。

在步驟S1309中，缺陷檢查裝置130使計數器i加1，並返回步驟S1306。

另一方面，當在步驟S1308中判定為對所有部分圖像資料預測了存在缺陷的概率時(在步驟S1308中“是”的情況下)，處理進入步驟S1310。

在步驟S1310中，缺陷檢查裝置130基於所預測的概率來判定部分圖像資料是否存在缺陷。又，缺陷檢查裝置130對判定結果進行合計，並進行統計處理以計算統計值。

在步驟S1311中，缺陷檢查裝置130將與概率相應的標記物、合計結果和統計值重疊在拍攝圖像資料上。

在步驟S1312中，缺陷檢查裝置130在顯示裝置140上顯示重疊有與概率相應的標記物、合計結果和統計值的拍攝圖像資料。

＜總結＞ 從上述說明中顯而易見，第一實施形態的缺陷檢查裝置130： · 對拍攝檢查物件160的拍攝圖像資料進行圖像識別處理，以像素為單位判定檢查物件160內的各區域的屬性； · 從拍攝圖像資料中切取檢查物件160內的各區域中包含被預見會產生缺陷的基部210的區域的部分圖像資料； · 藉由將部分圖像資料輸入到訓練完畢缺陷檢測模型中，預測部分圖像資料中存在缺陷的概率； · 在檢查物件的拍攝圖像資料中，在切取出部分圖像資料的位置，重疊與所預測的概率相應的顯示形態的標記物來進行顯示。

如此，第一實施形態的缺陷檢查裝置130從拍攝圖像資料中切取部分圖像資料，並預測切取出的部分圖像資料中存在缺陷的概率。藉此，依據第一實施形態，與對整個拍攝圖像資料執行一併處理的情況相比，可以減少缺陷檢查裝置130的處理負荷。

又，第一實施形態的缺陷檢查裝置130藉由執行圖像識別處理，判定各區域的屬性，並切取具有被預見會產生缺陷的特定屬性的區域作為部分圖像資料。藉此，依據第一實施形態，即使檢查物件是由多個部件形成的結構體，也可以切取出被預見會產生缺陷的部件的區域作為部分圖像資料。

換言之，由於未預見會產生缺陷的部件的區域不是預測物件，因此與切取所有區域作為部分圖像資料的情況相比，可以進一步減少缺陷檢查裝置130的處理負荷。又，由於切取出的部分圖像資料中被預見會產生缺陷的特定屬性的占比大，因此與從包含多種部件的區域的拍攝圖像資料中檢測細微缺陷的情況相比，能夠提高細微缺陷的檢測精度。

[第二實施形態] 在上述第一實施形態中，已經說明了缺陷檢查裝置130對藉由從上方拍攝作為檢查對象的半導體封裝基板而獲得的拍攝圖像資料執行缺陷檢查處理的情況。因此，在上述第一實施形態中，假定具有被預見會產生缺陷的特定屬性(第一屬性)的區域是阻焊劑的區域而具有被預見不會產生缺陷的屬性(第二屬性)的區域是焊接部的區域，進行了說明。

然而，由缺陷檢查裝置130獲得的拍攝圖像資料不限於此。又，缺陷檢查裝置130的部分圖像資料的切取方法也不限於此。

例如，可以藉由獲取藉由從側面拍攝作為檢查物件的半導體封裝基板而獲得的拍攝圖像資料來執行缺陷檢查處理。在從側面拍攝半導體封裝基板而獲得的拍攝圖像資料的情況下，包含多層浸漬有樹脂的玻璃纖維層。因此，例如，圖像識別處理部402、1102判定第一層區域為具有第一屬性的區域，判定第二層區域為另一具有第一屬性的區域。又，切取部例如分別切取包含第一層區域的部分圖像資料和包含第二層區域的部分圖像資料。需要說明的是，在這種情況下，層的區域以外的區域則成為具有第二屬性的區域。

即，由圖像識別處理部402、1102判定為具有被預見會產生缺陷的特定屬性的區域包括： · 如第一實施形態那樣，除特定種類的部件的區域外的區域； · 如第二實施形態那樣，由多種部件構成的特定的組合在一起的部件組的區域。 具體地，具有特定屬性的區域包括下述情況：部件的種類由特定的一種構成的區域的情況、以及雖包含多種部件但部件的種類和配置的組合由特定的一種構成的區域的情況。

如此，藉由對包括多種部件但具有部件的種類和配置的特定組合的各區域切取部分圖像資料，第二實施形態也可以獲得與上述第一實施形態相同的效果。

[第三實施形態] 在上述第一實施形態中，對缺陷的種類為一種的情況進行了說明，但缺陷的種類也可以是多種。在缺陷的種類為多種的情況下，顯示控制部1107也可以構成為按照缺陷的種類，以不同的顯示形態進行顯示。又，合計部1106也可以構成為按照缺陷的種類對判定結果進行合計。

又，在上述第一實施形態中，雖然沒有詳細提及判定結果的合計方法或統計處理的方法，但是合計部1106例如也可以對被判定為存在缺陷的部分圖像資料的數量進行合計。或者，在被判定為存在缺陷的部分圖像資料連續的情況下，合計部1106也可以對連續的部分圖像資料的數量進行合計。或者，合計部1106也可以藉由將被判定為存在缺陷的部分圖像資料的數量除以從拍攝圖像資料切取出的全部的部分圖像資料的數量，計算出被判定為存在缺陷的部分圖像資料的比率。或者，合計部1106也可以基於存在缺陷的概率生成長條圖。

又，在上述第一實施形態中，構成為藉由決定網格向量來生成網格，但是網格的生成方法不限於此。又，在上述第一實施形態中，構成為將生成的網格的中點的位置座標作為中心的矩形區域作為部分圖像資料進行切取，但是部分圖像資料的切取方法不限於此。

又，在上述第一實施形態中，構成為將被判定為存在缺陷的部分圖像資料和被判定為不存在缺陷的部分圖像資料兩者用作訓練用資料，但是也可以構成為僅將任意一方的部分圖像資料用作訓練用資料。

又，在上述第一實施形態中，說明了訓練裝置120和缺陷檢查裝置130作為分體裝置構成的情況，但是訓練裝置120和缺陷檢查裝置130也可以作為一體裝置構成。

需要說明的是，本發明不限於上述實施形態所例示的配置等、與其他要素的組合等在此所示的配置。關於這些點，能夠在不脫離本發明的宗旨的範圍內進行變更，能夠依據其應用方式適當地進行規定。

本申請基於2023年6月30日提交的日本發明專利申請第2023-108434號要求優先權，藉由參照該日本發明專利申請的全部內容而援引於本申請中。

100:缺陷檢查系統 110:拍攝裝置 120:訓練裝置 130:缺陷檢查裝置 140:顯示裝置 210:基部 220:部件 401:圖像資料獲取部 402:圖像識別處理部 403:點座標計算部 404:部分圖像切取部 405:檢查結果資訊獲取部 406:訓練用資料生成部 407:訓練部 611:網格向量 621,622:中點 711,712:部分圖像資料 820:訓練用資料 901:缺陷檢測模型 1101:圖像資料獲取部 1102:圖像識別處理部 1103:點座標計算部 1104:部分圖像切取部 1105:預測部 1106:合計部 1107:顯示控制部

[圖1]是示出缺陷檢查系統的系統結構的一例的圖。 [圖2]是示出檢查物件的一例的圖。 [圖3]是示出訓練裝置和缺陷檢查裝置的硬體設定的一例的圖。 [圖4]是示出訓練裝置的功能配置的一例的圖。 [圖5]是示出由圖像識別處理部執行的處理的具體例的圖。 [圖6]是示出由點座標計算部執行的處理的具體例的圖。 [圖7]是示出由部分圖像切取部執行的處理的具體例的圖。 [圖8]是示出由訓練用資料生成部執行的處理的具體例的圖。 [圖9]是示出由訓練部執行的處理的具體例的圖。 [圖10]是由訓練裝置執行的訓練處理的流程的流程圖的一例。 [圖11]是示出缺陷檢查裝置的功能配置的一例的圖。 [圖12]是示出由顯示控制部執行的處理的具體例的圖。 [圖13]是示出由缺陷檢查裝置執行的缺陷檢查處理的流程的流程圖的一例。

100:缺陷檢查系統

110:拍攝圖像資料

120:訓練裝置

130:缺陷檢查裝置

140:顯示裝置

150:檢查台

160:檢查物件

170:檢查員

Claims (13)

1. 一種缺陷檢查裝置，包括： 圖像識別處理部，其對拍攝檢查物件而得到的拍攝圖像資料進行圖像識別處理，判定檢查物件內的各區域的屬性； 切取部，其從前述拍攝圖像資料中切取出包含前述檢查物件內的各區域當中具有特定屬性的區域的部分圖像資料； 預測部，其藉由向訓練完畢缺陷檢測模型輸入前述部分圖像資料，來預測前述部分圖像資料中存在缺陷的概率；以及 顯示控制部，其在前述拍攝圖像資料的切取出前述部分圖像資料的位置，重疊與所預測的前述概率相應的顯示形態的標記物來進行顯示。
2. 如請求項1之缺陷檢查裝置，其中， 前述具有特定屬性的區域是具有被預見會產生缺陷的屬性的區域。
3. 如請求項1之缺陷檢查裝置，其中， 前述圖像識別處理部對前述檢查物件中具有被預見會產生缺陷的第一屬性的區域和前述檢查物件中具有未被預見會產生缺陷的第二屬性的區域進行判定， 前述切取部基於具有前述第二屬性的區域的排列，計算用以切取包含具有前述第一屬性的區域在內的部分圖像資料的位置。
4. 如請求項3之缺陷檢查裝置，其中， 具有前述第二屬性的區域在前述檢查物件中排列成網格狀， 前述切取部： 基於具有前述第二屬性的區域的中心點來生成網格， 分別計算網格點的縱向中點的位置、網格點的橫向中點的位置、網格點的斜向中點的位置，以作為前述切取位置， 將前述拍攝圖像資料中的以所計算出的前述切取位置為中心的矩形區域切取出，以作為前述部分圖像資料。
5. 如請求項4之缺陷檢查裝置，其中， 前述切取部將以前述切取位置為中心的相同尺寸的正方形區域切取出，以作為前述部分圖像資料。
6. 如請求項4之缺陷檢查裝置，其中， 前述檢查物件是半導體封裝基板， 具有前述第一屬性的區域是阻焊劑的區域， 具有前述第二屬性的區域是焊接部的區域。
7. 如請求項3之缺陷檢查裝置，其中， 前述圖像識別處理部使用語義分割模型，以像素為單位判定前述第一屬性和前述第二屬性。
8. 如請求項1之缺陷檢查裝置，其中， 前述顯示控制部在切取出所預測的前述概率達到規定閾值以上的部分圖像資料的位置，重疊與所切取出的部分圖像資料的尺寸相應的、表示存在缺陷的矩形框來進行顯示。
9. 如請求項1之缺陷檢查裝置，其中， 前述顯示控制部將所預測的前述概率以及與對應的部分圖像資料的尺寸相應的矩形框，重疊在切取出對應的部分圖像資料的位置來進行顯示。
10. 如請求項1之缺陷檢查裝置，包括： 合計部，其基於對各個前述部分圖像資料預測的概率，判定是否存在缺陷，並合計判定結果；以及 計算部，其使用判定結果進行統計處理，計算統計值， 其中，前述顯示控制部將所合計的合計結果和所計算出的前述統計值重疊在前述拍攝圖像資料上來進行顯示。
11. 如請求項1之缺陷檢查裝置，其中， 前述預測部藉由向基於包含部分圖像資料和表示缺陷種類的資訊在內的訓練用資料進行了訓練的訓練完畢缺陷檢測模型，輸入前述部分圖像資料，來預測前述部分圖像資料中存在缺陷的概率。
12. 一種缺陷檢查方法，其由電腦執行： 圖像識別處理工序，用於對拍攝檢查物件而得到的拍攝圖像資料進行圖像識別處理，判定檢查物件內的各區域的屬性； 切取工序，用於從前述拍攝圖像資料中切取出包含前述檢查物件內的各區域當中具有特定屬性的區域的部分圖像資料； 預測工序，用於藉由向訓練完畢缺陷檢測模型輸入前述部分圖像資料，來預測前述部分圖像資料中存在缺陷的概率；以及 顯示控制工序，用於在前述拍攝圖像資料的切取出前述部分圖像資料的位置，重疊與所預測的前述概率相應的顯示形態的標記物來進行顯示。
13. 一種缺陷檢查程式，用於使電腦執行： 圖像識別處理工序，用於對拍攝檢查物件而得到的拍攝圖像資料進行圖像識別處理，判定檢查物件內的各區域的屬性； 切取工序，用於從前述拍攝圖像資料中切取出包含前述檢查物件內的各區域當中具有特定屬性的區域的部分圖像資料； 預測工序，用於藉由向訓練完畢缺陷檢測模型輸入前述部分圖像資料，來預測前述部分圖像資料中存在缺陷的概率；以及 顯示控制工序，用於在前述拍攝圖像資料的切取出前述部分圖像資料的位置，重疊與所預測的前述概率相應的顯示形態的標記物來進行顯示。

Images