TWI893356B

TWI893356B - 複檢影像處理方法與複檢系統

Info

Publication number: TWI893356B
Application number: TW112107210A
Authority: TW
Inventors: 曹凱翔; 張奇林
Original assignee: 由田新技股份有限公司
Priority date: 2023-01-10
Filing date: 2023-03-01
Publication date: 2025-08-11
Also published as: CN118329894A; TW202429379A

Abstract

一種複檢影像處理方法，包括以下步驟：取得一待檢測物的一檢測資訊，並將待檢測物區分為多個子區塊，待檢測物具有一瑕疵；依照檢測資訊，針對具有瑕疵的每一子區塊，取得在多個對焦位置拍攝的多個複檢影像；計算每一複檢影像的邊緣銳度，取得具有最高邊緣銳度的複檢影像；將具有最高邊緣銳度的複檢影像合成；以及獲得完整且準確對焦的一瑕疵影像。

Description

複檢影像處理方法與複檢系統

說明書公開一種影像處理方法，特別是指針對一種自動光學檢測後的複檢影像處理方法與複檢系統。

在產品製作過程，如印刷電路板、半導體製程，為了要維持高良率與高品質，執行瑕疵檢測是必要流程，在檢測待檢測物的過程中，常見是以自動光學檢測設備通過照相機拍攝待檢測物，再以影像處理技術取得待檢測物影像中的特徵，並與參考樣本比對以判斷瑕疵。

當自動光學檢測設備通過影像特徵判斷出待檢測物上的瑕疵後，可交付複檢系統，再以複檢照相機拍攝判斷出瑕疵的部位，進行影像複檢，以確認瑕疵的真實性。在複檢程序中，習知技術是通過控制複檢照相機的對焦機構來拍攝待檢測物的瑕疵部位，使其到準焦位置並拍攝後，以進行瑕疵複檢。

當複檢系統中的照相機採用景深較小的鏡頭時，對於對焦的準確性要求很高，一般來說，只要稍有偏差就會使瑕疵影像模糊，特別是對本身有高度差的待檢測物，拍出的複檢影像會出現局部失焦的現象，而影響複檢效果。

針對瑕疵影像的複檢程序應取得具有準確焦點的影像的需求，本發明的主要目的，在於提出一種複檢影像處理方法，包括以下步驟：取得一待檢測物的一檢測資訊，並將待檢測物區分為多個子區塊，待檢測物具有一瑕疵；依照檢測資訊，針對具有瑕疵的每一子區塊，取得在多個對焦位置拍攝的多個複檢影像；計算每一複檢影像的邊緣銳度，取得具有最高邊緣銳度的複檢影像；將具有最高邊緣銳度的複檢影像合成；以及獲得完整且準確對焦的一瑕疵影像。

本發明的另一目的，在於提供一種複檢系統，自一自動光學檢測系統取得具有一瑕疵的一待檢測物的一檢測資訊。複檢系統包括一載台、一照相機以及一影像處理裝置。載台用以承載待檢測物。照相機用以拍攝待檢測物。影像處理裝置用以控制照相機，並用以執行一複檢影像處理方法。複檢影像處理方法包括以下步驟：將待檢測物區分為多個子區塊；依照檢測資訊，針對具有瑕疵的每一子區塊，取得在多個對焦位置拍攝的多個複檢影像；計算每一複檢影像的邊緣銳度，取得具有最高邊緣銳度的複檢影像；將具有最高邊緣銳度的複檢影像合成；以及獲得完整且準確對焦的一瑕疵影像。

是以，本發明能夠有效改善在進行光學複檢時因為採用淺景深鏡頭拍照而造成複檢影像模糊的問題。同時，讓複檢影像內有高度落差的位置都變得清晰，使得整體取像的效果如同增大了鏡頭景深。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號，但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一信號與另一信號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

針對瑕疵處理的目的，主要目標之一是能夠取得具有準確焦點的瑕疵影像，為了取得待檢測物（Object Under Test）表面的瑕疵影像，可先通過自動光學檢測系統（Auto Optical Inspection，AOI）以照相機拍攝待檢測物，接著以影像識別技術通過比對一參考影像、或是利用經完成訓練的深度學習系統判斷其中具有瑕疵的部位，最後經過複檢流程確認瑕疵並取得清晰的瑕疵影像。

對此，本發明提出一種複檢影像處理方法與複檢系統，如圖1所示，於一實施例中，複檢系統包括一影像處理裝置100、一照相機110以及一載台120。於一實施例中，影像處理裝置100可由電腦系統實作，通過軟體方法配合硬體實現多種功能模組，但不以此為限。影像處理裝置100包括一檢測資訊取得單元101、一照相機控制單元103、一瑕疵清晰度判斷單元105、一瑕疵影像合成單元107以及一複檢單元109。於其他實施例中，影像處理裝置100的實施方式可依設計需求而變更。

於一實施例中，檢測資訊取得單元101從自動光學檢測系統得到一待檢測物200的一檢測資訊後，照相機控制單元103控制照相機110拍攝放置在載台120上的待檢測物200，以進行瑕疵複檢作業。於一實施例中，待檢測物200具有一瑕疵。於一實施例中，待檢測物200可以是各種工業製品，如印刷電路板、晶圓、積體電路佈局或基材等半導體製品，但不以此為限。於一實施例中，待檢測物200的檢測資訊可以是瑕疵的類別、大小、位置等資訊，但不以此為限。於另一實施例中，待檢測物200的檢測資訊，可以是一檢測影像，由影像處理裝置100影像分析出瑕疵的類別、大小、位置資訊。

於一實施例中，瑕疵清晰度判斷單元105自照相機110取得複檢影像並進行影像清晰度判斷，確認出準確對焦的清晰影像。於一實施例中，瑕疵影像合成單元107將不同瑕疵影像區塊的清晰影像進行合成，以取得完整且準確對焦的瑕疵影像。於一實施例中，複檢單元109針對完整且準確對焦的瑕疵影像進行複檢判斷，確認瑕疵的真實性，以完成複檢作業。

在取得待檢測物200的影像的實施方式之一，可參考圖2A與圖2B所示，利用照相機拍攝具有表面高度落差的待檢測物的實施例示意圖。根據圖2A，於一實施例中，照相機110具有一鏡頭111且待檢測物200具有一表面210。於一實施例中，鏡頭111為一淺景深鏡頭，而待檢測物200的表面210具有一高低落差區域211。照相機110通過鏡頭111拍攝待檢測物200的表面210。於一實施例中，表面210的高低落差區域211具有一高度落差d。

當使用鏡頭111以單一焦距拍攝待檢測物200的表面210時，一張影像中會因為表面有高低落差而無法準確對焦在每個部位上，而會有模糊的區域。例如在高低落差區域211中，當準確對焦在高度落差d的一上緣位置211a拍攝一張影像時，這張影像中高度落差d的一下緣位置211b部分可能會是模糊的。因此，為了要取得多個部位都有準確對焦的完整影像，於一實施例中，是控制照相機110在多個對焦位置（Focus Position）對表面210的同一區塊拍攝多張不同焦點深度（Focus Depth）的影像，進而取得清晰的對焦影像。

在進行瑕疵複檢時，如圖3所示，為了要取得準確對焦的瑕疵影像，本發明的複檢影像處理方法包括以下步驟:S701 取得一待檢測物的一檢測資訊，並將待檢測物區分為多個子區塊，待檢測物具有一瑕疵；S703 依照檢測資訊，針對具有瑕疵的每一子區塊，取得在多個對焦位置拍攝的多個複檢影像；S705 計算每一複檢影像的邊緣銳度，取得具有最高邊緣銳度的複檢影像；S707 將具有最高邊緣銳度的複檢影像合成；以及 S709 獲得完整且準確對焦的一瑕疵影像。

在步驟S701，如圖4所示，將待檢測物200區分多個子區塊的實施例示意圖。先將待檢測物200區分為多個子區塊，其中多個子區塊的全部或一部分涵蓋一瑕疵212，形成多個待測區塊。主要目的之一是將整個待檢測物200區分不同的區塊，而能逐一處理以取得準確對焦的待測區塊。值得一提的是，可依據實際需求決定子區塊的大小，參考的需求例如表面瑕疵的樣式以及瑕疵解析度的要求。於一實施例中，比如，瑕疵212涵蓋的子區塊為編號No.21, No.22, No.23,No.27, No.28與No.29的待測區塊，後續複檢將針對前述六個待測區塊進行。

接著配合圖1，在步驟S703，當得出涵蓋瑕疵212的多個待測區塊後，複檢系統再通過影像處理裝置100的照相機控制單元103控制照相機110，以固定的節距（Pitch）循序調整照相機110到多個對焦位置拍攝待檢測物200的待測區塊得出多張複檢影像。

於一實施例中，得出多張複檢影像的實施方式可以再配合圖5所示，對待檢測物200取得多個節距的複檢影像的實施例示意圖。複檢系統循序以一個軸向（於一實施例中為Z軸）調整照相機110以固定的一節距p在多個對焦位置拍攝待檢測物200，特別是針對待檢測物200上的待測區塊位置上取像，得出如圖4的複檢影像401, 403與405，其中複檢影像401, 403與405皆對同一特定待測區塊。值得一提的是，節距p的決定可以依據實際鏡頭景深以及表面瑕疵的高度落差而定，目的是能夠使得瑕疵影像的每個像素都能取得最高邊緣銳度（Edge Acutance）。

詳細而言，針對瑕疵212所涵蓋的待測區塊No.21, No.22, No.23,No.27, No.28與No.29，複檢系統先針對待測區塊No.21進行以固定節距p在多個對焦位置拍攝多張複檢影像。完成待測區塊No.21的多張複檢影像拍攝後，再依相同方法，針對待測區塊No.22拍攝以取得待測區塊No.22的多張複檢影像。依照待測區塊的編號順序，分別陸續完成待測區塊No.21, No.22, No.23,No.27, No.28與No.29的複檢影像拍攝作業。

之後，在步驟S705，在複檢影像處理方法中，通過影像處理裝置100中的瑕疵清晰度判斷單元105，取得特定待測區塊中每張複檢影像區塊的像素灰階值，進而比較出邊緣稅度最高的一張複檢影像，主要是指整體影像的銳度或是解析度（Resolution）。

於一實施例中，執行邊緣偵測（Edge Detection）的方法，例如可以運用拉普拉斯算符（Laplacian Operator）等的數學方法，其他方法還有Sobel、Scharr等，邊緣偵測的方法於本發明中不允以為限，主要目的是取得每張複檢影像的邊緣銳度。所述邊緣銳度指深淺色調邊界的灰階對比度，因為待測區塊中像素值有突然變化的特徵，因此在以多個對焦位置拍攝的多張複檢影像中，可以根據邊緣銳度判斷其中準確對焦的一張複檢影像。

比如，再配合圖6所示，從多個複檢影像中得出最清晰影像的實施例示意圖，其中顯示前述以固定的節距p在多個對焦位置拍攝待檢測物得出的多張複檢影像（501, 502, 503, 504與505），分別是編號n=1的第一複檢影像501、編號n=2的第二複檢影像502、編號n=3的第三複檢影像503、編號n=4的第四複檢影像504，以及編號n=5的第五複檢影像505。

由於邊緣偵測方法的目的是得到各影像中深淺色調有突然變化的像素特徵，可判斷為邊緣，也就是邊緣銳度高的部分。根據邊緣偵測的實施例之一，針對每張複檢影像運用所述拉普拉斯算符以一次微分演算出每張複檢影像中經過灰階化的像素的邊緣銳度，產生如圖6顯示的二維示意圖，藉此可判斷出特定待測區塊中不同複檢影像的邊緣銳度變化。於一實施例中，顯示第三複檢影像503（n=3）的灰階值經一次微分後得出一峰值50，此峰值50代表第三複檢影像503的具有最高的邊緣銳度。於一實施例中，也可以設定一閥值判斷具有最高邊緣銳度的複檢影像。進一步地，還可以通過拉普拉斯算符進行第二次微分，更進一步確認出具有最高邊緣銳度的複檢影像。

接著，在步驟S707及步驟S709中，將待測區塊分別具有最高銳度的複檢影像合成。通過影像處理裝置100的瑕疵影像合成單元107組合多個待測區塊的準確對焦複檢影像，最終形成一清晰度最高的瑕疵影像。

當得出涵蓋瑕疵的所有待測區塊中每個複檢影像的邊緣銳度值，再經比對後，針對每個待測區塊中具有最大邊緣銳度的一張影像，組合這些具有最大邊緣銳度的複檢影像，而形成一清晰度最高的瑕疵影像。如圖7所示，經過最佳清晰度挑選以合成得出的最清晰瑕疵影像實施例示意圖，其中示意表示涵蓋瑕疵212的多個待測區塊，分別是編號為No.21, No.22, No.23, No.27, No.28, No.29的待測區塊，並且是經過組合具有最大邊緣銳度的待測區塊所形成清晰度最高的一瑕疵影像60。

取得清晰度最高的瑕疵影像60後，最後由影像處理裝置100的複檢單元109確認瑕疵影像60中瑕疵212的真實性後，完成複檢作業。於一實施例中，影像處理裝置100的複檢單元109係可以為透過一般影像分析方法(例如高斯、傅立葉、二值化、影像相減、型態分析)獲得瑕疵212的種類及位置、或是透過機器學習、深度學習等利用類神經網絡進行瑕疵種類的辨識及定位，於本發明中不予以限制。

綜上所述，本發明提出的複檢影像處理方法與複檢系統，能夠有效改善在進行光學複檢時因為採用淺景深鏡頭拍照而造成複檢影像模糊的問題。同時，讓複檢影像內有高度落差的位置都變得清晰，使得整體取像的效果如同增大了鏡頭景深。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

100:影像處理裝置 101:檢測資訊取得單元 103:照相機控制單元 105:瑕疵清晰度判斷單元 107:瑕疵影像合成單元 109:複檢單元 110:照相機 111:鏡頭 120:載台 200:待檢測物 210:待檢測物表面 211:高低落差區域 211a:上緣位置 211b:下緣位置 d:高低落差 212:瑕疵 401,403,405:複檢影像 p:節距 501:第一複檢影像 502:第二複檢影像 503:第三複檢影像 504:第四複檢影像 505:第五複檢影像 50:峰值 60:瑕疵影像步驟S701～S709:複檢影像處理流程

圖1顯示本發明複檢系統的一實施例示意圖。

圖2A顯示本發明複檢系統利用照相機拍攝待檢測物的一實施例示意圖。

圖2B顯示圖2B中IIB區塊的放大示意圖。

圖3顯示本發明複檢影像處理方法的一實施例流程圖。

圖4顯示本發明複檢影像處理方法將待檢測物區分為多個子區塊的一實施例示意圖。

圖5顯示本發明複檢影像處理方法對待檢測物取得多個節距的複檢影像的一實施例示意圖。

圖6顯示本發明複檢影像處理方法從多個複檢影像中得出最清晰影像的一實施例示意圖。

圖7顯示本發明複檢影像處理方法經過最佳清晰度挑選以合成出的最清晰瑕疵影像的一實施例示意圖。

401,403,405:複檢影像

p:節距

Claims

一種複檢影像處理方法，包含：取得一待檢測物的一檢測資訊，並將該檢測物區分為多個子區塊，該待檢測物具有一瑕疵；依照該檢測資訊，針對具有該瑕疵的每一子區塊﹐取得在多個對焦位置拍攝的多個複檢影像；計算每一該複檢影像的邊緣銳度，取得具有最高邊緣銳度的該複檢影像；將具有最高邊緣銳度的該些複檢影像合成；以及獲得完整且準確對焦的一瑕疵影像。
如請求項1所述的複檢影像處理方法，其中，該待檢測物的該檢測資訊是以一自動光學檢測系統拍攝取得的一檢測影像。
如請求項1所述的複檢影像處理方法，其中，該待檢測物的該檢測資訊是包括瑕疵的類別、大小、及/或位置資訊。
如請求項1所述的複檢影像處理方法，其中，該些子區塊的全部或一部分涵蓋該瑕疵，形成多個待測區塊。
如請求項4所述的複檢影像處理方法，其中，在取得在多個對焦位置拍攝的多個複檢影像的步驟中，是以固定的一節距，循序調整一照相機到該些對焦位置，拍攝該待檢測物的其中一該待測區塊的位置，以取得該些複檢影像。
如請求項1所述的複檢影像處理方法，其中，於取得該些複檢影像後，將每一該複檢影像處理為灰階影像，再根據像素灰階值運算進行邊緣偵測，再判斷灰階值運算後最高值的一張複檢影像為具有最高邊緣銳度的該複檢影像。
如請求項6所述的複檢影像處理方法，其中，運用執行邊緣偵測，微分每一該複檢影像以獲得邊緣銳度，藉以得出涵蓋該瑕疵的像素值突然變化的邊緣特徵。
如請求項1所述的複檢影像處理方法，其中，獲得該瑕疵影像後，透過一影像分析方法對該瑕疵影像完成該瑕疵的確認。
如請求項8所述的複檢影像處理方法，其中，獲得該瑕疵影像後，利用一類神經網絡完成對該瑕疵影像的影像分析。
一種複檢系統，自一自動光學檢測系統取得具有一瑕疵的一待檢測物的一檢測資訊，包含：一載台，用以承載該待檢測物；一照相機，用以拍攝該待檢測物；以及一影像處理裝置，用以控制該照相機，並用以執行一複檢影像處理方法，該方法包括：將該待檢測物區分為多個子區塊；依照該檢測資訊，針對具有該瑕疵的每一子區塊，取得在多個對焦位置拍攝的多個複檢影像；計算每一該複檢影像的邊緣銳度，取得具有最高邊緣銳度的該複檢影像；將具有最高邊緣銳度的該些複檢影像合成；以及獲得完整且準確對焦的一瑕疵影像。
如請求項10所述的複檢系統，其中，該些子區塊的全部或一部分涵蓋該瑕疵，形成多個待測區塊。
如請求項11所述的複檢系統，其中，該照相機是以固定的一節距，循序到該些對焦位置，拍攝該待檢測物的其中一該待測區塊的位置，以取得該些複檢影像。
如請求項10所述的複檢系統，其中，於取得該些複檢影像後，將每一該複檢影像處理為灰階影像，再根據像素灰階值運算進行邊緣偵測，再判斷灰階值運算後最高值的一張複檢影像為具有最高邊緣銳度的該複檢影像。
如請求項13所述的複檢系統，其中，運用一拉普拉斯算符執行邊緣偵測，針對每一該複檢影像以一次微分演算出邊緣銳度，得出涵蓋該瑕疵的像素值突然變化的邊緣特徵。
如請求項10所述的複檢系統，其中，該待檢測物的該檢測資訊是一檢測影像，由該影像處理裝置影像分析出該瑕疵的位置、大小、類別。
如請求項10所述的複檢系統，其中，該待檢測物的該檢測資訊是包括瑕疵的類別、大小、及/或位置資訊。
如請求項10所述的複檢系統，其中，該影像處理裝置透過一影像分析方法對該瑕疵影像完成該瑕疵的確認。
如請求項17所述的複檢系統，其中，該影像處理裝置利用類神經網絡完成對該瑕疵影像的影像分析。