TWI742391B

TWI742391B - 立體影像表面瑕疵檢測系統

Info

Publication number: TWI742391B
Application number: TW108122501A
Authority: TW
Inventors: 林聖傑
Original assignee: 林聖傑
Priority date: 2019-06-25
Filing date: 2019-06-25
Publication date: 2021-10-11
Also published as: TW202100987A

Abstract

本發明係一種立體影像表面瑕疵檢測系統，包含藉三維相機的拍攝以獲得標準物件點雲以及測待測物件點雲，再利用距離結構特徵比對法的粗略比對處理而獲得粗略比對轉換關係，調整初始姿勢差異，並將待測物件點雲轉換成第一轉換點雲，接著進行自適應性鄰近點逼近法的精確比對處理以獲得精確比對轉換關係，將第一轉換點雲轉換成第二轉換點雲，最後，進行曲面誤差比對的瑕疵檢測處理，從第二轉換點雲中找出相對於標準物件點雲的所有瑕疵點，獲得包含所有瑕疵點之瑕疵點雲的瑕疵檢測結果，並以特定顏色顯示瑕疵點雲，方便辨識

Description

立體影像表面瑕疵檢測系統

本發明係有關於一種立體影像表面瑕疵檢測系統，尤其是利用三維相機拍照、擷取三維點雲、粗略比對處理、精確比對處理以及瑕疵檢測處理而獲得具視覺化功效且包含瑕疵點雲的瑕疵檢測結果。

長久以來，為提高產量，降低產品的製造成本，相關製造業者一直持續開發優良的製造工具、機器、設備，而隨著精密機械技術及電子控制技術的不斷進步，使得生產自動化已成功導入許多工業領域，比如汽車製造、製藥、倉儲。

由於生產機具、設備的操作穩定性在實際運作中會有一定的變動存在，所以大量生產製造的成品無可避免的會有少量不合格的瑕疵品。傳統上，最常用的過篩方式是由人工藉目視檢查而逐一檢視每一成品的外觀是否為無瑕疵，藉以剔除瑕疵品，確保產品的品質。但是人的視覺很容易產生疲倦而降低敏感度，況且長時間專注於檢視瑕疵品的動作，還會引起眼部病變，比如眼壓上升、近視度數增加，甚至是暈眩。

再者，人力的視覺辨視速度已遠不及機器的量產速度，因此，習用技術已大多採用機器視覺辨識技術以取代傳統人力，其中二維影像辨識可檢測產品的外觀、形狀或色塊，而三維影像辨識可檢測產品的表面曲度，甚至是表面結構、質地，等等。但是不論是二維或三維的影像辨識，都需要大量的計算，不僅增加辨識系統的軟體及硬體的負擔，同時還耗費相當多的處理時間，影響整體檢測速度。

以三維影像辨識系統為例，目前較為常用的技術包含點雲前處理、點雲對齊、瑕疵檢測，主要是先利用點雲前處理以去除標準物件點雲及待測物件點雲中的可能雜訊，比如來自物件反光的雜訊，再利用點雲對齊產生旋轉、平移的功效，調整初始的姿勢差異，達到盡可能相互重合的目的，而瑕疵檢測則處理不同類型的表面瑕疵。

舉例而言，習知技術中常使用隨機取樣一致性(RANdom Sample Consensus，RANSAC)演算法以實現粗略比對，減少後續處理的運算量，病使用疊代最近點(íIterative Closest Point，ICP)演算法以進行精確比對。

然而，習知技術的缺點在於RANSAC演算法以及ICP演算法的計算量太龐大，嚴重拖慢整體處理速度，尤其是，現有的一般瑕疵檢測方法都無法精確、有效的同時處理曲率瑕疵、孔洞瑕疵、多料瑕疵等不同的瑕疵類型。

因此，很需要一種立體影像表面瑕疵檢測系統，利用三維相機拍照、擷取三維點雲、粗略比對處理、精確比對處理以及瑕疵檢測處理而獲得具視覺化功效且包含瑕疵點雲的瑕疵檢測結果，藉以有效解決上述習知技術的所有問題。

本發明的主要目的在於提供一種立體影像表面瑕疵檢測系統，包括步驟S1、S10、S20、S30、S40、S50、S60、S70、S80、S90以及S100，用以依據標準物件為標準且利用立體影像技術而檢測至少一待測物件的表面瑕疵。

具體而言，首先執行步驟S1，開始本系統的操作，主要是備製標準物件以及至少一待測物件，並架設三維相機。接著，在步驟S10中，利用三維相機拍攝標準物件以產生並傳送屬於三維點雲的標準物件點雲，其中標準物件點雲是包含多個標準物件雲，之後，在步驟S20中，利用連結至三維相機的點雲比對裝置，接收標準物件點雲。

接著，進入步驟S30，利用三維相機拍攝待測物件以產生並傳送屬於三維點雲的待測物件點雲，並在步驟S40中，利用點雲比對裝置接收待測物件點雲。

進一步，在步驟50中，點雲比對裝置利用距離結構特徵比對法，對標準物件點雲以及待測物件點雲進行粗略比對處理，用以計算出標準物件點雲及待測物件點雲之間的粗略比對轉換關係，並利用粗略比對轉換關係將待測物件點雲轉換成第一轉換點雲。

之後，執行步驟S60，點雲比對裝置利用自適應性鄰近點逼近法，對標準物件點雲以及第一轉換點雲進行精確比對處理，用以計算出標準物件點雲及第一轉換點雲之間的精確比對轉換關係，且利用精確比對轉換關係將第一轉換點雲轉換成第二轉換點雲。

接著進入步驟S70，點雲比對裝置利用曲面誤差比對法，對標準物件點雲以及第二轉換點雲進行瑕疵檢測處理，用以計算而獲得第二轉換點雲中與標準物件點雲不相符的多個瑕疵點，構成瑕疵點雲，進而產生包含瑕疵點雲的瑕疵檢測結果。

然後，在步驟S80中，判斷是否已完成所有待測物件，如果還未完成，則回到步驟S30，如果已完成，則進入步驟S90，由點雲比對裝置輸出所有的瑕疵檢測結果，並執行步驟S100，結束本系統的操作。

特別一提的是，點雲比對裝置是由數位電路構成的積體電路，而且粗略比對處理的粗略比對轉換關係是用以調整標準物件以及待測物件之間的初始姿勢差異，比如平移、旋轉，藉以減輕後續精確比對處理的計算量。

由三維相機所拍攝的三維點雲中最相鄰二點的距離是稱作解析度距離。

更加具體而言，上述的距離結構特徵比對法是包含：隨機選取該待測物件點雲中的三點以當作三比對點；選取標準物件點雲中的三點以當作對應於三比對點的三選取點；計算三比對點的三邊長以當作三比對點邊長；計算三選取點的三邊長以當作三選取點邊長；比較三比對點邊長及相對應三選取點邊長的三差值是否皆小於預設的邊長比較值；如果三差值皆小於邊長比較值，則三比對點及三選取點形成三匹配點對；計算三匹配點對中三比對點及三選取點的轉換關係；利用轉換關係將待測物件點雲轉換成轉換點雲；計算轉換點雲及標準物件點雲之間相對應二點的距離，且計算所有該等距離的均分根值(Root-Mean-Square，RMS)，進一步計算該等距離中小於預設的距離判斷值的總個數，藉以當作內群(Inlier)個數；判斷均分根值及內群個數是否達到預設的停止條件，且停止條件係均分根值小於預設的均分根粗略比對判斷值且內群個數大於預設的內群個數粗略比對判斷值；如果達到停止條件，則轉換關係被視為粗略比對轉換關係；以及如果未達到停止條件，則重複上述所有操作，直到完成待測物點雲的所有點為止。

上述的邊長比較值及距離判斷值是解析度距離的10-50%之間。

此外，自適應性鄰近點逼近法包含：選取第一轉換點雲中的一點當作比對點；找尋標準物件點雲中距離比對點最為鄰近的最鄰近點；重複上述的二操作，直到完成第一轉換點雲所對應的所有最鄰近點為止；計算並統計所有比對點及相對應最鄰近點之間的距離而產生距離直方圖(Distance Histogram)，且以距離直方圖的橫軸代表示距離，並以距離直方圖的縱軸表示具相同距離的個數；利用最小交叉熵法(或稱為最大類間方差法，或Otsu法)，計算距離直方圖所對應的距離閥值；判斷每個比對點及相對應最鄰近點的距離是否小於距離閥值；如果比對點及相對應該最鄰近點的距離小於距離閥值，則比對點以及最鄰近點是當作匹配點對；計算匹配點對中最鄰近點以及比對點之間的轉換關係，當作最鄰近轉換關係；利用最鄰近轉換關係轉換第一轉換點雲以產生最鄰近點雲，計算最鄰近點雲以及標準點雲中相對應二點之間的距離，且計算所有該等距離的最鄰近點雲均分根值(Root-Mean-Square，RMS)，進一步計算最鄰近點雲中符合該距離小於預設的距離判斷值的總個數，以當作最鄰近點雲內群(Inlier)個數；判斷最鄰近點雲均分根值及最鄰近點雲內群個數是否達到預設的收斂條件，其中收斂條件是指最鄰近點雲均分根值小於預設的均分根精確比對判斷值且最鄰近點雲內群個數大於預設的內群個數精確比對判斷值；如果達到收斂條件，則最鄰近轉換關係被視為精確比對轉換關係；以及如果未達到收斂條件，則重複上述所有操作，直到完成第一轉換點雲的所有點為止。

尤其，距離判斷值是解析度距離的10-50%之間。

再者，曲面誤差比對法包含：選取第二轉換點雲中的一點當作估算點；利用估算點找尋標準物件點雲中最鄰近的9點當作最鄰近點群；利用最鄰近點群以計算一組曲面參數，包含實數的a0、a1、a2、a3、a4、a5、a6、a7、a8，用以定義曲面方程式，其中曲面方程式是表示成z=a0+a1x+a2x²+a3y+a4y²+a5xy+a6x²y+a7xy²+a8x²y²，且(x、y、z)表示最鄰近點群中每個點在x軸、y軸、z軸的空間直角座標；利用估算點代入由組曲面參數所定義的曲面方程式，以計算z軸誤差，其中z軸誤差(△z)是表示為zk-a0+a1xk+a2xk²+a3yk+a4yk²+a5xkyk+a6xk²yk+a7xkyk²+a8xk²yk²，且(xk、yk、zk)表示估算點的空間直角座標；判斷z軸誤差是否大於預設的誤差閥值；如果z軸誤差大於誤差閥值，則估算點被視為瑕疵點；以及重複上述所有操作，直到處理完第二轉換點雲的每個點為止。

此外，上述的誤差閥值是解析度距離的1-50%之間。

簡言之，本發明主要是利用粗略比對處理調整初始姿勢差異，盡可能將測物件點雲重合至標準物件點雲以減少後續處理的運算量，可大幅加快整體系統速度，再利用自適應性鄰近點逼近法進行精確比對處理，最後，利用曲面誤差比對法進行瑕疵檢測處理而獲得所需的瑕疵檢測結果。因此，本發明系統可大幅縮減運算時間，提高檢測立體物件表面瑕疵的正確性，非常適合應用於產品量產時在生產線上進行即時檢測的領域，藉以實現自動檢。

S1、S10、S20、S30、S40‧‧‧步驟

S50、S60、S70、S80、S90、S100‧‧‧步驟

10‧‧‧拍攝控制單元

12‧‧‧點雲接收單元

14‧‧‧操作參數儲存單元

20‧‧‧點雲儲存單元

30‧‧‧粗略比對單元

40‧‧‧精確比對單元

50‧‧‧瑕疵檢測單元

60‧‧‧瑕疵檢測結果儲存單元

C‧‧‧三維相機

D‧‧‧輸送方向

M‧‧‧點雲比對裝置

P‧‧‧顯示裝置

ST‧‧‧標準物件

UUT‧‧‧待測物件

V‧‧‧輸送帶

第一圖顯示本發明實施例立體影像表面瑕疵檢測系統的操作流程圖。

第二圖顯示本發明實施例立體影像表面瑕疵檢測系統的示意圖。

第三圖顯示本發明實施例立體影像表面瑕疵檢測系統中點雲比對裝置的功能方塊示意圖。

以下配合圖示及元件符號對本發明之實施方式做更詳細的說明，俾使熟習該項技藝者在研讀本說明書後能據以實施。

請參閱第一圖及第二圖，分別為本發明實施例立體影像表面瑕疵檢測系統的操作流程圖及示意圖。如第一圖及第二圖所示，本發明的立體影像表面瑕疵檢測系統包含步驟S1、S10、S20、S30、S40、S50、S60、S70、S80、S90以及S1000，用以依據標準物件ST以檢測待測物件UUT是否有表面瑕疵。簡言之，本發明的立體影像表面瑕疵檢測系統主要是進行拍照、擷取三維點雲、粗略比對處理、精確比對處理以及瑕疵檢測處理。

具體而言，本發明的立體影像表面瑕疵檢測系統首先執行步驟S1而開始本系統的操作，主要是備製標準物件ST以及至少一待測物件UUT，並架設三維相機C。舉例而言，標準物件ST可為模型物件，比如手工拉製而成的物件，而待測物件UUT可為機器製造的鑄造件、塑料做成的射出成型件、半成品、或最終組合產品，比如公仔，尤其是具有曲面變化特徵的物件。特別一提的是，上述的三維相機C可包含雙眼立體相機、單眼飛時(Time-of-Flight，ToF)相機或單結構光(Structured Light)相機，且點雲比對裝置M是由數位電路構成的積體電路。

在步驟S10中，利用三維相機C拍攝標準物件ST以產生並傳送屬於三維點雲的標準物件點雲，其中標準物件點雲是包含多個標準物件雲，而在步驟S20中，利用連結至三維相機C的點雲比對裝置M，用以接收標準物件點雲。

進入步驟S30，利用三維相機C拍攝待測物件UUT以產生並傳送屬於三維點雲的待測物件點雲，並在步驟S40中，利用點雲比對裝置M接收待測物件點雲。

在實際應用上，標準物件ST可先安置在預設位置而由三維相機C拍攝，且所有的待測物件UUT是放置在輸送帶V上，並以輸送方向D前進而由三維相機C逐一拍攝，較佳的，標準物件ST是直立的姿勢，而待測物件UUT也是以直立姿勢放在輸送帶V上，或者，標準物件ST及所有的待測物件UUT是以直立姿勢放置在輸送帶V上，並以輸送方向D前進而由三維相機C逐一拍攝，尤其，標準物件ST、待測物件UUT與三維相機C之間可盡量保持固定距離，因此，標準物件點雲以及待測物件點雲之間的初始姿勢差異包含平移、旋轉。

在步驟50中，點雲比對裝置M利用距離結構特徵比對法，對標準物件點雲以及待測物件點雲進行粗略比對處理，用以計算出標準物件點雲及待測物件點雲之間的粗略比對轉換關係，實質上是屬於轉換矩陣，並利用粗略比對轉換關係將待測物件點雲轉換成第一轉換點雲。

更加具體而言，上述的距離結構特徵比對法是包含以下處理步驟。

首先，隨機選取該待測物件點雲中的三點以當作三比對點，再選取標準物件點雲中的三點以當作對應於三比對點的三選取點。

接著計算三比對點的三邊長以當作三比對點邊長，並計算三選取點的三邊長以當作三選取點邊長，且比較三比對點邊長及相對應三選取點邊長的三差值是否皆小於預設的邊長比較值。如果三差值皆小於邊長比較值，則三比對點及三選取點形成三匹配點對。

上述的邊長比較值可為三維相機C的解析度距離的10-50%之間，其中解析度距離是指由三維相機C所拍攝的三維點雲中最相鄰二點的距離，是由三維相機C的影像感測器決定。

然後，計算三匹配點對中三比對點及三選取點的轉換關係，並利用轉換關係將待測物件點雲轉換成轉換點雲。

計算轉換點雲及標準物件點雲之間相對應二點的距離，且計算所有該等距離的均分根值(Root-Mean-Square，RMS)，進一步計算該等距離中小於預設的距離判斷值的總個數，藉以當作內群(Inlier)個數。上述的距離判斷值可為三維相機C的解析度距離的10-50%之間。

之後，判斷均分根值及內群個數是否達到預設的停止條件，且停止條件係均分根值小於預設的均分根粗略比對判斷值且內群個數大於預設的內群個數粗略比對判斷值。

如果達到停止條件，則轉換關係被視為粗略比對轉換關係，而如果未達到停止條件，則重複上述所有操作，直到完成待測物點雲的所有點為止。

此外，粗略比對處理的粗略比對轉換關係是用以調整標準物件以及待測物件之間的初始姿勢差異，可減輕後續精確比對處理的計算量，加快處理速度。

在完成步驟S50後進入步驟S60，點雲比對裝置M利用自適應性鄰近點逼近法(Adaptive Proximity Point Approximation)，對標準物件點雲以及第一轉換點雲進行精確比對處理，用以計算出標準物件點雲及第一轉換點雲之間的精確比對轉換關係，實質上也是屬於轉換矩陣，再利用精確比對轉換關係將第一轉換點雲轉換成第二轉換點雲。

具體而言，自適應性鄰近點逼近法包含以下操作處理。

首先，選取第一轉換點雲中的一點當作比對點，並找尋標準物件點雲中距離比對點最為鄰近的最鄰近點，且重複上述的二操作，直到完成第一轉換點雲所對應的所有最鄰近點為止。

計算並統計所有比對點及相對應最鄰近點之間的距離而產生距離直方圖(Distance Histogram)，且以距離直方圖的橫軸代表示距離，並以距離直方圖的縱軸表示具相同距離的個數。再利用最小交叉熵法(或稱為最大類間方差法，或Otsu法)，計算距離直方圖所對應的距離閥值。

之後，判斷每個比對點及相對應最鄰近點的距離是否小於距離閥值，如果比對點及相對應該最鄰近點的距離小於距離閥值，則比對點以及最鄰近點是當作匹配點對，計算匹配點對中最鄰近點以及比對點之間的轉換關係，當作最鄰近轉換關係。

接著，利用最鄰近轉換關係轉換第一轉換點雲以產生最鄰近點雲，計算最鄰近點雲以及標準點雲中相對應二點之間的距離，且計算所有該等距離的最鄰近點雲均分根值(Root-Mean-Square，RMS)，進一步計算最鄰近點雲中符合該距離小於預設的距離判斷值的總個數，以當作最鄰近點雲內群(Inlier)個數，且距離判斷值是解析度距離的10-50%之間。

判斷最鄰近點雲均分根值及最鄰近點雲內群個數是否達到預設的收斂條件，其中收斂條件是指最鄰近點雲均分根值小於預設的均分根精確比對判斷值且最鄰近點雲內群個數大於預設的內群個數精確比對判斷值。如果達到收斂條件，則最鄰近轉換關係被視為精確比對轉換關係，如果未達到收斂條件，則重複上述所有操作，直到完成第一轉換點雲的所有點為止。

在完成步驟S60後進入步驟S70，點雲比對裝置M利用曲面誤差(Surface Error)比對法，對標準物件點雲以及第二轉換點雲進行瑕疵檢測處理，用以計算而獲得第二轉換點雲中與標準物件點雲不相符的多個瑕疵點，構成瑕疵點雲，進而產生包含瑕疵點雲的瑕疵檢測結果。

再者，點雲比對裝置M可連接至顯示裝置P，且將上述的瑕疵檢測結果進一步傳送至顯示裝置P，並由顯示裝置P顯示瑕疵檢測結果的內容。此外，三維相機C、點雲比對裝置M及顯示裝置P可整合成單一裝置，不僅具有輕薄短小的可攜帶性以及可隨時操作的方便性，還能提供全自動辨識物件瑕疵的智慧視覺功能。

由於利用精確比對轉換關係所轉換成的第二轉換點雲已非常重合至該標準物件點雲，因此，曲面誤差比對法可很有效的找出瑕疵點。

進一步而言，曲面誤差比對法包含以下處理。

首先，選取第二轉換點雲中的一點當作估算點，再利用估算點找尋標準物件點雲中最鄰近的9點當作最鄰近點群。

接著，利用最鄰近點群以計算一組曲面參數，包含實數的a0、a1、a2、a3、a4、a5、a6、a7、a8，用以定義曲面方程式，其中曲面方程式是表示成z=a0+a1x+a2x2+a3y+a4y2+a5xy+a6x2y+a7xy2+a8x2y2，且(x、y、z)表示最鄰近點群中每個點在x軸、y軸、z軸的空間直角座標。

然後，利用估算點代入由組曲面參數所定義的曲面方程式，以計算z軸誤差，其中z軸誤差(△z)是表示為zk-a0+a1xk+a2xk2+a3yk+a4yk2+a5xkyk+a6xk2yk+a7xkyk2+a8xk2yk2，且(xk、yk、zk)表示估算點的空間直角座標。

接著判斷z軸誤差是否大於預設的誤差閥值。如果z軸誤差大於誤差閥值，則估算點被視為瑕疵點。重複上述所有操作，直到處理完第二轉換點雲的每個點為止。

此外，上述的誤差閥值是解析度距離的1-50%之間。

在完成步驟S 70後進入步驟S80，判斷是否已完成所有待測物件UUT，如果還未完成，則回到步驟S30，如果已完成，則進入步驟S90，由點雲比對裝置M輸出所有的瑕疵檢測結果，並執行步驟S100，結束本系統的操作。

再者，瑕疵檢測結果是以第一顏色顯示待測物件點雲中的瑕疵點雲，且以不同於第一顏色的第二顏色顯示待測物件點雲中除瑕疵點雲以外的其餘部分。

進一步具體而言，參考第三圖，本發明實施例立體影像表面瑕疵檢測系統中點雲比對裝置M的功能方塊示意圖。如第三圖所示，點雲比對裝置M包含拍攝控制單元10、點雲接收單元12、點雲儲存單元20、粗略比對單元30、精確比對單元40、瑕疵檢測單元50以及瑕疵檢測結果儲存單元60，其中拍攝控制單元10、點雲接收單元12連接至三維相機C，而點雲接收單元12、粗略比對單元30、精確比對單元40、瑕疵檢測單元50是連接至點雲儲存單元20，且瑕疵檢測結果儲存單元60是連接至瑕疵檢測單元50以及顯示裝置P。

在本發明中，三維相機C可在不受外部裝置的控制下自動拍攝物件，並產生、傳送三維點雲，此時，三維相機C還可在物件未更新下，比如所物件已檢測完畢，立即停止拍攝動作，自動達成節能、省電功效。例如，具體做法是利用物件偵測技術，比對預設時間內前、後二次拍攝的影像內容是否移動，如果物件未移動，則表示物件未更新，不須再進行拍攝。當然，也可利用其他偵測技術，比如超音波距離偵測、紅外線偵測、近接雷達偵測，等等要注意的是，這些習知技術都應涵蓋在本發明的範圍內。

或者，三維相機C可在拍攝控制單元10的控制下拍攝物件，並產生、傳送三維點雲，此時，點雲比對裝置M可進一步包含操作參數儲存單元14，係連接至拍攝控制單元10，用以儲存需要進行拍攝的物件個數，比如經習用技術的I2C或SPI協定而由外部輸入，因此，拍攝控制單元10可讀取操作參數儲存單元14所儲存的物件個數，據以控制三維相機C進行拍攝，直到達到物件個數為止，進而實現第一圖中步驟S10、S30及S80的操作。

拍攝控制單元10還可控制點雲接收單元12以接收來自三維相機C所拍攝、傳送的三維點雲，並由點雲接收單元12進一步將三維點雲儲存至點雲儲存單元20以供讀取。因此，點雲接收單元12、點雲儲存單元20係用以實現第一圖中步驟S20及S40的操作。

此外，上述的粗略比對單元30、精確比對單元40以及瑕疵檢測單元50分別實現第一圖中步驟S50、S60及S70的操作，包含粗略比對處理、粗略比對處理及瑕疵檢測處理，而且瑕疵檢測單元50會將瑕疵檢測處理所產生的瑕疵檢測結果傳送至瑕疵檢測結果儲存單元60而儲存。進一步，瑕疵檢測結果儲存單元60將所儲存的瑕疵檢測結果傳送至顯示裝置P而顯示，用以實現第一圖中步驟S90的輸出結果操作。

要特別注意的是，本發明的點雲比對裝置M並非習用技術的中央處理器(CPU)或微處理器(MCU)，更不需儲存或執行任何的韌體程式，而是屬於特定應用積體電路(Application Specific Integrated Circuit，ASIC)，並且是由數位電路(Digital Circuit)構成，所以處理速度快，更加省電，操作穩定性更佳。

綜上所述，本發明的主要特點在於利用粗略比對處理調整初始姿勢差異，盡可能將測物件點雲重合至標準物件點雲以減少後續處理的運算量，可大幅加快整體系統速度。此外，還利用自適應性鄰近點逼近法進行精確比對處理，最後，利用曲面誤差比對法進行瑕疵檢測處理，找出所有瑕疵點，獲得瑕疵檢測結果。

因此，本發明系統可大幅縮減運算時間，並提高檢測立體物件表面瑕疵的正確性，非常適合應用於產品量產時在生產線上進行即時檢測的領域，實現全面自動化檢驗，剔除瑕疵品。

由於本發明的技術內並未見於已公開的刊物、期刊、雜誌、媒體、展覽場，因而具有新穎性，且能突破目前的技術瓶頸而具體實施，確實具有進步性。此外，本發明能解決習用技術的問題，改善整體使用效率，而能達到具產業利用性的價值。

以上所述者僅為用以解釋本發明之較佳實施例，並非企圖據以對本發明做任何形式上之限制，是以，凡有在相同之發明精神下所作有關本發明之任何修飾或變更，皆仍應包括在本發明意圖保護之範疇。

S1、S10‧‧‧步驟

S20、S30、S40‧‧‧步驟

S50、S60、S70‧‧‧步驟

S80‧‧‧步驟

S90、S100‧‧‧步驟

Claims

一種立體影像表面瑕疵檢測系統，係用以依據一標準物件為標準且利用一立體影像技術而檢測至少一待測物件的表面瑕疵，包括：步驟S1，開始，係備製該標準物件以及該至少一待測物件，並架設一三維相機；步驟S10，利用該三維相機拍攝該標準物件以產生並傳送屬於三維點雲的一標準物件點雲，該標準物件點雲包含多個標準物件雲；步驟S20，利用連結至該三維相機的一點雲比對裝置，接收該標準物件點雲，且該點雲比對裝置是由一數位電路(Digital Circuit)構成的一積體電路(Integrated Circuit，IC)；步驟S30，利用該三維相機拍攝該待測物件以產生並傳送屬於三維點雲的一待測物件點雲；步驟S40，利用該點雲比對裝置接收該待測物件點雲；步驟50，該點雲比對裝置利用一距離結構特徵比對法，對該標準物件點雲以及該待測物件點雲進行一粗略比對處理，用以計算出該標準物件點雲及該待測物件點雲之間的一粗略比對轉換關係，用以調整該標準物件以及該待測物件之間的一初始姿勢差異，並利用該粗略比對轉換關係將該待測物件點雲轉換成一第一轉換點雲；步驟S60，該點雲比對裝置利用一自適應性鄰近點逼近法(Adaptive Proximity Point Approximation)，對該標準物件點雲以及該第一轉換點雲進行一精確比對處理，用以計算出該標準物件點雲及該第一轉換點雲之間的一精確比對轉換關係，且利用該精確比對轉換關係將該第一轉換點雲轉換成一第二轉換點雲；步驟S70，該點雲比對裝置利用一曲面誤差(Surface Error)比對法，對該標準物件點雲以及該第二轉換點雲進行一瑕疵檢測處理，用以計算而獲得該第二轉換點雲中與該標準物件點雲不相符的多個瑕疵點以構成一瑕疵點雲，產生包含該瑕疵點雲的一瑕疵檢測結果；步驟S80，是否完成所有的該至少一待測物件，如果未完成，則回到步驟S30；步驟S90，該點雲比對裝置輸出所有的該瑕疵檢測結果；以及步驟S100，結束，其中該三維相機所拍攝的三維點雲中最相鄰二點的距離稱作一解析度距離，其中該距離結構特徵比對法是包含：隨機選取該待測物件點雲中的三點以當作三比對點；選取該標準物件點雲中的三點以當作對應於該三比對點的三選取點；計算該三比對點的三邊長以當作三比對點邊長；計算該三選取點的三邊長以當作三選取點邊長；比較該三比對點邊長及相對應該三選取點邊長的三差值是否皆小於預設的一邊長比較值，且該邊長比較值是該解析度距離的10-50%之間；如果該三差值皆小於該邊長比較值，則該三比對點及該三選取點形成三匹配點對；計算該三匹配點對中該三比對點及該三選取點的一轉換關係；利用該轉換關係將該待測物件點雲轉換成一轉換點雲；計算該轉換點雲及該標準物件點雲之間相對應二點的距離，且計算所有該等距離的一均分根值(Root-Mean-Square，RMS)，進一步計算該等距離中小於預設的一距離判斷值的一總個數，藉以當作一內群(Inlier)個數，該距離判斷值為該三維相機的解析度距離的10-50%之間；判斷該均分根值及該內群個數是否達到預設的一停止條件，且該停止條件係該均分根值小於預設的一均分根粗略比對判斷值且該內群個數大於預設的一內群個數粗略比對判斷值；如果達到該停止條件，則該轉換關係被視為該粗略比對轉換關係；以及如果未達到該停止條件，則重複上述所有操作，直到完成該待測物點雲的所有點為止，其中該自適應性鄰近點逼近法包含：選取該第一轉換點雲中的一點當作一比對點；找尋該標準物件點雲中距離該比對點最為鄰近的一最鄰近點；重複上述的二操作，直到完成該第一轉換點雲所對應的所有該最鄰近點為止；計算並統計所有該每個比對點及相對應該最鄰近點之間的距離而產生一距離直方圖(Distance Histogram)，且以該距離直方圖的一橫軸代表示距離，並以該距離直方圖的一縱軸表示具相同距離的個數；利用一最小交叉熵法(或稱為最大類間方差法，或Otsu法)，計算該距離直方圖所對應的一距離閥值；判斷每個該比對點及相對應該最鄰近點的距離是否小於該距離閥值；如果該比對點及相對應該最鄰近點的距離小於該距離閥值，則該比對點以及該最鄰近點是當作一匹配點對；計算該匹配點對中該最鄰近點以及該比對點之間的一轉換關係，當作一最鄰近轉換關係；利用該最鄰近轉換關係轉換該第一轉換點雲以產生一最鄰近點雲，計算該最鄰近點雲以及該標準點雲中相對應二點之間的距離，且計算所有該等距離的一最鄰近點雲均分根值(Root-Mean-Square，RMS)，進一步計算該最鄰近點雲中符合該距離小於預設的一距離判斷值的一總個數，且該距離判斷值是該解析度距離的10-50%之間，以當作一最鄰近點雲內群(Inlier)個數；判斷該最鄰近點雲均分根值及該最鄰近點雲內群個數是否達到預設的一收斂條件，且該收斂條件係該最鄰近點雲均分根值小於預設的一均分根精確比對判斷值且該最鄰近點雲內群個數大於預設的一內群個數精確比對判斷值；如果達到該收斂條件，則該最鄰近轉換關係被視為該精確比對轉換關係；以及如果未達到該收斂條件，則重複上述所有操作，直到完成該第一轉換點雲的所有點為止，其中該曲面誤差比對法包含：選取該第二轉換點雲中的一點當作一估算點；利用該估算點找尋該標準物件點雲中最鄰近的9點當作一最鄰近點群；利用該最鄰近點群以計算一組曲面參數，包含實數的a0、a1、a2、a3、a4、a5、a6、a7、a8，用以定義一曲面方程式，該曲面方程式係表示成z=a0+a1x+a2x2+a3y+a4y2+a5xy+a6x2y+a7xy2+a8x2y2，且(x、y、z)表示該最鄰近點群中每個點在x軸、y軸、z軸的一空間直角座標；利用該估算點代入由該組曲面參數所定義的曲面方程式，以計算一z軸誤差，該z軸誤差係表示為△z=zk-a0+a1xk+a2xk2+a3yk+a4yk2+a5xkyk+a6xk2yk+a7xkyk2+a8xk2yk2，且(xk、yk、zk)表示該估算點的空間直角座標；判斷該z軸誤差是否大於預設的一誤差閥值；如果該z軸誤差大於該誤差閥值，則該估算點被視為該瑕疵點；以及重複上述所有操作，直到處理完該第二轉換點雲的每個點為止。
依據申請專利範圍第1項所述之立體影像表面瑕疵檢測系統，其中該三維相機包含一雙眼立體相機、一單眼飛時(Time-of-Flight，ToF)相機或一單結構光(Structured Light)相機。
依據申請專利範圍第1項所述之立體影像表面瑕疵檢測系統，其中該初始姿勢差異包含平移、旋轉。
依據申請專利範圍第1項所述之立體影像表面瑕疵檢測系統，其中該瑕疵檢測結果是以一第一顏色顯示該待測物件點雲中的該瑕疵點雲，且以不同於第一顏色的一第二顏色顯示該待測物件點雲中除該瑕疵點雲以外的其餘部分。
依據申請專利範圍第1項所述之立體影像表面瑕疵檢測系統，其中該標準物件是安置在一預設位置而該三維相機拍攝，而該至少一待測物件是放置在一輸送帶上，並以一輸送方向前進而由該三維相機逐一拍攝，且該標準物件、該待測物件與該三維相機之間係保持一固定距離。
依據申請專利範圍第1項所述之立體影像表面瑕疵檢測系統，其中該標準物件及該至少一待測物件是放置在一輸送帶上，並以一輸送方向前進而由該三維相機逐一拍攝，且該標準物件、該待測物件與該三維相機之間係保持一固定距離。
依據申請專利範圍第1項所述之立體影像表面瑕疵檢測系統，進一步包含一顯示裝置，係連接至該點雲比對裝置，用以接收該瑕疵檢測結果，並顯示該瑕疵檢測結果的內容。
依據申請專利範圍第7項所述之立體影像表面瑕疵檢測系統，其中該顯示裝置、該點雲比對裝置及該三維相機是整合成一單一裝置。
依據申請專利範圍第1項所述之立體影像表面瑕疵檢測系統，其中該點雲比對裝置包含一拍攝控制單元、一點雲接收單元、一點雲儲存單元、一粗略比對單元、一精確比對單元、一瑕疵檢測單元以及一瑕疵檢測結果儲存單元，且該點雲比對裝置進一步包含一操作參數儲存單元，該操作參數儲存單元是連接至該拍攝控制單元，用以儲存需要進行拍攝的一物件個數，該拍攝控制單元及雲接收單元是接至該三維相機，該點雲接收單元、該粗略比對單元、該精確比對單元及該瑕疵檢測單元是連接至該點雲儲存單元，該瑕疵檢測結果儲存單元是連接至該瑕疵檢測單元，該拍攝控制單元讀取該操作參數儲存單元所儲存的物件個數，並據以控制該三維相機以進行拍攝，直到達到該物件個數為止，進而實現該步驟S10、S30及S80的操作，該拍攝控制單元控制該點雲接收單元以接收來自該三維相機所拍攝、傳送的三維點雲，並由該點雲接收單元進一步將該三維點雲儲存至該點雲儲存單元以供讀取，該點雲接收單元及該點雲儲存單元係用以實現該步驟S20及S40的操作，該粗略比對單元、該精確比對單元以及該瑕疵檢測單元是用以分別實現該步驟S50、S60及S70的操作，包含該粗略比對處理、該粗略比對處理及該瑕疵檢測處理，而且該瑕疵檢測單元將該瑕疵檢測處理所產生的該瑕疵檢測結果傳送至該瑕疵檢測結果儲存單元而儲存。