TWI398157B

TWI398157B - 影像邊界掃描系統及方法

Info

Publication number: TWI398157B
Application number: TW095129529A
Authority: TW
Inventors: Chih Kuang Chang; Xiao-Chao Sun; Li Jiang
Original assignee: Hon Hai Prec Ind Co Ltd
Priority date: 2006-08-11
Filing date: 2006-08-11
Publication date: 2013-06-01
Also published as: US20080036441A1; TW200810518A

Description

影像邊界掃描系統及方法

本發明涉及一種影像邊界掃描系統及方法。

量測係生產過程中的重要環節，其與產品的品質息息相關。對於球柵陣列封裝(Ball Grid Array，BGA)，三維曲面(3D)及透明件的量測，傳統的做法是採用電荷耦合工件(Charge Coupled Device，CCD)和接觸式量測方式。採用帶有CCD的影像量測機台亦可以對所述BGA、3D及工件進行掃描，並將CCD拍攝的圖片轉化成數位文檔以利儲存於電腦中。

在影像量測機台量測工件過程中，需CCD拍攝待掃描工件的影像，然後對該影像進行編程掃描。由於影像量測機台的CCD鏡頭自身的特性要求，其一次取得的工件影像範圍有限，往往一幀可見的工件範圍只有一個一元硬幣大小，對於超過這個範圍的不規則邊界，若想要實現自動掃描，就必須對掃描路徑進行編程。該編程為手動編程，其工作量大，而且偶然誤差也比較大，重複性差。

鑒於以上內容，有必要提供一種影像邊界掃描系統及方法，可以根據跟蹤掃描路徑控制影像量測機台實現任意輪廓工件不間斷的自動邊界掃描。

一種影像邊界掃描系統，包括影像量測機台和電腦，該影像量測機台包括一個電荷耦合裝置感應器、一個工作台及馬達。所述電腦包括：參數設置單元，用於影像邊界掃描的參數設置；影像卡，與所述電荷耦合裝置感應器相連，其用於獲取放置在工作台上的待掃描工件的影像；運動控制卡，與所述馬達相連，用於控制該馬達的移動，實現工作台的定位及所述工件與電荷耦合裝置感應器的對焦；影像截取單元，用於當電荷耦合裝置感應器拍攝所述工件時，截取該工件的圖像；圖像處理單元，用於對所截取的圖像進行圖像處理；邊界提取單元，用於在上述處理過的圖像上尋找所給定的初始點附近的邊界點，並提取該邊界點附近的邊界輪廓，利用遞迴法搜索該邊界輪廓上的其他邊界點；圖像邊界掃描單元，用於根據所設置的參數在所處理過的圖像上精確尋找上述所有邊界點作為掃描點進行邊界掃描；判斷單元，用於判斷上述掃描點是否在所截取圖像的範圍內，及判斷所述掃描點是否組成閉合邊界路徑；及移動計算單元，用於當所述掃描點未在所截取圖像範圍之內或未組成閉合邊界路徑時，計算影像截取單元截取所述工件下一張圖像時工作台需移動的距離和方向。

一種影像邊界掃描方法，該方法包括步驟如下：所述電腦透過電荷耦合裝置感應器截取所述工件的圖像，其中該電腦設置有影像邊界掃描的參數；對該圖像進行圖像處理，並從處理過的圖像上選擇一初始點；沿該初始點尋找一個距離該初始點最近的邊界點，提取該邊界點附近的邊界輪廓，並利用遞迴法從所述邊界輪廓上搜索其他邊界點；根據所設置的影像邊界掃描參數在所處理過的圖像上精確尋找上述邊界點作為掃描點進行邊界掃描；判斷所述掃描點是否在所截取圖像範圍內；若所述掃描點未在所截取圖像範圍內，則計算截取所述工件下一張圖像時工作台需移動的距離和方向，並透過控制馬達移動該工作台；若所述掃描點在所截取圖像範圍內，則判斷所述掃描點是否組成了閉合邊界路徑；若所述掃描點未組成閉合邊界路徑，則返回移動工作台的步驟；及若所述掃描點組成了閉合邊界路徑，則結束掃描。

相較於習知技術，所述之影像邊界掃描系統及方法，可以根據跟蹤掃描路徑控制影像量測機台實現任意輪廓工件不間斷的自動掃描，有效的提高了工作品質和效力。

如圖1所示，係本發明影像邊界掃描系統較佳實施例之硬體架構圖。該系統包括一個影像量測機台1及一台電腦2，用於自動掃描至少一個工件3。所述影像量測機台1包括一電荷耦合裝置(Charge Coupled Device，CCD)感應器10、一工作台12、一X軸馬達14、一Y軸馬達16及一Z軸馬達18。所述電腦2包括一影像卡20及一運動控制卡21。

其中，CCD感應器10包括一CCD和一鏡頭，該CCD感應器10與所述影像卡20連接，用於獲取放置在工作台12上的工件3的影像。CCD感應器10有一個固定的拍攝範圍。當其固定拍攝範圍小於所述工件3的大小時，運動控制卡21透過控制X軸馬達14和Y軸馬達16的移動，進而改變工作台12在X軸和Y軸方向(本實施例中的X軸和Y軸方向即水平方向)上的位置，使得CCD感應器10可以拍攝到工件3水平方向上的其他部位。Z軸馬達18用於控制CCD感應器10在垂直方向上的移動，例如，Z軸馬達18可以透過移動使得CCD感應器10的鏡頭與工件3對焦。

如圖2所示，係本發明影像邊界掃描系統較佳實施例之具體結構圖。所述電腦2還包括一影像截取單元22、一參數設置單元23、一判斷單元24、一圖像處理單元25、一邊界提取單元26、一圖像邊界掃描單元27、一移動計算單元28及一儲存單元29。

在影像卡20控制CCD感應器10拍攝工件3過程中，所述影像截取單元22用於截取工件3的圖像，如圖3(a)是所截取的源圖像。參數設置單元23用於用戶對該圖像的邊界掃描進行參數設置，該參數設置包括掃描線的長度設置、掃描線的寬度設置、二值化分界值設置及是否繪製掃描線等設置。判斷單元24用於判斷是否結束掃描、根據工件3的大小判斷參數設置單元23的參數設置是否合理，例如，掃描線的長度和寬度不能為負值。判斷單元24還用於參數設置不合理時，提示用戶設置出錯。

圖像處理單元25用於計算所截取圖像的平均灰度，並在該平均灰度下對圖像進行銳利化及二值化處理。所述平均灰度的計算是指將圖像中的所有圖元點的灰度級之和除以圖元的個數，具體而言，圖像處理單元25統計出所述圖像中每個圖元點的灰度級和圖元點的個數，將所有灰度級相加，然後除以總圖元點的個數即得到圖像的平均灰度。本領域的技術人員一般將白色的灰度值定義為255，黑色灰度值定義為0，而由黑到白之間的明暗度均勻地劃分為256個等級，圖像處理單元25以所計算出來的平均灰度值為黑白轉換的分界值，將圖像劃分為黑、白兩種顏色。所述分界值可以由用戶指定，也可以由電腦2根據影像亮度自動計算。

圖像銳利化是指對圖像邊緣進行處理，使圖像的邊緣、輪廓線以及圖像的細節變的清晰，提高圖像的清晰度，而圖像二值化是指將一幅多個灰度級的圖像轉化為只有兩個灰度級的圖像，以便於特徵的突出以及圖形的識別。圖3(b)是處理後的圖像，其灰度值為0和255，因此，該圖像只有黑、白兩種顏色，相較於圖3(a)，該圖像清晰，易識別。

所述邊界提取單元26用於在上述處理過的圖像上提取所給定的初始點附近的邊界輪廓，具體而言，用戶可以從上述處理後的圖像上任意選擇一個點作為初始點，若該初始點是邊界點，則邊界提取單元26提取該邊界點附近的邊界輪廓；若所給定的點不是邊界點，如圖3(b)中的點A，則邊界提取單元26依據順時針方向尋找距離點A最近的邊界點，然後利用遞迴法繼續搜索其他邊界點。

圖像邊界掃描單元27用於根據所述掃描線的長度在所處理後的圖像上精確尋找上述所有邊界點作為掃描點進行邊界掃描，該圖像邊界掃描單元27包括一個掃描線計算模組270和一個邊界掃描模組272。

所述掃描線計算模組270用於計算所述邊界輪廓上每個邊界點的法線向量和切線向量，根據該法線向量及掃描線的長度分別計算出所述掃描線的開始點和結束點。

在本實施例中，圖像在XY平面內，設P _i (x _i ,y _i )(i ＝1~N )為所搜索到的邊界點的集合，理想擬合直線的方程為y ＝ax ＋b ，由最小二乘原理知，目標函數為：根據極值原理，若使目標函數最小，必有,，解上列方程組，得到最小二乘直線的參數：該直線透過點(0,b ,0)，其單位向量(l ,m ,n )為該單位向量(l ,m ,n )是邊界點切線的單位向量，而其法線的單位向量(I ,J ,K )為例如，兩個邊界點之間相差一個圖元點，而每個圖元點在圖像中相對應一個圖元尺寸，根據該圖元尺寸及上述公式可以計算出掃描線的開始點和結束點的座標值。

雖然邊界提取單元26依照遞迴法搜索到了邊界點，但其搜索可能存在一定的誤差，因此，邊界掃描模組272需要根據上述掃描線計算模組270計算出的開始點和結束點在處理後的圖像上精確尋找每個邊界點作為掃描點，並根據所找到的掃描點進行自動掃描。所述判斷單元24還用於判斷所述掃描點是否在所截取圖像的範圍之內、判斷所述掃描點是否組成閉合邊界路徑。

當上述尋找到的掃描點不在影像截取單元22所截取圖像的範圍之內或所述掃描點未組成閉合邊界路徑時，邊界掃描模組272會提示用戶，那麽，運動控制卡21需要透過控制X軸馬達和Y軸馬達運動改變CCD感應器10的拍攝位置，也就是移動工作台12。影像截取單元22截取移動後的工件3的圖像。

移動計算單元28，用於計算影像截取單元22截取所述工件3下一張圖像時工作台12需移動的距離和方向。本實施例中的工作台12移動的距離為CCD感應器10一次拍攝範圍的一半。例如，假設每個圖元點的直徑為0.02毫米，當CCD感應器10的一次拍攝範圍為640*480個圖元點時，工作台12的移動距離為320*240個圖元點，即工作台12在X軸上可以移動320*0.02毫米，在Y軸上的移動距離為240*0.02毫米。工作台12根據該邊界點的切線向量及移動計算單元28所計算出的移動距離移動。

儲存單元29，用於進一步將上述邊界掃描所掃描點的座標存於一指定路徑文檔。

如圖4所示，係本發明影像邊界掃描系統之參數設置介面圖。該參數設置包括掃描線的長度設置、掃描線的寬度設置、二值化分界值設置及是否繪製掃描線等設置。其中，用戶可以根據工件3的大小設置掃描線的長度和寬度，掃描線的長度範圍為0<L<80個圖元(pixel)，掃描線的寬度範圍為0<W<100pixel，在本實施例中，如圖3所示的工件3，其掃描線的長度可以取30pixel，而掃描線的寬度可以取20pixel。所述掃描線的長度用於邊界掃描模組272精確尋找掃描點，而掃描線的寬度用於確定掃描線的密度。圖像二值化分界值可以由用戶指定，也可以由電腦2根據影像亮度自動計算，例如，用戶選擇自動計算，則電腦2取0至255的中間值127作為二值化分界值，並以該分界值將圖像中的工件分為0和255兩個灰度值，而一般白色的灰度值為255，黑色灰度值為0，即若圖像中的工件的灰度級為0，則該工件為黑色，工件的背景顏色為白色。當用戶選擇繪製掃描線時，若給定的初始點的圖元為白色，且選擇“白到黑”設置，則掃描線的方向由白指向黑，如圖5所示的掃描示意圖；反之，選擇“黑到白”設置，則掃描線的方向由黑指向白；若給定的初始點的圖元為白色，且選擇“任意”，則默認為由白指向黑。

如圖5所示，係本發明工件3之掃描示意圖。該示意圖中的工件背景為白色，工件為黑色。若用戶選擇圖3(b)中的點A為初始點，該點A的圖元為白色，且在圖4所示的介面圖中選擇“白到黑”設置，則掃描線的方向由白指向黑。

如圖6所示，係本發明影像邊界掃描方法較佳實施例之主流程圖。首先，參數設置單元23對邊界掃描進行參數設置，該參數設置包括掃描線的長度設置、掃描線的寬度設置、二值化分界值設置及是否繪製掃描線等設置，在本實施例中，掃描線的長度可以取30pixel，而掃描線的寬度可以取20pixel(步驟S1)。

判斷單元24判斷該參數設置是否合理，掃描線的長度範圍為0<L<80pixel，掃描線的寬度範圍為0<W<100pixel(步驟S2)。

若所述參數設置不合理，則判斷單元24提示用戶設置出錯，並返回步驟S1重新設置邊界掃描參數(步驟S3)。

若所述參數設置合理，則運動控制卡21透過控制Z軸馬達18移動使得CCD感應器10的鏡頭與工件3對焦(步驟S4)。

在CCD感應器10拍攝工件3的影像時，影像截取單元22在CCD感應器10的一次拍攝範圍內截取工件3的圖像(步驟S5)。

圖像處理單元25計算所截取圖像的平均灰度，具體而言，圖像處理單元25統計出所述圖像中每個圖元點的灰度級和圖元點的個數，將所有灰度級相加，然後除以總圖元點的個數即得到圖像的平均灰度，圖像處理單元25在該平均灰度下對圖像進行銳利化及二值化處理，圖像銳利化是指對圖像作模糊處理，提高圖像的清晰度，而圖像二值化是指將一幅多個灰度級的圖像轉化為只有兩個灰度級的圖像，以便於資料的壓縮、特徵的突出以及圖形的識別(步驟S6)。

用戶在所處理後的圖像上任意選擇一點作為初始點，邊界提取單元26依據順時針方向尋找距離該初始點最近的邊界點，然後利用遞迴法繼續搜索其他邊界點，掃描線計算模組270計算所述邊界輪廓上每個邊界點的法線向量和切線向量，根據該法線向量及掃描線的長度分別計算出所述掃描線的開始點和結束點，邊界掃描模組272根據所計算出的開始點和結束點在處理後的圖像上精確尋找每個邊界點作為掃描點，並根據所找到的掃描點進行自動掃描(步驟S7)。

判斷單元24判斷上述掃描點是否在所截取圖像的範圍內(步驟S8)。

若上述掃描點不在所截取圖像的範圍內，則移動計算單元28計算影像截取單元22截取所述工件3下一張圖像時工作台12需移動的距離和方向，工作台12根據所述邊界點的切線向量及移動計算單元28所計算出的移動距離移動，然後返回步驟S4(步驟S9)。

若上述掃描點在所截取圖像的範圍內，則判斷單元24判斷所述掃描點是否組成了閉合邊界路徑(步驟S10)。

若所述掃描點未組成閉合邊界路徑，則返回步驟S9移動工作台12；若所述掃描點組成了閉合邊界路徑，則用戶可以進一步利用儲存單元29將所述掃描點的座標存於一指定路徑文檔(步驟S12)。

在步驟S9中，本實施例中的工作台12移動的距離為CCD感應器10一次拍攝範圍的一半，例如，假設每個圖元點的直徑為0.02毫米，當CCD感應器10的一次拍攝範圍為640*480個圖元點時，工作台12的移動距離為320*240個圖元點，即工作台12在X軸上可以移動320*0.02毫米，在Y軸上的移動距離為240*0.02毫米。本發明較佳實施例所提供的工作台12移動的距離具有很大的彈性和擴充性，用戶可以根據自定義的方法確定工作台12移動的距離。

如圖7所示，係圖6中步驟S7邊界掃描之具體作業流程圖。首先，用戶在所處理後的圖像上指定一點作為初始點(步驟S701)。判斷該初始點是否是邊界點(步驟S702)。

若該點是邊界點，則邊界提取單元26以該邊界點為起點，向右搜索下一邊界點(步驟S703)。

若該點不是邊界點，則邊界提取單元26以順時針方向尋找一個距離該點最近的邊界點，然後進入步驟S703(步驟S704)。

判斷單元24判斷邊界提取單元26向右是否搜索到了邊界點(步驟S705)。

若邊界提取單元26向右搜索到了邊界點，則返回步驟S703繼續向右搜索邊界點，否則邊界提取單元26向下搜索邊界點(步驟S706)。

判斷單元24判斷邊界提取單元26向下是否搜索到了邊界點(步驟S707)。

若邊界提取單元26向下搜索到了邊界點，則返回步驟S706繼續向下搜索邊界點，否則邊界提取單元26向左搜索邊界點(步驟S708)。

判斷單元24判斷邊界提取單元26向左是否搜索到了邊界點(步驟S709)。

若邊界提取單元26向左搜索到了邊界點，則返回步驟S708繼續向左搜索邊界點，否則邊界提取單元26向上搜索邊界點(步驟S710)。

判斷單元24判斷邊界提取單元26向上是否搜索到了邊界點(步驟S711)。

若邊界提取單元26向上搜索到了邊界點，則邊界提取單元26繼續向上搜索邊界點，否則邊界提取單元26提取所述邊界點附近的邊界輪廓，掃描線計算模組270計算所述邊界輪廓上每個邊界點的法線向量，根據該法線向量及掃描線的長度計算出每個掃描線的開始點和結束點(步驟S712)。

邊界掃描模組272連接所述開始點和結束點，該連接與處理後的圖像相交的點即為所精確尋找到的邊界點，邊界掃描模組272以精確尋找到的邊界點作為掃描點進行自動邊界掃描(步S713)。

本發明雖以較佳實施例揭露如上，然其並非用以限定本發明。任何熟悉此項技藝者，在不脫離本發明之精神和範圍內，當可做更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

影像量測機台．．．1

電腦．．．2

工件．．．3

電荷耦合裝置感應器．．．10

工作台．．．12

X軸馬達．．．14

Y軸馬達．．．16

Z軸馬達．．．18

影像卡．．．20

運動控制卡．．．21

影像截取單元．．．22

參數設置單元．．．23

判斷單元．．．24

圖像處理單元．．．25

邊界提取單元．．．26

圖像邊界掃描單元．．．27

移動計算單元．．．28

儲存單元．．．29

掃描線計算模組．．．270

邊界掃描模組．．．272

圖1係本發明影像邊界掃描系統較佳實施例之硬體架構圖。

圖2係本發明影像邊界掃描系統較佳實施例之具體結構圖。

圖3係處理前後的工件圖像。

圖4係本發明影像邊界掃描系統之參數設置介面圖。

圖5係本發明工件之掃描示意圖。

圖6係本發明影像邊界掃描方法較佳實施例之主流程圖。

圖7係圖6中影像邊界掃描步驟之具體作業流程圖。

Claims

一種影像邊界掃描系統，包括影像量測機台和電腦，該影像量測機台包括一電荷耦合裝置感應器、一工作台及馬達，其中，所述電腦包括：參數設置單元，用於影像邊界掃描的參數設置；影像卡，與所述電荷耦合裝置感應器相連，其用於獲取放置在工作台上的待掃描工件的影像；運動控制卡，與所述馬達相連，用於控制該馬達的移動，實現工作台的定位及所述工件與電荷耦合裝置感應器的對焦；影像截取單元，用於當電荷耦合裝置感應器拍攝所述工件時，截取該工件的圖像；圖像處理單元，用於對所截取的圖像進行圖像處理；邊界提取單元，用於在上述處理過的圖像上尋找所給定的初始點附近的邊界點，並提取該邊界點附近的邊界輪廓，利用遞迴法搜索該邊界輪廓上的其他邊界點；圖像邊界掃描單元，用於根據所設置的參數在所處理過的圖像上精確尋找上述所有邊界點作為掃描點進行邊界掃描；判斷單元，用於判斷上述掃描點是否在所截取圖像的範圍內，及判斷所述掃描點是否組成閉合邊界路徑；及移動計算單元，用於當所述掃描點未在所截取圖像範圍之內或未組成閉合邊界路徑時，計算影像截取單元截取所述工件下一張圖像時工作台需移動的距離和方向。
如申請專利範圍第1項所述之影像邊界掃描系統，該系統還包括儲存單元，用於將上述所有掃描點的座標存於一指定路徑文檔。
如申請專利範圍第1項所述之影像邊界掃描系統，其中所述馬達包括影像量測機台在空間座標內的X軸馬達、Y軸馬達及Z軸馬達，所述X軸馬達和Y軸馬達用於控制工作台的移動，所述Z軸馬達用於控制電荷耦合裝置感應器在垂直方向上的移動，以實現該電荷耦合裝置感應器與工件的對焦。
如申請專利範圍第1項所述之影像邊界掃描系統，其中所述影像邊界掃描的參數包括掃描線的長度、掃描線的寬度、二值化分界值及是否繪製掃描線。
如申請專利範圍第4項所述之影像邊界掃描系統，其中所述圖像邊界掃描單元包括：掃描線計算模組，用於計算所述邊界輪廓上每個邊界點的法線向量和切線向量，根據該法線向量及所述掃描線的長度計算出掃描線的開始點和結束點，並根據該切線向量確定下一個邊界點的位置及方向；及邊界掃描模組，用於根據上述確定的開始點和結束點在所處理過的圖像上精確尋找邊界點作為掃描點。
如申請專利範圍第4項所述之影像邊界掃描系統，其中所述圖像處理包括圖像銳利化處理和圖像二值化處理，該圖像二值化處理是指根據所設置的二值化分界值將256灰度級的圖像轉換成只有0灰度值和255灰度值的圖像。
一種影像邊界掃描方法，利用一影像邊界掃描系統掃描一工件的影像邊界，該系統包括一電腦及一影像量測機台，該影像量測機台包括一電荷耦合裝置感應器、一放置該工件的工作台及馬達，其中，該方法包括如下步驟：該電腦透過所述電荷耦合裝置感應器截取所述工件的圖像，其中該電腦設置有影像邊界掃描的參數；對該圖像進行圖像處理，並從處理過的圖像上選擇一初始點；沿該初始點尋找一個距離該初始點最近的邊界點，提取該邊界點附近的邊界輪廓，並利用遞迴法從所述邊界輪廓上搜索其他邊界點；根據所設置的影像邊界掃描參數在所處理過的圖像上精確尋找上述邊界點作為掃描點進行邊界掃描；判斷所述掃描點是否在所截取圖像範圍內；若所述掃描點未在所截取圖像範圍內，則計算截取所述工件下一張圖像時工作台需移動的距離和方向，並透過控制馬達移動該工作台；若所述掃描點在所截取圖像範圍內，則判斷所述掃描點是否組成了閉合邊界路徑；若所述掃描點未組成閉合邊界路徑，則返回移動工作台的步驟；及若所述掃描點組成了閉合邊界路徑，則結束掃描。
如申請專利範圍第7項所述之影像邊界掃描方法，該方法還包括步驟：將所有掃描點的座標存於一指定路徑文檔。
如申請專利範圍第7項所述之影像邊界掃描方法，其中所述步驟利用遞迴法搜索邊界點包括如下步驟：判斷所述邊界點右邊相臨的點是否是未搜尋過的邊界點；若該點是未搜尋過的邊界點，則以該邊界點為起點向右搜索下一個邊界點；若向右搜索到了邊界點，則以該邊界點為起點繼續向右搜索邊界點，直到向右搜索不到邊界點；以向右搜索到的最後一個邊界點為起點向下搜索邊界點；若向下搜索到了邊界點，則繼續向下搜索邊界點，直到向下搜索不到邊界點；以向下搜索到的最後一個邊界點為起點向左搜索邊界點；若向左搜索到了邊界點，則繼續向左搜索邊界點，直到向左搜索不到邊界點；以向左搜索到的最後一個邊界點為起點向上搜索邊界點，直到向上搜索不到邊界點。
如申請專利範圍第7項所述之影像邊界掃描方法，其中所述影像邊界掃描的參數包括掃描線的長度、掃描線的寬度、二值化分界值及是否繪製掃描線。
如申請專利範圍第10項所述之影像邊界掃描方法，其中所述步驟精確尋找邊界點作為掃描點進行邊界掃描包括如下步驟：計算所述邊界點的法線向量和切線向量法線向量；根據該法線向量及掃描線的長度計算掃描線的開始點和結束點，所述切線向量用於計算截取所述工件下一張圖像時工作台需移動的距離和方向。
如申請專利範圍第10項所述之影像邊界掃描方法，其中所述圖像處理包括圖像銳利化處理和圖像二值化處理，該圖像二值化是指根據所設置的二值化分界值將256灰度級的圖像轉換成只有0灰度值和255灰度值的圖像。