CN106181162A - 一种基于机器视觉的实时焊缝跟踪检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的实时焊缝跟踪检测系统，它包括：它包括：作为系统核心控制设备的工控机；由光源控制器、LED光源、图像采集卡及CCD摄像机构成的图像采集单元；以及由机器人控制器、焊接机器人构成的运动控制单元；本发明还包括一种基于机器视觉的实时焊缝跟踪检测，包括图像采集→图像处理→数据处理→运动控制等步骤；本发明采用实时在线检测的方法，不需要人工进行多余的操作、在通过坡口图像生成的期望焊缝轨迹与实际焊缝轨迹的比较纠偏；并且当现场焊接环境与手动示教环境、离线编程仿真环境有一定差异的情况下，能够进行实时焊缝跟踪，克服焊接现场的各类干扰，保证焊接效果的准确性和可靠性。

Description

一种基于机器视觉的实时焊缝跟踪检测系统及方法

技术领域

本发明涉及一种基于机器视觉的实时焊缝跟踪检测系统及方法，属于机器视觉及机械自动化技术领域。

背景技术

焊接一直在工业生产中扮演了极为最重要的角色，而随着机器人和视觉检测处理技术的发展，焊接技术的自动化水平日益提高，焊缝跟踪检测方法也从人工检测发展为计算机智能检测。

现有焊接机器人大多属于现场手动示教型或离线编程型，这两种方法中焊接机器人的焊接参数和焊接路径都是在生产之前进行规划，使焊接机器人在工作空间内可以高精度地重复已规划运动。

而传统的焊缝跟踪检测方法将规划的焊缝路径与实际产生的焊缝路径进行对比纠错，实现焊缝的跟踪。这样的焊缝跟踪方法可以保证规划区域内焊接机器人的高精度运行和焊缝跟踪，但只能对已规划路径进行跟踪，对于突发情况的应变能力较差。

在实际焊接过程中，焊接现场的干扰较多，焊件的形状会随着生产环境的变化而变化，例如熔池产生的高温、较低的装配精度、焊接过程中突发的碰撞等，都会对焊接生产造成相应的影响；当现场焊接环境与手动示教环境、离线编程仿真环境有一定差异的情况下，传统焊缝跟踪的效果很不理想，这制约了 现有焊缝跟踪技术的进一步发展。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于机器视觉的实时焊缝跟踪检测系统及方法，其具有高准确度和自适应性，能够进行实时焊缝跟踪、克服焊接现场的各类干扰，从而保证焊接效果的准确性和可靠性。

为了实现上述目的，本发明采用的技术方案是：一种基于机器视觉的实时焊缝跟踪检测系统，它包括：

作为系统核心控制设备的工控机；

由光源控制器、LED光源、图像采集卡及CCD摄像机构成的图像采集单元；

以及由机器人控制器、焊接机器人构成的运动控制单元；

所述的工业控制机负责图像、数据的处理和计算；所述的光源控制器控制LED光源随焊枪的移动而移动，使光源覆盖到焊缝及待焊坡口处，保证图像采集区域的采光度；

所述CCD摄像机包括CCD摄像机一、CCD摄像机二；CCD摄像机一、CCD摄像机二分别安装在焊接机器人焊枪的两侧，随焊枪的移动而移动；并且CCD摄像机一朝向焊枪前端待焊坡口处，CCD摄像机二正对焊枪下方焊接位置。

一种基于机器视觉的实时焊缝跟踪检测方法，采用上述的系统，包括以下步骤：

1)图像采集：焊接开始前，光源控制器控制LED光源以前向照明的方式照射到坡口和焊缝处，CCD摄像机一开始采集待焊坡口区域的图像，时间t后，CCD摄像机二开始采集焊接部分的焊缝图像，两初始图像据均传输到工控机中；

其中t为坡口a区域被CCD摄像机一拍摄到a区域焊接后被CCD摄像机二拍摄的延迟时间；

2)图像处理：通过图像滤波、图像分割、形态学处理和边缘检测处理方法得到坡口和焊缝区域局部放大的边缘图像；

3)数据处理：处理坡口区域局部放大的边缘图像，根据模式识别算法判断坡口类型，计算出所规划的期望焊缝轨迹，处理焊接部分的焊缝图像，计算设备实际生成的焊缝轨迹，经滤波后得到两个平滑的焊缝中心轨迹，将两个焊缝轨迹对比并计算跟踪纠偏量；

4)运动控制：工控机根据纠偏量进行实时纠偏，控制焊接机器人的运动和进一步的焊接，从而实现焊缝的精确跟踪。

所述的步骤2)的图像处理具体过程如下：

(1)采用高斯滤波法对初始图像进行去噪处理；

数字图像可以表示为二维数组的形式f(x，y），x，y分别表示像素点坐标，f(x,y)表示图像的灰度；

f_s(x，y)＝G(x，y)*f(x，y)

f_s(x，y）表示表示高斯滤波后的数字图像；

(2)采用最大类间方差法对图像进行图像分割：

使用一个阈值将整个数据分成两个类，假如两个类之间的方差最大，那么这个阈值就是最佳的阈值；

${\mathrm{\σ}}^2\left(T^{*}\right)=\underset{T\∈G}{\max }{\mathrm{\σ}}^2\left(T\right)$

即选择使σ²(T_b)最大的T^*作为最佳分割阈值；

(3)采用膨胀腐蚀算法对图像进行形态学处理：

先用结构元素对f(x，y）进行膨胀运算，然后用结构元素对结果进行腐蚀运算；利用膨胀腐蚀算法可以消除目标物体多余的孔洞，连接相近的物体，同时填补轮廓线上细小的内凹尖角以平滑物体的边界；

(4)采用Canny边缘检测算法进对图像行边缘检测：

计算滤波图像的梯度幅值和方向，

$\▿f=grand\left(f\right)=\[\frac{g_x}{g_y}\]=\[\frac{\frac{\∂f}{\∂x}}{\frac{\∂f}{\∂y}}\]$

梯度幅度：

梯度方向：

再对梯度幅值进行非极大值抑制，如果M(x,y)的值小于像素点的任意两个邻域之一，则令g_N(x,y)＝0；否则，令g_N(x，y)＝M(x，y)。g_N(x，y)表示进行非最大抑制后的图像；

最后采用双阈值算法判定图像边缘点：设定一个阈值上界T_H和阈值下界T_L，图像中的像素点如果大于阈值上界则认为必然是边界(g_N(x，y)≥T_H)，小于阈值下界则认为必然不是边界(g_N(x，y)≤T_L)，两者之间的则认为是候选项。

与现有焊缝跟踪方法相比，本发明采用的方法和系统具有以下优点和效果：

1.本发明采用实时在线检测的方法，不需要人工进行多余的操作、在焊接开始后焊接机器人能够全自动地进行焊缝跟踪检测；

2.本发明利用坡口图像生成期望焊缝轨迹，对现场焊接环境的自适应性强，当现场焊接环境与手动示教环境、离线编程仿真环境有一定差异的情况下， 能够进行实时焊缝跟踪，克服焊接现场的各类干扰，保证焊接效果的准确性和可靠性。

附图说明

图1是本发明的方案总体原理示意图。

图2是本发明的系统原理示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图2为一种基于机器视觉的实时焊缝跟踪检测系统，它包括：

作为系统核心控制设备的工控机；

由光源控制器、LED光源、图像采集卡及CCD摄像机构成的图像采集单元；

以及由机器人控制器、焊接机器人构成的运动控制单元；

所述的工业控制机负责图像、数据的处理和计算；所述的光源控制器控制LED光源随焊枪的移动而移动，使光源覆盖到焊缝及待焊坡口处，保证图像采集区域的采光度；

所述CCD摄像机包括CCD摄像机一、CCD摄像机二；CCD摄像机一、CCD摄像机二分别安装在焊接机器人焊枪的两侧，随焊枪的移动而移动；并且CCD摄像机一朝向焊枪前端待焊坡口处，CCD摄像机二正对焊枪下方焊接位置。

如图1所示为一种基于机器视觉的实时焊缝跟踪检测方法，其采用上述的系统，包括以下步骤：

1)图像采集：焊接开始前，光源控制器控制LED光源以前向照明的方式照射到坡口和焊缝处，CCD摄像机一开始采集待焊坡口区域的图像，时间t后，CCD摄像机二开始采集焊接部分的焊缝图像，两初始图像据均传输到工控机中；

其中t为坡口a区域被CCD摄像机一拍摄到a区域焊接后被CCD摄像机二拍摄的延迟时间；

2)图像处理：通过图像滤波、图像分割、形态学处理和边缘检测处理方法得到坡口和焊缝区域局部放大的边缘图像；

3)数据处理：处理坡口区域局部放大的边缘图像，根据模式识别算法判断坡口类型，计算出所规划的期望焊缝轨迹，处理焊接部分的焊缝图像，计算设备实际生成的焊缝轨迹，经滤波后得到两个平滑的焊缝中心轨迹，将两个焊缝轨迹对比并计算跟踪纠偏量；

4)运动控制：工控机根据纠偏量进行实时纠偏，控制焊接机器人的运动和进一步的焊接，从而实现焊缝的精确跟踪。

在上述方案中，步骤1)、2)、3)均对两个不同的区域进行检测和处理：待焊坡口区域及焊接焊缝区域。

待焊坡口区域以坡口处的钝边为应用对象，通过坡口钝边和其余部分灰度特征值的差异，提取出坡口部分钝边的形态特征，判断坡口类型并计算期望焊缝中心轨迹；焊接焊缝区域以焊缝为应用对象，通过焊缝的边缘信息计算实际焊缝中心轨迹。

在上述方案中，若步骤1)未采集到钝边信息，即焊接对象不开坡口，则 在步骤3)的数据数据处理中，以待焊对象两边缺口中心点的集合为期望焊缝中心轨迹。

在上述方案中，t为坡口a区域被CCD摄像机一拍摄到a区域焊接后被CCD摄像机二拍摄的延迟时间，与焊接设备的焊接工艺、焊接速度、计算机处理速度等有关，保证所对比的期望、实际焊缝轨迹为同一区域、相互匹配的焊缝轨迹。

其中，步骤2)的图像处理主要分为图像滤波、图像分割、形态学处理和边缘检测4部分，具体过程如下：

(1)采用高斯滤波法对初始图像进行去噪处理；

数字图像可以表示为二维数组的形式f(x,y)，x,y分别表示像素点坐标，f(x,y)表示图像的灰度；

f_s(x，y)＝G(x，y)*f(x，y)

f_s(x,y)表示表示高斯滤波后的数字图像；

(2)采用最大类间方差法对图像进行图像分割：

使用一个阈值将整个数据分成两个类，假如两个类之间的方差最大，那么这个阈值就是最佳的阈值；

${\mathrm{\σ}}^2\left(T^{*}\right)=\underset{T\∈G}{\max }{\mathrm{\σ}}^2\left(T\right)$

即选择使σ²(T_b)最大的T^*作为最佳分割阈值；

(3)采用膨胀腐蚀算法对图像进行形态学处理：

先用结构元素对f(x，y)进行膨胀运算，然后用结构元素对结果进行腐蚀运算；利用膨胀腐蚀算法可以消除目标物体多余的孔洞，连接相近的物体，同时填补轮廓线上细小的内凹尖角以平滑物体的边界；

(4)采用Canny边缘检测算法进对图像行边缘检测：

计算滤波图像的梯度幅值和方向，

$\▿f=grand\left(f\right)=\[\frac{g_x}{g_y}\]=\[\frac{\frac{\∂f}{\∂x}}{\frac{\∂f}{\∂y}}\]$

梯度幅度：

梯度方向：

再对梯度幅值进行非极大值抑制，如果M（x，y)的值小于像素点的任意两个邻域之一，则令g_N(x，y)＝0；否则，令g_N(x，y)＝M(x，y)。g_N(x，y)表示进行非最大抑制后的图像；

最后采用双阈值算法判定图像边缘点：设定一个阈值上界T_H和阈值下界T_L，图像中的像素点如果大于阈值上界则认为必然是边界(g_N(x，y)≥T_H)，小于阈值下界则认为必然不是边界(g_N(x，y)≥T_L)，两者之间的则认为是候选项。

在上述方案中，步骤3)通过模式识别算法判断坡口类型，再根据不同坡口的焊接特征，结合步骤2)得到的坡口图像计算期望焊缝轨迹；期望焊缝轨迹与实际焊缝轨迹经优化平滑处理后进行比较，对其偏差量、偏差方向和偏差速度进行最优计算。

与现有焊缝跟踪方法相比，本发明采用的方法和系统具有以下优点和效果：

1.本发明采用实时在线检测的方法，不需要人工进行多余的操作、在焊接开始后焊接机器人能够全自动地进行焊缝跟踪检测；

2.本发明利用坡口图像生成期望焊缝轨迹，对现场焊接环境的自适应性强，当现场焊接环境与手动示教环境、离线编程仿真环境有一定差异的情况下，能 够进行实时焊缝跟踪，克服焊接现场的各类干扰，保证焊接效果的准确性和可靠性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

以上所述，仅为本发明的较佳实施例，并不用以限制本发明，凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同替换和改进，均应包含在本发明技术方案的保护范围之内。

Claims (3)

1.一种基于机器视觉的实时焊缝跟踪检测系统，其特征在于，它包括：

作为系统核心控制设备的工控机；

由光源控制器、LED光源、图像采集卡及CCD摄像机构成的图像采集单元；

以及由机器人控制器、焊接机器人构成的运动控制单元；

所述的工业控制机负责图像、数据的处理和计算；所述的光源控制器控制LED光源随焊枪的移动而移动，使光源覆盖到焊缝及待焊坡口处，保证图像采集区域的采光度；

所述CCD摄像机包括CCD摄像机一、CCD摄像机二；CCD摄像机一、CCD摄像机二分别安装在焊接机器人焊枪的两侧，随焊枪的移动而移动；并且CCD摄像机一朝向焊枪前端待焊坡口处，CCD摄像机二正对焊枪下方焊接位置。

2.一种基于机器视觉的实时焊缝跟踪检测方法，其特征在于，采用如权利要求1所述的系统，包括以下步骤：

1)图像采集：焊接开始前，光源控制器控制LED光源以前向照明的方式照射到坡口和焊缝处，CCD摄像机一开始采集待焊坡口区域的图像，时间t后，CCD摄像机二开始采集焊接部分的焊缝图像，两初始图像据均传输到工控机中；

其中t为坡口a区域被CCD摄像机一拍摄到a区域焊接后被CCD摄像机二拍摄的延迟时间；

2)图像处理：通过图像滤波、图像分割、形态学处理和边缘检测处理方法得到坡口和焊缝区域局部放大的边缘图像；

3)数据处理：处理坡口区域局部放大的边缘图像，根据模式识别算法判断坡口类型，计算出所规划的期望焊缝轨迹；处理焊接部分的焊缝图像，计算设备实际生成的焊缝轨迹，经滤波后得到两个平滑的焊缝中心轨迹，将两个焊缝轨迹对比并计算跟踪纠偏量；

4)运动控制：工控机根据纠偏量进行实时纠偏，控制焊接机器人的运动和进一步的焊接，从而实现焊缝的精确跟踪。

3.根据权利要求2所述的一种基于机器视觉的实时焊缝跟踪检测方法，其特征在于，所述的步骤2)的图像处理具体过程如下：

(1)采用高斯滤波法对初始图像进行去噪处理；

数字图像可以表示为二维数组的形式f(x，y)，x，y分别表示像素点坐标，f(x，y)表示图像的灰度；

f_s(x，y)＝G(x，y)*f(x，y)

f_s(x，y)表示表示高斯滤波后的数字图像；

(2)采用最大类间方差法对图像进行图像分割：

使用一个阈值将整个数据分成两个类，假如两个类之间的方差最大，那么这个阈值就是最佳的阈值；

${\mathrm{\σ}}^2\left(T*\right)=\underset{T\∈G}{\max }{\mathrm{\σ}}^2\left(T\right)$

即选择使σ²(T_b)最大的T^*作为最佳分割阈值；

(3)采用膨胀腐蚀算法对图像进行形态学处理：

先用结构元素对f(x，y)进行膨胀运算，然后用结构元素对结果进行腐蚀运算；利用膨胀腐蚀算法可以消除目标物体多余的孔洞，连接相近的物体，同时填补轮廓线上细小的内凹尖角以平滑物体的边界；

(4)采用Canny边缘检测算法进对图像行边缘检测：

计算滤波图像的梯度幅值和方向，

$\▿f=grand\left(f\right)=\[\frac{g_x}{g_y}\]=\[\frac{\frac{\∂f}{\∂x}}{\frac{\∂f}{\∂y}}\]$

梯度幅度：

梯度方向：

再对梯度幅值进行非极大值抑制，如果M(x，y)的值小于像素点的任意两个邻域之一，则令g_N(x，y)＝0；否则，令g_N(x，y)＝M(x，y)；g_N(x，y)表示进行非最大抑制后的图像；

最后采用双阈值算法判定图像边缘点：设定一个阈值上界T_H和阈值下界T_L，图像中的像素点如果大于阈值上界则认为必然是边界(g_N(x，y)≥T_H)，小于阈值下界则认为必然不是边界(g_N(x，y)≤T_L)，两者之间的则认为是候选项。