CN114800574B - 一种基于双三维相机的机器人自动化焊接系统及方法 - Google Patents

Abstract

本发明提供了一种双三维相机的机器人自动化焊接系统及方法。该系统包括，机器人、机器人外部安装的第一三维相机、机器人末端安装的第二三维相机和焊接装备、控制机器人运动的控制箱以及系统上位机；所述第一三维相机用于拍摄获取完整工件点云；所述系统上位机用于系统坐标系对齐、第二三维相机的拍摄轨迹规划、焊缝寻位和焊接路径规划，其中，所述第二三维相机的拍摄轨迹规划包括，根据完整工件点云规划第二三维相机的拍摄点位，形成机器人的拍摄运动轨迹；所述第二三维相机用于根据拍摄运动轨迹，获取当前拍摄点位视野内的工件点云；所述焊接装备用于根据当前拍摄点位视野内的工件点云和焊接轨迹，完成焊接任务。

Description

一种基于双三维相机的机器人自动化焊接系统及方法

技术领域

本发明属于焊接技术领域，具体涉及一种基于双三维相机的机器人自动化焊接系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

虽然焊接机器人目前应用较为广泛，但是焊接前复杂的编程工作一直是焊接机器人的发展阻碍。焊接机器人的编程方式主要有人工示教编程和离线编程。人工示教编程需要在一定的时间间隔重新编程，以保证在工件装夹误差下的焊接精度；离线编程实现的方式是将机器人和工件建模，在软件上实现路径规划，对于工件的三维模型依赖性大。对于小批量、多品种、非标准的工件焊接场景，以上两种编程方式适用性较差。

为解决上述问题，随着机器视觉的发展，利用三维相机进行焊接轨迹的自动寻位可实现免编程示教的机器人的自动化焊接。但是，该过程需要对三维相机拍摄点位进行规划，当前工业场景下仍采用手动方式进行拍摄点位规划。

此外，现有的使用软件进行眼在手上的三维相机的拍摄轨迹规划，其弊端在于：

1.依赖工件的三维模型，若工件不存在三维模型，则实现比较困难；

2.对操作者的素质要求较高，专业软件的学习需要一定的成本；3.自动化程度低，使用软件进行规划，避免不了人工干预。

发明内容

本发明为了解决上述问题，提出了一种基于双三维相机的机器人自动化焊接系统及方法，本发明针对焊接前安装在机器人末端的相机的拍摄点位规划，使用安装在机器人工作台外部的俯拍相机，结合三维视觉技术，实现了焊接前相机拍摄点位的自动规划；针对焊接工件，使用安装在机器人末端的相机，结合三维视觉技术，实现了以拍摄点位为单元的焊缝寻位和自动化焊接。

根据一些实施例，本发明采用如下技术方案：

第一个方面，本发明提供了一种双三维相机的机器人自动化焊接系统。

一种双三维相机的机器人自动化焊接系统，包括：机器人、机器人外部安装的第一三维相机、机器人末端安装的第二三维相机和焊接装备、控制机器人运动的控制箱以及系统上位机；

所述第一三维相机用于拍摄获取完整工件点云；

所述系统上位机用于系统坐标系对齐、第二三维相机的拍摄轨迹规划、焊缝寻位和焊接路径规划，其中，所述第二三维相机的拍摄轨迹规划包括，根据完整工件点云规划第二三维相机的拍摄点位，形成机器人的拍摄运动轨迹；

所述第二三维相机用于根据拍摄运动轨迹，获取当前拍摄点位视野内的工件点云；

所述焊接装备用于根据当前拍摄点位视野内的工件点云和焊接轨迹，完成焊接任务。

第二个方面，本发明提供了一种双三维相机的机器人自动化焊接方法。

一种双三维相机的机器人自动化焊接方法，采用第一个方面所述的双三维相机的机器人自动化焊接系统，包括：

标定焊枪工具坐标系、两个相机坐标系与机器人基坐标系之间的关系；

采用第一三维相机拍摄获取完整工件点云；

根据完整工件点云规划第二三维相机的拍摄点位，形成机器人的拍摄运动轨迹；

采用第二三维相机，根据拍摄运动轨迹，获取当前拍摄点位视野内的工件点云；

根据当前拍摄点位拍摄得到的点云，进行焊缝寻位，规划机器人的焊接轨迹；

采用焊接装备，根据当前拍摄点位视野内的工件点云和焊接轨迹，完成焊接任务。

与现有技术相比，本发明的有益效果为：

(1)本发明实现了机器人焊接系统的全过程自动化。目前，三维相机引导机器人进行焊接前，需要手动规划相机的拍摄点位。本发明使用双三维相机，通过三维视觉技术和机器人技术的结合，解决了拍摄点位的手动规划问题。

(2)本发明使用三维视觉信息进行手上相机的拍摄点位规划，效率高，普适性强。适用对多品种、多焊缝、加工一致性差的工件焊接。

(3)本发明使用三维相机采集精度高，使用寻位方法拾取的焊缝精度高，保证了焊接的高质量。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例一示出的双三维相机的机器人自动化焊接系统的示意图；

图2是本发明实施例二示出的双三维相机的机器人自动化焊接方法的流程图；

其中，1、多自由度机器人，2、手外相机，3、手上相机，4、焊接装备，5、控制箱，6、系统上位机。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明中，术语如“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。

实施例一

本实施例提供了一种双三维相机的机器人自动化焊接系统。

如图1，一种基于双三维相机的机器人自动化焊接系统，包括多自由度机器人1，机器人外部安装的三维相机，机器人末端安装的三维相机以及焊接装备4，控制机器人运动的控制箱5，系统上位机6；其中系统上位机6分别与多自由度机器人1、机器人外部安装的三维相机、机器人末端安装的三维相机以及焊接装备、控制机器人运动的控制箱5连接，控制箱5连接机器人。

所述的机器人外部安装的三维相机，与机器人的组合方式是眼在手外(Eye-to-Hand)，本实施例叙述将其简称为手外相机2。

所述的机器人末端安装的三维相机，与机器人的组合方式是眼在手上(Eye-in-Hand)，本实施例叙述将其简称为手上相机3。

所述的焊接装备，根据不同的焊接工艺，不限于使用多种品牌的焊枪，焊机和送丝器。

所述的手外相机用于手上相机的拍摄点位规划，根据焊接场景需求，通常安装在机器人工作场景上方，安装方式包含但不限于龙门式。该装置的视野较大，能获取完整的工件点云。

所述的手上相机用于焊缝寻位，该装置选择视野较小的相机，能够获取当前拍摄点位视野内的工件点云。

所述的三维相机，具备获取扫描物体表面点云的功能，其测量精度小于1mm，获取深度图的帧速率大于1帧每秒，通常选择使用高精度的三维面阵结构光相机，但选择不限于使用多种品牌、多结构、相似原理且具有相同功能的三维视觉扫描装置。

所述的多自由度机器人，用于搭载焊枪和手上相机，执行手上相机的拍摄运动和焊枪的焊接运动，不限于使用多种品牌的工业机器人。

所述的系统上位机，包含系统坐标系对齐功能、点云处理功能、通信功能、交互功能、文件读取和存储功能、模型可视化功能等一切满足本焊接系统需求的功能，运行在包含但不限于Windows和Linux的系统平台上。

所述的系统坐标系对齐功能，主要的目的是将整个系统的坐标系统一到多自由度机器人基坐标系下，包含对多自由度机器人基坐标系和焊枪工具坐标系的空间转换关系标定，多自由度机器人基坐标系和手外相机坐标系的空间转换关系标定，以及多自由度机器人基坐标系和手上相机坐标系的空间转换关系标定，三个标定关系无先后关系，具体为：

首先，三维相机本身经过精确的内参标定，且已知相机的内参；

其次，对多自由度机器人基坐标系和焊枪工具坐标系标定：引导机器人带动焊枪末端多次指到一个固定的空间点，改变每一次指点的机器人末端的姿态，不改变末端的位置，经过计算得到焊枪工具坐标系相对于多自由度机器人基座的空间转换关系^BaseT_Tool。

然后，对多自由度机器人基坐标系和手外相机坐标系标定：将标定板固定安装在机器人末端，相机多次拍摄不同机器人位姿下的标定板，记录多自由度机器人每次拍摄时的位置和姿态。定义机器人末端到基座的齐次转换矩阵为^EndT_Base，三维相机到标定板坐标系的齐次转换矩阵为^CameraAT_Object。由于机器人末端和标定板的相对位置不变，两次不同的拍摄之间可以表示为：

^EndT_Base2·^Base2T_CameraA2·^CameraA2T_Object＝^EndT_Base1·^Base1T_CameraA1·^CameraA1T_Object

又因为相机到机器人基座的位置相对不变，即：

^Base2T_CameraA2＝^Base1T_CameraA1＝^BaseT_CameraA，

可得：

通过多次拍摄，求解上述方程，得到多自由度机器人基坐标系和手外相机坐标系之间的空间转换关系^BaseT_CameraA；

最后，对自由度机器人基坐标系和手上相机坐标系标定：标定板固定位置不变，改变机器人的姿态，手上相机对标定板实现多次不同位姿的拍摄。定义三维相机到标定板坐标系的齐次转换矩阵为^CameraBT_Object。由于机器人基座和标定板的相对位置不变，两次不同的拍摄之间可以表示为：

^BaseT_End2·^End2T_CameraB2·^CameraB2T_Object＝^BaseT_End1·^End1T_CameraB1·^CameraB1T_Object

又因为三维相机到机器人末端的相对位置不变，即：

^End2T_CameraB2＝^End1T_CameraB1＝^EndT_CameraB，

有:

通过多次拍摄，求解上述方程，得到多自由度机器人基坐标系和手外相机坐标系之间的空间转换关系^EndT_CameraB；

最终得到手上相机和机器人基座之间的手眼关系矩阵为：

^BaseT_CameraB＝^BaseT_End ^EndT_CameraB

为了能够让相机较为准确的拍摄工件的焊缝部分，需要确定相机的拍摄位置，该位置可能不止一个，这些点位加上焊接过程中的中间位置构成机器人的拍摄轨迹。目前的拍摄轨迹获取方法，主要是人工示教和一些专用的软件设定，这两种方法自动化程度不高。

使用手上相机引导机器人焊接的流程如下：

1、焊缝寻位

在拍摄点位拍摄获取点云，对点云进行算法处理，获取焊缝特征，然后根据焊接的工艺要求规划焊接轨迹。最后，将焊接轨迹从相机坐标系下转换到机器人基坐标系下。

2、机器人焊接

对焊接轨迹进行分析，生成不同机器人的控制脚本或程序，控制机器人完成焊接。

因此，本实施例针对上述问题，提出了外加一台三维相机实现拍摄点位自动规划的方案，提高现有方案的自动化程度。

本实施例中，系统上位机根据完整工件点云规划第二三维相机的拍摄点位，形成机器人的拍摄运动轨迹；所述第二三维相机用于根据拍摄运动轨迹，获取当前拍摄点位视野内的工件点云；所述焊接装备用于根据当前拍摄点位视野内的工件点云和焊接轨迹，完成焊接任务。

实施例二

本实施例提供了一种双三维相机的机器人自动化焊接方法。

一种双三维相机的机器人自动化焊接方法，采用实施例一所述的双三维相机的机器人自动化焊接系统包括：

(一)标定焊枪工具坐标系、两个相机坐标系与机器人基坐标系之间的关系；

(二)使用手外相机拍摄获取完整工件点云；

(三)根据完整工件点云规划手上相机的拍摄点位，形成机器人的拍摄运动轨迹；

(四)使用手上相机获取当前拍摄点位视野内的工件点云；

(五)通过焊缝寻位方法，获取并生成焊接轨迹；

(六)机器人完成当前拍摄点位的焊接任务；

(七)重复步骤(四)到步骤(六)，直至完成所有拍摄点位的焊接任务。

所述步骤(一)，对多自由度机器人基坐标系和焊枪工具坐标系的空间转换关系标定，多自由度机器人基坐标系和手外相机坐标系的空间转换关系标定，以及多自由度机器人基坐标系和手上相机坐标系的空间转换关系标定，三个标定过程无先后关系，具体为：

首先，三维相机本身经过精确的内参标定，且已知相机的内参；

其次，对多自由度机器人基坐标系和焊枪工具坐标系标定：引导机器人带动焊枪末端多次指到一个固定的空间点，改变每一次指点的机器人末端的姿态，不改变末端的位置，经过计算得到焊枪工具坐标系相对于多自由度机器人基座的空间转换关系^BaseT_Tool。

然后，对多自由度机器人基坐标系和手外相机坐标系标定：将标定板固定安装在机器人末端，相机多次拍摄不同机器人位姿下的标定板，记录多自由度机器人每次拍摄时的位置和姿态。定义机器人末端到基座的齐次转换矩阵为^EndT_Base，三维相机到标定板坐标系的齐次转换矩阵为^CameraAT_Object。由于机器人末端和标定板的相对位置不变，两次不同的拍摄之间可以表示为：

^EndT_Base2·^Base2T_CameraA2·^CameraA2T_Object＝^EndT_Base1·^Base1T_CameraA1·^CameraA1T_Object

又因为相机到机器人基座的位置相对不变，即：

^Base2T_CameraA2＝^Base1T_CameraA1＝^BaseT_CameraA，

可得：

通过多次拍摄，求解上述方程，得到多自由度机器人基坐标系和手外相机坐标系之间的空间转换关系^BaseT_CameraA；

最后，对多自由度机器人基坐标系和手上相机坐标系标定：标定板固定位置不变，改变机器人的姿态，手上相机对标定板实现多次不同位姿的拍摄。定义三维相机到标定板坐标系的齐次转换矩阵为^CameraBT_Object。由于机器人基座和标定板的相对位置不变，两次不同的拍摄之间可以表示为：

^BaseT_End2·^End2T_CameraB2·^CameraB2T_Object＝^BaseT_End1·^End1T_CameraB1·^CameraB1T_Object

又因为三维相机到机器人末端的相对位置不变，即：

^End2T_CameraB2＝^End1T_CameraB1＝^EndT_CameraB，

有:

通过多次拍摄，求解上述方程，得到多自由度机器人基坐标系和手外相机坐标系之间的空间转换关系^EndT_CameraB；

最终得到手上相机和机器人基座之间的手眼关系矩阵为：

^BaseT_CameraB＝^BaseT_End ^EndT_CameraB

所述的步骤(三)中，规划手上相机拍摄点位目的在于，使得手上相机通过多个点位的拍摄，完整得到手外相机获得的工件部分的所有焊缝区域点云。

所述的步骤(三)中，规划手上相机的拍摄点位的方法主要包含以下两种：

1)通过对工件点云进行几何分割，根据点云的线面特征确定手上相机的拍摄角度。结合手上相机的工作距离范围，设定手上相机的拍摄位置。对工件点云进行几何分割的方法包括但不限于使用点云处理算法分割和使用交互设备人工分割。所述的人工分割包含但不限于鼠标绘制或选择、触摸式屏幕绘制或选择等。

2)当存在工件的三维模型时，使用第三方建模软件在三维模型上设定拍摄点位。将拍摄得到的点云模型与三维模型做配准，将拍摄点位转换到机器人基坐标系下。

所述三维模型的来源包含但不限于：使用机器人末端的3D相机进行扫描、拼接、点云融合逆向得到；使用三维CAD软件建模；使用既有模型进行变换；按照以下方式优选数字三维模型，在具有原始CAD设计三维模型，并且工件的一致性较好的情况下，选择设计的CAD三维数字模型，否则优选逆向得到的数字三维模型。

所述的步骤(五)中，寻位方法主要包含以下两种，但只要能完成焊缝特征的拾取，都可以实现本发明的效果。

1)通过对三维点云模型进行几何分割，通过线面特征，提取工件焊缝的特征点，对特征点进行拟合平滑得到焊缝轨迹。对工件点云进行几何分割的方法包括但不限于使用点云处理算法分割和使用交互设备人工分割。所述的人工分割包含但不限于鼠标绘制或选择、触摸式屏幕绘制或选择等。同时，利用特征点的邻域信息，规划焊枪姿势。

2)当存在可使用的三维数字模型时，直接在数字模型中拾取特征，作为焊接轨迹。所述数字三维模型的来源包含但不限于：使用机器人末端的3D相机进行扫描、拼接、点云融合逆向得到；使用三维CAD软件建模；使用既有模型进行变换；按照以下方式优选数字三维模型，在具有原始CAD设计三维模型，并且工件的一致性较好的情况下，选择设计的CAD三维数字模型，否则优选逆向得到的数字三维模型。焊枪姿态的规划同步骤1)。

所述步骤(六)中，将步骤(五)中获得的焊接轨迹转换成机器人控制语言，发送给机器人控制器，通过机器人实施焊接。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种双三维相机的机器人自动化焊接方法，采用双三维相机的机器人自动化焊接系统，包括：机器人、机器人外部安装的第一三维相机、机器人末端安装的第二三维相机和焊接装备、控制机器人运动的控制箱以及系统上位机；其特征在于，包括：

标定焊枪工具坐标系、两个相机坐标系与机器人基坐标系之间的关系；

采用第一三维相机拍摄获取完整工件点云；

根据完整工件点云规划第二三维相机的拍摄点位，形成机器人的拍摄运动轨迹；拍摄点位加上焊接过程中的中间位置构成机器人的拍摄运动轨迹；

采用第二三维相机，根据拍摄运动轨迹，获取当前拍摄点位视野内的工件点云；

根据当前拍摄点位拍摄得到的点云，进行焊缝寻位，规划机器人的焊接轨迹；

采用焊接装备，根据当前拍摄点位视野内的工件点云和焊接轨迹，完成焊接任务；

规划手上相机即第二三维相机的拍摄点位的方法主要包含以下两种：

1)通过对工件点云进行几何分割，根据点云的线面特征确定手上相机的拍摄角度；结合手上相机的工作距离范围，设定手上相机的拍摄位置；

2)当存在工件的三维模型时，使用第三方建模软件在三维模型上设定拍摄点位；将拍摄得到的点云模型与三维模型做配准，将拍摄点位转换到机器人基坐标系下；

焊缝寻位方法主要包含以下两种：

1)通过对三维点云模型进行几何分割，通过线面特征，提取工件焊缝的特征点，对特征点进行拟合平滑得到焊缝轨迹；

2)当存在可使用的三维数字模型时，直接在数字模型中拾取特征，作为焊接轨迹；

所述标定焊枪工具坐标系、两个相机坐标系与机器人基坐标系之间的关系；主要的目的是将整个系统的坐标系统一到多自由度机器人基坐标系下，包含对多自由度机器人基坐标系和焊枪工具坐标系的空间转换关系标定，多自由度机器人基坐标系和手外相机坐标系的空间转换关系标定，以及多自由度机器人基坐标系和手上相机坐标系的空间转换关系标定，三个标定关系无先后关系，具体为：

首先，三维相机本身经过精确的内参标定，且已知相机的内参；

其次，对多自由度机器人基坐标系和焊枪工具坐标系标定：引导机器人带动焊枪末端多次指到一个固定的空间点，改变每一次指点的机器人末端的姿态，不改变末端的位置，经过计算得到焊枪工具坐标系相对于多自由度机器人基座的空间转换关系；

然后，对多自由度机器人基坐标系和手外相机坐标系标定：将标定板固定安装在机器人末端，相机多次拍摄不同机器人位姿下的标定板，记录多自由度机器人每次拍摄时的位置和姿态；定义机器人末端到基座的齐次转换矩阵为，三维相机到标定板坐标系的齐次转换矩阵为；由于机器人末端和标定板的相对位置不变，两次不同的拍摄之间可以表示为：

又因为相机到机器人基座的位置相对不变，即：

，

可得：

通过多次拍摄，求解得到多自由度机器人基坐标系和手外相机坐标系之间的空间转换关系；

最后，对自由度机器人基坐标系和手上相机坐标系标定：标定板固定位置不变，改变机器人的姿态，手上相机对标定板实现多次不同位姿的拍摄；定义三维相机到标定板坐标系的齐次转换矩阵为；由于机器人基座和标定板的相对位置不变，两次不同的拍摄之间可以表示为：

又因为三维相机到机器人末端的相对位置不变，即：

，

有:

通过多次拍摄，求解得到多自由度机器人基坐标系和手外相机坐标系之间的空间转换关系；

最终得到手上相机和机器人基座之间的手眼关系矩阵为：

。

2.根据权利要求1所述的一种双三维相机的机器人自动化焊接方法，其特征在于，所述系统坐标系对齐包括：对机器人基坐标系和焊接装备坐标系的空间转换关系标定、机器人基坐标系和第一三维相机坐标系的空间转换关系标定、以及机器人基坐标系和第二三维相机坐标系的空间转换关系标定。

3.根据权利要求2所述的一种双三维相机的机器人自动化焊接方法，其特征在于，所述机器人基坐标系和焊接装备坐标系的空间转换关系标定包括，引导机器人带动焊接装备多次指到一个固定的空间点，改变每一次指点的机器人末端的姿态，不改变末端的位置，得到焊接装备坐标系相对于机器人基座的空间转换关系。

4.根据权利要求2所述的一种双三维相机的机器人自动化焊接方法，其特征在于，所述机器人基坐标系和第一三维相机坐标系的空间转换关系标定包括，将标定板固定安装在机器人末端，第一三维相机多次拍摄机器人不同位姿下的标定板，记录机器人每次拍摄时的位置和姿态，得到机器人基坐标系和第一三维相机坐标系之间的空间转换关系。

5.根据权利要求2所述的一种双三维相机的机器人自动化焊接方法，其特征在于，所述机器人基坐标系和第二三维相机坐标系的空间转换关系标定包括，标定板固定位置不变，改变机器人的姿态，第二三维相机对标定板实现多次不同位姿的拍摄，得到多自由度机器人基坐标系和手外相机坐标系之间的空间转换关系。

6.根据权利要求1所述的一种双三维相机的机器人自动化焊接方法，其特征在于，所述规划第二三维相机的拍摄点位具体包括：

通过对完整工件点云进行几何分割，根据点云的线面特征确定第二三维相机的拍摄角度，结合第二三维相机的工作距离范围，设定第二三维相机的拍摄位置；

或者，

当存在工件的三维模型时，使用第三方建模软件在三维模型上设定拍摄点位，将拍摄得到的点云模型与三维模型做配准，得到拍摄点，并将拍摄点位转换到机器人基坐标系下。

7.根据权利要求1所述的一种双三维相机的机器人自动化焊接方法，其特征在于，所述焊接轨迹通过焊缝寻位方法生成。

8.根据权利要求1所述的一种双三维相机的机器人自动化焊接方法，其特征在于，所述焊缝寻位方法包括，通过对三维点云模型进行几何分割，通过线面特征，提取工件焊缝的特征点，对特征点进行拟合平滑得到焊缝轨迹。

9.根据权利要求1所述的一种双三维相机的机器人自动化焊接方法，其特征在于，所述焊缝寻位方法包括，当存在三维数字模型时，直接在数字模型中拾取特征，作为焊接轨迹。

10.根据权利要求9所述的一种双三维相机的机器人自动化焊接方法，其特征在于，所述三维数字模型采用三维CAD软件建模。