CN104827474A

CN104827474A - 学习人的虚拟示教机器人智能编程方法及辅助装置

Info

Publication number: CN104827474A
Application number: CN201510221175.XA
Authority: CN
Inventors: 刘永; 顾伟国; 闫瑾
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2015-05-04
Filing date: 2015-05-04
Publication date: 2015-08-12
Anticipated expiration: 2035-05-04
Also published as: CN104827474B

Abstract

本发明提供一种学习人的虚拟示教机器人智能编程辅助装置，机器人末端设有作业工具，包括：与机器人末端设置的作业工具相同且设有第一特征点的示教工具，依照时间顺序捕获并记录示教工具上特征点运动轨迹、示教工具关节角度信息和作业目标的作业点的相机单元，及生成机器人工作指令的机器人控制器；所述作业工具上设有与示教工具的第一特征点对应的第二特征点。

Description

学习人的虚拟示教机器人智能编程方法及辅助装置

技术领域

本发明涉及一种工业机器人智能编成技术，特别是一种学习人的虚拟示教机器人智能编程方法及辅助装置。

背景技术

随着科学与技术的发展，越来越多的工业机器人在各工业领域中获得了广泛应用，如机器人喷漆，机器人搬运，机器人装配等。现在，在这些领域中，工业机器人可以代替人完成可重复的精确工作，从而保证了产品质量。用机器人代替人进行作业时，必须预先对机器人发出指示，规定机器人应该完成的动作和作业的具体内容。伴随着工业机器人的发展，机器人编程技术也得到发展和完善；机器人编程已成为机器人技术的一个重要部分；机器人的功能除了依靠机器人硬件的支持外，相当一部分依赖机器人语言来完成。

机器人编程有很多方法，按位置分为在线编程和离线编程：

在线编程通过机器人的手控操作盒控制机器人运动，在线示教的过程包括使机器人上安装的工具的末端运动到其操作部位，并记录下在这个位置机器人的坐标，然后机器人沿示教时记录的轨迹自主运动，完成特定的操作任务。示教的精度完全靠示教者的经验目测决定，手把手的示教，无法达到预期效果，而且有可能伤到示教人员，很是危险。

离线编程的精确度较高，编程时可以不用机器人，机器人可以进行其他工作，可通过仿真试验程序，可预先优化操作方案和运行周期时间，可将以前完成的过程或子程序结合到待编程序中去，可以避免伤害到操作人员。与示教再现编程相比较，离线编程系统对操作人员要求较高，需具备专门的机器人知识和程序设计的能力，使用也不太方便，尤其是在对机器人作业任务的描述上不能简单直接。如果能在机器人离线编程的系统中引入示教再现的功能，使得操作人员通过相应的人机接口在计算机屏幕上引导在线示教机器人，产生机器人作业轨迹，进而生成机器人运动程序并可进行仿真与优化，无疑将大大的增强机器人离线编程的可操作性和用户界面的友好性，使得机器人编程更加方便简单，有利于推动机器人技术在实际生产中的应用与推广。

发明内容

本发明的目的在于提供一种学习人的虚拟操作的机器人智能编程方法，具有操作简单、灵活度高及智能化的优点。

一种学习人的虚拟示教机器人智能编程辅助装置，机器人末端设有作业工具，包括示教工具、机器人控制器和机器人控制器。所述示教工具与机器人末端设置的作业工具相同且设有第一特征点；所述相机单元依照时间顺序捕获并记录示教工具上特征点运动轨迹和示教工具关节角度信息的；所述生成机器人工作指令的机器人控制器。所述作业工具上设有与示教工具的第一特征点对应的第二特征点。

采用上述装置实现学习人的虚拟示教机器人智能编程的方法，包括：

示教工具进行虚拟作业，相机单元依照时间顺序对第一特征点的运动轨迹和关节角度进行捕获并生成第一特征点的相机空间二维坐标，

机器人控制器根据第一特征点的相机空间坐标和关节角度获得包含第一特征点的机器人空间三维坐标和关节角度在内的指令程序，

机器人控制器将指令程序输入机器人；

所述机器人控制器依照指令程序中第一特征点的机器人空间三维坐标信息控制作业工具上的第二特征点的运动轨迹。

在示教工具进行虚拟作业之前，先建立机器人空间与相机空间的映射关系，具体方法为：

相机单元捕获三组以上工作中第二特征点图像并获得第二特征点的相机空间二维坐标；

记录机器人关节角度参数，通过机器人前向运动学得到第二特征点的机器人空间三维坐标；

建立机器人空间与相机空间的映射关系

x_{c} = (C_{1}^{2} + C_{2}^{2} - C_{3}^{2} - C_{4}^{2}) p_{x} + 2 (C_{2} C_{3} + C_{1} C_{4}) p_{y} + 2 (C_{2} C_{4} - C_{1} C_{3}) p_{z} + C_{5}

y_{c} = 2 (C_{2} C_{3} - C_{1} C_{4}) p_{x} + (C_{1}^{2} - C_{2}^{2} + C_{3}^{2} - C_{4}^{2}) p_{y} + 2 (C_{3} C_{4} + C_{1} C_{2}) p_{z} + C_{6}

其中，(x_c,y_c)是第二特征点(11)的相机空间二维坐标，(p_x,p_y,p_z)是第二特征点的机器人空间中三维坐标，C＝[C₁,C₂,C₃,C₄,C₅,C₆]是映射关系参数。

本发明与现有技术相比，具有以下优点：(1)原来需要操作人员需要手把手地握着机器人末端进行示教，需要大力才能模拟作业的姿态且不易示教到位，现在无须费力，轻松灵巧；(2)在操作人员与机器人人机交互过程中会有一种“身临其境”的感觉，为用户提供了一种崭新和谐的人机交互作业环境；(3)手持示教装置设备上设置若干个特征点排列能唯一确定姿态，特征点可以是LED，这解决作业环境限制问题。

下面结合说明书附图对本发明做进一步描述。

附图说明

图1是本发明系统构成示意图。

图2是本发明手持虚拟示教工具的结构示意图。

图3是本发明实现焊接车门的示意图。

图4是本发明方法的流程图。

具体实施方式

结合图1和图2，一种学习人的虚拟示教机器人智能编程辅助装置，包括：示教工具2、相机单元3和机器人控制器4。所述示教工具2与机器人末端设置的作业工具1相同且设有第一特征点21；所述相机单元3依照时间顺序捕获并记录示教工具2上特征点运动轨迹和示教工具2关节角度信息；所述机器人控制器4生成机器人工作指令。所述作业工具1上设有与示教工具2的第一特征点21对应的第二特征点11。

结合图1和图2，本发明采用的机器人为六自由度的工业机器人6，其末端设有焊接工具，该焊接工具包括焊接工具上颚12和可活动的焊接工具下颚13。手持示教工具2模拟的是焊接工具上颚12，其形状和尺寸均与焊接工具上颚12相同，但是示教工具2的重量很轻，操作者可以灵活操作且方便姿态调整。

结合图2，示教工具2上有若干个第一特征点21，第一特征点21可以位于模拟焊接工具上颚的后端伸出的特征点安装块上。第一特征点排21列组合应当符合唯一标识示教工具2的姿态。本发明采用L形状排列为例，第一特征点21有三个，且第一个第一特征点与第二个第一特征点之间的连线A垂直于第二个第一特征点与第三个第一特征点之间的连线B，且连线A长度是连线B长度的两倍。示教工具2的前端口模拟焊枪头。

焊接工具上颚12上也设有与三个第一特征点21相对应的三个第二特征点11。所述相应的第一特征点21到示教工具前端模拟焊枪头的距离与机器人末端上焊接工具的相应的第二特征点11到焊接工具上颚12前端焊枪头的距离相等。

如图3所示，相机单元3视野覆盖示教工具2的作业区域，实现对示教工具2的全方位无死角的拍摄。所述相机单元3由两个以上相机31组成，相机之间的距离和相机之间的夹角不必确定。以焊接车门51为例，车门51上有焊点52，示教工具2以作业姿态到达焊接点52位置，车门51上所有焊点52(即作业点)及示教工具2上的特征点21可以被若干相机31中部分相机观察到即可。

结合图4，一种学习人的虚拟示教机器人智能编程方法，包括以下步骤。

步骤1，建立机器人空间与相机空间的映射关系。

相机单元3视野范围覆盖作业区域，采集多组作业区域内机器人末端上的焊接工具的第二特征点11图像，通过图像识别得到特征点在相机空间的坐标，记录对应的机器人关节角度信息，通过机器人前向运动学得到特征点的机器人空间坐标，建立机器人空间与相机空间的映射关系，映射关系如下：

x_{c} = (C_{1}^{2} + C_{2}^{2} - C_{3}^{2} - C_{4}^{2}) p_{x} + 2 (C_{2} C_{3} + C_{1} C_{4}) p_{y} + 2 (C_{2} C_{4} - C_{1} C_{3}) p_{z} + C_{5}

y_{c} = 2 (C_{2} C_{3} - C_{1} C_{4}) p_{x} + (C_{1}^{2} - C_{2}^{2} + C_{3}^{2} - C_{4}^{2}) p_{y} + 2 (C_{3} C_{4} + C_{1} C_{2}) p_{z} + C_{6}

其中，(x_c,y_c)是特征点在相机空间中的二维坐标，(p_x,p_y,p_z)是特征点在机器人空间中的三维坐标，C＝[C₁,C₂,C₃,C₄,C₅,C₆]是映射关系参数。这一过程为映射关系参数的训练步骤，捕获的第二特征点组数越多，映射关系参数C越精确。

步骤2，示教工具2进行虚拟作业。

操作人员手持示教工具2到达机器人作业的焊点52位置，模拟机器人作业姿态并保证示教工具前端口焊枪头于焊点52上，示教工具上的第一特征点21能够被相机单元3中的相机21观察到，操作人员手持示教工具2依次到达不同焊点位置。

步骤3，采集虚拟示教工具信息。

相机单元3中所有相机采集步骤2中示教工具2上的第一特征点21，保存每个作业位置特征点在相机空间中的图像，并生成第一特征点21的相机空间二维坐标。

步骤4，机器人空间下位置坐标计算。

基于步骤1已经建立的机器人空间与相机空间的映射关系，将在相机空间中示教工具2上的第一特征点21的相机空间坐标(通过特征点的图像识别得到)信息转化得到机器人空间的三维坐标信息或者关节角度信息，并记录关节角度信息。

步骤5，自动生成机器人程序。

示教结束后，机器人控制器4将步骤4中记录的关节角度信息顺序保存，生成包含第一特征点21的机器人空间三维坐标和关节角度在内的指令程序机器人程序。

最后，机器人控制器4执行步骤5生成的程序，控制机器人以操作人员示教的位置及姿态，自动化运动至所有作业位置，完成焊接作业任务，作业完成后，机器人回到原始位置，等待操作人员下一次示教，实现机器人智能编程。

Claims

1.一种学习人的虚拟示教机器人智能编程辅助装置，机器人末端设有作业工具(1)，其特征在于，包括：

与机器人末端设置的作业工具(1)相同且设有第一特征点(21)的示教工具(2)，

依照时间顺序捕获并记录示教工具(2)上特征点运动轨迹、示教工具(2)关节角度信息和作业目标作业点的相机单元(3)，及

生成机器人工作指令的机器人控制器(4)；

所述作业工具(1)上设有与示教工具(2)第一特征点(21)对应的第二特征点(11)。

2.根据权利要求1所述的学习人的虚拟示教机器人智能编程辅助装置，第一特征点(22)包括两个以上的特征点，特征点之间排列满足唯一标识示教工具(2)的姿态。

3.根据权利要求2所述的学习人的虚拟示教机器人智能编程辅助装置，第一特征点(22)有三个，且第一个第一特征点与第二个第一特征点之间的连线A垂直于第二个第一特征点与第三个第一特征点之间的连线B，且连线A长度是连线B长度的两倍。

4.根据权利要求2或3所述的学习人的虚拟示教机器人智能编程辅助装置，第一特征点(22)和第二特征点(11)中的特征点为LED、黑点或白点。

5.一种采用上述任意一项权利要求所述的辅助装置的学习人的虚拟示教机器人智能编程方法，其特征在于，包括：

示教工具(2)进行虚拟作业，相机单元(3)依照时间顺序对第一特征点(21)的运动轨迹、关节角度和作业目标的作业点进行捕获并生成第一特征点(21)的相机空间二维坐标，

机器人控制器(01)根据第一特征点(21)的相机空间坐标、关节角度和作业目标的作业点获得包含第一特征点(21)的机器人空间三维坐标和关节角度在内的指令程序，

机器人控制器(4)将指令程序输入机器人；

所述机器人控制器(4)依照指令程序中第一特征点(21)的机器人空间三维坐标信息控制作业工具(1)上的第二特征点(11)的运动轨迹。

6.根据权利要求5所述的学习人的虚拟示教机器人智能编程方法，其特征在于，在示教工具(2)进行虚拟作业之前，先建立机器人空间与相机空间的映射关系，具体方法为：

相机单元(3)捕获三组以上工作中第二特征点(11)图像并获得第二特征点(11)的相机空间二维坐标；

记录机器人关节角度参数，通过机器人前向运动学得到第二特征点(11)的机器人空间三维坐标；

建立机器人空间与相机空间的映射关系

x_{c} = (C_{1}^{2} + C_{2}^{2} - C_{3}^{2} - C_{4}^{2}) p_{x} + 2 (C_{2} C_{3} + C_{1} C_{4}) p_{y} + 2 (C_{2} C_{4} - C_{1} C_{3}) p_{z} + C_{5}

y_{c} = 2 (C_{2} C_{3} - C_{1} C_{4}) p_{x} + (C_{1}^{2} - C_{2}^{2} + C_{3}^{2} - C_{4}^{2}) p_{y} + 2 (C_{3} C_{4} + C_{1} C_{2}) p_{z} + C_{6}

其中，(x_c,y_c)是第二特征点(11)的相机空间二维坐标，(p_x,p_y,p_z)是第二特征点(11)的机器人空间中三维坐标，C＝[C₁,C₂,C₃,C₄,C₅,C₆]是映射关系参数。