CN111843997A - 一种机械臂手持通用示教系统及其操作方法 - Google Patents

Abstract

本发明公开了一种机械臂手持通用示教系统及其操作方法，系统包括手持交互示教器、深度相机Kinect、ROS上位机和机械臂。手持交互示教器与用户直接交互可以识别自身姿态并进行手动控制。深度相机Kinect可以识别用户两手腕的空间位置。手持交互示教器与深度相机Kinect采集的数据经过ROS上位机的数据处理模块进行分析处理，并在机械臂控制模块中进行运动学分析与路径规划。ROS上位机与机械臂通过以太网连接，ROS上位机的计算结果经机械臂控制器驱动机械臂本体按照规划好的路径运动。用户通过手持交互示教器与深度相机Kinect对机械臂进行无线示教，使机械臂末端快速进入相应示教点，可控制多种基于机器人操作系统ROS的机器人，示教方法及过程简单，具有广阔的应用前景。

Description

一种机械臂手持通用示教系统及其操作方法

技术领域

本发明主要涉及一种机械臂手持通用示教系统及其操作方法，属机器人技术与应用领域。可解决现有技术在机械臂示教时，示教过程复杂、通用性差的问题。

技术背景

近几年机器人技术发展迅速，越来越多的机器人被投入到生产应用中，用工业机器人代替人工生产已经成为未来制造业的一种发展趋势。机器人示教器作为人与工业机器人交互的核心设备，被广泛地应用于各行各业。

传统的机器人示教器将编程功能集成到示教器上,虽然方便在线编程,但是也增加了示教器的体积和重量。用户需要两只手同时工作，人机交互不自然，对用户的要求高，通用性差。此外，传统的机器人示教器只能通过摇杆、按键和触摸屏进行指令输入，难以调节三维的空间位姿，示教过程繁琐、费时，占用大量时间。将自然、高效的人机交互技术引入到示教工作中，具有重要研究价值。

如中国发明专利CN110193816A所公开的工业机器人示教方法、手柄及系统，其根据惯性测量单元和三个拉线式传感器分别确定手柄的姿态与位置，进而生成工业机器人末端执行器的运动轨迹。但是工业惯性测量单元价格昂贵，示教成本高。三个拉线式传感器在示教过程中必须从不同方向与手柄外壳底端直接相连，受线的限制，操作麻烦。如CN110125944A所公开的一种机械臂示教系统和方法,若干个红外摄像机组成视觉运动捕捉模块，通过捕捉示教装置上的标记点确定示教装置的位置与姿态，该方法设备昂贵且功能单一。

发明内容

针对现有技术的不足和缺陷，本发明的目的是提供一种机械臂的手持通用示教系统及其操作方法。该示教系统能够快速调整机械臂的位置与姿态，并进行记录。用户无需具备专业的操作技能,就能快速地操作机器臂。

为了实现上述方面目的，本发明采用如下技术方案：

一种机械臂手持通用示教系统，包括手持交互示教器、深度相机Kinect、ROS上位机和机械臂，所述手持交互示教器与用户直接交互可识别自身姿态并进行手动控制；所述深度相机Kinect可识别用户两手腕的空间位置；所述手持交互示教器与所述深度相机Kinect采集的数据经过所述ROS上位机进行分析，完成所述机械臂的运动学分析与路径规划；所述ROS上位机与所述机械臂通过以太网连接，所述ROS上位机的计算结果控制机械臂按照规划好的路径运动；用户通过所述手持交互示教器与所述深度相机Kinect分别控制机械臂的姿态和位移，使机械臂末端快速进入相应示教点。

优选地，所述手持交互示教器包括一个主控制器和与其相连的手动操控模块，所述手动操控模块包括位姿控制单元、姿态跟踪键、位置捕获键、数据记录键、姿态校准键。优选地，所述位姿控制单元可手动改变机械臂末端执行器位置与姿态；所述姿态跟踪键可激活和失能姿态控制模块；所述位置捕获键，可以使能和失能深度相机Kinect对机械臂位置的控制。所述数据记录键在ROS上位机记录当前机械臂的状态。所述姿态校准键可在线校准姿态控制模块各传感器。

优选地，所述手持交互示教器还包括与主控制器相连的OLED显示屏和蓝牙通信模块；所述OLED显示屏显示所述手持交互示教器上传的机械臂控制信息、操作指令及所述ROS上位机反馈回的机械臂状态；所述蓝牙通信模块实现所述手持交互示教器与所述ROS上位机的相互无线通信。

优选地，所述ROS上位机是基于Linux的开源机器人操作系统ROS设计的，具备很好的通用性；所述手持交互示教器和所述深度相机Kinect可控制多种基于机器人操作系统ROS的机器人，通用性好。

优选地，所述ROS上位机由机械臂控制模块、机械臂仿真模块、数据接收处理模块、显示终端和数据存储模块构成；在缺少机器人的情况下，通过所述机械臂仿真模块进行机械臂仿真并在所述显示终端显示，仿真时存储所述机械臂运行数据，用于实际机械臂的示教再现。

优选地，所述手持交互示教器的姿态控制模块中有加速度计、陀螺仪、磁力计共同应用于姿态识别，识别的数据在所述主控制器中进行融合并转化为机械臂的控制姿态。

优选地，所述手持交互示教器被设置成棍棒状形状，这与机械臂末端执行器相似，增加了用户的示教沉浸感，可单手手持。

一种机械臂手持通用示教系统的操作方法，采用本发明机械臂手持通用示教系统进行操作，其特征在于操作步骤为：

(1)搭建机械臂手持通用示教系统，完成手持通用示教系统各部分的连接，通过所述姿态校准键，进行所述姿态控制模块各传感器的在线校准；所述手持交互示教器向所述ROS上位机发送开始信号，示教系统开始工作；

(2)用户手持所述手持交互示教器到示教点期望姿态，机械臂自动调整姿态与所述手持交互示教器同步，按下所述姿态跟踪键，锁定当前机械臂姿态；

(3)用户观察当前机械臂位置与示教点位置的关系，并通过两手腕进行描述；长按所述位置捕获键，所述深度相机Kinect将两手腕相对位置信息补偿到所述手持交互示教器上传的位置信息中，机械臂运动到指定示教点附近；

(4)松开位置捕获按键，用当前机械臂的位置信息更新所述手持交互示教器的位置控制信息；通过所述手持交互示教器的位姿控制单元，微调当前机械臂的位姿，并通过所述数据记录键，记录调整好的机械臂状态；

(5)再次按下所述姿态跟踪键，解除机械臂姿态的锁定，依次完成各示教点。

本发明与现有技术相比较，具有显而易见的突出实质性特点和显著的技术进步：

1.在本发明所述的一种机械臂手持通用示教系统中，用户通过所述深度相机Kinect控制机械臂的移动，通过所述手持交互示教器的姿态控制模块控制机械臂的姿态，通过所述手持交互示教器的手动操控模块，进行手动控制，机械臂的控制信息在所述ROS上位机进行仿真、存储、运动规划，通用性强；

2.本发明解决了现有技术中机械臂示教系统成本高、操作困难且人机交互不自然的技术问题，提供了一种低成本、安全高效、无线控制的机械臂手持通用示教系统。

附图说明

图1是本发明手持通用示教系统的示意图。

图2是本发明手持通用示教系统的控制原理框图。

图3是本发明中机械臂示教方法的一具体实施例流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，下面结合附图详细说明本发明的优选实施例。

实施例一：

参见图1和图2，本机械臂手持通用示教系统，其特征在于，该系统包括手持交互示教器1、深度相机Kinect2、ROS上位机3和机械臂4，所述手持交互示教器1与用户直接交互可识别自身姿态并进行手动控制；所述深度相机Kinect2可识别用户两手腕的空间位置；所述手持交互示教器1与所述深度相机Kinect2采集的数据经过所述ROS上位机3进行分析，完成所述机械臂4的运动学分析与路径规划；所述ROS上位机3与所述机械臂4通过以太网连接，所述ROS上位机3的计算结果控制机械臂4按照规划好的路径运动；用户通过所述手持交互示教器1与所述深度相机Kinect2分别控制机械臂4的姿态和位移，使机械臂4末端快速进入相应示教点。

实施例二：

本实施例与实施例一基本相同，特别之处如下：

所述手持交互示教器1包括一个主控制器1-4和与其相连的手动操控模块1-6，所述手动操控模块1-6包括位姿控制单元1-6-1、姿态跟踪键1-6-2、位置捕获键1-6-3、数据记录键1-6-4、姿态校准键1-6-5。

所述手持交互示教器1还包括与主控制器1-4相连的OLED显示屏1-3和蓝牙通信模块1-5；所述OLED显示屏1-3显示所述手持交互示教器1上传的机械臂控制信息、操作指令及所述ROS上位机3反馈回的机械臂状态；所述蓝牙通信模块1-5实现所述手持交互示教器1与所述ROS上位机3的相互无线通信。

所述ROS上位机3是基于Linux的开源机器人操作系统ROS设计的，具备很好的通用性；所述手持交互示教器1和所述深度相机Kinect2可控制多种基于机器人操作系统ROS的机器人，通用性好。

所述ROS上位机3由机械臂控制模块3-1连接机械臂仿真模块3-2、数据存储模块3-3、显示终端3-4和数据存储模块3-5构成。在缺少机器人的情况下，可在所述显示终端进行机械臂仿真，仿真时存储所述机械臂运行数据，用于实际机械臂的示教再现。

所述手持交互示教器1的姿态控制模块1-1中有加速度计1-1-2、陀螺仪1-1-1、磁力计1-1-3共同应用于姿态识别，识别的数据在所述主控制器1-4中进行融合并转化为机械臂的控制姿态。

所述手持交互示教器1被设置成棍棒状形状，这与机械臂末端执行器相似，增加了用户的示教沉浸感，可以单手手持。

实施例三：

参见图3，本机械臂手持通用示教系统的操作方法，采用上述系统进行操作，其特征在于操作步骤为：

(1)搭建机械臂手持通用示教系统，完成手持通用示教系统各部分的连接，通过所述姿态校准键，进行所述姿态控制模块各传感器的在线校准；所述手持交互示教器向所述ROS上位机发送开始信号，示教系统开始工作；

(2)用户手持所述手持交互示教器到示教点期望姿态，机械臂自动调整姿态与所述手持交互示教器同步，按下所述姿态跟踪键，锁定当前机械臂姿态；

(3)用户观察当前机械臂位置与示教点位置的关系，并通过两手腕进行描述；长按所述位置捕获键，所述深度相机Kinect将两手腕相对位置信息补偿到所述手持交互示教器上传的位置信息中，机械臂运动到指定示教点附近；

(4)松开位置捕获按键，用当前机械臂的位置信息更新所述手持交互示教器的位置控制信息；通过所述手持交互示教器的位姿控制单元，微调当前机械臂的位姿，并通过所述数据记录键，记录调整好的机械臂状态；

(5)再次按下所述姿态跟踪键，解除机械臂姿态的锁定，依次完成各示教点。

实施例四：

图1是本发明手持通用示教系统的示意图：本发明依次由手持交互示教器、ROS上位机、深度相机Kinect和机械臂组成，各部分构成如下：

(1)手持交互示教器

所述手持交互示教器由姿态控制模块、OLED显示屏、主控制器、蓝牙通信模块、手动操控模块、急停开关1-2组成,其形状被设置为棍棒状，便于单手手持。手持交互示教器通过蓝牙通信模块与ROS上位机通信。所述姿态控制模块包括陀螺仪、加速度计、磁力计，三者测得的姿态数据在主控制器中进行融合。用户通过手动操控模块可以设置手持交互示教器上传的机械臂控制信息及操作指令。手动操控模块包括位姿控制单元、姿态跟踪键、位置捕获键、数据记录键、姿态校准键。位姿控制单元可以手动改变机械臂末端执行器位置与姿态，姿态跟踪键可以激活和失能姿态控制模块；位置捕获键，可以使能和失能Kinect对机械臂位置的控制。数据记录键在ROS上位机记录当前机械臂的状态。姿态校准键可以在线校准姿态控制模块各传感器。OLED显示屏显示机械臂的控制信息、操作指令和反馈回的机械臂状态。

(2)深度相机Kinect

所述深度相机Kinect与所述ROS上位机直接通过有线进行连接，深度相机运行于ROS上位机，可以实时提取人体骨骼的坐标，通过对比用户两手腕坐标，得到相对位移。使用深度相机Kinect时，用户必须在深度相机Kinect的检测范围之内。

(3)ROS上位机

所述ROS上位机运行于Linux的开源机器人操作系统ROS，包括数据接收与处理模块、机械臂控制模块、机械臂仿真模块、数据存储模块和显示终端。所述手持交互示教器上传的数据和深度相机Kinect采集的数据在所述数据接收与处理模块中进行处理，并在机械臂控制模块中进行运动学分析及规划。所述数据存储模块可以存储机械臂的控制信息，在缺少机器人的情况下，可以在显示终端进行机械臂仿真，仿真时存储机械臂运行数据，用于实际机器人的示教再现。

(4)机械臂

所述机械臂包括机械臂控制器4-1和机械臂本体4-2。机械臂控制器与ROS上位机通过以太网进行连接，ROS上位机规划的机械臂控制信息经机械臂控制器驱动机械臂本体快速进入示教点。所述机械臂必须支持机器人操作系统ROS。不同的机械臂，所述ROS上位机的机械臂控制模块不同。

示教过程中，用户将手持交互示教通过蓝牙与ROS上位机相连，深度相机Kinect通过USB与ROS上位机相连，ROS上位机与机械臂通过以太网连接后，用户即可运行机器人操作系统。

如图2是本发明手持通用示教系统的控制原理框图。ROS上位机接收到来自用户的开始命令后，进入工作状态，接收一帧来自手持交互示教器的机械臂控制信息及操作指令，根据位置捕获键的操作指令处理深度相机Kinect采集的两手腕位置信息，分析完的数据在机器人控制模块进行运动学分析和运动规划。规划完的机械臂控制信息通过以太网传给机器人控制器从而驱动机器人，同时ROS上位机向手持交互示教器反馈机器人的状态并再次申请数据。手持交互示教器根据反馈的机械臂状态更新自身数据，并再次发送机械臂控制信息及操作指令。

如图3是本发明中机械臂示教方法的一具体实施例流程图。包括如下步骤：

(1)搭建机械臂手持通用示教系统。完成手持通用示教系统各部分的连接，通过姿态校准键，进行姿态控制模块各传感器的在线校准。手持交互示教器向ROS上位机发送开始信号，示教系统开始工作。

(2)用户手持所述手持交互示教器到示教点期望姿态，机械臂自动调整姿态与手持交互示教器同步，按下姿态跟踪键，锁定当前机械臂姿态。

(3)用户观察当前机械臂位置与期望位置的关系，并通过两手腕进行描述。长按位置捕获键，所述深度相机Kinect捕获到的两手腕相对位置信息在ROS上位机中补偿到手持交互示教器上传的位置信息中，机械臂运动到指定示教点附近。

(4)松开位置捕获按键，用当前机械臂的位置信息更新所述手持交互示教器的位置控制信息。通过手持交互示教器的位姿控制单元，微调当前机械臂的位姿，并通过数据记录键，记录调整好的机械臂状态。

(5)再次按下姿态跟踪键，解除机械臂姿态的锁定，依次完成各示教点。

从以上描述中可以看出,本发明实现了以下技术效果，利用姿态控制模块和深度相机Kinect实现对手持交互示教器的姿态和用户两手腕位置的捕捉，用户不需要太多的操作，降低了操作难度。根据ROS上位机不同的机械臂控制模块，手持交互示教器与深度相机Kinect所采集到的数据可以控制多种基于ROS的机械臂，通用性强。

综合上述实施例可知，本发明机械臂手持通用示教系统包括手持交互示教器、深度相机Kinect、ROS上位机和机械臂。手持交互示教器与用户直接交互可以识别自身姿态并进行手动控制。深度相机Kinect可以识别用户两手腕的空间位置。手持交互示教器与深度相机Kinect采集的数据经过ROS上位机的数据处理模块进行分析处理，并在机械臂控制模块中进行运动学分析与路径规划。ROS上位机与机械臂通过以太网连接，ROS上位机的计算结果经机械臂控制器驱动机械臂本体按照规划好的路径运动。用户通过手持交互示教器与深度相机Kinect对机械臂进行无线示教，使机械臂末端快速进入相应示教点，可以控制多种基于机器人操作系统ROS的机器人，示教方法及过程简单，具有广阔的应用前景。

本发明实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的类似的其它实施方式,同样属于本发明的保护范围。

Claims (8)

1.一种机械臂手持通用示教系统，其特征在于：包括手持交互示教器(1)、深度相机Kinect(2)、ROS上位机(3)和机械臂(4)，所述手持交互示教器(1)与用户直接交互可识别自身姿态并进行手动控制；所述深度相机Kinect(2)可识别用户两手腕的空间位置；所述手持交互示教器(1)与所述深度相机Kinect(2)采集的数据经过所述ROS上位机(3)进行分析，完成所述机械臂(4)的运动学分析与路径规划；所述ROS上位机(3)与所述机械臂(4)通过以太网连接，所述ROS上位机(3)的计算结果控制机械臂(4)按照规划好的路径运动；用户通过所述手持交互示教器(1)与所述深度相机Kinect(2)分别控制机械臂(4)的姿态和位移，使机械臂(4)末端快速进入相应示教点。

2.根据权利要求1所述机械臂手持通用示教系统，其特征在于：所述手持交互示教器(1)包括一个主控制器(1-4)和与其相连的手动操控模块(1-6)，所述手动操控模块(1-6)包括位姿控制单元(1-6-1)、姿态跟踪键(1-6-2)、位置捕获键(1-6-3)、数据记录键(1-6-4)、姿态校准键(1-6-5)。

3.根据权利要求2所述机械臂手持通用示教系统，其特征在于：所述手持交互示教器(1)还包括与主控制器(1-4)相连的OLED显示屏(1-3)和蓝牙通信模块(1-5)；所述OLED显示屏(1-3)显示所述手持交互示教器(1)上传的机械臂控制信息、操作指令及所述ROS上位机(3)反馈回的机械臂状态；所述蓝牙通信模块(1-5)实现所述手持交互示教器(1)与所述ROS上位机(3)的相互无线通信。

4.根据权利要求1所述机械臂手持通用示教系统，其特征在于：所述ROS上位机(3)是基于Linux的开源机器人操作系统ROS设计的，具备很好的通用性；所述手持交互示教器(1)和所述深度相机Kinect(2)可控制多种基于机器人操作系统ROS的机器人，通用性好。

5.根据权利要求4所述机械臂手持通用示教系统，其特征在于，所述ROS上位机(3)由机械臂控制模块(3-1)、机械臂仿真模块(3-2)、数据接收处理模块(3-3)、显示终端(3-4)和数据存储模块(3-5)构成；在缺少机器人的情况下，通过所述机械臂仿真模块(3-2)进行机械臂仿真并在所述显示终端(3-4)显示，仿真时存储所述机械臂运行数据，用于实际机械臂的示教再现。

6.根据权利要求1所述机械臂手持通用示教系统，其特征在于，所述手持交互示教器(1)的姿态控制模块(1-1)中有加速度计(1-1-2)、陀螺仪(1-1-1)、磁力计(1-1-3)共同应用于姿态识别，识别的数据在所述主控制器(1-4)中进行融合并转化为机械臂的控制姿态。

7.根据权利要求5所述机械臂手持示教系统，其特征在于：所述手持交互示教器(1)被设置成棍棒状形状，这与机械臂末端执行器相似，增加了用户的示教沉浸感，可单手手持。

8.一种机械臂手持通用示教系统的操作方法，采用根据权利要求1所述机械臂手持通用示教系统进行操作，其特征在于操作步骤为：

(1)搭建机械臂手持通用示教系统，完成手持通用示教系统各部分的连接，通过所述姿态校准键(1-6-5)，进行所述姿态控制模块(1-1)的在线校准；所述手持交互示教器向所述ROS上位机发送开始信号，示教系统开始工作；

(2)用户手持所述手持交互示教器到示教点期望姿态，机械臂自动调整姿态与所述手持交互示教器同步，按下所述姿态跟踪键(1-6-2)，锁定当前机械臂姿态；

(3)用户观察当前机械臂位置与示教点位置的关系，并通过两手腕进行描述；长按所述位置捕获键(1-6-3)，所述深度相机Kinect将两手腕相对位置信息补偿到所述手持交互示教器上传的位置信息中，机械臂运动到指定示教点附近；

(4)松开位置捕获按键(1-6-3)，用当前机械臂的位置信息更新所述手持交互示教器的位置控制信息；通过所述手持交互示教器的位姿控制单元(1-1-1)，微调当前机械臂的位姿，并通过所述数据记录键(1-6-4)，记录调整好的机械臂状态；

(5)再次按下所述姿态跟踪键(1-6-2)，解除机械臂姿态的锁定，依次完成各示教点。

Images