CN116197911B - 一种机械臂随机抓取方法 - Google Patents

Abstract

本发明提供一种机械臂随机抓取方法，通过检测场景中变动的目标物体，只估计变动目标物体的位姿来大大降低抓取系统的节拍时间。通过跟踪和建立目标数据库，每次抓取后更新全局目标物体位姿，对后续运动估计模块性能无影响，可以选择全局最优的目标物体进行抓取。通过设计的一种新的变化区域目标检测方法，可以只检测发生变化的物体，鲁棒性高，排除光照环境、微小抖动和背景变化带来的干扰。本发明检测场景中变动的目标物体，只估计变动目标物体的位姿，抓取效率高，节拍时间缩短。并非进行像素级差值运算，而是使用一个新的变化区域目标检测方法直接输出变化的目标物体，变动目标物体检测精确，鲁棒性高。

Description

一种机械臂随机抓取方法

技术领域

本发明涉及机器视觉与运动控制技术。

背景技术

在生产制造的机械化自动化里面最为核心的组件是机械臂，它是替代人力资源的最重要组成部分。往往机械臂需要解决的一类重要问题，也就是在视觉引导下对各种材料物料完成抓取和操控。简单来说就是模拟工人的眼睛和手臂，协作完成对物料的上料和摆放。此类问题目前是机器视觉和机器人领域的热点，它包含了3D图像分割，3D物体识别，6D姿态估计，运动规划，机械臂控制等多个复杂课题。

在现有方案中，第一步首先通过传感器采集2D或者3D深度图像，之后送入估计模块估计每个目标物体的空间位姿，有了不同的位姿后续的算法模块会根据预先定义的抓取点选取一个较为容易的抓取点。后续的运动规划算法根据确定的抓取点计算一条最优的运动轨迹最终控制机器人完成对目标物体的抓取并且移动到指定位置。整体抓取完成后又回到第一步进行下一轮抓取。按照传感器和机械臂相对位置关系，系统分为两种部署模式：

1)固定视角(eye-to-hand)部署：在这种模式下，传感器在整个系统中处于一个固定位置，当目标区域暴漏在传感器视场下时完成场景数据的采集。

2)臂上视角(eye-in-hand)部署：在这种模式下，传感器位于机械臂之上，当机械臂移动到目标区域之上时完成场景数据的采集。

无论哪种部署方案，一个抓取系统最重要的性能指标是节拍时间，也就是每次抓取零件后放到指定位置的时间间隔。为了优化节拍时间，传统方案往往采取以下措施：

1)异步数据捕获：当机械臂抓取目标物之后，从目标区域移开无遮挡之后传感器立即开始数据采集。

2)限制最大物体检测数量：系统限制被检测物体的个数，以便缩短整个场景的总检测时间。

3)检测变化区域：使用像素差值检测变化区域，对变化区域中的物体重新进行检测。

虽然目前的节拍时间优化方法的在一定程度上缩短了节拍时间，但是也带来了诸多缺点和局限性，如下：

1)使用异步数据捕获的方式虽然可以加快节拍时间，但是还是避免不了其线性流程的约束。也就是只有当传感器捕获完场景并且完成目标物体的位姿估计之后，才能开始抓取。而在实际场景中，往往存在大量的目标物体，姿态估计模块此时就会变成整个抓取系统的性能瓶颈，导致节拍时间按目标物体的个数呈线性增长。

2)为了缓解大量目标物体带来的节拍时间增长，需要限制最大物体检测数量。但是这么做会带来另一个问题：由于位姿估计模块没有估计出场景中所有目标物体的位姿，那么后续运动规划就无法得到全局最优的抓取目标和最优路径规划方案，而仅仅能在有限的目标中选择一个局部最优解。

3)采用像素差值算法检测变化区域鲁棒性低，对环境光照，抖动敏感，无法区分实际物体变化还是背景变化。会出现漏检或者重复计算的问题。

发明内容

本发明所要解决的技术问题是，提供一种更高效的机械臂随机抓取方法。

本发明为解决上述技术问题所采用的技术方案是，一种机械臂随机抓取方法，包括以下步骤：

1)系统上电后完成对所有外设和参数的初始化，清空目标数据库；

2)传感器模块开始对场景进行2D或者3D成像，将场景数据送入检测跟踪模块；

3)检测跟踪模块根据场景数据结合目标数据库中已存在的结果，通过综合判断，检测出场景中上一次夹取后产生变化的目标物体区域，并将目标物体区域输出至位姿估计模块；输入的初始帧场景数据中，检测出的所有目标物体都是产生变化的目标物体；

4)位姿估计模块根据检测跟踪模块输入的产生变化的目标物体区域，对产生变化的识别变化区域进行目标位姿识别，将变化的目标位姿识别结果更新到目标数据库中，目标数据库中存储有当前场景中所有的待抓取目标物体的位姿识别结果；目标数据库中保存了所有位姿变化了的以及没有变化的物体的全局信息，后续模块可以根据全局信息选择一个最优解；

5)运动规划模块从目标数据库中检索出所有的待抓取目标物体的位姿，再根据预设规则确定一个最优的夹取目标和夹取点，从而计算完成夹取所用的运动轨迹和操作指令得到运动轨迹和操作指令清单；

6)机械臂控制模块根据运动轨迹和操作指令清单对机械臂进行控制，完成对目标物体的抓取和放置；

7)完成目标物体的抓取后，校验更新模块通过对场景进行校验来判断抓取是否成功，如果成功则更新目标数据库中删除已抓取目标物体，如否，则保持目标数据库中的信息不变；

8)系统判断是否完成对场景中所有目标物体的夹取，如否则返回步骤2)。

本发明通过检测场景中变动的目标物体，只估计变动目标物体的位姿来大大降低抓取系统的节拍时间。通过跟踪和建立目标数据库，每次抓取后更新全局目标物体位姿，对后续运动估计模块性能无影响，可以选择全局最优的目标物体进行抓取。通过设计的一种新的变化区域目标检测方法，可以只检测发生变化的物体，鲁棒性高，排除光照环境、微小抖动和背景变化带来的干扰。

本发明的有益效果是，检测场景中变动的目标物体，只估计变动目标物体的位姿，抓取效率高，节拍时间缩短。并非进行像素级差值运算，而是使用一个新的变化区域目标检测方法直接输出变化的目标物体，变动目标物体检测精确，鲁棒性高。

附图说明

图1为实施例方法流程图。

图2为检测跟踪模块工作示意框图。

图3为变化区域目标检测网络示意图。

图4为变化区域推荐网络。

具体实施方式

实施例抓取系统包括传感器模块、检测跟踪模块、目标数据库、位姿估计模块、运动规划模块、机械臂控制模块和校验更新模块。

在抓取时的实施流程如图1所示：

1)系统上电后完成对所有外设和参数的初始化，清空目标数据库；

2)传感器模块开始对场景进行2D或者3D成像，将场景数据送入检测跟踪模块；

3)检测跟踪模块根据场景数据结合目标数据库中已存在的结果，通过综合判断，检测出场景中上一次夹取后产生变化的目标物体区域，并将目标物体区域输出至位姿估计模；输入的初始帧场景数据中，检测出的所有目标物体都是产生变化的目标物体；

4)位姿估计模块根据检测跟踪模块输入的产生变化的目标物体区域，对产生变化的识别变化区域进行目标位姿识别，将变化的目标位姿识别结果更新到目标数据库中，目标数据库中存储有当前场景中所有的待抓取目标物体的位姿识别结果；目标数据库中保存了所有位姿变化了的以及没有变化的物体的全局信息，后续模块可以根据全局信息选择一个最优解；

5)运动规划模块从目标数据库中检索出所有的待抓取目标物体的位姿，再根据预设规则确定一个最优的夹取目标和夹取点，从而计算完成夹取所用的运动轨迹和操作指令得到运动轨迹和操作指令清单；

6)机械臂控制模块根据运动轨迹和操作指令清单对机械臂进行控制，完成对目标物体的抓取和放置；

7)完成目标物体的抓取后，校验更新模块通过对场景进行校验来判断抓取是否成功，如果成功则更新目标数据库中删除已抓取目标物体，如否，则保持目标数据库中的信息不变；

8)系统判断是否完成对场景中所有目标物体的夹取，如否则返回步骤2)。

整个系统的核心在于检测和跟踪模块的设计，该模块核心为一个新的变化区域目标检测网络，用于将场景中每次位姿发生变化的目标物体识别出来，这样后续位姿估计模块只需要处理场景中发生变化的目标物体，从而加速整体系统的节拍时间。

检测跟踪模块包括数据预处理模块、变化区域目标检测网络、目标跟踪算法处理模块；工作流程如图2所示：

1)数据预处理模块将当前场景数据S和历史场景数据S′进行融合送入变化区域目标检测网络；历史场景数据即为数据预处理模块之前接收到的场景数据；

2)变化区域目标检测网络检测发生变化的目标物体，并且输出发生变化的目标清单O至目标跟踪算法处理模块；发生变化的目标清单即使用该目标的边界盒表示；

3)目标跟踪算法处理模块比对目标数据库中的记录E和发生变化的目标清单O，排除掉目标清单O中的微小扰动的物体后，得到变化目标边界集合O′，将变化目标边界集合O′输出至位姿估计模块；

4)位姿估计模块根据变化目标边界集合O′估计变化目标物体的位姿后，更新目标数据库中的位姿记录。

其中，变化区域目标检测网络包括卷积神经网络CNN、兴趣区域池化层ROIPooling、变化区域推荐网络和预测头，其工作流程如图3所示：

1)数据预处理模块将w×h×c的当前场景数据S和w×h×c历史场景通过场景数据S′融合模块进行数据融合后输入变化区域目标检测网络，融合后的数据维度为w×h×2c；

2)融合后的数据经过变化区域目标检测网络的一个卷积神经网络CNN完成特征向量提取，形成特征图feature map；

3)变化区域推荐网络根据特征图预测发生变化物体的位置和大小；

4)兴趣区域池化层对原始特征向量图进行池化操作并输出对应的特征向量；

5)最终由多个全连接层构成的预测头将特征向量回归为变化物体边界盒即发生变化的目标清单O的预测。

变化区域推荐网络包括卷积神经网络CNN、锚框生成模块、预测模块、非极大值抑制处理模块；其工作流程如图4所示：

1)变化区域推荐网络中的卷积神经网络CNN根据全局特征图的输入，输出一个MN维的特征图，用于预测每一个方格所代表的感受野内是否存在物体变化；例如实际变化物体的区域为图4中的灰度区域，那么预测向量中发生变化部分的值保持不变，即图中值为x的方格，否则输出为零；

2)锚框生成模块收到输入的特征图后，按照预先定义的不同比例和大小生成锚框；

3)预测模块对所有生成的锚框区域进行二分类预测和边界框预测，确定锚框内是否存在目标物体来确定目标物体的边界框；

4)非极大值抑制处理模块对有所预测的目标物体的边界框进行非极大值抑制得到最终结果，从而输出预测发生变化物体的位置和大小。

Claims (4)

1.一种机械臂随机抓取方法，其特征在于，包括以下步骤：

1)系统上电后完成对所有外设和参数的初始化，清空目标数据库；

2)传感器模块开始对场景进行2D或者3D成像，将场景数据送入检测跟踪模块；

3)检测跟踪模块根据场景数据结合目标数据库中已存在的结果，通过综合判断，检测出场景中上一次夹取后产生变化的目标物体区域，并将目标物体区域输出至位姿估计模块；输入的初始帧场景数据中，检测出的所有目标物体都是产生变化的目标物体；

4)位姿估计模块根据检测跟踪模块输入的产生变化的目标物体区域，对产生变化的识别变化区域进行目标位姿识别，将变化的目标位姿识别结果更新到目标数据库中，目标数据库中存储有当前场景中所有的待抓取目标物体的位姿识别结果；目标数据库中保存了所有位姿变化了的以及没有变化的物体的全局信息，后续模块可以根据全局信息选择一个最优解；

5)运动规划模块从目标数据库中检索出所有的待抓取目标物体的位姿，再根据预设规则确定一个最优的夹取目标和夹取点，从而计算完成夹取所用的运动轨迹和操作指令得到运动轨迹和操作指令清单；

6)机械臂控制模块根据运动轨迹和操作指令清单对机械臂进行控制，完成对目标物体的抓取和放置；

7)完成目标物体的抓取后，校验更新模块通过对场景进行校验来判断抓取是否成功，如果成功则更新目标数据库中删除已抓取目标物体，如否，则保持目标数据库中的信息不变；

8)系统判断是否完成对场景中所有目标物体的夹取，如否则返回步骤2)。

2.如权利要求1所述方法，其特征在于，检测跟踪模块包括数据预处理模块、变化区域目标检测网络、目标跟踪算法处理模块，检测跟踪模块具体的工作流程为：

数据预处理模块将当前场景数据S和历史场景数据S′进行融合送入变化区域目标检测网络；历史场景数据即为数据预处理模块之前接收到的场景数据；

变化区域目标检测网络检测发生变化的目标物体，并且输出发生变化的目标清单至目标跟踪算法处理模块；发生变化的目标清单即使用该目标的边界盒表示；

目标跟踪算法处理模块比对目标数据库中的记录E和发生变化的目标清单O，排除掉目标清单O中的微小扰动的物体后，得到变化目标边界集合O′，将变化目标边界集合O′作为场景中上一次夹取后产生变化的目标物体区域输出至位姿估计模块。

3.如权利要求2所述方法，其特征在于，变化区域目标检测网络包括卷积神经网络CNN、兴趣区域池化层、变化区域推荐网络和预测头，变化区域目标检测网络具体的工作流程为：

1)数据预处理模块将w×h×c的当前场景数据S和w×h×c历史场景通过场景数据S′融合模块进行数据融合后输入变化区域目标检测网络，融合后的数据维度为w×h×2c；

2)融合后的数据经过变化区域目标检测网络的一个卷积神经网络CNN完成特征向量提取形成特征图；

3)变化区域推荐网络根据特征图预测发生变化物体的位置和大小；

4)兴趣区域池化层对原始特征向量图进行池化操作并输出对应的特征向量；

5)最终由多个全连接层构成的预测头将特征向量回归为发生变化的目标清单O的预测。

4.如权利要求3所述方法，其特征在于，变化区域推荐网络包括卷积神经网络CNN、锚框生成模块、预测模块、非极大值抑制处理模块；变化区域推荐网络具体的工作流程为：

1)变化区域推荐网络中的卷积神经网络CNN根据特征图的输入，输出一个于预测每一个方格所代表的感受野内是否存在物体变化的特征图；

2)锚框生成模块收到输入的特征图后，按照预先定义的不同比例和大小生成锚框；

3)预测模块对所有生成的锚框区域进行二分类预测和边界框预测，确定锚框内是否存在目标物体来确定目标物体的边界框；

4)非极大值抑制处理模块对有所预测的目标物体的边界框进行非极大值抑制得到最终结果，从而输出预测发生变化物体的位置和大小。