CN117023177A - 基于机器视觉ai控制的码垛机 - Google Patents

Abstract

本发明公开了基于机器视觉AI控制的码垛机，包括输送线、机械手、码垛台以及视觉检测系统；机械手设置在输送线的输出末端，由输送线直接将货物输送到机械手的夹持工位上；机械手的夹持工位具有整形机构，整形机构用于对货物进行整形；视觉检测系统通过检测下一码垛层的货物的关键特征点坐标集合A，并根据货物厚度、尺寸参数预测出待码垛层的货物关键特征点坐标集合B，设定B的偏差阈值，待当前码垛层码垛完成之后，获取当前码垛层实际的货物关键特征点坐标集合C，判断C是否在B的偏差阈值范围内，如果不在则判定当前码垛层偏差；若判定当前码垛层偏差，控制机械手的整形机构对当前码垛层货物进行整形。本发明有利于提高码垛稳定性。

Description

基于机器视觉AI控制的码垛机

技术领域

本发明涉及码垛机器人技术领域，具体为基于机器视觉AI控制的码垛机。

背景技术

将AI视觉检测应用在码垛机领域是目前的一种趋势，并且也较为成熟，如已经公开的中国发明专利CN116596806A公开了一种 一种用于视觉码垛机器人的组合码垛调控方法，通过改进的视觉识别算法，以实现提高了图像增强的效果，从而提高了组合码垛调控的准确度。另外，CN112591356A公开了一种在封闭或半封闭局限空间下的码垛视觉检测系统，同样是对识别算法进行的改进，实现提高检测速度的效果。

上述公开文件均是在如何提高识别准确性上的改进。目前机器视觉算法是愈发成熟的技术手段，采用该手段以实现机器人高效率码垛，是本领域的一个基础方向。但是在袋装粉料或者颗粒料的货物码垛中，会出现新的问题。首先是这类货物本身结构不稳定。不同于固定包装的货物，如纸盒包装，或者无包装且结构固定的工件，袋装颗粒物/粉料，由于内部货物松散，在运输或者机械手抓取时，其外形会发生变化。虽然其静态下的视觉检测，并不会有什么障碍，但是由于其具有一定的“流动性”，单纯通过视觉检测其一个状态下的姿态，并不能对码垛工作带来显著的帮助。

按照传统的机械手抓取，堆码的方式。在堆放时，袋体外会有残留颗粒物或者粉尘，造成摩擦减小；并且机械手在投放时，受力不可控，很容易造成滑动，堆码稳定性不高。

发明内容

针对现有技术的不足，本发明提供了基于机器视觉AI控制的码垛机及带有该结构的护理床。

本发明提供如下技术方案：

基于机器视觉AI控制的码垛机，用于处理袋装粉料或者颗粒料货物的码垛，包括输送线、机械手、码垛台以及视觉检测系统；

机械手设置在输送线的输出末端，由输送线直接将货物输送到机械手的夹持工位上；

机械手的夹持工位具有整形机构，整形机构用于对货物进行整形，使得货物局部形成上凸/凹陷结构，在码垛时，上下码垛层的货物通过上凸/凹陷的局部结构形成限位，籍以提高稳定性；

视觉检测系统通过检测下一码垛层的货物的关键特征点坐标集合A，并根据货物厚度、尺寸参数预测出待码垛层的货物关键特征点坐标集合B，设定B的偏差阈值，待当前码垛层码垛完成之后，获取当前码垛层实际的货物关键特征点坐标集合C，判断C是否在B的偏差阈值范围内，如果不在则判定当前码垛层偏差；

若判定当前码垛层偏差，控制机械手的整形机构对当前码垛层货物进行整形。

优选的，视觉检测系统包括安装在输送线、机械手以及码垛台上的工业相机，视觉检测系统采用神经网络模型识别货物关键特征点并提取三维坐标。

优选的，输送线包括两段，一段为固定输送线，另一段为活动输送线，活动输送线具有伸缩以及摆动功能，机械手活动安装在活动输送线的末端，机械手配置有滑动模组，滑动模组在一平面内驱动机械手纵横滑动位移，机械手相对滑动模组可自由旋转。

优选的，货物进入活动输送线时，视觉检测系统通过检测货物四个角点的坐标，计算出货物在输送时的中心线角度，并反馈给控制器，控制器控制机械手在承接该货物时，旋转一定角度，使得货物能够正向输入到机械手的夹持位。

优选的，机械手包括夹持爪，左右分布的两个夹持爪形成夹持工位，夹持爪由夹持气缸驱动实现张开与闭合。

优选的，整形机构包括设置在夹持爪端部的辊组，辊组中的至少一部分为调节辊组，调节辊组可以实现上升或者下降。

优选的，调节辊组包括三根托辊以及齿轮组，齿轮组包括第一齿轮、第二齿轮、第三齿轮以及第四齿轮，还包括第一托辊支架以及第二托辊支架，其中第一齿轮以及第二齿轮相互啮合，且第一齿轮与第一托辊支架固定连接，第二齿轮与第一托辊支架转动连接；

第三齿轮与第二齿轮固定且同心连接，第三齿轮。固定连接在第二托辊支架的一端，且第三齿轮与第四齿轮啮合，第四齿轮转动连接在第二托辊支架的另一端，第一齿轮、第二齿轮以及第四齿轮均各自同心固连有一根托辊；

第一齿轮作为输入端，带动两个托辊支架折叠，形成上凸或者凹陷的结构，同时在折叠时调节辊组的三根托辊旋转。

优选的，调节辊组设置在辊组的两端或者单独设置在辊组的中间，或者辊组由若干个调节辊组组成。

优选的，整形机构还包括位于辊组上方的振动板，振动板内安装有振动马达，使得振动板的下端面具有振动的效果，振动板包括左右振动板以及中间振动板，左右振动板均与中间振动板铰接，采用三个气缸单独控制每个振动板升降。

优选的，左右振动板的两侧底部安装有向下凸出的整形辊。

与现有技术相比，本发明提供了基于机器视觉AI控制的码垛机，首先在机械手与输送线的衔接上，采用输送线直接输入的方式，不同于传统机械手在输送线上抓取的方式，这样能够避免在抓取时，袋装货物产生较大形变；其次在机械手上设置整形机构，可以对袋装货物进行塑形，保证货物以一个稳定的姿态进行堆码，最后，利用视觉检测系统，预测堆码的货物姿态（即坐标检测），并将数据反馈，若出现偏移，可以采用机械手上的整形机构对偏移的货物进行重新整形；

综上，通过视觉检测系统对堆码后进行检测，并利用机械手进行后续的干预，以提高每层堆码的稳定性。

附图说明

图1为本发明整体结构示意图；

图2为本发明机械手结构示意图；

图3为本发明机械手的另一视角示意图；

图4为本发明调节辊组的结构示意图情况一；

图5为本发明调节辊组的结构示意图情况二；

图6为本发明齿轮组结构示意图；

图7是本发明另一种调节辊组结构示意图；

图8为本发明控制逻辑步骤图一；

图9为本发明控制逻辑步骤图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图中，基于机器视觉AI控制的码垛机，参照图1所示，用于处理袋装粉料或者颗粒料货物的码垛。尤其是非抽真空的袋装货物。如果是抽真空的袋装粉料/颗粒料货物，它的结构也类似于具有固定结构的货物。但是即使是抽真空的货物，由于其也具有一定的“结构可变性”，所以也能采用本实施例的码垛机进行码垛。

参照图1中，包括输送线、机械手、码垛台以及视觉检测系统；

输送线包括两段，一段为固定输送线1，另一段为活动输送线2，活动输送线2具有伸缩以及摆动功能，机械手4活动安装在活动输送线2的末端，机械手4配置有滑动模组3，滑动模组3在一平面内驱动机械手纵横滑动位移，机械手40相对滑动模组3可自由旋转。

如图1所示，机械手4的两侧采用连杆铰接在活动输送线2的末端。活动输送线2自身具有可伸缩以及摆动的功能。其摆动的动作，绕着与固定输送线1的末端摆动，即如图1中的左右方向的摆动，可在两者对接处设置转轴。滑动模组3驱动机械手4沿横向以及竖向做位移，以实现码垛。滑动模组3在驱动机械手4做位移时，自然带动活动输送线2摆动以及伸缩。其目的是为了让机械手4始终对接在活动输送线2的末端。

机械手设置在输送线的输出末端，由输送线直接将货物输送到机械手4的夹持工位上，码垛台可垂直升降；

在上述方案中，机械手4不去主动抓取货物，一是节约机械手的4行程，机械手始终只负责码垛堆放，在一定程度上能够提高效率；二是避免机械手4在抓取时造成货物较大变形，并且在抓取时的变形，往往比较随机，不利于后续的码垛。

值得一提的是，在货物进入活动输送线2时，视觉检测系统通过检测货物四个角点的坐标，计算出货物在输送时的中心线角度，并反馈给控制器，控制器控制机械手4在承接该货物时，旋转一定角度，使得货物能够正向输入到机械手4的夹持位。避免货物偏斜进入机械手的夹持工位内，边角处产生撞击，从而造成不可控的形变，影响整形以及码垛。

另外，将码垛台设计成可垂直升降，避免了机械手的升降，在一定程度上将码垛动作分解到两个结构上承担，按照时序协同进行，能够提高效率。另外，码垛台升降，也用于实现机械手低位投放货物，避免货物重重落下造成挤压变形。

机械手4的夹持工位具有整形机构，整形机构用于对货物进行整形，使得货物局部形成上凸/凹陷结构，在码垛时，上下码垛层的货物通过上凸/凹陷的局部结构形成限位，籍以提高稳定性；

为了解决“袋装粉料/颗粒料货物”的流动性问题。本实施例采用在机械手4上设置整形机构，将其整理成“适合码垛”的结构。

如，使其中部上凸，两侧凹陷，在码垛时上下层之间形成限位；或者两侧上凸中部凹陷等结构。

在常规的袋装货物的码垛输送线上，也会设置整形的结构，是通过上下两个辊进行辊压，将袋内空鼓处的空气排出。但是这种整形结构即使能够将内部物料均匀，但是经过机械手抓取、释放后，还是会产生很大的变形。

而本实施例直接在机械手上对货物进行整形，并且整形出适合码垛的结构。使其形成标准化结构的造型。

具体的整形结构参照图2至图6所示；

参照图2，机械手4一般都包括左右分布的夹持爪，左右分布的两个夹持爪形成夹持工位，夹持爪由夹持气缸41驱动实现张开与闭合。

单侧的夹持爪是有排列的辊组构成，为了能够实现对货物的整形，使其局部上凸或者凹陷。实际上只需要使局部的辊组进行抬升或者下降，在重力作用下货物自然会产生变形。

所以在上述构思的基础上，本实施例设计了调节辊组，调节辊组设计成辊组的一部分。也可以是由若干个调节辊组组合形成辊组。

参照图6所示，本实施例所提出的调节辊组，调节辊组包括三根托辊以及齿轮组47，齿轮组47包括第一齿轮471、第二齿轮472、第三齿轮473以及第四齿轮474，还包括第一托辊支架475以及第二托辊支架476，其中第一齿轮471以及第二齿轮472相互啮合，且第一齿轮471与第一托辊支架475固定连接，第二齿轮472与第一托辊支架475转动连接；

第三齿轮473与第二齿轮472固定且同心连接，第三齿轮473。固定连接在第二托辊支架476的一端，且第三齿轮473与第四齿轮474啮合，第四齿轮474转动连接在第二托辊支架476的另一端，第一齿轮471、第二齿轮472以及第四齿轮474均各自同心固连有一根托辊；

第一齿轮471作为输入端，带动两个托辊支架折叠，形成上凸或者凹陷的结构，同时在折叠时调节辊组的三根托辊旋转。在安装时，第一齿轮471位置是固定的，转动连接在夹持爪的安装支架上。第二齿轮472与第三齿轮473均悬空安装，第四齿轮474在安装时，先在安装支架上设置轨迹槽，第四齿轮474的端部转动连接一滑块，滑块嵌入滑动在轨迹槽中，用于支撑。

第一齿轮471采用电机驱动，当第一齿轮471旋转时，第一托辊支架475绕着第一齿轮471的轴心旋转，同时在齿轮啮合的传递下，第三齿轮473带动第二托辊支架476旋转，由于第一齿轮471与第三齿轮473旋转方向相反，所以两个托辊支架产生折叠，形成上凸或者下凹，上凸和下凹由旋转方向决定。另外，值得一提的是，在托辊支架折叠时，托辊也在做旋转，托辊旋转时与货物接触，能够帮助包装袋中的粉料或者颗粒料流动，进行匀料，另外两个托辊是相向旋转的，所以在托辊处形成一定的凸起，在码垛时也能起到限位的作用。在实施时，可以托辊支架多次执行折叠操作，以均匀物料。

另外，参照图4以及图5所示，本实施例优选两种。第一种如图4所示，在辊组的两侧设置调节辊组，中间为固定辊48。另一种是在中间设置调节辊组，两侧为固定辊48。当然，也可将所有的固定辊48均更换为调节辊组。以实现不同的整形效果。

如图4的结构，可以将货物两侧上抬，中间折叠相对凹陷；使得两侧的物料向中间聚集，这种货物结构比较适合交错码垛，即将上层的两端与下层的中间位置叠加。

如图5的结构，将货物中间上抬。在重力作用下，物料会向两侧流动，放置在码垛台上后，其中间凹陷，两侧物料多于中间，这种货物结构也适合交错码垛。

如果两端以及中间均设置了调节辊组，则可以交换进行整形，即第一层采用图4的方式进行整形，第二层采用图5的方式进行整形，以实现叠加限位码垛。

值得一提的，本实施例采用三根托辊以及齿轮作为调节辊组，实际还可以连接多根托辊以及齿轮，如图7所示，如果是这种结构，则只需要在中间设置一个调节辊组（正向旋转时中部上凸，反向旋转时中部凹陷），即可实现，货物中部的上凸以及凹陷。

另外，为了辅助整形以及辅助放料，在夹持爪的上部还设置有振动板，振动板内安装有振动马达，使得振动板的下端面具有振动的效果，振动板包括左右振动板44以及中间振动板43，左右振动板44均与中间振动板43铰接，采用三个气缸42单独控制每个振动板升降。两侧的振动板可折叠成不同形状，以适应货物上凸或者凹陷的整形结构，在整形时，振动板贴合在货物表面，通过一定幅度的振动，帮助其物料流动，同时，通过振动使得，内部物料更加板结，整形效果更好。另外，在振动板两侧设置有下凸的整形辊，整形辊式为了保持包装袋边缘部分的整齐，防止，在整形过程中由于物料的流动使得包装袋边缘空置，造成边缘“模糊化”，降低视觉检测的准确性。另外，整形辊在边缘处压成凹陷结构，与图4中由托辊形成的凸起相对，在码垛时能够起到一些匹配限位作用。

综上所述，采用机械手4上的整形机构，对货物进行标准化整形。标准化的整形有利于视觉检测系统进行检测。视觉检测系统包括安装在输送线、机械手以及码垛台上的工业相机，视觉检测系统采用神经网络模型识别货物关键特征点并提取三维坐标。通过多角度的拍摄图片，提取坐标建立模型，更加准确。同时，由于采用了标准化的整形，所以可提前采用大量图货物图片输入神经网络模型中进行训练。

由于货物结构是标准化的，所以其码垛方式也是确定的。即视觉检测系统通过检测下一码垛层的货物的关键特征点坐标集合A，并根据货物厚度、尺寸参数预测出待码垛层的货物关键特征点坐标集合B，设定B的偏差阈值，待当前码垛层码垛完成之后，获取当前码垛层实际的货物关键特征点坐标集合C，判断C是否在B的偏差阈值范围内，如果不在则判定当前码垛层偏差；

若判定当前码垛层偏差，控制机械手4的整形机构对当前码垛层货物进行整形

在整形时，可以通过调节辊组下翻，是的托辊向下突出，然后对货物表面进行辊压，实现整形的效果，在另一个优选实施例中，在码垛台处另外设计一个机械手专门用于整形。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.基于机器视觉AI控制的码垛机，用于处理袋装粉料或者颗粒料货物的码垛，其特征在于，包括输送线、机械手、码垛台以及视觉检测系统；

机械手设置在输送线的输出末端，由输送线直接将货物输送到机械手（4）的夹持工位上；

机械手（4）的夹持工位具有整形机构，整形机构用于对货物进行整形，使得货物局部形成上凸/凹陷结构，在码垛时，上下码垛层的货物通过上凸/凹陷的局部结构形成限位，籍以提高稳定性；

视觉检测系统通过检测下一码垛层的货物的关键特征点坐标集合A，并根据货物厚度、尺寸参数预测出待码垛层的货物关键特征点坐标集合B，设定B的偏差阈值，待当前码垛层码垛完成之后，获取当前码垛层实际的货物关键特征点坐标集合C，判断C是否在B的偏差阈值范围内，如果不在则判定当前码垛层偏差；

若判定当前码垛层偏差，控制机械手（4）的整形机构对当前码垛层货物进行整形。

2.根据权利要求1所述的基于机器视觉AI控制的码垛机，其特征在于，视觉检测系统包括安装在输送线、机械手以及码垛台上的工业相机，视觉检测系统采用神经网络模型识别货物关键特征点并提取三维坐标。

3.根据权利要求2所述的基于机器视觉AI控制的码垛机，其特征在于，输送线包括两段，一段为固定输送线（1），另一段为活动输送线（2），活动输送线（2）具有伸缩以及摆动功能，机械手（4）活动安装在活动输送线（2）的末端，机械手（4）配置有滑动模组（3），滑动模组（3）在一平面内驱动机械手纵横滑动位移，机械手（40）相对滑动模组（3）可自由旋转。

4.根据权利要求3所述的基于机器视觉AI控制的码垛机，其特征在于，货物进入活动输送线（2）时，视觉检测系统通过检测货物四个角点的坐标，计算出货物在输送时的中心线角度，并反馈给控制器，控制器控制机械手（4）在承接该货物时，旋转一定角度，使得货物能够正向输入到机械手（4）的夹持位。

5.根据权利要求4所述的基于机器视觉AI控制的码垛机，其特征在于，机械手（4）包括夹持爪，左右分布的两个夹持爪形成夹持工位，夹持爪由夹持气缸（41）驱动实现张开与闭合。

6.根据权利要求5所述的基于机器视觉AI控制的码垛机，其特征在于，整形机构包括设置在夹持爪端部的辊组，辊组中的至少一部分为调节辊组，调节辊组可以实现上升或者下降。

7.根据权利要求5所述的基于机器视觉AI控制的码垛机，其特征在于，调节辊组包括三根托辊以及齿轮组（47），齿轮组（47）包括第一齿轮（471）、第二齿轮（472）、第三齿轮（473）以及第四齿轮（474），还包括第一托辊支架（475）以及第二托辊支架（476），其中第一齿轮（471）以及第二齿轮（472）相互啮合，且第一齿轮（471）与第一托辊支架（475）固定连接，第二齿轮（472）与第一托辊支架（475）转动连接；

第三齿轮（473）与第二齿轮（472）固定且同心连接，第三齿轮（473）。固定连接在第二托辊支架（476）的一端，且第三齿轮（473）与第四齿轮（474）啮合，第四齿轮（474）转动连接在第二托辊支架（476）的另一端，第一齿轮（471）、第二齿轮（472）以及第四齿轮（474）均各自同心固连有一根托辊；

第一齿轮（471）作为输入端，带动两个托辊支架折叠，形成上凸或者凹陷的结构，同时在折叠时调节辊组的三根托辊旋转。

8.根据权利要求7所述的基于机器视觉AI控制的码垛机，其特征在于：调节辊组设置在辊组的两端或者单独设置在辊组的中间，或者辊组由若干个调节辊组组成。

9.根据权利要求8所述的基于机器视觉AI控制的码垛机，其特征在于：整形机构还包括位于辊组上方的振动板，振动板内安装有振动马达，使得振动板的下端面具有振动的效果，振动板包括左右振动板（44）以及中间振动板（43），左右振动板（44）均与中间振动板（43）铰接，采用三个气缸（42）单独控制每个振动板升降。

10.根据权利要求9所述的基于机器视觉AI控制的码垛机，其特征在于：左右振动板（43）的两侧底部安装有向下凸出的整形辊。