CN115816457B - 一种无人超市分拣方法 - Google Patents

Abstract

本发明提供了一种无人超市分拣方法，通过分拣机器人进行分拣，包括以下步骤：（1）对分拣机器人进行室内定位，并将分拣机器人移动到待分拣货物所在位置；（2）识别待分拣货物的位置；（3）将待分拣货物的位置转化成转换为相对于机械臂底座的坐标，然后计算机械臂末端执行器抓取物体的位姿信息，通过待分拣货物的位置和末端执行器抓取物体的位姿信息来计算机械臂上每个舵机应转动的角度，并驱动机械臂第一关节、第二关节和第三关节逐步到达待分拣货物位置进行待分拣货物进行抓取并投放到指定的位置，实现长时间高效且可靠的定位，能实现机器臂精准抓取。

Description

一种无人超市分拣方法

技术领域

本发明属于超市分拣设备领域，尤其是涉及一种无人超市分拣方法。

背景技术

随着 5G、人工智能、物联网等技术的快速发展，致力于提高顾客购物体验与购物便利性的新零售概念被提出。无人超市作为新零售时代的产物之一备受关注，当下市场存在的“无人超市”指的是“无员工超市”，无人超市采用消费者完全自主购物的模式，消费者通过扫码进店自主选择商品，离店时通过刷脸支付技术自动结账，但无论是亚马逊的Amazon-Go还是阿里巴巴的淘咖啡，其自动识别技术和防盗措施都存在一定缺陷，尚无法大规模推广。

与此同时，另一种线上购买线下取货的新零售方式正在逐步兴起。提前在线上下单，而后在线下商店取货的零售方式既能让顾客节省购物的时间成本，又避免了在人流量大的情况下由于商店拥堵而给顾客带来的不良体验。根据普华永道公布的一项调查显示:大多数消费者都期待能够通过线上选购、预定和支付商品，然后在最方便的时间和地点提取商品。

然而，国内应用于实体超市的移动机器人相对缺乏。因此，无人超市分拣机器人应运而生，分拣机器人需要移动到指定位置将货物分拣出来放到指定位置然后抓取对应货物进行移动，也就是说分拣机器人需要实现进行定位到指定位置然后才能准确地移动到指定位置，然后现有的定位方法，一般是基于UWB算法，如中国专利申请号为CN202210304108.4，公布日为2022.06.10，其公开了一种使用UWB与IMU结合实现AGV室内定位的方法，包括在AGV小车上布置IMU传感器，在室内定位运用场景中，布置UWB传感器；假设目标在室内二维平面内做均加速直线运动，定义在k时刻系统的状态向量；根据均加速直线运动方程建立系统状态方程；本发明根据UMB和IMU定位的优缺点，采用UWB与IMU相结合的方式来提高定位精度，基于扩展卡尔曼滤波的IMU和UWB的信息融合的高精度定位系统，使系统具有很强的鲁棒性和稳健性，但是该方法仅仅是通过IMU测量的姿势数据对UWB进行信息融合，但是并没有根据UWB的不同的信赖度下进行不同的融合，仅仅是将姿势数据与定位数据进行全部融合，从而导致有些其实是在信赖度较高的情况下可以不用进行较高精度的就可以确保定位精度，进而导致计算量增大，无法提高系统长时间运行的精度和稳定性，另外现有的分拣机器人仅仅通过机械臂抓取物品即可，无法根据机器臂末端的位姿调整机器臂舵机转动角度，实现机器臂精准抓取的同时防止过大计算量。

发明内容

本发明的目的在于提供一种无人超市分拣方法，实现长时间高效且可靠的定位，能实现机器臂精准抓取。

为达到上述目的，本发明提供了一种无人超市分拣方法，通过分拣机器人进行分拣，分拣机器人包括机械臂和摄像头，机械臂包括底座、第一关节、第二关节和第三关节以及末端执行器，摄像头设置在分拣机器人行走方向的前端，包括以下步骤：（1）对分拣机器人进行室内定位，并将分拣机器人移动到待分拣货物所在位置：包括以下步骤（1.1）预设当前定位空间的二维地图，然后获取当前位置下的UWB数据以及车轮的里程计数据，UWB数据包括三基站下当前位置（x,y）；里程计数据包括当前位置在参考坐标系下的位姿势信息（X,Y, θ）以及里程计原始数据。

（1.2）利用轮式里程计数据作为参考量，通过将UWB数据中当前位置与里程计数据中当前位置之间的位置偏差值与预设的信赖度值进行比较确定UWB状态信赖度，判断UWB是否处于视距情况。

（1.3）根据UWB处于视距情况使用卡尔曼滤波算法对里程计数据和UWB数据进行不同信赖度下的融合；并使用融合得到的数据对里程计数据进行修正；按照修正之后的里程计数据行驶到待分拣货物位置。

（2）识别待分拣货物的位置。

（3）将待分拣货物的位置转化成转换为相对于机械臂底座的坐标，然后计算机械臂末端执行器抓取物体的位姿信息，通过待分拣货物的位置和末端执行器抓取物体的位姿信息来计算机械臂上每个舵机应转动的角度，并驱动机械臂第一关节、第二关节和第三关节逐步到达待分拣货物位置进行待分拣货物进行抓取并投放到指定的位置。

以上方法，首先用里程计所得数据作为参考量，对UWB进行不同信赖度状态判断，并确定UWB是否处于视距环境中；然后再使用卡尔曼滤波算法对里程计和UWB进行不同信赖度下的融合；然后使用融合得到的数据对里程计数据进行修正，能对不同信赖度状态下对里程计数据进行修正，防止盲目所有状态下都进行里程计数据进行修正导致长时间运行导致定位系统运行量大导致系统不稳定的情况发生，同时通过UWB数据去修正里程计的数据从而降低里程计的累计误差，提高系统定位精度，通过分拣机器人末端执行器的位姿然后确定每个关节转动角度，能实现精确控制机械臂抓取货物，同时也无法通过识别货物所在位置之后通过逐步移动到待分拣货物位置从而导致需要占用大量计算资源。

进一步的，步骤（1.1）中：“预设当前定位空间的二位地图，然后获取当前位置下的UWB数据”，预设UWB中三个基站的坐标分别为（x₁，y₁）、（x₂，y₂）和（x₃，y₃），当前位置T的坐标（x,y），当前位置坐标距离三个基站的距离分别为d₁，d₂和d₃，当前坐标X的坐标公式如下：T=(A^TA)^-1A^Tb

其中

；

；

步骤（1.1）中获取里程计数据具体包括：在一采样周期内，测得分拣机器人的旋转角度θ，小车旋转轨迹的增量为d_e1和d_e2；预设分拣机器人的车轮距离分拣机器人中心的垂直距离分别为通过以下公式得到分拣机器人相对于二维坐标系的位姿信息(X,Y,θ)；

。

以上方法，通过以上公式能方便且可靠地计算出UWB数据以及里程计数据。

进一步的，步骤（1.2）包括：判断UWB状态，用当前位置的UWB数据对里程计的数据求距离偏差值，将距离偏差值与预设的信赖度值进行对比如下（2-2-7），将UWB所处状态分为3类：

K_I为第i类视距状态；e为距离偏差值；K₁表示UWB处于视距状态，K₂表示UWB处于轻度非视距状态，K₃表示UWB已经处于严重的非视距状态； V₁表示允许使用的非视距状态误差距离的最小值， V₂表示允许使用的非视距状态误差距离的最大值。

以上方法，通过UWB数据与里程计数据相差计算偏差值，然后确定视距情况，通过UWB数据对里程计数据进行判断，使得视距情况更加可靠。

进一步的，步骤（1.3）包括：步骤（1.3.1）：基于卡尔曼滤波算法的数据的融合：

将UWB的视距状态与卡尔曼滤波算法的Q和R的参数取值如式（2-2-8）所示：

K₁表示UWB数据处于视距状态，则Q和R可以设置为相同的值即Q₁、R₁表示；K₂表示UWB处于轻度非视距状态，则通过按照预设调整方案增大Q、减小R，增加之后的Q以及减小之后的R分别用Q₂、R₂来表示；K₃表示UWB处于严重非视距状态， Q设置为单位矩阵，R设置为零矩阵，此时Q=I、R=O。

然后根据卡尔曼滤波算法得到融合后的X_融合后，Y_融合后。

步骤（1.3.2）：对累计误差的判断：通过公式（2-2-9）判断累计误差是否大于预设值，若是则进行里程计数据的修正：根据以下公式（2-2-10）得到修正后的里程计数据Z_{K（corrected）}。

；

；

其中，C为修正值，Z_{K（orignal）}为里程计原始数据。

以上方法，修正的里程计的数据参与数据融合，从而提高系统长时定位的精度。

进一步的，V₁的取值为10-20cm。

以上V₁的取值，能确保UWB系统的定位精度为10cm。

进一步的，步骤（2）包括：通过摄像头获取待分拣货物图片，然后根据YOLOfastestV2检测算法确定待分拣货物的类别以及位置信息。

以上方法，通过以上检测算法，能够准确地获取待分拣货物的位置信息。

进一步的，步骤（3）包括：（3.1）预设机械臂底座的世界坐标，将待分拣货物的位置信息转换为相对于机械臂底座的世界坐标的坐标信息，预设机械臂末端执行器的位置信息以及俯仰角信息；（3.2）根据机械臂末端执行器的位置信息以及俯仰角信息，根据以下公式（3-1）、（3-2）和（3-3）计算第三关节的位置信息，并通过公式（3-4）计算底部旋转角度θ₁，(3.3)通过公式（3-5）、（3-6）计算旋转角度第一关节和第二关节的旋转角度θ，然后通过公式（3-7）、（3-8）和（3-9）计算第一关节的旋转角度θ₃；然后通过公式（3-10）得到第四关节的旋转角度θ₂；

其中机械臂末端执行器的位置信息（x_e，y_e，z_e）；第三关节的位置信息（x₄，y₄，z₄）；

（3-5）和（3-6）中，，a=第一关节的长度L2，b=第二关节的长度L3；

；

；

；

其中φ为第一关节与第三关节连线与第一关节之间的夹角；

。

以上方法，由于机械手末端执行器旋转角度为第一关节、第二关节以及第三关节之间旋转角度之和，然后通过俯仰角推出第三关节的旋转角度，从而控制机械手末端进行旋转到指定位置进行夹取，精确可靠。

附图说明

图1为本发明UWB系统的定位示意图。

图2为本发明里程计定位的示意图。

图3为本发明中定位方法的流程图。

图4为本发明中机械臂抓取方法的流程图。

图5为本发明中机械臂的结构视图。

图6为本发明中机械臂第一关节、第二关节和第三关节之间夹角关系图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细说明。

如图1至图6所示，本发明提供了一种无人超市分拣方法，通过分拣机器人进行分拣，分拣机器人包括机械臂和摄像头00，机械臂包括底座001、第一关节01、第二关节02和第三关节03以及末端执行器04，摄像头00设置在分拣机器人行走方向的前端，其中底座001、第一关节01、第二关节02和第三关节03以及末端执行器04的转动分别通过对应舵机进行驱动旋转，分拣方法包括以下步骤：（1）对分拣机器人进行室内定位，并将分拣机器人移动到待分拣货物所在位置：包括以下步骤（1.1）预设当前定位空间的二维地图，然后获取当前位置下的UWB数据以及车轮的里程计数据，UWB数据包括三基站下当前位置（x,y）；里程计数据包括当前位置在参考坐标系下的位姿势信息（X,Y, θ）以及里程计原始数据；本实施例中，当前定位空间为超市空间，二维地图可以通过GPS雷达定位地图获取，UWB数据通过UWB算法获得，而里程计数据可以通过姿势传感器获得并计算得到。

（1.2）利用轮式里程计数据作为参考量，通过将UWB数据中当前位置与里程计数据中当前位置之间的位置偏差值与预设的信赖度值进行比较确定UWB状态信赖度，判断UWB是否处于视距情况；

（1.3）根据UWB处于视距情况使用卡尔曼滤波算法对里程计数据和UWB数据进行不同信赖度下的融合；并使用融合得到的数据对里程计数据进行修正。

本发明一实施例中，如图1所示，其中UWB数据的三基站分别为BS1、BS2和BS3，当前位置为MS，以二维地图形成坐标系，并获得当前位置的坐标值为（x，y）；步骤（1.1）中：“预设当前定位空间的二位地图，然后获取当前位置下的UWB数据”，预设UWB中三个基站的坐标分别为（x₁，y₁）、（x₂，y₂）和（x₃，y₃），当前位置T的坐标（x,y），当前位置坐标距离三个基站的距离分别为d₁，d₂和d₃，当前坐标X的坐标公式如下：T=(A^TA)^-1A^Tb （2-2-1）

其中

（2-2-2）；

（2-2-3）；

步骤（1.1）中获取里程计数据具体包括：在一采样周期内，测得分拣机器人的旋转角度θ，小车旋转轨迹的增量为d_e1和d_e2；预设分拣机器人的车轮距离分拣机器人中心的垂直距离分别为l1和l2,通过以下公式（2-2-4）得到分拣机器人相对于二维坐标系的位姿信息(X,Y,θ)；

（2-2-4）。

如图2所示，在二维地图的坐标中，每一采样周期内，分拣机器人从虚线位置移动到实线位置，其旋转角度θ，dx为分拣机器人横坐标移动距离值，dy为分拣机器人纵坐标移动距离值，di和dj为分拣机器人相对于分拣机器人车体坐标系的位移增量，以上方法，通过以上公式能方便且可靠地计算出UWB数据以及里程计数据。

本发明另一实施例中，步骤（1.2）包括：判断UWB状态，用当前位置的UWB数据对里程计的数据求距离偏差值，将距离偏差值与预设的信赖度值进行对比如下（2-2-7），将UWB所处状态分为3类：

K_I为第i类视距状态；e为距离偏差值；K₁表示UWB处于视距状态，K₂表示UWB处于轻度非视距状态，K₃表示UWB已经处于严重的非视距状态； V₁表示允许使用的非视距状态误差距离的最小值， V₂表示允许使用的非视距状态误差距离的最大值。本实施例中，V₁的取值为10-20cm，最优值为15cm，这个取值范围能确保UWB系统的定位精度为10cm，而V₂的取值为20-30cm。

通过UWB数据与里程计数据相差计算偏差值，然后确定视距情况，通过UWB数据对里程计数据进行判断，使得视距情况更加可靠。

本发明又一实施例中，步骤（1.3）包括：步骤（1.3.1）：基于卡尔曼滤波算法的数据的融合：

将UWB的视距状态与卡尔曼滤波算法的Q和R的参数取值如式（2-2-8）所示：

K₁表示UWB数据处于视距状态，则Q和R可以设置为相同的值即Q₁、R₁表示；K₂表示UWB处于轻度非视距状态，则通过按照预设调整方案增大Q、减小R，增加之后的Q以及减小之后的R分别用Q₂、R₂来表示；K₃表示UWB处于严重非视距状态， Q设置为单位矩阵，R设置为零矩阵，此时Q=I、R=O；Q₁=R₁=M₁,然后Q₂=M₁+5；R₂=M₁-5，其中M₁为一常数，调整值可以除5之外的其他值。

然后根据卡尔曼滤波算法得到融合后的X_融合后，Y_融合后。

步骤（1.3.2）：对累计误差的判断：通过公式（2-2-9）判断累计误差是否大于预设值，若是则进行里程计数据的修正：根据以下公式（2-2-10）得到修正后的里程计数据Z_{K（corrected）}。

；

；

若判断累计误差没有大于预设值，则不进行里程计数据的修正，然后进行下一当前位置里程计数据以及UWB数据的获取以及判断。

其中，C为修正值，Z_{K（orignal）}为里程计原始数据。本实施例中，预设值为1。

本发明再一实施例中，步骤（2）包括：通过摄像头获取待分拣货物图片，然后根据YOLOfastestV2检测算法确定待分拣货物的类别以及位置信息。其中YOLOfastestV2检测算法为现有技术在此不再累述。

通过以上检测算法，能够准确地获取待分拣货物的位置信息。

本发明还一实施中，步骤（3）包括：（3.1）预设机械臂底座的世界坐标，将待分拣货物的位置信息转换为相对于机械臂底座的世界坐标的坐标信息，预设机械臂末端执行器的位置信息以及俯仰角信息；（3.2）根据机械臂末端执行器的位置信息以及俯仰角信息，根据以下公式（3-1）、（3-2）和（3-3）计算第三关节的位置信息，并通过公式（3-4）计算底部旋转角度θ₁，(3.3)通过公式（3-5）、（3-6）计算旋转角度第一关节和第二关节的旋转角度θ，然后通过公式（3-7）、（3-8）和（3-9）计算第一关节的旋转角度θ₃；然后通过公式（3-10）得到第四关节的旋转角度θ₂；

其中机械臂末端执行器的位置信息（x_e，y_e，z_e）；第三关节的位置信息（x₄，y₄，z₄）；

（3-5）和（3-6）中，，a=第一关节的长度L2，b=第二关节的长度L3；

；

；

；

其中φ为第一关节与第三关节连线与第一关节之间的夹角；

。

如图6所示，底座与第一关节相连点为joint2，第一关节和第二关节相连点joint3，第二关节和第三关节相连点为joint4，第三关节点和机械手末端执行器之间的相连点为joint5，本实施例中，底座主要负责水平方向位置旋转，从而机械手末端执行器的旋转角度是由底座水平方向旋转角度决定，而其它第一关节、第二关节和第三关节负责竖直方向上的旋转，而俯仰角是面内旋转的总角度之和，从而机械手末端执行器旋转角度为第一关节、第二关节以及第三关节之间旋转角度之和，然后通过俯仰角推出第三关节的旋转角度，从而控制机械手末端进行旋转到指定位置进行夹取，精确可靠。

本发明的工作原理，首先用里程计所得数据作为参考量，对UWB进行不同信赖度状态判断，并确定UWB是否处于视距环境中；然后再使用卡尔曼滤波算法对里程计和UWB进行不同信赖度下的融合；然后使用融合得到的数据对里程计数据进行修正，能对不同信赖度状态下对里程计数据进行修正，防止盲目所有状态下都进行里程计数据进行修正导致长时间运行导致定位系统运行量大导致系统不稳定的情况发生，同时通过UWB数据去修正里程计的数据从而降低里程计的累计误差，提高系统定位精度，通过分拣机器人末端执行器的位姿然后确定每个关节转动角度，能实现精确控制机械臂抓取货物，同时也无法通过识别货物所在位置之后通过逐步移动到待分拣货物位置从而导致需要占用大量计算资源。

Claims (3)

1.一种无人超市分拣方法，通过分拣机器人进行分拣，其特征在于：分拣机器人包括机械臂和摄像头，机械臂包括底座、第一关节、第二关节和第三关节以及末端执行器，摄像头设置在分拣机器人行走方向的前端，包括以下步骤：（1）对分拣机器人进行室内定位，并将分拣机器人移动到待分拣货物所在位置：包括以下步骤（1.1）预设当前定位空间的二维地图，然后获取当前位置下的UWB数据以及车轮的里程计数据，UWB数据包括三基站下当前位置（x,y）,

里程计数据包括当前位置在参考坐标系下的位姿势信息（X,Y,θ）以及里程计原始数据.

（1.2）利用轮式里程计数据作为参考量，通过将UWB数据中当前位置与里程计数据中当前位置之间的位置偏差值与预设的信赖度值进行比较确定UWB状态信赖度，判断UWB是否处于视距情况,

（1.3）根据UWB处于视距情况使用卡尔曼滤波算法对里程计数据和UWB数据进行不同信赖度下的融合；并使用融合得到的数据对里程计数据进行修正；按照修正之后的里程计数据行驶到待分拣货物位置,

（2）识别待分拣货物的位置；

（3）将待分拣货物的位置转化成转换为相对于机械臂底座的坐标，然后计算机械臂末端执行器抓取物体的位姿信息，通过待分拣货物的位置和末端执行器抓取物体的位姿信息来计算机械臂上每个舵机应转动的角度，并驱动机械臂第一关节、第二关节和第三关节逐步到达待分拣货物位置进行待分拣货物进行抓取并投放到指定的位置,

2.根据权利要求1所述的一种无人超市分拣方法，其特征在于：的取值为10-20cm。

3.根据权利要求1所述的一种无人超市分拣方法，其特征在于：步骤（2）包括：通过摄像头获取待分拣货物图片，然后根据YOLOfastestV2检测算法确定待分拣货物的类别以及位置信息。