CN114299039A - 一种机器人及其碰撞检测装置和方法 - Google Patents
一种机器人及其碰撞检测装置和方法 Download PDFInfo
- Publication number
- CN114299039A CN114299039A CN202111655419.7A CN202111655419A CN114299039A CN 114299039 A CN114299039 A CN 114299039A CN 202111655419 A CN202111655419 A CN 202111655419A CN 114299039 A CN114299039 A CN 114299039A
- Authority
- CN
- China
- Prior art keywords
- robot
- point cloud
- dimensional point
- cloud model
- collision detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000012636 effector Substances 0.000 claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 8
- 210000000245 forearm Anatomy 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种机器人及其碰撞检测装置和方法,属于机器人碰撞检测技术领域。所述碰撞检测装置包括:信息采集模块,用于采集机器人周围真实场景中的物体及人的三维点云信息;轨迹规划模块,用于规划机器人末端执行器的运动轨迹;位置获取模块,用于获取机器人各关节的位姿;三维建图模块,用于构建机器人及其周围真实场景、人的三维点云地图等;碰撞检测模块,用于在更新的三维点云地图中检测机器人末端执行器与周围真实场景中的物体及人是否发生碰撞,并输送出检测结果。本发明发明可以减少在进行碰撞检测时,机器人继续运动所带来的误差和延时,同时还减少了进行碰撞检测的数据量,提高检测速度。
Description
技术领域
本发明涉及机器人碰撞检测技术领域,具体涉及一种机器人及其碰撞检测装置和方法。
背景技术
目前,机器人需要与用户合作完成很多任务,因此用户会经常性使用到协作机器人。在执行任务过程中,机器人需能检测是否与其周围的人或物体发生了碰撞,并采用合适的策略消除碰撞,以保障人的安全,并避免物体受撞破损。
现有的机器人碰撞检测多以力矩传感器和接近传感器等方式来进行碰撞检测,但是存在造价高的问题。基于视觉的检测方法存在计算量大,实时性不好等问题,通过构建地图进行碰撞检测的方法也有计算量大或者检测方法简单、精度不够的问题。
发明内容
针对上述问题,本发明的目的是提供一种机器人及其碰撞检测装置和方法,本发明利用安装在靠近机器人末端执行器的小臂上的kinect相机来获得机器人周围物体和人的三维点云信息,以及对于机器人也根据D-H参数建立相应的三维点云模型,在同一坐标系下建立出三维点云地图,并提出了一种机器人位置获取方法进行位置获取,以及一种减少数据量的碰撞检测方法,提高了检测速度。
为了实现上述目的,本发明采用的技术方案为:
一种机器人的碰撞检测装置,包括:
信息采集模块,用于采集机器人周围真实场景中的物体以及人的三维点云信息;
轨迹规划模块,用于规划机器人末端执行器的运动轨迹;
位置获取模块,用于根据机器人末端执行器的运动轨迹,求解出下一时刻机器人各关节变量;应用齐次变换矩阵及根据下一时刻机器人各关节变量,获取下一时刻机器人各连杆的位姿;
三维建图模块,用于建立第一三维点云模型和第二三维点云模型,所述第一三维点云模型为机器人的三维点云模型,所述第二三维点云模型为根据机器人周围真实场景中的物体以及人的三维点云信息建立得到的三维点云模型,再将第一三维点云模型和第二三维点云模型融合构建机器人及其周围真实场景、人的三维点云地图;并根据不同时刻机器人各连杆的位姿更新所述一三维点云模型,根据信息采集模块采集到的三维点云信息变换更新所述第二三维点云模型,,进而得到更新后的三维点云地图;及
碰撞检测模块,用于在更新的三维点云地图中检测机器人末端执行器与周围真实场景中的物体及人是否发生碰撞,并输送出检测结果。
进一步的,所述机器人的碰撞检测装置还包括避障模块,所述避障模块用于接收输送出的检测结果并根据检测结果制定碰撞检测后机器人的响应方式。
进一步的,所述信息采集模块包括深度相机和图像处理模块;所述深度相机安装于接近机器人末端执行器的小臂上,用于采集机器人运动过程中末端执行器周围真实场景中的物体以及人的图像;所述图像处理模块安装于机器人上用于对深度相机采集的图像进行图像预处理,然后对图像中的物体、人进行分类,并对属于不同类别的像素点进行标记。
进一步的,所述位置获取模块还包括用于在下一时刻将机器人各关节编码器信息与求解得到的下一时刻机器人各关节变量对比得到偏差值,将偏差值结合求解出的下下一时刻的机器人各关节变量得到纠正后的下下一时刻的机器人各关节变量,应用齐次变换矩阵及根据纠正后的下下一时刻的机器人各关节变量得到下下一时刻机器人各连杆的位姿。
进一步的,所述第一三维点云模型为根据D-H法对机器人建立的三维点云模型,所述第二三维点云模型为对经过图像处理模块处理得到的机器人周围真实场景中的物体以及人的三维点云信息进行转换得到的三维点云模型;所述将第一三维点云模型和第二三维点云模型融合具体为将第一三维点云模型和第二三维点云模型均放于同一坐标系下,融合成一个包含机器人及其周围真实场景中的物体和人的三维点云地图。
进一步的,所述三维建图模块还包括对所述第一三维点云模型建立的球形包围盒以及对第二三维点云模型建立的的球形包围盒。
本发明还提供了一种机器人的碰撞检测方法(即采用上述碰撞检测装置进行碰撞检测的方法),包括以下步骤:
(1)信息采集:采集机器人周围真实场景中的物体以及人的三维点云信息;
(2)轨迹规划:规划机器人末端执行器的运动轨迹;
(3)位置获取:根据机器人末端执行器的运动轨迹,求解出下一时刻机器人各关节变量;应用齐次变换矩阵及根据下一时刻机器人各关节变量,获取下一时刻机器人各连杆的位姿;(4)三维建图:建立机器人的三维点云模型,即第一三维点云模型,并根据机器人周围真实场景中的物体以及人的三维点云信息建立三维点云模型,即第二三维点云模型,再将这两个三维点云模型融合构建机器人及其周围物体、人的三维点云地图;并根据不同时刻机器人各连杆的位姿更新所述第一三维点云模型,根据信息采集模块采集到的三维点云信息变化更新所述第二三维点云模块,,进而得到更新后的三维点云地图;
(5)碰撞检测:在更新后的三维点云地图中检测机器人末端执行器与周围真实场景中的物体或人是否发生碰撞,并输送出检测结果;
(6)避障:根据输送出的检测结果制定碰撞检测后机器人的响应方式。
进一步的,步骤(4)还包括在三维点云地图上分别建立机器人末端执行器的三维点云模型的球形包围盒和机器人周围真实场景中的物体以及人的三维点云模型的球形包围盒。
进一步的,步骤(5)所述检测机器人末端执行器与周围真实场景中的物体或人是否发生碰撞的具体步骤如下:
51)根据深度相机中拍摄得到当前在机器人末端执行器周围的物体,确认碰撞检测物体是物体i;
52)设物体i球形包围盒的球心坐标为(xoi,yoi,zoi)半径为Ri,机器人末端执行器球形包围盒的球心为(xoj,yoj,zoj),半径为Rj;物体i的点云坐标记为(xi,yi,zi);机器人末端执行器的点云坐标记为(xj,yj,zj);根据两个球形包围盒的球心距离D进行球形包围盒碰撞检测:
53)在两球形包围盒相交部分的中心点处,取一个将该相交部分包含在内的长方体包围盒区域,记为检测区域,并对在该检测区域内的物体i和机器人末端执行器的点进行碰撞检测;
54)对检测区域内的点,按切片法进行碰撞检测,且从长方体检测区域的中心位置开始往上下两边选择切面进行检测,切面为平面且其上的点的坐标相同;对切面上的点先建立平行于X、Y轴的两个分别包围物体i的点和机器人末端执行器的点的矩形包围盒,这两个矩形包围盒的特征点坐标分别为(xi,min,yi,min)、(xi,max,yi,max)、(xj,min,yj,min)和(xj,max,yj,max);先判断两矩形包围盒包围盒是否相交,即yi,min>yj,max或yj,min>yi,max是否成立,若有一个成立,则该切面的点不发生碰撞,继续检测下一个切面;都不成立则继续检测xi,min>xj,max或xj,min>xi,max是否成立,若有一个成立,则该切面的点不发生碰撞,继续检测下一个切面;都不成立则继续55);
55)取两个矩形包围盒相交区域里的物体i对应的三维点云模型的点和机器人末端执行器对应的三维点云模型的点进行碰撞检测;取yi=yj的点进行比较,若xoj>xoi,则进行步骤56);若xoj<xoi,则进行步骤57);
56)若xj>xi,则该点不发生碰撞,进行下一点的碰撞检测;若xj≤xi,则发生碰撞,将碰撞检测结果发送给避障模块;
57)若xi>xj,则该点不发生碰撞,进行下一点的碰撞检测;若xi≤xj,则发生碰撞,将碰撞检测结果发送给避障模块;
58)碰撞检测结束,反馈检测结果。
本发明还提供了一种机器人,所述机器人包括上述任一项所述的机器人的碰撞检测装置。
综上所述,由于采用了上述技术方案,本发明的有益效果为:
本发明通过三维建图模块、位置获取模块和避障模块等的设置,并提出了机器人各关节位置的位置获取方法和碰撞检测模块具体的碰撞检测方法,使得本发明可以减少在进行碰撞检测时,机器人继续运动所带来的误差和延时,同时还减少了进行碰撞检测的数据量,提高检测速度。此外,本发明无需借助力矩传感器和接近传感器等进行碰撞检测,降低了成本。
附图说明
图1为本发明实施例的一种机器人的碰撞检测装置的方框示意图;
图2为本发明实施例的一种机器人的碰撞检测方法的流程图;
图3为本发明实施例的一种机器人的碰撞检测方法中碰撞检测模块的具体方法流程图;
图中,1-信息采集模块,11-深度相机,12-图像处理模块,2-轨迹规划模块,3-位置获取模块,4-三维建图模块,41-第一三维点云模型,42-第二三维点云模型,5-碰撞检测模块,6-避障模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件,它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例
请参见图1,一种机器人的碰撞检测装置,包括:
信息采集模块1,用于采集机器人周围真实场景中的物体以及人的三维点云信息;
轨迹规划模块2,用于规划机器人末端执行器的运动轨迹;
位置获取模块3,用于根据机器人末端执行器的运动轨迹,求解出下一时刻机器人各关节变量;应用齐次变换矩阵及根据下一时刻机器人各关节变量,获取下一时刻机器人各连杆的位姿;
三维建图模块4,用于建立第一三维点云模型41和第二三维点云模型42,所述第一三维点云模型41为机器人的三维点云模型,所述第二三维点云模型42为根据机器人周围真实场景中的物体以及人的三维点云信息建立得到的三维点云模型,其中所述第一三维点云模型41和第二三维点云模型42的建立方法均为现有技术,在此不再复述。再将第一三维点云模型41和第二三维点云模型42融合构建机器人及其周围真实场景、人的三维点云地图;并根据不同时刻机器人各连杆的位姿更新所述一三维点云模型41,根据信息采集模块采集到的三维点云信息变换更新所述第二三维点云模型42,进而得到更新后的三维点云地图;
碰撞检测模块5,用于在更新的三维点云地图中检测机器人末端执行器与周围真实场景中的物体及人是否发生碰撞,并输送出检测结果;及
避障模块6,用于接收输送出的检测结果并根据检测结果制定碰撞检测后机器人的响应方式。
作为进一步优选的技术方案,所述信息采集模块1包括深度相机11和图像处理模块12;所述深度相机11安装于机器人上接近机器人末端执行器的小臂上,用于采集机器人运动过程中末端执行器周围真实场景中的物体以及人的图像。本实施例中,深度相机11为kinect相机。所述图像处理模块12安装于机器人上用于对深度相机11采集的图像进行图像预处理,如去噪等,然后对图像中的物体、人等进行分类,并对属于不同类别的像素点进行标记(可用数字、字符进行标记)。
作为进一步优选的技术方案,所述第一三维点云模型41为根据D-H法对机器人建立的三维点云模型,所述第二三维点云模型42为对经过图像处理模块处理得到的机器人周围真实场景中的物体以及人的三维点云信息进行转换得到的三维点云模型;所述将第一三维点云模型41和第二三维点云模型42融合具体为将第一三维点云模型41和第二三维点云模型42均放于同一坐标系下,融合成一个包含机器人及其周围真实场景中的物体和人的三维点云地图。
作为进一步优选的技术方案,所述三维建图模块4还包括对所述第一三维点云模型41建立的球形包围盒以及对第二三维点云模型42建立的的球形包围盒;所述第一三维点云模型41根据机器人的运动轨迹规划得到的各连杆的位姿后进行更新,所述第二三维点云模型42根据深度相机11得到的图像来判断是否更新;所述两个球形包围盒分别根据所述第一三维点云模型41和第二三维点云模型42的更新而更新。
本发明还提供了一种机器人的碰撞检测方法,如图2,包括以下步骤:
(1)信息采集:采集机器人周围真实场景中的物体以及人(如操作员)的三维点云信息;具体为:
采用安装在接近机器人末端执行器的小臂上的kinect相机来采集机器人运动过程中机器人末端执行器周围真实场景中的物体和人的图像,并对所采集的图像进行图像预处理,如去噪等,然后对图像中的物体、人等进行分类,并对属于不同类别的像素点进行标记(可用数字、字符进行标记)。
(2)轨迹规划:采用现有方法规划机器人末端执行器的运动轨迹;
(3)位置获取:根据机器人末端执行器的运动轨迹,用机器人逆运动学求解出下一时刻机器人各关节变量;应用齐次变换矩阵及根据下一时刻机器人各关节变量,获取下一时刻机器人各连杆的位姿;具体为:
在开始工作T0时刻时,根据机器人末端执行器的的运动轨迹,根据D-H法得到的齐次变换矩阵结合机器人逆运动学求解出T1时刻机器人各关节变量应用D-H法得到的齐次变换矩阵及根据T1时刻机器人各关节变量获取T1时刻机器人各连杆的位姿,以使三维建图模块根据T1时刻得到的以及机器人各连杆的位姿更新机器人的三维点云模型,进而得到更新后的三维点云地图。
(4)三维建图:建立机器人的三维点云模型,即第一三维点云模型41,并根据机器人周围真实场景中的物体以及人的三维点云信息建立三维点云模型,即第二三维点云模型42,再将这两个三维点云模型融合构建机器人及其周围物体、人的三维点云地图;并根据不同时刻机器人各连杆的位姿更新所述第一三维点云模型41,根据信息采集模块1采集到的三维点云信息变化更新所述第二三维点云模块42,进而得到更新后的三维点云地图;并在三维点云地图上分别建立第一三维点云模型41的球形包围盒和第二三维点云模型42的球形包围盒。
(5)碰撞检测:在更新后的三维点云地图中检测机器人末端执行器与周围真实场景中的物体或人是否发生碰撞,并输送出检测结果;具体为:
进一步的,如图3,步骤(5)所述检测机器人末端执行器与周围真实场景中的物体或人是否发生碰撞的具体步骤如下:
本实施例中,为了提高检测效率,只检测在机器人末端执行器附近的物体i是否与末端执行器发生碰撞。
51)根据深度相机中拍摄得到当前在机器人末端执行器周围的物体,确认碰撞检测物体是物体i;
52)设物体i球形包围盒的球心坐标为(xoi,yoi,zoi)半径为Ri,机器人末端执行器球形包围盒的球心为(xoj,yoj,zoj),半径为Rj;物体i的点云坐标记为(xi,yi,zi);机器人末端执行器的点云坐标记为(xj,yj,zj);根据两个球形包围盒的球心距离D判断是否发生碰撞:
53)在两球形包围盒相交部分的中心点处,取一个将该相交部分包含在内的长方体包围盒区域,记为检测区域,并对在该检测区域内的物体i和机器人末端执行器的点进行碰撞检测;
54)对检测区域内的点,按切片法进行碰撞检测,且从长方体检测区域的中心位置开始往上下两边选择切面进行检测,切面为平面且其上的点的坐标相同;对切面上的点先建立平行于X、Y轴的两个分别包围物体i的点和机器人末端执行器的点的矩形包围盒,这两个矩形包围盒的特征点坐标分别为(xi,min,yi,min)、(xi,max,yi,max)、(xj,min,yj,min)和(xj,max,yj,max);先判断两矩形包围盒包围盒是否相交,即yi,min>yj,max或yj,min>yi,max是否成立,若有一个成立,则该切面的点不发生碰撞,继续检测下一个切面;都不成立则继续检测xi,min>xj,max或xj,min>xi,max是否成立,若有一个成立,则该切面的点不发生碰撞,继续检测下一个切面;都不成立则继续55);
55)取两个矩形包围盒相交区域里的物体i对应的三维点云模型的点和机器人末端执行器对应的三维点云模型的点进行碰撞检测;取yi=yj的点进行比较,若xoj>xoi,则进行步骤56);若xoj<xoi,则进行步骤57);
56)若xj>xi,则该点不发生碰撞,进行下一点的碰撞检测;若xj≤xi,则发生碰撞,将碰撞检测结果发送给避障模块;
57)若xi>xj,则该点不发生碰撞,进行下一点的碰撞检测;若xi≤xj,则发生碰撞,将碰撞检测结果发送给避障模块;
58)碰撞检测结束,反馈检测结果。
(6)避障:根据输送出的检测结果制定碰撞检测后机器人的响应方式;响应方式包括当无碰撞时,继续运动;当有碰撞且速度较慢时,机器人减速并重新规划轨迹,避免碰撞;当有碰撞且速度较快时,机器人快速远离碰撞目标。
对应上述实施例,本发明还提供了一种机器人。本发明提供的机器人,包括上述实施例提出的机器人的碰撞检测装置,其具体实施方式可参照上述实施例,为避免冗余,在此不再赘述。需要注意的是,本发明所述的机器人为固定的工业机器人,即机器人的位置不能移动,仅机器人的各关节可移动。
此外,在其他实施例中,所述位置获取模块3还可用于在下一时刻将机器人各关节编码器信息与求解得到的下一时刻机器人各关节变量对比得到偏差值,将偏差值结合求解出的下下一时刻的机器人各关节变量(同样也是根据机器人末端执行器的运动轨迹,根据D-H法得到的齐次变换矩阵结合机器人逆运动学求解出)得到纠正后的下下一时刻的机器人各关节变量,应用齐次变换矩阵及根据纠正后的下下一时刻的机器人各关节变量得到下下一时刻机器人各连杆的位姿。其位置获取方法具体为:
在开始工作T0时刻时,根据机器人末端执行器的的运动轨迹,根据D-H法得到的齐次变换矩阵结合机器人逆运动学求解出T1时刻机器人各关节变量应用D-H法得到的齐次变换矩阵及根据T1时刻机器人各关节变量获取T1时刻机器人各连杆的位姿,以使三维建图模块根据T1时刻得到的以及机器人各连杆的位姿更新机器人的三维点云模型,进而得到更新后的三维点云地图,再进行碰撞检测,即可完成T0时刻的位置获取和碰撞检测。到了T1时刻,再从机器人的编码器中读出机器人各关节信息θ1,并将所述编码器中读出的机器人各关节信息θ1与求解得到的T1时刻机器人各关节变量对比得到偏差值将偏差值Δ1结合求解出的T2时刻的机器人各关节变量得到纠正后的T2时刻的机器人各关节变量,应用齐次变换矩阵及根据纠正后的T2时刻的机器人各关节变量得到T2时刻机器人各连杆的位姿,以使三维建图模块再次根据T2时刻得到的以及机器人各连杆的位姿更新机器人的三维点云模型,进而得到更新后的三维点云地图,再进行碰撞检测,即可完成T1时刻的位置获取和碰撞检测。依此类推进行下一时刻的位置获取和碰撞检测。
上述说明是针对本发明较佳可行实施例的详细说明,但实施例并非用以限定本发明的专利申请范围,凡本发明所提示的技术精神下所完成的同等变化或修饰变更,均应属于本发明所涵盖专利范围。
Claims (10)
1.一种机器人的碰撞检测装置,其特征在于,包括:
信息采集模块,用于采集机器人周围真实场景中的物体及人的三维点云信息;
轨迹规划模块,用于规划机器人末端执行器的运动轨迹;
位置获取模块,用于根据机器人末端执行器的运动轨迹,求解出下一时刻机器人各关节变量;应用齐次变换矩阵及根据下一时刻机器人各关节变量,获取下一时刻机器人各连杆的位姿;
三维建图模块,用于建立第一三维点云模型和第二三维点云模型,所述第一三维点云模型为机器人的三维点云模型,所述第二三维点云模型为根据机器人周围真实场景中的物体以及人的三维点云信息建立得到的三维点云模型,再将第一三维点云模型和第二三维点云模型融合构建机器人及其周围真实场景、人的三维点云地图;并根据不同时刻机器人各连杆的位姿更新所述一三维点云模型,根据信息采集模块采集到的三维点云信息变换更新所述第二三维点云模型,进而得到更新后的三维点云地图;及
碰撞检测模块,用于在更新的三维点云地图中检测机器人末端执行器与周围真实场景中的物体及人是否发生碰撞,并输送出检测结果。
2.根据权利要求1所述的碰撞检测装置,其特征在于,还包括避障模块,所述避障模块用于接收输送出的检测结果并根据检测结果制定碰撞检测后机器人的响应方式。
3.根据权利要求1所述的碰撞检测装置,其特征在于,所述信息采集模块包括深度相机和图像处理模块;所述深度相机安装于接近机器人末端执行器的小臂上,用于采集机器人运动过程中末端执行器周围真实场景中的物体以及人的图像;所述图像处理模块安装于机器人上用于对深度相机采集的图像进行图像预处理,然后对图像中的物体、人进行分类,并对属于不同类别的像素点进行标记。
4.根据权利要求1所述的碰撞检测装置,其特征在于,所述位置获取模块还包括用于在下一时刻将机器人各关节编码器信息与求解得到的下一时刻机器人各关节变量对比得到偏差值,将偏差值结合求解出的下下一时刻的机器人各关节变量得到纠正后的下下一时刻的机器人各关节变量,应用齐次变换矩阵及根据纠正后的下下一时刻的机器人各关节变量得到下下一时刻机器人各连杆的位姿。
5.根据权利要求3所述的碰撞检测装置,其特征在于,所述第一三维点云模型为根据D-H法对机器人建立的三维点云模型,所述第二三维点云模型为对经过图像处理模块处理得到的机器人周围真实场景中的物体以及人的三维点云信息进行转换得到的三维点云模型;所述将第一三维点云模型和第二三维点云模型融合具体为将第一三维点云模型和第二三维点云模型均放于同一坐标系下,融合成一个包含机器人及其周围真实场景中的物体和人的三维点云地图。
6.根据权利要求4所述的碰撞检测装置,其特征在于,所述三维建图模块还包括对所述第一三维点云模型建立的球形包围盒以及对第二三维点云模型建立的的球形包围盒。
7.一种机器人的碰撞检测方法,其特征在于,包括以下步骤:
(1)信息采集:采集机器人周围真实场景中的物体以及人的三维点云信息;
(2)轨迹规划:规划机器人末端执行器的运动轨迹;
(3)位置获取:根据机器人末端执行器的运动轨迹,求解出下一时刻机器人各关节变量;应用齐次变换矩阵及根据下一时刻机器人各关节变量,获取下一时刻机器人各连杆的位姿;
(4)三维建图:建立机器人的三维点云模型,即第一三维点云模型,并根据机器人周围真实场景中的物体以及人的三维点云信息建立三维点云模型,即第二三维点云模型,再将这两个三维点云模型融合构建机器人及其周围物体、人的三维点云地图;并根据不同时刻机器人各连杆的位姿更新所述第一三维点云模型,根据信息采集模块采集到的三维点云信息变化更新所述第二三维点云模块,,进而得到更新后的三维点云地图;
(5)碰撞检测:在更新后的三维点云地图中检测机器人末端执行器与周围真实场景中的物体或人是否发生碰撞,并输送出检测结果;
(6)碰撞响应:根据输送出的检测结果制定碰撞检测后机器人的响应方式。
8.根据权利要求7所述的碰撞检测方法,其特征在于,步骤(4)还包括在三维点云地图上分别建立机器人末端执行器的三维点云模型的球形包围盒和机器人周围真实场景中的物体以及人的三维点云模型的球形包围盒。
9.根据权利要求7所述的碰撞检测方法,其特征在于,步骤(5)所述检测机器人末端执行器与周围真实场景中的物体或人是否发生碰撞的具体步骤如下:
51)根据深度相机中拍摄得到当前在机器人末端执行器周围的物体,确认碰撞检测物体是物体i;
52)设物体i球形包围盒的球心坐标为(xoi,yoi,zoi)半径为Ri,机器人末端执行器球形包围盒的球心为(xoj,yoj,zoj),半径为Rj;物体i的点云坐标记为(xi,yi,zi);机器人末端执行器的点云坐标记为(xj,yj,zj);根据两个球形包围盒的球心距离D判断是否发生碰撞:
53)在两球形包围盒相交部分的中心点处,取一个将该相交部分包含在内的长方体包围盒区域,记为检测区域,并对在该检测区域内的物体i和机器人末端执行器的点进行碰撞检测;
54)对检测区域内的点,按切片法进行碰撞检测,且从长方体检测区域的中心位置开始往上下两边选择切面进行检测,切面为平面且其上的点的坐标相同;对切面上的点先建立平行于X、Y轴的两个分别包围物体i的点和机器人末端执行器的点的矩形包围盒,这两个矩形包围盒的特征点坐标分别为(xi,min,yi,min)、(xi,max,yi,max)、(xj,min,yj,min)和(xj,max,yj,max);先判断两矩形包围盒包围盒是否相交,即yi,min>yj,max或yj,min>yi,max是否成立,若有一个成立,则该切面的点不发生碰撞,继续检测下一个切面;都不成立则继续检测xi,min>xj,max或xj,min>xi,max是否成立,若有一个成立,则该切面的点不发生碰撞,继续检测下一个切面;都不成立则继续55);
55)取两个矩形包围盒相交区域里的物体i对应的三维点云模型的点和机器人末端执行器对应的三维点云模型的点进行碰撞检测;取yi=yj的点进行比较,若xoj>xoi,则进行步骤56);若xoj<xoi,则进行步骤57);
56)若xj>xi,则该点不发生碰撞,进行下一点的碰撞检测;若xj≤xi,则发生碰撞,将碰撞检测结果发送给避障模块;
57)若xi>xj,则该点不发生碰撞,进行下一点的碰撞检测;若xi≤xj,则发生碰撞,将碰撞检测结果发送给避障模块;
58)碰撞检测结束,反馈检测结果。
10.一种机器人,其特征在于,包括根据权利要求1-5中任一项所述的机器人的碰撞检测装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111655419.7A CN114299039B (zh) | 2021-12-30 | 2021-12-30 | 一种机器人及其碰撞检测装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111655419.7A CN114299039B (zh) | 2021-12-30 | 2021-12-30 | 一种机器人及其碰撞检测装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114299039A true CN114299039A (zh) | 2022-04-08 |
| CN114299039B CN114299039B (zh) | 2022-08-19 |
Family
ID=80974191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111655419.7A Active CN114299039B (zh) | 2021-12-30 | 2021-12-30 | 一种机器人及其碰撞检测装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299039B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116352756A (zh) * | 2022-11-25 | 2023-06-30 | 威凯检测技术有限公司 | 室内场景智能服务机器人避障功能检测系统及检测方法 |
| CN117162098A (zh) * | 2023-10-07 | 2023-12-05 | 合肥市普适数孪科技有限公司 | 一种狭小空间机器人姿态自主规划系统及方法 |
| CN119379798A (zh) * | 2024-12-27 | 2025-01-28 | 广州富唯智能科技有限公司 | 一种工件抓取碰撞干涉检测方法、系统及存储介质 |
| CN120307307A (zh) * | 2025-06-17 | 2025-07-15 | 浙江工业大学 | 一种机器人无序抓取的点云碰撞检测方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341825A (zh) * | 2017-07-06 | 2017-11-10 | 西南科技大学 | 一种用于大场景高精度三维激光测量点云数据的简化方法 |
| CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
| US20200164521A1 (en) * | 2018-11-27 | 2020-05-28 | Cloudminds (Beijing) Technologies Co., Ltd. | Positioning and navigation method for a robot, and computing device thereof |
| CN111982127A (zh) * | 2020-08-31 | 2020-11-24 | 华通科技有限公司 | LightWeight-3D避障方法 |
| WO2021238617A1 (zh) * | 2020-05-28 | 2021-12-02 | 中国科学院宁波材料技术与工程研究所 | 工业机器人绝对精度标定系统及标定方法 |
-
2021
- 2021-12-30 CN CN202111655419.7A patent/CN114299039B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341825A (zh) * | 2017-07-06 | 2017-11-10 | 西南科技大学 | 一种用于大场景高精度三维激光测量点云数据的简化方法 |
| US20200164521A1 (en) * | 2018-11-27 | 2020-05-28 | Cloudminds (Beijing) Technologies Co., Ltd. | Positioning and navigation method for a robot, and computing device thereof |
| CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
| WO2021238617A1 (zh) * | 2020-05-28 | 2021-12-02 | 中国科学院宁波材料技术与工程研究所 | 工业机器人绝对精度标定系统及标定方法 |
| CN111982127A (zh) * | 2020-08-31 | 2020-11-24 | 华通科技有限公司 | LightWeight-3D避障方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHAOXIA SHI,ET AL.: "A local obstacle avoidance method for mobile robots in partially known environment", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 * |
| 丁超 等: "基于关节转角偏差对机器人末端位置精度的研究", 《微纳电子与智能制造》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116352756A (zh) * | 2022-11-25 | 2023-06-30 | 威凯检测技术有限公司 | 室内场景智能服务机器人避障功能检测系统及检测方法 |
| CN117162098A (zh) * | 2023-10-07 | 2023-12-05 | 合肥市普适数孪科技有限公司 | 一种狭小空间机器人姿态自主规划系统及方法 |
| CN117162098B (zh) * | 2023-10-07 | 2024-05-03 | 合肥市普适数孪科技有限公司 | 一种狭小空间机器人姿态自主规划系统及方法 |
| CN119379798A (zh) * | 2024-12-27 | 2025-01-28 | 广州富唯智能科技有限公司 | 一种工件抓取碰撞干涉检测方法、系统及存储介质 |
| CN119379798B (zh) * | 2024-12-27 | 2025-04-04 | 广州富唯智能科技有限公司 | 一种工件抓取碰撞干涉检测方法、系统及存储介质 |
| CN120307307A (zh) * | 2025-06-17 | 2025-07-15 | 浙江工业大学 | 一种机器人无序抓取的点云碰撞检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114299039B (zh) | 2022-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114299039B (zh) | 一种机器人及其碰撞检测装置和方法 | |
| CN108838991B (zh) | 一种自主类人双臂机器人及其对运动目标的跟踪操作系统 | |
| CN110253570B (zh) | 基于视觉的工业机械臂人机安全系统 | |
| CN108972549B (zh) | 基于Kinect深度摄像头的工业机械臂实时避障规划抓取系统 | |
| CN103170973B (zh) | 人机协作装置及实现人机协作的方法 | |
| CN107914272B (zh) | 一种七自由度机械臂组件抓取目标物体的方法 | |
| CN105137973B (zh) | 一种人机协作场景下的机器人智能躲避人类方法 | |
| CN111496770A (zh) | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 | |
| CN110045740A (zh) | 一种基于人类行为模拟的移动机器人实时运动规划方法 | |
| CN110378937A (zh) | 基于Kinect摄像头的工业机械臂人机安全距离检测方法 | |
| CN112757274B (zh) | 一种面向人机协同操作的动力学融合行为安全算法及系统 | |
| CN119458364A (zh) | 一种基于三维视觉的人形机器人抓取方法 | |
| CN114888768A (zh) | 一种基于多传感器融合的移动双工业机器人协同抓取系统及方法 | |
| CN116833999A (zh) | 一种机器人远程控制系统和方法 | |
| CN114800524A (zh) | 一种人机交互协作机器人主动避碰的系统及方法 | |
| CN205537632U (zh) | 一种混凝土泵车臂架防碰撞系统 | |
| Han et al. | Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning | |
| Yang et al. | Visual servoing control of baxter robot arms with obstacle avoidance using kinematic redundancy | |
| CN116175582A (zh) | 一种基于机器视觉的智能机械臂操控系统及控制方法 | |
| CN116423518A (zh) | 一种基于视觉的协作机器人安全控制技术 | |
| CN111702787A (zh) | 人机协作控制系统及控制方法 | |
| CN113510699A (zh) | 一种基于改进蚁群优化算法的机械臂运动轨迹规划方法 | |
| CN116100562B (zh) | 多机器人协同上下料的视觉引导方法及系统 | |
| CN115556102B (zh) | 一种基于视觉识别的机器人分拣规划方法及规划设备 | |
| CN107363831B (zh) | 基于视觉的遥操作机器人控制系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |