[go: up one dir, main page]

CN102814814B - 一种双臂机器人基于Kinect的人机交互方法 - Google Patents

一种双臂机器人基于Kinect的人机交互方法 Download PDF

Info

Publication number
CN102814814B
CN102814814B CN201210267315.3A CN201210267315A CN102814814B CN 102814814 B CN102814814 B CN 102814814B CN 201210267315 A CN201210267315 A CN 201210267315A CN 102814814 B CN102814814 B CN 102814814B
Authority
CN
China
Prior art keywords
arm
robot
msubsup
mrow
robot hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210267315.3A
Other languages
English (en)
Other versions
CN102814814A (zh
Inventor
张平
杜广龙
李泽玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201210267315.3A priority Critical patent/CN102814814B/zh
Publication of CN102814814A publication Critical patent/CN102814814A/zh
Application granted granted Critical
Publication of CN102814814B publication Critical patent/CN102814814B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)

Abstract

本发明公开了一种不接触的双臂机器人基于Kinect的人机交互方法,它允许操作者通过自然的人手三维动作控制六自由度虚拟机器人来完成操作任务;该发明基于视觉的人机交互来帮助操作者控制机器人、了解机器人动作和周围环境。该发明实现了基于视觉引导的半自主共享控制,而视觉引导的半自主共享控制则使得具有目标抓取任务的末端执行器获得了更精确的位置和范围,使得抓取更精确。

Description

一种双臂机器人基于Kinect的人机交互方法
技术领域
本发明涉及人机交互技术领域,特别涉及一种双臂机器人基于Kinect的人机交互方法。
背景技术
当人类不适合出现在机器人现场时,在非结构化动态环境中利用操作员操纵远程机器人是十分必要的。
为达成目标操作任务,遥操作使用的机械和其他接触接口需要不自然的人类动作,它们往往会妨碍人体动作。
现有的基于视觉的人机交换方式要么只用到人手的少数自由度,要么需要操作者做大幅度运动,操作起来非常费力。
通常使用的遥操作机械式人机接口包括了多种操作员佩戴的装置,比如骨骼式机械装置,工具手套,电磁或惯性动作跟踪传感器,或者肌电灵敏度传感器。然而,这些佩戴的装置,传感器还有它们的连线可能妨碍操作员灵活的动作。其他接触式的接口比如仿机器人机械手,转盘,摇杆,电脑鼠标和计算机图形界面等都需要操作员不自然的动作或者需要操作者学习如何操作。基于视觉的交互技术使用了手势识别和语音识别结合的控制方式,它允许操作者更自然直观的给出命令而没有物理装置上的限制。然而在这种控制下,被控的机器人的动作都是由一些简单的命令组成,比如确定末端执行器的位置和方位,抓取还有一系列更小的任务如上移下移,旋转,暂停,继续还有改变操作的模式。当要求的机器人操作器动作的复杂度比较高的时候,这个技术都会难以操作。单摄像头的手部动作跟踪已经被应用在机器人遥操作和遥操作的模拟上。然而,动作命令只局限在真正的末端执行器自由度的子集里。此外,那些与特定的操作任务无关的手势被用来改变机器人的操作模式,所以这些都造成了操作任务的交流不自然。理想地,一种自然的不用将复杂的任务分解为有限指令和没有接触式物理装置限制的方法被人们所需要。
发明内容
本发明的发明目的是针对现有人机交互方法的技术不足,提供一种双臂机器人基于Kinect的人机交互方法。
为实现上述发明目的,本发明采用的技术方案为:
提供一种双臂机器人基于Kinect的人机交互方法,其中,Kinect为3D体感摄影机;包括以下步骤:
S1、通过3D体感摄影机对操作者的手臂建立坐标系;
S2、通过计算机对操作者的手臂图像进行骨架提取;
S3、通过包含了手臂的图像分析确定食指和拇指的位置;
S4、使用临界阻尼振动模型解决突变问题;
S5、使用过阻尼振动模型进行抖动处理。
优选地,所述步骤S1包括:
S11、首先建立基本坐标系,标定食指尖,拇指尖,食指尖和拇指尖之间的部位还有上手臂的位置。
优选地,所述步骤S2包括以下步骤:
S21、使用Kinect获取深度图像,对深度图像进行骨架提取。
优选地,所述步骤S3包括以下步骤:
S31、设操作者的手臂映射点为P,其中,不同的部位标注为P1~PN;首先建立手掌包围盒:先连接P4与P5得到连线P45;然后以P5为底面中心点,连线P45为中心轴;建立一个长为L,宽为W,高为H的手掌包围盒B;通过统计发现,该手掌包围盒B若要将手掌包围其中;L,W和H的取值如下:
L = 4 5 | P 45 | W = 3 5 | P 45 | H = 2 5 | P 45 | - - - ( 1 ) ; 其中,|P45|为线段P45的长度;
S32、对手掌包围盒B中的所有点B’,计算其到P5之间的距离,则B2点为包围盒B中离P5最远的点:
B 2 = max p ∈ B ′ | | P - P 5 | | - - - ( 2 ) ;
S33、连接P5与B2得到连线PB,对于包围盒B中的所有点B’,计算其到连线PB的距离,则B1点为包围盒B中离连线PB最远的点:
B 1 = max p ∈ B ′ | | P - PB | | - - - ( 3 )
S34、选取人体手臂关节点作为参考点,在左胳膊点上建立左参考系 在右胳膊点上建立右参考系
则P8相对于左参考系的坐标为:P′8=P8-P6  (4);
P5相对于右参考系的坐标为:P′5=P5-P3  (5);
S35、左手到左机器人运动空间映射点的计算;右手到右机器人运动空间映射点的计算;
其中,设左手相对于左肩膀的运动空间为: W LH 1 < x < W LH 2 , H LH 1 < y < H LH 2 , L LH 1 < z < L LH 2 ; 左机器人的运动空间为: W LR 1 < x < W LR 2 , H LR 1 < y < H LR 2 , L LR 1 < z < L LR 2 ; 则左手到左机器人运动空间映射点为:
R x L = ( P 8 _ x &prime; - W LH 1 ) ( W LH 2 - W LH 1 ) &CenterDot; ( W LR 2 - W LR 1 ) + W LR 1 R y L = ( P 8 _ y &prime; - H LH 1 ) ( H LH 2 - H LH 1 ) &CenterDot; ( H LR 2 - H LR 1 ) + H LR 1 R z L = ( P 8 _ z &prime; - L LH 1 ) ( L LH 2 - L LH 1 ) &CenterDot; ( L LR 2 - L LR 1 ) + L LR 1 - - - ( 6 ) ;
其中,设右手相对于右肩膀的运动空间为: W RH 1 < x < W RH 2 , H RH 1 < y < H RH 2 , L RH 1 < z < L RH 2 , 右机器人的运动空间为: W RR 1 < x < W RR 2 , H RR 1 < y < H RR 2 , L RR 1 < z < L RR 2 ; 则右手到右机器人运动空间映射点为:
R x R = ( P 8 _ x &prime; - W RH 1 ) ( W RH 2 - W RH 1 ) &CenterDot; ( W RR 2 - W RR 1 ) + W RR 1 R y R = ( P 8 _ y &prime; - H RH 1 ) ( H RH 2 - H RH 1 ) &CenterDot; ( H RR 2 - H RR 1 ) + H RR 1 R z R = ( P 8 _ z &prime; - L RH 1 ) ( L RH 2 - L RH 1 ) &CenterDot; ( L RR 2 - L RR 1 ) + L RR 1 - - - ( 7 ) ;
其中,P8'_x为坐标P8'的x分量,P8'_y为坐标P8'的y分量,P8'_z为坐标P8'的z分量。
优选地,所述步骤S4包括以下步骤:
S41、在手臂映射点P与机器手末端E之间虚拟弹性力F,并虚拟机器手末端质量为M;手臂映射点P位置并不是直接等同于机器手末端E,而是通过弹性力F来拉拢;其中,手臂映射点P作为驱动源,机器手末端E作为被驱动对象,弹性力F作用于机器手末端E上使得机器手末端E趋向手臂映射点P;弹性力F满足以下关系:
F = k * D D < &tau; 0 D &GreaterEqual; &tau; - - - ( 8 ) ;
其中,K为胡克系数,τ为弹性力F的作用范围半径,D为手臂映射点与机器手末端E的距离;当手臂映射点与机器手末端的距离超过τ时,则机器手末端不再受到弹性力F牵引;故当出现人体手臂关节点提取失败或错误的时候,人体手臂关节点前后位置出现突变,导致手臂映射点P也发生突变现象;此时,手臂映射点P与机器手末端E的距离必定大于τ,弹性力F为0,则机器手末端E不再受手臂映射点P牵引,从而过滤了人体手臂关节点提取失败或错误带来的突变影响;
S42、若弹性力F为0时,机器手末端E继续运动,则会导致系统不可控;为防止上述情况,在机器手末端E虚拟阻力μ,阻力μ满足如下关系:
&mu; = &gamma;D D < &tau; + &infin; D &GreaterEqual; &tau; - - - ( 9 ) ; 其中,γ为阻尼系数,
当机器手末端E与手臂映射点P的距离小于τ时,阻力μ与两点的相对速度v成正比;v为0时,机器手末端E停止靠近手臂映射点P;当机器手末端E与手臂映射点P的距离大于τ时,阻力为无穷大,机器手末端马上停止运动;则此时的动力学方程为:
mD=-kD-γD(10);其中,
S43、设采样时间为△t;为了让机器手末端E在每个采样时间内达到手臂映射点P,则令ω2=β2,此时距离函数为:
D(t)=(C1+C2t)e-βt  (11);
其中,C1,C2为积分常数,此时机器手末端E不会做周期运动,在一个采样时间内回到平衡位置,即手臂映射点。
优选地,所述步骤S4中,当D>τ时,认为人体手臂关节点提取失败导致人体手臂关节点位置发生突变现象,此时机器手末端E所受的牵引力为0,而由于阻力无穷大,此时机器手末端E立刻停止运动;当D≤τ时,此时机器人控制系统为一个临界阻尼振动。
优选地,所述步骤S5使用了过阻尼振动模型;过阻尼振动模型为:当手臂映射点P在机器手末端E振动时,手臂映射点P对机器手末端E产生的引力不足以抵消机器手末端E受到的阻力,从而不能驱动机器手末端E运动,
设ω22时,此时距离函数为:
D ( t ) = C 1 e - ( &beta; - &beta; 2 - &omega; 2 ) t + C 2 e - ( &beta; + &beta; 2 - &omega; 2 ) t - - - ( 12 ) ;
其中,C1,C2为积分常数,由初始条件决定;这种情况为过阻尼振动,无振动发生;从而消除抖动现象。
本发明相对于现有技术,具有以下有益效果:Kinect是一种3D体感摄影机(开发代号“Project Natal”),同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。本发明提出了一种不接触的双臂机器人基于Kinect的人机交互方法,它允许操作者通过自然的人手三维动作控制六自由度虚拟机器人来完成操作任务;该范明基于视觉的人机交互来帮助操作者控制机器人、了解机器人动作和周围环境。该发明实现了基于视觉引导的半自主共享控制,而视觉引导的半自主共享控制则使得具有目标抓取任务的末端执行器获得了更精确的位置和范围,使得抓取更精确。
附图说明
图1人体手臂关节点示意图;
图2为左手坐标系建模图;
图3为右手坐标系建模图。
具体实施方式
下面结合附图和具体实施例对本发明的发明目的作进一步详细地描述,实施例不能在此一一赘述,但本发明的实施方式并不因此限定于以下实施例。除非特别说明,本发明采用的材料和加工方法为本技术领域常规材料和加工方法。
本发明提供一种双臂机器人基于Kinect的人机交互方法,其中,Kinect为3D体感摄影机;包括以下步骤:
S1、通过3D体感摄影机对操作者的手臂建立坐标系;
S2、通过计算机对操作者的手臂图像进行骨架提取;
S3、通过包含了手臂的图像分析确定食指和拇指的位置;
S4、使用临界阻尼振动模型解决突变问题;
S5、使用过阻尼振动模型进行抖动处理。
步骤S1中首先建立了一个基本的Kinect坐标系,目标是标定食指尖(I),拇指尖(T),食指尖和拇指尖之间的部位(B)还有上手臂(U)的位置。
步骤S2使用Kinect获取的深度图像进行骨架提取,如图1。
所述步骤S3包括以下步骤:
S31、首先需要建立的是手掌包围盒:连接P4与P5得到连线P45,然后以P5为底面中心点,连线P45为中心轴,建立一个长为L,宽为W,高为H的手掌包围盒B;如图2和3所示;该手掌包围盒B可以把手掌包围其中,通过统计发现,L,W和H只需要取以下值就可以使得手掌包围盒包围手掌:
L = 4 5 | P 45 | W = 3 5 | P 45 | H = 2 5 | P 45 | - - - ( 1 ) ; 其中,|P45|为线段P45的长度。
S32、对包围盒B中的所有点B’,计算其到P5之间的距离,则B2点为包围盒B中离P5最远的点:
B 2 = max p &Element; B &prime; | | P - P 5 | | - - - ( 2 ) ;
S33、连接P5与B2得到连线PB,对于包围盒B中的所有点B’,计算其到连线PB的距离,则B1点为包围盒B中离连线PB最远的点:
B 1 = max p &Element; B &prime; | | P - PB | | - - - ( 3 )
S34、选取人体手臂关节点作为参考点,在左胳膊点上建立左参考系 在右胳膊点上建立右参考系
则P8相对于左参考系的坐标为:P′8=P8-P6  (4);
则P5相对于右参考系的坐标为:P′5=P5-P3  (5)。
S35、设左手相对于左肩膀的运动空间为: W LH 1 < x < W LH 2 , H LH 1 < y < H LH 2 , L LH 1 < z < L LH 2 ; 右手相对于右肩膀的运动空间为: W RH 1 < x < W RH 2 , H RH 1 < y < H RH 2 , L RH 1 < z < L RH 2 , 左机器人的运动空间为: W LR 1 < x < W LR 2 , H LR 1 < y < H LR 2 , L LR 1 < z < L LR 2 ; 右机器人的运动空间为: W RR 1 < x < W RR 2 , H RR 1 < y < H RR 2 , L RR 1 < z < L RR 2 ;
则左手到左机器人运动空间映射点为:
R x L = ( P 8 _ x &prime; - W LH 1 ) ( W LH 2 - W LH 1 ) &CenterDot; ( W LR 2 - W LR 1 ) + W LR 1 R y L = ( P 8 _ y &prime; - H LH 1 ) ( H LH 2 - H LH 1 ) &CenterDot; ( H LR 2 - H LR 1 ) + H LR 1 R z L = ( P 8 _ z &prime; - L LH 1 ) ( L LH 2 - L LH 1 ) &CenterDot; ( L LR 2 - L LR 1 ) + L LR 1 - - - ( 6 ) ;
则右手到右机器人运动空间映射点为:
R x R = ( P 8 _ x &prime; - W RH 1 ) ( W RH 2 - W RH 1 ) &CenterDot; ( W RR 2 - W RR 1 ) + W RR 1 R y R = ( P 8 _ y &prime; - H RH 1 ) ( H RH 2 - H RH 1 ) &CenterDot; ( H RR 2 - H RR 1 ) + H RR 1 R z R = ( P 8 _ z &prime; - L RH 1 ) ( L RH 2 - L RH 1 ) &CenterDot; ( L RR 2 - L RR 1 ) + L RR 1 - - - ( 7 ) ;
其中,P8'_x为坐标P8'的x分量,P8'_y为坐标P8'的y分量,P8'_z为坐标P8'的z分量。
所述步骤S4包括以下步骤:
S41、在手臂映射点P与机器手末端E之间虚拟弹性力F,并虚拟机器手末端质量为M,人手映射点P位置并不是直接等同于机器手末端E,而是通过弹性力F来拉拢;人手的映射点P作为驱动源,机器手末端E作为被驱动对象,弹性力F作用于机器手末端E上使得机器手末端E趋向人手的映射点P。弹性力F满足以下关系: F = k * D D < &tau; 0 D &GreaterEqual; &tau; - - - ( 8 ) ;
其中,K为胡克系数,τ为作用力范围半径,D为人手的映射点与机器手末端的距离,当人手的映射点与机器手末端的距离超过τ时,则机器手末端不再受到弹性力牵引,类似于弹簧伸展的长度超过极限断开。故当出现人体手臂关节点提取失败或错误的时候,人体手臂关节点前后位置出现突变,导致手臂映射点P也发生突变现象,此时手臂映射点P与机器手末端E的距离必定大于τ,弹性力为0,则机器手末端不再受手臂映射点牵引,从而过滤了人体手臂关节点提取失败或错误带来的突变影响。
S42、当机器手末端E非常靠近手臂映射点或机器手末端与手臂映射点的距离大于τ时,弹性力基本为0,而此时机器手末端具有一定的速度,如果不受其他力的影响,机器手末端会继续朝某个方向不断的运动,导致系统不可控。
为了解决这个问题,本文对机器手末端在运动时施加虚拟阻力μ,阻力μ满足一下情况: &mu; = &gamma;D D < &tau; + &infin; D &GreaterEqual; &tau; - - - ( 9 ) ; 其中γ为阻尼系数,当机器手末端E与手臂映射点P的距离小于τ时,阻力与两点的相对速度v成正比,机器手末端E靠近手臂映射点到一定程度后会停止靠近;当机器手末端E与手臂映射点P的距离大于τ时,阻力为无穷大,机器手末端马上停止运动;此时的动力学方程为:mD=-kD-γD(10);其中,
S43、令为了让机器手末端E在每个采样时间内达到手臂映射点P,则令ω2=β2,此时距离函数为:D(t)=(C1+C2t)e-βt(11)
其中C1,C2为积分常数,此时机器手末端不会做周期运动,在一个采样时间内回到平衡位置(手臂映射点)。
S44、假设算法的采样时间为△t,机器手末端E与手臂映射点P的距离大小为D,则当D>τ时,认为人体手臂关节点提取失败导致人体手臂关节点位置发生突变现象,此时机器手末端E所受的牵引力为0,而由于阻力无穷大,则认为此时机器手末端E立刻停止运动。当D≤τ时,此时系统为一个临界阻尼振动。
所述步骤S5使用了过阻尼振动模型。当手臂映射点P在机器手末端E的小范围内振动时,手臂映射点P对机器手末端E产生的引力不足以抵消机器手末端E受到的阻力,从而不能驱动机器手末端E运动.这就是过阻尼振动模型。令ω22时,此时算法模型为过阻尼振动模型,距离函数为:
D ( t ) = C 1 e - ( &beta; - &beta; 2 - &omega; 2 ) t + C 2 e - ( &beta; + &beta; 2 - &omega; 2 ) t - - - ( 12 ) ;
其中C1,C2为积分常数,由初始条件来决定。这种情况为过阻尼振动,无振动发生;从而消除抖动现象。
上述实施例仅为本发明的较佳实施例,并非用来限定本发明的实施范围。即凡依本发明内容所作的均等变化与修饰,都为本发明权利要求所要求保护的范围所涵盖。

Claims (4)

1.一种双臂机器人基于Kinect的人机交互方法,其中,Kinect为3D体感摄影机;其特征在于包括以下步骤:
S1、通过3D体感摄影机对操作者的手臂建立坐标系;
S2、通过计算机对操作者的手臂图像进行骨架提取;
S3、通过包含了手臂的图像分析确定食指和拇指的位置;
S4、使用临界阻尼振动模型解决突变问题;
S5、使用过阻尼振动模型进行抖动处理;
所述步骤S1包括:
S11、首先建立基本坐标系,标定食指尖,拇指尖,食指尖和拇指尖之间的部位还有上手臂的位置;
所述步骤S2包括以下步骤:
S21、使用Kinect获取深度图像,对深度图像进行骨架提取;
所述步骤S3包括以下步骤:
S31、设操作者的手臂映射点为P,其中,不同的部位标注为P1~PN;首先建立手掌包围盒:先连接P4与P5得到连线P45;然后以P5为底面中心点,连线P45为中心轴;建立一个长为L,宽为W,高为H的手掌包围盒B;通过统计发现,该手掌包围盒B若要将手掌包围其中;L,W和H的取值如下:
L = 4 5 | P 45 | W = 3 5 | P 45 | H = 2 5 | P 45 | - - - ( 1 ) ; 其中,|P45|为线段P45的长度;
S32、对手掌包围盒B中的所有点B’,计算其到P5之间的距离,则B2点为包围盒B中离P5最远的点:
B 2 = max p &Element; B &prime; | | P - P 5 | | - - - ( 2 ) ;
S33、连接P5与B2得到连线PB,对于包围盒B中的所有点B’,计算其到连线PB的距离,则B1点为包围盒B中离连线PB最远的点:
B 1 = max p &Element; B &prime; | | P - PB | | - - - ( 3 ) ;
S34、选取人体手臂关节点作为参考点,在左胳膊点上建立左参考系 在右胳膊点上建立右参考系
则P8相对于左参考系的坐标为:P′8=P8-P6   (4);
P5相对于右参考系的坐标为:P′5=P5-P3   (5);
S35、左手到左机器人运动空间映射点的计算;右手到右机器人运动空间映射点的计算;
其中,设左手相对于左肩膀的运动空间为: L LH 1 < z < L LH 2 ; 左机器人的运动空间为: W LR 1 < x < W LR 2 , H LR 1 < y < H LR 2 , L LR 1 < z < L LR 2 ; 则左手到左机器人运动空间映射点为:
R x L = ( P 8 _ x &prime; - W LH 1 ) ( W LH 2 - W LH 1 ) &CenterDot; ( W LR 2 - W LR 1 ) + W LR 1 R y L = ( P 8 _ y &prime; - H LH 1 ) ( H LH 2 - H LH 1 ) &CenterDot; ( H LR 2 - H LR 1 ) + H LR 1 R z L = ( P 8 _ z &prime; - L LH 1 ) ( L LH 2 - L LH 1 ) &CenterDot; ( L LR 2 - L LR 1 ) + L LR 1 - - - ( 6 ) ;
其中,设右手相对于右肩膀的运动空间为: L RH 1 < z < L RH 2 , 右机器人的运动空间为: W RR 1 < x < W RR 2 , H RR 1 < y < H RR 2 , L RR 1 < z < L RR 2 ; 则右手到右机器人运动空间映射点为:
R x R = ( P 8 _ x &prime; - W RH 1 ) ( W RH 2 - W RH 1 ) &CenterDot; ( W RR 2 - W RR 1 ) + W RR 1 R y R = ( P 8 _ y &prime; - H RH 1 ) ( H RH 2 - H RH 1 ) &CenterDot; ( H RR 2 - H RR 1 ) + H RR 1 R z R = ( P 8 _ z &prime; - L RH 1 ) ( L RH 2 - L RH 1 ) &CenterDot; ( L RR 2 - L RR 1 ) + L RR 1 - - - ( 7 ) ;
其中,P′8_x为坐标P′8的x分量,P′8_y为坐标P′8的y分量,P′8_z为坐标P′8的z分量。
2.根据权利要求1所述的双臂机器人基于Kinect的人机交互方法,其特征在于:所述步骤S4包括以下步骤:
S41、在手臂映射点P与机器手末端E之间虚拟弹性力F,并虚拟机器手末端质量为M;手臂映射点P位置并不是直接等同于机器手末端E,而是通过弹性力F来拉拢;其中,手臂映射点P作为驱动源,机器手末端E作为被驱动对象,弹性力F作用于机器手末端E上使得机器手末端E趋向手臂映射点P;弹性力F满足以下关系:
F = k * D D < &tau; 0 D &GreaterEqual; &tau; - - - ( 8 ) ;
其中,k为胡克系数,τ为弹性力F的作用范围半径,D为手臂映射点与机器手末端E的距离;当手臂映射点与机器手末端的距离超过τ时,则机器手末端不再受到弹性力F牵引;故当出现人体手臂关节点提取失败或错误的时候,人体手臂关节点前后位置出现突变,导致手臂映射点P也发生突变现象;此时,手臂映射点P与机器手末端E的距离必定大于τ,弹性力F为0,则机器手末端E不再受手臂映射点P牵引,从而过滤了人体手臂关节点提取失败或错误带来的突变影响;
S42、若弹性力F为0时,机器手末端E继续运动,则会导致系统不可控;为防止上述情况,在机器手末端E虚拟阻力μ,阻力μ满足如下关系:
&mu; = &gamma;D D < &tau; + &infin; D &GreaterEqual; &tau; - - - ( 9 ) ; 其中,γ为阻尼系数, D = dD dt ;
当机器手末端E与手臂映射点P的距离小于τ时,阻力μ与两点的相对速度v成正比;v为0时,机器手末端E停止靠近手臂映射点P;当机器手末端E与手臂映射点P的距离大于τ时,阻力为无穷大,机器手末端马上停止运动;则此时的动力学方程为:
mD=-kD-γD   (10);其中,
S43、设 采样时间为Δt;为了让机器手末端E在每个采样时间内达到手臂映射点P,则令ω2=β2,此时距离函数为:
D(t)=(C1+C2t)e-βt   (11);
其中,C1,C2为积分常数,此时机器手末端E不会做周期运动,在一个采样时间内回到平衡位置,即手臂映射点。
3.根据权利要求2所述的双臂机器人基于Kinect的人机交互方法,其特征在于:所述步骤S4中,当D>τ时,认为人体手臂关节点提取失败导致人体手臂关节点位置发生突变现象,此时机器手末端E所受的牵引力为0,而由于阻力无穷大,此时机器手末端E立刻停止运动;当D≤τ时,此时机器人控制系统处于临界阻尼振动模型。
4.根据权利要求2所述的双臂机器人基于Kinect的人机交互方法,其特征在于:所述步骤S5使用了过阻尼振动模型;过阻尼振动模型为:当手臂映射点P在机器手末端E振动时,手臂映射点P对机器手末端E产生的引力不足以抵消机器手末端E受到的阻力,从而不能驱动机器手末端E运动,
设ω22时,此时距离函数为:
D ( t ) = C 1 e - ( &beta; - &beta; 2 - &omega; 2 ) t + C 2 e - ( &beta; + &beta; 2 - &omega; 2 ) t - - - ( 12 ) ;
其中,C1,C2为积分常数,由初始条件决定;这种情况为过阻尼振动,无振动发生;从而消除抖动现象。
CN201210267315.3A 2012-07-31 2012-07-31 一种双臂机器人基于Kinect的人机交互方法 Expired - Fee Related CN102814814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210267315.3A CN102814814B (zh) 2012-07-31 2012-07-31 一种双臂机器人基于Kinect的人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210267315.3A CN102814814B (zh) 2012-07-31 2012-07-31 一种双臂机器人基于Kinect的人机交互方法

Publications (2)

Publication Number Publication Date
CN102814814A CN102814814A (zh) 2012-12-12
CN102814814B true CN102814814B (zh) 2015-07-01

Family

ID=47299436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210267315.3A Expired - Fee Related CN102814814B (zh) 2012-07-31 2012-07-31 一种双臂机器人基于Kinect的人机交互方法

Country Status (1)

Country Link
CN (1) CN102814814B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103112007B (zh) * 2013-02-06 2015-10-28 华南理工大学 基于混合传感器的人机交互方法
US9607612B2 (en) * 2013-05-20 2017-03-28 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
CN103279206A (zh) * 2013-06-15 2013-09-04 苏州时运机器人有限公司 一种具有手势感测示教器的机器人控制系统
CN103386683B (zh) * 2013-07-31 2015-04-08 哈尔滨工程大学 一种基于Kinect的体感控制机械臂方法
CN103398702B (zh) * 2013-08-05 2015-08-19 青岛海通机器人系统有限公司 一种移动机器人远程操控装置及其操控技术
CN103440037B (zh) * 2013-08-21 2017-02-08 中国人民解放军第二炮兵工程大学 一种基于有限输入信息的虚拟人体运动实时交互控制方法
CN104308844A (zh) * 2014-08-25 2015-01-28 中国石油大学(华东) 一种五指仿生机械手的体感控制方法
CN104440926A (zh) * 2014-12-09 2015-03-25 重庆邮电大学 一种基于Kinect的机械臂体感远程控制方法及系统
CN104680525B (zh) * 2015-02-12 2017-05-10 南通大学 基于Kinect深度图像的人体摔倒自动检测方法
CN104850120B (zh) * 2015-03-19 2017-11-10 武汉科技大学 基于ihdr自主学习框架的轮式移动机器人导航方法
CN105291138B (zh) * 2015-11-26 2017-10-20 华南理工大学 一种增强虚拟现实浸入感的视觉反馈平台
CN105719279B (zh) * 2016-01-15 2018-07-13 上海交通大学 基于椭圆柱的人体躯干建模及手臂区域分割和手臂骨架提取方法
CN105904457B (zh) * 2016-05-16 2018-03-06 西北工业大学 一种基于位置跟踪器及数据手套的异构型冗余机械臂控制方法
CN105943163A (zh) * 2016-06-27 2016-09-21 重庆金山科技(集团)有限公司 微创手术机器人及其控制装置
CN106774896B (zh) * 2016-12-19 2018-03-13 吉林大学 一种坐式手工装配线模特值评测系统
CN106644090B (zh) * 2016-12-29 2020-05-22 中南大学 一种基于kinect的求职仪态测试方法及其系统
CN107030692B (zh) * 2017-03-28 2020-01-07 浙江大学 一种基于感知增强的机械手遥操作方法及系统
CN106971050B (zh) * 2017-04-18 2020-04-28 华南理工大学 一种基于Kinect的Darwin机器人关节映射解析方法
CN107272593A (zh) * 2017-05-23 2017-10-20 陕西科技大学 一种基于Kinect的机器人体感编程方法
CN107199566B (zh) * 2017-06-02 2019-09-10 东南大学 一种基于虚拟手臂的面向空间站机器人的遥操作系统
CN107225573A (zh) * 2017-07-05 2017-10-03 上海未来伙伴机器人有限公司 机器人的动作控制方法和装置
CN108638069B (zh) * 2018-05-18 2021-07-20 南昌大学 一种机械臂末端精确运动控制方法
CN109108970B (zh) * 2018-08-22 2021-11-09 南通大学 一种基于骨骼节点信息的交互式机械臂控制方法
CN109330688B (zh) * 2018-12-10 2021-05-21 中山市环能缪特斯医疗器械科技有限公司 安全自检式内窥镜辅助机械手及其智能控制系统
CN115922692B (zh) * 2022-10-27 2024-08-30 西北工业大学 一种面向遥操作的人-机器人多模态交互方法
CN119260709B (zh) * 2024-09-27 2025-06-13 泰志达智能科技(苏州)有限公司 一种用于控制机器人的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8123622B1 (en) * 2011-06-03 2012-02-28 Nyko Technologies, Inc. Lens accessory for video game sensor device
CN102470530A (zh) * 2009-11-24 2012-05-23 株式会社丰田自动织机 生成机器人的教导数据的方法以及机器人教导系统
CN202257985U (zh) * 2011-10-27 2012-05-30 温萍萍 一种适用于孤独症儿童的互动影像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102470530A (zh) * 2009-11-24 2012-05-23 株式会社丰田自动织机 生成机器人的教导数据的方法以及机器人教导系统
US8123622B1 (en) * 2011-06-03 2012-02-28 Nyko Technologies, Inc. Lens accessory for video game sensor device
CN202257985U (zh) * 2011-10-27 2012-05-30 温萍萍 一种适用于孤独症儿童的互动影像装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Markerless Kinect-Based Hand Tracking for Robot Teleoperation;Guanglong Du et al.;《International Journal of Advanced Robotic Systems》;20120713;第9卷(第36期);第3页左栏及附图2 *
基于Kinect骨骼跟踪功能实现PC的手势控制;王明东;《漳州职业技术学院学报》;20120630;第14卷(第2期);全文 *
大型实时互动增强现实系统中的若干问题研究;姚争为;《中国博士学位论文全文数据库》;20110115;第54页 *

Also Published As

Publication number Publication date
CN102814814A (zh) 2012-12-12

Similar Documents

Publication Publication Date Title
CN102814814B (zh) 一种双臂机器人基于Kinect的人机交互方法
Naceri et al. Towards a virtual reality interface for remote robotic teleoperation
CN103112007B (zh) 基于混合传感器的人机交互方法
CN110385694B (zh) 机器人的动作示教装置、机器人系统以及机器人控制装置
US10919152B1 (en) Teleoperating of robots with tasks by mapping to human operator pose
Kamali et al. Real-time motion planning for robotic teleoperation using dynamic-goal deep reinforcement learning
Fritsche et al. First-person tele-operation of a humanoid robot
KR20230137334A (ko) 동적 사이트들에서의 로봇 자율성을 위한 시맨틱 모델들
KR102001214B1 (ko) 가상 현실 기반 양팔로봇 교시 장치 및 방법
CN115469576A (zh) 一种基于人-机械臂异构运动空间混合映射的遥操作系统
CN116802021A (zh) 基于对象的机器人控制
EP4263151A1 (en) Constrained manipulation of objects
Chen et al. A human–robot interface for mobile manipulator
Falck et al. DE VITO: A dual-arm, high degree-of-freedom, lightweight, inexpensive, passive upper-limb exoskeleton for robot teleoperation
Coppola et al. An affordable system for the teleoperation of dexterous robotic hands using leap motion hand tracking and vibrotactile feedback
Li et al. Neural learning and kalman filtering enhanced teaching by demonstration for a baxter robot
CN110877335A (zh) 一种基于混合滤波器自适应无标记机械臂轨迹跟踪方法
Grasshoff et al. 7dof hand and arm tracking for teleoperation of anthropomorphic robots
Tanzini et al. New interaction metaphors to control a hydraulic working machine's arm
Du et al. A novel natural mobile human-machine interaction method with augmented reality
Parga et al. Smartphone-based human machine interface with application to remote control of robot arm
Bai et al. Kinect-based hand tracking for first-person-perspective robotic arm teleoperation
Root et al. Research and development of a gesture-controlled robot manipulator system
Zhang et al. A markerless human-manipulators interface using multi-sensors
Huang et al. Human-like dexterous manipulation for the anthropomorphic hand-arm robotic system via teleoperation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150701