CN106598227A - 基于Leap Motion和Kinect的手势识别方法 - Google Patents

Abstract

本发明公开了一种基于Leap Motion和Kinect的手势识别方法，通过Leap Motion传感器获取指尖3D位置，手掌心位置以及手的方向信息，由这些信息计算出手指角度、手指尖到手掌心的距离以及手指尖的高度三种特征信息；同时利用Kinect传感器获取场景的深度信息和彩色信息，通过手部区域提取，随后获取圆形度、填充率、周长比这三种手势特征信息；融合Leap Motion和Kinect两个传感器获取的手势特征信息，对需要识别的每种手势采集若干样本构成训练样本集，利用这些样本集对SVM分类器进行训练；最后将需要识别的手势输入到训练好的SVM分类器中进而对手势进行识别。

Description

基于Leap Motion和Kinect的手势识别方法

技术领域

本发明属于人机交互技术领域，更为具体地讲，涉及一种基于Leap Motion和Kinect的手势识别方法。

背景技术

传统上来说，鼠标键盘这种经典的人机交互方式已经被使用了数十年，计算机交互的界面由黑白屏发展到了现在的各式各样更加人性化的彩色界面，计算机的功能也从早期的简单计算发展到现在的各式应用。随着计算机性能的不断提高，应用的不断更新，鼠标和键盘的交互方式已经开始限制人们的应用体验，人们需要一种更加自由更加方便的交互方式。基于手势的人机交互方式可以很好的满足这一个需求，所以对手势识别的研究就变的很有意义。

随着体感技术的发展和成熟，将体感技术应用于计算机输入领域已得以实现，为人类提供了更加舒适和自然的计算机输入方式。以前，自由手势研究大体分两种，一种是基于视觉的，一种是基于数据手套的，前者容易受光线、肤色等的干扰，对手部细节动作的实时重建很困难，后者对设备要求较高，而且需要实时戴着手套，很不方便。Kinect和LeapMotion虽然均为体感设备，但是前者精度低，对于手部的动作，细节信息不够，而LeapMotion的出现，弥补了前者的精度问题，而且它的设备小，成本低，扩展性强。

张云等人在专利《一种基于Leap Motion的非接触式计算机操控方法》中公开了一种基于Leap Motion的手势识别方法，徐昆等人在专利《手势识别方法及装置，以及一种Leap Motion体感控制系统》公开了一种手势识别方法及装置，以及一种Leap Motion体感控制系统，可以构建适用于Leap Motion的三维模型操作手势库，以及相应的手势识别方法，并提高三维操作中模型变换的连贯性和稳定性。钱世奇等人在专利《基于Kinect的手势识别智能家居控制方法及系统》公开了一种基于Kinect的手势识别智能家居控制方法及系统，通过Kinect摄像机采集出现在摄像头前的用户骨架关节信息数据，并对数据进行筛选进而利用采集到的手势对家居进行控制。但是基于Leap Motion和Kinect的手势识别方法目前还未见报道。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Leap Motion和Kinect的手势识别方法，通过Leap Motion和kinect共同检测并识别人的手势来对计算机进行操控。此方法克服了单一使用其中一种传感器对手势进行识别的精确度不足的问题，使手势识别更加精确。

为实现上述发明目的，本发明基于Leap Motion和Kinect的手势识别方法，其特征在于，包括以下步骤：

(1)、使用Leap Motion传感器获取手的相关点坐标和手的姿态特征信息；

(1.1)、Leap Motion传感器建立一个空间坐标系，坐标系原点是传感器中心，+X轴平行传感器指向右方，+Y轴指向上方，+Z轴指向背离屏幕的方向；

通过Leap Motion传感器获取指尖位置，手掌心位置以及手的方向信息；

(1.2)、计算手指角度A_i

根据步骤(1.1)获取的信息，计算相对于手方向的投影指尖的方向对应的手指角度A_i：

A_i＝∠(F_i ^π-C,h)＝∠((x_i-a,z_i-b,-c),(x_i-a,z_i-b,y_i-c))

其中，i＝1,…10代表左右手的10个手指，1,…,5代表左手从大拇指到小拇指的5个手指，6,…,10代表右手从大拇指到小拇指的5个手指；F_i是手指尖的位置，坐标为(x_i,z_i,y_i)，F_i ^π是F_i在平面XOZ上的投影，投影点坐标为(x_i,z_i,0)；C是手掌心位置，坐标为(a,b,c)；h是从手心指向手指尖方向的向量(x_i-a,z_i-b,y_i-c)；

(1.3)、计算手指尖距离手掌心的三维距离D_i

D_i＝||F_i-C||/S＝||(x_i-a,z_i-b,y_i-c)||/||(x_middle-a,z_middle-b,y_middle-c)||,i＝1,…10

其中，S＝||F_middle-C||＝||(x_middle-a,z_middle-b,y_middle-c)||是手心到中指尖的距离，F_middle为中指尖的位置，坐标为(x_middle,z_middle,y_middle)，|| ||表示；

(1.4)、计算手指尖的高度E_i

计算手指尖到它在XOZ面的投影点之间的高度E_i：

E_i＝sgn((F_i-F_i ^π)×n)||F_i-F_i ^π||/M＝sgn((0,0,y_i)×n)y_i/y_middle,i＝1,…,10

其中，n是垂直手心并指向向下的向量，是中指指尖到指尖投影的距离；

(2)、获取手势信息

(2.1)、使用Kinect传感器获取场景的深度信息和彩色信息；

(2.2)、结合深度信息和彩色信息获取手部图像，提取手部区域，再结合该手部区计算出手部轮廓周长l、手部轮廓面积B、手型外接最小矩形面积B_rect和手型外接最小圆的周长l_circle；

(2.3)、结合步骤(2.2)获取相应的手势信息

圆形度：

填充率：

周长比：

(3)、利用Leap Motion传感器和Kinect传感器同时对待识别的手势进行采集，每种手势采集若干，得到手势样本集；

按照步骤(1)所述方法计算手势样本集中所有手势样本的A_ki、D_ki和E_ki，其中，k表示手势种类；

按照步骤(2)所述方法计算手势样本集中所有手势样本的c_k、f_k和p_k；

再将A_ki、D_ki和E_ki，c_k、f_k和p_k融合成一个属性矩阵；

(4)、构建SVM分类器，再将属性矩阵的每一行作为训练样本，依次输入到SVM分类器进行训练，得到可用于识别k种手势的SVM分类器；

(5)、将待识别的手势图像按照步骤(3)所述方法组成属性矩阵，再将每一行依次输入到训练好的SVM分类器中，完成对手势的分类识别。

本发明的发明目的是这样实现的：

本发明基于Leap Motion和Kinect的手势识别方法，通过Leap Motion传感器获取指尖3D位置，手掌心位置以及手的方向信息，由这些信息计算出手指角度、手指尖到手掌心的距离以及手指尖的高度三种特征信息；同时利用Kinect传感器获取场景的深度信息和彩色信息，通过手部区域提取，随后获取圆形度、填充率、周长比这三种手势特征信息；融合Leap Motion和Kinect两个传感器获取的手势特征信息，对需要识别的每种手势采集若干样本构成训练样本集，利用这些样本集对SVM分类器进行训练；最后将需要识别的手势输入到训练好的SVM分类器中进而对手势进行识别。

同时，本发明基于Leap Motion和Kinect的手势识别方法还具有以下有益效果：

(1)、本发明相对于传统方法，使用的媒介从具体的接触式发展到抽象的非接触式，不需要直接接触设备，通过检测人体动作来进行信息输入，是操控过程变得非常自由。

(2)、本发明将Leap Motion和Kinect这两个传感器结合起来，其中Leap Motion虽然精度高，体积小，成本低，但提供的数据比较受限，Kinect虽然可以提供深度信息但单一使用Kinect延迟较高并且无法很好的进行近距离精确识别，将两个传感器结合后可以极大提高手势识别的精确度。

(3)、用户可以自由的在多种环境下使用，而且只需做出一个简单的手势动作即可以对计算机进行操控。

附图说明

图1是本发明基于Leap Motion和Kinect的手势识别方法流程图；

图2是由Leap Motion所获得的数据图示；

图3是Leap Motion、Kinect两个前端设备与PC端的连接方式图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：

图1是本发明基于Leap Motion和Kinect的手势识别方法流程图。

在本实施例中，首先按照图3所示连接硬件，需要将Leap Motion和Kinect两个前端设备与PC端数据线直接连接。

硬件连接完成后，结合图1对本发明一种基于Leap Motion和Kinect的手势识别方法进行详细说明，具体包括以下步骤：

(1)、使用Leap Motion传感器获取手的相关点坐标和手的姿态特征信息；

(1.1)、Leap Motion传感器建立一个空间坐标系，坐标系原点是传感器中心，+X轴平行传感器指向右方，+Y轴指向上方，+Z轴指向背离屏幕的方向；

通过Leap Motion传感器获取指尖位置，手掌心位置以及手的方向信息，具体位置如图2所示；

(1.2)、计算手指角度A_i

根据步骤(1.1)获取的信息，计算相对于手方向的投影指尖的方向对应的手指角度A_i：

A_i＝∠(F_i ^π-C,h)＝∠((x_i-a,z_i-b,-c),(x_i-a,z_i-b,y_i-c))

其中，i＝1,…10代表左右手的10个手指，1,…,5代表左手从大拇指到小拇指的5个手指，6,…,10代表右手从大拇指到小拇指的5个手指；F_i是手指尖的位置，坐标为(x_i,z_i,y_i)，F_i ^π是F_i在平面XOZ上的投影，投影点坐标为(x_i,z_i,0)；C是手掌心位置，坐标为(a,b,c)；h是从手心指向手指尖方向的向量(x_i-a,z_i-b,y_i-c)；

(1.3)、计算手指尖距离手掌心的三维距离D_i

D_i＝||F_i-C||/S＝||(x_i-a,z_i-b,y_i-c)||/||(x_middle-a,z_middle-b,y_middle-c)||,i＝1,…10

其中，S＝||F_middle-C||＝||(x_middle-a,z_middle-b,y_middle-c)||是手心到中指尖的距离，F_middle为中指尖的位置，坐标为(x_middle,z_middle,y_middle)，|| ||表示；

(1.4)、计算手指尖的高度E_i

计算手指尖到它在XOZ面的投影点之间的高度E_i：

E_i＝sgn((F_i-F_i ^π)×n)||F_i-F_i ^π||/M＝sgn((0,0,y_i)×n)y_i/y_middle,i＝1,…,10

其中，n是垂直手心并指向向下的向量，是中指指尖到指尖投影的距离；

(2)、获取手势信息

(2.1)、使用Kinect传感器获取场景的深度信息和彩色信息；

(2.2)、结合深度信息和彩色信息获取手部图像，提取手部区域，再结合该手部区计算出手部轮廓周长l、手部轮廓面积B、手型外接最小矩形面积B_rect和手型外接最小圆的周长l_circle；

其中，B_rect表示手型外接最小矩形面积，填充率描述了手型在其外界最小面积矩形中占据的面积比率，该值越大，表明手势更加聚拢；

l_circle表示手型外接最小圆的周长，周长比描述了手型轮廓周长与其外界最小圆周长的比值，该数值越大，表明手型更开放。

下面对基于深度信息和彩色信息相结合来提取手部区域的过程进行详细说明：

在本实施例中，通过Kinect获取的彩色图像I分别为RGB单通道图像I_R,I_G,I_B,分别表示图像的R,G,B三个单通道图像，计算每个单通道图像的ROI灰度直方图，分别记为H_R,H_G,H_B；

1)：计算每个单通道图像的ROI内像素均值及方差：

其中，i＝{0,1,2},i＝0表示R通道图像，i＝1表示G通道图像，i＝2表示B通道图像，H(x)表示灰度值为x的像素个数，N表示图像周长。

2)：利用均值和方差建立RGB颜色高斯模型：

3)：遍历整个图像I，当图像中的像素属于ROI范围之内，并且满足以下条件，则视当前像素点为手部像素点：

统计手型轮廓上的像素点的距离，记为l，统计手型区域内的像素点数，记为B；

4)：通过遍历整个图像I获取最小灰度值T：

T＝min(f(x,y))x＝0,1,…,width y＝0,1,…,height

width表示图像宽度，height表示图像高度，f(x,y)表示像素点(x,y)的灰度信息；

以最小值T为依据选择适当的灰度值Threshold作为阈值进行阈值化操作，根据经验，选择Threshold＝T+4作为阈值能够取得较为理想的效果，能够获得相对完整而合适的手部图像。

其中，阈值化的操作如下：

5)：通过kinect获得的手部图像会存在一些噪声点，造成图像的不连续，因此，我们对图像进行膨胀运算和腐蚀运算，通过对图像先进行膨胀运算，后做腐蚀运算，可以修复断裂的轮廓线，使轮廓线更加平滑，从而提取出手部区域。

(2.3)、结合步骤(2.2)获取相应的手势信息

圆形度：圆形度描述了手型与圆形接近的程度，该值越接近1，表示手型更接近于圆形；

填充率：填充率描述了手型在其外界最小面积矩形中占据的面积比率，该值越大，表明手势更加聚拢；

周长比：周长比描述了手型轮廓周长与其外界最小圆周长的比值，该数值越大，表明手型更开放；

(3)、利用Leap Motion传感器和Kinect传感器同时对待识别的手势进行采集，每种手势采集若干，得到手势样本集；

按照步骤(1)所述方法计算手势样本集中所有手势样本的A_ki、D_ki和E_ki，其中，k表示手势种类；

按照步骤(2)所述方法计算手势样本集中所有手势样本的c_k、f_k和p_k；

再将A_ki、D_ki和E_ki，c_k、f_k和p_k融合成一个属性矩阵；

将A_ki、D_ki、E_ki、c_k、f_k和p_k融合成一个属性矩阵的方法为：

(3.1)、将属性矩阵的第一列存放手势样本的种类编号，相同手势占有同一个编号，并依次存放在该行的下一行；

(3.2)、在属性矩阵的第一列之后依次存放A_ki、D_ki、E_ki、c_k、f_k和p_k，且每个参数占用一列。

(4)、构建SVM分类器，再将属性矩阵的每一行作为训练样本，依次输入到SVM分类器进行训练，得到可用于识别k种手势的SVM分类器；

在本实施例中，采用一对一SVM多分类算法分类器用于手势分类，具体做法是在任意两种手势的样本之间设计一个SVM，k种类别的样本就需要设计k(k-1)/2个SVM分类器。

下面取4种手势进行举例训练，如:握拳、五指张开、OK手势、伸出大拇指，分别记为M,N,P,Q，需要6个SVM，分别记为(M,N)-classifier,(M,P)-classifier,(M,Q)-classifier,(N,P)-classifier,(N,Q)-classifier,(P,Q)-classifier。

(a)、用握拳时的手势圆形度作为(M,N)-classifier的分类参考特征值，当圆形度大于第一阈值TR₁时，结果判断为M，则M＝M+1，否则N＝N+1；

(b)、用握拳时的手势圆形度作为(M,P)-classifier的分类参考特征值，当圆形度大于第一阈值TR₂时，结果判断为M，则M＝M+1，否则P＝P+1；

(c)、用握拳时的手势圆形度作为(M,Q)-classifier的分类参考特征值，当圆形度大于第一阈值TR₃时，结果判断为M，则M＝M+1，否则Q＝Q+1；

(d)、用五指张开手势的食指手指角度作为(N,P)-classifier的分类参考特征值，当角度大于第一阈值TR₄时，结果判断为N，则N＝N+1，否则P＝P+1；

(e)、用伸出大拇指的手势圆形度作为(N,Q)-classifier的分类参考特征值，当圆形度大于第一阈值TR₅时，结果判断为N，则N＝N+1，否则Q＝Q+1；

(f)、用伸出大拇指的手势的大拇指角度作为(P,Q)-classifier的分类参考特征值，当角度大于第一阈值TR₆时，结果判断为P，则P＝P+1，否则Q＝Q+1；

(5)、将待识别的手势图像按照步骤(3)所述方法组成属性矩阵，再将每一行依次输入到训练好的SVM分类器中，完成对手势的分类识别。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于Leap Motion和Kinect的手势识别方法，其特征在于，包括以下步骤：

(1)、使用Leap Motion传感器获取手的相关点坐标和手的姿态特征信息；

(1.1)、Leap Motion传感器建立一个空间坐标系，坐标系原点是传感器中心，+X轴平行传感器指向右方，+Y轴指向上方，+Z轴指向背离屏幕的方向；

通过Leap Motion传感器获取指尖位置，手掌心位置以及手的方向信息；

(1.2)、计算手指角度A_i

根据步骤(1.1)获取的信息，计算相对于手方向的投影指尖的方向对应的手指角度A_i：

A_i＝∠(F_i ^π-C,h)＝∠((x_i-a,z_i-b,-c),(x_i-a,z_i-b,y_i-c))

其中，i＝1,…10代表左右手的10个手指，1,…,5代表左手从大拇指到小拇指的5个手指，6,…,10代表右手从大拇指到小拇指的5个手指；F_i是手指尖的位置，坐标为(x_i,z_i，y_i)，F_i ^π是F_i在平面XOZ上的投影，投影点坐标为(x_i,z_i,0)；C是手掌心位置，坐标为(a,b,c)；h是从手心指向手指尖方向的向量(x_i-a,z_i-b,y_i-c)；

(1.3)、计算手指尖距离手掌心的三维距离D_i

D_i＝||F_i-C||/S＝||(x_i-a,z_i-b,y_i-c)||/||(x_middle-a,z_middle-b,y_middle-c)||,i＝1,…10

其中，S＝||F_middle-C||＝||(x_middle-a,z_middle-b,y_middle-c)||是手心到中指尖的距离，F_middle为中指尖的位置，坐标为(x_middle,z_middle，y_middle)，|| ||表示；

(1.4)、计算手指尖的高度E_i

计算手指尖到它在XOZ面的投影点点之间的高度E_i：

E_i＝sgn((F_i-F_i ^π)×n)||F_i-F_i ^π||/M＝sgn((0,0,y_i)×n)y_i/y_middle,i＝1,…,10

其中，n是垂直手心并指向向下的向量，是中指指尖到指尖投影的距离；

(2)、获取手势信息

(2.1)、使用Kinect传感器获取场景的深度信息和彩色信息；

(2.2)、结合深度信息和彩色信息获取手部图像，提取手部区域，再结合该手部区计算出手部轮廓周长l、手部轮廓面积B、手型外接最小矩形面积B_rect和手型外接最小圆的周长l_circle；

(2.3)、结合步骤(2.2)获取相应的手势信息

圆形度：

填充率：

周长比：

(3)、利用Leap Motion传感器和Kinect传感器同时对待识别的手势进行采集，每种手势采集若干，得到手势样本集；

按照步骤(1)所述方法计算手势样本集中所有手势样本的A_ki、D_ki和E_ki，其中，k表示手势种类；

按照步骤(2)所述方法计算手势样本集中所有手势样本的c_k、f_k和p_k；

再将A_i、D_ki和E_ki，c_k、f_k和p_k融合成一个属性矩阵；

(4)、构建SVM分类器，再将属性矩阵的每一行作为训练样本，依次输入到SVM分类器进行训练，得到可用于识别k种手势的SVM分类器；

(5)、将待识别的手势图像按照步骤(3)所述方法组成属性矩阵，再将每一行依次输入到训练好的SVM分类器中，完成对手势的分类识别。

2.根据权利要求1所述的一种基于Leap Motion和Kinect的手势识别方法，其特征在于，所述步骤(3)中，将A_ki、D_ki、E_ki、c_k、f_k和p_k融合成一个属性矩阵的方法为：

(2.1)、将属性矩阵的第一列存放手势样本的种类编号，相同手势占有同一个编号，并依次存放在该行的下一行；

(2.2)、在属性矩阵的第一列之后依次存放A_ki、D_ki、E_ki、c_k、f_k和p_k，且每个参数占用一列。