[go: up one dir, main page]

CN107368820A - 一种精细化手势识别方法、装置及设备 - Google Patents

一种精细化手势识别方法、装置及设备 Download PDF

Info

Publication number
CN107368820A
CN107368820A CN201710656434.0A CN201710656434A CN107368820A CN 107368820 A CN107368820 A CN 107368820A CN 201710656434 A CN201710656434 A CN 201710656434A CN 107368820 A CN107368820 A CN 107368820A
Authority
CN
China
Prior art keywords
feature
gesture
relative position
refined
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710656434.0A
Other languages
English (en)
Other versions
CN107368820B (zh
Inventor
姬晓鹏
程俊
潘亮亮
张丰
方琎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Tencent Technology Shenzhen Co Ltd
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Shenzhen Institute of Advanced Technology of CAS filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710656434.0A priority Critical patent/CN107368820B/zh
Publication of CN107368820A publication Critical patent/CN107368820A/zh
Application granted granted Critical
Publication of CN107368820B publication Critical patent/CN107368820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种精细化手势识别方法包括:提取手部关节位置的局部特征,所述局部特征包括相对位置特征和/或时序位移特征;根据所述相对位置特征和/或时序位移特征进行聚类计算,得到所述相对位置特征和/或时序位移特征所对应的聚类特征;根据所述聚类特征与手势类别的对应关系,进行聚类特征模型训练,根据训练后的聚类特征模型进行手势识别。可以实现不等长的动态手势到固定长度特征的转变,有助于分类器对手势类型进行相似度度量,并且有利于实现手指精细化运动过程的判断和实现大幅度运动的检测。

Description

一种精细化手势识别方法、装置及设备
技术领域
本发明属于手势识别领域,尤其涉及一种精细化手势识别方法、装置及设备。
背景技术
在智能电视、穿戴式移动终端、个人计算机或虚拟现实设备等人机交互系统中,经常会使用到在线的手势识别的交互输入。
根据数据采集方式的不同,目前国内外手势识别的方法可以分为基于穿戴式设备和基于视觉两种。其中:
基于穿戴式设备的手势识别方法主要是利用加速度计、陀螺仪等传感器获取手势在三维空间的运动轨迹信息,基于穿戴式设备进行手势识别的优点在于可以配备多个传感器以获得精确的手部关节的相对位置信息和空间运动轨迹,识别的准确率较高,但该方法需要佩戴复杂的设备或装置,如数据手套、位置跟踪器,穿戴较为繁琐,给人机交互系统的自然性带来了一定影响。
基于视觉的手势识别方法可以很好地解决人机交互时的自然性问题,由可见光摄像头获取手部区域的图像数据,然后进行手部目标区域的分割、特征提取、分类过程。但是,现有基于视觉的手势识别方法只能处理单一类型的静态手势(如单张图像的手势数字识别)或动态手势(手掌上下滑动翻页),在处理不等长序列的手势识别问题中,现有的手势识别方法多采用动态时间规整算法进行手势运动轨迹的相似性度量,该算法可以解决大幅度运动下手部运动轨迹的差别,但是计算复杂度高,无法实现精细化、多样性的手指运动识别。
发明内容
有鉴于此,本发明实施例提供了一种精细化手势识别方法、装置及设备,以解决现有技术中的手势识别方法,由于计算复杂度高,无法实现精细化、多样性的手指运动识别的问题。
本发明实施例的第一方面提供了一种精细化手势识别方法,所述精细化手势识别方法包括:
提取手部关节位置的局部特征,所述局部特征包括相对位置特征和/或时序位移特征;
根据所述相对位置特征和/或时序位移特征进行聚类计算,得到所述相对位置特征和/或时序位移特征所对应的聚类特征;
根据所述聚类特征与手势类别的对应关系,进行聚类特征模型训练,根据训练后的聚类特征模型进行手势识别。
结合第一方面,在第一方面的第一种可能实现方式中,提取手部关节位置的局部特征中的相对位置特征的步骤包括:
获取T帧动态手势图像,确定每帧动态手势图像中的手部的节点的位置;
根据手部的节点中包括的根节点与对应的子节点的位置,计算得到子节点相对于根节点的相对位置特征。
结合第一方面的第一种可能实现方式,在第一方面的第二种可能实现方式中,所述根据手部的节点中包括的根节点与对应的子节点的位置,计算得到子节点相对于根节点的相对位置特征的步骤包括:
获取T帧动态手势图像中的第t′帧的相对位置特征其中:
表示根节点的位置,表示与所述根节点对应的子节点的位置,u∈{i|1≤i≤N},h=1表示左手,h=2表示右手,1≤t′≤T,N为节点的个数。
结合第一方面,在第一方面的第三种可能实现方式中,提取手部关节位置的局部特征中的时序位移特征的步骤包括:
获取T帧动态手势图像,确定每帧动态手势图像中的位移特征参考点;
根据每两帧相邻的图像中的位移特征参考点的位置,确定所述动态手势图像所对应的时序位移特征。
结合第一方面的第三种可能实现方式,在第一方面的第四种可能实现方式中,所述根据每两帧相邻的图像中的位移特征参考点的位置,确定所述动态手势图像所对应的时序位移特征的步骤包括:
获取第t″帧的时序位移特征其中, 为第t″帧的位移特征参考点,为第t″-1帧的位移特征参考点,1<t″≤T,v∈{i|1≤i≤N},M为位移特征参考点个数且1≤v≤M,h=1表示左手,h=2表示右手,N为节点的个数。
结合第一方面,在第一方面的第五种可能实现方式中,所述根据所述相对位置特征和/或时序位移特征进行聚类计算,得到所述相对位置特征和/或时序位移特征所对应的聚类特征的步骤包括:
将所述相对位置特征和/或时序位移特征表示为统一局部特征的集合;
在所述统一局部特征的集合中选取预定个数的簇聚类集合;
对每个簇聚类集合进行变换计算,得到所述相对位置特征和/或时序位移特征对应的聚类特征。
本发明实施例的第二方面提供了一种精细化手势识别装置,所述精细化手势识别装置包括:
局部特征提取单元,用于提取手部关节位置的局部特征,所述局部特征包括相对位置特征和/或时序位移特征;
聚类特征计算单元,用于根据所述相对位置特征和/或时序位移特征进行聚类计算,得到所述相对位置特征和/或时序位移特征所对应的聚类特征;
训练识别单元,用于根据所述聚类特征与手势类别的对应关系,进行聚类特征模型训练,根据训练后的聚类特征模型进行手势识别。
结合第二方面,在第二方面的第一种可能实现方式中,所述局部特征提取单元包括:
第一图像获取子单元,用于获取T帧动态手势图像,确定每帧动态手势图像中的手部的节点的位置;
第一计算子单元,用于根据手部的节点中包括的根节点与对应的子节点的位置,计算得到子节点相对于根节点的相对位置特征;
和/或,
第二图像获取子单元,用于获取T帧动态手势图像,确定每帧动态手势图像中的位移特征参考点;
第二计算子单元,用于根据每两帧相邻的图像中的位移特征参考点的位置,确定所述动态手势图像所对应的时序位移特征。
本发明实施例的第三方面提供了一种精细化手势识别设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任一项所述精细化手势识别方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述精细化手势识别方法的步骤。
本发明实施例与现有技术相比存在的有益效果是:通过提取手部关节的局部特征,提取局部特征的聚类特征进行训练,可以实现不等长的动态手势到固定长度特征的转变,有助于分类器对手势类型进行相似度度量,而采用相对位置特征和/或时序位移特征来描述手部关节位置,有利于实现手指精细化运动过程的判断和/或实现大幅度运动的检测。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的精细化手势识别方法的实现流程示意图;
图2是本发明实施例提供的动态手势示意图;
图3为本发明实施例提供的手部关节位置示意图;
图4为本发明实施例提供的根节点与子节点的对应关系示意图;
图5为本发明实施提供的位移特征参考节点示意图;
图6是本发明实施例提供进行聚类计算得到聚类特征的实现流程示意图;
图7为本发发明实施例提供的动态手势操作装置的结构示意图;
图8是本发明实施例提供的精细化手势识别设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
如图1所示,本发明实施例所述精细化手势识别方法,包括:
在步骤S101中,提取手部关节位置的局部特征,所述局部特征包括相对位置特征和/或时序位移特征。
具体的,所述局部特征的提取,基于获取的包括用户手部的多帧图像,如图2所示为“OK”手势的T帧图像的示意图,从第1帧至第T帧,包括多张图像,并且随着时间帧的变化,图像中的手势会发生位置的变化,其中,位置的变化包括手指的相对位置的变化和手掌整体位置的变化,可以通过相对位置特征和时序位置特征分别描述手指的相对位置的变化以及手掌整体位置的变化。
为了获得相对位置特征和/或时序位置特征,需要预先提取手部的节点,通过节点的位置的变化,来反应所述相对位置特征和时序位置特征。作为本申请可选的一种实施方式,如图1和图2所示,所提取的手部的节点包括手部的关节点位置、手指末端位置以及手掌的中心位置,其中包括大拇指2个关节点、1个手指末端节点,其它四个手指包括3个关节点和1个末端节点,手腕部包括一个关节点,以及手掌中心位置一个节点,总共包括22个特征参考点,为区分左手与右手,分别用R1、R2……R22,以及L1、L2……L22分别表示右手和左手的节点。
其中,提取手部关节位置的局部特征中的相对位置特征的步骤包括:
获取T帧动态手势图像,确定每帧动态手势图像中的手部的节点的位置;
根据手部的节点中包括的根节点与对应的子节点的位置,计算得到子节点相对于根节点的相对位置特征。
对于包含T(T为自然数且大于等于2)帧图像的动态手势G={Gt|1≤t≤T},如图2所示的右手“OK”手势,每一帧手势数据包含了深度相机所估计的世界坐标系下手部的节点的位置:
这里h=1表示左手,h=2表示右手;i∈{1,2,3,...,N}表示对应手部的第i个节点,如图2所示,每个手部包括22个节点,则N的值可以为22。
给定第t′帧的节点的位置这里1≤t′≤T。如图4所示,选取与图3所述节点对应的N-2(图3中N为22)组根节点和对应的子节点分别计算子节点相对于该根节点的相对位置向量
则第t′帧的相对位置特征可以表示为:
其中,根节点与子节点的选取,如图3所示,是根据节点所在的关节的位置,选取相隔一个关节点的两个节点分别作为根节点和子节点。
而本步骤中,提取手部关节位置的局部特征中的时序位移特征的步骤包括:
获取T帧动态手势图像,确定每帧动态手势图像中的位移特征参考点;
根据每两帧相邻的图像中的位移特征参考点的位置,确定所述动态手势图像所对应的时序位移特征。
所述位移特征参考点的选取,可以选择在手掌部位的节点,这样选取可以更为准确的确定手部的整体运动量,避免选择手指部位的节点造成对整体运动方向和大小的误差。如图5所示,可选取其中M(图2中M为7)个节点作为位移特征参考点,对于给定第t″帧的关节点位置这里1<t″≤T,N为节点的个数,M为选取的位移特征参考点个数,所选取的位移特征参考点为:计算当前帧和前一帧的时序位移向量
则第t″帧的时序位移特征可以表示为:
在步骤S102中,根据所述相对位置特征和/或时序位移特征进行聚类计算,得到所述相对位置特征和/或时序位移特征所对应的聚类特征。
对提取的局部特征进行聚类的过程,可以如图6所示,包括:
在步骤S601中,将所述相对位置特征和/或时序位移特征表示为统一局部特征的集合。
对于步骤S101提取的相对位置特征和时序位移特征可以表示为统一局部特征表达形式:这里可以设定:1≤s≤4,1<τ≤T。对于仅包括相对位置特征,或者仅包括时序位移特征可采用相应的统一局部特征表达形式,比如或者
在步骤S602中,在所述统一局部特征的集合中选取预定个数的簇聚类集合。
在本发明中,可以对第s类特征集合采用k-means++算法选取K个初始化聚类中心点{μs,k|1≤k≤K},并利用误差平方和作为聚类度量依据,得到K簇聚类集合Cs={Cs,k|1≤k≤K},即:
其中为更新后每一簇聚类中心点,其中K为大于2的自然数。
在步骤S603中,对每个簇聚类集合进行变换计算,得到所述相对位置特征和/或时序位移特征对应的聚类特征。
对每一簇聚类Cs,k,进行主成份分析(Principal Component Analysis,PCA)操作,并保留所有成分,得到变换后的聚类C′s,k
计算聚类C′s,k与聚类中心点μ′s,k的差的累积和,得到紧凑形式的聚类特征表达νk
将K个聚类中心点的聚类特征进行组合,形成第s类特征的紧凑形式表达:
Vs={νs,k|1≤k≤K}。
重复步骤S602-S603,可以将局部特征集合表示为与时序τ无关的固定长度的特征表示,即:
V={Vs|1≤s≤4}。
在步骤S103中,根据所述聚类特征与手势类别的对应关系,进行聚类特征模型训练,根据训练后的聚类特征模型进行手势识别。
在生成与时序τ无关的固定长度的特征表示后,可以通过支持向量机或者其它训练模型,进行模型训练及测试,得到训练好的模型后,通过训练好的模型可以对手势进行判断和识别。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
图7为本发明实施例提供的一种精细化手势识别装置的结构示意图,如图7所示,所述精细化手势识别装置包括:
局部特征提取单元701,用于提取手部关节位置的局部特征,所述局部特征包括相对位置特征和/或时序位移特征;
聚类特征计算单元702,用于根据所述相对位置特征和/或时序位移特征进行聚类计算,得到所述相对位置特征和/或时序位移特征所对应的聚类特征;
训练识别单元703,用于根据所述聚类特征与手势类别的对应关系,进行聚类特征模型训练,根据训练后的聚类特征模型进行手势识别。
优选的,所述局部特征提取单元包括:
第一图像获取子单元,用于获取T帧动态手势图像,确定每帧动态手势图像中的手部的节点的位置;
第一计算子单元,用于根据手部的节点中包括的根节点与对应的子节点的位置,计算得到子节点相对于根节点的相对位置特征;
和/或,
第二图像获取子单元,用于获取T帧动态手势图像,确定每帧动态手势图像中的位移特征参考点;
第二计算子单元,用于根据每两帧相邻的图像中的位移特征参考点的位置,确定所述动态手势图像所对应的时序位移特征。
图8是本发明一实施例提供的精细化手势识别设备的示意图。如图8所示,该实施例的精细化手势识别设备8包括:处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82,例如精细化手势识别程序。所述处理器80执行所述计算机程序82时实现上述各个精细化手势识别方法实施例中的步骤,例如图1所示的步骤101至103。或者,所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能,例如图7所示模块701至703的功能。
示例性的,所述计算机程序82可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器81中,并由所述处理器80执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序82在所述精细化手势识别设备8中的执行过程。例如,所述计算机程序82可以被分割成局部特征提取单元、聚类特征计算单元和训练识别单元,各单元具体功能如下:
局部特征提取单元,用于提取手部关节位置的局部特征,所述局部特征包括相对位置特征和/或时序位移特征;
聚类特征计算单元,用于根据所述相对位置特征和/或时序位移特征进行聚类计算,得到所述相对位置特征和/或时序位移特征所对应的聚类特征;
训练识别单元,用于根据所述聚类特征与手势类别的对应关系,进行聚类特征模型训练,根据训练后的聚类特征模型进行手势识别。
所述精细化手势识别设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述精细化手势识别设备可包括,但不仅限于,处理器80、存储器81。本领域技术人员可以理解,图8仅仅是精细化手势识别设备8的示例,并不构成对精细化手势识别设备8的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述精细化手势识别设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器80可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述精细化手势识别设备8的内部存储单元,例如精细化手势识别设备8的硬盘或内存。所述存储器81也可以是所述精细化手势识别设备8的外部存储设备,例如所述精细化手势识别设备8上配备的插接式硬盘,智能存储卡(Smart MediaCard,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器81还可以既包括所述精细化手势识别设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述精细化手势识别设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种精细化手势识别方法,其特征在于,所述精细化手势识别方法包括:
提取手部关节位置的局部特征,所述局部特征包括相对位置特征和/或时序位移特征;
根据所述相对位置特征和/或时序位移特征进行聚类计算,得到所述相对位置特征和/或时序位移特征所对应的聚类特征;
根据所述聚类特征与手势类别的对应关系,进行聚类特征模型训练,根据训练后的聚类特征模型进行手势识别。
2.根据权利要求1所述的精细化手势识别方法,其特征在于,提取手部关节位置的局部特征中的相对位置特征的步骤包括:
获取T帧动态手势图像,确定每帧动态手势图像中的手部的节点的位置;
根据手部的节点中包括的根节点与对应的子节点的位置,计算得到子节点相对于根节点的相对位置特征。
3.根据权利要求2所述的精细化手势识别方法,其特征在于,所述根据手部的节点中包括的根节点与对应的子节点的位置,计算得到子节点相对于根节点的相对位置特征的步骤包括:
获取T帧动态手势图像中的第t′帧的相对位置特征其中: 表示根节点的位置,表示与所述根节点对应的子节点的位置,u∈{i|1≤i≤N},h=1表示左手,h=2表示右手,1≤t′≤T,N为节点的个数。
4.根据权利要求1所述的精细化手势识别方法,其特征在于,提取手部关节位置的局部特征中的时序位移特征的步骤包括:
获取T帧动态手势图像,确定每帧动态手势图像中的位移特征参考点;
根据每两帧相邻的图像中的位移特征参考点的位置,确定所述动态手势图像所对应的时序位移特征。
5.根据权利要求4所述的精细化手势识别方法,其特征在于,所述根据每两帧相邻的图像中的位移特征参考点的位置,确定所述动态手势图像所对应的时序位移特征的步骤包括:
获取第t″帧的时序位移特征其中, 为第t″帧的位移特征参考点,为第t″-1帧的位移特征参考点,1<t″≤T,v∈{i|1≤i≤N},M为位移特征参考点个数且1≤v≤M,h=1表示左手,h=2表示右手,N为节点的个数。
6.根据权利要求1所述的精细化手势识别方法,其特征在于,所述根据所述相对位置特征和/或时序位移特征进行聚类计算,得到所述相对位置特征和/或时序位移特征所对应的聚类特征的步骤包括:
将所述相对位置特征和/或时序位移特征表示为统一局部特征的集合;
在所述统一局部特征的集合中选取预定个数的簇聚类集合;
对每个簇聚类集合进行变换计算,得到所述相对位置特征和/或时序位移特征对应的聚类特征。
7.一种精细化手势识别装置,其特征在于,所述精细化手势识别装置包括:
局部特征提取单元,用于提取手部关节位置的局部特征,所述局部特征包括相对位置特征和/或时序位移特征;
聚类特征计算单元,用于根据所述相对位置特征和/或时序位移特征进行聚类计算,得到所述相对位置特征和/或时序位移特征所对应的聚类特征;
训练识别单元,用于根据所述聚类特征与手势类别的对应关系,进行聚类特征模型训练,根据训练后的聚类特征模型进行手势识别。
8.根据权利要求7所述的精细化手势识别装置,其特征在于,所述局部特征提取单元包括:
第一图像获取子单元,用于获取T帧动态手势图像,确定每帧动态手势图像中的手部的节点的位置;
第一计算子单元,用于根据手部的节点中包括的根节点与对应的子节点的位置,计算得到子节点相对于根节点的相对位置特征;
和/或,
第二图像获取子单元,用于获取T帧动态手势图像,确定每帧动态手势图像中的位移特征参考点;
第二计算子单元,用于根据每两帧相邻的图像中的位移特征参考点的位置,确定所述动态手势图像所对应的时序位移特征。
9.一种精细化手势识别设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述精细化手势识别方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述精细化手势识别方法的步骤。
CN201710656434.0A 2017-08-03 2017-08-03 一种精细化手势识别方法、装置及设备 Active CN107368820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710656434.0A CN107368820B (zh) 2017-08-03 2017-08-03 一种精细化手势识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710656434.0A CN107368820B (zh) 2017-08-03 2017-08-03 一种精细化手势识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN107368820A true CN107368820A (zh) 2017-11-21
CN107368820B CN107368820B (zh) 2023-04-18

Family

ID=60309287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710656434.0A Active CN107368820B (zh) 2017-08-03 2017-08-03 一种精细化手势识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN107368820B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346168A (zh) * 2018-02-12 2018-07-31 腾讯科技(深圳)有限公司 一种手势图像生成方法、装置及存储介质
CN108921101A (zh) * 2018-07-04 2018-11-30 百度在线网络技术(北京)有限公司 基于手势识别控制指令的处理方法、设备及可读存储介质
CN109117766A (zh) * 2018-07-30 2019-01-01 上海斐讯数据通信技术有限公司 一种动态手势识别方法及系统
CN109117771A (zh) * 2018-08-01 2019-01-01 四川电科维云信息技术有限公司 一种基于锚节点的图像中暴力事件检测系统及方法
CN109992093A (zh) * 2017-12-29 2019-07-09 博世汽车部件(苏州)有限公司 一种手势比较方法以及手势比较系统
CN110163130A (zh) * 2019-05-08 2019-08-23 清华大学 一种用于手势识别的特征预对齐的随机森林分类器及分类方法
CN111222486A (zh) * 2020-01-15 2020-06-02 腾讯科技(深圳)有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
US20210326657A1 (en) * 2020-04-21 2021-10-21 Pegatron Corporation Image recognition method and device thereof and ai model training method and device thereof
CN114067425A (zh) * 2020-07-30 2022-02-18 华为技术有限公司 手势识别方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100071965A1 (en) * 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
US20100188519A1 (en) * 2009-01-29 2010-07-29 Keisuke Yamaoka Information Processing Device and Method, Program, and Recording Medium
CN101976330A (zh) * 2010-09-26 2011-02-16 中国科学院深圳先进技术研究院 手势识别方法和系统
US20110158476A1 (en) * 2009-12-24 2011-06-30 National Taiwan University Of Science And Technology Robot and method for recognizing human faces and gestures thereof
CN103246891A (zh) * 2013-05-28 2013-08-14 重庆邮电大学 一种基于Kinect的中国手语识别方法
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
CN104598915A (zh) * 2014-01-24 2015-05-06 深圳奥比中光科技有限公司 一种手势识别方法与装置
CN106886751A (zh) * 2017-01-09 2017-06-23 深圳数字电视国家工程实验室股份有限公司 一种手势识别方法和系统
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100071965A1 (en) * 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
US20100188519A1 (en) * 2009-01-29 2010-07-29 Keisuke Yamaoka Information Processing Device and Method, Program, and Recording Medium
US20110158476A1 (en) * 2009-12-24 2011-06-30 National Taiwan University Of Science And Technology Robot and method for recognizing human faces and gestures thereof
CN101976330A (zh) * 2010-09-26 2011-02-16 中国科学院深圳先进技术研究院 手势识别方法和系统
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
CN103246891A (zh) * 2013-05-28 2013-08-14 重庆邮电大学 一种基于Kinect的中国手语识别方法
CN104598915A (zh) * 2014-01-24 2015-05-06 深圳奥比中光科技有限公司 一种手势识别方法与装置
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN106886751A (zh) * 2017-01-09 2017-06-23 深圳数字电视国家工程实验室股份有限公司 一种手势识别方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUNGHER DON等: "Improving fine motor function after brain injury using gesture recognition biofeedback", 《DISABILITY AND REHABILITATION: ASSISTIVE TECHNOLOGY》 *
曹洁等: "基于RGB-D信息的动态手势识别方法", 《计算机应用研究》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992093B (zh) * 2017-12-29 2024-05-03 博世汽车部件(苏州)有限公司 一种手势比较方法以及手势比较系统
CN109992093A (zh) * 2017-12-29 2019-07-09 博世汽车部件(苏州)有限公司 一种手势比较方法以及手势比较系统
CN108346168B (zh) * 2018-02-12 2019-08-13 腾讯科技(深圳)有限公司 一种手势图像生成方法、装置及存储介质
CN108346168A (zh) * 2018-02-12 2018-07-31 腾讯科技(深圳)有限公司 一种手势图像生成方法、装置及存储介质
US11061479B2 (en) 2018-07-04 2021-07-13 Baidu Online Network Technology (Beijing) Co., Ltd. Method, device and readable storage medium for processing control instruction based on gesture recognition
CN108921101A (zh) * 2018-07-04 2018-11-30 百度在线网络技术(北京)有限公司 基于手势识别控制指令的处理方法、设备及可读存储介质
CN109117766A (zh) * 2018-07-30 2019-01-01 上海斐讯数据通信技术有限公司 一种动态手势识别方法及系统
CN109117771B (zh) * 2018-08-01 2022-05-27 四川电科维云信息技术有限公司 一种基于锚节点的图像中暴力事件检测系统及方法
CN109117771A (zh) * 2018-08-01 2019-01-01 四川电科维云信息技术有限公司 一种基于锚节点的图像中暴力事件检测系统及方法
CN110163130B (zh) * 2019-05-08 2021-05-28 清华大学 一种用于手势识别的特征预对齐的随机森林分类系统及方法
CN110163130A (zh) * 2019-05-08 2019-08-23 清华大学 一种用于手势识别的特征预对齐的随机森林分类器及分类方法
CN111222486A (zh) * 2020-01-15 2020-06-02 腾讯科技(深圳)有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
CN111222486B (zh) * 2020-01-15 2022-11-04 腾讯科技(深圳)有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
US20210326657A1 (en) * 2020-04-21 2021-10-21 Pegatron Corporation Image recognition method and device thereof and ai model training method and device thereof
CN114067425A (zh) * 2020-07-30 2022-02-18 华为技术有限公司 手势识别方法及装置
CN114067425B (zh) * 2020-07-30 2025-10-24 华为技术有限公司 手势识别方法及装置

Also Published As

Publication number Publication date
CN107368820B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN107368820A (zh) 一种精细化手势识别方法、装置及设备
CN111815754A (zh) 一种三维信息确定方法、三维信息确定装置及终端设备
US10572072B2 (en) Depth-based touch detection
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN109308459B (zh) 基于手指注意力模型和关键点拓扑模型的手势估计方法
WO2022116423A1 (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
WO2020244075A1 (zh) 手语识别方法、装置、计算机设备及存储介质
EP3811337A1 (en) System for predicting articulated object feature location
CN110020620A (zh) 一种大姿态下的人脸识别方法、装置及设备
CN107194361B (zh) 二维姿势检测方法及装置
CN111797858A (zh) 模型训练方法、行为预测方法、装置、存储介质及设备
CN109829375A (zh) 一种机器学习方法、装置、设备及系统
CN112633084A (zh) 人脸框确定方法、装置、终端设备及存储介质
CN108197250A (zh) 图片检索方法、电子设备及存储介质
WO2021233017A1 (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN109215131B (zh) 虚拟人脸的驱动方法及装置
CN111126268A (zh) 关键点检测模型训练方法、装置、电子设备及存储介质
CN110956131A (zh) 单目标追踪方法、装置及系统
CN112258647A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN113553884A (zh) 手势识别方法、终端设备及计算机可读存储介质
CN118470793B (zh) 一种动态手势识别方法、装置及存储介质
Zhang et al. Sign language recognition based on dual-path background erasure convolutional neural network
CN118243134A (zh) 基于单目视觉惯性里程计的数据处理方法、装置、电子设备及存储介质
WO2019022829A1 (en) HUMAN FEEDBACK IN A 3D MODEL ADJUSTMENT
CN117523659A (zh) 基于骨架的多特征多流实时动作识别方法、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant