CN103956036B - 一种应用于家电的非触碰式遥控器 - Google Patents

Abstract

本发明涉及一种应用于家电的非触碰式遥控器。本发明所述的遥控器，包括设置在遥控器本体上的两个或多个摄像头、手势识别模块、指令生成模块和无线发送模块；其特征在于，所述的两个或多个摄像头用于采集用户手部姿态图像，并耦合到所述手势识别模块；所述手势识别模块用于基于所述手部姿态图像识别用户的手部姿态信息，并耦合到指令生成模块；所述指令生成模块用于输出与用户手部姿态相对应的操作指令，并耦合到所述无线发送模块；所述无线发送模块用于将操作指令发送给所述遥控器所遥控的设备。

Description

一种应用于家电的非触碰式遥控器

技术领域

本发明涉及一种应用于家电的非触碰式遥控器，具体是一种以用户手势作为遥控指令的遥控器，属于智能人机交互技术领域。

背景技术

随着电子计算机技术的不断发展，人工智能已广泛应用于社会生活的各个领域，传统的人机交互方式已经不能完全满足用户的需求。以家电为例，传统的交互是以按键和触摸遥控器为主，这也是目前家电遥控器采用的主流交互形式，实际上这种形式存在着一定的局限性。一方面，按键与触摸基本都是离散式的操作模式，不具备例如鼠标式的操作连续性，使用起来不够灵活，另一方面，用户在手中沾有污渍的情况下，想实现遥控功能就必定会弄脏遥控设备，这是大部分用户不希望看到的。鉴于上述的局限性，人们想得到一种可以脱离实体按键或者触摸屏的家电遥控系统，不必刻意地按下指定功能的按键，能够在空间范围内以手势等肢体动作就能完成与家电的遥控与互动。基于上述想法，Soft Kinetic公司设计了一种基于TOF(Time Of Flight)的空间体感识别设备，利用测量光的发射与反射之间的时间差，计算被测物体与镜头的距离，从而实现三维的手势识别。另外，Prime sense公司开发的Light Coding技术利用Laser Speckle(镭射光斑)随距离变化形成不同图案的特性，对测量空间进行编解码，从而达到确切锁定三维空间内目标位置的目的。

上述TOF和Light Coding技术在理论上一定程度地解决了传统遥控系统存在的问题，但是TOF技术需要使用特殊的图像采集设备，成本较高，而LightCoding技术在识别的距离上还是以1.5M-5M的范围为主，对于近距离物体的识别算法还有待提高，以上述两种技术为基础的家电遥控系统还没有真正的投入市场，另外应用上述两种技术的方案并没有充分考虑到控制系统本身存在于三维空间的方向与角度问题，并且这两种技术也并不是三维空间手势识别仅有的技术手段。除上述的两种技术方案外，公告号为CN102156859B的发明专利“手部姿态与空间位置的感知方法”提到的技术方法可以更有效、更便捷、更精确地实现近距离三维空间手势识别功能。通过引用将公告号为CN102156859B的发明专利的全文合并于此。

发明内容

根据本发明的实施例，提供了一种遥控器，包括设置在遥控器本体上的两个或多个摄像头、手势识别模块、指令生成模块和无线发送模块；其特征在于，所述的两个或多个摄像头用于采集用户手部姿态图像，并耦合到所述手势识别模块；所述手势识别模块用于基于所述手部姿态图像识别用户的手部姿态信息，并耦合到指令生成模块；所述指令生成模块用于输出与用户手部姿态相对应的操作指令，并耦合到所述无线发送模块；所述无线发送模块用于将操作指令发送给所述遥控器所遥控的设备。

根据本发明的实施例的遥控器还包括按键，所述按键耦合到所述指令生成模块，所述指令生成模块还用于输出与所述按键相对应的操作指令。

根据本发明的实施例的遥控器还包括存储模块，用于存储手部姿态图像、手部姿态信息，所述手势识别模块访问所述存储模块以确定同所述手部姿态图像相对应的手部姿态信息。

根据本发明的实施例的遥控器，其中所述两个或多个摄像头的光轴彼此平行，以及所述两个或多个摄像头的光轴与所述遥控器的长轴垂直，所述两个或多个摄像头安装在所述遥控器内部。

根据本发明的实施例的遥控器还包括红外光源，用于照射所述两个或多个摄像头的取景范围，所述两个或多个摄像头的镜头上设有红外滤光装置。

根据发明的实施例的遥控器还包括姿态感知模块，所述姿态感知模块用于检测所述遥控器的空间姿态。

根据本发明的实施例的遥控器，其中所述姿态感知模块包括加速度传感器。

根据本发明的实施例的遥控器，其中遥控器坐标系具有x，y，z轴，遥控器坐标系的y轴平行于遥控器的长轴方向，遥控器坐标系的z轴与遥控器的面板垂直，遥控器坐标系的y轴与z轴所构成的平面与x轴相垂直；所述姿态感知模块用于获取角度信息α和β，其中角度信息α和β的含义为：当所述遥控器坐标系绕其y轴旋转角度α时，遥控器坐标系中的x轴被旋转到平行于世界水平面的方向，当所述遥控器坐标系进行上述α角度旋转后，再绕所述遥控器坐标系的x轴旋转角度β时，所述遥控器坐标系中的y轴被旋转到平行于世界水平面的方向，在所述遥控器坐标系旋转过程中，保持所述遥控器坐标系的y轴在世界水平面上的投影方向不变。

根据本发明的实施例的遥控器，还包括坐标转换模块，所述的坐标转换模块基于所述角度信息α和β将所述手势识别模块识别的具有遥控器坐标系的用户的手部姿态信息转换为所述遥控器坐标系绕其y轴旋转角度α，再绕所述遥控器坐标系的x轴旋转角度β后的第二手部姿态信息。

根据本发明的实施例的遥控器，其中所述遥控器所遥控的设备是家电，所述家电具有家电坐标系，所述家电坐标系具有x1，y1，z1轴，家电坐标系的x1，y1轴相互垂直，x1，y1轴所构成的平面平行于世界水平面，家电坐标系的z1轴垂直于x1，y1轴所构成的平面；所述坐标转换模块将所述第二手部姿态信息在遥控器坐标系中的坐标点(a，b，c)转换成为家电坐标中的坐标点(k_x*a，k_y*b，k_z*c)，其中k_x，k_y，k_z是实数常量。

根据本发明的实施例的遥控器，所述手部姿态信息包括手掌的空间位置、每个手指的朝向和指尖的空间位置。

附图说明

为了使本发明的内容更容易被清楚的理解，下面结合附图，对本发明作进一步详细的说明，其中，

图1是本发明的装有两个摄像头的遥控器的结构示意图；

图2是本发明的装有三个摄像头的遥控器的结构示意图；

图3是本发明的遥控器的结构框图；

图4是本发明的具有空间姿态感知功能的遥控器的结构框图；

图5是本发明的遥控器坐标系示意图；

图6是本发明的家电坐标系示意图；

图7是本发明的遥控器的以α角度旋转进行姿态变换的示意图；

图8是本发明的遥控器的以α角度旋转进行姿态变换后的示意图；

图9是本发明的遥控器的以β角度旋转进行姿态变换的示意图；

图10是本发明的遥控器的以β角度旋转进行姿态变换后的示意图。

具体实施方式

图1是根据发明的实施例的装有两个摄像头遥控器的结构示意图。遥控器105上设置有摄像头模块104。摄像头模块104包括摄像头101与摄像头102。摄像头101与摄像头102设置在遥控器105内部，摄像头101与摄像头102的光轴垂直于遥控器105的面板。摄像头101与摄像头102用于采集用户手部姿态的图像信息。

在可选实施方式中，摄像头模块104还包括红外灯103。优选地，红外灯103的照射范围覆盖摄像头101与摄像头102的取景范围。

摄像头101与摄像头102的镜头上设置红外滤光装置，以滤除可见光。

图2是根据使用新型的实施例的装有三个摄像头的遥控器的结构示意图。遥控器206上设置有摄像头模块205。摄像头模块205包括摄像头201、摄像头202和摄像头203。摄像头201、摄像头202、摄像头203均设置在遥控器206的内部。摄像头201、摄像头202、摄像头203的光轴垂直于遥控器206的面板。摄像头201、摄像头202、摄像头203的几何中心在同一平面上，其相互的连线构成一个等边三角形。所属领域技术人员将意识到，摄像头201、摄像头202、摄像头203之间的可具有其他位置关系而不限于等边三角形。摄像头201、摄像头202、摄像头203也可以位于遥控器206的侧面，或者摄像头201、摄像头202、摄像头203的光轴垂直于遥控器206的侧面。摄像头201、摄像头202、摄像头203用于采集用户手部姿态的图像信息。

摄像头模块205上还设置红外灯204。在优选的实施例中，红外灯204的照射范围覆盖摄像头的取景范围。

摄像头201、摄像头202、摄像头203的镜头上设置红外滤光装置，滤除可见光。

在另一个实施例中，可以提供多于三个摄像头。更多的摄像头有助于提高手势识别的精度。

图3是发明实施例的遥控器的结构框图。遥控器306包括摄像头模块301、手势识别模块302、指令生成模块303、无线发送模块304、按键模块305。

摄像头模块301的输出与手势识别模块302的输入相连。摄像头模块301用于采集其视野范围内的图像信息，并将图像信息传送给手势识别模块302。

手势识别模块302的输入与摄像头模块301的输出相连，手势识别模块302的输出与指令生成模块303的输入相连。手势识别模块302将摄像头模块301采集到的图像信息进行处理。如果摄像头模块301视野范围内有用户手势出现，则手势识别模块302将其提取出来，并得到包括例如用户手掌的空间位置、每个手指的朝向和指尖的空间位置的信息。手势识别模块302完成其功能可以通过多种方式，例如，将摄像头模块301采集到的用户手部姿态的图像与存储模块中事先训练得到的模板库中的信息进行对比，从模板库中搜索出与当前采集的图像最接近的图像模板，依据该模板得到与该模板相对应的当前用户手部姿态信息，手部姿态信息包括但不限于用户手掌的空间位置、每个手指的朝向和指尖的空间位置。

指令生成模块303的输入与手势识别模块302的输出相连，指令生成模块303的输出与无线发送模块304的输入相连。指令生成模块303中，存储了预先定义的手部姿态信息与遥控指令的对应关系数据。手部姿态信息可以是用户的静态姿势，例如，伸出右手食指而其他手指紧握，也可以是动态的连续动作，例如，右手伸出，五指合并，向左侧挥动的整个连续过程。指令生成模块303可以根据输入的手部姿态信息查找到与其相对应的遥控指令，再将遥控指令传送给无线发送模块304。遥控指令可以是打开或者关闭家电的某项功能、增加或者减小家电某种工作参数，对于有二维或者三维图形交互界面的家电，遥控指令还可以包括界面内光标或者其他操作对象的定位指令等。

无线发送模块304的输入与指令生成模块303的输出相连。无线发送模块304将接收到的指令生成模块303的遥控指令进行编码，以无线信号的形式发送给被控家电。可选地，无线通信模块304的通信方式可采用红外、蓝牙、Wi-Fi、ZIGBEE等多种短距离无线通信方式。被控家电在接收到遥控指令后，会对指令进行解码，并执行指令中的操作内容。被控家电可以是电视机、空调、冰箱、微波炉等。

可选地，遥控器306包括按键模块305。按键模块305包括遥控器按键，例如数字键、音量调节键、频道增/减键等。按键模块305的输出与指令生成模块303的输入相连。按键模块305中的按键所产生的离散输入通过指令生成模块303转换成按键代表的相应遥控指令，并传送给无线发送模块304，无线发送模块304以短距离无线通信方式将遥控指令发送到被控家电，被控家电接收到遥控指令，对指令进行解码并执行指令所对应的操作。

图4是本发明的具有空间姿态感知功能的遥控器的结构框图。遥控器407包括摄像头模块401、手势识别模块402、姿态感知模块403、坐标转换模块404、指令生成模块405、无线发送模块406。

摄像头模块401的输出与手势识别模块402的输入相连。摄像头模块401用于采集其视野范围内的图像信息，并将图像信息传送给手势识别模块402。

手势识别模块402的输入与摄像头模块401输出相连，手势识别模块402的输出与坐标转换模块404相连。手势识别模块402将摄像头模块401采集到的图像信息进行处理，得到与用户当前手部姿态与空间位置相对应的手部姿态信息。

姿态感知模块403的输出与坐标转换模块404的输入相连。姿态感知模块403可安装于遥控器407的电路板的任何位置。姿态感知模块403可以返回遥控器407自身的姿态信息，包括但不限于遥控器所在坐标系与真实世界水平面的角度信息。为了描述清楚，参看图5，定义了遥控器坐标系。

规定遥控器几何中心为遥控器坐标系的坐标原点。

通过坐标原点平行于遥控器长轴的直线为遥控器坐标系y轴方向，无线发送模块位于遥控器长轴的一端，由坐标原点指向无线发送模块的方向为y轴正方向。

遥控器按键板位于遥控器的表面。通过坐标原点，与遥控器按键板平面垂直的直线为遥控器坐标系z轴方向，由坐标原点指向遥控器按键平面的方向为z轴正向。

通过坐标原点，y×z方向为x轴正向(×表示向量积)。

以电视机为例，定义家电坐标系，如图6所示。

以家电的几何中心为坐标原点，垂直于家电显示界面，由家电的正面指向反面的方向为y1轴的正方向；

通过坐标原点，指向家电正上方为z1轴的正方向；

通过坐标原点，y1×z1方向为x1轴正向(×表示向量积)。

继续参看图4，姿态感知模块403返回遥控器407自身姿态信息。在一个实施例中，姿态感知模块403包括加速度传感器。姿态感知模块403通过加速度传感器可以得到两个角度信息，分别为α和β，其中α是遥控器坐标系需要围绕y轴旋转的角度，β是完成上述旋转后的遥控器坐标系围绕x轴旋转的角度。姿态感知模块403将这两个角度信息传送给坐标转换模块404。

坐标转换模块404的输入分别独立地与手势识别模块402和姿态感知模块403的输出向连，坐标转换模块404的输出与指令生成模块405的输入相连。在遥控器坐标系的xy平面与真实世界水平面不平行情况下，坐标转换模块404对手势识别模块402的输出结果进行坐标系旋转。而本发明的技术方案可适用于以多种姿态摆放的家电，家电坐标系可与世界坐标系存在任意方向差异。在坐标系旋转过程中，保持遥控器坐标系y轴在世界水平面上的投影方向不变，并将遥控器坐标系的xy平面旋转成与世界水平面平行。坐标转换模块404利用姿态感知模块403提供的角度信息α和β对手势识别模块402输出的结果进行坐标转换。参看图7-图10，详细描述了角度α和β的含义。

如图7所示，网格GO1代表世界水平面，当遥控器坐标系绕其y轴旋转角度α时，遥控器坐标系中的x轴被旋转到平行于世界水平面的方向，旋转后得到如图8的结果。

如图9所示，网格GO1代表世界水平面，当遥控器坐标系进行上述α角度旋转后(参看图8)，再绕其x轴旋转角度β时，遥控器坐标系中的y轴被旋转到平行于世界水平面的方向，旋转后得到如图10的结果。

继续参照图4，定义手势识别模块402输出的手部姿态信息包括遥控器坐标系中的坐标为(X_yk，Y_yk，Z_yk)，坐标转换模块404利用角度信息α和β对此坐标进行转换。

在一个实施例中，首先，利用角度信息α，将坐标(X_yk，Y_yk，Z_yk)以y轴为旋转轴，以角度α做坐标的转换，此坐标转换可以用一个表示坐标转换的矩阵左乘向量(X_yk，Y_yk，Z_yk)来表示，即

然后，利用角度信息β，将通过公式(1)转换得到的位置坐标向量(X’，Y’，Z’)以x轴为旋转轴，旋转的角度为β做坐标的转换，此时坐标的转换同样可以用一个表示坐标转换的矩阵左乘位置向量(X’，Y’，Z’)来表示，即

经过上述两次坐标的转换后，将遥控器坐标系中坐标位置(X_yk，Y_yk，Z_yk)转换到遥控器坐标系的xy平面与世界水平面平行的坐标系中，转换后的坐标为(X，Y，Z)。

在可选实施例中，结合公式(1)和(2)通过公式(3)将遥控器坐标系的(X_yk，Y_yk，Z_yk)转换为与世界水平面平行的坐标系中的坐标(X，Y，Z)。

基于公式(1)、(2)、(3)，所属领域技术人员将意识到可以采用多种方式实现坐标转换模块404。

在一个实施例中，坐标转换模块404包括9个乘法器与6个加法器。用9个乘法器分别完成Cosα*X_yk、0*Y_yk、-sinα*Z_yk、-sinαcosβ*X_yk、cosβ*Y_yk、-cosαsinβ*Z_yk、sinαcosβ*X_yk、sinβ*Y_yk、cosαcosβ*Z_yk；6个加法器完成Cosα*X_yk+0*Y_yk＝A、A+(-sinα*Z_yk)＝X、-sinαcosβ*X_yk+cosβ*Y_yk＝B、B+(-cosαsinβ*Z_yk)＝Y、sinαcosβ*X_yk+sinβ*Y_yk＝C、C+cosαcosβ*Z_yk＝Z。

在另一个实施例中，使用1个乘法器顺序执行9次乘法操作，而用一个加法器顺序执行6次加法操作。也可以使用其他数量的乘法器和/或加法器。

在依然进一步的实施例中，坐标转换模块404可由查表电路实现。

基于坐标(X_yk，Y_yk，Z_yk)的旋转过程，所属技术领域人员将意识到坐标转换模块404可以完成向量的旋转，例如使用坐标点旋转的操作对向量的起始点和终止点分别进行旋转，并使用对应旋转结果作为新向量的起始点和终止点。其他几何概念或形体的旋转也可拆分为坐标点旋转，在此不做赘述。坐标转换模块404将遥控器坐标系的(X_yk，Y_yk，Z_yk)转换成为与世界水平面平行的坐标系中的坐标(X，Y，Z)。以此方式，坐标转换模块404将手势识别模块402输出的手部姿态信息转换到与世界水平面平行的坐标系中。

如果家电具有二维或者三维图形交互界面，还可以通过根据本发明实施例的遥控器来提供用于图形交互界面上的光标或者其他操作对象的定位信息。为操作图形交互界面上的光标或者其他操作对象，将手部姿态信息转换到家电坐标系中。通过坐标转换模块404进行坐标转换后的结果(X，Y，Z)，可以线性对应到家电坐标系x1，y1，z1中以满足其需求。转换过的遥控器坐标系中的一个点(X，Y，Z)可以被线性对应到家电坐标系中的(k_x*X，k_y*Y，k_z*Z)，其中k_x，k_y，k_z是随应用场景变化的三个常量，它们可以是任意实数。

指令生成模块405的输入与坐标转换模块404的输出相连，指令生成模块405的输出与无线发送模块406的输入相连。指令生成模块405接收到坐标转换模块404转换后的手部姿态信息后，将其与预先存储的手部姿态信息与遥控指令的对应关系数据相比较，得到与其相对应的遥控指令，并将指令传送给无线发送模块406。

无线发送模块406的输入与指令生成模块405的输出相连。无线发送模块406将接收到的指令生成模块405的遥控指令进行编码，以无线信号的形式发送给被控家电。可选地，无线通信模块406的通信方式可采用红外、蓝牙、Wi-Fi、ZIGBEE等多种短距离无线通信方式。被控家电在接收到遥控指令后，会对指令进行解码，并执行指令中的操作内容。被控家电可以是电视机、空调、冰箱、微波炉等。

在本发明的一个具体的实施例中，遥控器上的摄像头模块、手势识别模块、指令生成模块还可以处于休眠状态中，姿态感知模块检测到遥控器的空间姿态发生变化后，触发摄像头模块、手势识别模块和指令生成模块退出休眠状态，以识别用户的手势遥控指令。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (10)

1.一种遥控器，包括设置在遥控器本体上的两个或多个摄像头、手势识别模块、指令生成模块和无线发送模块；

其特征在于，所述的两个或多个摄像头用于采集用户手部姿态图像，并耦合到所述手势识别模块；

所述手势识别模块用于基于所述手部姿态图像识别用户的手部姿态信息，并耦合到指令生成模块；

所述指令生成模块用于输出与用户手部姿态相对应的操作指令，并耦合到所述无线发送模块；

所述无线发送模块用于将操作指令发送给所述遥控器所遥控的设备；

所述遥控器还包括姿态感知模块与坐标转换模块，所述姿态感知模块用于检测所述遥控器所在坐标系与世界水平面的角度信息；所述坐标转换模块利用所述姿态感知模块提供的角度信息对手势识别模块的输出结果进行坐标转换。

2.根据权利要求1所述的遥控器，其特征在于，还包括按键，所述按键耦合到所述指令生成模块，所述指令生成模块还用于输出与所述按键相对应的操作指令。

3.根据权利要求1或2所述的遥控器，其特征在于，还包括存储模块，用于存储手部姿态图像、手部姿态信息，所述手势识别模块访问所述存储模块以确定同所述手部姿态图像相对应的手部姿态信息。

4.根据权利要求1或2所述的遥控器，其中所述两个或多个摄像头的光轴彼此平行，以及所述两个或多个摄像头的光轴与所述遥控器的长轴垂直，所述两个或多个摄像头安装在所述遥控器内部。

5.根据权利要求1或2所述的遥控器，还包括红外光源，用于照射所述两个或多个摄像头的取景范围，所述两个或多个摄像头的镜头上设有红外滤光装置。

6.根据权利要求1或2所述的遥控器，其中，所述姿态感知模块用于检测所述遥控器的空间姿态。

7.根据权利要求6所述的遥控器，其中所述姿态感知模块包括加速度传感器。

8.根据权利要求6所述的遥控器，其中遥控器坐标系具有x，y，z轴，遥控器坐标系的y轴平行于遥控器的长轴方向，遥控器坐标系的z轴与遥控器的面板垂直，遥控器坐标系的y轴与z轴所构成的平面与x轴相垂直；

所述姿态感知模块用于获取角度信息α和β，其中角度信息α和β的含义为：当所述遥控器坐标系绕其y轴旋转角度α时，遥控器坐标系中的x轴被旋转到平行于世界水平面的方向，当所述遥控器坐标系进行上述α角度旋转后，再绕所述遥控器坐标系的x轴旋转角度β时，所述遥控器坐标系中的y轴被旋转到平行于世界水平面的方向，在所述遥控器坐标系旋转过程中，保持所述遥控器坐标系的y轴在世界水平面上的投影方向不变。

9.根据权利要求8所述的遥控器，其中，所述的坐标转换模块基于所述角度信息α和β将所述手势识别模块识别的具有遥控器坐标系的用户的手部姿态信息转换为所述遥控器坐标系绕其y轴旋转角度α，再绕所述遥控器坐标系的x轴旋转角度β后的第二手部姿态信息。

10.根据权利要求9所述的遥控器，其中所述遥控器所遥控的设备是家电，所述家电具有家电坐标系，所述家电坐标系具有x1，y1，z1轴，家电坐标系的x1，y1轴相互垂直，x1，y1轴所构成的平面平行于世界水平面，家电坐标系的z1轴垂直于x1，y1轴所构成的平面；所述坐标转换模块将所述第二手部姿态信息在遥控器坐标系中的坐标点(a，b，c)转换成为家电坐标中的坐标点(k_x*a，k_y*b，k_z*c)，其中k_x，k_y，k_z是实数常量。