CN107145822A - 偏离深度相机的用户体感交互标定的方法和系统 - Google Patents

Abstract

本发明提供一种偏离深度相机的用户体感交互标定方法和系统，所述方法通过识别出用户正面朝向，然后将得到的深度图像或姿势及动作转换到相对对正面朝向的深度图像或姿势及动作，转换后的图像或姿势及动作将不会因为深度相机的方位受到影响，使得用户体验得以保证；所述系统包括至少一台深度相机和至少一台主体设备，所述深度相机包括图像采集单元、深度计算单元以及接口单元，所述主体设备包含处理器、存储器和接口单元，用于实现本发明所述方法在不同场景下的应用。

Description

偏离深度相机的用户体感交互标定的方法和系统

技术领域

本发明涉及计算机应用领域，尤其涉及一种偏离深度相机的用户体感交互标定方法和系统。

背景技术

利用深度相机(3D相机)可以获取人体的深度图像，进一步利用深度图像可以识别出人体姿势或动作从而实现人机交互。比如目前比较常见的设备中，将深度相机(比如Kinect,Astra等)与主机设备(如游戏主机、智能电视等)相连，当人体对象处在深度相机的可测范围内，由深度相机获取含人体的深度图像，将深度图像传输到主机设备中，通过处理器对深度图像进行人体姿势或动作(如手势等)识别后，将识别到的手势与预设的主机指令对应后触发该指令以实现体感交互。

用户在与电视、机器人等主体设备在进行体感交互时，往往面对这些主体设备，同时深度相机被放置在主体设备上或与主体设备集成在一起。但在其他的应用中，深度相机与主体设备分离且处在不同的方位，比如利用单个深度相机来控制处在不同位置上的多个主体设备等，此时当用户面对主体设备进行体感交互时，用户则会偏离深度相机，比如在左右挥手时，深度相机所得到的深度图像中则并非是左右挥手，这就使得在交互过程中用户意图与体感识别之间的差异。

发明内容

本发明为了解决深度相机与主体设备偏离时不能获取准确指令的问题，提供一种偏离深度相机的用户体感交互标定方法和系统。

为了解决上述问题，本发明采用的技术方案如下所述：

一种偏离深度相机的用户体感交互标定方法，包括以下步骤：

S1：接收深度相机获取的人体面向主体设备发出指令时的深度相机坐标系中的第一深度图像；

S2：根据所述第一深度图像识别出所述人体的正面朝向；

S3：根据所述正面朝向将所述第一深度图像转换为主体设备坐标系中的第二深度图像；

S4：识别所述第二深度图像代表的所述指令并输出所述指令。

优选地，所述人体的正面朝向指的是所述人体的脸部正面或所述人体的躯干正面所指的方向。

优选地，所述步骤S3包括以下步骤：

S31：由所述正面朝向确定出正面朝向的方向向量并计算出该方向向量在所述深度相机坐标系中的方向夹角；

S32：利用所述方向夹角计算出转换矩阵；

S33：根据所述转换矩阵将所述第一深度图像转换为所述第二深度图像。

优选地，所述步骤S4中识别所述第二深度图像代表的指令包括：

S41：根据所述第二深度图像提取其对应的姿势或动作；

S42：识别所述姿势或动作对应的指令；

S43：输出所述指令。

本发明采用的技术方案还包括一种偏离深度相机的用户体感交互标定方法，包括以下步骤：

T1：接收深度相机获取的人体面向主体设备发出指令时的深度相机坐标系中的第一深度图像，并根据所述第一深度图像提取第一姿势或动作；

T2：根据所述第一深度图像识别出所述人体的正面朝向；

T3：根据所述正面朝向将所述第一姿势或动作转换为主体设备坐标系中的第二姿势或动作；

T4：识别所述第二姿势或动作代表的所述指令并输出所述指令。

优选地，所述姿势或动作指的手势或手部动作。

优选地，所述人体的正面朝向指的是所述人体的脸部正面或所述人体的躯干正面所指的方向。

优选地，所述步骤T3包括以下步骤：

T31：由所述正面朝向计算出所述正面朝向的方向向量并计算出该方向向量在所述深度相机坐标系中的方向夹角；

T32：利用所述方向夹角计算出转换矩阵；

T33：根据所述转换矩阵将所述第一姿势或动作转换为所述第二姿势或动作。

本发明采用的技术方案还包括一种采用如以上任一所述的偏离深度相机的用户体感交互标定方法的系统，包括至少一台深度相机和至少一台主体设备，所述深度相机包括图像采集单元、深度计算单元以及接口单元，所述主体设备包含处理器、存储器、接口单元。

一种计算机可读存储介质，其存储有标定偏离深度相机的用户体感交互的计算机程序，所述计算机程序被处理器执行以实现以上任一所述方法。本发明的有益效果为：提供了一种偏离深度相机的用户体感交互标定方法，利用对深度相机获取人体面向主体设备发出指令时的第一深度图像提取人体的正面朝向，并根据该正面朝向来重新标定深度相机所得到的第一深度图像或重新标定由第一深度图像提取的第一姿势或动作，获得人体发出的准确的指令，由此实现无论深度相机的摆放方位如何，均可以实现较佳的用户交互体验。

附图说明

图1是本发明实施例体感交互的场景示意图。

图2是本发明实施例偏离深度相机的用户体感交互标定方法示意图。

图3是本发明实施例偏离深度相机的用户体感交互标定方法中第一深度图像转化为第二深度图像的方法示意图。

图4是本发明实施例偏离深度相机的用户体感交互标定方法中识别并输出指令的方法示意图。

图5是本发明实施例偏离深度相机的用户体感交互标定系统示意图。

图6是本发明实施例又一偏离深度相机的用户体感交互标定方法示意图。

图7是本发明实施例又一偏离深度相机的用户体感交互标定方法中第一姿势或动作转化为第二姿势或动作的方法示意图。

其中，1-电视、2-深度相机、3-用户。

具体实施方式

下面结合附图通过具体实施例对本发明进行详细的介绍，以使更好的理解本发明，但下述实施例并不限制本发明范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本发明的基本构思，附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

图1是根据本发明实施例的体感交互的场景示意图。图中深度相机2与电视1相连，深度相机2被用来获取目标区域的深度图像。

目前深度相机2主要有三种形式：基于双目视觉的深度相机、基于结构光的深度相机以及基于TOF(时间飞行法)的深度相机。以下进行简要说明，无论哪种形式都可以被用在实施例中。

基于双目视觉的深度相机是利用双目视觉技术，利用处在不同视角的两个相机对同一空间进行拍照，两个相机拍摄出的图像中相同物体所在像素的差异与该物体所在的深度直接相关，因而通过图像处理技术通过计算像素偏差来获取深度信息。

基于结构光的深度相机通过向目标空间投射编码结构光图案，再通过相机采集目标空间含有结构光图案的图像，然后将该图像进行处理比如与参考结构光图像进行匹配计算等可以直接得到深度信息。

基于TOF的深度相机通过向目标空间发射激光脉冲，激光脉冲经目标反射后被接收单元接收后并记录下激光脉冲的来回时间，通过该时间计算出目标的深度信息。

这三种方法中第一种一般采集彩色相机，因而受光照影响大，同时获取深度信息的计算量较大。后两种一般利用红外光，不受光照影响，同时计算量相对较小。在室内环境中，使用结构光或TOF深度相机是更佳的选择。

图1中的电视1一般意义上为智能电视或数字电视，可以看成是含有显示器、处理器以及诸多接口的计算设备，目前大多数的智能电视运行ANDROID操作系统。深度相机2一般拥有USB等接口，用于与计算设备相连，还可以进行供电。图1中深度相机2与电视1连接，将获取到的深度图像传输到电视中，通过存储在电视1中的软件对深度图像进行处理，比如图像去噪预处理、骨架提取等，进一步地将处理的结果变成相应的指令来控制电视1中的应用程序，比如控制光标移动、选中、翻页等。

在本实施例的变通实施例中，电视也可以是其他主体设备，比如显示器、电脑、机器人等。

在本实施例中，用户3正面朝向主体设备电视1进行体感交互，体感交互方式包括体感游戏、手势操控光标等。传统的体感交互一般要求深度相机2处在电视1的前方或者上部固定，这样做的好处在于可以使得深度相机2正面与电视1的正面平行，然而也存在一些场景，如图1所示，深度相机2与电视1处在不同的方位，使得深度相机2正面与电视1正面之间有一定的夹角。

图1中用两个向量以方便说明，其中向量a表示用户正面朝向，向量A表示深度相机朝向，图中xyz坐标系为深度相机的坐标系。本发明针对向量a与A存在一定夹角的情形。在这种情形下，当用户3面对主体设备电视1作出平行移动操作时，对于电视1而言该操作即为一个二维的平面操作，而对于深度相机2而言，该操作却为三维的空间移动，当深度相机以在深度相机的坐标系中识别出的该三维移动结果输出到电视1中去，即会使得电视1中的目标也执行三维操作，并非用户3想要的二维操作，这就导致了用户3意图与实际交互目的之间的差距，导致交互体验差。

如图2所示，本实施例采用本发明所述的偏离深度相机的用户体感交互标定方法，可以准确识别用户3的指令，具体包括以下步骤：

S1：接收深度相机获取的人体面向主体设备发出指令时的深度相机坐标系中的第一深度图像；

默认地，该第一深度图像中各像素的坐标是在深度相机所在的坐标系中的。

S2：根据所述第一深度图像识别出所述人体的正面朝向；

在本实施例的变通实施例中，该正面朝向根据不同的应用也有区别。比如对于一些人体躯干总是面对主体设备的应用，用躯干正面的朝向作为正面朝向是合理的；而对于一些人体脸部躯干总是面对主体设备的应用而言，用人脸正面的朝向作为正面朝向则更佳合理。正面朝向的方向向量的计算方法有多种，比如对于人脸而言，通过识别两只眼睛以及嘴巴的三点坐标确定人脸平面，从而确定出垂直与该平面的向量作为人脸正面朝向的方向向量。

S3：根据所述正面朝向将所述第一深度图像转换为主体设备坐标系中的第二深度图像；

如图3所示，所述步骤S3包括以下步骤：

S31：由所述正面朝向确定出正面朝向的方向向量并计算出该方向向量在所述深度相机坐标系中的方向夹角；

S32：利用所述方向夹角计算出转换矩阵；

S33：根据所述转换矩阵将所述第一深度图像转换为所述第二深度图像。根据所述正面朝向的方向向量可以得到该向量与深度相机向量之间的夹角θ，该夹角在三个方向上的分量为(α,β,γ)，由此可以得到转换矩阵R：

将第一深度图像中各个像素的三维空间点与该转换矩阵相乘就可以得到所述主体设备的坐标系中的第二深度图像，该深度图像将不会随着深度相机的方位影响，因此可以实现更好的人机交互。

S4：识别所述第二深度图像代表的所述指令并输出所述指令；

如图4所示，所述步骤S4中识别所述第二深度图像代表的指令包括：

S41：根据所述第二深度图像提取其对应的姿势或动作；

S42：识别所述姿势或动作对应的指令；

S43：输出所述指令。

值得注意的是，该转换矩阵仅考虑了转换，没有考虑平移及缩放，在本实施例的变通实施例中，转换矩阵也可以增加平移及缩放分量。

在本实施例的变通实施例中，存在一种计算机可读存储介质，其存储有标定偏离深度相机的用户体感交互的计算机程序，所述计算机程序被处理器执行以实现图2、图3、图4所示方法。

如图5所示，是本实施例偏离深度相机的用户体感交互标定系统示意图。系统由主体设备以及深度相机组成，其中主体设备包含处理器、存储器、接口单元，主体设备还外接了一个显示器；深度相机中包含深度计算单元、接口单元、图像采集单元，对于结构光深度相机以及TOF深度相机，图像采集单元包括光学投影仪以及图像传感器；而对于双目深度相机，图像采集单元包括两个图像传感器。主体设备与深度相机之间通过接口单元连接，该接口单元为USB有线连接。

在本实施例的变通实施例可以是例如如下所述：主体设备可以包括显示器，在进行体感交互时，用户一般朝向显示器；计算设备与深度相机之间还可以通过其他有线形式连接，也可以为WIFI等无线连接。

深度相机采集到目标区域的图像后，由深度计算单元计算出目标区域的深度图像，根据不同原理的深度相机，其计算方式也有区别，以结构光深度相机为例。结构光深度相机中结构光投影仪向空间中投影结构光图像，该图像由图像传感器采集后传给深度计算单元，由结构光图像计算深度图像是基于结构光三角法来实现的。以结构光图像为散斑图像为例，预先需要对采集一幅已知深度平面上的结构光图像为参考图像，然后深度计算单元利用当前获取的结构光图像与参考图像，通过图像匹配算法计算各个像素的偏离值(变形)，最后利用三角法原理可以计算出深度，计算公式如下：

其中，Z_D指三维空间点距离采集模组的深度值，即待求的深度数据，B是采集相机与结构光投影仪之间的距离，Z₀为参考图像离采集模组的深度值，f为采集相机中透镜的焦距。其中参考图像、B以及f等参数预先要存储在存储器中。

在本实施例中，存储器为flash闪存。在本实施例的变通实施例中，可以为其他非易失性存储器，若深度相机被集成到计算设备中，该存储器与计算设备中的存储器可以指合二为一。

深度计算单元计算出目标区域的深度图像后，深度图像经由接口单元传输到计算设备中，深度图像可以被保存在存储器中，然后由主体设备的处理器处理，此处的深度图像包括深度图像预处理、人体识别、骨架提取等信息。

在本发明的变通实施例中，深度图像也可以直接经由主体设备的处理器进行实时的处理，处理的程序(如深度图像预处理、人体识别、骨架提取等)被预先保存在主体设备的存储器中。处理器将调用这些程序对深度图像进行处理，最终可以输出控制其他应用程序的指令。

在本实施例中，为了解决前面提出的用户真实体感与虚拟操控对象不一致的问题，处理器还需要对深度相机获取的深度图像进行进一步的处理。问题产生的根本原因在于深度相机朝向与主体设备朝向不一致的问题。

如图6所示，本实施例还可以采用本发明另一所述的方法解决上述问题，先对深度图像进行进一步处理后得到姿势、或动作后再进行转换，具体包括如下步骤：

T1：接收深度相机获取的人体面向主体设备发出指令时的深度相机坐标系中的第一深度图像，并根据所述第一深度图像提取第一姿势或动作；所述姿势或动作指的手势或手部动作；

T2：根据所述第一深度图像识别出所述人体的正面朝向；

在本实施例的变通实施例中，该正面朝向根据不同的应用也有区别。比如对于一些人体躯干总是面对主体设备的应用，用躯干正面的朝向作为正面朝向是合理的；而对于一些人体脸部躯干总是面对主体设备的应用而言，用人脸正面的朝向作为正面朝向则更佳合理。正面朝向的方向向量的计算方法有多种，比如对于人脸而言，通过识别两只眼睛以及嘴巴的三点坐标确定人脸平面，从而确定出垂直与该平面的向量作为人脸正面朝向的方向向量。

T3：根据所述正面朝向将所述第一姿势或动作转换为主体设备坐标系中的第二姿势或动作；

如图7所示，所述步骤T3包括以下步骤：

T31：由所述正面朝向计算出所述正面朝向的方向向量并计算出该方向向量在所述深度相机坐标系中的方向夹角；

T32：利用所述方向夹角计算出转换矩阵；

T33：根据所述转换矩阵将所述第一姿势或动作转换为所述第二姿势或动作。

T4：识别所述第二姿势或动作代表的所述指令并输出所述指令。

与图2所示的方法相比，图6所示的方法所需要的计算量较小，首先得到深度图像后，还需要从深度图像中提取出第一姿势或动作；其次也需要计算转换矩阵；最后根据转换矩阵将第一姿势或动作转换为相对于人体正面朝向的第二姿势或动作。

计算设备中的存储器用于存储操作系统以及应用程序；处理器通过对深度图像的处理后发出相应的指令，通过该指令进一步控制应用程序。显示器用于应用程序的显示。

在本实施例的变通实施例中，存在一种计算机可读存储介质，其存储有标定偏离深度相机的用户体感交互的计算机程序，所述计算机程序被处理器执行以实现图6、图7所示方法。

在本实施例的变通实施例中，主体设备的存储器用于存储实现图2、图3、图4和图6、图7所示方法的操作系统以及应用程序，所述处理器按照图2、图3、图4和图6、图7所示的方法执行同步所述步骤，取两种方法中最先输出的指令；或者处理器将两种方法所得到的指令进行校准后再输出最终指令。

以上只是本实施例的部分变通实施例，其他的变通方式，在不改变本发明所述方法的基本思想的基础上都应视为本发明所保护的范围。

在大型超市或商场中，售卖电视的卖家需要向客户展示一面墙上不同分辨率、不同配置的多台电视的效果。为了展示效果更佳明显，可以使不同配置的多台电视展示相同的画面，此时的深度相机可以摆放在与电视机所在墙面不同的方位上，采用本发明所述的两种方法中任一一种，用一台深度相机同时控制多台电视，同时发送指令给多台电视用于切换画面。

这台深度相机通过接口的方式与多台电视相连，使用时，商家可以朝向电视所在墙面作出指令，由深度相机采集商家的深度图像，采用如上所述的任一方法，对深度图像进行处理得到所述指令并输出，然后通过该指令进一步控制多台电视的应用程序，实现对多台电视的同时控制，与传统的需要用遥控器单个调试相比更方便快捷。

在本实施例的变通实施例中，计算设备与深度相机之间还可以通过其他有线形式连接，也可以为WIFI等无线连接。

在本实施例的变通实施例中，也可以通过设置不同的指令，有选择的控制所述的多台电视。

本实施例只是一种使用场景，但是不限于该使用场景，在本实施例的变通实施例中，还可以扩展到其他的使用场景，比如用一台深度相机同时或分别控制多个游戏界面等均应属于本发明保护的范围。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种偏离深度相机的用户体感交互标定方法，其特征在于，包括以下步骤：

S1：接收深度相机获取的人体面向主体设备发出指令时的深度相机坐标系中的第一深度图像；

S2：根据所述第一深度图像识别出所述人体的正面朝向；

S3：根据所述正面朝向将所述第一深度图像转换为主体设备坐标系中的第二深度图像；

S4：识别所述第二深度图像代表的所述指令并输出所述指令。

2.如权利要求1所述的偏离深度相机的用户体感交互标定方法，其特征在于，所述人体的正面朝向指的是所述人体的脸部正面或所述人体的躯干正面所指的方向。

3.如权利要求1所述的偏离深度相机的用户体感交互标定方法，其特征在于，所述步骤S3包括以下步骤：

S31：由所述正面朝向确定出正面朝向的方向向量并计算出该方向向量在所述深度相机坐标系中的方向夹角；

S32：利用所述方向夹角计算出转换矩阵；

S33：根据所述转换矩阵将所述第一深度图像转换为所述第二深度图像。

4.如权利要求1所述的偏离深度相机的用户体感交互标定方法，其特征在于，所述步骤S4中识别所述第二深度图像代表的指令包括：

S41：根据所述第二深度图像提取其对应的姿势或动作；

S42：识别所述姿势或动作对应的指令；

S43：输出所述指令。

5.一种偏离深度相机的用户体感交互标定方法，其特征在于，包括以下步骤：

T1：接收深度相机获取的人体面向主体设备发出指令时的深度相机坐标系中的第一深度图像，并根据所述第一深度图像提取第一姿势或动作；

T2：根据所述第一深度图像识别出所述人体的正面朝向；

T3：根据所述正面朝向将所述第一姿势或动作转换为主体设备坐标系中的第二姿势或动作；

T4：识别所述第二姿势或动作代表的所述指令并输出所述指令。

6.如权利要求5所述的偏离深度相机的用户体感交互标定方法，其特征在于，所述姿势或动作指的手势或手部动作。

7.如权利要求5所述的偏离深度相机的用户体感交互标定方法，其特征在于，所述人体的正面朝向指的是所述人体的脸部正面或所述人体的躯干正面所指的方向。

8.如权利要求5所述的偏离深度相机的用户体感交互标定方法，其特征在于，所述步骤T3包括以下步骤：

T31：由所述正面朝向计算出所述正面朝向的方向向量并计算出该方向向量在所述深度相机坐标系中的方向夹角；

T32：利用所述方向夹角计算出转换矩阵；

T33：根据所述转换矩阵将所述第一姿势或动作转换为所述第二姿势或动作。

9.一种采用如权利要求1-8任一所述的偏离深度相机的用户体感交互标定方法的系统，其特征在于，包括至少一台深度相机和至少一台主体设备，所述深度相机包括图像采集单元、深度计算单元以及接口单元，所述主体设备包含处理器、存储器和接口单元。

10.一种包含计算机程序的计算机可读存储介质，所述计算机程序被计算机执行以实现权利要求1-8任一所述的方法。