CN101437124A - 面向电视控制的动态手势识别信号处理方法 - Google Patents

Abstract

面向电视控制的动态手势识别信号处理方法涉及到从电视机内嵌摄像头摄取的图像中检测运动，对其中人手的动作进行识别并转换为电视控制信号(如频道切换、音量调整及更为复杂的菜单操作等)的一种信号处理方法。该方法利用电视机内置摄像头采集电视用户动作图像，通过对采集到的图像进行分析得到运动区域，从运动区域中提取手目标的信息并生成轨迹，继而判断轨迹所对应的指令产生电视控制命令。本发明提出了一种无需人工辅助对手进行定位的动态手势控制电视的方法，该方法通过运动检测和构建多目标人体模型的方式获得用户的手语，并产生相应的电视控制指令。为手语电视领域提供了更完善的远程遥控方式。这种遥控方式将会显著地推动电视应用领域的发展。

Description

面向电视控制的动态手势识别信号处理方法

技术领域

本发明涉及到从电视机内嵌摄像头摄取的图像中检测运动，对其中人手的动作进行识别并转换为电视控制信号(如频道切换、音量调整及更为复杂的菜单操作等)的一种信号处理方法。属于电视控制装置的技术领域。

背景技术

当前对电视进行远程遥控的模式主要有：

1.红外电视远程遥控器(Infrared TV Remote Controller)遥控，

2.类似鼠标的遥控器输入，

3.采用手写板的遥控器手写输入，

尽管已经有关于手语动作远程遥控电视的专利，如中国专利02101991.6，但该专利基于对人体指尖红外信息的识别，从可行性，成本以及精确性上考虑都不是一个理想的技术方案。其他的类似专利也有一些关键的技术问题需要解决，如需要提高抗噪能力，或者需要人工辅助对手进行定位，等等。

现有技术问题或要改善的地方

1.目前的电视遥控器无论从外形还是输入操作上都是千篇一律，已经让用户产生审美疲劳，不能突出产品在外形上的特色。

2.随着电视功能越来越复杂，遥控器操作太过繁琐，消费者使用的功能还是基于80％-20％原则，即常用的功能仅仅是20％。

3.看电视本身是休闲娱乐，在需要对电视进行控制的时候(比如调节音量)，就需要手忙脚乱的找遥控器，而往往家里会有多个遥控器存在，电视，DVD，空调，到底哪一个才是电视遥控器？

4.当前手语电视的缺点：需要用户手动定位，不够人性化和智能化

发明内容

技术问题：本发明的目的是实现一种结合运动检测和动态手势识别的电视控制方法，利用该方法可以通过操作者的手部动作(例如，挥手)来控制电视，比如调节音量，切换频道等，从而省去了寻找遥控器，操作遥控器的过程，将用户从对遥控器的依赖中解放出来，挥挥手即可实现对电视的控制。

技术方案：本发明面向电视控制的动态手势识别信号处理方法涉及的是结合运动检测和手形识别的信号处理方法，该方法利用电视机内置摄像头采集电视用户动作图像，通过对采集到的图像进行分析得到运动区域，从运动区域中提取手目标的信息并生成轨迹，继而判断轨迹所对应的指令产生电视控制命令，该方法具体包含以下步骤：

步骤一：利用电视机中的内置摄像头采集视频数据，加入图像序列，

步骤二：如果参考背景图像未构建，则用参考背景构建方法对步骤一中采集到的图像序列构造参考背景图像，

步骤三：如果参考背景图像已构建，则继续实时采集图像，将其与参考背景图像逐点作差，生成运动描述图像，

步骤四：如果参考背景图像已构建，则开始实时采集图像，将其与参考背景图像比较，生成运动描述图像，并转化为二值运动掩模图像，

步骤五：利用参考背景构建方法更新参考背景图像，

步骤六：对二值运动图像进行目标分割和判定，利用多目标跟踪的方法构建和更新基于时空的多目标人体模型，其中每一个目标对应被分割出来的人体运动部位，

步骤七：如果多目标人体模型中存在已被跟踪的手目标，则更新该目标的轨迹后，检查轨迹是否与预设轨迹匹配并产生操作指令；否则检查是否有特定目标的轨迹符合需跟踪的手对象特征，如有，则将其标识，

步骤八：如产生操作指令，则将其送入电视内置软件模块，由其处理后完成相应操作，

步骤九：重复步骤三，直到电视机被关闭。

其中：

步骤二中的参考背景构建方法是根据运动速度和幅度的不同选择不同的背景构建方法：当运动幅度和速度较大的情况下采用最新的一幅图像作为参考背景，运动平缓的情况下采用多帧图像平均的方法来计算参考背景。

步骤四中二值运动掩模图像的生成方法是通过设定的门限值对运动描述图像进行二值化，将大于特定门限的点集合作为运动区域；其他点集合作为非运动区域。

步骤六中利用多目标跟踪的方法为运动检测结果构建多目标人体模型，并且从中选择符合特定运动轨迹的手目标作为标识对象。

步骤七中对标识出的手对象运动轨迹采用基于轨迹库的模式匹配方法进行判别，与预设的操作指令轨迹进行比较，如有符合，产生相应的控制命令。

有益效果：本发明最大的贡献是提出了一种无需人工辅助对手进行定位的动态手势控制电视的方法，该方法通过运动检测和构建多目标人体模型的方式获得用户的手语，并产生相应的电视控制指令。本发明为手语电视领域提供了更完善的远程遥控方式。这种遥控方式将会显著地推动电视应用领域的发展。

附图说明

图1示例的是手势识别信号处理流图，其中的关键步骤分别以数字①至数字⑧标识，与权利要求1中的步骤一至步骤八一一对应，如标识①为采集视频数据，标识②为构建参考背景图像，标识③为生成运动描述图像，标识④为生成改进的运动掩模图像，标识⑤为更新参考背景，标识⑥为生成多目标人体模型，标识⑦为手对象的轨迹判别，标识⑧为手势的识别及电视控制命令的生成。

具体实施方式

一、运动检测

运动检测包含三个步骤：

1.参考背景构建

在运动检测之前，首先要根据摄像单元拍摄到的图像进行参考背景构建，这里针对不同的情况提供两种背景构建的方法：

方法一：多帧图像统计法。这种方法适用于手运动较慢的情况，具体实施方法是取多帧连续灰度图像，将图像中各点在时间上的平均值作为参考背景在该点的值。

方法二：帧间参考法。这种方法适用于手运动较快的情况，具体的实施方法是将上一次摄取的图像作为当前摄取图像的参考背景。

2.运动区域提取

参考背景构建成功后，通过将当前摄取图像中各点的灰度值与参考背景各点的灰度值作差，以求出运动的轮廓。具体的实施方法是：

如果某一点的差值大于某个门限，则认为该点属于运动区域。

对于方法一构建的参考背景，采用统计门限。即 ${\mathrm{\δ}}_i=\frac{2}{n}\underset{t=1}{\overset{n}{\mathrm{\Σ}}}|{\mathrm{\μ}}_i\left(t\right)-{\mathrm{\μ}}_i|,$ 其中δ_i为i点的判决门限，μ_i(t)为第t帧用于构建参考背景的图像在i点的灰度值，μ_i为参考背景在i点的灰度值。

对于方法二构建的背景，采用动态门限。

通常当前摄取图像与参考背景的差值分布满足双峰特性，若μ1和μ2分别是静止背景部分和运动区域的帧间差均值，则设定一个初始门限值，然后动态调节门限如下：

若当前门限G大于(μ1+μ2)/2，则将G减小一个步长；反之将G增加一个步长，同时规定G∈(Gmin，Gmax)。

3.腐蚀运算

由2中得到的运动区域和非运动区域都需要进行腐蚀运算。

运动区域的腐蚀运算方法：

若某点属于运动对象，则当满足如下条件之一即可将该点同化为非运动区域：

①与该点左右相邻的两个点属于非运动区域；

②与该点上下相邻的两个点属于非运动区域；

③与该点左上和右下相邻的两个点属于非运动区域；

④与该点左下和右上相邻的两个点属于非运动区域；

非运动区域的腐蚀运算方法：

若某点属于非运动区域，则当满足如下条件之一即可将该点同化为非运动区域：

①与该点左右相邻的两个点中至少一个点属于非运动区域；

②与该点上下相邻的两个点中至少一个点属于非运动区域；

③与该点左上和右下相邻的两个点中至少一个点属于非运动区域；

④与该点左下和右上相邻的两个点中至少一个点属于非运动区域；

4.背景更新

在采用1中的方法一构建参考背景的情况下，为了保证参考背景的自适应性，需要对参考背景进行更新，从而能够发现忽然产生运动的物体，同时将停止运动的物体融入到参考背景中，2中提到的腐蚀运算可以保证这一点的实现。

具体的更新方法为：

${\mathrm{\μ}}_i(t+1)=\left\{\begin{array}{cc}\mathrm{\α}{\mathrm{\μ}}_i\left(t\right)+(1-\mathrm{\α})I_i\left(t\right)& D_i=0\\ {\mathrm{\μ}}_i\left(t\right)& D_i=1\end{array}\right.$

${{\mathrm{\σ}}^2}_i(t+1)=\left\{\begin{array}{cc}\mathrm{\α}{{\mathrm{\σ}}^2}_i\left(t\right)+(1-\mathrm{\α}){(I_i\left(t\right)-{\mathrm{\μ}}_i\left(t\right))}^2& D_i=0\\ {{\mathrm{\σ}}^2}_i\left(t\right)& D_i=1\end{array}\right.$

其中，I_i(t)为t时刻图像i点的灰度值；D_i＝0表示i点属于非运动区域，D_i＝1表示i点属于运动区域；α是一个遗忘因子，参考值为0.8。其它定义与1中相同。

二、动态手势识别

动态手势的识别包括如下三个部分：多目标跟踪，人体建模、轨迹判别和动态手势识别。

为了使系统具有更高的鲁棒性和识别能力，我们利用多目标跟踪的方法为运动检测结果构建人体模型，并在该模型的基础上进行轨迹判别和动态手势识别，同时还利用判定和识别的结果作为反馈对人体模型进行修正。通常采用的多目标跟踪方法有联合概率数据关联滤波器(JPDAF)、多假设跟踪(MHT)算法、动态多维分配算法、无极卡尔曼滤波以及粒子滤波等，这些方法各有优劣，适合在不同场景和不同环境中使用，其原理在此均不作赘述。

对实时视频数据的运动检测可以在每一帧中得到了一系列的运动对象，我们使用多目标跟踪的方法，为这些运动对象找到各自所对应的目标，并根据它们的轨迹为符合人体部位特征的有效目标建立人体模型。在多目标的人体模型中，每一个有效目标都对应有自己的时空轨迹，无论是在时间轴或是在空间坐标系中，有效目标都具有连续性的特点，且不同目标分别具有各自不同的表现形式。例如手目标表现出来的运动性相对头目标更为强烈，而手目标与头目标之间的空间距离始终保持在某一区间；头目标的时空特征是常常会维持在同一高度而不常出现频繁的抖动，等等。这些特征为我们构建多目标人体模型提供了依据。

在多目标人体模型中，我们选取符合特定轨迹特征的对象作为被标识的手目标，并对其轨迹进行识别，以判断是否产生控制指令。常用的轨迹识别方法有基于特征的识别、基于规则的识别以及基于规则库的模式匹配等，在轨迹判别和动态手势识别的过程中，我们可以利用预先设定的轨迹库作为被比较对象，一旦目标轨迹符合预定轨迹库中特定轨迹的特征，则认为它们是同一轨迹，即可产生相应指令。此外，轨迹库还可支持动态更新的功能，可按照用户的需要，录制特定功能的轨迹，以实现个性化的需求。

在轨迹判别和动态手势识别结束后，判别和识别的结果还可以作为反馈被用于多目标人体模型的修正，当发生错误标识或者误判时，轨迹判别和识别的结果可以作为高权值的信息对已有标识进行校正，人体模型系统也在不断的修正中进一步完善。

Claims (5)

1.一种面向电视控制的动态手势识别信号处理方法，其特征是：利用电视机内置摄像头采集电视用户动作图像，通过对采集到的图像进行分析得到运动区域，从运动区域中提取手目标的信息并生成轨迹，继而判断轨迹所对应的指令产生电视控制命令，该方法具体包含以下步骤：

步骤一：利用电视机中的内置摄像头采集视频数据，加入图像序列，

步骤二：如果参考背景图像未构建，则用参考背景构建方法对步骤一中采集到的图像序列构造参考背景图像，

步骤三：如果参考背景图像已构建，则继续实时采集图像，将其与参考背景图像逐点作差，生成运动描述图像，

步骤四：如果参考背景图像已构建，则开始实时采集图像，将其与参考背景图像比较，生成运动描述图像，并转化为二值运动掩模图像，

步骤五：利用参考背景构建方法更新参考背景图像，

步骤六：对二值运动图像进行目标分割和判定，利用多目标跟踪的方法构建和更新基于时空的多目标人体模型，其中每一个目标对应被分割出来的人体运动部位，

步骤七：如果多目标人体模型中存在已被跟踪的手目标，则更新该目标的轨迹后，检查轨迹是否与预设轨迹匹配并产生操作指令；否则检查是否有特定目标的轨迹符合需跟踪的手对象特征，如有，则将其标识，

步骤八：如产生操作指令，则将其送入电视内置软件模块，由其处理后完成相应操作，

步骤九：重复步骤三，直到电视机被关闭。

2.根据权利要求1所述的一种面向电视控制的动态手势识别信号处理方法，其特征是步骤二中的参考背景构建方法是根据运动速度和幅度的不同选择不同的背景构建方法：当运动幅度和速度较大的情况下采用最新的一幅图像作为参考背景，运动平缓的情况下采用多帧图像平均的方法来计算参考背景。

3.根据权利要求1所述的一种面向电视控制的动态手势识别信号处理方法，其特征是步骤四中二值运动掩模图像的生成方法是通过设定的门限值对运动描述图像进行二值化，将大于特定门限的点集合作为运动区域；其他点集合作为非运动区域。

4.根据权利要求1所述的一种面向电视控制的动态手势识别信号处理方法，其特征是步骤六中利用多目标跟踪的方法为运动检测结果构建多目标人体模型，并且从中选择符合特定运动轨迹的手目标作为标识对象。

5.根据权利要求1所述的一种面向电视控制的动态手势识别信号处理方法，其特征是步骤七中对标识出的手对象运动轨迹采用基于轨迹库的模式匹配方法进行判别，与预设的操作指令轨迹进行比较，如有符合，产生相应的控制命令。