CN1794265A - 基于视频的面部表情识别方法及装置 - Google Patents

Abstract

本发明提出一种基于视频的面部表情识别方法及装置，该方法在进行实时视频面部表情识别的时候，主要将ASM轮廓提取算法应用到特征矢量的提取当中，并根据人脸的眼睛的位置对人脸图像进行提取，由人脸下巴的位置生成归一化的特征脸，用AdaBoost算法提取特征脸中最有效的特征，最终达到面部表情识别的目的。本发明在使用中可以消除光照的影响，在方法中对人脸图像进行了专门处理，使人脸的左右部分的灰度均值和方差基本一致，并且本发明的方法针对常用的USB摄像头的视频数据来对人脸进行实时自动检测、跟踪并能识别出正面人脸常见的四种表情的算法，可以达到较佳的技术以及商用效果。

Description

基于视频的面部表情识别方法及装置

技术领域

本发明涉及一种识别方法，尤其是指一种基于视频对人脸面部表情的识别方法及装置。

背景技术

随着人机交互研究的深入和巨大的应用前景，人脸面部表情识别已经成为当前模式识别和人工智能领域的一个研究热点。但人脸表情的实时识别是一个非常困难的问题，许多理论还不完善，成熟的商业成果几乎没有。人脸表情识别的困难在于不同人所做出的同一种表情有较大差异，而且不同表情之间的差别也很微妙。此外光照、人脸姿态也会影响到识别的正确率。表情识别的方法一般都是基于统计来完成的，即从人脸图像中提取出特征矢量，然后训练分类器，最后进行识别。

特征的提取是识别成败的关键，目前用于表情识别的特征可以分为两种：局部特征和整体特征。基于局部特征的人脸面部表情识别是利用每个人的面部特征(眉毛、眼睛、鼻子、嘴巴和面部轮廓等)的位置、大小及其相互位置的不同进行特征提取，达到人脸面部表情识别的目的。基于人脸整体特征的识别是从整个人脸图像出发，提出反映了整体的特征实现人脸面部表情识别。局部特征的数据量比较小，但是它用有限的特征来代表整个图像，会丢失有用的信息。而且人脸特征的准确、自动提取是一个很难的问题。

在现有的技术中，有人提出采用对人脸的面部表情的识别采用Fisher准则函数进行识别，也就是对人脸部的整体特征进行识别，利用反向传播算法对人脸进行识别，该方法识别的基本步骤是：a、对接收的图像进行预处理；b、进行人脸的局部特征提取；c、整体特征的提取；d、对局部和整体特征进行融合；e、最后对接收的人脸的面部表情做出识别。但是这种识别方法只是更清楚的对人脸的特征进行分析和判断，尽管能大致反映出人脸上体现的面部表情，但是还受到光照等外在因素的影响，仍不能准确，迅速自动的提取出来。

发明内容

本发明要解决的技术问题是：现有技术不能准确、自动提取人脸表情的问题，本发明提出一种视频情况下的面部表情识别方法，目的是能够解决现有技术中存在的缺陷，该方法基于人脸的整体特征，根据自动提取的人脸下巴轮廓生成一个标准脸，然后采用AdaBoost的算法选择最有效的特征，得到稳健的识别结果。

本发明的方法是针对常用的USB摄像头的视频数据提出的可以对人脸进行实时自动检测、跟踪并识别出正面人脸常见的表情的算法，尤其是最常见的四种表情，并且可以避免识别的面部表情受到光照等因素的影响。

本发明的目的是这样实现的：

一种基于视频的面部表情识别方法，包括以下步骤：

从USB摄像头输入的视频数据中采集人脸的面部表情图像数据，对该图像数据做预处理；

实时提取人脸在预处理后图像中的位置；

依据人眼分类器对确定出的图像中的人脸中的人眼做出定位；

根据确定的人眼的位置和人脸分类器的信息提取包含人脸的图像区域，进行归一化处理；

对人脸器官定位；

根据对人脸器官的定位确定人脸下巴的位置，确定图像中的人脸区域，生成特征脸，并作为分类样本；

计算所述的特征脸图像的Gabor特征；

对计算出的Gabor特征进行选择；

由挑选的特征构造支持向量机分类器；

根据构造的分类器得出人脸表情识别结果。

从USB摄像头输入的数据进行采集的时候，包括以下人脸图像跟踪步骤：

在未获取跟踪目标前，搜索每帧图像，检测人脸图像的存在；

如果检测到某帧图像存在一个或多个人脸，则在接下来的两帧图像中跟踪检测到的人脸，并对这两帧图像中跟踪的人脸进行检测和验证，对检测结果作出判断；

在同一个位置三帧图像都检测到人脸后，算法才认为该位置存在有人脸图像，此时执行实时人脸检测算法提取人脸在图像中的位置；

如果检测到场景中存在有多个人脸图像，挑选出最大的人脸图像开始跟踪，在后续帧中持续跟踪该人脸，如相邻帧中后一帧与前一帧的跟踪结果的相似度过低，或某个跟踪目标所在区域长时间未检测到正面直立人脸，则停止跟踪。

所述归一化处理通过重采样算法实现：所述的重采样算法为缩放、旋转和平移变换，使检测的人眼的位置与人眼分类器的位置重叠进行定位。

所述的对人脸器官定位是采用目标提取方法，该目标提取方法为主动形状模型算法。

所述的主动形状模型算法的具体步骤为：

由视频数据中提取人脸的轮廓信息，建立样本单元；

对样本单元中的样本进行归一化和对齐处理，然后进行主分量分析变换；

对主分量分析变换后的轮廓信息中每个控制点的灰度信息，作为点搜索的依据；

将主分量分析计算得到的平均轮廓作为轮廓搜索的初始值，进行迭代搜索，得到最终结果。

所述的迭代搜索的步骤是：

根据灰度信息来获得初始的平移值，将根据灰度搜索得到的新的轮廓对齐到平均轮廓，计算对齐的参数值；

根据对齐后的数据和主分量分析计算的统计值来计算形状的变化值；

根据对齐的参数值将变化后的形状反算到原来的位置得到一次搜索的结果；

重复上述搜索步骤，继续进行迭代直到收敛得到最终结果。

所述的生成特征脸是将提取出来的人脸轮廓与人脸分类器中的人脸对比，进行倾斜度调整。

在生成特征脸与计算特征脸图像的Gabor特征之间还存在对生成的特征脸进行处理的步骤：对形成的特征脸的左右部分进行灰度的归一化，使左右部分的灰度均值和方差相同。

所述的特征脸的左右部分之间设有灰度过滤带。

所建立的支持向量机分类器为多类分类器，为一对一、一对多或决策树形。

本发明还提出一种基于视频的面部表情识别装置，包括视频数据采集单元，图像处理单元、人脸信息数据库以及面部表情识别单元；

视频数据采集单元对视频的人脸图像进行采集并将其传送给图像处理单元；

图像处理单元从人脸信息数据库中调取人脸信息与采集的人脸图像进行对比，再对人脸数据进行计算，将计算后的数据传送给所述的面部表情识别单元；

面部表情识别单元根据人脸信息数据库中存储的识别信息对采集的人脸图像进行识别。

还包括显示单元，将识别出来的面部表情显示出来。

所述的图像处理单元包括比较单元、特征生成单元、计算单元以及分类器单元；

所述的比较单元将人脸的图像信息与人脸数据库中的图像信息做出对比，检测出人脸以及双眼，并根据双眼位置提取出人脸图像，将该人脸信息传送至特征生成单元；

所述的特征生成单元对人脸器官定位，根据人脸下巴生成特征脸，将特征脸作为样本传送至计算单元；

所述的计算单元计算特征脸图像的Gabor特征，并采用AdaBoost算法挑选特征，再将挑选的特征传送至分类器单元；

所述的分类器单元根据挑选的特征构造支持向量机分类器，将分类器信息传送至面部表情识别单元。

所述的视频数据采集单元中还包含一视频数据追踪单元，该视频数据追踪单元对视频数据的人脸数据进行追踪检测，判断是否对输入数据采集。

本发明上述的方法的技术方案，使得在视频情况能自动提取准确的人脸的面部表情，并且本方法采用了Adaboost以及ASM算法，可以消除光照的影响，在方法中对人脸图像进行了专门处理，使人脸的左右部分的灰度均值和方差基本一致，并且本发明的方法针对常用的USB摄像头的视频数据来开发一个可以对人脸进行实时自动检测、跟踪并能识别出正面人脸常见的四种表情的算法，可以达到较佳的技术以及商用效果。

附图说明

图1为本发明的基于视频的面部表情识别的方法流程图。

图2为本发明的基于视频的面部表情识别方法的实施例中表情采集示意图。

图3为人脸图像形状的归一化处理示意图。

图4为ASM算法的检测示意图。

图5a所示为采集到的人脸轮廓的特征脸。

图5b所示为标准特征脸。

图6为特征脸生成的示意图。

图7为在进行特征人脸图像的Gabor特征计算时，图像在不同尺度、不同角度下的Gabor特征示意图。

图8为本发明所述的一对一分类器的示意图。

图9为本发明所述的方法的识别效果图。

图10为本发明所述的装置的结构框图。

具体实施方式

本发明给出一种基于视频的人脸面部表情识别方法，该方法是针对常用的USB摄像头的视频数据而做出的，该方法可以对人脸进行实时自动检测、跟踪并能识别正面人脸常见的表情。

参考本发明的图1所示，为本发明所述的识别方法的流程图，其具体包括的步骤如下：

首先，采集人脸表情图像，该采集步骤具体是：从USB摄像头输入的视频数据中采集人脸的面部表情图像数据，对该图像数据做预处理；

在本发明的实施例中，该采集图像过程中，还包括一个人脸数据追踪的步骤，该步骤的目的是实时检测拍摄场景中的多个人脸，对其中一个人脸如最大的人脸持续跟踪，并在跟踪过程中不断验证，判断人脸的存在与否。该追踪步骤可检测-20到20度深度旋转、-20到20度平面旋转的人脸，可检测不同肤色的、不同光照条件下的人脸、或者带眼镜的人脸等。跟踪算法不受人脸姿态的影响，侧面、旋转人脸同样可以跟踪。

该追踪步骤是采用以下方式实现的：

在未获取跟踪目标前，对每帧图像进行搜索，检测人脸是否存在；如果某帧图像检测到一个或多个人脸，则在接下来的两帧图像中跟踪这些人脸，并对这两帧图像中跟踪的人脸进行检测和验证，判断前面的检测结果是否是真人脸；只有在某个位置三帧都检测到人脸后，算法才认为该位置人脸存在，继续对人脸图像进行判断识别。在此跟踪步骤中，如果场景中存在有多个人脸，选择其中一个进行跟踪。在后续帧中持续跟踪该人脸，如果相邻帧中后一帧与前一帧的跟踪结果的相似度过低，则停止跟踪；如果某个跟踪目标所在区域长时间未检测到正面直立人脸，则认为该目标的跟踪价值不大，停止跟踪该目标。当前一个跟踪目标停止跟踪后，在后续图像中重新进行人脸检测，直到找到新的人脸，跟踪新的人脸，重复人脸追踪的步骤。

参考图1所示的内容，采集到人脸表情图像后，然后进行人脸检测步骤，本实施例中的人脸检测，实际上是采用基于视频的实时人脸检测算法实时提取人脸在预处理后图像中的位置；该识别方式可参考图2所示，目前的算法可以对不同表情进行识别，例如：中性、笑、生气和惊讶等表情，而识别的算法基于统计原理。在进行本发明所述的方法的识别之前，必须首先大量的采集样本，可以由USB相机录下被采集者的表情视频，从视频文件中分离出的包含人脸表情的图像被作为用来进行统计的初始样本，形成初始样本，以便在识别过程中采用。

在本发明所述的方法中，人脸检测的目的是确定人脸在采集到的图像中的位置，确定了人脸的位置，就可以进行双眼的检测。同时参看图1中的双眼检测步骤，该步骤是依据人眼分类器对确定出的图像中的人脸中的人眼做出定位；本步骤是在检测到的人脸的图像区域之后，基于人眼分类器来确定人眼的位置，人眼分类器一般基于统计的方法检测而建立，即首先根据人眼样本来训练出分类器，然后根据分类器来进行检测。

参见图1以及图3所示的内容，根据双眼位置提取出只包含人脸的图像，该步骤是根据确定的人眼的位置和人眼分类器的信息提取包含人脸的图像区域，进行归一化处理。归一化的过程可参见图3的内容，由图3a中视频采集的图像参照图3b中的标准的人脸模板，最终得到图3c所示的归一化的结果。这是由于在视频情况下人脸的区域会随真实人脸距离USB摄像头的远近而发生大小的变化，这对器官定位的算法是很不利的，在检测出双眼的位置后，需要从原始视频数据中重采样出一个图像，图像中双眼位置是固定的而且连线是水平的，重采样后的图像覆盖了人脸的全部区域。

重采样的算法是一个简单的缩放、旋转和平移变换，即将检测到的双眼经过上述的变换后和标准脸图像中的双眼位置重叠。标准图像的大小可以为：120*148。具体的计算公式为：

x＝λ(x′cosθ+y′sinθ)+x₀

y＝λ(-x′sinθ+y′cosθ)+y₀

设λcosθ＝a，λsinθ＝b，那么公式可以写为：

x＝ax′+by′+x₀

y＝-bx′+ay′+y₀

在上述公式中只有四个未知数，每个点可以列出两个方程，两个点就可以解出所有未知数。所以可以通过双眼的位置来进行这个变换。

经过上述重采样算法处理得到的人脸图像和事先训练的标准图像的大小相同，检测到的双眼(图3中的×点)在经过旋转和平移后和标准图像中的双眼位置是相同的。

在进行上述人脸图像的提取后，继续参见图1，进行人脸器官定位，该定位人脸器官采用目标提取算法实现，在本发明的实施例中可采用ASM(Active Shape Model，主动形状模型)算法实现，该步骤的目的是：准确的提取出人脸的区域，并去掉图像中不相关的背景信息。本发明的方法中需要定出人脸的大致轮廓的位置，ASM引入已有的人脸轮廓的统计信息作为约束条件，在轮廓搜索中用来控制轮廓形状的变化。利用ASM的方法可快速、准确的提取出人脸的轮廓，对人脸器官定位。

其中，所述的ASM算法的具体步骤为：

首先，由视频数据中提取人脸的轮廓信息，建立样本单元；

然后，对样本单元中的样本进行归一化和对齐处理，然后进行主分量分析(principal components analysis，简称PCA)变换；

对PCA变换中处理的轮廓信息中每个控制点的灰度信息，作为点搜索的依据；

进而将主分量分析计算得到的平均轮廓作为轮廓搜索的初始值，进行迭代搜索，得到最终结果。

在进行ASM算法的时候，该迭代搜索的具体步骤是：

根据灰度信息来获得初始的平移值，将根据灰度搜索得到的新的轮廓对齐到平均轮廓，计算对齐的参数值；

根据对齐后的数据和主分量分析计算的统计值来计算形状的变化值；

根据对齐的参数值将变化后的形状反算到原来的位置得到一次搜索的结果；

重复搜索步骤，进行迭代直到收敛得到最终结果。

在本发明所述的方法中，为了提高搜索的速度和准确度，还可以引入金字塔影像，用来进行分级搜索。并且，本发明进行ASM算法的时候，由于引入了PCA计算统计方法来控制人脸轮廓的变化，使得ASM的算法能够较为准确的找出人脸的轮廓，算法的速度也较快，迭代搜索的计算在1秒之内就能够收敛，在本发明的算法方案中，可以利用检测到的人眼的位置来确定轮廓的初始位置，同时为了提高器官定位的精度，本发明使数据库中存储的图像大小和实际检测的图像大小一致。实施本发明的时候，实际上也可以采用AAM(Active Aspect Model，主动外观模型)算法实现对人脸的轮廓的查找，由于该算法在现有技术中常常应用，所以在本实施例中不再赘述。

通过上述描述，结合图4所示的内容可以看出，本发明的算法可以较好的恢复人脸中下巴的位置，可以很好的保持轮廓的整体形状。

继续参看图1的内容，进行人脸器官定位后，再根据对人脸器官的定位确定人脸下巴的位置，确定图像中的人脸区域，生成特征脸，并作为分类样本；在本步骤中间，生成特征脸的时候，用于分类的样本应该包含人脸的主要区域，并且去掉会影响识别效果的那些无用信息，在人脸表情识别的过程中，在只考虑正面人脸表情识别的情况下，影响识别的主要因素是背景和光照。本发明的方法是根据ASM算法提取出下巴的位置，可以将图像中的人脸区域单独提取出来作为一个用于面部表情识别的特征脸图像，特征脸的大小是固定的，一般特征脸的大小设置为64*64能够满足识别率和速度方面的要求，特征脸如果太小那么识别率会降低，太大则会影响算法的效率。

同时结合图5和图6所示的内容，其中图5a为采集到的特征脸，图5b为标准特征脸，图5a由上至下依次具有多条平行的直线，由直线的位置可见，其中一条线确定了人脸下巴的位置，而图5b所示的是人脸分类器中的标准特征脸，该标准特征脸是进行识别之前训练所得到，该图上也由上至下标示了与图5a中同样数目的多条相互平行的线条，与图5a相应的线条的位置同样可以确定脸下巴的位置；由于图5a与图5b的比较可以看出，依据视频输入实际提取出来的人脸轮廓的大小和标准特征脸的大小并不相同，而且可能存在倾斜。本发明的方法可以沿计算出来的倾斜角度来进行采样，如图5a中所示的多条线条，对应了图5b中的同样数目的线条，对应线条之间的关系可以将实际的人脸区域重采样为和标准特征脸大小完全一致的图像，通过这样的采样后可以将视频中检测到的人脸转换为与标准特征脸大小一致，且角度一致的人脸图像。这是一个对采集到的人脸图像进行标准化处理的过程，这里的标准化是指将视频中检测到的人脸经过几何变换使之和我们设定的标准特征脸一致。标准化的目的是为了方便样本的生成和特征的提取，提高识别的精度。

同时参考图6的内容，左图为从视频数据中提取出来的人脸图像，右边是经过重采样后得到的特征脸，该特征脸大小优选为64*64。本发明的识别是基于图像灰度信息，所以光照会影响到我们最终的识别结果，为了去除光照影响，我们对生成的特征脸进行处理。方法是对特征脸的左右分别进行灰度的归一化，使左右部分的灰度均值和方差都相同。同时为了避免中间存在一个灰度的跳跃，依据本方法在左右脸的中间设立了一个灰度的过渡带，使灰度能够平滑的从脸的左部过渡到右部。

继续参见图1的内容，生成特征脸后，对计算所述的特征脸图像的Gabor特征；如图7所示对特征脸图像的每个像素可以计算5个尺度，6个方向上的Gabor特征，即每个像素可以得到一个30维的向量，64*64的图像所有像素点的Gabor特征集中在一起可以得到一个122880维的特征向量。在实际计算中，为了加快计算的速度，本发明采用快速傅立叶变换(FFT)来计算Gabor特征。

参见图1所示的内容，在计算特征脸图像的Gabor特征后，需要对计算出的Gabor特征进行选择；在本发明所述的方法中，根据特征脸计算出来的Gabor特征矢量的维数高达122880维，这会给本发明的训练和计算带来很大的麻烦，导致算法效率低下，因此，本发明采用AdaBoost算法来挑选特征，该Adaboost方法从原始矢量中提取出最为有效的一部分特征，作为分类的样本。AdaBoost算法的基本原理是将弱分类器不断的组合在一起，形成一个分类能力很强的强分类器。在运用AdaBoost进行计算的过程中，我们可以挑选出分类能力最好的一系列特征，并根据训练得到的权重来得到最终的分类器。Adaboost算法本身是通过改变数据分布来实现的，它根据每次训练集中每个例子的分类是否正确，以及上次的总体分类准确率，来确定每个例子的权重值。将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

参考图1和图8所示的内容，在进行特征挑选后，由挑选的特征构造支持向量机(SVM)分类器；例如，本发明的方法采用AdaBoost算法来挑选出了2000维特征作为训练样本，当然在实际应用中也可以选择3000维、4000维等特征作为训练样本，在本实施例中以2000维为例，并构成SVM分类器，在本实施例中，基本上要区分四类表情，因此是多类的分类器。实际上多类分类器是相对简单的两类分类器而言的。在本发明的实施例中，由于至少要识别四种表情，每种表情可以看作是一个类，所以是一个多类分类器。而SVM是可以构造出线性分类器和非线性分类器。在本发明的方法中，两种分类器都可以实现，但是采用线性分类器来进行识别的速度会快一些。所以在不影响识别率的情况下，采用线性分类器是本发明的一个较佳实施方式。本发明中所述的多类分类器的设计可以有多种选择：一对一，一对多，决策树等。一对一是在每两个类之间设计一个分类器，比如本发明具有四个类别，那么就具有6种组合，本发明就可以构建得到6个分类器。如果是一对多，那个我们可以在每个类和其他类之间设计一个分类器，四个类别就可以得到四个分类器。复杂的还可以设计决策树。

在本实施例中，以一对一的设计方法进行说明，一对一分类器的作用就是把两个类进行划分。在表情识别中，将任意两个类的组合(如四种表情就有6种组合)都用上面的方法来设计分类器，就可以得到6个一对一的分类器。利用这些一对一的分类器，我们就可以区分四种表情。

其原理可如图8所示，采用6根线条来表示6个分类器，其中线条11将中性表情和笑的表情分开；线条12条将愤怒和笑的表情分开；线条13将惊讶和笑的表情分开；线条21将中性表情和愤怒的表情分开；线条22将中性表情和惊讶的表情分开；线条23是将惊讶与愤怒的表情分开。

最后，参见图1，得到SVM分类器之后，本发明的就可以进行实时的人脸表情识别，在本发明实施过程中，首先对视频中的每一帧进行人脸检测，然后对人脸进行跟踪并提取出双眼的位置；如果跟踪成功，就对当前的图像中的人脸进行表情识别，并实时给出识别的结果；同时参看图9所示的内容，左边为USB摄像头输入的视频数据，右边的小窗口是面部表情识别的结果。

本发明的方法可以应用于一种基于视频的面部表情识别装置，如图10所示，所述装置包括视频数据采集单元1，图像处理单元2、人脸信息数据库3以及面部表情识别单元4；视频数据采集单元1对视频的人脸图像进行采集并将其传送给图像处理单元2；图像处理单元2从人脸信息数据库3中调取人脸信息由图像处理单元2中的比较单元121将两者的图像对比，并采用AdaBoost计算单元123对人脸数据进行计算传送给所述的面部表情识别单元4；面部表情识别单元4根据人脸信息数据库3中存储的识别信息对采集的人脸图像进行识别。该装置还包括显示单元5，将识别出来的面部表情显示出来。

其中所述的图像处理单元2包括比较单元121、特征生成单元122、计算单元123以及分类器单元124；所述的比较单元121将人脸的图像信息与人脸数据库3中的图像信息做出对比，检测出人脸以及双眼，并根据双眼位置提取出人脸图像，将该人脸图像信息传送至特征生成单元122；所述的特征生成单元122对人脸器官定位，根据人脸下巴生成特征脸，将特征脸作为样本传送至计算单元123；所述的计算单元123计算特征脸图像的Gabor特征，并采用AdaBoost算法挑选特征，再将挑选的特征传送至分类器单元124；所述的分类器单元124根据挑选的特征构造支持向量机分类器，将分类器信息传送至面部表情识别单元4。所述的视频数据采集单元1中还包含一视频数据追踪单元111，该视频数据追踪单元111对视频数据的人脸数据进行追踪检测，判断是否采集，执行本发明方法中的追踪人脸步骤。

本发明所述的方法使得在视频情况能自动提取准确的人脸的面部表情，并且本方法采用了Adaboost以及ASM算法，可以消除光照的影响，在方法中对人脸图像进行了专门处理，使人脸的左右部分的灰度均值和方差基本一致，并且本发明的方法针对常用的USB摄像头的视频数据来开发一个可以对人脸进行实时自动检测、跟踪并能识别出正面人脸常见表情的算法，可以达到较佳的商用效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (14)

1、一种基于视频的面部表情识别方法，其特征在于，包括以下步骤：

从USB摄像头输入的视频数据中采集人脸的面部表情图像数据，对该图像数据做预处理；

实时提取人脸在预处理后图像中的位置；

依据人眼分类器对确定出的图像中的人脸中的人眼做出定位；

根据确定的人眼的位置和人脸分类器的信息提取包含人脸的图像区域，进行归一化处理；

对人脸器官定位；

根据对人脸器官的定位确定人脸下巴的位置，确定图像中的人脸区域，生成特征脸，并作为分类样本；

基于所述的分类样本计算所述的特征脸图像的Gabor特征；

对计算出的Gabor特征进行选择；

由挑选的特征构造支持向量机分类器；

根据构造的分类器得出人脸表情识别结果。

2、如权利要求1所述的基于视频的面部表情识别方法，其特征在于，从USB摄像头输入的数据进行采集的时候，包括以下人脸跟踪步骤：

在未获取跟踪目标前，搜索每帧图像，检测人脸是否存在；

如果检测到某帧图像存在一个或多个人脸，则在接下来的两帧图像中跟踪检测到的人脸，并对这两帧图像中跟踪的人脸进行检测和验证，对检测结果作出判断；

在同一个位置三帧图像都检测到人脸后，算法才认为该位置存在有人脸，此时执行实时人脸检测算法提取人脸在图像中的位置；

如果检测到场景中存在有多个人脸，挑选出其中一个人脸开始跟踪，在后续帧中持续跟踪该人脸，如相邻帧中后一帧与前一帧的跟踪结果的相似度过低，或某个跟踪目标所在区域长时间未检测到正面直立人脸，则停止跟踪。

3、如权利要求1所述的基于视频的面部表情识别方法，其特征在于，所述归一化处理通过重采样算法实现：所述的重采样算法为缩放、旋转和平移变换，使检测的人眼的位置与人眼分类器的位置重叠进行定位。

4、如权利要求1所述的在视频情况下的面部表情识别方法，其特征在于，所述的对人脸器官定位是采用目标提取方法，该目标提取方法为主动形状模型算法。

5、如权利要求4所述的基于视频的面部表情识别方法，其特征在于，所述的主动形状模型算法的具体步骤为：

由视频数据中提取人脸的轮廓信息，建立样本单元；

对样本单元中的样本进行归一化和对齐处理，然后进行主分量分析变换；

对主分量分析变换后的轮廓信息中每个控制点的灰度信息，作为点搜索的依据；

将主分量分析计算得到的平均轮廓作为轮廓搜索的初始值，进行迭代搜索，得到人脸轮廓。

6、如权利要求5所述的基于视频的面部表情识别方法，其特征在于，所述的迭代搜索的步骤是：

根据灰度信息来获得初始的平移值，将根据灰度搜索得到的新的轮廓对齐到平均轮廓，计算对齐的参数值；

根据对齐后的数据和主分量分析计算的统计值来计算形状的变化值；

根据对齐的参数值将变化后的形状反算到新轮廓的位置得到一次搜索的结果；

重复上述搜索步骤，继续进行迭代直到收敛得到人脸轮廓。

7、如权利要求1所述的基于视频的面部表情识别方法，其特征在于，所述特征脸的生成是将提取出来的人脸轮廓与人脸分类器中的人脸对比，进行倾斜度调整。

8、如权利要求1所述的基于视频的面部表情识别方法，其特征在于，在生成特征脸与计算特征脸图像的Gabor特征之间还存在对生成的特征脸进行处理的步骤：对形成的特征脸的左右部分进行灰度的归一化，使左右部分的灰度均值和方差相同。

9、如权利要求8所述的基于视频的面部表情识别方法，其特征在于，在所述的特征脸左右部分之间设置灰度过滤带。

10、如权利要求1所述的基于视频的面部表情识别方法，其特征在于，所建立的支持向量机分类器为多类分类器，为一对一、一对多或决策树形。

11、一种基于视频的面部表情识别装置，其特征在于：

包括视频数据采集单元，图像处理单元、人脸信息数据库以及面部表情识别单元；

视频数据采集单元对视频的人脸图像进行采集并将其传送给图像处理单元；

图像处理单元从人脸信息数据库中调取人脸信息与采集的人脸图像进行对比，再对人脸数据进行计算，将计算后的数据传送给所述的面部表情识别单元；

面部表情识别单元根据人脸信息数据库中存储的识别信息对采集的人脸图像进行识别。

12、如权利要求11所述的基于视频的面部表情识别装置，其特征在于，还包括显示单元，将识别出来的面部表情显示出来。

13、如权利要求11所述的基于视频的面部表情识别装置，其特征在于，所述的图像处理单元包括比较单元、特征生成单元、计算单元以及分类器单元；

所述的比较单元将人脸的图像信息与人脸数据库中的图像信息做出对比，检测出人脸以及双眼，并根据双眼位置提取出人脸图像，将该人脸图像信息传送至特征生成单元；

所述的特征生成单元对人脸器官定位，根据人脸下巴生成特征脸，将特征脸作为样本传送至计算单元；

所述的计算单元计算特征脸图像的Gabor特征，并采用AdaBoost算法挑选特征，再将挑选的特征传送至分类器单元；

所述的分类器单元根据挑选的特征构造支持向量机分类器，将分类器信息传送至面部表情识别单元。

14、如权利要求11所述的基于视频的面部表情识别装置，其特征在于，所述的视频数据采集单元中还包含一视频数据追踪单元，该视频数据追踪单元对视频数据的人脸数据进行追踪检测，判断是否对输入数据进行采集。

Images