CN104077579B - 基于专家系统的人脸表情图像识别方法 - Google Patents

Abstract

本发明涉及一种基于专家系统的人脸表情图像识别方法，该方法通过建立在表情图像处理方法和传统计算机程序功能的基础上的专家系统对预处理的图像进行推理识别人脸表情，所述方法包括以下步骤：1)从视频中捕捉图像，获得该视频中的用户信息，然后通过图像处理，图像特征提取，进行身份验证，获取用户的表情图像特征参数，确定用户表情库，建立识别人脸表情专家系统；2)对从视频中捕捉的图像进行图像处理和图像特征提取，获得用户表情程度最大化时的特征参数，将特征参数与步骤1)确定的用户表情库中的表情训练样本参数进行比对，经过专家系统推理机的推理最终输出表情识别的统计结果。与现有技术相比，本发明具有识别速度快等优点。

Description

基于专家系统的人脸表情图像识别方法

技术领域

本发明涉及一种专家系统应用技术，尤其是涉及一种基于专家系统的人脸表情图像识别方法。

背景技术

专家系统是一类具有专门知识和经验的计算机智能程序系统，通过对人类专家的问题求解能力的建模，采用人工智能中的知识表示和知识推理技术来模拟通常由专家才能解决的复杂问题，达到具有与专家同等解决问题能力的水平。这种基于知识的系统设计方法是以知识库和推理机为中心而展开。它把知识从系统中与其他部分分离开来。专家系统强调的是知识而不是方法。很多问题没有基于算法的解决方案，或算法方案太复杂，采用专家系统，可以利用人类专家拥有丰富的知识，因此专家系统也称为基于知识的系统。

目前，随着科技的发展，康复护理智能床日益普及。然而患者中，有很大一部分人不能通过肢体或语言准确的向外界表达自己的意图。对每个人来说，不同的表情代表不同的状态。当语言和肢体不能传达时，我们可以通过表情来识别患者的想法，完成相应的操作。市面上护理床操作者都是护理人员，而忽略了患者的本身意愿。我们本着以人为本的设计理念，通过表情识别技术的专家系统，使得行动不方便的患者也可自行操作护理床。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于专家系统的具有学习功能并能快速准确识别人脸表情的人脸表情图像识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于专家系统的人脸表情图像识别方法，该方法通过建立在表情图像处理方法和传统计算机程序功能的基础上的用于人脸表情识别的专家系统对预处理的图像进行推理识别人脸表情，所述方法包括以下步骤：

1)从视频中捕捉图像，获得该视频中的用户信息，然后通过图像处理，图像特征提取，进行身份验证，获取用户的表情图像特征参数，确定用户表情库，建立识别人脸表情专家系统；

2)对从视频中捕捉的图像进行图像处理和图像特征提取，获得用户表情程度最大化时的特征参数，将特征参数与步骤1)确定的用户表情库中的表情训练样本参数进行比对，经过专家系统推理机的推理最终输出表情识别的统计结果。

所述步骤1)中建立识别人脸表情图像专家系统具体包括步骤：

11)获取人脸表情图像；

12)对人脸表情图像预处理；

13)提取人脸表情图像特征；

14)建立人脸表情专家系统规则库并将步骤13)中提取的特征参数存入到规则库中。

所述步骤2)中表情识别获取人脸表情图像识别结果具体包括步骤：

21)获取用户的表情图像：视频信息接收后，从视频信息中捕捉图像，获取用户的表情图像。

22)对步骤21)中获取的人脸表情图像，进行图像预处理；

23)对步骤22)中获得的眼部和嘴部的图像进行特征提取；

24)表情识别：将步骤23)中得到的特征参数输入到识别人脸表情图像专家系统中并与专家系统规则库中存储的面部表情特征参数进行对比，经过专家系统中推理机的推理并输出推理结果。

所述步骤12)和步骤22)和中人脸表情图像的预处理具体包括图像去噪、尺度归一化、灰度归一化、图像分割和图像二值化；

所述图像去噪后得到去噪后的图像g(i，j)为：

g(i，j)＝∑f(i，j)/N，(i，j)∈M

其中：f(i，j)为给定的含有噪声的图像，M是所取邻域中各邻近像素的坐标，N是邻域中包含的邻近像素的个数；

所述尺度归一化后得到目标图像g(x，y)为：

g(x，y)＝f(x/a+x₀，y/a+y₀)

其中：f(x，y)为归一化前图像，(x₀，y₀)为图片目标区域的重心，a为尺度因子，所述尺度因子为：

a＝sqrt(T/m)

其中：m为目标图像的面积；T为归一化前图像的面积

所述灰度归一化为分段线性灰度变换方法；

所述图像分割技术为串行区域分割技术，通过对嘴巴和眼睛目标区域的直接检测来对图像进行分割。

所述图像二值化算法为二值化方法Otsu算法，使用灰度阈值将灰度图像分成目标部分和背景部分两类。

所述步骤13)和33)中人脸表情图像特征包括左眼特征、右眼特征和嘴部特征，所述人脸表情图像特征提取算法具体包括以下步骤：

201)对每一像素点计算相关矩阵M：

其中：

其中：I_x为x方向的差分，I_y为y方向的差分，w(x，y)为高斯函数，具体为：

202)计算每像素点的Harris角点响应：R＝(AB-CD)²-k(A+B)²；

203)在w*w范围内寻找极大值点，若Harris角点响应大于阈值，所述阈值为w*w范围内极大值，则视为角点，将眼部和嘴部的特征提取出来。

所述步骤24)结束后，系统将本次任务数据加入到规则库中。

所述图像二值化过程具体包括步骤：

101)计算图像的平均灰度u为：

u＝∑i*n(i)/(M*N)

其中：M*N为图像的像素个数，n(i)为灰度为i的像素点的个数；

102)确定灰度阈值t，t为前景与背景的分割阈值(所述灰度阈值t为使类间方差G最大的值)，所述类间方差G为：

G＝w₁*(u₁-u)*(u₁-u)+w₂*(u₂-u)*(u₂-u)

当方差G最大时，可以认为此时前景和背景差异最大，也就是此时的灰度是最佳阈值。

其中：w₁为目标像素占图像的比例，w₂为背景像素占图像的比例，u₁为目标像素的平均灰度，u₂为背景像素的平均灰度，所述目标像素占图像的比例w₁和目标像素的平均灰度u₁分别为：

w₁＝W₁/(M*N) u₁＝∑i*n(i)/W₁，i＞t

其中：W₁为灰度值大于t的统计数，

所述背景像素占图像的比例w₂和背景像素的平均灰度u₂分别为：

w₂＝W₂/(M*N) u₂＝∑i*n(i)/W₂，i＜t

其中：W₂为灰度值小于t的统计数；

103)将灰度值大于t的像素作为目标像素，将灰度值小于t的像素作为背景像素对图像进行二值化。

与现有技术相比，本发明具有以下优点：

1)本发明提出的建立识别人脸表情专家系统，专家系统是一个具有大量的专门知识与经验的程序系统，充分考虑了训练样本数及其类别信息，获得了较好的识别结果，为人脸识别提供了一种有效的途径。

2)本发明提出一种人脸表情的快速识别方法，提出视频环境下用于识别人脸表情的既具有较快的速度又有较高识别率的新的人脸表情识别方法。

3)表情图像处理方法和传统计算机程序功能的基础上建造专家系统。表情图像处理专家系统不是取代已具备较强功能和达到相当高水平的经典方法和传统程序，而是在充分利用其已有成果的基础上，着重处理目前尚难于解决的那部分问题。

附图说明

图1为本发明提供的一种识别人脸表情图像的专家系统的架构示意图；

图2为灰度归一化中分三段分线性变换函数图；

图3为harris算子对尺度的敏感性示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于专家系统的人脸表情图像识别方法，该方法包括以下步骤：

1)从视频中捕捉图像，获得该视频中的用户信息，然后通过图像处理，图像特征提取，进行身份验证，获取用户的表情图像特征参数，确定用户表情库，建立识别人脸表情专家系统；

2)对从视频中捕捉的图像进行图像处理和图像特征提取，获得用户表情程度最大化时的特征参数，将特征参数与步骤1)确定的用户表情库中的表情训练样本参数进行比对，经过专家系统推理机的推理最终输出表情识别的统计结果。

步骤1)中建立识别人脸表情图像专家系统具体包括步骤：

11)获取人脸表情图像；

12)对人脸表情图像预处理；

13)提取人脸表情图像特征；

14)建立人脸表情专家系统规则库并将步骤13)中提取的特征参数存入到规则库中。

步骤2)中表情识别获取人脸表情图像识别结果具体包括步骤：

21)获取用户的表情图像：视频信息接收后，从视频信息中捕捉图像，获取用户的表情图像。

22)对步骤21)中获取的人脸表情图像，进行图像预处理；

23)对步骤22)中获得的眼部和嘴部的图像进行特征提取；

24)表情识别：将步骤23)中得到的特征参数输入到识别人脸表情图像专家系统中并与专家系统规则库中存储的面部表情特征参数进行对比，经过专家系统中推理机的推理并输出推理结果。

如图1所示为本发明的工作架构示意图，本发明专家系统具有学习功能，步骤24)结束后本次数据被添加至规则库中，进一步增加本发明的工作效率和识别准确率。

步骤12)和步骤22)和中人脸表情图像的预处理具体包括图像去噪、尺度归一化、灰度归一化、图像分割和图像二值化。

步骤13)和33)中人脸表情图像特征包括左眼特征、右眼特征和嘴部特征。

下面结合实例对本发明作进一步描述。

1)建立人脸表情图像专家系统；

视频信息接收后，从视频信息中捕捉图像，并且可以获得该视频信息的用户信息，通过图像预处理、图像特征提取，进行身份验证，确定该用户的表情库，建立识别人脸表情专家系统，待表情识别时提取；

11)人脸表情图像获取

通过摄像头图像捕捉工具获取某种人脸表情的静态图像；

12)人脸表情图像预处理

A图像去噪

图像去噪的最终目的是改善给定的图像，解决实际图像由于噪声干扰而导致图像质量下降的问题。通过去噪技术可以有效地提高图像质量，增大信噪比，更好的体现原来图像所携带的信息。基于C#程序语言，本发明中图像去噪算法采用的是传统的空间域滤波法。空域滤波是在原图像上直接进行数据运算，对像素的灰度值进行处理。本发明采用的的空间域图像去噪算法是邻域平均法。邻域平均法用数学公式表达：设f(i，j)为给定的含有噪声的图像，经过邻域平均处理后的图像为g(i，j)，则g(i，j)＝∑f(i，j)/N，(i，j)∈M，M是所取邻域中各邻近像素的坐标，是邻域中包含的邻近像素的个数。邻域平均处理方法是以图像模糊为代价来减小噪声的，且模板尺寸越大，噪声减小的效果越显著。如果f(i，j)是噪声点，其邻近像素灰度与之相差很大，采用邻域平均法就是用邻近像素的平均值来代替它，这样能明显消弱噪声点，使邻域中灰度接近均匀，起到平滑灰度的作用。

B尺度归一化

图像平移尺度归一化就是指通过变换消除平移和比例缩放对图像的影响。基于C#程序语言，本发明中的尺度归一化使用的是标准矩的方法，先把坐标原点移至图像重心处，由标准矩可以得到目标的重心(x₀，y₀)。因为目标的重心对平移、尺度和旋转是不变的，将图像的原点放在目标重心上以解决平移的问题。然后定义一个尺度因子a解决尺度问题：a＝sqrt(T/m)。实际上，若二值图像上目标像素值为1，背景为像素值0，m是目标的面积，使目标的面积为一个固定的大小，这样，通过下面的标变换就可以得到尺度归一化目标：g(x，y)＝f(x/a+x₀，y/a+y₀)。这样就将脸部的区域进行放大。

C灰度归一化

灰度归一化为了改善图像的质量。基于C#程序语言，本发明中我们采用最基本的分段线性灰度变换方法，分段线性变换也叫做灰度线性拉伸，用的是分三段分线性变换。如图2所示，图中对灰度区间[a，b]进行了扩展，而灰度区间[0，a]和[b，c]收到了压缩。通过细心调整折线拐点的位置及控制分段直线的斜率，可对任意灰度区间进行扩展和压缩，实现灰度归一化处理。将人脸表情彩色图像转换成灰度图像。

D图像分割

人脸中最能反映人脸表情变化的地方就是嘴巴和眼睛，所以，本发明中经过图像分割处理后提取的部位是眼睛和嘴巴。基于C#程序语言，本发明中我们采用的是串行区域分割技术，就是采用串行方式，通过对目标区域的直接检测来对图像进行分割的技术。其特点是：将整个处理过程分解为顺序的多个步骤依次进行，对后续步骤的处理要根据前续步骤的处理结果而定。我们采用从全图出发，然后逐渐分裂成所需的分割区域。

E图像二值化

基于C#程序语言，本发明中二值化方法我们采用的是经典的二值化方法Otsu算法。该算法的基本思想是：设使用某一个阈值将灰度图像根据灰度大小，分成目标部分和背景部分两类，在这两类的类内方差最小和类间方差最大的时候，得到的阈值是最优的二值化阈值。对一幅N*M个像素的图像来说，首先计算图像的平均灰度u，统计得到全部图像中灰度为i对应的像素个数u(i)，于是该图像的平均灰度值u＝∑i*n(i)/(M*N)；列出求解最佳阈值t的相关变量，记t为目标与背景的分割阈值，记目标像素(灰度大于t)占图像的比例为w₁：w₁＝W₁/(M*N)，其中W₁是灰度值大于t的统计数；记目标像素的平均灰度为u₁：u₁＝∑i*n(i)/W₁，i＞t，同理，得到背景像素占图像的比例w₂和背景像素的平均灰度u₂。最后求解最佳阈值t是使类差别最大，即使得G＝w₁*(u₁*u)*(u₁-u)+w₂*(u₂*u)*(u₂-u)最大。G最大时，即得到了最佳阈值。

13)人脸表情图像特征提取

通过上述步骤E图像分割得到眼部和嘴部的图像，采用几何特征进行特征提取，对眼睛、嘴巴的位置变化进行定位、测量，确定其大小、距离、形状及相互比例等特征。在本发明中进行表人脸表情识别算法中，需要提取几何特征，我们采用的是Harris算子角点提取算法，以C#程序语言为基础，但这些检测算法需要一些阈值设置，每幅图像的交点个数是不一样的。提取眼睛的角点，手动进行固定选取相同的N个点(左右眼角、眼睑上下共四个点)：

第一步对每一像素点计算相关矩阵M，Harris算子用高斯函数代替二值窗口函数，对离中心点越近的像素赋于越大的权重，以减少噪声影响。

其中，

其中：I_x为x方向的差分，I_y为y方向的差分，w(x，y)为高斯函数，具体为：

第二步计算每像素点的Harris角点响应。

R＝(AB-CD)²-k(A+B)²

第三步在w*w范围内寻找极大值点，如图3所示，若Harris角点响应大于阈值，阈值一般为w*w范围内极大值，则视为角点。这样，就将眼部和嘴部的特征提取出来。

人类有六种主要情感，每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感，由愤怒(anger)、高兴(smile)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)组成。采集表示这六种表情的人脸表情图像，经过步骤12)、13)处理之后，将代表不同表情的特征参数存入到规则库中。每种表情的特征参数都用相应的字母代替，例如代表高兴地特征参数，就用happiness标注。

这样，通过上述步骤，就建立了识别人脸表情专家系统。

(二)表情识别获取人脸表情图像识别结果

21)获取用户的表情图像：

视频信息接收后，从视频信息中捕捉图像，获取用户的表情图像。

22)图像预处理：

对步骤21)中获取的人脸表情图像，首先经过步骤12)，对图像进行预处理，对人脸进行检测，对人脸进行定位，然后对图像进行切割，最终获取图像的眼部和嘴部的图像特征。

23)图像特征提取：

对上述步骤(2)中获得的眼部和嘴部的图像进行特征提取，采用上述步骤(3)中的几何方法提取眼部和嘴部的特征参数。

24)表情识别：

将步骤中得到的特征参数输入到识别人脸表情图像专家系统中，与专家系统规则库中存储的面部表情特征参数进行对比，然后经过专家系统中推理机的推理，最后专家系统将推理结果输出。例如，若输入的是高兴的人脸表情图像，专家系统的输出结果就是smile。

如图1所示，本发明专家系统具有学习功能，识别结束后，将本次数据也加入规则库，同时专家也可以对该专家系统进行手动更新规则库和程序。

Claims (4)

1.一种基于专家系统的人脸表情图像识别方法，其特征在于，该方法通过建立在表情图像处理方法和传统计算机程序功能的基础上的用于人脸表情识别的专家系统对预处理的图像进行推理识别人脸表情，所述方法包括以下步骤：

1)从视频中捕捉图像，获得该视频中的用户信息，然后通过图像处理，图像特征提取，进行身份验证，获取用户的表情图像特征参数，确定用户表情库，建立识别人脸表情专家系统，

2)对从视频中捕捉的图像进行图像处理和图像特征提取，获得用户表情程度最大化时的特征参数，将特征参数与步骤1)确定的用户表情库中的表情训练样本参数进行比对，经过专家系统推理机的推理最终输出表情识别的统计结果；

所述步骤1)中建立识别人脸表情图像专家系统具体包括步骤：

11)获取人脸表情图像，

12)对人脸表情图像预处理，

13)提取人脸表情图像特征，

14)建立人脸表情专家系统规则库并将步骤13)中提取的特征参数存入到规则库中；

所述步骤2)中表情识别获取人脸表情图像识别结果具体包括步骤：

21)获取用户的表情图像：视频信息接收后，从视频信息中捕捉图像，获取用户的表情图像，

22)对步骤21)中获取的人脸表情图像，进行图像预处理，

23)对步骤22)中获得的眼部和嘴部的图像进行特征提取，

24)表情识别：将步骤23)中得到的特征参数输入到识别人脸表情图像专家系统中并与专家系统规则库中存储的面部表情特征参数进行对比，经过专家系统中推理机的推理并输出推理结果；

所述步骤12)和步骤22)和中人脸表情图像的预处理具体包括图像去噪、尺度归一化、灰度归一化、图像分割和图像二值化，

所述图像去噪后得到去噪后的图像g(i,j)为：

g(i,j)＝∑f(i,j)/N,(i,j)∈M

其中：f(i,j)为给定的含有噪声的图像，M是所取邻域中各邻近像素的坐标，N是邻域中包含的邻近像素的个数，

所述尺度归一化后得到目标图像g(x,y)为：

g(x,y)＝f(x/a+x₀,y/a+y₀)

其中：f(x,y)为归一化前图像，(x₀,y₀)为图片目标区域的重心，a为尺度因子，所述尺度因子为：

a＝sqrt(T/m)

其中：m为目标图像的面积；T为归一化前图像的面积；

所述灰度归一化为分段线性灰度变换方法，

所述图像分割技术为串行区域分割技术，通过对嘴巴和眼睛目标区域的直接检测来对图像进行分割，

所述图像二值化算法为二值化方法Otsu算法，使用灰度阈值将灰度图像分成目标部分和背景部分两类。

2.根据权利要求1所述的一种基于专家系统的人脸表情图像识别方法，其特征在于，所述步骤13)和33)中人脸表情图像特征包括左眼特征、右眼特征和嘴部特征，所述人脸表情图像特征提取算法具体包括以下步骤：

201)对每一像素点计算相关矩阵M：

$M=\left[\begin{array}{cc}A& D\\ C& B\end{array}\right]$

其中：

其中：I_x为x方向的差分，I_y为y方向的差分，w(x,y)为高斯函数，具体为：

$w(x,y)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}$

202)计算每像素点的Harris角点响应：R＝(AB-CD)²-k(A+B)²；

203)在w*w范围内寻找极大值点，若Harris角点响应大于阈值，所述阈值为w*w范围内极大值，则视为角点，将眼部和嘴部的特征提取出来。

3.根据权利要求1所述的一种基于专家系统的人脸表情图像识别方法，其特征在于，所述步骤24)结束后，系统将本次任务数据加入到规则库中。

4.根据权利要求1所述的一种基于专家系统的人脸表情图像识别方法，其特征在于，所述图像二值化过程具体包括步骤：

101)计算图像的平均灰度u为：

u＝∑i*n(i)/(M*N)

其中：M*N为图像的像素个数，n(i)为灰度为i的像素点的个数；

102)确定灰度阈值t，所述灰度阈值t为使类间方差G最大的值，所述类间方差G为：

G＝w₁*(u₁-u)*(u₁-u)+w₂*(u₂-u)*(u₂-u)

其中：w₁为目标像素占图像的比例，w₂为背景像素占图像的比例，u₁为目标像素的平均灰度，u₂为背景像素的平均灰度，所述目标像素占图像的比例w₁和目标像素的平均灰度u₁分别为：

w₁＝W₁/(M*N) u₁＝Σi*n(i)/W₁,i＞t

其中：W₁为灰度值大于t的统计数，

所述背景像素占图像的比例w₂和背景像素的平均灰度u₂分别为：

w₂＝W₂/(M*N) u₂＝Σi*n(i)/W₂,i＜t

其中：W₂为灰度值小于t的统计数；

103)将灰度值大于t的像素作为目标像素，将灰度值小于t的像素作为背景像素对图像进行二值化。