CN106257489A - 表情识别方法及系统 - Google Patents

Abstract

本发明的实施例公开一种表情识别方法，包括：将待识别人脸图像输入至全局深度卷积神经网络以确定人脸图像的第一表情和第一分值，全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学习得到；将人脸图像划分为多个子图像；将多个子图像的特征信息与参考特征信息进行比较以确定人脸图像的第二表情和第二分值，参考特征信息由具有不同表情的参考人脸图像的多个参考子图像确定；根据第一表情和第一分值以及第二表情和第二分值确定人脸图像的表情；相应的还提供一种表情识别系统；本发明实施例的方法及系统可以更加准确快速地识别出人脸表情。

Description

表情识别方法及系统

技术领域

本发明涉及图像识别技术领域，特别涉及一种表情识别方法及系统。

背景技术

基于图像的面部表情识别在人机交互，人体情绪判断等智能领域有重要的价值。

现有技术中用于识别面部表情的方法仅限于对清晰的静止的图片进行表情识别，而且为了准确的完成表情识别还需要被识别的图片为人脸的正脸图像，如果待识别的图片是在人活动过程中抓拍则极有可能得到的图片是虚的，不清楚的，或者由于环境光线等因素，得到的图片质量是难以辨别的，而且抓拍到的图片很有可能只是人的侧脸而非正脸图像，这时就不能准确的识别人的面部表情了，因而严重影响了面部表情识别在实际生活中的应用。

因此，急需一种能够适应任何人脸姿态场景(人脸姿态场景至少包括正脸、左侧脸、右侧脸、左斜侧、右斜侧、低头、仰头)与外部成像场景(模糊、强光、黑暗)识别人的面部表情的方法。

发明内容

本发明实施例提供一种表情识别方法及系统，以用于至少解决上述技术问题之一。

一方面，本发明实施例提供一种表情识别方法，其包括：

将待识别人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第一表情和第一分值，所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学习得到；

将所述人脸图像划分为多个子图像；

将所述多个子图像的特征信息与参考特征信息进行比较以确定所述人脸图像的第二表情和第二分值，所述参考特征信息由具有不同表情的参考人脸图像的多个参考子图像确定；

至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸图像的表情。

另一方面，本发明实施例还提供一种表情识别系统，其包括：

全局表情识别模块，用于将待识别人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第一表情和第一分值，所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学习得到；

人脸图像划分模块，用于将所述人脸图像划分为多个子图像；

局部表情识别模块，用于将所述多个子图像的特征信息与参考特征信息进行比较以确定所述人脸图像的第二表情和第二分值，所述参考特征信息由具有不同表情的参考人脸图像的多个参考子图像确定；

目标表情确定模块，用于至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸图像的表情。

本发明实施例的表情识别方法及系统中，一方面整体考虑人脸图像来确定人脸图像可能的第一表情以及人脸图像为第一表情的第一分值，弥补了在模糊、强光、黑暗等场景下局部识别效果也不好的缺点；另一方面通过将人脸图像划分为多个子图像的方法，进行局部特征的判断以确定人脸图像可能的第二表情以及人脸图像为第二表情的第二分值，弥补了在侧脸、斜侧等人脸姿态下整体识别效果不好的缺陷；之后综合考虑确定的第一表情和第一分值以及第二表情和第二分值来确定人脸图像的当前表情，本发明实施例的人脸识别方法及系统充分利用了人脸全局与局部的特性，判别准确率高，而且能够适应多种人脸姿态与模糊、强光、黑暗等多种成像场景。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的表情识别方法一实施例的流程图；

图2为本发明的表情识别方法另一实施例的流程图；

图3为本发明的表情识别方法又一实施例的流程图；

图4为本发明的表情识别系统一实施例的原理框图；

图5为本发明的表情识别中的人脸图像划分模块一实施例的原理框图；

图6为本发明的表情识别中的局部表情识别模块一实施例的原理框图；

图7为本发明的用户设备的一实施例的结构示意图。

具体实施例

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

在本发明中，“组件”、“装置”、“系统”等等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，组件可以、但不限于是运行于处理器的过程、处理器、对象、可执行组件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是组件。一个或多个组件可在执行的过程和/或线程中，并且组件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。组件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一组件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

基于图像的面部表情识别在人机交互，人体情绪判断等智能领域有重要的价值。目前有很多基于图像的表情识别研究，但是没有综合考虑整体与局部的结合特性，因此适应场景有限，例如，在侧脸、斜侧等人脸姿态下整体识别往往不好，在模糊、强光、黑暗等场景下局部识别效果也不好。

为尽可能的适应多种人脸姿态场景与外部成像场景我们将人脸全局图像与眼睛、嘴巴、眉毛等局部图像分别进行判别，用深度卷积神经网络进行全局表情判别与局部特征提取，最后用支持向量机分类方法进行结果融合，最后得到带有人脸姿态的表情判断结果。该方法能够适应充分利用了人脸全局与局部的特性，判别准确率高，而且能够适应多种人脸姿态与模糊、强光、黑暗等多种成像场景。

如图1所示，本发明的一实施例的表情识别方法，其包括：

S11、将待识别人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第一表情和第一分值，所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学习得到；

S12、将所述人脸图像划分为多个子图像；

S13、将所述多个子图像的特征信息与参考特征信息进行比较以确定所述人脸图像的第二表情和第二分值，所述参考特征信息由具有不同表情的参考人脸图像的多个参考子图像确定；

S14、至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸图像的表情。

本发明实施例的表情识别方法中，一方面整体考虑人脸图像来确定人脸图像可能的第一表情以及人脸图像为第一表情的第一分值，弥补了在模糊、强光、黑暗等场景下局部识别效果也不好的缺点；另一方面通过将人脸图像划分为多个子图像的方法，进行局部特征的判断以确定人脸图像可能的第二表情以及人脸图像为第二表情的第二分值，弥补了在侧脸、斜侧等人脸姿态下整体识别效果不好的缺陷；之后综合考虑确定的第一表情和第一分值以及第二表情和第二分值来确定人脸图像的当前表情，本发明实施例的人脸识别方法及系统适应充分利用了人脸全局与局部的特性，判别准确率高，而且能够适应多种人脸姿态与模糊、强光、黑暗等多种成像场景。

在本实施例中，步骤S11中待识别人脸图像可以是直接输入的人脸图像的照片(例如，通过摄像头直接获取的)，或者是从输入的混杂有其它背景的图片中采用HAAR人脸检测方法获取的；全局深度卷积神经网络是预先基于深度学习形成的，其输入为海量的具有不同表情的人脸图像，输出为人脸图像所具有的表情以及为人脸图像具有该表情的可能性所打的分值，因此，在获取人脸图像后直接将获取的人脸图像输入全局深度卷积神经网络即可得到该人脸图像可能具有的表情以及为具有该表情所打的分值，人脸图像的表情至少包括：喜悦、愤怒、恐惧、悲伤、惊讶、悲伤、平和中的一种或者多种。

在本实施例中，步骤S14可以是直接比较第一分值与第二分值的大小，并确定数值较大的所对应的表情为人脸图像的表情；或者采用SVM(Support Vector Machine支持向量机)方法对第一分值和第二分值进行融合以确定人脸图像的当前表情。

SVM属于数据分类的范畴，数据分类是数据挖掘中的一个重要题目。数据分类是指在已有分类的训练数据的基础上，根据某种原理，经过训练形成一个分类器；然后使用分类器判断没有分类的数据的类别。

支持向量机是一种基于分类边界的分类方法，本实施例中通过大量的具有不同表情的人脸图像的第一分值和第二分值以及相应的表情进行训练，来最终确定了SVM分类器，其基本原理是：训练数据第一分值和第二分值是分布在二维平面上的点，它们按照其分类(表情类别)聚集在不同的区域，通过大量的具有不同表情的人脸图像确定分类边界，从而确定下SVM分类器；当有待识别人脸图像的第一分值和第二分值输入SVM分类器时，根据第一分值和第二分值所落在的分类边界的区域所对应的类别确定待识别人脸图像所具有的表情。

采用SVM方法的优点在于，当第一分值与第二分值相互接近，但又分别对应不同的表情时，直接确定数值较大的分值所对应的表情为人脸图像的表情可能会存在误判的情况，例如，第一分值所对应的表情为微笑，而第二分值所对应的表情为悲伤，并且第一分值取值为0.89，第二分值取值为0.9，从第一、第二分值的取值来看，人脸表情为微笑和悲哀的分值都很高，如果直接将第二分值所对应的表情悲哀确定为人脸图像的表情的话，极有可能是错误的判断，因此采用SVM方法对第一、第二分值进行融合的方法确定，SVM方法进行融合的SVM分类器是根据大量的具有不同表情的人脸图像的深度学习确定的，从而保证了最终判定结果的准确性。

在一些实施例中，在将人脸图像输入至全局深度卷积神经网络之前还包括对获取的人脸图像进行校正，以便于更加准确的识别人脸图像所具有的表情，例如，通过检测人脸图像中左右眼是否在同一个水平线上来判断当前人脸图像是否需要进行校正，当左右眼不在同一水平线上时，驱动整个人脸图像进行旋转以实现对人脸图像的校正。

如图2所示，在一些实施例中，步骤S12将所述人脸图像划分为多个子图像包括：

S21、对所述人脸图像进行关键点定位；

S22、根据定位的所述人脸图像的关键点将所述人脸图像划分为多个子图像。

本实施例中采用SDM方法进行人脸图像关键点定位，并根据关键点分割出局部区域；例如，根据得到的关键点位置，划分出左眼睛、右眼睛、左眉毛、右眉毛、嘴巴等五个区域，并获取这五个区域的图像作为子图像。

如图3所示，在一些实施例中，将所述多个子图像的特征信息与表情特征库中存储的参考特征信息进行比较以确定所述人脸图像的第二表情和第二分值包括：

S31、分别将所述多个子图像输入至局部深度卷积神经网络；

S32、从所述局部深度卷积神经网络的全连接层获取相应于所述多个子图像的特征信息；

S33、计算所述多个子图像的特征信息与所述表情特征库中存储的参考特征信息的相似度值；

S34、确定相似度值最大的参考特征信息所对应的表情为所述第二表情；

S35、确定所述第二表情的相似度值为所述第二分值。

本实施例中，局部深度卷积神经网络是基于海量具有不同表情的人脸图像的子图像进行深度学习确定的，并且参考特征信息是通过将参考人脸图像输入至局部深度卷积神经网络后，从局部深度卷积神经网络的全连接层获取的特征值确定的，例如，一副具有微笑表情的参考人脸图像的左眼睛、右眼睛、左眉毛、右眉毛、嘴巴等五个区域的子图像分别输入局部深度卷积神经网络，相应的可以从局部深度卷积神经网络的全连接层依次得到分别相应于左眼睛、右眼睛、左眉毛、右眉毛、嘴巴五个子图像的五个特征值，并且由这五个特征值按照预设顺序生成特征值组作为参考特征信息，该参考特征信息所对应的表情就是微笑；表情特征库中存储的参考特征信息包括了针对具有不同表情的人脸图像的参考特征信息，并且包括具有相同表情的不同人脸图像的参考特征信息。

当有需要进行识别表情的人脸图像时，同样获取待识别人脸图像的五个区域的五个子图像，并将得到的五个子图像输入至局部深度卷积神经网络以得到五个特征值，将五个特征值按照预设顺序生成待识别人脸图像的特征信息，然后采用联合贝叶斯算法依次计算待识别人脸图像的特征信息与表情特征库中存储的参考特征信息之间的相似度，以确定待识别人脸图像的表情。

例如，对于具有微笑表情的待识别人脸图像。首先获取左眼睛、右眼睛、左眉毛、右眉毛、嘴巴五个子图像。然后分别将五个子图像输入至局部深度卷积神经网络得到对应的五个特征值，以预设顺序(例如，就按照左眼睛、右眼睛、左眉毛、右眉毛和嘴巴的顺序)将五个特征值存储为一个数组作为待识别人脸图像的特征信息。采用联合贝叶斯算法计算待识别人脸图像的特征信息与表情特征库中存储的参考特征信息之间的相似度值。

表情特征库中存储的参考特征信息可能是基于一万张参考人脸图像得到的一万个参考特征信息，计算出所有的相似度后对相似度值进行从大到小的排列，取前20个相似度值(或者是取相似度值大于某一阈值的所有的相似度值)。然后再进一步统计这20个相似度值所对应的表情，并确定这20个相似度值中所对应的最多的表情为待识别人脸图像的表情。

例如从大到小的20个相似度值分别为：0.95(对应于表情微笑)、0.94(对应于表情微笑)、0.92(对应于表情微笑)、0.92(对应于表情微笑)、0.91(对应于表情微笑)、0.91(对应于表情微笑)、0.91(对应于表情微笑)、0.90(对应于表情微笑)、0.90(对应于表情严肃)、0.88(对应于表情微笑)、0.88(对应于表情大笑)、0.86(对应于表情微笑)、0.85(对应于表情微笑)、0.85(对应于表情微笑)、0.84(对应于表情大笑)、0.84(对应于表情微笑)、0.84(对应于表情微笑)、0.82(对应于表情大笑)、0.81(对应于表情严肃笑)、0.80(对应于表情微笑)。

统计可知，上述20个相似度值中有15个对应于表情微笑，3个对应于大笑，两个对应于严肃，这时即可确定微笑为待识别人脸图像的表情。统计15个对应于表情微笑的相似度值的算术平均值为0.89853，即待识别人脸图像的表情为微笑的概率为89.853。或者通过排除一个最高概率值0.95和一个概率最低值0.80，统计剩下的13个概率值的算术平均值为0.88692，即待识别人脸图像的表情为微笑的概率为89.853。

在本发明表情识别方法的一些实施例中，还包括：

根据所述多个子图像的相对位置关系确定所述人脸图像的人脸姿态，所述人脸姿态至少包括正脸、左侧脸、右侧脸、左斜侧、右斜侧、低头、仰头中的一种或者多种；例如，当检测到人脸图像中只有左眼时，则可以判定为当前人脸图像的姿态为左侧脸，当检测到双眼所在水平线与嘴巴所在水平线之间的距离小于一般阈值时，则判定当前人脸图像的姿态为低头。

在一些实施例中，至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸图像的表情为：结合确定的人脸图像的当前姿态根据第一分值和第二分值通过SVM方法进行融合。本实施例中人脸图像的当前姿态可用于确定第一分值和第二分值的权重，例如，当人脸图像的当前姿态为正脸或者抬头或者低头时，为第一分值分配的权重大于为第二分值分配的权重(因为，当人脸图像处于正脸或者抬头或者低头的姿态时，根据整体人脸图像确定的表情相对于根据人脸图像的局部特征确定的表情更加准确)；当人脸图像的当前姿态为侧脸时，则为第一分值分配的权重小于为第二分值分配的权重(因为，当人脸图像处于侧脸的姿态时，根据人脸图像的局部特征确定的表情相对于根据整体人脸图像确定的表情更加准确)。

本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

如图4所示，本发明实施例还提供一种表情识别系统，其包括：

全局表情识别模块，用于将待识别人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第一表情和第一分值，所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学习得到；

人脸图像划分模块，用于将所述人脸图像划分为多个子图像；

局部表情识别模块，用于将所述多个子图像的特征信息与表情特征库中存储的参考特征信息进行比较以确定所述人脸图像的第二表情和第二分值，所述参考特征信息由具有不同表情的参考人脸图像的多个参考子图像确定；

目标表情确定模块，用于至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸图像的表情。

本发明实施例的表情识别系统中，一方面整体考虑人脸图像来确定人脸图像可能的第一表情以及人脸图像为第一表情的第一分值，弥补了在模糊、强光、黑暗等场景下局部识别效果也不好的缺点；另一方面通过将人脸图像划分为多个子图像的方法，进行局部特征的判断以确定人脸图像可能的第二表情以及人脸图像为第二表情的第二分值，弥补了在侧脸、斜侧等人脸姿态下整体识别效果不好的缺陷；之后综合考虑确定的第一表情和第一分值以及第二表情和第二分值来确定人脸图像的当前表情，本发明实施例的人脸识别方法及系统适应充分利用了人脸全局与局部的特性，判别准确率高，而且能够适应多种人脸姿态与模糊、强光、黑暗等多种成像场景。

在本发明实施例的表情识别系统中，还包括：

图像校正模块，用于在所述将人脸图像输入至全局深度卷积神经网络之前对所述人脸图像进行校正处理。

如图5所示，在一些实施例中，人脸图像划分模块包括：

关键点定位单元，用于对所述人脸图像进行关键点定位；

子图像划分单元，用于根据定位的所述人脸图像的关键点将所述人脸图像划分为多个子图像。

如图6所示，在一些实施例中，局部表情识别模块包括：

子图像处理单元，用于分别将所述多个子图像输入至局部深度卷积神经网络；

特征信息获取单元，用于从所述局部深度卷积神经网络的全连接层获取相应于所述多个子图像的特征信息；

相似度计算单元，用于计算所述多个子图像的特征信息与所述表情特征库中存储的参考特征信息的相似度值；

第二表情确定单元，用于确定相似度值最大的参考特征信息所对应的表情为所述第二表情；

第二分值确定单元，用于确定所述第二表情的相似度值为所述第二分值。

在本发明实施例的人脸表情识别系统中，还包括：

人脸姿态确定模块，用于根据所述多个子图像的相对位置关系确定所述人脸图像的人脸姿态；所述人脸姿态至少包括正脸、左侧脸、右侧脸、左斜侧、右斜侧、低头、仰头中的一种或者多种。

上述本发明实施例的表情识别系统可用于执行本发明实施例的人脸表情识别方法，并相应的达到上述本发明实施例的人脸表情识别方法所达到的技术效果，这里不再赘述。

另一方面，本发明实施例还公开一种用户设备，该用户设备包括：

存储器，用于存放计算机操作指令；

处理器，用于执行所述存储器存储的计算机操作指令，以执行：

将待识别人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第一表情和第一分值，所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学习得到；

将所述人脸图像划分为多个子图像；

将所述多个子图像的特征信息与表情特征库中存储的参考特征信息进行比较以确定所述人脸图像的第二表情和第二分值，所述参考特征信息由具有不同表情的参考人脸图像的多个参考子图像确定；

至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸图像的表情。

如图7所示，为本发明上述实施例中用户设备一实施例的结构示意图，本申请具体实施例并不对用户设备700的具体实现做限定，其包括：

处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730、以及通信总线740。其中：

处理器710、通信接口720、以及存储器730通过通信总线740完成相互间的通信。

通信接口720，用于与比如第三方访问端等的网元通信。

处理器710，用于执行程序732，具体可以执行上述方法实施例中的相关步骤。

具体地，程序732可以包括程序代码，所述程序代码包括计算机操作指令。

处理器710可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。

以上所描述的方法实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种表情识别方法，包括：

将待识别的人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第一表情和第一分值，所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学习得到；

将所述人脸图像划分为多个子图像；

将所述多个子图像的特征信息与参考特征信息进行比较以确定所述人脸图像的第二表情和第二分值，所述参考特征信息由具有不同表情的参考人脸图像的多个参考子图像确定；

至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸图像的表情。

2.根据权利要求1所述的方法，其中，所述将所述人脸图像划分为多个子图像包括：

对所述人脸图像进行关键点定位；

根据定位的所述人脸图像的关键点将所述人脸图像划分为多个子图像。

3.根据权利要求2所述的方法，其中，所述将所述多个子图像的特征信息与所述参考特征信息进行比较以确定所述人脸图像的第二表情和第二分值包括：

分别将所述多个子图像输入至局部深度卷积神经网络；

从所述局部深度卷积神经网络的全连接层获取相应于所述多个子图像的特征信息；

计算所述多个子图像的特征信息与所述参考特征信息的相似度值；

确定相似度值最大的参考特征信息所对应的表情为所述第二表情；

确定所述第二表情的相似度值为所述第二分值。

4.根据权利要求2或3所述的方法，其中，还包括：

根据所述多个子图像的相对位置关系确定所述人脸图像的人脸姿态。

5.根据权利要求4所述的方法，其中，在所述将人脸图像输入至全局深度卷积神经网络之前还包括：

对所述人脸图像进行校正处理。

6.一种表情识别系统，包括：

全局表情识别模块，用于将待识别人脸图像输入至全局深度卷积神经网络以确定所述人脸图像的第一表情和第一分值，所述全局深度卷积神经网络基于具有不同表情的参考人脸图像进行深度学习得到；

人脸图像划分模块，用于将所述人脸图像划分为多个子图像；

局部表情识别模块，用于将所述多个子图像的特征信息与参考特征信息进行比较以确定所述人脸图像的第二表情和第二分值，所述参考特征信息由具有不同表情的参考人脸图像的多个参考子图像确定；

目标表情确定模块，用于至少根据所述第一表情和第一分值以及所述第二表情和第二分值确定所述人脸图像的表情。

7.根据权利要求6所述的系统，其中，所述人脸图像划分模块包括：

关键点定位单元，用于对所述人脸图像进行关键点定位；

子图像划分单元，用于根据定位的所述人脸图像的关键点将所述人脸图像划分为多个子图像。

8.根据权利要求7所述的系统，其中，所述局部表情识别模块包括：

子图像处理单元，用于分别将所述多个子图像输入至局部深度卷积神经网络；

特征信息获取单元，用于从所述局部深度卷积神经网络的全连接层获取相应于所述多个子图像的特征信息；

相似度计算单元，用于计算所述多个子图像的特征信息与所述参考特征信息的相似度值；

第二表情确定单元，用于确定相似度值最大的参考特征信息所对应的表情为所述第二表情；

第二分值确定单元，用于确定所述第二表情的相似度值为所述第二分值。

9.根据权利要求7或8所述的系统，其中，还包括：

人脸姿态确定模块，用于根据所述多个子图像的相对位置关系确定所述人脸图像的人脸姿态。

10.根据权利要求9所述的系统，其中，还包括：

图像校正模块，用于在所述将人脸图像输入至全局深度卷积神经网络之前对所述人脸图像进行校正处理。