CN106815566A - 一种基于多任务卷积神经网络的人脸检索方法 - Google Patents

Abstract

本发明公开了一种基于多任务卷积神经网络的人脸检索方法，包括步骤：对于任意一张人脸影像，检测获取其中人脸位置和关键点位置；对人脸影像进行预处理操作；预先建立多任务卷积神经网络，然后进行训练；将所述经过预处理操作的人脸影像输入到所述完成训练的多任务卷积神经网络中；预先建立人脸特征数据库；将人脸影像与人脸特征数据库进行身份特征相似度计算，获得候选人脸影像列表；计算人脸影像与候选人脸影像的多个属性特征表达向量相似度；归一化处理并融合；按照融合相似度得分进行排序，获得检索结果。本发明可保证对人脸影像高质量识别，快速、有效地对大量的人脸影像进行对应的用户身份识别判断，满足人们对人脸识别功能的要求。

Description

一种基于多任务卷积神经网络的人脸检索方法

技术领域

本发明涉及人工智能、模式识别和数字图像处理等技术领域，特别是涉及一种基于多任务卷积神经网络的人脸检索方法。

背景技术

目前，随着人类科学技术的不断发展，人脸识别技术在人们日常生活中越来越普及，无论在人工智能研究还是公共安全应用方面，人脸识别技术一直是一项前沿、热门技术，拥有举足轻重的地位。

作为生物特征识别技术的一类，人脸识别由于其非接触性以及采集方便的特点，具有良好的发展和应用前景。人脸识别技术在诸多应用场景中都发挥了十分重要的作用，比如机场安检，边检通关等。近几年随着互联网金融的高速发展，人脸识别技术在移动支付上表现出极大的应用优势。人脸识别的目的是根据获取的用户人脸图像或视频得知用户的身份。目前，人脸识别技术在室外非受控环境下仍无法满足实用要求，其主要难点在于光照变化、用户姿态表情变化、年龄体型变化及遮挡。

近年来，深度学习在机器视觉的众多领域都取得了令人瞩目的效果。其中最为瞩目的模型当属卷积神经网络，该类模型使用多层卷积层与池化层，可以抽取图像或视频数据中有效的层级化特征，实现较强的非线性表达。卷积神经网络在物体分类，动作识别，图像分割以及人脸识别等领域，均取得了显著强于传统方法的效果。在一些低层视觉问题中，例如图像去噪、图像超分辨率增强和图像去模糊等问题中，深度学习技术也都取得了不错的效果。在人脸识别领域，基于神经网络与深度学习的人脸识别方法也由于其优异的性能而备受关注，目前国内外领先的人脸识别算法大多基于深度学习模型。基于深度学习的人脸识别方法通常分为两个步骤：首先使用神经网络模型对输入的人脸图像计算一个特征表达；然后根据特征表达间的相似性得到人脸图像的。

但是，着大数据时代的来临，人们需处理的数据规模往往非常大。随着数据库容量的增大，数据库中出现相似人脸的可能性会随之升高，基于现有的人脸识别方法进行人脸识别时，随人脸一一验证而出现误识别的几率大大增加，无法满足人们对人脸识别的快速、准确的识别要求，人脸识别的整体工作效率和工作质量低，降低了人们的使用感受。

因此，目前迫切需要开发出一种技术，其可以保证对人脸影像(包括人脸图像和视频)进行高质量识别的同时，快速、有效地对大量的人脸图像进行对应的用户身份识别判断，满足人们对人脸识别功能的要求，提高人脸识别的整体工作效率和工作质量，节约人们宝贵的时间。

发明内容

有鉴于此，本发明的目的是提供一种基于多任务卷积神经网络的人脸检索方法，其可以保证对人脸影像进行高质量识别的同时，快速、有效地对大量的人脸影像进行对应的用户身份识别判断，满足人们对人脸识别功能的要求，提高人脸识别的整体工作效率和工作质量，节约人们宝贵的时间，有利于提高人们的产品使用感受，具有重大的生产实践意义。

为此，本发明提供了一种基于多任务卷积神经网络的人脸检索方法，包括以下步骤：

第一步：对于需要进行人脸识别的任意一张人脸影像，检测获取其中的人脸位置，并根据所获取的人脸位置，检测获取人脸影像的关键点位置；

第二步：根据所述人脸影像的人脸位置和关键点位置，对所述人脸影像进行预处理操作；

第三步：预先建立多任务卷积神经网络，然后将预设标准大小的人脸影像输入到所述多任务卷积神经网络中，对所述多任务卷积神经网络进行训练，直到使得所述多任务卷积神经网络的模型收敛而完成训练；

第四步：将所述经过预处理操作的人脸影像，输入到所述完成训练的多任务卷积神经网络中，获得所述人脸影像对应的身份特征表达向量和多个属性特征表达向量；

第五步：预先建立人脸特征数据库，所述人脸特征数据库中预先存储多个已知用户身份的候选人脸影像及每个候选人脸影像对应的身份特征表达向量和多个属性特征表达向量；

第六步：将所述人脸影像对应的身份特征表达向量与所述人脸特征数据库中预先存储的每个候选人脸影像具有的身份特征表达向量逐一进行对比并实时计算相似度，根据所获得的相似度，按照相似度从大到下的顺序对应排序，输出所述人脸特征数据库中预先存储的多个候选人脸影像，从而获得候选人脸影像列表；

第七步：将所述人脸影像对应的多个属性特征表达向量，分别与所述候选人脸影像列表中每个候选人脸影像对应的多个属性特征表达向量逐一进行对比并实时计算相似度，获得所述人脸影像与每个候选人脸影像之间的多个相似度得分；

第八步：对所述人脸影像与每个候选人脸影像之间的多个相似度得分分别进行归一化处理后进行分数融合，获得所述人脸影像与每个候选人脸影像之间的融合相似度得分；

第九步：按照融合相似度得分的从大到下的顺序，对所述候选人脸影像列表中的多个候选人脸影像进行重新排序，重新排序后获得的候选人脸影像列表即为对所述人脸影像进行人脸识别检索的结果。

其中，所述第二步具体包括以下步骤：

预先定义一个标准人脸所具有的关键点位置和光照条件；

通过预设的图像变换算法将所述人脸影像的关键点位置对齐至标准人脸的关键点位置；

通过预设的图像处理算法，对所述经过对齐处理后的人脸影像进行光线校正，使得所述经过对齐处理后的人脸影像的光照条件变换至所述标准人脸具有的光照条件。

其中，预先定义一个标准人脸所具有的关键点位置和光照条件具体为：

预先根据多个人脸影像的关键点位置信息和光照条件，通过求平均计算，获得所述标准人脸具有的关键点位置和光照条件。

其中，所述多任务卷积神经网络包括依次对所输入人脸影像进行处理的输入层、预设多个卷积层、预设多个池化层、预设多个全连接层和输出层。

其中，在第三步中，所述将预设标准大小的人脸影像输入到所述多任务卷积神经网络中，对所述多任务卷积神经网络进行训练的步骤，包括以下子步骤：

将预设标准大小的人脸影像输入到多个预设的人脸属性特征分类损失函数中，然后计算所述预设标准大小的人脸影像对应的多个人脸属性特征的损失值；

使用所述预设标准大小的人脸影像对应的多个人脸属性特征的损失值一起，来反向调节所述多任务卷积神经网络中的所有权重，使得所有权重的加权损失和最低。

其中，所述多个预设的人脸属性特征分类损失函数包括预设的人脸身份分类损失函数、人脸性别分类损失函数和人脸年龄分类损失函数；

其中，所述人脸身份分类损失函数为softmax损失函数，所述人脸性别分类损失函数为hinge损失函数，所述人脸年龄分类损失函数为平方损失函数。

其中，所述softmax损失函数的公式如下所示：

其中，N是类别数目，x是输入的人脸影像，y^Identity∈R^N×1是表示人脸影像类别的类别向量，代表多任务卷积神经网络学到的人脸身份分类器第i个节点的输出；

所述hinge损失函数的公式如下所示：

其中，y^Gender∈{-1,+1}是代表人脸影像性别的标签，是多任务卷积神经网络对输入的人脸影像性别的预测输出；

所述平方损失函数的公式如下所示：

其中，y^Age是人脸影像的年龄真实值，是多任务卷积神经网络对输入的人脸影像年龄的预测输出。

其中，在所述第三步中，对所述卷积神经网络进行训练的步骤具体为：

将任意一张预设标准大小的人脸影像及其对应的人脸身份及属性标签信息输入到所述卷积神经网络的输入层，由所述卷积神经网络的卷积层和池化层来提取这张人脸影像的特征值，然后从输出层输出；

将这张预设标准大小的人脸影像的特征值送入分类器进行分类，分别获取由卷积神经网络判断得出的人脸身份及属性标签信息，根据比较算法得到的标签信息与这张人脸影像具有的人脸身份及属性标签信息，计算获得这张人脸影像的特征值的损失值；

使用这张预设标准大小的人脸影像的特征值的损失值来反向调节所述卷积神经网络中的所有权重，完成对所述卷积神经网络的训练。

其中，在所述第八步中，所述归一化处理的公式如下所示：

其中μ为相似度得分均值，σ为得分方差。

由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种基于多任务卷积神经网络的人脸检索方法，其可以保证对人脸影像进行高质量识别的同时，快速、有效地对大量的人脸影像进行对应的用户身份识别判断，满足人们对人脸识别功能的要求，提高人脸识别的整体工作效率和工作质量，节约人们宝贵的时间，有利于提高人们的产品使用感受，具有重大的生产实践意义。

附图说明

图1为本发明提供的一种基于多任务卷积神经网络的人脸检索方法的流程图；

图2为本发明提供的一种基于多任务卷积神经网络的人脸检索方法中，所构建的多任务卷积神经网络中各个组成部分的一种实施例结构示意图；

图3为基于本发明提供的一种基于多任务卷积神经网络的人脸检索方法，在现有公开的世界人脸识别评测数据库LFW上进行人脸识别的识别准确率表图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。

图1为本发明提供的一种基于多任务卷积神经网络的人脸检索方法的流程图；

参见图1，本发明提供的一种基于多任务卷积神经网络的人脸检索方法，包括以下步骤：

第一步：对于需要进行人脸识别的任意一张人脸影像(包括人脸图像和视频)，检测获取其中的人脸位置，并根据所获取的人脸位置，检测获取人脸影像的关键点位置；

在本发明中，在第一步中，需要说明的是，可以应用现有的人脸检测算法来检测人脸影像中的人脸位置，并根据检测获得的人脸位置，获得人脸影像的关键点位置。

在本发明中，所述人脸影像的关键点为预先定义的关键点，例如可以为双眼、鼻尖、嘴轮廓和脸周轮廓等。

在本发明中，需要说明的是，现有的人脸检测算法可以为现有的人脸检测器，例如Viola等人提出的基于类Haar特征及AdaBoost的人脸检测器，或基于神经网络的物体检测器，如R-CNN或FCN。现有的人脸检测算法可以用于检测一张图像中是否有人脸存在。

在本发明中，需要说明的是，所述人脸位置是指人脸在图像中所处位置的信息，通常包括人脸左上角(或中心点)在图像中的像素坐标，以及人脸的长度和宽度。所述关键点位置是预设的一些人脸关键点的坐标值，通常这些关键点包括眼睛、脸部轮廓等对人脸特征上比较重要的部位。因此，人脸位置信息可以用来指示人脸在图像中的位置，关键点位置可以用来指示人脸的姿态、表情，使用这些信息对人脸图像进行校正，获取归一化的人脸图像，以便后期的人脸特征提取。

第二步：根据所述人脸影像的人脸位置和关键点位置，对所述人脸影像进行预处理操作；

在本发明中，所述第二步具体包括以下步骤：

预先定义一个标准人脸所具有的关键点位置和光照条件；

通过预设的图像变换算法将所述人脸影像的关键点位置对齐至标准人脸的关键点位置，以达到校正人脸姿态的目的；

通过预设的图像处理算法，对所述经过对齐处理后的人脸影像进行光线校正，使得所述经过对齐处理后的人脸影像的光照条件变换至所述标准人脸具有的光照条件(即通过光线校正，使得所述经过对齐处理后的人脸影像与标准人脸一致，例如可以使用伽玛gamma值来对图像像素值进行校正调整，使得处理后的图像具有合适的对比度，人脸细节清晰可见)。

在第二步中，具体实现上，预先定义一个标准人脸所具有的关键点位置和光照条件具体为：可以预先根据多个人脸影像的关键点位置信息和光照条件，通过求平均计算，获得所述标准人脸(即平均脸)具有的关键点位置和光照条件。

在第二步中，需要说明的是，姿态校正和光线校正的操作次数不限，并且先后顺序可以调整。

在本发明中，需要说明的是，所述光照条件即指人脸影像(包括人脸图像和视频)在拍摄时的光照环境，表现在图像或者视频中，即为图像的亮度(可简单理解为像素灰度值)。预设的标准人脸图像光照条件一般要确保人脸五官清晰可见，不会过亮或过暗。

在本发明中，具体实现上，所述预设的图像变换算法可以是相似变换、仿射变换等基本的图像变换方法，也可以是这些基本图像变换的组合。

在本发明中，所述“对齐”操作是指将具有姿态或者表情的人脸影像校正至标准人脸。标准人脸通常为正面、无表情的人脸图像。根据获取到人脸影像的关键点位置，通过对图像进行相似变化、仿射变换等操作，实现人脸影像的对齐，对齐后的人脸图像五官位置与标准人脸基本一致。

第三步：预先建立多任务卷积神经网络，所述多任务卷积神经网络包括依次对所输入人脸影像进行处理的输入层、预设多个卷积层、预设多个池化层、预设多个全连接层和输出层，参见图2，然后将预设标准大小的人脸影像输入到所述多任务卷积神经网络中，对所述多任务卷积神经网络进行训练，直到使得所述多任务卷积神经网络的模型收敛而完成训练；

在本发明中，如图2所示，具体实现上，所述多任务卷积神经网络包括多个卷积层(例如图2所示的卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和卷积层6)、多个池化层(例如图2所示的五个池化层)，以及多个全连接层，任意相邻的两个层之间，前一层的输出即为后一层的输入。其中，卷积层用于对输入数据(即所输入人脸影像)进行卷积操作，卷积滤波器实现了在图像各位置共享相同参数，降低了网络模型的参数量，通过卷积层可以得到输入人脸图像的特征响应图。池化层用于对输入数据(即所输入人脸影像)进行最大值的池化操作，有效减少的数据维度，同时增强所提取的特征的空间不变性。全连接层的输入与输出是全部一一连接的，可以提取更全局的信息，高维的特征通过全连接的方式可转化为紧凑的一维特征向量。

对于所述所述多任务卷积神经网络，其第一层为卷积层，它以预处理后的人脸影像为输入。所述多任务卷积神经网络的末端是多个全连接层，分别对应多个任务的损失函数。

在本发明中，需要说明的是，所述多任务卷积神经网络以预处理后的人脸影像作为输入，可以同时得到此人脸影像的人脸身份特征表达以及多种属性信息(即人脸身份及属性标签信息)。身份特征表达为一维特征向量，此特征向量的相似度可以衡量人脸的相似度。属性信息包括性别、年龄、民族等与身份信息相关的辅助属性信息。卷积神经网络的自动学习，解决了传统方法人工设计滤波器费时费力的弊端。多任务卷积神经网络可共享大部分的底层连接，有效地减少了网络参数，减少计算开销。同时，多个任务间信息互相补充，使得多任务卷积神经网络能自主学习到更为鲁棒且有效的信息。

需要说明的是，所述经过训练的多任务卷积神经网络的输出为所输入人脸影像对应的身份特征表达向量和多个属性特征表达向量(例如性别特征向量、年龄特征向量)。

还需要说明的是，对于多任务卷积神经网络，其通过多种任务共同监督进行神经网络的联合学习，从而可提高神经网络的准确性和鲁棒性。具体来说，所述多任务卷积神经网络将人脸影像的分类作为主要任务，性别估计、年龄估计、民族分类等作为辅助任务，多个任务信息互相补充，提高整体效果。

具体地，所述多任务卷积神经网络的优化目标为使各子任务的加权损失和最低。

在本发明中，在第三步中，所述将预设标准大小的人脸影像输入到所述多任务卷积神经网络中，对所述多任务卷积神经网络进行训练的步骤，包括以下子步骤：

将预设标准大小的人脸影像输入到预设的人脸身份分类损失函数、人脸性别分类损失函数和人脸年龄分类损失函数等多个预设的人脸属性特征分类损失函数中，然后计算所述预设标准大小的人脸影像对应的多个人脸属性特征的损失值；

使用所述预设标准大小的人脸影像对应的多个人脸属性特征的损失值一起，来反向调节所述多任务卷积神经网络中的所有权重(即多个预设的人脸属性特征分类损失函数中的权重，也就是每个子分类任务的权重)，使得所有权重的加权损失和最低。

在本发明中，具体实现上，在第三步中，所述将预设标准大小的人脸影像输入到所述多任务卷积神经网络中，对所述多任务卷积神经网络进行训练的步骤，具体可以包括以下子步骤：

将任意一张预设标准大小的人脸影像及其对应的人脸身份及属性标签信息输入到所述卷积神经网络的输入层，由所述卷积神经网络的卷积层和池化层来提取这张人脸影像的特征值，然后从输出层输出；

将这张预设标准大小的人脸影像的特征值送入分类器进行分类，分别获取由卷积神经网络判断得出的人脸身份及属性标签信息，根据比较算法得到的标签信息与这张人脸影像具有的人脸身份及属性标签信息，计算获得这张人脸影像的特征值的损失值；

使用这张预设标准大小的人脸影像的特征值的损失值来反向调节所述卷积神经网络中的所有权重，完成对所述卷积神经网络的训练。

在本发明中，具体实现上，人脸影像分类任务将人脸影像按个体身份不同划分为不同类别，该任务可使用以softmax损失函数为代表的一系列分类损失函数作为优化目标，即所述人脸身份分类损失函数可以为softmax损失函数。所述softmax损失函数的公式可以为如下所示：

其中，N是类别数目，x是输入的人脸影像，y^Identity∈R^N×1是表示人脸影像类别的类别向量，代表多任务卷积神经网络学到的人脸身份分类器第i个节点的输出。

在本发明中，具体实现上，人脸性别估计任务则将人脸影像按性别不同划分为两个类别，该任务可使用以hinge损失为代表的二分类损失函数作为优化目标，即所述人脸性别分类损失函数可以为hinge损失函数。所述hinge损失函数的公式可以为如下所示：

其中，y^Gender∈{-1,+1}是代表人脸影像性别的标签，是多任务卷积神经网络对输入的人脸影像性别的预测输出。

在本发明中，具体实现上，人脸年龄估计任务则是指根据人脸影像预测其年龄，这是一个回归任务。该任务可使用以平方损失为代表的一系列回归损失函数作为优化目标，即人脸年龄分类损失函数可以为平方损失函数。所述平方损失函数的公式可以为如下所示：

其中，y^Age是人脸影像的年龄真实值，是多任务卷积神经网络对输入的人脸影像年龄的预测输出。

需要说明的是，在本发明中，所述身份分类、性别分类、年龄估计任务并非所述多任务卷积神经网络的唯一任务组成形式，子任务还可替换为民族分类、发型识别等。多任务卷积神经网络的子任务也不限于三个，还可以是任意数目的多个组合。整个多任务卷积神经网络的优化目标是各子任务的加权和，如下所示：

L＝λ_IL_I+λ_GL_G+λ_AL_A+…；

其中，λ是子任务的损失权重。

还需要说明的是，各项子任务的权重λ取值并非定值，可根据输入人脸影像的属性值而定。以性别估计任务的权重λ_G为例，λ_G的大小与输入影像中个体年龄相关，婴幼儿的权重λ_G较成年人低。

第四步：将所述经过预处理操作的人脸影像，输入到所述完成训练的多任务卷积神经网络中，获得对应的输出(具体可以通过执行多任务卷积神经网络的前向计算获得)，该输出即为所述人脸影像对应的身份特征表达向量和多个属性特征表达向量；

第五步：预先建立人脸特征数据库，所述人脸特征数据库中预先存储多个已知用户身份的候选人脸影像及每个候选人脸影像对应的身份特征表达向量和多个属性特征表达向量(例如性别特征向量、年龄特征向量)；

在本发明中，需要说明的是，所述预先建立的人脸特征数据库为用户预先建立的人脸数据库，例如可以为世界人脸识别评测数据库LFW。

在本发明中，在第五步中，所述人脸特征数据库的构建过程具体为：将需要注册的人脸影像输入多任务卷积神经网络，执行前向计算，得到多任务卷积神经网络的输出存储在特征数据库即可。身份特征表达向量为一维浮点数向量，属性特诊表达向量的形式根据具体任务的不同略有区别。如性别分类、种族分类等分类任务，其特征向量为表征类别的整数值，而对于年龄估计回归任务，其特征向量则为指示年龄的浮点值。若在构建数据库时可以获取注册人员的年龄、性别等信息，则可直接这些真实信息构建注册人员的属性特征向量。

第六步：将所述人脸影像对应的身份特征表达向量与所述人脸特征数据库中预先存储的每个候选人脸影像具有的身份特征表达向量逐一进行对比并实时计算相似度，根据所获得的相似度，按照相似度从大到小的顺序对应排序，输出所述人脸特征数据库中预先存储的多个候选人脸影像，从而获得候选人脸影像列表；

在本发明中，具体实现上，身份特征表达向量的相似度是使用相似度分数值表现的。相似度分数的计算可有多种方法，如根据特征向量的余弦距离或负欧式距离计算。相似度得分越高，表明两张人脸影像之间越相似，越有可能是属于同一个人。

在本发明中，在第六步中，对于身份特征向量，相似度s的计算通常使用余弦距离或负欧式距离。

余弦距离分数的计算公式为：

其中，分别为两张人脸影像x₁和,x₂的D维身份特征向量。

负欧式距离分数的计算公式为：

其中，分别为两张人脸影像x₁和,x₂的D维身份特征向量。

第七步：将所述人脸影像对应的多个属性特征表达向量(通过第四步获得)，分别与所述候选人脸影像列表中每个候选人脸影像对应的多个属性特征表达向量逐一进行对比并实时计算相似度，获得所述人脸影像与每个候选人脸影像之间的多个相似度得分(即多个属性特征表达向量之间的相似度得分)；

在本发明中，需要说明的是，属性特征的相似度是使用相似度分数值表现的。相似度得分越高，表明两张人脸影像之间在某一属性上越相似，越有可能是属于同一个人。

需要说明的是，每张人脸影像有多个属性特征向量。各个属性向量分别计算相似度。

对于年龄估计特征向量，相似度s的计算使用负平方距离，计算公式如下所示：

其中，分别为两张人脸影像x₁和,x₂的年龄估计值(年龄估计特征向量)。

而对于民族或性别属性特征向量，相似度s直接根据是否属于同一类而定，计算公式如下所示：

其中，分别为两张人脸影像x₁和,x₂的某个属性类别估计值。

第八步：对所述人脸影像与每个候选人脸影像之间的多个相似度得分分别进行归一化处理后进行分数融合，获得所述人脸影像与每个候选人脸影像之间的融合相似度得分(也可以说是本发明申请定义的实际相似度得分)；

在本发明中，在第八步中，所述相似度s得分的归一化方法为对相似度得分进行标准化处理，所述标准化处理(即归一化处理)的公式如下所示：

其中μ为相似度得分均值，σ为得分方差，s_new为归一化处理后的相似度。

在本发明中，需要说明的是，统计大规模人脸影像之间的相似度得分，可计算出相似度得分的均值和方差。μ为相似度得分均值，σ为得分方差。

在本发明中，归一化处理的目的是为了确保每一个子任务(身份特征表达、年龄、性别等)的相似度得分具有基本一致的分布，避免某些任务的相似度得分过高或者过低，导致对判断是否相同人脸时起到的作用过大或者过小。

在本发明中，所述分数融合是通过综合多个任务得到的相似度得分，得到一个最终的相似度。每个人脸影像有多个特征向量，包括身份特征向量和属性特征向量。各个向量分别计算相似度。考虑到各种任务对于身份信息判断具有不同的有效性和可靠性，将各相似度按不同权重加和(如民族分类任务相比性别分类来说准确性更低，其可靠性就更低，权重则小)，融合得到最终的相似度。融合后的相似度也是一个数值。融合相似度的值越大，代表两张人脸来自于同一个人的可能性越高。

第九步：按照融合相似度得分的从大到下的顺序，对所述候选人脸影像列表中的多个候选人脸影像进行重新排序，重新排序后获得的候选人脸影像列表即为对所述人脸影像进行人脸识别检索的结果(一般来说，融合相似度最大的候选人脸影像对应的用户身份即为所述需要进行人脸识别的人脸影像的用户身份)。

需要说明的是，对于本发明，为了解决提高人脸识别算法的准确率，同时保证识别算法的快速高效，本发明提出了基于多任务卷积神经网络的人脸检索方法，其考虑到人脸影像数据库在构造的同时，通常会记录用户的性别、年龄、民族等属性信息，这些信息在人脸识别时可起到辅助识别的作用，因此，本发明通过人脸影像分类任务以及性别估计、年龄估计、民族分类等辅助任务共同监督神经网络的联合学习，可提高神经网络的准确性和鲁棒性。多个任务信息互相补充，提高识别/检索算法的整体效果。同时，由于多任务卷积神经网络特有的连接方式，多个任务之间共享大部分的神经网络连接，使得训练好的多任务卷积神经网络可以同时完成不同的任务，有效地减少了计算开销，提高了运算速度。

本发明针对人脸识别和人脸检索问题，提出的基于多任务卷积神经网络的人脸检索方法。相对于传统的人脸识别方法，该方法综合多项身份信息进行识别，同时公用网络的设置可以使得计算开销小，运算速度高。

实施例：为了详细说明本发明的具体实施方式及验证本发明的有效性，将本发明提出的方法应用于一个公开的人脸数据库——LFW人脸数据库。该数据库包括5749个人，共13233幅图像。

在实施例中，本发明采用LFW数据集的BLUFR协议来证明本发明的有效性。BLUFR测试协议规定了两种测试情景：10折交叉验证的人脸比对实验以及开集人脸识别实验。人脸比对实验中，平均每次验证包含4249个人的9708张人脸图像(人脸图像和视频统称为人脸影像)。开集人脸识别中，注册图像库中包含1000张不同人图像，检索数据库则包含4249人，其中仅有1000人的图像在注册库中有对应图像，剩余3249人的图像在注册库中并未出现过。

具体的步骤如下：

一、训练过程可以为：收集大量人脸图像作为训练数据，设计神经网络模型。特别地，本发明所使用多任务卷积神经网络模型包含五个卷积层、四个池化层，网络结构如图2所示。多任务卷积神经网络同时进行三个任务：人脸图像分类、人脸性别分类、年龄估计。三个任务所使用的损失函数分别为softmax损失、hinge损失和平方损失，损失权重分别为1、0.3、0.3。随着网络训练的进行，不断调整学习率，直至训练损失不再降低，从而得到最终的模型。

二、测试过程可以包括以下步骤：

步骤S1：首先对所有输入的人脸图像进行人脸检测与关键点检测，得到所有输入图像的人脸位置信息与关键点位置信息；

步骤S2：根据上一步获取的人脸位置信息和关键点信息对人脸图像进行姿态校正、光照平衡等预处理操作。具体地，对于LFW数据集，本发明使用旋转和尺度缩放将输入人脸图像校正至正面人脸；

步骤S3：将步骤S2得到的预处理后的人脸图像作为多任务卷积神经网络的输入，执行多任务卷积神经网络模型的前向计算，得到测试集中人脸图像的身份特征表达、性别特征表达以及预测年龄；

步骤S4：对于人脸比对场景，这一步骤省略。对于人脸检索场景，计算检索人脸图像与注册库中各图像人脸身份特征的余弦距离作为其相似度。根据相似度由大到小排序，取前50张的人脸图像构成候选列表；

步骤S5：对于人脸比对场景，计算图像对间的人脸身份相似度、性别相似度、年龄相似度。然后对所有的相似度得分进行加和融合，由大到小排序更新列表，最终得到的列表即为对所输入的人脸图像的检索结果。对于人脸检索场景，计算候选列表中的各图像与检索图像的性别相似度、年龄相似度。然后将其与步骤S4中计算得到的人脸身份相似度进行加和融合，由大到小排序更新列表，最终得到的列表即为检索结果。

图3展示了本发明的方法在人脸比对场景下误识率为0.1％时的正确通过率，以及在开集人脸识别场景下误识率为1％时的top1准确率。

本发明公开的基于多任务卷积神经网络的人脸检索方法。本发明针对人脸识别中，随着数据库容量增大，人脸误识别概率升高的问题，提出一种多任务的神经网络结构。结合人脸图像比对与属性分析任务，得到人脸图像更鲁棒的特征表示与属性特征，并综合多种信息进行人脸检索。本发明利用多任务学习机制，得到的模型可以同时完成不同的识别任务。具体方法包括：对输入的人脸图像进行预处理操作，校正人脸图像的角度与表情；使用多任务卷积神经网络提取已校正人脸影像(即人脸图像和视频)的特征与属性标签；根据检索图像的特征表达，计算其与数据库中注册图像的相似度，得到检索结果；根据检索图像与预先建立的人脸特征数据库中多个注册图像(即多个已知用户身份的候选人脸影像)间的相似度以及属性相似度，对检索结果进行重排序。

综上所述，与现有技术相比较，本发明提供了一种基于多任务卷积神经网络的人脸检索方法，其可以保证对人脸影像进行高质量识别的同时，快速、有效地对大量的人脸影像进行对应的用户身份识别判断，满足人们对人脸识别功能的要求，提高人脸识别的整体工作效率和工作质量，节约人们宝贵的时间，有利于提高人们的产品使用感受，具有重大的生产实践意义。

通过使用本发明提供的技术，可以使得人们工作和生活的便利性得到很大的提高，极大地提高了人们的生活水平。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于多任务卷积神经网络的人脸检索方法，其特征在于，包括以下步骤：

第一步：对于需要进行人脸识别的任意一张人脸影像，检测获取其中的人脸位置，并根据所获取的人脸位置，检测获取人脸影像的关键点位置；

第二步：根据所述人脸影像的人脸位置和关键点位置，对所述人脸影像进行预处理操作；

第三步：预先建立多任务卷积神经网络，然后将预设标准大小的人脸影像输入到所述多任务卷积神经网络中，对所述多任务卷积神经网络进行训练，直到使得所述多任务卷积神经网络的模型收敛而完成训练；

第四步：将所述经过预处理操作的人脸影像，输入到所述完成训练的多任务卷积神经网络中，获得所述人脸影像对应的身份特征表达向量和多个属性特征表达向量；

第五步：预先建立人脸特征数据库，所述人脸特征数据库中预先存储多个已知用户身份的候选人脸影像及每个候选人脸影像对应的身份特征表达向量和多个属性特征表达向量；

第六步：将所述人脸影像对应的身份特征表达向量与所述人脸特征数据库中预先存储的每个候选人脸影像具有的身份特征表达向量逐一进行对比并实时计算相似度，根据所获得的相似度，按照相似度从大到下的顺序对应排序，输出所述人脸特征数据库中预先存储的多个候选人脸影像，从而获得候选人脸影像列表；

第七步：将所述人脸影像对应的多个属性特征表达向量，分别与所述候选人脸影像列表中每个候选人脸影像对应的多个属性特征表达向量逐一进行对比并实时计算相似度，获得所述人脸影像与每个候选人脸影像之间的多个相似度得分；

第八步：对所述人脸影像与每个候选人脸影像之间的多个相似度得分分别进行归一化处理后进行分数融合，获得所述人脸影像与每个候选人脸影像之间的融合相似度得分；

第九步：按照融合相似度得分的从大到下的顺序，对所述候选人脸影像列表中的多个候选人脸影像进行重新排序，重新排序后获得的候选人脸影像列表即为对所述人脸影像进行人脸识别检索的结果。

2.如权利要求1所述的方法，其特征在于，所述第二步具体包括以下步骤：

预先定义一个标准人脸所具有的关键点位置和光照条件；

通过预设的图像变换算法将所述人脸影像的关键点位置对齐至标准人脸的关键点位置；

通过预设的图像处理算法，对所述经过对齐处理后的人脸影像进行光线校正，使得所述经过对齐处理后的人脸影像的光照条件变换至所述标准人脸具有的光照条件。

3.如权利要求2所述的方法，其特征在于，预先定义一个标准人脸所具有的关键点位置和光照条件具体为：

预先根据多个人脸影像的关键点位置信息和光照条件，通过求平均计算，获得所述标准人脸具有的关键点位置和光照条件。

4.如权利要求1所述的方法，其特征在于，所述多任务卷积神经网络包括依次对所输入人脸影像进行处理的输入层、预设多个卷积层、预设多个池化层、预设多个全连接层和输出层。

5.如权利要求1所述的方法，其特征在于，在第三步中，所述将预设标准大小的人脸影像输入到所述多任务卷积神经网络中，对所述多任务卷积神经网络进行训练的步骤，包括以下子步骤：

将预设标准大小的人脸影像输入到多个预设的人脸属性特征分类损失函数中，然后计算所述预设标准大小的人脸影像对应的多个人脸属性特征的损失值；

使用所述预设标准大小的人脸影像对应的多个人脸属性特征的损失值一起，来反向调节所述多任务卷积神经网络中的所有权重，使得所有权重的加权损失和最低。

6.如权利要求5所述的方法，其特征在于，所述多个预设的人脸属性特征分类损失函数包括预设的人脸身份分类损失函数、人脸性别分类损失函数和人脸年龄分类损失函数；

其中，所述人脸身份分类损失函数为softmax损失函数，所述人脸性别分类损失函数为hinge损失函数，所述人脸年龄分类损失函数为平方损失函数。

7.如权利要求6所述的方法，其特征在于，所述softmax损失函数的公式如下所示：

其中，N是类别数目，x是输入的人脸影像，y^Identity∈R^N×1是表示人脸影像类别的类别向量，代表多任务卷积神经网络学到的人脸身份分类器第i个节点的输出；

所述hinge损失函数的公式如下所示：

其中，y^Gender∈{-1,+1}是代表人脸影像性别的标签，是多任务卷积神经网络对输入的人脸影像性别的预测输出；

所述平方损失函数的公式如下所示：

其中，y^Age是人脸影像的年龄真实值，是多任务卷积神经网络对输入的人脸影像年龄的预测输出。

8.如权利要求1所述的方法，其特征在于，在所述第三步中，对所述卷积神经网络进行训练的步骤具体为：

将任意一张预设标准大小的人脸影像及其对应的人脸身份及属性标签信息输入到所述卷积神经网络的输入层，由所述卷积神经网络的卷积层和池化层来提取这张人脸影像的特征值，然后从输出层输出；

将这张预设标准大小的人脸影像的特征值送入分类器进行分类，分别获取由卷积神经网络判断得出的人脸身份及属性标签信息，根据比较算法得到的标签信息与这张人脸影像具有的人脸身份及属性标签信息，计算获得这张人脸影像的特征值的损失值；

使用这张预设标准大小的人脸影像的特征值的损失值来反向调节所述卷积神经网络中的所有权重，完成对所述卷积神经网络的训练。

9.如权利要求1至7中任一项所述的方法，其特征在于，在所述第八步中，所述归一化处理的公式如下所示：

$s_{new}=\frac{s-\mathrm{\μ}}{\mathrm{\σ}};$

其中μ为相似度得分均值，σ为得分方差。