CN106529402A - 基于多任务学习的卷积神经网络的人脸属性分析方法 - Google Patents

Abstract

本发明公布了一种基于多任务学习的卷积神经网络(CNN)的人脸属性分析方法。该方法主要是以卷积神经网络为基础，采用多任务学习的方法对人脸图像同时进行年龄估算、性别识别和种族分类。在传统的处理方法中，人脸多属性分析时，需要分多次计算，既消耗时间，又降低了模型的泛化能力。本发明通过对三个单任务网络分别进行训练，然后选用收敛最慢网络的权值初始化多任务网络的共享部分，随机初始化多任务网络的独立部分；接下来对多任务网络进行训练，得到多任务CNN网络模型；最后，就可以利用训练好的多任务CNN网络模型对输入的人脸图像同时进行年龄、性别和种族三个属性的分析，既节约了时间又获得了较高的准确度。

Description

基于多任务学习的卷积神经网络的人脸属性分析方法

技术领域

本发明涉及图像识别领域，具体涉及一种基于多任务学习的卷积神经网络的人脸属性分析方法。

背景技术

传统的人脸图像分析技术往往只针对单个任务，如年龄估算、性别识别、种族分类等，针对人脸多属性分析时，需要分多次计算，非常消耗时间，很难达到实际需求。此外，单任务的人脸图像分析技术忽视了各个信息之间的联系，不能充分利用人脸图像中所蕴含的信息。人脸的面部特征在不同性别、不同种族之间是不一样的，如男女之间、黑白人种之间皮肤细腻程度、肤色、皮肤光亮程度等存在差异，并且皮肤的光亮程度、色泽、皱纹纹理等会随着年龄增长而发生相应的变化，其变化速度也随性别、种族而异。由此可见，各个人脸信息之间是紧密联系的，将各个任务进行独立学习在一定程度上会丢失很多有用的信息，从而降低模型的泛化能力。

发明内容

为了解决现有技术中的上述问题，本发明提出一种基于多任务学习的卷积神经网络的人脸属性分析方法，提高了人脸多属性分析时的计算速度和模型的泛化能力。

本发明提出的基于多任务学习的卷积神经网络的人脸属性分析方法，包括单任务模型分析、多任务模型训练和人脸属性判断三部分；

单任务模型分析：

步骤A1，将各年龄人脸图像的原始样本进行人脸关键点检测，并进行人脸对齐后按照预设尺寸裁剪生成包含人脸图像的新样本；

步骤A2，利用步骤A1生成的新样本，分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络，比较各网络的收敛速度，获取收敛速度最慢的一个单任务卷积神经网络的权值；

多任务模型训练：

步骤B1，构建多任务卷积神经网络，该网络共有三个任务输出，分别对应年龄估算、性别识别和种族分类，三个任务都采用softmax损失函数作为目标函数；所述多任务卷积神经网络包括用于多任务学习中数据共享和信息交换的共享部分、以及用于计算上述三个任务输出的独立部分；利用步骤A2获取的单任务卷积神经网络的权值初始化多任务卷积神经网络的共享部分，形成初始化后的多任务卷积神经网络；

步骤B2，利用步骤A1中生成的新样本，训练多任务卷积神经网络，得到训练好的多任务卷积神经网络模型；

人脸属性判断：

步骤C1，对所输入图片进行人脸检测，判断是否包含人脸图像，如包含则对输入图像进行人脸关键点检测，并进行人脸对齐，然后按照预设尺寸裁剪生成包含人脸图像的新图片；

步骤C2，将步骤C1所得新图片，输入到步骤B2得到的多任务卷积神经网络模型，进行年龄估算、性别识别和种族分类。

优选的，步骤A1具体包括以下内容：

步骤A11，选取各年龄人脸图像作为原始样本；

步骤A12，对所选取的原始样本进行人脸关键点检测，得到两个关键点；

步骤A13，按照两个关键点的位置及其连线对原始样本进行人脸图像的对齐，所述人脸图像的对齐包括对原始样本的旋转、缩放、平移；

步骤A14，将步骤A13中对齐后的样本按照预设尺寸裁剪生成包含人脸图像的新样本。

优选的，步骤A2中在分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络时，学习率、学习策略等条件完全一致。

优选的，步骤B1中多任务卷积神经网络的共享部分为多任务网络的底层部分，包括数据输入以及卷积层和池化层。

优选的，步骤B1中多任务卷积神经网络的独立部分为：年龄估算、性别识别、种族分类三个任务独立的网络结构，每个独立网络结构拥有独立的卷积层、pooling层和全连接层。

优选的，多任务卷积神经网络总损失函数为：

l_multi-task＝α·l_age+β·l_gender+γ·l_race

其中l_multi-task为多任务网络的总损失，α、β、γ分别为预设的三个任务的权重系数，l_age、l_gender、l_race分别为多任务卷积神经网络中的年龄估算损失、性别识别损失、种族分类损失。

优选的，步骤B2中训练多任务卷积神经网络的方法为：

步骤B21，从步骤A1生成的新样本中随机抽取m张图像，输入到在步骤B1中构建并已初始化的多任务卷积神经网络，进行多任务同步训练；

步骤B22，多任务卷积神经网络前向传递，分别计算年龄估算损失l_age、性别识别损失l_gender和种族分类损失l_race；

步骤B23，计算多任务卷积神经网络的总损失l_multi-task；

步骤B24：判断网络训练是否收敛，若收敛则停止训练并得到多任务卷积神经网络模型，否则执行步骤B25；

步骤B25：采用反向传播算法计算网络各参数梯度，采用随机梯度下降法更新网络参数权值；返回步骤B21。

优选的，步骤C1具体包括以下内容：

步骤C11，对所输入的图片检测其是否包含人脸，若不包含人脸则放弃该张图片，否则进入步骤C12；

步骤C12，对所输入的图片进行人脸关键点检测，得到两个关键点；

步骤C13，按照上述关键点的位置及其连线对原始图片进行人脸图像的对齐，所述人脸图像的对齐包括对原始图片的旋转、缩放、平移；

步骤C14，将步骤C13中对齐后的图片按照预设尺寸裁剪生成包含人脸图像的新图片。

优选的，步骤C2具体包括以下内容：

步骤C21，将步骤C1得到的新图片输入到已经训练好的多任务卷积神经网络，进行人脸多属性分析；

步骤C22，得到年龄概率p1(i)，最终年龄估算结果为各年龄的数学期望值，其中输出结点个数为k+1个，i为输出节点序号，a(i)为输出节点i对应的年龄数值；

步骤C23，得到性别类别概率p2(i)，最终性别识别结果为概率最大的性别，gender_pre＝argmax_ip2(i)，其中i为性别类别序号；

步骤C24，得到种族类别概率p3(i)，最终种族分类结果为概率最大的种族，race_pre＝argmax_ip3(i)，其中i为种族类别序号。

优选的，步骤A12和步骤C12所述的两个关键点为两眼中心点和上嘴唇中心点。

本发明通过单任务模型分析、多任务模型训练，然后利用训练好的多任务学习的卷积神经网络对人脸多种属性(年龄、性别、种族)进行判断，提高了人脸多属性分析时的计算速度和模型的泛化能力。

附图说明

图1为本实施例的步骤A1流程示意图；

图2为本实施例的步骤A2流程示意图；

图3为本实施例的多任务卷积神经网络框架示意图；

图4为本实施例的步骤B2流程示意图；

图5为本实施例的步骤C1流程示意图；

图6为本实施例的步骤C2流程示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明基于多任务学习的卷积神经网络的人脸属性分析方法，先进行单任务训练，找出收敛最慢的网络；再将训练好的收敛最慢的网络模型的权值赋给多任务卷积神经网络的共享部分，再进行多任务同步训练；这一步赋权值的工作会使多任务训练变得容易，可以很大程度上减小多任务网络针对收敛最慢任务的训练难度，使各个任务的收敛步调基本一致。

本发明包括单任务模型分析、多任务模型训练和人脸属性判断三部分；

单任务模型分析：

步骤A1，将各年龄人脸图像的原始样本进行人脸关键点检测，并进行人脸对齐后按照预设尺寸裁剪生成包含人脸图像的新样本；

步骤A2，利用步骤A1生成的新样本，分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络，比较各网络的收敛速度，获取收敛速度最慢的一个单任务卷积神经网络的权值；

多任务模型训练：

步骤B1，构建多任务卷积神经网络，该网络共有三个任务输出，分别对应年龄估算、性别识别和种族分类，三个任务都采用softmax损失函数作为目标函数；所述多任务卷积神经网络包括用于多任务学习中数据共享和信息交换的共享部分、以及用于计算上述三个任务输出的独立部分；利用步骤A2获取的单任务卷积神经网络的权值初始化多任务卷积神经网络的共享部分，形成初始化后的多任务卷积神经网络；

步骤B2，利用步骤A1中生成的新样本，训练多任务卷积神经网络，得到训练好的多任务卷积神经网络模型；

人脸属性判断：

步骤C1，对所输入图片进行人脸检测，判断是否包含人脸图像，如包含则对输入图像进行人脸关键点检测，并进行人脸对齐，然后按照预设尺寸裁剪生成包含人脸图像的新图片；

步骤C2，将步骤C1所得新图片，输入到步骤B2得到的多任务卷积神经网络模型，进行年龄估算、性别识别和种族分类。

如图1所示，本实施例中步骤A1具体包括以下内容：

步骤A11，选取各年龄人脸图像作为原始样本；

步骤A12，对所选取的原始样本进行人脸关键点检测，得到两个关键点；

步骤A13，按照两个关键点的位置及其连线对原始样本进行人脸图像的对齐，所述人脸图像的对齐包括对原始样本的旋转、缩放、平移；

步骤A14，将步骤A13中对齐后的样本按照预设尺寸裁剪生成包含人脸图像的新样本。

如图2所示，本实施例中步骤A2分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络时，学习率、学习策略等条件完全一致。本实施例中得出三个任务的收敛速度最慢的为年龄估算任务，性别识别任务和种族分类任务收敛速度大致相同，所以获取收敛最慢的年龄估算任务网络模型的权值。

如图3所示为本实施例多任务卷积神经网络框架图。

本实施例中，步骤B1中多任务卷积神经网络的共享部分为多任务网络的底层部分，包括数据输入以及卷积层和池化层；共享部分实现多任务学习中数据共享、信息交换；三个任务信息共享，有助于提高模型的泛化能力。如图3所示，本实施例的共享层包括输入、卷积层1、池化层1、卷积层2、池化层2、卷积层3、卷积层4。

本实施例中，步骤B1中多任务卷积神经网络的独立部分为：年龄估算、性别识别、种族分类三个任务独立的网络结构，每个独立网络结构拥有独立的卷积层、pooling层(池化层)和全连接层，用于训练出更加专一的特征。如图3所示，本实施例的独立部分为三个分支，分别用于年龄估算、性别识别、种族分类的计算和输出，对应的年龄估算分支包括年龄卷积层5、年龄池化层5、年龄全连接层6，性别估算分支包括性别卷积层5、性别池化层5、性别全连接层6，种族估算分支包括种族卷积层5、种族池化层5、种族全连接层6。

本实施例中，单任务网络结构也可以看做是多任务网络的一部分，只是把其它任务的独立部分去掉了，例如单任务年龄网络的结构是将多任务网络中性别和种族两个任务的独立部分去掉。

本实施例中，多任务卷积神经网络总损失函数如公式(1)所示：

l_multi-task＝α·l_age+β·l_gender+γ·l_race (1)

其中l_multi-task为多任务网络的总损失，α、β、γ分别为预设的三个任务的权重系数，l_age、l_gender、l_race分别为多任务卷积神经网络中的年龄估算损失、性别识别损失、种族分类损失。

本实施例中，步骤B2中训练多任务卷积神经网络的方法如图4所示，包括：

步骤B21，从步骤A1生成的新样本中随机抽取m张图像，输入到在步骤B1中构建并已初始化的多任务卷积神经网络，进行多任务同步训练；

步骤B22，多任务卷积神经网络前向传递，分别计算年龄估算损失l_age、性别识别损失l_gender和种族分类损失l_race；

步骤B23，计算多任务卷积神经网络的总损失l_multi-task；

步骤B24：判断网络训练是否收敛，若收敛则停止训练并得到多任务卷积神经网络模型，否则执行步骤B25；

步骤B25：采用反向传播算法计算网络各参数梯度，采用随机梯度下降法(Stochastic Gradient Descent,SGD)更新网络参数权值；返回步骤B21。

本实施例中，步骤C1具体如图5所示，包括：

步骤C11，对所输入的图片检测其是否包含人脸，若不包含人脸则放弃该张图片，否则进入步骤C12；

步骤C12，对所输入的图片进行人脸关键点检测，得到两个关键点；

步骤C13，按照上述关键点的位置及其连线对原始图片进行人脸图像的对齐，所述人脸图像的对齐包括对原始图片的旋转、缩放、平移；

步骤C14，将步骤C13中对齐后的图片按照预设尺寸裁剪生成包含人脸图像的新图片。

本实施例中，步骤C2具体如图6所示，包括：

步骤C21，将步骤C1得到的新图片输入到已经训练好的多任务卷积神经网络，前向传递，进行人脸多属性分析；

步骤C22，得到年龄概率p1(i)，最终年龄估算结果为各年龄的数学期望值，其中输出结点个数为k+1个，i为输出节点序号，a(i)为输出节点i对应的年龄数值；

步骤C23，得到性别类别概率p2(i)，最终性别识别结果为概率最大的性别，gender_pre＝argmax_ip2(i)，其中i为性别类别序号；

步骤C24，得到种族类别概率p3(i)，最终种族分类结果为概率最大的种族，race_pre＝argmax_ip3(i)，其中i为种族类别序号。

本实施例中，步骤A12和步骤C12所述的两个关键点为两眼中心点和上嘴唇中心点，步骤A14或C14所述的预设尺寸的分辨率为224*224。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于多任务学习的卷积神经网络的人脸属性分析方法，其特征在于，包括单任务模型分析、多任务模型训练和人脸属性判断三部分；

单任务模型分析：

步骤A1，将各年龄人脸图像的原始样本进行人脸关键点检测，并进行人脸对齐后按照预设尺寸裁剪生成包含人脸图像的新样本；

步骤A2，利用步骤A1生成的新样本，分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络，比较各网络的收敛速度，获取收敛速度最慢的一个单任务卷积神经网络的权值；

多任务模型训练：

步骤B1，构建多任务卷积神经网络，该网络共有三个任务输出，分别对应年龄估算、性别识别和种族分类，三个任务都采用softmax损失函数作为目标函数；所述多任务卷积神经网络包括用于多任务学习中数据共享和信息交换的共享部分、以及用于计算上述三个任务输出的独立部分；利用步骤A2获取的单任务卷积神经网络的权值初始化多任务卷积神经网络的共享部分，形成初始化后的多任务卷积神经网络；

步骤B2，利用步骤A1中生成的新样本，训练多任务卷积神经网络，得到训练好的多任务卷积神经网络模型；

人脸属性判断：

步骤C1，对所输入图片进行人脸检测，判断是否包含人脸图像，如包含则对输入图像进行人脸关键点检测，并进行人脸对齐，然后按照预设尺寸裁剪生成包含人脸图像的新图片；

步骤C2，将步骤C1所得新图片，输入到步骤B2得到的多任务卷积神经网络模型，进行年龄估算、性别识别和种族分类。

2.根据权利要求1所述的方法，其特征在于，步骤A1具体包括以下内容：

步骤A11，选取各年龄人脸图像作为原始样本；

步骤A12，对所选取的原始样本进行人脸关键点检测，得到两个关键点；

步骤A13，按照两个关键点的位置及其连线对原始样本进行人脸图像的对齐，所述人脸图像的对齐包括对原始样本的旋转、缩放、平移；

步骤A14，将步骤A13中对齐后的样本按照预设尺寸裁剪生成包含人脸图像的新样本。

3.根据权利要求1所述的方法，其特征在于，步骤A2中在分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络时，学习率、学习策略等条件完全一致。

4.根据权利要求1所述的方法，其特征在于，步骤B1中多任务卷积神经网络的共享部分为多任务网络的底层部分，包括数据输入、卷积层和池化层。

5.根据权利要求4所述的方法，其特征在于，步骤B1中多任务卷积神经网络的独立部分为：年龄估算、性别识别、种族分类三个任务独立的网络结构，每个独立网络结构拥有独立的卷积层、pooling层和全连接层。

6.根据权利要求5所述的方法，其特征在于，多任务卷积神经网络总损失函数为：

l_multi-task＝α·l_age+β·l_gender+γ·l_race

其中l_multi-task为多任务网络的总损失，α、β、γ分别为预设的三个任务的权重系数，l_age、l_gender、l_race分别为多任务卷积神经网络中的年龄估算损失、性别识别损失、种族分类损失。

7.根据权利要求6所述的方法，其特征在于，步骤B2中训练多任务卷积神经网络的方法为：

步骤B21，从步骤A1生成的新样本中随机抽取m张图像，输入到在步骤B1中构建并已初始化的多任务卷积神经网络，进行多任务同步训练；

步骤B22，多任务卷积神经网络前向传递，分别计算年龄估算损失l_age、性别识别损失l_gender和种族分类损失l_race；

步骤B23，计算多任务卷积神经网络的总损失l_multi-task；

步骤B24：判断网络训练是否收敛，若收敛则停止训练并得到多任务卷积神经网络模型，否则执行步骤B25；

步骤B25：采用反向传播算法计算网络各参数梯度，采用随机梯度下降法更新网络参数权值；返回步骤B21。

8.根据权利要求1所述的方法，其特征在于，步骤C1具体包括以下内容：

步骤C11，对所输入的图片检测其是否包含人脸，若不包含人脸则放弃该张图片，否则进入步骤C12；

步骤C12，对所输入的图片进行人脸关键点检测，得到两个关键点；

步骤C13，按照上述关键点的位置及其连线对原始图片进行人脸图像的对齐，所述人脸图像的对齐包括对原始图片的旋转、缩放、平移；

步骤C14，将步骤C13中对齐后的图片按照预设尺寸裁剪生成包含人脸图像的新图片。

9.根据权利要求1所述的方法，其特征在于，步骤C2具体包括以下内容：

步骤C21，将步骤C1得到的新图片输入到已经训练好的多任务卷积神经网络，进行人脸多属性分析；

步骤C22，得到年龄概率p1(i)，最终年龄估算结果为各年龄的数学期望值，其中输出结点个数为k+1个，i为输出节点序号，a(i)为输出节点i对应的年龄数值；

步骤C23，得到性别类别概率p2(i)，最终性别识别结果为概率最大的性别，gender_pre＝argmax_ip2(i)，其中i为性别类别序号；

步骤C24，得到种族类别概率p3(i)，最终种族分类结果为概率最大的种族，race_pre＝argmax_ip3(i)，其中i为种族类别序号。

10.根据权利要求2或8所述的方法，其特征在于，所述的两个关键点为两眼中心点和上嘴唇中心点。