CN109033938A - 一种基于可区分性特征融合的人脸识别方法 - Google Patents

Abstract

本申请公开了一种基于可区分性特征融合的人脸识别方法，包括：A、在每个训练样本图像中截取一个全局图像和至少两个局部图像；B、对所截取的每个图像分别采用多元损失(multi‑loss)函数进行模型训练得到对应的模型；其中，所述multi‑loss函数为角度空间分类损失(a‑softmax loss)函数和中心损失(center loss)函数结合得到的；C、利用三元损失triplet loss函数对训练得到的各个模型进行融合和降维，并得到所述训练样本图像的最终深度特征。应用本申请公开的技术方案，能够解决利用CNN进行人脸识别过程中的数据、人脸姿态和模型融合的问题，达到较好的人脸识别效果。

Description

一种基于可区分性特征融合的人脸识别方法

技术领域

本申请涉及人脸识别技术领域，特别涉及一种基于可区分性特征融合的人脸识别方法。

背景技术

现有的通过深度学习方法进行的人脸识别已经取得了一系列的巨大突破。下面简要介绍几种现有技术：

一种现有方法是将人脸图像对之间的差异映射为距离，其训练准则是同一个类别的图像对之间相似度距离要小，而不同类别的图像对之间的相似度距离要大。

另一种现有方法是通过一个非线性变换，使得相同图像对和不同图像对之间的距离中间有一个可区分的边界，这种方法需要输入图像对作为输入。

又一种现有方法中，提出角度空间分类损失函数(angular-softmax loss，简写为a-softmax loss)，将softmax loss做了改进，假设softmax loss中的权重向量为单位向量，偏差设为零，将距离问题转化为夹角问题，又进一步在夹角中增加边界，使得分类界限更大，从而达到更大地区分各个类的目的。

再一种现有方法中，将识别和验证监督信号相结合，来学习到更多的可区分性特征。三元损失(triplet loss)的有效性也在一种方法中被论证。通过深度学习，正样本和参照样本之间的距离被最小化，负样本和参照样本之间的距离最大化。这种方法在LFW(Labeled Faces in the Wild，通用场景人脸识别数据库)和YTF(YouTube faces)数据集上达到很好的效果。

还有一种方法中，提出了中心损失(center loss)的概念，为每个类计算一个中心，通过控制每个类的图像到类别中心的距离来使类内的图像聚集，从而达到可区分性的目的，再结合softmax loss，使得学习到的深度特征同时满足可分离性和可区分性。

本申请的发明人通过对现有技术的分析，认为：现有的大多数人脸识别方法都是利用softmax loss来直接对人脸识别问题进行分类。在这种情况下，类别的判断，也就是最后一个全连接层的作用更像是一个线性分类器，将用于描述物体的深度特征映射成可分离的特征向量。由于在人脸识别问题中，训练集中无法包含测试集中的所有类别，这就要求训练阶段学习到的深度特征能够最大限度地做到可区分性，即：不仅需要不同类别间的特征尽量分离，还需要每一个类别的特征尽量集中。这就需要构建更高效的损失函数用于学习可区分的特征。因为随机梯度下降(stochastic gradient descent,简称SGD)是基于小的数据单元(mini-batch)来做的，因此不能很好地反应深度特征的全局分布。此外，由于训练数据非常庞大，在一次迭代中输入所有的训练样本是不现实的，作为一个可选的方案，相对损失(contrastive loss)和triplet loss分别实现了描述图像对或者图像三元组的损失函数，然而，相对于图像样本来说，训练图像对或者三元组的数量会增加较多，因此，不可避免地会带来收敛慢和不稳定的问题。通过仔细挑选图像对和三元组，这个问题能够被部分解决，但是这样又极大地增加了计算的复杂度，同时，训练过程也极为不便利。

此外，在户外人脸识别中，人脸由于光照、姿态、配饰(例如：是否戴帽子、戴眼镜)等的影响，单从图片上来看，同一人的差异有可能大于不同人的差异，尤其是姿态对人脸的影响非常大。单纯一个模型训练的方式很难适应这种大姿态变化的场景。

现有的多模型融合的方式，将多个模型的深度特征直接连接起来作为图像的最终特征，不仅特征维度较高，而且特征之间有冗余等问题，反而影响了分类效果。有些方法将特征连接起来之后又做了PCA(主成分分析，Principal Component Analysis)处理，这类方法有一定的效果，但是实施起来较为麻烦，且做了PCA处理的特征可能又面临可区分性差的问题。

现有的人脸识别方法在进行最后的类别判断时，为了达到结果的稳定性，会结合原始图像和对称图像进行，有些方法是将两张图像的特征进行直接连接，有些方法是将特征求平均，这些方法都能取得一定的效果提升，但是，类别判断的准确率仍有待提升。

发明内容

本申请提供了一种基于可区分性特征融合的人脸识别方法，以实现人脸特征的可分离性和可区分性，并达到较好的人脸识别效果。

本申请公开了一种基于可区分性特征融合的人脸识别方法，包括：

A、在每个训练样本图像中截取一个全局图像和至少两个局部图像；

B、对所截取的每个图像分别采用多元损失multi-loss函数进行模型训练得到对应的模型；其中，所述multi-loss函数为角度空间分类损失angular-softmax loss函数和中心损失center loss函数结合得到的；

C、利用三元损失triplet loss函数对训练得到的各个模型进行融合和降维，并得到所述训练样本图像的最终深度特征。

较佳的，所述multi-loss函数为：

L＝L_s+γL_c

其中：L表示multi-loss函数；

L_s表示a-softmax loss函数；

L_c表示center loss函数；

γ为权重系数。

较佳的，

其中：x_i∈R^d表示第i个深度特征，d表示深度特征的维度；

y_i表示第i个深度特征所属的类别；

W_j∈R^d是最后一个全连接层的权重矩阵W∈R^d×n的第j列，W是二维矩阵，一个维度是d，另一个维度是n，n是分类的类别数；

b∈Rⁿ是偏差项；

m是分类的样本数；

θ_ij为特征向量x_i和权重矩阵第j列W_j向量的夹角。

较佳的，

x_i∈R^d表示第i个深度特征，d表示深度特征的维度；

y_i表示第i个深度特征所属的类别；

m是mini-batch的样本数；

是第y_i个类别的中心。

较佳的，所述Lc基于x_i的梯度和的更新方法如下：

其中：如果满足δ( )的括号内的条件，δ( )＝1，否则δ( )＝0。

较佳的，所述B中的进行模型训练包括对所截取的每个图像分别进行如下循环操作：

初始化卷积层参数θ_c，损失层参数W和{c_j|j＝1,2,…n}，初始化α，γ和学习率μ，将迭代次数t置为0；

使用multi-loss函数对输入的训练数据{x_i}进行模型训练后，得到模型参数θ_c；

如果训练没有收敛，则：

t←t+1

计算联合损失

对每一个训练样本，计算回传错误率

更新参数W：

更新参数c_j：

更新参数θ_c：

直至收敛，结束循环。

较佳的，所述C包括：

从所述训练得到的各个模型中提取每个训练样本图像的深度特征，并将所提取的深度特征连接起来，作为triplet loss函数的输入，经triplet loss函数进行融合和降维后，得到所述训练样本图像的最终深度特征。

较佳的，该方法还包括：

对所述训练样本图像进行左右对称操作得到其对称图像；

对训练样本图像及其对应的对称图像分别按照B和C提取最终深度特征；

对于每一维特征，比较原始的训练样本图像和对称图像对应的特征值大小，并选择特征值较大的作为最终的特征中的该维特征，通过对每一维特征进行比较，得到最终的特征向量，然后用最终的特征向量对不同的图片计算距离，判断两张图像是否为同一人。

较佳的，在所述A之前还包括：对所述训练样本图像进行精准定位，使得训练样本图像的固定位置存放人脸的固定关键点信息；

所述A包括：在每个训练样本图像中，根据关键点位置截取所述全局图像和局部图像。

较佳的，该方法还包括：

采用扰动方法对训练样本图像增加扰动，所述扰动方法包括但不限于：图像随机对称、光照、颜色。

本申请解决了人脸识别中的特征可区分性的问题，提出一种新的损失函数，多元损失函数(multi-loss)，同时达到了特征的可分离性和可区分性。本申请在a-softmaxloss函数和center loss函数双重监督下进行CNN训练，通过设定一个权重来达到两种损失之间的平衡。直观上来说，a-softmax loss使得不同类别的深度特征尽量分离开，而centerloss使得同一类别的特征尽量聚集在类别中心周围。通过两种损失函数的共同监督，使得类间差异增大，同时，类内变化降低。因此，深度特征的可区分性极大地增强。通过centerloss和a-softmax loss的共同监督，学习到的特征具有很高的可区分性，从而能够进行稳定的人脸识别。

同时，本申请利用多个模型，即全脸模型和局部模型相结合，能够学习到每个类别全局和局部的由粗到细的各级特征，对每个类别进行更精细的描述，进一步提高类别可区分性的特性。对于多个模型带来的特征维度增高的问题，本申请采用triplet loss来对特征进行降维，同时对多个模型的特征进行进一步的可区分性的映射，从而达到更好的区分效果。

本发明优于其他现有方法的原因在于：1)在训练每一个模型时，利用multi-loss，将a-softmax loss和center loss相结合，使得学习到的特征达到可分离和可区分，同时训练方便；2)利用多个模型来使得人脸识别算法在姿态变化时具有更强的鲁棒性；3)多个模型的特征利用triplet loss进行降维和进一步的映射，达到更好的可区分性。

附图说明

图1为现有常规的CNN训练过程示意图；

图2为本申请人脸识别方法的处理流程示意图；

图3为本申请多尺度CNN模型训练的流程示意图；

图4为本申请利用triplet loss进行多尺度特征融合的示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。

目前，卷积神经网络(CNN：Convolutional Neural Network)已经被广泛地应用于视觉领域，极大地提升了分类问题的性能，包括物体检测、场景识别和动作识别等。CNN主要是基于大量的数据和端到端的学习框架，利用大量的数据，通过特征学习和预测分类，将原始数据信息映射到深度特征。然而，在人脸识别问题上，由于缺少包含大量人脸的公开数据集，这就在很大程度上局限了CNN网络性能的发挥。

在常规的物体分类问题中，例如场景或者动作识别，待识别物体的类别是包含在训练数据中的，也就是说，是一个闭集合的识别问题；而对于人脸识别问题而言，我们无法预先收集到所有人的人脸信息，因此，人脸识别是一个开集合的识别问题，这就要求深度学习到的特征不仅是可分离的，而且是有区分性的。此外，由于CNN训练中数据量非常庞大，训练的便捷性、训练时间和训练收敛的快慢也必须考虑。

除了数据量方面的问题之外，人脸本身的特征也给人脸识别带来了特有的问题。比如人脸对光照的敏感度很强，人脸姿态变化将造成人脸差异，有时这种差异在同一人的脸上甚至比在不同人之间更大，也就是说：同一个人在正面和侧面两种姿态下的差异性，从直观上看会大于两个不同但是具有一定相似性的人都在正面姿态下的差异，这也增加了人脸识别的难度。

由于人脸识别问题的特殊性，需要训练多个不同的模型来进行综合判断，在这种背景下，如何将多个模型的结果更好地进行结合，也是需要深入研究的一个问题。

为此，本申请提出一种基于可区分性特征融合的人脸识别方法，主要解决了利用CNN进行人脸识别过程中的数据、人脸姿态和模型融合的问题。具体而言，本发明提出一种新的损失函数，多元损失函数(multi-loss)，对现有的损失函数进行改进，结合a-softmaxloss函数和中心损失(center loss)函数，来达到人脸的可区分性；并利用全局人脸和局部人脸相结合，训练多个模型来达到对人脸姿态的鲁棒性；同时对于多个模型的融合，利用三元损失(triplet loss)函数来进行特征的融合和降维，最终，达到较好的人脸识别效果。

图1为现有常规的CNN训练过程示意图1。参见图1，该常规CNN训练过程包括：首先，根据定位的关键点位置对人脸训练数据截取全局人脸，输入到预先设计的卷积神经网络计算深度特征，并预测人脸类别，然后，将该类别和人脸实际类别输入到损失函数计算差异，再由预测差异进一步更新卷积神经网络权重，迭代优化直至模型收敛，最后输出最终学习到的模型参数。

本发明提出的基于可区分性特征融合的人脸识别方法主要包括以下步骤：

首先，在每个训练样本图像中截取一个全局图像和至少两个局部图像；

然后，对所截取的每个图像分别利用multi-loss函数进行模型训练得到对应的模型，其中，multi-loss函数为a-softmax loss函数和center loss函数结合得到的；

最后，利用triplet loss函数对训练得到的各个模型进行融合，同时达到降维的效果，得到训练样本图像的最终深度特征。

具体来说，本发明主要分为两个处理阶段，如图2所示：

第一阶段进行多尺度模型训练：结合a-softmax loss和center loss分别对单个的全局和局部模型进行训练；即：如图2所示全局模型训练、局部模型1训练、局部模型2训练等等。

更具体的，参见如图3所示本申请多尺度CNN模型训练的流程示意图：第一阶段的全局和局部模型训练过程中，首先对输入图像进行全局和局部图像的截取，然后对所有训练样本的全局或者局部图像进行训练，得到全局和各个局部的分类模型。

第二阶段进行多模型特征的融合：将多个模型利用triplet loss进行特征融合降维。

更具体的，参见如图4所示本申请利用triplet loss进行多尺度特征融合的示意图：第二阶段是多个模型的融合，即对每个训练样本，提取全局和各个局部模型学习到的深度特征，然后将特征连接起来，作为训练的输入，利用triplet loss进行监督学习，得到最终的降维后的融合特征，作为该样本的最终深度特征。

其中，上述每个阶段都遵循CNN训练的基本流程。

下面通过具体实施例详细说明本申请的技术细节：

步骤1：多尺度模型训练

1.1训练数据预处理

为了达到更好的训练效果，我们需要对训练数据(也可称为：训练图像、训练样本、训练样本图像等)进行预处理操作，对图像进行精准定位，使得训练图像的固定位置存放人脸的固定信息，具体来说，就是需要进行人脸对齐。首先获取每个人脸图像的关键点信息，可以包括：左眼中心、右眼中心、鼻尖、左嘴角和右嘴角这五个关键点，然后根据关键点位置，截取人脸图像。

本预处理步骤为可选步骤。此外，以上举例说明中，是通过眼镜、鼻尖和嘴巴上的5个关键点进行关键点定位，在实际应用中，也可以进行其他点或更多点的定位来达到人脸的精准对齐。

1.2训练数据全局和局部图像截取

本实施例中，对每个训练数据使用全局图像和三个局部图像进行训练，其中全局图像指包含了左眼、右眼、鼻子和嘴巴在内的全部人脸信息的图像，三个局部图像分别为以左眼、鼻尖和左嘴角为中心所截取的局部图像。本步骤中，根据每个训练样本的人脸图像截取全局图像和局部图像，同时，将每个模型的图像归一化到同样的大小。

1.3训练数据增加扰动

为了增加模型的稳定性，需要对训练数据增加一些扰动，本实施例中增加的扰动可以包括：图像随机对称等。

本步骤为可选步骤。除了使用图像对称增加扰动外，也可以采用其他的扰动方法，如光照，颜色等，具体可以根据实际问题进行选择。

1.4全局和局部模型分别训练

对于人脸识别问题而言，深度学习到的特征不只需要可分离，而且需要是有区分性的。由于我们无法预收集所有的人脸信息，因此，用来判断的人脸类别很有可能是不包含在训练集中的。学习到的深度特征需要是有区分性的并且是足够泛化的，能够用来分类未见过的新类别。有区分性的特征，既需要是类间可分离的，又需要是类内足够紧凑的。

Softmax loss函数的定义如公式1所示：

其中：x_i∈R^d表示第i个深度特征，d表示深度特征的维度；

y_i表示第i个深度特征所属的类别；

W_j∈R^d是最后一个全连接层的权重矩阵W∈R^d×n的第j列，W是二维矩阵，一个维度是d，另一个维度是n，n是分类的类别数；

b∈Rⁿ是偏差项；

m是分类的样本数。

为了简单起见，通常可以省略偏差项。

假设||W_j||＝1，b_i＝0，公式(1)变为公式(2)：

增加角度边界后，也就是a-softmax loss，公式(2)变为(3)：

其中，θ_ij为特征向量x_i和权重矩阵第j列W_j向量的夹角。

由于a-softmax loss函数只保证了特征的可分离性，所以用a-softmax loss学习到的特征不能完全有效地用于人脸识别，因此，本申请利用了center loss和a-softmaxloss相结合的损失函数。

Center loss函数的定义如公式(4)所示：

其中：是第y_i个类别的中心，x_i和y_i的物理意义如前所述。由公式定义可以看出，center loss显著地刻画了类内变化。

在理想情况下，需要计算整个训练样本集来获得每一个类别的中心，但是由于在训练过程中是基于mini-batch来进行训练的，因此，本申请对公式(4)做了一些改进。基于mini-batch来对每一个中心进行更新。同时，为了避免一些错标的样本导致中心点发生较大的扰动，本申请引入一个参数α来控制中心点的学习率，实验中α固定为0.5，因此公式中没有出现。由此，Lc基于x_i的梯度和的更新方法如公式(5)和(6)：

其中：如果满足δ( )的括号内的条件，δ( )＝1，否则δ( )＝0。

本申请引入权重来平衡两种损失函数，最终的损失函数如公式(7)所示：

由公式(7)可以看出，当γ＝0时，损失函数就变成只用a-softmax loss。

具体的训练过程如下所示：

输入：训练数据{x_i}，初始化卷积层参数θ_c，损失层参数W和{c_j|j＝1,2,…n}，初始化α，γ和学习率μ。迭代次数t＝0。

输出：θ_c。

如果训练没有收敛：

t←t+1；

计算联合损失

对每一个训练样本，计算回传错误率

更新参数W：

更新参数c_j：

更新参数θ_c：

直至收敛，结束循环。

对本实施例中的全局和三个局部模型都按照以上流程进行训练，得到四个多尺度模型。

步骤2：多个模型的融合

经过本实施例上述步骤1的处理，对于每一张样本图像，将得到全局和局部共四个模型的特征，在步骤2，需要对这四个模型的特征进行融合和降维。

2.1分别提取四个模型的特征并进行连接

利用第一部分中训练得到的四个模型来提取每张样本图像的深度特征，并将四组深度特征连接起来，作为本步训练的输入。

2.2连接后的特征作为CNN的输入，利用triplet loss训练降维特征

利用2.1步提取的训练样本的特征作为输入，进行CNN训练，以triplet loss作为损失函数，得到最终的降维后的特征。其中triplet loss函数计算见公式(8)：

其中：α是一个大于0的数，(a,p,n)是一个三元组，包含一个标杆图像a，一个正样本图像p和一个负样本图像n，p≠a并且n≠a。

步骤3：测试图像分类判别

在进行测试时，为了增加特征的稳定性，本实施例同时考虑图像及其对称图像。首先对图像进行左右对称操作，然后对图像及对称图像分别按照步骤1和步骤2提取最终的深度特征，对于每一维特征，比较原始图像和对称图像哪个对应的特征值较大，选择特征值较大的作为最终的特征中的该维特征，通过对每一维特征做比较，得到最终的特征向量。然后再用最终的特征向量来对不同的图片计算距离，判断两张图像是否为同一人，从而完成人脸识别的任务。

在步骤3的测试图片分类判别中，本实施例在原始图片和对称图片的每一维特征比较中，选择了较大者，也可以采取对特征进行加权和/或直接相连接等方式来进行测试图片的分类判别，距离计算方法也可以有多种方式，在此不再赘述。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种基于可区分性特征融合的人脸识别方法，其特征在于，包括：

A、在每个训练样本图像中截取一个全局图像和至少两个局部图像；

B、对所截取的每个图像分别采用多元损失multi-loss函数进行模型训练得到对应的模型；其中，所述multi-loss函数为角度空间分类损失angular-softmax loss函数和中心损失center loss函数结合得到的；

C、利用三元损失triplet loss函数对训练得到的各个模型进行融合和降维，并得到所述训练样本图像的最终深度特征。

2.根据权利要求1所述的方法，其特征在于，所述multi-loss函数为：

L＝L_s+γL_c

其中：L表示multi-loss函数；

L_s表示a-softmax loss函数；

L_c表示center loss函数；

γ为权重系数。

3.根据权利要求2所述的方法，其特征在于：

其中：x_i∈R^d表示第i个深度特征，d表示深度特征的维度；

y_i表示第i个深度特征所属的类别；

W_j∈R^d是最后一个全连接层的权重矩阵W∈R^d×n的第j列，W是二维矩阵，一个维度是d，另一个维度是n，n是分类的类别数；

b∈Rⁿ是偏差项；

m是分类的样本数；

θ_ij为特征向量x_i和权重矩阵第j列W_j向量的夹角。

4.根据权利要求3所述的方法，其特征在于：

x_i∈R^d表示第i个深度特征，d表示深度特征的维度；

y_i表示第i个深度特征所属的类别；

m是mini-batch的样本数；

是第y_i个类别的中心。

5.根据权利要求4所述的方法，其特征在于，所述Lc基于x_i的梯度和的更新方法如下：

其中：如果满足δ()的括号内的条件，δ()＝1，否则δ()＝0。

6.根据权利要求5所述的方法，其特征在于，所述B中的进行模型训练包括对所截取的每个图像分别进行如下循环操作：

初始化卷积层参数θ_c，损失层参数W和{c_j|j＝1,2,…n}，初始化α，γ和学习率μ，将迭代次数t置为0；

使用multi-loss函数对输入的训练数据{x_i}进行模型训练后，得到模型参数θ_c；

如果训练没有收敛，则：

t←t+1

计算联合损失

对每一个训练样本，计算回传错误率

更新参数W：

更新参数c_j：

更新参数θ_c：

直至收敛，结束循环。

7.根据权利要求1所述的方法，其特征在于，所述C包括：

从所述训练得到的各个模型中提取每个训练样本图像的深度特征，并将所提取的深度特征连接起来，作为triplet loss函数的输入，经triplet loss函数进行融合和降维后，得到所述训练样本图像的最终深度特征。

8.根据权利要求1至7任一项所述的方法，其特征在于，该方法还包括：

对所述训练样本图像进行左右对称操作得到其对称图像；

对训练样本图像及其对应的对称图像分别按照B和C提取最终深度特征；

对于每一维特征，比较原始的训练样本图像和对称图像对应的特征值大小，并选择特征值较大的作为最终的特征中的该维特征，通过对每一维特征进行比较，得到最终的特征向量，然后用最终的特征向量对不同的图片计算距离，判断两张图像是否为同一人。

9.根据权利要求1至7任一项所述的方法，其特征在于：

在所述A之前还包括：对所述训练样本图像进行精准定位，使得训练样本图像的固定位置存放人脸的固定关键点信息；

所述A包括：在每个训练样本图像中，根据关键点位置截取所述全局图像和局部图像。

10.根据权利要求1至7任一项所述的方法，其特征在于，该方法还包括：

采用扰动方法对训练样本图像增加扰动，所述扰动方法包括但不限于：图像随机对称、光照、颜色。