CN109815801A - 基于深度学习的人脸识别方法及装置 - Google Patents

Abstract

一种基于深度学习的人脸识别方法，包括人脸识别模型训练方法与人脸识别模型使用方法两方面。模型训练的基本思想是减小同类样本之间的差异值，增大非同类样本之间的差异值，以此来达到对人脸的准确识别。首先对特征提取网络进行训练，模型训练完成后，进行分类模型训练，在已经训练好的特征提取网络后添加softmax分类层，用于分类网络的训练。在softmax层中对特征进行分类，损失函数以减小输出与标签之间的距离为目标，训练结束后，得到人脸识别模型。人脸识别模型使用方法部分，将人脸图像输入到人脸识别模型，得到softmax分类结果，数值得分最高维度序号所代表的类别即为识别结果。

Description

基于深度学习的人脸识别方法及装置

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于深度学习的人脸识别方法。

背景技术

随着深度学习技术的发展和计算机运算能力的飞速提升，人工智能、计算机视觉和图像处理等领域发展迅猛。其中人脸识别作为计算机视觉领域的经典课题，具有很大的可研究性和应用价值，且具有很高的社会需求。人脸识别所解决的主要问题是对于输入一张包含人脸部的图像，算法可自动在图像上进行人脸部特征提取，并根据特征对脸部图像进行识别，给出识别结果。

当前，人脸识别相关技术取得较大进展，并已经出现了一些成功应用。传统的人脸识别方法包括基于几何特征的方法，基于主成分分析的方法，基于小波变换和图形匹配的方法等。基于几何特征的方法是对人脸关键点(眼，口，鼻等)进行几何关系运算，例如距离、角度等，根据距离或角度关系来进行对人脸的识别，此种方法容易忽略局部细微特征，造成特征丢失，精度较低，更适用于粗分类；基于主成分分析的方法又称为PCA，其基本思想从统计的观点出发，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像，这种方法对训练图像与测试图像相似性要求较高有很大局限性；基于小波变换和图形匹配的方法，精确抽取面部特征点以及基于Gabor引擎的匹配算法，具有较好的准确性，能够排除由于面部姿态、表情、发型、眼镜、照明环境等带来的变化，但其识别速度较慢。

近年来，随着计算机视觉与深度学习的发展，深度学习在人脸识别方面的研究获得更多关注。出现了一些利用深度学习进行人脸检测识别的方法，但是人脸识别准确率仍然不高，不能满足日益提高的使用需求。

发明内容

本发明针对上述问题，提出一种基于深度学习的人脸识别模型训练方法与装置以及基于深度学习的人脸识别方法和装置，以解决人脸识别准确率低和识别速度慢的问题，拓展了系统的使用范围。

为解决上述技术问题，根据本发明的一个方面，提供了一种基于深度学习的人脸识别模型训练方法，所述方法包括以下步骤：

1)获取人脸图像数据；

2)在每一次迭代训练中，随机选取N个人脸图像作为训练数据，将其分为三部分，分别作为参考样本、正样本、负样本；

3)将所述训练数据输入到卷积神经网络进行计算，在所述卷积神经网络最后一层得到特征值；

4)计算第一损失函数值Loss1，所述Loss1值的构成以减小同类样本之间的距离，增大非同类样本之间的距离为目标，实现对特征提取网络的训练；

5)分类网络训练是在所述特征提取网络训练完毕后，在所述训练好的特征提取网络后增加softmax分类层，进行微调学习；实现对分类网络的训练；

6)经过以上步骤的训练，得到基于深度学习的人脸识别模型。

优选地，对于所述三类样本的选择，所述参考样本的选择为随机选择，所述正样本为与所述参考样本标签相同的样本，所述负样本的选择在所述参考样本与所述正样本的基础上，遵循以下公式：

其中代表参考样本特征值，代表正样本特征值，代表负样本特征值，即，所选择负样本与所述参考样本之间的距离要大于所选择的正样本与所述参考样本之间的距离。

优选地，所述第一损失函数值Loss1的计算公式为：

其中，代表参考样本特征值，代表正样本特征值，代表负样本特征值，α代表阈值，N代表样本个数。若所述Loss1值收敛，则模型训练完成，若所述Loss1值不收敛，则进行参数调整，迭代训练。

优选地，所述分类网络训练时，在每一次迭代训练中，随机选择N个训练样本，将所述训练数据输入到所述训练好的特征提取网络进行特征提取，并经过softmax层进行计算，同时根据标签信息进行第二损失函数计算，并进行反向误差传播，调整分类层参数，待网络收敛后，训练结束。

优选地，所述分类网络训练中，所述第二损失函数为所述softmax层输出向量与标签信息交叉熵平均值。

根据本发明的另一方面，提供了一种基于深度学习的人脸识别方法，所述方法包括以下步骤：

1)采用如权利要求1所述的基于深度学习的人脸识别模型训练方法训练得到的所述基于深度学习的人脸识别模型；

2)将待测人脸图像输入到所述已训练好的所述基于深度学习的人脸识别模型，经计算后，得到分类信息输出向量；

3)对于所述分类信息输出向量，取其概率值最高维序数所对应的类别，即为人脸识别结果。

优选地，所述待测人脸图像来源为照片文件和/或摄像装置采集。

根据本发明的另一方面，提供了一种基于深度学习的人脸识别模型训练装置，包括：

1)模型图像获取装置，获取人脸图像数据；

2)模型样本分类装置，在每一次迭代训练中，随机选取N个人脸图像作为训练数据，将其分为三部分，分别作为参考样本、正样本、负样本；

3)模型特征值获取装置，将所述训练数据输入到卷积神经网络进行计算，在所述卷积神经网络最后一层得到特征值；

4)模型特征提取网络训练装置，计算第一损失函数值Loss1，所述Loss1值的构成以减小同类样本之间的距离，增大非同类样本之间的距离为目标，实现对特征提取网络的训练；

5)模型分类网络训练装置，分类网络训练是在所述特征提取网络训练完毕后，在所述训练好的特征提取网络后增加softmax分类层，进行微调学习；实现对分类网络的训练；

6)人脸识别模型获取装置，经过以上步骤的训练，得到基于深度学习的人脸识别模型。

根据本发明的另一方面，提供了一种基于深度学习的人脸识别装置，包括：

1)获取装置，采用如权利要求1所述的基于深度学习的人脸识别模型训练方法训练得到的所述基于深度学习的人脸识别模型；

2)分类信息输出装置，将待测人脸图像输入到所述已训练好的所述基于深度学习的人脸识别模型，经计算后，得到分类信息输出向量；

3)判断装置，对于所述分类信息输出向量，取其概率值最高维序数所对应的类别，即为人脸识别结果。

根据本发明的另一方面，提供了一种基于深度学习的人脸识别装置，其特征在于，

包括：处理器；

和存储器，在所述存储器中存储有计算机程序指令，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：

1)采用如权利要求1所述的基于深度学习的人脸识别模型训练方法训练得到的所述基于深度学习的人脸识别模型；

2)将待测人脸图像输入到所述已训练好的所述基于深度学习的人脸识别模型，经计算后，得到分类信息输出向量；

3)对于所述分类信息输出向量，取其概率值最高维序数所对应的类别，即为人脸识别结果。

本发明提出的基于深度学习的人脸识别方法，采用深度学习的方法，包括人脸识别模型训练方法与人脸识别模型使用方法两方面。模型训练的基本思想是减小同类样本之间的差异值，增大非同类样本之间的差异值，以此来达到对人脸的快速准确识别。所述人脸识别模型训练方法部分，包括特征提取网络训练与分类网络训练两步依次进行，对于已标注人脸数据，在每一次迭代训练中，随机选取N个样本作为训练数据，将其分为三份，分别作为参考样本、正样本、负样本，将训练数据输入到卷积神经网络进行正向计算，在其最后一层得到各样本特征向量。损失函数的构成由正负样本与参考样本特征向量之间的欧式距离决定，欧氏距离较小，则认为差异较小，欧氏距离较大，则认为差异较大，网络参数调整应以减小与正样本之间的距离，增大与负样本之间的距离为目标。得到特征提取网络模型。在得到特征提取网络模型之后，进行分类模型训练，在已训练好的特征提取网络后添加softmax分类层，用于分类网络的训练。每一次迭代训练中任意选取图像作为训练数据，输入到已训练好的模型中提取特征值，并在softmax层中对特征进行分类，损失函数以减小输出与标签之间的距离为目标，训练结束后，得到人脸识别模型。人脸识别模型使用方法部分，将人脸图像输入到人脸识别模型，得到softmax分类结果，数值得分最高维度序号即为识别结果。

本发明具有如下优点：

1)对于传统的loss函数(损失函数)，其注重的是将同一类人脸图像映射到相同的空间，而对于本发明所提出的方法，在此基础上，同时注重将不同类的人脸图像分离到不同的特征空间，相较传统方法，大大有利于人脸识别精度的提升。

2)相对传统方法训练简单，识别速度更快。

附图说明

通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将更加清楚。

图1是基于深度学习的人脸识别模型训练方法流程图；

图2是卷积神经网络结构图；

图3是基于深度学习的人脸识别模型使用方法流程图。

具体实施方式

下面参照附图来描述本发明的实施方式。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。同时需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。

如图1所示，本发明的一种基于深度学习的人脸识别模型训练方法包括以下步骤：

步骤S11，特征提取网络的训练，在训练数据集中随机选取N个训练图像作为该训练批次，将其输入到卷积神经网络进行卷积计算，卷积神经网络结构如图2所示，在最后一层全连接层得到特征向量。

子步骤S111，对于步骤S11，N个训练图像选取中，要特别注意同类样本的选取，即对于该批次训练图像中的任意一个，可以尽量保证该批次中至少存在另一个同类样本。

步骤S12，在计算所得的N个特征向量中，进行参考样本的筛选，对于该批次中任一样本，若批次中存在其同类样本，将其作为参考样本，以此选取n个特征向量作为参考样本，与其同类的样本作为正样本，通过下述公式对剩余特征向量进行计算，得到相对应负样本，形成n组特征向量，每组包含一个参考样本，一个正样本，一个负样本。

其中，代表参考样本特征值，代表正样本特征值，代表负样本特征值，N代表样本个数。

步骤S13，对各组向量进行第一损失函数值计算，并进行反向误差传播，使用随机梯度下降算法调整网络参数。第一损失函数构成如下：

其中，各符号意义如上，α代表阈值。

根据计算所得第一损失函数值，判断神经网络是否收敛，若收敛，则结束特征提取网络训练，若未收敛，则返回S11循环执行。

步骤S14，待特征提取网络训练结束后，进行分类网络训练，在已训练好的特征提取网络后增加一层softmax分类层，将上述已训练好的网络参数进行固定，分类网络训练中只调整最后一层参数。

步骤S15，随机选取N个样本，将其输入到已训练好特征提取网络，得到N个特征向量。

步骤S16，将所得特征向量输入到分类层，经计算后得到分类结果向量，先使用softmax激活函数进行one-hot编码处理，根据结果计算第二损失函数值，并进行反向误差传播，调整分类层网络参数值。第二损失函数如下：

其中，Loss2为第二损失函数，为第j类预测值，为第j类真实值，n为类别数。

子步骤S161，对于步骤S16，所谓one-hot编码处理，即为在进行损失函数计算之前，对网络输出进行softmax激活函数计算，激活函数公式为：

其中，S_i代表了当前维经softmax激活函数计算后的值，V_i代表当前维输出数值，代表全部维数值指数幂之和。即经过one-hot编码处理后得到了各维度预测输出的正确概率。

步骤S17，根据损失函数值判断网络是否收敛，若收敛，则结束训练，得到人脸识别模型；若不收敛，返回S15循环执行。

第一损失函数和第二损失函数的设计十分重要，采用上述第一损失函数Loss1和第二损失函数Loss2能够将不同类的人脸图像分离到不同的特征空间，从而可以快速准确地完成模型的训练，从而为提高人脸识别准确率提供保障，并且训练简单，识别速度快。大大拓宽了人脸检测识别系统的使用范围。

如图2所示，本发明的一种基于深度学习的人脸识别模型使用方法包括以下步骤：

S21，将待测人脸图像输入到所述已训练好的人脸识别模型，经计算后，得到分类信息的输出向量。

S22，对于输出向量，取其概率值最高维序数所对应的类别，即为人脸识别结果。

如，在分类层得到向量形如：

[0.0012 0.03620.0267 0.0664 0.7724 0.0971]

则取其概率最大0.7724维度5维所对应类别为当前人脸图像识别结果。

至此，已经结合附图所示的优选实施方法描述了本发明的技术方案，但是，本领域技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的人脸识别模型训练方法，其特征在于，所述方法包括以下步骤：

1)获取人脸图像数据；

2)在每一次迭代训练中，随机选取N个人脸图像作为训练数据，将其分为三部分，分别作为参考样本、正样本、负样本；

3)将所述训练数据输入到卷积神经网络进行计算，在所述卷积神经网络最后一层得到特征值；

4)计算第一损失函数值Loss1，所述Loss1值的构成以减小同类样本之间的距离，增大非同类样本之间的距离为目标，实现对特征提取网络的训练；

5)分类网络训练是在所述特征提取网络训练完毕后，在所述训练好的特征提取网络后增加softmax分类层，进行微调学习；实现对分类网络的训练；

6)经过以上步骤的训练，得到基于深度学习的人脸识别模型。

2.根据权利要求1所述的基于深度学习的人脸识别模型训练方法，其特征在于，对于所述三类样本的选择，所述参考样本的选择为随机选择，所述正样本为与所述参考样本标签相同的样本，所述负样本的选择在所述参考样本与所述正样本的基础上，遵循以下公式：

其中代表参考样本特征值，代表正样本特征值，代表负样本特征值，即，所选择负样本与所述参考样本之间的距离要大于所选择的正样本与所述参考样本之间的距离。

3.根据权利要求1所述的基于深度学习的人脸识别模型训练方法，其特征在于，

所述第一损失函数值Loss1的计算公式为：

其中，代表参考样本特征值，代表正样本特征值，代表负样本特征值，α代表阈值，N代表样本个数；若所述Loss1值收敛，则模型训练完成，若所述Loss1值不收敛，则进行参数调整，迭代训练。

4.根据权利要求1所述的基于深度学习的人脸识别模型训练方法，其特征在于，

所述分类网络训练时，在每一次迭代训练中，随机选择N个训练样本，将所述训练数据输入到所述训练好的特征提取网络进行特征提取，并经过softmax层进行计算，同时根据标签信息进行第二损失函数计算，并进行反向误差传播，调整分类层参数，待网络收敛后，训练结束。

5.根据权利要求4所述的基于深度学习的人脸识别模型训练方法，其特征在于，所述分类网络训练中，所述第二损失函数为所述softmax层输出向量与标签信息交叉熵平均值。

6.一种基于深度学习的人脸识别方法，其特征在于，所述方法包括以下步骤：

1)采用如权利要求1所述的基于深度学习的人脸识别模型训练方法训练得到的所述基于深度学习的人脸识别模型；

2)将待测人脸图像输入到所述已训练好的所述基于深度学习的人脸识别模型，经计算后，得到分类信息输出向量；

3)对于所述分类信息输出向量，取其概率值最高维序数所对应的类别，即为人脸识别结果。

7.根据权利要求6所述的基于深度学习的人脸识别方法，其特征在于，所述待测人脸图像来源为照片文件和/或摄像装置采集。

8.一种基于深度学习的人脸识别模型训练装置，其特征在于，包括：

1)模型图像获取装置，获取人脸图像数据；

2)模型样本分类装置，在每一次迭代训练中，随机选取N个人脸图像作为训练数据，将其分为三部分，分别作为参考样本、正样本、负样本；

3)模型特征值获取装置，将所述训练数据输入到卷积神经网络进行计算，在所述卷积神经网络最后一层得到特征值；

4)模型特征提取网络训练装置，计算第一损失函数值Loss1，所述Loss1值的构成以减小同类样本之间的距离，增大非同类样本之间的距离为目标，实现对特征提取网络的训练；

5)模型分类网络训练装置，分类网络训练是在所述特征提取网络训练完毕后，在所述训练好的特征提取网络后增加softmax分类层，进行微调学习；实现对分类网络的训练；

6)人脸识别模型获取装置，经过以上步骤的训练，得到基于深度学习的人脸识别模型。

9.一种基于深度学习的人脸识别装置，其特征在于，包括：

1)获取装置，采用如权利要求1所述的基于深度学习的人脸识别模型训练方法训练得到的所述基于深度学习的人脸识别模型；

2)分类信息输出装置，将待测人脸图像输入到所述已训练好的所述基于深度学习的人脸识别模型，经计算后，得到分类信息输出向量；

3)判断装置，对于所述分类信息输出向量，取其概率值最高维序数所对应的类别，即为人脸识别结果。

10.一种基于深度学习的人脸识别装置，其特征在于，

包括：处理器；

和存储器，在所述存储器中存储有计算机程序指令，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：

1)采用如权利要求1所述的基于深度学习的人脸识别模型训练方法训练得到的所述基于深度学习的人脸识别模型；

2)将待测人脸图像输入到所述已训练好的所述基于深度学习的人脸识别模型，经计算后，得到分类信息输出向量；

3)对于所述分类信息输出向量，取其概率值最高维序数所对应的类别，即为人脸识别结果。