CN108229330A - 人脸融合识别方法及装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种人脸融合识别方法及装置，其中的方法包括：从视频帧序列中获取同一个用户的多张人脸图像；对所述多张人脸图像的每张人脸图像进行特征提取，得到多张人脸图像对应的多个人脸特征；将所述多个人脸特征进行融合处理，得到融合人脸特征；基于所述融合人脸特征，对所述用户进行人脸识别。本发明实施例可支持对模糊或分辨率低的人脸图像进行准确识别。

Description

人脸融合识别方法及装置、电子设备和存储介质

技术领域

本发明涉及生物特征识别技术，尤其是一种人脸融合识别方法及装置、电子 设备和存储介质。

背景技术

在当今信息化时代，如何准确鉴定一个人的身份、保护信息安全，已成为一 个必须解决的关键社会问题。生物特征识别技术，是指通过计算机利用人体所固 有的生理特征或行为特征来进行个人身份鉴定的技术。在生物特征识别技术中， 人脸识别由于其方便快捷而应用广泛。

发明内容

本发明实施例提供一种人脸融合识别的技术方案。

本发明实施例提供的一种人脸融合识别方法，所述方法包括：

从视频帧序列中获取同一个用户的多张人脸图像；

对所述多张人脸图像的每张人脸图像进行特征提取，得到多张人脸图像对应 的多个人脸特征；

将所述多个人脸特征进行融合处理，得到融合人脸特征；

基于所述融合人脸特征，对所述用户进行人脸识别。

在一种可选方式中，在所述获取同一个用户的多张人脸图像之后，还包括：

获取所述多张人脸图像的质量，过滤掉人脸图像质量分值低于预置的图像质 量最低阈值的人脸图像，得到过滤后人脸图像集；

所述对所述多张人脸图像的每张人脸图像进行特征提取，得到多张人脸图像 对应的多个人脸特征；将所述多个人脸特征进行融合处理，得到融合人脸特征， 包括：

对所述过滤后人脸图像集中的每张人脸图像进行特征提取，得到分别对应的 多个人脸特征；将所述多个人脸特征进行融合处理，得到所述融合人脸特征。

在一种可选方式中，所述对所述多张人脸图像进行质量判断，过滤掉质量低 的人脸图像，包括：

检测各张人脸图像中人脸大小、人脸姿态角度、人脸面部信息完整度、图片 模糊程度、图片亮度、图片对比度，图片背景环境，和/或，是否为彩色图像；

根据检测结果，计算各张人脸图像的质量分值；

将所述各张人脸图像的质量分值与预置的图像质量最低阈值进行比较；

过滤掉质量分值低于所述最低阈值的人脸图像。

在一种可选方式中，所述将所述多个人脸特征进行融合处理，包括：

将多个人脸特征进行量化为多个人脸特征向量；将这多个人脸特征向量进行 融合计算，得到融合人脸特征。

在一种可选方式中，所述将这多个人脸特征向量进行融合计算，得到融合人 脸特征，包括：

基于各个人脸特征向量各分量的平均值或加权平均值，得到表征融合人脸特 征的融合人脸特征向量；或，

基于各个人脸特征向量各分量的最大值或最小值，得到表征融合人脸特征的 融合人脸特征向量；或，

基于深度学习算法对所述多个人脸特征向量进行计算，得到表征融合人脸特 征的融合人脸特征向量；或，

将各个人脸特征向量各分量进行拼接，得到表征融合人脸特征的融合人脸特 征向量。

在一种可选方式中，所述基于所述融合人脸特征，对所述用户进行人脸识别， 包括：

对所述融合人脸特征与人像数据库中各预存人像的人脸特征之间进行相似 度检测，得到与所述融合人脸特征之间的相似度高于相似度阈值的预存人像作为 目标预存人像；其中，所述人像数据库中包括至少一个所述预存人像；

将至少一个所述目标预存人像作为所述用户的人脸识别结果。

在一种可选方式中，所述人脸识别结果包括：所述相似度值、所述目标预存 人像、所述目标预存人像所属的人像数据库、所述目标预存人像对应的用户属性 信息中的任意一项或任意组合。

在一种可选方式中，在所述得到识别结果之后，还包括：

输出所述用户的至少一个人脸识别结果；

检测基于所述至少一个人脸识别结果的用户指令，所述用户指令用于表征对 应的人脸识别结果是否正确。

在一种可选方式中，在得到人工研判识别结果之后，还包括：输出显示基于 所述用户指令对人脸识别结果检测后的正确人脸识别结果；

输出显示所述正确人脸识别结果包括：输出显示检测后正确的所述相似度值、 所述目标预存人像、所述目标预存人像所属的人像数据库、所述目标预存人像对 应的用户属性信息中的任意一项或任意组合。

在一种可选方式中，所述视频帧序列为实时监控视频中的帧序列或录制视频 中的帧序列；所述实时监控视频包括：安全检查监控视频、公共场合监控视频、 门禁监控视频中的任意一项或任意组合。

本发明实施例提供的一种人脸融合识别装置，所述装置包括：

图像获取单元，用于从视频帧序列中获取同一个用户的多张人脸图像；

特征提取单元，用于对所述多张人脸图像的每张人脸图像进行特征提取，得 到多张人脸图像对应的多个人脸特征；

特征融合单元，用于将所述多个人脸特征进行融合处理，得到融合人脸特征；

人脸识别单元，用于基于所述融合人脸特征，对所述用户进行人脸识别。

在一种可选方式中，还包括：

图像过滤单元，用于获取所述多张人脸图像的质量，过滤掉人脸图像质量分 值低于预置的图像质量最低阈值的人脸图像，得到过滤后人脸图像集；其中，所 述特征提取单元是所述过滤后人脸图像集中的每张人脸图像进行特征提取；所述 特征融合单元是针对过滤后的人脸图像集中的每张人脸图像的特征进行特征融 合。

在一种可选方式中，所述图像过滤单元包括：

质量检测子单元，用于检测各张人脸图像中人脸大小、人脸姿态角度、人脸 面部信息完整度、图片模糊程度、图片亮度、图片对比度，图片背景环境，和/ 或，是否为彩色图像；

质量评分子单元，用于根据检测结果，计算各张人脸图像的质量分值；

质量比较子单元，用于将所述各张人脸图像的质量分值与预置的图像质量最 低阈值进行比较；

过滤执行子单元，用于过滤掉质量分值低于所述最低阈值的人脸图像。

在一种可选方式中，所述特征融合单元包括：

特征量化子单元，用于将多个人脸特征进行量化为多个人脸特征向量；

特征向量计算子单元，用于将这多个人脸特征向量进行融合计算，得到融合 人脸特征。

在一种可选方式中，所述特征向量计算子单元具体用于：

基于各个人脸特征向量各分量的平均值或加权平均值，得到表征融合人脸特 征的融合人脸特征向量；或，

基于各个人脸特征向量各分量的最大值或最小值，得到表征融合人脸特征的 融合人脸特征向量；或，

基于深度学习算法对所述多个人脸特征向量进行计算，得到表征融合人脸特 征的融合人脸特征向量；或，

将各个人脸特征向量各分量进行拼接，得到表征融合人脸特征的融合人脸特 征向量。

在一种可选方式中，所述人脸识别单元包括：

相似度检测子单元，用于对所述融合人脸特征与人像数据库中各预存人像的 人脸特征之间进行相似度检测，得到与所述融合人脸特征之间的相似度高于相似 度阈值的预存人像作为目标预存人像；其中，所述人像数据库中包括至少一个所 述预存人像；

识别结果确定子单元，用于将至少一个所述目标预存人像作为所述用户的人 脸识别结果。

在一种可选方式中，所述人脸识别结果包括：所述相似度值、所述目标预存 人像、所述目标预存人像所属的人像数据库、所述目标预存人像对应的用户属性 信息中的任意一项或任意组合。

在一种可选方式中，还包括：

识别结果输出单元，用于输出所述用户的至少一个人脸识别结果；

检测单元，用于检测基于所述至少一个人脸识别结果的用户指令，所述用户 指令用于表征对应的人脸识别结果是否正确。

在一种可选方式中，还包括：

检测结果输出单元，用于输出显示基于所述用户指令对人脸识别结果检测后 的正确人脸识别结果；其中，输出显示所述正确人脸识别结果包括：输出显示检 测后正确的所述相似度值、所述目标预存人像、所述目标预存人像所属的人像数 据库、所述目标预存人像对应的用户属性信息中的任意一项或任意组合。

在一种可选方式中，所述视频帧序列为实时监控视频中的帧序列或录制视频 中的帧序列；所述实时监控视频包括：安全检查监控视频、公共场合监控视频、 门禁监控视频中的任意一项或任意组合。

本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，该 程序被处理器执行时实现所述人脸融合识别方法的步骤。

本发明实施例提供的一种电子设备，包括存储器、处理器及存储在存储器上 并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述人脸融 合识别方法的步骤。

基于本发明上述实施例提供的人脸融合识别方案，相对于现有技术中仅支持 “清晰图片搜清晰图片”的传统人脸检索方式，本发明实施例使用多帧融合方法 将同一人的多张人脸图片进行特征融合再进行识别，相比于现有方式，无需进行 复杂的图像处理，即可改善待验证人人脸图像模糊、分辨率低、侧脸等问题。在 识别过程中，使用融合了多张人脸图像特征的融合特征进行检索，并可仅输出相 似度在某个阈值以上的人脸比对结果，可解决单张图片检索比对准确度低、比对 效果差等问题；同时可提高模糊、分辨率低、侧脸图片的检索结果准确度。

本发明实施例应用场景广泛，可应用在智能视频分析、安防监控等方面。例 如：在机场或火车站进行安检中，可利用同一人的视频帧获取多张人脸图像，并 依据多张人脸图像进行融合特征识别，由于是对多张人脸图像进行融合识别，因 此可实现对模糊、分辨率低等图像的行准确识别；其中进一步可通过选取人脸图 像中相对高质量的图像做融合，可进一步提高识别准确性。再如，可利用同一嫌 疑人的多张模糊视频帧图像进行人脸比对检索，调查嫌疑人的真实身份；再如利 用同一嫌疑人的多种来源的不同图像进行人脸比对检索，调查嫌疑人的真实身份。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于 解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明人脸融合识别方法一个实施例的流程图。

图2为本发明人脸融合识别方法另一个实施例的流程图。

图3为本发明实施例中人脸融合识别方法实现过程示意图。

图4为本发明人脸融合识别装置一个实施例的结构示意图。

图5为本发明人脸融合识别装置另一个实施例的结构示意图。

图6为本发明电子设备一个实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另 外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和 数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按 照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本 发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但 在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一 项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

随着深度学习技术的发展，人脸识别应用逐渐成熟。通过基于深度学习的人 脸检测和特征提取算法，能快速搜索比对出与待查人脸相似的人脸数据，并核实 待查人的身份。作为生物特征识别的一个重要方面，人脸识别在安防、金融、边 境、海关、保险及民用娱乐等领域的实际应用具有广阔的前景。

然而传统人脸识别技术往往只支持针对单张静止人脸图片或视频中的单帧 图片进行比对，图片质量将直接影响到检索结果。使用模糊、分辨率低、侧脸的 待检索图片得到的检索结果的准确性较低，而正面、清晰的人脸图片相对难以获 取。

本发明将同一人的多张人脸图片分别提取特征并融合，再进行检索比对，相 比仅支持“清晰图片搜清晰图片”的传统人脸检索方式，无需复杂图像处理，即 可改善待验证人人脸图片模糊、分辨率低、侧脸等问题。

图1为本发明人脸融合识别方法方法一个实施例的流程图。如图1所示，该 实施例方法包括S101-S104。

S101：从视频帧序列中获取同一个用户的多张人脸图像。

本发明实施例的应用场景是可以通过监控摄像头等监控设备实时获取人脸 图像的场合，包括但不限于：安全检查监控(例如：车站、机场安检)、公共场 合监控(例如：小区监控、网吧监控)、门禁监控(例如刷脸进入小区或房间等 区域)等场景。可见，本发明实施例中的视频帧序列是指实时监控视频中的帧序 列或录制视频中的帧序列；实时监控视频包括但不限于：安全检查监控视频、公 共场合监控视频、门禁监控视频中的任意一项或任意组合。

如果仅依靠一张人脸图像进行人脸识别，假设这张图片清晰度不高或者人脸 不正，那么势必会影响识别的结果，甚至无法识别。由于正面、清晰的人脸图片 相对难以获取，因此本发明实施例提出，在实时监控场景下，通过获取视频帧中 同一个用户的多张人脸图像，后续通过对这多张人脸图像进行融合，通过这种方 式可以获得清晰度更高的融合后的图像特征。

例如，假设用户张某要通过刷脸进入公司办公区域，公司办公区域入口处安 装有监控摄像头等监控设备。监控设备获取到张某的连续视频帧如frame1、 frame2、……、frame n。从这些连续的视频帧中获取预定数量的视频帧例如获取 10条视频帧frame1、frame2、……、frame 10。

S102：对多张人脸图像的每张人脸图像进行特征提取，得到多张人脸图像对 应的多个人脸特征。

人脸特征提取是人脸识别过程中必不可缺的一个步骤。人脸特征提取的实现 方法包括多种。例如从实现原理划分包括如下四类人脸特征提取方式。

(1).基于面部器官的特征提取

基于面部器官的特征提取是最早研究特征提取的方法，主要考虑眼睛、鼻子、 嘴之间的位置关系。各器官之间欧氏距离、角度及其大小和外形被量化成一系列 参数，来衡量人脸特征，所以对眼、鼻、嘴等的定位就至关重要。

(2).基于模板的特征提取

人脸的基本轮廓和脸部器官位置基本是固定的，在提取特征之前先定义一个 标准的模板，利用Hough变换、方差投影和模板匹配相结合，有效地确定出眼睛、 嘴巴和鼻子等器官的位置。

(3).基于代数方法的特征提取

此类方法使用代数变换来提取人脸特征，其中比较经典的方法是特征脸方法。 人脸由一些基本特征就可以描述，如鼻子、眼睛和嘴等特征，因此描述人脸的图 像可以缩小到很小空间。特征脸方法依据K-L变换，将协方差矩阵进行分解，通 过变换将原始图像变换到一个新的维数较低的特征空间，通过计算矩阵的特征值 和特征向量，利用图像的代数特征信息进行提取脸部器官的特征。

(4).基于弹性匹配法的特征提取

基于弹性匹配法是采用畸变不变性物体识别特性，定义了一种对于人脸变形 具有不变性的距离，采用属性拓扑图代表人脸，图中任一顶点均包含一个特征向 量，用来记录人脸在该顶点位置四周的信息，边则表示各特征点之间的关系。假 设S1是人脸库中定义的某人脸属性拓扑图，S为待识人脸属性拓扑图。在弹性 匹配中也就是寻找Sl中各节点在S中最佳匹配节点。

从实现算法不同划分，人脸特征提取算法包括ASM((Active Shape Model)) 和AAM(Active Appreance Model)等。例如基于ASM算法的人脸特征提取流 程包括：(1)读入图像；(2)利用分类器检测人脸区域；(3)利用训练好的模型 寻找人脸固定数量的特征点；(例如68个特征点)；(4)记录固定数量的特征点 坐标位置。

除了上述ASM和AAM算法，还可以通过深度学习进行人脸特征提取。深 度学习主要用来做分类(classification)和回归(regression)，其实特征点检测就 是回归问题，将每个特征点坐标(x,y)作为连续变量，多个特征点就代表多类回 归。

S103：将多个人脸特征进行融合处理，得到融合人脸特征。

首先将多个人脸特征进行量化为多个人脸特征向量；然后将这多个人脸特征 向量进行融合计算，得到融合人脸特征。

具体的，可以采用下述示例中的任一种方式实现。

(1)基于各个人脸特征向量各分量的平均值或加权平均值，得到表征融合 人脸特征的融合人脸特征向量。

例如：求n个特征向量各分量的平均值或加权平均值，如…，为 同一个人n张人脸图像得到的n个特征向量，则融合后的向量 其中w₁，w₂，...，w_n为权重，且w₁+w₂+…+w_n＝1；当 w₁＝w₂＝…＝w_n时则为平均值；w₁、w₂、...、w_n不同时为加权平均值。

(2)基于各个人脸特征向量各分量的最大值或最小值，得到表征融合人脸 特征的融合人脸特征向量。

则融合后的人脸特征向量：

(3)基于深度学习算法对多个人脸特征向量进行计算，得到表征融合人脸 特征的融合人脸特征向量。

在利用深度学习算法融合人脸特征向量时，首先求出待融合的多个人脸特征 向量的最大相关性；然后求出新的投影向量；最后利用这个投影向量加入到机器 学习算法进行分类、聚类回归，得到融合人脸特征向量。

(4)将各个人脸特征向量各分量进行拼接，得到表征融合人脸特征的融合 人脸特征向量。

直接把各人脸特征向量拼接起来，构成融合人脸特征向量。

S104：基于融合人脸特征，对用户进行人脸识别。

在得到融合人脸特征之后，利用该融合人脸特征对该用户进行人脸识别。具 体实现方式中，可将融合人脸特征输入到人像数据库进行人脸识别，在人像数据 库中查找得到与融合人脸特征相似度高的人脸。

可见，本发明实施例中，将代表同一个用户的多张人脸图像进行融合得到融 合人脸特征，由于该融合人脸特征可以更好的体现人脸，因此相较于利用一张清 晰度不高的图像进行人脸识别的方案，本发明实施例识别更加准确。对于模糊图 像、分辨率低的图像、侧脸图像都可以实现准确识别。

参见图2，为本发明人脸融合识别方法另一个实施例的流程图。相比于前述 实施例，本实施例中通过对人脸图像进行过滤，仅保留优质图像进行融合，进一 步提高识别准确性；另外对人脸识别的实现过程进行了详细描述。

S201:从视频帧序列中获取同一个用户的多张人脸图像。

S202:获取多张人脸图像的质量，过滤掉质量分值低于预置的图像质量最低 阈值的人脸图像，得到过滤后人脸图像集。

在实际应用中当获取到同一人的多张图像后，可首先检测图像中是否有人脸。 若无人脸，则将图像过滤掉；若有人脸，则提取每张图像的人脸特征值，并依据 人脸特征值进行人脸质量分数(反应图片中人脸清晰程度)打分；然后将分值以 及图像是否是彩色的结果进行反馈。

选择需要进行特征值融合的图像，可有自动选择或手动选择两种模式：

①自动选择：将所有上传有效的图像都选择；或设置质量分数阈值，系统自 动选择上传的图像中质量分数大于阈值的部分；

质量分数的计算是根据人脸大小、人脸姿态角度、图片的模糊程度、亮度、 对比度、背景环境、人脸面部状况等信息计算的一个0-100的值，值越高代表图 片质量越好。具体如何设置这个阈值，通常是用户根据自己的实际使用情况来设 置，一般建议用户使用质量分数较高的彩色图片进行融合。

②手动融合：由人工根据图像质量评分及彩色评定信息自主选择需要多帧融 合的图像。

在一种可选方式中通过下述方式实现人脸图像过滤：

(1)检测各张人脸图像中人脸大小、人脸姿态角度、人脸面部信息完整度、 图片模糊程度、图片亮度、图片对比度，图片背景环境，和/或，是否为彩色图像；

(2)根据检测结果，计算各张人脸图像的质量分值；

(3)将各张人脸图像的质量分值与预置的图像质量最低阈值进行比较；

(4)过滤掉质量分值低于最低阈值的人脸图像。

S203:对过滤后人脸图像集的每张人脸图像进行特征提取，得到多张人脸图 像对应的多个人脸特征。

S204:将多个人脸特征进行融合处理，得到融合人脸特征。

S205:基于融合人脸特征进行比对检索，并对比对检索的结果进一步进行根 据用户指令进行检测，得到最终的人脸识别结果。

可见，在步骤S205中通过比对检索和根据用户指令检测(人工研判)两个 层面实现人脸识别。

关于比对检索，可以设置比对阈值或返回结果数量，使用融合后的特征值在 人像数据库中进行检索，与人像库中的所有人脸图片对应的人脸数据进行比对， 得到检索结果。在每次进行人脸比对检测时，若检索得到的人脸图片的相似度大 于比对阈值，则保留在输出结果中；若人脸图片的相似度小于阈值，则过滤掉， 不在输出结果中保存。若经阈值过滤后的输出结果数量大于设置的返回结果数量N，则按相似度从大到小的顺序输出前N个结果；若小于N，则输出所有结果。 在完成所有比对任务后，将人像库中所有符合要求的人脸数据进行输出，每个比 对结果例如包括：相似度、人脸图片、所属的人像库名称、以及该人脸的其他属 性信息(姓名、身份证号等相关信息)。

因此，在一种可选方式中，基于融合人脸特征对用户进行人脸识别的实现过 程为：对融合人脸特征与人像数据库中各预存人像的人脸特征之间进行相似度检 测，得到与融合人脸特征之间的相似度高于相似度阈值的预存人像作为目标预存 人像；其中，人像数据库中包括至少一个所述预存人像；将至少一个目标预存人 像作为所述用户的人脸识别结果。其中：人脸识别结果包括：相似度值、目标预 存人像、目标预存人像所属的人像数据库、目标预存人像对应的用户属性信息中 的任意一项或任意组合。

在比对检索基础上，可对得到的结果可进一步进行人工研判，并导出检索得 到的结果。在对输出的人脸图片及其属性信息进行人工判断后，可以将数据标注 为“疑似”或“比中”，其中“疑似”表示该结果与待检测人脸图像为同一人的 可能性较大，而“比中”则表示该结果确认该结果与待检测人脸图像为同一人。 此外，可选择将得到的查重结果以文件(例如excel表格)的形式进行导出，可 选择导出前N个结果，也可选择只导出进行了人工研判标注的结果，导出的表格 中包含两张人脸图片(待检测人脸图像以及检索到的人脸图片)、相似度、用户 属性信息等。

因此，在一种可选方式中，在根据比对检索得到识别结果之后，还包括：输 出用户的至少一个人脸识别结果；检测基于至少一个人脸识别结果的用户指令， 所述用户指令用于表征对应的人脸识别结果是否正确。并且，在进行检测之后， 还可包括：输出显示基于用户指令对人脸识别结果检测后的正确人脸识别结果； 输出显示正确人脸识别结果包括：输出显示检测后正确的所述相似度值、所述目 标预存人像、所述目标预存人像所属的人像数据库、所述目标预存人像对应的用 户属性信息中的任意一项或任意组合。

参见图3，为本发明实施例中人脸融合识别方法实现过程示意图。首先获取 到同一个用户的多张人脸图像1、2、……、n；然后对这多张人脸图像分别进行 人脸特征提取得到人脸特征1、2、……、n；接着对这多个人脸特征进行融合得 到融合特征；随后将融合人脸特征与人脸数据库的人脸图像进行人脸比对检索， 得到输出结果；为了提高准确性可进一步对输出结果进行人工研判，得到最终的 更为准确的识别结果。

可见，相对于现有技术中仅支持“清晰图片搜清晰图片”的传统人脸检索方 式，本发明实施例使用多帧融合方法将同一人的多张人脸图片进行特征融合，再 进行检索比对，相比于现有方式，无需进行复杂的图像处理，即可改善待验证人 人脸图片模糊、分辨率低、侧脸等问题。在识别过程中，使用融合了多张人脸图 像特征的融合特征进行检索，并仅输出相似度在某个阈值以上的人脸比对结果， 可解决单张图片检索比对准确度低、实战效果差等问题；同时可提高模糊、分辨 率低、侧脸图片的检索结果准确度。

本发明实施例应用场景广泛。例如：可利用同一嫌疑人的多张模糊视频帧图 像进行人脸比对检索，调查嫌疑人的真实身份；再如利用同一嫌疑人的多种来源 的不同图像进行人脸比对检索，调查嫌疑人的真实身份。本发明实施例可应用在 智能视频分析、安防监控等方面。

需要说明的是本发明实施例思路除了应用在人脸识别中，本发明的“图像特 征融合识别”在遥感、医学影像、计算机视觉等领域都有广泛应用。例如同一车 牌多张模糊图像融合后可以得到更清晰的图片；高分辨率的全色遥感影像和彩色 的多光谱遥感影像融合后可以得到高分辨率的多光谱遥感影像。

图4为本发明人脸融合识别装置一个实施例的结构示意图。该实施例的装置 可用于实现本发明上述各方法实施例。如图4所示，该实施例的装置包括:

图像获取单元401，用于从视频帧序列中获取同一个用户的多张人脸图像；

特征提取单元402，用于对所述多张人脸图像的每张人脸图像进行特征提取， 得到多张人脸图像对应的多个人脸特征；

特征融合单元403，用于将所述多个人脸特征进行融合处理，得到融合人脸 特征；

人脸识别单元404，用于基于所述融合人脸特征，对所述用户进行人脸识别。

在一种可选的方式中：所述视频帧序列为实时监控视频中的帧序列或录制视 频中的帧序列；所述实时监控视频包括安全检查监控视频、公共场合监控视频、 门禁监控视频中的任意一种或组合。

图5为本发明人脸融合识别装置另一个实施例的结构示意图。该实施例的装 置可用于实现本发明上述各方法实施例。如图5所示，该实施例的装置包括:

图像获取单元501，用于从视频帧序列中获取同一个用户的多张人脸图像；

特征提取单元502，用于对所述多张人脸图像的每张人脸图像进行特征提取， 得到多张人脸图像对应的多个人脸特征；

特征融合单元503，用于将所述多个人脸特征进行融合处理，得到融合人脸 特征；

人脸识别单元504，用于基于所述融合人脸特征，对所述用户进行人脸识别。

在一种可选的方式中，该装置还包括：

图像过滤单元505，用于获取所述多张人脸图像的质量，过滤掉质量分值低 于预置的图像质量最低阈值的人脸图像，得到过滤后人脸图像集；其中，所述特 征提取单元502是对所述过滤后人脸图像集中的每张人脸图像进行特征提取；所 述特征融合单元503是针对过滤后人脸图像集中的每张人脸图像的特征进行特征 融合。

在一种可选的方式中，所述图像过滤单元505包括：

质量检测子单元5051，用于检测各张人脸图像中人脸大小、人脸姿态角度、 人脸面部信息完整度、图片模糊程度、图片亮度、图片对比度，图片背景环境， 和/或，是否为彩色图像；

质量评分子单元5052，用于根据检测结果，计算各张人脸图像的质量分值；

质量比较子单元5053，用于将所述各张人脸图像的质量分值与预置的图像质 量最低阈值进行比较；

过滤执行子单元5054，用于过滤掉质量分值低于所述最低阈值的人脸图像。

在一种可选的方式中，所述特征融合单元503包括：

特征量化子单元5031，用于将多个人脸特征进行量化为多个人脸特征向量；

特征向量计算子单元5032，用于将这多个人脸特征向量进行融合计算，得到 融合人脸特征。

在一种可选的方式中，所述特征向量计算子单元5032具体用于：

基于各个人脸特征向量各分量的平均值或加权平均值，得到表征融合人脸特 征的融合人脸特征向量；或，

基于各个人脸特征向量各分量的最大值或最小值，得到表征融合人脸特征的 融合人脸特征向量；或，

基于深度学习算法对所述多个人脸特征向量进行计算，得到表征融合人脸特 征的融合人脸特征向量；或，

将各个人脸特征向量各分量进行拼接，得到表征融合人脸特征的融合人脸特 征向量。

在一种可选的方式中，所述人脸识别单元504包括：

相似度检测子单元5041，用于将所述融合人脸特征与人像数据库中各预存人 像的人脸特征之间进行相似度检测，得到与所述融合人脸特征之间的相似度高于 相似度阈值的预存人像作为目标预存人像；其中，所述人像数据库中包括至少一 个所述预存人像；

识别结果确定子单元5042，用于将至少一个所述目标预存人像作为所述用户 的人脸识别结果。

在一种可选的方式中，所述人脸识别结果包括：所述相似度值、所述目标预 存人像、所述目标预存人像所属的人像数据库、所述目标预存人像对应的用户属 性信息中的任意一项或任意组合。

在一种可选的方式中，还包括：

识别结果输出单元506，用于输出所述用户的至少一个人脸识别结果；

检测单元507，用于检测基于所述至少一个人脸识别结果的用户指令，所述 用户指令用于表征对应的人脸识别结果是否正确。

在一种可选的方式中，还包括：

检测结果输出单元508，用于输出显示基于所述用户指令对人脸识别结果检 测后的正确人脸识别结果；其中，输出显示所述正确人脸识别结果包括：输出显 示检测后正确的所述相似度值、所述目标预存人像、所述目标预存人像所属的人 像数据库、所述目标预存人像对应的用户属性信息中的任意一项或任意组合。

在一种可选的方式中，所述视频帧序列为实时监控视频中的帧序列或录制视 频中的帧序列；所述实时监控视频包括安全检查监控视频、公共场合监控视频、 门禁监控视频中的任意一项或任意组合。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机 (PC)、平板电脑、服务器等。下面参考图6，其示出了适于用来实现本申请实 施例的终端设备或服务器的电子设备600的结构示意图：如图6所示，计算机系 统600包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或 多个中央处理单元(CPU)601，和/或一个或多个图像处理器(GPU)613等， 处理器可以根据存储在只读存储器(ROM)602中的可执行指令或者从存储部分 608加载到随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作 和处理。通信部612可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，

处理器可与只读存储器602和/或随机访问存储器630中通信以执行可执行指 令，通过总线604与通信部612相连、并经通信部612与其他目标设备通信，从 而完成本申请实施例提供的任一项方法对应的操作，例如，从实时监控的视频帧 中获取同一个用户的多张人脸图像；对所述多张人脸图像的每张人脸图像进行特 征提取，得到多张人脸图像对应的多个人脸特征；将所述多个人脸特征进行融合 处理，得到融合人脸特征；基于所述融合人脸特征，对所述用户进行人脸识别。

此外，在RAM 603中，还可存储有装置操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。在有RAM603的情况下，ROM602 为可选模块。RAM603存储可执行指令，或在运行时向ROM602中写入可执行指 令，可执行指令使处理器601执行上述通信方法对应的操作。输入/输出(I/O) 接口605也连接至总线604。通信部612可以集成设置，也可以设置为具有多个 子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸 如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包 括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的 通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610 也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半 导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程 序根据需要被安装入存储部分608。

需要说明的，如图6所示的架构仅为一种可选实现方式，在具体实践过程中， 可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在 不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和 CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设 置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范 围。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计 算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地 包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方 法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指 令，例如，接收待检测证件的或视频；对待检测证件的图片或视频进行处理后， 得到待检测证件图像；对待检测证件图像进行特征提取，得到多个类别的特征信 息；根据所述多个类别的特征信息进行证件伪造识别，得到所述证件的识别结果。 在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装， 和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执 行时，执行本申请的方法中限定的上述功能。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以 通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介 质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包 括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固 件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法 的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述 的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施 为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可 读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。 本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明 限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。 选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普 通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施 例。

Claims (10)

1.一种人脸融合识别方法，其特征在于，所述方法包括：

从视频帧序列中获取同一个用户的多张人脸图像；

对所述多张人脸图像的每张人脸图像进行特征提取，得到多张人脸图像对应的多个人脸特征；

将所述多个人脸特征进行融合处理，得到融合人脸特征；

基于所述融合人脸特征，对所述用户进行人脸识别。

2.根据权利要求1所述的方法，其特征在于，在所述获取同一个用户的多张人脸图像之后，还包括：

获取所述多张人脸图像的质量，过滤掉人脸图像质量分值低于预置的图像质量最低阈值的人脸图像，得到过滤后人脸图像集；

所述对所述多张人脸图像的每张人脸图像进行特征提取，得到多张人脸图像对应的多个人脸特征；将所述多个人脸特征进行融合处理，得到融合人脸特征，包括：

对所述过滤后人脸图像集中的每张人脸图像进行特征提取，得到分别对应的多个人脸特征；将所述多个人脸特征进行融合处理，得到所述融合人脸特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述多张人脸图像进行质量判断，过滤掉质量低的人脸图像，包括：

检测各张人脸图像中人脸大小、人脸姿态角度、人脸面部信息完整度、图片模糊程度、图片亮度、图片对比度，图片背景环境，和/或，是否为彩色图像；

根据检测结果，计算各张人脸图像的质量分值；

将所述各张人脸图像的质量分值与预置的图像质量最低阈值进行比较；

过滤掉质量分值低于所述最低阈值的人脸图像。

4.根据权利要求1所述的方法，其特征在于，所述将所述多个人脸特征进行融合处理，包括：

将多个人脸特征进行量化为多个人脸特征向量；将这多个人脸特征向量进行融合计算，得到融合人脸特征。

5.根据权利要求4所述的方法，其特征在于，所述将这多个人脸特征向量进行融合计算，得到融合人脸特征，包括：

基于各个人脸特征向量各分量的平均值或加权平均值，得到表征融合人脸特征的融合人脸特征向量；或，

基于各个人脸特征向量各分量的最大值或最小值，得到表征融合人脸特征的融合人脸特征向量；或，

基于深度学习算法对所述多个人脸特征向量进行计算，得到表征融合人脸特征的融合人脸特征向量；或，

将各个人脸特征向量各分量进行拼接，得到表征融合人脸特征的融合人脸特征向量。

6.根据权利要去1所述的方法，其特征在于，所述基于所述融合人脸特征，对所述用户进行人脸识别，包括：

对所述融合人脸特征与人像数据库中各预存人像的人脸特征之间进行相似度检测，得到与所述融合人脸特征之间的相似度高于相似度阈值的预存人像作为目标预存人像；其中，所述人像数据库中包括至少一个所述预存人像；

将至少一个所述目标预存人像作为所述用户的人脸识别结果。

7.根据权利要求6所述的方法，其特征在于，所述人脸识别结果包括：所述相似度值、所述目标预存人像、所述目标预存人像所属的人像数据库、所述目标预存人像对应的用户属性信息中的任意一项或任意组合。

8.一种人脸融合识别装置，其特征在于，所述装置包括：

图像获取单元，用于从视频帧序列中获取同一个用户的多张人脸图像；

特征提取单元，用于对所述多张人脸图像的每张人脸图像进行特征提取，得到多张人脸图像对应的多个人脸特征；

特征融合单元，用于将所述多个人脸特征进行融合处理，得到融合人脸特征；

人脸识别单元，用于基于所述融合人脸特征，对所述用户进行人脸识别。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。