CN117011901B - 人脸识别方法、装置、设备、存储介质及计算机程序产品 - Google Patents
人脸识别方法、装置、设备、存储介质及计算机程序产品Info
- Publication number
- CN117011901B CN117011901B CN202210456033.1A CN202210456033A CN117011901B CN 117011901 B CN117011901 B CN 117011901B CN 202210456033 A CN202210456033 A CN 202210456033A CN 117011901 B CN117011901 B CN 117011901B
- Authority
- CN
- China
- Prior art keywords
- face
- target
- faces
- initial
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开一种人脸识别方法、装置、设备、存储介质及计算机程序产品,其相关实施例可应用于云技术、人工智能、智慧交通及自动驾驶等场景。方法包括:获取N个初始人脸以及每个初始人脸对应的K个相似人脸的类别标签;从N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值;基于M个目标人脸构建图网络;通过图网络对获取到的每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率进行处理,得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率;基于人脸识别概率识别各个目标人脸所属的人脸类别;可提高人脸识别准确性。
Description
技术领域
本申请涉及人工智能领域,尤其涉及一种人脸识别方法、装置、设备、存储介质及计算机程序产品。
背景技术
在对待识别的多个人脸进行人脸识别时,通常可以提取待识别的多个人脸的人脸特征,以及提取人脸检索库中多个参考人脸的人脸特征,针对待识别的多个人脸中的任一人脸,可以通过对比该人脸的人脸特征与各个参考人脸的人脸特征,从多个参考人脸中确定出与该人脸最相似的参考人脸,并将与该人脸最相似的参考人脸所属的人脸类别确定为该人脸所属的人脸类别,直至识别得到待识别的多个人脸中,各个人脸所属的人脸类别。在现有方法中,当待识别的多个人脸存在关联关系时,没有对多个人脸之间的关联关系进行有效利用,导致人脸识别准确性低。
发明内容
本申请实施例提供一种人脸识别方法、装置、设备、存储介质及计算机程序产品,可提高人脸识别准确性。
一方面,本申请实施例提供了一种人脸识别方法,包括:
获取待识别的N个初始人脸以及所述N个初始人脸中每个初始人脸对应的K个相似人脸的类别标签;N和K均为正整数,且N≥2;
从所述N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,M为小于或等于N的正整数;
基于所述M个目标人脸构建图网络;所述图网络中任一条边用于指示:所述任一条边所对应的两个目标人脸之间的人脸特征相似度;
获取所述M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;并通过所述图网络对所述每个目标人脸对应的C个初始识别概率进行处理得到所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的人脸识别概率;C为正整数;
将所述每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为所述每个目标人脸所属的人脸类别。
一方面,本申请实施例提供了一种人脸识别装置,包括:
获取单元,用于获取待识别的N个初始人脸以及所述N个初始人脸中每个初始人脸对应的K个相似人脸的类别标签;N和K均为正整数,且N≥2;
处理单元,用于从所述N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,M为小于或等于N的正整数;
所述处理单元,还用于基于所述M个目标人脸构建图网络;所述图网络中任一条边用于指示:所述任一条边所对应的两个目标人脸之间的人脸特征相似度;
所述处理单元,还用于获取所述M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;并通过所述图网络对所述每个目标人脸对应的C个初始识别概率进行处理得到所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的人脸识别概率;C为正整数;
所述处理单元,还用于将所述每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为所述每个目标人脸所属的人脸类别。
一方面,本申请实施例提供了一种人脸识别设备,其特征在于,所述人脸识别设备包括输入接口和输出接口,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行上述人脸识别方法。
一方面,本申请实施例提供了一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行上述人脸识别方法。
一方面,本申请实施例提供了一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序存储在计算机存储介质中;人脸识别设备的处理器从计算机存储介质中读取该计算机程序,处理器执行该计算机程序,使得人脸识别设备执行上述人脸识别方法。
本申请实施例中,可以获取待识别的N个初始人脸以及每个初始人脸对应的K个相似人脸的类别标签,并从N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值;进而可以基于M个目标人脸构建图网络,获取M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;并通过图网络对每个目标人脸对应的C个初始识别概率进行处理得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率;然后可以将每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为每个目标人脸所属的人脸类别。其中,由于从N个初始人脸中确定出的M个目标人脸中,任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,可以确保用于构建图网络的各个目标人脸为N个初始人脸中单点一致性强的初始人脸,可以提高所构建的图网络的稳定性,进而提升对于各个目标人脸的人脸识别准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种人脸识别方法的流程示意图;
图2是本申请实施例提供的一种确定目标人脸的示意图;
图3是本申请实施例提供的一种确定目标人脸对应的初始识别概率的示意图;
图4是本申请实施例提供的一种表征局部一致性和全局一致性的示意图;
图5是本申请实施例提供的另一种人脸识别方法的流程示意图;
图6是本申请实施例提供的一种确定第i个目标人脸与第j个目标人脸所对应的相似度权重的示意图;
图7是本申请实施例提供的一种人脸识别装置的结构示意图;
图8是本申请实施例提供的一种人脸识别设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术(Computer Vision,CV)、语音处理技术、自然语言处理技术以及机器学习(Machine Learning,ML)/深度学习(Deep Learning,DL)等几大方向。
其中,计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、确定和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维(3-dimensional,3D)技术、三维物体重建、虚拟现实、增强现实、同步定位与地图构建、人脸识别、其他生物特征识别(例如指纹识别、虹膜识别)等技术,等等。
基于上述所提及的计算机视觉技术中的人脸识别技术,本申请实施例提供了一种人脸识别方案,可以获取待识别的N个初始人脸以及每个初始人脸对应的K个相似人脸的类别标签,并从N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值;进而可以基于M个目标人脸构建图网络,获取M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;并通过图网络对每个目标人脸对应的C个初始识别概率进行处理得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率;然后可以将每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为每个目标人脸所属的人脸类别;其中,N、K、M以及C均为正整数,且N≥2,M≤N,K可以根据具体需求进行设定。可选的,待识别的N个初始人脸可以为基于合法渠道获取的人脸;进一步的,待识别的N个初始人脸可以为存在关联关系的人脸,例如,从同一个视频中提取得到的人脸可以被认为是存在关联关系的人脸,从一个摄影集中提取得到的人脸可以被认为是存在关联关系的人脸,等等;本申请实施例以待识别的N个初始人脸为从同一个视频中提取得到的人脸进行阐述,即以对视频中人脸进行人脸识别的相关过程进行阐述。
本申请实施例提出的人脸识别方案可适用于对存在关联关系的多个人脸进行人脸识别,可以从存在关联关系的N个初始人脸中确定出M个初始人脸作为目标人脸,并基于M个目标人脸构建图网络,进而基于图网络识别每个目标人脸所属的人脸类别,以实现对每个目标人脸的人脸识别;其中,从N个初始人脸中确定出的M个目标人脸中,任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,可以确保用于构建图网络的各个目标人脸为N个初始人脸中单点一致性强的初始人脸,可以提高所构建的图网络的稳定性,进而提升对于各个目标人脸的人脸识别准确性。而N个初始人脸中单点一致性弱的初始人脸,通常为模糊人脸或侧脸角度过大的人脸,模糊人脸或侧脸角度过大的人脸通常难以被识别,基于其构建图网络会影响图网络的稳定性,进而导致对正常人脸的人脸识别准确性降低,所以,可以直接将N个初始人脸中单点一致性弱的初始人脸作为噪声舍弃。
其中,单点一致性可以是用于衡量待识别的初始人脸是否为噪声的指标,单点一致性强的初始人脸被认为是需要被保留的正常人脸,单点一致性弱的初始人脸被认为是需要被舍弃的噪声。单点一致性可以用于指示与单个人脸相似的多个相似人脸是否多属于同一个人,若与单个人脸相似的多个相似人脸多属于同一个人,则认为该单个人脸的单点一致性强,若与单个人脸相似的多个相似人脸多属于不同的人,则认为该单个人脸的单点一致性弱;在本申请实施例中,为了识别人脸所属人脸类别,则单点一致性可以通过与单个人脸相似的多个相似人脸是否多属于同一个人脸类别来衡量;由于相似人脸的类别标签可以用于指示相似人脸所属人脸类别,所以本申请实施例提出的人脸识别方案中,在初始人脸对应的K个类别标签中,若存在相同类别标签的数量大于第一预设数量阈值,则可以将该初始人脸确定为单点一致性强的初始人脸,进而将该初始人脸作为目标人脸进行保留。
在具体实现中,本申请提出的人脸识别方案可以由人脸识别设备执行,该人脸识别设备可以为终端设备或者服务器;此处的终端设备可包括但不限于:计算机、智能手机、平板电脑、笔记本电脑、智能语音交互设备、智能家电、车载终端、智能可穿戴设备等;此处的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
特别需要说明的是,在本申请的具体实施方式中,涉及到用户相关的数据,例如用户的人脸等,当本申请实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守当地法律法规和标准。
基于上述人脸识别方案,本申请实施例提供了一种人脸识别方法。参见图1,为本申请实施例提供的一种人脸识别方法的流程示意图。图1所示的人脸识别方法可由人脸识别设备执行。图1所示的人脸识别方法可包括如下步骤:
S101,获取待识别的N个初始人脸以及N个初始人脸中每个初始人脸对应的K个相似人脸的类别标签。
其中,待识别的N个初始人脸可以为基于合法渠道获取的人脸;进一步的,待识别的N个初始人脸可以为存在关联关系的人脸,例如,可以为从同一个视频中提取得到的人脸,N为正整数,且N≥2。N个初始人脸中任一初始人脸对应的K个相似人脸可以是指:从多个参考人脸中确定出的与该任一初始人脸相似的K个参考人脸,该多个参考人脸可以是人脸检索库中存储的人脸,K为正整数,可以根据具体需求对K进行设定,例如K可以为3、5等等,本申请实施例后续以K=5进行阐述。N个初始人脸中任一初始人脸对应的K个类别标签可以用于指示:与任一初始人脸相似的K个相似人脸中,各个相似人脸所属的人脸类别;其中,一个相似人脸所属的人脸类别为多个预设人脸类别中的一个,多个预设人脸类别可以是根据具体需求进行设定的,例如,在人名实体打标签的应用场景中,预设人脸类别可以为用于指示用户的用户身份的身份类别。
在一个实施例中,初始人脸对应的K个相似人脸(即与初始人脸相似的K个相似人脸)可以是基于K最近邻算法(即K-Nearest Neighbor,KNN)从多个参考人脸中确定出的,人脸识别设备在获取到待识别的N个初始人脸之后,可以遍历N个初始人脸,基于当前遍历的目标初始人脸的人脸特征,以及多个参考人脸中各个参考人脸的人脸特征,确定目标初始人脸与各个参考人脸之间的人脸特征相似度;从多个参考人脸中确定出K个参考人脸作为与目标初始人脸相似的相似人脸,直至确定出N个初始人脸中每个初始人脸对应的K个相似人脸;其中,目标初始人脸和与目标初始人脸相似的K个相似人脸之间的人脸特征相似度,均大于或等于目标初始人脸与多个参考人脸中除K个相似人脸外剩余的各个参考人脸之间的人脸特征相似度。
在一种可行的实施方式中,人脸识别设备可以基于当前遍历的目标初始人脸的人脸特征,以及多个参考人脸中各个参考人脸的人脸特征,确定目标初始人脸的人脸特征与各个参考人脸的人脸特征之间的余弦相似度,并将目标初始人脸的人脸特征与各个参考人脸的人脸特征之间的余弦相似度,确定为目标初始人脸与各个参考人脸之间的人脸特征相似度。在另一种可行的实施方式中,人脸识别设备还可以基于目标初始人脸的人脸特征,与各个参考人脸的人脸特征之间的特征距离(例如欧式距离)确定目标初始人脸与各个参考人脸之间的人脸特征相似度。
进一步的,人脸识别设备从多个参考人脸中确定出K个参考人脸作为与目标初始人脸相似的相似人脸时,可以将多个参考人脸,按照目标初始人脸与各个参考人脸之间的人脸特征相似度从大到小进行排列时,排列在前K个的参考人脸,作为与目标初始人脸相似的相似人脸。可选的,当多个参考人脸中存在人脸特征相似度相同的参考人脸时,可以将人脸特征相似度相同的参考人脸进行随机排列。
S102,从N个初始人脸中确定出M个初始人脸作为目标人脸。
其中,M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,M为小于或等于N的正整数,可以根据具体需求对第一预设数量阈值进行设定。具体实现中,针对N个初始人脸中的任一初始人脸,若该任一初始人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,则将该任一初始人脸作为目标人脸,此时,该任一初始人脸为单点一致性强的初始人脸。
举例来说,参见图2,为本申请实施例提供的一种确定目标人脸的示意图,若多个预设人脸类别分别为:类别A、类别B、类别C、类别D、类别E、类别F、类别G以及类别H,分别指示用户A、用户B、用户C、用户D、用户E、用户F、用户G以及用户H,用于表征各个人脸类别的类别标签分别为:A、B、C、D、E、F、G以及H;若存在两个初始人脸,第1个初始人脸在图2中如201标记所示,第2个初始人脸在图2中如202标记所示;若从多个参考人脸中确定出与各个初始人脸相似的5个相似人脸,即K=5,与第1个初始人脸相似的5个相似人脸如图2中203标记所示,与第2个初始人脸相似的5个相似人脸如图2中204标记所示;若第1个初始人脸对应的5个类别标签中第1个类别标签至第5个类别标签分别为:A、A、A、A、B,表示与第1个初始人脸相似的5个相似人脸中,第1个相似人脸至第4个相似人脸均为用户A的人脸,第5个相似人脸为用户B的人脸;第2个初始人脸对应的5个类别标签中第1个类别标签至第5个类别标签分别为:B、B、B、C、C,表示与第2个初始人脸相似的5个相似人脸中,第1个相似人脸至第3个相似人脸均为用户B的人脸,第4个相似人脸至第5个相似人脸为用户C的人脸;若第一预设数量阈值为3,则针对第1个初始人脸,第1个初始人脸对应的5个类别标签中,相同类别标签为A,数量为4个,则可以将第1个初始人脸作为目标人脸;针对第2个初始人脸,第2个初始人脸对应的5个类别标签中,相同类别标签为B以及C,数量分别为3个以及2个,则可以将第2个初始人脸确定为需要被舍弃的噪声,此时该第2个初始人脸为单点一致性弱的初始人脸。
S103,基于M个目标人脸构建图网络。
其中,图网络中的一个节点用于指示一个目标人脸以及该一个目标人脸的人脸特征,图网络中任一条边用于指示:任一条边所对应的两个目标人脸之间的人脸特征相似度,基于M个目标人脸构建的图网络为无向图;采用从待识别的N个初始人脸中,确定出的单点一致性强的M个目标人脸构建图网络,可以提高所构建的图网络的稳定性,进而提升对于各个目标人脸的人脸识别准确性。
在一个实施例中,人脸识别设备基于M个目标人脸构建图网络,可以包括:遍历M个目标人脸,基于M个目标人脸中,任意两个目标人脸的人脸特征,确定任意两个目标人脸之间的人脸特征相似度;基于任意两个目标人脸之间的人脸特征相似度,确定任意两个目标人脸所对应的相似度权重,直至得到M个目标人脸中,每两个目标人脸所对应的相似度权重;构建相似度权重大于零的任意两个目标人脸所对应的边;基于每个目标人脸、每个目标人脸的人脸特征以及相似度权重大于零的任意两个目标人脸所对应的边,构建图网络。在一种可行的实施方式中,基于M个目标人脸构建的图网络可以为完全图;此时,人脸识别设备基于M个目标人脸中,任意两个目标人脸的人脸特征,确定任意两个目标人脸之间的人脸特征相似度的相关过程可以由以下公式1示出:
其中,wij可以表示M个目标人脸中第i个目标人脸与第j个目标人脸之间的人脸特征相似度,i,j≤M且i≠j,xi可以表示第i个目标人脸的人脸特征,xj可以表示第j个目标人脸的人脸特征,σ为超参,可以根据具体需求进行设定。
进一步的,人脸识别设备可以基于任意两个目标人脸之间的人脸特征相似度,确定任意两个目标人脸所对应的相似度权重,直至得到M个目标人脸中,每两个目标人脸所对应的相似度权重;具体实现中,人脸识别设备可以将任意两个目标人脸之间的人脸特征相似度,作为该任意两个目标人脸所对应的相似度权重,直至得到M个目标人脸中,每两个目标人脸所对应的相似度权重,第i个目标人脸与第j个目标人脸所对应的相似度权重可以用Wij表示;若通过矩阵表示M个目标人脸中,每两个目标人脸所对应的相似度权重,由M个目标人脸中,每两个目标人脸所对应的相似度权重构成的相似度权重矩阵中,对角线元素值为0,即当i=j时,Wij=0;当i≠j时,即第i个目标人脸与第j个目标人脸所对应的相似度权重为第i个目标人脸与第j个目标人脸之间的人脸特征相似度,此时相似度权重矩阵为对称矩阵,即当i≠j时,Wij=Wji。
进一步的,人脸识别设备可以构建相似度权重大于零的任意两个目标人脸所对应的边,并基于每个目标人脸、每个目标人脸的人脸特征以及相似度权重大于零的任意两个目标人脸所对应的边,构建图网络;也就是说,人脸识别设备可以将目标人脸以及目标人脸的人脸特征作为节点,并基于相似度权重大于零的任意两个目标人脸所对应的边,构建图网络。举例来说,若从N个初始人脸中确定出7个目标人脸,即M=7,第1个目标人脸及其人脸特征被作为节点1、第2个目标人脸及其人脸特征被作为节点2、第3个目标人脸及其人脸特征被作为节点3、第4个目标人脸及其人脸特征被作为节点4、第5个目标人脸及其人脸特征被作为节点5、第6个目标人脸及其人脸特征被作为节点6、第7个目标人脸及其人脸特征被作为节点7,则基于M个目标人脸构建的图网络中节点1与节点2之间的边所对应的相似度权重为 其他节点之间边所对应的相似度权重以此类推。
S104,获取M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率。
在一个实施例中,C个人脸类别可以是从M个目标人脸对应的类别标签所指示的人脸类别中确定出的;也就是说,人脸识别设备所确定出的C个人脸类别可以为:M个目标人脸对应的所有类别标签所指示的人脸类别,C为正整数。可选的,人脸识别设备所确定出的C个人脸类别也可以为多个预设人脸类别中所包括的所有人脸类别。举例来说,若多个预设人脸类别分别为:类别A、类别B、类别C、类别D、类别E、类别F、类别G以及类别H,分别指示用户A、用户B、用户C、用户D、用户E、用户F、用户G以及用户H,用于表征各个人脸类别的类别标签分别为:A、B、C、D、E、F、G以及H;若从N个初始人脸中确定出7个目标人脸,即M=7,第1个目标人脸对应的K个类别标签分别为:A、A、A、A、B,第2个目标人脸对应的K个类别标签分别为:A、A、A、A、A,第3个目标人脸对应的K个类别标签分别为:A、A、A、B、A,第4个目标人脸对应的K个类别标签分别为:B、B、B、B、B,第5个目标人脸对应的K个类别标签分别为:B、B、B、B、C,第6个目标人脸对应的K个类别标签分别为:C、C、C、C、D,第7个目标人脸对应的K个类别标签分别为:D、D、D、D、E;则确定出的C个人脸类别可以为:类别A、类别B、类别C、类别D以及类别E,此时C=5,或者确定出的C个人脸类别可以为:类别A、类别B、类别C、类别D、类别E、类别F、类别G以及类别H,此时C=8。由于将M个目标人脸对应的所有类别标签所指示的人脸类别确定为C个人脸类别,相较于将多个预设人脸类别中所包括的所有人脸类别确定为C个人脸类别,能减小数据量以及计算复杂度,所以本申请实施例后续皆以将M个目标人脸对应的所有类别标签所指示的人脸类别确定为C个人脸类别进行介绍。
具体实现中,人脸识别设备获取M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率,可以包括:获取M个目标人脸中每个目标人脸对应的K个第一相似度;遍历M个目标人脸,若当前遍历的第i个目标人脸对应的K个类别标签中,包含了指示C个人脸类别中任一人脸类别的目标类别标签,则基于包含的目标类别标签的数量以及各个目标类别标签所对应的第一相似度的大小关系,确定第i个目标人脸被识别为任一人脸类别的初始识别概率;i为小于或等于M的正整数;若第i个目标人脸对应的K个类别标签中,不包含目标类别标签,则将第i个目标人脸被识别为任一人脸类别的初始识别概率确定为零;直至得到每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;其中,M个目标人脸中,任一目标人脸对应的K个第一相似度指的是:任一目标人脸和与任一目标人脸相似的K个相似人脸之间的人脸特征相似度;也就是说,任一目标人脸对应的K个第一相似度指的是:该任一目标人脸与该任一目标人脸对应的K个相似人脸之间的人脸特征相似度;一个目标人脸对应的K个第一相似度与K个类别标签一一对应。
进一步的,人脸识别设备基于包含的目标类别标签的数量以及各个目标类别标签所对应的第一相似度的大小关系,确定第i个目标人脸被识别为任一人脸类别的初始识别概率,可以包括:若目标类别标签的数量为K,则将第i个目标人脸被识别为任一人脸类别的初始识别概率确定为1;若目标类别标签的数量小于K,则将各个目标类别标签所对应的第一相似度中,最大第一相似度确定为第i个目标人脸被识别为任一人脸类别的初始识别概率。
具体实现中,以确定M个目标人脸中第i个目标人脸被识别为C个人脸类别中第c个人脸类别的初始识别概率为例,c≤C;参见图3,为本申请实施例提供的一种确定目标人脸对应的初始识别概率的示意图,若第i个目标人脸对应的K个类别标签中,包含了指示第c个人脸类别的目标类别标签,那么,若目标类别标签的数量为K,即当第i个目标人脸对应的K个类别标签全为指示第c个人脸类别的目标类别标签时,则将第i个目标人脸被识别为第c个人脸类别的初始识别概率确定为1;若目标类别标签的数量小于K,即当第i个目标人脸对应的K个类别标签不全为指示第c个人脸类别的目标类别标签时,则将各个目标类别标签所对应的第一相似度中,最大第一相似度确定为第i个目标人脸被识别为第c个人脸类别的初始识别概率;若第i个目标人脸对应的K个类别标签中,不包含目标类别标签,则将第i个目标人脸被识别为第c个人脸类别的初始识别概率确定为零。
举例来说,若从N个初始人脸中确定出7个目标人脸,即M=7,分别为上述步骤S104中所示的7个目标人脸,其中,第1个目标人脸对应的K个类别标签分别为:A、A、A、A、B,第2个目标人脸对应的K个类别标签分别为:A、A、A、A、A,若第1个目标人脸对应的K个第一相似度分别为:0.98、0.97、0.96、0.95、0.80,第2个目标人脸对应的K个第一相似度分别为:0.97、0.95、0.93、0.92、0.90;若确定出的C个人脸类别分别为:类别A、类别B、类别C、类别D以及类别E,此时C=5,则第1个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率分别为:0.98、0.80、0、0、0,第2个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率分别为:1、0、0、0、0。
在一个实施例中,若通过矩阵表示M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率,若用Y表示由每个目标人脸对应的C个初始识别概率构成的初始识别概率矩阵,用Yic表示第i个目标人脸被识别为第c个人脸类别的初始识别概率;若用Qc表示C个人脸类别中第c个人脸类别的类别标签,c≤C,用kti表示第i个目标人脸对应的K个类别标签,第i个目标人脸对应的K个类别标签中第k个类别标签可以表示为ktik,k<K用ksi表示第i个目标人脸对应的K个第一相似度,第i个目标人脸对应的K个第一相似度中第k个第一相似度可以表示为ksik,ksik与ktik对应;那么,若第i个目标人脸对应的K个类别标签中,包含了指示第c个人脸类别的目标类别标签,即kti中包含了指示第c个人脸类别的目标类别标签,那么,若目标类别标签的数量为K,即当第i个目标人脸对应的K个类别标签全为指示第c个人脸类别的目标类别标签时,Yic=1;若目标类别标签的数量小于K,即当第i个目标人脸对应的K个类别标签不全为指示第c个人脸类别的目标类别标签时,其中,i≤M,c≤C,ktik=Qc表示第i个目标人脸对应的K个类别标签中第k个类别标签与C个人脸类别中第c个人脸类别的类别标签相等;若第i个目标人脸对应的K个类别标签中,不包含目标类别标签,则Yic=0。
S105,通过图网络对每个目标人脸对应的C个初始识别概率进行处理得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率。
在一个实施例中,人脸识别设备通过图网络对每个目标人脸对应的C个初始识别概率进行处理得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率时,可以将每个目标人脸对应的C个初始识别概率输入至图网络中,基于图网络中的每条边以及每个目标人脸对应的C个初始识别概率在图网络中进行迭代传播,得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率。具体的,人脸识别设备可以将每个目标人脸对应的C个初始识别概率输入至图网络中,以将各个目标人脸对应的C个初始识别概率初始化为相应节点的标签信息;基于图网络中的每条边以及每个目标人脸对应的C个初始识别概率,将图网络中各个节点的标签信息在图网络中进行迭代传播,以迭代更新各个节点的标签信息,直至图网络达到全局稳定状态,将各个节点迭代更新后的标签信息作为各个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率。
可选的,可以采用局部和全局一致性学习算法(即Learning with Local andGlobal Consistency,LGC)对图网络中各个节点的标签信息进行迭代传播,以得到各个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率;当采用局部和全局一致性学习算法确定每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率,并进而将每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为每个目标人脸所属的人脸类别时,可以保证M个目标人脸的识别结果的局部强一致性,即可以保证M个目标人脸中,人脸特征相似的各个目标人脸的识别结果强相似,即可以保证M个目标人脸中,识别得到的人脸特征相似的各个目标人脸所属的人脸类别多为同一个人脸类别;并且,由于M个目标人脸为存在关联关系的人脸,也可以保证M个目标人脸的识别结果的全局弱一致性,即可以保证M个目标人脸中,所有目标人脸的识别结果中应该有一定的相似,并且有一定的不同。
参见图4,为本申请实施例提供的一种表征局部一致性和全局一致性的示意图,若从N个初始人脸中确定出7个目标人脸,即M=7,分别为上述步骤S104中所示的7个目标人脸,各个目标人脸在图4中如401标记所示的区域内;若该7个目标人脸中,如402标记所示区域内的第1个目标人脸、第2个目标人脸以及第3个目标人脸的人脸特征相似,如403标记所示区域内的第4个目标人脸以及第5个目标人脸的人脸特征相似,则第1个目标人脸、第2个目标人脸以及第3个目标人脸的识别结果应该满足局部强一致性的要求,第4个目标人脸以及第5个目标人脸的识别结果应该满足局部强一致性的要求,7个目标人脸之间应该满足全局弱一致性的要求。
在一个实施例中,通过图网络处理得到的每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率为:基于图网络中的每条边以及每个目标人脸对应的C个初始识别概率在图网络中进行迭代传播的过程中,T次迭代传播的结果,T为正整数;其中,第1次迭代传播的结果是基于每个目标人脸对应的C个初始识别概率得到的,第t+1次迭代传播的结果是基于第t次迭代传播的结果以及每个目标人脸对应的C个初始识别概率得到的,t为小于T的正整数;其中,第t次迭代传播的结果即为图网络中各个节点第t次迭代更新后的标签信息。
具体实现中,人脸识别设备通过图网络基于每个目标人脸对应的C个初始识别概率得到第1次迭代传播的结果的方式,可以包括:采用第一迭代权重参数对由每个目标人脸对应的C个初始识别概率构成的初始识别概率矩阵进行加权运算,得到第1次迭代传播的结果;基于第t次迭代传播的结果以及每个目标人脸对应的C个初始识别概率得到第t+1次迭代传播的结果的方式,可以包括:采用第一迭代权重参数对由每个目标人脸对应的C个初始识别概率构成的初始识别概率矩阵进行加权运算,得到第一中间结果;采用由M个目标人脸中,每两个目标人脸所对应的相似度权重构成的相似度权重矩阵的正则化结果,与第t次迭代传播的结果进行点乘运算,并采用第二迭代权重参数对点乘运算的结果进行加权运算,得到第二中间结果;第二迭代权重参数与第一迭代权重参数相加为1;将第一中间结果与第二中间结果进行求和,得到第t+1次迭代传播的结果。
若用F(t)表示第t次迭代传播的结果,用F(t+1)表示第t+1次迭代传播的结果,则基于第t次迭代传播的结果以及每个目标人脸对应的C个初始识别概率得到第t+1次迭代传播的结果可以由以下公式2.1示出:
F(t+1)=αSF(t)+(1-α)Y (2.1)
其中,S表示由M个目标人脸中,每两个目标人脸所对应的相似度权重构成的相似度权重矩阵的正则化结果,α表示第二迭代权重参数,αSF(t)表示第二中间结果,Y表示由每个目标人脸对应的C个初始识别概率构成的初始识别概率矩阵,(1-α)表示第一迭代权重参数,其中,第一迭代权重参数和第二迭代权重参数可以根据具体需求进行设定,例如可以将第二迭代权重参数设定为0.99,则第一迭代权重参数为0.01。具体实现中,人脸识别设备可以循环计算F(t),直到F(t)收敛,此时图网络达到全局稳定状态。
其中,若用W表示相似度权重矩阵,则相似度权重矩阵的正则化结果可以由以下公式2.2示出:
S=D-1/2WD-1/2 (2.2)
其中,D表示基于相似度权重矩阵确定出的对角矩阵,该对角矩阵中第i行第i列的元素值可以为相似度权重矩阵中第i行的元素值之和,即相似度权重矩阵中第i行中各个相似度权重之和,即可以为M个目标人脸中,第i个目标人脸与各个目标人脸所对应的相似度权重之和,若对角矩阵中第i行第i列的元素值用Di,i表示,则Di,i=∑0<j≤MWij。具体实现中,人脸识别设备可以用相似度权重矩阵左乘对角矩阵的-1/2次,再左乘对角矩阵的-1/2次,得到相似度权重矩阵的正则化结果。
在一个实施例中,若通过T次迭代传播图网络达到稳定状态,则可以将第T次迭代传播的结果作为每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率。此时,第T次迭代传播的结果存在解析解,可以由如下公式2.3示出:
F*=(1-α)(I-αS)-1Y (2.3)
其中,F*可以表示第T次迭代传播的结果,即可以表示由每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率构成的人脸识别概率矩阵,I为单位矩阵。
S106,将每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为每个目标人脸所属的人脸类别。
在一个实施例中,以基于第i个目标人脸对应的C个人脸识别概率,识别第i个目标人脸所属的人脸类别为例,令其中,表示第i个目标人脸被识别为第c个人脸类别的人脸识别概率,则可以将C个人脸类别中,第q个人脸类别识别为第i个目标人脸所属的人脸类别。
本申请实施例中,可以获取待识别的N个初始人脸以及每个初始人脸对应的K个相似人脸的类别标签,并从N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值;进而可以基于M个目标人脸构建图网络,获取M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;并通过图网络对每个目标人脸对应的C个初始识别概率进行处理得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率;然后可以将每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为每个目标人脸所属的人脸类别。其中,由于从N个初始人脸中确定出的M个目标人脸中,任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,可以确保用于构建图网络的各个目标人脸为N个初始人脸中单点一致性强的初始人脸,可以提高所构建的图网络的稳定性,进而提升对于各个目标人脸的人脸识别准确性;并且,将每个目标人脸对应的C个初始识别概率输入至图网络中,采用局部和全局一致性学习算法通过图网络处理得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率,可以充分利用多个目标人脸之间的局部信息和全局信息,确保人脸识别结果的局部强一致性和全局弱一致性。
基于上述实施例,本申请实施例提供了另一种人脸识别方法。参见图5,为本申请实施例提供的另一种人脸识别方法的流程示意图。图5所示的人脸识别方法可由人脸识别设备执行。图5所示的人脸识别方法可包括如下步骤:
S501,获取待识别的N个初始人脸以及N个初始人脸中每个初始人脸对应的K个相似人脸的类别标签。
S502,从N个初始人脸中确定出M个初始人脸作为目标人脸。
其中,步骤S501至步骤S502的相关过程与上述步骤S101至步骤S102的相关过程类似,在此不再赘述。
S503,遍历M个目标人脸,基于M个目标人脸中,任意两个目标人脸的人脸特征,确定任意两个目标人脸之间的人脸特征相似度。
在一个实施例中,基于M个目标人脸构建的图网络可以为KNN图,KNN图通过对人脸特征相似度小于一定阈值的两个目标人脸所对应的边进行适当剪枝,限定了节点传播的范围,可以减小人脸特征相似度较小(即人脸特征差异较大)的目标人脸之间的相互影响。当基于M个目标人脸构建的图网络为KNN图时,人脸识别设备基于M个目标人脸中,任意两个目标人脸的人脸特征,确定任意两个目标人脸之间的人脸特征相似度的相关过程可以由以下公式3示出,为任意两个目标人脸的人脸特征之间的余弦相似度:
其中,wij可以表示M个目标人脸中第i个目标人脸与第j个目标人脸之间的人脸特征相似度,i,j≤M且i≠j,xi可以表示第i个目标人脸的人脸特征,xj可以表示第j个目标人脸的人脸特征。
S504,基于任意两个目标人脸之间的人脸特征相似度,确定任意两个目标人脸所对应的相似度权重,直至得到M个目标人脸中,每两个目标人脸所对应的相似度权重。
具体实现中,人脸识别设备可以获取M个目标人脸中各个目标人脸的参考相似度权重;遍历M个目标人脸,若当前遍历的第i个目标人脸与M个目标人脸中第j个目标人脸之间的人脸特征相似度,大于第i个目标人脸的参考相似度权重,且大于第j个目标人脸的参考相似度权重,则将第i个目标人脸与第j个目标人脸之间的人脸特征相似度,作为第i个目标人脸与第j个目标人脸所对应的相似度权重;其中,i和j为小于或等于M的正整数,i与j不相等;若第i个目标人脸与第j个目标人脸之间的人脸特征相似度,小于或等于第i个目标人脸的参考相似度权重,或小于或等于第j个目标人脸的参考相似度权重,则将第i个目标人脸与第j个目标人脸所对应的相似度权重确定为零;在遍历完成后,得到M个目标人脸中,每两个目标人脸所对应的相似度权重,参见图6,为本申请实施例提供的一种确定第i个目标人脸与第j个目标人脸所对应的相似度权重的示意图;也就是说,若第i个目标人脸的参考相似度权重用pi表示,第j个目标人脸的参考相似度权重用pj表示,在确定第i个目标人脸与第j个目标人脸所对应的相似度权重Wij时,若wij>pi,且wij>pj时,Wij=wij;否则Wij=0。
在一种可行的实施方式中,M个目标人脸中各个目标人脸的参考相似度权重可以为根据具体需求设定的,不同目标人脸的参考相似度权重可以相同也可以不同。可选的,各个目标人脸的参考相似度权重均可以为根据具体需求设定的预设参考相似度权重,此时,第i个目标人脸的参考相似度权重与第j个目标人脸的参考相似度权重相同,均为预设参考相似度权重,若预设参考相似度权重用δ表示,则第i个目标人脸的参考相似度权重pi=δ,第j个目标人脸的参考相似度权重pj=δ。
进一步的,人脸识别设备在确定第i个目标人脸与第j个目标人脸所对应的相似度权重时,若第i个目标人脸与第j个目标人脸之间的人脸特征相似度,大于预设参考相似度权重,则将第i个目标人脸与第j个目标人脸之间的人脸特征相似度,作为第i个目标人脸与第j个目标人脸所对应的相似度权重;若第i个目标人脸与第j个目标人脸之间的人脸特征相似度,小于或等于预设参考相似度权重,则将第i个目标人脸与第j个目标人脸所对应的相似度权重确定为零。举例来说,若预设参考相似度权重被设定为0.61,第i个目标人脸与第j个目标人脸之间的人脸特征相似度为0.9,那么,第i个目标人脸与第j个目标人脸所对应的相似度权重为0.9;由于第i个目标人脸与第j个目标人脸之间的人脸特征相似度为0.9,则第j个目标人脸与第i个目标人脸之间的人脸特征相似度也为0.9,那么,第j个目标人脸与第i个目标人脸所对应的相似度权重也为0.9。若第i个目标人脸与第j个目标人脸之间的人脸特征相似度为0.5,则第j个目标人脸与第i个目标人脸之间的人脸特征相似度也为0.5,那么,第i个目标人脸与第j个目标人脸所对应的相似度权重为0,第j个目标人脸与第i个目标人脸所对应的相似度权重也为0。
举例来说,若从N个初始人脸中确定出7个目标人脸,即M=7,7个目标人脸中任意两个目标人脸之间的人脸特征相似度由以下表1示出:
表1
| 第1个 | 第2个 | 第3个 | 第4个 | 第5个 | 第6个 | 第7个 | |
| 第1个 | 0.96 | 0.96 | 0.8 | 0.82 | 0.7 | 0.5 | |
| 第2个 | 0.96 | 0.94 | 0.82 | 0.84 | 0.71 | 0.52 | |
| 第3个 | 0.96 | 0.94 | 0.86 | 0.85 | 0.7 | 0.54 | |
| 第4个 | 0.8 | 0.82 | 0.86 | 0.9 | 0.5 | 0.7 | |
| 第5个 | 0.82 | 0.84 | 0.85 | 0.9 | 0.52 | 0.73 | |
| 第6个 | 0.7 | 0.71 | 0.7 | 0.5 | 0.52 | 0.6 | |
| 第7个 | 0.5 | 0.52 | 0.54 | 0.7 | 0.73 | 0.6 |
其中,如表1所示的数据中,第1行的数据表示7个目标人脸中,第1个目标人脸与第2个目标人脸至第7个目标人脸中各个目标人脸之间的人脸特征相似度,分别为0.96、0.96、0.8、0.82、0.7、0.5;若预设参考相似度权重被设定为0.61,则得到的M个目标人脸中,每两个目标人脸所对应的相似度权重可以由以下表2示出:
表2
进一步的,若第1个目标人脸及其人脸特征被作为节点1、第2个目标人脸及其人脸特征被作为节点2、第3个目标人脸及其人脸特征被作为节点3、第4个目标人脸及其人脸特征被作为节点4、第5个目标人脸及其人脸特征被作为节点5、第6个目标人脸及其人脸特征被作为节点6、第7个目标人脸及其人脸特征被作为节点7,则基于M个目标人脸以及上述如表2所示的任意两个目标人脸所对应的相似度权重构建的图网络中,节点1与节点2之间的边所对应的相似度权重为0.96,节点1与节点3之间的边所对应的相似度权重为0.96,节点1与节点4之间的边所对应的相似度权重为0.8,节点1与节点5之间的边所对应的相似度权重为0.82,节点1与节点6之间的边所对应的相似度权重为0.7,其他节点之间边所对应的相似度权重以此类推。
在另一种可行的实施方式中,M个目标人脸中各个目标人脸的参考相似度权重可以是基于与各个目标人脸相关的人脸特征相似度确定出的,具体的,人脸识别设备获取M个目标人脸中各个目标人脸的参考相似度权重,可以包括:针对M个目标人脸中的第i个目标人脸,从第i个目标人脸,与M个目标人脸中除第i个目标人脸外剩余的各个目标人脸之间的人脸特征相似度中,确定出第i个目标人脸的参考人脸特征相似度;第i个目标人脸与剩余的各个目标人脸之间的人脸特征相似度中,大于第i个目标人脸的参考人脸特征相似度的各个人脸特征相似度的取值数量为第二预设数量阈值;将第i个目标人脸的参考人脸特征相似度,确定为第i个目标人脸的参考相似度权重;直至得到M个目标人脸中各个目标人脸的参考相似度权重。
也就是说,若第i个目标人脸的参考人脸特征相似度用si表示,则第i个目标人脸的参考相似度权重pi=i。其中,第二预设数量阈值可以根据具体需求进行设定,例如可以为2、3等,本申请实施例不做限制。若第二预设数量阈值用τ表示,τ=2,则第i个目标人脸与剩余的各个目标人脸之间的人脸特征相似度中,大于第i个目标人脸的参考人脸特征相似度的各个人脸特征相似度的取值数量为第二预设数量阈值可以指示:第i个目标人脸的参考人脸特征相似度的取值,为第i个目标人脸与剩余的各个目标人脸之间的人脸特征相似度的取值中,第3(τ+1)大的,即人脸识别设备可以在第i个目标人脸,与M个目标人脸中除第i个目标人脸外剩余的各个目标人脸之间的人脸特征相似度的取值按照从大到小排列时,排列第3的人脸特征相似度的取值确定为第i个目标人脸的参考人脸特征相似度。
举例来说,若从N个初始人脸中确定出7个目标人脸,即M=7,7个目标人脸中任意两个目标人脸之间的人脸特征相似度由上述表1示出,第1个目标人脸,与M个目标人脸中除第1个目标人脸外剩余的各个目标人脸之间的人脸特征相似度的取值按照从大到小排列时分别为:0.96、0.82、0.8、0.7、0.5,若第二预设数量阈值为2,则确定出的第1个目标人脸的参考人脸特征相似度为0.8,以此类推,确定出的第2个目标人脸的参考人脸特征相似度为0.84,第3个目标人脸的参考人脸特征相似度为0.86,第4个目标人脸的参考人脸特征相似度为0.82,第5个目标人脸的参考人脸特征相似度为0.84,第6个目标人脸的参考人脸特征相似度为0.6,第7个目标人脸的参考人脸特征相似度为0.6,则第1个目标人脸至第7个目标人脸的参考相似度权重分别为:0.8、0.84、0.86、0.82、0.84、0.6、0.6。
进一步的,基于各个目标人脸的参考相似度权重得到的M个目标人脸中,每两个目标人脸所对应的相似度权重可以由以下表3示出:
表3
| 第1个 | 第2个 | 第3个 | 第4个 | 第5个 | 第6个 | 第7个 | |
| 第1个 | 0 | 0.96 | 0.96 | 0 | 0 | 0 | 0 |
| 第2个 | 0.96 | 0 | 0.94 | 0 | 0 | 0 | 0 |
| 第3个 | 0.96 | 0.94 | 0 | 0 | 0 | 0 | 0 |
| 第4个 | 0 | 0 | 0 | 0 | 0.9 | 0 | 0 |
| 第5个 | 0 | 0 | 0 | 0.9 | 0 | 0 | 0 |
| 第6个 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 第7个 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
在另一种可行的实施方式中,M个目标人脸中各个目标人脸的参考相似度权重可以是基于与各个目标人脸相关的人脸特征相似度以及预设参考相似度权重确定出的,具体的,人脸识别设备获取M个目标人脸中各个目标人脸的参考相似度权重,可以包括:针对M个目标人脸中的第i个目标人脸,从第i个目标人脸,与M个目标人脸中除第i个目标人脸外剩余的各个目标人脸之间的人脸特征相似度中,确定出第i个目标人脸的参考人脸特征相似度;第i个目标人脸与剩余的各个目标人脸之间的人脸特征相似度中,大于第i个目标人脸的参考人脸特征相似度的各个人脸特征相似度的取值数量为第二预设数量阈值;将第i个目标人脸的参考人脸特征相似度和预设参考相似度权重中的较大值,确定为第i个目标人脸的参考相似度权重;直至得到M个目标人脸中各个目标人脸的参考相似度权重。也就是说,若第i个目标人脸的参考人脸特征相似度用si表示,预设参考相似度权重用δ表示,则第i个目标人脸的参考相似度权重pi=max(i,)。
举例来说,若从N个初始人脸中确定出7个目标人脸,即M=7,7个目标人脸中任意两个目标人脸之间的人脸特征相似度由上述表1示出,若预设参考相似度权重为0.61,第1个目标人脸至第7个目标人脸的参考人脸特征相似度分别为:0.8、0.84、0.86、0.82、0.84、0.6、0.6,则第1个目标人脸至第7个目标人脸的参考相似度权重分别为:0.8、0.84、0.86、0.82、0.84、0.61、0.61。
进一步的,基于各个目标人脸的参考相似度权重得到的M个目标人脸中,每两个目标人脸所对应的相似度权重可以由以下表4示出:
表4
| 第1个 | 第2个 | 第3个 | 第4个 | 第5个 | 第6个 | 第7个 | |
| 第1个 | 0 | 0.96 | 0.96 | 0 | 0 | 0 | 0 |
| 第2个 | 0.96 | 0 | 0.94 | 0 | 0 | 0 | 0 |
| 第3个 | 0.96 | 0.94 | 0 | 0 | 0 | 0 | 0 |
| 第4个 | 0 | 0 | 0 | 0 | 0.9 | 0 | 0 |
| 第5个 | 0 | 0 | 0 | 0.9 | 0 | 0 | 0 |
| 第6个 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 第7个 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
S505,构建相似度权重大于零的任意两个目标人脸所对应的边,并基于每个目标人脸、每个目标人脸的人脸特征以及相似度权重大于零的任意两个目标人脸所对应的边,构建图网络。
其中,步骤S505的相关过程与上述步骤S103中构建图网络的相关过程类似,在此不再赘述
S506,获取M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率。
S507,通过图网络对每个目标人脸对应的C个初始识别概率进行处理得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率。
S508,将每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为每个目标人脸所属的人脸类别。
其中,步骤S506至步骤S508的相关过程与上述步骤S104至步骤S106的相关过程类似,在此不再赘述。
在一个实施例中,基于人脸识别领域中广泛使用的评测指标,对本申请所提出的人脸识别方法和现有人脸识别方法进行评测对比,发现本申请提出的人脸识别方法在性能上有较大提升。主要对比了现有人脸识别方法中基于时空信息关系的人脸识别方法以及基于人脸特征全局链接的人脸识别方法,其中,基于时空信息关系的人脸识别方法中,会将时间连续、空间有重合关系的待识别的人脸样本定义为一条关系链,并在这个关系链内修正人脸识别的结果,但这样产生的关系链往往很短,就导致只能利用局部少量人脸样本之间的一致性,而忽略了更多人脸样本的一致性;基于人脸特征全局链接的人脸识别方法中,会利用人脸特征,对全部待识别的人脸样本做聚类,然后在每类中修正各自结果,这样虽然可以利用更多人脸样本,但聚类个数往往不易设定,可操作性不强,而且人脸样本之间往往只传递标签信息的最近邻结果,修正能力偏弱。参见表5,为本申请提出的人脸识别方法与基于时空信息关系的人脸识别方法以及基于人脸特征全局链接的人脸识别方法在评测指标:准确率、召回率以及F1值(F1-score)中的对比结果。
表5
| 准确率 | 召回率 | F1-score | |
| 基于时空信息关系的人脸识别方法 | 91.96 | 77.69 | 84.825 |
| 基于人脸特征全局链接的人脸识别方法 | 91.08 | 78.81 | 84.945 |
| 本申请提出的人脸识别方法 | 90.88 | 81.32 | 86.10 |
由表5所示的对比结果可知,本申请实施例提出的人脸识别方法相较于现有的基于时空信息关系的人脸识别方法和基于人脸特征全局链接的人脸识别方法,在F1-score上有较大的提升,即在整体性能上有较大的提升,并且在保证准确率的情况下在召回率上有较大的提升。
本申请实施例中,可以获取待识别的N个初始人脸以及每个初始人脸对应的K个相似人脸的类别标签,并从N个初始人脸中确定出M个单点一致性强的初始人脸作为目标人脸;进而可以基于M个目标人脸构建图网络,该图网络为KNN图;然后可以确定每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;将每个目标人脸对应的C个初始识别概率输入至图网络中,并通过图网络处理得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率;然后可以将每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为每个目标人脸所属的人脸类别。基于从N个初始人脸中确定出的M个单点一致性强的目标人脸构建图网络,可以提高所构建的图网络的稳定性,进而提升对于各个目标人脸的人脸识别准确性;并且所构建的图网络为通过对人脸特征相似度小于一定阈值的两个目标人脸所对应的边进行适当剪枝后的KNN图,限定了节点传播的范围,可以减小人脸特征相似度较小的目标人脸之间的相互影响,进而可以提升人脸识别准确性,由于剪枝后得到的KNN图限定了节点传播的范围且数据量减少,所以还可以提高人脸识别速率。
基于上述人脸识别方法相关的实施例,本申请实施例提供了一种人脸识别装置。参见图7,为本申请实施例提供的一种人脸识别装置的结构示意图,该人脸识别装置可包括获取单元701以及处理单元702。图7所示的人脸识别装置可运行如下单元:
获取单元701,用于获取待识别的N个初始人脸以及所述N个初始人脸中每个初始人脸对应的K个相似人脸的类别标签;N和K均为正整数,且N≥2;
处理单元702,用于从所述N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,M为小于或等于N的正整数;
所述处理单元702,还用于基于所述M个目标人脸构建图网络;所述图网络中任一条边用于指示:所述任一条边所对应的两个目标人脸之间的人脸特征相似度;
所述处理单元702,还用于获取所述M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;并通过所述图网络对所述每个目标人脸对应的C个初始识别概率进行处理得到所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的人脸识别概率;C为正整数;
所述处理单元702,还用于将所述每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为所述每个目标人脸所属的人脸类别。
在一个实施例中,所述图网络中的一个节点用于指示一个目标人脸以及所述一个目标人脸的人脸特征;
所述处理单元702基于所述M个目标人脸构建图网络时,具体执行如下操作:
遍历所述M个目标人脸,基于所述M个目标人脸中,任意两个目标人脸的人脸特征,确定所述任意两个目标人脸之间的人脸特征相似度;
基于所述任意两个目标人脸之间的人脸特征相似度,确定所述任意两个目标人脸所对应的相似度权重,直至得到所述M个目标人脸中,每两个目标人脸所对应的相似度权重;
构建相似度权重大于零的任意两个目标人脸所对应的边;
基于所述每个目标人脸、所述每个目标人脸的人脸特征以及相似度权重大于零的任意两个目标人脸所对应的边,构建所述图网络。
在一个实施例中,所述处理单元702基于所述任意两个目标人脸之间的人脸特征相似度,确定所述任意两个目标人脸所对应的相似度权重,直至得到所述M个目标人脸中,每两个目标人脸所对应的相似度权重时,具体执行如下操作:
获取所述M个目标人脸中各个目标人脸的参考相似度权重;
遍历所述M个目标人脸,若当前遍历的第i个目标人脸与所述M个目标人脸中第j个目标人脸之间的人脸特征相似度,大于所述第i个目标人脸的参考相似度权重,且大于所述第j个目标人脸的参考相似度权重,则将所述第i个目标人脸与所述第j个目标人脸之间的人脸特征相似度,作为所述第i个目标人脸与所述第j个目标人脸所对应的相似度权重;其中,i和j为小于或等于M的正整数,i与j不相等;
若所述第i个目标人脸与所述第j个目标人脸之间的人脸特征相似度,小于或等于所述第i个目标人脸的参考相似度权重,或小于或等于所述第j个目标人脸的参考相似度权重,则将所述第i个目标人脸与所述第j个目标人脸所对应的相似度权重确定为零;
在遍历完成后,得到所述M个目标人脸中,每两个目标人脸所对应的相似度权重。
在一个实施例中,所述处理单元702获取所述M个目标人脸中各个目标人脸的参考相似度权重时,具体执行如下操作:
针对所述M个目标人脸中的第i个目标人脸,从所述第i个目标人脸,与所述M个目标人脸中除所述第i个目标人脸外剩余的各个目标人脸之间的人脸特征相似度中,确定出所述第i个目标人脸的参考人脸特征相似度;所述第i个目标人脸与所述剩余的各个目标人脸之间的人脸特征相似度中,大于所述第i个目标人脸的参考人脸特征相似度的各个人脸特征相似度的取值数量为第二预设数量阈值;
将所述第i个目标人脸的参考人脸特征相似度,确定为所述第i个目标人脸的参考相似度权重;直至得到所述M个目标人脸中各个目标人脸的参考相似度权重。
在一个实施例中,所述处理单元702获取所述M个目标人脸中各个目标人脸的参考相似度权重时,具体执行如下操作:
针对所述M个目标人脸中的第i个目标人脸,从所述第i个目标人脸,与所述M个目标人脸中除所述第i个目标人脸外剩余的各个目标人脸之间的人脸特征相似度中,确定出所述第i个目标人脸的参考人脸特征相似度;所述第i个目标人脸与所述剩余的各个目标人脸之间的人脸特征相似度中,大于所述第i个目标人脸的参考人脸特征相似度的各个人脸特征相似度的取值数量为第二预设数量阈值;
将所述第i个目标人脸的参考人脸特征相似度和预设参考相似度权重中的较大值,确定为所述第i个目标人脸的参考相似度权重;直至得到所述M个目标人脸中各个目标人脸的参考相似度权重。
在一个实施例中,所述C个人脸类别是从所述M个目标人脸对应的类别标签所指示的人脸类别中确定出的;
所述处理单元702获取所述M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率时,具体执行如下操作:
获取所述M个目标人脸中每个目标人脸对应的K个第一相似度;所述M个目标人脸中,任一目标人脸对应的K个第一相似度指的是:所述任一目标人脸和与所述任一目标人脸相似的K个相似人脸之间的人脸特征相似度;
遍历所述M个目标人脸,若当前遍历的第i个目标人脸对应的K个类别标签中,包含了指示所述C个人脸类别中任一人脸类别的目标类别标签,则基于包含的目标类别标签的数量以及各个目标类别标签所对应的第一相似度的大小关系,确定所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率;i为小于或等于M的正整数;
若所述第i个目标人脸对应的K个类别标签中,不包含所述目标类别标签,则将所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率确定为零;直至得到所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的初始识别概率。
在一个实施例中,所述处理单元702基于包含的目标类别标签的数量以及各个目标类别标签所对应的第一相似度的大小关系,确定所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率时,具体执行如下操作:
若所述目标类别标签的数量为K,则将所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率确定为1;
若所述目标类别标签的数量小于K,则将所述各个目标类别标签所对应的第一相似度中,最大第一相似度确定为所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率。
在一个实施例中,所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的人脸识别概率为:基于所述图网络中的每条边以及所述每个目标人脸对应的C个初始识别概率在所述图网络中进行迭代传播的过程中,T次迭代传播的结果,T为正整数;其中,第1次迭代传播的结果是基于所述每个目标人脸对应的C个初始识别概率得到的,第t+1次迭代传播的结果是基于第t次迭代传播的结果以及所述每个目标人脸对应的C个初始识别概率得到的,t为小于T的正整数。
在一个实施例中,所述处理单元702基于所述每个目标人脸对应的C个初始识别概率得到第1次迭代传播的结果时,具体执行如下操作:
采用第一迭代权重参数对由所述每个目标人脸对应的C个初始识别概率构成的初始识别概率矩阵进行加权运算,得到所述第1次迭代传播的结果。
在一个实施例中,所述处理单元702基于第t次迭代传播的结果以及所述每个目标人脸对应的C个初始识别概率得到第t+1次迭代传播的结果时,具体执行如下操作:
采用第一迭代权重参数对由所述每个目标人脸对应的C个初始识别概率构成的初始识别概率矩阵进行加权运算,得到第一中间结果;
采用由所述M个目标人脸中,每两个目标人脸所对应的相似度权重构成的相似度权重矩阵的正则化结果,与所述第t次迭代传播的结果进行点乘运算,并采用第二迭代权重参数对点乘运算的结果进行加权运算,得到第二中间结果;所述第二迭代权重参数与所述第一迭代权重参数相加为1;
将所述第一中间结果与所述第二中间结果进行求和,得到所述第t+1次迭代传播的结果。
在一个实施例中,所述处理单元702,还用于遍历所述N个初始人脸,基于当前遍历的目标初始人脸的人脸特征,以及多个参考人脸中各个参考人脸的人脸特征,确定所述目标初始人脸与所述各个参考人脸之间的人脸特征相似度;
从所述多个参考人脸中确定出K个参考人脸作为与所述目标初始人脸相似的相似人脸,直至确定出所述N个初始人脸中每个初始人脸对应的K个相似人脸;其中,所述目标初始人脸和与所述目标初始人脸相似的K个相似人脸之间的人脸特征相似度,均大于或等于所述目标初始人脸与所述多个参考人脸中除所述K个相似人脸外剩余的各个参考人脸之间的人脸特征相似度。
根据本申请的一个实施例,图1以及图5所示的人脸识别方法所涉及的各个步骤可以是由图7所示的人脸识别装置中的各个单元来执行的。例如,图1所示的步骤S101可由图7所示的人脸识别装置中的获取单元701来执行,图1所示的步骤S102至步骤S106可由图7所示的人脸识别装置中的处理单元702来执行。又如,图5所示的步骤S501可由图7所示的人脸识别装置中的获取单元701来执行,图5所示的步骤S502至步骤S508可由图7所示的人脸识别装置中的处理单元702来执行。
根据本申请的另一个实施例,图7所示的人脸识别装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于逻辑功能划分的人脸识别装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图1以及图5所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图7中所示的人脸识别装置,以及来实现本申请实施例人脸识别方法。所述计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算设备中,并在其中运行。
本申请实施例中,可以获取待识别的N个初始人脸以及每个初始人脸对应的K个相似人脸的类别标签,并从N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值;进而可以基于M个目标人脸构建图网络,获取M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;并通过图网络对每个目标人脸对应的C个初始识别概率进行处理得到每个目标人脸被识别为C个人脸类别中各个人脸类别的人脸识别概率;然后可以将每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为每个目标人脸所属的人脸类别。其中,由于从N个初始人脸中确定出的M个目标人脸中,任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,可以确保用于构建图网络的各个目标人脸为N个初始人脸中单点一致性强的初始人脸,可以提高所构建的图网络的稳定性,进而提升对于各个目标人脸的人脸识别准确性。
基于上述人脸识别方法的相关实施例以及人脸识别装置实施例,本申请还提供了一种人脸识别设备。参见图8,为本申请实施例提供的一种人脸识别设备的结构示意图。图8所示的人脸识别设备可至少包括处理器801、输入接口802、输出接口803以及计算机存储介质804。其中,处理器801、输入接口802、输出接口803以及计算机存储介质804可通过总线或其他方式连接。
计算机存储介质804可以存储在人脸识别设备的存储器中,计算机存储介质804用于存储计算机程序,计算机程序包括程序指令,处理器801用于执行计算机存储介质804存储的程序指令。处理器801(或称CPU(Central Processing Unit,中央处理器))是人脸识别设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现上述人脸识别方法流程或相应功能。
本申请实施例还提供了一种计算机存储介质(Memory),计算机存储介质是人脸识别设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器801加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速随机存取存储器(random access memory,RAM)存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器801以及输入接口802加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图1以及图5的人脸识别方法实施例中的方法的相应步骤,具体实现中,计算机存储介质中的一条或多条指令由处理器801以及输入接口802加载并执行如下步骤:
输入接口802,用于获取待识别的N个初始人脸以及所述N个初始人脸中每个初始人脸对应的K个相似人脸的类别标签;N和K均为正整数,且N≥2;
处理器801,用于从所述N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,M为小于或等于N的正整数;
所述处理器801,还用于基于所述M个目标人脸构建图网络;所述图网络中任一条边用于指示:所述任一条边所对应的两个目标人脸之间的人脸特征相似度;
所述处理器801,还用于获取所述M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;并通过所述图网络对所述每个目标人脸对应的C个初始识别概率进行处理得到所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的人脸识别概率;C为正整数;
所述处理器801,还用于将所述每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为所述每个目标人脸所属的人脸类别。
在一个实施例中,所述图网络中的一个节点用于指示一个目标人脸以及所述一个目标人脸的人脸特征;
所述处理器801基于所述M个目标人脸构建图网络时,具体执行如下操作:
遍历所述M个目标人脸,基于所述M个目标人脸中,任意两个目标人脸的人脸特征,确定所述任意两个目标人脸之间的人脸特征相似度;
基于所述任意两个目标人脸之间的人脸特征相似度,确定所述任意两个目标人脸所对应的相似度权重,直至得到所述M个目标人脸中,每两个目标人脸所对应的相似度权重;
构建相似度权重大于零的任意两个目标人脸所对应的边;
基于所述每个目标人脸、所述每个目标人脸的人脸特征以及相似度权重大于零的任意两个目标人脸所对应的边,构建所述图网络。
在一个实施例中,所述处理器801基于所述任意两个目标人脸之间的人脸特征相似度,确定所述任意两个目标人脸所对应的相似度权重,直至得到所述M个目标人脸中,每两个目标人脸所对应的相似度权重时,具体执行如下操作:
获取所述M个目标人脸中各个目标人脸的参考相似度权重;
遍历所述M个目标人脸,若当前遍历的第i个目标人脸与所述M个目标人脸中第j个目标人脸之间的人脸特征相似度,大于所述第i个目标人脸的参考相似度权重,且大于所述第j个目标人脸的参考相似度权重,则将所述第i个目标人脸与所述第j个目标人脸之间的人脸特征相似度,作为所述第i个目标人脸与所述第j个目标人脸所对应的相似度权重;其中,i和j为小于或等于M的正整数,i与j不相等;
若所述第i个目标人脸与所述第j个目标人脸之间的人脸特征相似度,小于或等于所述第i个目标人脸的参考相似度权重,或小于或等于所述第j个目标人脸的参考相似度权重,则将所述第i个目标人脸与所述第j个目标人脸所对应的相似度权重确定为零;
在遍历完成后,得到所述M个目标人脸中,每两个目标人脸所对应的相似度权重。
在一个实施例中,所述处理器801获取所述M个目标人脸中各个目标人脸的参考相似度权重时,具体执行如下操作:
针对所述M个目标人脸中的第i个目标人脸,从所述第i个目标人脸,与所述M个目标人脸中除所述第i个目标人脸外剩余的各个目标人脸之间的人脸特征相似度中,确定出所述第i个目标人脸的参考人脸特征相似度;所述第i个目标人脸与所述剩余的各个目标人脸之间的人脸特征相似度中,大于所述第i个目标人脸的参考人脸特征相似度的各个人脸特征相似度的取值数量为第二预设数量阈值;
将所述第i个目标人脸的参考人脸特征相似度,确定为所述第i个目标人脸的参考相似度权重;直至得到所述M个目标人脸中各个目标人脸的参考相似度权重。
在一个实施例中,所述处理器801获取所述M个目标人脸中各个目标人脸的参考相似度权重时,具体执行如下操作:
针对所述M个目标人脸中的第i个目标人脸,从所述第i个目标人脸,与所述M个目标人脸中除所述第i个目标人脸外剩余的各个目标人脸之间的人脸特征相似度中,确定出所述第i个目标人脸的参考人脸特征相似度;所述第i个目标人脸与所述剩余的各个目标人脸之间的人脸特征相似度中,大于所述第i个目标人脸的参考人脸特征相似度的各个人脸特征相似度的取值数量为第二预设数量阈值;
将所述第i个目标人脸的参考人脸特征相似度和预设参考相似度权重中的较大值,确定为所述第i个目标人脸的参考相似度权重;直至得到所述M个目标人脸中各个目标人脸的参考相似度权重。
在一个实施例中,所述C个人脸类别是从所述M个目标人脸对应的类别标签所指示的人脸类别中确定出的;
所述处理器801获取所述M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率时,具体执行如下操作:
获取所述M个目标人脸中每个目标人脸对应的K个第一相似度;所述M个目标人脸中,任一目标人脸对应的K个第一相似度指的是:所述任一目标人脸和与所述任一目标人脸相似的K个相似人脸之间的人脸特征相似度;
遍历所述M个目标人脸,若当前遍历的第i个目标人脸对应的K个类别标签中,包含了指示所述C个人脸类别中任一人脸类别的目标类别标签,则基于包含的目标类别标签的数量以及各个目标类别标签所对应的第一相似度的大小关系,确定所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率;i为小于或等于M的正整数;
若所述第i个目标人脸对应的K个类别标签中,不包含所述目标类别标签,则将所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率确定为零;直至得到所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的初始识别概率。
在一个实施例中,所述处理器801基于包含的目标类别标签的数量以及各个目标类别标签所对应的第一相似度的大小关系,确定所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率时,具体执行如下操作:
若所述目标类别标签的数量为K,则将所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率确定为1;
若所述目标类别标签的数量小于K,则将所述各个目标类别标签所对应的第一相似度中,最大第一相似度确定为所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率。
在一个实施例中,所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的人脸识别概率为:基于所述图网络中的每条边以及所述每个目标人脸对应的C个初始识别概率在所述图网络中进行迭代传播的过程中,T次迭代传播的结果,T为正整数;其中,第1次迭代传播的结果是基于所述每个目标人脸对应的C个初始识别概率得到的,第t+1次迭代传播的结果是基于第t次迭代传播的结果以及所述每个目标人脸对应的C个初始识别概率得到的,t为小于T的正整数。
在一个实施例中,所述处理器801基于所述每个目标人脸对应的C个初始识别概率得到第1次迭代传播的结果时,具体执行如下操作:
采用第一迭代权重参数对由所述每个目标人脸对应的C个初始识别概率构成的初始识别概率矩阵进行加权运算,得到所述第1次迭代传播的结果。
在一个实施例中,所述处理器801基于第t次迭代传播的结果以及所述每个目标人脸对应的C个初始识别概率得到第t+1次迭代传播的结果时,具体执行如下操作:
采用第一迭代权重参数对由所述每个目标人脸对应的C个初始识别概率构成的初始识别概率矩阵进行加权运算,得到第一中间结果;
采用由所述M个目标人脸中,每两个目标人脸所对应的相似度权重构成的相似度权重矩阵的正则化结果,与所述第t次迭代传播的结果进行点乘运算,并采用第二迭代权重参数对点乘运算的结果进行加权运算,得到第二中间结果;所述第二迭代权重参数与所述第一迭代权重参数相加为1;
将所述第一中间结果与所述第二中间结果进行求和,得到所述第t+1次迭代传播的结果。
在一个实施例中,所述处理器801还用于遍历所述N个初始人脸,基于当前遍历的目标初始人脸的人脸特征,以及多个参考人脸中各个参考人脸的人脸特征,确定所述目标初始人脸与所述各个参考人脸之间的人脸特征相似度;
从所述多个参考人脸中确定出K个参考人脸作为与所述目标初始人脸相似的相似人脸,直至确定出所述N个初始人脸中每个初始人脸对应的K个相似人脸;其中,所述目标初始人脸和与所述目标初始人脸相似的K个相似人脸之间的人脸特征相似度,均大于或等于所述目标初始人脸与所述多个参考人脸中除所述K个相似人脸外剩余的各个参考人脸之间的人脸特征相似度。
本申请实施例提供了一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序存储在计算机存储介质中;人脸识别设备的处理器从计算机存储介质中读取该计算机程序,处理器执行该计算机程序,使得人脸识别设备执行上述如图1以及图5所示的方法实施例。其中,计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (15)
1.一种人脸识别方法,其特征在于,包括:
获取待识别的N个初始人脸以及所述N个初始人脸中每个初始人脸对应的K个相似人脸的类别标签;N和K均为正整数,且N≥2;其中,所述待识别的N个初始人脸为存在关联关系的人脸;
从所述N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,M为小于或等于N的正整数;
基于所述M个目标人脸构建图网络;所述图网络中任一条边用于指示:所述任一条边所对应的两个目标人脸之间的人脸特征相似度;
获取所述M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;并通过所述图网络对所述每个目标人脸对应的C个初始识别概率进行处理得到所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的人脸识别概率;C为正整数;
将所述每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为所述每个目标人脸所属的人脸类别。
2.如权利要求1所述的方法,其特征在于,所述图网络中的一个节点用于指示一个目标人脸以及所述一个目标人脸的人脸特征;
所述基于所述M个目标人脸构建图网络,包括:
遍历所述M个目标人脸,基于所述M个目标人脸中,任意两个目标人脸的人脸特征,确定所述任意两个目标人脸之间的人脸特征相似度;
基于所述任意两个目标人脸之间的人脸特征相似度,确定所述任意两个目标人脸所对应的相似度权重,直至得到所述M个目标人脸中,每两个目标人脸所对应的相似度权重;
构建相似度权重大于零的任意两个目标人脸所对应的边;
基于所述每个目标人脸、所述每个目标人脸的人脸特征以及相似度权重大于零的任意两个目标人脸所对应的边,构建所述图网络。
3.如权利要求2所述的方法,其特征在于,所述基于所述任意两个目标人脸之间的人脸特征相似度,确定所述任意两个目标人脸所对应的相似度权重,直至得到所述M个目标人脸中,每两个目标人脸所对应的相似度权重,包括:
获取所述M个目标人脸中各个目标人脸的参考相似度权重;
遍历所述M个目标人脸,若当前遍历的第i个目标人脸与所述M个目标人脸中第j个目标人脸之间的人脸特征相似度,大于所述第i个目标人脸的参考相似度权重,且大于所述第j个目标人脸的参考相似度权重,则将所述第i个目标人脸与所述第j个目标人脸之间的人脸特征相似度,作为所述第i个目标人脸与所述第j个目标人脸所对应的相似度权重;其中,i和j为小于或等于M的正整数,i与j不相等;
若所述第i个目标人脸与所述第j个目标人脸之间的人脸特征相似度,小于或等于所述第i个目标人脸的参考相似度权重,或小于或等于所述第j个目标人脸的参考相似度权重,则将所述第i个目标人脸与所述第j个目标人脸所对应的相似度权重确定为零;
在遍历完成后,得到所述M个目标人脸中,每两个目标人脸所对应的相似度权重。
4.如权利要求3所述的方法,其特征在于,所述获取所述M个目标人脸中各个目标人脸的参考相似度权重,包括:
针对所述M个目标人脸中的第i个目标人脸,从所述第i个目标人脸,与所述M个目标人脸中除所述第i个目标人脸外剩余的各个目标人脸之间的人脸特征相似度中,确定出所述第i个目标人脸的参考人脸特征相似度;所述第i个目标人脸与所述剩余的各个目标人脸之间的人脸特征相似度中,大于所述第i个目标人脸的参考人脸特征相似度的各个人脸特征相似度的取值数量为第二预设数量阈值;
将所述第i个目标人脸的参考人脸特征相似度,确定为所述第i个目标人脸的参考相似度权重;直至得到所述M个目标人脸中各个目标人脸的参考相似度权重。
5.如权利要求3所述的方法,其特征在于,所述获取所述M个目标人脸中各个目标人脸的参考相似度权重,包括:
针对所述M个目标人脸中的第i个目标人脸,从所述第i个目标人脸,与所述M个目标人脸中除所述第i个目标人脸外剩余的各个目标人脸之间的人脸特征相似度中,确定出所述第i个目标人脸的参考人脸特征相似度;所述第i个目标人脸与所述剩余的各个目标人脸之间的人脸特征相似度中,大于所述第i个目标人脸的参考人脸特征相似度的各个人脸特征相似度的取值数量为第二预设数量阈值;
将所述第i个目标人脸的参考人脸特征相似度和预设参考相似度权重中的较大值,确定为所述第i个目标人脸的参考相似度权重;直至得到所述M个目标人脸中各个目标人脸的参考相似度权重。
6.如权利要求1所述的方法,其特征在于,所述C个人脸类别是从所述M个目标人脸对应的类别标签所指示的人脸类别中确定出的;
所述获取所述M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率,包括:
获取所述M个目标人脸中每个目标人脸对应的K个第一相似度;所述M个目标人脸中,任一目标人脸对应的K个第一相似度指的是:所述任一目标人脸和与所述任一目标人脸相似的K个相似人脸之间的人脸特征相似度;
遍历所述M个目标人脸,若当前遍历的第i个目标人脸对应的K个类别标签中,包含了指示所述C个人脸类别中任一人脸类别的目标类别标签,则基于包含的目标类别标签的数量以及各个目标类别标签所对应的第一相似度的大小关系,确定所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率;i为小于或等于M的正整数;
若所述第i个目标人脸对应的K个类别标签中,不包含所述目标类别标签,则将所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率确定为零;直至得到所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的初始识别概率。
7.如权利要求6所述的方法,其特征在于,所述基于包含的目标类别标签的数量以及各个目标类别标签所对应的第一相似度的大小关系,确定所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率,包括:
若所述目标类别标签的数量为K,则将所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率确定为1;
若所述目标类别标签的数量小于K,则将所述各个目标类别标签所对应的第一相似度中,最大第一相似度确定为所述第i个目标人脸被识别为所述任一人脸类别的初始识别概率。
8.如权利要求1所述的方法,其特征在于,所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的人脸识别概率为:基于所述图网络中的每条边以及所述每个目标人脸对应的C个初始识别概率在所述图网络中进行迭代传播的过程中,T次迭代传播的结果,T为正整数;其中,第1次迭代传播的结果是基于所述每个目标人脸对应的C个初始识别概率得到的,第t+1次迭代传播的结果是基于第t次迭代传播的结果以及所述每个目标人脸对应的C个初始识别概率得到的,t为小于T的正整数。
9.如权利要求8所述的方法,其特征在于,基于所述每个目标人脸对应的C个初始识别概率得到第1次迭代传播的结果的方式,包括:
采用第一迭代权重参数对由所述每个目标人脸对应的C个初始识别概率构成的初始识别概率矩阵进行加权运算,得到所述第1次迭代传播的结果。
10.如权利要求8所述的方法,其特征在于,基于第t次迭代传播的结果以及所述每个目标人脸对应的C个初始识别概率得到第t+1次迭代传播的结果的方式,包括:
采用第一迭代权重参数对由所述每个目标人脸对应的C个初始识别概率构成的初始识别概率矩阵进行加权运算,得到第一中间结果;
采用由所述M个目标人脸中,每两个目标人脸所对应的相似度权重构成的相似度权重矩阵的正则化结果,与所述第t次迭代传播的结果进行点乘运算,并采用第二迭代权重参数对点乘运算的结果进行加权运算,得到第二中间结果;所述第二迭代权重参数与所述第一迭代权重参数相加为1;
将所述第一中间结果与所述第二中间结果进行求和,得到所述第t+1次迭代传播的结果。
11.如权利要求1所述的方法,其特征在于,所述方法还包括:
遍历所述N个初始人脸,基于当前遍历的目标初始人脸的人脸特征,以及多个参考人脸中各个参考人脸的人脸特征,确定所述目标初始人脸与所述各个参考人脸之间的人脸特征相似度;
从所述多个参考人脸中确定出K个参考人脸作为与所述目标初始人脸相似的相似人脸,直至确定出所述N个初始人脸中每个初始人脸对应的K个相似人脸;其中,所述目标初始人脸和与所述目标初始人脸相似的K个相似人脸之间的人脸特征相似度,均大于或等于所述目标初始人脸与所述多个参考人脸中除所述K个相似人脸外剩余的各个参考人脸之间的人脸特征相似度。
12.一种人脸识别装置,其特征在于,包括:
获取单元,用于获取待识别的N个初始人脸以及所述N个初始人脸中每个初始人脸对应的K个相似人脸的类别标签;N和K均为正整数,且N≥2;其中,所述待识别的N个初始人脸为存在关联关系的人脸;
处理单元,用于从所述N个初始人脸中确定出M个初始人脸作为目标人脸;M个目标人脸中任一目标人脸对应的K个类别标签中,存在相同类别标签的数量大于第一预设数量阈值,M为小于或等于N的正整数;
所述处理单元,还用于基于所述M个目标人脸构建图网络;所述图网络中任一条边用于指示:所述任一条边所对应的两个目标人脸之间的人脸特征相似度;
所述处理单元,还用于获取所述M个目标人脸中每个目标人脸被识别为C个人脸类别中各个人脸类别的初始识别概率;并通过所述图网络对所述每个目标人脸对应的C个初始识别概率进行处理得到所述每个目标人脸被识别为所述C个人脸类别中各个人脸类别的人脸识别概率;C为正整数;
所述处理单元,还用于将所述每个目标人脸对应的C个人脸识别概率中,最大人脸识别概率所指示的人脸类别,识别为所述每个目标人脸所属的人脸类别。
13.一种人脸识别设备,其特征在于,所述人脸识别设备包括输入接口和输出接口,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-11任一项所述的人脸识别方法。
14.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行如权利要求1-11任一项所述的人脸识别方法。
15.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时,用于加载并执行如权利要求1-11任一项所述的人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210456033.1A CN117011901B (zh) | 2022-04-27 | 2022-04-27 | 人脸识别方法、装置、设备、存储介质及计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210456033.1A CN117011901B (zh) | 2022-04-27 | 2022-04-27 | 人脸识别方法、装置、设备、存储介质及计算机程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117011901A CN117011901A (zh) | 2023-11-07 |
| CN117011901B true CN117011901B (zh) | 2025-10-14 |
Family
ID=88571377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210456033.1A Active CN117011901B (zh) | 2022-04-27 | 2022-04-27 | 人脸识别方法、装置、设备、存储介质及计算机程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011901B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020155627A1 (zh) * | 2019-01-31 | 2020-08-06 | 北京市商汤科技开发有限公司 | 人脸图像识别方法、装置、电子设备及存储介质 |
| CN112784636A (zh) * | 2019-11-07 | 2021-05-11 | 佳能株式会社 | 人脸图像分类方法、人脸图像分类装置和存储介质 |
-
2022
- 2022-04-27 CN CN202210456033.1A patent/CN117011901B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020155627A1 (zh) * | 2019-01-31 | 2020-08-06 | 北京市商汤科技开发有限公司 | 人脸图像识别方法、装置、电子设备及存储介质 |
| CN112784636A (zh) * | 2019-11-07 | 2021-05-11 | 佳能株式会社 | 人脸图像分类方法、人脸图像分类装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117011901A (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348117B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
| CN111738244B (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
| Zhang et al. | Detection of co-salient objects by looking deep and wide | |
| CN113657087B (zh) | 信息的匹配方法及装置 | |
| CN114693624B (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
| CN111507285A (zh) | 人脸属性识别方法、装置、计算机设备和存储介质 | |
| CN113762249B (zh) | 图像攻击检测、图像攻击检测模型训练方法和装置 | |
| CN113704534A (zh) | 图像处理方法、装置及计算机设备 | |
| CN115238888A (zh) | 图像分类模型的训练方法、使用方法、装置、设备及介质 | |
| Lu et al. | A novel multi-graph framework for salient object detection | |
| CN107315984B (zh) | 一种行人检索的方法及装置 | |
| CN114595313B (zh) | 一种信息检索结果处理方法、装置、服务器及存储介质 | |
| CN113704501A (zh) | 应用的标签获取方法、装置、电子设备及存储介质 | |
| CN118097189B (zh) | 图像匹配方法、模型训练方法、装置、设备及存储介质 | |
| CN117011901B (zh) | 人脸识别方法、装置、设备、存储介质及计算机程序产品 | |
| CN116049468A (zh) | 特征提取模型训练方法、图片搜索方法、装置及设备 | |
| CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN119623480A (zh) | 提高用户意图识别准确率的方法、装置与电子设备 | |
| CN119206279A (zh) | 一种基于不确定性与图神经网络的多视图聚类方法 | |
| CN117612224A (zh) | 一种图像识别方法、模型训练方法及相关装置 | |
| CN115797678B (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN116912590B (zh) | 一种基于对比学习的多模态融合目标识别方法 | |
| CN114943331A (zh) | 一种神经网络模型训练方法、装置、设备及存储介质 | |
| CN115456043B (zh) | 分类模型处理、意图识别方法、装置和计算机设备 | |
| CN116363608B (zh) | 物理点聚合方法、物理点聚合装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |