[go: up one dir, main page]

CN111177469A - 人脸检索方法及人脸检索装置 - Google Patents

人脸检索方法及人脸检索装置 Download PDF

Info

Publication number
CN111177469A
CN111177469A CN201911330532.0A CN201911330532A CN111177469A CN 111177469 A CN111177469 A CN 111177469A CN 201911330532 A CN201911330532 A CN 201911330532A CN 111177469 A CN111177469 A CN 111177469A
Authority
CN
China
Prior art keywords
face
features
feature extraction
loss function
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911330532.0A
Other languages
English (en)
Inventor
胡振华
何剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guojiu Big Data Co ltd
Original Assignee
Guojiu Big Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guojiu Big Data Co ltd filed Critical Guojiu Big Data Co ltd
Priority to CN201911330532.0A priority Critical patent/CN111177469A/zh
Publication of CN111177469A publication Critical patent/CN111177469A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/144—Query formulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供的人脸检索方法及人脸检索装置，涉及数字图像处理技术领域。该方法包括：从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像；从帧图像中提取出人脸面部特征，其中，人脸面部特征由人脸局部特征和人脸全局特征进行加权融合得到；将提取的人脸面部特征作为检索条件，在注册库中进行人脸检索，查看帧图像中的人脸是否与注册库中的目标人脸匹配。上述方法采用Storm计算系统的并行计算能力，使得人脸检索相对于现有基于单点架构的方式具有更良好的实时性和扩展性，同时，通过脸局部特征和人脸全局特征的加权融合得到人脸面部特征，可以提高人脸网络识别率，在非约束条件下也具有较好的鲁棒性。

Description

人脸检索方法及人脸检索装置
技术领域
本申请涉及数字图像处理技术领域，具体而言，涉及一种人脸检索方法及人脸检索装置。
背景技术
监控终端设备实时将视频数据推送到后台服务器，由后台服务器实现对记录的视频数据进行分析、识别、比对及查询等功能，在类似公共安全等领域，所要监控目标对象的人脸图片急速增长，使得系统对现有人脸图像解析技术对处理海量视频格式化图像数据的实时性以及准确性要求会更高。
如何在海量视频中检索到目标对象，传统的基于单节点架构的人脸图像存储和检索系统已经不能满足人们对于检索性能的要求，如何实时以及准确的从海量视频中检索到目标对象，对于本领域技术人员而言是急需要解决的技术问题。
发明内容
本申请的实施例提供一种人脸检索方法及人脸检索装置，用于解决上述技术缺陷。
本申请实施例提供一种人脸检索方法，应用于Storm计算系统，所述方法包括：
从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像；
对所述帧图像进行人脸检测，在检测到人脸时从所述帧图像中提取出人脸面部特征，其中，所述人脸面部特征由人脸局部特征和人脸全局特征进行加权融合得到；
将提取的所述人脸面部特征作为检索条件，在注册库中进行人脸检索，查看所述帧图像中的人脸是否与所述注册库中的目标人脸匹配，其中，所述人脸面部特征由人脸局部特征和人脸全局特征进行加权融合得到。
上述方法将人脸识别与视频监控结合在一起，采用Storm计算系统的并行计算能力，使得人脸检索相对于现有基于单点架构的方式具有良好的实时性和扩展性，同时，通过脸局部特征和人脸全局特征的加权融合得到人脸面部特征，可以提高人脸网络识别率，在非约束条件下也具有较好的鲁棒性。
可选地，在本申请的一种可选实施方式中，所述方法还包括向所述注册库导入目标人脸的人脸面部特征的步骤，该步骤包括：
将包括目标人脸的帧图像输入训练好的人脸面部特征提取模型中，得到目标人脸的人脸面部特征，并将目标人脸的人脸面部特征导入所述注册库中。
可选地，在本申请的一种可选实施方式中，所述方法还包括对人脸面部特征提取模型进行训练的步骤，该步骤包括：
采用高维LBP特征提取网络提取样本图像中的人脸局部特征，采用密集连接卷积神经网络提取样本图像中的人脸全局特征；
将所述样本图像的人脸局部特征进行降维处理；
将所述人脸全局特征和降维处理后的人脸局部特征输入到全连接层进行训练得到第一损失函数值，将所述全连接层的输出结果输入Softmax层训练得到第二损失函数值；
基于所述第一损失函数值和所述第二损失函数值计算该样本图像的多损失函数值；
在所述多损失函数值小于预设损失函数阈值时，判定所述人脸面部特征提取模型训练完成，在所述多损失函数值不小于预设损失函数阈值，调整所述高维LBP特征提取网络及密集连接卷积神经网络的参数，重复执行上述步骤，直到所述人脸面部特征提取模型训练完成。
可选地，在本申请的一种可选实施方式中，所述对所述帧图像进行人脸检测，在检测到人脸时从所述帧图像中提取出人脸面部特征的步骤包括：
采用训练好的人脸面部特征提取模型的高维LBP特征提取网络从所述帧图像中提取人脸局部特征，并对提取的人脸局部特征进行降维处理；
采用训练好的人脸面部特征提取模型的密集连接卷积神经网络从所述帧图像中提取人脸全局特征；
将所述人脸全局特征和降维处理的人脸局部特征进行加权求和，得到人脸面部特征。
可选地，在本申请的一种可选实施方式中，所述方法还包括：
根据所述监控终端的拍摄时间将监控的帧图像按照顺序存储到分布式文件系统中与该监控终端对应的文件夹中。
可选地，在本申请的一种可选实施方式中，所述从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像的步骤，包括：
采用OpenCV对该文件夹中对应监控终端拍摄的视频序列进行处理，得到视频序列中的每一帧图像。
本申请实施例还提供一种人脸检索装置，应用于Storm计算系统，所述装置包括：
获取模块，用于从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像；
检测与提取模块，用于对所述帧图像进行人脸检测，在检测到人脸时从所述帧图像中提取出人脸面部特征，其中，所述人脸面部特征由人脸局部特征和人脸全局特征进行加权融合得到；
检索模块，用于将提取的所述人脸面部特征作为检索条件，在注册库中进行人脸检索，查看所述帧图像中的人脸是否与所述注册库中的目标人脸匹配，其中，所述注册库中预先存储有多个目标人脸的人脸面部特征。
可选地，在本申请的一种可选实施方式中，所述装置还包括导入模块，
所述导入模块，用于将包括目标人脸的帧图像输入训练好的人脸面部特征提取模型中，得到目标人脸的人脸面部特征，并将目标人脸的人脸面部特征导入所述注册库中。
可选地，在本申请的一种可选实施方式中，所述装置还包括人脸面部特征提取模型训练模块，所述人脸面部特征提取模型训练模块具体用于：
采用高维LBP特征提取网络提取所述样本图像中的人脸局部特征，采用密集连接卷积神经网络提取样本图像中的人脸全局特征；
将所述样本图像的人脸局部特征进行降维处理；
将所述人脸全局特征和降维处理后的人脸局部特征输入到全连接层进行训练得到第一损失函数值，将所述全连接层的输出结果输入Softmax层训练得到第二损失函数值；
基于所述第一损失函数值和所述第二损失函数值计算该样本图像的多损失函数值；
在所述多损失函数值小于预设损失函数阈值时，判定所述人脸面部特征提取模型训练完成，在所述多损失函数值不小于预设损失函数阈值，调整所述高维LBP特征提取网络及密集连接卷积神经网络的参数，重复执行上述步骤，直到所述人脸面部特征提取模型训练完成。
可选地，在本申请的一种可选实施方式中，检测与提取模块具体用于：
采用训练好的人脸面部特征提取模型的高维LBP特征提取网络从所述帧图像中提取人脸局部特征，并对提取的人脸局部特征进行降维处理；
采用训练好的人脸面部特征提取模型的密集连接卷积神经网络从所述帧图像；
将所述人脸全局特征和降维处理的人脸局部特征进行加权求和，得到人脸面部特征。
本申请实施例提供的人脸检索方法及人脸检索装置，该方法包括：从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像；从帧图像中提取出人脸面部特征，其中，人脸面部特征由人脸局部特征和人脸全局特征进行加权融合得到；将提取的人脸面部特征作为检索条件，在注册库中进行人脸检索，查看帧图像中的人脸是否与注册库中的目标人脸匹配。上述方法采用Storm计算系统的并行计算能力，使得人脸检索相对于现有基于单点架构的方式具有更良好的实时性和扩展性，同时，通过脸局部特征和人脸全局特征的加权融合得到人脸面部特征，可以提高人脸网络识别率，在非约束条件下也具有较好的鲁棒性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种可能的应用场景示意图；
图2为图1中Storm计算系统的一种结构示意图；
图3为本申请实施例提供的人脸检索方法的流程示意图；
图4为本申请实施例提供的对人脸面部特征提取模型进行训练的流程示意图；
图5为本申请实施例提供的基于Algorithm Overrall算法实现的框架图；
图6为本申请实施例提供的人脸检索装置的一种功能模块示意图；
图7为本申请实施例提供的人脸检索装置的另一种功能模块示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
请参照图1，图1为实现本申请技术方案的一种可能的应用场景，在该应用场景中，包括Storm计算系统100、分布式文件系统200、数据库300及监控终端400。
Storm计算系统是一个分布式的、容错的实时计算系统，Storm计算系统可以方便地在一个计算机集群中编写与扩展复杂的实时计算，在用于实时处理时，Storm计算系统保证每个消息都会得到处理，而且它很快，比如：在一个小集群中，每秒可以处理数以百万计的消息。
在本申请实施例中，分布式文件系统可以采用Hadoop分布式文件系统(HDFS)，HDFS是一个高度容错性的系统，可以部署在廉价的机器上，节省部署成本，同时HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。数据库可以采用分布式的开源数据库Hbase。
在本申请实施例中，监控终端400可以是分布于各个监控点(比如，交通路口、园区、小区等)的网络摄像机(IP CAMERA，简称IPC)。分布式文件系统200中建立有与每个监控终端400对应的文件夹，该文件夹用于存储对应监控终端400拍摄的视频流。
Storm计算系统100从分布式文件系统200中的文件夹中获取对应监控终端400拍摄的视频流，对视频流进行人脸检索，在检测到人脸时，提取出人脸脸部特征，并将提取人脸脸部特征存储到数据库300的抓拍库中。在本申请实施例中，数据库300中还可以包括注册库，注册库中可以预先存储目标对象的人脸脸部特征，比如，目标对象可以是犯罪嫌疑人、在逃罪犯、失信人员等。
在本申请实施例中，分布式文件系统200和数据库300可以运行在相同的计算机设备上，也可以运行在不同的计算机设备。Storm计算系统100实现本申请提供人脸检索方法可以通过多台计算机设备协同实现，也可以由单独的一台计算机设备实现。
请参照图2，图2给出了一种Storm计算系统100的一种结构示意图，Storm计算系统100包括人脸检索装置110、存储器111、处理器112及通信单元113。
所述存储器111、处理器112及通信单元113的各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，所述存储器111可以是，但不限于，随机存取存储器(英文：Random AccessMemory，简称：RAM)，只读存储器(英文：Read Only Memory，简称：ROM)，可编程只读存储器(英文：Programmable Read-Only Memory，简称：PROM)，可擦除只读存储器(英文：ErasableProgrammable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(英文：ElectricErasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器111用于存储程序，所述处理器112在接收到执行指令后，执行所述程序。所述通信单元113用于通过网络建立所述Storm计算系统与其它设备(比如分布式文件系统所在的终端设备)之间的通信连接，并用于通过网络进行数据的接收和发送。
人脸检索装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述Storm计算系统的操作系统(英文：Operating System，简称：OS)中的软件功能模块。所述处理器112用于执行所述存储器111中存储的可执行模块，例如人脸检索装置110所包括的软件功能模块及计算机程序等。
应当理解的是，图2所示的结构仅为示意，所述Storm计算系统100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
请参照图3，图3为本申请实施例提供的应用于图1中的Storm计算系统100的人脸检索方法的流程图，结合图3，下面对所述方法包括的各个步骤进行详尽的阐述。
步骤S310，从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像。
在本申请实施例中，可以采用OpenCV对该文件夹中对应监控终端拍摄的视频序列进行处理，得到视频序列中的每一帧图像。
具体实现上述功能的软件代码如下：
Figure BDA0002329440640000091
Figure BDA0002329440640000101
Figure BDA0002329440640000111
可以理解的是，上述仅仅只是实现获取帧图像的一种可能的实现方式，在本申请实施例中也还可以采用其他方式获取帧图像，在本申请实施例中并不做限定。
步骤S320，对帧图像进行人脸检测，在检测到人脸时从帧图像中提取出人脸面部特征。
在本申请实施例中，人脸面部特征由人脸局部特征和人脸全局特征进行加权融合得到，人脸局部特征包括人脸面部各个器官(比如，眼睛、鼻子、嘴巴等)的细节特征，人脸全局特征包括人脸面部的轮廓特征。通过将人脸局部特征和人脸全局特征进行加权融合的方式得到人脸面部特征。
步骤S330，将提取的人脸面部特征作为检索条件，在注册库中进行人脸检索，查看帧图像中的人脸是否与注册库中的目标人脸匹配，其中，注册库中预先存储有多个目标人脸的人脸面部特征。
上述方法将人脸识别与视频监控结合在一起，采用Storm计算系统的并行计算能力，使得人脸检索相对于现有基于单点架构的方式具有良好的实时性和扩展性，同时，通过脸局部特征和人脸全局特征的加权融合得到人脸面部特征，可以提高人脸网络识别率。
本申请实施例提供的人脸检索方法还可以包括向注册库中导入目标人脸的人脸面部特征的步骤，具体地，将包括目标人脸的帧图像输入训练好的人脸面部特征提取模型中，得到目标人脸的人脸面部特征，并将目标人脸的人脸面部特征导入所述注册库中。
进一步地，请参照图4，图4示例了一种对人脸面部特征提取模型进行训练的步骤流程图，该训练流程包括以下步骤：
步骤S410，采用高维LBP特征提取网络提取样本图像中的人脸局部特征，采用密集连接卷积神经网络提取样本图像中的人脸全局特征；
步骤S420，将样本图像的人脸局部特征进行降维处理；
步骤S430，将人脸全局特征和降维处理后的人脸局部特征输入到全连接层进行训练得到第一损失函数值，将全连接层的输出结果输入Softmax层训练得到第二损失函数值；
步骤S440，基于第一损失函数值和第二损失函数值计算该样本图像的多损失函数值；
步骤S450，判断多损失函数值是否小于预设损失函数阈值，在小于预设损失函数阈值时，进入步骤S460；在不小于预设损失函数阈值时，则重新进入步骤S410；
步骤S460，判定人脸面部特征提取模型训练完成，结束流程。
上述过程可以基于Algorithm Overrall算法框架实现，请参照图5，下面结合该算法框架对上述训练过程进行介绍。
请参照图5，采用高维LBP特征提取网络对人脸面部进行高维LBP的特征提取，并对提取特征进行降维处理，同时利用密集连接卷积神经网络提取人脸的全局特征。采用wh、wt分别表示全局特征和局部特征进行加权特征融合的权重比，将融合后得到的人脸面部特征输入全连接层，并通过改进的第一损失函数(中心损失函数Center Loss+)与第二损失函数Softmax Loss组成的多损失函数，进一步提高人脸的识别效率。
对多损失函数交叉熵定义的卷积神经分类定义
Figure BDA0002329440640000131
其中
Figure BDA0002329440640000132
byi分别为最后全连接层中的权值和偏置值，xi为输出特征向量，m、n分别为样本图像的批大小和类别数。每个样本图像训练向对应的类中心收敛函数定义为
Figure BDA0002329440640000133
其中，cyi、xi、m分别为类中心向量和输出的特征向量以及小批量样本数，最后结合Center Loss+损失函数与Softmax Loss相结合得到多损失函数：
Figure BDA0002329440640000134
其中，λ为平衡因子，Center Loss+损失函数主要起微调作用，因此其值一般小于1。
在上述算法中，在人脸全局特征的基础上增加了具有判别性的人脸局部特征，通过Center Loss+函数中添加距离类间特征距离，减少了类与类之间的重叠，使得特征之间更加有区分性，进一步强化其非约束条件的识别效果。
在多损失函数的函数值小于预设损失函数阈值时，判定人脸面部特征提取模型训练完成；否则，再调整人脸面部特征提取模型参数(比如，高维LBP特征提取网络及密集连接卷积神经网络的参数)重新执行人脸局部特征和人脸全局特征的提取步骤。
进一步地，在本申请实施例中，步骤S320可以通过以下方式实现：
首先，采用训练好的人脸面部特征提取模型的高维LBP特征提取网络从帧图像中提取人脸局部特征，并对提取的人脸局部特征进行降维处理；
接着，采用训练好的人脸面部特征提取模型的密集连接卷积神经网络从帧图像中提取人脸全局特征；
最后，将人脸全局特征和降维处理的人脸局部特征进行加权求和，得到人脸面部特征。
进一步地，在本申请实施例中，人脸检索方法还可以包括：
根据监控终端400的拍摄时间将监控的帧图像按照顺序存储到分布式文件系统中与该监控终端400对应的文件夹中。
本申请实施例还提供一种人脸检索装置110，与上面实施例不同的是，本人脸检索装置110是从虚拟装置的角度描述本申请方案的。请参照图6，人脸检索装置110可以包括以下模块。
获取模块1101，用于从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像。
检测与提取模块1102，用于对所述帧图像进行人脸检测，在检测到人脸时从帧图像中提取出人脸面部特征，其中，人脸面部特征由人脸局部特征和人脸全局特征进行加权融合得到。
在本申请实施例中，检测与提取模块1102具体用于：
采用训练好的人脸面部特征提取模型的高维LBP特征提取网络从帧图像中提取人脸局部特征，并对提取的人脸局部特征进行降维处理；
采用训练好的人脸面部特征提取模型的密集连接卷积神经网络从帧图像；
将人脸全局特征和降维处理的人脸局部特征进行加权求和，得到人脸面部特征。
检索模块1103，用于将提取的人脸面部特征作为检索条件，在注册库中进行人脸检索，查看帧图像中的人脸是否与注册库中的目标人脸匹配，其中，注册库中预先存储有多个目标人脸的人脸面部特征。
请参照图7，在本申请实施例中，人脸检索装置110还可以包括导入模块1104。
导入模块1104具体用于将包括目标人脸的帧图像输入训练好的人脸面部特征提取模型中，得到目标人脸的人脸面部特征，并将目标人脸的人脸面部特征导入所述注册库中。
进一步地，请再次参照图7，人脸检索装置110还可以包括人脸面部特征提取模型训练模块1105，人脸面部特征提取模型训练模块1105具体用于：
采用高维LBP特征提取网络提取所述样本图像中的人脸局部特征，采用密集连接卷积神经网络提取样本图像中的人脸全局特征；
将样本图像的人脸局部特征进行降维处理；
将人脸全局特征和降维处理后的人脸局部特征输入到全连接层进行训练得到第一损失函数值，将全连接层的输出结果输入Softmax层训练得到第二损失函数值；
基于第一损失函数值和第二损失函数值计算该样本图像的多损失函数值；
在多损失函数值小于预设损失函数阈值时，判定人脸面部特征提取模型训练完成，在多损失函数值不小于预设损失函数阈值，调整高维LBP特征提取网络及密集连接卷积神经网络的参数，重复执行上述步骤，直到人脸面部特征提取模型训练完成。
人脸检索方法及人脸检索装置，该方法包括：从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像；从帧图像中提取出人脸面部特征，其中，人脸面部特征由人脸局部特征和人脸全局特征进行加权融合得到；将提取的人脸面部特征作为检索条件，在注册库中进行人脸检索，查看帧图像中的人脸是否与注册库中的目标人脸匹配。上述方法采用Storm计算系统的并行计算能力，使得人脸检索相对于现有基于单点架构的方式具有更良好的实时性和扩展性，同时，通过脸局部特征和人脸全局特征的加权融合得到人脸面部特征，可以提高人脸网络识别率，在非约束条件下也具有较好的鲁棒性。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人脸检索方法，其特征在于，应用于Storm计算系统，所述方法包括：
从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像；
对所述帧图像进行人脸检测，在检测到人脸时从所述帧图像中提取出人脸面部特征，其中，所述人脸面部特征由人脸局部特征和人脸全局特征进行加权融合得到；
将提取的所述人脸面部特征作为检索条件，在注册库中进行人脸检索，查看所述帧图像中的人脸是否与所述注册库中的目标人脸匹配，其中，所述注册库中预先存储有多个目标人脸的人脸面部特征。
2.如权利要求1所述的人脸检索方法，其特征在于，所述方法还包括向所述注册库导入目标人脸的人脸面部特征的步骤，该步骤包括：
将包括目标人脸的帧图像输入训练好的人脸面部特征提取模型中，得到目标人脸的人脸面部特征，并将目标人脸的人脸面部特征导入所述注册库中。
3.如权利要求2所述的人脸检索方法，其特征在于，所述方法还包括对人脸面部特征提取模型进行训练的步骤，该步骤包括：
采用高维LBP特征提取网络提取样本图像中的人脸局部特征，采用密集连接卷积神经网络提取样本图像中的人脸全局特征；
将所述样本图像的人脸局部特征进行降维处理；
将所述人脸全局特征和降维处理后的人脸局部特征输入到全连接层进行训练得到第一损失函数值，将所述全连接层的输出结果输入Softmax层训练得到第二损失函数值；
基于所述第一损失函数值和所述第二损失函数值计算该样本图像的多损失函数值；
在所述多损失函数值小于预设损失函数阈值时，判定所述人脸面部特征提取模型训练完成，在所述多损失函数值不小于预设损失函数阈值，调整所述高维LBP特征提取网络及密集连接卷积神经网络的参数，重复执行上述步骤，直到所述人脸面部特征提取模型训练完成。
4.如权利要求3所述的人脸检索方法，其特征在于，所述对所述帧图像进行人脸检测，在检测到人脸时从所述帧图像中提取出人脸面部特征的步骤包括：
采用训练好的人脸面部特征提取模型的高维LBP特征提取网络从所述帧图像中提取人脸局部特征，并对提取的人脸局部特征进行降维处理；
采用训练好的人脸面部特征提取模型的密集连接卷积神经网络从所述帧图像中提取人脸全局特征；
将所述人脸全局特征和降维处理的人脸局部特征进行加权求和，得到人脸面部特征。
5.如权利要求1-4中任意一项所述的人脸检索方法，其特征在于，所述方法还包括：
根据所述监控终端的拍摄时间将监控的帧图像按照顺序存储到分布式文件系统中与该监控终端对应的文件夹中。
6.如权利要求1-4中任意一项所述的人脸检索方法，其特征在于，所述从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像的步骤，包括：
采用OpenCV对该文件夹中对应监控终端拍摄的视频序列进行处理，得到视频序列中的每一帧图像。
7.一种人脸检索装置，其特征在于，应用于Storm计算系统，所述装置包括：
获取模块，用于从分布式文件系统的文件夹中获取与该文件夹对应监控终端拍摄的帧图像；
检测与提取模块，用于对所述帧图像进行人脸检测，在检测到人脸时从所述帧图像中提取出人脸面部特征，其中，所述人脸面部特征由人脸局部特征和人脸全局特征进行加权融合得到；
检索模块，用于将提取的所述人脸面部特征作为检索条件，在注册库中进行人脸检索，查看所述帧图像中的人脸是否与所述注册库中的目标人脸匹配，其中，所述注册库中预先存储有多个目标人脸的人脸面部特征。
8.如权利要求7所述的人脸检索装置，其特征在于，所述装置还包括导入模块，
所述导入模块，用于将包括目标人脸的帧图像输入训练好的人脸面部特征提取模型中，得到目标人脸的人脸面部特征，并将目标人脸的人脸面部特征导入所述注册库中。
9.如权利要求8所述的人脸检索装置，其特征在于，所述装置还包括人脸面部特征提取模型训练模块，所述人脸面部特征提取模型训练模块具体用于：
采用高维LBP特征提取网络提取样本图像中的人脸局部特征，采用密集连接卷积神经网络提取样本图像中的人脸全局特征；
将所述样本图像的人脸局部特征进行降维处理；
将所述人脸全局特征和降维处理后的人脸局部特征输入到全连接层进行训练得到第一损失函数值，将所述全连接层的输出结果输入Softmax层训练得到第二损失函数值；
基于所述第一损失函数值和所述第二损失函数值计算该样本图像的多损失函数值；
在所述多损失函数值小于预设损失函数阈值时，判定所述人脸面部特征提取模型训练完成，在所述多损失函数值不小于预设损失函数阈值，调整所述高维LBP特征提取网络及密集连接卷积神经网络的参数，重复执行上述步骤，直到所述人脸面部特征提取模型训练完成。
10.如权利要求9所述的人脸检索装置，其特征在于，检测与提取模块具体用于：
采用训练好的人脸面部特征提取模型的高维LBP特征提取网络从所述帧图像中提取人脸局部特征，并对提取的人脸局部特征进行降维处理；
采用训练好的人脸面部特征提取模型的密集连接卷积神经网络从所述帧图像；
将所述人脸全局特征和降维处理的人脸局部特征进行加权求和，得到人脸面部特征。
CN201911330532.0A 2019-12-20 2019-12-20 人脸检索方法及人脸检索装置 Pending CN111177469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911330532.0A CN111177469A (zh) 2019-12-20 2019-12-20 人脸检索方法及人脸检索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911330532.0A CN111177469A (zh) 2019-12-20 2019-12-20 人脸检索方法及人脸检索装置

Publications (1)

Publication Number Publication Date
CN111177469A true CN111177469A (zh) 2020-05-19

Family

ID=70654130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911330532.0A Pending CN111177469A (zh) 2019-12-20 2019-12-20 人脸检索方法及人脸检索装置

Country Status (1)

Country Link
CN (1) CN111177469A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241684A (zh) * 2020-09-16 2021-01-19 四川天翼网络服务有限公司 一种人脸检索分布式计算方法及系统
CN112364827A (zh) * 2020-11-30 2021-02-12 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112532938A (zh) * 2020-11-26 2021-03-19 武汉宏数信息技术有限责任公司 一种基于大数据技术的视频监控系统
CN113053517A (zh) * 2021-03-29 2021-06-29 深圳大学 一种基于动态区域量化指标的面瘫级别评估方法
CN114139010A (zh) * 2021-09-07 2022-03-04 浪潮软件集团有限公司 一种基于cpu和加速卡的1:n人脸检索方法及系统
CN114937293A (zh) * 2022-04-06 2022-08-23 江苏商贸职业学院 基于gis的农业服务管理方法及系统
CN115510260A (zh) * 2022-09-26 2022-12-23 武汉虹信技术服务有限责任公司 一种目标图像检索方法及系统
CN116824659A (zh) * 2023-05-08 2023-09-29 国网黑龙江省电力有限公司佳木斯供电公司 一种基于特征提取的智能机柜人脸识别方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850825A (zh) * 2015-04-18 2015-08-19 中国计量学院 一种基于卷积神经网络的人脸图像颜值计算方法
CN105550658A (zh) * 2015-12-24 2016-05-04 蔡叶荷 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法
CN106874883A (zh) * 2017-02-27 2017-06-20 中国石油大学(华东) 一种基于深度学习的实时人脸检测方法及系统
CN107832700A (zh) * 2017-11-03 2018-03-23 全悉科技（北京）有限公司 一种人脸识别方法与系统
CN107871107A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 人脸认证方法和装置
CN108269331A (zh) * 2017-12-12 2018-07-10 国政通科技股份有限公司 一种智能视频大数据处理系统
CN109033938A (zh) * 2018-06-01 2018-12-18 上海阅面网络科技有限公司 一种基于可区分性特征融合的人脸识别方法
CN109522853A (zh) * 2018-11-22 2019-03-26 湖南众智君赢科技有限公司 面向监控视频的人脸检测与搜索方法
CN109815814A (zh) * 2018-12-21 2019-05-28 天津大学 一种基于卷积神经网络的人脸检测方法
CN109934197A (zh) * 2019-03-21 2019-06-25 深圳力维智联技术有限公司 人脸识别模型的训练方法、装置和计算机可读存储介质
CN109961407A (zh) * 2019-02-12 2019-07-02 北京交通大学 基于人脸相似性的人脸图像修复方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850825A (zh) * 2015-04-18 2015-08-19 中国计量学院 一种基于卷积神经网络的人脸图像颜值计算方法
CN105550658A (zh) * 2015-12-24 2016-05-04 蔡叶荷 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法
CN107871107A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 人脸认证方法和装置
CN106874883A (zh) * 2017-02-27 2017-06-20 中国石油大学(华东) 一种基于深度学习的实时人脸检测方法及系统
CN107832700A (zh) * 2017-11-03 2018-03-23 全悉科技（北京）有限公司 一种人脸识别方法与系统
CN108269331A (zh) * 2017-12-12 2018-07-10 国政通科技股份有限公司 一种智能视频大数据处理系统
CN109033938A (zh) * 2018-06-01 2018-12-18 上海阅面网络科技有限公司 一种基于可区分性特征融合的人脸识别方法
CN109522853A (zh) * 2018-11-22 2019-03-26 湖南众智君赢科技有限公司 面向监控视频的人脸检测与搜索方法
CN109815814A (zh) * 2018-12-21 2019-05-28 天津大学 一种基于卷积神经网络的人脸检测方法
CN109961407A (zh) * 2019-02-12 2019-07-02 北京交通大学 基于人脸相似性的人脸图像修复方法
CN109934197A (zh) * 2019-03-21 2019-06-25 深圳力维智联技术有限公司 人脸识别模型的训练方法、装置和计算机可读存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241684A (zh) * 2020-09-16 2021-01-19 四川天翼网络服务有限公司 一种人脸检索分布式计算方法及系统
CN112532938A (zh) * 2020-11-26 2021-03-19 武汉宏数信息技术有限责任公司 一种基于大数据技术的视频监控系统
CN112364827A (zh) * 2020-11-30 2021-02-12 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112364827B (zh) * 2020-11-30 2023-11-10 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN113053517A (zh) * 2021-03-29 2021-06-29 深圳大学 一种基于动态区域量化指标的面瘫级别评估方法
CN114139010A (zh) * 2021-09-07 2022-03-04 浪潮软件集团有限公司 一种基于cpu和加速卡的1:n人脸检索方法及系统
CN114937293A (zh) * 2022-04-06 2022-08-23 江苏商贸职业学院 基于gis的农业服务管理方法及系统
CN115510260A (zh) * 2022-09-26 2022-12-23 武汉虹信技术服务有限责任公司 一种目标图像检索方法及系统
CN116824659A (zh) * 2023-05-08 2023-09-29 国网黑龙江省电力有限公司佳木斯供电公司 一种基于特征提取的智能机柜人脸识别方法

Similar Documents

Publication Publication Date Title
CN111177469A (zh) 人脸检索方法及人脸检索装置
CN110490078A (zh) 监控视频处理方法、装置、计算机设备和存储介质
CN108229335A (zh) 关联人脸识别方法和装置、电子设备、存储介质、程序
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
CN110414376B (zh) 更新人脸识别模型的方法、人脸识别相机及服务器
CN110263916B (zh) 数据处理方法和装置、存储介质及电子装置
CN114666473A (zh) 耕地保护用视频监控方法、系统、终端及存储介质
CN114677611B (zh) 数据识别方法、存储介质及设备
CN108108711B (zh) 人脸布控方法、电子设备及存储介质
CN110046297A (zh) 运维违规操作的识别方法、装置和存储介质
CN110599129A (zh) 一种基于图像追踪校园考勤方法、装置、识别终端及系统
CN113657389A (zh) 一种软件定义卫星语义分割方法、装置和介质
CN110555428A (zh) 行人重识别方法、装置、服务器以及存储介质
CN111091106A (zh) 图像聚类方法及装置、存储介质、电子装置
Wong et al. Multi-camera face detection and recognition in unconstrained environment
CN114332693B (zh) 一种人体行为识别方法及装置
CN113762034B (zh) 视频分类方法和装置、存储介质及电子设备
CN111507289A (zh) 视频匹配方法、计算机设备和存储介质
CN111882034A (zh) 神经网络处理及人脸识别方法、装置、设备和存储介质
CN116091984A (zh) 视频目标分割方法、装置、电子设备及存储介质
CN114495188B (zh) 一种图像数据处理方法、装置和相关设备
CN109670470B (zh) 行人关系识别方法、装置、系统及电子设备
CN118015290B (zh) 图像特征处理方法、图像对比方法、模型训练方法及装置
CN119669827A (zh) 基于视频的异常行为检测方法和装置、设备及存储介质
CN114663816B (zh) 基于轻量化双帧速率网络异常行为识别方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200519

RJ01 Rejection of invention patent application after publication