[go: up one dir, main page]

CN111862030A - 一种人脸合成图检测方法、装置、电子设备及存储介质 - Google Patents

一种人脸合成图检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111862030A
CN111862030A CN202010681942.6A CN202010681942A CN111862030A CN 111862030 A CN111862030 A CN 111862030A CN 202010681942 A CN202010681942 A CN 202010681942A CN 111862030 A CN111862030 A CN 111862030A
Authority
CN
China
Prior art keywords
face
image
detected
face image
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010681942.6A
Other languages
English (en)
Other versions
CN111862030B (zh
Inventor
王珂尧
冯浩城
岳海潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010681942.6A priority Critical patent/CN111862030B/zh
Publication of CN111862030A publication Critical patent/CN111862030A/zh
Priority to JP2021068318A priority patent/JP7126586B2/ja
Priority to EP21179290.8A priority patent/EP3940587A1/en
Priority to US17/347,854 priority patent/US11881050B2/en
Priority to KR1020210091448A priority patent/KR102612354B1/ko
Application granted granted Critical
Publication of CN111862030B publication Critical patent/CN111862030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种人脸合成图检测方法、装置、电子设备及存储介质，涉及人工智能、深度学习以及图像识别领域。具体方案为：将待检测人脸图像输入至预先训练的卷积神经网络，得到待检测人脸图像的原始图像特征；将待检测人脸图像的原始图像特征分别输入至第一全连接层和第二全连接层，得到待检测人脸图像的人脸关键点对应的第一特征向量和待检测人脸图像对应的第二特征向量；将第一特征向量和第二特征向量进行合并，得到合并后的特征向量；将合并后的特征向量输入至第三全连接层，得到待检测人脸图像的检测结果。本申请实施例可以缓解人脸合成图检测的过拟合情况，提高人脸合成图检测的泛化性和准确性，提升对于未知的合成样本的检测效果。

Description

一种人脸合成图检测方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，进一步涉及人工智能、深度学习以及图像识别领域，尤其是一种人脸合成图检测方法、装置、电子设备及存储介质。
背景技术
人脸合成图检测是区分一张图像中的人脸是否为合成的人脸，实现人脸合成图检测的模块是人脸识别系统的基础组成模块，用于保证人脸识别系统的安全性。基于深度学习技术的人脸合成图检测算法是当前该领域的主流方法。当前人脸合成图检测算法主要使用神经网络的深度学习方法。使用深度学习的人脸合成图检测主要方法有卷积神经网络的合成图判别、基于长短期记忆网络(Long Short-Term Memory，简称LSTM)的合成图判别等方法。
现有技术中，人脸合成图检测模型很难学习到合成图与原图具有判别性的特征，容易在小范围训练样本上过拟合，对于未知的合成样本的泛化性有限；另外，仅使用单一卷积神经网络，对于真实场景中人脸姿态过大或光照差异较大时鲁棒性较差，导致识别效果并不理想。
发明内容
本申请提供了一种人脸合成图的方法、装置、电子设备及存储介质，可以缓解人脸合成图检测的过拟合情况，提高人脸合成图检测的泛化性和准确性，提升对于未知的合成样本的检测效果。
第一方面，本申请提供了一种人脸合成图检测方法，所述方法包括：
将待检测人脸图像输入至预先训练的卷积神经网络，通过所述卷积神经网络对所述待检测人脸图像进行特征提取，得到所述待检测人脸图像的原始图像特征；
将所述待检测人脸图像的原始图像特征输入至第一全连接层，通过所述第一全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像的人脸关键点对应的第一特征向量；将所述待检测人脸图像的原始图像特征输入至第二全连接层，通过所述第二全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像对应的第二特征向量；
将所述第一特征向量和所述第二特征向量进行合并，得到合并后的特征向量；
将所述合并后的特征向量输入至第三全连接层，通过所述第三全连接层对所述合并后的特征向量进行计算，得到所述待检测人脸图像的检测结果；其中，所述检测结果包括：所述待检测人脸图像为合成人脸图像或者非合成人脸图像。
第二方面，本申请提供了一种人脸合成图检测装置，所述装置包括：特征提取模块、向量计算模块、向量合并模块和结果计算模块；其中，
所述特征提取模块，用于将待检测人脸图像输入至预先训练的卷积神经网络，通过所述卷积神经网络对所述待检测人脸图像进行特征提取，得到所述待检测人脸图像的原始图像特征；
所述向量计算模块，用于将所述待检测人脸图像的原始图像特征输入至第一全连接层，通过所述第一全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像的人脸关键点对应的第一特征向量；将所述待检测人脸图像的原始图像特征输入至第二全连接层，通过所述第二全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像对应的第二特征向量；
所述向量合并模块，用于将所述第一特征向量和所述第二特征向量进行合并，得到合并后的特征向量；
所述结果计算模块，用于将所述合并后的特征向量输入至第三全连接层，通过所述第三全连接层对所述合并后的特征向量进行计算，得到所述待检测人脸图像的检测结果；其中，所述检测结果包括：所述待检测人脸图像为合成人脸图像或者非合成人脸图像。
第三方面，本申请实施例提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的人脸合成图检测方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的人脸合成图检测方法。
根据本申请的技术解决了现有技术中人脸合成图检测模型很难学习到合成图与原图具有判别性的特征，容易在小范围训练样本上过拟合，对于未知的合成样本的泛化性有限；以及仅使用单一卷积神经网络，对于真实场景中人脸姿态过大或光照差异较大时鲁棒性较差，导致识别效果并不理想的技术问题，本申请提供的技术方案，可以缓解人脸合成图检测的过拟合情况，提高人脸合成图检测的泛化性和准确性，提升对于未知的合成样本的检测效果。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例一提供的人脸合成图检测方法的流程示意图；
图2是本申请实施例二提供的人脸合成图检测方法的流程示意图；
图3是本申请实施例三提供的人脸合成图检测方法的流程示意图；
图4是本申请实施例三提供的人脸合成图检测系统的结构示意图
图5是本申请实施例四提供的人脸合成图检测装置的第一结构示意图；
图6是本申请实施例四提供的人脸合成图检测装置的第二结构示意图；
图7是用来实现本申请实施例的人脸合成图检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
实施例一
图1是本申请实施例一提供的人脸合成图检测方法的流程示意图，该方法可以由人脸合成图检测装置或者电子设备来执行，该装置或者电子设备可以由软件和/或硬件的方式实现，该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示，人脸合成图检测方法可以包括以下步骤：
S101、将待检测人脸图像输入至预先训练的卷积神经网络，通过卷积神经网络对待检测人脸图像进行特征提取，得到待检测人脸图像的原始图像特征。
在本申请的具体实施例中，电子设备可以将待检测人脸图像输入至预先训练的卷积神经网络，通过卷积神经网络对待检测人脸图像进行特征提取，得到待检测人脸图像的原始图像特征。本申请实施例采用Resnet网络作为卷积神经网络，Resnet由buildingblock或bottleneck组成。building block结构包含一个残差支路和short-cut支路，残差支路增加了一个identity mapping(恒等映射)，把当前输出直接传输给下一层网络，同时在后向传播过程中，也是将下一层网络的梯度直接传递给上一层网络，这样就解决了深层网络的梯度消失问题。与传统的图片特征提取器VGGNet和GoogleNet相比，Resnet有了更加深的网络层数，进而有更多的参数用于对图片特征的描述，并且特有的残差网络结构能够减少网络层数的叠加带来的负面影响(比如训练过程中的梯度消失)。因此，Resnet有着更加优秀的特征提取功能。具体地，本申请实施例可以采用Resnet18作为卷积神经网络。
S102、将待检测人脸图像的原始图像特征分别输入至第一全连接层和第二全连接层，通过第一全连接层对待检测人脸图像的原始图像特征进行计算，得到待检测人脸图像的人脸关键点对应的第一特征向量；通过第二全连接层对待检测人脸图像的原始图像特征进行计算，得到待检测人脸图像对应的第二特征向量。
在本申请的具体实施例中，电子设备可以将待检测人脸图像的原始图像特征分别输入至第一全连接层和第二全连接层，通过第一全连接层对待检测人脸图像的原始图像特征进行计算，得到待检测人脸图像的人脸关键点对应的第一特征向量；通过第二全连接层对待检测人脸图像的原始图像特征进行计算，得到待检测人脸图像对应的第二特征向量。在一个实施例中，电子设备在通过第一全连接层对待检测人脸图像的原始图像特征进行计算时，可以先通过第一全连接层基于待检测人脸图像的原始图像特征提取出待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征；然后根据待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征，得到待检测人脸图像的人脸关键点对应的第一特征向量；其中，人脸关键点为72个，第一特征向量为144维向量。具体地，人脸关键点分别为：(x1,y1)、(x2,y2)、…、(x72,y72)。在一个实施例中，电子设备在通过第二全连接层对待检测人脸图像的原始图像特征进行计算时，可以先通过第二全连接层基于待检测人脸图像的原始图像特征提取出待检测人脸图像的关键图像特征；然后根据待检测人脸的关键图像特征，得到待检测人脸图像对应的第二特征向量；其中，第二特征向量为144维向量。
S103、将第一特征向量和第二特征向量进行合并，得到合并后的特征向量。
在本申请的具体实施例中，电子设备可以将第一特征向量和第二特征向量进行合并，得到合并后的特征向量。在一个实施例中，电子设备可以将第一特征向量和第二特征向量叠加起来，组成一个288维向量，作为合并后的特征向量。
S104、将合并后的特征向量输入至第三全连接层，通过第三全连接层对合并后的特征向量进行计算，得到待检测人脸图像的检测结果；其中，检测结果包括：待检测人脸图像为合成人脸图像或者非合成人脸图像。
在本申请的具体实施例中，电子设备可以将合并后的特征向量输入至第三全连接层，通过第三全连接层对合并后的特征向量进行计算，得到待检测人脸图像的检测结果；其中，检测结果包括：待检测人脸图像为合成人脸图像或者非合成人脸图像。在一个实施例中，电子设备可以通过第三全连接层得到一个2维向量，通过该2维向量判断出待检测人脸图像为合成人脸图像或者非合成人脸图像。
本申请实施例提出的人脸合成图检测方法，先将待检测人脸图像输入至预先训练的卷积神经网络，通过卷积神经网络得到待检测人脸图像的原始图像特征；再将待检测人脸图像的原始图像特征分别输入至第一全连接层和第二全连接层，通过第一全连接层和第二全连接层分别得到待检测人脸图像的人脸关键点对应的第一特征向量和待检测人脸图像对应的第二特征向量；接着将第一特征向量和第二特征向量进行合并，得到合并后的特征向量；最后将合并后的特征向量输入至第三全连接层，通过第三全连接层得到待检测人脸图像的检测结果。也就是说，本申请可以通过第一全连接层和第二全连接层分别得到待检测人脸图像的人脸关键点对应的第一特征向量和待检测人脸图像对应的第二特征向量；然后通过第三全连接层得到待检测人脸图像的检测结果。而在现有的人脸合成图检测方法中，主要使用神经网络的深度学习方法，该方法很难学习到合成图与原图具有判别性的特征，容易在小范围训练样本上过拟合，对于未知的合成样本的泛化性有限；并且仅使用单一卷积神经网络，对于真实场景中人脸姿态过大或光照差异较大时鲁棒性较差，导致识别效果并不理想。因为本申请采用了人脸关键点和合成图进行联合检测的技术手段，克服了现有技术中人脸合成图检测模型很难学习到合成图与原图具有判别性的特征，容易在小范围训练样本上过拟合，对于未知的合成样本的泛化性有限；以及仅使用单一卷积神经网络，对于真实场景中人脸姿态过大或光照差异较大时鲁棒性较差，导致识别效果并不理想的技术问题，本申请提供的技术方案，可以缓解人脸合成图检测的过拟合情况，提高人脸合成图检测的泛化性和准确性，提升对于未知的合成样本的检测效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例二
图2是本申请实施例二提供的人脸合成图检测方法的流程示意图。如图2所示，人脸合成图检测方法可以包括以下步骤：
S201、将待检测人脸图像输入至预先训练的卷积神经网络，通过卷积神经网络对待检测人脸图像进行特征提取，得到待检测人脸图像的原始图像特征。
S202、将待检测人脸图像的原始图像特征输入至第一全连接层，通过第一全连接层基于待检测人脸图像的原始图像特征提取出待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征。
在本申请的具体实施例中，电子设备可以将待检测人脸图像的原始图像特征分别输入至第一全连接层，通过第一全连接层基于待检测人脸图像的原始图像特征提取出待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征；其中，人脸关键点为72个；具体地，人脸关键点分别为：(x1,y1)、(x2,y2)、…、(x72,y72)。
S203、根据待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征，得到待检测人脸图像的人脸关键点对应的第一特征向量；其中，第一特征向量为144维向量。
在本申请的具体实施例中，电子设备可以根据待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征，得到待检测人脸图像的人脸关键点对应的第一特征向量；其中，第一特征向量为144维向量。具体地，每一个人脸关键点对应一个2维的图像特征，所以基于72个人脸关键点的图像特征可以得到一个144维向量。
S204、将待检测人脸图像的原始图像特征输入至第二全连接层，通过第二全连接层基于待检测人脸图像的原始图像特征提取出待检测人脸图像的关键图像特征。
在本申请的具体实施例中，电子设备可以将待检测人脸图像的原始图像特征输入至第二全连接层，通过第二全连接层基于待检测人脸图像的原始图像特征提取出待检测人脸图像的关键图像特征。具体地，假设待检测人脸图像的原始图像特征为一个512维向量，在本步骤中，电子设备可以根据该向量中生成一个144维向量，作为待检测人脸图像的关键图像特征。
S205、根据待检测人脸的关键图像特征，得到待检测人脸图像对应的第二特征向量；其中，第二特征向量为144维向量。
在本申请的具体实施例中，电子设备可以根据待检测人脸的关键图像特征，得到待检测人脸图像对应的第二特征向量；其中，第二特征向量为144维向量。具体地，假设待检测人脸图像的关键图像特征为144维向量，在本步骤中，电子设备可以将该向量确定为待检测人脸图像对应的第二特征向量。
S206、将第一特征向量和第二特征向量进行合并，得到合并后的特征向量。
S207、将合并后的特征向量输入至第三全连接层，通过第三全连接层对合并后的特征向量进行计算，得到待检测人脸图像的检测结果；其中，检测结果包括：待检测人脸图像为合成人脸图像或者非合成人脸图像。
本申请实施例提出的人脸合成图检测方法，先将待检测人脸图像输入至预先训练的卷积神经网络，通过卷积神经网络得到待检测人脸图像的原始图像特征；再将待检测人脸图像的原始图像特征分别输入至第一全连接层和第二全连接层，通过第一全连接层和第二全连接层分别得到待检测人脸图像的人脸关键点对应的第一特征向量和待检测人脸图像对应的第二特征向量；接着将第一特征向量和第二特征向量进行合并，得到合并后的特征向量；最后将合并后的特征向量输入至第三全连接层，通过第三全连接层得到待检测人脸图像的检测结果。也就是说，本申请可以通过第一全连接层和第二全连接层分别得到待检测人脸图像的人脸关键点对应的第一特征向量和待检测人脸图像对应的第二特征向量；然后通过第三全连接层得到待检测人脸图像的检测结果。而在现有的人脸合成图检测方法中，主要使用神经网络的深度学习方法，该方法很难学习到合成图与原图具有判别性的特征，容易在小范围训练样本上过拟合，对于未知的合成样本的泛化性有限；并且仅使用单一卷积神经网络，对于真实场景中人脸姿态过大或光照差异较大时鲁棒性较差，导致识别效果并不理想。因为本申请采用了人脸关键点和合成图进行联合检测的技术手段，克服了现有技术中人脸合成图检测模型很难学习到合成图与原图具有判别性的特征，容易在小范围训练样本上过拟合，对于未知的合成样本的泛化性有限；以及仅使用单一卷积神经网络，对于真实场景中人脸姿态过大或光照差异较大时鲁棒性较差，导致识别效果并不理想的技术问题，本申请提供的技术方案，可以缓解人脸合成图检测的过拟合情况，提高人脸合成图检测的泛化性和准确性，提升对于未知的合成样本的检测效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例三
图3是本申请实施例三提供的人脸合成图检测方法的流程示意图。如图3所示，人脸合成图检测方法可以包括以下步骤：
S301、将待检测的人脸图像输入至预先训练的人脸检测模型，通过人脸检测模型对待检测人脸图像进行识别，得到待检测人脸图像的人脸检测框。
在本申请的具体实施例中，电子设备可以将待检测的人脸图像输入至预先训练的人脸检测模型，通过人脸检测模型对待检测人脸图像进行识别，得到待检测人脸图像的人脸检测框。具体地，电子设备可以先得到一张包含人脸的红绿蓝(RGB)图像，将该RGB图像输入至预先训练的人脸检测模型，通过预先训练的人脸检测模型对该RGB图像进行识别，得到该RGB图像的人脸检测框。本实施例中的人脸检测模型可以是已有人脸检测模型，该人脸检测模型可以检测到人脸位置。
S302、将待检测人脸图像的人脸检测框扩大预设倍数，得到扩大后的人脸检测框；在扩大后的人脸检测框中对待检测人脸图像中的人脸进行截取，得到截取后的人脸图像；将截取后的人脸图像调整为预定尺寸，得到调整后的人脸图像。
在本申请的具体实施例中，电子设备可以将待检测人脸图像的人脸检测框扩大预设倍数，得到扩大后的人脸检测框；在扩大后的人脸检测框中对待检测人脸图像中的人脸进行截取，得到截取后的人脸图像；将截取后的人脸图像调整为预定尺寸，得到调整后的人脸图像。具体地，电子设备可以将待检测人脸图像的人脸检测框扩大1.5倍；再对待检测人脸图像中的人脸进行截取，并将截取后的人脸图像调整到相同的尺寸224×224。
S303、基于调整后的人脸图像计算得出每一个像素点的像素值。
在本申请的具体实施例中，电子设备可以基于调整后的人脸图像计算得出每一个像素点的像素值。具体地，电子设备可以将调整后的人脸图像输入至像素计算模型，通过该像素计算模型可以计算得出每一个像素点的像素值。
S304、按照预定方式对每一个像素点的像素值进行归一化处理，得到归一化处理后的人脸图像；使得归一化处理后的人脸图像中的每一个像素点的像素值在预定范围内。
在本申请的具体实施例中，电子设备可以按照预定方式对每一个像素点的像素值进行归一化处理，得到归一化处理后的人脸图像；使得归一化处理后的人脸图像中的每一个像素点的像素值在预定范围内。具体地，电子设备可以将每一个像素点的像素值减128，再除以256，使得每一个像素点的像素值在[-0.5，0.5]之间。较佳地，电子设备可以还可以将归一化处理后的人脸图像进行随机数据增强处理。
S305、将归一化处理后的人脸图像输入至预先训练的卷积神经网络，通过卷积神经网络对归一化后的人脸图像进行特征提取，得到归一化后的人脸图像的原始图像特征。
S306、将归一化后的人脸图像的原始图像特征分别输入至第一全连接层和第二全连接层，通过第一全连接层对归一化后的人脸图像的原始图像特征进行计算，得到归一化后的人脸图像的人脸关键点对应的第一特征向量；通过第二全连接层对归一化后的人脸图像的原始图像特征进行计算，得到归一化后的人脸图像对应的第二特征向量。
S307、将第一特征向量和第二特征向量进行合并，得到合并后的特征向量。
S308、将合并后的特征向量输入至第三全连接层，通过第三全连接层对合并后的特征向量进行计算，得到待检测人脸图像的检测结果；其中，检测结果包括：待检测人脸图像为合成人脸图像或者非合成人脸图像。
需要说明的是，本实施例中的步骤S305-S308针对于归一化后的人脸图像的处理过程与实施例一中的步骤S101-S104针对于待检测人脸图像的处理过程相同，在此不再赘述。
较佳地，在本申请的具体实施例中，在将待检测人脸图像输入至预先训练的卷积神经网络之前，还可以先对第一全连接层进行训练。具体地，电子设备可以将预先获取的第一个人脸图像的原始图像特征作为当前原始图像特征；若第一全连接层不满足与其对应的收敛条件，将当前原始图像特征输入至第一全连接层，使用当前原始图像特征对第一全连接层进行训练；将当前人脸图像的下一个人脸图像作为当前人脸图像，重复执行上述操作，直到第一全连接层满足与其对应的收敛条件。
较佳地，在本申请的具体实施例中，在将待检测人脸图像输入至预先训练的卷积神经网络之前，还可以先对第三全连接层进行训练。具体地，电子设备可以将预先获取的第一个人脸图像的合并后的特征向量作为当前特征向量；若第三全连接层不满足与其对应的收敛条件，将当前特征向量输入至第三全连接层，使用当前特征向量对第三全连接层进行训练；将当前人脸图像的下一个人脸图像作为当前人脸图像，重复执行上述操作，直到第三全连接层满足与其对应的收敛条件。
图4是本申请实施例三提供的人脸合成图检测系统的结构示意图。如图4所示，人脸合成图检测系统可以包括：人脸检测模块、图像预处理模块、卷积神经网络、第一全连接层、第二全连接层和第三全连接层；其中，人脸检测模块，用于对待检测人脸图像中的人脸进行检测，得到待检测人脸图像中的人脸检测框；其中，检测模型为已有人脸检测模型，可以检测到人脸位置。图像预处理模块，用于对待检测人脸图像中的人脸检测框进行预处理。具体地，将人脸检测框扩大1.5倍之后，在扩大后的人脸检测框中对待检测人脸图像中的人脸进行截取，得到截取后的人脸图像；将截取后的人脸图像调整为相同尺寸224×224，得到调整后的人脸图像。进一步的，电子设备可以还可以对调整后的人脸图像进行归一化处理。具体地，电子设备可以将调整后的人脸图像中的每一个像素值减128再除以256，使得每一个像素点的像素值在[-0.5，0.5]之间；较佳地，电子设备还可以通过图像预处理模块将归一化处理后的人脸图像进行随机数据增强处理。卷积神经网络，用于使用ResNet18网络对待检测人脸图像进行特征提取，在最后一层特征图上做全局平均池化操作后，进行两个支路的全连接层计算，通过一个全连接层Fc1(第一全连接层)得到人脸的72个关键点对应的144维向量；通过另一个全连接层Fc2(第二全连接层)得到待检测人脸图像对应的144维向量；再将Fc1和Fc2输出的两个144维向量合并起来，得到288维向量；最后再接一个全连接层Fc3(第三全连接层)，得到一个2维向量，判断出待检测人脸为合成人脸图像或者非合成人脸图像。
人脸合成图检测是人脸相关领域的基础技术之一，应用于安防、考勤、金融、门禁通行等诸多场景。在当前的很多业务上都有广泛的应用，采用本申请提供的技术方案，利用人脸合成图大多基于关键点贴图的先验信息，将关键点和合成图检测联合训练，可以给合成图检测带来更多监督信息，可以缓解合成图检测的过拟合情况，同时让模型更多的注意到人脸合成图关键点区域的贴合痕迹，能提取出原图和合成图中更有判别性的特征进行分类，因此，本申请能够提升人脸活体检测技术性能、帮助以人脸活体检测技术为基础的诸多应用提升效果和用户体验，有利于业务项目的进一步推广。
本申请实施例提出的人脸合成图检测方法，先将待检测人脸图像输入至预先训练的卷积神经网络，通过卷积神经网络得到待检测人脸图像的原始图像特征；再将待检测人脸图像的原始图像特征分别输入至第一全连接层和第二全连接层，通过第一全连接层和第二全连接层分别得到待检测人脸图像的人脸关键点对应的第一特征向量和待检测人脸图像对应的第二特征向量；接着将第一特征向量和第二特征向量进行合并，得到合并后的特征向量；最后将合并后的特征向量输入至第三全连接层，通过第三全连接层得到待检测人脸图像的检测结果。也就是说，本申请可以通过第一全连接层和第二全连接层分别得到待检测人脸图像的人脸关键点对应的第一特征向量和待检测人脸图像对应的第二特征向量；然后通过第三全连接层得到待检测人脸图像的检测结果。而在现有的人脸合成图检测方法中，主要使用神经网络的深度学习方法，该方法很难学习到合成图与原图具有判别性的特征，容易在小范围训练样本上过拟合，对于未知的合成样本的泛化性有限；并且仅使用单一卷积神经网络，对于真实场景中人脸姿态过大或光照差异较大时鲁棒性较差，导致识别效果并不理想。因为本申请采用了人脸关键点和合成图进行联合检测的技术手段，克服了现有技术中人脸合成图检测模型很难学习到合成图与原图具有判别性的特征，容易在小范围训练样本上过拟合，对于未知的合成样本的泛化性有限；以及仅使用单一卷积神经网络，对于真实场景中人脸姿态过大或光照差异较大时鲁棒性较差，导致识别效果并不理想的技术问题，本申请提供的技术方案，可以缓解人脸合成图检测的过拟合情况，提高人脸合成图检测的泛化性和准确性，提升对于未知的合成样本的检测效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例四
图5是本申请实施例四提供的人脸合成图检测装置的第一结构示意图。如图5所示，所述装置500包括：特征提取模块501、向量计算模块502、向量合并模块503和结果计算模块504；其中，
所述特征提取模块501，用于将待检测人脸图像输入至预先训练的卷积神经网络，通过所述卷积神经网络对所述待检测人脸图像进行特征提取，得到所述待检测人脸图像的原始图像特征；
所述向量计算模块502，用于将所述待检测人脸图像的原始图像特征输入至第一全连接层，通过所述第一全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像的人脸关键点对应的第一特征向量；将所述待检测人脸图像的原始图像特征输入至第二全连接层，通过所述第二全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像对应的第二特征向量；
所述向量合并模块503，用于将所述第一特征向量和所述第二特征向量进行合并，得到合并后的特征向量；
所述结果计算模块504，用于将所述合并后的特征向量输入至第三全连接层，通过所述第三全连接层对所述合并后的特征向量进行计算，得到所述待检测人脸图像的检测结果；其中，所述检测结果包括：所述待检测人脸图像为合成人脸图像或者非合成人脸图像。
进一步的，所述向量计算模块502，具体用于通过所述第一全连接层基于所述待检测人脸图像的原始图像特征提取出所述待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征；根据所述待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征，得到所述待检测人脸图像的人脸关键点对应的第一特征向量；其中，所述第一特征向量为144维向量。
进一步的，所述向量计算模块502，具体用于通过所述第二全连接层基于所述待检测人脸图像的原始图像特征提取出所述待检测人脸图像的关键图像特征；根据所述待检测人脸的关键图像特征，得到待检测人脸图像对应的第二特征向量；其中，所述第二特征向量为144维向量。
图6是本申请实施例四提供的人脸合成图检测装置的第二结构示意图。如图6所示，所述装置500还包括：图像预处理模块505，用于将待检测的人脸图像输入至预先训练的人脸检测模型，通过所述人脸检测模型对所述待检测人脸图像进行识别，得到所述待检测人脸图像的人脸检测框；将所述待检测人脸图像的人脸检测框扩大预设倍数，得到扩大后的人脸检测框；在所述扩大后的人脸检测框中对所述待检测人脸图像中的人脸进行截取，得到截取后的人脸图像；将所述截取后的人脸图像调整为预定尺寸，得到调整后的人脸图像；执行将所述调整后的人脸图像输入至所述预先训练的卷积神经网络的操作。
进一步的，所述图像预处理模块505，还用于基于所述调整后的人脸图像计算得出每一个像素点的像素值；按照预定方式对每一个像素点的像素值进行归一化处理，得到归一化处理后的人脸图像；使得所述归一化处理后的人脸图像中的每一个像素点的像素值在预定范围内；执行将所述归一化处理后的人脸图像输入至所述预先训练的卷积神经网络的操作。
进一步的，所述装置还包括：第一训练模块506(图中未示出)，用于将预先获取的第一个人脸图像的原始图像特征作为当前原始图像特征；若所述第一全连接层不满足与其对应的收敛条件，将所述当前原始图像特征输入至所述第一全连接层，使用所述当前原始图像特征对所述第一全连接层进行训练；将所述当前人脸图像的下一个人脸图像作为所述当前人脸图像，重复执行上述操作，直到所述第一全连接层满足与其对应的收敛条件。
进一步的，所述装置还包括：第二训练模块507(图中未示出)，用于将预先获取的第一个人脸图像的合并后的特征向量作为当前特征向量；若所述第三全连接层不满足与其对应的收敛条件，将所述当前特征向量输入至所述第三全连接层，使用所述当前特征向量对所述第三全连接层进行训练；将所述当前人脸图像的下一个人脸图像作为所述当前人脸图像，重复执行上述操作，直到所述第三全连接层满足与其对应的收敛条件。
上述人脸合成图检测装置可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例提供的人脸合成图检测方法。
实施例五
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是根据本申请实施例的人脸合成图检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的人脸合成图检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人脸合成图检测方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人脸合成图检测方法对应的程序指令/模块(例如，附图5所示的特征提取模块501、向量计算模块502、向量合并模块503和结果计算模块504)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人脸合成图检测方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人脸合成图检测方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至人脸合成图检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人脸合成图检测方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与人脸合成图检测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
根据本申请实施例的技术方案，先将待检测人脸图像输入至预先训练的卷积神经网络，通过卷积神经网络得到待检测人脸图像的原始图像特征；再将待检测人脸图像的原始图像特征分别输入至第一全连接层和第二全连接层，通过第一全连接层和第二全连接层分别得到待检测人脸图像的人脸关键点对应的第一特征向量和待检测人脸图像对应的第二特征向量；接着将第一特征向量和第二特征向量进行合并，得到合并后的特征向量；最后将合并后的特征向量输入至第三全连接层，通过第三全连接层得到待检测人脸图像的检测结果。也就是说，本申请可以通过第一全连接层和第二全连接层分别得到待检测人脸图像的人脸关键点对应的第一特征向量和待检测人脸图像对应的第二特征向量；然后通过第三全连接层得到待检测人脸图像的检测结果。而在现有的人脸合成图检测方法中，主要使用神经网络的深度学习方法，该方法很难学习到合成图与原图具有判别性的特征，容易在小范围训练样本上过拟合，对于未知的合成样本的泛化性有限；并且仅使用单一卷积神经网络，对于真实场景中人脸姿态过大或光照差异较大时鲁棒性较差，导致识别效果并不理想。因为本申请采用了人脸关键点和合成图进行联合检测的技术手段，克服了现有技术中人脸合成图检测模型很难学习到合成图与原图具有判别性的特征，容易在小范围训练样本上过拟合，对于未知的合成样本的泛化性有限；以及仅使用单一卷积神经网络，对于真实场景中人脸姿态过大或光照差异较大时鲁棒性较差，导致识别效果并不理想的技术问题，本申请提供的技术方案，可以缓解人脸合成图检测的过拟合情况，提高人脸合成图检测的泛化性和准确性，提升对于未知的合成样本的检测效果；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种人脸合成图检测方法，其特征在于，所述方法包括：
将待检测人脸图像输入至预先训练的卷积神经网络，通过所述卷积神经网络对所述待检测人脸图像进行特征提取，得到所述待检测人脸图像的原始图像特征；
将所述待检测人脸图像的原始图像特征输入至第一全连接层，通过所述第一全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像的人脸关键点对应的第一特征向量；将所述待检测人脸图像的原始图像特征输入至第二全连接层，通过所述第二全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像对应的第二特征向量；
将所述第一特征向量和所述第二特征向量进行合并，得到合并后的特征向量；
将所述合并后的特征向量输入至第三全连接层，通过所述第三全连接层对所述合并后的特征向量进行计算，得到所述待检测人脸图像的检测结果；其中，所述检测结果包括：所述待检测人脸图像为合成人脸图像或者非合成人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述通过所述第一全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像的人脸关键点对应的第一特征向量，包括：
通过所述第一全连接层基于所述待检测人脸图像的原始图像特征提取出所述待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征；
根据所述待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征，得到所述待检测人脸图像的人脸关键点对应的第一特征向量；其中，所述第一特征向量为144维向量。
3.根据权利要求1所述的方法，其特征在于，所述通过所述第二全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像对应的第二特征向量，包括：
通过所述第二全连接层基于所述待检测人脸图像的原始图像特征提取出所述待检测人脸图像的关键图像特征；
根据所述待检测人脸的关键图像特征，得到待检测人脸图像对应的第二特征向量；其中，所述第二特征向量为144维向量。
4.根据权利要求1所述的方法，其特征在于，在所述将待检测人脸图像输入至预先训练的卷积神经网络之前，所述方法还包括：
将待检测的人脸图像输入至预先训练的人脸检测模型，通过所述人脸检测模型对所述待检测人脸图像进行识别，得到所述待检测人脸图像的人脸检测框；
将所述待检测人脸图像的人脸检测框扩大预设倍数，得到扩大后的人脸检测框；在所述扩大后的人脸检测框中对所述待检测人脸图像中的人脸进行截取，得到截取后的人脸图像；将所述截取后的人脸图像调整为预定尺寸，得到调整后的人脸图像；执行将所述调整后的人脸图像输入至所述预先训练的卷积神经网络的操作。
5.根据权利要求4所述的方法，其特征在于，在所述执行将所述调整后的人脸图像输入至所述预先训练的卷积神经网络的操作之前，所述方法还包括：
基于所述调整后的人脸图像计算得出每一个像素点的像素值；
按照预定方式对每一个像素点的像素值进行归一化处理，得到归一化处理后的人脸图像；使得所述归一化处理后的人脸图像中的每一个像素点的像素值在预定范围内；执行将所述归一化处理后的人脸图像输入至所述预先训练的卷积神经网络的操作。
6.根据权利要求1所述的方法，其特征在于，在所述将待检测人脸图像输入至预先训练的卷积神经网络之前，所述方法还包括：
将预先获取的第一个人脸图像的原始图像特征作为当前原始图像特征；
若所述第一全连接层不满足与其对应的收敛条件，将所述当前原始图像特征输入至所述第一全连接层，使用所述当前原始图像特征对所述第一全连接层进行训练；将所述当前人脸图像的下一个人脸图像作为所述当前人脸图像，重复执行上述操作，直到所述第一全连接层满足与其对应的收敛条件。
7.根据权利要求1所述的方法，其特征在于，在所述将待检测人脸图像输入至预先训练的卷积神经网络之前，所述方法还包括：
将预先获取的第一个人脸图像的合并后的特征向量作为当前特征向量；
若所述第三全连接层不满足与其对应的收敛条件，将所述当前特征向量输入至所述第三全连接层，使用所述当前特征向量对所述第三全连接层进行训练；将所述当前人脸图像的下一个人脸图像作为所述当前人脸图像，重复执行上述操作，直到所述第三全连接层满足与其对应的收敛条件。
8.一种人脸合成图检测装置，其特征在于，所述装置包括：特征提取模块、向量计算模块、向量合并模块和结果计算模块；其中，
所述特征提取模块，用于将待检测人脸图像输入至预先训练的卷积神经网络，通过所述卷积神经网络对所述待检测人脸图像进行特征提取，得到所述待检测人脸图像的原始图像特征；
所述向量计算模块，用于将所述待检测人脸图像的原始图像特征输入至第一全连接层，通过所述第一全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像的人脸关键点对应的第一特征向量；将所述待检测人脸图像的原始图像特征输入至第二全连接层，通过所述第二全连接层对所述待检测人脸图像的原始图像特征进行计算，得到所述待检测人脸图像对应的第二特征向量；
所述向量合并模块，用于将所述第一特征向量和所述第二特征向量进行合并，得到合并后的特征向量；
所述结果计算模块，用于将所述合并后的特征向量输入至第三全连接层，通过所述第三全连接层对所述合并后的特征向量进行计算，得到所述待检测人脸图像的检测结果；其中，所述检测结果包括：所述待检测人脸图像为合成人脸图像或者非合成人脸图像。
9.根据权利要求8所述的装置，其特征在于：
所述向量计算模块，具体用于通过所述第一全连接层基于所述待检测人脸图像的原始图像特征提取出所述待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征；根据所述待检测人脸图像的人脸关键点以及各个人脸关键点的图像特征，得到所述待检测人脸图像的人脸关键点对应的第一特征向量；其中，所述第一特征向量为144维向量。
10.根据权利要求8所述的装置，其特征在于：
所述向量计算模块，具体用于通过所述第二全连接层基于所述待检测人脸图像的原始图像特征提取出所述待检测人脸图像的关键图像特征；根据所述待检测人脸的关键图像特征，得到待检测人脸图像对应的第二特征向量；其中，所述第二特征向量为144维向量。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括：图像预处理模块，用于将待检测的人脸图像输入至预先训练的人脸检测模型，通过所述人脸检测模型对所述待检测人脸图像进行识别，得到所述待检测人脸图像的人脸检测框；将所述待检测人脸图像的人脸检测框扩大预设倍数，得到扩大后的人脸检测框；在所述扩大后的人脸检测框中对所述待检测人脸图像中的人脸进行截取，得到截取后的人脸图像；将所述截取后的人脸图像调整为预定尺寸，得到调整后的人脸图像；执行将所述调整后的人脸图像输入至所述预先训练的卷积神经网络的操作。
12.根据权利要求11所述的装置，其特征在于，所述图像预处理模块，还用于基于所述调整后的人脸图像计算得出每一个像素点的像素值；按照预定方式对每一个像素点的像素值进行归一化处理，得到归一化处理后的人脸图像；使得所述归一化处理后的人脸图像中的每一个像素点的像素值在预定范围内；执行将所述归一化处理后的人脸图像输入至所述预先训练的卷积神经网络的操作。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括：第一训练模块，用于将预先获取的第一个人脸图像的原始图像特征作为当前原始图像特征；若所述第一全连接层不满足与其对应的收敛条件，将所述当前原始图像特征输入至所述第一全连接层，使用所述当前原始图像特征对所述第一全连接层进行训练；将所述当前人脸图像的下一个人脸图像作为所述当前人脸图像，重复执行上述操作，直到所述第一全连接层满足与其对应的收敛条件。
14.根据权利要求8所述的装置，其特征在于，所述装置还包括：第二训练模块，用于将预先获取的第一个人脸图像的合并后的特征向量作为当前特征向量；若所述第三全连接层不满足与其对应的收敛条件，将所述当前特征向量输入至所述第三全连接层，使用所述当前特征向量对所述第三全连接层进行训练；将所述当前人脸图像的下一个人脸图像作为所述当前人脸图像，重复执行上述操作，直到所述第三全连接层满足与其对应的收敛条件。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
CN202010681942.6A 2020-07-15 2020-07-15 一种人脸合成图检测方法、装置、电子设备及存储介质 Active CN111862030B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010681942.6A CN111862030B (zh) 2020-07-15 2020-07-15 一种人脸合成图检测方法、装置、电子设备及存储介质
JP2021068318A JP7126586B2 (ja) 2020-07-15 2021-04-14 顔合成画像検出方法、顔合成画像検出装置、電子機器、記憶媒体及びコンピュータプログラム
EP21179290.8A EP3940587A1 (en) 2020-07-15 2021-06-14 Method and apparatus for detecting face synthetic image, electronic device, and storage medium
US17/347,854 US11881050B2 (en) 2020-07-15 2021-06-15 Method for detecting face synthetic image, electronic device, and storage medium
KR1020210091448A KR102612354B1 (ko) 2020-07-15 2021-07-13 얼굴 합성 이미지의 검출방법, 검출장치, 전자기기 및 저장매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010681942.6A CN111862030B (zh) 2020-07-15 2020-07-15 一种人脸合成图检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111862030A true CN111862030A (zh) 2020-10-30
CN111862030B CN111862030B (zh) 2024-02-09

Family

ID=72984126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010681942.6A Active CN111862030B (zh) 2020-07-15 2020-07-15 一种人脸合成图检测方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US11881050B2 (zh)
EP (1) EP3940587A1 (zh)
JP (1) JP7126586B2 (zh)
KR (1) KR102612354B1 (zh)
CN (1) CN111862030B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257645A (zh) * 2020-11-02 2021-01-22 浙江大华技术股份有限公司 人脸的关键点定位方法和装置、存储介质及电子装置
CN113989908A (zh) * 2021-11-29 2022-01-28 北京百度网讯科技有限公司 鉴别人脸图像的方法、装置、电子设备及存储介质
CN115205916A (zh) * 2021-04-12 2022-10-18 北京嘀嘀无限科技发展有限公司 车载设备控制和人脸识别方法、装置、电子设备及介质
CN117975579A (zh) * 2024-03-18 2024-05-03 北京远鉴信息技术有限公司 合成人脸图像的鉴别方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140320B (zh) * 2021-12-09 2023-09-01 北京百度网讯科技有限公司 图像迁移方法和图像迁移模型的训练方法、装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745235A (zh) * 2013-12-18 2014-04-23 小米科技有限责任公司 人脸识别方法、装置及终端设备
CN108446674A (zh) * 2018-04-28 2018-08-24 平安科技（深圳）有限公司 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质
CN109684911A (zh) * 2018-10-30 2019-04-26 百度在线网络技术（北京）有限公司 表情识别方法、装置、电子设备及存储介质
WO2019090769A1 (zh) * 2017-11-13 2019-05-16 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN110659582A (zh) * 2019-08-29 2020-01-07 深圳云天励飞技术有限公司 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN111222434A (zh) * 2019-12-30 2020-06-02 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法
CN111274987A (zh) * 2020-02-10 2020-06-12 广东九联科技股份有限公司 人脸表情识别方法及人脸表情识别装置
CN111339832A (zh) * 2020-02-03 2020-06-26 中国人民解放军国防科技大学 人脸合成图像的检测方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2009107237A1 (ja) 2008-02-29 2011-06-30 グローリー株式会社 生体認証装置
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
CN108345818B (zh) 2017-01-23 2021-08-31 北京中科奥森数据科技有限公司 一种人脸活体检测方法及装置
GB201710560D0 (en) 2017-06-30 2017-08-16 Norwegian Univ Of Science And Tech (Ntnu) Detection of manipulated images
CN108229363A (zh) 2017-12-27 2018-06-29 北京市商汤科技开发有限公司 关键帧调度方法和装置、电子设备、程序和介质
CN110930547A (zh) * 2019-02-28 2020-03-27 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质
CN110046551B (zh) * 2019-03-18 2021-04-20 中国科学院深圳先进技术研究院 一种人脸识别模型的生成方法及设备
CN110211563B (zh) * 2019-06-19 2024-05-24 平安科技（深圳）有限公司 面向情景及情感的中文语音合成方法、装置及存储介质
CN110321845B (zh) 2019-07-04 2021-06-18 北京奇艺世纪科技有限公司 一种从视频中提取表情包的方法、装置及电子设备
CN111368666B (zh) 2020-02-25 2023-08-18 上海蠡图信息科技有限公司 一种基于新型池化及注意力机制双流网络的活体检测方法
CN111325190B (zh) * 2020-04-01 2023-06-30 京东方科技集团股份有限公司 一种表情识别方法、装置、计算机设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745235A (zh) * 2013-12-18 2014-04-23 小米科技有限责任公司 人脸识别方法、装置及终端设备
WO2019090769A1 (zh) * 2017-11-13 2019-05-16 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
CN108446674A (zh) * 2018-04-28 2018-08-24 平安科技（深圳）有限公司 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质
CN109684911A (zh) * 2018-10-30 2019-04-26 百度在线网络技术（北京）有限公司 表情识别方法、装置、电子设备及存储介质
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN110659582A (zh) * 2019-08-29 2020-01-07 深圳云天励飞技术有限公司 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN111222434A (zh) * 2019-12-30 2020-06-02 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法
CN111339832A (zh) * 2020-02-03 2020-06-26 中国人民解放军国防科技大学 人脸合成图像的检测方法及装置
CN111274987A (zh) * 2020-02-10 2020-06-12 广东九联科技股份有限公司 人脸表情识别方法及人脸表情识别装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257645A (zh) * 2020-11-02 2021-01-22 浙江大华技术股份有限公司 人脸的关键点定位方法和装置、存储介质及电子装置
CN112257645B (zh) * 2020-11-02 2023-09-01 浙江大华技术股份有限公司 人脸的关键点定位方法和装置、存储介质及电子装置
CN115205916A (zh) * 2021-04-12 2022-10-18 北京嘀嘀无限科技发展有限公司 车载设备控制和人脸识别方法、装置、电子设备及介质
CN113989908A (zh) * 2021-11-29 2022-01-28 北京百度网讯科技有限公司 鉴别人脸图像的方法、装置、电子设备及存储介质
CN117975579A (zh) * 2024-03-18 2024-05-03 北京远鉴信息技术有限公司 合成人脸图像的鉴别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111862030B (zh) 2024-02-09
JP7126586B2 (ja) 2022-08-26
KR20210095817A (ko) 2021-08-03
JP2021114313A (ja) 2021-08-05
KR102612354B1 (ko) 2023-12-11
US20210312162A1 (en) 2021-10-07
US11881050B2 (en) 2024-01-23
EP3940587A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
EP4080470A2 (en) Method and apparatus for detecting living face
CN110705460B (zh) 图像类别识别方法及装置
CN111783622A (zh) 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN111862030A (zh) 一种人脸合成图检测方法、装置、电子设备及存储介质
CN111783647A (zh) 人脸融合模型的训练方法、人脸融合方法、装置及设备
CN112966742A (zh) 模型训练方法、目标检测方法、装置和电子设备
CN113780098B (zh) 文字识别方法、装置、电子设备以及存储介质
CN111523468A (zh) 人体关键点识别方法和装置
CN111862031A (zh) 一种人脸合成图检测方法、装置、电子设备及存储介质
CN112270669A (zh) 人体3d关键点检测方法、模型训练方法及相关装置
CN112241715A (zh) 模型训练方法、表情识别方法、装置、设备及存储介质
CN111860362A (zh) 生成人脸图像校正模型及校正人脸图像的方法和装置
CN114550313B (zh) 图像处理方法、神经网络及其训练方法、设备和介质
CN111783619A (zh) 人体属性的识别方法、装置、设备及存储介质
CN115422389A (zh) 处理文本图像的方法、神经网络及其训练方法
CN112270745A (zh) 一种图像生成方法、装置、设备以及存储介质
CN113393371A (zh) 一种图像处理方法、装置及电子设备
CN111539897A (zh) 用于生成图像转换模型的方法和装置
CN111832483A (zh) 一种兴趣点有效性识别方法、装置、设备以及存储介质
CN111523467B (zh) 人脸跟踪方法和装置
CN111768005A (zh) 轻量级检测模型的训练方法、装置、电子设备及存储介质
CN114120417A (zh) 人脸图像处理方法、装置、电子设备和存储介质
CN112560679A (zh) 表情识别方法、装置、设备及计算机存储介质
CN115937993B (zh) 活体检测模型训练方法、活体检测方法、装置和电子设备
CN110738261B (zh) 图像分类和模型训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant