[go: up one dir, main page]

CN116403079A - 对抗样本检测方法、装置、计算机设备和存储介质 - Google Patents

对抗样本检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116403079A
CN116403079A CN202310371235.0A CN202310371235A CN116403079A CN 116403079 A CN116403079 A CN 116403079A CN 202310371235 A CN202310371235 A CN 202310371235A CN 116403079 A CN116403079 A CN 116403079A
Authority
CN
China
Prior art keywords
sample image
countermeasure
challenge
disturbance
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310371235.0A
Other languages
English (en)
Inventor
林晓锐
张锦元
刘唱
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310371235.0A priority Critical patent/CN116403079A/zh
Publication of CN116403079A publication Critical patent/CN116403079A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种对抗样本检测方法、装置、计算机设备、存储介质和计算机程序产品，涉及人工智能领域。所述方法包括：针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；所述通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动；添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集；根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集；所述目标对抗检测训练集用于训练出人脸对抗检测模型；所述人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。采用本方法能够提高人脸对抗样本的检测准确性。

Description

对抗样本检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能领域，特别是涉及一种对抗样本检测方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
近年来，随着图形处理器计算能力的大幅度跃升，卷积神经网络(ConvolutionalNeural Network，简称CNN)在包括图像分类、行人重识别和人脸识别在内的广泛任务中取得了长足的进步。
CNN容易受到对抗样本的影响，对抗样本通常难以被人类感知，但却会造成严重的算法输出错误。人脸对抗样本作为对抗样本的一种，严重影响人脸识别系统的安全。
然而相关技术的人脸对抗样本检测方法，通常针对特定攻击或特定任务而设计，要在新攻击出现后生成新的人脸对抗样本以重新训练对抗检测模型，导致对抗检测模型泛华性较差，无法准确识别不同对抗攻击类型的人脸对抗样本。
因此，相关技术中存在着针对人脸对抗样本的检测准确性低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高针对人脸对抗样本的检测准确性的对抗样本检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种对抗样本检测方法。所述方法包括：
针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；所述通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动；
添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集；
根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集；所述目标对抗检测训练集用于训练出人脸对抗检测模型；所述人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
在其中一个实施例中，所述针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动，包括：
将预设数量的所述原始人脸样本图像作为第一原始样本图像，并将所述原始人脸样本图像集中除所述第一原始样本图像以外的图像，作为第二原始样本图像；
针对所述第一原始样本图像，通过模拟所述通用对抗扰动，得到第一形状类型的模拟对抗扰动；
针对所述第二原始样本图像，通过模拟所述通用对抗扰动，得到第二形状类型的模拟对抗扰动；
根据所述第一形状类型的模拟对抗扰动和所述第二形状类型的模拟对抗扰动，确定所述至少两种不同形状类型的模拟对抗扰动。
在其中一个实施例中，所述针对所述第一原始样本图像，通过模拟所述通用对抗扰动，得到第一形状类型的模拟对抗扰动，包括：
获取第一全零矩阵；所述第一全零矩阵的矩阵规模与所述第一原始样本图像的图像尺寸匹配；
针对所述第一原始样本图像中的每个像素点在所述第一全零矩阵中对应的像素点位置，分别在各所述像素点位置处添加随机扰动值，得到第一目标矩阵；
将所述第一目标矩阵，作为点状的模拟对抗扰动，得到所述第一形状类型的模拟对抗扰动。
在其中一个实施例中，所述针对所述第二原始样本图像，通过模拟所述通用对抗扰动，得到第二形状类型的模拟对抗扰动，包括：
获取第二全零矩阵；所述第二全零矩阵的矩阵规模与所述第二原始样本图像的图像尺寸匹配；
遍历所述第二原始样本图像中的每个像素点在所述第二全零矩阵中对应的掩码区域，分别在各所述掩码区域中添加随机扰动值，得到第二目标矩阵；所述掩码区域为具有预设尺寸，且包含有相应的所述像素点的像素点区域；
将所述第二目标矩阵作为块状的模拟对抗扰动，得到所述第二形状类型的模拟对抗扰动。
在其中一个实施例中，所述添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集，包括：
将所述第一形状类型的模拟对抗扰动添加至所述第一原始样本图像，得到第一模拟样本图像；
将所述第二形状类型的模拟对抗扰动添加至所述第二原始样本图像，得到第二模拟样本图像；
根据所述第一模拟样本图像和所述第二模拟样本图像，确定所述模拟对抗样本图像集。
在其中一个实施例中，所述根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集，包括：
根据所述模拟对抗样本图像集和所述原始人脸样本图像集，得到对抗检测训练集；所述对抗检测训练集包括若干对抗检测样本图像；
定位所述对抗检测样本图像的分类敏感区域，得到所述目标对抗检测训练集；所述分类敏感区域为所述对抗检测样本图像中分类影响权重满足预设条件的区域。
在其中一个实施例中，所述定位所述对抗检测样本图像的分类敏感区域，得到所述目标对抗检测训练集，包括：
确定所述对抗检测样本图像对应的随机概率值；
在所述随机概率值大于预设概率值阈值的情况下，定位所述对抗检测样本图像的分类敏感区域，得到优化后的对抗检测样本图像；
根据所述优化后的对抗检测样本图像，得到所述目标对抗检测训练集。
在其中一个实施例中，所述定位所述对抗检测样本图像的分类敏感区域，包括：
通过将所述对抗检测样本图像输入至待训练的人脸对抗检测模型，对所述对抗检测样本图像进行伪造注意力图计算，得到所述对抗检测样本图像对应的注意力掩码图；所述注意力掩码图用于表征所述人脸对抗检测模型对所述对抗检测样本图像中每一像素点的分类敏感度；
根据所述对抗检测样本图像中每一像素点对应的分类敏感度，在所述对抗检测样本图像中筛选出目标像素点，得到所述对抗检测样本图像的分类敏感区域；所述目标像素点对应的分类敏感度大于预设敏感度阈值。
在其中一个实施例中，所述通过将所述对抗检测样本图像输入至待训练的人脸对抗检测模型，对所述对抗检测样本图像进行伪造注意力图计算，得到所述对抗检测样本图像对应的注意力掩码图，包括：
通过将所述对抗检测样本图像输入至所述待训练的人脸对抗检测模型，得到所述对抗检测样本图像对应的对抗类概率值和非对抗类概率值；
根据所述对抗类概率值和所述非对抗类概率值的差值，确定所述对抗检测样本图像对应的扰动梯度值；所述扰动梯度值为根据所述差值的绝对值进行梯度运算确定得到的；
针对所述对抗检测样本图像的每个像素点的色彩通道对应的扰动梯度值，确定最大扰动梯度值，作为各所述像素点对应的掩码值；
根据所述对抗检测样本图像的每个像素点对应的掩码值，得到所述注意力掩码图。
在其中一个实施例中，所述得到优化后的对抗检测样本图像，包括：
根据所述分类敏感区域在所述对抗检测样本图像中的位置，确定所述分类敏感区域在所述对抗检测样本图像中对应的待覆盖区域；所述待覆盖区域为根据随机起点位置和随机尺寸对所述分类敏感区域进行扩展确定得到的；
通过随机数矩阵对所述待覆盖区域进行覆盖，得到可疑伪造消除后的对抗检测样本图像；所述随机数矩阵的矩阵规模与所述待覆盖区域的区域规模匹配；
将所述可疑伪造消除后的对抗检测样本图像，作为所述优化后的对抗检测样本图像。
第二方面，本申请还提供了一种对抗样本检测装置。所述装置包括：
模拟模块，用于针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；所述通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动；
添加模块，用于添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集；
生成模块，用于根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集；所述目标对抗检测训练集用于训练出人脸对抗检测模型；所述人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；所述通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动；
添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集；
根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集；所述目标对抗检测训练集用于训练出人脸对抗检测模型；所述人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；所述通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动；
添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集；
根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集；所述目标对抗检测训练集用于训练出人脸对抗检测模型；所述人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；所述通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动；
添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集；
根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集；所述目标对抗检测训练集用于训练出人脸对抗检测模型；所述人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
上述对抗样本检测方法、装置、计算机设备、存储介质和计算机程序产品，通过针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；其中，通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动；添加各形状类型的模拟对抗扰动至原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集；根据模拟对抗样本图像集和原始人脸样本图像集，生成目标对抗检测训练集；目标对抗检测训练集用于训练出人脸对抗检测模型；人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
如此，虽然多种基于梯度的通用对抗攻击方法可以对应生成多种通用对抗扰动，但通用对抗扰动存在着固定模式，具有通用的对抗扰动形状，而通过针对原始人脸样本图像集，模拟通用对抗扰动的固定模式，以获得至少两种不同形状类型的模拟对抗扰动，并添加至原始人脸样本图像得到模拟对抗样本图像集，使得模拟对抗样本图像集可以覆盖多种通用对抗扰动，从而可以不使用根据通用的基于梯度的对抗攻击方法生成的对抗扰动得到的真实人脸对抗样本，仅使用原始人脸样本图像集和模拟对抗样本图像集，训练人脸对抗检测模型，从而使得训练出的人脸对抗检测模型不是仅针对某种特定的对抗攻击方法进行人脸对抗样本检测，而是可以针对多种通用的基于梯度的对抗攻击方法进行人脸对抗样本检测，有效提高了人脸对抗检测模型的性能和泛化能力，可以针对多种对抗攻击进行人脸对抗样本检测，进而提高了人脸对抗样本的检测准确性。
附图说明
图1为一个实施例中一种对抗样本检测方法的流程示意图；
图2为一个实施例中一种点状的模拟对抗扰动和块状的模拟对抗扰动的示意图；
图3为另一个实施例中一种对抗样本检测方法的流程示意图；
图4为一个实施例中一种对抗样本检测方法的总体框架图；
图5为一个实施例中一种对抗样本检测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在一个实施例中，如图1所示，提供了一种对抗样本检测方法，本实施例以该方法应用于服务器进行举例说明，服务器可以采用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S110，针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动。
其中，通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动。
其中，基于梯度的通用对抗攻击方法可以包括但不限于为FGSM(Fast GradientSign Method，快速梯度符号方法)、BIM(Basic Iterative Method，基本迭代法)、PGD(Projected Gradient Descent，投影梯度下降法)、RFGSM(Random Fast Gradient SignMethod，随机单步攻击法)、MIFGSM(Momentum Iterative Fast Gradient Sign Method，动量迭代快速梯度符号方法)等通用对抗攻击方法。
具体实现中，服务器可以获取经过预处理的原始人脸样本图像集，针对原始人脸样本图像集中的原始人脸样本图像，通过模拟通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动，获得至少两种不同形状类型的模拟对抗扰动。
实际应用中，服务器可以使用随机梯度代替由反向传播计算得到的分类损失梯度，并通过计算使用随机梯度生成至少两种形状类型的模拟对抗扰动。
其中，预处理包括尺寸统一(例如，可以统一为112×112的图像尺寸)、随机裁剪、随机水平反转、中心裁剪、归一化等操作。对原始人脸样本图像进行预处理操作能够有效扩充数据集，提升人脸对抗检测模型对于现实场景下存在镜像、倾斜图像的泛化能力。
步骤S120，添加各形状类型的模拟对抗扰动至原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集。
具体实现中，服务器可以按照设定添加各形状类型的模拟对抗扰动至原始人脸样本图像集中的原始人脸样本图像，将添加了模拟对抗扰动的原始人脸样本图像作为模拟样本图像，由各模拟样本图像组成模拟对抗样本图像集。
步骤S130，根据模拟对抗样本图像集和原始人脸样本图像集，生成目标对抗检测训练集。
其中，目标对抗检测训练集用于训练出人脸对抗检测模型。
其中，人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
具体实现中，服务器可以根据模拟对抗样本图像集和原始人脸样本图像集，生成目标对抗检测训练集，通过目标对抗检测训练集对待训练的人脸对抗检测模型进行训练，训练出训练好的人脸对抗检测模型，从而通过人脸对抗检测模型可以检测待检测人脸图像是否为人脸对抗样本。
上述对抗样本检测方法中，通过针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；其中，通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动；添加各形状类型的模拟对抗扰动至原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集；根据模拟对抗样本图像集和原始人脸样本图像集，生成目标对抗检测训练集；目标对抗检测训练集用于训练出人脸对抗检测模型；人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
如此，虽然多种基于梯度的通用对抗攻击方法可以对应生成多种通用对抗扰动，但通用对抗扰动存在着固定模式，具有通用的对抗扰动形状，而通过针对原始人脸样本图像集，模拟通用对抗扰动的固定模式，以获得至少两种不同形状类型的模拟对抗扰动，并添加至原始人脸样本图像得到模拟对抗样本图像集，使得模拟对抗样本图像集可以覆盖多种通用对抗扰动，从而可以不使用根据通用的基于梯度的对抗攻击方法生成的对抗扰动得到的真实人脸对抗样本，仅使用原始人脸样本图像集和模拟对抗样本图像集，训练人脸对抗检测模型，从而使得训练出的人脸对抗检测模型不是仅针对某种特定的对抗攻击方法进行人脸对抗样本检测，而是可以针对多种通用的基于梯度的对抗攻击方法进行人脸对抗样本检测，有效提高了人脸对抗检测模型的性能和泛化能力，可以针对多种对抗攻击进行人脸对抗样本检测，进而提高了人脸对抗样本的检测准确性。
在一个实施例中，针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动，包括：将预设数量的原始人脸样本图像作为第一原始样本图像，并将原始人脸样本图像集中除第一原始样本图像以外的图像，作为第二原始样本图像；针对第一原始样本图像，通过模拟通用对抗扰动，得到第一形状类型的模拟对抗扰动；针对第二原始样本图像，通过模拟通用对抗扰动，得到第二形状类型的模拟对抗扰动；根据第一形状类型的模拟对抗扰动和第二形状类型的模拟对抗扰动，确定至少两种不同形状类型的模拟对抗扰动。
具体实现中，服务器在针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动的过程中，服务器可以将预设数量的原始人脸样本图像作为第一原始样本图像，并将原始人脸样本图像集中除第一原始样本图像以外的图像，作为第二原始样本图像。
实际应用中，服务器可以将原始人脸样本图像集中50％的原始人脸样本图像，作为第一原始样本图像，将剩下的50％原始人脸样本图像，作为第二原始样本图像。或者，可以采用其他比例将原始人脸样本图像划分为第一原始样本图像和第二原始样本图像，在此不做具体限定。
然后，服务器可以针对第一原始样本图像，通过模拟通用对抗扰动，使用随机梯度代替由反向传播计算得到的分类损失梯度，并通过计算使用随机梯度，得到第一形状类型的模拟对抗扰动。同时，服务器可以针对第二原始样本图像，通过模拟通用对抗扰动，使用随机梯度代替由反向传播计算得到的分类损失梯度，并通过计算使用随机梯度，得到第二形状类型的模拟对抗扰动。
如此，服务器可以根据第一形状类型的模拟对抗扰动和第二形状类型的模拟对抗扰动，确定至少两种不同形状类型的模拟对抗扰动。
本实施例的技术方案，通过将预设数量的原始人脸样本图像作为第一原始样本图像，并将原始人脸样本图像集中除第一原始样本图像以外的图像，作为第二原始样本图像；针对第一原始样本图像，通过模拟通用对抗扰动，得到第一形状类型的模拟对抗扰动；针对第二原始样本图像，通过模拟通用对抗扰动，得到第二形状类型的模拟对抗扰动；根据第一形状类型的模拟对抗扰动和第二形状类型的模拟对抗扰动，确定至少两种不同形状类型的模拟对抗扰动。如此，将原始人脸样本图像集划分为第一原始样本图像和第二原始样本图像，针对第一原始样本图像和第二原始样本图像，分别模拟通用对抗扰动的固定模式，生成两种形状类型的模拟对抗扰动，从而通过将对应的模拟对抗扰动添加至相应的原始人脸样本图像，可以得到对应两种模拟对抗扰动的模拟样本图像，使得基于对应两种模拟对抗扰动的模拟样本图像得到的模拟对抗样本图像集，可以覆盖多种通用对抗扰动，可以提高人脸对抗检测模型的性能和泛化能力，以准确识别出人脸对抗样本。
在一个实施例中，针对第一原始样本图像，通过模拟通用对抗扰动，得到第一形状类型的模拟对抗扰动，包括：获取第一全零矩阵；第一全零矩阵的矩阵规模与第一原始样本图像的图像尺寸匹配；针对第一原始样本图像中的每个像素点在第一全零矩阵中对应的像素点位置，分别在各像素点位置处添加随机扰动值，得到第一目标矩阵；将第一目标矩阵，作为点状的模拟对抗扰动，得到第一形状类型的模拟对抗扰动。
具体实现中，服务器在针对第一原始样本图像，通过模拟通用对抗扰动，得到第一形状类型的模拟对抗扰动的过程中，由于多种通用对抗扰动存在着固定模式，其中一种固定模式对应的对抗扰动形状为点状，为了模拟对应对抗扰动形状为点状的通用对抗扰动，服务器可以获取一个预设的全零矩阵，作为第一全零矩阵，该第一全零矩阵的矩阵规模与第一原始样本图像的图像尺寸匹配。实际应用中，第一全零矩阵的矩阵规模与第一原始样本图像对应的图像矩阵规模可以相等。需要说明的是，原始人脸样本图像集中的各原始人脸样本图像的图像尺寸相同，即第一原始样本图像和第二原始样本图像的图像尺寸相同。
然后，服务器可以针对第一原始样本图像中的每个像素点在第一全零矩阵中对应的像素点位置，分别在各像素点位置处添加随机扰动值，得到第一目标矩阵；然后，将第一目标矩阵，作为点状的模拟对抗扰动，从而得到第一形状类型的模拟对抗扰动。其中，上述随机扰动值可以为单步扰动值。
实际应用中，对于原始人脸样本图像集Snormal中宽、高、色彩通道数为W，H，C的原始人脸样本图像Xreal，当原始人脸样本图像Xreal为第一原始样本图像时，服务器采用第一全零矩阵Mpoint，记录点状的模拟对抗扰动。为了充分模拟针对第一原始样本图像中的每个像素点添加点状的对抗扰动，服务器可以遍历Xreal的所有像素点在第一全零矩阵中对应的像素点位置，对于Xreal中[h,w]处的像素点在第一全零矩阵中对应的像素点位置，使用随机梯度值rs与单步扰动幅值α计算该像素点位置需要添加的扰动，即Mpoint[h,w]＝Mpoint[h,w]+α×rs。其中，rs是数值为1或-1的随机数，α是算法设定的单步扰动幅值，默认为1，但可以根据实际情况调整数值。
如此，重复以上单步扰动计算过程，直至第一原始样本图像中所有像素点在第一全零矩阵中对应的像素点位置遍历完毕，经过像素点的遍历后，得到了点状的模拟对抗扰动Mpoint’，作为第一形状类型的模拟对抗扰动。
本实施例的技术方案，由于多种通用对抗扰动存在着固定模式，其中一种固定模式对应的对抗扰动形状为点状，通过获取第一全零矩阵；第一全零矩阵的矩阵规模与第一原始样本图像的图像尺寸匹配；针对第一原始样本图像中的每个像素点在第一全零矩阵中对应的像素点位置，分别在各像素点位置处添加随机扰动值，得到第一目标矩阵；将第一目标矩阵，作为点状的模拟对抗扰动，得到第一形状类型的模拟对抗扰动；如此，可以针对第一原始样本图像中的每个像素点生成点状的对抗扰动，得到矩阵规模与第一原始样本图像的图像尺寸匹配的第一目标矩阵，形成第一原始样本图像对应的点状的模拟对抗扰动，从而可以充分模拟对应的对抗扰动形状为点状的通用对抗扰动。
在一个实施例中，针对第二原始样本图像，通过模拟通用对抗扰动，得到第二形状类型的模拟对抗扰动，包括：获取第二全零矩阵；第二全零矩阵的矩阵规模与第二原始样本图像的图像尺寸匹配；遍历第二原始样本图像中的每个像素点在第二全零矩阵中对应的掩码区域，分别在各掩码区域中添加随机扰动值，得到第二目标矩阵；掩码区域为具有预设尺寸，且包含有相应的像素点的像素点区域；将第二目标矩阵作为块状的模拟对抗扰动，得到第二形状类型的模拟对抗扰动。
具体实现中，服务器在针对第二原始样本图像，通过模拟通用对抗扰动，得到第二形状类型的模拟对抗扰动的过程中，由于多种通用对抗扰动存在着固定模式，另一种固定模式对应的对抗扰动形状为块状，为了模拟对应对抗扰动形状为块状的通用对抗扰动，服务器可以获取一个预设的全零矩阵，作为第二全零矩阵，该第二全零矩阵的矩阵规模与第二原始样本图像的图像尺寸匹配。
然后，服务器可以针对第二原始样本图像，遍历第二原始样本图像中的每个像素点在第二全零矩阵中对应的掩码区域，以分别在各掩码区域中添加随机扰动值，得到第二目标矩阵；其中，掩码区域为具有预设尺寸，且包含有相应的像素点的像素点区域，也就是说，每个像素点对应的掩码区域与相邻像素点对应的掩码区域存在重叠的部分。其中，上述随机扰动值可以为单步扰动值。
具体来说，当原始人脸样本图像Xreal为第二原始样本图像时，服务器采用第二全零矩阵Mblock，记录块状的模拟对抗扰动。为了充分模拟针对第二原始样本图像中的每个像素点添加块状对抗扰动，服务器会在该阶段遍历Xreal的所有像素点在第二全零矩阵中对应的掩码区域，对于[h,w]处的像素点对应的掩码区域，可以使用预设的掩码区域长度sl作为预设尺寸，以计算该像素点对应的掩码区域的左上角角点横纵坐标与右下角角点横纵坐标。具体计算过程如下：
左上角角点纵坐标top＝max(h-sl,0)；
左上角角点横坐标lef＝max(w-sl,0)；
右下角角点横坐标rig＝min(w+sl,0)；
右下角角点纵坐标bot＝min(h+sl,0)。
通过计算可以得出掩码区域[top:bot,lef:rig]，像素点对应的掩码区域包含有相应的像素点的像素点区域，即[h,w]处的像素点对应的掩码区域的面积大于该像素点的像素点区域的面积。对于针对[h,w]处的像素点对应的掩码区域，使用新的随机梯度值rs与新的单步扰动幅值α计算该掩码区域需要添加的扰动，Mblock[top:bot,lef:rig]＝Mblock[top:bot,lef:rig]+α×rs。
如此，重复以上单步扰动计算过程，直至第二原始样本图像中所有像素点在在第二全零矩阵中对应的掩码区域遍历完毕，经过像素点对应的掩码区域的遍历后，得到了块状的模拟对抗扰动Mblock’，作为第二形状类型的模拟对抗扰动。
为了便于本领域技术人员理解，图2提供了一种针对原始人脸样本图像，生成的点状的模拟对抗扰动和块状的模拟对抗扰动的示意图。
本实施例的技术方案，由于多种通用对抗扰动存在着固定模式，另一种固定模式对应的对抗扰动形状为块状，通过获取第二全零矩阵；第二全零矩阵的矩阵规模与第二原始样本图像的图像尺寸匹配；遍历第二原始样本图像中的每个像素点在第二全零矩阵中对应的掩码区域，分别在各掩码区域中添加随机扰动值，得到第二目标矩阵；掩码区域为具有预设尺寸，且包含有相应的像素点的像素点区域；将第二目标矩阵作为块状的模拟对抗扰动，得到第二形状类型的模拟对抗扰动；如此，可以针对第二原始样本图像中的每个像素点生成块状的对抗扰动，得到矩阵规模与第二原始样本图像的图像尺寸匹配的第二目标矩阵，形成第二原始样本图像对应的块状的模拟对抗扰动，从而可以充分模拟对应对抗扰动形状为块状的通用对抗扰动。
在一个实施例中，添加各形状类型的模拟对抗扰动至原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集，包括：将第一形状类型的模拟对抗扰动添加至第一原始样本图像，得到第一模拟样本图像；将第二形状类型的模拟对抗扰动添加至第二原始样本图像，得到第二模拟样本图像；根据第一模拟样本图像和第二模拟样本图像，确定模拟对抗样本图像集。
具体实现中，服务器在添加各形状类型的模拟对抗扰动至原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集的过程中，服务器可以按照预设的添加方式，将第一形状类型的模拟对抗扰动添加至第一原始样本图像，得到第一模拟样本图像，以及将第二形状类型的模拟对抗扰动添加至第二原始样本图像，得到第二模拟样本图像。
具体的，在第一形状类型的模拟对抗扰动为点状的模拟对抗扰动、第二形状类型的模拟对抗扰动为块状的模拟对抗扰动的情况下，服务器可以通过下列两种扰动添加方法得到两种模拟样本图像：
添加了点状的模拟对抗扰动的第一模拟样本图像
Figure BDA0004168641760000141
添加了块状的模拟对抗扰动的第二模拟样本图像
Figure BDA0004168641760000142
最后，将两种模拟样本图像的像素值压缩至[0,255]之间，得到由压缩后的第一模拟样本图像组成的点状模拟人脸对抗样本集合
Figure BDA0004168641760000143
以及由压缩后的第二模拟样本图像组成的块状模拟人脸对抗样本集合
Figure BDA0004168641760000144
根据点状模拟人脸对抗样本集合
Figure BDA0004168641760000151
和块状模拟人脸对抗样本集合
Figure BDA0004168641760000152
可以输出模拟对抗样本图像集
Figure BDA0004168641760000153
实际应用中，该模拟对抗样本图像集也可以命名为模拟人脸对抗样本集。
本实施例的技术方案，通过将第一形状类型的模拟对抗扰动添加至第一原始样本图像，得到第一模拟样本图像；将第二形状类型的模拟对抗扰动添加至第二原始样本图像，得到第二模拟样本图像；根据第一模拟样本图像和第二模拟样本图像，确定模拟对抗样本图像集；如此，由于第一形状类型的模拟对抗扰动和第二形状类型的模拟对抗扰动，为模拟多种通用对抗扰动的固定模式对应的对抗扰动形状得到的，使得模拟对抗样本图像集中的模拟对抗样本图像可以覆盖多种通用对抗扰动，从而可以提高人脸对抗检测模型的泛化能力，以准确识别出人脸对抗样本。
在一个实施例中，根据模拟对抗样本图像集和原始人脸样本图像集，生成目标对抗检测训练集，包括：根据模拟对抗样本图像集和原始人脸样本图像集，得到对抗检测训练集；对抗检测训练集包括若干对抗检测样本图像；定位对抗检测样本图像的分类敏感区域，得到目标对抗检测训练集。
其中，分类敏感区域为对抗检测样本图像中分类影响权重满足预设条件的区域，即，分类敏感区域为对抗检测样本图像中对模型输出影响权重较大的区域。
其中，实际应用中，对抗检测训练集可以命名为人脸对抗检测训练集。
具体实现中，服务器在根据模拟对抗样本图像集和原始人脸样本图像集，生成目标对抗检测训练集的过程中，服务器可以根据模拟对抗样本图像集和原始人脸样本图像集，得到对抗检测训练集，其中，对抗检测训练集包括若干对抗检测样本图像。
具体的，模拟对抗样本图像集Sadv与原始人脸样本图像集Snormal组合得到对抗检测训练集Strain＝{Snormal,Sadv}。
然后，服务器可以通过对对抗检测样本图像进行梯度运算，定位对抗检测样本图像中分类影响权重满足预设条件的区域，作为分类敏感区域，通过定位了分类敏感区域的对抗检测样本图像，得到目标对抗检测训练集。
本实施例的技术方案，通过根据模拟对抗样本图像集和原始人脸样本图像集，得到对抗检测训练集；对抗检测训练集包括若干对抗检测样本图像；定位对抗检测样本图像的分类敏感区域，得到目标对抗检测训练集；如此，通过目标对抗检测训练集对待训练的人脸对抗检测模型进行训练，可以引导人脸对抗检测模型关注人脸对抗样本的分类敏感区域，进一步提升人脸对抗检测模型性能的同时增强人脸对抗检测模型的泛化能力。
在一个实施例中，定位对抗检测样本图像的分类敏感区域，得到目标对抗检测训练集，包括：确定对抗检测样本图像对应的随机概率值；在随机概率值大于预设概率值阈值的情况下，定位对抗检测样本图像的分类敏感区域，得到优化后的对抗检测样本图像；根据优化后的对抗检测样本图像，得到目标对抗检测训练集。
其中，对抗检测样本图像对应的随机概率值为0到1之间的随机数。
具体实现中，服务器在定位对抗检测样本图像的分类敏感区域，得到目标对抗检测训练集的过程中，服务器对于对抗检测训练集Strain中的宽、高、色彩通道数为W，H，C的对抗检测样本图像
Figure BDA0004168641760000161
计算对应的随机概率值，在随机概率值大于预设概率值阈值的情况下，定位该对抗检测样本图像的分类敏感区域，通过对分类敏感区域进行处理，得到优化后的对抗检测样本图像，并由优化后的对抗检测样本图像，组成目标对抗检测训练集。
实际应用中，随机概率阈值可以为0.5，也可以为其他数值，在此不做具体限定。
本实施例的技术方案，通过确定对抗检测样本图像对应的随机概率值；在随机概率值大于预设概率值阈值的情况下，定位对抗检测样本图像的分类敏感区域，得到优化后的对抗检测样本图像；根据优化后的对抗检测样本图像，得到目标对抗检测训练集；如此，可以增加定位了分类敏感区域的对抗检测样本图像在整个目标对抗检测训练集中的数量占比，从而提高了利用目标对抗检测训练集得到的人脸对抗检测模型，对分类敏感区域的关注度，可以提升人脸对抗检测模型性能的同时增强人脸对抗检测模型的泛化能力，从而可以提高针对人脸对抗样本的检测准确性。
在一个实施例中，定位对抗检测样本图像的分类敏感区域，包括：通过将对抗检测样本图像输入至待训练的人脸对抗检测模型，对对抗检测样本图像进行伪造注意力图计算，得到对抗检测样本图像对应的注意力掩码图；注意力掩码图用于表征人脸对抗检测模型对对抗检测样本图像中每一像素点的分类敏感度；根据对抗检测样本图像中每一像素点对应的分类敏感度，在对抗检测样本图像中筛选出目标像素点，得到对抗检测样本图像的分类敏感区域；目标像素点对应的分类敏感度大于预设敏感度阈值。
具体实现中，服务器在定位对抗检测样本图像的分类敏感区域的过程中，服务器可以将对抗检测样本图像输入至待训练的人脸对抗检测模型，对输入的对抗检测样本图像进行伪造注意力图计算，得到对抗检测样本图像对应的注意力掩码图，该注意力掩码图用于表征人脸对抗检测模型对对抗检测样本图像中每一像素点的分类敏感度。
如此，服务器可以根据对抗检测样本图像中每一像素点对应的分类敏感度，在对抗检测样本图像中筛选出对应的分类敏感度大于预设敏感度阈值的像素点，作为目标像素点，然后，服务器可以将目标像素点在对抗检测样本图像中所在的位置，作为对抗检测样本图像的分类敏感区域。其中，分类敏感区域的大小，小于对抗检测样本图像的大小。
实际应用中，服务器可以获取分类敏感度最高的预设数量个像素点，作为目标像素点。
本实施例的技术方案，通过将对抗检测样本图像输入至待训练的人脸对抗检测模型，对对抗检测样本图像进行伪造注意力图计算，得到对抗检测样本图像对应的注意力掩码图；注意力掩码图用于表征人脸对抗检测模型对对抗检测样本图像中每一像素点的分类敏感度；如此，通过注意力掩码图可以关注添加了模拟对抗扰动后对分类影响大的区域，从而，根据对抗检测样本图像中每一像素点对应的分类敏感度，在对抗检测样本图像中筛选出对分类敏感度大于预设敏感度阈值的目标像素点，得到对抗检测样本图像的分类敏感区域，实现了基于对抗检测样本图像对应的注意力掩码图，更加准确地定位出对抗检测样本图像的分类敏感区域。
在一个实施例中，通过将对抗检测样本图像输入至待训练的人脸对抗检测模型，对对抗检测样本图像进行伪造注意力图计算，得到对抗检测样本图像对应的注意力掩码图，包括：通过将对抗检测样本图像输入至待训练的人脸对抗检测模型，得到对抗检测样本图像对应的对抗类概率值和非对抗类概率值；根据对抗类概率值和非对抗类概率值的差值，确定对抗检测样本图像对应的扰动梯度值；扰动梯度值为根据差值的绝对值进行梯度运算确定得到的；针对对抗检测样本图像的每个像素点的色彩通道对应的扰动梯度值，确定最大扰动梯度值，作为各像素点对应的掩码值；根据对抗检测样本图像的每个像素点对应的掩码值，得到注意力掩码图。
具体实现中，服务器在通过将对抗检测样本图像输入至待训练的人脸对抗检测模型，对对抗检测样本图像进行伪造注意力图计算，得到对抗检测样本图像对应的注意力掩码图的过程中，服务器可以通过将对抗检测样本图像输入至待训练的人脸对抗检测模型，得到对抗检测样本图像对应的对抗类概率值和非对抗类概率值。
具体的，服务器可以将对抗检测样本图像
Figure BDA0004168641760000181
输入至人脸对抗检测模型中计算输出，输出两个logits(未归一化对数概率)来表示该对抗检测样本图像的分类可能性，表示对抗样本可能性Ofake与正常样本可能性Oreal。其中，对抗样本可能性Ofake作为对抗类概率值，正常样本可能性Oreal作为非对抗类概率值。
然后，服务器可以针对对抗检测样本图像对应的对抗类概率值和非对抗类概率值进行差值运算，并取差值的绝对值，再将该差值的绝对值对于对抗检测样本图像
Figure BDA0004168641760000182
求梯度得到梯度值
Figure BDA0004168641760000183
该梯度值作为扰动梯度值。
然后，服务器可以将该扰动梯度值按色彩通道取最大值得到最终的注意力图mask(即注意力掩码图)。具体的，对抗检测样本图像的每个像素点对应的RGB三个色彩通道都具有各自对应的扰动梯度值，服务器可以将每个像素点对应的三个扰动梯度值中最大的扰动梯度值，作为相应的像素点对应的掩码值；然后，服务器可以根据对抗检测样本图像的每个像素点对应的掩码值，得到对抗检测样本图像对应的注意力掩码图。如此，注意力掩码图中像素点的值是相应的像素点针对分类结果的梯度值，用于表征对抗检测样本图像相应的像素点对应的分类敏感度。
实际应用中，计算注意力掩码图的公式如下：
Figure BDA0004168641760000191
本实施例的技术方案，通过将对抗检测样本图像输入至待训练的人脸对抗检测模型，得到对抗检测样本图像对应的对抗类概率值和非对抗类概率值；根据对抗类概率值和非对抗类概率值的差值，确定对抗检测样本图像对应的扰动梯度值；扰动梯度值为根据差值的绝对值进行梯度运算确定得到的；针对对抗检测样本图像的每个像素点的色彩通道对应的扰动梯度值，确定最大扰动梯度值，作为各像素点对应的掩码值；根据对抗检测样本图像的每个像素点对应的掩码值，得到注意力掩码图。如此，基于对抗检测样本图像对应的对抗类概率值和非对抗类概率值，可以确定对抗检测样本图像中的像素点针对分类结果的最大梯度值，通过基于对抗检测样本图像中的像素点对应的最大梯度值，可以得到对应的注意力掩码图，使得注意力掩码图中像素点的值可以表征对抗检测样本图像相应的像素点对应的分类敏感度。
在一个实施例中，得到优化后的对抗检测样本图像，包括：根据分类敏感区域在对抗检测样本图像中的位置，确定分类敏感区域在对抗检测样本图像中对应的待覆盖区域；待覆盖区域为根据随机起点位置和随机尺寸对分类敏感区域进行扩展确定得到的；通过随机数矩阵对待覆盖区域进行覆盖，得到可疑伪造消除后的对抗检测样本图像；随机数矩阵的矩阵规模与待覆盖区域的区域规模匹配；将可疑伪造消除后的对抗检测样本图像，作为优化后的对抗检测样本图像。
其中，随机起点位置包括随机高度起点位置和随机宽度起点位置；随机尺寸包括随机高度、随机宽度。
其中，针对任一分类敏感区域对应的待覆盖区域，相应的随机数矩阵的矩阵规模可以与该待覆盖区域的区域规模相等。
具体实现中，服务器在得到优化后的对抗检测样本图像的过程中，服务器可以根据分类敏感区域在对抗检测样本图像中所在的位置，确定分类敏感区域在对抗检测样本图像中对应的待覆盖区域。
具体的，服务器可以根据针对区域规模的随机高度、随机宽度，以及针对分类敏感区域所在位置的随机高度起点位置和随机宽度起点位置，对分类敏感区域进行扩展，得到分类敏感区域在对抗检测样本图像中对应的待覆盖区域。
实际应用中，对于分类敏感区域(xi,yi)，服务器通过随机高度maskh、随机宽度maskw、随机高度起点sh与随机宽度起点sw，按照如下方式计算对应的待覆盖区域的左上角角点以及右下角角点的坐标：
左上角角点纵坐标top＝max(xi-sh,0)；
右下角角点纵坐标bot＝min(xi+(maskh-sh),H)；
左上角角点横坐标lef＝max(yi-sw,0)；
右下角角点横坐标rig＝min(yi+(maskw-sw),W)。
分类敏感区域(xi,yi)对应的待覆盖区域为
Figure BDA0004168641760000201
然后，通过矩阵规模与对抗检测样本图像中的待覆盖区域的区域规模匹配的随机数矩阵对待覆盖区域进行覆盖，得到可疑伪造消除后的对抗检测样本图像。
具体的，针对分类敏感区域(xi,yi)对应的待覆盖区域
Figure BDA0004168641760000202
服务器可以通过由随机数指定的随机数矩阵Mrandom，对
Figure BDA0004168641760000203
进行覆盖以消除可疑伪造，
Figure BDA0004168641760000204
当进行可疑伪造消除的像素点的数量达到预设数量时，停止伪造消除操作得到经过分类敏感区域掩码的对抗检测样本图像
Figure BDA0004168641760000205
上述对抗检测样本图像
Figure BDA0004168641760000206
即为可疑伪造消除后的对抗检测样本图像，服务器可以将可疑伪造消除后的对抗检测样本图像作为优化后的对抗检测样本图像。
本实施例的技术方案，通过根据分类敏感区域在对抗检测样本图像中的位置，确定分类敏感区域在对抗检测样本图像中对应的待覆盖区域；待覆盖区域为根据随机起点位置和随机尺寸对分类敏感区域进行扩展确定得到的；通过随机数矩阵对待覆盖区域进行覆盖，得到可疑伪造消除后的对抗检测样本图像；随机数矩阵的矩阵规模与待覆盖区域的区域规模匹配；将可疑伪造消除后的对抗检测样本图像，作为优化后的对抗检测样本图像。如此，通过对对抗检测样本图像中的分类敏感区域，进行随机数掩码以此消除可疑伪造，可以得到优化后的对抗检测样本图像，该优化后的对抗检测样本图像为经过数据增强的对抗检测样本图像，从而通过数据增强的对抗检测样本图像进行模型训练，可以引导人脸对抗检测模型关注分类敏感区域，提升人脸对抗检测模型性能的同时，增强人脸对抗检测模型的泛化能力。
在另一个实施例中，如图3所示，提供了一种对抗样本检测方法，包括以下步骤：
步骤S302，将预设数量的原始人脸样本图像作为第一原始样本图像，并将原始人脸样本图像集中除第一原始样本图像以外的图像，作为第二原始样本图像。
步骤S304，针对第一原始样本图像，通过模拟通用对抗扰动，得到点状的模拟对抗扰动。
步骤S306，针对第二原始样本图像，通过模拟通用对抗扰动，得到块状的模拟对抗扰动。
步骤S308，添加各形状类型的模拟对抗扰动至原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集。
步骤S310，根据模拟对抗样本图像集和原始人脸样本图像集，得到对抗检测训练集。
步骤S312，通过将对抗检测样本图像输入至待训练的人脸对抗检测模型，对对抗检测样本图像进行伪造注意力图计算，得到对抗检测样本图像对应的注意力掩码图。
步骤S314，根据对抗检测样本图像中每一像素点对应的分类敏感度，在对抗检测样本图像中筛选出目标像素点，得到对抗检测样本图像的分类敏感区域。
步骤S316，通过随机数矩阵对分类敏感区域进行覆盖，得到可疑伪造消除后的对抗检测样本图像。
步骤S318，将可疑伪造消除后的对抗检测样本图像，作为优化后的对抗检测样本图像，以得到目标对抗检测训练集。
需要说明的是，上述步骤的具体限定可以参见上文对一种对抗样本检测方法的具体限定。
在一些实施例中，人脸对抗检测模型的主干网络为InceptionNet，用于进行对抗特征提取并进行分类，与其他对抗检测设定相同，本申请使用二分类(人脸对抗样本、正常人脸样本)作为模型输出结果。人脸对抗检测模型使用目标对抗检测训练集进行训练，使用该目标对抗检测训练集能够实现在不使用任何真实人脸对抗样本的条件下训练模型，同时使模型能够高效准确地检测真实人脸对抗样本。模型的训练过程中，可以采用Adam优化器、交叉熵损失训练模型，学习率设为固定值0.0002，训练数据批量大小可以设置为64。具体的参数也可以根据实际调整，在此不做具体限定。
对于人脸对抗检测测试集Stest中的样本图像
Figure BDA0004168641760000221
经过模型提取特征后，输出经过softmax函数生成为类似于[0.7,0.3]的预测向量。若下标为0的元素大于下标为1的元素，则预测标签为0，代表为正常人脸样本；反之，预测标签为1，代表为人脸对抗样本。
在训练出训练好的人脸对抗检测模型后，可以将待检测人脸图像输入至人脸对抗检测模型，得到待检测人脸图像的检测结果，以判定待检测人脸图像是否为人脸对抗样本。具体的，待检测人脸图像在输入之前，可以先进行预处理，针对待检测人脸图像的预处理可以包括尺寸统一、中心裁剪、归一化等操作，无需进行随机裁剪与随机水平反转操作。
本申请的技术方案，无需针对某种通用对抗攻击方法提前构建人脸对抗样本数据集以训练人脸对抗检测模型，训练使用的模拟对抗样本图像集的生成过程集成在人脸对抗检测模型训练中。同时，本申请提出的技术方案在进行对抗检测时无需访问受保护的人脸识别系统以获取人脸特征向量，并且本申请使用的人脸对抗检测模型的网络结构简洁无冗余结构。
为了便于本领域技术人员理解，图4提供了一种对抗样本检测方法的总体框架图。如图4所示，上述方法可以分为三个阶段，分别为通用对抗扰动模拟阶段，用于获得点状的模拟对抗扰动和块状的模拟对抗扰动；分类敏感区域掩码阶段，用于通过伪造注意力图计算定位对抗检测样本图像的分类敏感区域，并采用随机数矩阵进行可疑伪造消除；对抗检测阶段，基于训练出的人脸对抗检测模型的主干网络对输入的人脸图像进行检测，判断输入的人脸图像为正常人脸样本还是人脸对抗样本。
在一些实施例中，为了证明基于模拟通用对抗扰动模拟的对抗样本检测方法在性能和适应性上都具有优势，本申请通过以下实验进行验证与分析：
A、实验数据集
训练集：正常人脸样本使用两种数据集：LFW，VGGFACE，VGGFACE2。LFW包含来源互联网的13000多张收集的人脸图像。VGGFACE由2622类人脸组成。每类人脸都有一个包含图像URL(uniform resource locator，统一资源定位系统)和相应人脸检测结果的文本文件。VGGFACE2包含331万张9131个身份的图像。图像是从Google Image Search下载。人脸对抗样本使用经过通用对抗扰动模拟与分类敏感区域掩码的模拟对抗样本图像集。
测试集：使用八种基于梯度的对抗攻击方法(FGSM、BIM、PGD、RFGSM、MIFGSM、TIFGSM、DIFGSM、TIPIM)产生的真实人脸对抗样本以及LFW，VGGFACE，VGGFACE2中的正常人脸样本进行测试。
B、评价标准
本申请采用国内外人脸识别研究的主流评估标准，对于人脸对抗样本检测测试而言，采用的是准确率与ROC曲线(
receiver operating characteristic curve，接受者操作特性曲线)下面积(AUC)来评价，假设测试集共有N张图片，其中判断错误的有M张，那么人脸对抗样本检测的精确度(accc)就是：
Figure BDA0004168641760000241
对于ROC曲线，，ROC曲线上每个点反映着对同一信号刺激的感受性。ROC曲线的横轴代表负正类率(FPR)，ROC曲线的纵轴代表真正类率(TPR)。对于二分类问题：
若一个样本是正类且被预测为正类，即为真正类(TP)；
若一个样本是正类且被预测为负类，即为假负类(FN)；
若一个样本是负类且被预测为正类，即为真正类(FP)；
若一个样本是负类且被预测为负类，即为真正类(TN)；
则真正类率TPR与负正类率FPR可以由以下公式计算：
Figure BDA0004168641760000242
Figure BDA0004168641760000243
对于ROC曲线下面积(AUC)，学术界与工业界经常使用AUC值作为分类器的评价标准，AUC可通过对ROC曲线下各部分的面积求和而得。
C、实验结果
实验表明，本申请(下表中表示为GAPS)在LFW与VGGFACE上对于多种基于梯度的通用对抗攻击方法生成的真实人脸对抗样本的检测准确率皆可达到94％以上，人脸对抗检测模型AUC均可达到0.99以上，与使用FGSM算法生成的真实人脸对抗样本训练的模型(表1与表2中的FGSM栏)相比，本申请的方法大幅度提升了BIM、RFGSM、TIFGSM、DIFGSM、TIPIM五种真实人脸对抗样本的检测性能；另外，本申请在VGGFACE2上对于多种真实人脸对抗样本，人脸对抗检测模型的AUC都能达到0.99以上。本申请在三个数据集上同现存人脸对抗检测方法对比均达到领先水平。实验结果如下表所示：
表1LFW人脸对抗检测性能(准确率ACC、AUC)
Figure BDA0004168641760000251
表2LFW人脸对抗检测性能(准确率ACC、AUC)
Figure BDA0004168641760000252
表3VGGFACE人脸对抗检测性能(准确率ACC、负正类率FPR)
Figure BDA0004168641760000261
表4VGGFACE2人脸对抗检测性能(AUC)
Figure BDA0004168641760000262
从表3和表4可以看出，在相同的实验环境下，与目前先进算法AmI与Massli'sMethods对比，本申请的方法均表现出优越的性能。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的一种对抗样本检测方法的对抗样本检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个对抗样本检测装置实施例中的具体限定可以参见上文中对于一种对抗样本检测方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种对抗样本检测装置，包括：模拟模块510、添加模块520和生成模块530，其中：
模拟模块510，用于针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；所述通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动。
添加模块520，用于添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集。
生成模块530，用于根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集；所述目标对抗检测训练集用于训练出人脸对抗检测模型；所述人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
在其中一个实施例中，所述模拟模块510，具体用于将预设数量的所述原始人脸样本图像作为第一原始样本图像，并将所述原始人脸样本图像集中除所述第一原始样本图像以外的图像，作为第二原始样本图像；针对所述第一原始样本图像，通过模拟所述通用对抗扰动，得到第一形状类型的模拟对抗扰动；针对所述第二原始样本图像，通过模拟所述通用对抗扰动，得到第二形状类型的模拟对抗扰动；根据所述第一形状类型的模拟对抗扰动和所述第二形状类型的模拟对抗扰动，确定所述至少两种不同形状类型的模拟对抗扰动。
在其中一个实施例中，所述模拟模块510，具体用于获取第一全零矩阵；所述第一全零矩阵的矩阵规模与所述第一原始样本图像的图像尺寸匹配；针对所述第一原始样本图像中的每个像素点在所述第一全零矩阵中对应的像素点位置，分别在各所述像素点位置处添加随机扰动值，得到第一目标矩阵；将所述第一目标矩阵，作为点状的模拟对抗扰动，得到所述第一形状类型的模拟对抗扰动。
在其中一个实施例中，所述模拟模块510，具体用于获取第二全零矩阵；所述第二全零矩阵的矩阵规模与所述第二原始样本图像的图像尺寸匹配；遍历所述第二原始样本图像中的每个像素点在所述第二全零矩阵中对应的掩码区域，分别在各所述掩码区域中添加随机扰动值，得到第二目标矩阵；所述掩码区域为具有预设尺寸，且包含有相应的所述像素点的像素点区域；将所述第二目标矩阵作为块状的模拟对抗扰动，得到所述第二形状类型的模拟对抗扰动。
在其中一个实施例中，所述添加模块520，具体用于将所述第一形状类型的模拟对抗扰动添加至所述第一原始样本图像，得到第一模拟样本图像；将所述第二形状类型的模拟对抗扰动添加至所述第二原始样本图像，得到第二模拟样本图像；根据所述第一模拟样本图像和所述第二模拟样本图像，确定所述模拟对抗样本图像集。
在其中一个实施例中，所述生成模块530，具体用于根据所述模拟对抗样本图像集和所述原始人脸样本图像集，得到对抗检测训练集；所述对抗检测训练集包括若干对抗检测样本图像；定位所述对抗检测样本图像的分类敏感区域，得到所述目标对抗检测训练集；所述分类敏感区域为所述对抗检测样本图像中分类影响权重满足预设条件的区域。
在其中一个实施例中，所述生成模块530，具体用于确定所述对抗检测样本图像对应的随机概率值；在所述随机概率值大于预设概率值阈值的情况下，定位所述对抗检测样本图像的分类敏感区域，得到优化后的对抗检测样本图像；根据所述优化后的对抗检测样本图像，得到所述目标对抗检测训练集。
在其中一个实施例中，所述生成模块530，具体用于通过将所述对抗检测样本图像输入至待训练的人脸对抗检测模型，对所述对抗检测样本图像进行伪造注意力图计算，得到所述对抗检测样本图像对应的注意力掩码图；所述注意力掩码图用于表征所述人脸对抗检测模型对所述对抗检测样本图像中每一像素点的分类敏感度；根据所述对抗检测样本图像中每一像素点对应的分类敏感度，在所述对抗检测样本图像中筛选出目标像素点，得到所述对抗检测样本图像的分类敏感区域；所述目标像素点对应的分类敏感度大于预设敏感度阈值。
在其中一个实施例中，所述生成模块530，具体用于通过将所述对抗检测样本图像输入至所述待训练的人脸对抗检测模型，得到所述对抗检测样本图像对应的对抗类概率值和非对抗类概率值；根据所述对抗类概率值和所述非对抗类概率值的差值，确定所述对抗检测样本图像对应的扰动梯度值；所述扰动梯度值为根据所述差值的绝对值进行梯度运算确定得到的；针对所述对抗检测样本图像的每个像素点的色彩通道对应的扰动梯度值，确定最大扰动梯度值，作为各所述像素点对应的掩码值；根据所述对抗检测样本图像的每个像素点对应的掩码值，得到所述注意力掩码图。
在其中一个实施例中，所述生成模块530，具体用于根据所述分类敏感区域在所述对抗检测样本图像中的位置，确定所述分类敏感区域在所述对抗检测样本图像中对应的待覆盖区域；所述待覆盖区域为根据随机起点位置和随机尺寸对所述分类敏感区域进行扩展确定得到的；通过随机数矩阵对所述待覆盖区域进行覆盖，得到可疑伪造消除后的对抗检测样本图像；所述随机数矩阵的矩阵规模与所述待覆盖区域的区域规模匹配；将所述可疑伪造消除后的对抗检测样本图像，作为所述优化后的对抗检测样本图像。
上述一种对抗样本检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始人脸样本图像集数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对抗样本检测方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种对抗样本检测方法，其特征在于，所述方法包括：
针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；所述通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动；
添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集；
根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集；所述目标对抗检测训练集用于训练出人脸对抗检测模型；所述人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
2.根据权利要求1所述的方法，其特征在于，所述针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动，包括：
将预设数量的所述原始人脸样本图像作为第一原始样本图像，并将所述原始人脸样本图像集中除所述第一原始样本图像以外的图像，作为第二原始样本图像；
针对所述第一原始样本图像，通过模拟所述通用对抗扰动，得到第一形状类型的模拟对抗扰动；
针对所述第二原始样本图像，通过模拟所述通用对抗扰动，得到第二形状类型的模拟对抗扰动；
根据所述第一形状类型的模拟对抗扰动和所述第二形状类型的模拟对抗扰动，确定所述至少两种不同形状类型的模拟对抗扰动。
3.根据权利要求2所述的方法，其特征在于，所述针对所述第一原始样本图像，通过模拟所述通用对抗扰动，得到第一形状类型的模拟对抗扰动，包括：
获取第一全零矩阵；所述第一全零矩阵的矩阵规模与所述第一原始样本图像的图像尺寸匹配；
针对所述第一原始样本图像中的每个像素点在所述第一全零矩阵中对应的像素点位置，分别在各所述像素点位置处添加随机扰动值，得到第一目标矩阵；
将所述第一目标矩阵，作为点状的模拟对抗扰动，得到所述第一形状类型的模拟对抗扰动。
4.根据权利要求2所述的方法，其特征在于，所述针对所述第二原始样本图像，通过模拟所述通用对抗扰动，得到第二形状类型的模拟对抗扰动，包括：
获取第二全零矩阵；所述第二全零矩阵的矩阵规模与所述第二原始样本图像的图像尺寸匹配；
遍历所述第二原始样本图像中的每个像素点在所述第二全零矩阵中对应的掩码区域，分别在各所述掩码区域中添加随机扰动值，得到第二目标矩阵；所述掩码区域为具有预设尺寸，且包含有相应的所述像素点的像素点区域；
将所述第二目标矩阵作为块状的模拟对抗扰动，得到所述第二形状类型的模拟对抗扰动。
5.根据权利要求2所述的方法，其特征在于，所述添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集，包括：
将所述第一形状类型的模拟对抗扰动添加至所述第一原始样本图像，得到第一模拟样本图像；
将所述第二形状类型的模拟对抗扰动添加至所述第二原始样本图像，得到第二模拟样本图像；
根据所述第一模拟样本图像和所述第二模拟样本图像，确定所述模拟对抗样本图像集。
6.根据权利要求1所述的方法，其特征在于，所述根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集，包括：
根据所述模拟对抗样本图像集和所述原始人脸样本图像集，得到对抗检测训练集；所述对抗检测训练集包括若干对抗检测样本图像；
定位所述对抗检测样本图像的分类敏感区域，得到所述目标对抗检测训练集；所述分类敏感区域为所述对抗检测样本图像中分类影响权重满足预设条件的区域。
7.根据权利要求6所述的方法，其特征在于，所述定位所述对抗检测样本图像的分类敏感区域，得到所述目标对抗检测训练集，包括：
确定所述对抗检测样本图像对应的随机概率值；
在所述随机概率值大于预设概率值阈值的情况下，定位所述对抗检测样本图像的分类敏感区域，得到优化后的对抗检测样本图像；
根据所述优化后的对抗检测样本图像，得到所述目标对抗检测训练集。
8.根据权利要求7所述的方法，其特征在于，所述定位所述对抗检测样本图像的分类敏感区域，包括：
通过将所述对抗检测样本图像输入至待训练的人脸对抗检测模型，对所述对抗检测样本图像进行伪造注意力图计算，得到所述对抗检测样本图像对应的注意力掩码图；所述注意力掩码图用于表征所述人脸对抗检测模型对所述对抗检测样本图像中每一像素点的分类敏感度；
根据所述对抗检测样本图像中每一像素点对应的分类敏感度，在所述对抗检测样本图像中筛选出目标像素点，得到所述对抗检测样本图像的分类敏感区域；所述目标像素点对应的分类敏感度大于预设敏感度阈值。
9.根据权利要求8所述的方法，其特征在于，所述通过将所述对抗检测样本图像输入至待训练的人脸对抗检测模型，对所述对抗检测样本图像进行伪造注意力图计算，得到所述对抗检测样本图像对应的注意力掩码图，包括：
通过将所述对抗检测样本图像输入至所述待训练的人脸对抗检测模型，得到所述对抗检测样本图像对应的对抗类概率值和非对抗类概率值；
根据所述对抗类概率值和所述非对抗类概率值的差值，确定所述对抗检测样本图像对应的扰动梯度值；所述扰动梯度值为根据所述差值的绝对值进行梯度运算确定得到的；
针对所述对抗检测样本图像的每个像素点的色彩通道对应的扰动梯度值，确定最大扰动梯度值，作为各所述像素点对应的掩码值；
根据所述对抗检测样本图像的每个像素点对应的掩码值，得到所述注意力掩码图。
10.根据权利要求8所述的方法，其特征在于，所述得到优化后的对抗检测样本图像，包括：
根据所述分类敏感区域在所述对抗检测样本图像中的位置，确定所述分类敏感区域在所述对抗检测样本图像中对应的待覆盖区域；所述待覆盖区域为根据随机起点位置和随机尺寸对所述分类敏感区域进行扩展确定得到的；
通过随机数矩阵对所述待覆盖区域进行覆盖，得到可疑伪造消除后的对抗检测样本图像；所述随机数矩阵的矩阵规模与所述待覆盖区域的区域规模匹配；
将所述可疑伪造消除后的对抗检测样本图像，作为所述优化后的对抗检测样本图像。
11.一种对抗样本检测装置，其特征在于，所述装置包括：
模拟模块，用于针对原始人脸样本图像集，通过模拟通用对抗扰动，获得至少两种不同形状类型的模拟对抗扰动；所述通用对抗扰动为通过至少两种基于梯度的通用对抗攻击方法生成的对抗扰动；
添加模块，用于添加各所述形状类型的模拟对抗扰动至所述原始人脸样本图像集中的原始人脸样本图像，得到模拟对抗样本图像集；
生成模块，用于根据所述模拟对抗样本图像集和所述原始人脸样本图像集，生成目标对抗检测训练集；所述目标对抗检测训练集用于训练出人脸对抗检测模型；所述人脸对抗检测模型用于检测待检测人脸图像是否为人脸对抗样本。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202310371235.0A 2023-04-10 2023-04-10 对抗样本检测方法、装置、计算机设备和存储介质 Pending CN116403079A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310371235.0A CN116403079A (zh) 2023-04-10 2023-04-10 对抗样本检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310371235.0A CN116403079A (zh) 2023-04-10 2023-04-10 对抗样本检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116403079A true CN116403079A (zh) 2023-07-07

Family

ID=87017549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310371235.0A Pending CN116403079A (zh) 2023-04-10 2023-04-10 对抗样本检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116403079A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315395A (zh) * 2023-09-27 2023-12-29 北京瑞莱智慧科技有限公司 人脸对抗样本的生成方法、相关装置、设备及存储介质
CN119068286A (zh) * 2024-08-13 2024-12-03 电子科技大学(深圳)高等研究院 基于通用潜在感染的对抗样本制备方法
CN119600382A (zh) * 2024-11-19 2025-03-11 人民网股份有限公司 针对人脸伪造检测模型的对抗样本生成方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652290A (zh) * 2020-05-15 2020-09-11 深圳前海微众银行股份有限公司 一种对抗样本的检测方法及装置
CN111783629A (zh) * 2020-06-29 2020-10-16 浙大城市学院 一种面向对抗样本攻击的人脸活体检测方法及装置
CN112528675A (zh) * 2020-12-14 2021-03-19 成都易书桥科技有限公司 一种基于局部扰动的对抗样本防御算法
CN113111776A (zh) * 2021-04-12 2021-07-13 京东数字科技控股股份有限公司 对抗样本的生成方法、装置、设备及存储介质
CN113221858A (zh) * 2021-06-16 2021-08-06 中国科学院自动化研究所 人脸识别对抗攻击的防御方法及系统
CN113780123A (zh) * 2021-08-27 2021-12-10 广州大学 一种对抗样本生成方法、系统、计算机设备和存储介质
WO2022032549A1 (zh) * 2020-08-11 2022-02-17 中国科学院自动化研究所 基于跨模态转化辅助的人脸防伪检测方法、系统及装置
CN114332982A (zh) * 2021-11-30 2022-04-12 浪潮(北京)电子信息产业有限公司 一种人脸识别模型攻击防御方法、装置、设备及存储介质
CN114663665A (zh) * 2022-02-28 2022-06-24 华南理工大学 基于梯度的对抗样本生成方法与系统
CN115761859A (zh) * 2022-11-29 2023-03-07 中国工商银行股份有限公司 对抗样本的确定方法、装置及计算机可读存储介质
CN115798056A (zh) * 2022-10-20 2023-03-14 招商银行股份有限公司 人脸对抗样本生成方法、装置、系统及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652290A (zh) * 2020-05-15 2020-09-11 深圳前海微众银行股份有限公司 一种对抗样本的检测方法及装置
CN111783629A (zh) * 2020-06-29 2020-10-16 浙大城市学院 一种面向对抗样本攻击的人脸活体检测方法及装置
WO2022032549A1 (zh) * 2020-08-11 2022-02-17 中国科学院自动化研究所 基于跨模态转化辅助的人脸防伪检测方法、系统及装置
CN112528675A (zh) * 2020-12-14 2021-03-19 成都易书桥科技有限公司 一种基于局部扰动的对抗样本防御算法
CN113111776A (zh) * 2021-04-12 2021-07-13 京东数字科技控股股份有限公司 对抗样本的生成方法、装置、设备及存储介质
CN113221858A (zh) * 2021-06-16 2021-08-06 中国科学院自动化研究所 人脸识别对抗攻击的防御方法及系统
CN113780123A (zh) * 2021-08-27 2021-12-10 广州大学 一种对抗样本生成方法、系统、计算机设备和存储介质
CN114332982A (zh) * 2021-11-30 2022-04-12 浪潮(北京)电子信息产业有限公司 一种人脸识别模型攻击防御方法、装置、设备及存储介质
CN114663665A (zh) * 2022-02-28 2022-06-24 华南理工大学 基于梯度的对抗样本生成方法与系统
CN115798056A (zh) * 2022-10-20 2023-03-14 招商银行股份有限公司 人脸对抗样本生成方法、装置、系统及存储介质
CN115761859A (zh) * 2022-11-29 2023-03-07 中国工商银行股份有限公司 对抗样本的确定方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄横;韩青;李晓东;: "基于对抗样本防御的人脸安全识别方法", 北京电子科技学院学报, no. 04, 15 December 2019 (2019-12-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315395A (zh) * 2023-09-27 2023-12-29 北京瑞莱智慧科技有限公司 人脸对抗样本的生成方法、相关装置、设备及存储介质
CN119068286A (zh) * 2024-08-13 2024-12-03 电子科技大学(深圳)高等研究院 基于通用潜在感染的对抗样本制备方法
CN119600382A (zh) * 2024-11-19 2025-03-11 人民网股份有限公司 针对人脸伪造检测模型的对抗样本生成方法及装置
CN119600382B (zh) * 2024-11-19 2025-08-08 人民网股份有限公司 针对人脸伪造检测模型的对抗样本生成方法及装置

Similar Documents

Publication Publication Date Title
CN116403079A (zh) 对抗样本检测方法、装置、计算机设备和存储介质
CN113554089A (zh) 一种图像分类对抗样本防御方法、系统及数据处理终端
CN113239914B (zh) 课堂学生表情识别及课堂状态评估方法、装置
TW202217653A (zh) 深度偽造影片檢測系統及其方法
CN114241587B (zh) 人脸活体检测对抗鲁棒性的评估方法及装置
CN113420289B (zh) 面向深度学习模型的隐蔽中毒攻击防御方法及其装置
CN115861306A (zh) 一种基于自监督拼图模块的工业品异常检测方法
CN113487600A (zh) 一种特征增强尺度自适应感知船舶检测方法
CN118264448A (zh) 一种针对多分类的深度学习网络入侵检测模型
CN115796243B (zh) 基于注意力图差异的对抗样本检测方法及系统
CN114742170A (zh) 对抗样本生成方法、模型训练方法、图像识别方法及装置
CN114638356A (zh) 一种静态权重引导的深度神经网络后门检测方法及系统
JP6892844B2 (ja) 情報処理装置、情報処理方法、透かし検出装置、透かし検出方法、及びプログラム
CN118196378A (zh) 一种基于改进yolov7的工地安全隐患检测方法、装置和介质
Daryani et al. IRL-Net: Inpainted region localization network via spatial attention
CN117692210A (zh) 基于图像增强的网络流量入侵检测方法和系统
Ain et al. Regularized forensic efficient net: a game theory based generalized approach for video deepfakes detection
CN113570564B (zh) 一种基于多路卷积网络的多清晰度伪造人脸视频的检测方法
Dhar et al. Detecting deepfake images using deep convolutional neural network
CN118262276B (zh) 视频的伪造检测方法、装置、电子设备及存储介质
CN114510715A (zh) 模型的功能安全测试方法、装置、存储介质及设备
CN117152486B (zh) 一种基于可解释性的图像对抗样本检测方法
Mor Forensic ai: A novel multi-granular approach for detecting synthetic media manipulation
CN117392074A (zh) 图像中物体检测的方法、装置、计算机设备和存储介质
CN113506272A (zh) 一种虚假视频的检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination