CN118297178A - 一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法 - Google Patents

Abstract

本发明涉及一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，应用于客户端和服务器，其中，客户端用于对训练数据集进行动态平滑扰动，之后将训练得到的模型上传至服务器；服务器对接收到的所有模型进行聚类、裁剪，并添加扰动噪声，输出得到聚合模型。与现有技术相比，本发明综合利用客户端和服务器的防御能力，一方面设计客户端对获取的训练集进行扰动，避免外部攻击者的恶意投毒攻击；另一方面设计服务器对客户端提交的模型首先进行聚合，以过滤恶意客户端提交的模型，再对保留的客户端进行裁剪和添加噪声，进一步来削弱逃逸的恶意模型对正常的模型的影响，成功实现对大范围后门攻击的有效防御。

Description

一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法

技术领域

本发明涉及人工智能安全技术领域，尤其是涉及一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法。

背景技术

在任何机器学习或深度学习情境下，由于训练过程无法完全受控，模型容易受到后门攻击的威胁。在联邦学习中，后门攻击引起了越来越多的关注，并被视为联邦学习中的主要安全威胁之一。在后门攻击中，对手通过操纵受损客户端的本地模型、并将其发送到聚合服务器来获取一个受污染的聚合模型。攻击者的目标是让模型在识别指定数据集时将其识别为特定标签，同时在其他输入上表现正常。攻击的方法主要包括数据投毒攻击和模型投毒攻击。在数据投毒攻击中，攻击者的目标是操纵一个带有后门触发器的受损训练数据集，以破坏相应的本地模型。模型投毒攻击要求攻击者直接操纵受污染的客户上的梯度，以达到攻击的目的。

在联邦学习中，针对恶意客户发起的后门攻击有两种防御主要方法：一种是完全剔除恶意梯度和，另一种是将攻击的影响减少。第一种方法通过识别恶意更新再将其移除，目前常用的方法包括使用余弦相似度和欧氏距离等距离度量来区分良性和恶意模型更新，并使用聚类的方法来分离不同的模型更新；第二种方法是减小恶意模型更新对聚合模型的影响，例如采用鲁棒的聚合规则、模型剪裁和扰动。

上述的后门攻击防御方法主要存在以下缺陷：

1、无法自适应的应对多样化的后门攻击，比如使用聚类方法来分离恶意模型的时候，传统的聚类方法在面对多变的多类型的后门攻击时可能会失效，导致无法分离恶意模型。

2、在对模型裁剪和扰动时，一方面会面临裁剪阈值选择困难的问题，另一方面直接在模型上添加过多的扰动的噪声会使得模型的性能降低。

此外，上述的方法策略都要求恶意攻击者的数量不超过客户端数量的50％，这是不切实际的，当面对更大范围的后门攻击时，上述方法都将面临失效的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，设计一种联合防御框架来有效抵抗大范围的后门攻击。

本发明的目的可以通过以下技术方案来实现：一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，应用于客户端和服务器，其中，客户端用于对训练数据集进行动态平滑扰动，之后将训练得到的模型上传至服务器；

服务器对接收到的所有模型进行聚类、裁剪，并添加扰动噪声，输出得到聚合模型。

进一步地，所述客户端包括正常客户端和污染客户端，所述污染客户端包括数据投毒污染的客户端和不可信的恶意客户端。

进一步地，所述数据投毒污染的客户端所使用的训练数据集被投毒。

进一步地，所述恶意客户端所使用的训练数据集以及训练得到的模型均被投毒。

进一步地，所述客户端对训练数据集进行动态平滑扰动的具体过程为：

在训练早期对训练数据集添加少量噪声进行平滑处理，随着训练次数增加同步增加噪声尺度。

进一步地，所述客户端的具体工作过程包括：

C1、获取用于数据集平滑的高斯噪声尺度，该尺度随着训练轮次的增加而线性增加；

C2、对本地的训练数据集添加平滑噪声；

C3、使用本地的数据集，利用随机梯度下降方法训练模型，并得到梯度的更新；

C4、将梯度更新上传至服务器。

进一步地，所述服务端的具体工作过程包括：

S1、采用聚类方法，从接收到的所有模型中分离出恶意客户端，保留正常梯度；

S2、对保留的正常梯度依次进行裁剪、聚合处理，并添加扰动噪声，输出得到更新全局梯度，并发送给各个客户端用于下一轮训练。

进一步地，所述步骤S1的具体过程为：

S11、计算每个客户端提交的梯度之间相互的余弦相似度；

S12、基于余弦相似度，使用HDBSCAN方法进行聚类，保留正常的梯度更新。

进一步地，所述步骤S2的具体过程为：

S21、计算保留的梯度更新的L2范数的中位数，以作为阈值来裁剪梯度；

S22、使用加权平均的方式聚合梯度，然后对聚合梯度添加扰动噪声；

S23、将扰动后的聚合梯度更新添加至上一轮梯度中，得到更新全局梯度；

S24、将更新全局梯度发送给各个客户端用于下一轮的训练。

进一步地，所述步骤S22具体包括以下步骤：

S221、使用加权平均的方式聚合梯度；

S222、获取用于模型平滑的高斯噪声尺度，该尺度也随着训练轮次的增加而线性增加；

S223、使用高斯噪声尺度计算扰动噪声、并添加到聚合后的梯度。

与现有技术相比，本发明具有以下优点：

本发明针对联邦学习中的后门攻击，分别利用客户端和服务端的防御能力，实现了一个联合性的鲁棒性联邦学习框架，一方面由客户端对获取的训练集进行扰动，避免外部攻击者的恶意投毒攻击；另一方面服务器会对客户端提交的模型首先进行聚合，以过滤恶意客户端提交的模型，再对保留的客户端进行裁剪和添加噪声，进一步来削弱逃逸的恶意模型对正常的模型的影响，成功实现对大范围后门攻击的有效防御。

本发明考虑到联邦学习中的客户端分散在各地，无法由服务器统一管理，并且客户端在收集本地数据集时容易遭受外部攻击者的数据投毒攻击，故针对本地的不完全可信的数据集，设计客户端会对所有的数据添加高斯噪声来进行平滑处理，以削弱触发式后门的效果；此外，还考虑到如果外部的投毒攻击发生在模型训练的早期，那么最终投毒攻击的效果会随着不断的训练而削弱；而发生在训练后期的投毒攻击却可以对最终的模型造成极大的攻击效果，所以，为了应对这种攻击效果的动态变化，设计客户端的数据平滑能够动态变化，使得训练早期添加少量的噪声来实现平滑，训练后期使用更多的噪声来平滑，以大大增强防御的效果。

本发明设计服务器采用聚类方法HDBSCAN来分离出恶意客户端，不需要提前制定分类的簇的数量，而是在聚类过程中根据实际的情况，实时确定分类的簇的数量。当多种攻击发生时，各类恶意梯度被聚类成单独的簇，正常梯度被聚类成一个簇。因为正常梯度大于50％，所以该类聚类方法能够在正确抵抗多类后门攻击的同时，保留大部分的正常梯度。

本发明设计服务器对各个客户端的梯度进行裁剪，以削弱恶意客户端的模型投毒攻击效果，降低恶意梯度对后续聚合梯度的影响，并且通过对聚合梯度添加动态扰动噪声，能够进一步削弱从聚类中逃逸的恶意梯度对全局模型的影响。

附图说明

图1为本发明的方法流程示意图；

图2为实施例中面对的后门攻击者发动的攻击场景；

图3为实施例中具体的防御过程以及模型训练过程；

图4为实施例中HDBSCAN动态聚类示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，应用于客户端和服务器，其中，客户端用于对训练数据集进行动态平滑扰动，之后将训练得到的模型上传至服务器；

服务器对接收到的所有模型进行聚类、裁剪，并添加扰动噪声，输出得到聚合模型。

由此结合客户端和服务器的防御能力，用于有效抵抗后门攻击，客户端具备一定的计算能力和存储能力，它能够利用自身拥有的数据在本地训练模型，然后将模型发送到服务器进行聚合，服务器再将聚合后的模型发送给各个客户端。

在客户端防御中，客户端在本地数据收集过程中可能会遭受外部攻击者的数据投毒攻击，破坏本地模型训练，所以可信的客户端需要在模型训练前使用平滑技术来对数据集进行扰动，以降低外部投毒数据对模型训练的影响，通过对训练集添加扰动来抑制后门触发器，以达到防御后门攻击的效果；

在服务器防御中，客户端会将本地训练完成的模型上传至服务器，但客户端上传的模型并不都是可信的，比如恶意的客户端会上传恶意的模型。所以，服务器会首先使用聚合来过滤掉恶意梯度，然后对保留的梯度进行裁剪和添加噪声扰动，以进一步削弱恶意梯度对聚合模型的影响。

如图2所示，客户端包括正常客户端和污染客户端，污染客户端包括数据投毒污染的客户端和不可信的恶意客户端：数据投毒污染的客户端所使用的训练数据集被投毒；恶意客户端所使用的训练数据集以及训练得到的模型均被投毒。也就是说，在联邦学习中，不仅恶意客户端可以通过模型投毒攻击来达成后门攻击目标，而且外部的恶意攻击者也可以通过数据投毒，污染客户端的正常训练数据集来实现后门攻击。

本实施例应用上述方案，分别在客户端和服务端执行相应的步骤过程，如图3所示，在客户端：

步骤1、客户端获取用于数据集平滑的高斯噪声尺度，该尺度随着训练轮次的增加而线性增加；

步骤2、客户端对本地的训练数据集添加平滑噪声；

步骤3、客户端使用本地的数据集，利用随机梯度下降方法训练模型，并得到梯度的更新；

步骤4、客户端将梯度更新上传至服务器；

在服务端：

步骤5、服务器计算每个客户端提交的梯度之间相互的余弦相似度；

步骤6、基于余弦相似度，使用HDBSCAN方法进行聚类(如图4所示，HDBSCAN是一种动态聚合的方法，不需要提前制定聚合的簇，所以当发生多种类型的后门攻击时依然可以有效地分离出恶意的梯度，保留正常的梯度)，保留大部分的梯度更新；

步骤7、计算保留的梯度更新的L2范数的中位数；

步骤8、使用步骤7的中位数作为阈值来裁剪梯度，使用所有客户端提交的梯度的L2范数的中位数作为裁剪阈值，避免了阈值选择的困难、也增加了防御策略的自适应性；

步骤9、使用加权平均的方式聚合梯度；

步骤10、服务器获取用于模型平滑的高斯噪声尺度，该尺度也随着训练轮次的增加而线性增加；

步骤11、使用步骤10的高斯噪声尺度计算扰动噪声、并添加到聚合后的梯度；

步骤12、将聚合后的梯度更新添加到上一轮的梯度中，得到更新后的全局梯度；

步骤13、将更新全局梯度发送给各个客户端用于下一轮的训练。

综上可知，本方案针对现有联邦学习中后门攻击防御手段的缺陷，提出了基于联合防御的后门攻击鲁棒性防御框架。利用客户端首先对训练数据集进行平滑扰动以避免外部攻击者发动的数据投毒攻击，然后服务器收到客户端上传的模型后会对所有的模型进行聚类、并对保留的模型进行裁剪和添加扰动噪声，以最大限度削弱后门模型的对聚合模型的影响。

由于联邦学习中的客户端分散在各地，无法由服务器统一管理，并且客户端在收集本地数据集时容易遭受外部攻击者的数据投毒攻击，所以为了增强客户端对投毒攻击的防御能力，本方案设计客户端充分发挥自身的防御能力，来抵抗该类攻击。对于本地的不完全可信的数据集，客户端会对所有的数据，比如图像添加高斯噪声来平滑图像，以削弱触发式后门的效果。

与此同时，在实际应用和实验中观察发现，如果外部的投毒攻击发生在模型训练的早期，那么最终投毒攻击的效果会随着不断的训练而削弱；另外，发生在训练后期的投毒攻击却可以对最终的模型造成极大的攻击效果，所以，为了应对这种攻击效果的动态变化，本方案设计客户端的数据平滑能够动态变化，使得训练早期添加少量的噪声来实现图像平滑，训练后期使用更多的噪声来平滑，以增强防御的效果。

每个客户端利用本地平滑的数据集来训练模型，并将训练完成的模型发送给服务器。虽然客户端可以利用平滑手段来抵抗外部的数据投毒攻击，但是在联邦学习中，由不可信的恶意客户端发起的模型投毒攻击更是本方案防御的重点。为了更好的抵抗来自恶意客户端的攻击，本方案设计服务器执行一系列的防御手段：

首先，服务器会采用聚类方法HDBSCAN来分离出恶意客户端。在实际中，攻击者为了更好地达到攻击效果，被恶意更改的梯度通常是偏离大部分的正常梯度，并且被恶意更改的梯度的数量占比是小于50％，正是由于这些特点，所以需要使用聚类的方法来实现恶意梯度的分离。与此同时还注意到，攻击者不仅只是发动单一的后门攻击，可能发动多种类型的后门攻击，那么诸如k-means等固定簇的聚类方法在这个时候将不再适用。HDBSCAN是一种动态的聚类方法，它不需要提前制定分类的簇的数量，而是在聚类过程中根据实际的情况，实时确定分类的簇的数量。当多种攻击发生时，各类恶意梯度被聚类成单独的簇，正常梯度被聚类成一个簇。因为正常梯度大于50％，所以该类聚类方法能够在正确抵抗多类后门攻击的同时，保留大部分的正常梯度。

其次，服务器为对保留的梯度进行裁剪。通常在模型投毒攻击中，恶意客户端为了增强攻击的效果，会对自身上传的梯度进行放大。为了削弱这种模型放大的影响，服务器会对各个客户端的梯度进行裁剪。在本方案中，使用梯度的L2范数的中位数作为裁剪的阈值，克服了以往方案中阈值选择困难的问题，与此同时随着训练的进行，该裁剪阈值也可随着梯度的变化而动态变化，增强裁剪的效果。最后，本方案会对保留并裁剪的梯度使用加权平均的方式进行聚合，然后对聚合添加扰动噪声，并且针对上述的攻击效果在不同轮次的表现，使用同样的动态扰动策略。因为裁剪只能是降低恶意梯度对聚合梯度的影响，面对从聚类中逃逸的恶意梯度，需要继续使用扰动的方法来削弱它对全局模型的影响。

由此针对联邦学习中的后门攻击，分别利用客户端和服务端的防御能力，实现了一个联合性的鲁棒性联邦学习框架，使得即使面对超过50％的客户端遭受攻击时，本方案所提策略依然有效。

Claims (10)

1.一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，其特征在于，应用于客户端和服务器，其中，客户端用于对训练数据集进行动态平滑扰动，之后将训练得到的模型上传至服务器；

服务器对接收到的所有模型进行聚类、裁剪，并添加扰动噪声，输出得到聚合模型。

2.根据权利要求1所述的一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，其特征在于，所述客户端包括正常客户端和污染客户端，所述污染客户端包括数据投毒污染的客户端和不可信的恶意客户端。

3.根据权利要求2所述的一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，其特征在于，所述数据投毒污染的客户端所使用的训练数据集被投毒。

4.根据权利要求2所述的一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，其特征在于，所述恶意客户端所使用的训练数据集以及训练得到的模型均被投毒。

5.根据权利要求1所述的一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，其特征在于，所述客户端对训练数据集进行动态平滑扰动的具体过程为：

在训练早期对训练数据集添加少量噪声进行平滑处理，随着训练次数增加同步增加噪声尺度。

6.根据权利要求5所述的一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，其特征在于，所述客户端的具体工作过程包括：

C1、获取用于数据集平滑的高斯噪声尺度，该尺度随着训练轮次的增加而线性增加；

C2、对本地的训练数据集添加平滑噪声；

C3、使用本地的数据集，利用随机梯度下降方法训练模型，并得到梯度的更新；

C4、将梯度更新上传至服务器。

7.根据权利要求6所述的一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，其特征在于，所述服务端的具体工作过程包括：

S1、采用聚类方法，从接收到的所有模型中分离出恶意客户端，保留正常梯度；

S2、对保留的正常梯度依次进行裁剪、聚合处理，并添加扰动噪声，输出得到更新全局梯度，并发送给各个客户端用于下一轮训练。

8.根据权利要求7所述的一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，其特征在于，所述步骤S1的具体过程为：

S11、计算每个客户端提交的梯度之间相互的余弦相似度；

S12、基于余弦相似度，使用HDBSCAN方法进行聚类，保留正常的梯度更新。

9.根据权利要求7所述的一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，其特征在于，所述步骤S2的具体过程为：

S21、计算保留的梯度更新的L2范数的中位数，以作为阈值来裁剪梯度；

S22、使用加权平均的方式聚合梯度，然后对聚合梯度添加扰动噪声；

S23、将扰动后的聚合梯度更新添加至上一轮梯度中，得到更新全局梯度；

S24、将更新全局梯度发送给各个客户端用于下一轮的训练。

10.根据权利要求9所述的一种基于联合防御的可抵抗后门攻击的鲁棒性联邦学习方法，其特征在于，所述步骤S22具体包括以下步骤：

S221、使用加权平均的方式聚合梯度；

S222、获取用于模型平滑的高斯噪声尺度，该尺度也随着训练轮次的增加而线性增加；

S223、使用高斯噪声尺度计算扰动噪声、并添加到聚合后的梯度。