CN113837000A - 一种基于任务排序元学习的小样本故障诊断方法 - Google Patents

Abstract

本发明提供一种基于任务排序元学习的小样本故障诊断方法，包括如下步骤：S1、从故障设备中采集故障数据，对故障数据进行工况级的细粒度划分，并对振动信号进行分割和傅里叶变换获得到时频图像，从而构建了细粒度的故障时频图像数据集；S2、在元学习器中的训练任务模块每个任务内部进行聚类获得任务的分数；根据分数对故障分类任务进行从易到难的排序；S3、通过元知识的学习和各个任务的学习进行内外两层循环训练获得初始化参数；S4、利用初始化参数和测试任务的少量样本进行微调获得故障诊断的输出；该方法通过找到敏感的具有强大知识适应能力的初始化参数，可以帮助在实际工业场景中很好地找到故障任务。

Description

一种基于任务排序元学习的小样本故障诊断方法

技术领域

本发明属于工业故障诊断和机器学习领域，用于工业领域的小样本故障诊断，尤其涉及一种基于任务排序元学习的小样本故障诊断方法。

背景技术

现代设备采取基于状态[1]的维护方式，它根据通过收集状态信息来采取维护措施，当有证据表明设备有异常行为时，需要尝试采取维护措施来避免不必要的维护任务。诊断是此维护方式的重要方面，以完成故障的检测，隔离和识别。故障诊断和健康管理系统已在工业领域得到广泛使用，并在工业物联网(IIOT)中发挥了关键作用。通过对IIOT环境下收集到的状态数据进行分析，在设备表现出异常时，尝试采取维护措施，从而保证了设备的独立安全性，并满足了自动化诊断的需要。然而许多复杂工业系统的数学模型较难获得，数据驱动的智能故障识别方法则成为了优质选择。其中，基于深度学习的故障诊断方法取得了良好的效果，其不需要人工设计特征提取器，通过卷积等操作将简单特征逐步转化为更加复杂的特征，可以学习更加复杂函数，将输入直接映射到数据输出，从而使得其更加可分[2]。

智能故障诊断往往需要海量的数据[3]，[4]去训练一个可靠的模型，但是在实际工业中，可用于训练的数据并不充足。一方面，设备长期处于正常运行的状态，故障状态下的监测数据远远少于正常状态下获取的数据，因此数据信息重复率高；另一方面，在收集到的状态检测数据中，只有一部分数据对应的设备健康状态已知，大多数监视数据需要人为标记，从而增加了人力成本。此外，还有一些稀有故障类型发生次数少，不易收集这些故障状态下的检测数据。数据稀缺往往会产生过拟合问题，难以训练一个高精度诊断模型。因此，在小样本条件下进行故障诊断已成为现代工业系统中要解决的关键问题。近来，在许多视觉任务和自然语言处理任务中已经应用了小样本学习方法，例如目标检测，图像分割，图像分类等领域。小样本问题的解决方案包括数据增强，数据生成，迁移学习，自监督学习和元学习等。受这些方法在其他领域中成功应用的影响，一些小样本方法也已应用于故障诊断中。

一些基于数据的方法利用采样技术[5][6]和数据生成技术来实现故障数据增强[7]的目的。还有一些方法直接对模型进行改进，基于堆叠式稀疏自编码器模型[9]被用来处理有限的样本数据，利用损失敏感型主动学习的双向门控循环单元(BGRU)[10]也被用于故障诊断，孪生神经网络[11]通过学习同类或不同类的样本对进行小样本学习；除此之外，迁移学习[12]，[13]，[14]也被用于解决小样本问题。但是上述方法的整个网络都需要从头开始进行训练，以确保面对新任务时效果良好，所以其适应性不够强。当应用于实际的工业生产时，从头训练的模型是低效的。另外，在实际的工业场景中，工况复杂多变。工况的变化将导致模型在新条件下无法表现出出色的性能。在工业系统中，用于故障诊断的数据通常是包含模式信息的复杂时间序列信号，并且设备通常在不同的工作条件下运行。当故障样本量较小时，不同工况会造成一些干扰，从而无法识别复杂的故障信息。这就要求模型具有更好的知识适应性，这对于细粒度的故障识别起着至关重要的作用。

发明内容

为了解决现有技术中存在的问题，本发明提供一种基于任务排序元学习的小样本故障诊断方法，该方法通过找到敏感的具有强大知识适应能力的初始化参数，可以帮助在实际工业场景中很好地完成新的故障任务。

针对现有技术存在的问题，本发明采用如下技术方案予以实施：

1、一种基于任务排序元学习的小样本故障诊断方法，包括如下步骤：

S1、从故障设备中采集故障数据，对故障数据进行工况级的细粒度划分，并对振动信号进行分割和傅里叶变换获得到时频图像，从而构建了细粒度的故障时频图像数据集；

S2、在元学习器中的训练任务模块的每个任务内部进行聚类获得任务的分数；根据分数对故障分类任务进行从易到难的排序；

S3、通过元知识的学习和各个任务的学习进行内外两层循环训练获得初始化参数；

S4、利用初始化参数和测试任务的少量样本进行微调获得故障诊断的输出。

进一步，所述故障时频图像数据集采用了短时傅里叶变换，用一个在时间方向可移的时窗来进行傅里叶变换，经过短时傅立叶变换后，振动信号被转换成为时频图像。

进一步，步骤S2中在每个所述任务模块获得任务分数过程：模块内进行，其过程为：

S201、将N个簇的簇质心随机选择为

其中N代表每个分类任务中需要分辨的类别数目对于每个样本x^(m)，计算类别：

其中c^(m)是样本与N个类中距离最近的那个类

S202、对每个类，计算类的质心，使样本到质心的距离最短：

其中，每个类的质心μ_n会被重新计算；

重复以上两个步骤直到收敛，评估聚类完成后的准确率，并把其作为排序的依据。

进一步，所述内外两层循环训练过程：

S301、所述内外两层循环训练由θ共享，其中：内循环计算子任务的损失函数，然后更新本任务的参数，内循环θ将在梯度下降后更新为θ_i′，其中α是内层学习率：

代表了第i个任务，

是任务的损失函数，θ是模型的初始化参数，f_θ代表了模型；

S302、所述外循环根据内循环的优化参数θ′_i，可以在新任务上重新计算损失，并且可以计算和更新初始参数θ，其中β是外层学习率：

S303、通过内循环和外循环的交替优化来获得用于任务分布

下元学习模型的最佳参数；因此，元优化的目标是使任务的损失函数最小化：

损失函数采用交叉熵函数：

x^(j)是第j个样本，y^(j)代表了样本对应的标签，f_φ代表了模型，φ为模型参数；

完成训练后，利用学到的初始化参数和测试任务中的少量样本进行微调作为故障诊断输出。

有益效果

本发明提出的基于任务排序的元学习模型可以对工业系统智能地进行细粒度的小样本故障诊断。一方面，该方法通过找到敏感的具有强大知识适应能力的初始化参数，可以帮助在实际工业场景中很好地完成新的故障任务，并可以避免在小样本条件下发生过拟合；另一方面，通过将元学习中的任务从易到难排序，所提出的方法可以学习更通用的知识表示，从而在不同的复杂工况下仍然具有稳定的性能。因此，TSML模型可以智能地进行复杂工业场景中的小样本故障诊断。

附图说明

图1一种基于任务排序元学习的小样本故障诊断方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图与实例对本发明做详细的论述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

本发明提出了一种基于任务排序元学习(Task-sequencing Meta Learning,TSML)模型的工业系统小样本智能故障诊断方法，该方法能够通过元学习策略智能地进行工业系统的故障诊断。

元学习是一种具有高度适应性的学习策略，它不关注学习本身，而是侧重于如何获得学习能力。在学习能力的帮助下，在实际工业场景中只需要简单的调整就可以适应新任务，而不是从头开始训练网络。具体来看，元学习不直接学习用于预测的数学模型，而是学习如何学习好的数学模型。如果将特征提取视为直接从数据中学习的过程，则元学习器通过评估这个过程来获得学习经验，然后只需要很少的样本来完成目标任务。基于优化的元学习方法找到一个对新任务敏感的初始参数，从而使模型能够对新任务中的少量数据进行梯度更新后的最佳性能。

本发明对基于优化的元学习提出了一种元训练策略，可以利用学习经验能够快速适应新的故障类别，并且在学习过程中可以很好地适应不同的工况。通过为各个任务的学习制定了一个从易到难的课程，实现了阶梯式的学习过程，让任务到任务的适应更加平稳。

2、方案流程概述

本方案的具体步骤如图1所示：

第一步、首先从故障设备中采集故障数据，对故障数据进行工况级的细粒度划分，再对振动信号进行分割和傅里叶变换，得到时频图像，从而构建了细粒度的故障时频图像数据集；

第二步、进行元学习的任务采样并排序；首先采样一批训练任务和测试任务，每个任务由支持集和查询集构成；衡量每个训练任务的难度，对训练任务进行从易到难的排序；

第三步、进行元知识的学习；构造内外两层优化，其中一个优化包含另一种优化作为约束；内层对每个任务进行学习，外层训练整个学习策略，以找到最敏感的初始化参数。其中：

在第一步中，首先对细粒度划分后的数据集进行短时傅里叶变换处理，得到时频图像；随后进行元学习的任务采样过程，对每个任务进行K-means聚类，得到聚类准确度并将其作为难易程度的评价指标，把任务从易到难进行排序；然后构建共用同一个基础学习器的两层循环，内层循环对每个任务做梯度下降，外层循环在全局任务上做梯度下降，最终得到一个最优的初始化参数；在完成训练后，利用少量样本和学到的最优初始化参数，就可以解决一些新的测试任务。下面将详细说明所提出的方法。

第一步：数据集预处理

在把数据输入网络之前，首先对数据进行预处理。旋转机械故障数据集采集到的原始数据往往是振动信号的时间序列。为了在小样本条件下利用尽可能多的信息，需要对数据集的时变非平稳信号进行基础时频分析，从而得到时间域和频率域的联合分布信息。通过设计时间和频率的联合函数，描述信号在不同时间和频率的能量密度或强度。本方案采用了短时傅里叶变换，用一个在时间方向可移的时窗来进行傅里叶变换，以在时域和频域上都具有较好的局部性分析。经过短时傅立叶变换后，振动信号被转换成为时频图像。

第二步：元学习任务采样及排序

(1)任务采样：

元学习的目标是训练一个只需要少量数据和训练迭代就可以快速适应新任务的模型。机器学习中，分类的数据集可以表示为：

其中是x输入样本，y是样本标签。需要优化参数θ以预测模型y＝f_θ(x)，其中

是损失函数，ω是学习策略：

和需要准备很多样本的机器学习相似，元学习需要准备一系列训练任务

和测试任务

元学习通过对任务的学习预测一个模型，其中任务的分布为

ω是元知识：

元学习构建了一个两层的学习过程。元级别的外层学习整体的知识表示，它通过从一项任务学习到另一项任务而不断发展。任务级别的内层像传统的机器学习一样更新模型，每次只关注一个任务的训练和测试。无论是训练任务还是测试任务，每个任务都利用基础元学习器来执行学习过程，该过程使用训练数据

和测试数据

为了区分用于整个学习过程的数据D和用于元任务的数据

将元任务的训练数据

称为支持集，然后元任务的测试数据

称为查询集。每个元任务都会利用支持集训练，利用查询集进行测试。在小样本故障诊断中，元学习器需要把每个任务中的故障分为N个类别，所以需要为每个任务采集N类的样本，每类随机选择K个样本作为支持集，Q个样本作为查询集。所以每个元任务具有NK个训练样本，NQ个测试样本。因为随机选择样本以形成任务，所以一个任务的支持集中的数据和另一任务的查询集中的数据可能相同。样本的重复不会影响模型的泛化能力，因为元学习是通过训练大量任务而实现的快速拟合过程。只要每个任务的训练样本之间存在一定差异，就不必使每个任务完全独立。

(2)任务排序：

上述任务的采样过程是随机采样的，并且在外层学习时未考虑任务的顺序。一方面，这种随机模式将带来很大的不确定性，比如某些任务中的类别可能具有直接相关性，而其他任务中的类别可能几乎没有相关性。另一方面，任务的多样性会导致任务的不同难度。考虑到以上两点，并且由于先学习的任务将不可避免地影响后面的任务，任务间的互相影响会导致不同的学习结果，所以需要衡量各个任务的学习顺序，以更好地学习初始化参数并获得更出色的泛化性能。

考虑到人类的学习过程通常遵循从易到难的顺序，课程学习认为模型应从简单样本开始学习，并逐步过渡到复杂样本。在非凸问题中，这种学习策略通过加快收敛并找到更好的局部最优值而带来了巨大的性能提升。类似于先学习简单样本的课程学习一样，TSML首先学习简单的任务，再学习困难的任务。采取从易到难的有序方式，使得学习过程是渐进式的，从而有利于前面任务学到的通用知识表达更好地在后面的任务上得到适应。为了对任务进行排序，需要评估哪种类型的任务是简单的，哪种类型的任务是困难的。本发明将聚类结果作为判断任务难度的初步指标，通过在每个任务内进行聚类分析，评估得到聚类准确性获得高准确度的聚类任务。

本方案采取了基于欧氏距离的K-means聚类。不像具有成千上万个参数的神经网络在小样本学习中容易过拟合，K-means作为一种非参数方法不需要优化参数。在K-means聚类中，距离近的样本具有更大的相似性。首先将N个簇的簇质心随机选择为

其中N代表每个分类任务中需要分辨的类别数目。对于每个样本x^(m)，计算类别：

对每个类，计算类的质心，使样本到质心的距离最短：

重复以上两个步骤直到收敛，即质心稳定，然后评估聚类完成后的准确率，并把其作为排序的依据。

第三步：元学习的两层优化

本发明通过构建两层循环训练一个敏感的初始化参数，从而在完成新的测试任务时，仅利用初始化参数和少量样本，通过几步更新，就可以获得良好的性能。从表示学习的角度来看，本发明更易于迁移到其他任务的通用内部表示。TSML由函数f_θ表示，该函数由参数θ决定。整个模型分为内循环和外循环，θ由它们两者共享。内循环计算子任务的损失函数，然后更新新任务的参数。也就是说，模型的参数θ将在梯度下降后更新为θ_i′，其中α是内层学习率：

外循环也就是元优化过程，根据内循环的优化参数θ′_i，可以在新任务上重新计算损失，并且可以计算和更新初始参数θ，其中β是外层学习率：

可以通过内循环和外循环的交替优化来获得用于任务分布

下元学习模型的最佳参数。因此，元优化的目标是使任务的损失函数最小化：

损失函数采用交叉熵函数：

完成训练后，利用学到的初始化参数和测试任务中的少量样本进行微调，通过几步更新可以适应新的任务本发明并不限于上文描述的实施方式。

以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (4)

1.一种基于任务排序元学习的小样本故障诊断方法，其特征在于，包括如下步骤：

S1、从故障设备中采集故障数据，对故障数据进行工况级的细粒度划分，并对振动信号进行分割和傅里叶变换获得到时频图像，从而构建了细粒度的故障时频图像数据集；

S2、在元学习器中的训练任务模块的每个任务内部进行聚类获得任务的分数；根据分数对故障分类任务进行从易到难的排序；

S3、通过元知识的学习和各个任务的学习进行内外两层循环训练获得初始化参数；

S4、利用初始化参数和测试任务的少量样本进行微调获得故障诊断的输出。

2.根据权利要求1所述的一种基于任务排序元学习的小样本故障诊断方法，其特征在于，所述故障时频图像数据集采用了短时傅里叶变换，用一个在时间方向可移的时窗来进行傅里叶变换，经过短时傅立叶变换后，振动信号被转换成为时频图像。

3.根据权利要求1所述的一种基于任务排序元学习的小样本故障诊断方法，其特征在于，步骤S2中在每个所述任务模块获得任务分数过程：

S201、将N个簇的簇质心随机选择为

其中N代表每个分类任务中需要分辨的类别数目对于每个样本x^(m)，计算类别：

其中c^(m)是样本与N个类中距离最近的那个类

S202、对每个类，计算类的质心，使样本到质心的距离最短：

其中，每个类的质心μ_n会被重新计算；

重复以上两个步骤直到收敛，评估聚类完成后的准确率，并把其作为排序的依据。

4.根据权利要求1所述的一种基于任务排序元学习的小样本故障诊断方法，其特征在于，所述内外两层循环训练过程：

S301、所述内外两层循环训练由θ共享，其中：内循环计算子任务的损失函数，然后更新本任务的参数，内循环θ将在梯度下降后更新为θ′_i，其中α是内层学习率：

代表了第i个任务，

是任务的损失函数，θ是模型的初始化参数，f_θ代表了模型；

S302、所述外循环根据内循环的优化参数θ′_i，可以在新任务上重新计算损失，并且可以计算和更新初始参数θ，其中β是外层学习率：

S303、通过内循环和外循环的交替优化来获得用于任务分布

下元学习模型的最佳参数；因此，元优化的目标是使任务的损失函数最小化：

损失函数采用交叉熵函数：

x^(j)是第j个样本，y^(j)代表了样本对应的标签，f_φ代表了模型，φ为模型参数；

完成训练后，利用学到的初始化参数和测试任务中的少量样本进行微调，对故障分类结果作为故障诊断输出。

Images