CN116935888B - 一种工业设备异常声音检测方法及系统 - Google Patents

Abstract

本发明提供一种工业设备异常声音检测方法及系统，包括：异常声音检测模型包括：第一检测网络和第二检测网络；通过样本数据对第一检测网络进行训练，获得第一正常分数和第一异常分数；通过样本数据对第二检测网络进行训练，获得第二正常分数和第二异常分数；通过第一正常分数、第一异常分数、第二正常分数和第二异常分数，计算获得AUC分数；将AUC分数最高的异常声音检测模型作为训练好的异常声音检测模型；通过训练好的异常声音检测模型对待检测声音进行识别，获得工业设备的异常检测结果。本发明通过计算AUC分数准确的评价异常声音检测模型的识别精确度，选取AUC分数最高的异常声音检测模型作为训练好的异常声音检测模型，保证最终的识别效果。

Description

一种工业设备异常声音检测方法及系统

技术领域

本发明涉及异常声音信号检测领域，尤其涉及一种工业设备异常声音检测方法及系统。

背景技术

对于工业机械来说，异常声音检测的作用是确定目标机器发出的声音是否异常。异常声音可能表明机器有故障，及时发现异常可以减少风险和损失。通过聆听机器的声音信号来监测机器的运行状态，已被广泛应用于异常检测和预测性维护中。

工业设备运行条件稳定，声音信号特征相对稳定，极少出现异常或故障，很难获得真正的异常声音样本。同时，工业音频信号种类繁多，背景噪声成分复杂。

因此，基于深度学习的无监督方法在异常声音检测领域的优越性尤为突出。

高级的深度学习网络经常需要大量的计算资源和数据集进行训练，这超出了许多移动和嵌入式设备的计算能力。在现有的深度学习方法中，当不同机器的正常样本非常相似时，模型就很难训练决策边界，这可能导致检测系统出现频繁的假阳性。

发明内容

为解决上述技术问题，本发明提供一种工业设备异常声音检测方法，包括步骤：

S1：构建异常声音检测模型，异常声音检测模型包括：第一检测网络和第二检测网络；

S2：通过样本数据对第一检测网络进行训练，获得第一正常分数和第一异常分数；

S3：通过样本数据对第二检测网络进行训练，获得第二正常分数和第二异常分数；

S4：通过第一正常分数、第一异常分数、第二正常分数和第二异常分数，计算获得AUC分数；

S5：重复步骤S2-S4直至最大迭代次数，将AUC分数最高的异常声音检测模型作为训练好的异常声音检测模型；

S6：通过训练好的异常声音检测模型对待检测声音进行识别，获得工业设备的异常检测结果。

优选的：

第一检测网络包括依次连接的第一二维卷积层、多个瓶颈层、第二二维卷积层、平均池化层和第三二维卷积层。

优选的，瓶颈层的构建过程为：

获取1×1的普通卷积层，将普通卷积层升维至高维空间，在高维空间下将普通卷积层中的各普通卷积块替换为深度可分离卷积块，再降维至1×1空间，获得深度可分离卷积层；

在深度可分离卷积层中，用线性激活函数代替非线性激活函数，通过倒置残差块连接输入和线性激活函数后的两个低维张量，获得瓶颈层。

优选的：

第二检测网络包括依次连接的编码器、潜在空间模块、解码器和重构模块。

优选的，步骤S2具体为：

将样本数据输入第一检测网络进行识别，获得第一正常样本集合和第一异常样本集合获取第一正常样本集合中各正常样本的第一正常分数获取第一异常样本集合中各异常样本的第一异常分数

其中，为第一正常样本集合的第i个正常样本，N1_-为第一正常样本集合的样本总数，为第一异常样本集合的第j个异常样本，N1₊为第一异常样本集合的样本总数。

优选的，步骤S3具体为：

将样本数据输入第二检测网络进行识别，获得第二正常样本集合和第二异常样本集合获取第二正常样本集合中各正常样本的第二正常分数获取第二异常样本集合中各异常样本的第二异常分数

其中，为第二正常样本集合的第u个正常样本，N2_-为第二正常样本集合的样本总数，为第二异常样本集合的第v个异常样本，N2₊为第二异常样本集合的样本总数。

优选的，步骤S4中AUC分数的计算公式为：

其中，若则K_-＝N2_-，若则K_-＝N1-，若则K₊＝N2₊，若则K₊＝N1₊；

为第一正常分数，为第一异常分数，为第二正常分数，为第二异常分数；

N1-为第一正常样本集合的样本总数，N1₊为第一异常样本集合的样本总数，N2-为第二正常样本集合的样本总数，N2₊为第二异常样本集合的样本总数。

一种工业设备异常声音检测系统，包括模块：

模型构建模块，用于构建异常声音检测模型，异常声音检测模型包括：第一检测网络V2和第二检测网络AE；

第一检测网络训练模块，用于通过样本数据对第一检测网络进行训练，获得第一正常分数和第一异常分数；

第二检测网络训练模块，用于通过样本数据对第二检测网络进行训练，获得第二正常分数和第二异常分数；

AUC分数计算模块，用于通过第一正常分数、第一异常分数、第二正常分数和第二异常分数，计算获得AUC分数；

迭代训练模块，用于重复训练直至最大迭代次数，将AUC分数最高的异常声音检测模型作为训练好的异常声音检测模型；

异常检测模块，用于通过训练好的异常声音检测模型对待检测声音进行识别，获得工业设备的异常检测结果。

本发明具有以下有益效果：

本发明的第一检测网络采用具有深度可分离卷积块的瓶颈层，通过第一检测网络和第二检测网络组合构建异常声音检测模型，该模型设计可以显著的降低参数量和计算量，提高异常声音检测的效率；通过计算AUC分数准确的评价异常声音检测模型的识别精确度，选取AUC分数最高的异常声音检测模型作为训练好的异常声音检测模型，保证最终的识别效果。

附图说明

图1为本发明实施例方法流程图；

图2为深度可分离卷积块在三维空间下的示意图；

图3为瓶颈层在三维空间下的示意图；

图4为第二检测网络的结构图；

图5为异常声音检测模型的判断结果示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，本发明提供一种工业设备异常声音检测方法，包括步骤：

S1：构建异常声音检测模型，异常声音检测模型包括：第一检测网络和第二检测网络；

S2：通过样本数据对第一检测网络进行训练，获得第一正常分数和第一异常分数；

S3：通过样本数据对第二检测网络进行训练，获得第二正常分数和第二异常分数；

S4：通过第一正常分数、第一异常分数、第二正常分数和第二异常分数，计算获得AUC分数；

S5：重复步骤S2-S4直至最大迭代次数，将AUC分数最高的异常声音检测模型作为训练好的异常声音检测模型；

S6：通过训练好的异常声音检测模型对待检测声音进行识别，获得工业设备的异常检测结果。

进一步的：

第一检测网络包括依次连接的第一二维卷积层、多个瓶颈层、第二二维卷积层、平均池化层和第三二维卷积层。

具体的，第一检测网络采用MobileNetV2网络，表1列出了MobileNetV2网络的详细架构：

表1

表2中，第一列表示MobileNetV2网络每一层输入张量的尺寸；n表示每一行描述了一个由1个或多个相同(模块步幅)层组成的序列，即bottleneck的重复次数；同一序列中的所有层具有相同数量的卷积块个数c；每个序列的首个模块有一个步长s，其它模块步长为1；k是输出类别数；所有空间卷积都使用3×3内核；扩展因子t始终应用于表1所述的输入大小；除第一层外，在整个网络中使用恒定的扩展率；本发明训练该网络以识别观察到的信号是从哪个部分生成的，模型输出softmax值，即每个部分的预测概率。

进一步的，瓶颈层的构建过程为：

获取1×1的普通卷积层，将普通卷积层升维至高维空间，在高维空间下将普通卷积层中的各普通卷积块替换为深度可分离卷积块，再降维至1×1空间，获得深度可分离卷积层；

在深度可分离卷积层中，用线性激活函数代替非线性激活函数，通过倒置残差块连接输入和线性激活函数后的两个低维张量，获得瓶颈层。

具体的，MobileNetV2网络使用深度可分离卷积作为网络架构的构建块，将普通卷积分成两个独立的“解耦”版本替换完整的卷积算子；深度可分离卷积块结构如下表2所示：

表2

普通卷积采用h_i×w_i×d_i的输入张量L_i，并应用卷积核以生成h_i×w_i×d_j的输出张量L_j，其计算成本为h_i·w_i·d_i·d_j·k·k；深度可分离卷积计算成本按式(1)计算：

k²×h_i×w_i×d_i+1×1×d_i×h_i×w_i×d_j (1)

即hi·w_i·d_i(k²+d_j) (2)

与普通卷积相比，深度可分离卷积有效的减少了k²的计算量，MobileNetV2使用了k＝3(3×3深度可分离卷积)，因此计算成本是普通卷积的1/8到1/9，显著的降低了参数量和计算量，而准确度仅略有降低。

图2是深度可分离卷积块在三维空间下的示意图，标准的普通卷积块是一个卷积块能同时处理多个通道的信息，深度可分离卷积块包括两个单独的卷积：第一层称为深度(Depthwise)卷积，通过使用单个卷积块来分别处理每个输入通道实现轻量化过滤；第二层是逐点(Pointwise)卷积，通过处理跨通道信息的线性组合来构建新的特征。

MobileNetV2网络另一个轻量化的关键是使用了瓶颈层，它可以表示为3个算子的组合，如式(3)和式(4)所示：

N＝ReLU6odwiseoReLU6 (4)

式中A:R^s×s×k→R^s×s×n，表示线性变换；N:R^s×s×n→R^s'×s'×n，表示非线性的跨通道变换；B:R^s'×s'×n→^s'×s'×k'，表示对输出域进行线性变换。

假设输入域为|x|，输出域为|y|，则计算F(x)的计算量表示为：

|s²k|+|s'²k'|+O(max(s²,s'²)) (5)

图3是瓶颈层在三维空间下的示意图，与传统层相比，有效的深度可分离卷积减少了几乎k2倍的计算量，MobileNetV2使用k＝3(3×3深度可分离卷积)，因此计算成本比标准卷积小8到9倍，而精度只降低了一点点。

进一步的：

第二检测网络包括依次连接的编码器、潜在空间模块、解码器和重构模块。

具体的，第二检测网络AE的结构如图4所示，编码器和解码器网络分别由一个输入全链接神经网络(FCN)层、四个全链接密集层(Dense Layer)和一个输出FCN层组成；DenseLayer每层具有512个隐藏单元，然后是批量归一化(Normalization)和ReLU激活函数；第二检测网络AE的瓶颈层(Bottleneck Layer)被设置为一个具有8个隐藏单元的全链接层，从而产生一个8维的潜在空间；除了解码器的输出层之外，在每个FCN层之后均使用ReLU激活函数；

编码器将高维输入样本映射到低维抽象表示，实现样本压缩与降维；解码器则将抽象表示转换为期望输出，得到输入样本的重构，原始输入向量与网络输出向量之间的差异称为重构误差，AE通过梯度下降算法反向传播误差，以调整网络参数最小化重构误差。

假设给定一个训练集x∈R^T，对于一个D维的输入x，输入维度x_d取值范围为[0,1]；自动编码器通过学习其输入x的前馈隐藏表示h(x)，获得尽可能接近输入的重建y，如式(6)和式(7)所示：

h(x)＝g(b+w₁x) (6)

y＝sigm(c+w₂h(x)) (7)

式中，w₁,w₂是矩阵，分别表示编码层和解码层的权重；b，c是向量；g是非线性激活函数。

要训练AE网络，首先要指定训练损失函数，对于二元观测，一般是选择交叉熵损失(cross-entropy loss)函数，训练自动编码器优化参数(w₁,w₂,b,c)以减少训练示例的平均损失，通常使用小批量随机梯度下降，具体表示为式(8)：

进一步的，步骤S2具体为：

将样本数据输入第一检测网络进行识别，获得第一正常样本集合和第一异常样本集合获取第一正常样本集合中各正常样本的第一正常分数获取第一异常样本集合中各异常样本的第一异常分数

其中，为第一正常样本集合的第i个正常样本，N1-为第一正常样本集合的样本总数，为第一异常样本集合的第j个异常样本，N1₊为第一异常样本集合的样本总数。

进一步的，步骤S3具体为：

将样本数据输入第二检测网络进行识别，获得第二正常样本集合和第二异常样本集合获取第二正常样本集合中各正常样本的第二正常分数获取第二异常样本集合中各异常样本的第二异常分数

其中，为第二正常样本集合的第u个正常样本，N2-为第二正常样本集合的样本总数，为第二异常样本集合的第v个异常样本，N2₊为第二异常样本集合的样本总数。

进一步的，异常监测的目标是判断给定的数据点是否正常，以一个分类任务为例，设样本存在0、1两种标签，则对于一个输入样本而言分类模型也可能会得出0、1两种结果输出。设标签1为正样本(Positive)，标签0为负样本(Negative)，模型的正确判断为真(True)，错误判断为假(False)，则模型的判断可归纳为四种情况，如图5所示；下面列出具体定义：

真阳性(TP)：条件为真，预测也为真；

真阴性(TN)：条件为假，预测也为假；

假阳性(FP)：条件为假，预测为真；

假阴性(FN)：条件为真，预测为假。

把上述定义合到一起，就形成一个混淆矩阵；在混淆矩阵的基础上，可以推导出准确率、精确率和召回率的值，进一步了解模型的性能；下图显示混淆矩阵和所有公式；其中：

准确率(Accuracy，Acc)描述的是对于整个数据集，模型将其中的多少正确预测为阳性或阴性；

精确率(Precision，Pre)描述的是对于所有真预测，模型得出其中多少是正确的；

召回率(Recall，Rec)描述的是，对于数据集中的所有真数据点，模型对其中的多少做出了正确预测。

在此基础上，可以推导出更多的指标来评估模型性能；其中，真阳性率(TPR)与召回率一样，描述的是有多少实际为真的数据被模型预测为真；假阳性率(FPR)描述的是有多少实际为假的数据样本被模型预测为阳性，是假阳性与所有假数据点的比率；TPR与FPR形成一个受试者工作特征(Receiver Operating Characteristic，ROC)曲线，曲线下面积(Area Under the Curve，AUC)，AUC分数越高则代表异常声音检测模型越准确，AUC分数的最大值为1；

步骤S4中AUC分数的计算公式为：

其中，若则K-＝N2-，若则K-＝N1-，若则K₊＝N2₊，若则K₊＝N1₊；

为第一正常分数，为第一异常分数，为第二正常分数，为第二异常分数；

N1-为第一正常样本集合的样本总数，N1₊为第一异常样本集合的样本总数，N2-为第二正常样本集合的样本总数，N2₊为第二异常样本集合的样本总数。

一种工业设备异常声音检测系统，包括模块：

模型构建模块，用于构建异常声音检测模型，异常声音检测模型包括：第一检测网络V2和第二检测网络AE；

第一检测网络训练模块，用于通过样本数据对第一检测网络进行训练，获得第一正常分数和第一异常分数；

第二检测网络训练模块，用于通过样本数据对第二检测网络进行训练，获得第二正常分数和第二异常分数；

AUC分数计算模块，用于通过第一正常分数、第一异常分数、第二正常分数和第二异常分数，计算获得AUC分数；

迭代训练模块，用于重复训练直至最大迭代次数，将AUC分数最高的异常声音检测模型作为训练好的异常声音检测模型；

异常检测模块，用于通过训练好的异常声音检测模型对待检测声音进行识别，获得工业设备的异常检测结果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种工业设备异常声音检测方法，其特征在于，包括步骤：

S1：构建异常声音检测模型，异常声音检测模型包括：第一检测网络和第二检测网络；

其中，第一检测网络包括依次连接的第一二维卷积层、多个瓶颈层、第二二维卷积层、平均池化层和第三二维卷积层；第一检测网络采用MobileNetV2网络，MobileNetV2网络使用深度可分离卷积作为网络架构的构建块，MobileNetV2使用了3×3深度可分离卷积；

第二检测网络包括依次连接的编码器、潜在空间模块、解码器和重构模块；

S2：通过样本数据对第一检测网络进行训练，获得第一正常分数和第一异常分数；

S3：通过样本数据对第二检测网络进行训练，获得第二正常分数和第二异常分数；

S4：通过第一正常分数、第一异常分数、第二正常分数和第二异常分数，计算获得AUC分数；

S5：重复步骤S2-S4直至最大迭代次数，将AUC分数最高的异常声音检测模型作为训练好的异常声音检测模型；

S6：通过训练好的异常声音检测模型对待检测声音进行识别，获得工业设备的异常检测结果。

2.根据权利要求1所述的工业设备异常声音检测方法，其特征在于，瓶颈层的构建过程为：

获取1×1的普通卷积层，将普通卷积层升维至高维空间，在高维空间下将普通卷积层中的各普通卷积块替换为深度可分离卷积块，再降维至1×1空间，获得深度可分离卷积层；

在深度可分离卷积层中，用线性激活函数代替非线性激活函数，通过倒置残差块连接输入和线性激活函数后的两个低维张量，获得瓶颈层。

3.根据权利要求1所述的工业设备异常声音检测方法，其特征在于，步骤S2具体为：

将样本数据输入第一检测网络进行识别，获得第一正常样本集合和第一异常样本集合获取第一正常样本集合中各正常样本的第一正常分数获取第一异常样本集合中各异常样本的第一异常分数

其中，为第一正常样本集合的第i个正常样本，N1_-为第一正常样本集合的样本总数，为第一异常样本集合的第j个异常样本，N1₊为第一异常样本集合的样本总数。

4.根据权利要求1所述的工业设备异常声音检测方法，其特征在于，步骤S3具体为：

将样本数据输入第二检测网络进行识别，获得第二正常样本集合和第二异常样本集合获取第二正常样本集合中各正常样本的第二正常分数获取第二异常样本集合中各异常样本的第二异常分数

其中，为第二正常样本集合的第u个正常样本，N2_-为第二正常样本集合的样本总数，为第二异常样本集合的第v个异常样本，N2₊为第二异常样本集合的样本总数。

5.根据权利要求1所述的工业设备异常声音检测方法，其特征在于，步骤S4中AUC分数的计算公式为：

其中，若则K_-＝N2_-，若则K_-＝N1_-，若则K₊＝N2₊，若则K₊＝N1₊；

为第一正常分数，为第一异常分数，为第二正常分数，为第二异常分数，x_a ^-为通过计算公式计算出的正常分数的极值时的正常样本，x_b ⁺为通过计算公式计算出的异常分数的极值时的异常样本；

N1_-为第一正常样本集合的样本总数，N1₊为第一异常样本集合的样本总数，N2_-为第二正常样本集合的样本总数，N2₊为第二异常样本集合的样本总数。

6.一种工业设备异常声音检测系统，其特征在于，包括模块：

模型构建模块，用于构建异常声音检测模型，异常声音检测模型包括：第一检测网络V2和第二检测网络AE；

第一检测网络训练模块，用于通过样本数据对第一检测网络进行训练，获得第一正常分数和第一异常分数；其中，第一检测网络包括依次连接的第一二维卷积层、多个瓶颈层、第二二维卷积层、平均池化层和第三二维卷积层；第一检测网络采用MobileNetV2网络，MobileNetV2网络使用深度可分离卷积作为网络架构的构建块，MobileNetV2使用了3×3深度可分离卷积；

第二检测网络训练模块，用于通过样本数据对第二检测网络进行训练，获得第二正常分数和第二异常分数；其中，第二检测网络包括依次连接的编码器、潜在空间模块、解码器和重构模块；

AUC分数计算模块，用于通过第一正常分数、第一异常分数、第二正常分数和第二异常分数，计算获得AUC分数；

迭代训练模块，用于重复训练直至最大迭代次数，将AUC分数最高的异常声音检测模型作为训练好的异常声音检测模型；

异常检测模块，用于通过训练好的异常声音检测模型对待检测声音进行识别，获得工业设备的异常检测结果。