CN116958079A - 一种高铁接触网u型抱箍开口销缺陷检测方法 - Google Patents

Abstract

本发明公开了一种高铁接触网U型抱箍开口销缺陷检测方法，属于目标检测领域。包括以下步骤：步骤1：采用高速铁路供电安全检测监测系统所采集的高清图片作为训练集；步骤2：训练集中的数据为包含高铁接触网的图片，将图片进行预处理后，对目标采用多级定位策略；步骤3：将步骤2中经过标注的图片作为训练集，放入识别网络模型进行训练，得到训练权重后对数据集进行检测；步骤4：将步骤3处理定位的开口销图像数据输入到缺陷检测网络(ResNet50网络)实现对开口销的故障检测；本发明具有较高的精确度和自动化程度，减少了工作流程的复杂性和人力成本，提高了高铁接触网巡检人员的工作效率。

Description

一种高铁接触网U型抱箍开口销缺陷检测方法

技术领域

本发明属于基于深度学习图像处理的缺陷检测技术领域，特别涉及一种高铁接触网U型抱箍开口销缺陷检测方法。

背景技术

高铁接触网作为高速铁路系统的重要组成部分，在高铁运行过程中承担着输电、传递电能的重要任务，U型抱箍是接触网中支持及悬挂装置中重要的紧固件之一，U型抱箍上的开口销是否处于良好的工作状态是U型抱箍上容易出现的故障之一，所以开口销的缺失检测对高铁列车的安全稳定运行具有重要意义。针对研究非接触式图像检测在高速铁路接触网巡视检查方法，在深度学习还未广泛关注之前，使用传统图像的方法大多很难达到一个比较高的精确度和准确率。所以普遍通过人工判别缺陷。

通过系统采集的图像数据仍需人工判别是否存在缺陷，其过程耗时耗力、效率低下，未能实现智能检测。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种高铁接触网U型抱箍开口销缺陷检测方法，以减少工作流程的复杂性和人力成本，提高检测的精确度和自动化程度，并最终提升高铁接触网巡检人员的工作效率。

为了实现上述目的，本发明采用的技术方案是：

一种高铁接触网U型抱箍开口销缺陷检测方法，包括如下步骤：

步骤1：构建数据集，数据集中的数据为包含高铁接触网U型抱箍开口销的各种状态的图片；

步骤2：将所述图片进行标注预处理后，对目标采用多级定位策略；

步骤3：以步骤2中经过标注的图片作为训练集，放入识别网络模型进行训练，得到训练权重后对数据集进行检测；

步骤4：将步骤3处理定位的开口销图像数据输入到缺陷检测网络实现故障检测。

与现有技术相比，本发明的有益效果是：

相较于传统的人工检测，本发明避免了人为因素如疲劳和注意力分散带来的误差，从而保证了连续不断的精确测量，因此其准确性远超人工检测。同时，该方法能够在短时间内完成大量的检测任务，大大提高了效率。

附图说明

图1是本发明方法流程示意图。

图2是本发明高铁接触网U型抱箍开口销目标检测的整体网络结构。

图3是本发明缺陷检测网络的流程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

本发明针对高铁悬挂接触网零部件开口销较小、难以精确定位检测问题，通过深度学习技术，在复杂的接触网支撑装置图像中实现开口销钉的精确定位，并能以较高的可靠性完成开口销钉缺失故障检测，具有较好的抗噪性与较高的鲁棒性。同时本发明具有较高的自动化程度，减少了工作流程的复杂性和人力成本，提高了高铁的接触网巡检人员的工作效率，为巡检工作带来极大的便利。

图1给出了本发明具体实施方式中一种高铁接触网U型抱箍开口销缺陷检测方法的流程图，该方法主要包括以下步骤：

步骤1：采用高速铁路供电安全检测监测系统所采集的高清图片构建训练集。

通过我国建立的高速铁路供电安全检测监测系统对高铁接触网进行全方位、无死角的超清晰拍摄，得到包含高铁接触网U型抱箍开口销的各种状态的图片，将其作为数据集。

本发明训练集中的数据从高速铁路供电安全检测监测系统所采集的高清图片中筛选得到。由于并不是全部图像都可以用来作为网络训练集使用，所以需要对其进行筛选。筛选的具体要求是：数据集需要包含高铁接触网开口销的各种状态，例如正常状态，损坏状态，部分磨损状态等，以及需要获取一定平衡数量的不同背景、结构、距离、角度等的图像，以提高模型的泛化能力。

步骤2：将数据集中的图片进行预处理后，对目标采用多级定位策略。

本步骤可详细描述如下：

S21：对图片数据进行增强操作，所述增强操作包括但不限于水平翻转、垂直翻转、高斯模糊。

S22：标注预处理，即，对图片的标注分为两次，进行两次标注，首先利用LabelImg等工具对U型抱箍进行定位标注，将标注完的图片按9：1的比例划分为训练集和测试集，采用相同的方法对U型抱箍图像的开口销进行相同的数据处理，即定位标注及数据集划分。

步骤3：将步骤2中经过标注的图片作为训练集，放入识别网络模型进行训练，得到训练权重后对数据集进行检测。

本步骤可详细描述如下：

步骤31：对图像进行尺寸预处理，即，将图像调整到适当的尺寸，以便输入到网络中。

步骤32：采用CSPDarknet53等作为骨干网络，提取步骤31中输入图像的特征；本发明骨干网络中，包含三个进行融合的三个特征层，示例地，本发明实施例所采用的CSPDarknet53，由模块一～模块十依次连接构成，其中模块一为Focus模块，模块二、模块四、模块六和模块八为CBS模块，模块三、模块五、模块七为C3模块，模块九为SPP模块，模块十为CSP模块；所述模块五、模块七和模块十为进行融合的三个特征层。

步骤33：构建多尺度融合模块，将骨干网络的输出特征输入改进的ASPP模块，捕捉不同尺度和不同级别上下文信息的特征，实现多尺度融合。

如图2所示：所述改进的ASPP模块包括串联的模块二十七～模块三十一，其中模块二十七、模块二十八、模块二十九、模块三十一为不同扩张率的空洞卷积模块，每个模块包含1×1卷积和3×3空洞卷积，空洞卷积的扩张率分别为1、2、3、5。模块三十为1×1卷积层。

将骨干网络最后的输出特征P作为输入，送入模块二十七，接下来将模块二十七的输入与输出进行Concat操作拼接作为模块二十八(即下一个空洞卷积块)的输入，依此类推，每次空洞卷积均按照上述操作进行，即将模块二十八的输入与输出进行Concat操作拼接作为模块二十九的输入，将模块二十九的输入与输出进行Concat操作拼接作为模块三十一的输入。最后将四个空洞卷积块输出的特征图进行Concat操作拼接，通过模块三十调整到与骨干网络的输出特征大小一致的通道数。最终对模块三十的输出和骨干网络的输出执行相加操作实现特征融合。

步骤34：将骨干网络与改进的ASPP模块学习到的特征信息传递给改进的PAN结构中，首先对高层特征图进行上采样，然后与低层特征图进行元素相加操作，进行进一步的特征提取和融合。

如图2所示，改进的PAN模块包括串联的模块十一～模块二十三，其中模块十一、模块十二和模块十三均为自注意力模块，模块十四、模块十七、模块二十一和模块二十三均为C3+concat模块，模块十五和模块十八均为上采样模块，模块十六、模块十九、模块二十和模块二十二均为CBS模块。

按融合顺序，在Darknet53网络中进行融合的三个特征层(模块五，模块七，模块十)后面分别加入CBAM注意力机制(即接模块十一、模块十二和模块十三)，用来自适应地调整各个特征层的特征权重，以达到关注重要特征、提高特征表达能力的目的，然后对赋有权重的特征层(即模块十一、模块十二和模块十三)分别与中间特征层(即模块十四，模块十六，模块十九)进行ADD操作，防止了骨干网络中的特征信息丢失，弥补了上采样操作带来的特征信息缺失问题。

步骤35：将经过步骤34得到的结果输入到分类预测网络。

本发明实施例中，分类预测网络由模块二十四、模块二十五和模块二十六构成，每个模块采用解耦头结构，包括Reg部分、Obj部分、Cls部分共三部分；所述Reg部分用于表示预测框中心点的偏移和预测框的宽高信息，所述Obj部分用于表示预测框内包含物体的概率，所述C1s部分用于表示预测框对应某一类缺陷的概率。

经过改进的PAN模块后，模块二十四、模块二十五和模块二十六各自获得三个预测结果Reg(H,W,4)，Obj(H,W,1)，Cls(H,W,C)。将三个预测结果进行堆叠用于预测结果(H,W,4+1+C)。其中H，W分别为特征图的长和宽，4为预测框的长宽和中心点的坐标，1为预测框的置信度，C为分类种类。其中模块二十四输出的特征信息为20*20*85，模块二十五输出的特征信息为40*40*85，模块二十四输出的特征信息为80*80*85。

步骤36：对预测框、分类概率和目标置信度进行解码处理，将输出结果转换为目标检测的最终结果。

特征图输入至解耦头生成预测结果，其中包括预测框的坐标信息、类别概率和置信度得分，预测框生成后，通过中心点和坐标信息初步筛选出正样本信息，之后通过优化的标签分配策略SimOTA进行候选框的精细化筛选。所述SimOTA具体过程如下：

(1)计算所有预测框和真实目标框的IoU，为每个开口销挑选出10个IoU最大的锚框；

(2)通过Cost值挑选候选框，Cost越小代表网络的学习成本越小。将得到的10个候选框计算Iou值并求和取整得到k值，再从10个候选框中挑选k个Cost值较小的作为对应目标框的候选框。

(3)若候选分配发生了冲突，则把该候选框分配给对应Cost最低的真实框。

其中Cost计算公式如下所示：

Cost＝L^cls+λL^reg

式中：L^cls代表着目标分类损失，L^reg代表着目标定位损失，λ代表着定位损失的平衡系数。

步骤4：将步骤3处理定位的开口销图像数据输入到缺陷检测网络(ResNet50网络)实现对开口销的故障检测；

本发明运用ResNet50网络进行缺陷分类预测。首先初始化一个预训练的ResNet50网络模型，该模型已在大规模图像数据集上进行过训练，将步骤3完成定位处理的开口销图像数据输入到ResNet50网络中，并输出一个概率向量。ResNet50网络会自动进行特征提取和分类，最后一层的全连接层输出开口销出现故障的概率预测。

将步骤3处理定位的开口销图像数据进行预处理，将图像调整为224*224大小，将预处理后的图像输入ResNet50网络，如图3所示：通过前向传播获取图像数据的特征表示，ResNet50网络具有多个卷积层和池化层，实现自动提取图像的特征，当特征被送入全连接层，经过一系列线性和非线性变换，最终输出一个概率向量，使用Softmax函数对全连接层的输出进行归一化，将其转化为概率分布，可以得到是每个类别(有故障、无故障)的概率预测结果，进而根据概率高低判断高铁接触网U型抱箍开口销是否存在故障。

Claims (10)

1.一种高铁接触网U型抱箍开口销缺陷检测方法，其特征在于，包括如下步骤：

步骤1：构建数据集，数据集中的数据为包含高铁接触网U型抱箍开口销的各种状态的图片；

步骤2：将所述图片进行标注预处理后，对目标采用多级定位策略；

步骤3：以步骤2中经过标注的图片作为训练集，放入识别网络模型进行训练，得到训练权重后对数据集进行检测；

步骤4：将步骤3处理定位的开口销图像数据输入到缺陷检测网络实现故障检测。

2.根据权利要求1所述高铁接触网U型抱箍开口销缺陷检测方法，其特征在于，所述步骤1，训练集中的数据从高速铁路供电安全检测监测系统所采集的高清图片中筛选得到，所述高铁接触网U型抱箍开口销的状态包括正常状态、损坏状态以及部分磨损状态；训练集中的数据包括不同背景、结构、距离、角度的图像。

3.根据权利要求1所述高铁接触网U型抱箍开口销缺陷检测方法，其特征在于，所述步骤2，对所述图片进行增强操作，所述增强操作包括但不限于水平翻转、垂直翻转和高斯模糊；

所述标注预处理，是对所述图片进行两次标注，首先利用LabelImg工具对U型抱箍进行定位标注，将标注完的图片按9：1的比例进行划分为训练集和测试集，采用相同的方法对U型抱箍图像上的开口销进行相同的定位标注及数据集划分。

4.根据权利要求1所述高铁接触网U型抱箍开口销缺陷检测方法，其特征在于，所述步骤3，包括：

步骤31：对图像进行尺寸预处理；

步骤32：采用骨干网络提取步骤31中输入图像的特征；所述骨干网络中包含三个进行融合的三个特征层；

步骤33：将骨干网络的输出特征输入改进的ASPP模块，捕捉不同尺度和不同级别上下文信息的特征，实现多尺度融合；

步骤34：将骨干网络与改进的ASPP模块学习到的特征信息传递给改进的PAN结构，首先对高层特征图进行上采样，然后与低层特征图进行元素相加操作，进行进一步的特征提取和融合；

步骤35：将步骤34得到的结果输入到分类预测网络；

步骤36：对预测框、分类概率和目标置信度进行解码处理，将输出结果转换为目标检测的最终结果。

5.根据权利要求4所述高铁接触网U型抱箍开口销缺陷检测方法，其特征在于，所述骨干网络为CSPDarknet53，由模块一～模块十依次连接构成，其中模块一为Focus模块，模块二、模块四、模块六和模块八为CBS模块，模块三、模块五、模块七为C3模块，模块九为SPP模块，模块十为CSP模块；所述模块五、模块七和模块十为进行融合的三个特征层。

6.根据权利要求4所述高铁接触网U型抱箍开口销缺陷检测方法，其特征在于，所述改进的ASPP模块包括模块二十七～模块三十一，所述模块二十七、模块二十八、模块二十九、模块三十一为不同扩张率的空洞卷积模块，每个模块包含1×1卷积和3×3空洞卷积，空洞卷积的扩张率分别为1、2、3、5，模块三十为1×1卷积层；所述骨干网络的输出特征输入至模块二十七，将模块二十七的输入与输出进行Concat操作拼接作为模块二十八的输入，将模块二十八的输入与输出进行Concat操作拼接作为模块二十九的输入，将模块二十九的输入与输出进行Concat操作拼接作为模块三十一的输入，将四个空洞卷积模块输出的特征图进行Concat操作拼接，通过模块三十调整到与骨干网络的输出特征大小一致的通道数，对模块三十的输出和骨干网络的输出相加实现特征融合。

7.根据权利要求4所述高铁接触网U型抱箍开口销缺陷检测方法，其特征在于，所述改进的PAN结构包括模块十一～模块二十三，其中模块十一、模块十二和模块十三均为自注意力模块，模块十四、模块十七、模块二十一和模块二十三均为C3+concat模块，模块十五和模块十八均为上采样模块，模块十六、模块十九、模块二十和模块二十二均为CBS模块；

按融合顺序，所述进行融合的三个特征层后分别接模块十一、模块十二和模块十三，加入CBAM注意力机制；

将模块十一、模块十二和模块十三分别与中间特征层进行ADD操作，所述中间特征层为模块十四，模块十六和模块十九。

8.根据权利要求4所述高铁接触网U型抱箍开口销缺陷检测方法，其特征在于，所述分类预测网络由模块二十四、模块二十五和模块二十六构成，每个模块采用解耦头结构，包括Reg部分、Obj部分、Cls部分共三部分；所述Reg部分用于表示预测框中心点的偏移和预测框的宽高信息，所述Obj部分用于表示预测框内包含物体的概率，所述C1s部分用于表示预测框对应某一类缺陷的概率；

经过改进的PAN模块后，模块二十四、模块二十五和模块二十六各自获得三个预测结果Reg(H,W,4)，Obj(H,W,1)，Cls(H,W,C)；将三个预测结果进行堆叠用于预测结果(H,W,4+1+C)，其中H，W分别为特征图的长和宽，4为预测框的长宽和中心点的坐标，1为预测框的置信度，C为分类种类。

9.根据权利要求4所述高铁接触网U型抱箍开口销缺陷检测方法，其特征在于，所述步骤36，使用解耦头生成预测结果，其中包括预测框的坐标信息、类别概率和置信度得分，预测框生成后，通过中心点和坐标信息初步筛选出正样本信息，之后通过优化的标签分配策略SimOTA进行候选框的精细化筛选。

10.根据权利要求4所述高铁接触网U型抱箍开口销缺陷检测方法，其特征在于，所述步骤4，运用ResNet50网络进行缺陷分类预测，方法如下：首先初始化一个预训练的ResNet50网络模型，该模型已在大规模图像数据集上进行过训练，将步骤3处理定位的开口销图像数据输入到ResNet50网络中，并输出一个概率向量，ResNet50网络会自动进行特征提取和分类，最后一层全连接层的输出开口销出现故障的概率预测。