CN117911380A - 基于改进fcos网络的x光安检检测方法 - Google Patents

Abstract

本发明公开了一种基于改进FCOS网络的X光安检检测方法，该方法是基于改进FCOS网络实现X光安检中违禁品的精准检测，FCOS网络的改进在于新增了边缘引导模块、前背景分离模块和注意力模块，边缘引导模块通过sobel算子计算出X光图像中的待检测目标的边缘特征，前背景分离模块通过接收边缘引导模块提取到的边缘特征对X光图像中前景与背景进行分离，注意力模块用于记录多轮迭代训练前背景分离模块提取得到的前景特征，并对记录的前景特征进行融合得到注意力激活图。本发明减少了堆叠目标在X光透射成像下的干扰，强化了网络特征感知能力，提高了X光对象的检测精度和速度。

Description

基于改进FCOS网络的X光安检检测方法

技术领域

本发明涉及X光违禁品检测的技术领域，尤其是指一种基于改进FCOS网络的X光安检检测方法。

背景技术

X光安检技术已被广泛运用到公共交通场所和物流快递等行业的安全检查工作中，其通过使用X射线来照射包裹等物品，再依照不同物品对X光的吸收率的区别来生成安检图像。然而目前安检工作大部分还是由人工完成的，容易受到各种不稳定因素影响，不仅效率低而且易漏检或误检违禁品，这表明基于深度学习的X光安检图像检测方法具有实际应用价值。但是由于X光安检图像在成像时会因为物品堆叠、背景杂乱、违禁品多尺度等问题，会对检测产生严重的干扰。因此，如何克服上述干扰成为X光安检的重点与难点。

传统的检测算法通常较易实现，能够对背景单一的安检图像进行有效检测，但是对于背景复杂、存在严重遮挡的安检图像，传统的检测算法常会出现漏检和误检的情况，检测的准确率不高，所以近些年来发展迅速的深度学习对于提高安检准确率十分有研究价值。现有的基于深度学习的X光安检图像检测方法主要使用双阶段检测算法或单阶段检测算法，这些检测方法首先采集行李包裹的X光安检图片，再通过人工标注为采集到的图像添加物品标签信息，将X光安检图片与标签文件打包即得到安检数据集。下一步即将数据集分为训练集与测试集，将训练集输入到网络中训练得到检测模型，再用测试集验证网络检测性能。问题存在于这些基于深度学习的检测算法最初是针对于可见光谱图像的检测而设计的，X光安检图像由于成像原理与可见光谱图像不同，通常会有噪声大、边缘模糊、背景复杂、物品堆叠等问题，对检测算法会产生强干扰，检测网络不能准确学习到物品的特征，造成检测准确度低。

因此，以解决现有X光安检图像检测存在问题为出发点，设计面向违禁品安检的新型深度识别网络。

发明内容

本发明主要是针对现有技术对于多对象堆叠的X光图像检测精度不高的问题，提出了一种基于改进FCOS网络的X光安检检测方法，可实现X光图像的快速准确检测，降低工作成本，提高检测效率和智能安检系统的检测精度。

为了实现上述目的，本发明提供的技术方案为：基于改进FCOS网络的X光安检检测方法，该方法是基于改进FCOS网络实现X光安检中违禁品的精准检测，FCOS网络的改进在于新增了边缘引导模块、前背景分离模块和注意力模块，边缘引导模块通过sobel算子计算出X光图像中的待检测目标的边缘特征，用于提高FCOS网络对于待检测目标的识别敏感度；前背景分离模块通过接收边缘引导模块提取到的边缘特征，对X光图像中前景与背景进行分离，降低X光图像中背景的混叠干扰和提高FCOS网络对于违禁品的识别能力；注意力模块用于记录多轮迭代训练前背景分离模块提取得到的前景特征，并对记录的前景特征进行融合得到注意力激活图，通过注意力激活图加权，提高FCOS网络的检测精度；

所述X光安检检测方法的具体实施，包括：

采集传输带上待检测对象的X光图像；

利用已训练好的改进FCOS网络对X光图像进行以下处理：

将X光图像输入边缘引导模块得到边缘特征图E，将X光图像与边缘特征图E进行融合并提取特征，得到边缘加权图C；

由前背景分离模块对边缘加权图C进行前景与背景分离，得到分离的前景图与背景图，将前景图进行特征提取，得到前景注意力激活图I；将边缘加权图C与前景注意力激活图I进行点乘，得到经过前景加权融合的边缘特征E′；

由注意力模块对经过前景加权融合的边缘特征E′进行记录，并将注意力模块中记录的所有边缘特征进行融合，得到注意力特征M；

将注意力特征M输入到改进FCOS网络的特征提取主干网络，得到主干特征G，再将主干特征G输入到改进FCOS网络的预测模块进行目标的定位及分类，最终输出检测信息并标注在X光图像中。

进一步，采集X光图像包括以下操作：

将待检测对象置于托盘中，托盘由传送带运至检测区时，多视角X光射线仪通过发射X光射线束对待检测对象进行扫描，X光射线束穿过待检测对象后到达接收器，通过计算机程序渲染得到待检测对象的X光图像。

进一步，所述改进FCOS网络包括：

边缘引导模块，该模块划分有用于计算图像中目标边缘的边缘提取模块和用于根据目标边缘计算边缘注意力的边缘注意力引导模块；

前背景分离模块，该模块划分有用于编码和解码分离前背景的U-Net网络、用于优化前景获取的像素选择迭代器和用于根据提取的前景计算前景注意力的前景注意力激活模块；

注意力模块，由卷积层和Sigmoid激活层组成；

特征提取主干网络，由5个计算层和残差结构组成；

预测模块，由4个线性卷积层、relu激活函数和Group Normalization组成，使用Group Normalization能有效增加网络鲁棒性。

进一步，所述边缘提取模块通过sobel算子对输入的X光图像提取边缘特征图，sobel算子提取过程如下：

E_h＝f[x，y]*s_h[x，y]

E_v＝f[x，y]*s_v[x，y]

式中，f[x，y]为X光图像在(x，y)区域的数据，x表示X光图像的横坐标，y表示X光图像的纵坐标，s_h[x，y]为水平方向的卷积核，s_v[x，y]为垂直方向的卷积核，E_h为水平方向上的边缘图像，E_v为垂直方向上的边缘图像，E为边缘特征图；

所述边缘注意力引导模块由多个卷积层、批处理归一化层和非线性激活层组成，将边缘提取模块输出的边缘特征图E作为输入，通过计算最终得到边缘加权图C，其计算过程如下：

C＝ReLU(w_e·E+b_e)+E

式中，w_e表示卷积核，b_e表示偏移距离，ReLU表示非线性激活，该边缘加权图C提高了FCOS网络对于违禁品的识别敏感度。

进一步，所述前背景分离模块中设置U-Net网络，得到边缘加权图后，U-Net网络输入边缘加权图，输出得到经过处理后的包含待检测目标的前景图和不包含待检测目标的背景图；

所述像素选择迭代器用于在训练过程中通过迭代的方式获得前景；在每次训练迭代中，U-Net网络输出前景图和背景图，首先将所有边界框外的像素设置为1，并且预先设置一个选择阈值作为像素选择的判断条件，然后设置选择因子，选择因子介于0到1之间，用于控制上一次迭代的预测前景有多少作为本次迭代的比较区间，即预测前景中占比大于选择因子的部分用于比较，这些大于选择因子的部分作为比较区间；如果本次迭代处于比较区间的预测前景和X光图像对应区域内的绝对值损失函数L1-loss小于选择阈值，则选择本次迭代预测前景的边界框中的相应像素作为目标，否则选择上次迭代预测前景中对应的像素，迭代预测过程用数学公式表示为：

D_oc＝|F_ko-F_kc|

式中，F_ko表示X光图像中比较区间的像素值，F_kc表示当前迭代预测前景中比较区间的像素值，D_oc表示F_ko和F_kc之间的区分度，F_c表示本次迭代预测的前景，B_c表示本次迭代预测的背景，F_l表示上一次迭代预测的前景，B_l表示上一次迭代预测的背景，threshold表示选择阈值，F_t表示本次迭代预测中对应比较区间中作为前景的像素值，B_t表示本次迭代预测中对应比较区间中作为背景的像素值；

所述前背景分离模块训练的损失函数的计算过程表示为：

Loss_fb＝|F-F_final|+|B-B_fianl|+λ(|F_i-F_o|+|B_i-B_o|)

式中，Loss_fb表示前背景分离模块训练的损失函数，F表示目标前景，B表示目标背景，F_final表示最终预测前景，B_fianl表示最终预测背景，F_i表示标记框内预测前景，B_i表示标记框内预测背景，F_o表示标记框外预测前景，B_o表示标记框外预测背景，λ表示平衡系数；

所述前景注意力激活模块包括多个卷积层、批处理归一化层和非线性激活层，首先将最终预测前景F_final输入前景注意力激活模块，输出得到前景注意力激活图，其激活过程表示为：

I＝ReLU(w_e·F_final+b_e)

式中，w_e表示卷积核，b_e表示偏移距离，ReLU表示非线性激活，I表示前景注意力激活图；

然后将边缘加权图C与前景注意力激活图I进行点乘，得到经过前景加权融合的边缘特征E′，计算过程如下：

E′＝C·I。

进一步，所述注意力模块将经过前景加权融合的边缘特征作为输入进行记录并提取注意力特征，从而实现对后续训练前背景分离模块进行引导，提高前背景分离模块预测前景效果，在注意力模块中首先通过卷积层进行注意力特征提取，然后通过Sigmoid激活层获取注意力掩码，将注意力掩码与X光图像进行点乘得到注意力特征M，其过程表示如下：

M＝σ(w_a·E′+b_a)·f

式中，σ表示Sigmoid函数，w_a表示卷积核，E′表示经过前景加权融合的边缘特征，b_a表示偏移距离，f表示X光图像。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明与其它X光目标检测方法相比，在保持检测精度的同时提高了检测速度，所提出的方法通过设置前背景分离模块，将复杂背景中的待检测目标进行分离，后续根据分离得到的前景对X光图像进行加权，使得X光图像中待检测对象得到引导强调，有效增强了网络对于待检测对象的感知能力，降低了漏检率，提高了检测效率。

2、本发明在X光检测中结合边缘引导模块，挖掘出更具有区分度的特征，再将显著特征传递给网络进行融合，减少了多物体堆叠时X光透射成像下的特征干扰，本发明提出的改进FCOS网络具有更高的检测精度。

3、本发明设置注意力模块，每一轮迭代训练的前景加权特征都会被注意力模块记录并且会根据记录输出加权注意力特征，从而提高了特征空间与解空间之间的映射能力，从而网络能够更好地识别待检测目标，本发明提出的方法具有更高的检测精度。

4、本发明方法在计算机视觉任务中具有广泛的使用空间，可实现端到端训练，对于不同场景、不同任务适应能力强，具有广阔的应用前景。

附图说明

图1为本发明方法的总框架图；图中，Conv&Sigmoid表示卷积层和激活层，Decoder表示编码器，N round表示迭代N轮，Matrix Multiplication表示矩阵乘法，Concatenation表示拼接操作，Attention Map表示注意力激活图。

图2为本实施例采用的测试图片。

图3为本实施例的前背景分离模块得到的背景图。

图4为本实施例的前背景分离模块得到的前景图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例公开了一种基于改进FCOS网络的X光安检检测方法，该方法是基于改进FCOS网络实现X光安检中违禁品的精准检测，FCOS网络的改进在于新增了边缘引导模块、前背景分离模块和注意力模块，边缘引导模块通过sobel算子计算出X光图像中的待检测目标的边缘特征，用于提高FCOS网络对于待检测目标的识别敏感度；前背景分离模块通过接收边缘引导模块提取到的边缘特征，对X光图像中前景与背景进行分离，降低X光图像中背景的混叠干扰和提高FCOS网络对于违禁品的识别能力；注意力模块用于记录多轮迭代训练前背景分离模块提取得到的前景特征，并对记录的前景特征进行融合得到注意力激活图，通过注意力激活图加权，提高FCOS网络的检测精度；所述X光安检检测方法的具体实施包括以下步骤：

1)将带有折叠刀的待检测对象置于托盘中，托盘由传送带运至检测区时，多视角X光射线仪通过发射X光射线束对待检测对象进行扫描，X光射线束穿过待检测对象后到达接收器，通过计算机程序渲染得到待检测对象的X光图像，如图2所示。

2)利用已训练好的改进FCOS网络对X光图像进行以下处理：

X光图像输入边缘引导模块，边缘引导模块中使用sobel算子提取边缘特征图，sobel算子提取过程如下：

E_h＝f[x，y]*s_h[x，y]

E_v＝f[x，y]*s_v[x，y]

式中，f[x，y]为图像在(x，y)区域的数据，x表示X光图像的横坐标，y表示X光图像的纵坐标，s_h[x，y]为水平方向的卷积核，s_v[x，y]为垂直方向的卷积核，E_h为水平方向上的边缘图像，E_v为垂直方向上的边缘图像，E为边缘特征图。

所述边缘注意力引导模块由多个卷积层、批处理归一化层和非线性激活层组成，将边缘提取模块输出的边缘特征图E作为输入，通过计算最终得到边缘加权图C，其计算过程如下：

C＝ReLU(w_e·E+b_e)+E

式中，w_e表示卷积核，E表示边缘特征图，b_e表示偏移距离，ReLU表示非线性激活，该边缘加权图C提高了FCOS网络对于违禁品的识别敏感度。

得到边缘加权图后，在前背景分离模块中设置一个用于分离X光图像前景与背景的编码器-解码器网络，输入是边缘加权图，输出是经过处理后的包含待检测目标的前景图和不包含待检测目标的背景图，如图3、图4所示；

编码器-解码器网络具体结构是：主干网络采用U-Net网络结构，同时在编码器和解码器之间增加像素选择迭代器，用于在训练过程中通过迭代的方式获得前景。在每次训练迭代中，首先将所有边界框外的像素设置为1，并且预先设置一个选择阈值作为像素选择的判断条件，然后设置选择因子，选择因子介于0到1之间，用于控制上一次迭代的预测前景有多少作为本次迭代的比较区间，即预测前景中占比大于选择因子的部分用于比较，这些大于选择因子的部分作为比较区间。如果本次迭代处于比较区间的预测前景和X光图像对应区域内的L1-loss(绝对值损失函数)小于选择阈值，则选择本次迭代预测前景的边界框中的相应像素作为目标，否则选择上次迭代预测前景中对应的像素，迭代预测过程用数学公式可表示为：

D_oc＝|F_ko-F_kc|

式中，F_ko表示X光图像中比较区间的像素值，F_kc表示当前迭代预测前景中比较区间的像素值，D_oc表示F_ko和F_kc之间的区分度，F_c表示本次迭代预测的前景，B_c表示本次迭代预测的背景，F_l表示上一次迭代预测的前景，B_l表示上一次迭代预测的背景，threshold表示选择阈值，F_t表示本次迭代预测中对应比较区间中作为前景的像素值，B_t表示本次迭代预测中对应比较区间中作为背景的像素值。

所述前背景分离模块训练的损失函数的计算过程可表示为：

Loss_fb＝|F-F_final|+|B-B_fianl|+λ(|F_i-F_o|+|B_i-B_o|)

式中，Loss_fb表示前背景分离模块训练的损失函数，F表示目标前景，B表示目标背景，F_final表示最终预测前景，B_fianl表示最终预测背景，F_i表示标记框内预测前景，B_i表示标记框内预测背景，F_o表示标记框外预测前景，B_o表示标记框外预测背景，λ表示平衡系数。

所述前景注意力激活模块包括多个卷积层、批处理归一化层和非线性激活层，首先将最终预测前景F_final输入前景注意力激活模块，输出得到前景注意力激活图，其激活过程可表示为：

I＝ReLU(w_e·F_final+b_e)

式中，w_e表示卷积核，F_final表示最终预测前景，b_e表示偏移距离，ReLU表示非线性激活，I表示前景注意力激活图。

然后将边缘加权图C与前景注意力激活图I进行点乘，得到经过前景加权融合的边缘特征E′；其计算过程如下：

E′＝C·I

所述注意力模块由卷积层和Sigmoid激活层组成；将经过前景加权融合的边缘特征输入注意力模块进行记录并提取注意力特征，从而实现对后续训练前背景分离模块进行引导，提高前背景分离模块预测前景效果，在注意力模块中首先通过卷积层进行注意力特征提取，然后通过Sigmoid函数获取注意力掩码，将注意力掩码与X光图像进行点乘得到注意力特征，其过程表示如下：

M＝σ(w_a·E′+b_a)·f

式中，σ表示Sigmoid函数，w_a表示卷积核，E′表示经过前景加权融合的边缘特征，b_a表示偏移距离，f表示X光图像。

将注意力特征M输入到改进FCOS网络的特征提取主干网络，得到主干特征G，再将主干特征G输入到改进FCOS网络的预测模块进行目标的定位及分类，最终输出检测信息并标注在X光图像中。其中，所述特征提取主干网络由5个计算层和残差结构组成，所述预测模块由4个线性卷积层、relu激活函数和Group Normalization组成，使用GroupNormalization能有效增加网络鲁棒性。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.基于改进FCOS网络的X光安检检测方法，其特征在于，该方法是基于改进FCOS网络实现X光安检中违禁品的精准检测，FCOS网络的改进在于新增了边缘引导模块、前背景分离模块和注意力模块，边缘引导模块通过sobel算子计算出X光图像中的待检测目标的边缘特征，用于提高FCOS网络对于待检测目标的识别敏感度；前背景分离模块通过接收边缘引导模块提取到的边缘特征，对X光图像中前景与背景进行分离，降低X光图像中背景的混叠干扰和提高FCOS网络对于违禁品的识别能力；注意力模块用于记录多轮迭代训练前背景分离模块提取得到的前景特征，并对记录的前景特征进行融合得到注意力激活图，通过注意力激活图加权，提高FCOS网络的检测精度；

所述X光安检检测方法的具体实施，包括：

采集传输带上待检测对象的X光图像；

利用已训练好的改进FCOS网络对X光图像进行以下处理：

将X光图像输入边缘引导模块得到边缘特征图E，将X光图像与边缘特征图E进行融合并提取特征，得到边缘加权图C；

由前背景分离模块对边缘加权图C进行前景与背景分离，得到分离的前景图与背景图，将前景图进行特征提取，得到前景注意力激活图I；将边缘加权图C与前景注意力激活图I进行点乘，得到经过前景加权融合的边缘特征E′；

由注意力模块对经过前景加权融合的边缘特征E′进行记录，并将注意力模块中记录的所有边缘特征进行融合，得到注意力特征M；

将注意力特征M输入到改进FCOS网络的特征提取主干网络，得到主干特征G，再将主干特征G输入到改进FCOS网络的预测模块进行目标的定位及分类，最终输出检测信息并标注在X光图像中。

2.根据权利要求1所述的基于改进FCOS网络的X光安检检测方法，其特征在于，采集X光图像包括以下操作：

将待检测对象置于托盘中，托盘由传送带运至检测区时，多视角X光射线仪通过发射X光射线束对待检测对象进行扫描，X光射线束穿过待检测对象后到达接收器，通过计算机程序渲染得到待检测对象的X光图像。

3.根据权利要求1所述的基于改进FCOS网络的X光安检检测方法，其特征在于，所述改进FCOS网络包括：

边缘引导模块，该模块划分有用于计算图像中目标边缘的边缘提取模块和用于根据目标边缘计算边缘注意力的边缘注意力引导模块；

前背景分离模块，该模块划分有用于编码和解码分离前背景的U-Net网络、用于优化前景获取的像素选择迭代器和用于根据提取的前景计算前景注意力的前景注意力激活模块；

注意力模块，由卷积层和Sigmoid激活层组成；

特征提取主干网络，由5个计算层和残差结构组成；

预测模块，由4个线性卷积层、relu激活函数和Group Normalization组成，使用GroupNormalization能有效增加网络鲁棒性。

4.根据权利要求3所述的基于改进FCOS网络的X光安检检测方法，其特征在于，所述边缘提取模块通过sobel算子对输入的X光图像提取边缘特征图，sobel算子提取过程如下：

E_h＝f[x,y]*s_h[x,y]

E_v＝f[x,y]*s_v[x,y]

式中，f[x,y]为X光图像在(x,y)区域的数据，x表示X光图像的横坐标，y表示X光图像的纵坐标，s_h[x,y]为水平方向的卷积核，s_v[x,y]为垂直方向的卷积核，E_h为水平方向上的边缘图像，E_v为垂直方向上的边缘图像，E为边缘特征图；

所述边缘注意力引导模块由多个卷积层、批处理归一化层和非线性激活层组成，将边缘提取模块输出的边缘特征图E作为输入，通过计算最终得到边缘加权图C，其计算过程如下：

C＝ReLU(w_e·E+b_e)+E

式中，w_e表示卷积核，b_e表示偏移距离，ReLU表示非线性激活，该边缘加权图C提高了FCOS网络对于违禁品的识别敏感度。

5.根据权利要求3所述的基于改进FCOS网络的X光安检检测方法，其特征在于，所述前背景分离模块中设置U-Net网络，得到边缘加权图后，U-Net网络输入边缘加权图，输出得到经过处理后的包含待检测目标的前景图和不包含待检测目标的背景图；

所述像素选择迭代器用于在训练过程中通过迭代的方式获得前景；在每次训练迭代中，U-Net网络输出前景图和背景图，首先将所有边界框外的像素设置为1，并且预先设置一个选择阈值作为像素选择的判断条件，然后设置选择因子，选择因子介于0到1之间，用于控制上一次迭代的预测前景有多少作为本次迭代的比较区间，即预测前景中占比大于选择因子的部分用于比较，这些大于选择因子的部分作为比较区间；如果本次迭代处于比较区间的预测前景和X光图像对应区域内的绝对值损失函数L1-loss小于选择阈值，则选择本次迭代预测前景的边界框中的相应像素作为目标，否则选择上次迭代预测前景中对应的像素，迭代预测过程用数学公式表示为：

D_oc＝|F_ko-F_kc|

式中，F_ko表示X光图像中比较区间的像素值，F_kc表示当前迭代预测前景中比较区间的像素值，D_oc表示F_ko和F_kc之间的区分度，F_c表示本次迭代预测的前景，Bc表示本次迭代预测的背景，F_l表示上一次迭代预测的前景，B_l表示上一次迭代预测的背景，threshold表示选择阈值，F_t表示本次迭代预测中对应比较区间中作为前景的像素值，B_t表示本次迭代预测中对应比较区间中作为背景的像素值；

所述前背景分离模块训练的损失函数的计算过程表示为：

Loss_fb＝|F-F_final|+|B-B_fianl|+λ(|F_i-F_o|+|B_i-B_o|)式中，Loss_fb表示前背景分离模块训练的损失函数，F表示目标前景，B表示目标背景，F_final表示最终预测前景，B_fianl表示最终预测背景，F_i表示标记框内预测前景，B_i表示标记框内预测背景，F_o表示标记框外预测前景，B_o表示标记框外预测背景，λ表示平衡系数；

所述前景注意力激活模块包括多个卷积层、批处理归一化层和非线性激活层，首先将最终预测前景F_final输入前景注意力激活模块，输出得到前景注意力激活图，其激活过程表示为：

I＝ReLU(w_e·F_final+b_e)

式中，w_e表示卷积核，b_e表示偏移距离，ReLU表示非线性激活，I表示前景注意力激活图；

然后将边缘加权图C与前景注意力激活图I进行点乘，得到经过前景加权融合的边缘特征E′，计算过程如下：

E′＝C·I。

6.根据权利要求3所述的基于改进FCOS网络的X光安检检测方法，其特征在于，所述注意力模块将经过前景加权融合的边缘特征作为输入进行记录并提取注意力特征，从而实现对后续训练前背景分离模块进行引导，提高前背景分离模块预测前景效果，在注意力模块中首先通过卷积层进行注意力特征提取，然后通过Sigmoid激活层获取注意力掩码，将注意力掩码与X光图像进行点乘得到注意力特征M，其过程表示如下：

M＝σ(w_a·E′+b_a)·f

式中，σ表示Sigmoid函数，w_a表示卷积核，E′表示经过前景加权融合的边缘特征，b_a表示偏移距离，f表示X光图像。