CN115909226B

CN115909226B - 一种基于多帧差分的卫星视频运动车辆检测方法

Info

Publication number: CN115909226B
Application number: CN202211305135.XA
Authority: CN
Inventors: 齐华; 郑亚辉; 徐聪
Original assignee: Southwest Jiaotong University
Current assignee: Southwest Jiaotong University
Priority date: 2022-10-24
Filing date: 2022-10-24
Publication date: 2025-07-25
Anticipated expiration: 2042-10-24
Also published as: CN115909226A

Abstract

本发明公开了一种基于多帧差分的卫星视频运动车辆检测方法，包括如下步骤：建立运动车辆检测数据集并划分为训练集和测试集；构建改进的YOLOv5网络模型；在改进后的YOLOv5网络模型中引入帧差模块；对帧差模块的数据读取方式进行修改，形成顾及时空信息的YOLOv5网络模型；将训练集输入到顾及时空信息的YOLOv5网络模型中进行训练，训练结束后得到最优模型；将测试集输入到最优模型中，输出车辆目标检测结果。本发明结合了卫星视频的时间特征信息，通过连续帧三元组的形式进行检测，通过帧差模块，提升模型对卫星视频运动车辆的检测能力，与Mosaic等数据增强方法的结合更充分地利用时空信息，在单帧目标外观特征不足的情况下，利用帧间信息来提高模型的检测精度。

Description

一种基于多帧差分的卫星视频运动车辆检测方法

技术领域

本发明涉及运动车辆检测技术领域，具体涉及一种基于多帧差分的卫星视频运动车辆检测方法。

背景技术

近年来，深度学习技术的出现为图像目标检测领域提供新的思路和研究方法。由于具备强大的图像学习能力和特征抽象能力，在诸多图像处理领域均受到关注。视频卫星是一种新型的对地观测卫星，可以采用“凝视”的方式对某一区域进行持续观测，并通过视频的方式来记录观察信息，有利于运动目标的监测。所谓“凝视”是指随着卫星的运动，光学成像系统始终盯住某一目标区域，可以连续观察视场内的变化。相比于传统的监控视频，利用卫星视频对车辆进行检测能够在大尺度上提供更全面的分析结果。相比于高分辨率卫星图像数据，卫星视频具有更高的时间分辨率，可以更持续地对车辆进行检测。但是由于卫星视频高视角的特点，在利用卫星视频进行车辆检测时，存在以下问题：(1)因为卫星视频成像空间分辨率的限制使得车辆在视频中仅为几个到十几个像素大小，车辆的细节信息较少；(2)在成像过程中，传感器的移动引起建筑物、树木等目标发生位移变化，使检测过程中出现很多伪运动目标，让背景变得更加复杂；(3)卫星视频序列中的部分车辆与背景具有相似的对比度。

当前的卫星视频运动车辆检测算法主要分为两类：①传统目标检测方法，光流法通常需要大量的计算且易受光照变化的影响，这限制了其在卫星视频中的应用；大多数背景差分法和帧差法容易受到背景移动和对比度变化的影响，而这些因素在卫星视频中是普遍存在的。传统目标检测方法往往需要按照经验针对不同场景人工修改参数，检测性能依赖于手工设计的特征，使用统一参数在不同的复杂场景下难以达到较高的检测精度。②基于深度学习的目标检测方法，该方法一定程度上克服了传统方法受光照和背景移动的问题。但同时也存在一些不足之处，卫星视频中的运动车辆目标较小且模糊，与背景对比度低，仅仅利用单帧图像进行检测精度不佳。在数据增强方式的选择上，仅对当前影像进行简单的旋转、缩放、裁剪等数据增强方式，不能有效的增加数据的复杂度，难以应对复杂场景中的运动车辆检测。

为了克服卫星视频运动车辆目标检测中，受光照和背景移动的问题，现有算法中，光流法通过对视频或图像序列中的像素点逐个计算运动场并分析运动场的时域变化和相关性来确定各像素点位置的运动变化，进而从背景中检测出运动目标。Li等人首先用Canny边缘检测算子对图像进行处理，然后基于双向光流法计算每对边缘的位移并建立所有匹配边缘的位移直方图，最后基于边缘约束对运动目标的边缘点进行匹配，确定运动目标区域。光流法可以检测出运动目标较为完整的信息，并且对于视频抖动有较好的抗干扰能力，但缺点是计算量较大，难以满足实时性的需求，同时对于光照较为敏感，不适用于光照变化较大的场景。

背景差分法通过多帧图像对背景进行建模，然后将当前帧图像与背景图像进行差分运算，从而得到运动目标。背景减法的流程通常分为三步：1)背景初始化。背景初始化又被称为背景估计、背景生成、背景恢复，用于初始化背景模型，形成没有前景目标的视频帧；2)背景更新。在运动目标检测的过程中，由于光照、运动模糊以及伪运动目标等不确定因素，背景图像往往会发生变化。为了抑制不确定因素对目标检测的影响，实现对运动目标的精确检测，需要在运动目标检测过程中对背景进行不断地更新；3)前景检测。通过比较当前视频帧和背景模型来计算前景。计算结果是一个二值掩模，白色像素代表前景，黑色代表背景。在某些背景差分算法中，前景检测之后是后处理步骤，以细化检测到的移动目标。Ahmadi等人使用背景差分法和每帧Otsu阈值(大津阈值分割法)检测运动目标。背景差分法是传统运动目标检测算法中应用最为广泛的方法，优点是计算简单，容易实现，相较于其它传统运动目标检测算法来说精度较高，且大部分背景差分算法可以达到实时处理，但缺点是对场景中的遮挡、光照变化和背景抖动等情况较为敏感，尤其在背景抖动情况下，背景差分法会产生大量的伪运动目标。

Chen等人利用基于K-最近邻模型(K-Nearest Neighbor，KNN)的背景差分法获得高召回率的检测结果，然后利用一个简单的卷积神经网络抑制虚假目标。虽然模型简单，但很大程度上依赖于背景差分法的结果，没有利用到神经网络强大的特征提取和表达能力。同时，由于该策略是将两种方法进行级联，因此检测速度较慢，因此，亟需能克服现有方法难以有效利用数据增强策略提高数据复杂度以及解决单帧影响检测精度不佳问题的运动车辆检测方法。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于多帧差分的卫星视频运动车辆检测方法，通过引入帧差模块(Frame Difference Module，FDM)，利用相邻帧之间的帧间差分信息，丰富当前帧车辆的特征信息；改进Mosaic数据增强方式，提高模型应对复杂场景的能力；并与帧差模块有效结合，使用连续帧三元组作为模型输入，引入了Focal Loss损失函数，使得模型更加聚焦于难分类样本，从而实现卫星视频运动车辆的高精度检测，解决了上述背景技术中提到的问题。

为实现上述目的，本发明提供如下技术方案：一种基于多帧差分的卫星视频运动车辆检测方法，包括如下步骤：

S1、对采集的卫星视频运动车辆数据进行处理，建立运动车辆检测数据集，并将数据集划分为训练集和测试集；

S2、构建改进的YOLOv5网络模型；

S3、在改进后的YOLOv5网络模型中引入帧差模块，将其放入特征提取部分的第一层，通过利用卷积对相邻帧进行帧间差分以获得差分时间信息，并与当前帧的空间信息进行融合以增强当前帧车辆目标的特征；

S4、对帧差模块的数据读取方式进行修改，形成顾及时空信息的YOLOv5网络模型；

S5、将训练集数据输入到顾及时空信息的YOLOv5网络模型中进行训练，训练结束后得到最优模型；

S6、将测试集数据输入到最优模型中进行模型测试，输出车辆目标检测结果。

优选的，在步骤S1中，对采集的卫星视频运动车辆数据进行处理具体包括数据预处理、数据标定和数据格式转换。

优选的，在步骤S2中，改进的YOLOv5网络模型具体是指将原始YOLOv5模型的交叉熵损失函数替换为Focal Loss损失函数。

优选的，在步骤S3中，引入帧差模块的构建方法具体包括：

设V＝{P₁，P₂，...P_t，...，P_n}为卫星视频，P_t为卫星视频的第t帧；

将连续帧V_t＝{P_t-1，P_t，P_t+1}输入改进后的YOLOv5网络，通过一个两层的卷积来对连续帧的空间信息进行提取，通过空间特征计算公式：

F_t＝C₁·P_t，

得到连续帧所对应的空间特征{F_t-1，F_t，F_t+1}；

对得到的空间特征进行两两差分，差分特征的计算公式：

F_(t-1，t+1)＝C₂·|F_t-1-F_t+1|

再经过一个3×3卷积得到差分特征{F_(t-1，t)，F_(t-1，t+1)，F_(t，t+1)}；

将差分特征进行融合，并通过一个3×3卷积形成时间特征，时间特征的计算：

F_{(t-1，t，t+1)}＝C₃·Concat(F_(t-1，t)，F_(t-1，t+1)，F_(t，t+1))；

将时间特征与当前帧的空间特征融合，并由一个3×3卷积形成最终结合时间和空间信息的融合特征，融合特征的计算：

FS_t＝C₄·Concat(F_t，F_{(t-1，t，t+1)})

式中，Concat()为连接操作，C₁是一个步长为2的6×6卷积以及一个步长为1的3×3卷积，C₂、C₃、C₄是一个步长为1的3×3卷积，卷积结构和YOLOv5模型的基本卷积结构一致，包括一个2D卷积、批归一化以及SiLU激活函数。

优选的，所述步骤S4具体包括：将单帧输入改为连续帧三元组输入，再结合常规数据增强和Mosaic数据增强的方式对数据进行增强。

优选的，所述常规数据增强包括数据旋转、数据缩放。

优选的，所述最优模型是当第N个epoch的F1精度指标为历史值最大时，定为最优模型，并迭代至模型训练结束；若当前epoch与历史最优模型的epoch之差大于固定阈值时，提前结束模型训练，输出最终的最优模型；所述固定阈值设置为100。

本发明的有益效果是：

1)本发明方法提出的基于多帧差分的卫星视频运动车辆检测方法，使用深度学习方法，结合了卫星视频的时间特征信息，通过连续帧三元组的形式进行检测，达到了较高的精度，且实时性较高，实现了卫星视频运动车辆检测的端到端处理。

2)本发明提出的帧差模块，在略微增加检测时间以及占用显存的情况下，可以明显地提升模型对卫星视频运动车辆的检测能力，与Mosaic等数据增强方法的结合使得模型可以更充分地利用时空信息，模型的检测精度有了进一步的提升，在单帧目标外观特征不足的情况下，利用帧间信息来提高模型的检测精度。

3)本发明提出的数据增强优化，可以较好的提升模型的召回率并且不会明显降低模型的精确率。

附图说明

图1为改进后的YOLOv5模型结构示意图；

图2为帧差模块(FDM)结构示意图；

图3为结合常规数据增强方法原理示意图；

图4为结合Mosaic数据增强方法原理示意图；

图5为最优模型训练和选择示意图；

图6为本发明技术思路步骤流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图6，本发明提供一种技术方案：一种基于多帧差分的卫星视频运动车辆检测方法，包括如下步骤：

S2、构建改进的YOLOv5网络模型，

针对单帧影响检测精度不佳的问题，本发明提出了基于连续帧三元组的YOLOv5卫星视频运动车辆检测方法，通过引入帧差模块(Frame Difference Module，FDM)，利用相邻帧之间的帧间差分信息，丰富当前帧车辆的特征信息，从而增强运动目标的提取能力，减少静止车辆目标的干扰。

针对难以有效利用数据增强策略提高数据复杂度的问题，本发明设计改进的Mosaic数据增强方式，提高模型应对复杂场景的能力；并为了与帧差模块有效结合，使用连续帧三元组作为模型输入；引入了Focal Loss损失函数，使得模型更加聚焦于难分类样本。从而实现卫星视频运动车辆的高精度检测。

本发明目标的技术方案主要包括数据增强方式、帧差模块和YOLOv5网络模型，改进后的YOLOv5网络模型如图1所示。使用YOLOv5网络模型作为基础，引入帧差模块(FrameDifference Module，FDM)，通过利用相邻帧之间的帧间差分信息，丰富当前帧车辆的特征信息；顾及到由于帧差时需要保持相邻帧之间的一致性，直接引入帧差模块会使模型无法使用数据增强方法，通过将单帧输入改为连续帧三元组输入的形式以改变YOLOv5模型的数据读取方式，让帧差模块与旋转、缩放等常规数据增强方法以及Mosaic数据增强方法相结合，有效利用卫星视频运动车辆的时空信息，提高模型对卫星视频运动车辆的检测能力。

(1)损失函数优化：

对于输入图像，卫星视频运动车辆大小仅为几个到十几个像素，单幅图像的前景信息较少，背景信息较多。随着训练的进行，往往会不断累积背景信息，从而淹没部分目标，影响模型的检测准确率。此外，相比于普通遥感图像动辄上万张的图片，卫星视频运动目标检测数据集数据量较少，在模型训练过程中，往往容易产生过拟合现象。

针对上述问题，本发明对YOLOv5模型进行了优化，包括将YOLOv5模型的交叉熵损失函数替换为Focal Loss损失函数以及添加更丰富的数据增强方法，进而提高模型对运动车辆的检测能力。Focal Loss是一种处理难分类样本(Hard Example)和易分类样本(EasyExample)不平衡问题的损失函数。针对的目标是卫星视频运动车辆，由于分辨率的限制以及车辆运动，部分车辆会存在模糊现象，相较于其它运动车辆来说属于难分类样本，因此需要引入Focal Loss损失函数。数据增强是一种可以有效提升小目标检测性能的方法。通过扩充训练数据集的规模，丰富数据集的多样性，数据增强可以很好地提高检测模型的鲁棒性和泛化能力。

(2)帧差模块构建：

卫星视频中的运动车辆仅为几个像素大小的“马赛克”，空间信息并不丰富。但卫星视频数据相较于其它遥感数据来说有一个独特的优势，即具有很高的时间分辨率，在单帧空间信息不足的情况下，如果可以利用时间信息来丰富运动车辆的特征。

本发明在YOLOv5模型的基础上，引入帧差模块，如图2所示。将其放入特征提取部分的第一层，通过利用卷积对相邻帧进行帧间差分以获得差分时间信息，并与当前帧的空间信息进行融合以增强当前帧车辆目标的特征，提高检测效果。这里选择直接输入原始图像然后通过帧差模块进行帧差，而不是选择先进行帧差然后将帧差后的结果直接输入模型，原因在于：帧差模块也参与反向传播，具有学习能力，随着模型的训练，帧差模块中卷积的权重也会不断的适应于卫星视频运动车辆检测，同时相比于直接将图像相减的方式，利用卷积进行帧差更合理有效。

设V＝{P₁，P₂，...P_t，...，P_n}为卫星视频，P_t为卫星视频的第t帧。帧差模块的构建方法如下：

F_t＝C₁·P_t，

得到连续帧所对应的空间特征{F_t-1，F_t，F_t+1}；

对得到的空间特征进行两两差分，差分特征的计算公式：

F_(t-1，t+1)＝C₂·|F_t-1-F_t+1|

FS_t＝C₄·Concat(F_t，F_{(t-1，t，t+1)})

式中，Concat()为连接操作，C₁是一个步长为2的6×6卷积以及一个步长为1的3×3卷积，C2、C3、C4是一个步长为1的3×3卷积，卷积结构和YOLOv5模型的基本卷积结构一致，包括一个2D卷积、批归一化以及SiLU激活函数。

(3)数据增强优化：

加入帧差模块后，虽然可以有效地利用到帧间差分信息，但仍存在一个问题：普通的深度学习模型是逐帧输入图像，数据增强如旋转、缩放等操作也是针对单张图像，彼此之间并不关联。而在加入帧差模块后，如果仍是采用原有的数据增强方式，由于连续帧图像的数据增强方式不一致，在帧间差分时连续帧的差分信息无法作为有用的信息。

针对该问题，本发明进一步对帧差模块的数据读取方式进行修改，让其可以与常规的数据增强方法相结合。具体来说，在将帧差模块加入模型后，本发明将连续三帧作为一个三元组，改变了原始模型的数据读取方法，即在面对数据增强时，同一组内做相同的数据增强，而不同组间的数据增强则仍保持随机。这样就克服了在加入帧差模块后无法使用数据增强方法的问题。具体原理如图3所示。

在常规三元组数据增强基础上进一步结合Mosaic数据增强方法，具体来说，以左上角为当前帧的序列，其余三个部分分别采用数据集中随机的连续三帧，这样既保证了帧差信息的一致性，又保证了数据增强方式的多样性，增强了数据的随机性，丰富了数据集，具体原理如图4所示。

本发明的总体技术路线如图6所示。首先，研究了卫星视频运动车辆检测的数据处理方法，其中包括数据预处理、数据标定、数据格式转换等；然后，研究了YOLOv5模型的训练方法，并在YOLOv5模型的基础上针对运动车辆进行模型优化以及顾及时空信息的改进，以提高卫星视频运动车辆检测的精度；将训练集数据输入到顾及时空信息的YOLOv5网络模型中进行训练，如图5所示，训练结束后得到最优模型。接着，使用获得的最优模型对卫星视频运动车辆检测数据集进行车辆目标检测并得到检测结果；最后，从定量和定性两个角度对卫星视频运动车辆检测结果进行评价，以验证本发明的有效性。在SkySat和吉林一号数据集上整体精度(F1分数)分别提升2.9％和9.3％，增强了数据的复杂度，提高了模型的检测能力。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于多帧差分的卫星视频运动车辆检测方法，其特征在于，包括如下步骤：

S2、构建改进的YOLOv5网络模型；改进的YOLOv5网络模型具体是指将原始YOLOv5模型的交叉熵损失函数替换为Focal Loss损失函数；

S3、在改进后的YOLOv5网络模型中引入帧差模块，将其放入特征提取部分的第一层，通过利用卷积对相邻帧进行帧间差分以获得差分时间信息，并与当前帧的空间信息进行融合以增强当前帧车辆目标的特征；引入帧差模块的构建方法具体包括：

F_t＝C₁·P_t，

得到连续帧所对应的空间特征{F_t-1，F_t，F_t+1}；

对得到的空间特征进行两两差分，差分特征的计算公式：

F_(t-1,t+1)＝C_·|F_t-1-F_t+1|

F_(t-1,t,t+1)＝C₃·Concat(F_(t-1,t),F_(t-1,t+1),F_(t,t+1))；

FS_t＝C₄·Concat(F_t,F_{(t-1，t，t+1)})

式中，Concat()为连接操作，C₁是一个步长为2的6×6卷积以及一个步长为1的3×3卷积，C₂、C₃、C₄是一个步长为1的3×3卷积，卷积结构和YOLOv5模型的基本卷积结构一致，包括一个2D卷积、批归一化以及SiLU激活函数；

S4、对帧差模块的数据读取方式进行修改，形成顾及时空信息的YOLOv5网络模型；将单帧输入改为连续帧三元组输入，再结合常规数据增强和Mosaic数据增强的方式对数据进行增强；

2.根据权利要求1所述的基于多帧差分的卫星视频运动车辆检测方法，其特征在于：在步骤S1中，对采集的卫星视频运动车辆数据进行处理具体包括数据预处理、数据标定和数据格式转换。

3.根据权利要求1所述的基于多帧差分的卫星视频运动车辆检测方法，其特征在于：所述常规数据增强包括数据旋转、数据缩放。

4.根据权利要求1所述的基于多帧差分的卫星视频运动车辆检测方法，其特征在于：所述最优模型是当第N个epoch的F1精度指标为历史值最大时，定为最优模型，并迭代至模型训练结束；若当前epoch与历史最优模型的epoch之差大于固定阈值时，提前结束模型训练，输出最终的最优模型，所述固定阈值设置为100。