CN115937636A

CN115937636A - 基于深度学习用于无人驾驶的交通目标检测方法

Info

Publication number: CN115937636A
Application number: CN202211703954.XA
Authority: CN
Inventors: 朱勇建; 李长旭; 王栋; 张裕; 王嘉钰; 刘云翔
Original assignee: Shanghai Institute of Technology
Current assignee: Shanghai Institute of Technology
Priority date: 2022-12-29
Filing date: 2022-12-29
Publication date: 2023-04-07

Abstract

本发明提供一种基于深度学习用于无人驾驶的交通目标检测方法，在现有的成熟模型YOLOv5基础上,通过在SPP模块前加入一种改进的卷积与自注意力机制融合的ACmix模块、增加多尺度目标检测层，接下来下载并处理BDD100K数据集，构建用于模型训练的训练集、验证集和测试集，最后将BDD100K数据集送入构建好的基于YOLOv5改进的交通目标检测模型进行模型的训练、测试、评估；在模型构建阶段，引入的ACmix模块更有利于提取目标特征。在训练阶段，将送入的数据集中不包含交通目标的图像进行删除，以免干扰模型的训练，加速网络收敛。在评估阶段，通过调整模型的宽度和深度，优化模型的精确度和速度，以满足实际应用的需求。

Description

基于深度学习用于无人驾驶的交通目标检测方法

技术领域

本发明涉及基于深度学习用于无人驾驶的交通目标检测方法。

背景技术

随着自动驾驶技术的不断发展，目标检测方法越来越受到关注。由于实际行驶道路的复杂性和多样性，迅速、准确且高精度的目标检测方法的提出对于自动驾驶等方面有着重要的作用。在道路环境中，摄像头拍摄的图像中待识别的目标图像背景复杂，交通目标大小不一，还存在动态物体和遮挡问题等。基于深度学习的目标检测技术是计算机视觉领域中最重要的研究方向之一。随着人工智能技术发展以及计算机硬件不断升级迭代，目标检测在从传统的特征提取方法，逐渐发展到使用深度学习技术进行检测。深度学习目标检测领域包括以YOLO为代表的单阶段目标检测速度快、精度高、模型精简便于改进，但实时性差，对于低分辨率弱小目标检测精度低，还容易出现漏检误检现象。

发明内容

为了克服现有技术中的不足，本发明提供一种基于深度学习用于无人驾驶的交通目标检测方法。

为了达到上述发明目的，解决其技术问题所采用的技术方案如下：

一种基于深度学习用于无人驾驶的交通目标检测方法，包括以下步骤：

S1：下载并处理BDD100K数据集，包括训练数据集和测试数据集；

S2：对模型增加多尺度目标检测层；

S3：在YOLOv5网络模型中引入ACmix模块，能增强模型的特征表达和学习能力，减少模型运算开销。

进一步的，所述S1包括以下内容：将下载好的BDD100K数据集由json格式转换成YOLOv5采用的txt格式，BDD100K数据集采用真实拍摄图像构建交通目标检测训练数据集和测试数据集，训练数据集由10万幅图像组成，包含bus、car、truck、person、bike、motor六类样本，并按照train：val：test＝7：2：1的比例划分为训练集70000幅、验证集20000幅、测试集10000幅用于模型训练、验证及测试。

进一步的，所述S1中：bus为中型客车、大型客车；car为包含轿车、面包车、SUV各种形态的小汽车；truck为包含皮卡在内的小、中、大型货车；person为人类；bike为自行车。motor为摩托车。

进一步的，所述S2包括以下内容：

S2-1:在YOLOv5目标检测模型的PAN特征融合网络的上采样模块中，增加一个上采样层，所述的上采样层是在8倍、16倍和32倍上采样层的基础上，增加的4倍上采样层；

S2-2:在YOLOv5目标检测模型的PAN特征融合网络中，增加一个Concat融合层，将S2-1中所述的增加的4倍上采样层与骨干网络特征提取过程中得到的相同尺寸的特征图通过增加的Concat融合层进行特征融合，产生4倍上采样的特征图；

S2-3:增加小目标检测层，将S2-2中所述的4倍上采样的特征图用于小目标的检测，基于深度学习用于无人驾驶的交通目标检测模型增加为4种尺度的预测层，用于Head部分的多尺度检测；

S2-4:根据S2-3增加的小目标检测层，增加一组小目标尺寸的锚点框，采用K-means自适应算法获取符合小目标尺度特点的锚点框。

进一步的，所述S3中：

在YOLOV5网络模型中引入ACmix模块,具体在YOLOv5的backbone网络末尾，即backbone网络中最后一个CBL模块和SPP模块之间，插入ACmix模块，提升模型特征表达能力，减少模型运算开销。

本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：通过多尺度融合特征，利用卷积与自注意力结合的优势，提高了准确度，降低了计算量，兼顾了准确度与检测效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。附图中：

图1是本发明基于深度学习用于无人驾驶的交通目标检测方法的流程图；

图2是本发明的检测网络模型结构示意图；

图3是本发明ACmix结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明公开了一种基于深度学习用于无人驾驶的交通目标检测方法，包括以下步骤：

S1：下载并处理BDD100K数据集，包括训练数据集和测试数据集。

进一步的，S1包括以下内容：

将下载好的BDD100K数据集由json格式转换成YOLOv5采用的txt格式，BDD100K数据集采用真实拍摄图像构建交通目标检测训练数据集和测试数据集，训练数据集由10万幅图像组成，包含bus、car、truck、person、bike、motor六类样本，并按照train：val：test＝7：2：1的比例划分为训练集70000幅、验证集20000幅、测试集10000幅用于模型训练、验证及测试。

S2：对模型增加多尺度目标检测层。

进一步的，S2包括以下内容：

S2-1：在如图2所示的，YOLOv5目标检测模型的PAN特征融合网络的上采样模块中，增加一个上采样层，所述的上采样层是在8倍、16倍和32倍上采样层的基础上，增加的4倍上采样层；

S2-2：在YOLOv5目标检测模型的PAN特征融合网络中，增加一个Concat融合层，将S2-1中所述的增加的4倍上采样层与骨干网络特征提取过程中得到的相同尺寸的特征图通过增加的Concat融合层进行特征融合，并采用4级空间金字塔池化(Spatial PyramidPooling)增大感受野，将4级不同尺寸的特征图利用SPP实现多尺度特征融合，实现Neck部分的多尺度特征融合，具体的Neck结构如图2所示；

S2-3：增加小目标检测层，将步骤S2-2中所述的4倍上采样的特征图用于小目标的检测，基于改进YOLOv5的红外图像行人目标检测深度学习模型增加为4种尺度的预测层，分别为4倍、8倍、16倍、32倍上采样特征层，对于512×512的输入红外图像，增加检测层后得到的四个特征尺度分别为：128×128尺度特征层，64×64尺度特征层，32×32尺度特征层和16×16尺度特征层，用于实现Head部分的多尺度检测，具体的Head结构如图2所示；

S2-4：根据S2-3增加的小目标检测层，增加一组小目标尺寸的锚点框(anchors)尺寸，采用K-means自适应算法获取符合红外图像行人小目标尺度特点的锚点框；根据S2-3所述的增加的128×128尺度特征层，划分的小尺度网格的需要增加对应小尺度的anchors，因此，anchors增加为对应4个检测尺度的12组；

S3：在YOLOv5网络模型中引入ACmix模块，能增强模型的特征表达和学习能力，减少模型运算开销

进一步的，S3包括以下内容：

在backbone网络中最后一个CBL模块和SPP模块之间，插入ACmix模块。

具体来说，ACmix包括两个阶段。

Stage I阶段：输入特征被3个1×1卷积投影，并分别被重塑为N块。这样，得到了一个包含3×N个特征图的丰富的中间特征集。

Stage II阶段：对于自注意力路径，将中间特征聚集成N组，每组包含3个特征图，每个特征来自1×1卷积。对应的3个特征图分别作为查询、键和值，遵循传统的多头自注意力模型。

对于内核大小为k的卷积路径，采用一个轻量级的全连接层(3N×(k^2)N)并生成k^2个特征图，共有N组。因此，通过对生成的特征进行平移和聚合，我们以卷积的方式处理输入特征，并像传统的方法一样从局部感受野中收集信息。最后，两条路径的输出相加。

第一阶段的卷积和自注意力在通过1×1卷积投影输入特征图时实际上共享相同的操作。在阶段II，ACmix通过轻量级全连接层和分组卷积引入了额外的计算开销，其计算复杂度与通道大小C成线性关系，与阶段I相比计算开销较小。

与现有技术相比，本发明改进了YOLOv5中的backbone网络和Neck网络,增加多尺度目标检测层，引入ACmix模块，能够减少模型计算开销，提升速度并使特征提取网络更加关注浅层特征的提取，能更加彻底地提取浅层细节特征和深层高级语义特征，使得模型的鲁棒性更好。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种基于深度学习用于无人驾驶的交通目标检测方法，其特征在于，包括：

S1：下载并处理BDD100K数据集，包括：训练数据集和测试数据集；

S2：对YOLOv5目标检测模型增加多尺度目标检测层；

S3：在YOLOv5目标检测模型中引入ACmix模块，以增强模型的特征表达和学习能力，减少模型运算开销。

2.根据权利要求1所述的基于深度学习用于无人驾驶的交通目标检测方法，其特征在于，所述S1，包括：

将下载好的BDD100K数据集由json格式转换成YOLOV5采用的txt格式，BDD100K数据集采用真实拍摄图像构建交通目标检测训练数据集和测试数据集，训练数据集由10万幅图像组成，包含：bus、car、truck、person、bike和motor六类样本，并按照train：val：test＝7：2：1的比例划分为训练集70000幅、验证集20000幅和测试集10000幅用于模型训练、验证及测试。

3.根据权利要求2所述的基于深度学习用于无人驾驶的交通目标检测方法，其特征在于，所述S1中，

bus为中型客车、大型客车；

car为包含轿车、面包车、SUV各种形态的小汽车；

truck为包含皮卡在内的小、中、大型货车；

person为人类；

bike为自行车；

motor为摩托车。

4.根据权利要求1所述的基于深度学习用于无人驾驶的交通目标检测方法，其特征在于，所述S2，包括：

S2-2:在YOLOv5目标检测模型的PAN特征融合网络中，增加一个Concat融合层，将增加的4倍上采样层与骨干网络特征提取过程中得到的相同尺寸的特征图通过增加的Concat融合层进行特征融合，产生4倍上采样的特征图；

S2-3:增加小目标检测层，将4倍上采样的特征图用于小目标的检测，基于深度学习用于无人驾驶的交通目标检测模型增加为4种尺度的预测层，用于Head部分的多尺度检测；

S2-4:根据增加的小目标检测层，增加一组小目标尺寸的锚点框，采用K-means自适应算法获取符合小目标尺度特点的锚点框。

5.根据权利要求1所述的基于深度学习用于无人驾驶的交通目标检测方法，其特征在于，S3中：

在YOLOv5目标检测模型中引入ACmix模块,包括：在YOLOv5的backbone网络末尾，即backbone网络中最后一个CBL模块和SPP模块之间，插入ACmix模块，以提升模型特征表达能力，减少模型运算开销。