CN109977812A - 一种基于深度学习的车载视频目标检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车载视频目标检测方法，利用改进的Faster R‑CNN算法实现复杂交通环境中的目标检测，提供行车安全辅助功能。现有的目标跟踪算法存在严重的小目标漏检问题，本发明通过增加一个深度信息通道，将其与原有的彩色图像通道并联，并在通道维度上进行融合，在融合后的特征图像上进行候选框提取和目标检测，提高小目标的检测率，另外在训练中添加对难样本的训练，提高算法整体的目标识别率。本发明能够充分考虑Faster R‑CNN算法存在的小目标漏检问题，通过深度图像特征融合和难样本挖掘方法，提高复杂交通场景中车辆识别的准确率。

Description

一种基于深度学习的车载视频目标检测方法

技术领域

本发明涉及一种基于深度学习的车载视频目标检测方法，属于视频图像处理技术领域。

背景技术

在行车过程中，对车辆前方的车辆、行人及其他障碍物进行目标检测与跟踪，并在此基础上进行前车的行为分析，是行车安全辅助系统的基础。传统目标检测方法的主要步骤一般为：提取目标特征，训练对应的分类器，滑动窗口搜索，重复和误报过滤。这种目标检测的滑窗选择策略没有针对性，时间复杂度高，窗口冗余，且手工设计的特征鲁棒性较差，分类器不可靠；同时现有的目标检测算法不能够灵活地训练数据以根据不同需求学习有效的特征完成具体的检测任务。

发明内容

本发明的目的在于解决以上现有技术的不足，提供一种基于深度学习的车载视频目标检测方法。

为了实现上述目标，本发明采用如下的技术方案：

一种基于深度学习的车载视频目标检测方法，包括如下步骤：

步骤1)将深度坐标下的像素对齐到彩色坐标下；再将深度图像和彩色图像各自通过CNN进行特征提取，并将各自卷积层输出的特征图在通道维度上进行串联融合得到最终的RGB-D特征作为卷积后的卷积特征映射；

步骤2)构建区域建议网络RPN，所述区域建议网络RPN包括一个3×3的卷积层和两个1×1的并行卷积层；将融合后的卷积特征映射输入3×3的卷积层，在输入的特征映射上以像素为单位滑动预设大小的网络，则每个滑动位置产生特定尺度的锚点；

将产生的锚点输入两个1×1的并行卷积层进行位置回归和前后景判断，分别输出锚点的前后景置信度和所有候选框位置并按照预设条件从所得的矩形后选框中筛选出前景置信度最高的前特定数量的区域，得到最终的区域建议集合C；

构建Fast R-CNN模型，所述Fast R-CNN模型由两个ROI池化层、一个全连接层和两个并联的全连接层组成，分别输出该区域的置信度以及边框回归之后的候选框位置；将融合后的卷积特征输入Fast R-CNN模型，输出图像中目标的位置及其类别和置信度；

步骤3)：构建训练RPN网络的代价函数和训练Fast R-CNN网络的代价函数；

步骤4)使用标准的ZF模型训练和微调网络的各项参数，通过从设定的标准方差的零均值高斯分布中提取权重来随机初始化所有新层；

步骤5)利用反向传播算法和随机梯度下降算法，采用对RPN和Fast R-CNN两个网络交替训练的方式对模型进行训练，根据预先设置的参数依次调整每层神经网络的权值；

步骤6)使用预先获得的训练集测试初步训练好的Faster R-CNN模型，根据难样本的判别公式筛选出难样本；

步骤7)将步骤6)中产生的难样本加入训练集中，对网络再次进行训练，重复步骤5)-步骤7)，最终得到最优的Faster R-CNN模型；

步骤8)对实际中采集的车载视频图像进行处理，输入训练好的Faster R-CNN模型中，输出该图像中目标类别、置信度以及目标位置。

本发明所达到的有益效果：

第一，本发明在基于建议的卷积神经网络模型基础上，提出一种基于深度信息补全的目标检测模型，改进的Faster R-CNN添加了一条深度信息通道，将彩色图像和深度图像分别通过结构一样的CNN进行特征提取，两个CNN采用并联的结构，再将原有的彩色图像特征映射与深度图像特征映射进行串联融合，得到最终的图像特征，与原有算法相比，本发明得到的图像特征更加丰富，补充了车辆的细节信息，并且不会增加时间开销，满足提高复杂场景下目标检测的要求。

第二，本发明通过在训练阶段增加难样本挖掘策略，使得模型在原有基础上更加关注难样本，将车辆及疑似车辆的背景更好的区分，达到提高准确性的目的；

第三，本发明利用共享卷积网络来提取建议候选框的Faster R-CNN算法在实时性上得到了明显的提升，该算法抛弃了传统的区域建议算法，使用深度网络中的卷积层来提取候选框，节约了大量时间开销。

附图说明

图1为本发明具体实施例方法的流程示意图。

图2为本发明具体实施例中改进的Faster R-CN算法的训练流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明目的在于提出了一种基于深度学习的车载视频目标检测方法，在FasterR-CNN的基础上，添加深度图像的特征映射来补充车辆细节信息，选用与提取彩色图像特征相同的卷积神经网络，彩色图像通道与深度图像通道采用并联的结构，提取出的特征经过串联融合得到最终的RGB-D特征，并在训练中添加难样本挖掘策略，提高算法在复杂交通场景中对小目标以及难目标的检测准确性。

如图1所示为本发明具体实施例的方法流程图。

在实施实施本发明方法时可以基于预先获取的训练集样本集和测试集样本，也可以根据需求制作训练集和测试集。在本实施例中，使用KITTI数据集构建训练样本集和测试样本集，包括以下步骤1：采用PASCAL VOC数据集的格式及评价算法工具。首先，转换KITTI的类别：PASCAL VOC总共有20个类别，在城市交通场景中，重点检测对象为车辆、行人、交通标志，因此将数据集分为上述3种类别；其次，转换标注信息：将标注文件从txt转化为xml，去掉标注中的其他信息，只留下3类；最后，生成训练验证集和测试集。

如图1所述，本发明方法包括如下步骤：

步骤2)构建一种改进的Faster R-CNN模型，该模型综合了区域建议网络(Regional Proposal Network，RPN)和Fast R-CNN网络；

2.1)卷积神经网络(Convolutional Neural Networks,CNN)

首先，将深度坐标下的像素对齐到彩色坐标下；CNN选取ZF模型中特征提取的网络，将两个结构相同的CNN进行并联(原有的彩色图像通道为通道1，并联的深度图像通道为通道2)；两类图像通过CNN特征提取之后，特征图大小均为hwc(这里h、w分别表示特征图的高、宽，c为RGB三个通道)，将彩色图像特征与深度图像特征作为两个通道进行特征融合，融合后的特征图大小为2hwc；

2.2)区域建议网络RPN包括一个3×3的卷积层和两个1×1的并行卷积层；

将融合后的卷积特征映射输入3×3的卷积层，在输入的特征映射上以像素为单位滑动一个小网络，本实施例中分别采用3个尺度和3个长宽比，则每个滑动位置产生k＝3×3＝9个不同尺度的锚点，则总共产生hwk个锚点，得到hwk个矩形候选框；

两个1×1的并行卷积层对上一层的锚点进行位置回归和前后景判断，分别输出锚点的前后景置信度和候选框位置。候选框位置包含候选框中心点坐标x和y，以及宽w’和高h’共四个参数；

2.2)将2.1)所得的矩形候选框按照预设条件筛选出满足预设条件的预定数量的区域。本实施例中对所得的矩形候选框按照softmax的得分进行降序排序，保留前2000个区域，再进一步用非极大值抑制算法(Non-Maximum Suppression，NMS)筛选出前景置信度最高的前300个区域，得到最终的区域建议集合C；

2.3)Fast R-CNN由两个ROI池化层、一个全连接层和两个并联的全连接层组成，分别输出该区域的置信度以及边框回归之后的候选框位置；

ROI pooling层对区域建议集合C与融合后的卷积特征映射进行池化操作，ROIpooling层根据输入的image，将ROI映射到特征映射的对应位置，将映射后的区域划分为相同大小的sections，对每个section进行最大池化操作；

全连接层对ROI pooling层的输出结果进行合并，最后输入并联的两个全连接层，对候选框进行区域分类和边框回归，输出图像中目标的位置及其类别、置信度；

步骤3)构建训练RPN网络的代价函数和训练Fast R-CNN网络的代价函数：

本实施例中训练RPN网络的代价函数为：

其中，锚点与ground truth(即标定过的真实数据)的交并比(Intersection overUnion，IoU)最大或不低于0.7的标为正样本，P_i为预测置信度；为标注值，取1时表示正样本，取0时表示负样本；i表示锚点的索引；N_cls为锚点总数量；N_reg为正样本的数量；t_i为预测的锚点边界框修正值；为实际的锚点边界框修正值；L_cls为分类代价；L_reg为边框回归代价；λ为平衡权重；

本实施例中训练Fast R-CNN网络的代价函数为：

L(p,u,t^u,v)＝L_cls(p,u)+λ[u≥1]L_reg(t^u,v)

其中，u为第u类；t^u为第u类边框回归预测的修正值；v为实际修正值；L_cls为分类代价；L_reg为边框回归代价；λ为平衡权重；

步骤4)使用标准的ZF模型训练和微调网络的各项参数，通过从设定的标准方差的零均值高斯分布中提取权重来随机初始化所有新层；

步骤5)利用反向传播算法和随机梯度下降算法，采用对RPN和Fast R-CNN两个网络交替训练的方式对模型进行训练，依次调整每层神经网络的权值，网络初始学习率设为0.01，最低学习率设为0.0001，动量设置为0.9，权重衰减系数为0.0005，Dropout值设置为0.5，具体步骤如下：

(1)采用反向传播算法和随机梯度算法训练RPN模型，该阶段迭代80000次；

(2)使用RPN生成的候选框作为Fast R-CNN的输入，并进行独立训练，该阶段迭代40000次；

(3)利用(2)中的结果对RPN网络结构进行初始化，固定共享卷积层(将共享卷积层的学习率设置为0)，更新RPN网络的参数，该阶段迭代80000次；

(4)固定共享卷积层(将共享卷积层的学习率设置为0)，微调Fast R-CNN网络结构，更新其全连接层的参数，该阶段迭代40000次；

步骤6)使用训练集测试初步训练好的Faster R-CNN模型，根据本发明的难样本判别公式筛选出难样本；

步骤7)将步骤6)中产生的难样本加入训练集中，对网络再次进行训练，重复步骤5)，从而加强网络对难样本的判别能力，最终得到最优的Faster R-CNN模型；训练过程可参见图2。

步骤8)对实际中采集的车载视频图像进行处理，输入训练好的Faster R-CNN模型中，输出该图像中目标类别、置信度以及目标位置。

本发明能够充分考虑Faster R-CNN算法存在的小目标漏检问题，通过深度图像特征融合和难样本挖掘方法，提高复杂交通场景中车辆识别的准确率。

本发明使用的基于卷积神经网络的目标检测算法可以在灵活的训练数据的情况下，根据不同需求学习有效的特征来完成具体的检测任务。R-CNN算法是基于候选框建议与卷积神经网络相结合的一种目标检测算法，由于区域建议算法产生的数量众多的建议候选框以及较大的时间开销，该算法在实时性和准确性方面仍有较大的提升空间。利用共享卷积网络来提取建议候选框的Faster R-CNN算法在实时性上得到了明显的提升，该算法抛弃了传统的区域建议算法，使用深度网络中的卷积层来提取候选框，节约了大量时间开销，但在小目标较多以及较复杂的场景中，漏检的情况较为严重，仍有较大的改进空间。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的车载视频目标检测方法，其特征是，包括如下步骤：

步骤1)将深度坐标下的像素对齐到彩色坐标下；再将深度图像和彩色图像各自通过CNN进行特征提取，并将各自卷积层输出的特征图在通道维度上进行串联融合得到最终的RGB-D特征作为卷积后的卷积特征映射；

构建区域建议网络RPN，所述区域建议网络RPN包括一个3×3的卷积层和两个1×1的并行卷积层；将融合后的卷积特征映射输入3×3的卷积层，在输入的特征映射上以像素为单位滑动预设大小的网络，则每个滑动位置产生特定尺度的锚点；

将产生的锚点输入两个1×1的并行卷积层进行位置回归和前后景判断，分别输出锚点的前后景置信度和所有候选框位置并按照预设条件从所得的矩形后选框中筛选满足特定条件的预设数量的区域，得到最终的区域建议集合C；

步骤2)构建Fast R-CNN模型：

所述Fast R-CNN模型由两个ROI池化层、一个全连接层和两个并联的全连接层组成，分别输出该区域的置信度以及边框回归之后的候选框位置；将融合后的卷积特征输入FastR-CNN模型，输出图像中目标的位置及其类别和置信度；

步骤3)：构建训练RPN网络的代价函数和训练Fast R-CNN网络的代价函数；

步骤4)使用标准的ZF模型训练和微调网络的各项参数，通过从设定的标准方差的零均值高斯分布中提取权重来随机初始化所有新层；

步骤5)利用反向传播算法和随机梯度下降算法，采用对RPN和Fast R-CNN两个网络交替训练的方式对模型进行训练，根据预先设置的参数依次调整每层神经网络的权值；

步骤6)使用预先获得的训练集测试初步训练好的Faster R-CNN模型，根据难样本的判别公式筛选出难样本；

步骤7)将步骤6)中产生的难样本加入训练集中，对网络再次进行训练，重复步骤5)-步骤7)，得到最优的Faster R-CNN模型；

步骤8)对实际中采集的车载视频图像进行处理，输入训练好的Faster R-CNN模型中，输出该图像中目标类别、置信度以及目标位置。

2.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，所述步骤2)中所述RGB-D特征作为RPN和Fast R-CNN共享的卷积特征映射，其矩阵形式为：

其中，i，j，k为中间变量，i～[0,h-1]，j～[0,w-1[，k～[0,2c-1]，h为特征图的高，w为特征图的宽，c为RGB三个通道；Y_RGB(i,j,k)是通道串联后的图像特征；Y_depth(i,j,k-c)是彩色图像特征；Y_merge(i,j,k)是深度图像特征。

3.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，所述训练RPN网络的代价函数为：

其中，将与标定过的真实数据的交并比最大或不低于0.7的锚点标为正样本，P_i为预测置信度；为标注值，取1时表示正样本，取0时表示负样本；i表示锚点的索引；N_cls为锚点总数量；N_reg为正样本的数量；t_i为预测的锚点边界框修正值；为实际的锚点边界框修正值；L_cls为分类代价；L_reg为边框回归代价；λ为平衡权重。

4.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，所述训练Fast R-CNN网络的代价函数为：

L(p,u,t^u,v)＝L_cls(p,u)+λ[u≥1]L_reg(t^u,v)

其中，u为第u类；t^u为第u类边框回归预测的修正值；v为实际修正值；L_reg为边框回归代价，p是分类预测结果。

5.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，所述步骤6)中，所述难样本判别函数如下：

L(o,p)＝L_IoU(o)+L_score(p)，

L_score(p)＝(1-p)，

其中，L_IoU为边框误差；L_score为分类误差；o为样本与目标的相交率；k为对阈值的敏感系数；o和p的取值范围均为0～1。

6.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，步骤5)的具体步骤如下：

(1)采用反向传播算法和随机梯度算法训练RPN模型，该阶段迭代80000次；

(2)使用RPN生成的候选框作为Fast R-CNN的输入，并进行独立训练，该阶段迭代40000次；

(3)利用(2)中的结果对RPN网络结构进行初始化，固定共享卷积层(将共享卷积层的学习率设置为0)，更新RPN网络的参数，该阶段迭代80000次；

(4)固定共享卷积层(将共享卷积层的学习率设置为0)，微调Fast R-CNN网络结构，更新其全连接层的参数，该阶段迭代40000次。

7.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，步骤5)中参数设定包括网络初始学习率设为0.01，最低学习率设为0.0001，动量设置为0.9，权重衰减系数为0.0005，Dropout值设置为0.5。

8.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，预先获得训练集和测试集的方法包括如下步骤：

使用KITTI数据集构建训练样本集和测试样本集；

按照PASCAL VOC格式转换KITTI的类别，将KITTI数据集分为车辆、行人和交通3种类别；

转换标注信息：将标注文件从txt转化为xml，去掉标注中的其他信息，只留下3类；最后，生成训练验证集和测试集。

9.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，筛选出满足特定条件的预设数量的区域的方法如下：

将所得的矩形候选框按照softmax的得分进行降序排序，保留前2000个区域，再进一步用非极大值抑制算法筛选出前景置信度最高的前特定数量的区域。

10.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，步骤4)所述设定的标准方差为0.01。