CN117111055A - 一种基于雷视融合的车辆状态感知方法 - Google Patents

Abstract

本发明提供了一种基于雷视融合的车辆状态感知方法，属于自动驾驶技术领域，包括：利用车载相机获取第一车辆周围的二维图像，利用车载雷达获取第一车辆周围的三维雷达点云数据；获取相机和雷达之间的旋转平移矩阵；使用旋转平移矩阵将雷达获取的雷达点云数据投影到二维图像中，结合其他车辆相对于第一车辆的距离信息得到二维图像中每一个点的距离信息；根据二维图像中每一个点的距离信息，在二维图像中输出其他车辆相对于第一车辆的距离信息，实现基于雷视融合的车辆状态感知。该方法能够进行车辆状态感知。

Description

一种基于雷视融合的车辆状态感知方法

技术领域

本发明属于自动驾驶技术领域，具体涉及一种基于雷视融合的车辆状态感知方法。

背景技术

近年来车辆数量激增，高速公路发展迅速，城市内道路四通八达，人口基数也在不断增加，对于车辆的需求越来越高。车辆数量的增加，导致城市内部分道路交通拥堵，交通事故频发，无人驾驶技术可有效减少驾驶员由于自身原因而造成的交通事故，所以对周围环境的感知已成为无人驾驶领域不可或缺的技术。越来越多的智能辅助驾驶功能正在逐步改善人们的出行体验，自动驾驶汽车对周围时空状态的感知依赖于各类传感器。

自动驾驶的研究从20世纪下半叶开始涌现，一些国家首先在自动驾驶上进行实验。随着美国的无人驾驶汽车完成了首次自动驾驶实验，相关法律法规也陆续出台。自动驾驶中最为重要就是对车辆周围信息的获取，以及通过获取的信息进行决策和控制。随着感知技术发展，也为自动驾驶技术提供了更加精确，更加及时的信息，极大程度上推进了自动驾驶技术的发展。自动驾驶系统，拥有大量的传感器。激光雷达，毫米波雷达，相机等一系列传感器会让车辆感知到一些人类驾驶员无法通过后视镜来观察到的区域，减少因为视野盲区而造成的交通事故。同时相比于人类驾驶汽车来讲，自动驾驶汽车不会有疲劳驾驶等问题存在，所以也会减少因为疲劳驾驶造成的交通事故。对于自动驾驶技术来讲，其安全性一直在相关技术设计中，具有很高的优先级。尽管自动驾驶汽车发展已有几十年的历史，但是像特斯拉，百度等公司研究的无人驾驶汽车依旧有安全事故的出现，随着感知能力以及控制决策层面技术的进步，安全问题的出现也会相应减少。

单一传感器的环境感知已难以满足复杂场景下自动驾驶技术对周围目标的检测等任务要求，具有一定的局限性，为了提高对车辆周围时空状态感知的能力，同时也为了提高自动驾驶的安全性。采用多传感器融合的方式，避免了单一传感器在某些特定的环境下无法发挥全部作用的局限性，一定程度上提高了行车的安全性。

视觉识别目标作为一种传统并且有效的目标检测方法，在自动驾驶系统中视觉识别物体依旧占据很重要的地位。视觉可以对车道线，交通标志，周围车辆以及行人的识别，具有强力的获取目标信息能力。对于视觉识别目标来讲，首先需要完成的任务是，坐标系的转化，世界具有三个维度，但是图像是一个二维物体，通过相机的内参标定，来为三维世界和二维图像之间建立联系。

基于视觉的目标检测又可分为One-stage和Two-stage两种类型的算法，两种类型的算法各有优劣。作为Two-stage系列算法的代表，R-cnn,以及以其为基础进行优化的Fast-rcnn和Faster-rcnn,以上算法，会首先生成一个候选区域，再通过CNN对样本进行分类，使得识别精度提升，但是却大大减缓了目标识别的速度，所以并不适用于一些需要实时识别目标的场合。2016年，Joseph Redmon等人提出了Yolo算法，作为One-stage算法的代表作，Yolo算法大大提升了目标检测的速度，满足了一些场景下，需要实时对目标进行检测的要求。

在此基础上，Yolov2，Yolov3，Yolov4不断对网络结构进行优化。检测速度，以及帧数不断提升，应用场景也不断丰富。随着性能的不断提升，应用场景也从对图像的检测，对视频的检测，到实时的检测，例如在自动驾驶领域，作为二维检测器，对车辆周围的目标进行检测。

与图像的二维性质不同，三维物体的目标检测涉及多个平面，目前主流的三维物体检测主要是基于稀疏点云的目标检测，使用激光雷达对三维物体进行扫描，获得其稀疏点云图，对点云数据进行处理，提取相应特征，或与深度学习相结合，来完成对于三维物体的目标检测。

基于点云的3D目标检测是目前通过激光雷达进行目标检测的主要方式。与基于多模态融合的方法相比，单个传感器的使用避免了多传感器校准和同步问题。但是，由于距离对点云的稀疏程度影响比较大，较长距离的目标检测性能仍然相对较差。2018年，YinZhou，Oncel Tuzel提出了VoxelNet算法，算法将点云进行划分，分为一个个三维体素，引入特征编码层将每个体素中的点变成同一的特征表示，最后利用RPN生成检测结果。算法具有特征提取效率高的特点，实现了点云End-To-End的检测。但是依旧存在计算参数量大，推理速度慢，低方向估计性能等弊端。Yan Yan提出了Second算法，以VoxelNet算法为基础，因为原始雷达点云数据为稀疏的数据结构，使用稀疏的三维卷积神经网络，提升推理的速度。并且引入了新型数据增强方法，以及角度损失回归形式，提高了方向估计性能以及收敛速度。

Alex H.Lang提出了PointPillars算法，在编码器中使用PointNet结构，该编码器表示在垂直柱中组织的点云，然后用二维检测器进行三维目标识别。大大提升了编码的速度以及准确性。Shaoshuai Shi提出了PointRcnn算法，算法分为两阶段，该架构在第一阶段以自下而上的方式生成三维Proposal，然后在第二阶段中完善这些Proposal。算法提出了新的预测框生成的方法，利用点云分割生成的Proposal具有少量高质量等优势。YilunChen提出了Fast PointRcnn算法是，使用体素作为一阶段的输入，充分利用体素以及原始点云各自的a优势，一阶段产生少量优质的预测，二阶段进一步完善预测。Zetong Yang提出了STD算法，同样应用了一个两阶段的体系结构，该架构在第一阶段以自下而上的方式生Proposal，使用原始点云输入，引入球形锚点，算法计算量减少，召回率更高。第二阶段对Box进行预测，运用了并行的IOU分支，提高了算法的性能。Shaoshuai Shi提出了Pv-rcnn算法利用了体素的方法和基于PointNet的优势来学习更多的预测特征。算法提升了预测对象的置信度，并且提升了预测目标位置的准确度。

在自动驾驶领域多采用激光雷达点云与图像融合，并且激光雷达与相机这两个传感器是自动驾驶汽车最常见的传感器设置。Charles R.Qi提出的Frustum Pointnet算法使用成熟的二维目标检测器，以及三维深度学习的方式来对目标进行定位，不仅依靠三维Proposal。提高了算法的效率以及提升了对小型物体检测的召回率。Danfei Xu提出的PointFusion算法，与现有的二阶段网络不同，该算法的图像数据处理使用了卷积网络，而点云数据处理使用了PointNet架构，两种数据分别独立处理，之后输入融合网络，使用三维点预测三维框以及置信度。MV3D算法和AVOD算法将原始点云进行投影鸟瞰图上，即BEV视角，形成多通道BEV的图像。

基于Deep Fusion的二维卷积网络用于从该BEV图像中提取的特征以及三维边界框回归的前摄像头图像。这些基于融合的方法的总体性能比仅基于激光雷达的方法效果稍差。原因有以下几点，随着维度的降低，相应的也会损失一定的信息，这对本就稀疏的点云来说，影响其特征的提取。其次，相机图像与雷达点云不同，相机图像是稠密的像素点构成，而雷达点云是稀疏的点，对其进行特征融合时，首先要对各自特征进行提取转化，在转化过程中或多或少的会影响其自身特征，所以在特征层面进行融合的方法是复杂的。对图像以及点云中的特征向量进行强制操作，固化其规格，再对他们进行连接，聚合，平均的操作，会导致两者之间的特征向量的对应关系出现错误，对于融合算法来讲，这并是一个最好的处理方法。为了使两个传感器进行更好的融合，并且对对应关系进行优化。Ming Liang提出了MMF算法采用连续卷积来构建密集的LIDAR BEV特征映射，并与点融合具有密度图像特征图。根据Kitti3D/BEV对象检测基准，MMF是目前最好的多模态融合三维检测器之一。但是，它在中等水平上仍然比Kitti官网排行榜中最佳的仅使用激光雷达点云的探测器差

总之，现有技术中，采取前视图以及bev视角进行融合，不可避免的会损失一定程度的纬度特征，在特征层面融合会导致两种特征互相影响。

发明内容

为了克服上述现有技术存在的不足，本发明提供了一种基于雷视融合的车辆状态感知方法。

为了实现上述目的，本发明提供如下技术方案：

一种基于雷视融合的车辆状态感知方法，包括：

利用车载相机获取第一车辆周围的二维图像，利用车载雷达获取第一车辆周围的三维雷达点云数据；

从二维图像中捕获其他车辆；

利用三维雷达点云数据获取其他车辆相对于第一车辆的距离信息；

对车载相机和车载雷达进行联合标定，获取车载相机和车载雷达之间的旋转平移矩阵；使用旋转平移矩阵将雷达获取的雷达点云数据投影到二维图像中，结合其他车辆相对于第一车辆的距离信息得到二维图像中每一个像素点相对于第一车辆的距离；

根据二维图像中每一个像素点相对于第一车辆的距离，在二维图像中输出其他车辆相对于第一车辆的距离信息，获得其他车辆相对于第一车辆的距离状态。

进一步，利用视觉检测模型从二维图像中捕获其他车辆，将三维雷达点云数据输入pointpillar模型中获取其他车辆相对于第一车辆的距离信息。

进一步，所述视觉检测模型和pointpillar模型的训练包括：

获取车辆图像的kitti数据集；

利用kitti数据集中的图片训练视觉检测模型，利用kitti数据集中的三维雷达点云数据训练pointpillar模型。

进一步，还包括，对kitti数据集进行预处理，包括：

将kitti数据集进行分类组合，分类包括：行人，车辆，骑行的人三种，忽略DontCare类，忽略Misc类；

将kitti数据集中的txt格式的数据转化为xml格式存放在文件夹中，将xml格式转化为适合Yolo训练的txt格式。

进一步，所述对获取车辆信息的雷达和相机进行联合标定，获取相机和雷达之间的旋转平移矩阵；包括：

相机与激光雷达坐标系之间的关系为，激光雷达的x轴与相机的z轴同向，朝向车的前方，激光雷达的z轴向上，相机的y轴向下，相机的x轴向左，激光雷达的y轴向右；

经过矫正后的点云坐标(x,y,z,1)^T投影到图像平面中y＝(u,v,1)^T的公式如下：

其中P为投影矩阵；

利用矫正旋转逆矩阵将相机坐标中的点投影到图像平面中：

对投影后的图像平面，进行坐标转换，公式为：

式中，T矩阵为：

其中，R为旋转矩阵，T为平移矩阵。

进一步，所述使用旋转平移矩阵将雷达获取的雷达点云数据投影到二维图像中，获取二维图像中每一个点的距离信息，包括：

相机坐标系下的坐标对成像坐标系下的投影公式为：

uv＝KX_c

其中X_c为激光雷达转换到相机坐标系下的坐标，u，v为成像坐标系下的横纵坐标，k为投影参数；

确认激光雷达点云数据中的一个点X_l在二维图像上的位置：

其中R，分别代表旋转矩阵和平移矩阵。

进一步，所述视觉检测模型为改进的Yolov5模型，其包括：

依次连接的backbone模块和neck模块；

backbone模块包括：依次连接的Focus层、CBL层、CSP层、SPP层；

neck模块包括：依次连接的CSP层、CBL层、上采样层、concat层、CSP层、CBL层、并联的三个检测头。

进一步，使用GIOU_LOSS损失函数作为改进的Yolov5模型的损失函数，GIOU_LOSS损失函数为：

其中，IOU是视觉检测模型输出的预测框与检测框的交并比。

本发明提供的一种基于雷视融合的车辆状态感知方法具有以下有益效果：

本发明利用车载相机获取第一车辆周围的二维图像，利用车载雷达获取第一车辆周围的三维雷达点云数据，将雷达点云数据投影到二维图像中得到二维图像中每一个点的距离信息，根据二维图像中每一个点的距离信息，在二维图像中输出其他车辆相对于第一车辆的距离信息。本发明采用像素级融合，使用三维点云投影二维图像避免了纬度损失，以及两种特征的互相影响。解决了现有技术中，采取前视图以及bev视角进行融合，不可避免的会损失一定程度的纬度特征，在特征层面融合会导致两种特征互相影响的问题。

附图说明

为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法示意图；

图2是本发明kitti数据集示例图；

图3是本发明改进的yolov5模型网络性能图；

图4是本发明pointpillar网络结构图；

图5是本发明二维目标识别结果图；

图6是本发明三维目标识别结果图；

图7是本发明雷达与视觉像素级融合结果图；

图8是本发明通过数值滤波赋予每个目标深度信息结果图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例：

本发明提供了一种基于雷视融合的车辆状态感知方法，具体如图1所示，包括：获取车辆图像的kitti数据集；利用kitti数据集训练基于图像的视觉检测模型和基于雷达的pointpillar模型；利用基于图像的视觉检测模型获取目标车辆在二维图像中的位置信息，利用基于雷达的pointpillar模型获取目标车辆在三维空间内的位置信息；对获取车辆信息的雷达和相机进行联合标定，获取相机和雷达之间的旋转平移矩阵；使用标定数据对雷达获取的雷达点云数据进行投影，实现雷达与视觉的像素级融合；利用二维图像中检测出车辆的位置信息，对雷达点云进行数值滤波，利用车辆的三维位置信息赋予每个目标深度信息，并输出目标检测结果，实现基于雷视融合的车辆状态感知方法。

以下为本发明具体实施细节：

步骤一，通过查阅文献获取相关数据集：

步骤S11，车辆状态感知数据集选取：选用的数据集为kitti数据集；

步骤二，数据集预处理：

步骤S21，首先进行分类组合，鉴于本文研究内容主要为行人，车辆，骑行的人三种，所以对所有类别进行分类组合，将卡车，厢式货车等种类合并成Car类，对行人类进行合并，忽略DontCare类，忽略Misc类；

步骤S22，接下来将txt格式转化为xml格式存放在文件夹Annotations下，最后再将xml格式转化为适合Yolo训练的txt格式；

步骤三，训练基于视觉的识别模型：

步骤S31，将步骤二得到的kitti数据集应用于基于视觉pointpillar模型的训练。训练的模型为yolov5m模型；

所述的车辆检测识别模型为深度学习模型，目标检测使用的是yolov5模型。

步骤四，训练基于雷达的识别模型：

步骤S41，使用kitti数据集中的点云数据对基于雷达的pointpillar模型进行训练；

步骤五，获取车辆的位置信息：

步骤S51，通过基于图像的目标检测获得目标在二维图像中的位置信息，用于步骤八的数值滤波，如图6所示；

步骤S52，通过基于雷达的目标检测获取目标在三维空间内的位置信息，为获取每个目标的深度信息提供数据基础，如图7所示。

步骤六，传感器标定：

步骤S61，对雷达和相机进行联合标定，获取相机和雷达之间的旋转平移矩阵，步骤七中的像素级融合，如图8所示；

步骤七，像素级融合：

步骤S71，相机坐标系下的坐标对成像坐标系下的投影公式如下：

uv＝KX_c

步骤S72，通过下述公式激光雷达点云数据中的一个点X_l在图像上成像位置的确认，进而获取这一点像素的三通道RGB的值，以及对应的深度信息，完成对目标三维位置的确定。

步骤八，目标深度信息的确认及检测结果输出：

步骤S81，利用二维图像中检测出车辆的位置信息，对雷达点云进行数值滤波，赋予每个目标深度信息，如图8所示；

步骤S82，输出目标检测结果，实现基于雷视融合的车辆状态感知方法。

以下为本发明与现有技术的对比实施例：

对比例1：

本对比例中给出一种车辆目标检测方法，按照如下步骤进行：

步骤一，通过查阅文献获取kitti数据集；步骤二，数据预处理部分，与原实施例相同；步骤三，训练模型：步骤四，输出二维目标检测识别结果。

对比例2：

本对比例中给出一种车辆目标检测方法，按照如下步骤进行：

步骤一，通过查阅文献获取kitti数据集；步骤二，数据预处理部分相同；步骤三，训练模型，与原实施例相同；步骤四，输出二维目标检测识别结果。

实验验证：

将本发明的基于雷视融合的车辆状态感知方法与一般检测算法对车辆的检出效果进行对比。

实验背景：为证明本发明对车辆检测的高效性及准确性，将对比本发明与FasterRCNN检测算法以及yolov2对车辆检测结果。实验环境：操作系统为Win10，GPU为GeForceGTX1060，软件平台为PyCharm。

实验方法：使用相同测试集对使用本发明方法、对比例1中给出的Faster RCNN检测算法和对比例2中yolov2的车辆目标检测的方法进行对比。测试集中包含了不同交通情况下下的车辆，行人，骑行的人，检测结果中包含不同种类目标的检测精度以及平均检测精度(mAP)。最终结果如表1所示：

表1不同方法的车辆状态感知检测结果

结果分析：

如表1所示，在对车辆的检测精度上，本方法的精确度要比对比例1高出12％，比对比例2高出8％，在对行人的检测精确度上比对比例1高出2％，比对比例2高出18％，在对骑行的人的检测精确度上，比对比例1高出17％，比对比例2高出36％，从上述数据上可以看出，基于雷视融合的车辆状态感知方法提升了对交通环境中目标的检测精度，通过融合雷达点云和图像信息，为车辆在复杂环境下的状态感知提供了保障。

如表2为kitti数据集标注格式示例表

表2Kitti标注格式示例表

总结：

(1)本发明的方法在现有技术的基础上通过对kitti数据集预处理，完成对yolov5模型的训练。

(2)本发明通过改进的yolov5算法联合激光雷达，在实际环境下采集的测试集上进行测试，检测精度高，满足实际交通场景下的车辆状态感知。

(3)本发明的方法通过数值滤波赋予每个目标深度信息，能够实现实际交通场景下的车辆状态感知。

以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。

Claims (8)

1.一种基于雷视融合的车辆状态感知方法，其特征在于，包括：

利用车载相机获取第一车辆周围的二维图像，利用车载雷达获取第一车辆周围的三维雷达点云数据；

从二维图像中捕获其他车辆；

利用三维雷达点云数据获取其他车辆相对于第一车辆的距离信息；

对车载相机和车载雷达进行联合标定，获取车载相机和车载雷达之间的旋转平移矩阵；使用旋转平移矩阵将雷达获取的雷达点云数据投影到二维图像中，结合其他车辆相对于第一车辆的距离信息得到二维图像中每一个像素点相对于第一车辆的距离；

根据二维图像中每一个像素点相对于第一车辆的距离，在二维图像中输出其他车辆相对于第一车辆的距离信息，获得其他车辆相对于第一车辆的距离状态。

2.根据权利要求1所述的一种基于雷视融合的车辆状态感知方法，其特征在于，利用视觉检测模型从二维图像中捕获其他车辆，将三维雷达点云数据输入pointpillar模型中获取其他车辆相对于第一车辆的距离信息。

3.根据权利要求2所述的一种基于雷视融合的车辆状态感知方法，其特征在于，所述视觉检测模型和pointpillar模型的训练包括：

获取车辆图像的kitti数据集；

利用kitti数据集中的图片训练视觉检测模型，利用kitti数据集中的三维雷达点云数据训练pointpillar模型。

4.根据权利要求3所述的一种基于雷视融合的车辆状态感知方法，其特征在于，还包括，对kitti数据集进行预处理，包括：

将kitti数据集进行分类组合，分类包括：行人，车辆，骑行的人三种，忽略DontCare类，忽略Misc类；

将kitti数据集中的txt格式的数据转化为xml格式存放在文件夹中，将xml格式转化为适合Yolo训练的txt格式。

5.根据权利要求1所述的一种基于雷视融合的车辆状态感知方法，其特征在于，所述对获取车辆信息的雷达和相机进行联合标定，获取相机和雷达之间的旋转平移矩阵；包括：

相机与激光雷达坐标系之间的关系为，激光雷达的x轴与相机的z轴同向，朝向车的前方，激光雷达的z轴向上，相机的y轴向下，相机的x轴向左，激光雷达的y轴向右；

经过矫正后的点云坐标(x,y,z,1)^T投影到图像平面中y＝(u,v,1)^T的公式如下：

其中P为投影矩阵；

利用矫正旋转逆矩阵将相机坐标中的点投影到图像平面中：

对投影后的图像平面，进行坐标转换，公式为：

式中，T矩阵为：

其中，R为旋转矩阵，T为平移矩阵。

6.根据权利要求1所述的一种基于雷视融合的车辆状态感知方法，其特征在于，所述使用旋转平移矩阵将雷达获取的雷达点云数据投影到二维图像中，获取二维图像中每一个点的距离信息，包括：

相机坐标系下的坐标对成像坐标系下的投影公式为：

uv＝KX_c

其中X_c为激光雷达转换到相机坐标系下的坐标，u，v为成像坐标系下的横纵坐标，k为投影参数；

确认激光雷达点云数据中的一个点X_l在二维图像上的位置：

其中R，分别代表旋转矩阵和平移矩阵。

7.根据权利要求2所述的一种基于雷视融合的车辆状态感知方法，其特征在于，所述视觉检测模型为改进的Yolov5模型，其包括：

依次连接的backbone模块和neck模块；

backbone模块包括：依次连接的Focus层、CBL层、CSP层、SPP层；

neck模块包括：依次连接的CSP层、CBL层、上采样层、concat层、CSP层、CBL层、并联的三个检测头。

8.根据权利要求7所述的一种基于雷视融合的车辆状态感知方法，其特征在于，使用GIOU_LOSS损失函数作为改进的Yolov5模型的损失函数，GIOU_LOSS损失函数为：

其中，IOU是视觉检测模型输出的预测框与检测框的交并比。