CN112816954B - 一种基于真值的路侧感知系统评测方法和系统 - Google Patents

Abstract

本申请公开了一种基于真值的路侧感知系统评测方法，包括以下步骤：建立真值感知设备组，在选定的测试时间区间，与待测的路侧感知系统RSS的感知设备同步进行路侧感知数据采集；对真值感知设备组回传的原始数据进行处理，完成目标类型识别和目标轨迹识别，完成感知数据标注；基于已标注数据生成真值，真值数据包括交通参与者目标类型、位置、速度、加速度、轨迹；在所述选定的测试时间区间，比较待测RSS输出的结构化感知数据和所述真值数据，输出感知性能的统计评测结果。本申请还提出一种用于路侧感知系统评测的真值系统。

Description

一种基于真值的路侧感知系统评测方法和系统

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种基于真值的路侧感知系统评测方法和装置。

背景技术

路侧感知系统(Roadside Sensing System，RSS)是支撑网联自动驾驶，提升交通运行效率、缓解拥堵的重要手段。通过RSS系统为自动驾驶汽车提供超视距感知、盲区预警、驾驶意图等信息，是弥补单车自动驾驶感知局限的重要技术手段之一。当前RSS的组成形态各异，包括激光雷达+摄像头，毫米波雷达+摄像头等配置方案，各种方案孰优孰劣，缺乏面向RSS整体的系统性评测方法，尤其是对RSS输出的结构化感知数据类型、精度、质量等方面的测试规范尚未建立，使得车端无法直接对路侧信息采信，当前自动驾驶发展阶段RSS只能作为一种冗余信源，在感知层面供车端融合参考，无法实现对RSS的量化评价是掣肘协同决策与控制，实现完全自动驾驶的关键因素之一。

发明内容

本申请提出一种基于真值的路侧感知系统评测方法和系统，解决了当前车路协同路侧感知系统缺乏系统性评测方法的问题，尤其解决了路侧感知消息质量无法量化评估的难题。

一方面，本申请实施例提出一种基于真值的路侧感知系统评测方法，包括以下步骤：

建立真值感知设备组，在选定的测试时间区间，与待测的路侧感知系统RSS的感知设备同步进行路侧感知数据采集；

对真值感知设备组回传的原始数据进行处理，完成目标类型识别和目标轨迹识别，完成感知数据标注；

基于已标注数据生成真值，真值数据包括交通参与者目标类型、位置、速度、加速度、轨迹；

在所述选定的测试时间区间，比较待测RSS输出的结构化感知数据和所述真值数据，输出感知性能的统计评测结果。

优选地，所述真值感知设备组，包含高线束激光雷达、高清摄像头和毫米波雷达。

优选地，所述对真值感知设备组回传的原始数据进行处理，完成目标类型识别和目标轨迹识别，进一步包括：

以高线速激光雷达返回的点云数据为基础完成交通参与者目标类型识别、目标轨迹跟踪，使用摄像头采集数据对目标类型进行修正，使用毫米波雷达数据对目标轨迹进行修正。

优选地，所述对真值感知设备组回传的原始数据进行处理，进一步包括：

对真值感知设备组回传的原始数据进行数据清洗，对来自不同的感知设备的数据进行时间对齐。

在本申请的任意一个方法实施例中，优选地，所述比较待测RSS输出的结构化感知数据和所述真值数据，进一步包括，计算：

目标识别准确率＝待测RSS正确检出的目标或事件数/真值数据中的目标或事件数。

在本申请的任意一个方法实施例中，优选地，所述比较待测RSS输出的结构化感知数据和所述真值数据，进一步包括，计算：

目标漏检率＝1-待测RSS检出的目标或事件数/真值数据中的目标或事件数。

在本申请的任意一个方法实施例中，优选地，所述比较待测RSS输出的结构化感知数据和所述真值数据，进一步包括，计算：

RSS输出的结构化感知数据中的状态参数的离散时序列和真值数据中的状态参数的离散时间序列之间的距离。

所述状态参数包含以下至少一个：目标大小、位置、速度、航向角、加速度、轨迹。

另一方面，本申请还提出一种用于路侧感知系统评测的真值系统，实现权本申请任意一项实施例所述方法，所述真值系统包括真值感知设备组、服务器；

所述真值感知设备组至少包含高线速激光雷达、高清摄像头、毫米波雷达；

所述服务器包含数据采集模块、智能处理模块、真值存储模块、RSS测评模块；

所述数据采集模块，用于融合所述真值感知设备组输出的图像、视频、点云数据；

所述智能处理模块，用于对真值感知设备组回传的原始数据进行处理，完成目标类型识别和目标轨迹识别，完成感知数据标注；

所述真值存储模块，用于备份真值数据；

所述RSS测评模块，用于比较待测RSS输出的结构化感知数据和所述真值数据，输出感知性能的统计评测结果。

优选地，所述感知设备组与待测RSS复用杆架资源部署。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本发明方案将为路侧感知系统的功能及性能评估提供可行性支撑，也将为路侧感知系统的产品选型提供测试依据，推动车路协同领域的技术演进和产品迭代升级，起到提高行业规范性的效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为一种RSS的技术架构图；

图2为真值系统整体架构图；

图3为基于RS的路侧感知系统测试方法；

图4为检测精度计算的样本空间表示。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明提出了一种基于真值系统的路侧感知系统评测方法，首先提出了真值系统的组成架构及部署原则，进而在真值系统的基础上详述了路侧感知系统的测试逻辑及步骤，最后提出了面向路侧感知系统的评价指标体系。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为一种RSS的技术架构图。

RSS的基本构成是路侧感知设备及路侧计算单元，如图1所示，路侧感知设备包括但不限于摄像头、激光雷达、毫米波雷达等设备，可实时采集当前所覆盖交通环境的图像、视频、点云等原始感知数据，路侧计算单元包括不限于边缘计算服务器、工控机等计算设备，通过对路侧感知设备采集的原始感知数据实时融合计算，实现对交通环境中交通参与者状态信息、道路状况信息、交通事件等全量信息的获取，进而通过路侧单元RSU、中心子系统向局部/全域交通参与者下发感知消息。

无论何种RSS架构组成，其最终输出的结构化感知数据格式由《合作式智能运输系统车用通信系统应用层及应用数据交互标准》T/CSAE 53-2017规范定义，但感知数据质量与RSS的组成息息相关，例如配置激光雷达的RSS对参与者的速度、加速度、轨迹跟踪等信息获取更精确，配置摄像头的RSS对目标类型的识别能力更强等等，建立一套设备配置完备、感知性能优越的数据参考系统，对于精细化描述交通环境以及量化评价RSS的系统性能具有重要意义。

图2为真值系统整体架构图。

本发明提出一种面向RSS测试评价的真值系统(Reference System，RS)，系统组成框图如图2所示。本RS系统包含由高性能传感器构成的感知设备组以及满足大数据处理需求的离线真值系统服务器，感知设备组包括不限于高线束激光雷达、高清摄像头、以及毫米波雷达；离线真值系统服务器具备PB级数据的专业化存储、处理、分析能力，承载数据采集模块、智能处理模块、真值存储模块、RSS测评模块四个功能模块，数据采集模块主要实现对图像、视频、点云等数据的融合汇聚，智能处理模块主要完成原始数据关联、自动化标注等环节，生成长时间序列的环境真值，并通过真值存储模块实现PB级数据的存储落盘和冗余备份，RSS测评模块通过设定的测评维度和指标体系输出统计分析结果。

待测RSS一般部署于城市交叉口、高速路匝道汇入/汇出口、桥隧等重点交通监测区域,复用信号灯门架、高速路门架、路侧灯杆等杆架资源，RS的感知设备组可与待测RSS复用杆架资源部署，鉴于离线真值系统服务器对所采集环境信息采用离线计算生成真值，可根据实际情况弹性部署于路侧、中心机房等位置，通过有线/无线网络实现感知设备组到服务器的数据回传。

图3为基于RS的路侧感知系统测试方法。

本发明提出了基于真值系统RS对路侧感知系统进行测试和评估的方法，测评分为路端原始感知数据采集和服务器端离线处理两个部分，具体测试步骤如图3所示。

路端原始感知数据采集：

步骤一：复用待测RSS杆架资源，部署RS感知设备组；

步骤二：对RS感知设备组进行传感器全局标定，并根据待测RSS所感知区域设定真值采集区域；

步骤三：选定测试时间区间，待测RSS及RS感知设备组同步启动路侧感知数据采集，并通过有线/无线网络将数据回传至服务器端。

服务器端离线处理：

步骤一：对RS感知设备组回传的原始感知数据进行数据清洗，确保数据一致性，完成激光雷达点云、毫米波雷达点云、图像、视频等数据的时间对齐；

步骤二：对RS感知设备组回传数据进行自动化标注——以高线束激光雷达返回的点云数据为基础，基于机器学习、深度学习等算法，完成交通参与者目标类型的识别与检测，以及多目标的离线轨迹跟踪。融合摄像头采集数据，对目标类型进行二次修正，融合毫米波雷达数据，对目标轨迹数据(包括速度、加速度、位置等数据)进行二次修正。将自动化标注的数据输入至修正模块(允许人工标注介入修正)，完成各类感知数据标注；

步骤三：基于已标注数据生成静态和动态真值，包括不限于交通参与者目标类型、位置、速度、加速度、轨迹等真值，完成真值存储及RS建立；

步骤四：提取测试时间区间内真值，完成与待测RSS输出结构化感知数据的时间对齐，设定评测维度，输出感知性能的统计评测结果。

本发明还提出了基于多维指标体系的感知数据质量评测算法，应用于RSS测评模块的设计开发。多维指标体系的设计基于《合作式智能运输系统车用通信系统应用层及应用数据交互标准》T/CSAE 53-2017定义的路侧消息体以及当前主流RSS输出的感知数据类别，具体评测指标包括目标识别准确率、目标漏检率、检测精度(目标大小、位置、速度、航向角、加速度、轨迹)，其中，目标识别准确率、目标漏检率是衡量RSS对交通参与者识别性能的指标，其计算方法可用公式表达为：

图4为检测精度计算的样本空间示意图。检测精度是衡量RSS对任意交通参与者状态跟踪能力的指标，统计评测的样本空间为待测RSS输出的目标状态数据和RS存储的目标状态真值(已完成时间对齐)，两组数据可表示为图4呈现的折线结构：

其中，1,2,…,n代表离线时间序列，构成轨迹的点可以代表任一状态参数(目标大小、位置、速度、航向角、加速度、轨迹)，进而通过轨迹相似性分析得出待测RSS输出的状态信息与RS状态真值的距离大小，以距离度量表征各个状态参数的检测精度。轨迹相似性度量方法大致可分为基于点的距离、基于形状的距离、以及基于分段的距离三大类，可综合考虑轨迹长度、噪点敏感度、计算复杂度等因素弹性选择轨迹距离的度量方式。

本发明提出的基于真值系统的路侧感知系统评测方法，该评测方法基于与待测RSS同步部署的高性能真值系统，实现对真实复杂交通环境的精细化数据采集，进而通过离线后处理生成客观真值数据，最后可利用真值数据实现对待测RSS感知性能的测试评价。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于真值的路侧感知系统评测方法，其特征在于，包括以下步骤：

建立真值感知设备组，在选定的测试时间区间，与待测的路侧感知系统RSS的感知设备同步进行路侧感知数据采集；

对真值感知设备组回传的原始数据进行处理，完成目标类型识别和目标轨迹识别，完成感知数据标注；

基于已标注数据生成真值，真值数据包括交通参与者目标类型、位置、速度、加速度、轨迹；

在所述选定的测试时间区间，比较待测RSS输出的结构化感知数据和所述真值数据，输出感知性能的统计评测结果。

2.如权利要求1所述方法，其特征在于，

真值感知设备组，包含高线束激光雷达、高清摄像头和毫米波雷达。

3.如权利要求1所述方法，其特征在于，

所述对真值感知设备组回传的原始数据进行处理，完成目标类型识别和目标轨迹识别，进一步包括：

以高线速激光雷达返回的点云数据为基础完成交通参与者目标类型识别、目标轨迹跟踪，使用摄像头采集数据对目标类型进行修正，使用毫米波雷达数据对目标轨迹进行修正。

4.如权利要求1所述方法，其特征在于，

所述对真值感知设备组回传的原始数据进行处理，进一步包括：

对真值感知设备组回传的原始数据进行数据清洗，对来自不同的感知设备的数据进行时间对齐。

5.如权利要求1～4任意一项所述的方法，其特征在于，

所述比较待测RSS输出的结构化感知数据和所述真值数据，进一步包括，计算：

目标识别准确率＝待测RSS正确检出的目标或事件数/真值数据中的目标或事件数。

6.如权利要求1～4任意一项所述的方法，其特征在于，

所述比较待测RSS输出的结构化感知数据和所述真值数据，进一步包括，计算：

目标漏检率＝1-待测RSS检出的目标或事件数/真值数据中的目标或事件数。

7.如权利要求1～4任意一项所述的方法，其特征在于，

所述比较待测RSS输出的结构化感知数据和所述真值数据，进一步包括，计算：

RSS输出的结构化感知数据中的状态参数的离散时序列和真值数据中的状态参数的离散时间序列之间的距离。

8.如权利要求7所述方法，其特征在于

所述状态参数包含以下至少一个：目标大小、位置、速度、航向角、加速度、轨迹。

9.一种用于路侧感知系统评测的真值系统，实现权利要求1～8任意一项所述方法，其特征在于，包括真值感知设备组、服务器；

所述真值感知设备组至少包含高线速激光雷达、高清摄像头、毫米波雷达；

所述服务器包含数据采集模块、智能处理模块、真值存储模块、RSS测评模块；

所述数据采集模块，用于融合所述真值感知设备组输出的图像、视频、点云数据；

所述智能处理模块，用于对真值感知设备组回传的原始数据进行处理，完成目标类型识别和目标轨迹识别，完成感知数据标注；

所述真值存储模块，用于备份真值数据；

所述RSS测评模块，用于比较待测RSS输出的结构化感知数据和所述真值数据，输出感知性能的统计评测结果。

10.如权利要求9所述用于路侧感知系统评测的真值系统，其特征在于，

所述感知设备组与待测RSS复用杆架资源部署。