CN117470138A - 车辆前方路面不平整处测量方法及装置 - Google Patents

Abstract

本公开提供了一种车辆前方路面不平整处测量方法及装置，通过结合双目视觉感知和单目视觉感知，融合计算得到车辆前方路面不平整处的距离测量结果，实现了对路面不平整处的提前感知，并得到路面不平整处的精确距离数值，为悬架的智能调节提供数据基础，可用于提高车辆驾驶的舒适性。

Description

车辆前方路面不平整处测量方法及装置

技术领域

本公开设计图像分析领域，尤其涉及一种车辆前方路面不平整处测量方法及装置。

背景技术

现有的车辆路面感知方法，无法做到提前感知前方路面的高低起伏，也不能识别减速带与坑洼等障碍的高度深度信息。

发明内容

有鉴于此，本公开的目的在于提出一种车辆前方路面不平整处测量方法及装置。

基于上述目的，本公开提供了一种车辆前方路面不平整处测量方法，包括：

采集车辆前方路面的双目视觉图像；

识别双目视觉图像中的路面不平整处对应的第一区域；

根据第一区域的图像，得到路面不平整处的双目估计距离和双目测量距离；

采集车辆前方路面的单目视觉图像；

根据双目估计距离，确定路面不平整处在单目视觉图像中对应的第二区域；

根据第二区域的图像，得到路面不平整处的单目测量距离；

对双目测量距离和单目测量距离进行融合计算，得到路面不平整处的距离测量结果。

在一些实施方式中，识别双目视觉图像中的路面不平整处对应的第一区域，包括：

将双目视觉图像输入预先训练好的图像识别器，识别第一区域；其中，图像识别器是将预先采集到的多组具有路面不平整处的双目视觉图像作为训练集，进行深度学习后得到的。

在一些实施方式中，得到路面不平整处的双目估计距离，包括：

将第一区域的图像代入采集双目视觉图像的双目摄像头的内参数矩阵和外参数矩阵，计算得到路面不平整处的双目估计距离；其中，双目摄像头的内参数矩阵和外参数矩阵是预先对双目摄像头进行摄像头标定得到的。

在一些实施方式中，得到路面不平整处的双目测量距离，包括：

将第一区域的图像输入双目深度估计算法，输出双目测量距离；其中，双目估计算法是将预先采集到的多组双目视觉图像作为训练集进行深度学习后得到的。

在一些实施方式中，根据双目估计距离，确定路面不平整处在单目视觉图像中对应的第二区域，包括：

将双目估计距离代入采集单目视觉图像的单目摄像头的内参数矩阵和外参数矩阵，计算得到第二区域；其中，单目摄像头的内参数矩阵和外参数矩阵是预先对单目摄像头进行摄像头标定得到的。

在一些实施方式中，对双目测量距离和单目测量距离进行融合计算，得到路面不平整处的距离测量结果，包括：

对双目测量距离和单目测量距离进行权重分配，根据权重分配进行加权计算，得到路面不平整处的距离测量结果。

在一些实施方式中，还包括：

根据距离测量结果与实际标定距离之间的误差更新权重分配。

在一些实施方式中，在识别双目视觉图像中的路面不平整处对应的第一区域之后还包括：

提取路面不平整处在第一区域中的对应图像；

在对应图像的左视图和右视图中分别检测特征点；

对对应图像的左视图和右视图中检测到的特征点进行一对一匹配；

对进行特征点匹配后的对应图像进行图像校正。

在一些实施方式中，在采集车辆前方路面的单目视觉图像之后还包括：

对单目视觉图像进行图像校正。

根据本公开的另一方面，本公开还提供了一种车辆前方路面不平整处测量装置，包括：

双目视觉图像采集模块，用于采集车辆前方路面的双目视觉图像；

图像识别模块，用于识别双目视觉图像中的路面不平整处对应的第一区域；

双目视觉图像计算模块，用于根据第一区域的图像，得到路面不平整处的双目估计距离和双目测量距离；

单目视觉图像采集模块，用于采集车辆前方路面的单目视觉图像；

区域确定模块，用于根据双目估计距离，确定路面不平整处在单目视觉图像中对应的第二区域；

单目视觉图像计算模块，用于根据第二区域的图像，得到路面不平整处的单目测量距离；

测量结果计算模块，用于对双目测量距离和单目测量距离进行融合计算，得到路面不平整处的距离测量结果。

根据本公开的另一方面，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法。

根据本公开的另一方面，本公开还提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行上述方法。

根据本公开的另一方面，本公开还提供了一种车辆，包括上述的车辆前方路面不平整处测量装置。

从上面所述可以看出，本公开提供的车辆前方路面不平整处测量方法及装置，通过结合双目视觉感知和单目视觉感知，融合计算得到车辆前方路面不平整处的距离测量结果，实现了对路面不平整处的提前感知，并得到路面不平整处的精确距离数值，为悬架的智能调节提供数据基础，可用于提高车辆驾驶的舒适性。

附图说明

为了更清楚地说明公开的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例的车辆前方路面不平整处测量方法的流程示意图；

图2为本公开实施例的车辆前方路面不平整处测量装置的结构示意图；

图3为本公开实施例的电子设备的硬件结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

随着自动驾驶技术的发展，人们对与自动驾驶相关的技术的要求也相应提高，其中，针对车辆行驶路面的感知是相关技术的重要组成部分之一，涉及到自动驾驶的安全性与舒适性。

现有的车辆路面感知方法主要是针对车辆前方的路面不平顺度进行检测，获取前方道路的高低起伏，然后对悬架和车辆进行控制调节，以适应路面。在针对复杂路面时，相关技术主要是用车载IMU(Inertial Measurement Unit，惯性测量单元)传感器感受到车辆颠簸等变化，然后进行毫秒级响应，对悬架进行软硬调节。

但这种应用IMU传感器的相关技术具有滞后性，在车辆行驶到路面的不平整处(如减速带、坑洼等障碍)之后才进行调节，无法对前方路面进行提前感知，并进行预先调节来适应前方路面；且车辆在不平整处的行驶时间通常较短，相对应的，相关技术的悬架调节时间也较短，无法将悬架调节到完全适应路面不平整处的理想状态，调解效果不佳。

且相关技术不能对前方路面的不平整处进行高/深度的具体信息测量，无法根据不平整处的具体数据对悬架进行精确调节。

常用的车辆路面感知方法还有使用视觉传感进行路面状况的提前感知，但相关技术均为单独使用双目视觉感知或单独使用单目视觉感知，虽然这些方法可以对前方路面进行提前感知，但得到的高/深度信息具有较大误差，难以将信息数据应用于悬架的精确调节中。

基于相关技术上述的无法提前感知、无法得到不平整处的具体数据、误差较大等技术问题，本公开提出了一种基于多目视觉感知的车辆前方路面不平整处方法。

本公开同时使用双目视觉感知与单目视觉感知对车辆前方的路面信息进行感知，然后融合两个视觉传感器的感知数据，获得相对于单个视觉传感器精度更高的前方路面的不平整处的高/深度信息。该高/深度信息为悬架的智能精确调节提供数据基础，可用于提高车辆驾驶的安全性与舒适性。

首先，本公开实施例提供了一种车辆前方路面不平整处测量方法，该测量方法基于多目视觉感知，可以包括双目视觉感知、单目视觉感知和融合计算三个部分。

参考图1，本实施例的车辆前方路面不平整处测量方法，可以包括以下步骤：

其中，双目视觉感知部分可以包括步骤101-104：

步骤101、采集车辆前方路面的双目视觉图像。

本实施例中，利用双目摄像头对车辆前方道路进行图像采集，得到车辆前方路面的双目视觉图像，双目视觉图像具有左视图与右视图，对左视图和右视图进行双目图像处理后可得到图像中物体的三维信息。

本实施例中，双目摄像头设置于车辆的前方位置，且双目摄像头的两个镜头均朝向车辆的前方；双目摄像头可以设置于车内后视镜上，也可以设置于前挡风玻璃上，双目摄像头可以为数字摄像头，也可以为模拟摄像头，对于双目摄像头的具体位置和摄像头类型，本公开实施例中不做限定。

步骤102、识别双目视觉图像中的路面不平整处对应的第一区域。

本实施例中，对采集到的双目视觉图像进行图像识别来识别出双目视觉图像中的路面不平整处对应的第一区域，对第一区域中的图像进行后续处理与计算，避免对不包含路面不平整处的图像进行处理计算导致的算力和时间浪费。

本实施例中，使用基于物体识别算法的图像识别器对路面不平整处进行图像识别。

作为一个可选的实施例，物体识别算法可以使用YOLO(YouOnlyLookOnce)系列算法。

将双目视觉图像输入预先训练好的基于YOLO系列算法的图像识别器，识别包含路面不平整处的第一区域；其中，图像识别器是将预先采集到的多组具有路面不平整处的双目视觉图像作为训练集，并基于YOLO系列算法进行深度学习后得到的。

YOLO系列算法包括YOLOv1、YOLOv1、YOLOv1、YOLOv1、YOLOv1及其衍生的YOLOF、YOLOX等算法。

作为另一个可选的实施例，物体识别算法可以使用FasterRCNN算法。

将双目视觉图像输入预先训练好的基于FasterRCNN算法的图像识别器，识别包含路面不平整处的第一区域；其中，图像识别器是将预先采集到的多组具有路面不平整处的双目视觉图像作为训练集，并基于FasterRCNN算法进行深度学习后得到的。

步骤103、根据第一区域的图像，得到路面不平整处的双目估计距离。

本实施例中，基于视觉标定对第一区域的图像进行空间标定，得到第一区域中的路面不平整处与车辆之间的水平距离以及路面不平整处的高/深度距离；因为该步骤通过数学计算进行空间标定，计算的准确度依赖于预先对摄像头进行的摄像头标定的准确度，但双目摄像头两个镜头之间的距离对摄像头标定具有较大的影响，所以通过该计算得到的距离为双目估计距离，不在后续的融合计算中使用。

具体实施时，将第一区域的图像代入双目摄像头的内参数矩阵和外参数矩阵，计算得到路面不平整处的双目估计距离；其中，双目摄像头的内参数矩阵和外参数矩阵是预先对双目摄像头进行摄像头标定得到的。

摄像头标定具有多种方法，本实施例中，对双目摄像头进行标定时，选择得到广泛使用的张正友标定法。

步骤104、根据第一区域的图像，得到路面不平整处的双目测量距离。

本实施例中，通过双目深度估计算法得到路面不平整处的精确的测量距离信息。

具体实施时，将第一区域的图像输入双目深度估计算法，输出双目测量距离；其中，双目估计算法是将预先采集到的多组双目视觉图像作为训练集进行深度学习后得到的。

进行深度学习得到双目估计算法可以包括以下步骤：

对预先采集到的多组双目视觉图像中的每张双目视觉图像的左视图像和右视图像，依次进行特征识别、特征提取，然后将对应的左视图像和右视图像进行特征匹配，匹配完成后进行代价函数计算，并求解代价函数最优解，再进行后处理和精细匹配修正，得到双目深度估计算法。

单目视觉感知部分可以包括步骤201-203：

步骤201、采集车辆前方路面的单目视觉图像。

本实施例中，利用单目摄像头对车辆前方路面图像进行采集，得到车辆前方路面的单目视觉图像。

本实施例中，单目摄像头设置于车辆的前方位置，且单目摄像头的镜头朝向车辆的前方，单目摄像头可以设置于底盘上，也可以设置于前进气格栅上，单目摄像头可以为数字摄像头，也可以为模拟摄像头，对于单目摄像头的具体位置和摄像头类型，本公开实施例中不做限定。

步骤202、根据双目估计距离，确定路面不平整处在单目视觉图像中对应的第二区域。

本实施例中，基于标定距离对应方法，根据双目估计距离找到在单目视觉图像中的对应像素点集合，该像素点集合确定的区域即为路面不平整处在单目视觉图像中对应的第二区域。通过标定距离对应方法直接确定第二区域的位置，避免再次使用图像识别算法。

具体实施时，将双目估计距离中的路面不平整处与车辆之间的水平距离代入单目摄像头的内参数矩阵和外参数矩阵，计算得到第二区域；其中，单目摄像头的内参数矩阵和外参数矩阵是预先对单目摄像头进行摄像头标定得到的。

摄像头标定具有多种方法，本实施例中，对单目摄像头进行标定时，选择得到广泛使用的张正友标定法。

步骤203、根据第二区域的图像，得到路面不平整处的单目测量距离。

本实施例中，基于像素空间映射，根据路面不平整处在单目视觉图像中的对应区域的像素对实际距离进行映射，得到单目测量距离；由计算关系可知，单目测量距离中的路面不平整处与车辆之间的水平距离部分与双目估计距离中的该部分相同。

具体实施时，将第二区域的图像代入单目摄像头的内参数矩阵和外参数矩阵，计算得到路面不平整处的单目测量距离；其中，单目摄像头的内参数矩阵和外参数矩阵是预先对单目摄像头进行摄像头标定得到的。

融合计算部分可以包括：步骤301、对双目测量距离和单目测量距离进行融合计算，得到路面不平整处的距离测量结果。

通过融合计算综合考虑双目视觉感知结果和单目视觉感知结果，提高得到的距离测量结果的准确度，减小误差。

在一些实施例中，进行融合计算时，对双目测量距离和单目测量距离进行权重分配，根据权重分配进行加权计算，得到路面不平整处的距离测量结果。

当检测到的前方物体为减速带等高出路面的障碍时，经验证，双目测量距离中的水平距离数据更为准确，单目测量距离中的高度数据更为准确，计算高度信息时分配给单目测量距离的权重较大；当检测到的前方物体为坑洼等低于路面的障碍时，经验证，单目测量距离中的水平距离数据更为准确，双目测量距离中的深度距离更为准确，计算深度信息时分配给双目测量距离的权重较大。

具体实施时，根据距离测量结果与实际标定距离之间的误差更新权重分配。

初始权重分配后，计算得到的距离测量结果相对于实际标定距离仍会存在一定误差，需要对权重分配进行修正。因此，通过机器学习的方式，根据距离测量结果与实际标定距离之间的误差更新权重分配，对其进行修正，使权重分配后的距离测量结果更接近实际标定距离，提高计算结果的准确度。

作为一个可选的实施例，本公开实施例还提供了在识别双目视觉图像中的路面不平整处对应的第一区域之后，对其进行图像处理来提高后续计算的精度的方法，包括以下步骤：

S1、提取路面不平整处在第一区域中的对应图像。

基于物体识别算法得到的第一区域为一个包含路面不平整处和其邻近区域的闭合区域，本实施例中，对第一区域中的路面不平整处进行进一步提取，对提取得到的对应图像进行后续图像处理，去除图像中的无用信息，提高处理效率。

具体实施时，可以通过ROI(regionofinterest，感兴趣区域)提取算法将路面不平整处的图像从双目视觉图像中提取出来。

ROI提取算法步骤可简述为：选中第一区域，并基于边缘检测法，边界跟踪法等轮廓识别算法对第一区域中的路面不平整处进行轮廓识别。对识别到的轮廓及其包围部分进行范围选择，即为提取出来的路面不平整处在第一区域中的对应图像。

S2、在对应图像的左视图和右视图中分别检测特征点。

特征点指的是图像中含有丰富局部信息的点，多位于图像中拐点、纹理发生剧烈变化的位置，在本步骤中，检测特征点并用于后续图像匹配。

本实施例中，可以基于SIFT(Scale-invariant feature transform，尺度不变特征变换)算法或深度学习特征点检测算法等特征点检测方法，在对应图像的左视图和右视图分别进行特征点检测，检测出一一对应的特征点。

S3、将对应图像的左视图和右视图中检测到的特征点进行一对一匹配。

本实施例中，可以基于SIFT算法或SURF(Speeded Up Robust Features,加速稳健特征)算法对对应图像的左视图和右视图中检测到的一一对应的特征点进行一对一匹配。部分时候，可能会存在匹配不正确的情况，此时可以对使用算法进行更换来使图像匹配正确。

S4、对进行特征点匹配后的对应图像进行图像校正。

本实施例中，可以使用去畸变算法、去重影算法等图像校正算法对特征点匹配后的对应图像进行图像校正，消除误差，使后续计算更为准确。

作为一个可选的实施例，本公开实施例还提供了在采集单目视觉图像之后，对其进行图像处理来提高后续计算的精度的方法：对单目视觉图像进行图像校正。

本实施例中，可以使用去畸变算法、图像空间变化算法等图像校正算法对单目视觉图像进行图像校正，消除误差，使后续计算更为准确。

从上述实施例可以看出，本公开提供的车辆前方路面不平整处测量方法，通过结合双目视觉感知和单目视觉感知，融合计算得到路面不平整处的距离测量结果，实现了对路面不平整处的提前感知，并得到路面不平整处的精确距离数值，为悬架的智能调节提供数据基础，可用于提高车辆驾驶的舒适性。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种车辆前方路面不平整处测量装置。

参考图2，所述车辆前方路面不平整处测量装置，包括：

双目视觉图像采集模块401，用于采集车辆前方路面的双目视觉图像；

图像识别模块402，用于识别双目视觉图像中的路面不平整处对应的第一区域；

双目视觉图像计算模块403，用于根据第一区域的图像，得到路面不平整处的双目估计距离和双目测量距离；

单目视觉图像采集模块404，用于采集车辆前方路面的单目视觉图像；

区域确定模块405，用于根据双目估计距离，确定路面不平整处在单目视觉图像中对应的第二区域；

单目视觉图像计算模块406，用于根据第二区域的图像，得到路面不平整处的单目测量距离；

测量结果计算模块407，用于对双目测量距离和单目测量距离进行融合计算，得到路面不平整处的距离测量结果。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的车辆前方路面不平整处测量方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的车辆前方路面不平整处测量方法。

图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的车辆前方路面不平整处测量方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的车辆前方路面不平整处测量方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的车辆前方路面不平整处测量方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种车辆，包括上述实施例中的车辆前方路面不平整处测量装置。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (13)

1.一种车辆前方路面不平整处测量方法，包括：

采集车辆前方路面的双目视觉图像；

识别所述双目视觉图像中的路面不平整处对应的第一区域；

根据所述第一区域的图像，得到所述路面不平整处的双目估计距离和双目测量距离；

采集所述车辆前方路面的单目视觉图像；

根据所述双目估计距离，确定所述路面不平整处在所述单目视觉图像中对应的第二区域；

根据所述第二区域的图像，得到所述路面不平整处的单目测量距离；

对所述双目测量距离和所述单目测量距离进行融合计算，得到所述路面不平整处的距离测量结果。

2.如权利要求1所述的方法，其中，所述识别所述双目视觉图像中的路面不平整处对应的第一区域，包括：

将所述双目视觉图像输入预先训练好的图像识别器，识别所述第一区域；其中，所述图像识别器是将预先采集到的多组具有路面不平整处的双目视觉图像作为训练集，进行深度学习后得到的。

3.如权利要求1所述的方法，其中，所述得到所述路面不平整处的双目估计距离，包括：

将所述第一区域的图像代入采集所述双目视觉图像的双目摄像头的内参数矩阵和外参数矩阵，计算得到所述路面不平整处的双目估计距离；其中，所述双目摄像头的内参数矩阵和外参数矩阵是预先对所述双目摄像头进行摄像头标定得到的。

4.如权利要求1所述的方法，其中，所述得到所述路面不平整处的双目测量距离，包括：

将所述第一区域的图像输入双目深度估计算法，输出所述双目测量距离；其中，所述双目估计算法是将预先采集到的多组双目视觉图像作为训练集进行深度学习后得到的。

5.如权利要求1所述的方法，其中，所述根据所述双目估计距离，确定所述路面不平整处在单目视觉图像中对应的第二区域，包括：

将所述双目估计距离代入采集所述单目视觉图像的单目摄像头的内参数矩阵和外参数矩阵，计算得到所述第二区域；其中，所述单目摄像头的内参数矩阵和外参数矩阵是预先对所述单目摄像头进行摄像头标定得到的。

6.如权利要求1所述的方法，其中，所述对所述双目测量距离和所述单目测量距离进行融合计算，得到所述路面不平整处的距离测量结果，包括：

对所述双目测量距离和所述单目测量距离进行权重分配，根据所述权重分配进行加权计算，得到所述路面不平整处的距离测量结果。

7.如权利要求6所述的方法，其中，还包括：

根据所述距离测量结果与实际标定距离之间的误差更新所述权重分配。

8.如权利要求1所述的方法，其中，所述方法在识别所述双目视觉图像中的路面不平整处对应的第一区域之后还包括：

提取所述路面不平整处在所述第一区域中的对应图像；

在所述对应图像的左视图和右视图中分别检测特征点；

对所述对应图像的左视图和右视图中检测到的特征点进行一对一匹配；

对进行特征点匹配后的所述对应图像进行图像校正。

9.如权利要求1所述的方法，其中，所述方法在采集所述车辆前方路面的单目视觉图像之后还包括：

对所述单目视觉图像进行图像校正。

10.一种车辆前方路面不平整处测量装置，包括：

双目视觉图像采集模块，用于采集车辆前方路面的双目视觉图像；

图像识别模块，用于识别所述双目视觉图像中的路面不平整处对应的第一区域；

双目视觉图像计算模块，用于根据所述第一区域的图像，得到所述路面不平整处的双目估计距离和双目测量距离；

单目视觉图像采集模块，用于采集所述车辆前方路面的单目视觉图像；

区域确定模块，用于根据所述双目估计距离，确定所述路面不平整处在所述单目视觉图像中对应的第二区域；

单目视觉图像计算模块，用于根据所述第二区域的图像，得到所述路面不平整处的单目测量距离；

测量结果计算模块，用于对所述双目测量距离和所述单目测量距离进行融合计算，得到所述路面不平整处的距离测量结果。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至9中任意一项所述的方法。

12.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如权利要求1至9中任意一项所述的方法。

13.一种车辆，包括如权利要求10所述的车辆前方路面不平整处测量装置。