[go: up one dir, main page]

CN111208839A - 一种实时感知信息与自动驾驶地图的融合方法及系统 - Google Patents

一种实时感知信息与自动驾驶地图的融合方法及系统 Download PDF

Info

Publication number
CN111208839A
CN111208839A CN202010329502.4A CN202010329502A CN111208839A CN 111208839 A CN111208839 A CN 111208839A CN 202010329502 A CN202010329502 A CN 202010329502A CN 111208839 A CN111208839 A CN 111208839A
Authority
CN
China
Prior art keywords
map
road
obstacle
coordinate system
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010329502.4A
Other languages
English (en)
Other versions
CN111208839B (zh
Inventor
杨殿阁
江昆
焦新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010329502.4A priority Critical patent/CN111208839B/zh
Publication of CN111208839A publication Critical patent/CN111208839A/zh
Application granted granted Critical
Publication of CN111208839B publication Critical patent/CN111208839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种实时感知信息与自动驾驶地图的融合方法及系统，其包括：确定障碍物与地图中道路的关系；可行驶区域融合与边界状态分析；将障碍物与地图中道路的关系、可行驶区域融合与边界状态分析结果与地图本身的静态环境信息相结合，实现感知结果的集成输出。本发明过滤掉了道路外的障碍物，并明确了道路内的障碍物所在的车道以及其与该车道的位置角度关系，为运动预测提供了依据；根据地图信息剔除了感知得到的可行驶区域中不合理的部分，并得到了边界的语义类别与速度。至此，各种环境元素在地图平台上得到了联系和整合。

Description

一种实时感知信息与自动驾驶地图的融合方法及系统
技术领域
本发明涉及一种自动驾驶技术领域，特别是关于一种实时感知信息与自动驾驶地图的融合方法及系统。
背景技术
自动驾驶是一个高度复杂的集成系统，高级别自动驾驶需要完整而鲁棒的环境感知、决策规划和车辆控制。环境感知技术是整个系统的基础，目前技术的检测率、准确度等还远不能达到安全性要求，因此利用地图提供先验信息辅助实时感知，已经逐渐成为业界共识。自动驾驶地图提供大量的高精度先验静态信息，如道路边界、路面形状、车道线、交通标志、固定障碍物等，而实时感知则主要提供动态信息。
实际上，地图信息和实时感知信息并不是简单的静态和动态的叠加关系，实时感知可以得到很多静态信息，自动驾驶地图也隐含了许多动态信息的运动规律，同时，静态信息和动态信息的关系也是环境理解的重要内容。现有研究中，一些是简单地合并地图信息和实时感知信息，也有一些从某一个方面实现两者信息的融合，如定位、可行驶区域、参考路径等，但并未全面彻底地揭示并利用各种元素之间的联系。
发明内容
针对现有研究中对自动驾驶地图与实时感知信息的联系考虑的不足，本发明的目的是提供一种实时感知信息与自动驾驶地图的融合方法及系统，其能实现各种环境元素在地图平台上的联系和整合。
为实现上述目的，本发明采取以下技术方案：一种实时感知信息与自动驾驶地图的融合方法，其包括以下步骤：1）进行地图匹配定位，给出自车在地图坐标系中的位置，并明确自车坐标系与地图坐标系间的关系；2）确定障碍物与地图中道路的关系；实时感知到的障碍物信息，根据与道路的关系分为三类：道路内目标、道路外目标和道路边界目标；其中，道路内目标，应确认其所位于的车道；根据地图匹配定位时给出的自车坐标系与地图坐标系的关系，将障碍物信息与地图信息进行比对，得到障碍物与道路关系；障碍物与地图中道路的关系分为两种情况：2.1）三维传感器检测到的障碍物：这类传感器能直接检测得到障碍物在自车坐标系内的运动状态，利用自车坐标系与地图坐标系之间的关系，将障碍物位置转移到地图上，从而与地图进行比对；2.2）单目视觉传感器在图像平面内检测到的障碍物：这种传感器得到的是地图坐标系在图像坐标系上的平面投影，通过标定矩阵，将地图中的道路边界和车道线投影到图像中，再与图像中的障碍物进行对比，判断障碍物与道路关系，并得到障碍物所在的车道；3）可行驶区域融合与边界状态分析；4）将步骤2）、步骤3）与地图本身的静态环境信息相结合，实现感知结果的集成输出。
进一步，所述步骤2）中，利用地图匹配定位结果，将实时感知到的障碍物转到地图坐标系中，以障碍物为目标，根据道路边界对目标进行筛选，对道路边界内部的目标，判断其位于哪个车道，并明确其与该车道的关系，得到融合地图信息后的动静态目标。
进一步，所述障碍物与道路的关系按下式计算：
Figure 100002_DEST_PATH_IMAGE001
（1）
式中，
Figure 224223DEST_PATH_IMAGE002
为道路左边界；
Figure 100002_DEST_PATH_IMAGE003
为道路右边界；o为障碍物；dist为距离函数。
进一步，若未观测到障碍物形状，则按照其位置，计算到车道线的距离；若观测到障碍物形状，则针对包围盒各顶点计算到车道线距离，若符号全部相同，则取数值上最小者；若符号不完全相同，则取为0，如下式所示：
Figure 423123DEST_PATH_IMAGE004
（2）
式中，d为点到直线距离函数，l为车道线，p为障碍物位置，v i 为障碍物顶点，i的取值范围为1至n的整数，n为障碍物顶点数。
进一步，对道路内目标判断其所位于的车道时，逐一检查各车道，以给定车道的左右边界代替公式（1）中的道路左右边界，即可判断目标是否位于该车道，直至找到某条车道，使该目标位于此车道边界内或边界上；对于道路内目标，进一步计算出其与该车道的关系：根据障碍物朝向与车道线朝向，判断障碍物朝向相对于车道中心线朝向的偏转角；根据障碍物位置、形状与车道线，利用公式（2）计算其到左右车道线的距离。
进一步，将地图中的道路边界和车道线投影到图像中，公式为：
Figure 100002_DEST_PATH_IMAGE005
式中，
Figure 154319DEST_PATH_IMAGE006
，
Figure 100002_DEST_PATH_IMAGE007
，
Figure 147682DEST_PATH_IMAGE008
为自车坐标系内坐标，m qj 为相机参数矩阵的元素，q=0、1、2，j=1、2、3、4；u，v分别为图像像素横、纵坐标，Z为相机光心高度。
进一步，所述步骤3）中，针对可行驶区域，将实时感知得到的可行驶区域与地图提供的可行驶区域进行融合，并根据实时感知障碍物信息，分段判断可行驶区域边界的状态，得到边界语义以及速度信息。
进一步，通过激光雷达或视觉传感器的地面连通区域分割，实现可行驶区域的实时感知；利用地图提供的道路边界，以及停止线、实线这些交通规则不可跨越的边界，缩减可行驶区域的范围；同时，结合障碍物信息，明确可行驶区域边界的语义以及速度。
一种实时感知信息与自动驾驶地图的融合系统，其包括地图匹配定位模块、关系确定模块、分析模块和输出模块；所述地图匹配定位模块用于进行地图匹配定位，给出自车在地图坐标系中的位置，并明确自车坐标系与地图坐标系间的关系；所述关系确定模块用于确定障碍物与地图中道路的关系；实时感知到的障碍物信息，根据与道路的关系分为三类：道路内目标、道路外目标和道路边界目标；其中，道路内目标，应确认其所位于的车道；根据地图匹配定位时给出的自车坐标系与地图坐标系的关系，将障碍物信息与地图信息进行比对，得到障碍物与道路关系；障碍物与地图中道路的关系分为两种情况：（1）三维传感器检测到的障碍物：这类传感器能直接检测得到障碍物在自车坐标系内的运动状态，利用自车坐标系与地图坐标系之间的关系，将障碍物位置转移到地图上，从而与地图进行比对；（2）单目视觉传感器在图像平面内检测到的障碍物：这种传感器得到的是地图坐标系在图像坐标系上的平面投影，通过标定矩阵，将地图中的道路边界和车道线投影到图像中，再与图像中的障碍物进行对比，判断障碍物与道路关系，并得到障碍物所在的车道；所述分析模块对可行驶区域融合与边界状态进行分析；所述输出模块将所述关系确定模块、分析模块的结果与地图本身的静态环境信息相结合，实现感知结果的集成输出。
进一步，所述分析模块中，针对可行驶区域，将实时感知得到的可行驶区域与地图提供的可行驶区域进行融合，并根据实时感知障碍物信息，分段判断可行驶区域边界的状态，得到边界语义以及速度信息。
本发明由于采取以上技术方案，其具有以下优点：本发明过滤掉了道路外的障碍物，并明确了道路内的障碍物所在的车道以及其与该车道的位置角度关系，为运动预测提供了依据；根据地图信息剔除了感知得到的可行驶区域中不合理的部分，并得到了边界的语义类别与速度。至此，各种环境元素在地图平台上得到了联系和整合。
附图说明
图1是本发明的整体方法流程示意图。
图2是地图坐标下障碍物与道路关系判断示意图。
图3是地图坐标下障碍物与所在车道关系判断示意图。
图4是图像坐标下障碍物与道路及车道关系判断示意图。
图5是可行驶区域融合与边界状态分析示意图。
具体实施方式
本发明包括障碍物与地图中道路的关系、可行驶区域融合与边界状态分析两个部分。地图匹配定位技术是本发明的基础，该技术可以通过实时感知静态信息与地图比对，得到更为精确的自车状态，明确自车与道路的关系并统一坐标系。下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本发明提供一种实时感知信息与自动驾驶地图的融合方法，其包括以下步骤：
1）进行地图匹配定位，给出自车在地图坐标系中的位置，并明确自车坐标系与地图坐标系间的关系；
地图匹配定位已有较多现有成熟技术，在此不再赘述，采用现有方法即可。
2）确定障碍物与地图中道路的关系：利用地图匹配定位结果，将实时感知到的障碍物转到地图坐标系中，以障碍物为目标，根据道路边界对目标进行筛选，对道路边界内部的目标，判断其位于哪个车道，并明确其与该车道的关系，得到融合地图信息后的动静态目标。
其中，实时感知到的障碍物信息，根据与道路的关系可以分为三类：道路内目标、道路外目标和道路边界目标：
道路外目标与驾驶无关，可以删除，道路外目标则被滤除，不再出现在最终的集成感知结果中。
道路内目标，还应进一步确认其所位于的车道；由于在地图匹配定位时给出了自车坐标系与地图坐标系的关系（即两个坐标系的三维旋转平移矩阵），可以据此将障碍物信息与地图信息进行比对，得到障碍物与道路关系。
障碍物与地图中道路的关系具体确定可以分为两种情况：
2.1）毫米波雷达、激光雷达、多目立体视觉等三维传感器检测到的障碍物。
这类传感器能直接检测得到障碍物在自车坐标系内的位置、朝向、速度等运动状态，利用自车坐标系与地图坐标系之间的关系，即可将障碍物位置转移到地图上，从而与地图进行比对。
例如，如图2所示，左侧道路边界为护栏，则护栏左侧的对向车道上的障碍物不会影响到本车驾驶，属于道路外目标，将其滤除。右侧道路边界和人行道路沿都会产生毫米波雷达回波并输出为目标，结合地图即可确认它们属于道路边界目标。余下的点位于车行道或人行道上，则为道路内目标，根据其位置即可判断出其位于哪条车道。
障碍物与道路的关系按下式计算：
Figure 964329DEST_PATH_IMAGE001
（1）
式中，
Figure 701340DEST_PATH_IMAGE002
为道路左边界；
Figure 238108DEST_PATH_IMAGE003
为道路右边界；o为障碍物；dist为距离函数，规定左侧为正，右侧为负，若到左右边界距离乘积小于零则位于道路内部，等于零则位于边界上，大于零则位于道路外部。
若未观测到障碍物形状，则按照其位置，计算到车道线的距离；若观测到障碍物形状，则针对包围盒各顶点计算到车道线距离，若符号全部相同，则取数值上最小者；若符号不完全相同，则取为0，如下式所示：
Figure DEST_PATH_IMAGE011
（2）
式中，d为点到线距离函数，l为车道线，p为障碍物位置，v i 为障碍物顶点，i的取值范围为1至n的整数，n为障碍物顶点数。
对道路内目标判断其所位于的车道时，逐一检查各车道，以给定车道的左右边界代替公式（1）中的道路左右边界，即可判断目标是否位于该车道，直至找到某条车道，使该目标位于此车道边界内或边界上。
对于道路内目标，进一步计算出其与该车道的关系。如图3所示，根据障碍物朝向与车道线朝向，判断障碍物朝向相对于车道中心线朝向的偏转角。根据障碍物位置、形状与车道线，利用公式（2）计算障碍物到左车道线的距离
Figure 31282DEST_PATH_IMAGE012
、到右车道线的距离
Figure DEST_PATH_IMAGE013
。这些信息对目标未来的运动状态预测提供了依据。
2.2）单目视觉传感器在图像平面内检测到的障碍物。
这种传感器得到的是地图坐标系在图像坐标系上的平面投影，因此不具有三维尺度信息，不能通过图像平面内的障碍物还原出其在地图坐标系中的位置和形状。但是，通过标定矩阵，可以将地图中的道路边界和车道线投影到图像中，再与图像中的障碍物进行对比，判断障碍物与道路关系，并得到障碍物所在的车道。
将地图中的道路边界和车道线投影到图像中，公式为：
Figure 306405DEST_PATH_IMAGE014
（3）
式中，
Figure 949876DEST_PATH_IMAGE006
，
Figure 144097DEST_PATH_IMAGE007
，
Figure 873019DEST_PATH_IMAGE008
为自车坐标系下的坐标，m qj 为相机参数矩阵的元素，其中q=0、1、2，j=1、2、3、4。u，v分别为图像像素横、纵坐标，Z为参数（相机光心高度），可由（3）矩阵的第三行求出。将道路边界和车道线的采样点通过公式（3）转换到图像坐标，即可得到道路边界和车道线在图像坐标中的投影。
如图4所示，给出了一个根据图像平面内地图投影与图像平面内障碍物信息判断障碍物与道路车道关系的实施例。基于图像的障碍物检测算法若只能给出2D包围框（如障碍物1、2、3），则可以根据2D包围框底边（即接地线）判断其是否位于道路边界内，针对道路边界内的目标还可判断其所在车道，以底边两个顶点作为公式（2）中的顶点，在像素坐标内应用公式（1）（2），即可判断道路边界内目标所在的车道以及其与车道的相对位置关系。
但在看到障碍物侧、后两个面时，2D包围框不能将其区分，因此利用2D包围框底边将造成误差。若检测算法能给出3D障碍物投影信息（如障碍物4），则可以根据其侧边与底边的3个顶点（即图中A、B、C点），应用公式（1）（2）判断目标所在的车道以及其与车道的相对位置关系。
3）可行驶区域融合与边界状态分析：针对可行驶区域，将实时感知得到的可行驶区域与地图提供的可行驶区域进行融合，并根据实时感知障碍物信息，分段判断可行驶区域边界的状态，得到边界语义以及速度信息。
具体融合方法为：通过激光雷达或视觉传感器的地面连通区域分割，可以实现可行驶区域的实时感知。并利用地图提供的道路边界，以及停止线、实线等交通规则约束所形成的不可跨越的虚拟边界，可以缩减可行驶区域的范围；同时，结合障碍物信息，明确可行驶区域边界的语义（指边界的类型）以及速度。
如图5所示，考虑交通规则约束的虚拟边界，将感知得到的可行驶区域的范围收窄。同时给分段边界的部分边界段赋予了语义信息，即路沿护栏等形成的道路物理边界、交通规则边界，其边界速度为0。同时，与实时感知障碍物融合，明确哪些边界段由动态障碍物形成，同时以动态障碍物速度为可行驶区域边界速度。余下的边界段则为传感器探测边界形成，边界速度为0，至此完成了全部边界段的语义和速度划分。
4）将步骤2）、步骤3）与地图本身的静态环境信息相结合，实现感知结果的集成输出：
利用环境中各种元素之间的关联，经过障碍物与道路关系、可行驶区域融合与边界状态分析，实时感知与地图信息实现了融合。过滤掉了道路外的障碍物，并明确了道路内的障碍物所在的车道以及其与该车道的位置角度关系，为运动预测提供了依据；根据地图信息剔除了感知得到的可行驶区域中不合理的部分，并得到了边界的语义类别与速度。至此，各种环境元素在地图平台上得到了联系和整合。
本发明还提供一种实时感知信息与自动驾驶地图的融合系统，其包括地图匹配定位模块、关系确定模块、分析模块和输出模块；
地图匹配定位模块用于进行地图匹配定位，给出自车在地图坐标系中的位置，并明确自车坐标系与地图坐标系间的关系；
关系确定模块用于确定障碍物与地图中道路的关系；实时感知到的障碍物信息，根据与道路的关系分为三类：道路内目标、道路外目标和道路边界目标；其中，道路内目标，应确认其所位于的车道；根据地图匹配定位时给出的自车坐标系与地图坐标系的关系，将障碍物信息与地图信息进行比对，得到障碍物与道路关系；
障碍物与地图中道路的关系分为两种情况：
（1）三维传感器检测到的障碍物：这类传感器能直接检测得到障碍物在自车坐标系内的运动状态，利用自车坐标系与地图坐标系之间的关系，将障碍物位置转移到地图上，从而与地图进行比对；
（2）单目视觉传感器在图像平面内检测到的障碍物：这种传感器得到的是地图坐标系在图像坐标系上的平面投影，通过标定矩阵，将地图中的道路边界和车道线投影到图像中，再与图像中的障碍物进行对比，判断障碍物与道路关系，并得到障碍物所在的车道；
分析模块对可行驶区域融合与边界状态进行分析；
输出模块将所述关系确定模块、分析模块的结果与地图本身的静态环境信息相结合，实现感知结果的集成输出。
上述实施例中，在分析模块中，针对可行驶区域，将实时感知得到的可行驶区域与地图提供的可行驶区域进行融合，并根据实时感知障碍物信息，分段判断可行驶区域边界的状态，得到边界语义以及速度信息。
上述各实施例仅用于说明本发明，各个步骤都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别步骤进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (10)

1.一种实时感知信息与自动驾驶地图的融合方法，其特征在于包括以下步骤：
1）进行地图匹配定位，给出自车在地图坐标系中的位置，并明确自车坐标系与地图坐标系间的关系；
2）确定障碍物与地图中道路的关系；
实时感知到的障碍物信息，根据与道路的关系分为三类：道路内目标、道路外目标和道路边界目标；其中，道路内目标，应确认其所位于的车道；根据地图匹配定位时给出的自车坐标系与地图坐标系的关系，将障碍物信息与地图信息进行比对，得到障碍物与道路关系；
障碍物与地图中道路的关系分为两种情况：
2.1）三维传感器检测到的障碍物：这类传感器能直接检测得到障碍物在自车坐标系内的运动状态，利用自车坐标系与地图坐标系之间的关系，将障碍物位置转移到地图上，从而与地图进行比对；
2.2）单目视觉传感器在图像平面内检测到的障碍物：这种传感器得到的是地图坐标系在图像坐标系上的平面投影，通过标定矩阵，将地图中的道路边界和车道线投影到图像中，再与图像中的障碍物进行对比，判断障碍物与道路关系，并得到障碍物所在的车道；
3）可行驶区域融合与边界状态分析；
4）将步骤2）、步骤3）与地图本身的静态环境信息相结合，实现感知结果的集成输出。
2.如权利要求1所述融合方法，其特征在于：所述步骤2）中，利用地图匹配定位结果，将实时感知到的障碍物转到地图坐标系中，以障碍物为目标，根据道路边界对目标进行筛选，对道路边界内部的目标，判断其位于哪个车道，并明确其与该车道的关系，得到融合地图信息后的动静态目标。
3.如权利要求1所述融合方法，其特征在于：所述障碍物与道路的关系按下式计算：
Figure DEST_PATH_IMAGE001
（1）
式中，
Figure 543294DEST_PATH_IMAGE002
为道路左边界；
Figure DEST_PATH_IMAGE003
为道路右边界；o为障碍物；dist为距离函数。
4.如权利要求3所述融合方法，其特征在于：若未观测到障碍物形状，则按照其位置，计算到车道线的距离；若观测到障碍物形状，则针对包围盒各顶点计算到车道线距离，若符号全部相同，则取数值上最小者；若符号不完全相同，则取为0，如下式所示：
Figure 100659DEST_PATH_IMAGE004
（2）
式中，d为点到直线距离函数，l为车道线，p为障碍物位置，v i 为障碍物顶点，i的取值范围为1至n的整数，n为障碍物顶点数。
5.如权利要求4所述融合方法，其特征在于：对道路内目标判断其所位于的车道时，逐一检查各车道，以给定车道的左右边界代替公式（1）中的道路左右边界，即可判断目标是否位于该车道，直至找到某条车道，使该目标位于此车道边界内或边界上；
对于道路内目标，进一步计算出其与该车道的关系：根据障碍物朝向与车道线朝向，判断障碍物朝向相对于车道中心线朝向的偏转角；根据障碍物位置、形状与车道线，利用公式（2）计算其到左右车道线的距离。
6.如权利要求1所述融合方法，其特征在于：将地图中的道路边界和车道线投影到图像中，公式为：
Figure DEST_PATH_IMAGE005
式中，
Figure 872306DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
，
Figure 885261DEST_PATH_IMAGE008
为自车坐标系内坐标，m qj 为相机参数矩阵的元素，q=0、1、2，j=1、2、3、4；u，v分别为图像像素横、纵坐标，Z为相机光心高度。
7.如权利要求1至6任一项所述融合方法，其特征在于：所述步骤3）中，针对可行驶区域，将实时感知得到的可行驶区域与地图提供的可行驶区域进行融合，并根据实时感知障碍物信息，分段判断可行驶区域边界的状态，得到边界语义以及速度信息。
8.如权利要求7所述融合方法，其特征在于：通过激光雷达或视觉传感器的地面连通区域分割，实现可行驶区域的实时感知；利用地图提供的道路边界，以及停止线、实线这些交通规则不可跨越的边界，缩减可行驶区域的范围；同时，结合障碍物信息，明确可行驶区域边界的语义以及速度。
9.一种实时感知信息与自动驾驶地图的融合系统，其特征在于，包括地图匹配定位模块、关系确定模块、分析模块和输出模块；
所述地图匹配定位模块用于进行地图匹配定位，给出自车在地图坐标系中的位置，并明确自车坐标系与地图坐标系间的关系；
所述关系确定模块用于确定障碍物与地图中道路的关系；实时感知到的障碍物信息，根据与道路的关系分为三类：道路内目标、道路外目标和道路边界目标；其中，道路内目标，应确认其所位于的车道；根据地图匹配定位时给出的自车坐标系与地图坐标系的关系，将障碍物信息与地图信息进行比对，得到障碍物与道路关系；
障碍物与地图中道路的关系分为两种情况：
（1）三维传感器检测到的障碍物：这类传感器能直接检测得到障碍物在自车坐标系内的运动状态，利用自车坐标系与地图坐标系之间的关系，将障碍物位置转移到地图上，从而与地图进行比对；
（2）单目视觉传感器在图像平面内检测到的障碍物：这种传感器得到的是地图坐标系在图像坐标系上的平面投影，通过标定矩阵，将地图中的道路边界和车道线投影到图像中，再与图像中的障碍物进行对比，判断障碍物与道路关系，并得到障碍物所在的车道；
所述分析模块对可行驶区域融合与边界状态进行分析；
所述输出模块将所述关系确定模块、分析模块的结果与地图本身的静态环境信息相结合，实现感知结果的集成输出。
10.如权利要求9所述融合系统，其特征在于：所述分析模块中，针对可行驶区域，将实时感知得到的可行驶区域与地图提供的可行驶区域进行融合，并根据实时感知障碍物信息，分段判断可行驶区域边界的状态，得到边界语义以及速度信息。
CN202010329502.4A 2020-04-24 2020-04-24 一种实时感知信息与自动驾驶地图的融合方法及系统 Active CN111208839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010329502.4A CN111208839B (zh) 2020-04-24 2020-04-24 一种实时感知信息与自动驾驶地图的融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010329502.4A CN111208839B (zh) 2020-04-24 2020-04-24 一种实时感知信息与自动驾驶地图的融合方法及系统

Publications (2)

Publication Number Publication Date
CN111208839A true CN111208839A (zh) 2020-05-29
CN111208839B CN111208839B (zh) 2020-08-04

Family

ID=70788965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329502.4A Active CN111208839B (zh) 2020-04-24 2020-04-24 一种实时感知信息与自动驾驶地图的融合方法及系统

Country Status (1)

Country Link
CN (1) CN111208839B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111912418A (zh) * 2020-07-16 2020-11-10 知行汽车科技（苏州）有限公司 删除移动载体不可行驶区域内障碍物的方法、装置及介质
CN112382085A (zh) * 2020-10-20 2021-02-19 华南理工大学 适用于智能车辆交通场景理解与超视距感知系统及方法
CN113189610A (zh) * 2021-04-28 2021-07-30 中国科学技术大学 地图增强的自动驾驶多目标追踪方法和相关设备
CN113418522A (zh) * 2021-08-25 2021-09-21 季华实验室 Agv路径规划方法、跟随方法、装置、设备及存储介质
CN113682300A (zh) * 2021-08-25 2021-11-23 驭势科技（北京）有限公司 避让障碍物的决策方法、装置、设备及介质
CN113688880A (zh) * 2021-08-02 2021-11-23 南京理工大学 一种基于云计算的障碍地图的创建方法
CN113759892A (zh) * 2020-09-27 2021-12-07 北京京东乾石科技有限公司 无人车障碍物绕行方法、装置、无人车及存储介质
WO2022012425A1 (zh) * 2020-07-16 2022-01-20 长沙智能驾驶研究院有限公司 目标检测方法、装置及电子设备
CN114332818A (zh) * 2021-12-28 2022-04-12 阿波罗智联(北京)科技有限公司 障碍物的检测方法、装置和电子设备
CN115071720A (zh) * 2022-07-08 2022-09-20 浙江吉利控股集团有限公司 一种车辆可行驶区域确定方法、装置及电子设备
CN115077537A (zh) * 2021-03-10 2022-09-20 清华大学 高精度地图感知容器设计方法及装置、存储介质、终端
CN115675464A (zh) * 2021-07-29 2023-02-03 上海汽车集团股份有限公司 高速公路脱手巡航驾驶工况下的车辆停车控制方法及装置
CN115774444A (zh) * 2021-09-09 2023-03-10 廊坊和易生活网络科技股份有限公司 一种基于稀疏导航地图的路径规划优化方法
CN115797900A (zh) * 2021-09-09 2023-03-14 廊坊和易生活网络科技股份有限公司 基于单目视觉的车路姿态感知方法
CN116258731A (zh) * 2022-09-08 2023-06-13 上海寅家电子科技股份有限公司 一种可行驶区域分割方法、终端及计算机存储介质
CN117485368A (zh) * 2023-10-31 2024-02-02 东风商用车有限公司 一种基于车道线的路边障碍物过滤方法及系统
CN118470670A (zh) * 2024-04-15 2024-08-09 零束科技有限公司 基于地空多传感器融合的道路环境感知方法、系统及介质
CN119648795A (zh) * 2024-12-09 2025-03-18 酷哇科技有限公司 基于2d图像和高精地图融合的目标3d位置的预测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105929823A (zh) * 2016-04-29 2016-09-07 大连楼兰科技股份有限公司 基于现有地图的自动驾驶系统及其驾驶方法
US20170116487A1 (en) * 2015-10-22 2017-04-27 Kabushiki Kaisha Toshiba Apparatus, method and program for generating occupancy grid map
CN108227695A (zh) * 2016-12-14 2018-06-29 现代自动车株式会社 自动驾驶控制装置、包括该装置的系统及其方法
CN108627175A (zh) * 2017-03-20 2018-10-09 现代自动车株式会社 用于识别车辆位置的系统和方法
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110032181A (zh) * 2019-02-26 2019-07-19 文远知行有限公司 语义地图中障碍物定位方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116487A1 (en) * 2015-10-22 2017-04-27 Kabushiki Kaisha Toshiba Apparatus, method and program for generating occupancy grid map
CN105929823A (zh) * 2016-04-29 2016-09-07 大连楼兰科技股份有限公司 基于现有地图的自动驾驶系统及其驾驶方法
CN108227695A (zh) * 2016-12-14 2018-06-29 现代自动车株式会社 自动驾驶控制装置、包括该装置的系统及其方法
CN108627175A (zh) * 2017-03-20 2018-10-09 现代自动车株式会社 用于识别车辆位置的系统和方法
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110032181A (zh) * 2019-02-26 2019-07-19 文远知行有限公司 语义地图中障碍物定位方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾柏园 等: "利用激光3D成像技术对特殊道路边界探测方法研究 ", 《汽车工程》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111912418A (zh) * 2020-07-16 2020-11-10 知行汽车科技（苏州）有限公司 删除移动载体不可行驶区域内障碍物的方法、装置及介质
WO2022012425A1 (zh) * 2020-07-16 2022-01-20 长沙智能驾驶研究院有限公司 目标检测方法、装置及电子设备
CN114022860A (zh) * 2020-07-16 2022-02-08 长沙智能驾驶研究院有限公司 目标检测方法、装置及电子设备
CN113759892A (zh) * 2020-09-27 2021-12-07 北京京东乾石科技有限公司 无人车障碍物绕行方法、装置、无人车及存储介质
CN112382085A (zh) * 2020-10-20 2021-02-19 华南理工大学 适用于智能车辆交通场景理解与超视距感知系统及方法
CN115077537A (zh) * 2021-03-10 2022-09-20 清华大学 高精度地图感知容器设计方法及装置、存储介质、终端
CN115077537B (zh) * 2021-03-10 2025-08-01 清华大学 高精度地图感知容器设计方法及装置、存储介质、终端
CN113189610A (zh) * 2021-04-28 2021-07-30 中国科学技术大学 地图增强的自动驾驶多目标追踪方法和相关设备
CN113189610B (zh) * 2021-04-28 2024-06-14 中国科学技术大学 地图增强的自动驾驶多目标追踪方法和相关设备
CN115675464A (zh) * 2021-07-29 2023-02-03 上海汽车集团股份有限公司 高速公路脱手巡航驾驶工况下的车辆停车控制方法及装置
CN113688880A (zh) * 2021-08-02 2021-11-23 南京理工大学 一种基于云计算的障碍地图的创建方法
CN113682300B (zh) * 2021-08-25 2023-09-15 驭势科技（北京）有限公司 避让障碍物的决策方法、装置、设备及介质
CN113418522A (zh) * 2021-08-25 2021-09-21 季华实验室 Agv路径规划方法、跟随方法、装置、设备及存储介质
CN113682300A (zh) * 2021-08-25 2021-11-23 驭势科技（北京）有限公司 避让障碍物的决策方法、装置、设备及介质
CN115797900B (zh) * 2021-09-09 2023-06-27 廊坊和易生活网络科技股份有限公司 基于单目视觉的车路姿态感知方法
CN115774444B (zh) * 2021-09-09 2023-07-25 廊坊和易生活网络科技股份有限公司 一种基于稀疏导航地图的路径规划优化方法
CN115797900A (zh) * 2021-09-09 2023-03-14 廊坊和易生活网络科技股份有限公司 基于单目视觉的车路姿态感知方法
CN115774444A (zh) * 2021-09-09 2023-03-10 廊坊和易生活网络科技股份有限公司 一种基于稀疏导航地图的路径规划优化方法
CN114332818B (zh) * 2021-12-28 2024-04-09 阿波罗智联(北京)科技有限公司 障碍物的检测方法、装置和电子设备
CN114332818A (zh) * 2021-12-28 2022-04-12 阿波罗智联(北京)科技有限公司 障碍物的检测方法、装置和电子设备
CN115071720A (zh) * 2022-07-08 2022-09-20 浙江吉利控股集团有限公司 一种车辆可行驶区域确定方法、装置及电子设备
CN116258731A (zh) * 2022-09-08 2023-06-13 上海寅家电子科技股份有限公司 一种可行驶区域分割方法、终端及计算机存储介质
CN117485368A (zh) * 2023-10-31 2024-02-02 东风商用车有限公司 一种基于车道线的路边障碍物过滤方法及系统
CN118470670A (zh) * 2024-04-15 2024-08-09 零束科技有限公司 基于地空多传感器融合的道路环境感知方法、系统及介质
CN119648795A (zh) * 2024-12-09 2025-03-18 酷哇科技有限公司 基于2d图像和高精地图融合的目标3d位置的预测方法

Also Published As

Publication number Publication date
CN111208839B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111208839A (zh) 一种实时感知信息与自动驾驶地图的融合方法及系统
US11790668B2 (en) Automated road edge boundary detection
US20220139212A1 (en) Missing traffic face detector
US11458912B2 (en) Sensor validation using semantic segmentation information
Huang et al. Finding multiple lanes in urban road networks with vision and lidar
CN116385997B (zh) 一种车载障碍物精确感知方法、系统及存储介质
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN106896353A (zh) 一种基于三维激光雷达的无人车路口检测方法
US20230266473A1 (en) Method and system for object detection for a mobile robot with time-of-flight camera
CN109085823A (zh) 一种园区场景下基于视觉的低成本自动循迹行驶方法
CN115082536B (zh) 一种适用于非结构化道路场景下高精度地图的构建方法
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
Xie et al. Obstacle detection based on depth fusion of lidar and radar in challenging conditions
CN115144849A (zh) 用于对象避开检测的传感器融合
CN115662118B (zh) 面向自动驾驶测试的交规合规性自动化判定方法及装置
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN116242375A (zh) 一种基于多传感器的高精度电子地图生成方法和系统
CN116051818A (zh) 自动驾驶系统的多传感器信息融合方法
CN111476798B (zh) 一种基于轮廓约束的车辆空间形态识别方法及系统
CN117011388A (zh) 一种基于激光雷达与双目摄像头融合的3d目标检测方法及装置
KR102414632B1 (ko) 다중 관측정보를 이용한 고정객체의 위치 결정 방법
Hara et al. Vehicle localization based on the detection of line segments from multi-camera images
CN113432615A (zh) 基于多传感器融合可驾驶区域的检测方法、系统和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant