CN111311902B - 一种数据处理方法、装置、设备和机器可读介质 - Google Patents
一种数据处理方法、装置、设备和机器可读介质 Download PDFInfo
- Publication number
- CN111311902B CN111311902B CN201811519987.2A CN201811519987A CN111311902B CN 111311902 B CN111311902 B CN 111311902B CN 201811519987 A CN201811519987 A CN 201811519987A CN 111311902 B CN111311902 B CN 111311902B
- Authority
- CN
- China
- Prior art keywords
- lane
- vehicle
- feature
- image
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims description 48
- 230000033001 locomotion Effects 0.000 claims description 18
- 241000283070 Equus zebra Species 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 230000008859 change Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本申请实施例提供了一种数据处理方法、装置、设备和机器可读介质,所述的方法包括:依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;依据定位数据,确定车辆对应的车道位置特征;依据地图数据,确定车辆对应的车道数量特征;依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;依据所述车道边界,确定所述车辆对应的目标车道。本申请实施例可以在花费较低成本的情况下、实现车道的定位。
Description
技术领域
本申请涉及智能交通技术领域,特别是涉及一种数据处理方法、一种数据处理装置、一种设备和一种机器可读介质。
背景技术
智能交通系统将先进电子信息技术应用于交通中,实现高效增值的服务,其中很多服务是以车辆的位置信息为基础的,因此定位是智能交通系统中一个基础。车道是车辆行驶过程中的基本单元,对车道的定位,是智能交通领域的一项关键技术,可对车辆自动/半自动驾驶控制、导航和车道偏离预警等提供技术支撑。
一种定位方法,可以通过高精度GPS(全球定位系统,Global PositioningSystem)和高精度电子地图,实现车道的定位。
然而,高精度GPS和高精度电子地图的成本均较高,例如,高精度GPS的精度通常小于半个车道的横向尺寸,这使得上述定位方法的应用范围受到限制。
发明内容
本申请实施例所要解决的技术问题是提供一种数据处理方法,可以在花费较低成本的情况下、实现车道的定位。
相应的,本申请实施例还提供了一种数据处理装置、一种设备、一种机器可读介质、一种导航方法和一种辅助驾驶方法,用以保证上述方法的实现及应用。
为了解决上述问题,本申请实施例公开了一种数据处理方法,包括:
依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
依据定位数据,确定车辆对应的车道位置特征;
依据地图数据,确定车辆对应的车道数量特征;
依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;
依据所述车道边界,确定所述车辆对应的目标车道。
另一方面,本申请实施例还公开了一种数据处理装置,包括:
图像处理模块,用于依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
定位模块,用于依据定位数据,确定车辆对应的车道位置特征;
地图处理模块,用于依据地图数据,确定车辆对应的车道数量特征;
车道边界确定模块,用于依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;以及
目标车道确定模块,用于依据所述车道边界,确定所述车辆对应的目标车道。
再一方面,本申请实施例还公开了一种设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述设备执行前述一个或多个所述的方法。
又一方面,本申请实施例公开了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得设备执行前述一个或多个所述的方法。
再一方面,本申请实施例还公开了一种导航方法,包括:
依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
依据定位数据,确定车辆对应的车道位置特征;
依据地图数据,确定车辆对应的车道数量特征;
依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;
依据所述车道边界,确定所述车辆对应的目标车道;
依据所述目标车道,确定所述车辆对应的导航信息。
又一方面,本申请实施例公开了一种辅助驾驶方法,包括:
依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
依据定位数据,确定车辆对应的车道位置特征;
依据地图数据,确定车辆对应的车道数量特征;
依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;
依据所述车道边界,确定所述车辆对应的目标车道;
依据所述目标车道,确定所述车辆对应的辅助驾驶信息。
与现有技术相比,本申请实施例包括以下优点:
本申请实施例综合利用图像数据、定位数据和地图数据,实现车辆所在车道的定位。其中,图像数据可以作为车道图像特征的确定依据;定位数据可作为车道位置特征的确定依据;地图数据可作为车道数量特征的确定依据;本申请实施例可以对车道图像特征和车道位置特征进行融合,以将车道特征从图像坐标系转换到地图坐标系;这样,可以依据地图坐标系的车道特征和车道数量特征,确定车辆对应的车道边界,进而可以依据上述车道边界,确定车辆对应的目标车道,也即确定车辆位于哪个车道。
由于本申请实施例的图像数据可以为通过例如摄像头的图像采集装置得到,且对定位数据和地图数据的精度要求较低,因此,本申请实施例可以在花费较低成本的情况下、实现车道的定位。
附图说明
图1是本申请的一种数据处理方法的应用环境的示意;
图2是本申请的一种数据处理方法实施例一的步骤流程图;
图3是本申请实施例的一种道路状况的示意;
图4是本申请实施例的一种道路状况的示意;
图5是本申请实施例的一种道路状况的示意;
图6是本申请实施例的一种车辆与车道边界之间的关系的示意;
图7是本申请的一种数据处理方法实施例二的步骤流程图;
图8是本申请的一种数据处理方法实施例三的步骤流程图;
图9是本申请的一种数据处理装置实施例的结构框图;
图10是本申请实施例的一种数据处理装置的数据交互示意;以及
图11是本申请一实施例提供的设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请的构思易于进行各种修改和替代形式,其具体实施例已经通过附图的方式示出,并将在这里详细描述。然而,应该理解,上述内容并不是用来将本申请的构思限制为所公开的具体形式,相反地,本申请的说明书和附加权利要求书意欲覆盖所有的修改、等同和替代的形式。
本说明书中的“一个实施例”,“实施例”,“一个具体实施例”等,表示所描述的实施例可以包括特定特征、结构或特性,但是每个实施例可以包括或可以不必然包括该特定特征、结构或特性。此外,这样的短语不一定指的是同一实施例。另外,在联系一个实施例描述特定特征、结构或特性的情况下,无论是否明确描述,可以认为本领域技术人员所知的范围内,这样的特征、结构或特性也与其他实施例有关。另外,应该理解的是,“在A,B和C的至少一个”这种形式所包括的列表中的条目中,可以包括如下可能的项目:(A);(B);(C);(A和B);(A和C);(B和C);或(A,B和C)。同样,“A,B或C中的至少一个”这种形式列出的项目可能意味着(A);(B);(C);(A和B);(A和C);(B和C);或(A,B和C)。
在一些情况下,所公开的实施例可以被实施为硬件、固件、软件或其任意组合。所公开的实施例也可以实现为携带或存储在一个或多个暂时的或者非暂时的机器可读(例如计算机可读)存储介质中的指令,该指令可以被一个或多个处理器执行。机器可读存储介质可以实施为用于以能够被机器读取的形式存储或者传输信息的存储装置、机构或其他物理结构(例如易失性或非易失性存储器、介质盘、或其他媒体其它物理结构装置)。
在附图中,一些结构或方法特征可以以特定的安排和/或排序显示。然而,优选地,这样的具体安排和/或排序并不是必要的。相反,在一些实施方案中,这样的特征可以以不同的方式和/或顺序排列,而不是如附图中所示。此外,特定的附图中的结构或方法特征中所包含的内容,不意味着暗示这种特征是在所有实施例是必须的,并且在一些实施方案中,可能不包括这些特征,或者可能将这些特征与其它特征相结合。
针对高精度GPS和高精度电子地图的成本均较高的技术问题,本申请实施例提供了一种数据处理方案,该方案可以包括:依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;依据定位数据,确定车辆对应的车道位置特征;依据地图数据,确定车辆对应的车道数量特征;依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;以及,依据所述车道边界,确定所述车辆对应的目标车道。
本申请实施例综合利用图像数据、定位数据和地图数据,确定车辆对应的目标车道,可以实现车辆所在车道的定位。
其中,图像数据可以为通过例如摄像头的图像采集装置得到,其可作为车道图像特征的确定依据;车道图像特征可以是图像维度的车道特征。
定位数据可作为车道位置特征的确定依据,车道位置特征可以为位置维度的车道特征。本申请实施例对于定位数据的精度要求较低,定位数据可以源自普通定位精度的传感器,如GPS传感器、GNSS(全球卫星导航系统,Global Navigation Satellite System)传感器等,普通定位精度通常为10米左右。
地图数据可作为车道数量特征的确定依据,因此,本申请实施例对于地图数据的精度要求较低,地图数据的精度可以为非高精度也即普通精度。
本申请实施例可以对车道图像特征和车道位置特征进行融合,以将车道特征从图像坐标系转换到地图坐标系;进一步,可以依据地图坐标系的车道特征和车道数量特征,确定车辆对应的车道边界,进而可以依据上述车道边界,确定车辆对应的目标车道,也即确定车辆位于哪个车道。
由于本申请实施例的图像数据可以为通过例如摄像头的图像采集装置得到,且对定位数据和地图数据的精度要求较低,因此,本申请实施例可以在花费较低成本的情况下、实现车道的定位。
本申请实施例可以应用于智能交通场景,在智能交通场景提供车道级别的定位,可以提升用户的行驶体验。车道,又称行车线、车行道,是用在供车辆行经的道路。在一般公路和高速公路都有设置,高速公路对车道使用带有法律上的规则,例如行车道和超车道。
根据一种实施例,上述智能交通场景可以为导航场景。例如,在导航场景下可以提供车道级引导,上述车道级引导在于驶入复杂路口、多层立交道路、或者多出入口道路的情况下,可以提高导航的准确度和精度。另外,车道级别的定位可以为AR(增强现实技术,Augmented Reality)导航提供基础数据。
根据另一种实施例,上述智能交通场景可以为辅助驾驶场景、或者无人驾驶场景。其中,辅助驾驶场景需要人工监控,而无人驾驶场景不需要人工监控。由于可以依据车道级别的定位提供辅助驾驶信息,可以提高车辆的安全性。辅助驾驶信息可以包括:目标车道播报信息、或者车道保持信息、或者变道信息等。例如,在目标车道的路况通畅的情况下,可以输出车道保持信息;又如,在目标车道不适于转弯的情况下,可以输出变道信息。
可以理解,上述智能交通场景只是作为可选实施例,实际上,需要使用车道级的定位的任意应用场景均在本申请实施例的应用场景的保护范围之内,本申请实施例对于具体的应用场景不加以限制。
本申请实施例提供的数据处理方案可应用于图1所示的应用环境中,如图1所示,客户端100与服务器200位于有线或无线网络中,通过该有线或无线网络,客户端100与服务器200进行数据交互。
可选地,客户端可以运行在设备上,例如,该客户端可以为终端上运行的APP,如导航APP、电子商务APP、即时通讯APP、输入法APP、或者操作系统自带的APP等,本申请实施例对于客户端所对应的具体APP不加以限制。
可选地,上述设备可以内置或者外接屏幕,上述屏幕用于显示信息。上述设备还可以内置或者外置扬声器,上述扬声器用于播放信息。上述信息可以包括:目标车道的信息。例如,车辆所在的道路包括4条车道,4条车道可以对应有编号,例如,按照车道方向从左到右的顺序,4条车道的编号分别为:1、2、3、4,则目标车道的信息可以为目标车道的编号。可选地,可以播放如下信息:“您当前处于第X车道”,其中,X的范围为1~4。
上述设备可以为车载设备、或者用户拥有的设备。上述设备具体可以包括但不限于:智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3,MovingPicture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4,Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载设备、PC(个人计算机,Personal Computer)、机顶盒、智能电视机、可穿戴设备等。可以理解,本申请实施例对于具体的设备不加以限制。
车载设备的例子可以包括:HUD(平视显示器,Head Up Display)等,HUD通常安装在驾驶员前方,在驾驶过程中可为驾驶员提供一些必要的行车信息,如导航信息等,导航信息可以包括:目标车道的信息;换言之,HUD可以集多种功能于一体,方便驾驶员关注行车路况。
方法实施例一
参照图2,示出了本申请的一种数据处理方法实施例一的步骤流程图,具体可以包括如下步骤:
步骤201、依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
步骤202、依据定位数据,确定车辆对应的车道位置特征;
步骤203、依据地图数据,确定车辆对应的车道数量特征;
步骤204、依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;
步骤205、依据所述车道边界,确定所述车辆对应的目标车道。
本申请实施例的方法所包括的至少一个步骤可由客户端和/或服务器执行,当然,本申请实施例对于方法的步骤的具体执行主体不加以限制。
步骤201中,道路图像可由例如摄像头、摄像机的图像采集装置得到。可选地,图像采集装置的数量可以为1,也可以大于1。可选地,图像采集装置可以设置于车辆的周边,上述周边可以包括:前方,该前方可以包括:正前方或者斜前方。该摄像头可以为单目摄像头、或者双目摄像头。
在本申请的一种应用示例中,可以将摄像头安装在车辆纵向中轴线上位于车顶前方的位置,摄像头对准车辆前方,摄像头距离地面的高度、摄像头的俯仰角、航偏角和翻滚角可以根据实际应用需求确定。在车辆的行驶过程中,摄像头可以不断地采集车辆正前方的道路图像。当然,摄像头也可以位于车辆纵向中轴线上位于车投前方的位置,可以理解,本申请实施例对于具体的图像采集装置及其方位不加以限制。
根据一种实施例,步骤201可以利用图像处理技术,从车辆对应的道路图像中确定出所述车辆对应的车道图像特征。
上述图像处理技术可以包括:滤波技术。上述滤波技术可用于滤除道路图像中的噪声,以降低噪声对于车道图像特征的干扰。
上述图像处理技术可以包括:图像识别技术。图像识别,是指利用机器对图像进行处理、分析和理解,以识别各种不同模式的图像目标的技术。具体到本申请实施例,可以利用机器对道路图像进行处理、分析和理解,以识别各种不同模式的图像目标的技术。图像目标可以包括:本申请实施例的车道图像特征。
通常道路图像中的车道图像特征可以在道路图像中对应有一定的图像区域。本申请实施例可以通过边缘检测技术,确定单个车道图像特征对应的图像区域,并确定图像区域对应的车道图像特征。
在本申请的一种可选实施例中,步骤201确定所述车辆对应的车道图像特征的过程可以包括:检测道路图像中的图像目标,并利用深度学习方法对获取到的图像目标进行分析,以得到对应的图像目标信息,也即车道图像特征。图像目标信息可以包括:图像目标的图像、名称、类别等信息。
根据另一种实施例,步骤201可以利用摄影测量技术,从车辆对应的道路图像中确定出所述车辆对应的车道图像特征。摄影测量技术,可以利用光学摄影机或数码相机获取的像片,经过处理以获取被摄物体的位置、形状、大小、特性及其相互关系
参照表1,示出了本申请实施例的一种车道图像特征的示例。上述车道图像特征,具体可以包括如下特征中的至少一种:车道特征点、车道特征线、以及车道特征区域。
其中,车道特征点可以为点类型的车道图像特征。上述车道特征点具体可以包括如下特征点中的至少一种:
车道边界的端点;以及
车道边界与车道边界的垂线之间的交点。
车道边界的端点可以包括:车道线端点、或者道路边沿端点。
车道特征线可以为线类型的车道图像特征。所述车道特征线具体可以包括如下特征线中的至少一种:
车道线;
道路边沿线;
道路边沿设施的轮廓线;
道路上方设施的轮廓线;以及
隧道口轮廓线。
其中,轮廓线,又叫“外部线条”,指事物的外边缘界线,是一个对象与另一个对象之间、对象与背景之间的分界线。
车道特征区域可以为区域类型或者面类型的车道图像特征。上述车道特征区域具体可以包括如下区域中的至少一种:
斑马线区域;
绿化带区域;以及
车辆区域。此处的车辆可以指道路上除了图像采集装置所在车辆之外的车辆。
表1
步骤202中,定位数据可以源自普通定位精度的传感器,如GPS传感器、GNSS传感器等。
步骤202确定的车道位置特征可以包括:车辆位置特征。车辆位置特征用于表征车辆所在的位置。
可选地,可以依据定位数据和步骤201得到的车道图像特征,确定车辆位置特征。其中,车道图像特征可以反映车辆所处的周边环境,因此可以提高车辆位置特征的精度。
步骤202确定的车道位置特征还可以包括:车道图像特征对应的位置特征。相应地,步骤202可以接收步骤201得到的车道图像特征,并依据定位数据,确定车道图像特征对应的位置特征。
可选地,可以利用SLAM(同步定位与建图,Simultaneous Localization andMapping)方法,确定车道图像特征对应的位置特征。SLAM的原理可以为:机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图,实现机器人的自主定位和导航例如,可以根据SLAM方法,确定步骤201得到的车道特征点、或车道特征线、或车道特征区域的位置特征。
步骤203中,地图数据可作为车道数量特征的确定依据,因此,本申请实施例对于地图数据的精度要求较低,地图数据的精度可以为非高精度也即普通精度。
可选地,步骤203可以依据步骤202得到的车道位置特征,确定车道数量特征。车道数量特征可用于表征车辆当前所处或者即将所处的道路中车道的数量。
可选地,步骤203还可以依据地图数据,确定车道方向特征。车道可以包括:单行道或者双行道。其中,双行道的方向可以包括:相反的两个方向,车道方向特征可以表征其中的一个方向,也即车辆的行驶方向。
步骤204可以对车道图像特征、车道位置特征和车道数量特征进行融合,以得到车辆对应的车道边界。车道边界可以指车道的边界,其可以作为车道与车道之间、或者车道与其他物体之间的界线。车道边界可以包括:车道线、道路边沿等。
本申请实施例确定车辆对应的车道边界的原理可以为:依据车道图像特征、车道位置特征和车道数量特征,对车辆对应的车道边界进行解算。上述解算可以将车道特征从图像坐标系转换到地图坐标系,以确定车道边界在地图坐标系下的参数(如车道边界位置特征、名称等),进而可以基于车辆位置特征与车道边界位置特征之间的相对位置,确定车辆对应的目标车道。
根据一种实施例,上述车道图像特征中可以包括全部车道边界的信息。此种情况下,可以依据车道图像特征确定全部车道边界的信息,也即可以确定全部车道边界在地图坐标系下的参数。
根据另一种实施例,图像采集装置受环境、气候的影响、光线等因素的影响较大,再加上车道线本身的复杂性和不连续性(路口),这使得上述车道图像特征中可能仅仅包括部分车道边界的信息,也即出现车辆对应的当前车道边界不完整的情况。
例如,在车道线不连续的情况下,容易使得上述车道图像特征中可能仅仅包括部分车道边界的信息;车道线不连续的原因可以包括:车道线污损、或者路口情况下,图像采集装置的采集范围受限等。例如,在路况情况下,路面有行人和车辆遮挡,且转弯角度大,摄像头无法拍到全部车道线。
又如,在光线较弱的情况下,图像采集装置的采集清晰度降低,容易使得上述车道图像特征中可能仅仅包括部分车道边界的信息。上述光线较弱的情况可以包括:恶劣天气情况、或者夜晚情况等。
再如,在道路拥堵的情况下,路面有行人和车辆遮挡,图像采集装置的采集范围降低,容易使得上述车道图像特征中可能仅仅包括部分车道边界的信息。上述道路拥堵可以包括:道路中拥堵、或者路况拥堵等。
在所述车辆对应的当前车道边界不完整的情况下,本申请实施例可以通过确定所述车辆对应的目标车道的如下技术方案,确定全部车道边界:
技术方案1、
技术方案1中,步骤204确定所述车辆对应的车道边界的过程,具体可以包括:依据所述车道图像特征,得到两个车道特征点;所述两个车道特征点属于不同的第一车道边界;依据所述车道位置特征,确定所述两个车道特征点之间的距离;依据所述两个车道特征点之间的距离、以及所述车道数量特征,确定所述车辆对应的第二车道边界。
技术方案1可以在已知第一车道边界的两个车道特征点的情况下,确定第二车道边界,由于可以实现车道边界的扩展,因此可以确定全部车道边界。
参照图3,示出了本申请实施例的一种道路状况的示意,其中,该道路状况可以源自道路图像,车辆可以行驶在路口的附近区域,道路可以包括:人行横道301和若干条车道302。车道特征点可以为一条车道线的端点PA和PB。图3中,车道线的端点PA和PB可以为车道线的起始端点,且PA和PB所属的车道线相邻。此种情况下,PA与PB之间的距离可以为一条车道的宽度(简称车道宽度);由于同一道路中不同车道的宽度通常是相同的,因此可以依据车道数量和车道宽度,确定未知的车道线。
技术方案2、
技术方案2中,所述车道图像特征具体可以包括:道路周边设施的轮廓线,步骤204确定所述车辆对应的车道边界的过程,具体可以包括:依据所述道路周边设施的轮廓线、以及车道位置特征,确定道路宽度;依据所述道路宽度、以及所述车道数量特征,确定所述车辆对应的车道边界。
技术方案2可以在已知道路周边设施的轮廓线的情况下,实现车道边界的扩展,因此可以确定全部车道边界。
参照图4,示出了本申请实施例的一种道路状况的示意,其中,该道路状况可以源自道路图像,道路状况可以包括:若干条车道线401、道路上方设施402和道路边沿线403。部分车道线被道路上的车辆遮挡,此种情况下,可以根据道路上方设施的轮廓线确定道路宽度,道路宽度可以表征所有车道对应的宽度;由于同一道路中不同车道的宽度通常是相同的,因此可以依据车道数量和道路宽度,确定未知的车道线。
图4所示的道路上方设施402具体为交通龙门架,可以理解,图4所示的道路上方设施只是作为示例,实际上,道路上方设施还可以为隧道等,可以理解,本申请实施例对于具体的道路上方设施不加以限制。
另外,道路上方设施只是作为可选实施例,实际上道路周边设施还可以包括:绿化带等,例如,可以依据道路两侧的绿化带,确定道路宽度。可以理解,本申请实施例对于具体的道路周边设施不加以限制。
技术方案1和技术方案2在道路图像中采集到部分车道边界的情况下,进行车道边界的扩展,可以在一定程度上克服图像采集装置受光线、遮挡,车道线本身不完整以及不连续等问题导致的车道边界不准确的问题,可以提升车道边界的准确率和可靠性以及连续可用性。
可以理解,本领域技术人员可以根据实际应用需求,采用技术方案1和技术方案2中的任一或者组合,本申请实施例对于确定所述车辆对应的目标车道的具体过程不加以限制。
步骤205可以依据步骤204得到的车道边界,确定所述车辆对应的目标车道。
本申请实施例确定车辆对应的目标车道的原理可以为:依据车辆与车道边界之间的相对位置,确定车辆对应的目标车道,该目标车道也即车辆所处的车道。
在本申请的一种可选实施例中,步骤203确定所述车辆对应的目标车道的过程,具体可以包括:确定多个车道边界分别对应的车道特征点、以及第一方向;依据所述第一方向与第二方向之间的关系,确定所述车辆对应的目标车道;所述第二方向可以为所述车道特征点与车辆特征点对应的方向。
参照图5,示出了本申请实施例的一种道路状况的示意,其中,该道路状况可以源自道路图像,道路状况可以包括:若干条车道线501、车辆502和道路边沿线503。可以确定车辆502所在道路上同一位置的垂线504,车道特征点可以为:垂线504与车道线的交点,第一方向可以为车道线的方向,第二方向可以为特征点与车辆特征点之间的连线的方向,车辆特征点可以为图像采集装置所在的位置点;这样,可以依据第一方向与第二方向之间的位置关系(如夹角),确定车辆502对应的目标车道,图5中,第3车道所对应的夹角最小,因此可以确定目标车道为第3车道。
在实际应用中,由于车辆在路口行驶的情况下,不确定因素很多,这给目标车道的确定带来难度。
针对上述情况,在本申请的一种可选实施例中,步骤204确定所述车辆对应的车道边界的过程,具体可以包括:依据所述车道边界、以及所述车辆对应的连续运动信息,确定所述车辆对应的目标车道。
连续运动信息可以表征车辆在一个时间段内的运动状况,本申请实施例依据连续运动信息,可以确定车辆进入车道边界内的目标时间,并依据该目标时间下车辆与车道边界之间的相对位置,确定目标车道。由于目标时间车辆进入车道边界,因此此种时机下确定目标车道,可以避免尚未进入车道边界的情况下错误确定目标车道的情况,进而可以提高目标车道的准确度。
参照图6,示出了本申请实施例的一种车辆与车道边界之间的关系的示意,其中,T0时刻可以为确定所有车道线的时刻,如果在T0时刻确定目标车道,将容易出现目标车道错误的情况。
T1时刻可以为车辆进入车道线的时刻,本申请实施例可以累积T0时刻到T1时刻这一时间段内的累积运动矢量,并依据该累积运动矢量确定T1时刻,进而可以实现目标车道的准确确定。
本申请实施例的连续运动信息可以通过惯性传感器得到。INS传感器可以为车辆上的已有传感器,故可以不耗费额外的传感器成本。惯性传感器可以包括:IMU(惯性测量单元,Inertial measurement unit)。IMU可以包括:加速度计、陀螺仪等。
可选地,可以通过INS(惯性导航系统,Inertial Navigation System)确定连续运动信息。INS确定连续运动信息的原理可以为:根据惯性传感器测得的车辆的运动状态变化,通过上一时刻的位置、姿态推算当前时刻的位置和姿态。可选地,INS还可以利用里程计提供的行程数据。
在实际应用中,可以依据图2包括的步骤201至步骤205确定车辆初始进入道路后的车道,也即,本申请实施例的目标车道可以包括:初始目标车道。在确定初始目标车道后,可以利用车道跟踪和/或变道检测方法,进行目标车道的实时更新。
由于路口情况复杂多变,且路口有空白区域,故本申请实施例详细描述了路口情况对应的处理过程,可以理解,本申请实施例可以适用于除了路况情况之外的其它情况。
在实际应用中,本申请实施例可以通过视觉方式和/或听觉方式,输出目标车道的信息。其中,视觉方式可以通过屏幕显示目标车道的信息,听觉方式可以通过扬声器播放目标车道的信息。
综上,本申请实施例的数据处理方法,综合利用图像数据、定位数据和地图数据,实现车辆所在车道的定位。其中,图像数据可以作为车道图像特征的确定依据;定位数据可作为车道位置特征的确定依据;地图数据可作为车道数量特征的确定依据;本申请实施例可以对车道图像特征和车道位置特征进行融合,以将车道特征从图像坐标系转换到地图坐标系;这样,可以依据地图坐标系的车道特征和车道数量特征,确定车辆对应的车道边界,进而可以依据上述车道边界,确定车辆对应的目标车道,也即确定车辆位于哪个车道。
由于本申请实施例的图像数据可以为通过例如摄像头的图像采集装置得到,且对定位数据和地图数据的精度要求较低,因此,本申请实施例可以在花费较低成本的情况下、实现车道的定位。
方法实施例二
参照图7,示出了本申请的一种数据处理方法实施例二的步骤流程图,具体可以包括如下步骤:
步骤701、依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
步骤702、依据定位数据,确定车辆对应的车道位置特征;
步骤703、依据地图数据,确定车辆对应的车道数量特征;
步骤704、依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;
步骤705、在所述车辆对应的当前车道边界不完整的情况下,依据车辆对应的道路图像、以及所述当前车道边界,确定所述车辆对应的最新车道图像特征和最新车道位置特征;
步骤706、依据所述车辆对应的最新车道图像特征、所述最新车道位置特征和所述车道数量特征,确定所述车辆对应的最新车道边界;
步骤707、依据所述最新车道边界,确定所述车辆对应的目标车道。
本申请实施例可以在车辆对应的当前车道边界不完整的情况下,重新确定车道边界,具体地,可以依据当前车道边界,重新确定车道图像特征和车道位置特征,并依据重新确定的车道图像特征和车道位置特征,确定最新车道边界。其中,当前车道边界可以指当前时间的车道边界,当前时间可以指执行步骤的情况下的设备时间,当前车道边界可以随着当前时间的更新而更新。
其中,当前车道边界可以为车道图像特征的重新确定提供丰富的信息,因此可以作为车道图像特征的确定依据,尤其地,当前车道边界可以为图像区域的二次特征提取提供依据。例如,道路图像中包括不连续的车道线L1,步骤704可以结合车道图像特征、所述车道位置特征和所述车道数量特征,得到连续的车道线L1;且步骤705还可以结合车道图像特征、所述车道位置特征和所述车道数量特征,得到与车道线L1相邻的车道线L2,则步骤706可以依据连续的车道线L1和车道线L2,得到更多的车道图像特征,如车道线L2的端点特征、或者与车道线L2相邻的车道线L3的特征等。
由于最新车道图像特征和最新车道位置特征为经过更新的、更为准确的特征,因此依据最新车道图像特征和最新车道位置特征,进行车道边界的确定,可以提高车道边界的准确度。
方法实施例三
参照图8,示出了本申请的一种数据处理方法实施例三的步骤流程图,具体可以包括如下步骤:
步骤801、依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
步骤802、依据定位数据,确定车辆对应的车道位置特征;
步骤803、依据地图数据,确定车辆对应的车道数量特征;
步骤804、依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;
步骤805、在所述车辆对应的当前车道边界不完整的情况下,确定预测车道边界;
步骤806、依据车辆对应的道路图像、所述当前车道边界、以及所述预测车道边界,确定所述车辆对应的最新车道图像特征和最新车道位置特征;
步骤807、依据所述车辆对应的最新车道图像特征、所述最新车道位置特征和所述车道数量特征,确定所述车辆对应的最新车道边界;
步骤808、依据所述最新车道边界,确定所述车辆对应的目标车道。
本申请实施例可以在所述车辆对应的当前车道边界不完整的情况下,确定预测车道边界。例如,可以利用前述的技术方案1和/或技术方案2,将扩展得到的车道边界,作为预测车道边界。
预测车道边界可以作为最新车道图像特征的确定依据。可选地,可以依据预测车道边界,重新进行车道图像特征的提取。
例如,在光线弱的情况下,最初无法从道路图像中提取车道线L3的图像特征,本申请实施例可以预测出车道线L3,并将车道线L3标记在道路图像的相应位置,则可以依据带有车道线L3的标记的道路图像,提取车道线L3的图像特征;车道线L3的图像特征再次加入车道边界的确定过程中,由于可以增加车道边界的确定过程中的信息,因此可以提高车道边界的准确度。
同理,在车道线不连续的情况下,可以预测出连续的车道线。在此不作赘述,相互参照即可。
需要说明的是,可以针对最新车道图像特征进行定位,以得到最新车道位置特征。例如,最新车道位置特征可以包括:预测车道边界对应的位置特征。
综上,本申请实施例的数据处理方法,在所述车辆对应的当前车道边界不完整的情况下,确定预测车道边界。预测车道边界可以作为最新车道图像特征的确定依据,以得到更多的车道图像特征。由于可以增加车道边界的确定过程中的信息(如最新车道图像特征和最新车道位置特征),因此可以提高车道边界的准确度。
本申请实施例还提供了一种导航方法,具体可以包括如下步骤:
依据车辆对应的车道图像特征、车道位置特征和车道数量特征,确定所述车辆对应的车道边界;其中,所述车道图像特征依据所述车辆对应的道路图像确定,所述位置特征依据定位数据确定,所述车道数量特征依据地图数据确定;
依据所述车道边界,确定所述车辆对应的目标车道;
依据所述目标车道,确定所述车辆对应的导航信息。
在实际应用中,上述导航信息用于引导所述车辆的行驶。
根据一种实施例,上述导航信息可以包括:语音形式的目标车道信息、或者,在地图上绘制的目标车道对应的车道边界线,以使用户确定车辆所处的目标车道。
根据另一种实施例,上述导航信息可以包括:基于目标车道的导航路线等。
综上,本申请实施例在导航场景下可以提供车道级引导,上述车道级引导在于驶入复杂路口、多层立交多出入口道路的情况下,可以提高导航的准确度和精度。另外,车道级别的定位可以为AR导航提供基础数据。
本申请实施例还提供了一种辅助驾驶方法,具体可以包括如下步骤:
依据车辆对应的车道图像特征、车道位置特征和车道数量特征,确定所述车辆对应的车道边界;其中,所述车道图像特征依据所述车辆对应的道路图像确定,所述位置特征依据定位数据确定,所述车道数量特征依据地图数据确定;
依据所述车道边界,确定所述车辆对应的目标车道;
依据所述目标车道,确定所述车辆对应的辅助驾驶信息。
上述辅助驾驶信息可以包括:目标车道播报信息、或者车道保持信息、或者变道信息等。例如,在目标车道的路况通畅的情况下,可以输出车道保持信息;又如,在目标车道不适于转弯的情况下,可以输出变道信息。可以理解,本申请实施例对于具体的辅助驾驶信息不加以限制,例如上述辅助驾驶信息还可以包括:刹车提示信息等。
由于本申请实施例可以依据车道级别的定位提供辅助驾驶信息,可以提高车辆的安全性和辅助驾驶信息的合理性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
本申请实施例还提供了一种数据处理装置。
参照图9,示出了本申请的一种数据处理装置实施例的结构框图,具体可以包括如下模块:
图像处理模块901,用于依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
定位模块902,用于依据定位数据,确定车辆对应的车道位置特征;
地图处理模块903,用于依据地图数据,确定车辆对应的车道数量特征;
车道边界确定模块904,用于依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;以及
目标车道确定模块905,用于依据所述车道边界,确定所述车辆对应的目标车道。
可选地,所述车道边界确定模块904可以包括:
车道特征点确定模块,用于依据所述车道图像特征,得到两个车道特征点;所述两个车道特征点属于不同的第一车道边界;
距离确定模块,用于依据所述车道位置特征,确定所述两个车道特征点之间的距离;以及
第一边界确定模块,用于依据所述两个车道特征点之间的距离、以及所述车道数量特征,确定所述车辆对应的第二车道边界。
可选地,所述车道图像特征可以包括:道路周边设施的轮廓线,所述车道边界确定模块904可以包括:
道路宽度确定模块,用于依据所述道路周边设施的轮廓线、以及车道位置特征,确定道路宽度;
第二边界确定模块,用于依据所述道路宽度、以及所述车道数量特征,确定所述车辆对应的车道边界。
可选地,所述目标车道确定模块905可以包括:
第一目标车道确定模块,用于依据所述车道边界、以及所述车辆对应的连续运动信息,确定所述车辆对应的目标车道。
可选地,所述目标车道确定模块905可以包括:
特征点及方向确定模块,用于确定多个车道边界分别对应的车道特征点、以及第一方向;
第二目标车道确定模块,用于依据所述第一方向与第二方向之间的关系,确定所述车辆对应的目标车道;所述第二方向为所述车道特征点与车辆特征点对应的方向。
可选地,所述图像处理模块901,还用于在所述车辆对应的当前车道边界不完整的情况下,依据车辆对应的道路图像、以及所述当前车道边界,确定所述车辆对应的最新车道图像特征;
所述定位模块902还用于在所述车辆对应的当前车道边界不完整的情况下,依据车辆对应的道路图像、以及所述当前车道边界,确定所述车辆对应的最新车道位置特征;
所述车道边界确定模块904,还用于依据所述车辆对应的最新车道图像特征、所述最新车道位置特征和所述车道数量特征,确定所述车辆对应的最新车道边界;
所述目标车道确定模块905,还用于依据所述最新车道边界,确定所述车辆对应的目标车道。
可选地,所述车道边界确定模块模块904,还用于在所述车辆对应的当前车道边界不完整的情况下,确定预测车道边界;
所述图像处理模块901,还用于依据车辆对应的道路图像、所述当前车道边界、以及所述预测车道边界,确定所述车辆对应的最新车道图像特征;
所述定位模块902,还用于依据车辆对应的道路图像、所述当前车道边界、以及所述预测车道边界,确定最新车道位置特征;
所述车道边界确定模块904,还用于依据所述车辆对应的最新车道图像特征、所述最新车道位置特征和所述车道数量特征,确定所述车辆对应的最新车道边界;
所述目标车道确定模块905,还用于依据所述最新车道边界,确定所述车辆对应的目标车道。
可选地,所述车道图像特征可以包括如下特征中的至少一种:
车道特征点、车道特征线、以及车道特征区域。
可选地,所述车道特征点可以包括如下特征点中的至少一种:
车道边界的端点;以及
车道边界与车道边界的垂线之间的交点。
可选地,所述车道特征线可以包括如下特征线中的至少一种:
车道线;
道路边沿线;
道路边沿设施的轮廓线;
道路上方设施的轮廓线;以及
隧道口轮廓线。
可选地,所述车道特征区域可以包括如下区域中的至少一种:
斑马线区域;
绿化带区域;以及
车辆区域。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
参照图10,示出了本申请实施例的一种数据处理装置的数据交互示意,其中,图像处理模块901,用于对图像采集装置获取到的道路图像进行图像处理,上述图像处理可以包括:图像识别和特征提取等,其与车道边界确定模块904和定位模块902之间都有交互。图像处理结果可以输入到车道边界确定模块904;另外,图像处理结果也会传递到定位模块902,用以提升车道位置特征的精度。
定位模块902用于确定车辆位置特征、以及车道图像特征对应的位置特征。定位模块902可以将图像处理结果转换到地图坐标系中。
由于图像识别结果可以为定位模块902提供依据,故可以提升车道位置特征的定位精度。另外,车道位置特征还可以作为车道边界确定模块904的输入与图像处理结果进行融合。并且,定位模块902还可以与地图处理模块903进行交互,以获取车辆所在道路的道路特征,上述道路特征可以包括:车道数量、车道方向特征等。
地图处理模块903,用于确定车辆位置所处的道路特征,上述道路特征在车道边界确定模块904中与图像处理结果和车道位置特征进行融合。
车道边界确定模块904和目标车道确定模块905可以集成设置,或者分开设置。二者用于确定初始目标车道,在确定初始目标车道后,可以利用车道跟踪和/或变道检测方法,进行目标车道的实时更新。
在本申请的一种实施例中,图像处理模块901向车道边界确定模块904传递的数据可以包括:车道图像特征,车道图像特征具体可以包括但不限于:车道线及道路边沿、道路两侧特征点等。车道边界确定模块904向图像处理模块901传递的数据可以包括:当前车道边界、车道位置特征、车辆的连续运动信息和图像采集装置的姿态、道路特征等。其中,图像采集装置的姿态可以作为图像处理的依据,上述姿态可以包括:平视、仰视、俯视等。
在本申请的一种示例中,假设车道数量为4,其中的一条车道线被干扰,则图像处理模块901可以尝试将被干扰的车道线对应的图像特征提取出来;而车道边界确定模块904可以依据融合的多种数据,确定被干扰的车道线。
在本申请的一种实施例中,定位模块902向车道边界确定模块904传递的数据可以包括:车辆位置特征、车辆的连续运动信息、图像采集装置的姿态、车道位置特征及变道检测结果等。车道边界确定模块904向定位模块传递的数据可以包括:当前车道边界、车辆位置特征、车辆的连续运动信息、图像采集装置的姿态、以及道路特征等。
图像处理模块901,用于依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
定位模块902,用于依据定位数据,确定车辆对应的车道位置特征;
地图处理模块903,用于依据地图数据,确定车辆对应的车道数量特征;
车道边界确定模块904与图像处理模块901、定位模块902和地图处理模块903之间的数据交互,一方面可以更好地实现车道边界的确定,另一方面可以将有用的信息在不同的模块之间流转,从而可以提升多个模块的性能和效率。
可选地,车道边界确定模块904可以根据定位结果也即车道位置特征,确定车辆所在路段的车道数量、车道类型、车道方向等车道特征,结合图像识别结果、定位结果、以及车道特征;可以首先对图像识别结果进行预处理,上述预处理可以包括:粗差检测与剔除,预处理后的数据进行车道边界的解算,解算结果可以是车道边界在定位、地图统一的坐标系下的信息,如果所有车道边界均已确定,则可以进入下一步确定目标车道的流程;否则,可以在已有的第一车道边界的基础上,并对剩余的车道边界进行预测,预测车道边界回传到图像识别模块901,图像识别模块901再根据预测车道边界对特定区域进行二次提取,提取后的结果再次加入到车道边界的解算流程中,直到完成所有车道边界的确定。上述预测车道边界的回传,可以将更多的信息应用于车道边界的确定。
可选地,在确定所有车道边界后,开始对车辆的运动矢量进行累积,之所以这样做是考虑车辆此时可能处于变道或正好行驶在路口空白区域,最后,根据累积的运动矢量判定车辆所处的目标车道,可以完成初始目标车道的确定。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例的实施例可被实现为使用任意适当的硬件和/或软件进行想要的配置的系统或装置。图11示意性地示出了可被用于实现本申请中所述的各个实施例的示例性设备1300。
对于一个实施例,图11示出了示例性设备1300,该设备1300可以包括:一个或多个处理器1302、与处理器1302中的至少一个耦合的系统控制模块(芯片组)1304、与系统控制模块1304耦合的系统存储器1306、与系统控制模块1304耦合的非易失性存储器(NVM)/存储装置1308、与系统控制模块1304耦合的一个或多个输入/输出设备1310,以及与系统控制模块1306耦合的网络接口1312。该系统存储器1306可以包括:指令1362,该指令1362可被一个或多个处理器1302执行。
处理器1302可包括一个或多个单核或多核处理器,处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用程序处理器、基带处理器等)的任意组合。在一些实施例中,设备1300能够作为本申请实施例中所述的服务器、目标设备、无线设备等。
在一些实施例中,设备1300可包括具有指令的一个或多个机器可读介质(例如,系统存储器1306或NVM/存储装置1308)以及与该一个或多个机器可读介质相合并被配置为执行指令、以实现前述装置包括的模块、从而执行本申请实施例中所述的动作的一个或多个处理器1302。
一个实施例的系统控制模块1304可包括任何适合的接口控制器,用于提供任何适合的接口给处理器1302中的至少一个和/或与系统控制模块1304通信的任意适合的装置或部件。
一个实施例的系统控制模块1304可包括一个或多个存储器控制器,用于提供接口给系统存储器1306。存储器控制器可以是硬件模块、软件模块和/或固件模块。
一个实施例的系统存储器1306可被用于加载和存储数据和/或指令1362。对于一个实施例,系统存储器1306可包括任何适合的易失性存储器,例如,适合的DRAM(动态随机存取存储器)。在一些实施例中,系统存储器1306可包括:双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
一个实施例的系统控制模块1304可包括一个或多个输入/输出控制器,以向NVM/存储装置1308及(一个或多个)输入/输出设备1310提供接口。
一个实施例的NVM/存储装置1308可被用于存储数据和/或指令1382。NVM/存储装置1308可包括任何适合的非易失性存储器(例如闪存等)和/或可包括任何适合的(一个或多个)非易失性存储设备,例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器等。
NVM/存储装置1308可包括在物理上是设备1300被安装在其上的装置的一部分的存储资源,或者其可被该装置访问而不必作为该装置的一部分。例如,NVM/存储装置1308可经由网络接口1312通过网络和/或通过输入/输出设备1310进行访问。
一个实施例的(一个或多个)输入/输出设备1310可为设备1300提供接口以与任意其他适当的设备通信,输入/输出设备1310可以包括通信组件、音频组件、传感器组件等。
一个实施例的网络接口1312可为设备1300提供接口以通过一个或多个网络和/或与任何其他适合的装置通信,设备1300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合进行无线通信。
对于一个实施例,处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器(例如,存储器控制器)的逻辑封装在一起。对于一个实施例,处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器的逻辑集成在同一新品上。对于一个实施例,处理器1302中的至少一个可与系统控制模块1304的一个或多个控制器的逻辑集成在同一芯片上以形成片上系统(SoC)。
在各个实施例中,设备1300可以包括但不限于:台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等计算设备。在各个实施例中,设备1300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,设备1300可以包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,如果显示器包括触摸面板,显示屏可以被实现为触屏显示器,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在装置时,可以使得该装置执行本申请实施例中各方法的指令(instructions)。
在一个示例中提供了一种设备,包括:一个或多个处理器;和,其上存储的一个或多个机器可读介质中的指令,由所述一个或多个处理器执行时,导致所述装置执行如本申请实施例中的方法,该方法可以包括:图2或图3或图4或图5或图6或图7或图8或9所示的方法。
在一个示例中还提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如本申请实施例中的方法,该方法可以包括:图2或图3或图4或图5或图6或图7或图8或图9所示的方法。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理装置的处理器以产生一个机器,使得通过计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理装置上,使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上对本申请所提供的一种数据处理方法、一种数据处理装置、一种设备、以及一种机器可读介质介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种数据处理方法,其特征在于,包括:
依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
依据定位数据,确定车辆对应的车道位置特征;
依据地图数据,确定车辆对应的车道数量特征;
依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;
依据所述车道边界,确定所述车辆对应的目标车道;
其中,所述确定所述车辆对应的目标车道,包括:
确定多个车道边界分别对应的车道特征点、以及第一方向;
依据所述第一方向与第二方向之间的关系,确定所述车辆对应的目标车道;所述第二方向为所述车道特征点与车辆特征点对应的方向。
2.根据权利要求1所述的方法,其特征在于,所述确定所述车辆对应的车道边界,包括:
依据所述车道图像特征,得到两个车道特征点;所述两个车道特征点属于不同的第一车道边界;
依据所述车道位置特征,确定所述两个车道特征点之间的距离;
依据所述两个车道特征点之间的距离、以及所述车道数量特征,确定所述车辆对应的第二车道边界。
3.根据权利要求1所述的方法,其特征在于,所述车道图像特征包括:道路周边设施的轮廓线,所述确定所述车辆对应的车道边界,包括:
依据所述道路周边设施的轮廓线、以及车道位置特征,确定道路宽度;
依据所述道路宽度、以及所述车道数量特征,确定所述车辆对应的车道边界。
4.根据权利要求1所述的方法,其特征在于,所述确定所述车辆对应的目标车道,包括:
依据所述车道边界、以及所述车辆对应的连续运动信息,确定所述车辆对应的目标车道。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述车辆对应的当前车道边界不完整的情况下,依据车辆对应的道路图像、以及所述当前车道边界,确定所述车辆对应的最新车道图像特征和最新车道位置特征;
依据所述车辆对应的最新车道图像特征、所述最新车道位置特征和所述车道数量特征,确定所述车辆对应的最新车道边界;
依据所述最新车道边界,确定所述车辆对应的目标车道。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述车辆对应的当前车道边界不完整的情况下,确定预测车道边界;
依据车辆对应的道路图像、所述当前车道边界、以及所述预测车道边界,确定所述车辆对应的最新车道图像特征和最新车道位置特征;
依据所述车辆对应的最新车道图像特征、所述最新车道位置特征和所述车道数量特征,确定所述车辆对应的最新车道边界;
依据所述最新车道边界,确定所述车辆对应的目标车道。
7.根据权利要求1至6中任一所述的方法,其特征在于,所述车道图像特征包括如下特征中的至少一种:
车道特征点、车道特征线、以及车道特征区域。
8.根据权利要求7所述的方法,其特征在于,所述车道特征点包括如下特征点中的至少一种:
车道边界的端点;以及
车道边界与车道边界的垂线之间的交点。
9.根据权利要求7所述的方法,其特征在于,所述车道特征线包括如下特征线中的至少一种:
车道线;
道路边沿线;
道路边沿设施的轮廓线;
道路上方设施的轮廓线;以及
隧道口轮廓线。
10.根据权利要求7所述的方法,其特征在于,所述车道特征区域包括如下区域中的至少一种:
斑马线区域;
绿化带区域;以及
车辆区域。
11.一种数据处理装置,其特征在于,包括:
图像处理模块,用于依据车辆对应的道路图像,确定所述车辆对应的车道图像特征;
定位模块,用于依据定位数据,确定车辆对应的车道位置特征;
地图处理模块,用于依据地图数据,确定车辆对应的车道数量特征;
车道边界确定模块,用于依据所述车道图像特征、所述车道位置特征和所述车道数量特征,确定所述车辆对应的车道边界;以及
目标车道确定模块,用于依据所述车道边界,确定所述车辆对应的目标车道;
其中,所述目标车道确定模块包括:
特征点及方向确定模块,用于确定多个车道边界分别对应的车道特征点、以及第一方向;
第二目标车道确定模块,用于依据所述第一方向与第二方向之间的关系,确定所述车辆对应的目标车道;所述第二方向为所述车道特征点与车辆特征点对应的方向。
12.一种设备,其特征在于,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得数据处理装置执行如权利要求1-10中一个或多个所述的方法。
13.一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得数据处理装置执行如权利要求1-10中一个或多个所述的方法。
14.一种导航方法,其特征在于,包括:
依据车辆对应的车道图像特征、车道位置特征和车道数量特征,确定所述车辆对应的车道边界;其中,所述车道图像特征依据所述车辆对应的道路图像确定,所述位置特征依据定位数据确定,所述车道数量特征依据地图数据确定;
依据所述车道边界,确定所述车辆对应的目标车道;
依据所述目标车道,确定所述车辆对应的导航信息;
其中,所述确定所述车辆对应的目标车道,包括:
确定多个车道边界分别对应的车道特征点、以及第一方向;
依据所述第一方向与第二方向之间的关系,确定所述车辆对应的目标车道;所述第二方向为所述车道特征点与车辆特征点对应的方向。
15.一种辅助驾驶方法,其特征在于,包括:
依据车辆对应的车道图像特征、车道位置特征和车道数量特征,确定所述车辆对应的车道边界;其中,所述车道图像特征依据所述车辆对应的道路图像确定,所述位置特征依据定位数据确定,所述车道数量特征依据地图数据确定;
依据所述车道边界,确定所述车辆对应的目标车道;
依据所述目标车道,确定所述车辆对应的辅助驾驶信息;
其中,所述确定所述车辆对应的目标车道,包括:
确定多个车道边界分别对应的车道特征点、以及第一方向;
依据所述第一方向与第二方向之间的关系,确定所述车辆对应的目标车道;所述第二方向为所述车道特征点与车辆特征点对应的方向。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811519987.2A CN111311902B (zh) | 2018-12-12 | 2018-12-12 | 一种数据处理方法、装置、设备和机器可读介质 |
| TW108130585A TW202033932A (zh) | 2018-12-12 | 2019-08-27 | 資料處理方法、裝置、設備和機器可讀媒體 |
| PCT/CN2019/123214 WO2020119567A1 (zh) | 2018-12-12 | 2019-12-05 | 一种数据处理方法、装置、设备和机器可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811519987.2A CN111311902B (zh) | 2018-12-12 | 2018-12-12 | 一种数据处理方法、装置、设备和机器可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111311902A CN111311902A (zh) | 2020-06-19 |
| CN111311902B true CN111311902B (zh) | 2022-05-24 |
Family
ID=71076765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811519987.2A Active CN111311902B (zh) | 2018-12-12 | 2018-12-12 | 一种数据处理方法、装置、设备和机器可读介质 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN111311902B (zh) |
| TW (1) | TW202033932A (zh) |
| WO (1) | WO2020119567A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7315904B2 (ja) * | 2020-06-19 | 2023-07-27 | トヨタ自動車株式会社 | 車両制御装置 |
| CN111914651B (zh) * | 2020-07-01 | 2024-09-03 | 浙江大华技术股份有限公司 | 一种行车车道判定的方法、装置及存储介质 |
| CN114022860A (zh) * | 2020-07-16 | 2022-02-08 | 长沙智能驾驶研究院有限公司 | 目标检测方法、装置及电子设备 |
| CN112115219A (zh) * | 2020-08-31 | 2020-12-22 | 汉海信息技术(上海)有限公司 | 位置确定方法、装置、设备以及存储介质 |
| CN114518120B (zh) * | 2020-11-18 | 2025-05-16 | 阿里巴巴集团控股有限公司 | 导航引导方法、路形数据的生成方法、装置、设备及介质 |
| CN113286096B (zh) * | 2021-05-19 | 2022-08-16 | 中移(上海)信息通信科技有限公司 | 视频识别方法及系统 |
| CN115451982B (zh) * | 2021-06-09 | 2025-05-06 | 腾讯科技(深圳)有限公司 | 一种定位方法和相关装置 |
| CN113642533B (zh) * | 2021-10-13 | 2022-08-09 | 宁波均联智行科技股份有限公司 | 车道级定位方法及电子设备 |
| CN115406456A (zh) * | 2022-08-18 | 2022-11-29 | 武汉中海庭数据技术有限公司 | 一种横向减速标线和人行横道数据处理方法及处理系统 |
| WO2024092559A1 (zh) * | 2022-11-02 | 2024-05-10 | 华为技术有限公司 | 一种导航方法及相应装置 |
| CN117058647B (zh) * | 2023-10-13 | 2024-01-23 | 腾讯科技(深圳)有限公司 | 车道线处理方法、装置和设备及计算机存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10327869A1 (de) * | 2003-06-18 | 2005-01-13 | Siemens Ag | Navigationssystem mit Fahrspurhinweisen |
| CN105674992A (zh) * | 2014-11-20 | 2016-06-15 | 高德软件有限公司 | 一种导航方法及装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002175599A (ja) * | 2000-12-05 | 2002-06-21 | Hitachi Ltd | 先行車または物標の車線位置推定装置 |
| JP4377284B2 (ja) * | 2004-06-02 | 2009-12-02 | 株式会社ザナヴィ・インフォマティクス | 車載ナビゲーション装置 |
| JP4437556B2 (ja) * | 2007-03-30 | 2010-03-24 | アイシン・エィ・ダブリュ株式会社 | 地物情報収集装置及び地物情報収集方法 |
| JP4886597B2 (ja) * | 2007-05-25 | 2012-02-29 | アイシン・エィ・ダブリュ株式会社 | レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置 |
| JP4780534B2 (ja) * | 2009-01-23 | 2011-09-28 | トヨタ自動車株式会社 | 道路区画線検出装置 |
| US9077958B2 (en) * | 2010-08-30 | 2015-07-07 | Honda Motor Co., Ltd. | Road departure warning system |
| CN102184535B (zh) * | 2011-04-14 | 2013-08-14 | 西北工业大学 | 一种车辆所在车道边界检测方法 |
| US8989914B1 (en) * | 2011-12-19 | 2015-03-24 | Lytx, Inc. | Driver identification based on driving maneuver signature |
| CN103942959B (zh) * | 2014-04-22 | 2016-08-24 | 深圳市宏电技术股份有限公司 | 一种车道检测方法及装置 |
| KR101610502B1 (ko) * | 2014-09-02 | 2016-04-07 | 현대자동차주식회사 | 자율주행차량의 주행환경 인식장치 및 방법 |
| US9721471B2 (en) * | 2014-12-16 | 2017-08-01 | Here Global B.V. | Learning lanes from radar data |
| US20160209219A1 (en) * | 2015-01-15 | 2016-07-21 | Applied Telemetrics Holdings Inc. | Method of autonomous lane identification for a multilane vehicle roadway |
| US10013610B2 (en) * | 2015-10-23 | 2018-07-03 | Nokia Technologies Oy | Integration of positional data and overhead images for lane identification |
| CN106056100B (zh) * | 2016-06-28 | 2019-03-08 | 重庆邮电大学 | 一种基于车道检测与目标跟踪的车辆辅助定位方法 |
| CN106740841B (zh) * | 2017-02-14 | 2018-07-10 | 驭势科技(北京)有限公司 | 基于动态控制的车道线检测方法、装置及车载设备 |
| US10942525B2 (en) * | 2017-05-09 | 2021-03-09 | Uatc, Llc | Navigational constraints for autonomous vehicles |
| KR101870229B1 (ko) * | 2018-02-12 | 2018-06-22 | 주식회사 사라다 | 차로 위치 결정 시스템 및 그 방법 |
| CN108957475A (zh) * | 2018-06-26 | 2018-12-07 | 东软集团股份有限公司 | 一种道路边界检测方法及装置 |
-
2018
- 2018-12-12 CN CN201811519987.2A patent/CN111311902B/zh active Active
-
2019
- 2019-08-27 TW TW108130585A patent/TW202033932A/zh unknown
- 2019-12-05 WO PCT/CN2019/123214 patent/WO2020119567A1/zh not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10327869A1 (de) * | 2003-06-18 | 2005-01-13 | Siemens Ag | Navigationssystem mit Fahrspurhinweisen |
| CN105674992A (zh) * | 2014-11-20 | 2016-06-15 | 高德软件有限公司 | 一种导航方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020119567A1 (zh) | 2020-06-18 |
| TW202033932A (zh) | 2020-09-16 |
| CN111311902A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311902B (zh) | 一种数据处理方法、装置、设备和机器可读介质 | |
| KR102815456B1 (ko) | 영상 처리를 위한 학습 데이터 생성 방법, 영상 처리 방법, 및 그 장치들 | |
| JP7349792B2 (ja) | 車両走行のための情報を提供する方法 | |
| JP7739515B2 (ja) | 車両をナビゲートするためのシステム、コンピュータプログラム、及び非一時的コンピュータ可読媒体 | |
| EP3343172B1 (en) | Creation and use of enhanced maps | |
| CN105659304B (zh) | 车辆、导航系统及生成并递送导航信息的方法 | |
| CN108303103B (zh) | 目标车道的确定方法和装置 | |
| CN109084782B (zh) | 基于摄像头传感器的车道线地图构建方法以及构建系统 | |
| CN113554698A (zh) | 车辆位姿信息生成方法、装置及电子设备、存储介质 | |
| CN111091037A (zh) | 用于确定驾驶信息的方法和设备 | |
| JP2019099138A (ja) | 車線維持補助方法及び装置 | |
| CN109754636B (zh) | 停车位协同感知识别、停车辅助方法、装置 | |
| JP5742558B2 (ja) | 位置判定装置およびナビゲーション装置並びに位置判定方法,プログラム | |
| CN114547222B (zh) | 语义地图构建方法、装置及电子设备 | |
| US11468691B2 (en) | Traveling lane recognition apparatus and traveling lane recognition method | |
| US20170061203A1 (en) | Detection device, detection method, computer program product, and information processing system | |
| US20240221390A1 (en) | Lane line labeling method, electronic device and storage medium | |
| WO2020156923A2 (en) | Map and method for creating a map | |
| WO2022021982A1 (zh) | 可行驶区域判定的方法、智能驾驶系统和智能汽车 | |
| WO2022183415A1 (zh) | 一种积水深度确定方法及装置 | |
| CN109883439A (zh) | 一种车辆导航方法、装置、电子设备及存储介质 | |
| US20210048819A1 (en) | Apparatus and method for determining junction | |
| CN115409910B (zh) | 一种语义地图构建方法、视觉定位方法及相关设备 | |
| JP5742559B2 (ja) | 位置判定装置およびナビゲーション装置並びに位置判定方法,プログラム | |
| CN112215748B (zh) | 图像处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201218 Address after: Room 603, 6 / F, Roche Plaza, 788 Cheung Sha Wan Road, Kowloon, China Applicant after: Zebra smart travel network (Hong Kong) Limited Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |