[go: up one dir, main page]

CN116503824A - 一种车道线检测方法、模块及介质 - Google Patents

一种车道线检测方法、模块及介质 Download PDF

Info

Publication number
CN116503824A
CN116503824A CN202310347610.8A CN202310347610A CN116503824A CN 116503824 A CN116503824 A CN 116503824A CN 202310347610 A CN202310347610 A CN 202310347610A CN 116503824 A CN116503824 A CN 116503824A
Authority
CN
China
Prior art keywords
key point
lane line
image
information
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310347610.8A
Other languages
English (en)
Inventor
田文善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Four Dimensional New Intelligent Driving Beijing Technology Co ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN202310347610.8A priority Critical patent/CN116503824A/zh
Publication of CN116503824A publication Critical patent/CN116503824A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种车道线检测方法、模块及介质,方法包括:获取包含车道线的待检测图像;将所述待检测图像输入至车道线关键点检测模型,得到所述待检测图像中车道线的关键点信息;所述车道线关键点检测模型是基于样本图像训练得到的,所述样本图像中沿拟合后车道线曲线等间距标注有车道线的各关键点;对所述关键点信息进行聚类处理,得到所述待检测图像包含的车道线。本实施例基于标注有车道线的各关键点的样本图像训练车道线检测模型,车道线检测模型可以只对标注的各关键点进行分类,相比对样本图像中每个像素点都进行分类的检测模型而言,检测速度快。

Description

一种车道线检测方法、模块及介质
技术领域
本申请涉及车道线识别技术领域,尤其涉及一种车道线检测方法、模块及介质。
背景技术
在计算机视觉领域,车道线检测有丰富研究文献,其可广泛应用于ADAS(AdvancedDrivingAssistanceSystem,高级驾驶辅助系统)和自动驾驶领域的道路识别系统中。
传统检测车道线的方法是使用人工设计的特征来提取低层次的车道线特征,比如形状、颜色或纹理等,然后通过Hough变换或者Kalman滤波器等进行组合,来生成车道线,但是此种方法易受天气、路况、遮挡等情况的干扰。
基于深度神经网络模型检测车道线是近年来主流的研究方向,比如其中的基于语义分割的方法。基于语义分割的方法用深度神经网络对图片的每个像素点进行是否是车道线的分类,再将分类是车道线的像素点聚类成多条车道线,最后进行细化和拟合,识别出车道线。但是此种方法对图片中每个像素点都进行了分类,计算了大量与车道线无关的点,运算量大,导致车道线检测速度较慢。
发明内容
本说明书实施例提供一种车道线检测方法、模块及介质,以解决现有的车道线检测方法检测速度慢的问题。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种车道线检测方法,包括:
获取包含车道线的待检测图像;
将所述待检测图像输入至车道线关键点检测模型,得到所述待检测图像中车道线的关键点信息;所述车道线关键点检测模型是基于样本图像训练得到的,所述样本图像中沿拟合后车道线曲线等间距标注有车道线的各关键点;
对所述关键点信息进行聚类处理,得到所述待检测图像包含的车道线。
可选地,所述待检测图像包括采集设备采集的原始图像;
或者,所述待检测图像包括采集设备采集的原始图像以及灭点区域图像;所述灭点区域图像是基于所述原始图像中的车道线的灭点,对所述原始图像裁切得到的。
可选地,所述车道线关键点检测模型包括关键点位置检测头和关键点聚类信息检测头;所述关键点信息包括基于所述关键点位置检测头得到的关键点位置信息以及基于所述关键点聚类信息检测头得到的关键点聚类信息;
所述对所述关键点信息进行聚类处理,得到所述待检测图像包含的车道线,具体包括:
基于所述关键点位置信息和所述关键点聚类信息,得到所述待检测图像中车道线的关键点的聚类信息值;
对所述聚类信息值进行聚类,得到所述待检测图像包含的车道线。
可选地,所述车道线关键点检测模型还包括关键点位置调整检测头;所述关键点信息还包括基于所述关键点位置调整检测头得到的关键点位置调整信息;
所述基于所述关键点位置信息和所述关键点聚类信息,得到所述待检测图像中车道线的关键点的聚类信息值,具体包括:
基于所述关键点位置调整信息,调整所述关键点位置信息,得到调整后的关键点位置信息;
基于所述调整后的关键点位置信息和所述关键点聚类信息,得到所述待检测图像中车道线的关键点的聚类信息值。
可选地,所述车道线关键点检测模型包括关键点属性检测头;所述关键点信息包括基于所述关键点属性检测头得到的关键点属性信息;
所述方法还包括:
基于所述关键点属性信息,确定所述待检测图像包含的车道线的属性。
可选地,所述方法还包括:
获取采集设备采集的包含车道线的历史图像;
沿拟合后车道线曲线等间距标注所述历史图像中车道线的各关键点,得到所述样本图像;
基于所述样本图像,训练预设的车道线关键点检测模型,得到所述车道线关键点检测模型。
可选地,所述沿拟合后车道线曲线等间距标注所述历史图像中车道线的各关键点,得到所述样本图像,具体包括:
基于所述历史图像中的车道线的灭点,裁切所述历史图像,得到灭点区域图像;
将所述灭点区域图像与所述历史图像拼接,得到处理后的历史图像;
沿拟合后车道线曲线等间距标注所述处理后的历史图像中车道线的各关键点,得到所述样本图像。
可选地,所述预设的车道线关键点检测模型包括主干网络、预设的关键点位置检测头和预设的关键点聚类信息检测头;所述样本图像中包括用于表示关键点位置信息的第一标注信息和用于表示关键点聚类信息的第二标注信息;
所述基于所述样本图像,训练预设的车道线关键点检测模型,得到所述车道线关键点检测模型,具体包括:
将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点位置信息的第一识别结果和用于表示关键点聚类信息的第二识别结果;
将所述第一识别结果取高斯核作为真值,利用FocalLoss损失函数训练所述预设的关键点位置检测头;
将所述第二识别结果作为真值,利用DiscriminativeLoss判别损失函数训练所述预设的关键点聚类信息检测头。
可选地,所述预设的车道线关键点检测模型还包括预设的关键点属性检测头;所述样本图像中还包括用于表示关键点属性信息的第三标注信息;
所述基于所述样本图像,训练预设的车道线关键点检测模型,得到所述训练好的车道线关键点检测模型,具体包括:
将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点属性信息的第三识别结果;
将所述第三识别结果作为真值,利用交叉熵损失函数训练所述预设的关键点属性检测头。
可选地,所述预设的车道线关键点检测模型还包括预设的关键点位置调整检测头;所述样本图像中还包括用于表示关键点位置调整信息的第四标注信息;
所述基于所述样本图像,训练预设的车道线关键点检测模型,得到所述车道线关键点检测模型,具体包括:
将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点位置调整信息的第四识别结果;
将所述第四识别结果作为真值,利用回归损失函数训练所述预设的关键点位置调整检测头。
本说明书实施例提供的一种车道线检测模块,包括:
获取单元,用于获取包含车道线的待检测图像;
图像输入单元,用于将所述待检测图像输入至车道线关键点检测模型,得到所述待检测图像中车道线的关键点信息;所述车道线关键点检测模型是基于样本图像训练得到的,所述样本图像中沿拟合后车道线曲线等间距标注有车道线的各关键点;
处理单元,用于对所述关键点信息进行聚类处理,得到所述待检测图像包含的车道线。
本说明书实施例提供的一种计算机可读存储介质,其上存储有计算机指令,该计算机指令被处理器执行时实现上述所述方法的步骤。
本说明书一个实施例实现了能够达到以下有益效果:通过标注车道线的各关键点的样本图像,训练车道线关键点检测模型,训练得到的车道线检测模型可以只对标注的各关键点进行分类,相比对现有技术中样本图像中每个像素点都进行分类的检测模型而言,检测速度快。另外,本实施例沿拟合后车道线曲线等间距标注样本图像中车道线的各关键点,相对于现有技术中基于车道线所在道路的方向或垂直于车道线所在道路的方向标注关键点而言,车道线的检测精度高。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的一种车道线检测方法流程图;
图2为本说明书实施例提供的基于垂直于车道线所在道路的方向标注关键点的示意图;
图3为本说明书实施例提供的等间距标注各关键点的示意图;
图4为本说明书实施例提供的标注好关键点的历史图像的示意图;
图5为本说明书实施例提供的历史图像包含灭点的示意图;
图6为本说明书实施例提供的处理后的历史图像的示意图;
图7为本说明书实施例提供的预设的车道线关键点检测模型的结构图;
图8为本说明书实施例提供的关键点热力图的示意图;
图9为本说明书实施例提供的各关键点的聚类信息值融合到同一坐标系下的示意图;
图10为本说明书实施例提供的对聚类信息值聚类后的示意图;
图11为本说明书实施例提供的车道线检测结果示意图;
图12为本说明书实施例提供的关键点位置调整信息的示意图;
图13为本说明书实施例提供的一种车道线检测模块的结构图;
图14为本说明书实施例提供的一种计算机设备的结构图。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书一个或多个实施例保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
传统检测车道线的方法是使用人工设计的特征来提取低层次的车道线特征,比如形状、颜色或纹理等,然后通过Hough变换或者Kalman滤波器等进行组合,来生成车道线,但是此种方法易受天气、路况、遮挡等情况的干扰。
基于深度神经网络模型检测车道线是近年来主流的研究方向,比如其中的基于语义分割的方法。基于语义分割的方法用深度神经网络对图片的每个像素点进行是否是车道线的分类,再将分类是车道线的像素点聚类成多条车道线,最后进行细化和拟合,识别出车道线。但是此种方法对图片中每个像素点都进行了分类,计算了大量与车道线无关的点,运算量大,导致车道线检测速度较慢。
为了解决现有技术中的缺陷,本方案给出了以下实施例:
图1为本说明书实施例提供的一种车道线检测方法流程图,从程序角度而言,流程的执行主体可以为搭载于应用服务器的程序或应用客户端。如图1所示,方法可以包括如下步骤:
步骤102:获取包含车道线的待检测图像。
在步骤102中,可以利用采集设备采集图像,从而获取到待检测图像。其中,采集设备可以是车载相机,比如车载单目相机。
在步骤102中,待检测图像中包含车道线。
步骤104:将所述待检测图像输入至车道线关键点检测模型,得到所述待检测图像中车道线的关键点信息;所述车道线关键点检测模型是基于样本图像训练得到的,所述样本图像中沿拟合后车道线曲线等间距标注有车道线的各关键点。
在步骤104中,车道线关键点检测模型可以对待检测样本图像进行检测,得到待检测图像中车道线的关键点信息。其中,车道线关键点检测模型训练过程可以包括:
获取采集设备采集的包含车道线的历史图像;
沿拟合后车道线曲线等间距标注所述历史图像中车道线的各关键点,得到所述样本图像;
基于所述样本图像,训练预设的车道线关键点检测模型,得到所述车道线关键点检测模型。
在步骤104中,采集设备可以是车载相机,车载相机采集包含车道线的历史图像。
在步骤104中,对历史图像中车道线的关键点进行标注,可以基于车道线所在道路的方向或垂直于车道线所在道路的方向进行标注。
图2为本说明书实施例提供的基于垂直于车道线所在道路的方向标注关键点的示意图,如图2所示,沿垂直于车道线所在道路的方向将道路等间距划分,其中图2中的虚线为道路划分线,然后将车道线位于道路划分线上的点作为关键点进行标注。
但是,现有技术中基于垂直于车道线所在道路的方向标注关键点,会导致标注的关键点不能很好的反映横向车道线,也就是不能很好的反映相对道路方向夹角较小的车道线的形状,导致模型对横向车道线的检测精度较差。
同理,基于车道线所在道路的方向标注关键点,则不能很好的反映纵向车道线的形状,也就是不能很好的反映相对道路方向夹角较大的车道线的形状,进而导致模型对纵向车道线的检测精度较差。
因此本实施例中,还可以沿拟合后车道线曲线等间距标注车道线的关键点。图3为本说明书实施例提供的等间距标注各关键点的示意图,如图3所示,沿拟合后车道线曲线等间距标注关键点,可以是标注的相邻两个关键点之间的绝对距离一定,或者是标注的相邻两个关键点之间的车道线长度一定,在此不作限制。沿拟合后车道线曲线等间距标注车道线的关键点,可以很好的反映横向车道线、纵向车道线的形状,进而提高模型对车道线的检测精度。
另外,标注关键点时,还需要标注用于表示关键点位置信息的第一标注信息、用于表示关键点聚类信息的第二标注信息以及用于表示关键点属性信息的第三标注信息等信息。关键点位置信息能够表示关键点的位置,关键点聚类信息能够表示关键点的聚类信息,也就是关键点类别,比如关键点所属的车道线的序号,关键点属性信息能够表示关键点的属性,比如虚、实、黄、白等,如果关键点属性信息为虚,则该关键点所在车道线的属性可以为虚线,如果关键点属性信息为黄,则该关键点所在车道线的属性可以为黄线。
图4为本说明书实施例提供的标注好关键点的历史图像的示意图,如图4所示,图4中每一关键点都可以包含关键点位置信息、关键点聚类信息以及关键点属性信息等信息。
在一个实施例中,还可以对标注好关键点的图像进行预处理,比如随机旋转、高斯噪声等预处理,来提高训练得到的车道线关键点检测模型的检测精度。
还有,本实施例中车载相机采集图像,由于是以车的视角进行采集的,那么该图像中的车道线便可能会存在灭点。其几何意义是,一条直线的灭点是过摄影中心且平行于该直线的直线与像平面的交点。在本实施例中,一条车道线的灭点是过采集设备采集中心且平行于该车道线的直线与像平面的交点。进一步对灭点通俗的解释是,灭点是图像中车道线的尽头。图5为本说明书实施例提供的历史图像包含灭点的示意图,图5中的灭点则是车道线的尽头。
由于灭点是图像中车道线的尽头,模型在此处会不易检测出车道线。因此为了提高模型对灭点处车道线的检测精度,本实施例在得到样本图像前,还对历史图像进行了处理,具体可以包括:
基于所述历史图像中的车道线的灭点,裁切所述历史图像,得到灭点区域图像;
将所述灭点区域图像与所述历史图像拼接,得到处理后的历史图像。
图6为本说明书实施例提供的处理后的历史图像的示意图,如图6所示,图6中包含拼接的灭点区域图像以及历史图像。图像中的灭点可以人工获取,也可以基于霍夫直线拟合等方法求出,在此不作限制。
由于车道线检测模型是基于包含灭点区域图像训练得到的,那么车道线检测模型检测的待检测图像中,则不仅可以包括采集设备采集的原始图像,也可以包括原始图像中的灭点区域图像。
图7为本说明书实施例提供的预设的车道线关键点检测模型的结构图,如图7所示,预设的车道线关键点检测模型可以包括主干网络和头部网络,主干网络英文表示为backbone,主干网络是提取特征的网络,其作用是提取图像特征。头部网络英文表示为head,头部网络是获取输出内容的网络,其利用主干网络提取的特征,做出预测。
其中,头部网路可以包括预设的关键点位置检测头和预设的关键点聚类信息检测头。预设的车道线关键点检测模型的训练过程可以包括:
将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点位置信息的第一识别结果和用于表示关键点聚类信息的第二识别结果;
将所述第一识别结果取高斯核作为真值,利用FocalLoss损失函数训练所述预设的关键点位置检测头;
将所述第二识别结果作为真值,利用DiscriminativeLoss判别损失函数训练所述预设的关键点聚类信息检测头。
现有技术中,车道线的类别和车道线的属性是耦合在一起的,因此车道线属性的不同,会导致检测出的车道线断开。
为了避免这一情况,本实施例中预设的车道线关键点检测模型还可以包括预设的关键点属性检测头,关键点属性检测头和关键点聚类信息检测头解耦。此时,预设的车道线关键点检测模型训练过程还可以包括:
将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点属性信息的第三识别结果;
将所述第三识别结果作为真值,利用交叉熵损失函数训练所述预设的关键点属性检测头。
在本实施例中,历史图像尺寸和预设的车道线关键点检测模型的输入图像尺寸可能会不同。比如历史图像尺寸是1920*1080,而预设的车道线关键点检测模型的输入图像尺寸是512*628,此时则需要将1920*1080的历史图像压缩成512*628尺寸以输入预设的车道线关键点检测模型。而当需要对历史图像中灭点处车道线进行处理时,也会对历史图像进行压缩,比如历史图像尺寸还是1920*1080,灭点区域图像尺寸是300*200,此时需要把历史图像压缩成512*288,灭点区域图像尺寸放大成512*340,再把两个图像拼接成一张512*628尺寸的图像输入预设的车道线关键点检测模型。
在本实施例中,样本图像中表示关键点位置信息的第一标注信息可以是基于尺寸缩小前的历史图像标注的整数,比如第一标注信息可以是(123,234),预设的车道线关键点检测模型输出的关键点位置信息也可以为整数。但是在历史图像被压缩后,第一标注信息可能会按照历史图像的压缩比例缩小成小数,进而导致检测出的关键点位置信息相对第一标注信息存在偏差。
为了消除这一偏差,提高关键点位置信息的准确度,预设的车道线关键点检测模型还可以包括预设的关键点位置调整检测头,样本图像中还可以包括用于表示关键点位置调整信息的第四标注信息。则预设的车道线关键点检测模型训练过程还可以包括:
将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点位置调整信息的第四识别结果;
将所述第四识别结果作为真值,利用回归损失函数训练所述预设的关键点位置调整检测头。
在本实施例中,可以利用L1Loss回归损失函数或者L2Loss回归损失函数训练预设的关键点位置调整检测头,在此不作限定。
进一步地,预设的车道线关键点检测模型训练过程还可以包括:
基于预设的关键点位置检测头的输出、预设的关键点聚类信息检测头的输出、预设的关键点属性检测头的输出以及预设的关键点位置调整检测头的输出,利用反向传播算法对预设的车道线关键点检测模型进行优化,得到车道线关键点检测模型。
最后再利用车道线关键点检测模型检测待检测图像,输出待检测图像中车道线的关键点信息。
步骤106:对所述关键点信息进行聚类处理,得到所述待检测图像包含的车道线。
具体而言,在步骤106中,关键点信息可以包括关键点位置信息以及关键点聚类信息等信息。对关键点信息进行聚类处理,得到待检测图像包含的车道线,具体可以包括:
基于关键点位置信息和关键点聚类信息,得到待检测图像中车道线的关键点的聚类信息值;
对聚类信息值进行聚类,得到待检测图像包含的车道线。
在本实施例中,关键点位置检测头输出的可以是关键点热力图,图8为本说明书实施例提供的关键点热力图的示意图,关键点热力图包含关键点位置信息。如图8所示,图8中包括上下两行关键点,上面一行的左右6个关键点表示关键点位置检测头输出的待检测图像中灭点区域的关键点位置信息,下面一行的左右6个关键点表示关键点位置检测头输出的待检测图像中的关键点位置信息。
然后基于关键点热力图,通过最大池化选取局部最大的点,再从局部最大的点中选取全局大于预设阈值的点,即得到关键点位置信息。
在本实施例中,关键点聚类信息检测头输出的可以是关键点的聚类信息值,关键点的聚类信息值是将关键点的聚类信息映射到高维抽象空间中的坐标表示,关键点的聚类信息值包含关键点聚类信息。
然后将各关键点的聚类信息值融合到同一坐标系下,图9为本说明书实施例提供的各关键点的聚类信息值融合到同一坐标系下的示意图,需要注意的是,图9中的各关键点是分类之前的关键点。
再利用基于密度的聚类算法,比如DBSCAN(Density-BasedSpatial ClusteringofApplicationswithNoise)聚类算法,将同一坐标系下的聚类信息值进行聚类。图10为本说明书实施例提供的对聚类信息值聚类后的示意图,图10中,如果可以用不同颜色的关键点表示不同的类别的话,则红色关键点可以属于1号车道线,绿色关键点可以属于2号车道线。
最后再基于关键点位置信息,将聚类后的聚类信息值映射成聚类后的关键点位置信息,得到待检测图像包含的车道线。图11为本说明书实施例提供的车道线检测结果示意图,图11中,左下角3个红色关键点可以表示1号车道线,左上角3个红色关键点可以表示1号车道线灭点处的车道线,右下角3个绿色关键点可以表示2号车道线,右上角3个绿色关键点可以表示2号车道线灭点处的车道线。
在本实施例中,关键点信息还可以包括关键点位置调整信息。关键点位置调整信息可以利用车道线关键点检测模型的关键点位置调整检测头从主干网络提取的图像特征中检测。图12为本说明书实施例提供的关键点位置调整信息的示意图,如图12所示,图12中每个点可以表示对应的每个关键点的位置调整信息。
再利用关键点位置调整信息对关键点位置信息进行调整,使得关键点位置信息更准确,进而得到更准确的聚类信息值。
进一步地,关键点信息中还可以包括关键点属性信息。关键点属性信息可以利用车道线关键点检测模型的关键点属性检测头从主干网络提取的图像特征中检测。
然后可以基于关键点属性信息,确定待检测图像包含的车道线的属性。其中,确定车道线的属性可以为确定车道线为虚线、实线,或者确定为黄色车道线、白色车道线等。
本实施例中,为了得到车道线的曲线表示,还可以将检测出的车道线的关键点通过曲线拟合的方式拟合成曲线,供下游使用者使用。
应当理解,本说明书一个或多个实施例所述的方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。
本实施例通过标注车道线的各关键点的样本图像,训练车道线关键点检测模型,训练得到的车道线检测模型只对标注的各关键点进行分类,同时利用主干网络提取的图像特征,结合简单的聚类方法,区分各条车道线,免去了各种繁杂的人工设计的后处理,再将聚类后的关键点信息回溯到待检测图像中,实现车道线地快速检测。
本实施例沿拟合后车道线曲线等间距标注样本图像中车道线的各关键点,相对于基于车道线所在道路的方向或垂直于车道线所在道路的方向标注关键点而言,车道线的检测精度高。
另外,本实施例的车道线关键点检测模型没有对车道线的形状进行单独预测,仅是依靠关键点本身的特征,比如关键点位置信息以及关键点聚类信息来训练模型,从而本实施例的车道线关键点检测模型可以识别各种复杂的车道线,比如Y型车道线、断开的车道线等。
还有,本实施例没有用到复杂的算法,车道线关键点检测模型只需要最基础的卷积,比如主干网络和头部网络,这使得大部分设备都能支持,不会因设备算力不支持而部署受限。
基于同样的思路,本说明书实施例还提供了上述方法对应的模块。图13为本说明书实施例提供的对应于图1的一种车道线检测模块的结构图,如图13所示,该模块可以包括:
获取单元130,用于获取包含车道线的待检测图像。
图像输入单元132,用于将所述待检测图像输入至车道线关键点检测模型,得到所述待检测图像中车道线的关键点信息;所述车道线关键点检测模型是基于样本图像训练得到的,所述样本图像中沿拟合后车道线曲线等间距标注有车道线的各关键点。
处理单元134,用于对所述关键点信息进行聚类处理,得到所述待检测图像包含的车道线。
可选的,所述待检测图像可以包括采集设备采集的原始图像;或者,所述待检测图像可以包括采集设备采集的原始图像以及灭点区域图像;所述灭点区域图像是基于所述原始图像中的车道线的灭点,对所述原始图像裁切得到的。
可选地,所述车道线关键点检测模型包括关键点位置检测头和关键点聚类信息检测头;所述关键点信息包括基于所述关键点位置检测头得到的关键点位置信息以及基于所述关键点聚类信息检测头得到的关键点聚类信息;处理单元134具体可以包括:
聚类信息值获取子单元,用于基于所述关键点位置信息和所述关键点聚类信息,得到所述待检测图像中车道线的关键点的聚类信息值;
聚类子单元,用于对所述聚类信息值进行聚类,得到所述待检测图像包含的车道线。
可选地,所述车道线关键点检测模型还可以包括关键点位置调整检测头;所述关键点信息还包括基于所述关键点位置调整检测头得到的关键点位置调整信息;聚类信息值获取子单元具体可以包括:
位置信息获取微单元,用于基于所述关键点位置调整信息,调整所述关键点位置信息,得到调整后的关键点位置信息;
聚类信息值获取微单元,用于基于所述调整后的关键点位置信息和所述关键点聚类信息,得到所述待检测图像中车道线的关键点的聚类信息值。
在本实施例中,所述车道线关键点检测模型包括关键点属性检测头;所述关键点信息包括基于所述关键点属性检测头得到的关键点属性信息;所述模块还包括:
属性确定单元,用于基于所述关键点属性信息,确定所述待检测图像包含的车道线的属性。
进一步地,所述模块还可以包括:
历史图像获取单元,用于获取采集设备采集的包含车道线的历史图像;
标注单元,用于等间距标注所述历史图像中车道线的关键点,得到所述样本图像;
模型获取单元,用于基于所述样本图像,训练预设的车道线关键点检测模型,得到所述车道线关键点检测模型。
进一步地,标注单元具体可以包括:
裁切子单元,用于基于所述历史图像中的车道线的灭点,裁切所述历史图像,得到灭点区域图像;
拼接子单元,用于将所述灭点区域图像与所述历史图像拼接,得到处理后的历史图像;
标注子单元,用于沿拟合后车道线曲线等间距标注所述处理后的历史图像中车道线的各关键点,得到所述样本图像。
进一步地,所述预设的车道线关键点检测模型包括主干网络、预设的关键点位置检测头和预设的关键点聚类信息检测头;所述样本图像中包括用于表示关键点位置信息的第一标注信息和用于表示关键点聚类信息的第二标注信息;模型获取单元具体包括:
输入子单元,用于将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点位置信息的第一识别结果和用于表示关键点聚类信息的第二识别结果;
第一训练子单元,用于将所述第一识别结果取高斯核作为真值,利用Focal Loss损失函数训练所述预设的关键点位置检测头;
第二训练子单元,用于将所述第二识别结果作为真值,利用Discriminative Loss判别损失函数训练所述预设的关键点聚类信息检测头。
进一步地,所述预设的车道线关键点检测模型还包括预设的关键点属性检测头;所述样本图像中还包括用于表示关键点属性信息的第三标注信息;输入单元还用于将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点属性信息的第三识别结果;模型获取单元还包括:
第三训练子单元,用于将所述第三识别结果作为真值,利用交叉熵损失函数训练所述预设的关键点属性检测头。
进一步地,所述预设的车道线关键点检测模型还包括预设的关键点位置调整检测头;所述样本图像中还包括用于表示关键点位置调整信息的第四标注信息;输入单元还用于将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点位置调整信息的第四识别结果;模型获取单元还包括:
第四训练子单元,用于将所述第四识别结果作为真值,利用回归损失函数训练所述预设的关键点位置调整检测头。
基于同样的思路,本说明书实施例还提供了上述方法对应的设备。图14为本说明书实施例提供的对应于图1的一种计算机设备的结构示意图。如图14所示,设备140可以包括存储器141、处理器142以及存储在存储器141上的计算机程序143,处理器142执行计算机程序143以实现上述方法的步骤。
基于同样的思路,本说明书实施例还提供了上述方法对应的计算机可读存储介质,计算机可读存储介质上存储有计算机指令,该计算机指令被处理器执行时实现上述方法的步骤。
基于同样的思路,本说明书实施例还提供了上述方法对应的计算机程序产品,计算机程序产品包括计算机指令,该计算机指令被处理器执行时实现上述方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图14所示的计算机设备而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种车道线检测方法,其特征在于,包括:
获取包含车道线的待检测图像;
将所述待检测图像输入至车道线关键点检测模型,得到所述待检测图像中车道线的关键点信息;所述车道线关键点检测模型是基于样本图像训练得到的,所述样本图像中沿拟合后车道线曲线等间距标注有车道线的各关键点;
对所述关键点信息进行聚类处理,得到所述待检测图像包含的车道线。
2.根据权利要求1所述的车道线检测方法,其特征在于,所述待检测图像包括采集设备采集的原始图像;
或者,所述待检测图像包括采集设备采集的原始图像以及灭点区域图像;所述灭点区域图像是基于所述原始图像中的车道线的灭点,对所述原始图像裁切得到的。
3.根据权利要求1所述的车道线检测方法,其特征在于,所述车道线关键点检测模型包括关键点位置检测头和关键点聚类信息检测头;所述关键点信息包括基于所述关键点位置检测头得到的关键点位置信息以及基于所述关键点聚类信息检测头得到的关键点聚类信息;
所述对所述关键点信息进行聚类处理,得到所述待检测图像包含的车道线,具体包括:
基于所述关键点位置信息和所述关键点聚类信息,得到所述待检测图像中车道线的关键点的聚类信息值;
对所述聚类信息值进行聚类,得到所述待检测图像包含的车道线。
4.根据权利要求3所述的车道线检测方法,其特征在于,所述车道线关键点检测模型还包括关键点位置调整检测头;所述关键点信息还包括基于所述关键点位置调整检测头得到的关键点位置调整信息;
所述基于所述关键点位置信息和所述关键点聚类信息,得到所述待检测图像中车道线的关键点的聚类信息值,具体包括:
基于所述关键点位置调整信息,调整所述关键点位置信息,得到调整后的关键点位置信息;
基于所述调整后的关键点位置信息和所述关键点聚类信息,得到所述待检测图像中车道线的关键点的聚类信息值。
5.根据权利要求1-4任一项所述的车道线检测方法,其特征在于,所述车道线关键点检测模型包括关键点属性检测头;所述关键点信息包括基于所述关键点属性检测头得到的关键点属性信息;
所述方法还包括:
基于所述关键点属性信息,确定所述待检测图像包含的车道线的属性。
6.根据权利要求1所述的车道线检测方法,其特征在于,所述方法还包括:
获取采集设备采集的包含车道线的历史图像;
沿拟合后车道线曲线等间距标注所述历史图像中车道线的各关键点,得到所述样本图像;
基于所述样本图像,训练预设的车道线关键点检测模型,得到所述车道线关键点检测模型。
7.根据权利要求6所述的车道线检测方法,其特征在于,所述沿拟合后车道线曲线等间距标注所述历史图像中车道线的各关键点,得到所述样本图像,具体包括:
基于所述历史图像中的车道线的灭点,裁切所述历史图像,得到灭点区域图像;
将所述灭点区域图像与所述历史图像拼接,得到处理后的历史图像;
沿拟合后车道线曲线等间距标注所述处理后的历史图像中车道线的各关键点,得到所述样本图像。
8.根据权利要求6所述的车道线检测方法,其特征在于,所述预设的车道线关键点检测模型包括主干网络、预设的关键点位置检测头和预设的关键点聚类信息检测头;所述样本图像中包括用于表示关键点位置信息的第一标注信息和用于表示关键点聚类信息的第二标注信息;
所述基于所述样本图像,训练预设的车道线关键点检测模型,得到所述车道线关键点检测模型,具体包括:
将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点位置信息的第一识别结果和用于表示关键点聚类信息的第二识别结果;
将所述第一识别结果取高斯核作为真值,利用FocalLoss损失函数训练所述预设的关键点位置检测头;
将所述第二识别结果作为真值,利用DiscriminativeLoss判别损失函数训练所述预设的关键点聚类信息检测头。
9.根据权利要求8所述的车道线检测方法,其特征在于,所述预设的车道线关键点检测模型还包括预设的关键点属性检测头;所述样本图像中还包括用于表示关键点属性信息的第三标注信息;
所述基于所述样本图像,训练预设的车道线关键点检测模型,得到所述训练好的车道线关键点检测模型,具体包括:
将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点属性信息的第三识别结果;
将所述第三识别结果作为真值,利用交叉熵损失函数训练所述预设的关键点属性检测头。
10.根据权利要求8所述的车道线检测方法,其特征在于,所述预设的车道线关键点检测模型还包括预设的关键点位置调整检测头;所述样本图像中还包括用于表示关键点位置调整信息的第四标注信息;
所述基于所述样本图像,训练预设的车道线关键点检测模型,得到所述车道线关键点检测模型,具体包括:
将所述样本图像输入至所述主干网络,得到所述主干网络输出的对所述样本图像进行提取得到的用于表示关键点位置调整信息的第四识别结果;
将所述第四识别结果作为真值,利用回归损失函数训练所述预设的关键点位置调整检测头。
11.一种车道线检测模块,其特征在于,包括:
获取单元,用于获取包含车道线的待检测图像;
图像输入单元,用于将所述待检测图像输入至车道线关键点检测模型,得到所述待检测图像中车道线的关键点信息;所述车道线关键点检测模型是基于样本图像训练得到的,所述样本图像中沿拟合后车道线曲线等间距标注有车道线的各关键点;
处理单元,用于对所述关键点信息进行聚类处理,得到所述待检测图像包含的车道线。
12.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1至10中任一项所述方法的步骤。
CN202310347610.8A 2023-04-03 2023-04-03 一种车道线检测方法、模块及介质 Pending CN116503824A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310347610.8A CN116503824A (zh) 2023-04-03 2023-04-03 一种车道线检测方法、模块及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310347610.8A CN116503824A (zh) 2023-04-03 2023-04-03 一种车道线检测方法、模块及介质

Publications (1)

Publication Number Publication Date
CN116503824A true CN116503824A (zh) 2023-07-28

Family

ID=87315847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310347610.8A Pending CN116503824A (zh) 2023-04-03 2023-04-03 一种车道线检测方法、模块及介质

Country Status (1)

Country Link
CN (1) CN116503824A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975441A (zh) * 2023-12-27 2024-05-03 北京中科原动力科技有限公司 一种串番茄采摘点检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技(深圳)有限公司 车道线数据处理方法、装置、计算机设备和存储介质
CN112926548A (zh) * 2021-04-14 2021-06-08 北京车和家信息技术有限公司 一种车道线检测方法、装置、电子设备及存储介质
CN113095152A (zh) * 2021-03-18 2021-07-09 西安交通大学 一种基于回归的车道线检测方法及系统
US20210248392A1 (en) * 2020-02-12 2021-08-12 Keep Truckin, Inc. Lane detection and distance estimation using single-view geometry
CN113554672A (zh) * 2021-08-05 2021-10-26 沭阳县浙台工贸有限公司 一种基于机器视觉的气密性检测中相机位姿检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技(深圳)有限公司 车道线数据处理方法、装置、计算机设备和存储介质
US20210248392A1 (en) * 2020-02-12 2021-08-12 Keep Truckin, Inc. Lane detection and distance estimation using single-view geometry
CN113095152A (zh) * 2021-03-18 2021-07-09 西安交通大学 一种基于回归的车道线检测方法及系统
CN112926548A (zh) * 2021-04-14 2021-06-08 北京车和家信息技术有限公司 一种车道线检测方法、装置、电子设备及存储介质
CN113554672A (zh) * 2021-08-05 2021-10-26 沭阳县浙台工贸有限公司 一种基于机器视觉的气密性检测中相机位姿检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YEONGMIN KO 等: ""Key Points Estimation and Point Instance Segmentation Approach for Lane Detection"", ARXIV:2002.06604V4, 14 September 2020 (2020-09-14), pages 1 - 10 *
李炜钊: "《基于深度学习的车道线检测算法研究》", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, 15 April 2022 (2022-04-15), pages 035 - 293 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975441A (zh) * 2023-12-27 2024-05-03 北京中科原动力科技有限公司 一种串番茄采摘点检测方法及装置

Similar Documents

Publication Publication Date Title
CN112052839B (zh) 图像数据处理方法、装置、设备以及介质
CN111104867B (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
CN108304835B (zh) 文字检测方法和装置
US12196572B2 (en) Method for automatically producing map data, and related apparatus
CN115294150A (zh) 一种图像处理方法和终端设备
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
Yuan et al. Robust lane detection for complicated road environment based on normal map
CN107452035B (zh) 车道线图像分析方法、装置及其计算机可读取式媒体
CN110197106A (zh) 物件标示系统及方法
CN111767831A (zh) 用于处理图像的方法、装置、设备及存储介质
CN105608417A (zh) 交通信号灯检测方法及装置
CN111753618B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
WO2021184718A1 (zh) 卡片边框识别方法、装置、设备和计算机存储介质
CN105956552A (zh) 一种人脸黑名单监测方法
CN104915642B (zh) 前方车辆测距方法及装置
Du High-precision portrait classification based on mtcnn and its application on similarity judgement
CN117789160A (zh) 一种基于聚类优化的多模态融合目标检测方法及系统
CN115730097A (zh) 基于人员重识别的人脸归档方法、装置、设备及介质
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN117765493A (zh) 鱼眼图像的目标识别方法、电子设备及存储介质
CN116503824A (zh) 一种车道线检测方法、模块及介质
CN113705304B (zh) 一种图像处理方法、装置、存储介质及计算机设备
WO2025232268A1 (zh) 一种基于智慧交通的人工智能图像处理方法
CN110781841A (zh) 基于slam空间不变信息的闭环检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20250925

Address after: 100176 Beijing City Daxing District Economic and Technological Development Zone Jingyuan North Street No. 2 Building 56 3rd Floor 301-4

Applicant after: Four Dimensional New Intelligent Driving (Beijing) Technology Co.,Ltd.

Country or region after: China

Address before: Hongyu Building No. 7 Beijing 100028 Haidian District Xueyuan Road 10 1002A room

Applicant before: NAVINFO Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right