[go: up one dir, main page]

CN111967368B - 一种交通灯识别的方法和装置 - Google Patents

一种交通灯识别的方法和装置 Download PDF

Info

Publication number
CN111967368B
CN111967368B CN202010808947.0A CN202010808947A CN111967368B CN 111967368 B CN111967368 B CN 111967368B CN 202010808947 A CN202010808947 A CN 202010808947A CN 111967368 B CN111967368 B CN 111967368B
Authority
CN
China
Prior art keywords
attribute information
traffic light
data
image data
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010808947.0A
Other languages
English (en)
Other versions
CN111967368A (zh
Inventor
张鹏越
李维维
刘兰个川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Autopilot Technology Co Ltd filed Critical Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority to CN202010808947.0A priority Critical patent/CN111967368B/zh
Publication of CN111967368A publication Critical patent/CN111967368A/zh
Priority to PCT/CN2021/101354 priority patent/WO2022033179A1/zh
Application granted granted Critical
Publication of CN111967368B publication Critical patent/CN111967368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种交通灯识别的方法和装置,所述方法包括:获取目标图像数据;采用预先训练的目标数据模型,对所述目标图像数据进行模型处理,得到目标图像属性信息;根据所述目标图像属性信息,确定交通灯识别结果。通过本发明实施例,实现了在图像层级进行交通灯识别,无需进行交通灯位置等检测,提升了交通灯识别的效率。

Description

一种交通灯识别的方法和装置
技术领域
本发明涉及图像技术领域,特别是涉及一种交通灯识别的方法和装置。
背景技术
在交通灯识别系统中,通常采用的是“自底而上”的方式,但这种“自底而上”的方式较为繁琐,需要先进行交通灯的位置检测,然后再进行交通灯的颜色、箭头方向的识别,效率较低。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种交通灯识别的方法和装置,包括:
一种交通灯识别的方法,所述方法包括:
获取目标图像数据;
采用预先训练的目标数据模型,对所述目标图像数据进行模型处理,得到目标图像属性信息;
根据所述目标图像属性信息,确定交通灯识别结果。
可选地,所述目标图像属性信息包括以下任一项或多项:
是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
可选地,还包括:
获取样本图像数据和所述样本图像数据的样本图像属性信息;
采用所述样本图像数据和所述样本图像属性信息进行模型训练,得到目标数据模型。
可选地,所述获取样本图像数据和所述样本图像数据的样本图像属性信息,包括:
获取样本视频数据;
标注所述样本视频数据中关键的样本图像数据的样本图像属性信息;
根据所述关键的样本图像数据的样本图像属性信息,确定所述样本视频数据中其他的样本图像数据的样本图像属性信息。
可选地,在所述采用所述样本图像数据和所述样本图像属性信息进行模型训练,得到目标数据模型之前,还包括:
对所述样本图像数据和所述样本图像属性信息进行预处理;
其中,所述预处理包括以下任一项或多项:
数据增广、数据重采样、添加伪数据。
可选地,所述目标图像数据包括多个由不同摄像头采集的图像数据,每个目标图像数据对应一目标图像属性信息,所述根据所述目标图像属性信息,确定交通灯识别结果,包括:
对多个所述目标图像属性信息进行融合,得到融合图像属性信息;
根据所述融合图像属性信息,得到交通灯识别结果。
可选地,所述目标数据模型包括:
一个兼容不同摄像头的数据模型或多个针对不同摄像头的数据模型。
一种交通灯识别的装置,所述装置包括:
目标图像数据获取模块,用于获取目标图像数据;
目标图像属性信息得到模块,用于采用预先训练的目标数据模型,对所述目标图像数据进行模型处理,得到目标图像属性信息;
交通灯识别结果确定模块,用于根据所述目标图像属性信息,确定交通灯识别结果。
一种车辆,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的交通灯识别的方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的交通灯识别的方法。
本发明实施例具有以下优点:
在本发明实施例中,通过获取目标图像数据,采用预先训练的目标数据模型,对目标图像数据进行模型处理,得到目标图像属性信息,然后根据目标图像属性信息,确定交通灯识别结果,实现了在图像层级进行交通灯识别,无需进行交通灯位置等检测,提升了交通灯识别的效率。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种交通灯识别的方法的步骤流程图;
图2是本发明一实施例提供的另一种交通灯识别的方法的步骤流程图;
图3是本发明一实施例提供的另一种交通灯识别的方法的步骤流程图;
图4是本发明一实施例提供的另一种交通灯识别的方法的步骤流程图;
图5是本发明一实施例提供的一种交通灯识别示例的示意图;
图6是本发明一实施例提供的一种交通灯识别的装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本发明一实施例提供的一种交通灯识别的方法的步骤流程图,具体可以包括如下步骤:
步骤101,获取目标图像数据;
在自动驾驶的场景中,车辆可以设置车载摄像头,车载摄像头可以随着自车运动按照固定频率(如20HZ)采集数据,进而可以得到目标图像数据。
步骤102,采用预先训练的目标数据模型,对所述目标图像数据进行模型处理,得到目标图像属性信息;
其中,目标数据模型可以为基于深度神经网络的数据模型,如采用基于深度残差网络的主干网络和基于多层卷积神经网络的识别自网络,神经网络架构基础上具体的回归任务是判断图像级别的属性。
在获得目标图像数据后,可以将目标图像数据输入预先训练并部署的目标数据模型,对目标图像数据进行模型处理,如进行前向网络传播,则可以直接基于目标图像数据进行在图像层面的交通灯识别,输出目标图像属性信息,即采用的是“自顶而下”的方式,减少对交通灯位置检测的依赖性。
在本发明一实施例中,目标图像属性信息可以包括以下任一项或多项:
1、是否存在交通灯的判断结果,即判断图像中是否存在交通灯。
2、是否存在位于直行车道上的交通灯的判断结果,即判断图像中是否存在位于直行车道上的交通灯。
通过判断是否存在位于直行车道上的交通灯,能够直接确定当前车道相匹配的交通灯,输出车道线级别识别结果,而无需在交通灯的位置检测和交通灯颜色、箭头方向识别后与不同车道进行匹配,避免了交通灯与车道线的匹配步骤,减少了额外的匹配算法,也避免了匹配算法的误差对交通灯识别的影响,提升了识别系统的可靠性。
3、直行车道上的交通灯的颜色信息。
步骤103,根据所述目标图像属性信息,确定交通灯识别结果。
在获得目标图像属性信息,可以根据目标图像属性信息,确定交通灯识别结果,进而将交通灯识别结果传送至车载下游模块。
在一示例中,可以对交通灯识别结果进行后处理,如基于时序数据的平滑、基于保守阈值的属性判断、基于短时间窗口的交通灯信号转换事件触发等,进而能够减少假阳性和假阴性,提升交通灯识别的准确性。
在本发明实施例中,通过获取目标图像数据,采用预先训练的目标数据模型,对目标图像数据进行模型处理,得到目标图像属性信息,然后根据目标图像属性信息,确定交通灯识别结果,实现了在图像层级进行交通灯识别,无需进行交通灯位置等检测,提升了交通灯识别的效率。
参照图2,示出了本发明一实施例提供的另一种交通灯识别的方法的步骤流程图,具体可以包括如下步骤:
步骤201,获取样本图像数据和所述样本图像数据的样本图像属性信息;
其中,样本图像属性信息可以包括以下任一项或多项:
是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
在模型训练阶段,可以获取样本图像数据,并可以确定该样本图像数据已标注好样本图像属性信息。
步骤202,采用所述样本图像数据和所述样本图像属性信息进行模型训练,得到目标数据模型;
其中,目标数据模型可以为基于深度神经网络的数据模型,如采用基于深度残差网络的主干网络和基于多层卷积神经网络的识别自网络,神经网络架构基础上具体的回归任务是判断图像级别的属性。
在获得样本图像数据和样本图像属性信息后,可以将其分割为训练集和测试集,在云端工作站集群上使用GPU训练,得到目标数据模型。
在一示例中,对于基于深度神经网络的数据模型,在训练完成后可以进行Onnx至TensorRT的格式转换,然后可以部署至车载模块。
在一示例中,对于上述图像属性信息可以采不同的损失函数,损失函数按照加权平均进行整合,如损失函数为交叉熵(cross entropy)损失函数。
在本发明一实施例中,在步骤202之前,还可以包括如下步骤:
对所述样本图像数据和所述样本图像属性信息进行预处理;
作为一示例,预处理包括以下任一项或多项:
数据增广、数据重采样、添加伪数据。
其中,数据增广可以包括基于灰度,旋转,平移,噪声,大小等的数据增广,数据重采样可以包括基于多类数据平衡的数据重采样,添加伪数据可以包括添加基于交通灯框体数据粘贴的伪数据。
在进行模型训练之前,可以对数据进行预处理,得到更多的用于训练的标注数据,减少了由于标注图像数量少容易导致识别错误率上升,提高了模型准确率和稳定性,提升了模型的交通灯识别准确率。
步骤203,获取目标图像数据;
在自动驾驶的场景中,车辆可以设置车载摄像头,车载摄像头可以随着自车运动按照固定频率(如20HZ)采集数据,进而可以得到目标图像数据。
步骤204,采用预先训练的目标数据模型,对所述目标图像数据进行模型处理,得到目标图像属性信息;
在获得目标图像数据后,可以将目标图像数据输入预先训练并部署的目标数据模型,对目标图像数据进行模型处理,如进行前向网络传播,则可以直接基于目标图像数据进行在图像层面的交通灯识别,输出目标图像属性信息,即采用的是“自顶而下”的方式,减少对交通灯位置检测的依赖性。
在本发明一实施例中,目标图像属性信息可以包括以下任一项或多项:
1、是否存在交通灯的判断结果,即判断图像中是否存在交通灯。
2、是否存在位于直行车道上的交通灯的判断结果,即判断图像中是否存在位于直行车道上的交通灯。
在本发明实施例中,通过判断是否存在位于直行车道上的交通灯,能够直接确定当前车道相匹配的交通灯,输出车道线级别识别结果,而无需在交通灯的位置检测和交通灯颜色、箭头方向识别后与不同车道进行匹配,避免了交通灯与车道线的匹配步骤,减少了额外的匹配算法,也避免了匹配算法的误差对交通灯识别的影响,提升了识别系统的可靠性。
3、直行车道上的交通灯的颜色信息。
步骤205,根据所述目标图像属性信息,确定交通灯识别结果。
在获得目标图像属性信息,可以根据目标图像属性信息,确定交通灯识别结果,进而将交通灯识别结果传送至车载下游模块。
在一示例中,可以对交通灯识别结果进行后处理,如基于时序数据的平滑、基于保守阈值的属性判断、基于短时间窗口的交通灯信号转换事件触发等,进而能够减少假阳性和假阴性,提升交通灯识别的准确性。
在本发明实施例中,通过获取样本图像数据和样本图像数据的样本图像属性信息,采用样本图像数据和所述样本图像属性信息进行模型训练,得到目标数据模型,然后可以获取目标图像数据,采用预先训练的目标数据模型,对目标图像数据进行模型处理,得到目标图像属性信息,然后根据目标图像属性信息,确定交通灯识别结果,实现了在图像层级进行交通灯识别,且能够训练在图像层级上进行交通灯识别的模型,提高了模型准确率和稳定性。
参照图3,示出了本发明一实施例提供的另一种交通灯识别的方法的步骤流程图,具体可以包括如下步骤:
步骤301,获取样本视频数据;
在数据采集标注阶段,可以采用数据采集车进行针对交通灯的视频数据采集,得到样本视频数据。
步骤302,标注所述样本视频数据中关键的样本图像数据的样本图像属性信息;
其中,样本图像属性信息可以包括以下任一项或多项:
是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
在获得样本视频数据后,可以通过大数据标注系统分配进行标注,其可以仅对样本视频数据中的关键的样本图像数据进行标注,即仅对样本视频数据中关键帧进行标注,如交通灯状态转换时(如红灯变绿灯)的帧为关键帧,经质检合格后上传至数据库。
步骤303,根据所述关键的样本图像数据的样本图像属性信息,确定所述样本视频数据中其他的样本图像数据的样本图像属性信息;
对于样本视频数据中其他的样本图像数据,即非关键帧,则可以通过传播和插值的方法自动生成标注,实现了从稀疏的视频关键帧标注到密集的每一帧图像级别标注的转换,解决了对交通灯框体标注效率低的问题,无需对每个交通灯标注框体并标注属性,大幅度提升了数据标注效率。
而且,通过视频标注的方法,能够增加标注图像据数量,减少了由于标注图像数量少容易导致识别错误率上升,提高了模型准确率和稳定性,提升了模型的交通灯识别准确率。
步骤304,采用所述样本图像数据和所述样本图像属性信息进行模型训练,得到目标数据模型;
其中,目标数据模型可以为基于深度神经网络的数据模型,如采用基于深度残差网络的主干网络和基于多层卷积神经网络的识别自网络,神经网络架构基础上具体的回归任务是判断图像级别的属性。
在获得样本图像数据和样本图像属性信息后,可以将其分割为训练集和测试集,在云端工作站集群上使用GPU训练,得到目标数据模型。
在一示例中,对于基于深度神经网络的数据模型,在训练完成后可以进行Onnx至TensorRT的格式转换,然后可以部署至车载模块。
步骤305,获取目标图像数据;
在自动驾驶的场景中,车辆可以设置车载摄像头,车载摄像头可以随着自车运动按照固定频率(如20HZ)采集数据,进而可以得到目标图像数据。
步骤306,采用预先训练的目标数据模型,对所述目标图像数据进行模型处理,得到目标图像属性信息;
在获得目标图像数据后,可以将目标图像数据输入预先训练并部署的目标数据模型,对目标图像数据进行模型处理,如进行前向网络传播,则可以直接基于目标图像数据进行在图像层面的交通灯识别,输出目标图像属性信息,即采用的是“自顶而下”的方式,减少对交通灯位置检测的依赖性。
在本发明一实施例中,目标图像属性信息可以包括以下任一项或多项:
1、是否存在交通灯的判断结果,即判断图像中是否存在交通灯。
2、是否存在位于直行车道上的交通灯的判断结果,即判断图像中是否存在位于直行车道上的交通灯。
在本发明实施例中,通过判断是否存在位于直行车道上的交通灯,能够直接确定当前车道相匹配的交通灯,输出车道线级别识别结果,而无需在交通灯的位置检测和交通灯颜色、箭头方向识别后与不同车道进行匹配,避免了交通灯与车道线的匹配步骤,减少了额外的匹配算法,也避免了匹配算法的误差对交通灯识别的影响,提升了识别系统的可靠性。
3、直行车道上的交通灯的颜色信息。
步骤207,根据所述目标图像属性信息,确定交通灯识别结果。
在获得目标图像属性信息,可以根据目标图像属性信息,确定交通灯识别结果,进而将交通灯识别结果传送至车载下游模块。
在一示例中,可以对交通灯识别结果进行后处理,如基于时序数据的平滑、基于保守阈值的属性判断、基于短时间窗口的交通灯信号转换事件触发等,进而能够减少假阳性和假阴性,提升交通灯识别的准确性。
在本发明实施例中,通过获取样本视频数据,标注样本视频数据中关键的样本图像数据的样本图像属性信息,根据关键的样本图像数据的样本图像属性信息,确定样本视频数据中其他的样本图像数据的样本图像属性信息,采用样本图像数据和样本图像属性信息进行模型训练,得到目标数据模型,获取目标图像数据,采用预先训练的目标数据模型,对目标图像数据进行模型处理,得到目标图像属性信息,根据目标图像属性信息,确定交通灯识别结果,实现了在图像层级进行交通灯识别,且仅需要对视频中关键帧进行标注,无需对每个交通灯标注框体并标注属性,大幅度提升了数据标注效率。
参照图4,示出了本发明一实施例提供的另一种交通灯识别的方法的步骤流程图,具体可以包括如下步骤:
步骤401,获取目标图像数据;
在自动驾驶的场景中,车辆可以设置车载摄像头,车载摄像头可以随着自车运动按照固定频率(如20HZ)采集数据,进而可以得到目标图像数据。
步骤402,采用预先训练的目标数据模型,对所述目标图像数据进行模型处理,得到目标图像属性信息;其中,所述目标图像数据包括多个由不同摄像头采集的图像数据,每个目标图像数据对应一目标图像属性信息;
其中,目标数据模型可以包括:
一个兼容不同摄像头的数据模型或多个针对不同摄像头的数据模型。
在实际应用中,车辆可以设置多目摄像头,每个摄像头可以同步进行数据采集,目标图像数据可以包括多个由不同摄像头采集的图像数据,则可以训练并部署一个兼容不同摄像头的通用的数据模型,也可以针对每个摄像头训练并部署一个单独的数据模型,进而可以采用目标数据模型,得到每个目标图像数据对应的目标图像属性信息。
步骤403,对多个所述目标图像属性信息进行融合,得到融合图像属性信息;
由于存在多个摄像头采集的目标图像数据,经由模型处理后得到多个目标图像属性信息,则可以对多个目标图像属性信息进行融合,如采用基于多层神经感知机的融合算法进行多摄像头数据融合,得到融合图像属性信息。
步骤404,根据所述融合图像属性信息,得到交通灯识别结果。
在获得融合图像属性信息,可以根据融合图像属性信息,确定交通灯识别结果,进而将交通灯识别结果传送至车载下游模块。
在一示例中,可以对交通灯识别结果进行后处理,如基于时序数据的平滑、基于保守阈值的属性判断、基于短时间窗口的交通灯信号转换事件触发等,进而能够减少假阳性和假阴性,提升交通灯识别的准确性。
在本发明实施例中,通过获取目标图像数据,采用预先训练的目标数据模型,对目标图像数据进行模型处理,得到目标图像属性信息,目标图像数据包括多个由不同摄像头采集的图像数据,每个目标图像数据对应一目标图像属性信息,对多个目标图像属性信息进行融合,得到融合图像属性信息,根据融合图像属性信息,得到交通灯识别结果,实现了在图像层级进行交通灯识别,且能够进行多摄像头数据融合,扩大了交通灯识别的有效距离范围,并提高了交通灯识别的准确率。
以下结合图5对本发明实施例进行示例性说明:
数据标注阶段:
1、数据采集车采集多目交通灯视频数据;
2、原始数据上传至云端;
3、数据预处理;
4、大数据标注系统分配视频图像数据至标注员;
5、标注员对视频数据关键帧进行标注;
6、质检员进行质检,若未通过则返回第5步,若通过则进行第7步;
7、标注文件上传至云端;
8、转换稀疏关键帧标注至密集图像级别标注;
9、标注文件解析。
模型训练阶段:
1、图像标注结合配对,即对数据预处理后的图像数据和标注文件解析进行标注进行配对;
2、注入训练/测试数据集;
3、训练单摄像头或通用模型,在训练单摄像头模型的情况下,得到摄像头0-2模型,在训练通用模型的情况下,得到通用模型。
模型部署和推理阶段:
1、获取实际行车采集多目交通灯视频数据;
2、部署单摄像头或通用模型;
3、分配各摄像头数据至对应模型,经过模型处理后,得到多目摄像头识别结果;
4、对多目摄像头识别结果进行融合;
5、输入识别结果至下游模块。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图6,示出了本发明一实施例提供的一种交通灯识别的装置的结构示意图,具体可以包括如下模块:
目标图像数据获取模块601,用于获取目标图像数据;
目标图像属性信息得到模块602,用于采用预先训练的目标数据模型,对所述目标图像数据进行模型处理,得到目标图像属性信息;
交通灯识别结果确定模块603,用于根据所述目标图像属性信息,确定交通灯识别结果。
在本发明一实施例中,所述目标图像属性信息包括以下任一项或多项:
是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
在本发明一实施例中,还包括:
样本数据获取模块,用于获取样本图像数据和所述样本图像数据的样本图像属性信息;
目标数据模型得到模块,用于采用所述样本图像数据和所述样本图像属性信息进行模型训练,得到目标数据模型。
在本发明一实施例中,所述样本数据获取模块,包括:
样本视频数据虎丘子模块,用于获取样本视频数据;
关键帧标注子模块,用于标注所述样本视频数据中关键的样本图像数据的样本图像属性信息;
非关键帧标注子模块,用于根据所述关键的样本图像数据的样本图像属性信息,确定所述样本视频数据中其他的样本图像数据的样本图像属性信息。
在本发明一实施例中,还包括:
预处理模块,用于对所述样本图像数据和所述样本图像属性信息进行预处理;
其中,所述预处理包括以下任一项或多项:
数据增广、数据重采样、添加伪数据。
在本发明一实施例中,所述目标图像数据包括多个由不同摄像头采集的图像数据,每个目标图像数据对应一目标图像属性信息,所述交通灯识别结果确定模块603,包括:
融合图像属性信息得到子模块,用于对多个所述目标图像属性信息进行融合,得到融合图像属性信息;
融合识别子模块,用于根据所述融合图像属性信息,得到交通灯识别结果。
在本发明一实施例中,所述目标数据模型包括:
一个兼容不同摄像头的数据模型或多个针对不同摄像头的数据模型。
在本发明实施例中,通过获取目标图像数据,采用预先训练的目标数据模型,对目标图像数据进行模型处理,得到目标图像属性信息,然后根据目标图像属性信息,确定交通灯识别结果,实现了在图像层级进行交通灯识别,无需进行交通灯位置等检测,提升了交通灯识别的效率。
本发明一实施例还提供了一种车辆,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上交通灯识别的方法。
本发明一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上交通灯识别的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种交通灯识别的方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种交通灯识别的方法,其特征在于,所述方法包括:
获取目标图像数据;
采用预先训练的目标数据模型,对所述目标图像数据进行模型处理,得到目标图像属性信息;
根据所述目标图像属性信息,确定交通灯识别结果;
其中,所述目标图像数据包括多个由不同摄像头采集的图像数据,每个目标图像数据对应一目标图像属性信息,所述根据所述目标图像属性信息,确定交通灯识别结果,包括:
采用基于多层神经感知机的融合算法对多个所述目标图像属性信息进行融合,得到融合图像属性信息;
根据所述融合图像属性信息,得到交通灯识别结果;
其中,所述目标图像属性信息包括以下任一项或多项:
是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
2.根据权利要求1所述的方法,其特征在于,还包括:
获取样本图像数据和所述样本图像数据的样本图像属性信息;
采用所述样本图像数据和所述样本图像属性信息进行模型训练,得到目标数据模型。
3.根据权利要求2所述的方法,其特征在于,所述获取样本图像数据和所述样本图像数据的样本图像属性信息,包括:
获取样本视频数据;
标注所述样本视频数据中关键的样本图像数据的样本图像属性信息;
根据所述关键的样本图像数据的样本图像属性信息,确定所述样本视频数据中其他的样本图像数据的样本图像属性信息。
4.根据权利要求2所述的方法,其特征在于,在所述采用所述样本图像数据和所述样本图像属性信息进行模型训练,得到目标数据模型之前,还包括:
对所述样本图像数据和所述样本图像属性信息进行预处理;
其中,所述预处理包括以下任一项或多项:
数据增广、数据重采样、添加伪数据。
5.根据权利要求4所述的方法,其特征在于,所述目标数据模型包括:
一个兼容不同摄像头的数据模型或多个针对不同摄像头的数据模型。
6.一种交通灯识别的装置,其特征在于,所述装置包括:
目标图像数据获取模块,用于获取目标图像数据;
目标图像属性信息得到模块,用于采用预先训练的目标数据模型,对所述目标图像数据进行模型处理,得到目标图像属性信息;
交通灯识别结果确定模块,用于根据所述目标图像属性信息,确定交通灯识别结果;
其中,所述目标图像数据包括多个由不同摄像头采集的图像数据,每个目标图像数据对应一目标图像属性信息,所述交通灯识别结果确定模块包括:
融合图像属性信息得到子模块,用于采用基于多层神经感知机的融合算法对多个所述目标图像属性信息进行融合,得到融合图像属性信息;
融合识别子模块,用于根据所述融合图像属性信息,得到交通灯识别结果;
其中,所述目标图像属性信息包括以下任一项或多项:
是否存在交通灯的判断结果、是否存在位于直行车道上的交通灯的判断结果、所述直行车道上的交通灯的颜色信息。
7.一种车辆,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的交通灯识别的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的交通灯识别的方法。
CN202010808947.0A 2020-08-12 2020-08-12 一种交通灯识别的方法和装置 Active CN111967368B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010808947.0A CN111967368B (zh) 2020-08-12 2020-08-12 一种交通灯识别的方法和装置
PCT/CN2021/101354 WO2022033179A1 (zh) 2020-08-12 2021-06-21 一种交通灯识别的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010808947.0A CN111967368B (zh) 2020-08-12 2020-08-12 一种交通灯识别的方法和装置

Publications (2)

Publication Number Publication Date
CN111967368A CN111967368A (zh) 2020-11-20
CN111967368B true CN111967368B (zh) 2022-03-11

Family

ID=73366079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010808947.0A Active CN111967368B (zh) 2020-08-12 2020-08-12 一种交通灯识别的方法和装置

Country Status (2)

Country Link
CN (1) CN111967368B (zh)
WO (1) WO2022033179A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967368B (zh) * 2020-08-12 2022-03-11 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置
GB2602630A (en) * 2021-01-05 2022-07-13 Nissan Motor Mfg Uk Limited Traffic light detection
CN112734040A (zh) * 2021-01-22 2021-04-30 中国人民解放军军事科学院国防科技创新研究院 一种嵌入式人工智能计算框架及应用方法
CN114332815B (zh) * 2021-12-24 2023-08-29 广州小鹏自动驾驶科技有限公司 交通灯状态检测方法、装置、车辆及存储介质
CN115147665A (zh) * 2022-07-29 2022-10-04 上海商汤临港智能科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN116923442B (zh) * 2023-09-13 2023-11-28 华东交通大学 智能网联汽车的控制策略生成方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830199A (zh) * 2018-05-31 2018-11-16 京东方科技集团股份有限公司 识别交通灯信号的方法、装置、可读介质及电子设备
CN109299704A (zh) * 2018-10-19 2019-02-01 天津天地人和企业管理咨询有限公司 基于深度学习的信号灯检测方法
CN110110693A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于识别人脸属性的方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385640B (zh) * 2016-08-31 2020-02-11 北京旷视科技有限公司 视频标注方法及装置
CN106650641B (zh) * 2016-12-05 2019-05-14 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及系统
CN109711227A (zh) * 2017-10-25 2019-05-03 北京京东尚科信息技术有限公司 交通灯识别方法、交通灯识别装置及计算机可读存储介质
CN109188932A (zh) * 2018-08-22 2019-01-11 吉林大学 一种面向智能驾驶的多摄像头在环仿真测试方法及系统
CN109859509A (zh) * 2018-11-13 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车道通行状态提醒方法及设备
CN109544955A (zh) * 2018-12-26 2019-03-29 广州小鹏汽车科技有限公司 一种交通信号灯的状态获取方法及系统
CN109886210B (zh) * 2019-02-25 2022-07-19 百度在线网络技术(北京)有限公司 一种交通图像识别方法、装置、计算机设备和介质
CN110619307B (zh) * 2019-09-18 2020-09-18 广州文远知行科技有限公司 交通灯状态确定方法、装置、设备和存储介质
CN111079563A (zh) * 2019-11-27 2020-04-28 北京三快在线科技有限公司 交通信号灯识别方法、装置、电子设备和存储介质
CN111967368B (zh) * 2020-08-12 2022-03-11 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830199A (zh) * 2018-05-31 2018-11-16 京东方科技集团股份有限公司 识别交通灯信号的方法、装置、可读介质及电子设备
CN109299704A (zh) * 2018-10-19 2019-02-01 天津天地人和企业管理咨询有限公司 基于深度学习的信号灯检测方法
CN110110693A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于识别人脸属性的方法和装置

Also Published As

Publication number Publication date
WO2022033179A1 (zh) 2022-02-17
CN111967368A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111967368B (zh) 一种交通灯识别的方法和装置
CN108388834A (zh) 利用循环神经网络和级联特征映射的对象检测
US20220396281A1 (en) Platform for perception system development for automated driving system
CN114332815B (zh) 交通灯状态检测方法、装置、车辆及存储介质
CN118135377B (zh) 一种模型部署方法、端侧设备及存储介质
WO2020007589A1 (en) Training a deep convolutional neural network for individual routes
CN117808838B (zh) 融合摄像头和雷达的车辆跟踪方法及系统
CN114511788A (zh) 一种坡体裂缝识别方法、系统、设备以及存储介质
Kirubakaran et al. Driving into the Future: Artificial Intelligence based Traffic Sign Recognition using Learning Assisted OCR Principle
CN119418285A (zh) 基于drr模块和sdfm的道路缺陷检测方法
CN114550129B (zh) 一种基于数据集的机器学习模型处理方法和系统
CN112733864B (zh) 模型训练方法、目标检测方法、装置、设备及存储介质
CN115713656A (zh) 基于Transformer的多传感器融合目标检测方法
CN117648929B (zh) 基于类人化广义感知机制的目标误识别纠正方法
CN119027914A (zh) 一种基于知识蒸馏的车路协同3d目标检测方法及装置
CN111339834B (zh) 车辆行驶方向的识别方法、计算机设备及存储介质
CN112686155B (zh) 图像识别方法、装置、计算机可读存储介质及处理器
CN116343148B (zh) 车道线检测方法、装置、车辆及存储介质
CN118072266A (zh) 一种用于自动驾驶的轻量级语义分割路标识别方法
CN117710592A (zh) 一种地图拓扑检测系统、方法、电子设备及存储介质
CN108573244A (zh) 一种车辆检测方法、装置及系统
Pan et al. Traffic light detection for self-driving vehicles based on deep learning
CN113850112B (zh) 基于孪生神经网络的路况识别方法和系统
CN115128636A (zh) 功能执行方法、评估计算机视觉方法的方法及评估单元
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province 510000

Applicant after: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

Address before: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province 510000

Applicant before: Guangzhou Xiaopeng Internet of vehicles Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240228

Address after: 510000 No.8 Songgang street, Cencun, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province 510000

Patentee before: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right