[go: up one dir, main page]

CN117808838B - 融合摄像头和雷达的车辆跟踪方法及系统 - Google Patents

融合摄像头和雷达的车辆跟踪方法及系统

Info

Publication number
CN117808838B
CN117808838B CN202311610466.9A CN202311610466A CN117808838B CN 117808838 B CN117808838 B CN 117808838B CN 202311610466 A CN202311610466 A CN 202311610466A CN 117808838 B CN117808838 B CN 117808838B
Authority
CN
China
Prior art keywords
vehicle
illumination intensity
tracking
camera
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311610466.9A
Other languages
English (en)
Other versions
CN117808838A (zh
Inventor
闫军
霍建杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Love Parking Technology Co ltd
Original Assignee
Love Parking Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Love Parking Technology Co ltd filed Critical Love Parking Technology Co ltd
Priority to CN202311610466.9A priority Critical patent/CN117808838B/zh
Publication of CN117808838A publication Critical patent/CN117808838A/zh
Application granted granted Critical
Publication of CN117808838B publication Critical patent/CN117808838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了融合摄像头和雷达的车辆跟踪方法及系统,属于智能车辆领域,其中方法包括:在第一行驶区域按照预设间隔,部署多个车辆跟踪组件;感知实时光照强度,判断是否大于或等于光照强度阈值;当实时光照强度大于或等于光照强度阈值,启动摄像头进行图像采集,获得第一图像采集结果,生成第一车辆识别结果;当实时光照强度小于光照强度阈值,启动跟踪雷达进行图像采集,获得第二图像采集结果,生成第二车辆识别结果;将多个车辆识别结果进行拼接,生成车辆跟踪结果。本申请解决了现有技术中在复杂场景下过度依赖摄像头导致目标跟踪不稳定的技术问题,达到了在不同光照条件下智能选择传感器、提高车辆跟踪鲁棒性和准确性的技术效果。

Description

融合摄像头和雷达的车辆跟踪方法及系统
技术领域
本发明涉及智能车辆领域,具体涉及融合摄像头和雷达的车辆跟踪方法及系统。
背景技术
随着自动驾驶和智能交通系统的发展,对车辆跟踪技术的需求也在逐渐增加。传统的车辆跟踪系统通常依赖于摄像头进行目标检测和追踪,然而,在复杂的道路环境中,如恶劣的光照条件下,这种方法容易受到限制,导致目标跟踪的准确性和稳定性较低。
发明内容
本申请通过提供了融合摄像头和雷达的车辆跟踪方法及系统,旨在解决现有技术中在复杂场景下过度依赖摄像头导致目标跟踪不稳定的技术问题。
鉴于上述问题,本申请提供了融合摄像头和雷达的车辆跟踪方法及系统。
本申请公开的第一个方面,提供了融合摄像头和雷达的车辆跟踪方法,该方法包括:在第一行驶区域按照预设间隔,部署多个车辆跟踪组件,其中,多个车辆跟踪组件的任意一个包括跟踪雷达、摄像头和光照感知器;通过光照感知器感知实时光照强度,判断是否大于或等于光照强度阈值;当实时光照强度大于或等于光照强度阈值,启动摄像头进行图像采集,获得第一图像采集结果,激活第一目标检测通道进行目标识别,生成第一车辆识别结果;当实时光照强度小于光照强度阈值,启动跟踪雷达进行图像采集,获得第二图像采集结果,激活第二目标检测通道进行目标识别,生成第二车辆识别结果;将多个车辆跟踪组件的多个车辆识别结果进行拼接,生成车辆跟踪结果,其中,第一车辆识别结果或/和第二车辆识别结果属于多个车辆识别结果。
本申请公开的另一个方面,提供了融合摄像头和雷达的车辆跟踪系统,该系统包括:跟踪组件部署单元,用于在第一行驶区域按照预设间隔,部署多个车辆跟踪组件,其中,多个车辆跟踪组件的任意一个包括跟踪雷达、摄像头和光照感知器;光照强度判断单元,用于通过光照感知器感知实时光照强度,判断是否大于或等于光照强度阈值;第一车辆识别单元,用于当实时光照强度大于或等于光照强度阈值,启动摄像头进行图像采集,获得第一图像采集结果,激活第一目标检测通道进行目标识别,生成第一车辆识别结果;第二车辆识别单元,用于当实时光照强度小于光照强度阈值,启动跟踪雷达进行图像采集,获得第二图像采集结果,激活第二目标检测通道进行目标识别,生成第二车辆识别结果;车辆跟踪结果单元,用于将多个车辆跟踪组件的多个车辆识别结果进行拼接,生成车辆跟踪结果,其中,第一车辆识别结果或/和第二车辆识别结果属于多个车辆识别结果。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了在第一行驶区域按照预设间隔,部署多个车辆跟踪组件,确保在车辆周围部署了多个传感器组件,为车辆跟踪提供硬件基础;通过光照感知器感知实时光照强度,判断是否大于或等于光照强度阈值,以便在不同光照条件下进行选择合适的传感器;当实时光照强度大于或等于光照强度阈值时,启动摄像头进行图像采集,获得第一图像采集结果,激活第一目标检测通道进行目标识别,生成第一车辆识别结果,确保在较好光照条件下,使用摄像头进行目标识别;当实时光照强度小于光照强度阈值时,启动跟踪雷达进行图像采集,获得第二图像采集结果,激活第二目标检测通道进行目标识别,生成第二车辆识别结果,确保在光照差的条件下,切换到雷达以获取更稳定的目标识别结果;将多个车辆跟踪组件的多个车辆识别结果进行拼接,生成车辆跟踪结果,综合利用不同传感器的识别结果,以提高车辆跟踪的鲁棒性和准确性的技术方案,解决了现有技术中在复杂场景下过度依赖摄像头导致目标跟踪不稳定的技术问题,达到了在不同光照条件下智能选择传感器、提高车辆跟踪鲁棒性和准确性的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了融合摄像头和雷达的车辆跟踪方法的一种流程示意图;
图2为本申请实施例提供了融合摄像头和雷达的车辆跟踪方法中生成车辆跟踪结果的一种流程示意图;
图3为本申请实施例提供了融合摄像头和雷达的车辆跟踪系统的一种结构示意图。
附图标记说明:跟踪组件部署单元11,光照强度判断单元12,第一车辆识别单元13,第二车辆识别单元14,车辆跟踪结果单元15。
具体实施方式
本申请提供的技术方案总体思路如下:
本申请实施例提供了融合摄像头和雷达的车辆跟踪方法及系统。具体的,将多个车辆跟踪组件部署在第一行驶区域,每个组件包括跟踪雷达、摄像头和光照感知器;通过光照感知器智能地感知实时光照强度,并根据其判断是否启动摄像头或跟踪雷达,从而选择最适合光照条件的传感器。在光照条件良好时,通过摄像头用于图像采集和目标识别;而在光照条件差的情况下,智能地切换到雷达以获取更稳定的跟踪结果,减轻了传统摄像头在这种情况下容易遇到的问题;从而在不同光照条件下提高车辆跟踪系统的性能和鲁棒性,为自动驾驶和智能交通系统的提供重要支持。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了融合摄像头和雷达的车辆跟踪方法,该方法包括:
在第一行驶区域按照预设间隔,部署多个车辆跟踪组件,其中,所述多个车辆跟踪组件的任意一个包括跟踪雷达、摄像头和光照感知器;
在本申请实施例中,第一行驶区域是道路或交通场景中的特定区域,通常是在车辆前进的方向上,例如一段道路或一个交叉路口等。预设间隔预先确定的距离,用于确定每个车辆跟踪组件的放置位置,该间隔根据具体的道路和车辆跟踪系统的需求进行调整。车辆跟踪组件是装备了多种传感器和设备的装置,用于监测和跟踪周围的车辆,以实现车辆跟踪,提供车辆位置和动态信息。车辆跟踪组件包括跟踪雷达、摄像头和光照感知器,其中,跟踪雷达用于通过发射无线电波并接收反射信号测量目标车辆的距离、速度和位置;摄像头用于拍摄道路上的图像和视频;光照感知器用于感知和测量光照条件,能够检测环境中的光照强度,以便根据光照条件的变化来选择合适的传感器和数据采集方式。
具体的,将多个车辆跟踪组件安装在道路的第一行驶区域内,它们之间按照事先设定的预设间隔进行布置。其中,每个车辆跟踪组件配备了跟踪雷达、摄像头和光照感知器,这些传感器协同工作以监测和跟踪周围车辆的位置和行为。其中,跟踪雷达负责提供精确的距离和速度信息,摄像头用于捕捉图像以进行目标识别,而光照感知器则有助于选择最适合当前光照条件的传感器。这种综合性的装置布置能够有效在不同光照条件下,提供可靠的车辆跟踪性能。
通过所述光照感知器感知实时光照强度,判断是否大于或等于光照强度阈值;
在本申请实施例中,实时光照强度是指光照感知器当前感测到的光线的强度或亮度水平,即在特定时间点内测得的数值,实时光照强度的值将根据环境中的光照条件而变化。光照强度阈值是用于确定何时切换或选择不同的传感器或操作模式的阈值。
具体的,将每个车辆跟踪组件中的光照感知器启用,以感测当前环境的光照强度,得到实时光照强度,反映了光线的强度,该光线可能来自太阳光、路灯或其他光源。然后,将这一实时光照强度与光照强度阈值进行比较,判断实时光照强度与光照强度阈值的大小关系,从而根据环境的光照情况智能地选择合适的传感器进行车辆追踪,以确保在不同光照条件下获得最佳的车辆跟踪性能,提高车辆跟踪的稳定性和适应性。
当所述实时光照强度大于或等于所述光照强度阈值,启动所述摄像头进行图像采集,获得第一图像采集结果,激活第一目标检测通道进行目标识别,生成第一车辆识别结果;
进一步的,本步骤具体包括:
采集第一训练数据集,其中,所述第一训练数据集包括k组一一对应的第一训练图像集和第一车辆标识图像集;
对k组一一对应的第一训练图像集和第一车辆标识图像集进行k次有放回随机抽取,生成第一重构训练数据集;
调取所述第一重构训练数据集,对卷积神经网络进行训练,生成第一目标检测节点;
重复M次,获得第二目标检测节点直到第M目标检测节点;
将所述第一目标检测节点、所述第二目标检测节点直到所述第M目标检测节点作为并行节点合并,生成所述第一目标检测通道,其中,所述第一目标检测通道的输出值为所述第一目标检测节点、所述第二目标检测节点直到所述第M目标检测节点的频率最高输出值;
激活所述第一目标检测通道对所述第一图像采集结果进行目标识别,生成所述第一车辆识别结果。
进一步的,本步骤还包括:
获得摄像头基础信息,其中,所述摄像头基础信息包括摄像头型号信息和摄像头部署距离,所述摄像头部署距离指的是摄像头距离第一行驶区域的最近距离;
基于所述摄像头型号信息和所述摄像头部署距离进行道路图像加载,获得所述第一训练图像集;
对所述第一训练图像集进行车辆标识,生成所述第一车辆标识图像集。
进一步的,本步骤还包括:
基于所述摄像头型号信息和所述摄像头部署距离进行道路图像加载,获得第一初始训练图像集和采集光照强度记录值;
将所述采集光照强度记录值大于或等于所述光照强度阈值的所述第一初始训练图像集筛选,设为所述第一训练图像集。
在一种优选的实施方式中,首先,进行了摄像头相关信息的采集,得到摄像头基础信息,包括摄像头型号信息和摄像头部署距离。其中,摄像头型号信息指摄像头设备的型号和规格,如制造商、型号、摄像头的性能特征(例如分辨率、镜头类型、拍摄能力等)等;摄像头部署距离是指摄像头设备与第一行驶区域中车辆行驶轨迹之间的距离。其次,使用摄像头型号信息和部署距离来调整摄像头设置,以确保捕获到的图像适应特定的环境条件。先基于摄像头型号信息,调整曝光时间、光圈大小和对焦距离等参数,以适应特定型号摄像头的特性;再通过设置好的摄像头捕获道路图像,包括车辆、道路标志、交通信号灯等,得到第一初始训练图像集;在图像采集的同时,测量光照强度并记录这些值,得到采集光照强度记录值。然后,分析采集光照强度记录值,并将其与预设的光照强度阈值进行比较,将那些采集光照强度记录值大于或等于光照强度阈值的图像筛选出来,形成第一训练图像集,有助于确保训练数据集中的图像在光照条件上具有一致性。同时,手动标识第一训练图像集中所有图像中的车辆,例如,创建边界框,以明确表示图像中的车辆位置,从而得到第一车辆标识图像集。根据以上过程,重复进行采集,得到k组一一对应的第一训练图像集和第一车辆标识图像集,构成第一训练数据集。
然后,对一组对应的第一训练图像集和第一车辆标识图像集,从其中的第一训练图像集中随机选择一个图像,并从第一车辆标识图像集中选择相应的车辆标识图像,将这对图像添加到第一重构训练数据集中。分别对k组一一对应的第一训练图像集和第一车辆标识图像集进行k次有放回随机抽取,每次都是独立的随机选择,得到第一重构训练数据集,其中包含k次抽取的图像对。
接着,加载第一重构训练数据集,将用于训练卷积神经网络;选择适当的卷积神经网络架构,如ResNet、YOLO、SSD等;使用随机权重初始化,对所选的卷积神经网络进行初始化,作为训练的起始点。随后,使用第一重构训练数据集,执行多轮训练,在每一轮中,图像数据将被馈送到网络中,进行前向传播,然后计算损失函数,度量模型的输出与实际标识之间的差异。再者,通过反向传播算法根据损失函数的梯度来调整神经网络的权重,以使损失最小化。将训练过程重复多次,直到网络收敛,生成第一目标检测节点。通过上述方式,获取第二重构训练数据集直至第M重构训练数据集,以通过第一重构训练数据集生成第一目标检测节点的方式,重复M次,通过第二重构训练数据集直至第M重构训练数据集依次生成第二目标检测节点直到第M目标检测节点。
之后,准备第一目标检测节点、第二目标检测节点直到第M目标检测节点,其中每个节点都有能力来检测图像中的目标车辆。将这些节点视为并行节点,意味着它们将同时处理图像并生成各自的检测结果,每个节点的输出是一组可能的目标车辆位置和相关信息,从而作为第一目标检测通道。接下来,对于每个节点的输出,使用距离阈值将不同节点检测结果中相互靠近的目标车辆进行聚类分析,对于每个聚类,计算其中包含的节点数量,聚类中节点数量最多的聚类被视为最频繁的检测结果,作为第一目标检测节点、第二目标检测节点直到第M目标检测节点的频率最高输出值。随后,将频率最高输出值作为第一目标检测通道的输出,提供可靠的检测结果。通过将多个目标检测节点的输出合并为单一的目标检测通道,从中选择最频繁出现的目标车辆位置作为最终结果,有助于降低误检率,提高目标检测的稳定性。
然后,激活生成的第一目标检测通道,从摄像头采集获取第一图像采集结果,将第一图像采集结果输入第一目标检测通道中,来检测第一图像采集结果中的目标车辆。通过应用第一目标检测通道,检测第一图像采集结果中的车辆位置,通过边界框或其他标识来表示,提取目标车辆的特征,例如形状、颜色、大小等,从而得到第一车辆识别结果。
当所述实时光照强度小于所述光照强度阈值,启动所述跟踪雷达进行图像采集,获得第二图像采集结果,激活第二目标检测通道进行目标识别,生成第二车辆识别结果;
进一步的,本申请实施例还包括:
采集第二训练数据集,其中,所述第二训练数据集包括L组一一对应的所述第二训练图像集和第二车辆标识图像集;
基于L组一一对应的所述第二训练图像集和第二车辆标识图像集,训练所述第二目标检测通道;
其中,所述第二目标检测通道的训练流程与所述第一目标检测通道的训练流程相同。
在一种优选的实施方式中,首先,通过雷达设备采集第二训练数据集,其中,第二训练数据集包括L组一一对应的第二训练图像集和第二车辆标识图像集,用于训练第二目标检测通道。其中,第二训练图像集中的图像涵盖小于光照强度阈值的图像和驾驶场景,以确保第二目标检测通道准确工作;第二车辆标识图像集中的图像与第二训练图像集中的图像一一对应,包括在第二训练图像集中出现的车辆的相关信息,例如车辆的位置、边界框等标志。
然后,利用采集到的第二训练数据集,训练第二目标检测通道,其中,第二目标检测通道的训练流程与第一通道相同。先对L组一一对应的第一训练图像集和第一车辆标识图像集进行J次有放回随机抽取,重复M次,生成M个重构训练数据集,对卷积神经网络进行训练,生成M个目标检测节点,再对M目标检测节点进行节点合并,生成第二目标检测通道。随后,当实时光照强度小于光照强度阈值时,启动跟踪雷达进行图像采集,获得第二图像采集结果,激活第二目标检测通道进行目标识别,生成第二车辆识别结果。
将所述多个车辆跟踪组件的多个车辆识别结果进行拼接,生成车辆跟踪结果,其中,所述第一车辆识别结果或/和所述第二车辆识别结果属于所述多个车辆识别结果。
进一步的,如图2所示,本申请实施例还包括:
根据第一目标车辆对所述多个车辆识别结果进行聚类,获得多个第一目标车辆跟踪位置;
对所述多个第一目标车辆跟踪位置按照时序进行排序,生成第一目标车辆跟踪位置序列;
基于所述第一目标车辆跟踪位置序列,结合交通道路拓扑结构,获得第一目标车辆跟踪路径,添加进所述车辆跟踪结果。
在一种优选的实施方式中,通过多个车辆跟踪组件得到了多个车辆识别结果,选择车辆识别结果中的其中一个车辆作为第一目标车辆,用作对多个车辆识别结果进行聚类的基准。随后,使用聚类算法,如K均值聚类,将多个车辆识别结果进行比较,按照对第一目标车辆的识别结果将它们分为不同的组,得到针对第一目标车辆的多个第一目标车辆跟踪位置。
多个第一目标车辆的跟踪位置中,每个位置信息包括时间戳和车辆的空间坐标。对这些位置信息进行按时间戳的排序,确保了位置信息按照车辆运动的时间顺序排列。排序后,获得一个按时间排序的位置序列,作为第一目标车辆跟踪位置序列,其中包含了第一目标车辆在不同时间点的位置坐标,描述了第一目标车辆的运动轨迹,包括其起始位置、移动路径和最终位置。
随后,调取交通道路拓扑结构,该调取交通道路拓扑结构描述了第一行驶区域内道路的布局、连接、交叉口、道路标志和车道信息等。将第一目标车辆跟踪位置序列与交通道路拓扑结构匹配,以获取第一目标车辆的完整运动路径,作为第一目标车辆跟踪路径,包括第一目标车辆的行进路线、速度和方向等信息。最后,将第一目标车辆跟踪路径添加进车辆跟踪结果中,实现对目标车辆的稳定跟踪。
综上所述,本申请实施例所提供的融合摄像头和雷达的车辆跟踪方法具有如下技术效果:
在第一行驶区域按照预设间隔,部署多个车辆跟踪组件,其中,多个车辆跟踪组件的任意一个包括跟踪雷达、摄像头和光照感知器,为后续车辆跟踪提供多样性和可选性,以应对不同光照和环境条件下的目标跟踪需求。通过光照感知器感知实时光照强度,判断是否大于或等于光照强度阈值,根据实时环境的光照条件,决定选择哪个传感器来执行目标识别。当实时光照强度大于或等于光照强度阈值,启动摄像头进行图像采集,获得第一图像采集结果,激活第一目标检测通道进行目标识别,生成第一车辆识别结果,确保在良好的光照条件下,使用摄像头进行目标识别,以提高目标识别的准确性。当实时光照强度小于光照强度阈值,启动跟踪雷达进行图像采集,获得第二图像采集结果,激活第二目标检测通道进行目标识别,生成第二车辆识别结果,在光照条件不佳的情况下,切换到雷达来获取稳定的目标跟踪结果,以应对光照差异较大的环境。将多个车辆跟踪组件的多个车辆识别结果进行拼接,生成车辆跟踪结果,其中,第一车辆识别结果或/和第二车辆识别结果属于多个车辆识别结果,将不同传感器获得的识别结果综合,以提供更全面和可靠的车辆跟踪信息,从而提高跟踪性能。
实施例二
基于与前述实施例中融合摄像头和雷达的车辆跟踪方法相同的发明构思,如图3所示,本申请实施例提供了融合摄像头和雷达的车辆跟踪系统,该系统包括:
跟踪组件部署单元11,用于在第一行驶区域按照预设间隔,部署多个车辆跟踪组件,其中,所述多个车辆跟踪组件的任意一个包括跟踪雷达、摄像头和光照感知器;
光照强度判断单元12,用于通过所述光照感知器感知实时光照强度,判断是否大于或等于光照强度阈值;
第一车辆识别单元13,用于当所述实时光照强度大于或等于所述光照强度阈值,启动所述摄像头进行图像采集,获得第一图像采集结果,激活第一目标检测通道进行目标识别,生成第一车辆识别结果;
第二车辆识别单元14,用于当所述实时光照强度小于所述光照强度阈值,启动所述跟踪雷达进行图像采集,获得第二图像采集结果,激活第二目标检测通道进行目标识别,生成第二车辆识别结果;
车辆跟踪结果单元15,用于将所述多个车辆跟踪组件的多个车辆识别结果进行拼接,生成车辆跟踪结果,其中,所述第一车辆识别结果或/和所述第二车辆识别结果属于所述多个车辆识别结果。
进一步的,第一车辆识别单元13包括以下执行步骤:
采集第一训练数据集,其中,所述第一训练数据集包括k组一一对应的第一训练图像集和第一车辆标识图像集;
对k组一一对应的第一训练图像集和第一车辆标识图像集进行k次有放回随机抽取,生成第一重构训练数据集;
调取所述第一重构训练数据集,对卷积神经网络进行训练,生成第一目标检测节点;
重复M次,获得第二目标检测节点直到第M目标检测节点;
将所述第一目标检测节点、所述第二目标检测节点直到所述第M目标检测节点作为并行节点合并,生成所述第一目标检测通道,其中,所述第一目标检测通道的输出值为所述第一目标检测节点、所述第二目标检测节点直到所述第M目标检测节点的频率最高输出值;
激活所述第一目标检测通道对所述第一图像采集结果进行目标识别,生成所述第一车辆识别结果。
进一步的,第一车辆识别单元13还包括以下执行步骤:
获得摄像头基础信息,其中,所述摄像头基础信息包括摄像头型号信息和摄像头部署距离,所述摄像头部署距离指的是摄像头距离第一行驶区域的最近距离;
基于所述摄像头型号信息和所述摄像头部署距离进行道路图像加载,获得所述第一训练图像集;
对所述第一训练图像集进行车辆标识,生成所述第一车辆标识图像集。
进一步的,第一车辆识别单元13还包括以下执行步骤:
基于所述摄像头型号信息和所述摄像头部署距离进行道路图像加载,获得第一初始训练图像集和采集光照强度记录值;
将所述采集光照强度记录值大于或等于所述光照强度阈值的所述第一初始训练图像集筛选,设为所述第一训练图像集。
进一步的,第二车辆识别单元14包括以下执行步骤:
采集第二训练数据集,其中,所述第二训练数据集包括L组一一对应的所述第二训练图像集和第二车辆标识图像集;
基于L组一一对应的所述第二训练图像集和第二车辆标识图像集,训练所述第二目标检测通道;
其中,所述第二目标检测通道的训练流程与所述第一目标检测通道的训练流程相同。
进一步的,车辆跟踪结果单元15包括以下执行步骤:
根据第一目标车辆对所述多个车辆识别结果进行聚类,获得多个第一目标车辆跟踪位置;
对所述多个第一目标车辆跟踪位置按照时序进行排序,生成第一目标车辆跟踪位置序列;
基于所述第一目标车辆跟踪位置序列,结合交通道路拓扑结构,获得第一目标车辆跟踪路径,添加进所述车辆跟踪结果。
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中,并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法,在此不做多余限制。
进一步的,综上所述的第一或第二可能不止代表次序关系,也可能代表某项特指概念,和/或指的是多个元素之间可单独或全部选择。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。

Claims (7)

1.融合摄像头和雷达的车辆跟踪方法,其特征在于,包括:
在第一行驶区域按照预设间隔,部署多个车辆跟踪组件,其中,所述多个车辆跟踪组件的任意一个包括跟踪雷达、摄像头和光照感知器;
通过所述光照感知器感知实时光照强度,判断是否大于或等于光照强度阈值;
当所述实时光照强度大于或等于所述光照强度阈值,启动所述摄像头进行图像采集,获得第一图像采集结果,激活第一目标检测通道进行目标识别,生成第一车辆识别结果;
当所述实时光照强度小于所述光照强度阈值,启动所述跟踪雷达进行图像采集,获得第二图像采集结果,激活第二目标检测通道进行目标识别,生成第二车辆识别结果;
将所述多个车辆跟踪组件的多个车辆识别结果进行拼接,生成车辆跟踪结果,其中,所述第一车辆识别结果或/和所述第二车辆识别结果属于所述多个车辆识别结果。
2.如权利要求1所述的方法,其特征在于,当所述实时光照强度大于或等于所述光照强度阈值,启动所述摄像头进行图像采集,获得第一图像采集结果,激活第一目标检测通道进行目标识别,生成第一车辆识别结果,包括:
采集第一训练数据集,其中,所述第一训练数据集包括k组一一对应的第一训练图像集和第一车辆标识图像集;
对k组一一对应的第一训练图像集和第一车辆标识图像集进行k次有放回随机抽取,生成第一重构训练数据集;
调取所述第一重构训练数据集,对卷积神经网络进行训练,生成第一目标检测节点;
重复M次,获得第二目标检测节点直到第M目标检测节点;
将所述第一目标检测节点、所述第二目标检测节点直到所述第M目标检测节点作为并行节点合并,生成所述第一目标检测通道,其中,所述第一目标检测通道的输出值为所述第一目标检测节点、所述第二目标检测节点直到所述第M目标检测节点的频率最高输出值;
激活所述第一目标检测通道对所述第一图像采集结果进行目标识别,生成所述第一车辆识别结果。
3.如权利要求2所述的方法,其特征在于,采集第一训练数据集,还包括:
获得摄像头基础信息,其中,所述摄像头基础信息包括摄像头型号信息和摄像头部署距离,所述摄像头部署距离指的是摄像头距离第一行驶区域的最近距离;
基于所述摄像头型号信息和所述摄像头部署距离进行道路图像加载,获得所述第一训练图像集;
对所述第一训练图像集进行车辆标识,生成所述第一车辆标识图像集。
4.如权利要求3所述的方法,其特征在于,基于所述摄像头型号信息和所述摄像头部署距离进行道路图像加载,获得所述第一训练图像集,包括:
基于所述摄像头型号信息和所述摄像头部署距离进行道路图像加载,获得第一初始训练图像集和采集光照强度记录值;
将所述采集光照强度记录值大于或等于所述光照强度阈值的所述第一初始训练图像集筛选,设为所述第一训练图像集。
5.如权利要求1所述的方法,其特征在于,当所述实时光照强度小于所述光照强度阈值,启动所述跟踪雷达进行图像采集,获得第二图像采集结果,激活第二目标检测通道进行目标识别,生成第二车辆识别结果,包括:
采集第二训练数据集,其中,所述第二训练数据集包括L组一一对应的所述第二训练图像集和第二车辆标识图像集;
基于L组一一对应的所述第二训练图像集和第二车辆标识图像集,训练所述第二目标检测通道;
其中,所述第二目标检测通道的训练流程与所述第一目标检测通道的训练流程相同。
6.如权利要求1所述的方法,其特征在于,将所述多个车辆跟踪组件的多个车辆识别结果进行拼接,生成车辆跟踪结果,包括:
根据第一目标车辆对所述多个车辆识别结果进行聚类,获得多个第一目标车辆跟踪位置;
对所述多个第一目标车辆跟踪位置按照时序进行排序,生成第一目标车辆跟踪位置序列;
基于所述第一目标车辆跟踪位置序列,结合交通道路拓扑结构,获得第一目标车辆跟踪路径,添加进所述车辆跟踪结果。
7.融合摄像头和雷达的车辆跟踪系统,其特征在于,用于实施权利要求1-6任意一项所述的融合摄像头和雷达的车辆跟踪方法,所述系统包括:
跟踪组件部署单元,所述跟踪组件部署单元用于在第一行驶区域按照预设间隔,部署多个车辆跟踪组件,其中,所述多个车辆跟踪组件的任意一个包括跟踪雷达、摄像头和光照感知器;
光照强度判断单元,所述光照强度判断单元用于通过所述光照感知器感知实时光照强度,判断是否大于或等于光照强度阈值;
第一车辆识别单元,所述第一车辆识别单元用于当所述实时光照强度大于或等于所述光照强度阈值,启动所述摄像头进行图像采集,获得第一图像采集结果,激活第一目标检测通道进行目标识别,生成第一车辆识别结果;
第二车辆识别单元,所述第二车辆识别单元用于当所述实时光照强度小于所述光照强度阈值,启动所述跟踪雷达进行图像采集,获得第二图像采集结果,激活第二目标检测通道进行目标识别,生成第二车辆识别结果;
车辆跟踪结果单元,所述车辆跟踪结果单元用于将所述多个车辆跟踪组件的多个车辆识别结果进行拼接,生成车辆跟踪结果,其中,所述第一车辆识别结果或/和所述第二车辆识别结果属于所述多个车辆识别结果。
CN202311610466.9A 2023-11-29 2023-11-29 融合摄像头和雷达的车辆跟踪方法及系统 Active CN117808838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311610466.9A CN117808838B (zh) 2023-11-29 2023-11-29 融合摄像头和雷达的车辆跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311610466.9A CN117808838B (zh) 2023-11-29 2023-11-29 融合摄像头和雷达的车辆跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN117808838A CN117808838A (zh) 2024-04-02
CN117808838B true CN117808838B (zh) 2025-10-03

Family

ID=90432714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311610466.9A Active CN117808838B (zh) 2023-11-29 2023-11-29 融合摄像头和雷达的车辆跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN117808838B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118229668B (zh) * 2024-04-29 2025-05-02 沧州市精通工程检测有限公司 基于计算机视觉的公路表面缺陷检测方法与系统
CN118691466B (zh) * 2024-08-26 2024-11-15 天翼视联科技有限公司 一种视频图像拼接方法、装置、电子装置和存储介质
CN119567266B (zh) * 2024-12-30 2025-11-18 爱泊车科技有限公司 用于感知机器人的适应性行为规划系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723602A (zh) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 驾驶员的行为识别方法、装置、设备及存储介质
CN115578470A (zh) * 2022-09-22 2023-01-06 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7791764B2 (ja) * 2022-03-31 2025-12-24 株式会社Subaru 車両の運転支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723602A (zh) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 驾驶员的行为识别方法、装置、设备及存储介质
CN115578470A (zh) * 2022-09-22 2023-01-06 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN117808838A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN117808838B (zh) 融合摄像头和雷达的车辆跟踪方法及系统
CN109059954B (zh) 支持高精度地图车道线实时融合更新的方法和系统
KR100459476B1 (ko) 차량의 대기 길이 측정 장치 및 방법
JP6144656B2 (ja) 歩行者の視覚的認識が困難であり得ることを運転者に警告するシステム及び方法
CN112767644B (zh) 一种基于视频识别的公路隧道内火灾预警方法及装置
KR101771146B1 (ko) 스테레오 카메라를 이용한 컨볼루션 신경망 기반의 보행자 및 차량 검출 방법 및 장치
CN111179300A (zh) 障碍物检测的方法、装置、系统、设备以及存储介质
KR102682309B1 (ko) 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법
CN111967368B (zh) 一种交通灯识别的方法和装置
WO2019198076A1 (en) Real-time raw data- and sensor fusion
JP6700373B2 (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
CN118545095B (zh) 路径生成方法、系统、电子设备、存储介质及车辆
CN120339335A (zh) 一种基于深度学习的图像目标跟踪方法及装置
CN120597187A (zh) 多模态数据融合方法、装置及计算机设备
Hossain et al. Pothole detection and estimation of repair cost in Bangladeshi street: AI-based multiple case analysis
CN112784817A (zh) 车辆所在车道检测方法、装置、设备及存储介质
CN113536928B (zh) 一种高效率的无监督行人重识别方法和装置
KR102916090B1 (ko) 결합 장면을 생성하는 방법 및 장치
CN119442145A (zh) 一种用于复杂交通场景的多目标检测方法
Khuc Computer vision based structural identification framework for bridge health mornitoring
CN110969875B (zh) 一种用于道路交叉口交通管理的方法及系统
CN113393676A (zh) 一种基于无人机视觉和毫米波雷达的交通检测方法及装置
KR102847167B1 (ko) 자율주행 차량의 물리 시설물 인식을 위한 시범학습 데이터베이스 구축 방법
CN114387305B (zh) 拖车队列跟踪方法、装置、计算机设备及存储介质
US20220402504A1 (en) Methods and Systems for Generating Ground Truth Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant