[go: up one dir, main page]

CN116203577A - 一种基于多信号融合的目标检测的方法及设备 - Google Patents

一种基于多信号融合的目标检测的方法及设备 Download PDF

Info

Publication number
CN116203577A
CN116203577A CN202111452399.3A CN202111452399A CN116203577A CN 116203577 A CN116203577 A CN 116203577A CN 202111452399 A CN202111452399 A CN 202111452399A CN 116203577 A CN116203577 A CN 116203577A
Authority
CN
China
Prior art keywords
data
radar
point cloud
target
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111452399.3A
Other languages
English (en)
Inventor
杨炎龙
李娟娟
孟凡志
吴雷
邓永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wanji Technology Co Ltd
Original Assignee
Beijing Wanji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wanji Technology Co Ltd filed Critical Beijing Wanji Technology Co Ltd
Priority to CN202111452399.3A priority Critical patent/CN116203577A/zh
Publication of CN116203577A publication Critical patent/CN116203577A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请实施例提供了一种基于多信号融合的目标检测的方法及设备，属于属于道路感知技术领域领域。该方法包括：获取毫米波雷达采集的初始回波数据，以及激光雷达采集的初始点云数据；对初始回波数据进行处理获得雷达立方体数据；雷达立方体数据包括速度、方位、距离三个维度的信息；基于初始点云数据和雷达立方体数据获取整合数据；将整合数据输入目标神经网络模型，获取目标检测结果。该方法通过对激光雷达信号和毫米波类型信号处理后融合，并将融合数据输入神经网络模型处理，以获取目标检测结果，能够解决仅依赖单传感器信号进行目标检测时精度不高、检测效果差的问题。

Description

一种基于多信号融合的目标检测的方法及设备
技术领域
本申请属于道路感知技术领域，尤其涉及一种基于多信号融合的目标检测的方法及设备。
背景技术
随着自动驾驶技术的发展，利用多个传感器的融合信息进行道路感知成为目前的主流技术。多类型传感器信号融合能够克服单传感器信号容易受天气、光照等环境因素的影响，并且多类型传感器具有不同的信号采集优势，通过互相配合能够弥补单传感器独自采集信号时的不足。比如，激光雷达目前主要基于点云感知，立体感知能力强、容易区分目标类别，但点云数据稀疏目标检测精度不高，并且目标遮挡对点云检测的影响较大。又比如，毫米波雷达更加适合对移动的目标进行检测，对静态目标的检测会存在较大误差。
因而，如何改善仅依赖单传感器采集信号进行目标检测时检测效果不佳，成为亟待解决的问题。
发明内容
本申请提供了一种一种基于多信号融合的目标检测的方法及设备，通过对激光雷达信号和毫米波类型信号处理后融合，并将融合数据输入神经网络模型处理，以获取目标检测结果，能够解决仅依赖单传感器信号进行目标检测时精度不高、检测效果差的问题。
第一方面，提供了一种基于多信号融合的目标检测的方法，包括：
获取毫米波雷达采集的初始回波数据，以及激光雷达采集的初始点云数据；
对所述初始回波数据进行处理获得雷达立方体数据；所述雷达立方体数据包括速度、方位、距离三个维度的信息；
基于所述初始点云数据和所述雷达立方体数据获取整合数据；
将所述整合数据输入目标神经网络模型，获取目标检测结果。
结合第一方面，在第一方面的某些实现方式中，所述方法还包括：
通过所述激光雷达向所述毫米波雷达发送脉冲，使所述毫米波雷达和所述激光雷达分别同步获取所述初始回波数据和所述初始点云数据；和/或，
调整所述毫米波雷达或所述激光雷达发射信号的帧率，对齐所述初始回波数据和所述初始点云数据的时间戳，使所述毫米波雷达和所述激光雷达分别同步获取所述初始回波数据和所述初始点云数据。
结合第一方面，在第一方面的某些实现方式中，所述方法还包括：
标定所述毫米波雷达空间和所述激光雷达空间，确定所述毫米波雷达和所述激光雷达的空间同步参数；
按照所述空间同步参数将所述初始回波数据和所述点云数据在空间进行旋转平移变换，以获取相同空间下的所述初始回波数据和所述初始点云数据。
结合第一方面，在第一方面的某些实现方式中，所述对所述初始回波数据进行处理获得雷达立方体数据，具体包括：
将所述初始毫米波数据进行三维快速傅里叶变换3D-FFT获得雷达立方体数据，所述雷达立方体数据用于指示不同速度、方位、距离对应的能量值；
所述基于所述初始点云数据和所述雷达立方体数据获取整合数据，具体包括：
将所述雷达立方体数据中能量值大于第一阈值的部分作为目标雷达立方体数据；
基于所述初始点云数据和所述目标雷达立方体数据获取整合数据。
结合第一方面，在第一方面的某些实现方式中，基于所述初始点云数据和所述雷达立方体数据获取整合数据，包括：
对所述初始点云数据进行去噪处理，得到目标点云数据；
基于所述雷达立方体数据和所述目标点云数据获取整合数据。
结合第一方面，在第一方面的某些实现方式中，所述雷达立方体数据用于指示不同速度、方位、距离对应的能量值；
对应的，所述基于所述初始点云数据和所述雷达立方体数据获取整合数据，具体包括：
将所述雷达立方体数据中能量值大于第一阈值的部分作为目标雷达立方体数据；
对所述初始点云数据进行去噪处理，得到目标点云数据；
对所述目标点云数据和所述目标回波数据进行正则化处理，分别获取信号幅值范围统一的第一正则化数据和第二正则化数据；
整合所述第一正则化数据和所述第二正则化数据，获取所述整合数据。
结合第一方面，在第一方面的某些实现方式中，所述第一正则化数据包括多个三维空间坐标以及所述三维空间坐标对应的能量值；所述第二正则化数据数据包括多个所述三维空间坐标、所述三维空间坐标对应的速度和雷达散射截面能量以及所述三维空间坐标对应位置的所述初始回波数据；
所述整合第一正则化数据和第二正则化数据，获取所述整合数据，具体包括：
将相同的所述三维空间坐标分别对应的所述第一正则化数据和所述第二正则化数据合并，获取所述整合数据，所述整合数据包括所述三维空间坐标，以及所述三维空间坐标分别对应的能量值、速度、雷达散射面能量和初始回波数据。
结合第一方面，在第一方面的某些实现方式中，所述目标检测结果包括目标的速度，位置和类别。
第二方面，提供了一种路侧设备，包括：
一个或多个存储器；
一个或多个处理器；
所述一个或多个存储器存储有计算机程序指令，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
获取毫米波雷达采集的初始回波数据，以及激光雷达采集的初始点云数据；
对所述初始回波数据进行处理获得雷达立方体数据；所述雷达立方体数据包括速度、方位、距离三个维度的信息；
基于所述初始点云数据和所述雷达立方体数据获取整合数据；
将所述整合数据输入目标神经网络模型，获取目标检测结果。
结合第二方面，在第二方面的某些实现方式中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
通过所述激光雷达向所述毫米波雷达发送脉冲，使所述毫米波雷达和所述激光雷达分别同步获取所述初始回波数据和所述初始点云数据；和/或，
调整所述毫米波雷达或所述激光雷达发射信号的帧率，对齐所述初始回波数据和所述初始点云数据的时间戳，使所述毫米波雷达和所述激光雷达分别同步获取所述初始回波数据和所述初始点云数据。
结合第二方面，在第二方面的某些实现方式中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
标定所述毫米波雷达空间和所述激光雷达空间，确定所述毫米波雷达和所述激光雷达的空间同步参数；
按照所述空间同步参数将所述初始回波数据和所述点云数据在空间进行旋转平移变换，以获取相同空间下的所述初始回波数据和所述初始点云数据。
结合第二方面，在第二方面的某些实现方式中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
将所述初始毫米波数据进行三维快速傅里叶变换3D-FFT获得雷达立方体数据，所述雷达立方体数据用于指示不同速度、方位、距离对应的能量值；
所述基于所述初始点云数据和所述雷达立方体数据获取整合数据，具体包括：
将所述雷达立方体数据中能量值大于第一阈值的部分作为目标雷达立方体数据；
基于所述初始点云数据和所述目标雷达立方体数据获取整合数据。
结合第二方面，在第二方面的某些实现方式中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
对所述初始点云数据进行去噪处理，得到目标点云数据；
基于所述雷达立方体数据和所述目标点云数据获取整合数据。
结合第二方面，在第二方面的某些实现方式中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
对应的，所述基于所述初始点云数据和所述雷达立方体数据获取整合数据，具体包括：
将所述雷达立方体数据中能量值大于第一阈值的部分作为目标雷达立方体数据；
对所述初始点云数据进行去噪处理，得到目标点云数据；
对所述目标点云数据和所述目标回波数据进行正则化处理，分别获取信号幅值范围统一的第一正则化数据和第二正则化数据；
整合所述第一正则化数据和所述第二正则化数据，获取所述整合数据。
结合第二方面，在第二方面的某些实现方式中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
所述第一正则化数据包括多个三维空间坐标以及所述三维空间坐标对应的能量值；所述第二正则化数据数据包括多个所述三维空间坐标、所述三维空间坐标对应的速度和雷达散射截面能量以及所述三维空间坐标对应位置的所述初始回波数据；
所述整合第一正则化数据和第二正则化数据，获取所述整合数据，具体包括：
将相同的所述三维空间坐标分别对应的所述第一正则化数据和所述第二正则化数据合并，获取所述整合数据，所述整合数据包括所述三维空间坐标，以及所述三维空间坐标分别对应的能量值、速度、雷达散射面能量和初始回波数据。
第三方面，提供了一种路侧系统，包括：
路侧设备；
毫米波雷达；
激光雷达；
所述路侧设备包括一个或多个存储器，以及一个或多个处理器；
所述毫米波雷达用于采集初始点云数据，所述激光雷达用于采集初始毫米波数据，所述一个或多个存储器存储有计算机程序指令，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备执行如上述第一方面中任一实现方式所述的方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序指令，当所述计算机程序指令被执行时，使得如上述第一方面中任一实现方式所述的方法得以实现。
第五方面，提供了一种计算机产品，所述计算机产品包括计算机指令，当所述计算机指令在计算机中被执行时，使得上述第一方面任一实现方式中所述的方法得以实现。
第六方面，提供了一种芯片，所述芯片包括计算机指令，当所述计算机指令在计算机中被执行时，使得上述第一方面任一实现方式中所述的方法得以实现。
附图说明
图1是本申请实施例提供的一种基于多信号融合的目标检测的方法适用的系统架构示意图。
图2是本申请实施例提供的一种路侧设备中计算系统的结构示意图。
图3是本申请实施例提供的一种基于多信号融合的目标检测的方法的示意性流程图。
图4是本申请实施例提供一种毫米波雷达和激光雷达安装设置的示意图。
图5A至图5C是本申请实施例提供的一些通过神经网络进行目标检测的流程示意图。
图6是本申请实施例提供的一种路侧设备的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。
需要说明的是，本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，除非另有说明，“多个”是指两个或多于两个，“至少一个”、“一个或多个”是指一个、两个或两个以上。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”特征可以明示或者隐含地包括一个或者更多个该特征。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为了便于理解本申请实施例描述的方案，下面对本申请实施例可能涉及到的部分用语进行解释说明：
1.特征层信息融合
特征层信息融合是对从原始数据中提取的特征向量进行联合，对特征向量进行计算和处理。针对特征向量进行融合处理，其优点在于能够减小原始数据的处理量，提高系统处理速度和实时性。而缺点在于，原始观测数据在压缩的同时，会丢失部分可用信息，降低了系统的精确度。常用的特征层信息融合算法包括遗传算法、搜索树算法等。
2.决策层信息融合
决策层信息融合的各部分传感器针对同一观测目标具有独立的数据处理能力，包括原始观测数据预处理、原始信息特征提取和对目标识别的判断，根据各自的测量结果得出初步结论，然后将各传感器结论进行融合，得出观测目标的最终判断结果。该方法的优点在于可以灵活地选取传感器结果，提高系统的容错能力；对多源异构传感器的容纳能力增强；融合信息计算量减小，系统实时性提高。常用的决策层信息融合算法包括投票表决法、贝叶斯法等。
3.数据层信息融合
数据层信息融合是对各传感器的原始观测数据进行统计分析。该方法的优点是原始数据保存完整、强调了原始数据之间的关联性，使得测量结果更加准确。缺点是云端量较大，降低了系统的实时性，同时观测数据的不确定性和不稳定性增加了系统处理难度。常用的数据层信息融合算法包括加权平均法、卡尔曼滤波和贝叶斯估计法等。
4、激光雷达(light laser detection and ranging，LiDAR)
激光雷达是一种目标探测技术，通过激光器发出激光光束，激光光束遇到目标物体后发生漫反射，通过探测器接收反射回的光束，并根据发射的光束和反射回的光束确定目标物体的距离、方位、高度、速度、姿态、形状等特征量。
5、毫米波雷达(millimeter-wave radar)
毫米波雷达是工作在毫米波波段探测的雷达。通常毫米波是指30～300GHz频域(波长为1～10mm)的电磁波。目前的毫米波雷达一直受到角度分辨率低和视场范围有限的局限，需要更多的天线来获得更高的角分辨率，额外的天线会成倍地增加成本、尺寸和功率，同时限制了商业化可行性。
6、回波信号
在本申请实施例中，将毫米波雷达探测器接收到的光信号称为回波信号。回波信号中可以包括毫米波雷达探测装置发射的信号的发射信号，还可以包括包含环境光源的相关光信号(例如可以指直接来自环境光源的光信号，也可以是反射环境光源的光信号得到的反射信号)。环境光源可以包括自然光源(例如太阳)、或者人造光源(例如路灯、车灯等等)等中的一项或者多项。
结合背景技术所介绍，相较于单个传感器的采集信号，多个传感器的信号融合对天气和光照等条件具有较强的适应性，在恶劣气候(如雨、雪、黑暗等)中传感器的信号融合也有很好的适应性，能够保证探测目标的准确度及测量精度的最大化。因此，基于多传感器的融合信号对目标进行检测能够获取更好的检测效果。
有鉴于此，本申请实施例提供了一种基于多信号融合的目标检测的方法，该方法通过将激光雷达采集的点云数据和毫米波雷达采集的回波信号进行融合，并利用深度学习网络提取特征进行目标检测，能够综合激光雷达信号和毫米波信号的数据特征，使得目标检测的结果更加准确。
本申请实施例提供的基于多信号融合的目标检测的方法可以应用于多种目标检测场景下，尤其可以应用于道路交通领域对道路中的交通参与对象(如车辆、行人等)进行目标检测的应用场景中。
示例性的，如图1所示，为本申请实施例提供的一种基于多信号融合的目标检测的方法适用的系统架构示意图。该系统架构可以包括路侧系统100和至少一个检测目标，其中，检测目标例如可以包括车辆、行人等，为便于理解，这里以目标是道路中的车辆200为例进行介绍。
在一些实施例中，路侧系统100可以包括路侧设备(图1未示出)、雷达传感器等。其中，雷达传感器具体可以包括激光雷达101和毫米波雷达102。路侧设备又可以被描述为路侧基站、智慧基站，该路侧设备可以包括计算系统103(图1未示出)。可选地，路侧系统100还可以包括视觉传感器，如相机、摄像机等，但本申请实施例对此不作限定。
在一些实施例中，激光雷达101可以用于采集初始点云数据，毫米波雷达102可以用于采集初始回波数据(或称初始回波信号)。其中，激光雷达101采集初始点云数据的原理及过程，以及毫米波雷达102采集初始回波信号的原理及过程可以参见现有的方式，此处不再赘述。
在一些实施例中，路侧设备可以具体实现为包括处理器、控制器等计算单元的装置(如终端、服务器等)，路侧设备可以设置在路侧或者也可以设置在其他位置，本申请实施例对此不作限定。
在一种实现方式中，路侧设备可以具有通信功能，能够通过有线或无线通信方式分别与激光雷达101和毫米波雷达102进行通信连接，以实现路侧设备分别与激光雷达101和毫米波雷达102之间的信息交互。示例性的，路侧设备与激光雷达101之间进行信息交互的过程例如可以包括：路侧设备向激光雷达101发送指示信息(如开启点云数据采集的指示信息等)，或者，路侧设备接收激光雷达101发送的点云数据(如接收激光雷达101发送的初始点云数据)。类似地，路侧设备与毫米波雷达102之间进行信息交互的过程例如可以包括：路侧设备向毫米波雷达102发送指示信息(如开启回波信号采集的指示信息等)，或者，路侧设备接收毫米波雷达发送的回波数据(如接收毫米波雷达102发送的初始回波数据等)。
在另一种实现方式中，路侧设备还可以通过计算系统103执行多种计算处理任务，例如，该计算系统103可以用于对初始点云数据进行去噪处理；再例如，该计算系统103还可以用于对初始回波数据进行傅里叶转换(如三维快速傅里叶转换(3DFFT)、多普勒傅里叶转换、距离傅里叶变换(rangeFFT)、角度傅里叶变换(angleFFT)等处理，以获取雷达立方体数据；又例如，该计算系统103还可以用于对预处理后的点云数据和回拨数据进行整合，并进行基于神经网络的深度学习处理，以获取目标检测结果，等等。
在一些实施例中，车辆200可以包括多种类型，比如普通驾驶车辆、自动驾驶车辆(autonomous vehicles)(或称无人驾驶车辆、电脑驾驶车辆或轮式移动机器人等)，本申请实施例对车辆200的具体类型不做任何限定。
需要说明的是，上述图1所示的系统架构仅以车辆作为需要检测的目标为例进行说明，但在实际应用中，目标还可以是多种其它类型的交通参与对象，比如行人、骑车的人、环境中的其他对象等等，本申请实施例对此不作限定。
还需要说明的是，上述以路侧系统100作为目标检测的执行主体为例进行说明，但在实际应用中，本申请实施例提供的基于多信号融合的目标检测的方法也可以应用在其他设备(如自动驾驶的车辆等)上，例如也可以由车辆等作为目标检测的执行主体，本申请实施例对此不作限定。
示例性的，如图2所示，为本申请实施例提供的一种计算系统的结构示意图。该计算系统可以对应于图1路侧设备中的计算系统103。计算系统103例如可以包括预处理模块1031、傅里叶转换模块1032、时间同步模块1033、空间同步模块1034、信号融合模块1035和目标检测模块1036。
在一些实施例中，预处理模块1031可以用于对初始点云数据进行去噪处理。
在一些实施例中，傅里叶转换模块1032可以用于对初始回波数据进行转换，以获取雷达立方数据。
在一些实施例中，时间同步模块1033可以用于实现同步输出初始点云数据和初始回波数据。示例性的，时间同步模块1033实现时间同步功能的方式可以包括：(1)硬件同步方式(或称硬同步方式)；(2)软件同步方式(或称软同步方式)。具体地，硬件同步方式可以包括：激光雷达或者毫米波雷达其中一方每隔固定时间向另一方发送触发脉冲，另一方接收到触发脉冲后进行电磁波采集和数据(初始点云数据或者初始回波数据)发送。软件同步方式可以包括：根据激光雷达和毫米波雷达分别固有的输出帧率，将激光雷达和毫米波雷达输出的每一帧在同一时间坐标轴下进行帧号对齐和平移对齐。
需要说明的是，上述仅以软件同步和硬件同步方式为例，对时间同步的方式进行介绍，但本申请实施例并不仅限于此。
在一些实施例中，空间同步模块1034可以用于对激光雷达和毫米波雷达进行空间标定，使得激光雷达采集的初始点云数据与毫米波雷达采集的初始回波数据在同一空间坐标系下。示例性的，对激光雷达和毫米波雷达进行空间标定的过程可以是：首先设置毫米波雷达和激光雷达空间标定的实验环境，具体地，该实验环境可以包括，在毫米波暗室中，放置毫米波敏感金属标志物作为可反射或折射毫米波的装置，将除了毫米波敏感金属标志物之外的其它位置均设置为毫米波扫描电磁波被吸收、无法产生回波的装置(或材料)；类似地，将激光雷达来说，可以将激光雷达标志物设置为白色，其它位置一律设置为吸光的黑色材料；之后，在激光雷达和毫米波雷达的回波中，分别计算标志物的具体位置；之后，将标志物一一对齐之后，解预设方程组计算出激光雷达和毫米波雷达的相对位置参数，也即这两个雷达传感器的空间同步参数。
需要说明的是，对激光雷达和毫米波雷达的空间同步过程可以在采集数据之前进行，或者也可以在采集数据的过程中执行，本申请实施例对执行该空间同步过程的具体时间不作限定。
还需要说明的是，这里以空间同步模块1034作为路侧系统100的运算系统103中的一个模块为例进行介绍，但在实际应用中，空间同步模块1034也可以是路侧系统100之外的其它独立设备中的模块，本申请实施例对此不作限定。
在一些实施例中，信号融合模块1035可以用于对去噪处理后的点云数据和雷达立方数据进行进一步处理和整合。可选地，该信号融合模块1035在对数据进行融合之前，还可以对数据进行正则化处理，以统一激光雷达数据和毫米波雷达数据的信号幅值范围。
在一些实施例中，目标检测模块1036可以利用卷积神经网络(convolutionalneural network，CNN)基于处理后的点云数据和回波数据进行目标检测。
示例性的，如图3所示，为本申请实施例提供的一种基于多信号融合的目标检测的方法的示意性流程图。该方法可以由上述介绍的路侧系统执行，该方法可以包括以下步骤：
S301，获取毫米波雷达采集的初始回波数据，以及激光雷达采集的初始点云数据。
在一些实施例中，本申请实施例中的毫米波雷达例如可以采用24G基频雷达，激光雷达例如可以采用8线车载雷达、16线车载雷达或者32线车载雷达等，但本申请实施例对毫米波雷达和激光雷达的具体类型不作限定。
在一些实施例中，在通过毫米波雷达和激光雷达进行数据采集之前，需要首先对毫米波雷达和激光雷达进行安装设置。示例性的，本申请实施例中以将毫米波雷达和激光雷达安装设置于路侧(如图4所示)为例进行介绍，但在实际应用中，毫米波雷达和激光雷达也可以设置于其他位置，如车辆顶部等，本申请实施例对此不作限定。
需要说明的是，由于毫米波雷达和激光雷达的数据采集范围(如角度范围)和距离等可能不同，因而在安装设置毫米波雷达和激光雷达时，需要考虑毫米波雷达和激光雷达的视场匹配问题，也即需要使毫米波雷达和激光雷达的视场范围能够至少同时覆盖目标检测区域(如图4所示的目标检测区域)。
作为一个示例，以通常使用的面阵天线阵列的毫米波雷达为例，其覆盖的视场是前向180°空间或者更小；而激光雷达，通常其存在有限视场和90°以上环视视场。为了保证激光雷达和毫米波雷达能够同时覆盖同一目标检测区域，一种可能的设置方式是：可以采用前向扫描激光雷达配合一个毫米波雷达完成对前向视场的扫描成像(可参见图4所示的激光雷达和毫米波雷达的视场范围以及目标检测区域)；另一种可能的设置方式是：采用多个(至少2个)90°以上环视激光雷达配合一个毫米波雷达，且该多个激光雷达视场至少两两存在部分重叠，使得多个激光雷达的检测范围和毫米波雷达的检测范围能够同时覆盖目标检测区域。
在一些实施例中，路侧设备可以指示激光雷达和毫米波雷达对目标检测区域内的对象进行检测，之后，路侧设备可以获取激光雷达发送的初始点云数据，以及可以获取毫米波雷达发送的回波数据。其中，初始点云数据是指激光雷达发送给路侧设备的原始采集数据，也即未经过路侧设备处理(如去噪处理)的点云数据；初始回波数据是指毫米波雷达发送给路侧设备的原始采集信号，也即未经过路侧设备处理(如傅里叶转换)的回波数据。
需要说明的是，毫米波雷达采集可以采用调频连续波(frequency continuouswave，FMCW)进行的空间测量，其中，调频连续波的基于原理为：毫米波雷达的发射波为高频连续波，其频率随时间按照三角波规律变化；毫米波雷达接收的回波的频率与发射的频率变化规律相同，都是三角波规律，只是有一个时间差，利用这个微小的时间差可以计算出目标距离。示例性的，毫米波雷达可以从射频天线上发送和接收基频为24GHz的连续调制电磁波。
为了保证毫米波雷达和激光雷达采集到的数据可以在时间上对齐，在两种雷达传感器进行数据采集之前，需要先对两者采集数据和/或向路侧设备发送数据的时间进行同步。
在一些实施例中，对激光雷达和毫米波雷达采集数据进行时间同步的方式可以包括：通过所述激光雷达向所述毫米波雷达发送脉冲，使所述毫米波雷达和所述激光雷达分别同步获取所述初始回波数据和所述初始点云数据；和/或，调整所述毫米波雷达或所述激光雷达发射信号的帧率，对齐所述初始回波数据和所述初始点云数据的时间戳，使所述毫米波雷达和所述激光雷达分别同步获取所述初始回波数据和所述初始点云数据。
换句话说，对毫米波雷达和激光雷达采集数据和/或向路侧设备发送数据进行时间同步的方式可以包括硬件同步方式(或称硬同步方式)和软件同步方式(或称软同步方式)两种方式。其中，硬件同步方式可以包括：激光雷达或者毫米波雷达其中一方每隔固定时间向另一方发送触发脉冲，另一方接收到触发脉冲后进行电磁波采集和数据(初始点云数据或者初始回波数据)发送。软件同步方式可以包括：根据激光雷达和毫米波雷达分别固有的输出帧率，将激光雷达和毫米波雷达输出的每一帧在同一时间坐标轴下进行帧号对齐和平移对齐。
其中，以硬件同步方式为例，一种具体的实现方案可以是：在激光雷达转动扫描时，设置激光雷达的电机每转过自身的零点，就会触发激光雷达向毫米波雷达发送一个同步脉冲；在接收到同步脉冲后，触发毫米波雷达开始发送连续调频电磁波(载波可以为24GHz)，之后毫米波雷达的接收天线接收电磁波的回波信号，在连续调频电磁波发送结束后，回波信号也基本接收完毕，此时激光雷达可以转动扫描过相同的时长(如目标检测区域对应的视场)；之后，毫米波雷达和激光雷达分别对自身采集的信号进行采样，然后可以将激光雷达和毫米波雷达采样的信号作为同一帧内容输出至路侧设备。
在一些实施例中，毫米波雷达在接收到回波信号后，可以对该回波信号进行模数转换(AD)采样，并将采样后的回波数据存储至寄存器，在完成一帧回波信号接收后经由网络接口发送至路侧设备。
S302，对初始回波数据进行处理获得雷达立方体数据，该雷达立方体数据包括速度、方位、距离三个维度的信息。
在一些实施例中，路侧设备接收到初始回波数据后，可以对该初始回波数据进行三维快速傅里叶变换(3DFFT)，将初始回波数据排列成三维矩阵，获得雷达立方体数据。其中，3DFFT即在3个维度上做3次FFT运算，具体来说，路侧设备可以分别使用对应的距离傅里叶变换(rangeFFT)、多普勒FFT、角度傅里叶变换(angleFFT)对目标进行测距、测速、测角，使得获得的雷达立方体数据可以包括速度、方位、距离三个维度的信息。
S303，基于初始点云数据和雷达立方体数据获取整合数据。
在一些实施例中，路侧设备在获取雷达立方体数据后，可以整合该雷达立方体数据和初始点云数据，获取整合数据。
在一些实施例中，路侧设备在获取初始点云数据后，可以对初始点云数据进行去噪处理，得到目标点云数据。
在一些实施例中，路侧设备在获取雷达立方体数据后，可以根据每一立方体对应的能量值，选择目标雷达立方体数据，并基于初始点云数据和目标雷达立方体数据进行整合。示例性的，选择目标雷达立法体数据的过程可以包括：路侧设备将初始毫米波数据进行三维快速傅里叶变换3D-FFT获得雷达立方体数据，该雷达立方体数据用于指示不同速度、方位、距离对应的能量值；之后，将雷达立方体数据中能量值大于第一阈值的部分作为目标雷达立方体数据。
在一些实施例中，基于初始点云数据和雷达立方体数据获取整合数据可以包括：初始点云数据与目标雷达立方体数据进行整合，获取整合数据；或者，将目标点云数据和雷达立方体数据进行整合，获取整合数据；或者，将目标点云数据和目标雷达立方体数据进行整合，获取整合数据。
在一些实施例中，在整合初始点云数据和雷达立方体数据之前，还可以对该初始点云数据和雷达立方体数据进行空间同步，使初始点云数据和雷达立方体对应于一个相同的空间坐标系。具体地，对初始点云数据和雷达立方体数据进行空间同步的过程可以包括：标定所述毫米波雷达空间和所述激光雷达空间，确定所述毫米波雷达和所述激光雷达的空间同步参数；按照所述空间同步参数将所述初始回波数据和所述点云数据在空间进行旋转平移变换，以获取相同空间下的所述初始回波数据和所述初始点云数据。
举例来说，一种用于对毫米波雷达和激光雷达进行空间标定，获取空间同步参数的方式可以包括：首先设置毫米波雷达和激光雷达空间标定的实验环境，具体地，该实验环境可以包括，在毫米波暗室中，放置毫米波敏感金属标志物作为可反射或折射毫米波的装置，将除了毫米波敏感金属标志物之外的其它位置均设置为毫米波扫描电磁波被吸收、无法产生回波的装置(或材料)；类似地，将激光雷达来说，可以将激光雷达标志物设置为白色，其它位置一律设置为吸光的黑色材料；之后，在激光雷达和毫米波雷达的回波中，分别计算标志物的具体位置；之后，将标志物一一对齐之后，按照预设方程组计算出激光雷达和毫米波雷达的相对位置参数，也即这两个雷达传感器的空间同步参数。
需要说明的是，通过上述对毫米波雷达和激光雷达的空间标定过程，可以将毫米波雷达和激光雷达采集到的数据统一到同一空间坐标系下；并且，通过上述对毫米波雷达和激光雷达采集数据和/或向路侧设备发送数据进行时间同步，可以将毫米波雷达和激光雷达采集到的数据统一到同一时间轴。此时，目标点云数据与目标雷达立方体数据只存在幅值上的差异，因而，在整合数据之前，还可以对目标点云数据和目标雷达立方体数据进行正则化处理。
在一些实施例中，路侧设备可以对目标初始点云数据和目标雷达立方体数据进行正则化处理，统一二者的信号幅值范围。此时，基于所述初始点云数据和所述雷达立方体数据获取整合数据的过程可以包括：将雷达立方体数据中能量值大于第一阈值的部分作为目标雷达立方体数据；对初始点云数据进行去噪处理，得到目标点云数据；对目标点云数据和目标回波数据进行正则化处理，分别获取信号幅值范围统一的第一正则化数据和第二正则化数据；整合第一正则化数据和第二正则化数据，获取所述整合数据。其中，第一正则化数据为对所述目标点云数据进行正则化处理之后的数据；第二正则化数据为对所述目标回波数据进行正则化处理之后的数据。
第一正则化数据可以包括目标点云数据对应的空间坐标系中的多个三维空间坐标，以及所述三维空间坐标对应的能量值。示例性的，第一正则化数据可以表示为：(xn1,yn1,zn1,I)，其中，xn1,yn1,zn1分别目标点云数据对应的三维空间坐标参数，I为所述三维空间坐标参数对应的能量值，这里的能量值可以指激光雷达点云的强度值。
第二正则化数据可以包括目标雷达立方体数据对应的空间坐标中的多个所述三维空间坐标，以及所述三维空间坐标对应的速度和雷达散射截面能量，以及所述三维空间坐标对应位置的所述初始回波数据(AD采样数据)。示例性的，第二正则化数据可以表示为：(xn2,yn2,zn2,v,rcs,[V1,V2,…，VN])，其中，xn2,yn2,zn2分别目标立方体数据对应的三维空间坐标参数(xn2为三维空间坐标系中X轴上的值，yn2为三维空间坐标系中Y轴上的值，zn2为三维空间坐标系中Z轴上的值)，v所述三维空间坐标对应的速度，rcs为所述三维空间坐标对应的雷达散射截面能量，[V1,V2,…，VN]为三维空间坐标对应位置的初始回波数据(AD采样数据)。
在一些实施例中，整合第一正则化数据和第二正则化数据，获取所述整合数据，具体包括：将相同的所述三维空间坐标分别对应的所述第一正则化数据和所述第二正则化数据合并，获取所述整合数据，所述整合数据包括所述三维空间坐标，以及所述三维空间坐标分别对应的能量值、速度、雷达散射面能量和初始回波数据。举例来说，就是将xn1＝xn2，yn1＝yn2，zn1＝zn2处对应的第一正则化数据和第二正则化数据合并，获取所述整合数据，所述整合数据包括三维空间坐标参数，和所述三维空间坐标参数对应的能量值、速度、雷达散射面能量和初始回波数据。示例性的，整合数据可以表示为：(x,y,z,v,I,rcs,[V1,V2,...,VN])。
S304，将整合数据输入目标神经网络模型，获取目标检测结果。
其中，目标神经网络模型是以毫米波在速度维度上的特性来进行目标识别的。对于运动中的目标(如走动的行人，骑自行车的人，和行驶的车辆)，多普勒维度上的数据会呈现不同的峰值特性。因此输入目标神经网络的是将毫米波数据雷达立方体中提取出来的原始信号数据(对应于上述[V1,V2,…，VN])与该信号峰值所在位置的高纬度信息(x,y,z,I,v,rcs)信息组合，作为网络模型的输入数据。其中x,y,z由毫米波雷达和激光雷达同时提供，分别用于指示在空间坐标中三维维度的位置；I是激光雷达点云的强度信息；v和rcs是由毫米波雷达提供，v是指(x,y,z)位置对应的速度，rcs是雷达截面积(Radar Cross Section,RCS)，用于指示目标在雷达接收方向上反射雷达信号能力的度量。
应理解，本申请实施例设计的目标神经网络具有从毫米波原始数据中提取特征的特点，可以采用二维(2D)卷积核对波形特征进行空间卷积，一维(1D)卷积核对波形进行速度维度卷积。通过训练，能够将数据的特点充分挖掘出来。
其中，本步骤中目标神经网络根据整合数据进行目标检测的过程将在下文结合附图进行介绍，此处暂不详述。
根据本申请实施例提供的基于多信号融合的目标检测的方法，通过将激光雷达采集的点云数据和毫米波雷达采集的回波信号进行融合，并利用深度学习网络提取特征进行目标检测，能够综合激光雷达信号和毫米波信号的数据特征，使得目标检测的结果更加准确。
以下结合附图5A至图5C，对目标神经网络根据整合数据进行目标检测的过程进行介绍。
示例性的，如图5A至图5C所示，为本申请实施例提供的另一种基于基于多信号融合的目标检测的方法的示意性流程图。
首先如图5A所示，在一些实施例中，路侧设备对初始回波数据进行傅里叶转换后，获得的雷达立方体可以如图5A左上侧的立方体所示，该雷达立方体可以包括多个小立方体，每一小立方体可以对应有空间坐标系中的三维坐标(x,y,z)，并且每一小立方体可以对应有能量值，该能量值例如可以是该三维位置对应的回波信号能量值。示例性的，该雷达立方体可以包括目标，目标的位置可以如图5A中左上侧的的雷达立方体所示。
在一些实施例中，路侧设备对初始点云数据进行处理后，获得的目标对应的点云数据可以如图5A左下侧的目标示意图所示。
在一些实施例中，路侧设备可以根据该雷达立方体中每一小立方体对应的能量值，确定其中能量值大于第一阈值的部分作为目标雷达立方体数据。示例性的，目标雷达立方体可以例如可以对应于图5A右侧所示的目标周围的块。
在一些实施例中，路侧设备还可以根据激光雷达采集的目标对应的点云数据进行全局运动补偿(ego-motion compensation)，获取目标的角度(azimuth)、距离(range)、速度(如绝对速度(absolute speed))等。
如图5B所示，在预处理完成之后，可以将目标雷达力图数据输出实时对比(realtime contrasts，RCT)神经网络，将目标雷达立方体数据打平，将立方体两个维度(比如X轴对应的维度和Z轴对应的维度)转换为1；之后，可以将输出的打平后的数据与目标点云数据整合(如FC128文件)，处理保存为深度网络数据输入形式，以便后续进行目标检测分析。
如图5C所示，对目标点云数据和目标雷达立体数据进行整合后，可以对整合数据进行后置处理(post processing)，提取数据特征，实现对目标分类、聚类，最终可以输出分类对象列表，获取目标检测结果。
本申请实施例中，将整合数据输入深度CNN网络提取数据特征，CNN网络层经过卷积池化和激活函数后进行目标的全连接层，在全连接层及性能类别回归与位置回归。其中，CNN卷积过程可以包括：从原始图像的左上角开始，选择和卷积核大小相同的区域；选择出的区域和卷积核逐个元素乘积，然后求和，得到的值作为新图像的一个像素点的值；在原始图片上水平和垂直移动选择的区域，然后重复上述计算过程。其中，移动的步长可以是1或者大于1(若是大于1的步长，得到的新图像尺寸会缩小，此时可以给原始图片添加填充，以保证新生成的图片不缩小)。
根据本申请实施例提供的基于多信号融合的目标检测的方法，通过将激光雷达采集的点云数据和毫米波雷达采集的回波信号进行融合，并利用深度学习网络提取特征进行目标检测，能够综合激光雷达信号和毫米波信号的数据特征，使得目标检测的结果更加准确。
示例性的，如图6所示，为本申请实施例提供的一种路侧系统的结构示意图。该路侧系统600包括毫米波雷达601、激光雷达602、路侧设备603，其中，路侧设备603又可以包括一个或多个存储器6031和一个或多个处理器6032。毫米波雷达601用于采集初始回波数据，所述激光雷达用于采集初始点云数据，所述一个或多个存储器存储有计算机程序指令。
在一些实施例中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
获取毫米波雷达采集的初始回波数据，以及激光雷达采集的初始点云数据；
对所述初始回波数据进行处理获得雷达立方体数据；所述雷达立方体数据包括速度、方位、距离三个维度的信息；
基于所述初始点云数据和所述雷达立方体数据获取整合数据；
将所述整合数据输入目标神经网络模型，获取目标检测结果。
在一些实施例中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
通过所述激光雷达向所述毫米波雷达发送脉冲，使所述毫米波雷达和所述激光雷达分别同步获取所述初始回波数据和所述初始点云数据；和/或，
调整所述毫米波雷达或所述激光雷达发射信号的帧率，对齐所述初始回波数据和所述初始点云数据的时间戳，使所述毫米波雷达和所述激光雷达分别同步获取所述初始回波数据和所述初始点云数据。
在一些实施例中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
标定所述毫米波雷达空间和所述激光雷达空间，确定所述毫米波雷达和所述激光雷达的空间同步参数；
按照所述空间同步参数将所述初始回波数据和所述点云数据在空间进行旋转平移变换，以获取相同空间下的所述初始回波数据和所述初始点云数据。
在一些实施例中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
将所述初始毫米波数据进行三维快速傅里叶变换3D-FFT获得雷达立方体数据，所述雷达立方体数据用于指示不同速度、方位、距离对应的能量值；
将所述雷达立方体数据中能量值大于第一阈值的部分作为目标雷达立方体数据；
基于所述初始点云数据和所述目标雷达立方体数据获取整合数据。
在一些实施例中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
对所述初始点云数据进行去噪处理，得到目标点云数据；
基于所述雷达立方体数据和所述目标点云数据获取整合数据。
在一些实施例中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
将所述雷达立方体数据中能量值大于第一阈值的部分作为目标雷达立方体数据；
对所述初始点云数据进行去噪处理，得到目标点云数据；
对所述目标点云数据和所述目标回波数据进行正则化处理，分别获取信号幅值范围统一的第一正则化数据和第二正则化数据；
整合所述第一正则化数据和所述第二正则化数据，获取所述整合数据。
在一些实施例中，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如下步骤：
所述第一正则化数据包括多个三维空间坐标以及所述三维空间坐标对应的能量值；所述第二正则化数据数据包括多个所述三维空间坐标、所述三维空间坐标对应的速度和雷达散射截面能量以及所述三维空间坐标对应位置的所述初始回波数据；
将相同的所述三维空间坐标分别对应的所述第一正则化数据和所述第二正则化数据合并，获取所述整合数据，所述整合数据包括所述三维空间坐标，以及所述三维空间坐标分别对应的能量值、速度、雷达散射面能量和初始回波数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括计算机指令，当所述计算机指令在计算机中被执行时，使得上述方法得以实现。
本申请实施例还提供了一种计算机产品，所述计算机产品包括计算机指令，当所述计算机指令在计算机中被执行时，使得上述方法得以实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机命令。在计算机上加载和执行所述计算机程序命令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机命令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机命令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储装置。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来命令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于多信号融合的目标检测的方法，其特征在于，包括：
获取毫米波雷达采集的初始回波数据，以及激光雷达采集的初始点云数据；
对所述初始回波数据进行处理获得雷达立方体数据；所述雷达立方体数据包括速度、方位、距离三个维度的信息；
基于所述初始点云数据和所述雷达立方体数据获取整合数据；
将所述整合数据输入目标神经网络模型，获取目标检测结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述激光雷达向所述毫米波雷达发送脉冲，使所述毫米波雷达和所述激光雷达分别同步获取所述初始回波数据和所述初始点云数据；和/或，
调整所述毫米波雷达或所述激光雷达发射信号的帧率，对齐所述初始回波数据和所述初始点云数据的时间戳，使所述毫米波雷达和所述激光雷达分别同步获取所述初始回波数据和所述初始点云数据。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
标定所述毫米波雷达空间和所述激光雷达的空间，确定所述毫米波雷达和所述激光雷达的空间同步参数；
按照所述空间同步参数将所述初始回波数据和所述点云数据在空间进行旋转平移变换，以获取相同三维空间坐标系下的所述初始回波数据和所述初始点云数据。
4.根据权利要求1所述的方法，其特征在于，所述对所述初始回波数据进行处理获得雷达立方体数据，具体包括：
将所述初始毫米波数据进行三维快速傅里叶变换3D-FFT获得所述雷达立方体数据，所述雷达立方体数据用于指示不同速度、方位、距离对应的能量值；
所述基于所述初始点云数据和所述雷达立方体数据获取整合数据，具体包括：
将所述雷达立方体数据中能量值大于第一阈值的部分作为目标雷达立方体数据；
基于所述初始点云数据和所述目标雷达立方体数据获取整合数据。
5.根据权利要求1所述的方法，其特征在于，基于所述初始点云数据和所述雷达立方体数据获取整合数据，包括：
对所述初始点云数据进行去噪处理，得到目标点云数据；
基于所述雷达立方体数据和所述目标点云数据获取整合数据。
6.根据权利要求5所述的方法，其特征在于，所述雷达立方体数据用于指示不同速度、方位、距离对应的能量值；
对应的，所述基于所述初始点云数据和所述雷达立方体数据获取整合数据，具体包括：
将所述雷达立方体数据中能量值大于第一阈值的部分作为目标雷达立方体数据；
对所述初始点云数据进行去噪处理，得到目标点云数据；
对所述目标点云数据和所述目标回波数据进行正则化处理，分别获取信号幅值范围统一的第一正则化数据和第二正则化数据；
整合所述第一正则化数据和所述第二正则化数据，获取所述整合数据。
7.根据权利要求6所述的方法，其特征在于，所述第一正则化数据包括多个三维空间坐标以及所述三维空间坐标对应的能量值；所述第二正则化数据数据包括多个所述三维空间坐标、所述三维空间坐标对应的速度和雷达散射截面能量以及所述三维空间坐标对应位置的所述初始回波数据；
所述整合第一正则化数据和第二正则化数据，获取所述整合数据，具体包括：
将相同的所述三维空间坐标分别对应的所述第一正则化数据和所述第二正则化数据合并，获取所述整合数据，所述整合数据包括所述三维空间坐标，以及所述三维空间坐标分别对应的能量值、速度、雷达散射面能量和初始回波数据。
8.根据权利要求1-8任一项所述的方法，其特征在于，所述目标检测结果包括目标的速度，位置和类别。
9.一种路侧设备，其特征在于，包括：
包括一个或多个存储器；
一个或多个处理器；
所述一个或多个存储器存储有计算机程序指令，当所述一个或多个处理器执行所述计算机程序指令时，使得所述路侧设备实现如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序指令，当所述计算机程序指令被执行时，使得如权利要求1至8中任一项所述的方法得以实现。
CN202111452399.3A 2021-11-30 2021-11-30 一种基于多信号融合的目标检测的方法及设备 Pending CN116203577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111452399.3A CN116203577A (zh) 2021-11-30 2021-11-30 一种基于多信号融合的目标检测的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111452399.3A CN116203577A (zh) 2021-11-30 2021-11-30 一种基于多信号融合的目标检测的方法及设备

Publications (1)

Publication Number Publication Date
CN116203577A true CN116203577A (zh) 2023-06-02

Family

ID=86517922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111452399.3A Pending CN116203577A (zh) 2021-11-30 2021-11-30 一种基于多信号融合的目标检测的方法及设备

Country Status (1)

Country Link
CN (1) CN116203577A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218438A (zh) * 2023-09-19 2023-12-12 南京慧尔视智能科技有限公司 一种雷达检测目标分类方法、装置、设备及存储介质
WO2025102316A1 (en) * 2023-11-16 2025-05-22 Huawei Technologies Co., Ltd. Method, system, and medium for adapting graphical user interface
CN120122247A (zh) * 2025-05-15 2025-06-10 上海联赣光电科技有限公司 一种测云系统以及测云方法
CN120405656A (zh) * 2025-07-01 2025-08-01 国机传感科技有限公司 一种用于管道内壁建模的雷达系统及管道内壁建模方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN111352112A (zh) * 2020-05-08 2020-06-30 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN112083441A (zh) * 2020-09-10 2020-12-15 湖南大学 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统
CN112401856A (zh) * 2020-11-16 2021-02-26 武汉烽火凯卓科技有限公司 一种基于毫米波雷达的疗养院监护方法及系统
CN113109797A (zh) * 2021-03-01 2021-07-13 北京清瑞维航技术发展有限公司 调频连续波凝视雷达的目标探测方法、装置和计算机设备
CN113158763A (zh) * 2021-02-23 2021-07-23 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
CN113281738A (zh) * 2021-06-18 2021-08-20 桂林市国创朝阳信息科技有限公司 一种多传感器融合的目标检测系统及检测方法
CN113536850A (zh) * 2020-04-20 2021-10-22 长沙莫之比智能科技有限公司 基于77g毫米波雷达的目标物体大小测试方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN113536850A (zh) * 2020-04-20 2021-10-22 长沙莫之比智能科技有限公司 基于77g毫米波雷达的目标物体大小测试方法和装置
CN111352112A (zh) * 2020-05-08 2020-06-30 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN112083441A (zh) * 2020-09-10 2020-12-15 湖南大学 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统
CN112401856A (zh) * 2020-11-16 2021-02-26 武汉烽火凯卓科技有限公司 一种基于毫米波雷达的疗养院监护方法及系统
CN113158763A (zh) * 2021-02-23 2021-07-23 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
CN113109797A (zh) * 2021-03-01 2021-07-13 北京清瑞维航技术发展有限公司 调频连续波凝视雷达的目标探测方法、装置和计算机设备
CN113281738A (zh) * 2021-06-18 2021-08-20 桂林市国创朝阳信息科技有限公司 一种多传感器融合的目标检测系统及检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴双: "基于毫米波传感器的机器人避障与导航技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 1, 15 January 2021 (2021-01-15), pages 140 - 449 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218438A (zh) * 2023-09-19 2023-12-12 南京慧尔视智能科技有限公司 一种雷达检测目标分类方法、装置、设备及存储介质
WO2025102316A1 (en) * 2023-11-16 2025-05-22 Huawei Technologies Co., Ltd. Method, system, and medium for adapting graphical user interface
CN120122247A (zh) * 2025-05-15 2025-06-10 上海联赣光电科技有限公司 一种测云系统以及测云方法
CN120122247B (zh) * 2025-05-15 2025-07-29 上海联赣光电科技有限公司 一种测云系统以及测云方法
CN120405656A (zh) * 2025-07-01 2025-08-01 国机传感科技有限公司 一种用于管道内壁建模的雷达系统及管道内壁建模方法

Similar Documents

Publication Publication Date Title
CN110456343B (zh) 一种基于fmcw毫米波雷达的即时定位方法及系统
US20240192361A1 (en) Early fusion of camera and radar frames
US20230052240A1 (en) Geographically disparate sensor fusion for enhanced target detection and identification in autonomous vehicles
US10739438B2 (en) Super-resolution radar for autonomous vehicles
CN116203577A (zh) 一种基于多信号融合的目标检测的方法及设备
CN112379674B (zh) 一种自动驾驶设备及系统
US11921213B2 (en) Non-line-of-sight correction for target detection and identification in point clouds
CN110568433A (zh) 基于毫米波雷达的高空抛物检测方法
CN112946628A (zh) 一种基于雷达与视频融合的道路运行状态检测方法及系统
KR20210096607A (ko) 레이더 딥 러닝
US11587204B2 (en) Super-resolution radar for autonomous vehicles
CN111316128A (zh) 连续障碍物检测方法、设备、系统及存储介质
Cui et al. 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars
CN111045000A (zh) 监测系统和方法
CN114519845A (zh) 多传感数据融合方法、装置、计算机设备和存储介质
CN113848825B (zh) 柔性生产车间agv状态监控系统及方法
WO2023083164A1 (zh) 目标追踪方法、信号融合方法、装置、终端和存储介质
Gao et al. Dc-loc: Accurate automotive radar based metric localization with explicit doppler compensation
WO2020133041A1 (zh) 车速计算方法、系统、设备及存储介质
WO2022083529A1 (zh) 一种数据处理方法及装置
CN117214884A (zh) 雷达与摄像头传感器组合探测的方法
CN116027288A (zh) 生成数据的方法、装置、电子设备及存储介质
Chen et al. 4D RadarPR: context-aware 4D radar place recognition in harsh scenarios
Zheng et al. Time-sensitive and distance-tolerant deep learning-based vehicle detection using high-resolution radar bird's-eye-view images
Phippen et al. 3D Images of Pedestrians at 300GHz

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination