[go: up one dir, main page]

CN118191873A - 一种基于光场图像的多传感器融合测距系统及方法 - Google Patents

一种基于光场图像的多传感器融合测距系统及方法 Download PDF

Info

Publication number
CN118191873A
CN118191873A CN202311836303.2A CN202311836303A CN118191873A CN 118191873 A CN118191873 A CN 118191873A CN 202311836303 A CN202311836303 A CN 202311836303A CN 118191873 A CN118191873 A CN 118191873A
Authority
CN
China
Prior art keywords
target object
light field
matching
field image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311836303.2A
Other languages
English (en)
Inventor
盛浩
丛睿轩
赵明远
王暾
陈荣山
张莹莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202311836303.2A priority Critical patent/CN118191873A/zh
Publication of CN118191873A publication Critical patent/CN118191873A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于光场图像的多传感器融合测距系统及方法，实现物体的精准识别和距离测量，用于自动驾驶场景感知系统；通过激光雷达精准定位模块实现物体的精准定位，利用光场图像目标物体检测与深度估计模块补充激光雷达无法感知到的物体的深度信息，最终结合光场‑雷达多传感器融合测距模块完成多模态传感器测距结果的有效融合。相对于传统的单模态传感器测距和雷达‑相机多传感器融合测距，本发明既解决了单目图像感知无法计算位置信息的问题，又避免了三维点云感知受激光雷达测量范围有限的局限。基于独创性的光场图像目标物体检测与深度估计方法，本发明确保了距离测量的准确性、实时性和可扩展性。

Description

一种基于光场图像的多传感器融合测距系统及方法
技术领域
本发明涉及一种基于光场图像的多传感器融合测距系统及方法，属于信息技术领域。
背景技术
近年来，随着人工智能技术的快速普及，自动驾驶成为新的研究热点，它依赖于先进的传感器、计算机视觉技术、机器学习算法和深度学习算法等，通过感知周围环境、分析数据并做出相应的驾驶决策，使得交通载具能够在没有人类驾驶员的情况下自主地进行行驶和操作。自动驾驶技术的发展衍生出了许多引人注目的研究方向，包括实时建图、目标定位、场景感知、路径规划和状态控制系统等。相关的商业化进程以车辆为主，并逐渐扩展到船舶和无人机。
自动驾驶场景感知系统是指车辆使用各种传感器和技术来实时感知周围环境和道路条件。这些传感器和技术协同工作，收集和处理大量数据，从而检测所有障碍物，提供位置坐标以及相应的速度信息，以实现准确和全面的认知。现有的感知传感器主要分为雷达和相机两类，前者直接扫描三维点云数据实现距离测量，发射的激光波束可以穿透雨滴、云雾和一些障碍物，对于恶劣天气条件和低光照环境有更好的适应性，但是雷达的低分辨率导致对于垂直结构物体的感知能力有限；后者捕获二维图像以提供颜色和纹理信息。然而，在强烈的光照或低照度环境下，图像质量的退化会降低物体识别准确率，而且单个摄像头视野有限，存在视野盲区无法提供对周围环境的全面感知。
为了解决单个感知传感器的问题，自动驾驶车辆通常同时利用多个传感器来增强其感知能力。目前已经提出多个融合雷达和相机多模态数据的方法，发挥点云和图像的优势，将三维结构和深度特征与二维颜色线索和纹理特征相结合。但是，激光雷达作为唯一的深度信息来源，受有效测量范围和视场限制，无法感知遥远和细小的障碍物，即使一些方法试图通过双目立体匹配来解决这个问题，它们也很难应用于具有复杂遮挡的具有挑战性的场景，一旦物体被遮挡或者在视角重叠区域外从而无法同时出现于两个视角图像，这些方法就会失败。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种基于光场的多传感器融合测距系统及方法，提高了距离测量的准确性和鲁棒性，实现测量量程广、感知精度高、运行延迟低的物体识别和深度估计性能，为自动驾驶系统中的路径规划和避障等关键任务提供了必要信息。
本发明的技术解决方案如下：
第一方面，本发明提一种光场图像目标物体检测与深度估计方法，其特点在于：利用光场图像独有的角度维度信息实现鲁棒的物体级深度估计，包括光场图像目标物体检测、光场图像目标物体特征点匹配和光场图像视差-深度转换步骤；实现如下：
光场图像目标物体检测步骤：将光场相机获取的光场图像沿水平、竖直、45°和135°四个方向拆分为多个视角规则分布的子孔径图像，在每个子孔径图像内执行已训练好的单目图像目标物体检测算法，获得所有视角图像下的检测框结果；
光场图像目标物体特征点匹配步骤：基于所有视角图像下的检测框结果，沿水平、竖直、45°和135°四个方向的子孔径图像序列匹配同一目标物体特征点，匹配同一目标物体特征点的方法采用分治策略，即将整个光场图像目标物体特征点匹配过程拆分为多个相邻视角图像的双目视觉目标物体特征点匹配，双目视觉目标物体特征点匹配时采用目标物体匹配和目标物体特征点匹配两级匹配，先得到目标物体匹配结果，再依据目标物体匹配结果，得到目标物体特征点匹配结果；然后将所有的目标物体特征点匹配结果合并，最后得到光场图像目标物体特征点匹配结果；
光场图像视差-深度转换步骤：根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到水平、竖直、45°和135°四个方向的深度候选，再通过权重自适应加权，最终得到物体级深度估计结果。
特别地，所述光场图像目标物体特征点匹配步骤中，目标物体匹配时，对多个相邻视角图像通过设定的约束条件实现准确的粗粒度的目标物体匹配；所述约束条件为图像结构相似性、检测框规模相似性、检测框像素偏移；
所述图像结构相似性是指同一目标物体在相邻视角图像中的两个检测框限定的局部图像区域具有相似的结构、纹理、边缘的特征；
所述检测框规模相似性是指同一目标物体在相邻视角图像中的两个检测框在水平方向和竖直方向均具有相似的检测框边长；
所述检测框像素偏移是指同一目标物体在相邻视角图像中的两个检测框沿水平方向和竖直方向的像素偏移处于合理范围，所述合理范围由目标物体有效深度测距量程和光场相机间距离反向推出。
特别地，所述光场图像目标物体特征点匹配步骤中，目标物体特征点匹配实现如下：
(1)遍历目标物体匹配结果，在检测框限定的局部图像区域内运行尺度不变特征转换算法，计算同一目标物体在所有视角图像中的特征点集合；
(2)以最左侧视角图像作为基准图像，通过K近邻匹配算法将最左侧视角图像的特征点集合依次和其他所有视角图像提取的特征点集合匹配，合并所有特征点匹配结果并进行排序，其中包含特征点的有效视角图像数量具有第一优先级由大至小排序，特征点之间的欧氏距离具有第二优先级由小至大排序；
(3)遍历已排序的特征点匹配结果，如果当前的匹配特征点欧氏距离超过最大阈值，继续遍历；如果小于阈值，结束遍历，该当前遍历特征点即为目标物体特征点匹配结果；
(4)对于受限于分辨率无法提取尺度不变特征的目标物体，不执行步骤(1)～(3)，直接使用目标物体检测框的中心坐标点作为目标物体特征点匹配结果。
特别地，所述光场图像视差-深度转换步骤中，根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到水平、竖直、45°和135°四个方向的深度候选，再通过权重自适应加权，最终得到物体级深度估计结果具体实现如下：
(1)依据目标物体特征点的空间坐标和视角图像的角度坐标，确定组成子孔径图像序列的每个视角图像的目标物体特征点在极面图像中对应的二维坐标；再利用最小二乘法获得初始的拟合直线即极面图像中的视差极线，进而计算每个特征点到视差极线的距离，并将所述距离与预设的阈值进行比较，如果所述距离超出阈值，则认为该特征点异常并从极面图像中删除；对于剩余的特征点，重复上述直线拟合和异常检测过程，直至剩余特征点即有效特征点到视差极线的距离均处于阈值范围内，得到目标物体特征点在极面图像中的视差极线；
(2)针对水平、竖直、45°和135°四个方向子孔径图像序列分别执行四次步骤(1)的过程，获得四条视差极线以及每条极线包含的有效匹配特征点个数，计算每条视差极线的斜率，从而获得目标物体在当前方向的子孔径图像序列之间的像素偏移，即视差，结合光场相机内参矩阵和光场相机间距离将所述目标物体的视差转换成深度值，得到水平、竖直、45°和135°四个方向的深度候选；
(3)将得到的四条视差极线包含的有效特征点个数求和得到目标物体有效特征点总数；然后，对于每条极线，计算其所包含的有效特征点数量占目标物体有效特征点总数的比例作为权重系数，从而对四个方向的深度候选进行自适应加权求和，获得目标物体最终的物体级深度估计结果。
第二方面，本发明提供一种光场图像目标物体检测与深度估计系统，包括以下模块：
光场图像目标物体检测模块：将光场相机获取的光场图像沿水平、竖直、45°和135°四个方向拆分为多个视角规则分布的子孔径图像，在每个子孔径图像内执行已训练好的单目图像目标物体检测算法，获得所有视角下的候选检测框结果；
光场图像目标物体特征点匹配模块：基于光场图像立体匹配原理，沿水平、竖直、45°和135°四个方向的子孔径图像序列匹配同一目标物体特征点，匹配同一目标物体特征点的方法采用分治策略，即将整个光场图像目标物体特征点匹配过程拆分为多个相邻视角图像的双目视觉目标物体特征点匹配，双目视觉目标物体特征点匹配时采用目标物体匹配和目标物体特征点匹配两级匹配，先得到粗粒度的目标物体匹配结果，再依据目标物体匹配结果，得到细粒度的目标物体特征点匹配结果；然后将所有的目标物体特征点匹配结果合并，最后得到光场图像目标物体特征点匹配结果；
光场图像视差-深度转换模块：根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到四个方向的深度候选，再通过权重自适应加权，最终得到物体级深度估计结果。
第三方面，本发明提供一种基于光场图像的多传感器融合测距系统，包括激光雷达精准定位模块、光场图像目标物体检测与深度估计模块、光场-雷达多传感器融合测距模块；
激光雷达精准定位模块，对获取的三维点云数据进行预处理、合并和聚类处理，得到目标物体中心空间点坐标；
光场图像目标物体检测与深度估计模块，执行前述的光场图像目标物体检测与深度估计方法，首先对获取的光场图像进行目标物体检测；在目标物体检测过程中，根据光场-雷达多传感器融合测距模块输出的针对激光雷达精准定位模块的目标物体中心空间点坐标进行雷达-相机坐标系正投影的结果，删除光场图像目标物体检测结果中的冗余数据，对处理后的有效目标物体检测结果进行光场图像目标物体特征点匹配；最后根据特征点匹配结果进行光场图像视差-深度转换，得到图像坐标系下目标物体的特征点像素坐标和物体级深度估计结果；
光场-雷达多传感器融合测距模块，针对激光雷达精准定位模块输出的目标物体中心空间点坐标，执行雷达-相机坐标系正投影，获取激光雷达感知到的目标物体在光场相机坐标系下的像素点坐标，输出到光场图像目标物体检测与深度估计模块；然后对光场图像目标物体检测与深度估计模块得到的图像坐标系下目标物体的特征点像素坐标和物体级深度估计结果进行相机-雷达坐标系反投影，获得相应的目标物体空间点坐标，与激光雷达精准定位模块得到的目标物体中心空间点坐标融合，最终得到在雷达坐标系下所有目标物体的距离信息。
特别地，所述激光雷达精准定位模块实现如下：获取所有激光雷达扫描形成的结构化三维点云数据，根据雷达自身安装位置和周围环境特点对点云数据进行过滤预处理，排除掉无效的数据点，避免对后续处理产生干扰同时简化计算规模；将每个雷达处理后的三维点云数据转化到统一坐标系进行数据合并，忽略点云高度形成鸟瞰图，最后利用快速欧氏聚类进行平面点云聚类，聚类结果反映雷达感知目标物体的整体结构信息，将所有相关点云数据相加求和得到目标物体中心空间点坐标。
特别地，所述雷达-相机坐标系正投影和相机-雷达坐标系反投影分别实现如下：
(1)雷达-相机坐标系正投影：通过雷达-相机联合标定获得雷达到相机的外参矩阵，遍历激光雷达精准定位模块得到的目标物体中心空间点坐标，将目标物体中心空间点坐标从雷达坐标系投影到光场相机坐标系，找到相应的像素点坐标，该像素点坐标所属的目标物体在视角图像下的检测框不参于后续的光场图像目标物体特征点匹配，避免对激光雷达精准定位的物体利用光场图像进行二次测距，简化光场图像目标物体特征点匹配的计算复杂度，保证光场图像目标物体检测与深度估计模块返回的物体级深度估计结果均为激光雷达无法测距的目标物体；
(2)相机-雷达坐标系反投影：对雷达到光场相机的外参矩阵求逆，获得光场相机到雷达的外参矩阵，遍历光场图像目标物体检测与深度估计模块返回的目标物体的像素点坐标和物体级深度估计结果，将目标物体特征点从二维图像坐标系投影到三维雷达坐标系，获得相应的目标物体空间点坐标，作为光场-雷达多传感器融合测距模块结果的一个组成部分，对激光雷达精准定位模块返回的目标物体中心空间点坐标进行补充。
第四方面，本发明提供一种电子设备，包括处理器和存储器，其中；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的计算机程序，执行时实现第一方面所述的方法，或第二方面所述系统，或第三方面所述系统。
第五方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现第一方面所述的方法，或第二方面所述系统，或第三方面所述系统。
本发明与现有技术相比的优点在于：
(1)本发明的一种光场图像目标物体检测与深度估计技术，通过引入多个相邻视角图像的双目视觉目标物体特征点匹配，充分利用光场图像所提供的丰富的角度维度信息，有效解决了传统单一双目视觉目标物体特征点匹配因物体间复杂遮挡、相机视野有限、漏检目标物体等因素而匹配失败的问题。此外，所述方法综合考虑了四个方向子孔径图像序列的深度候选，从而获得更鲁棒的物体级深度估计结果。
(2)本发明针对目标物体匹配步骤，从图像结构相似性、检测框规模相似性、检测框像素偏移三个角度设置了全面的约束条件，有效利用光场图像目标物体检测模块输出的检测框结果，实现了快速准确目标物体匹配，无需依赖复杂的特征提取技术，从而显著提高了匹配效率。
(3)本发明执行目标物体特征点匹配时利用了目标物体匹配结果，缩小了特征点匹配的搜索范围，仅从目标物体所在区域提取特征点。相较于直接在整张图像上匹配目标物体特征点，这种方法具有更快的运行效率和更准确的结果。
(4)本发明执行光场图像视差-深度转换时，通过异常检测缓解了特征点匹配错误所导致的视差计算错误，同时，所提出的自适应加权求和根据组成每条视差极线的有效特征点个数合理分配权重，确保包含有效特征点个数多的视差极线对应的小误差深度候选具有更大的权重，进一步提升结果的准确性和鲁棒性。
(5)本发明通过基于光场图像的多传感器融合测距系统，准确测量场景中所有目标物体的距离信息，其中激光雷达扫描的结构化三维点云数据实现目标物体的精准定位，结合光场图像补充激光雷达无法感知的目标物体的距离信息。相较于现有的单一传感器测距系统，如雷达传感器测距系统和双目图像测距系统，所提出的融合测距系统在测量精度、测量有效范围、测量完整性和运行效率上都具有显著优势。
(6)本发明提出的激光雷达精准定位模块通过数据预处理、数据合并、快速欧式聚类、目标物体中心空间点计算，实现快速准确的目标物体定位，相较于已有的点云处理算法在运行效率和定位精度上大幅提升。此外，该模块可以单独运行，避免因光场图像目标物体检测与深度估计模块故障导致多传感器融合测距系统整体崩溃，在恶劣天气条件、强光照或弱光照环境下均可进行物体测距。
(7)本发明通过雷达-相机坐标系正投影和相机-雷达坐标系反投影运算，有效地融合了三维点云和光场图像两类数据的测距结果，同时避免激光雷达精准定位模块和光场图像目标物体检测与深度估计模块对同一目标物体进行重复测距，降低了光场图像目标物体特征点匹配步骤的复杂度，提高测距结果准确率。
附图说明
图1为本发明实施例的基于光场的多传感器融合测距系统整体示意图；
图2为本发明实施例中的激光雷达精准定位模块的实现流程图；
图3为本发明实施例中的光场图像目标物体检测与深度估计模块实现流程图；
图4为本发明实施例中的光场-雷达多传感器融合测距模块的实现流程图；
图5为本发明实施例中的通过目标物体匹配和目标物体特征点匹配两级匹配实现光场图像目标物体特征点匹配的流程图；
图6为本发明实施例中的计算目标物体在每个子孔径图像序列的深度候选和权重自适应加权实现光场图像视差-深度转换的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下对本发明的具体内容进行解释说明。
如图1所示，本发明实施例提供的一种光场图像目标物体检测与深度估计方法的流程与图1中的光场图像目标物体检测与深度模块的流程图相同。实现过程为：
(1)利用光场相机，拍摄真实场景下的光场图像并去畸变；
(2)光场图像目标物体检测：将光场相机获取的光场图像沿水平、竖直、45°和135°四个方向拆分为多个视角规则分布的子孔径图像，在每个子孔径图像内执行已训练好的单目图像目标物体检测算法，获得所有视角下的候选检测框结果；
(3)光场图像目标物体特征点匹配：基于光场图像立体匹配原理，沿水平、竖直、45°和135°四个方向的子孔径图像序列匹配同一目标物体特征点，匹配同一目标物体特征点的方法采用分治策略，即将整个光场图像目标物体特征点匹配过程拆分为多个相邻视角图像的双目视觉目标物体特征点匹配，双目视觉目标物体特征点匹配时采用目标物体匹配和目标物体特征点匹配两级匹配，先得到粗粒度的目标物体匹配结果，再依据目标物体匹配结果，得到细粒度的目标物体特征点匹配结果；然后将所有的目标物体特征点匹配结果合并，最后得到光场图像目标物体特征点匹配结果；
(4)光场图像视差-深度转换：根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到四个方向的深度候选，再通过权重自适应加权，最终得到物体级深度估计结果。
如图1所示，本发明实施例提供的一种基于光场图像的多传感器融合测距系统，包括激光雷达精准定位模块、光场图像目标物体检测与深度估计模块、光场-雷达多传感器融合测距模块。通过激光雷达精准定位模块实现目标物体的精准定位，利用结构化点云数据获取目标物体的距离信息；并通过光场图像目标物体检测与深度估计模块实现准确高效的目标物体深度估计，利用光场图像角度维度中规则化的像素偏移计算距离信息，对激光雷达无法感知的目标物体进行补充；最后的光场-雷达多传感器融合测距模块合并两个模块的测距结果，实现了对场景中所有目标物体的实时感知和准确测距。
特别地，激光雷达精准定位模块：获取所有激光雷达扫描形成的结构化三维点云数据，根据雷达自身安装位置和周围环境特点对点云数据进行过滤预处理，排除掉无效的数据点，例如噪声点、地面点或异常点，以减少对后续处理的干扰并简化计算规模；将每个激光雷达处理后的三维点云数据转化到统一坐标系进行数据合并，忽略点云高度形成鸟瞰图；然后利用快速欧氏聚类针对平面点云数据进行聚类，通过建立KD树并执行混合领域搜索获取目标物体聚类结果；根据聚类中包含的三维点云数据规模，对聚类结果进行筛选和过滤，排除掉无效的聚类结果，然后针对每个聚类将其包含的所有相关点云数据相加求和得到目标物体中心点坐标；
特别地，光场图像目标物体检测与深度估计模块：获取所有光场相机拍摄的光场图像，通过相机标定技术得到光场相机畸变系数对初始光场图像执行图像去畸变算法，防止图像畸变对深度估计产生不利影响；利用经过训练的轻量级单目图像目标物体检测算法完成光场图像目标物体检测，快速识别周围环境的所有目标物体，得到每一个视角图像下目标物体的检测框结果；根据光场-雷达多传感器融合测距模块输出的雷达-相机坐标系正投影的结果删除冗余数据后，通过由目标物体匹配和目标物体特征点匹配两级匹配组成的多个相邻视角图像的双目视觉目标物体特征点匹配，获得光场图像目标物体特征点匹配结果，实现同一目标物体在不同视角图像下的特征点匹配，从而计算目标物体的视差信息；依据成功匹配的目标物体特征点的空间坐标和视角图像的角度坐标确定极面图像中的视差极线并计算斜率，得到目标物体视差信息，结合光场相机内参矩阵和光场相机间距离得到深度候选。光场图像共包含水平、竖直、45°和135°四个方向子孔径图像序列，对每个序列计算的深度候选执行权重自适应加权得到图像坐标系下目标物体的特征点像素坐标和物体级深度估计结果。
特别地，光场-雷达多传感器融合测距模块：首先获取激光雷达精准定位模块输出的目标物体中心空间点坐标，通过雷达-相机坐标系正投影得到雷达感知的目标物体在光场相机坐标系下的像素点坐标，并将结果传入光场图像目标物体检测与深度估计模块，用于从光场图像中查找此类目标物体对应的检测框，进而删除这些冗余数据，避免二次测距同时简化光场图像目标物体特征点匹配复杂度；然后根据光场图像目标物体检测与深度估计模块返回的图像坐标系下目标物体的特征点像素坐标和物体级深度估计结果，通过相机-雷达坐标系反投影将二维特征点像素坐标转换为三维目标物体空间点坐标，与激光雷达精准定位模块输出的结果进行合并，实现场景中所有目标物体的的精确测距。
上述各模块的具体实现方式如下：
1、激光雷达精准定位模块，实现过程如图2所示。
(1)初始化系统，开启所有激光雷达，获取场景的结构化三维点云数据(x,y,z)∈Pi，这里Pi表示第i个激光雷达扫描的三维点云数据集合，(x,y,z)表示三维点云坐标；
(2)对每个雷达获取的初始点云集合进行点云数据预处理，过滤无关数据点，将第i个激光雷达扫描的三维点云数据集合Pi简化为
(3)测量激光雷达之间的距离信息，将所有预处理后的三维点云数据转化到同一个坐标系，合并所有三维点云数据得到整体数据这里n为激光雷达个数，P为合并后的三维点云数据集合；
(4)建立KD树并初始化聚类编号，遍历每一个三维数据点，如果该三维数据点已经属于某一个有效聚类，继续遍历；
(5)如果该三维数据点不属于任意一个聚类，利用KD树执行混合邻域搜索得到周边三维数据点所属的聚类集合C，将所有属于聚类集合C的三维数据点更新为同一聚类编号；
(6)重复(4)～(5)直至结束遍历，对每一个聚类进行检查，当内部包含有效点数量小于规定阈值默认为无效聚类直接删除，得到n1个有效聚类，这里n1即为通过激光雷达感知的目标物体个数；
(7)对每一个目标物体对应聚类包含的三维点云数据求均值得到相应的中心空间点坐标 为每个目标物体聚类包含的点云个数，最终激光雷达精准定位模块输出目标物体中心点坐标结果为
2、光场图像目标物体检测与深度估计模块，实现过程如图3所示。
(1)初始化系统，开启光场相机，拍摄真实场景下的光场图像L∈RH×W×N×N，其中H×W为光场图像空间分辨率规模，N×N为光场图像角度分辨率规模；
(2)利用相机畸变系数执行光场图像去畸变操作，然后将光场图像按照水平、竖直、45°和135°对角线方向分别拆为四个子孔径图像序列S水平、S竖直、S45°、S135°；
(3)利用单目图像目标物体检测算法对当前子孔径图像序列中的每一个视角图像执行目标物体检测，根据光场-雷达多传感器融合测距模块输出的雷达-相机坐标系正投影的结果删除冗余数据后，获得所有视角图像的检测框结果(u1,v1,u2,v2)∈Bj，这里Bj表示第j个视角图像的检测框结果，(u1,v1,u2,v2)表示检测框；(u1,v1)为检测框的左上角坐标，(u2,v2)为检测框的右下角坐标；
(4)在每个子孔径图像序列内部进行光场图像目标物体特征点匹配，通过由目标物体匹配和目标物体特征点匹配两级匹配组成的多个相邻视角图像的双目视觉目标物体特征点匹配，获得光场图像目标物体特征点匹配结果；
(5)依据光场图像目标物体特征点匹配结果确定每一个目标物体在极面图像中的极线，计算极线斜率得到物体的视差信息，反推出四个子孔径图像序列下的深度候选d水平,d竖直,d45°,d135°；
(6)利用权重自适应加权对4个深度候选求和得到物体级深度估计结果结合图像坐标系下目标物体的特征点像素坐标得到图像坐标系下目标物体的特征点像素坐标和物体级深度估计结果其中n2为完成测距的目标物体个数。
3、光场-雷达多传感器融合测距模块，实现过程如图4所示。
(1)初始化系统，接受来自激光雷达精准定位模块的目标物体中心点坐标结果
(2)利用标定算法得到雷达-相机坐标系转换外参矩阵，对每个目标物体中心点坐标执行雷达-相机坐标系正投影，得到相应的像素点坐标投影公式如下所示：
其中K为光场相机内参矩阵，R和T分别为雷达-相机坐标系外参矩阵中的旋转矩阵和平移矩阵；
(3)遍历光场图像目标物体检测与深度估计模块中每一个视角图像的检测框结果Bj，查找对应的检测框(u1,v1,u2,v2)并从Bj中将这些检测框删除，避免激光雷达精准定位模块与光场图像目标物体检测与深度估计模块出现重复测距，同时简化光场图像目标物体检测与深度估计模块后续的光场图像目标物体特征点匹配复杂度；
(4)接受来自光场图像目标物体检测与深度估计模块的图像坐标系下目标物体的特征点像素坐标和物体级深度估计结果然后执行相机-雷达坐标系反投影将中的每个从光场相机坐标系投影到雷达坐标系，得到雷达坐标系下由光场图像目标物体检测与深度估计模块测距的目标物体空间点坐标公式与(2)中相同；
(5)合并步骤(1)和(4)两部分结果得到最终结果实现场景中所有目标物体的的精确测距，这里为合并后第i个目标物体空间点坐标；
4、光场图像目标物体检测与深度估计模块中，通过目标物体匹配和目标物体特征点匹配两级匹配实现光场图像目标物体特征点匹配，实现过程如图5所示。
(1)初始化系统，接受光场图像目标物体检测模块输出的所有视角图像下的检测框结果(u1,v1,u2,v2)∈Bj；
(2)采用分治策略，将光场图像目标物体特征点匹配过程拆分为N-1个相邻视角图像的双目视觉目标物体特征点匹配，即{Bj-Bj+1|j＝1,...,N-1}，这里Bj-Bj+1表示第j个视角图像和第j+1个视角图像的目标物体特征点匹配；
(3)双目视觉目标物体特征点匹配时，首先执行目标物体匹配，从图像结构相似性、检测框规模相似性和检测框像素偏移三个角度设置精确的匹配条件完成目标物体匹配。
①图像结构相似性：其中SSIM为结构相似性计算函数，cj和cj+1分别为第j个和第j+1个视角图像目标物体检测框限定的局部图像区域，σssim为判断图像结构是否相似的阈值；
②检测框规模相似性：
其中和分别为第j个和第j+1个视角图像目标物体检测框的端点坐标，σsize为判断检测框规模是否相似的阈值；
③检测框像素偏移： 其中和分别为第j个和第j+1个视角图像目标物体检测框的端点坐标，和分别为水平方向检测框偏移最小值和最大值，和分别为竖直方向检测框偏移最小值和最大值，由目标物体有效深度测距量程和光场相机间距离反向推出；
(4)通过最近邻匹配算法返回匹配结果，将重复视角作为中间介质依次合并N-1个目标物体匹配结果B1-B2、B2-B3、...、BN-1-BN，为执行目标物体特征点匹配构建基础；
(5)基于目标物体匹配结果，在检测框限定的局部图像区域内运行尺度不变特征转换算法，提取每个视角图像下的目标物体特征点集合；
(6)如果目标物体存在尺度不变特征点，以最左侧视角图像的特征点集合为基准，通过K近邻算法分别和其他视角图像特征点集合计算欧氏距离实现特征点匹配，获得N-1个特征点匹配结果；
(7)合并N-1个特征点匹配结果并进行排序，其中包含特征点的有效视角图像数量具有第一优先级由大至小排序，特征点之间的欧氏距离具有第二优先级由小至大排序；
(8)遍历已排序的特征点匹配结果，选取第一个距离小于有效阈值特征点作为光场图像目标物体特征点匹配结果；
(9)如果目标物体存在尺度不变特征点，跳过步骤(6)～(8)，直接使用目标物体检测框的中心坐标点作为光场图像目标物体特征点匹配结果；
5、光场图像目标物体检测与深度估计模块中，通过计算目标物体在每个子孔径图像序列的深度候选和权重自适应加权实现光场图像视差-深度转换。
该方法实现过程如图6所示。
(1)初始化系统，接受来自光场图像目标物体特征点匹配模块输出的目标物体特征点匹配结果；
(2)依据目标物体特征点的空间坐标和视角图像的角度坐标，确定该特征点在极面图像中对应的二维坐标，利用最小二乘法获得拟合视差极线；
(3)计算每个特征点到拟合的视差极线的距离，与规定阈值进行比较实现特征点的异常检测；
(4)如果存在特征点到视差极线距离超过规定阈值，则认为该特征点异常并从极面图像中删除，更新目标物体有效匹配特征点，重新执行(2)视差极线拟合和(3)异常检测过程，直至剩余特征点即有效特征点到视差极线的距离均处于阈值范围内；
(5)针对四个方向子孔径图像序列获得四条视差极线以及每条极线包含的有效匹配特征点个数N水平,N竖直,N45°,N135°，直接通过视差极线的斜率k确定目标物体视差；
(6)结合光场相机内参矩阵和光场相机间距离将目标物体视差转换成深度候选d，具体计算公式如下所示：
d＝focal×baseline/k
其中focal为光场相机焦距，baseline为光场相机间距离；
(7)得到四条视差极线对应的物体视差候选d水平,d竖直,d45°,d135°，将每条极线包含的有效特征点数量占所有极线包含有效特征点总数的比例作为权重系数，计算公式如下所示：
i＝水平，竖直，45°，135°
其中ω水平,ω竖直,ω45°,ω135°分别对应视差候选d水平,d竖直,d45°,d135°的权重，该公式保证ω水平,ω竖直,ω45°,ω135°四个权重总和始终为1。
对4个深度候选进行如下所示的自适应加权求和：
获得目标物体最终的物体级深度估计结果实现光场图像视差-深度转换。
基于同一发明构思，本发明的另一实施例提供一种电子设备(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法或系统中各步骤的指令。
基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法或系统中的各个步骤。
总之，本发明一种基于光场图像的多传感器融合测距系统及方法，实现物体的精准识别和距离测量，用于自动驾驶场景感知系统；通过激光雷达精准定位模块实现物体的精准定位，利用光场图像目标物体检测与深度估计模块补充激光雷达无法感知到的物体的深度信息，最终结合光场-雷达多传感器融合测距模块完成多模态传感器测距结果的有效融合。相对于传统的单模态传感器测距和雷达-相机多传感器融合测距，本发明既解决了单目图像感知无法计算位置信息的问题，又避免了三维点云感知受激光雷达测量范围有限的局限。基于独创性的光场图像目标物体检测与深度估计方法，本发明确保了距离测量的准确性、实时性和可扩展性。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (10)

1.一种光场图像目标物体检测与深度估计方法，其特征在于：利用光场图像独有的角度维度信息实现鲁棒的物体级深度估计，包括光场图像目标物体检测、光场图像目标物体特征点匹配和光场图像视差-深度转换步骤；实现如下：
光场图像目标物体检测步骤：将光场相机获取的光场图像沿水平、竖直、45°和135°四个方向拆分为多个视角规则分布的子孔径图像，在每个子孔径图像内执行已训练好的单目图像目标物体检测算法，获得所有视角图像下的检测框结果；
光场图像目标物体特征点匹配步骤：基于所有视角图像下的检测框结果，沿水平、竖直、45°和135°四个方向的子孔径图像序列匹配同一目标物体特征点，匹配同一目标物体特征点的方法采用分治策略，即将整个光场图像目标物体特征点匹配过程拆分为多个相邻视角图像的双目视觉目标物体特征点匹配，双目视觉目标物体特征点匹配时采用目标物体匹配和目标物体特征点匹配两级匹配，先得到目标物体匹配结果，再依据目标物体匹配结果，得到目标物体特征点匹配结果；然后将所有的目标物体特征点匹配结果合并，最后得到光场图像目标物体特征点匹配结果；
光场图像视差-深度转换步骤：根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到水平、竖直、45°和135°四个方向的深度候选，再通过权重自适应加权，最终得到物体级深度估计结果。
2.根据权利要求1所述的光场图像目标物体检测与深度估计方法，其特征在于：所述光场图像目标物体特征点匹配步骤中，目标物体匹配时，对多个相邻视角图像通过设定的约束条件实现准确的粗粒度的目标物体匹配；所述约束条件为图像结构相似性、检测框规模相似性、检测框像素偏移；
所述图像结构相似性是指同一目标物体在相邻视角图像中的两个检测框限定的局部图像区域具有相似的结构、纹理、边缘的特征；
所述检测框规模相似性是指同一目标物体在相邻视角图像中的两个检测框在水平方向和竖直方向均具有相似的检测框边长；
所述检测框像素偏移是指同一目标物体在相邻视角图像中的两个检测框沿水平方向和竖直方向的像素偏移处于合理范围，所述合理范围由目标物体有效深度测距量程和光场相机间距离反向推出。
3.根据权利要求1所述的光场图像目标物体检测与深度估计方法，其特征在于：所述光场图像目标物体特征点匹配步骤中，目标物体特征点匹配实现如下：
(1)遍历目标物体匹配结果，在检测框限定的局部图像区域内运行尺度不变特征转换算法，计算同一目标物体在所有视角图像中的特征点集合；
(2)以最左侧视角图像作为基准图像，通过K近邻匹配算法将最左侧视角图像的特征点集合依次和其他所有视角图像提取的特征点集合匹配，合并所有特征点匹配结果并进行排序，其中包含特征点的有效视角图像数量具有第一优先级由大至小排序，特征点之间的欧氏距离具有第二优先级由小至大排序；
(3)遍历已排序的特征点匹配结果，如果当前的匹配特征点欧氏距离超过最大阈值，继续遍历；如果小于阈值，结束遍历，该当前遍历特征点即为目标物体特征点匹配结果；
(4)对于受限于分辨率无法提取尺度不变特征的目标物体，不执行步骤(1)～(3)，直接使用目标物体检测框的中心坐标点作为目标物体特征点匹配结果。
4.根据权利要求1所述的光场图像目标物体检测与深度估计方法，其特征在于：所述光场图像视差-深度转换步骤中，根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到水平、竖直、45°和135°四个方向的深度候选，再通过权重自适应加权，最终得到物体级深度估计结果具体实现如下：
(1)依据目标物体特征点的空间坐标和视角图像的角度坐标，确定组成子孔径图像序列的每个视角图像的目标物体特征点在极面图像中对应的二维坐标；再利用最小二乘法获得初始的拟合直线即极面图像中的视差极线，进而计算每个特征点到视差极线的距离，并将所述距离与预设的阈值进行比较，如果所述距离超出阈值，则认为该特征点异常并从极面图像中删除；对于剩余的特征点，重复上述直线拟合和异常检测过程，直至剩余特征点即有效特征点到视差极线的距离均处于阈值范围内，得到目标物体特征点在极面图像中的视差极线；
(2)针对水平、竖直、45°和135°四个方向子孔径图像序列分别执行四次步骤(1)的过程，获得四条视差极线以及每条极线包含的有效匹配特征点个数，计算每条视差极线的斜率，从而获得目标物体在当前方向的子孔径图像序列之间的像素偏移，即视差，结合光场相机内参矩阵和光场相机间距离将所述目标物体的视差转换成深度值，得到水平、竖直、45°和135°四个方向的深度候选；
(3)将得到的四条视差极线包含的有效特征点个数求和得到目标物体有效特征点总数；然后，对于每条极线，计算其所包含的有效特征点数量占目标物体有效特征点总数的比例作为权重系数，从而对四个方向的深度候选进行自适应加权求和，获得目标物体最终的物体级深度估计结果。
5.一种光场图像目标物体检测与深度估计系统，其特征在于，包括光场图像目标物体检测模块、光场图像目标物体特征点匹配模块和光场图像视差-深度转换模块；其中：
光场图像目标物体检测模块：将光场相机获取的光场图像沿水平、竖直、45°和135°四个方向拆分为多个视角规则分布的子孔径图像，在每个子孔径图像内执行已训练好的单目图像目标物体检测算法，获得所有视角下的候选检测框结果；
光场图像目标物体特征点匹配模块：基于光场图像立体匹配原理，沿水平、竖直、45°和135°四个方向的子孔径图像序列匹配同一目标物体特征点，匹配同一目标物体特征点的方法采用分治策略，即将整个光场图像目标物体特征点匹配过程拆分为多个相邻视角图像的双目视觉目标物体特征点匹配，双目视觉目标物体特征点匹配时采用目标物体匹配和目标物体特征点匹配两级匹配，先得到粗粒度的目标物体匹配结果，再依据目标物体匹配结果，得到细粒度的目标物体特征点匹配结果；然后将所有的目标物体特征点匹配结果合并，最后得到光场图像目标物体特征点匹配结果；
光场图像视差-深度转换模块：根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到四个方向的深度候选，再通过权重自适应加权，最终得到物体级深度估计结果。
6.一种基于光场图像的多传感器融合测距系统，其特征在于：包括激光雷达精准定位模块、光场图像目标物体检测与深度估计模块、光场-雷达多传感器融合测距模块；
激光雷达精准定位模块，对获取的三维点云数据进行预处理、合并和聚类处理，得到目标物体中心空间点坐标；
光场图像目标物体检测与深度估计模块，执行权利要求1-5任意之一所述的光场图像目标物体检测与深度估计方法，首先对获取的光场图像进行目标物体检测；在目标物体检测过程中，根据光场-雷达多传感器融合测距模块输出的针对激光雷达精准定位模块的目标物体中心空间点坐标进行雷达-相机坐标系正投影的结果，删除光场图像目标物体检测结果中的冗余数据；对处理后的有效目标物体检测结果进行光场图像目标物体特征点匹配；最后根据特征点匹配结果进行光场图像视差-深度转换，得到图像坐标系下目标物体的特征点像素坐标和物体级深度估计结果；
光场-雷达多传感器融合测距模块，针对激光雷达精准定位模块输出的目标物体中心空间点坐标，执行雷达-相机坐标系正投影，获取激光雷达感知到的目标物体在光场相机坐标系下的像素点坐标，输出到光场图像目标物体检测与深度估计模块；然后对光场图像目标物体检测与深度估计模块得到的图像坐标系下目标物体的特征点像素坐标和物体级深度估计结果进行相机-雷达坐标系反投影，获得相应的目标物体空间点坐标，与激光雷达精准定位模块得到的目标物体中心空间点坐标融合，最终得到在雷达坐标系下所有目标物体的距离信息。
7.根据权利要求6所述的基于光场图像的多传感器融合测距系统，其特征在于：所述激光雷达精准定位模块实现如下：获取所有激光雷达扫描形成的结构化三维点云数据，根据雷达自身安装位置和周围环境特点对点云数据进行过滤预处理，排除掉无效的数据点，避免对后续处理产生干扰同时简化计算规模；将每个雷达处理后的三维点云数据转化到统一坐标系进行数据合并，忽略点云高度形成鸟瞰图，最后利用快速欧氏聚类进行平面点云聚类，聚类结果反映雷达感知目标物体的整体结构信息，将所有相关点云数据相加求和得到目标物体中心空间点坐标。
8.根据权利要求6所述的基于光场图像的多传感器融合测距系统，其特征在于：所述雷达-相机坐标系正投影和相机-雷达坐标系反投影分别实现如下：
(1)雷达-相机坐标系正投影：通过雷达-相机联合标定获得雷达到光场相机的外参矩阵，遍历激光雷达精准定位模块得到的目标物体中心空间点坐标，将目标物体中心空间点坐标从雷达坐标系投影到光场相机坐标系，找到相应的像素点坐标，该像素点坐标所属的目标物体在视角图像下的检测框不参于后续的光场图像目标物体特征点匹配，避免对激光雷达精准定位的物体利用光场图像进行二次测距，简化光场图像目标物体特征点匹配的计算复杂度，保证光场图像目标物体检测与深度估计模块返回的物体级深度估计结果均为激光雷达无法测距的目标物体；
(2)相机-雷达坐标系反投影：对雷达到光场相机的外参矩阵求逆，获得光场相机到雷达的外参矩阵，遍历光场图像目标物体检测与深度估计模块返回的目标物体的像素点坐标和物体级深度估计结果，将目标物体特征点从二维图像坐标系投影到三维雷达坐标系，获得相应的目标物体空间点坐标，作为光场-雷达多传感器融合测距模块结果的一个组成部分，对激光雷达精准定位模块返回的目标物体中心空间点坐标进行补充。
9.一种电子设备，其特征在于，包括处理器和存储器，其中；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的计算机程序，执行时实现权利要求1-4中任意之一所述的方法，或权利要求5所述的系统，或权利要求6-8中任意之一所述的系统。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时，实现权利要求1-4中任意之一所述的方法，或权利要求5所述的系统，或权利要求6-8中任意之一所述的系统。
CN202311836303.2A 2023-12-28 2023-12-28 一种基于光场图像的多传感器融合测距系统及方法 Pending CN118191873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311836303.2A CN118191873A (zh) 2023-12-28 2023-12-28 一种基于光场图像的多传感器融合测距系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311836303.2A CN118191873A (zh) 2023-12-28 2023-12-28 一种基于光场图像的多传感器融合测距系统及方法

Publications (1)

Publication Number Publication Date
CN118191873A true CN118191873A (zh) 2024-06-14

Family

ID=91411528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311836303.2A Pending CN118191873A (zh) 2023-12-28 2023-12-28 一种基于光场图像的多传感器融合测距系统及方法

Country Status (1)

Country Link
CN (1) CN118191873A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119784833A (zh) * 2024-11-14 2025-04-08 同济大学 一种无标定物的相机-激光雷达相对位姿在线估计方法及系统
CN120355793A (zh) * 2025-03-11 2025-07-22 西安欧冶半导体有限公司 车辆的在线标定方法、装置、设备、存储介质和程序产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119784833A (zh) * 2024-11-14 2025-04-08 同济大学 一种无标定物的相机-激光雷达相对位姿在线估计方法及系统
CN120355793A (zh) * 2025-03-11 2025-07-22 西安欧冶半导体有限公司 车辆的在线标定方法、装置、设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
WO2020023982A9 (en) Method and apparatus for combining data to construct a floor plan
CN111699410A (zh) 点云的处理方法、设备和计算机可读存储介质
Li et al. Dense surface reconstruction from monocular vision and LiDAR
CN111612728A (zh) 一种基于双目rgb图像的3d点云稠密化方法和装置
KR102683455B1 (ko) 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법
CN118191873A (zh) 一种基于光场图像的多传感器融合测距系统及方法
Fei et al. Ossim: An object-based multiview stereo algorithm using ssim index matching cost
CN116128966A (zh) 一种基于环境物体的语义定位方法
CN117115336A (zh) 一种基于遥感立体影像的点云重建方法
Kallwies et al. Triple-SGM: stereo processing using semi-global matching with cost fusion
CN117036447A (zh) 基于多传感器融合的室内场景稠密三维重建方法及装置
CN120431437B (zh) 一种高反射环境下抑制激光雷达假回波的方法
CN116777973A (zh) 基于深度学习的异源图像双目立体视觉测距方法和系统
CN115597582A (zh) 即时定位与地图构建方法、装置及系统、存储介质
CN116246162A (zh) 一种基于多传感器的无人船过闸识别方法
CN116309883B (zh) 一种3D目标6DoF精确定位方法及系统
CN118560956A (zh) 基于多传感器融合的散料自动装车方法和系统
Ma et al. Disparity estimation based on fusion of vision and LiDAR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination