[go: up one dir, main page]

CN115511975A - 一种单目相机的测距方法及计算机程序产品 - Google Patents

一种单目相机的测距方法及计算机程序产品 Download PDF

Info

Publication number
CN115511975A
CN115511975A CN202211215921.0A CN202211215921A CN115511975A CN 115511975 A CN115511975 A CN 115511975A CN 202211215921 A CN202211215921 A CN 202211215921A CN 115511975 A CN115511975 A CN 115511975A
Authority
CN
China
Prior art keywords
target object
determining
value
initial
distance measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211215921.0A
Other languages
English (en)
Inventor
刘梦琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Human Horizons Shanghai Autopilot Technology Co Ltd
Original Assignee
Human Horizons Shanghai Autopilot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Human Horizons Shanghai Autopilot Technology Co Ltd filed Critical Human Horizons Shanghai Autopilot Technology Co Ltd
Priority to CN202211215921.0A priority Critical patent/CN115511975A/zh
Publication of CN115511975A publication Critical patent/CN115511975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提出一种单目相机的测距方法及计算机程序产品，该单目相机测距方法包括：获取检测图像和相机的内部参数；根据所述检测图像，确定初始测距值、目标对象的检测框和目标对象的真实尺寸；根据所述初始测距值和所述检测图像，确定目标对象的方向角；根据所述真实尺寸、所述初始测距值和所述方向角，确定目标对象轮廓的三维坐标；根据目标对象轮廓的三维坐标和所述内部参数，生成目标对象的投影区域；根据所述投影区域和所述检测框，确定最终测距值。本实施例的测距方法，能够通过确定的最终测距值对单目相机进行实时调整，方便快捷，而且可靠性较高，提升了车辆行驶的安全性。

Description

一种单目相机的测距方法及计算机程序产品
技术领域
本申请涉及车辆测距的技术领域，尤其涉及一种单目相机的测距方法及计算机程序产品。
背景技术
在高级驾驶辅助系统中，需要车辆能够利用传感器获得的信息对周围的环境进行感知，如：获取周围障碍物与自车的距离。对于测距而言，常用的方法主要采用单目相机、毫米波雷达、激光雷达和双目相机。对于采用单目相机进行测距而言，通常会认为其测得的测距值的精度较差。如果采用双目或者是其他的手段测距来对单目相机的测距值进行评估，其采集的场景不同，可能存在较多的误差，并不能够得到单目相机的准确的测距值。
发明内容
本申请实施例提供一种单目相机的测距方法及计算机程序产品，以解决相关技术存在的问题，技术方案如下：
第一方面，本申请实施例提供了一种单目相机测距方法，包括：
获取检测图像和相机的内部参数；
根据检测图像，确定初始测距值、目标对象的检测框和目标对象的真实尺寸；
根据初始测距值和检测图像，确定目标对象的方向角；
根据真实尺寸、初始测距值和方向角，确定目标对象轮廓的三维坐标；
根据目标对象轮廓的三维坐标和内部参数，生成目标对象的投影区域；
根据所述投影区域和所述检测框，确定最终测距值。
第二方面，本申请实施例提供了一种计算机程序产品，计算机程序/指令被一个处理器单独执行时或多个处理器配合执行时实现本公开的实施例提供的任意一项方法。
上述技术方案中的优点或有益效果至少包括：
在本实施例中，通过检测图像先确定初始测距值，同时根据检测图像确定目标对象的检测框和目标对象的真实尺寸。由于目标对象的方向角会影响到目标对象轮廓的三维坐标，需要先确定目标对象的方向角，在确定方向角之后，结合目标对象的真实尺寸和初始测距值，确定目标对象轮廓的三维坐标。在确定目标对象轮廓的三维坐标后，通过相机的内部参数将目标对象轮廓的三维坐标转化为图像的二维坐标，即目标对象的投影区域。通过检测图像确定目标对象的检测框，将目标对象的检测框作为基准，能够对初始测距值来确定的目标对象的投影区域进行评估调整，从而能够有效地确定准确的测距值作为最终测距值。即本实施例的测距方法，无需增加另外的设备且在相同的场景下有效地得到准确的单目相机的注最终测距值。确定单目相机的最终测距值的过程能够在车辆行驶的过程中实时进行，而且能够根据最终测距值对单目相机进行实时调整，方便快捷，而且可靠性较高，提升了车辆行驶的安全性。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1为根据相关技术中的一实施例的逆投影测距方法的示意图；
图2为根据相关技术中的另一实施例的逆投影测距方法的示意图；
图3为根据相关技术中的一实施例的目标尺寸测距方法的示意图；
图4为根据本申请一实施例的单目相机的测距方法的流程示意图；
图5为根据本申请另一实施例的单目相机的测距方法的流程示意图；
图6为根据本申请另一实施例的单目相机的测距方法的流程示意图；
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在相关技术中，单目相机通常利用逆投影算法或目标尺寸测距算法来进行测距。
对于每个车辆的自身都具有其理想坐标系，车辆的理想坐标系为X轴和Y轴平行于路面，Z轴垂直于路面，其中，X轴是指向车头和车尾的方向，Y轴则为车辆指向两侧车门的方向。对于单目相机也有其理想坐标系，单目相机的理想坐标系，Xc轴和Zc轴平行于车辆底盘，Yc轴垂直于车辆底盘，其中，Xc轴是指向车头和车尾的方向，Zc轴则为车辆指向两侧车门的方向。对于单目相机拍摄的图像也有对应的图像像素坐标系(u，v)。车辆自身的理想坐标系、单目相机的理想坐标系以及图像像素坐标系可以根据相机的内部参数以及相机的实时标定参数进行转换。
对于逆投影算法，逆投影算法通常为通过单目相机拍摄的图像，图像内包括有待测距的目标对象，目标对象可以是前方的车辆，也可以是前侧方的人，还可以是前侧方的物品等。通过单目相机拍摄的图像中获取目标对象的检测框，目标对象的检测框可以通过训练得到的图像识别模型识别得到，目标对象的检测框可以是圈定图像轮廓的框，也可以能够框定图像轮廓的最大外接矩形或者是能够圈定图像轮廓的最大外接圆等。以目标对象是前方车辆为例，从单目相机拍摄的图像中提取目标对象在单目相机拍摄的图像的关键点，关键点也可以称为接地点，使用该关键点对当前车辆与前方的目标对象进行测距，测距是通过公式(1)-(3)均可以实现的。
如图1所示，对于公式(1)和公式(2)中，当前车辆与前方的目标对象所在的道路没有坡度，即当前车辆与前方的目标对象处于同一个平面上，此时单目相机的俯仰角θ为0，当前相机的姿态位于理想相机坐标系下(光轴与地面平行)：
Figure BDA0003876064830000031
Figure BDA0003876064830000032
其中，d为单目相机的测距值，Fc为单目相机的焦距，Hc为单目相机到地面的高度，vb为车辆接地点的坐标，vv为消失线的v坐标，zc为接地点在单目相机坐标系下的坐标Z轴坐标，yc为接地点在单目相机坐标系下的Y轴坐标，其中zc＝1。
如图2所示，对于公式(3)，当前车辆与前方的目标对象所在的道路有坡度，即当前车辆与前方的目标对象不处于同一个平面上。此时的单目相机的俯仰角θ不为0，可以直接从单目相机内获取单目相机的实时标定参数，从单目相机的实时标定参数中确定单目相机的俯仰角θ。
Figure BDA0003876064830000041
其中，d为单目相机的测距值，Fc为单目相机的焦距，Hc为单目相机到地面的高度，vb为车辆接地点的坐标，vv为消失线的v坐标，θ为俯仰角。
通过公式(1)、公式(2)和公式(3)能够计算得到单目相机测距的测距值，其中，对于采用逆投影算法的优点是对于近处的物体，可以获得较准确的估计值；但是其存在有需基于同一平面的假设，且相机的俯仰角对测距影响较大，容易导致测得的测距值不准确的问题。
对于目标尺寸测距算法，如图3所示，目标尺寸测距算法主要是根据物体已知物理尺寸(物体的高度或宽度)和单目相机的相机焦距，利用相似三角形估计当前车辆与目标对象之间的距离即测距值。
如果目标对象的真实宽度(或高度)已知，目标对象的真实宽度(或高度)可以通过训练好的深度学习模型确定。根据目标对象的宽度(或高度)在图像中的成像像素，可以根据相似三角形计算出目标对象距离自车的纵向距离，计算公式如公式(4)或公式(5)。
Figure BDA0003876064830000042
Figure BDA0003876064830000043
其中，d为单目相机的测距值，Fc为单目相机的焦距、W为目标对象的真实宽度，H为目标对象的真实高度、Δu为在单目相机拍摄的图像上目标对象的检测框的宽度，Δv为在单目相机拍摄的图像上目标对象的检测框的高度。目标对象的检测框的宽度和目标对象的检测框的高度可以通过训练好的深度学习模型确定出来，也可以直接通过像素确定。
通过目标尺寸测距算法也能够实现单目相机的测距，得到对应的测距值，还能够根据目标尺寸测距算法得到的单目相机的测距值对逆投影算法得到的单目相机的测距值进行调整。利用目标尺寸测距算法的优点在于：测距结果对俯仰角不敏感。但是其存在着测距结果依赖于使用的变量，如目标物理尺寸的估计以及目标在图像的像素尺寸，若使用的变量出现误差，则容易导致测得的单目相机的测距值不准确。
通过上述两种方法各有各自的优点缺点，但是对于在实际的使用过程中，其可能都会存在有测得的测距值不准确的问题，而如果是采用毫米波雷达、激光雷达和双目相机进行测距，虽然得到的测距值准确性有所提升，但是其成本有较大的提升，而且其得到的环境信息也不够丰富，计算的复杂性也有所提升。
图4示出根据本申请一实施例的一种单目相机的测距方法的流程图。如图4所示，该单目相机的测距方法可以包括：
步骤S410：获取检测图像和相机的内部参数。
步骤S420：根据检测图像，确定初始测距值、目标对象的检测框和目标对象的真实尺寸。
步骤S430：根据初始测距值和检测图像，确定目标对象的方向角。
步骤S440：根据真实尺寸、初始测距值和方向角，确定目标对象轮廓的三维坐标。
步骤S450：根据目标对象轮廓的三维坐标和内部参数，生成目标对象的投影区域。
步骤S460：根据投影区域和检测框，确定最终测距值。
在本实施例中，通过检测图像先确定初始测距值，同时根据检测图像确定目标对象的检测框和目标对象的真实尺寸。由于目标对象的方向角会影响到目标对象轮廓的三维坐标，需要先确定目标对象的方向角，在确定方向角之后，结合目标对象的真实尺寸和初始测距值，确定目标对象轮廓的三维坐标。在确定目标对象轮廓的三维坐标后，通过相机的内部参数将目标对象轮廓的三维坐标转化为图像的二维坐标，即目标对象的投影区域，通过检测图像确定目标对象的检测框，将目标对象的检测框作为基准，能够对初始测距值来确定的目标对象的投影区域进行评估调整，从而能够有效地确定准确的测距值作为最终测距值。即本实施例的测距方法，无需增加另外的设备且在相同的场景下有效地得到准确的单目相机的注最终测距值。确定单目相机的最终测距值的过程能够在车辆行驶的过程中实时进行，而且能够根据最终测距值对单目相机进行实时调整，方便快捷，而且可靠性较高，提升了车辆行驶的安全性。
本实施例的单目相机的测距方法可以是在当前的车辆的域控制器或电子控制单元ECU等上执行，或者是在车辆的测距处理器等上执行，上述执行都属于是在车端执行，从车端更方便快捷能够对单目相机的测距准确度进行评估，而且能够根据准确度更加及时有效地调整单目相机，调整单目相机的测距过程，提升单目相机的准确性。在一些实施例中，还可以通过从车端采集到获取检测图像和相机的内部参数等的数据，在服务端执行该单目相机的测距方法，服务端可以是云端、路侧设备或者其他的终端设备，服务端具备更强的处理能力，使得单目相机的测距评估能够不占用车端的内存，同时能够更加高效以及更加准确。下述实施例中以车端为例进行说明，服务端执行可以同理得到。
在步骤S410中，车端获取检测图像和相机的内部参数。
检测图像可以是通过单目相机拍摄得到的，单目相机设置在当前的车辆上。相机的内部参数，如单目相机的内参矩阵，单目相机的理想坐标系等，都是出厂的时候固化在单目相机上的，作为单目相机的属性，直接通过单目相机既可以获取到相机的内部参数。其中，对于单目相机而言，在当前的车辆与目标对象处于同一个平面的情况下，单目相机的俯仰角为0；在当前的车辆与目标对象不处于同一个平面的情况下，根据实际情况，单目相机的支架调节单目相机的俯仰角，则单目相机的俯仰角作为单目相机需要实时标定的参数。其中，在当前的车辆与目标对象处于同一个平面的情况下，由于此时的单目相机的俯仰角为0，如上述的逆投影算法可以知道，此时可以不考虑单目相机的俯仰角，既可以实现使用逆投影算法计算出当前的车辆与目标对象之间的距离，即测距值。
在步骤S420中，车端根据检测图像，确定初始测距值、目标对象的检测框和目标对象的真实尺寸。
车端根据从单目相机内获取到的检测图像，可以通过逆投影算法或者是目标尺寸测距算法进行计算，确定当前的车辆与目标对象之间的初始测距值，该初始测距值即待评估准确性的测距值。该初始测距值有可能是准确的也可能是不准确的，则需要通过评估验证。采用逆投影算法中，在俯仰角为0的时候，采用公式(1)和公式(2)进行计算，在俯仰角不为0的情况下，则采用公式(3)进行计算。
车端根据从单目相机内获取到的检测图像，可以通过训练好的深度学习模型确定目标对象的检测框，训练好的深度学习模型例如图像检测模型，通过识别出目标对象并确定目标对象的轮廓，基于目标对象的轮廓框定目标对象，可以直接以目标对象的轮廓作目标对象的检测框，也可以将目标对象轮廓的最大外接矩形或最大为外接圆作为目标对象的检测框。
车端根据从单目相机内获取到的检测图像，可以通过训练好的深度学习模型确定目标对象的真实尺寸，通过训练好的深度学习模型能够直接通过检测图像识别出目标对象的真实尺寸。可以预先通过收集训练集和测试集对目标对象的真实尺寸与检测图像进行训练，得到训练好的深度学习模型，根据检测图像既可以直接得到目标对象的真实尺寸。其中，目标对象的真实尺寸包括目标对象的长、宽和高等参数。
在步骤S430中，车端根据初始测距值和检测图像，确定目标对象的方向角。
根据检测图像初始测距值，确定目标对象的至少两个关键点(接地点)，这几个关键点都在同一条直线上，以两个关键点为例，两个关键点的连线指向目标对象的前后方向，即这两个关键点与目标对象自身的理想坐标系的X轴，这两个关键点可以一个位于车辆的头部，一个位于车辆的尾部，便于选取和计算。
根据逆投影算法和初始测距值能够计算确定两个关键点的平面坐标。对于逆投影算法的过程中，采用逆投影算法中，在俯仰角为0的时候，采用公式(1)和公式(2)进行计算，在俯仰角不为0的情况下，则采用公式(3)进行计算。
R点为目标对象尾部的关键点(接地点)，Ry为R在逆投影至当前车辆的理想坐标系下Y轴的坐标值，Rx为R在逆投影至当前车辆的理想坐标系下X轴的坐标值。
B点为目标对象首部的关键点(接地点)，By为B在逆投影至车身坐标系下Y轴的坐标值，Bx为B在逆投影至当前车辆的理想坐标系下X轴的坐标值。
其中，Ry、Rx、By和Bx都可以在确定初始测距值和检测图像的情况下，通过逆投影算法公式(1)、公式(2)或公式(3)确定得到。
Figure BDA0003876064830000071
其中，α为目标对象的方向角。
若目标对象为车辆的情况下，则目标对象的方向角为车辆的航向角。
在步骤S440中，车端根据真实尺寸、初始测距值和方向角，确定目标对象轮廓的三维坐标；
车端根据上述获取到的目标对象的真实尺寸能够确定出目标对象的基准轮廓的三维坐标，该目标对象的基准轮廓的三维坐标是基于当前车辆的理想坐标系下的三维坐标。例如，以目标对象的中心的坐标是当前车辆的理想坐标系下的原点，通过目标对象的真实尺寸，能够确定出目标对象的八个顶点的三维坐标，这八个顶点能够构成目标对象的轮廓，其中，顶点的数量可以根据实际情况选择，最少不少于四个，低于四个无法构成最基础的立方体的轮廓。
在确定了目标对象的基准轮廓的三维坐标之后，通过初始测距值求和目标对象的方向角对目标对象的基准轮廓的三维坐标得到调整后的三维坐标，即为获取到目标对象轮廓的三维坐标。
在步骤450中，车端根据目标对象轮廓的三维坐标和内部参数，生成目标对象的投影区域。
车端将目标对象轮廓的三维坐标根据单目相机的内部参数进行转换，内部参数为相机的内参矩阵，将目标对象轮廓的三维坐标转化为在单目相机拍摄下的图像的二维坐标，转化的单目相机拍摄下的图像的二维坐标连线形成目标对象的投影区域。
其中，可以通过在检测图像上直接进行投影，也可以通过在空白的检测图像上，确定是投影区域的轮廓，即投影区域的最大外接框。
在步骤S460中，车端根据投影区域和检测框，确定最终测距值。
通过上述方式确定了目标对象的投影区域以及目标对象的检测框，由于目标对象的检测框是直接通过检测图像直接确定的，并没有通过初始测距值进行计算，作为比对的基准。而目标对象的投影区域是通过初始测距值确定的，如果初始测距值不准确，则目标对象的投影区域和目标对象的检测框会出现大小的差异，例如目标对象的投影区域大于目标对象的检测框或者是目标对象的投影区域小于目标对象的检测。也就是说，通过该方式能够有效地确定测得的初始测距值是否准确，在投影区域的最大外接框和检测框一致的情况下，确定初始测距值准确，则确定初始测距值为最终测距值；在投影区域的最大外接框和检测框不一致的情况下，确定初始测距值不准确，则可以通过调整初始测距值，重新进行评估，直到在投影区域的最大外接框和检测框一致的情况下，确定出调整后的初始测距值为最终测距值。
其中，也可以对于目标对象的投影区域的最大外接框和目标对象的检测框之间的比较进行评估标准的设定，由于对于计算的目标对象的投影区域可能会存在误差，则可以在目标对象的投影区域的最大外接框和目标对象的检测框之间的差距在一定范围内时，则可以确定初始测距值是准确的。在目标对象的投影区域的最大外接框和目标对象的检测框之间的差距在超出一定范围的情况下，则可以确定初始测距值不准确，从而能够进行初始测距值的评估，进而能够确定最终测距值。一定的范围可以根据实际的情况进行设置。
通过本实施例的单目相机的测距方法，无需额外增加如双目相机或激光雷达等设备，能够有效地确定准确的最终测距值，从而能够基于该最终测距值对车辆进行调整或不调整，从而能够提升车辆的安全性。与相关技术相比较，通过单目相机能够有效地降低设备的成本，而且能够获取到更大范围和丰富的图像，从而减少目标尺寸测距中某个单一变量对测距值的影响，并减少单目测距的测距误差，提高测距鲁棒性。
在一种实施方式中，根据投影区域和检测框，评估初始测距值的准确性包括：
在投影区域的最大外接框和检测框一致的情况下，确定初始测距值准确。
通过判断目标对象的投影区域的最大外接框和目标对象的检测框之间是否一致来确定初始测距值是否准确，即判断目标对象的投影区域的最大外接框和目标对象的检测框是否可以重合。如果是可以重合，则认为初始测距值是准确的。若不能够重合，则初始测距值不准确，此时需要通过调整调整初始测距值，重新确定目标对象轮廓的三维坐标，从而重新确定目标对象的投影区域的最大外接框，重新进行目标对象的投影区域的最大外接框和目标对象的检测框之间的评估比较，多次迭代之后，在重新确定目标对象的投影区域的最大外接框和目标对象的检测框一致的情况下，则此时调整的测距值为最终测距值。即通过判断目标对象的投影区域的最大外接框和目标对象的检测框之间是否一致，能够有效地对初始测距值进行调整，得到精度更好的单目相机的最终测距值，从而能够确保车辆在行驶过程中能够确定与目标对象之间的准确的测距值，确保了车辆行驶的安全性。
如图5所示，在一种实施方式中，根据所述投影区域和所述检测框，确定最终测距值包括：
步骤S510：在投影区域的最大外接框和检测框不一致的情况下，调整初始测距值。
步骤S520：根据目标对象的真实尺寸、目标对象的方向角和调整后的初始测距值，重新确定目标对象轮廓的三维坐标。
步骤S530：根据相机的内部参数和重新确定的目标对象轮廓的三维坐标，生成调整的目标对象的投影区域。
步骤S540：在调整的目标对象的投影区域和检测框一致的情况下，确定调整后的初始测距值为最终测距值。
通过本申请的投影区域的最大外接框和检测框进行比较，在投影区域的最大外接框和检测框一致的情况下，初始测距值直接确定为最终测距值，无需进行测距值调整。
在投影区域的最大外接框和检测框不一致的情况下，此时需要重新调整初始测距值，使得单目相机测得的初始测距值能够哦通过调整得到准确的最终测距值。
对于初始测距值的调整主要是通过增大或者是调小初始测距值，由于调节初始测距值之后，需要重新确定调整后的初始测距值是否准确。调整后的初始测距值对于目标对象轮廓的三维坐标具有较大的影响，目标对象的真实尺寸和目标对象的方向角在初始测距值改变之后的改变较小，甚至是不会发生改变。因此，根据真实尺寸、初始测距值和方向角，确定目标对象轮廓的三维坐标中，初始测距值作为唯一的变量，通过初始测距值的调整，重新确定不同的目标对象轮廓的三维坐标。再通过重新确定的目标对象轮廓的三维坐标根据相机的内部参数来将目标对象轮廓的三维坐标转化为图像坐标系的二维坐标，投影在图像上，可以直接投影下检测图像上。重新判断投影区域的最大外接框和检测框之间是否一致，如果是一致的，则确定调整的初始测距值是准确的初始测距值。如果不一致，则确定调整后的测距值不准确，重新进行初始测距值的调整，经过多次迭代之后，可以确定出准确的初始测距值。
本事实例的单目相机的测距方法，能够有效地提升单目相机测距的准确性，而且相较于毫米波雷达、激光雷达和双目相机，其设备更加简单便宜，而且能够获得更加宽阔的场景信息，同时能够具有较低的运算量，减少测距误差，得到准确的单目相机的测距值，提高测距鲁棒性。
在一种实施方式中，调整初始测距值包括：
根据投影区域的最大外接框和检测框之间的比较结果，调整初始测距值。
对于初始测距值的调整可以有规律地进行调整，即根据投影区域的最大外接框和检测框之间的比较结果，例如投影区域的最大外接框大于检测框，则确定初始测距值大于最终测距值，此时通过缩小初始测距值的方式来调整初始测距值。同理，投影区域的最大外接框小于检测框，则确定初始测距值小于最终测距值，此时通过增大初始测距值的方式来调整初始测距值。
还可以采集投影区域的最大外接框和检测框之间的比较结果(例如面积差)以及初始测距值增大缩小的数值作为训练集，通过训练集对深度学习模型进行训练，得到训练好的深度模型，可以直接通过确定投影区域的最大外接框和检测框之间的比较结果，直接确定出对初始测距值增大或减小的数值。能够快速有效地寻找到最终测距值，减少运算量。
在一种实施方式中，根据初始测距值和检测图像，确定目标对象的方向角包括：
获取相机的实时标定参数；
根据初始测距值、检测图像和实时标定参数，确定目标对象的方向角。
对于当前的车辆与目标对象不在同一个平面的情况下，此时需要获取单目相机的俯仰角，相机的实时标定参数包括单目相机实时的俯仰角，其中，相机的实时标定参数(即俯仰角)可以通过相机实时动态标定获取，具体而言，单目相机或者车端根据图像前后帧的像素变化，计算单目相机的位姿变化，输出相机的实时标定参数，即单目相机的俯仰角。
对于该相机的实时标定参数，如上公式(3)可知，单目相机的俯仰角会对逆投影算法带来影响，也就是说，对于使用逆投影算法确定的初始测距值或者是目标对象的方向角都会受到单目相机俯仰角的影响，因此，需要将单目相机的俯仰角加入对于目标对象的方向角的计算中去，才能够获取到准确的目标对象的方向角。
本实施例中，通过相机的实时标定参数加入逆投影算法中去，从而能够有效地拓宽单目相机的评估方法的适用范围，能够对当前的车辆与目标对象不在同一个平面的情况下，也能够对初始测距值进行有效地评估，方便快捷，适用面广。
如图6所示，在一种实施方式中，根据初始测距值和检测图像，确定目标对象的方向角包括：
步骤S610：根据检测图像，确定目标对象的第一关键点和第二关键点，其中，第一关键点和第二关键点的连线指向目标对象的前后方向；
步骤S620：根据逆投影算法和初始测距值，确定第一关键点的坐标和第二关键点的坐标；
步骤S630：根据第一关键点的坐标和第二关键点的坐标，确定目标对象的方向角。
对于目标对象的方向角，实际上为目标对象的理想坐标系的X轴与当前车辆的理想坐标系的X轴形成的夹角。目标对象方向角是在当前车辆的理想坐标系下确定的。通过目标对象的第一关键点和第二关键点的坐标来进行确定，第一关键点和第二关键点的连线与目标对象的理想坐标系的X轴，即第一关键点和第二关键点的连线指向目标对象的前后方向。为了方便使用逆投影算法，在检测图像上确定的第一关键点和第二关键点均为目标对象的接地点。
通过逆投影算法以及初测距值，能够计算出第一关键点的坐标和第二关键点的坐标，这两个关键点的坐标可以是三维坐标也可以是平面的二维坐标，由于目标对象的方向角与Z轴没有实质性关系，则可以直接通过确定平面的二维坐标即可以确定目标对象的方向角。即通过将第一关键点的坐标和第二关键点的坐标放入到当前车辆的理想坐标系内，第一关键点的坐标和第二关键点的坐标的连线与当前车辆的理想坐标系之间的夹角即为目标对象的方向角。目标对象的方向角对于还原目标对象的轮廓具有较大的影响，通过确定目标对象的方向角，能够有效地确定目标对象轮廓的三维坐标。
在一种实施方式中，根据检测图像，确定目标对象的检测框和目标对象的真实尺寸包括：
根据训练好的深度学习模型对检测图像进行目标对象识别，获取目标对象的检测框和目标对象的真实尺寸。
从云端或者是车端训练好深度学习模型，训练集可以通过采用车端采集的数据来进行训练，能够有效地从检测图像中确定出目标对象的检测框以及目标对象的真实尺寸，准确性较高，而且方便快捷。
在一种实施方式中，根据检测图像，确定初始测距值包括：
利用逆投影算法或目标尺寸测距算法对检测图像进行测距计算，确定初始测距值。
车端可以直接利用逆投影算法或目标尺寸测距算法对单目相机拍摄得到的检测图像进行测距。其中，对于使用逆投影算法的情况下，存在单目相机实时标定的俯仰角为0或者不为0的情况进行计算。
通过逆投影算法或目标尺寸测距算法都能够有效地确定初始测距值，确定的该初始测距值作为待评估的测距值。
在一种实施方式中，根据真实尺寸、初始测距值和方向角，确定目标对象轮廓的三维坐标包括：
根据真实尺寸确定目标对象的基准轮廓的三维坐标；
根据初始测距值和方向角对基准轮廓的三维坐标进行调整，确定目标对象轮廓的三维坐标。
车端根据目标对象的真实尺寸，能够以当前车辆的理想坐标系构建出目标对象的轮廓，并确定出目标对象的基准轮廓的三维坐标。例如，以目标对象的中心的坐标是当前车辆的理想坐标系下的原点，通过目标对象的真实尺寸，能够确定出目标对象的八个顶点的三维坐标，这八个顶点能够构成目标对象的轮廓，其中，顶点的数量可以根据实际情况选择，最少不少于四个，低于四个无法构成最基础的立方体的轮廓。
在确定了目标对象的基准轮廓的三维坐标之后，通过初始测距值求和目标对象的方向角对目标对象的基准轮廓的三维坐标得到调整后的三维坐标，即为获取到目标对象轮廓的三维坐标。例如在确定了目标对象的基准轮廓的三维坐标之后，通过初始测距值对目标对象的基准轮廓的三维坐标进行平移，在对平移后的目标对象的基准轮廓的三维坐标根据目标对象的方向角进行调整，最后得到调整后的三维坐标，即为获取到目标对象轮廓的三维坐标。
本实施例中，真实尺寸、初始测距值和方向角能够重新确定出目标对象轮廓的三维坐标，能够在当前车辆的理想坐标系下确定出目标对象轮廓，从而能够生成投影区域进行初始测距值的评估。
在一种实施方式中，根据目标对象轮廓的三维坐标和内部参数，生成目标对象的投影区域包括：
通过内部参数将目标对象轮廓的三维坐标投影在检测图像上，生成目标对象的投影区域。
车端通过获取到单目相机的内部参数，其中内部参数可以包括相机的内参矩阵K，为相机的镜头的固有属性，可以直接通过单目相机中获取，相机的内参矩阵K如下。
Figure BDA0003876064830000141
其中，fx为相机在相机的图像坐标系的u轴方向上的焦距，fy为相机在相机的图像坐标系的v轴方向上的焦距，cx为相机的图像坐标系的原点(光心)在像素坐标系中的u轴坐标，cy为相机的图像坐标系的原点(光心)在像素坐标系中的v轴坐标，即cx表示光心在相机的图像坐标系的u轴方向的坐标，cy表示光点在相机的图像坐标系的v轴方向的坐标。
将目标对象轮廓的三维坐标通过相机的内参矩阵K转换为图像的二维坐标，将所有的二维坐标围成的轮廓确定为目标对象的投影区域。其中，为了方便与检测图像上的目标对象的检测框相比较，可以直接将所有的二维坐标围成的轮廓直接投影到检测图像上，这样能够对目标对象的投影区域和目标对象的检测框进行评估比较，从而判断初始测距值的准确性。
本申请的实施例中还提供了一种计算机程序产品，计算机程序/指令被一个处理器单独执行时或多个处理器配合执行时实现本申请的实施例提供的任意一项方法。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他实体类别的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁待，磁待磁磁盘存储或其他磁性存储介质或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。以上的实施例，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种单目相机的测距方法，其特征在于，包括：
获取检测图像和相机的内部参数；
根据所述检测图像，确定初始测距值、目标对象的检测框和目标对象的真实尺寸；
根据所述初始测距值和所述检测图像，确定目标对象的方向角；
根据所述真实尺寸、所述初始测距值和所述方向角，确定目标对象轮廓的三维坐标；
根据所述目标对象轮廓的三维坐标和所述内部参数，生成目标对象的投影区域；
根据所述投影区域和所述检测框，确定最终测距值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述投影区域和所述检测框，确定最终测距值包括：
在所述投影区域的最大外接框和所述检测框一致的情况下，确定所述初始测距值为最终测距值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述投影区域和所述检测框，确定最终测距值包括：
在所述投影区域的最大外接框和所述检测框不一致的情况下，调整初始测距值；
根据目标对象的真实尺寸、目标对象的方向角和调整后的初始测距值，重新确定目标对象轮廓的三维坐标；
根据相机的内部参数和重新确定的目标对象轮廓的三维坐标，生成调整的目标对象的投影区域；
在调整的目标对象的投影区域和所述检测框一致的情况下，确定所述调整后的初始测距值为最终测距值。
4.根据权利要求3所述的方法，其特征在于，所述调整初始测距值包括：
根据所述投影区域的最大外接框和所述检测框之间的比较结果，调整所述初始测距值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述初始测距值和所述检测图像，确定目标对象的方向角包括：
获取相机的实时标定参数；
根据所述初始测距值、所述检测图像和所述实时标定参数，确定目标对象的方向角。
6.根据权利要求1所述的方法，其特征在于，所述根据所述初始测距值和所述检测图像，确定目标对象的方向角包括：
根据所述检测图像，确定目标对象的第一关键点和第二关键点，其中，所述第一关键点和所述第二关键点的连线指向目标对象的前后方向；
根据逆投影算法和所述初始测距值，确定所述第一关键点的坐标和所述第二关键点的坐标；
根据所述第一关键点的坐标和所述第二关键点的坐标，确定目标对象的方向角。
7.根据权利要求1所述的方法，其特征在于，所述根据所述检测图像，确定目标对象的检测框和目标对象的真实尺寸包括：
根据训练好的深度学习模型对所述检测图像进行目标对象识别，获取目标对象的检测框和目标对象的真实尺寸。
8.根据权利要求1所述的方法，其特征在于，所述根据所述检测图像，确定初始测距值包括：
利用逆投影算法或目标尺寸测距算法对所述检测图像进行测距计算，确定初始测距值。
9.根据权利要求1所述的方法，其特征在于，所述根据所述真实尺寸、所述初始测距值和所述方向角，确定目标对象轮廓的三维坐标包括：
根据所述真实尺寸确定目标对象的基准轮廓的三维坐标；
根据所述初始测距值和所述方向角对所述基准轮廓的三维坐标进行调整，确定目标对象轮廓的三维坐标。
10.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象轮廓的三维坐标和所述内部参数，生成目标对象的投影区域包括：
通过所述内部参数将所述目标对象轮廓的三维坐标投影在所述检测图像上，生成目标对象的投影区域。
11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被一个处理器单独执行时或多个处理器配合执行时实现权利要求1至8中任意一项所述的方法。
CN202211215921.0A 2022-09-30 2022-09-30 一种单目相机的测距方法及计算机程序产品 Pending CN115511975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211215921.0A CN115511975A (zh) 2022-09-30 2022-09-30 一种单目相机的测距方法及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211215921.0A CN115511975A (zh) 2022-09-30 2022-09-30 一种单目相机的测距方法及计算机程序产品

Publications (1)

Publication Number Publication Date
CN115511975A true CN115511975A (zh) 2022-12-23

Family

ID=84507351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211215921.0A Pending CN115511975A (zh) 2022-09-30 2022-09-30 一种单目相机的测距方法及计算机程序产品

Country Status (1)

Country Link
CN (1) CN115511975A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118918169A (zh) * 2024-09-30 2024-11-08 上海同陆云交通科技有限公司 一种基于单目相机图像的道路设施高度计算的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583280A (zh) * 2017-09-29 2019-04-05 比亚迪股份有限公司 车道线识别方法、装置、设备及存储介质
US20200118283A1 (en) * 2018-10-10 2020-04-16 Samsung Electronics Co., Ltd. Distance estimating method and apparatus
CN112183241A (zh) * 2020-09-11 2021-01-05 北京罗克维尔斯科技有限公司 基于单目图像的目标检测方法和装置
CN113256701A (zh) * 2021-05-31 2021-08-13 天津天瞳威势电子科技有限公司 一种距离的获取方法、装置、设备及可读存储介质
CN114066970A (zh) * 2020-07-28 2022-02-18 长沙智能驾驶研究院有限公司 测距方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583280A (zh) * 2017-09-29 2019-04-05 比亚迪股份有限公司 车道线识别方法、装置、设备及存储介质
US20200118283A1 (en) * 2018-10-10 2020-04-16 Samsung Electronics Co., Ltd. Distance estimating method and apparatus
CN114066970A (zh) * 2020-07-28 2022-02-18 长沙智能驾驶研究院有限公司 测距方法、装置及电子设备
CN112183241A (zh) * 2020-09-11 2021-01-05 北京罗克维尔斯科技有限公司 基于单目图像的目标检测方法和装置
CN113256701A (zh) * 2021-05-31 2021-08-13 天津天瞳威势电子科技有限公司 一种距离的获取方法、装置、设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TING ZHE等: "Inter-Vehicle Distance Estimation Method Based on Monocular Vision Using 3D Detection", IEEE TRANSAC TIONS ON VEHICULAR TECHNOLOGY, 2 March 2020 (2020-03-02) *
张煜等: "基于单目视觉的智能车障碍物检测及测距算法研究", 智能计算机与应用, 12 April 2022 (2022-04-12) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118918169A (zh) * 2024-09-30 2024-11-08 上海同陆云交通科技有限公司 一种基于单目相机图像的道路设施高度计算的方法

Similar Documents

Publication Publication Date Title
US12183022B2 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
KR102029850B1 (ko) 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
CN110119698B (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN112101092A (zh) 自动驾驶环境感知方法及系统
CN112419385B (zh) 一种3d深度信息估计方法、装置及计算机设备
CN110794406A (zh) 多源传感器数据融合系统和方法
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
CN110341621B (zh) 一种障碍物检测方法及装置
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质
CN113256709A (zh) 目标检测方法、装置、计算机设备以及存储介质
CN115546315A (zh) 自动驾驶车辆的传感器在线标定方法、装置及存储介质
CN108021899A (zh) 基于双目相机的车载智能前车防撞预警方法
CN115761700B (zh) 行人距离计算方法、系统、计算机及可读存储介质
CN112017236A (zh) 一种基于单目相机计算目标物位置的方法及装置
CN112529011A (zh) 目标检测方法及相关装置
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置
US20250029401A1 (en) Image processing device
CN115511975A (zh) 一种单目相机的测距方法及计算机程序产品
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质
Leu et al. High speed stereo vision based automotive collision warning system
JPWO2019123582A1 (ja) 物体情報生成装置及び物体情報生成プログラム
US20240098231A1 (en) Image processing device, image processing method, and computer-readable medium
CN119169073A (zh) 一种锚孔定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination