[go: up one dir, main page]

CN109903346A - 相机姿态检测方法、装置、设备及存储介质 - Google Patents

相机姿态检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109903346A
CN109903346A CN201910394067.0A CN201910394067A CN109903346A CN 109903346 A CN109903346 A CN 109903346A CN 201910394067 A CN201910394067 A CN 201910394067A CN 109903346 A CN109903346 A CN 109903346A
Authority
CN
China
Prior art keywords
camera
area
road surface
depth
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910394067.0A
Other languages
English (en)
Other versions
CN109903346B (zh
Inventor
胡荣东
唐铭希
谢林江
彭清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidi Intelligent Driving Technology Co ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN201910394067.0A priority Critical patent/CN109903346B/zh
Publication of CN109903346A publication Critical patent/CN109903346A/zh
Application granted granted Critical
Publication of CN109903346B publication Critical patent/CN109903346B/zh
Priority to PCT/CN2020/089765 priority patent/WO2020228694A1/zh
Priority to US17/610,514 priority patent/US12217448B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种相机姿态检测方法、装置、设备及存储介质,该方法包括:获取所述相机采集的当前道路对应的深度图;基于设置的搜索区域遍历深度图所对应的原始图像,根据遍历的各区域对应的深度信息以及路面置信度确定路面区域;基于所述路面区域对应的深度信息,确定所述相机的姿态。通过获取相机采集的当前道路对应的深度图,基于设置的搜索区域遍历深度图所对应的原始图像,根据遍历的各区域对应的深度信息以及路面置信度确定路面区域,基于所述路面区域对应的深度信息确定所述相机的姿态,可以实现相机姿态的动态检测,满足实时监测的需求。

Description

相机姿态检测方法、装置、设备及存储介质
技术领域
本申请涉及相机检测领域,具体涉及一种相机姿态检测方法、装置、设备及存储介质。
背景技术
相机姿态角的检测,在无人驾驶、智能机器人等领域具有重要意义。传统基于单目视觉的相机姿态角计算方法,通常需要利用测距传感器获取若干特定位置的距离,结合特定位置在图像坐标系的坐标,最后通过求解PNP(Perspective-n-Point)算法得到相机的姿态角。因此,该方法需要在使用相机之前进行求解,无法实现相机姿态角的实时计算。
然而,在实际应用场景中,由于抖动等因素,可能会导致相机姿态角发生变化。例如,在无人驾驶场景,由于路面颠簸等原因,相机的姿态角将会发生变化,导致后续算法失效,进而造成重大安全隐患。
发明内容
有鉴于此,本申请实施例提供了一种相机姿态检测方法、装置、设备及存储介质,旨在实现相机姿态的动态检测。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种相机姿态检测方法,该方法包括:
获取所述相机采集的当前道路对应的深度图;
基于设置的搜索区域遍历所述深度图对应的原始图像,根据遍历的各区域对应的深度信息以及路面置信度确定路面区域;
基于所述路面区域对应的深度信息,确定所述相机的姿态。
第二方面,本申请实施例提供一种相机姿态检测装置,该装置包括:
获取模块,用于获取所述相机采集的当前道路对应的深度图;
路面区域确定模块,用于基于设置的搜索区域遍历所述深度图对应的原始图像,根据遍历的各区域对应的深度信息以及路面置信度确定路面区域;
姿态确定模块,用于基于所述路面区域对应的深度信息确定所述相机的姿态。
第三方面,本申请实施例提供一种相机姿态检测设备,该设备包括:
存储器,用于存储可执行程序;
处理器,用于执行所述存储器中存储的可执行程序时,实现前述实施例所述的相机姿态检测方法。
第四方面,本申请实施例提供一种存储介质,存储有可执行程序,所述可执行程序被处理器执行时,实现前述实施例所述的相机姿态检测方法。
本申请实施例提供的技术方案中,通过获取相机采集的当前道路对应的深度图,基于设置的搜索区域遍历所述深度图对应的原始图像,根据遍历的各区域对应的深度信息以及路面置信度确定路面区域,基于所述路面区域对应的深度信息确定所述相机的姿态,可以实现相机姿态的动态检测,满足实时监测的需求。
附图说明
图1为本申请一实施例中相机姿态检测方法的流程示意图;
图2为本申请一实施例中坐标系转换的示意图;
图3为本申请另一实施例中相机姿态检测方法的流程示意图;
图4为本申请一实施例中相机姿态检测装置的方框示意图;
图5为本申请一实施例中相机姿态检测设备的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。应当理解,此处所提供的实施例仅仅用以解释本申请,并不用于限定本申请。另外,以下所提供的实施例是用于实施本申请的部分实施例,而非提供实施本申请的全部实施例,在不冲突的情况下,本申请实施例记载的技术方案可以任意组合的方式实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本申请实施例提供一种相机姿态检测方法,应用于无人驾驶车辆、智能机器人等智能设备,以无人驾驶车辆为例,请参阅图1,该方法包括:
步骤101,获取所述相机采集的当前道路对应的深度图;
本实施例中,无人驾驶车辆获取所述相机采集的当前道路对应的原始图像,对原始图像进行转换处理得到深度图。在一示例中,双目相机获取左相机拍摄的第一图像和右相机拍摄的第二图像,可以基于第一图像匹配得到深度图或者基于第二图像匹配得到深度图,若基于第一图像匹配得到深度图,则该深度图对应的原始图像为第一图像,若基于第二图像匹配得到深度图,则该深度图对应的原始图像为第二图像。该深度图(depth image)是指将从相机到场景中各点的距离(深度)作为像素值的图像,能直接反映了景物可见表面的几何形状。在一些实施例中,所述相机可以包括基于双目立体视觉的三维传感器;在另一些实施例中,所述相机可以包括基于TOF(Time of Flight,飞行时间)原理的深度传感器。
步骤102,基于设置的搜索区域遍历所述深度图对应的原始图像,根据遍历的各区域对应的深度信息以及路面置信度确定路面区域;
本实施例中,该搜索区域可以预先设置,或者根据深度图或者原始图像的图像参数确 定。在一些实施例中,根据获取的原始图像确定图像宽度为W,高度为H,宽高比δ=W/H,则设 置搜索区域的宽度为、高度分别为;其中, ⌈ ⌉ 为向上取整 符号,n为搜索比例参数,通常取5~8。从原始图像的左上角开始,宽度方向步幅为Ws /2,高度 方向步幅为H s /2,开始遍历整幅图像。
在一些实施例中,所述根据遍历的各区域对应的深度信息以及路面置信度确定路面区域,包括:检测当前搜索区域的中心点对应的深度值;确定所述深度值大于或者等于设定深度阈值时,则跳过所述当前搜索区域,不计算该区域的路面置信度;确定所述深度值小于设定深度阈值时,计算对应的路面置信度;根据各区域的路面置信度,选取路面置信度最高的区域为路面区域。
通过对各区域计算路面置信度之前,有效滤除不符合设定条件的搜索区域,能够有效减少数据运算量,进而提高处理效率。
该设定深度阈值可以基于相机与路面的距离进行设置,譬如,设定深度阈值DT的取值范围为15<DT<25。在一示例中,考虑到与相机相距设定距离的路面可近似认为与相机处于同一平面,若当前搜索区域的中心点在深度图上对应的深度D<设定深度阈值DT,则计算该当前区域内图像的路面置信度,否则跳过该当前区域。
在一些实施例中,可选地,通过图像信息熵确定对应区域的路面置信度,进而确定路面区域,该方法较基于机器学习的方法计算更为简单,因此能够有效减少运算量,进而提高处理效率。
具体地,根据对应区域的图像像素点的灰度值,计算对应的图像信息熵;基于对应区域的图像信息熵确定对应区域的路面置信度。
在一示例中,采用如下公式(1)计算对应区域的图像信息熵:
(1)
其中,E为图像信息熵,P(i)为灰度值i在所述区域中出现的概率。
采用如下公式(2)确定对应区域的路面置信度:
(2)
其中,σ为路面置信度。
步骤103,基于所述路面区域对应的深度信息,确定所述相机的姿态。
本申请实施例,通过获取相机采集的当前道路对应的深度图,基于设置的搜索区域遍历所述深度图对应的原始图像,根据遍历的各区域对应的深度信息以及路面置信度确定路面区域,基于所述路面区域对应的深度信息确定所述相机的姿态,可以实现相机姿态的动态检测,满足实时监测的需求。
在一些实施例中,所述基于所述路面区域对应的深度信息,确定所述相机的姿态,包括:将所述深度图上所述路面区域对应的各坐标点在第一坐标系下的坐标投影至第一平面;根据各坐标点在所述第一平面上的坐标,采用最小二乘法进行直线拟合,根据第一拟合直线的斜率确定所述相机的俯仰角。
请参阅图2,该第一坐标系为相机坐标系,该相机坐标系可以以相机的成像中心点为原点O,以光轴向前的方向为Z轴正方向,以垂直所述光轴且向下的方向为Y轴正方向,以垂直于YOZ平面且向内的方向为X轴正方向。获取深度图上路面区域对应的坐标点在第一坐标系下的坐标(X i ,Y i ,Z i ),将路面区域的各坐标点投影到YOZ平面,投影后的坐标为(Z i ,Y i )。利用最小二乘法对投影之后的点进行直线拟合,得到直线方程:
Y=a 1*Z+b 1
其中,Y为Y轴坐标,Z为Z轴坐标,a 1 为斜率,b 1 为截距,则相机的俯仰角的计算公式如下:
θ pitch =arctan(-a 1)
从而实现了相机的俯仰角θ pitch 的动态检测。
在一些实施例中,所述基于所述深度图上所述路面区域对应的深度信息确定所述相机的姿态,包括:将所述深度图上所述路面区域对应的各坐标点在第一坐标系下的坐标转换至第二坐标系,其中,所述第二坐标系中各坐标点的坐标包括各坐标点到所述相机的水平距离;将所述第二坐标系中各坐标点投影至第二平面,根据各坐标点在所述第二平面上的坐标,采用最小二乘法进行直线拟合,根据第二拟合直线的斜率确定所述相机的翻滚角。
请参阅图2,该第一坐标系为相机坐标系,该相机坐标系可以以相机的成像中心点为原点O,以光轴向前的方向为Z轴正方向,以垂直所述光轴且向下的方向为Y轴正方向,以垂直于YOZ平面且向内的方向为X轴正方向。该第二坐标系为世界坐标系,该世界坐标系可以以相机的成像中心点为原点O,以水平向右为Z’轴正方向,以垂直向下为Y’轴正方向,以垂直于Y’OZ’平面且向内的方向为X’轴正方向。由于相机坐标系与世界坐标系原点重合,故两个坐标系之间只存在旋转关系,没有平移关系,故可以根据相机的俯仰角将相机坐标系下点的坐标转换到世界坐标系下点的坐标。其中,相机的俯仰角可以采用前述的根据第一拟合直线的斜率确定,在此不做赘述。将所述深度图上所述路面区域对应的各坐标点在第一坐标系下的坐标转换至第二坐标系后,得到各像素点在世界坐标系下的坐标(X i ’,Y i ’,Z i ’),转换公式如下:
X i ’=X i
Y i ’=cos pitch )*Y i + sin pitch )*Z i
Z i ’=cos pitch )*Z i - sin pitch )*Y i
将世界坐标系下各坐标点的坐标投影至X’OY’平面,投影后点的坐标为(X i ,Y i ),利用最小二乘法对投影之后的点进行直线拟合,得到直线方程:
Y=a 2*X+b 2
其中,Y为Y’轴坐标,X为X’轴坐标,a 2 为斜率,b 2 为截距,则相机的翻滚角计算公式如下:
θ roll =arctan(-a 2)
从而实现了相机的翻滚角θ roll 的动态检测。
在一些实施例中,可选地,相机姿态检测方法还包括:根据所述深度图对应的原始图像获取车道线区域,并将所述深度图上所述车道线区域对应的各坐标点在第一坐标系下的坐标转换至所述第二坐标系;将第二坐标系中所述车道线区域对应的各坐标点投影至第三平面;根据各坐标点在所述第三平面上的坐标,采用最小二乘法进行直线拟合,根据第三拟合直线的斜率确定所述相机的偏航角。
其中,请参阅图2,该第一坐标系为相机坐标系,该相机坐标系可以以相机的成像中心点为原点O,以光轴向前的方向为Z轴正方向,以垂直所述光轴且向下的方向为Y轴正方向,以垂直于YOZ平面且向内的方向为X轴正方向。该第二坐标系为世界坐标系,该世界坐标系可以以相机的成像中心点为原点O,以水平向右为Z’轴正方向,以垂直向下为Y’轴正方向,以垂直于Y’OZ’平面且向内的方向为X’轴正方向。
在一示例中,对深度图对应的原始图像进行深度学习获取车道线区域。设车道线区域各像素点在图像坐标系(即图像的二维坐标系)的坐标为(Uiroad,Viroad),根据深度图获取车道线区域上各坐标点在相机坐标系下的坐标(Xiroad,Yiroad,Ziroad),并根据相机的俯仰角,可以得到在世界坐标系下的坐标(Xiroad’,Yiroad’,Ziroad’)。将所有车道线上的坐标点投影到X’OZ’平面,投影后点的坐标为(Xiroad’,Ziroad’)。利用最小二乘法对投影之后的点进行直线拟合,得到直线方程:
Z=a3*X+b3
其中,Z为Z’轴坐标,X为X’轴坐标,a 3 为斜率,b 3 为截距,则相机的偏航角计算公式如下:
θyaw=π/2-arctan(a3)
从而实现了相机的偏航角θyaw的动态检测。
请参阅图3,在一实施例中,相机姿态检测方法包括:
步骤301,获取所述相机采集的当前道路对应的深度图;
获取所述相机采集的当前道路对应的深度图,在一些实施例中,所述相机可以为基于双目立体视觉的三维传感器;在另一些实施例中,所述相机可以为基于TOF原理的深度传感器。
在一个可选的实施例中,获取所述相机采集的当前道路对应的深度图是指,双目相机同步采集图像,利用标定结果对两幅图像进行校正和立体匹配,获得深度图。
步骤302,根据图像宽度和宽度,设置搜索框宽度和高度;
根据深度图或者原始图像确定图像宽度为W,高度为H,宽高比δ=W/H,则设置搜索区域 的宽度为、高度分别为;其中, ⌈ ⌉ 为向上取整符号,n为搜索比 例参数,通常取5~8。
步骤303,根据搜索框遍历所述深度图对应的原始图像,若搜索框的中心点在深度图上对应的深度小于设定深度阈值DT,则计算搜索框内图像信息的路面置信度;
该设定深度阈值基于相机与路面的距离进行设置,譬如,设定深度阈值DT的取值范围为15<DT<25。在一示例中,考虑到与相机相距设定距离的路面可近似认为与相机处于同一平面,若当前搜索区域的中心点在深度图上对应的深度D<设定深度阈值DT,则计算该当前区域内图像的路面置信度,否则跳过该当前搜索区域。
步骤304,取路面置信度最高的搜索框所对应的图像区域作为路面区域;
步骤305,根据深度图上路面区域对应的各坐标点在相机坐标系下的坐标,确定相机的俯仰角;
请再次参阅图2,该相机坐标系可以以相机的成像中心点为原点O,以光轴向前的方向为Z轴正方向,以垂直所述光轴且向下的方向为Y轴正方向,以垂直于YOZ平面且向内的方向为X轴正方向。获取深度图上路面区域对应的坐标点在相机坐标系下的坐标(X i ,Y i ,Z i ),将路面区域的各坐标点投影到YOZ平面,投影后的坐标为(Z i ,Y i )。利用最小二乘法对投影之后的点进行直线拟合,得到直线方程:
Y=a 1*Z+b 1
则相机的俯仰角的计算公式如下:
θ pitch =arctan(-a 1)
从而实现了相机的俯仰角θ pitch 的动态检测。
步骤306,根据所述俯仰角将相机坐标系下的路面区域对应的各坐标点坐标转换至世界坐标系下的坐标;
请再次参阅图2,该世界坐标系可以以相机的成像中心点为原点O,以水平向右为Z’轴正方向,以垂直向下为Y’轴正方向,以垂直于Y’OZ’平面且向内的方向为X’轴正方向。由于相机坐标系与世界坐标系原点重合,故两个坐标系之间只存在旋转关系,没有平移关系,故可以根据相机的俯仰角将相机坐标系下点的坐标转换到世界坐标系下点的坐标。将所述深度图上所述路面区域对应的各坐标点在相机坐标系下的坐标转换至世界坐标系后,得到各坐标点在世界坐标系下的坐标(X i ’,Y i ’,Z i ’),转换公式如下:
X i ’=X i
Y i ’=cos pitch )*Y i + sin pitch )*Z i
Z i ’=cos pitch )*Z i - sin pitch )*Y i
步骤307,确定相机的翻滚角;
将世界坐标系下各像素点的坐标投影至X’OY’平面,投影后点的坐标为(X i ,Y i ),利用最小二乘法对投影之后的点进行直线拟合,得到直线方程:
Y=a 2*X+b 2
则相机的翻滚角计算公式如下:
θ roll =arctan(-a 2)
从而实现了相机的翻滚角θ roll 的动态检测。
步骤308,根据所述深度图对应的原始图像获取车道线区域,并根据所述深度图上所述车道线区域对应的坐标点在世界坐标系下的坐标确定相机的偏航角。
对深度图对应的原始图像进行深度学习获取车道线区域。设车道线区域各像素点在图像坐标系(即图像的二维坐标系)的坐标为(Uiroad,Viroad),根据深度图获取车道线区域上各坐标点在相机坐标系下的坐标(Xiroad,Yiroad,Ziroad),并根据相机的俯仰角,可以得到在世界坐标系下的坐标(Xiroad’,Yiroad’,Ziroad’)。将所有车道线上的坐标点投影到X’OZ’平面,投影后点的坐标为(Xiroad’,Ziroad’)。利用最小二乘法对投影之后的点进行直线拟合,得到直线方程:
Z=a3*X+b3
则相机的偏航角计算公式如下:
θyaw=π/2-arctan(a3)
从而实现了相机的偏航角θyaw的动态检测。
应当理解,在具体实施时,运行本申请实施例的相机姿态检测方法的处理器可以位于相机的终端侧,也可以处于服务器侧,还可以由终端侧和服务器配合实现,本申请对此均不作限制。
从以上的描述可以得知,本申请实施例相机姿态检测方法,可以实现对相机的俯仰角、翻滚角及偏航角中的一个或者多个进行动态检测,能够及时检测到相机因抖动等因素导致的姿态角发生变化的情形,利于实时监测相机的姿态。且通过采用图像信息熵确定路面置信度,有效降低了数据运算量,提高了检测效率。
本申请实施例还提供一种相机姿态检测装置,请参阅图4,该装置包括:
获取模块401,用于获取所述相机采集的当前道路对应的深度图;
路面区域确定模块402,用于基于设置的搜索区域遍历所述深度图对应的原始图像,根据遍历的各区域对应的深度信息以及路面置信度确定路面区域;
姿态确定模块403,用于基于所述路面区域对应的深度信息确定所述相机的姿态。
在一些实施例中,路面区域确定模块402用于:检测当前搜索区域的中心点对应的深度值;确定所述深度值大于或者等于设定深度阈值时,则跳过所述当前搜索区域,不计算该区域的路面置信度;确定所述深度值小于设定深度阈值时,计算对应的路面置信度;根据各区域的路面置信度,选取路面置信度最高的区域为路面区域。
在一些实施例中,路面区域确定模块402用于:基于对应区域的图像信息熵确定对应的路面置信度。
在一些实施例中,路面区域确定模块402用于:根据对应区域的图像像素点的灰度值,计算对应区域的图像信息熵;基于所述图像信息熵确定对应区域的路面置信度。
在一些实施例中,姿态确定模块403用于:将所述深度图上所述路面区域对应的各坐标点在第一坐标系下的坐标投影至第一平面;根据各坐标点在所述第一平面上的坐标,采用最小二乘法进行直线拟合,根据第一拟合直线的斜率确定所述相机的俯仰角。
在一些实施例中,姿态确定模块403用于:将所述深度图上所述路面区域对应的各坐标点在第一坐标系下的坐标转换至第二坐标系,其中,所述第二坐标系中各坐标点的坐标包括各像素点到所述相机的水平距离;将所述第二坐标系中各坐标点投影至第二平面,根据各坐标点在所述第二平面上的坐标,采用最小二乘法进行直线拟合,根据第二拟合直线的斜率确定所述相机的翻滚角。
在一些实施例中,姿态确定模块403还用于:根据所述深度图对应的原始图像获取车道线区域,并将所述深度图上所述车道线区域对应的各坐标点在第一坐标系下的坐标转换至所述第二坐标系;将第二坐标系中所述车道线区域对应的各坐标点投影至第三平面;根据各像素点在所述第三平面上的坐标,采用最小二乘法进行直线拟合,根据第三拟合直线的斜率确定所述相机的偏航角。
需要说明的是:上述实施例提供的相机姿态检测装置在进行相机姿态检测时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的相机姿态检测装置与相机姿态检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供一种相机姿态检测设备,该相机姿态检测设备可以应用于无人驾驶车辆、智能机器人等智能设备,通过相机姿态检测设备对相机的姿态进行动态检测,便于智能设备利用相机的姿态角进行三维建模等应用。图5仅仅示出了相机姿态检测设备的示例性结构而非全部结构,根据需要可以实施图5示出的部分结构或全部结构。
本申请实施例提供的相机姿态检测设备500包括:至少一个处理器501、存储器502。可以理解,存储器502可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。
本申请实施例中的存储器502用于存储各种类型的数据以支持相机姿态检测方法的执行。这些数据的示例包括:用于在相机姿态检测设备500上运行的任何可执行程序,如可执行程序5021,实现本申请实施例的相机姿态检测方法的程序可以包含在可执行程序5021中。
本申请实施例揭示的相机姿态检测方法可以应用于处理器501中,或者由处理器501实现。处理器501可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,相机姿态检测方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(DSP,Digital SignalProcessor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器501可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器502,处理器501读取存储器502中的信息,结合其硬件完成本申请实施例提供的相机姿态检测方法的步骤。
本申请实施例还提供了一种可读存储介质,存储介质可以包括:移动存储设备、随机存取存储器(RAM,Random Access Memory)、只读存储器(ROM, Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述可读存储介质存储有可执行程序;所述可执行程序用于被处理器执行时实现本申请任一实施例所述的相机姿态检测方法。
本领域内的技术人员应明白,本申请实施例可提供为方法、系统、或计算机程序产品。因此,本申请实施例可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理系统的处理器以产生一个机器,使得通过计算机或其他可编程数据处理系统的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理系统以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理系统上,使得在计算机或其他可编程系统上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程系统上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种相机姿态检测方法,其特征在于,包括:
获取所述相机采集的当前道路对应的深度图;
基于设置的搜索区域遍历所述深度图对应的原始图像,根据遍历的各区域对应的深度信息以及路面置信度确定路面区域;
基于所述路面区域对应的深度信息,确定所述相机的姿态。
2.如权利要求1所述的相机姿态检测方法,其特征在于,所述根据遍历的各区域对应的深度信息以及路面置信度确定路面区域,包括:
检测当前搜索区域的中心点对应的深度值;
确定所述深度值大于或者等于设定深度阈值时,则跳过所述当前搜索区域,不计算该区域的路面置信度;确定所述深度值小于设定深度阈值时,计算对应的路面置信度;
根据各区域的路面置信度,选取路面置信度最高的区域为路面区域。
3.如权利要求2所述的相机姿态检测方法,其特征在于,所述计算对应的的路面置信度,包括:
基于对应区域的图像信息熵确定对应的路面置信度。
4.如权利要求3所述的相机姿态检测方法,其特征在于,所述基于对应区域的图像信息熵确定对应的路面置信度,包括:
根据对应区域的图像像素点的灰度值,计算对应区域的图像信息熵;
基于所述图像信息熵确定对应区域的路面置信度。
5.如权利要求1所述的相机姿态检测方法,其特征在于,所述基于所述路面区域对应的深度信息,确定所述相机的姿态,包括:
将所述深度图上所述路面区域对应的各坐标点在第一坐标系下的坐标投影至第一平面;
根据各坐标点在所述第一平面上的坐标,采用最小二乘法进行直线拟合,根据第一拟合直线的斜率确定所述相机的俯仰角。
6.如权利要求1所述的相机姿态检测方法,其特征在于,所述基于所述路面区域对应的深度信息确定所述相机的姿态,包括:
将所述深度图上所述路面区域对应的各坐标点在第一坐标系下的坐标转换至第二坐标系;
将所述第二坐标系中各坐标点投影至第二平面;
根据各坐标点在所述第二平面上的坐标,采用最小二乘法进行直线拟合,根据第二拟合直线的斜率确定所述相机的翻滚角。
7.如权利要求1所述的相机姿态检测方法,其特征在于,所述方法还包括:
根据所述深度图对应的原始图像获取车道线区域,并将所述深度图上所述车道线区域对应的各坐标点在第一坐标系下的坐标转换至所述第二坐标系;
将第二坐标系中所述车道线区域对应的各坐标点投影至第三平面;
根据各坐标点在所述第三平面上的坐标,采用最小二乘法进行直线拟合,根据第三拟合直线的斜率确定所述相机的偏航角。
8.一种相机姿态检测装置,其特征在于,包括:
获取模块,用于获取所述相机采集的当前道路对应的深度图;
路面区域确定模块,用于基于设置的搜索区域遍历所述深度图对应的原始图像,根据遍历的各区域对应的深度信息以及路面置信度确定路面区域;
姿态确定模块,用于基于所述路面区域对应的深度信息确定所述相机的姿态。
9.一种相机姿态检测设备,其特征在于,包括:
存储器,用于存储可执行程序;
处理器,用于执行所述存储器中存储的可执行程序时,实现如权利要求1至7任一所述的相机姿态检测方法。
10.一种存储介质,其特征在于,存储有可执行程序,所述可执行程序被处理器执行时,实现如权利要求1至7任一所述的相机姿态检测方法。
CN201910394067.0A 2019-05-13 2019-05-13 相机姿态检测方法、装置、设备及存储介质 Active CN109903346B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910394067.0A CN109903346B (zh) 2019-05-13 2019-05-13 相机姿态检测方法、装置、设备及存储介质
PCT/CN2020/089765 WO2020228694A1 (zh) 2019-05-13 2020-05-12 一种相机姿态信息检测方法、装置以及相应的智能驾驶设备
US17/610,514 US12217448B2 (en) 2019-05-13 2020-05-12 Camera pose information detection method and apparatus, and corresponding intelligent driving device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910394067.0A CN109903346B (zh) 2019-05-13 2019-05-13 相机姿态检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109903346A true CN109903346A (zh) 2019-06-18
CN109903346B CN109903346B (zh) 2019-09-06

Family

ID=66956591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910394067.0A Active CN109903346B (zh) 2019-05-13 2019-05-13 相机姿态检测方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US12217448B2 (zh)
CN (1) CN109903346B (zh)
WO (1) WO2020228694A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221328A (zh) * 2019-07-23 2019-09-10 广州小鹏汽车科技有限公司 一种组合导航方法和装置
WO2020228694A1 (zh) * 2019-05-13 2020-11-19 长沙智能驾驶研究院有限公司 一种相机姿态信息检测方法、装置以及相应的智能驾驶设备
CN112489131A (zh) * 2020-12-26 2021-03-12 上海有个机器人有限公司 基于路面检测构建代价地图的方法、装置、介质和机器人
CN113091889A (zh) * 2021-02-20 2021-07-09 周春伟 一种测量道路亮度的方法及装置
CN114264310A (zh) * 2020-09-14 2022-04-01 阿里巴巴集团控股有限公司 定位及导航方法、装置、电子设备、计算机存储介质
CN115460320A (zh) * 2021-06-09 2022-12-09 阿里巴巴新加坡控股有限公司 导航方法、装置、计算机存储介质及计算机程序产品
CN115794004A (zh) * 2021-09-09 2023-03-14 财团法人工业技术研究院 信息显示方法及其处理装置与信息显示系统
CN119975368A (zh) * 2025-01-20 2025-05-13 重庆长安汽车股份有限公司 信息获取方法、装置、计算机设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113639643B (zh) * 2021-06-24 2023-12-22 河南农业大学 基于rgb-d深度相机的作物苗期高度检测方法
CN114463683B (zh) * 2022-02-12 2024-08-16 河南城建学院 基于人工智能和大数据的变电设备智能监控系统和方法
CN115205388B (zh) * 2022-07-04 2026-01-30 上海安亭地平线智能交通技术有限公司 车载相机姿态矫正方法和装置、存储介质、电子设备
CN115937321B (zh) * 2022-09-27 2023-09-22 荣耀终端有限公司 一种电子设备的姿态检测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008012A (ja) * 2000-06-26 2002-01-11 National Institute Of Advanced Industrial & Technology 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法
CN103686143A (zh) * 2012-09-24 2014-03-26 歌乐株式会社 照相机的校准方法以及装置
US20140169636A1 (en) * 2012-12-05 2014-06-19 Denso Wave Incorporated Method and system for estimating attitude of camera
CN105164726A (zh) * 2013-01-24 2015-12-16 微软技术许可有限责任公司 用于3d重构的相机姿态估计
CN108022264A (zh) * 2016-11-01 2018-05-11 狒特科技(北京)有限公司 相机位姿确定方法及设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
CN101894366B (zh) * 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
DE102009055776A1 (de) * 2009-11-25 2011-05-26 Conti Temic Microelectronic Gmbh Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug
CN103745452B (zh) 2013-11-26 2014-11-26 理光软件研究所(北京)有限公司 相机外参评估方法、装置、相机外参标定方法和装置
EP3132231B1 (en) * 2014-04-14 2020-09-16 Vricon Systems Aktiebolag A method and system for estimating information related to a vehicle pitch and/or roll angle
CN105469386B (zh) * 2015-11-11 2018-08-07 浙江大华技术股份有限公司 一种确定立体相机高度与俯仰角的方法及装置
CN105469076B (zh) 2015-12-29 2019-05-03 广东微模式软件股份有限公司 基于多示例学习的人脸比对验证方法
US10290119B2 (en) * 2016-09-15 2019-05-14 Sportsmedia Technology Corporation Multi view camera registration
CN109903346B (zh) * 2019-05-13 2019-09-06 长沙智能驾驶研究院有限公司 相机姿态检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008012A (ja) * 2000-06-26 2002-01-11 National Institute Of Advanced Industrial & Technology 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法
CN103686143A (zh) * 2012-09-24 2014-03-26 歌乐株式会社 照相机的校准方法以及装置
US20140169636A1 (en) * 2012-12-05 2014-06-19 Denso Wave Incorporated Method and system for estimating attitude of camera
CN105164726A (zh) * 2013-01-24 2015-12-16 微软技术许可有限责任公司 用于3d重构的相机姿态估计
CN108022264A (zh) * 2016-11-01 2018-05-11 狒特科技(北京)有限公司 相机位姿确定方法及设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228694A1 (zh) * 2019-05-13 2020-11-19 长沙智能驾驶研究院有限公司 一种相机姿态信息检测方法、装置以及相应的智能驾驶设备
US12217448B2 (en) 2019-05-13 2025-02-04 Cidi Inc. Camera pose information detection method and apparatus, and corresponding intelligent driving device
CN110221328A (zh) * 2019-07-23 2019-09-10 广州小鹏汽车科技有限公司 一种组合导航方法和装置
CN114264310A (zh) * 2020-09-14 2022-04-01 阿里巴巴集团控股有限公司 定位及导航方法、装置、电子设备、计算机存储介质
CN112489131A (zh) * 2020-12-26 2021-03-12 上海有个机器人有限公司 基于路面检测构建代价地图的方法、装置、介质和机器人
CN112489131B (zh) * 2020-12-26 2024-04-05 上海有个机器人有限公司 基于路面检测构建代价地图的方法、装置、介质和机器人
CN113091889A (zh) * 2021-02-20 2021-07-09 周春伟 一种测量道路亮度的方法及装置
CN115460320A (zh) * 2021-06-09 2022-12-09 阿里巴巴新加坡控股有限公司 导航方法、装置、计算机存储介质及计算机程序产品
CN115794004A (zh) * 2021-09-09 2023-03-14 财团法人工业技术研究院 信息显示方法及其处理装置与信息显示系统
CN119975368A (zh) * 2025-01-20 2025-05-13 重庆长安汽车股份有限公司 信息获取方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US20220215573A1 (en) 2022-07-07
CN109903346B (zh) 2019-09-06
WO2020228694A1 (zh) 2020-11-19
US12217448B2 (en) 2025-02-04

Similar Documents

Publication Publication Date Title
CN109903346A (zh) 相机姿态检测方法、装置、设备及存储介质
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN111079565B (zh) 视图二维姿态模板的构建方法及识别方法、定位抓取系统
CN109752003B (zh) 一种机器人视觉惯性点线特征定位方法及装置
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
CN109816730A (zh) 工件抓取方法、装置、计算机设备和存储介质
CN106548486A (zh) 一种基于稀疏视觉特征地图的无人车位置跟踪方法
CN105469386B (zh) 一种确定立体相机高度与俯仰角的方法及装置
CN111127540B (zh) 一种三维虚拟空间自动测距方法及系统
US9214025B2 (en) Depth estimation using normalized displacement of image pairs
CN112767482B (zh) 一种多传感器融合的室内外定位方法及系统
JP2020180914A (ja) 対象物の位置姿勢を検出する装置、方法およびプログラム
US20150288878A1 (en) Camera modeling system
JPS60200111A (ja) 3次元物体認識装置
CN112146647B (zh) 一种地面纹理的双目视觉定位方法及芯片
CN114359384A (zh) 一种车辆定位方法、装置、车辆系统和存储介质
CN112017236A (zh) 一种基于单目相机计算目标物位置的方法及装置
CN110348351A (zh) 一种图像语义分割的方法、终端和可读存储介质
CN111028264B (zh) 一种旋转鲁棒的三维物体检测优化方法及装置
CN115115684A (zh) 标定方法、系统、电子设备和计算机可读存储介质
CN115164885A (zh) 图像的逆透视变换方法、装置及电子设备、存储介质
CN120206523A (zh) 基于单目相机与机械臂结合的集装箱锁销定位方法及系统
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Camera attitude detection method, device, equipment and storage medium

Effective date of registration: 20220303

Granted publication date: 20190906

Pledgee: China Minsheng Bank Co.,Ltd. Xiangtan sub branch

Pledgor: CHANGSHA INTELLIGENT DRIVING RESEARCH INSTITUTE Co.,Ltd.

Registration number: Y2022430000015

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230601

Granted publication date: 20190906

Pledgee: China Minsheng Bank Co.,Ltd. Xiangtan sub branch

Pledgor: CHANGSHA INTELLIGENT DRIVING RESEARCH INSTITUTE Co.,Ltd.

Registration number: Y2022430000015

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Building A3 and A4, Hunan Inspection and testing characteristic industrial park, No. 336, bachelor Road, Yuelu District, Changsha City, Hunan Province

Patentee after: Xidi Intelligent Driving (Hunan) Co.,Ltd.

Country or region after: China

Address before: Building A3 and A4, Hunan Inspection and testing characteristic industrial park, No. 336, bachelor Road, Yuelu District, Changsha City, Hunan Province

Patentee before: CHANGSHA INTELLIGENT DRIVING RESEARCH INSTITUTE Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Building A3 and A4, Hunan Inspection and testing characteristic industrial park, No. 336, bachelor Road, Yuelu District, Changsha City, Hunan Province

Patentee after: Xidi Intelligent Driving Technology Co.,Ltd.

Country or region after: China

Address before: Building A3 and A4, Hunan Inspection and testing characteristic industrial park, No. 336, bachelor Road, Yuelu District, Changsha City, Hunan Province

Patentee before: Xidi Intelligent Driving (Hunan) Co.,Ltd.

Country or region before: China