CN111489288B - 一种图像的拼接方法和装置 - Google Patents

Abstract

本发明实施例公开了一种图像的拼接方法和装置，该方法包括：获取车辆各路摄像头采集的原始图像，确定各原始图像中各像素在图像像素坐标系中的第一坐标；基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头物理成像平面与摄像头归一化平面的第二映射关系，计算第一坐标在摄像头坐标系中的位置到摄像头坐标系原点的距离；根据该距离、摄像头成像模型和畸变模型，得到第一坐标在摄像头坐标系中的第二坐标；根据第二坐标以及第一映射关系，确定第一坐标在世界坐标系中的目标坐标，并基于各目标坐标将各原始图像进行拼接得到全景俯视图。通过采用上述技术方案，在无需单独计算各路相机对应的单应矩阵的情况下，能够快速有效地生成俯视拼接图。

Description

一种图像的拼接方法和装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像的拼接方法和装置。

背景技术

目前，在自动驾驶领域基于视觉的SLAM(simultaneous localization andmapping，即时定位与地图构建)方案中，一种轻量级的方案是基于环视相机原图生成俯视拼接图进行后续的感知、定位和建图。对于拼接图来说，考虑到其作为后续所有操作的输入以及无人车实际运动情况，它必须满足两个要求：1、正确性，即拼接图必须是世界坐标系下的俯视拼接；2、动态性，即车体发生位姿变化时仍然得到正确的拼接图。

现有的拼接图方案分为两个阶段：第一阶段是通过铺设标定板去计算四路相机分别对应的单应矩阵，第二阶段是在无人车运动过程中，将四路相机的原图通过之前计算得到的单应矩阵变换到俯视平面完成拼接。但是该方案存在两个明显的问题：1、需要前期标定阶段去获取单应矩阵；2、单应矩阵只适用于与标定场一致的路面，一旦运动过程中车体发生变化，比如正在经过减速带，该方案会输出一张错误的拼接图，而错误的拼接图会对后续的定位和建图产生很大的误差。

发明内容

本发明实施例公开了一种图像的拼接方法和装置，在无需单独计算各路相机对应的单应矩阵的情况下，能够快速有效地生成俯视拼接图。

第一方面，本发明实施例公开了一种图像的拼接方法，该方法包括：

获取车辆的各路摄像头所采集的原始图像，对于任意一幅原始图像，确定该原始图像中各像素在图像像素坐标系中的第一坐标；

基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头的物理成像平面与摄像头归一化平面之间的第二映射关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离，其中，所述物理成像平面和所述摄像头归一化平面均建立在所述摄像头坐标系下，距离所述摄像头坐标系原点的距离分别是摄像头焦距和预设单位距离；

根据所述距离、摄像头的预设成像模型和预设畸变模型，得到所述第一坐标在所述摄像头坐标系中对应的第二坐标；

根据所述第二坐标以及所述第一映射关系，确定所述第一坐标在所述世界坐标系中的目标坐标；

基于原始图像中不同像素在世界坐标系中对应的目标坐标，将各原始图像进行拼接，得到全景俯视图。

作为一种可选的实施方式，在本发明实施例第一方面中，根据世界坐标系到摄像头坐标系的变换矩阵，确定所述世界坐标系的原点坐标在所述摄像头坐标系中对应的原点映射坐标，以建立世界坐标系与所述摄像头坐标系之间的第一映射关系；

根据所述第一坐标和所述摄像头的参数，得到第一坐标在摄像头归一化平面的第三坐标，以建立摄像头的物理成像平面与所述摄像头归一化平面之间的第二映射关系。

作为一种可选的实施方式，在本发明实施例第一方面中，基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头的物理成像平面与摄像头归一化平面之间的第二映射关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离，包括：

根据所述原点映射坐标和所述摄像头坐标系的原点坐标得到第一向量，并根据所述摄像头坐标系的原点坐标和第一坐标在摄像头归一化平面中对应的第三坐标得到第二向量；

根据所述第一向量和所述第二向量之间的三角函数关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离。

作为一种可选的实施方式，在本发明实施例第一方面中，根据所述第一向量和所述第二向量之间的三角函数关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离，包括：

按照如下公式，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离：

其中，|OP|为第一坐标在摄像头坐标系中的对应位置与摄像头坐标系原点的距离；|OA|为第一向量的模；cos∠POP为第一向量和所述第二向量之间的三角函数关系；(u,v)为像素在图像像素坐标系中的第一坐标，

为世界坐标系的原点在摄像头坐标系中的原点映射坐标；(f_x,f_y,c_x,c_y)为摄像头的内参。

作为一种可选的实施方式，在本发明实施例第一方面中，根据所述第二坐标以及所述第一映射关系，确定所述第一坐标在所述世界坐标系中的目标坐标，包括：

基于世界坐标系与摄像头坐标系之间的变换矩阵，确定所述第一坐标在所述世界坐标系中的目标坐标，其中，所述变换矩阵为所述摄像头的外参。

作为一种可选的实施方式，在本发明实施例第一方面中，所述变换矩阵是通过如下步骤获得：

基于车辆上安装的定位传感器所采集的数据确定车辆位姿；

根据所述车辆位姿以及摄像头在所述车辆中的安装位置确定所述变换矩阵。

第二方面，本发明实施例还提供了一种图像的拼接装置，该装置包括：

第一坐标确定模块，用于获取车辆的各路摄像头所采集的原始图像，对于任意一幅原始图像，确定该原始图像中各像素在图像像素坐标系中的第一坐标；

距离计算模块，用于基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头的物理成像平面与摄像头归一化平面之间的第二映射关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离，其中，所述物理成像平面和所述摄像头归一化平面均建立在所述摄像头坐标系下，距离所述摄像头坐标系原点的距离分别是摄像头焦距和预设单位距离；

第二坐标确定模块，用于根据所述距离、摄像头的预设成像模型和预设畸变模型，得到所述第一坐标在所述摄像头坐标系中对应的第二坐标；

目标坐标确定模块，用于根据所述第二坐标以及所述第一映射关系，确定所述第一坐标在所述世界坐标系中的目标坐标；

图像拼接模块，用于基于原始图像中不同像素在世界坐标系中对应的目标坐标，将各原始图像进行拼接，得到全景俯视图。

作为一种可选的实施方式，在本发明实施例第二方面中，根据世界坐标系到摄像头坐标系的变换矩阵，确定所述世界坐标系的原点坐标在所述摄像头坐标系中对应的原点映射坐标，以建立世界坐标系与所述摄像头坐标系之间的第一映射关系；

根据所述第一坐标和所述摄像头的参数，得到第一坐标在摄像头归一化平面的第三坐标，以建立摄像头的物理成像平面与所述摄像头归一化平面之间的第二映射关系。

作为一种可选的实施方式，在本发明实施例第二方面中，所述距离计算模块包括：

向量确定单元，用于根据所述原点映射坐标和所述摄像头坐标系的原点坐标得到第一向量，并根据所述摄像头坐标系的原点坐标和第一坐标在摄像头归一化平面中对应的第三坐标得到第二向量；

距离计算单元，用于根据所述第一向量和所述第二向量之间的三角函数关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离。

作为一种可选的实施方式，在本发明实施例第二方面中，所述距离计算单元具体用于：

其中，|OP|为第一坐标在摄像头坐标系中的对应位置与摄像头坐标系原点的距离；|OA|为第一向量的模；cos∠POP为第一向量和所述第二向量之间的三角函数关系；(u,v)为像素在图像像素坐标系中的第一坐标，

为世界坐标系的原点在摄像头坐标系中的原点映射坐标；(f_x,f_y,c_x,c_y)为摄像头的内参。

作为一种可选的实施方式，在本发明实施例第二方面中，所述目标坐标确定模块具体用于：

基于世界坐标系与摄像头坐标系之间的变换矩阵，确定所述第一坐标在所述世界坐标系中的目标坐标，其中，所述变换矩阵为所述摄像头的外参。

作为一种可选的实施方式，在本发明实施例第二方面中，所述变换矩阵是通过如下模块获得：

车辆位姿确定模块，用于基于车辆上安装的定位传感器所采集的数据确定车辆位姿；

变化矩阵确定模块，用于根据所述车辆位姿以及摄像头在所述车辆中的安装位置确定所述变换矩阵。

第三方面，本发明实施例还提供了一种车载终端，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的图像的拼接方法的部分或全部步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的图像的拼接方法的部分或全部步骤的指令。

第五方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的图像的拼接方法的部分或全部步骤。

本发明实施例提供的技术方案，在拼图过程中避免了单应矩阵的标定，具体是以摄像头坐标系为基准，通过建立摄像头成像平面、摄像头归一化平面以及二者之间的映射关系，并通过建立世界坐标系与摄像头坐标系之间的映射关系，将坐标系统一换算到摄像头坐标系下。在得到摄像头拍摄的原始图像中各像素的第一坐标后，通过确定各像素在摄像头坐标系中的第二坐标，并根据摄像头坐标系与世界坐标系之间的映射关系，可计算出第二坐标在世界坐标系中对应的目标坐标。通过将原始图像中不同像素的第一坐标换算到世界坐标系中对应的目标坐标后，可将各原始图像进行拼接，得到全景俯视图。通过采用上述技术方案，避免了在进行图像拼接时对摄像头单应矩阵的标定，并且对于不同的路面，均能够快速准确地得出全景俯视拼接图，其方法简单，实用性强。利用本发明实施例提供的全景俯视拼接图，可实现对车辆进行精准定位。

本发明的发明点包括：

1、通过建立摄像头成像平面、摄像头归一化平面以及二者之间的映射关系，并通过建立世界坐标系与摄像头坐标系之间的映射关系，将坐标系统一换算到摄像头坐标系下，避免了对单应矩阵的标定，是本发明的发明点之一。

2、在计算图像像素坐标系中的第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离时，是通过采用如下公式进行计算的：

通过采用上述公式，并结合摄像头的预设成像模型，可确定出该第一坐标在摄像头坐标系中的第二坐标。由于世界坐标系与摄像头坐标系之间存在映射关系，因此，可将第二坐标换算成在世界坐标系中的目标坐标。该换算方法简单易行，具有较高的准确性和实时性，是本发明的发明点之一。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像的拼接方法的流程示意图；

图2为本发明实施例提供的一种坐标系映射关系示意图；

图3是本发明实施例提供的一种图像的拼接装置的结构示意图；

图4是本发明实施例提供的一种车载终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

请参阅图1，图1是本发明实施例提供的一种图像的拼接方法的流程示意图。该方法应用于自动驾驶中，可由图像的拼接方法装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车载终端中，本发明实施例不做限定。如图1所示，本实施例提供的图像的拼接方法具体包括：

110、获取车辆的各路摄像头所采集的原始图像，对于任意一幅原始图像，确定该原始图像中各像素在图像像素坐标系中的第一坐标。

其中，各路摄像头一般安装在车辆的不同位置，以对不同方向的道路信息进行拍摄。优选的，各路摄像头可为分别安装在车辆前、后、左和右四个方向，每个摄像头的取景范围至少包括该摄像头的下方地面。

本实施例中，摄像头优选为鱼眼摄像头，鱼眼摄像头的视场(Field OF View，FOV)较大，可以使得单个鱼眼摄像头拍摄到的目标图像中尽可能多地包括车辆的周边环境，提高观测的完整性进，有助于提高后续车辆定位的精度。安装在上述四个方向的摄像头组成了摄像头的环视方案，使得车载终端可以一次性获取到车辆周边各个方向的环境信息，从而可以使得利用单次采集得到的目标图像构建出的局部地图包含更多的信息。此外，四路摄像头采集的图像数据存在一定的冗余，如果某一路摄像头失效，其余摄像头采集的图像数据可以作为补充，对车载终端构建地图和定位的影响较低。

本实施例中，可将安装在车辆各个方向的摄像头在同一时刻拍摄到的图像进行拼接，得到的俯视拼接图包含了以车辆为中心360度的环境信息。通过识别俯视拼接图，可得到各个语义特征的位置信息。但由于摄像头所采集的原始图像中各像素是以图像像素坐标系为基准来确定其位置的，且各路摄像头所拍摄图像的像素坐标系并不在同一个坐标系下，。因此，为了同时观测到不同方向车辆的环境信息，需将原始图像中各像素所在的图像像素坐标系转换到同一个的坐标系下，即本实施例下文中所提到的世界坐标系。对于任意一幅摄像头所拍摄的原始图像，在确定出该原始图像中各像素在图像像素坐标系中的第一坐标在世界坐标系中对应的目标位置之后，可将各路摄像头所拍摄的图像拼接成以世界坐标系为基准的俯视图。

120、基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头的物理成像平面与摄像头归一化平面之间的第二映射关系，计算第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离。

下面首先对本实施例中的第一映射关系进行说明：

本实施例中，第一映射关系是指摄像头坐标系与世界坐标系的映射关系。作为一种可选的实施方式，该第一映射关系的建立，可通过将世界坐标系中的任意一点映射到摄像头坐标系来实现。本实施例中，优选将世界坐标系的原点映射到摄像头坐标系中，通过确定世界坐标系原点在摄像头坐标系中的坐标，可建立二者之间的映射关系。其中，世界坐标系的原点可设置在车辆的任意位置，例如可设置在车体的正中心位置，本实施例将其设置于地面。

示例性的，可通过根据世界坐标系到摄像头坐标系的变换矩阵，确定世界坐标系的原点坐标在摄像头坐标系中对应的原点映射坐标，以建立世界坐标系与摄像头坐标系之间的第一映射关系。其中，变换矩阵是摄像头坐标系与世界坐标系之间的位置转换关系。本领域技术人员可以理解的是，变换矩阵可通过如下步骤来获得：

基于车辆上安装的定位传感器所采集的数据确定车辆位姿，根据车辆位姿以及摄像头在车辆中的安装位置确定变换矩阵。其中，定位传感器可以为图像传感器、陀螺仪或对地测距仪等。车辆位姿包括车辆的位置和姿态。本实施例中，由于摄像头是安装在车辆上的，因此，根据车辆位姿和摄像头的安装位置，可确定出摄像头的位姿，即摄像头相对于世界坐标系的相位位置关系，也即变换矩阵，该变换矩阵可作为摄像头的外参。

优选的，可通过VO(Visual Odometry，视觉里程计)方法来确定摄像头的外参。其中，VO方法的输入为上述各传感器所采集的数据，输出即为摄像头的外参。

下面对本实施例中的第二映射关系进行说明：

本实施例中，第二映射关系是指摄像头的物理成像平面与摄像头归一化平面之间的映射关系。作为一种可选的实施方式，该第二映射关系的建立可将世界坐标系中的任意一点在摄像头物理成像平面中的坐标映射到摄像头归一化平面中，通过确定物理成像平面中的点在摄像头归一化平面中的坐标，可建立二者之间的映射关系。

其中，摄像头的物理成像平面是指底片、CCD(Charge-coupled Device，电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等成像平面。本实施例中，摄像头的物理成像平面建立在摄像头坐标系下，在Z轴负方向上与摄像头光心之间的距离为摄像头的焦距。摄像头归一化平面也建立在摄像头坐标系下，在Z轴正方向与摄像头光心的距离为预设单位距离，该预设单位距离优选设置为1米。其中，摄像头坐标系是以摄像头的光心作为原点，平行于光心所在平面向左的方向为X轴，垂直于X轴向下方向为Y轴，垂直于光心所在平面向外的方向为Z轴方向。

具体的，图2为本发明实施例提供的一种坐标系映射关系示意图。如图2所示，设定世界坐标系的原点在点A(A点是地面上的任意一点)，地面的法向量

世界坐标系到摄像头坐标系的变换矩阵为R。另外，摄像头坐标系中x,y,z轴的方向向量分别为

和

A点在相机坐标系中x,y,z轴的投影长

和

分别为：

和

因此，A点在摄像头坐标系中的坐标

可以表示为：

这样即建立了世界坐标系与摄像头坐标系的第一映射关系。

对于世界坐标系中的任意一点P，该点在图像像素坐标系中的第一坐标为(u,v)，在摄像头坐标系中的坐标为

根据第一坐标和摄像头的内参(f_x,f_y,c_x,c_y)，可得到第一坐标在摄像头归一化平面的点p″的第三坐标为：

这样即建立了摄像头的物理成像平面与摄像头归一化平面的第二映射关系。

在第一映射关系和第二映射关系建立之后，可基于第一映射关系和第二映射关系计算出第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离，即图2中OP的距离。

需要说明的是，本实施例在计算OP的距离时，是将坐标系统一到摄像头坐标系下进行计算的，即在计算过程中所用到的各点的坐标均为各点在摄像头坐标系下的坐标。当然，OP的计算方式还可在其他坐标系下，例如可在世界坐标系下进行计算，此时，各点的坐标即为在世界坐标系下对应的坐标。

本实施例中，在计算OP距离时，可基于OA与OP之间的几何关系进行计算。如图2所示，OA和OP之间可构建的几何关系有多种，本实施例优选采用OA、OP和∠POA之间的三角函数关系进行计算。

具体的，可根据世界坐标系原点在摄像头坐标系中的原点映射坐标

和摄像头坐标系的原点坐标O得到第一向量

并根据摄像头坐标系的原点坐标O和第一坐标在摄像头归一化平面对应位置的坐标

得到第二向量

根据第一向量

和第二向量

可计算出cos∠POA，具体的：

其中，|OP″|为第一坐标在摄像头归一化平面中的对应位置到摄像头坐标系原点的距离；|OA|为第一向量的模，表示的是摄像头到地面的距离，该距离可通过对地测距仪测量得到；cos∠POA为第一向量和第二向量之间的余弦值；(u,v)为像素在图像像素坐标系中的第一坐标，

为世界坐标系的原点在摄像头坐标系中的原点映射坐标；(f_x,f_y,c_x,c_y)为摄像头的内参。

在计算出cos∠POA后，可根据OA、OP和∠POA之间的三角函数关系，计算出第一坐标在摄像头坐标系中的对应位置到摄像头坐标系的原点的距离。具体的，可通过如下公式进行计算：

130、根据第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离、摄像头的预设成像模型和预设畸变模型，得到第一坐标在摄像头坐标系中对应的第二坐标。

其中，摄像头的预设成像模型为：zp_uv＝Kp_c。该模型中，p_uv表示世界坐标系中的任意一点在图像像素坐标系中的坐标，p_c表示世界坐标系中的任意一点在摄像头坐标系中的坐标，K表示摄像头的内参。该模型表示的将图像像素坐标系中的像素点转换到摄像头坐标系中。通过该预设成像模型可得到利用P点在摄像头坐标系中的第二坐标p_c＝(x,y,z)来表示第二坐标到到摄像头原点的距离|OP|的公式，即

此外，本实施例中，预设畸变模型可通过如下方程组来表示：

其中，(x_distort,y_distor)_t表示第一坐标对应点在摄像头的物理成像平面中的对应坐标；g(x_distort,y_distort)和l(x_distort,y_distort)分别表示在摄像头坐标系下x轴和y轴的反畸变函数。

上述方程组中的第一个和第二个公式表示的是图像像素平面与摄像头的物理成像平面之间的映射关系，第三个和第四个公式表示的是物理成像平面与摄像头归一化平面之间的映射关系。通过采用上述公式，可将物理成像平面中的坐标进行反畸变得到其在摄像头归一化平面中的对应坐标，即本实施例中的第三坐标。由于摄像头归一化平面是建立在摄像头坐标系下，且到摄像头光心所在平面的距离为1米，因此，根据第三坐标可得到世界坐标系中的任意一点在摄像头坐标系中的第二坐标，该第二坐标可通过如下公式来表示：

需要说明的是，本实施例中所涉及到的反畸变模型针对的是非针孔摄像头，例如鱼眼相机。但如果拍摄图片时采用的是针孔摄像头，由于针孔摄像头不存在畸变，因此可直接根据第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离以及摄像头的预设成像模型，得到第一坐标在摄像头坐标系中对应的第二坐标。

140、根据第二坐标以及世界坐标系与摄像头坐标系之间的映射关系，确定第一坐标在世界坐标系中的目标坐标。

其中，世界坐标系与摄像头坐标系之间的映射关系可通过变换矩阵来表示，该变换矩阵包括旋转矩阵R和偏移向量t，即相机坐标系只需通过旋转和平移即可变换到世界坐标系中。该变换矩阵可作为摄像头的外参。其中，变换矩阵的确定方式可参照步骤120的解释，此处不再赘述。

本实施例中，可基于世界坐标系与摄像头坐标系之间的变换矩阵，确定所述第一坐标在所述世界坐标系中的目标坐标。

150、基于原始图像中不同像素在世界坐标系中对应的目标坐标，将各原始图像进行拼接，得到全景俯视图。

对于任意一路摄像头所采集的原始图像，通过确定图像中各像素的坐标(u,v)，可按照上述过程得出各像素在世界坐标系中的目标坐标p_w＝(x_w,y_w,z_w)。根据预设全景俯视图的尺寸，可对世界坐标系中的x_w、y_w和z_w进行一定程度的缩放，从而确定世界坐标系中的各点在全景俯视图中对应像素的位置，以得到全景俯视图。

本实施例提供的技术方案，通过确定摄像头拍摄的原始图像中各像素在图像像素坐标系中的第一坐标，并基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头的物理成像平面与摄像头归一化平面之间的第二映射关系，可计算出第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离。根据该距离、摄像头的预设成像模型和预设畸变模型，可得到第一坐标在摄像头坐标系中对应的第二坐标。根据该第二坐标和世界坐标系与摄像头坐标系之间的变换矩阵，可确定第一坐标在世界坐标系中对应的目标坐标。将原始图像中不同像素的第一坐标换算到世界坐标系中对应的目标坐标后，可将各原始图像进行拼接，得到全景俯视图。通过采用上述技术方案，避免了在进行图像拼接时对各路摄像头单应矩阵的标定。对于不同的路面，均能够快速准确地得出全景俯视拼接图，其方法简单，实用性强。

实施例二

请参阅图3，图3是本发明实施例提供的一种图像的拼接装置的结构示意图。如图3所示，该装置包括：第一坐标确定模块210、距离计算模块220、第二坐标确定模块230、目标坐标确定模块240和图像拼接模块250。

其中，第一坐标确定模块210，用于获取车辆的各路摄像头所采集的原始图像，对于任意一幅原始图像，确定该原始图像中各像素在图像像素坐标系中的第一坐标；

距离计算模块220，用于基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头的物理成像平面与摄像头归一化平面之间的第二映射关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离，其中，所述物理成像平面和所述摄像头归一化平面均建立在所述摄像头坐标系下，距离所述摄像头坐标系原点的距离分别是摄像头焦距和预设单位距离；

第二坐标确定模块230，用于根据所述距离、摄像头的预设成像模型和预设畸变模型，得到所述第一坐标在所述摄像头坐标系中对应的第二坐标；

目标坐标确定模块240，用于根据所述第二坐标以及所述第一映射关系，确定所述第一坐标在所述世界坐标系中的目标坐标；

图像拼接模块250，用于基于原始图像中不同像素在世界坐标系中对应的目标坐标，将各原始图像进行拼接，得到全景俯视图。

本实施例提供的技术方案，通过确定摄像头拍摄的原始图像中各像素在图像像素坐标系中的第一坐标，并基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头的物理成像平面与摄像头归一化平面之间的第二映射关系，可计算出第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离。根据该距离、摄像头的预设成像模型和预设畸变模型，可得到第一坐标在摄像头坐标系中对应的第二坐标。根据该第二坐标和世界坐标系与摄像头坐标系之间的变换矩阵，可确定第一坐标在世界坐标系中对应的目标坐标。将原始图像中不同像素的第一坐标换算到世界坐标系中对应的目标坐标后，可将各原始图像进行拼接，得到全景俯视图。通过采用上述技术方案，避免了在进行图像拼接时对各路摄像头单应矩阵的标定。对于不同的路面，均能够快速准确地得出全景俯视拼接图，其方法简单，可实用性强。

在上述实施例的基础上，在本发明实施例第二方面中，根据世界坐标系到摄像头坐标系的变换矩阵，确定所述世界坐标系的原点坐标在所述摄像头坐标系中对应的原点映射坐标，以建立世界坐标系与所述摄像头坐标系之间的第一映射关系；

根据所述第一坐标和所述摄像头的参数，得到第一坐标在摄像头归一化平面的第三坐标，以建立摄像头的物理成像平面与所述摄像头归一化平面之间的第二映射关系。

在上述实施例的基础上，在本发明实施例第二方面中，所述距离计算模块包括：

向量确定单元，用于根据所述原点映射坐标和所述摄像头坐标系的原点坐标得到第一向量，并根据所述摄像头坐标系的原点坐标和第一坐标在摄像头归一化平面中对应的第三坐标得到第二向量；

距离计算单元，用于根据所述第一向量和所述第二向量之间的三角函数关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离。

在上述实施例的基础上，在本发明实施例第二方面中，所述距离计算单元具体用于：

其中，|OP|为第一坐标在摄像头坐标系中的对应位置与摄像头坐标系原点的距离；|OA|为第一向量的模；cos∠POP为第一向量和所述第二向量之间的三角函数关系；(u,v)为像素在图像像素坐标系中的第一坐标，

为世界坐标系的原点在摄像头坐标系中的原点映射坐标；(f_x,f_y,c_x,c_y)为摄像头的内参。

在上述实施例的基础上，在本发明实施例第二方面中，所述目标坐标确定模块具体用于：

基于世界坐标系与摄像头坐标系之间的变换矩阵，确定所述第一坐标在所述世界坐标系中的目标坐标，其中，所述变换矩阵为所述摄像头的外参。

在上述实施例的基础上，在本发明实施例第二方面中，所述变换矩阵是通过如下模块获得：

车辆位姿确定模块，用于基于车辆上安装的定位传感器所采集的数据确定车辆位姿；

变化矩阵确定模块，用于根据所述车辆位姿以及摄像头在所述车辆中的安装位置确定所述变换矩阵。

本发明实施例所提供的车辆的定位装置可执行本发明任意实施例所提供的图像的拼接方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的图像的拼接方法。

实施例三

请参阅图4，图4是本发明实施例提供的一种车载终端的结构示意图。如图4所示，该车载终端可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行本发明任意实施例所提供的图像的拼接方法。

本发明实施例还提供了另外一种车载终端，包括存储有可执行程序代码的存储器；与存储器耦合的处理器；其中，处理器调用存储器中存储的可执行程序代码，执行本发明任意实施例所提供的地图的构建方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的图像的拼接方法。

本发明实施例公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的图像的拼接方法的部分或全部步骤。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于自动驾驶电子导航地图的驾驶策略生成方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像的拼接方法，其特征在于，包括：

获取车辆的各路摄像头所采集的原始图像，对于任意一幅原始图像，确定该原始图像中各像素在图像像素坐标系中的第一坐标；

基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头的物理成像平面与摄像头归一化平面之间的第二映射关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离，其中，所述物理成像平面和所述摄像头归一化平面均建立在所述摄像头坐标系下，距离所述摄像头坐标系原点的距离分别是摄像头焦距和预设单位距离；

根据所述距离、摄像头的预设成像模型和预设畸变模型，得到所述第一坐标在所述摄像头坐标系中对应的第二坐标；

根据所述第二坐标以及所述第一映射关系，确定所述第一坐标在所述世界坐标系中的目标坐标；

基于原始图像中不同像素在世界坐标系中对应的目标坐标，将各原始图像进行拼接，得到全景俯视图。

2.根据权利要求1所述的方法，其特征在于，所述第一映射关系和所述第二映射关系通过如下方式得到：

根据世界坐标系到摄像头坐标系的变换矩阵，确定所述世界坐标系的原点坐标在所述摄像头坐标系中对应的原点映射坐标，以建立世界坐标系与所述摄像头坐标系之间的第一映射关系；

根据所述第一坐标和所述摄像头的参数，得到第一坐标在摄像头归一化平面的第三坐标，以建立摄像头的物理成像平面与所述摄像头归一化平面之间的第二映射关系。

3.根据权利要求2所述的方法，其特征在于，基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头的物理成像平面与摄像头归一化平面之间的第二映射关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离，包括：

根据所述原点映射坐标和所述摄像头坐标系的原点坐标得到第一向量，并根据所述摄像头坐标系的原点坐标和第一坐标在摄像头归一化平面中对应的第三坐标得到第二向量；

根据所述第一向量和所述第二向量之间的三角函数关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离。

4.根据权利要求3所述的方法，其特征在于，根据所述第一向量和所述第二向量之间的三角函数关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离，包括：

按照如下公式，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离：

其中，|OP|为第一坐标在摄像头坐标系中的对应位置与摄像头坐标系原点的距离；|OA|为第一向量的模；cos∠POP为第一向量和所述第二向量之间的三角函数关系；(u,v)为像素在图像像素坐标系中的第一坐标，

为世界坐标系的原点在摄像头坐标系中的原点映射坐标；(f_x,f_y,c_x,c_y)为摄像头的内参。

5.根据权利要求1-4任一所述的方法，其特征在于，根据所述第二坐标以及所述第一映射关系，确定所述第一坐标在所述世界坐标系中的目标坐标，包括：

基于世界坐标系与摄像头坐标系之间的变换矩阵，确定所述第一坐标在所述世界坐标系中的目标坐标，其中，所述变换矩阵为所述摄像头的外参。

6.根据权利要求5所述的方法，其特征在于，所述变换矩阵是通过如下步骤获得：

基于车辆上安装的定位传感器所采集的数据确定车辆位姿；

根据所述车辆位姿以及摄像头在所述车辆中的安装位置确定变换矩阵。

7.一种图像的拼接装置，应用于自动驾驶，其特征在于，包括：

第一坐标确定模块，用于获取车辆的各路摄像头所采集的原始图像，对于任意一幅原始图像，确定该原始图像中各像素在图像像素坐标系中的第一坐标；

距离计算模块，用于基于摄像头坐标系与世界坐标系的第一映射关系，以及摄像头的物理成像平面与摄像头归一化平面之间的第二映射关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离，其中，所述物理成像平面和所述摄像头归一化平面均建立在所述摄像头坐标系下，距离所述摄像头坐标系原点的距离分别是摄像头焦距和预设单位距离；

第二坐标确定模块，用于根据所述距离、摄像头的预设成像模型和预设畸变模型，得到所述第一坐标在所述摄像头坐标系中对应的第二坐标；

目标坐标确定模块，用于根据所述第二坐标以及所述第一映射关系，确定所述第一坐标在所述世界坐标系中的目标坐标；

图像拼接模块，用于基于原始图像中不同像素在世界坐标系中对应的目标坐标，将各原始图像进行拼接，得到全景俯视图。

8.根据权利要求7所述的装置，其特征在于，包括：

根据世界坐标系到摄像头坐标系的变换矩阵，确定所述世界坐标系的原点坐标在所述摄像头坐标系中对应的原点映射坐标，以建立世界坐标系与所述摄像头坐标系之间的第一映射关系；

根据所述第一坐标和所述摄像头的参数，得到第一坐标在摄像头归一化平面的第三坐标，以建立摄像头的物理成像平面与所述摄像头归一化平面之间的第二映射关系。

9.根据权利要求8所述的装置，其特征在于，所述距离计算模块包括：

向量确定单元，用于根据所述原点映射坐标和所述摄像头坐标系的原点坐标得到第一向量，并根据所述摄像头坐标系的原点坐标和第一坐标在摄像头归一化平面中对应的第三坐标得到第二向量；

距离计算单元，用于根据所述第一向量和所述第二向量之间的三角函数关系，计算所述第一坐标在摄像头坐标系中的对应位置到摄像头坐标系原点的距离。

10.根据权利要求9所述的装置，其特征在于，所述距离计算单元具体用于：

其中，|OP|为第一坐标在摄像头坐标系中的对应位置与摄像头坐标系原点的距离；|OA|为第一向量的模；cos∠POP为第一向量和所述第二向量之间的三角函数关系；(u,v)为像素在图像像素坐标系中的第一坐标，

为世界坐标系的原点在摄像头坐标系中的原点映射坐标；(f_x,f_y,c_x,c_y)为摄像头的内参。

Images