CN116684569A

CN116684569A - 一种虚拟立体物体成像方法、装置、相机及存储介质

Info

Publication number: CN116684569A
Application number: CN202310651109.0A
Authority: CN
Inventors: 张意贺; 张伟伟; 赵珊; 刘媛媛
Original assignee: Faw Nanjing Technology Development Co ltd; FAW Group Corp
Current assignee: Faw Nanjing Technology Development Co ltd; FAW Group Corp
Priority date: 2023-06-02
Filing date: 2023-06-02
Publication date: 2023-09-01

Abstract

本发明公开了一种虚拟立体物体成像方法、装置、相机及存储介质。该方法包括：响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体；基于中心投影原理将目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像；对虚拟投影平面上的虚拟投影像进行成像。本发明实施例提供的技术方案，可以在适用各种需求的同时，节省对立体物体进行更换所耗费的时间和人力资源，得到目标虚拟立体物体在真实的相机模型中所呈现出来的视觉效果，进而提高视觉算法评估的效率和准确率。

Description

一种虚拟立体物体成像方法、装置、相机及存储介质

技术领域

本发明涉及物体成像领域，尤其涉及一种虚拟立体物体成像方法、装置、相机及存储介质。

背景技术

车载摄像头是实现众多预警，识别高级驾驶辅助系统(ADAS)功能的基础，而车载摄像头所使用的视觉算法则决定了车载摄像头所捕捉到的画面的质量。

目前，在视觉算法开发过程中，经常采用在拼接缝处放置立体物体的方法对算法进行评估或者对成像效果评估。

在对算法进行评估时，需要对算法的各方面性能进行评估，期间需要更换不同的立体物体来对不同的场景进行模拟，采用上述方案会导致采集数据的流程繁琐且耗时耗力。

发明内容

本发明提供了一种虚拟立体物体成像方法、装置、相机及存储介质，以实现在适用各种需求的同时，节省对立体物体进行更换所耗费的时间和人力资源，得到目标虚拟立体物体在真实的相机模型中所呈现出来的视觉效果，进而提高视觉算法评估的效率和准确率的效果。

根据本发明的一方面，提供了一种虚拟立体物体成像方法，所述方法包括：

响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体；

基于中心投影原理将所述目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像；

对所述虚拟投影平面上的所述虚拟投影像进行成像。

根据本发明的另一方面，提供了一种虚拟立体物体成像装置，所述装置包括：

目标虚拟立体物体创建模块，用于响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体；

目标虚拟立体物体投影模块，用于基于中心投影原理将所述目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像；

虚拟投影像成像模块，用于对所述虚拟投影平面上的所述虚拟投影像进行成像。

根据本发明的另一方面，提供了一种相机，所述相机包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的虚拟立体物体成像方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的虚拟立体物体成像方法。

本发明实施例，响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体，可以在对视觉算法进行评估时，通过创建不同目标虚拟立体物体来适用各种需求，节省对立体物体进行更换所耗费的时间和人力资源；基于中心投影原理将目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像，可以得到更加符合相机视觉效果的虚拟投影像；对虚拟投影平面上的虚拟投影像进行成像，可以得到目标虚拟立体物体在真实的相机模型中所呈现出来的视觉效果。本发明实施例提供的技术方案，可以提高视觉算法评估的效率和准确率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种虚拟立体物体成像方法的流程图；

图2是根据本发明实施例二提供的一种虚拟立体物体成像方法的流程图；

图3是根据本发明实施例三提供的一种虚拟立体物体成像方法的流程图；

图4是根据本发明实施例四提供的一种虚拟立体物体成像方法的流程图；

图5是实施例四提供的一种由世界坐标系到虚拟相机坐标系的转换示意图；

图6是根据本发明实施例五提供的一种虚拟立体物体成像装置的结构示意图；

图7是实现本发明实施例的虚拟立体物体成像方法的相机的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种虚拟立体物体成像方法的流程图，本实施例可适用于对虚拟立体物体进行成像的情况，该方法可以由虚拟立体物体成像装置来执行，该虚拟立体物体成像装置可以采用硬件和/或软件的形式实现，该虚拟立体物体成像装置可配置于相机中。如图1所示，该方法包括：

S110、响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体。

其中，本发明实施例提供的虚拟立体物体成像方法可以应用于任何对虚拟立体物体成像的领域，如城市交通、智慧高速、车路协同、汽车安全、医疗、工业等领域。下面以该虚拟立体物体成像方法应用于车载领域为例进行解释说明。

车载摄像头是实现众多预警，识别高级驾驶辅助系统(ADAS)功能的基础，而车载摄像头所使用的视觉算法则决定了车载摄像头所捕捉到的画面的质量，因此，在视觉算法的开发过程中，需要对视觉算法的质量进行评估。可选地，在视觉算法开发过程中，通过在拼接缝处放置立体物体对算法进行评估。然而，由于在对算法进行评估时，需要对算法的各方面性能进行评估，期间需要更换不同的立体物体来对不同的场景进行模拟，采用该方案会导致采集数据的流程繁琐且耗时耗力。

在本发明实施例中，提供了一种新的解决办法。在对视觉算法进行评估时，用户可以触发预设的控件，响应于该控件的触发，生成虚拟立体物体成像事件，从而创建一个目标虚拟立体物体，并通过该目标虚拟立体物体，完成对视觉算法的评估。由此，可以在对视觉算法进行评估时，通过创建不同目标虚拟立体物体来适用各种需求，节省对立体物体进行更换所耗费的时间和人力资源，进而提高视觉算法评估的效率。

示例性的，在车辆行驶的过程中，由于车载摄像头的视野范围有限，车载摄像头并无法保证拍摄到所有位置的障碍物，此时若车辆的其他传感器或车载设备(如激光雷达)能够探测到障碍物，则触发虚拟立体物体成像事件，并在目标位置构建真实障碍物对应的目标虚拟立体物体，使车载摄像头对虚拟立体障碍物进行成像。例如，虚拟立体物体为长500mm、宽500mm、高1000mm的虚拟立体障碍物。其中，可以根据激光雷达探测数据确定目标位置及目标虚拟立体物体，激光雷达探测数据可以包括真实障碍物的大小、类型、位置等相关信息。

S120、基于中心投影原理将目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像。

中心投影是指空间任意直线均通过一个固定的投影中心投射到一个平面上而形成的透视关系。简单来说，一个点光源把一个图形照射到一个平面上，这个图形的影子就是它在这个平面上的中心投影。

在本发明实施例中，可以基于中心投影原理将目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像。在基于中心投影原理将目标虚拟立体物体投影到虚拟投影平面上之后，虽然得到的虚拟投影像的形状与目标虚拟立体物体的形状有很大不同，但虚拟投影像更加符合相机的视觉效果。

其中，虚拟投影平面可以理解为虚拟相机坐标系的投影平面。在本发明实施例中，可以构建虚拟相机坐标系，基于中心投影原理，将目标虚拟立体物体由世界坐标系投影至虚拟相机坐标系下的虚拟投影平面内，得到虚拟投影平面上的虚拟投影像。

S130、对虚拟投影平面上的虚拟投影像进行成像。

在本发明实施例中，相机对虚拟投影平面上的虚拟投影像进行成像，即可得到目标虚拟立体物体在真实的相机模型中所呈现出来的视觉效果，以此对视觉算法进行评估，可以提高视觉算法评估的准确性。其中，相机对虚拟投影平面上的虚拟投影像进行成像可以理解为：将虚拟投影平面上的虚拟投影像由虚拟相机坐标系转换到真实相机坐标系下，从而实现将目标虚拟立体物体由世界坐标系下转换到真实相机坐标系下，以实现对虚拟立体物体的成像。

实施例二

图2为本发明实施例二提供的一种虚拟立体物体成像方法的流程图，本发明实施例以上述实施例为基础进行优化，未在本发明实施例中详尽描述的方案见上述实施例。如图2所示，该方法包括：

S210、响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体。

S220、将世界坐标系下的目标虚拟立体物体转换到虚拟相机坐标系下。

由于相机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。

在本发明实施例中，创建的目标虚拟立体物体，可以理解为在世界坐标系下的虚拟立体物体，也即通过世界坐标系下的世界坐标对目标虚拟立体物体的位置信息进行描述。将世界坐标系下的目标虚拟立体物体转换到虚拟相机坐标系下，也即通过虚拟相机坐标系来进行目标虚拟立体物体位置的描述。由此，可以通过虚拟相机坐标对目标虚拟立体物体在环境中的位置进行精确的描述，简化后续的计算和处理流程。

S230、基于中心投影原理，将虚拟相机坐标系下的目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像。

在本发明实施例中，可以基于中心投影原理将虚拟相机坐标系下的目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像。在基于中心投影原理将虚拟相机坐标系下目标虚拟立体物体投影到虚拟投影平面上之后，虽然得到的虚拟投影像的形状与目标虚拟立体物体的形状有很大不同，但虚拟投影像更加符合相机的视觉效果。

S240、对虚拟投影平面上的虚拟投影像进行成像。

本发明实施例，响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体，可以在对视觉算法进行评估时，通过创建不同目标虚拟立体物体来适用各种需求，节省对立体物体进行更换所耗费的时间和人力资源；将世界坐标系下的目标虚拟立体物体转换到虚拟相机坐标系下，可以通过虚拟相机坐标对目标虚拟立体物体在环境中的位置进行精确的描述，方便后续的计算和处理流程；基于中心投影原理，将虚拟相机坐标系下的目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像，可以得到更加符合相机视觉效果的虚拟投影像；对虚拟投影平面上的虚拟投影像进行成像，可以得到目标虚拟立体物体在真实的相机模型中所呈现出来的视觉效果。本发明实施例提供的技术方案，可以提高视觉算法评估的效率和准确率，同时，简化了计算和处理流程。

实施例三

图3为本发明实施例三提供的一种虚拟立体物体成像方法的流程图，本发明实施例以上述实施例为基础进行优化，未在本发明实施例中详尽描述的方案见上述实施例。如图3所示，该方法包括：

S310、响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体。

S320、确定世界坐标系到虚拟相机坐标系的第一成像矩阵。

其中，世界坐标系和虚拟相机坐标系都是三维坐标系，从世界坐标系到虚拟相机坐标系是三维点到三维点的转换，主要用到旋转向量和平移向量。

在本发明实施例中，在进行世界坐标系到虚拟相机坐标系的转换时，需要先确定世界坐标系到虚拟相机坐标系的第一成像矩阵。可选的，确定所述世界坐标系到所述虚拟相机坐标系的第一成像矩阵，包括：确定所述虚拟坐标系下的虚拟相机的第一内参矩阵及第一外参矩阵；其中，所述虚拟相机的第一内参矩阵为所述相机的内参矩阵；根据所述第一内参矩阵及所述第一外参矩阵，确定所述世界坐标系到所述虚拟相机坐标系的第一成像矩阵。

S330、根据第一成像矩阵将世界坐标系下的目标虚拟立体物体转换到虚拟相机坐标系下。

在本发明实施例中，确定了世界坐标系到虚拟相机坐标系的第一成像矩阵之后，便可根据第一成像矩阵以及目标虚拟立体物体在世界坐标系的坐标，通过矩阵运算将世界坐标系下的目标虚拟立体物体转换到虚拟相机坐标系下。

S340、基于中心投影原理，将虚拟相机坐标系下的目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像。

S350、确定相机到虚拟投影平面的第二成像矩阵。

在本发明实施例中，相机到虚拟投影平面同样需要进行矩阵运算，因此，需要确定相机到虚拟投影平面的第二成像矩阵。可选的，确定所述相机到所述虚拟投影平面的第二成像矩阵，包括：确定所述相机的第二内参矩阵及第二外参矩阵；根据所述第二内参矩阵及所述第二外参矩阵，确定所述相机到所述虚拟投影平面的第二成像矩阵。

具体地，相机包括鱼眼相机。

S360、根据第二成像矩阵将虚拟相机坐标系下的虚拟投影像转换到真实相机坐标系下，以对虚拟投影像进行成像。

在本发明实施例中，确定了相机到虚拟投影平面的第二成像矩阵之后，便可根据第二成像矩阵以及虚拟投影像在虚拟相机坐标系下的坐标，通过矩阵运算将虚拟相机坐标系下的虚拟投影像转换到真实相机坐标系下。在将虚拟投影像转换到真实相机坐标系下之后，即可对虚拟投影像进行成像，得到目标虚拟立体物体在真实的相机模型中所呈现出来的视觉效果。

本发明实施例，响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体，可以在对视觉算法进行评估时，通过创建不同目标虚拟立体物体来适用各种需求，节省对立体物体进行更换所耗费的时间和人力资源；确定世界坐标系到虚拟相机坐标系的第一成像矩阵；根据第一成像矩阵将世界坐标系下的目标虚拟立体物体转换到虚拟相机坐标系下，可以通过虚拟相机坐标对目标虚拟立体物体在环境中的位置进行精确的描述，方便后续的计算和处理流程；基于中心投影原理，将虚拟相机坐标系下的目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像，可以得到更加符合相机视觉效果的虚拟投影像；确定相机到虚拟投影平面的第二成像矩阵；根据第二成像矩阵将虚拟相机坐标系下的虚拟投影像转换到真实相机坐标系下，以对虚拟投影像进行成像，可以得到目标虚拟立体物体在真实的相机模型中所呈现出来的视觉效果。本发明实施例提供的技术方案，可以提高视觉算法评估的效率和准确率，同时，简化了计算和处理流程。

实施例四

图4为本发明实施例四提供的一种虚拟立体物体成像方法的流程图，本发明实施例以上述实施例为基础进行优化，未在本发明实施例中详尽描述的方案见上述实施例。如图4所示，该方法包括：

S410、响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体。

S420、确定虚拟坐标系下的虚拟相机的第一内参矩阵及第一外参矩阵；其中，虚拟相机的第一内参矩阵为相机的内参矩阵。

在计算机视觉应用中，为了确定空间立体表面某点的三维几何位置与其在图像中对应点之间的互相关系，必须建立相机成像的几何模型，这个几何模型参数就是相机的参数，求解这些参数的过程即为相机标定。具体地，相机标定指建立相机图像像素位置与场景点位置之间的关系，根据相机成像模型，由特征点在图像中坐标与世界坐标的对应关系，求解相机模型的参数。其中，相机需要标定的模型参数包括内参和外参。

本发明实施例并不对相机的标定方法做具体限定，此处以张正友相机标定法为例进行解释说明。

其中，相机标定的流程主要包括以下步骤：

1、打印一张棋盘格并贴在一个平板上；

2、使用相机在各个角度进行棋盘格图片的拍摄；

3、在棋盘格图片上检测图像特征点，图像特征点即为棋盘格图片中的格子的角点；

4、根据角点的位置信息及角点在图像中的坐标求解无畸变的相机的内参和外参；

5、根据无畸变的相机的内参和外参，利用最小二乘法求解畸变系数；

6、根据畸变系数、无畸变的相机的内参和外参，利用极大似然法，提升估计精度；

7、得到优化后的相机的内参、外参和畸变系数。

在本发明实施例中，相机的内参矩阵可以表示为：

其中，矩阵K为相机的内参矩阵，f为焦距，dx、dy分别表示在X、Y方向上的一个像素在相机反光板上的物理长度，u0,v0分别表示相机感光板中心在像素坐标系下的坐标，则虚拟相机的第一内参矩阵同样为矩阵K。

在本发明实施例中，而虚拟相机的外参矩阵取决于虚拟相机坐标系和世界坐标系的相对位置，主要用到旋转向量R和平移向量T，则虚拟相机的第一外参矩阵为[R1|T1]。其中，R1为世界坐标系到虚拟相机坐标系的旋转向量，T1为世界坐标系到虚拟相机坐标系的平移向量。

S430、根据第一内参矩阵及第一外参矩阵，确定世界坐标系到虚拟相机坐标系的第一成像矩阵。

在本发明实施例中，在得到虚拟相机的第一内参矩阵及第一外参矩阵之后，即可确定世界坐标系到虚拟相机坐标系的第一成像矩阵，第一成像矩阵的计算公式为：

M1＝KpR1|T1]

其中，矩阵M1为世界坐标系到虚拟相机坐标系的第一成像矩阵，矩阵K为虚拟相机的第一内参矩阵，[R1|T1]为虚拟相机的第一外参矩阵。

S440、根据第一成像矩阵将世界坐标系下的目标虚拟立体物体转换到虚拟相机坐标系下。

S450、基于中心投影原理，将虚拟相机坐标系下的目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像。

示例性地，图5为世界坐标系到虚拟相机坐标系的转换示意图，如图5所示，XcYcZc为真实相机坐标系，定义为左手坐标系，XYZ为世界坐标系，定义为右手坐标系。XOY为原图像所在的平面，X’O’Y’为虚拟相机坐标系下的虚拟投影平面。可以理解的是，基于中心投影的原理，原图像中的P点、虚拟投影平面中P点的像P’和真实相机坐标系的投影中心Oc在一条直线上，此处的直线是对中心投影的过程进行示意，仅代表世界坐标系到虚拟相机坐标系的转换，而并不代表虚拟相机坐标系到真实相机坐标系的转换，从虚拟相机坐标系到真实相机坐标系仍需通过第二成像矩阵。

S460、确定相机的第二内参矩阵及第二外参矩阵。

在本发明实施例中，相机的第二内参矩阵即为相机的内参矩阵K。而相机的外参矩阵取决于真实相机坐标系和虚拟相机坐标系的相对位置，相机的第二外参矩阵为[R2|T2]。其中，R2为虚拟相机坐标系到真实相机坐标系的旋转向量，T2为虚拟相机坐标系到真实相机坐标系的平移向量。

可以理解的是，由于虚拟相机的第一内参矩阵为所述相机的内参矩阵，也即虚拟相机与真实相机共用同一内参矩阵，因此，虚拟相机的第一内参矩阵与真实相机的第二内参矩阵为同一矩阵K。

S470、根据第二内参矩阵及第二外参矩阵，确定相机到虚拟投影平面的第二成像矩阵。

在本发明实施例中，在得到相机的第二内参矩阵及第二外参矩阵之后，即可确定相机到虚拟投影平面的第二成像矩阵，第二成像矩阵的计算公式为：

M2＝K[R2|T2]

其中，矩阵M2为相机到虚拟投影平面的第二成像矩阵，矩阵K为相机的第二内参矩阵，[R2T2]为相机的第二外参矩阵。

S480、根据第二成像矩阵将虚拟相机坐标系下的虚拟投影像转换到真实相机坐标系下，以对虚拟投影像进行成像。

在本发明实施例中，将虚拟投影平面上的虚拟投影像由虚拟相机坐标系转换到真实相机坐标系下，从而实现将目标虚拟立体物体由世界坐标系下转换到真实相机坐标系下，以实现对虚拟立体物体的成像。

示例性地，如图5所示，原图像中的点在真实相机坐标系中的坐标的计算公式为：

[x_c y_c z_c 1]＝[x y z 1]T3

其中，(x_c y_c z_c)为原图像中的点在真实相机坐标系中的坐标，(x y z)为原图像中的点在世界坐标系中的坐标，T3为世界坐标系到真实相机坐标系的平移向量。

而世界坐标系到真实相机坐标系的平移向量T3的计算公式为：

其中，D为世界坐标系下的点到真实相机坐标系中对应的点的实际距离。

本发明实施例，响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体，可以在对视觉算法进行评估时，通过创建不同目标虚拟立体物体来适用各种需求，节省对立体物体进行更换所耗费的时间和人力资源；确定虚拟坐标系下的虚拟相机的第一内参矩阵及第一外参矩阵；其中，虚拟相机的第一内参矩阵为相机的内参矩阵；根据第一内参矩阵及第一外参矩阵，确定世界坐标系到虚拟相机坐标系的第一成像矩阵；根据第一成像矩阵将世界坐标系下的目标虚拟立体物体转换到虚拟相机坐标系下，可以通过虚拟相机坐标对目标虚拟立体物体在环境中的位置进行精确的描述，方便后续的计算和处理流程；基于中心投影原理，将虚拟相机坐标系下的目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像，可以得到更加符合相机视觉效果的虚拟投影像；确定相机的第二内参矩阵及第二外参矩阵；根据第二内参矩阵及第二外参矩阵，确定相机到虚拟投影平面的第二成像矩阵；根据第二成像矩阵将虚拟相机坐标系下的虚拟投影像转换到真实相机坐标系下，以对虚拟投影像进行成像，可以得到目标虚拟立体物体在真实的相机模型中所呈现出来的视觉效果。本发明实施例提供的技术方案，可以提高视觉算法评估的效率和准确率，同时，简化了计算和处理流程。

实施例五

图6为本发明实施例五提供的一种虚拟立体物体成像装置的结构示意图。如图6所示，该装置包括：

目标虚拟立体物体创建模块510，用于响应于虚拟立体物体成像事件被触发，创建目标虚拟立体物体；

目标虚拟立体物体投影模块520，用于基于中心投影原理将所述目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像；

虚拟投影像成像模块530，用于对所述虚拟投影平面上的所述虚拟投影像进行成像。

在本发明实施例中，目标虚拟立体物体投影模块520，包括：

第一坐标系转换单元，用于将世界坐标系下的所述目标虚拟立体物体转换到虚拟相机坐标系下；

目标虚拟立体物体投影单元，用于基于中心投影原理，将虚拟相机坐标系下的目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像。

可选地，第一坐标系转换单元，包括：

第一成像矩阵确定子单元，用于确定所述世界坐标系到所述虚拟相机坐标系的第一成像矩阵；

第一坐标系转换子单元，用于根据所述第一成像矩阵将所述世界坐标系下的所述目标虚拟立体物体转换到虚拟相机坐标系下。

可选地，第一成像矩阵确定子单元，具体用于：

确定所述虚拟坐标系下的虚拟相机的第一内参矩阵及第一外参矩阵；其中，所述虚拟相机的第一内参矩阵为所述相机的内参矩阵；

根据所述第一内参矩阵及所述第一外参矩阵，确定所述世界坐标系到所述虚拟相机坐标系的第一成像矩阵。

在本发明实施例中，虚拟投影像成像模块530，包括：

第二成像矩阵确定单元，用于确定所述相机到所述虚拟投影平面的第二成像矩阵；

第二坐标系转换单元，用于根据所述第二内参矩阵及所述第二外参矩阵，确定所述相机到所述虚拟投影平面的第二成像矩阵。

可选地，第二成像矩阵确定单元，包括：

第二相机矩阵确定子单元，用于确定所述相机的第二内参矩阵及第二外参矩阵；

第二成像矩阵确定子单元，用于根据所述第二内参矩阵及所述第二外参矩阵，确定所述相机到所述虚拟投影平面的第二成像矩阵。

可选地，所述相机包括鱼眼相机。

本发明实施例所提供的虚拟立体物体成像装置可执行本发明任意实施例所提供的虚拟立体物体成像方法，具备执行方法相应的功能模块和有益效果。

实施例六

图7示出了可以用来实施本发明的实施例的相机10的结构示意图。相机旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。相机还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，相机10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储相机10操作所需的各种程序和数据。处理器11、ROM12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

相机10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许相机10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如虚拟立体物体成像方法。

在一些实施例中，虚拟立体物体成像方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到相机10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的虚拟立体物体成像方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行虚拟立体物体成像方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在相机上实施此处描述的系统和技术，该相机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给相机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种虚拟立体物体成像方法，其特征在于，应用于相机，包括：

对所述虚拟投影平面上的所述虚拟投影像进行成像。

2.根据权利要求1所述的方法，其特征在于，基于中心投影原理将所述目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像，包括：

将世界坐标系下的所述目标虚拟立体物体转换到虚拟相机坐标系下；

基于中心投影原理，将虚拟相机坐标系下的目标虚拟立体物体投影到虚拟投影平面，得到虚拟投影像。

3.根据权利要求2所述的方法，其特征在于，将世界坐标系下的所述目标虚拟立体物体转换到虚拟相机坐标系下，包括：

确定所述世界坐标系到所述虚拟相机坐标系的第一成像矩阵；

根据所述第一成像矩阵将所述世界坐标系下的所述目标虚拟立体物体转换到虚拟相机坐标系下。

4.根据权利要求3所述的方法，其特征在于，确定所述世界坐标系到所述虚拟相机坐标系的第一成像矩阵，包括：

5.根据权利要求1所述的方法，其特征在于，对所述虚拟投影平面上的所述虚拟投影像进行成像，包括：

确定所述相机到所述虚拟投影平面的第二成像矩阵；

根据所述第二成像矩阵将虚拟相机坐标系下的所述虚拟投影像转换到真实相机坐标系下，以对所述虚拟投影像进行成像。

6.根据权利要求5所述的方法，其特征在于，确定所述相机到所述虚拟投影平面的第二成像矩阵，包括：

确定所述相机的第二内参矩阵及第二外参矩阵；

根据所述第二内参矩阵及所述第二外参矩阵，确定所述相机到所述虚拟投影平面的第二成像矩阵。

7.根据权利要求1-6任一所述的方法，其特征在于，所述相机包括鱼眼相机。

8.一种虚拟立体物体成像装置，其特征在于，包括：

9.一种相机，其特征在于，所述相机包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的虚拟立体物体成像方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的虚拟立体物体成像方法。