CN108876840A - 一种使用虚拟3d模型产生垂直或前向投影三维图像的方法 - Google Patents

Abstract

本发明公开了一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，其中3D模型通过真实对象的物理特征的同时定位和深度映射来创建，相机用于从第一视角拍摄第一图像，并从后续视角拍摄后续图像，其中自动聚焦系统提供第一组深度映射数据和随后的一组深度映射数据，第一组深度映射数据和随后的深度映射数据集用于生成视差映射，从视差映射创建虚拟3D模型，对虚拟3D模型进行成像以获得可被视为三维的图像，增强的3D效果被添加到虚拟3D模型中，其导致图像的各方面看起来在显示介质的上方或前方延伸。本发明一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，体现了增强的3D效果。

Description

一种使用虚拟3D模型产生垂直或前向投影三维图像的方法

技术领域

本发明涉及用于使用虚拟3D模型创建虚拟立体和/或自动立体图像的方法，具体涉及一种使用虚拟3D模型产生垂直或前向投影三维图像的方法。

背景技术

几十年前的相机有一个物镜必须指向正在成像的物体，然后物镜必须手动聚焦在该物体上。随着技术的进步，相机被开发出来，能够自动聚焦，也就是说，相机会自动聚焦在相机前面的目标物体上，自动聚焦通常使用飞行时间系统来完成。在飞行时间系统中，诸如红外光源之类的发射器在摄像机镜头指向的方向上发射红外光，然后红外光会传播到物体并被反射回相机，摄像机包含红外传感器，该红外传感器捕获发射器所使用的频率范围内的反射红外光，通过检测发射和接收之间发射能量的飞行时间，可以计算物体的距离，然后使用该信息自动聚焦照相机的镜头。

现在许多人使用的相机不是专用设备，相反，摄像机已经集成到手持式智能手机和平板电脑中，因此，携带智能手机的任何人也携带相机，智能手机和平板电脑上使用的相机都有小物镜。此外，这些物镜不能手动聚焦，因此，智能手机上的相机必须依靠自动对焦系统来捕捉清晰的图像。虽然旅行时间系统仍然可以用来确定对象是从相机自动聚焦的距离，但通常使用深度映射获得更有用的信息。在智能电话中，基本深度映射通常使用结构化光系统来实现，在结构光系统中，将诸如网格的红外光图案投射到相机前面的物体上，由于网格图案是在红外中发射的，所以网格图案对于肉眼是不可见的，投影的网格图案被它所击中的物体的形状扭曲。使用智能手机或平板电脑中可用的处理能力，可以将网格图案中的失真转换成表示目标对象形状的深度图，深度图是包含深度相关信息的地图或每个像素数据，其对应于被映射的对象的物理形状。因此，深度值被分配给每个像素数据的单位，然后，这些数据可以被用来创建被映射对象的精确三维模型。

一些智能手机有两个相机，它们被设置成立体的一对，通过比较左/右图像和计算对象和摄像机上的各个点之间的距离，可以容易地使用立体相机来实现一些深度映射。在其“项目Tango”立体深度测绘系统中使用了这样的系统，然而，大多数智能手机在智能手机的屏幕侧只有一个摄像头或一个摄像头，用来拍摄自拍。智能手机可以包含一个或多个红外发射器，用于自动聚焦系统或用于专用的深度映射系统，例如在苹果iPhone X深度映射系统中。然而，从单个摄像机点获得精确的深度图是复杂的，利用单个摄像机，红外旅行时间系统和/或结构化光系统被用来获得关于单个图像的深度数据，然后通过比较连续图像中的归一化移位值来生成视差图。在许多现代智能手机中，使用同步定位和映射(SLAM)软件生成视差图，SLAM软件通过连续的摄像机帧跟踪一组目标像素点，并使用这些轨迹来对实际空间中的位置坐标进行三角测量。同时，在真实空间中的估计位置被用来计算能够观察到它们的摄像机位置。当智能手机的摄像头打开时，它没有两个不同的图像来计算距离，然而，一旦连续拍摄两幅图像，数据就变得可用。此外，可以使用智能电话的加速度计传感器从智能电话获得附加数据，其可用于估计第一图像和后续图像之间的相机位置的变化。因此，在随后的图像之间的光学差异变得已知，以及相机在智能手机上的位置和目标的相应差异。除了对后续图像中的每个目标特征进行三角测量之外，SLAM 系统还对每个特征与图像中其他特征的关系之间的差异进行比较，结果是智能手机对目标对象有不同的看法，知道焦点的近似角度，知道摄像机使用的位置之间的距离，并且跟踪已知的特征和它们之间的关系。由此，智能手机可以很好地逼近每个特征如何与其他特征相关联地定位在真实空间中，基本上在所观察的空间中产生目标点的三维映射。一旦完成三维映射，二维图像可以通过匹配对应的图像点被包装到三维映射上，结果是一个虚拟三维模型，许多系统用于从虚拟三维模型创建立体和自动立体图像。然而，大多数现有技术系统产生三维图像，这些图像看起来存在于电子屏幕的平面后面或下方，在该平面上观察图像。创建3D效果会使图像在其上观看的屏幕上方或前面更加困难，为了创建显示在显示器上方或前面的虚拟图像，必须将复杂的调整纳入到图像的创建中。在现有技术中，通过从立体视点成像虚拟3D模型来实现这样的3D效果。改变立体视点之间的视差，或者将视点移位以添加3D效果。在成像之前仅对虚拟3D模型进行轻微的调整。

已经发现，虚拟3D模型的3D图像可以更逼真和更清晰地创建，除了控制成像相机视点之外，创造性地改变3D模型，改进的技术代表了在下文中描述和要求的技术的进步。

技术方案

本发明主要解决的技术问题是提供一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，其中所述虚拟图像包含在所述显示介质上观看时看起来是三维的方面，其特征在于，所述方法包括以下步骤：在物理场景处提供相机，其中所述相机体现了自动对焦系统；从第一视角拍摄所述物理场景的第一图像，其中所述自动聚焦系统提供对应于所述第一图像的第一组深度映射数据；利用所述相机从后续视角拍摄所述物理场景的后续图像，其中所述自动聚焦系统提供对应于所述后续图像的后续深度映射数据集；使用所述第一组深度映射数据和所述后续深度映射数据集生成视差映射；从所述视差映射创建所述物理场景的虚拟3D模型；从立体视点成像所述虚拟3D模型以获得所述虚拟3D模型的立体图像；在所述显示介质上显示所述立体图像。

可选的，还包括改变所述虚拟3D模型以向所述虚拟3D模型添加效果，所述虚拟3D模型在所述显示介质上观看时，使得所述虚拟3D模型的立体图像中的各方面看起来伸出所述显示介质。

可选的，其中，改变所述虚拟3D模型包括倾斜所述虚拟3D模型中的至少一些。

本发明的有益效果是：

本发明一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，体现了增强的3D效果。

附图说明

图1示出了创建和利用本发明所需的系统硬件。

图2是虚拟场景的示例性实施例的透视图。

图3是图2的虚拟场景的侧视图。

实施例

下面对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参照图1，可以理解，本发明用于产生具有增强3D效果的生产图像10，在显示介质(例如打印页面)或电子设备14的显示器12的图示示例上观看生产图像10，生产图像10可以是静止图像或视频。无论如何，当在显示器12上观看时，生产图像10看起来具有三维的方面。此外，至少一些生产图像10体现了增强的3D效果，使得生产图像10的各方面出现在显示器12的表面平面之上或前面。如果电子设备14是传统的LED或LCD显示器，则必须用3D眼镜观看生产图像10，以便观察生产图像10中的三维效果。同样，如果生产图像10被打印在纸介质上，则必须用3D眼镜来观看生产图像10。或者，如果电子设备 14具有自动立体显示，那么可以用肉眼观察生产图像10中增强的3D效果。包含增强的3D效果的生产图像10开始作为由相机17捕获的物理场景15，相机 17可以是单眼相机或立体相机，相机具有自动聚焦系统18，其发射信号并接收这些信号的反射，以确定与相机17前面的物体的距离。相机17优选地以智能电话或平板电脑的形式体现在手持电子设备14中。手持式电子设备14具有其自己的处理器20，并且运行自动聚焦系统18，该系统使用飞行时间和/或结构化光子系统来聚焦照相机17。飞行时间和/或结构光自动聚焦系统发射和检测信号，例如来自手持电子设备14的红外光或超声波信号。照相机17用于拍摄物理场景15的一个以上的二维图像22，这可以使用立体相机来实现，其中同时获得两个图像。使用单镜照相机，照相机17的位置和/或被成像对象的位置在每个图像22之间略微移动，该相对运动产生初始图像22a和至少一个后续图像22n，由相机17捕获的物理场景15通常包含主对象24。在所示的示例中，主要对象24是玩具恐龙26。然而，可以理解的是，任何主对象或主对象的集合都可以被成像。在成像时，照相机17的自动对焦系统18为每个2D图像22 创建深度映射数据，然后，通过比较连续图像22a到22n中的归一化移位值来生成视差图像21。在许多现代智能电话中，使用由其自己的处理器20运行的同时定位和映射(SLAM)软件30生成视差图像21，SLAM软件30通过连续的摄像机图像22A～22N跟踪一组目标像素点，并使用这些轨迹来对真实空间中的位置坐标进行三角测量，同时，在真实空间中的估计位置被用来计算能够观察到它们的摄像机位置。因此，在随后的图像22a～22n之间的光学差异变得已知，以及相机17在手持电子设备14上的位置和目标的相应差异。除了对后续图像 22a～22n中的每个目标特征进行三角测量之外，SLAM软件30还对每个特征与图像22中其他特征的关系的差异进行比较，由此，手持式电子设备14可以与被成像场景的其他方面相关地生成主主体24如何定位在真实空间中的良好近似，这使得SLAM软件30能够在所观察的空间中产生目标点的三维视差图像21，一旦三维视差图像21完成，可以使用可用的图像包裹软件28将一个或多个图像22包裹在三维视差图像21周围。这是通过在由SLAM软件30产生的三维视差图像21上匹配2D图像22上的点到相应图像点来实现的，结果是一个虚拟恐龙模型34，代表了原始玩具恐龙26。

参照图2和图3结合图1，示出了示例性虚拟场景31，虚拟场景31包含最初在物理场景15中成像的所有元素，虚拟场景31通常包含主对象24，主对象 24通常是用于创建虚拟3D模型32的虚拟场景31内的元素。在所示的示例中，主要主对象24是对应于成像玩具恐龙26的恐龙模型34，在虚拟场景31内定义参考平面36，参考平面36可以是从恐龙模型34的各个方面出现在上面和/ 或下面的任意平面。在所示的实施例中，参考平面36与恐龙模型34所站立的地面定向，虚拟场景31的参考平面36，当显示在电子显示器12上时，将沿着电子显示器12的平面定向。因此，当虚拟场景31被转换成生产图像10时，在参考平面36上方成像的恐龙模型34的任何方面将向前投影，并呈现在显示器 12前面或显示器12上方，取决于显示器12的方向。相反地，在参考平面36 下成像的恐龙模型34的任何方面将出现向后投影，并且当观看生产图像10时，将出现在显示器12的平面以下或后面，如果要打印生产图像10，则选择参考平面36以对应于打印生产图像10的纸张的平面。一旦选择要建模的虚拟场景 31中的元素，就生成虚拟3D模型32，使用虚拟摄像机视点拍摄虚拟3D模型 32的立体视图，立体视图取自虚拟左摄像机视点37和虚拟右摄像机视点38。虚拟摄像机视点37,38与虚拟摄像机视点37,38的仰角A1之间的距离D1取决于虚拟3D模型32的范围。虚拟3D模型32被创建为在电子显示器12上显示，大多数电子显示器的形状是矩形的，其宽度在长度的50％到80％之间，因此，虚拟3D模型32被创建在边界内，使得虚拟3D模型32适合于典型电子显示器12的尺寸和规模。边界包括前边界39、后边界40和两个侧边界41,42，从虚拟 3D模型32创建的任何生产图像10必须存在于边界39,40,41、42内以便被看到。

为生产图像10设置后部图像边界40，虚拟场景中的所有视觉方面都出现在后图像边界40的前方，恐龙模型34具有高度H1，虚拟摄像机视点37,38被设置为第二高度H2，第二高度H2是物体高度H1和后图像边界40的函数。虚拟摄像机视点37,38的第二高度H2足够高，使得从虚拟摄像机视点37,38观看的恐龙模型34的顶部不延伸到后部图像边界40上方。虚拟摄像机视点37,38 的仰角和摄像机视点37,38的会聚角具有直接的毕达哥拉斯关系，该关系取决于恐龙模型34的场景边界39,40,41,42和高度H1作为主要对象24。虚拟摄像机视点37,38可以被调整为具有视差角，使得虚拟摄像机视点37,38在参考平面36处相交。也就是说，两个虚拟相机视点37,38在参考平面36处实现零视差，优选地选择收敛点P对应于恐龙模型34的底部和尾部附近的点作为主要受试者24，如果主受试者24停留在基准平面36上。例如，在所示的实施例中，参考平面36对应于恐龙模型34所站立的地面，虚拟摄影机视点37,38指向恐龙模型34的后方下方的地面，虚拟摄影机视点37,38的角度被逐帧地调整，作为主对象24相对于参考平面36移动的恐龙模型34。

以上实施例的先后顺序仅为便于描述，不代表实施例的优劣。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，其中所述虚拟图像包含在所述显示介质上观看时看起来是三维的方面，其特征在于，所述方法包括以下步骤：在物理场景处提供相机，其中所述相机体现了自动对焦系统；从第一视角拍摄所述物理场景的第一图像，其中所述自动聚焦系统提供对应于所述第一图像的第一组深度映射数据；利用所述相机从后续视角拍摄所述物理场景的后续图像，其中所述自动聚焦系统提供对应于所述后续图像的后续深度映射数据集；使用所述第一组深度映射数据和所述后续深度映射数据集生成视差映射；从所述视差映射创建所述物理场景的虚拟3D模型；从立体视点成像所述虚拟3D模型以获得所述虚拟3D模型的立体图像；在所述显示介质上显示所述立体图像。

2.根据权利要求1所述的一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，其特征在于：还包括改变所述虚拟3D模型以向所述虚拟3D模型添加效果，所述虚拟3D模型在所述显示介质上观看时，使得所述虚拟3D模型的立体图像中的各方面看起来伸出所述显示介质。

3.根据权利要求1所述的一种使用虚拟3D模型产生垂直或前向投影三维图像的方法，其特征在于：其中，改变所述虚拟3D模型包括倾斜所述虚拟3D模型中的至少一些。