CN106993179A - 一种3d模型转立体双视点视图的方法 - Google Patents

Abstract

本发明公开了一种3D模型转立体双视点视图的方法。本方法为：1)选取待转换的3D模型；根据输入的参数计算该3D模型的锥体位移、左右眼锥台参数，构建左眼的投影矩阵和视图矩阵、右眼的投影矩阵和视图矩阵；2)根据左、右眼的投影矩阵、视图矩阵以及模型矩阵得到左、右眼MVP传入着色器；3)将该3D模型的顶点坐标分别左乘左眼MVP传入着色器、右眼MVP传入着色器，得到新的顶点坐标；当该3D模型的每个顶点都转化之后，即可得到该3D模型的左、右眼图像；4)将得到的该左、右眼图像在屏幕上进行映射、拼接，得到该3D模型的双视点视差图。本发明具有运算速度快，接近于人眼的视觉习惯，满足双眼辐合的仿真。

Description

一种3D模型转立体双视点视图的方法

技术领域

本发明涉及3D显示技术，具体涉及一种将基于OpenGL的3D模型转化为立体双视点视图的转换方法，具体的是一种3D模型转立体双视点视图的方法。

背景技术

人类生活在一个立体的世界，利用立体视觉来感知世界，随着计算机技术的飞速发展，计算机描述现实世界的方式越来越丰富：从声音到图像再到视频，计算机所能表示的世界越来越复杂。目前大多数的显示设备依旧之能够进行2D显示，忽略了深度信息，在数字化，现代化的时代，2D显示已经不能够满足人类的需求，于是3D模型作为一种新的媒体形式进入了人们的生活、学习和工作中，并且很快被普通大众所接受。它在影视娱乐，建筑，机械制造，医疗，军事，电子商务，虚拟现实，考古等很多方面都得到了越来越广泛的应用。

在当前的计算机显示领域，立体显示已经成为了未来的发展方向。在市场上，目前有许多硬件选项，使我们能够获得立体3D可视化信息。而3D显示技术是整个3D流程中最复杂的一步，由于播放的平台都是平面显示设备，且左右眼素材要在同一个显示设备上出现，这就涉及到如何将左右眼素材进行分离，并分别准确的送到观众的左右眼中。一旦左右眼素材的分离出现问题，3D效果就不会出现，而观众也将看到混乱、有重影的画面内容。我们采用汇聚双目投影观测模型，将3D模型按照此观测模型映射到屏幕上。这种模型更符合人眼的观测习惯，使人看到的更加真实、自然。

人眼能获得立体视觉的根本原因是存在视差，利用人的双眼在同一时间分别看到不同的图像形成视差，从而获得立体视觉的特点。

发明内容

三维立体显示技术是虚拟现实的关键技术，也是虚拟现实系统必不可少的基本条件，而深度感的正确形成又是立体显示技术的关键，深度感的正确形成通过双目视差图来实现的。如今市场上的立体显示器的3D立体感效果，就是由双视点视图直接决定的，视差图包含了场景的距离信息。故本发明从立体视觉原理出发，重点研究如何利用OpenGL从计算机虚拟的3D模型中提取出多视点图像，从而进行转化成立体双视点视觉差图，进而解决3D显示问题。

本发明的3D模型转双视点视图包括3D模型读取和转双视点视差图；其中3D模型读取包括读取顶点信息和绘制顶点；转双视点视差图包括单目转化和绘制双视点视图。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：选定汇聚式观测模型；

观测模型主要有汇聚式观测模型和平行式观测模型。本发明选定汇聚式观测模型，且其中top,bottom,Left,Right分别为左右眼共用的棱锥台前剪裁面的上下左右边到中心的距离，Near为前剪裁面到视点的距离，Far为后剪裁面到视点的距离。

步骤2：输入参数，并计算汇聚式观测模型的锥体位移：

双眼距离IOD，人眼观测图像上下两边的视野夹角fov，人眼到前剪切面的垂直距离d(eye-nearZ)，人眼到屏幕的垂直距离d(eye-screen)，人眼到后剪切面的垂直距离d(eye-farZ)，图像长宽比ratio。

根据相似三角形计算该汇聚式观测模型的锥体位移

Frustum shift＝(IOD/2)*d(eye-nearZ)/d(eye-screen)⑴

步骤3：计算左右眼锥台参数

左眼锥台参数：

top＝tan(fov/2)*d(eye-nearZ)⑵

Left_{Left_eye}＝-ratio*top-Frumstum shift⑶

Right_{Left_eye}＝ratio*top-Frumstumshift⑷

bottom＝-top⑸

右眼锥台参数：

top＝tan(fov/2)*d(eye-nearZ)⑹

Right_{right_eye}＝ratio*top+Frumstum shift⑺

Left_{Right_eye}＝-ratio*top+Frumstum shift⑻

bottom＝-top⑼

其中，fov表示人眼观测图像上下两边的视野夹角，ratio为图像长宽比；

top和bottom分别为左右眼共用的棱锥台前剪裁面的上下边界到中心的距离；

Left_{Left_eye}和Left_{Right_eye}分别为左右眼的棱锥台前剪裁面的左边界到中心的距离；

Right_{Left_eye}和Right_{right_eye}分别为左右眼的棱锥台前剪裁面的右边界到中心的距离；

步骤4：得到左右眼的投影矩阵和视图矩阵。

左眼投影矩阵M_lproj

M_lproj＝frustum(Left_{Left_eye},Right_{Left_eye},bottom,top,d(eye-nearZ),d(eye-farZ))⑽

右眼投影矩阵M_rproj

M_rproj＝frustum(Left_{Right_eye},Right_{Right_eye},bottom,top,d(eye-nearZ),d(eye-farZ))⑾

左眼视图矩阵

M_lview＝glm::LookAt(LeftCameraPosition,CameraTarget,upVector)⑿

右眼视图矩阵

M_rview＝glm::LookAt(RightCameraPosition,CameraTarget,upVector)⒀

LeftCameraPosition表示实际坐标系中的左相机位置，RightCameraPosition表示实际坐标系中的右相机的位置，CameraTarget表示实际坐标系中的目标位置，upVector代表取z坐标为正方向。

步骤5：将左右眼的投影矩阵、视图矩阵和模型矩阵分别相乘得到两个4*4矩阵MVP，并将矩阵MVP传入着色器

MVP＝Projection*View*Model⒁

Projection是投影矩阵，View是视图矩阵，Model是模型矩阵。

因为左右眼得到的投影矩阵和视图矩阵都不相同，所以三个矩阵相乘得到的MVP矩阵也是不同的。因此，本发明会分别将左眼的MVP和右眼的MVP传入着色器，即根据左眼的投影矩阵、视图矩阵以及模型矩阵得到左眼MVP，并将左眼MVP传入着色器，根据右眼的投影矩阵、视图矩阵以及模型矩阵得到右眼MVP，并将右眼MVP传入着色器。

步骤6：加载3D模型文件，并将顶点信息保存在数组中

用递归算法加载3D模型文件，并将读取出的顶点信息以数组的形式保存。当3D模型的所有顶点加载完成后，将保存了顶点信息的数组传入着色器中。

步骤7：将顶点坐标分别左乘左右眼的MVP矩阵，从而得到新的顶点坐标；

设原顶点坐标P₁＝(X₁,Y₁,Z₁,W)，变换后顶点坐标为P₂＝(X₂,Y₂,Z₂,W)。

则

P₂＝MVP*P₁⒂

步骤8：当3D模型的每个顶点都转化之后，即可得到新的观测图像，即为左右眼图像。将得到的左右眼图像分别映射在屏幕的左右半边，将它们拼接在一块就得到了双视点视图。

与现有技术相比，本发明的积极效果为：

本发明不同于通过双目摄像头采集信息的方法，而是通过读取3D模型文件来建立双视点视图，可被应用于虚拟场景的双视点视图生成。

本发明相比于传统方法适用性强，将所转化得到的双视点视图传入裸眼3D屏幕即可实现裸眼3D效果，将双视点视图传入VR设备即可实现VR效果。

本发明采用汇聚式投影模型，符合人眼的视觉习惯，满足双眼辐辏的仿真，实现的效果更逼真。同时，影响视觉体验的双眼距离IOD以及人眼到屏幕的距离d(eye-screen)都是输入参数。这使得调节最终效果变得更加科学、方便。

附图说明

图1是汇聚式投影示意图；

图2是汇聚式投影棱锥台示意图；

图3是转化算法流程图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

如图1-3所示，一种3D模型转立体双视点视图的方法，具体包括如下步骤：

步骤1：选定汇聚式观测模型

观测模型主要有汇聚式观测模型和平行式观测模型。本发明选定汇聚式观测模型。

附图1为汇聚式投影示意图、附图2为汇聚式投影的棱锥台。其中top,bottom,Left,Right分别为左右眼共用的棱锥台前剪裁面的上下左右边到中心的距离，Near为前剪裁面到视点的距离，Far为后剪裁面到视点的距离。

步骤2：根据相似三角形计算汇聚式观测模型的锥体位移：

Frustum shift＝(IOD/2)*d(eye-nearZ)/d(eye-screen)⑴

式中，IOD为双眼距离，d(eye-nearZ)表示人眼到前剪切面的垂直距离，d(eye-screen)表示人眼到屏幕的垂直距离，d(eye-farZ)表示人眼到后剪切面的垂直距离。取IOD＝7，d(eye-nearZ)＝1,d(eye-screen)＝5,d(eye-farZ)＝100，则可计算得到Frumstumshift＝0.7。

步骤3：根据几何学知识计算左右眼锥台参数

左眼：

top＝tan(fov/2)*d(eye-nearZ)⑵

Left_{Left_eye}＝-ratio*top-Frumstum shift⑶

Right _{Left_eye}＝ratio*top-Frumstum shift⑷

bottom＝-top⑸

右眼：

top＝tan(fov/2)*d(eye-nearZ)⑹

Right_{Right_eye}＝ratio*top+Frumstum shift⑺

Left _{Right_eye}＝-ratio*top+Frumstum shift⑻

bottom＝-top⑼

其中，fov表示人眼观测图像上下两边的视野夹角，ratio为图像长宽比；

top和bottom分别为左右眼共用的棱锥台前剪裁面的上下边界到中心的距离；

Left_{Left_eye}和Left_{Right_eye}分别为左右眼的棱锥台前剪裁面的左边界到中心的距离；

Right_{Left_eye}和Right_{right_eye}分别为左右眼的棱锥台前剪裁面的右边界到中心的距离；

取fov＝120°，ratio＝1080/960，则计算可得

左眼：Right_{Left_eye}＝1.2485,Left_{Left_eye}＝-2.6485，bottom＝-1.732。

右眼：Right_{Right_eye}＝2.6485，Left_{Right_eye}＝-1.2485，bottom＝-1.732。

步骤4：根据下列两个矩阵得到左右眼的投影矩阵和视图矩阵，具体如下：

f_near，f_Far代表d(eye-nearZ),d(eye-farZ)，t、b代表top、bottom r_L,r_R,l_L,l_R分别代表Right_{Left_eye},Right_{Right_eye},Left_{Left_eye},Left_{Right_eye}，从而得出左眼投影矩阵M_lproj:

M_lproj＝frustum(Left_{Left_eye},Right_{Left_eye},bottom,top,d(eye-nearZ),d(eye-farZ))⑽

右眼投影矩阵M_rproj:

M_rproj＝frustum(Left_{Right_eye},Right_{Right_eye},bottom,top,d(eye-nearZ),d(eye-farZ))⑾

左眼视图矩阵M_lview:

M_lview＝glm::LookAt(LeftCameraPosition,CameraTarget,upVector)⑿

右眼视图矩阵M_rview:

M_rview＝glm::LookAt(RightCameraPosition,CameraTarget,upVector)⒀

LeftCamera Position表示实际坐标系中的左相机位置，RightCameraP osition表示实际坐标系中的右相机的位置，CameraTarget表示实际坐标系中的目标位置，upVector代表取z坐标为正方向。

步骤5：将左右眼的投影矩阵、视图矩阵和模型矩阵分别相乘得到两个4*4矩阵MVP，并将矩阵MVP传入着色器

MVP＝Projection*View*Model⒁

Projection是投影矩阵，View是视图矩阵，Model是模型矩阵。

因为左右眼得到的投影矩阵和视图矩阵都不相同，所以三个矩阵相乘得到的MVP矩阵也是不同的。因此，本发明会分别将左眼的MVP和右眼的MVP传入着色器，即根据左眼的投影矩阵、视图矩阵以及模型矩阵得到左眼MVP，并将左眼MVP传入着色器，根据右眼的投影矩阵、视图矩阵以及模型矩阵得到右眼MVP，并将右眼MVP传入着色器。模型矩阵能够使3D模型的位置在世界坐标系中发生变化，例如模型的旋转或者平移。因为本发明可以不做任何的旋转平移，所以本发明的模型矩阵取4*4的单位矩阵，即默认3D模型加载在世界坐标系的原点处。

步骤6：加载3D模型文件，并将顶点信息保存在数组中

用递归算法加载3D模型文件，并将读取出的顶点信息以数组的形式保存。当3D模型的所有顶点加载完成后，将保存了顶点信息的数组传入着色器中。

步骤7：将顶点坐标分别左乘左右眼的MVP矩阵，从而得到新的顶点坐标；

设原顶点坐标P₁＝(X₁,Y₁,Z₁,W)，变换后顶点坐标为P₂＝(X₂,Y₂,Z₂,W)。

则

P₂＝MVP*P₁⒂

步骤8：当3D模型的每个顶点都转化之后，即可得到新的观测图像，即为左右眼图像。将得到的左右眼图像分别映射在屏幕的左右半边，将它们拼接在一块就得到了双视点视图。

本发明将得到的MVP矩阵传入着色器处理，大大加快了程序运行速度，这将提高程序的实时性和快速性。观测效果易调节，可以根据外部设备的不同选择最适合的观测参数。

Claims (6)

1.一种3D模型转立体双视点视图的方法，其特征在于包括如下步骤：

步骤1：选定汇聚式观测模型

选定的汇聚式观测模型中top,bottom,Left,Right分别为左右眼共用的棱锥台前剪裁面的上下左右边到中心的距离，Near为前剪裁面到视点的距离，Far为后剪裁面到视点的距离；

步骤2：根据相似三角形计算汇聚式观测模型的锥体位移；

步骤3：根据几何学知识计算左右眼锥台参数；

步骤4：计算得到左右眼的投影矩阵和视图矩阵；

步骤5：将左右眼的投影矩阵、视图矩阵和模型矩阵分别相乘得到两个4*4矩阵MVP，并将矩阵MVP传入着色器；

步骤6：加载3D模型文件，并将顶点信息保存在数组中

用递归算法加载3D模型文件，并将读取出的顶点信息以数组的形式保存；当3D模型的所有顶点加载完成后，将保存了顶点信息的数组传入着色器中；

步骤7：将顶点坐标分别左乘左右眼的MVP矩阵，从而得到新的顶点坐标；

步骤8：当3D模型的每个顶点都转化之后，即可得到新的观测图像，即为左右眼图像；将得到的左右眼图像分别映射在屏幕的左右半边，将它们拼接在一块就得到了双视点视图。

2.根据权利要求1所述的一种3D模型转立体双视点视图的方法，其特征在于步骤2所述的根据相似三角形计算汇聚式观测模型的锥体位移，具体如下：

Frustum shift＝(IOD/2)*d(eye-nearZ)/d(eye-screen) ⑴

式中，IOD为双眼距离，d(eye-nearZ)表示人眼到前剪切面的垂直距离，d(eye-screen)表示人眼到屏幕的垂直距离，d(eye-farZ)表示人眼到后剪切面的垂直距离。

3.根据权利要求2所述的一种3D模型转立体双视点视图的方法，其特征在于步骤3所述的根据几何学知识计算左右眼锥台参数，具体如下：

左眼：

top＝tan(fov/2)*d(eye-nearZ) ⑵

Left_{Left_eye}＝-ratio*top-Frumstum shift ⑶

Right_{Left_eye}＝ratio*top-Frumstum shift ⑷

bottom＝-top ⑸

右眼：

top＝tan(fov/2)*d(eye-nearZ) ⑹

Right_{Right_eye}＝ratio*top+Frumstumshift ⑺

Left_{Right_eye}＝-ratio*top+Frumstum shift ⑻

bottom＝-top ⑼

其中，fov表示人眼观测图像上下两边的视野夹角，ratio为图像长宽比；top和bottom分别为左右眼共用的棱锥台前剪裁面的上下边界到中心的距离；Left_{Left_eye}和Left_{Right_eye}分别为左右眼的棱锥台前剪裁面的左边界到中心的距离；Right_{Left_eye}和Right_{right_eye}分别为左右眼的棱锥台前剪裁面的右边界到中心的距离。

4.根据权利要求3所述的一种3D模型转立体双视点视图的方法，其特征在于步骤4所述的计算得到左右眼的投影矩阵和视图矩阵，具体如下：

首先提出以下列两个矩阵

$M_{LPROJ}=\left(\begin{array}{cccc}\frac{2\·f_{Near}}{r_L-l_L}& 0& \frac{r_L+l_L}{r_L-l_L}& 0\\ 0& \frac{2f_{Near}}{t-b}& \frac{t+b}{t-b}& 0\\ 0& 0& \frac{f_{Near}+f_{Far}}{f_{Near}-f_{Far}}& \frac{2\·f_{Near}}{f_{Near}-f_{Far}}\\ t& 0& -1& 0\end{array}\right)=\left(\begin{array}{cccc}\frac{2}{3.897}& 0& -\frac{1.4}{3.897}& 0\\ 0& \frac{2}{3.464}& 0& 0\\ 0& 0& -\frac{101}{99}& -\frac{2}{99}\\ 1.732& 0& -1& 0\end{array}\right)$

$M_{RPROJ}=\left(\begin{array}{cccc}\frac{2\·f_{Near}}{r_R-l_R}& 0& \frac{r_R+l_R}{r_R-l_R}& 0\\ 0& \frac{2f_{Near}}{t-b}& \frac{t+b}{t-b}& 0\\ 0& 0& \frac{f_{Near}+f_{Far}}{f_{Near}-f_{Far}}& \frac{2\·f_{Near}}{f_{Near}-f_{Far}}\\ t& 0& -1& 0\end{array}\right)=\left(\begin{array}{cccc}\frac{2}{3.879}& 0& \frac{1.4}{3.897}& 0\\ 0& \frac{2}{3.464}& 0& 0\\ 0& 0& -\frac{101}{99}& -\frac{2}{99}\\ 1.732& 0& -1& 0\end{array}\right)$

f_near，f_Far代表d(eye-nearZ),d(eye-farZ)，t、b代表top、bottom

r_L,r_R,l_L,l_R分别代表Right_{Left_eye},Right_{Right_eye},Left_{Left_eye},Left_{Right_eye}，

然后再得到：

左眼投影矩阵M_lproj:

M_lproj＝frustum(Left_{Left_eye},Right_{Left_eye},bottom,top,d(eye-nearZ),d(eye-farZ)) ⑽

右眼投影矩阵M_rproj:

M_rproj＝frustum(Left_{Right_eye},Right_{Right_eye},bottom,top,d(eye-nearZ),d(eye-farZ)) ⑾

左眼视图矩阵M_lview:

M_lview＝glm::LookAt(LeftCameraPosition,CameraTarget,upVector) ⑿

右眼视图矩阵M_rview:

M_rview＝glm::LookAt(RightCameraPosition,CameraTarget,upVector) ⒀

LeftCamera Position表示实际坐标系中的左相机位置，RightCameraP osition表示实际坐标系中的右相机的位置，CameraTarget表示实际坐标系中的目标位置，upVector代表取z坐标为正方向。

5.根据权利要求4所述的一种3D模型转立体双视点视图的方法，其特征在于所述的矩阵MVP如下：

MVP＝Projection*View*Model ⒁

Projection是投影矩阵，View是视图矩阵，Model是模型矩阵；

因为左右眼得到的投影矩阵和视图矩阵都不相同，所以三个矩阵相乘得到的MVP矩阵也是不同的；因此需分别将左眼的MVP和右眼的MVP传入着色器，即根据左眼的投影矩阵、视图矩阵以及模型矩阵得到左眼MVP，并将左眼MVP传入着色器，根据右眼的投影矩阵、视图矩阵以及模型矩阵得到右眼MVP，并将右眼MVP传入着色器。

6.根据权利要求5所述的一种3D模型转立体双视点视图的方法，其特征在于步骤7所述的将顶点坐标分别左乘左右眼的MVP矩阵，从而得到新的顶点坐标，具体计算如下：

设原顶点坐标P₁＝(X₁,Y₁,Z₁,W)，变换后顶点坐标为P₂＝(X₂,Y₂,Z₂,W)；

则

P₂＝MVP*P₁ ⒂。