CN116438578B - 采用多视图图像会聚平面倾斜的多视图显示系统和方法 - Google Patents

Abstract

系统和方法涉及将多视图图像的视图加载到存储器中。视图可以被格式化为由像素坐标系定义的位图。可以识别视图与中心视点之间的距离。此后，可以根据沿着像素坐标系的轴应用的切变功能在图形管线中将视图渲染为切变后的视图。切变功能的切变强度与视图与中心视点之间的距离相关。

Description

采用多视图图像会聚平面倾斜的多视图显示系统和方法

相关申请的交叉引用

本申请要求于2020年11月18日提交的第63/115,531号美国临时申请的优先权，其全部内容通过引用并入本文。

关于联邦赞助的研究或开发的声明

无

背景技术

取决于观看角度，可以从多个视角观看三维(3D)空间中的场景。另外，当由具有立体视觉的用户观看时，可以同时感知表示场景的不同视角的多个视图，从而有效地创建可以由用户感知的深度感。多视图显示器呈现具有多个视图的图像，以表示在3D世界中如何感知场景。多视图显示器同时渲染不同的视图以向用户提供逼真的体验。多视图图像可以由软件动态地生成和处理。此后，它们可以由图形管线实时渲染。当渲染多视图图像以供显示时，图形管线可以对多视图图像应用各种操作。

附图说明

结合附图参考以下的详细描述，可以更容易地理解根据本文描述的原理的示例和实施例的各种特征，其中相同的附图标记表示相同的结构元件，并且其中：

图1示出根据与本文描述的原理一致的实施例的示例中的多视图图像。

图2示出根据与本文描述的原理一致的实施例的生成多视图图像的示例。

图3示出根据与本文描述的原理一致的实施例的倾斜多视图图像的会聚平面的示例。

图4示出根据与本文描述的原理一致的实施例的倾斜多视图图像的会聚平面的计算系统的示例。

图5A和图5B示出根据与本文描述的原理一致的实施例的应用切变功能的示例。

图6示出根据与本文描述的原理一致的实施例的与图形管线对接的示例。

图7A和图7B示出根据与本文描述的原理一致的实施例的用于配置多视图图像的渲染的用户界面的示例。

图8示出根据与本文描述的原理一致的实施例的随着像素被采样而应用切变功能的计算系统的示例。

图9示出根据与在本文中描述的原理一致的实施例的倾斜多视图图像的会聚平面的系统和方法的流程图。

图10示出描绘根据与本文描述的原理一致的实施例的提供多视图显示的多视图显示系统的一个示例图示的示意性框图。

某些示例和实施例具有作为上述附图中所示的特征的补充和替代之一的其他特征。下面参考上述附图详细描述这些和其他特征。

具体实施方式

根据本文描述的原理的示例和实施例提供了通过倾斜会聚平面来改善用户感知多视图图像的体验的技术。作为默认，会聚平面通常在远离相机一定距离处与相机透镜平行。与会聚平面相交的对象看起来聚焦，使得在这些对象的不同视图之间不存在视差。然而，当视点改变到极端角度(诸如作为示例的鸟瞰视角)时，多视图图像中的感兴趣对象可能以负面影响观看体验的方式经受视差。如本文所述，实施例涉及倾斜会聚平面以改善基于相机视图的角度感知对象的方式。在鸟瞰视图的情况下，会聚平面可以倾斜，使得其基本上与地面平行。结果，从观看者的视角来看，可以更清楚地感知更靠近地面的对象。

实施例涉及应用图形级操作以使实时图形管线中的会聚平面倾斜。例如，随着多视图图像被实时渲染，会聚平面可以被倾斜作为后处理操作的一部分。图形管线中的着色器可以被配置为将切变功能应用于不同视图以有效地倾斜会聚平面。举例来说，着色器可以以切变所得视图的方式对来自多视图图像的视图的像素进行采样。切变量可以对应于具体视图远离中心视点的程度。为此，切变功能实时切变多视图的不同视图，以有效地倾斜会聚平面，从而为观看者创建更好的观看体验。

图1示出根据与本文描述的原理一致的实施例的示例中的多视图图像103。多视图图像103具有多个视图106。视图106中的每一个对应于不同视图方向109。视图106被渲染以供多视图显示器112显示。图1中所示的多视图图像103从鸟瞰视角描绘了地面上的各种建筑物的视图。每个视图106表示多视图图像103的不同观看角度。因此，不同视图106相对于彼此具有一定水平的视差。在一些实施例中，观看者可以用她的右眼感知一个视图106，同时用她的左眼感知不同视图106。这允许观看者同时感知不同视图，从而产生立体视觉。换句话说，不同视图106创建三维(3D)效果。

在一些实施例中，随着观看者物理地改变她相对于多视图显示器112的观看角度，观看者的眼睛可以捕捉多视图图像103的不同视图106。结果，观看者可以与多视图显示器112交互以看到多视图图像103的不同视图106。例如，随着观看者向左移动，观看者可以在多视图图像103中看到建筑物的更多左侧。多视图图像103可以具有沿着水平面的多个视图106和/或具有沿着垂直平面的多个视图106。因此，随着用户改变观看角度以看到不同视图106，观看者可以获得多视图图像103的附加视觉细节。当多视图图像103被处理以用于显示时，多视图图像103被存储为记录不同视图106的格式的数据。

如以上所讨论的，每个视图106由多视图显示器112在不同的对应视图方向109处呈现。当呈现多视图图像103以供显示时，视图106实际上可以出现在多视图显示器112上或附近。2D显示器可以基本上类似于多视图显示器112，只是2D显示器通常被配置为提供与多视图图像103的不同视图106相反的单个视图(例如，仅一个视图)。

在本文中，“二维显示器”或“2D显示器”被定义成被配置为不考虑从其观看图像的方向(即，在2D显示器的预定义观看角度或范围内)而提供基本上相同的图像视图的显示器。在许多智能电话和计算机监视器中发现的常规液晶显示器(LCD)是2D显示器的示例。与此相反，“多视图显示器”被定义为电子显示器或显示系统，其被配置为从用户的视角同时地在不同视图方向上或从不同视图方向提供多视图图像的不同视图。具体地，不同视图106可以表示多视图图像103的不同透视图。

多视图显示器112可以使用适应不同图像视图的呈现的各种技术来实现，使得它们被同时感知。多视图显示器的一个示例是采用衍射光栅来控制不同视图106的主角方向的多视图显示器。根据一些实施例，多视图显示器112可以是光场显示器，其是呈现对应于不同视图的不同颜色和不同方向的多个光束的光场显示器。在一些示例中，光场显示器是所谓的“无眼镜”三维(3-D)显示器，其可以使用衍射光栅来提供多视图图像的自动立体表示，而不需要特殊的眼睛佩戴来感知深度。在一些实施例中，多视图显示器112可能需要眼镜或其他眼部佩戴物来控制用户的每只眼睛感知哪些视图106。

在一些实施例中，多视图显示器112是渲染多视图图像和2D图像的多视图显示系统的一部分。在这方面，多视图显示系统可以包括以不同模式操作的多个背光。例如，多视图显示系统可以被配置为在2D模式期间使用宽角度背光提供宽角度发射光。另外，多视图显示系统可以被配置为在多视图模式期间使用具有多波束元件阵列的多视图背光提供定向发射光，定向发射光包括由多波束元件阵列的每个多波束元件提供的多个定向光束。多视图显示系统可以被配置为使用模式控制器对2D模式和多视图模式进行时间复用，以顺序地在对应于2D模式的第一顺序时间间隔期间激活宽角度背光，并且在对应于多视图模式的第二顺序时间间隔期间激活多视图背光。定向光束中的定向光束的方向可以对应于多视图图像的不同视图方向。

例如，在2D模式中，宽角度背光可以生成图像，使得多视图显示系统像2D显示器一样操作。根据定义，“宽角度”发射光被定义为锥角大于多视图图像或多视图显示器的视图的锥角的光。特别地，在一些实施例中，宽角度发射光可以具有大于约20度(例如，>±20°)的锥角。在其他实施例中，宽角度发射光锥角可以大于约三十度(例如，>±30°)，或大于约四十度(例如，>±40°)，或大于约五十度(例如，>±50°)。例如，宽角度发射光的锥角可以是大于约六十度(例如，>±60°)。

多视图模式可以使用多视图背光而不是宽角度背光。多视图背光可以具有多波束元件的阵列，该多波束元件的阵列将光散射为具有彼此不同的主角方向的多个定向光束。例如，如果多视图显示器112以多视图模式操作以显示具有四个视图的多视图图像，则多视图背光可以将光散射为四个定向光束，每个定向光束对应于不同视图。模式控制器可以顺序地在2D模式与多视图模式之间切换，使得使用多视图背光以第一顺序时间间隔显示多视图图像，并且使用宽角度背光以第二顺序时间间隔显示2D图像。

在一些实施例中，多视图显示系统被配置为在光导中引导光作为被引导光。在本文中，“光导”被定义为使用全内反射或“TIR”在结构内引导光的结构。特别地，光导可以包括在光导的操作波长处基本上透明的芯。在各种示例中，术语“光导”通常是指电介质光波导，其采用全内反射来在光导的电介质材料与围绕该光导的材料或介质之间的界面处引导光。根据定义，全内反射的条件是光导的折射率大于与光导材料的表面相邻的周围介质的折射率。在一些实施例中，除了上述折射率差之外或代替上述折射率差，光导可以包括涂层，以进一步促进全内反射。例如，涂层可以是反射涂层。光导可以是若干光导中的任何一个，包括但不限于板或厚片光导和条带光导中的一个或两个。光导可以成形如板或厚片。光导可以由光源(例如，发光设备)边缘点亮。

在一些实施例中，多视图显示系统被配置为使用多波束元件阵列中的多波束元件散射出被引导光的一部分作为定向发射光，多波束元件阵列的每个多波束元件包括衍射光栅、微折射元件和微反射元件中的一个或多个。在一些实施例中，多波束元件的衍射光栅可以包括多个单独子光栅。在一些实施例中，微反射元件被配置为反射地耦合或散射出被引导光部分作为多个定向光束。微反射元件可以具有反射涂层以控制被引导光被散射的方式。在一些实施例中，多波束元件包括微折射元件，该微折射元件被配置为通过或使用折射来耦合或散射出被引导光部分作为多个定向光束(即，折射地散射出被引导光部分)。

如图1所示，多视图显示器112包括用于显示多视图图像103的屏幕。例如，屏幕可以是电话(例如，移动电话、智能电话等)、平板计算机、膝上型计算机、台式计算机的计算机监视器、相机显示器或基本上任何其他设备的电子显示器的显示屏。

图2示出根据与本文描述的原理一致的实施例的生成多视图图像115的示例。图2的多视图图像115包含各种对象，诸如地面120上的树118。树118和地面120可以被称为对象，它们一起形成场景的至少一部分。可以以类似于关于图1讨论的方式的方式显示和观看多视图图像115。为了生成多视图图像115，可以使用相机121来捕获场景。在一些实施例中，相机121可以包括一个或多个物理相机。例如，物理相机包括用于捕获光并将其记录为图像的透镜。可以使用多个物理相机来捕获场景的不同视图以创建多视图图像115。例如，每个物理相机可以以定义的距离间隔开，以允许捕获场景中的对象的不同视角。不同物理相机之间的距离允许捕获场景深度的能力，与观看者眼睛之间的距离允许3D视觉的方式相同。

相机121还可以表示与物理相机相对的虚拟(例如，模拟或假设)相机。可以使用操纵计算机生成的信息的计算机图形技术来生成场景。在该示例中，相机121被实现为具有使用用于编辑图像的软件工具来生成场景的视点的虚拟相机。虚拟相机可以根据观看角度和3D模型的坐标来定义。3D模型可以定义由虚拟相机捕获的各种对象。

在一些实施例中，可以通过自动算法(例如，计算机视觉、人工智能、图像批处理等)生成多视图图像115的一个或多个视图。例如，在使用物理或虚拟相机生成或捕获场景的视图之后，可以通过从原始视图预测、内插或外插来人工生成一个或多个其他视图。例如，各种计算机视觉技术可以基于一个或多个输入视图生成附加视图。这可以涉及采用从一个或多个输入视图预测、内插和/或外插不同视图的经训练的计算机视觉模型。

当使用相机121生成或捕获场景的视图时，多视图图像可以具有会聚平面127。“会聚的平面”或“会聚平面”被定义为一组位置，在这些位置中不同视图对准，使得不同视图之间几乎没有视差。会聚平面127也可以被称为零视差平面(ZDP)。会聚平面127出现在相机121的前面。相机121与会聚平面127之间的对象看起来更靠近观看者，而会聚平面127后面的对象看起来更远离观看者。在这方面，对象远离会聚平面127的位置越远，不同视图之间的视差程度越大。沿着会聚平面127的对象相对于观看者看上去聚焦。因此，当生成多视图图像115时，希望将某些对象表征为主要被摄体的创建者可能希望会聚平面127落在主要被摄体上。在ZDP上渲染的像素可以看起来好像它们位于显示器上，在ZDP前面渲染的像素可以看起来好像它们位于显示器前面，并且在ZDP后面渲染的像素可以看起来好像它们位于显示器后面。

相机121捕获落在相机121的截头锥体130(frustrum)内的场景。截头锥体130被示出为具有定义场景的观看角度范围的上边界和下边界。通常，默认会聚平面127平行于由相机121的相机透镜形成的平面，使得其相对于截头锥体130形成梯形。在图2中，会聚平面127与树118的底部和树118的背部(相对于相机121)相交。结果，树118的底部看起来是聚焦的，并且随着它看起来位于显示器上，对于观看者来说将看起来是特征兴趣点。

图2还示出多视图图像115的视图之一的视差图133。可以为视图中的至少一个生成视差图133。在一些情况下，不生成视差图。在任何情况下，讨论视差图133以说明与本文讨论的实施例相关的构思。视差图133将每个像素(或潜在地像素簇)与对应视差值相关联。视差值根据相对于不同视图的对应像素的距离来量化视差。例如，对于第一视图具有大视差值的像素意味着，相对于第二视图中的对应像素，在像素和对应像素对于观看者从特定观看角度看起来的位置上存在大的差异。

在本文中，“视差图”被定义为指示多视图图像115的至少两个视图之间的表观像素差异的信息。在这方面，视差图可以指示多视图图像的两个视图的两个像素之间的位置差异。当视差为零(例如，等于零或接近零)时，表示对象的像素在观看者看来处于相同位置。换句话说，由用户聚焦的对象在多个视图(例如，左眼视图和右眼视图)之间具有零视差。几乎没有视差的区域被认为对应于会聚平面127(或ZDP)。出现在聚焦的对象前面或后面的对象将在不同的视差程度上具有视差，并且因此超出会聚平面。例如，表示相机121与会聚平面127之间的对象的像素可以具有正视差值，而表示会聚平面127后面的对象的像素可以具有负视差值。视差的绝对值越大，它越远离会聚平面127。视差与深度成反比。

图2示出具有三个区域135a-c的视差图133。每个区域135a-c包含表示各种视差值的像素。例如，下部区域135a对应于表示树118前面的地面120的像素，中间区域135b对应于表示树118的底部的像素，并且上部区域135c对应于表示树118的顶部的像素。下部区域135a中的视差值可以相对较大并且是正的，这是因为它们表示会聚平面127前面的像素。中间区域135b中的视差值可以接近零，这是因为它们表示会聚平面127上的像素。上部区域135c中的视差值可以相对较大并且是负的，这是因为它们表示会聚平面127后面的像素。当在多视图显示器上渲染时，多视图图像115被用户感知，使得相对于地面120存在宽范围的视差。换句话说，只有地面120的一小部分将看起来聚焦并位于显示器上。地面120的剩余部分将出现在显示器前面或显示器后面。这种结果在一些应用中可能是不期望的。例如，以沿着地面120移动的被摄体或在地面上的不同位置处的多个被摄体为特征的多视图内容可能不会以最佳方式从鸟瞰视图呈现给观看者。在这种情况下，可能希望倾斜会聚平面。

图3示出根据与本文描述的原理一致的实施例的使多视图图像的会聚平面127倾斜的示例。例如，最初相对于由相机121的透镜(虚拟或物理)形成的平面平行的会聚平面127可以倾斜以形成倾斜的会聚平面138，该倾斜的会聚平面138相对于由相机121的透镜(虚拟或物理)形成的平面不平行。图3示出倾斜量141，其可以被量化为会聚平面127(其可以被称为初始会聚平面)与倾斜会聚平面138之间的角度。倾斜会聚平面138可以作为会聚平面127围绕旋转点(在初始会聚平面127与倾斜会聚平面138的交叉点处示出)旋转的结果而生成。

通过应用倾斜会聚平面138，多视图图像可以引起更美观的观看体验。例如，倾斜会聚平面138可以对应于由地面120形成的平面。结果，沿着地面的对象将没有视差，从而在地面跨越多视图图像时将观看者的注意力吸引到地面。例如，位于地面上或地面附近的对象将看起来好像它在显示器上，地面上方的对象将出现在显示器前面，并且地面下方的对象将出现在显示器后面。

在数学关系方面，会聚平面127可以通过根据以下等式(1)修改视差图而沿着垂直(y)轴倾斜：

D^′(X,Y)＝D(X,Y)+T*Y+C (1)

其中“D”是指视差值，“D’”是指更新的视差值，其中视差值是像素的X和Y坐标的函数，其中“T”量化倾斜141的量，并且“C”对应于由旋转轴150定义的会聚平面127的旋转位置。通过将上述等式应用于视差图133，沿着垂直轴修改视差，使得离旋转轴150越远，视差的改变越大。

在一些实施例中，修改视差图133以创建倾斜会聚平面138可能不是选项，这是因为视差图133可能不容易获得。例如，在实时渲染环境中，当没有带宽或生成视差图的能力时，可以在运行中渲染和后处理多视图图像。为此，对视差图进行操作可能不允许在图形管线中进行实时渲染。以下附图描述了在实时渲染环境中使用图形管线来倾斜会聚平面127。

当生成或渲染多视图图像时，存在控制显示图像的方式的各种视觉属性或效果。这些视觉特性包括例如视差、景深(DoF)、基线、会聚平面、会聚偏移、透明度等。可以在渲染时应用多视图图像的视觉属性作为后处理操作。

如本文所使用的，“视差”被定义为在对应位置处的多视图图像的至少两个视图之间的差异。例如，在立体视觉的背景下，由于眼睛之间的观看角度的差异，左眼和右眼可以看到相同的对象，但是在略微不同的位置处。该差异可以被量化为视差。跨多视图图像的视差改变传达深度感。

如本文所使用的，“景深”被定义为被认为是聚焦的两个对象之间的深度差。例如，多视图图像的大景深导致相对大的深度范围之间的少量视差。

如本文所使用的，“基线”或“相机基线”被定义为捕获多视图图像的对应视图的两个相机之间的距离。例如，在立体视觉的背景下，基线是左眼与右眼之间的距离。较大的基线导致增加的视差，并且可以增强多视图图像的3D效果。

如本文所使用的，“会聚偏移”是指相机与沿着会聚平面的点之间的距离。修改会聚偏移将改变会聚平面的位置，以便将多视图图像重新聚焦在不同深度处的新对象上。

如本文所使用的，“透明度”是指定义对象后面的其他对象可以被看到的程度的对象属性。对象可以被渲染为形成多视图图像的最终视图的层。增加前层的透明度将允许看到后层。最小透明度(例如，没有透明度)将防止后层被看到，而最大透明度将使特定层不可见，以便完全显露后层。

此外，如本文所使用的，冠词“一”旨在具有其在专利领域中的普通含义，即“一个或多个”。例如，“一处理器”意指一个或多个处理器，并且因此，“该存储器”在本文中意指“一个或多个存储器组件”。

图4示出根据与本文描述的原理一致的实施例的倾斜多视图图像的会聚平面的计算系统的示例。倾斜会聚平面的操作可以在图形管线200中进行，而不使用视差图。图4示出与图形管线200对接以倾斜会聚平面的实施例。如本文所使用的，“图形管线”被定义为渲染用于显示的模型的计算机实现的环境。图形管线可以包括一个或多个图形处理单元(GPU)、GPU核或被优化用于将图像内容渲染到屏幕的其他专用处理电路。例如，GPU可以包括执行指令集以并行地对数据阵列进行操作的向量处理器。图形管线200可以包括图形卡、图形驱动器或用于渲染图形的其他硬件和软件。图形管线200可以被配置为在多视图显示器112上渲染图像。图形管线200可以将像素映射到显示器的对应位置上，并且控制显示器发射光以渲染图像。

图4中所示的计算系统还可以包括一个或多个中央处理单元(CPU)202。CPU 202可以是执行指令、支持操作系统并提供用户级应用205的通用处理器。在一些实施例中，图形管线200是与CPU 202分离的子系统。例如，图形管线200可以包括与CPU 202分离的专用处理器(例如，GPU)。在一些实施例中，图形管线200由CPU 202纯粹实现为软件。例如，CPU 202可以执行在没有专用图形硬件的情况下作为图形管线200操作的软件模块。在一些实施例中，图形管线200的各部分在专用硬件中实现，而其他部分由CPU 202实现为软件模块。

应用205可以是生成用户界面的用户级应用，所述用户界面由图形管线200渲染以用于在多视图显示器112上显示。例如，应用205可以是加载描绘街道、建筑物和其他地理地标的各种地图的导航应用。导航应用可以提供生成地理区域的3D模型的用户界面。导航应用可以动态地更新3D模型中的虚拟相机的观看角度，以基于虚拟相机的取向生成3D模型的一部分的视觉输出。

计算系统还可以包括存储器208。存储器208可以包括主存储器(例如，系统存储器)、高速缓存或用于快速处理数据的其他快速存储器。如下面进一步详细讨论的，存储器208可以是易失性存储器，但也可以包括非易失性存储器。存储器208可以包括用于CPU 202的存储器和用于图形管线200的存储器，使得CPU 202和图形管线200共享相同的存储器资源。在一些实施例中，存储器208包括专用于CPU的第一存储器(例如，CPU存储器)并且包括专用于图形管线200的第二存储器(例如，GPU存储器、纹理存储器等)。在该实施例中，图形管线200可以将内容从CPU存储器加载、复制或以其他方式移动到GPU存储器。

如上所述，应用205可以使用用于3D建模的计算机图形技术来生成3D模型。3D模型是不同对象的各种表面和纹理的数学表示，并且可以包括对象之间的空间关系。应用205可以取决于用户输入生成和更新3D模型。用户输入可以涉及通过点击或拖动光标、按下方向按钮、将用户的物理位置转换为3D模型内的虚拟位置等来导航3D模型。3D模型可以被加载到存储器208中并随后被更新。

3D模型可以被转换为多视图图像211，从而将窗口显露到3D模型中。窗口可以由具有3D模型内的一组坐标、观看角度、焦距、基线等的虚拟相机定义。多视图图像211的序列可以形成以特定帧速率(例如，每秒30帧)显示的视频。每个多视图图像211可以由多个视图214a-d组成。图4的示例示出被格式化为具有四个视图的四视图图像的多视图图像211，然而，可以使用任何数量的视图。视图214a到d可以被配置为提供水平视差、垂直视差或两者。例如，当存在水平视差时，视图214a-d看起来随着观看者相对于多视图显示器112从左向右移动而改变。

应用205可以将多视图图像211的视图214a-d加载到存储器208中。例如，应用205可以被配置为将3D模型转换为用于示出从3D模型导出的多视图图像211的渲染场景。一个或多个视图214a-d由应用205生成并放置到存储器208的特定块中。视图214a-d可以被格式化为由像素坐标系定义的位图217。例如，视图214a-d可以表示为沿水平(X)轴和垂直(Y)轴的二维位图阵列。位图217中的每个像素在显示器上具有对应的位置。例如，位图217的最左上像素控制显示器的最左上像素的输出。另外，每个视图214a-d可以具有对应视图索引号220。视图索引号220可以是多视图图像211内的视图的有序视图号。例如，在四视图多视图格式中，四个视图中的每一个可以被编号为一、二、三和四。视图索引号220指示视图相对于其他视图的位置。例如，视图一可以是最左边的视图，视图二可以是左中心视图，视图三可以是右中心视图，并且视图四可以是最右边的视图。在这种情况下，最大视差将在视图一与视图四之间。

一旦生成视图214a-d并将其加载到存储器208中，应用205就可以调用对图形管线200的渲染命令221。渲染命令221指示图形管线200开始渲染多视图图像211。渲染命令221可以是对图形驱动器的功能调用，以使图形管线200渲染多视图图像211。渲染命令221可以识别要渲染的特定多视图图像211。例如，渲染命令221可以识别存储多视图图像211的地址块。

图形管线200可以包括一个或多个着色器226以渲染多视图图像211。着色器226可以是硬件设备(例如，着色器核)、软件模块或其组合。着色器226可以由图形管线200的GPU执行。多视图图像211的初始渲染可以由执行各种技术(诸如作为示例的光栅化)的模块执行，以渲染多视图图像211的简单或粗略版本。初始渲染操作可以是快速、高效的操作，以将场景几何形状转换为用于显示的像素。初始渲染可以不包括更高级的光学高级效果。在一些实施例中，可以在初始渲染中使用着色器226。

在执行初始渲染之后，可以将一个或多个高级光学效果应用于初始渲染的多视图图像。可以使用一个或多个着色器226来应用光学效果。通过对初始渲染的多视图图像211进行操作，着色器226被认为实现后处理效果。如本文所使用的，“后处理”被定义为对图像执行的操作，该图像最初被渲染为图形管线200中的渲染过程的一部分。不同的着色器226可以被配置为执行后处理。后处理的一些示例包括但不限于修改颜色饱和度、修改色调(hue)、调整亮度、调整对比度、应用模糊、执行体积照明、应用深度效果、执行卡通(cel)阴影、生成散焦效果(bokeh effect)、应用一个或多个滤波器。如本文所使用的，“着色器”被定义为应用特定图形操作(包括例如初始渲染或后处理)的图形管线中的图形组件。

应用205可以使用一个或多个应用编程接口(API)与图形管线200对接。API的一个示例是OpenGL，其提供允许应用205调用在图形管线200中执行的功能的接口。例如，应用205可以使用API来调用对初始渲染的多视图图像211执行后处理的特定着色器226。

实施例涉及在图形管线200中实现在实时渲染期间倾斜会聚平面的功能。以下提供了可以在计算系统中发生的功能和操作的示例。如上所述，应用205可以生成多视图图像211的视图214a-d并将其加载到存储器208中。在操作系统上执行的应用205可以指示CPU将视图214a-d加载到存储器块208中。

视图214a-d可以被格式化为由像素坐标系定义的位图217。可以通过识别3D模型的特定视点和观看角度并将其转换成位图217来从3D模型生成视图214a-d。这可以针对多视图图像211的每个视图执行。应用205然后可以调用渲染命令221以初始地渲染多视图图像211的视图214a-d。例如，应用205可以使用API来请求图形管线200执行初始渲染。作为响应，图形管线200可以通过执行例如光栅化来生成初始渲染视图214a-d。在实时图形渲染环境中，可以优化图形管线200以在运行中快速渲染视图214a-d。随着新的多视图图像211被动态地生成(并且不被预渲染)，这为观看者提供了无缝体验。

接下来，应用205被配置为实时倾斜会聚平面。例如，应用205可以识别视图214a-d与中心视点之间的距离。假设不同视图214a-d相对于中心视点具有不同程度的水平视差的情况，可以确定每个视图与中心视点之间沿着水平轴的距离。该距离取决于基线(例如，视图之间的距离)。例如，基线越大，距中心视点的距离越大。在一些实施例中，通过确定多视图图像211内的视图214a-d的有序视图号(例如，视图索引号220)来识别视图214a-d与中心视点之间的距离。例如，如果多视图图像211的视图214a-d从一到四排序，其中视图一位于最左侧并且视图四位于最右侧。视图索引号220对应于视图214a-d与中心视点之间的距离。例如，视图索引号220为1可以对应于中心左侧50个像素的距离，视图索引号220为2可以对应于中心左侧25个像素的距离，视图索引号220为3可以对应于中心右侧25个像素的距离，并且视图索引号220为4可以对应于中心右侧50个像素的距离。距中心的距离可以是带符号数(例如，正或负)以指示视图是否在中心的左侧。例如，负距离可以指示视图在中心的左侧，而正距离可以指示视图在中心的右侧。

确定视图214a-d距中心视点的距离是确定如何倾斜实时图形管线200中的会聚平面的一部分。应用205可以生成渲染指令以通过使用切变功能来倾斜会聚平面。应用205可以向图形管线200发送将视图渲染为切变后的视图的指令。在这方面，应用205可以调用用于根据沿着像素坐标系的轴应用的切变功能对要切变的初始渲染的多视图图像进行后处理的指令。具体地，图形管线200可以根据切变功能将图形管线200中的视图214a-d渲染为切变后的视图。切变功能的切变强度与视图214a-d与中心视点之间的距离相关。如本文所使用的“切变功能”被定义为根据切变强度沿着方向移位图像的像素的图形操作。切变强度量化由切变功能应用到图像的切变效果的量。切变功能的切变强度可以与视图相对于多视图图像中的其他视图的位置相关。下面讨论的图5提供了切变功能的视觉解释。

随着多视图图像211在图形管线中被渲染，执行切变功能使得会聚平面实时倾斜。着色器226可以被定制以实现切变功能。在这方面，应用205可以调用着色器226以对初始渲染的多视图图像211执行切变功能。在对多视图图像的视图214a-d应用切变功能之后，图形管线200可以将结果加载到存储器208中作为切变后的多视图图像232。图形管线200可以用切变后的多视图图像232覆盖多视图图像211，或者可以将切变后的多视图图像232加载到存储器208的单独部分中。在切变后的多视图图像232最终被渲染在多视图显示器112上之前，可以对切变后的多视图图像232应用附加的后处理。

图5A和图5B示出根据与本文描述的原理一致的实施例的应用切变功能的示例。图5A描绘了多视图图像的不同视图。每个视图可以被格式化为存储或加载在存储器(诸如例如图4的存储器208)中的位图图像。虽然四个视图被示出，但是多视图图像可以具有任何数量的视图。图5A中所示的视图(例如，视图1、视图2、视图3和视图4)具有水平视差。图5A的多视图图像可以具有中心视点235。观看者可以通过沿着水平轴移动(例如，从左到右或从右到左)来看到多视图图像中的对象周围。

每个视图可以具有到中心视点235的对应距离。虽然图5A示出从每个视图的中心测量的该距离，但是该距离可以从视图的任何点(诸如作为示例的左边缘或右边缘)测量。视图1远离中心视点235的距离为“D1”。视图2远离中心视点235的距离为“D2”。视图3远离中心视点235的距离为“D3”。视图4远离中心视点235的距离为“D4”。距离D1和D2可以是指示其在中心视点235的左侧的负值，而距离D3和D4可以是指示其在中心视点235的右侧的正值。

图5A示出当多视图图像被加载到存储器中时的多视图图像以及在后处理之前由图形管线初始渲染时多视图图像如何显现。图5B示出作为实时图形管线(例如，图4的图形管线200)中的后处理的一部分通过切变功能切变之后的多视图图像。具体地，图5B示出从视图1生成的切变后的视图1、从视图2生成的切变后的视图2、从视图3生成的切变后的视图3以及从视图4生成的切变后的视图4。切变后的视图1-4中的每一个由应用切变强度的切变功能生成。基于视图与中心视点235之间的距离(例如，D1-D4)来确定切变强度。例如，远离中心视点235的距离越大，切变强度越大。此外，切变强度的符号(例如，正或负)由距离的符号定义。切变强度的符号控制由切变功能应用的切变的方向。

切变功能也可以由切变线238定义。切变线238可以沿着特定轴延伸，该特定轴控制每个视图如何被切变。切变功能根据切变线238操作。图5B的示例示出沿水平轴的切变线238。结果，切变功能被配置为仅沿着像素坐标系的水平轴使视图偏斜。在这方面，像素坐标系上的像素仅水平移位。像素位移的方向和程度取决于视图到中心视点235的距离(例如，正距离或负距离)以及被位移的像素是在切变线238上方还是下方。例如，在切变后的视图1和切变后的视图2中，切变线238上方的像素向右偏斜，而切变线238下方的像素向左偏斜。在切变后的视图3和切变后的视图4中，切变线238上方的像素向左偏斜，而切变线238下方的像素向右偏斜。

图5B还示出对应切变后的视图1-4的切变效果241a-d。更强的切变效果将造成视图被更多地切变。切变效果由切变强度确定，使得大的切变强度将导致更大的切变效果241a-d。例如，切变强度可以基于会聚平面的倾斜量。此外，切变强度随着视图远离中心视点235而增加。例如，切变后的视图1的切变效果241a比切变后的视图2的切变效果241b更强，这是因为切变后的视图1更远离中心视点235。另外，切变后的视图1的切变效果241a类似于切变后的视图4的切变效果241d，这是因为切变后的视图1和切变后的视图4与中心视点235等距。然而，切变后的视图1和切变后的视图4具有切变效果241a、241d的相反方向，这是因为它们在中心视点235的相对侧上。

切变线238可以默认形成沿着垂直轴定位在中间的水平线。在其他实施例中，切变线238可以位于不同的垂直位置处，并且可以是用户指定的。虽然图5B示出水平切变线238，但是切变线238可以是垂直的。在这种实施例中，切变功能被配置为沿着像素坐标系的垂直轴偏斜第一视图和第二视图。在一些实施例中，切变线238是有坡度的或弯曲的，使得其具有沿水平轴和垂直轴改变的点。在这种示例中，像素可以沿着X和Y方向两者移位。

一个实施例设想使用导航应用以随着用户导航物理或虚拟空间来动态地生成地图场景的多视图图像。如果相机角度类似于或接近于鸟瞰视图，则会聚平面可以围绕水平轴倾斜。结果，切变功能被配置为仅沿着像素坐标系的水平轴使视图偏斜。

图6示出根据与本文描述的原理一致的实施例的与图形管线对接的示例。如以上所讨论的，应用205可以与图形管线200对接。例如，应用205可以是在客户端设备的操作系统上执行的用户级应用。应用205还可以被实现为在服务器上执行并且经由客户端设备提供给用户的基于云的应用。应用205可以使用一个或多个API与图形管线200对接。应用205负责计算视图。随着用户提供输入，可以从3D模型动态地计算视图。例如，用户可以提供指令或输入以改变捕获由3D模型定义的场景的相机的视角、缩放、取向或位置。作为响应，应用205可以实时计算多视图图像的视图。在这种情况下，多视图图像可以是要在实时图形管线中渲染的视频的帧。

可以响应于用户交互来动态地计算多视图图像的视图。应用205可以生成对图形管线200的命令，以随着任何或所有视图由应用205计算而执行对任何或所有视图的实时渲染。例如，应用205可以向图形管线200发送API功能调用以渲染视图。

实时渲染可以包括初始渲染部分和后处理部分。初始渲染部分涉及图形管线200以渲染初始视图。如上所述，最初渲染视图以在没有高级光学效果的情况下在显示器上快速渲染多视图图像的像素。着色器可以用于执行初始渲染。此后，应用205可以调用一个或多个后处理操作以将初始渲染转换为最终渲染。后处理可以应用改善初始渲染图像的质量或真实性的图像编辑操作。根据实施例，应用205指示图形管线200倾斜会聚平面。例如，图形管线200将切变功能应用于每个视图。切变功能的切变强度与视图相对于多视图图像中的其他视图的位置相关。着色器可以用于实现切变功能。应用205可以提供切变强度、切变线或两者作为图形管线的输入。然后在多视图显示器112上渲染多视图图像的切变后的视图。随着应用205生成要实时渲染的新的多视图图像时，该过程连续发生。

图7A和图7B示出根据与本文描述的原理一致的实施例的用于配置多视图图像的渲染的用户界面244的示例。通常有两种软件开发和使用模式：配置模式和运行时模式。配置模式是指开发者创建和配置软件应用程序的模式。例如，应用可以允许开发者在配置模式期间创建导航应用。开发者可以指定期望的相机角度、后处理操作以及将如何渲染多视图图像的其他方面。运行时模式是指终端用户执行已经由开发者配置的软件的模式。

用户界面244可以在客户端设备上渲染，并且由开发者在配置模式期间使用，该开发者正在开发最终在运行时模式期间渲染多视图图像的应用。用户界面可以包括包含呈现给用户的信息(例如，文本和图形)的窗口。用户界面244可以由用于设计终端用户应用的应用生成。例如，开发者可以使用用户界面244来设计导航应用、游戏应用或其他应用。用户界面244可以由设计图形以及将图形呈现给其他用户的方式的开发者使用。用户界面244也可以由终端用户应用呈现。用户界面244可以允许用户在配置模式期间通过做出与不同后处理操作相关的用户选择来配置着色器。一旦根据用户输入配置了着色器，着色器就可以在运行时对多视图图像进行后处理。

用户界面244可以具有用于显示多视图图像或其表示的第一部分247。第一部分247可以包括多视图图像的渲染。例如，多视图图像的渲染可以模拟在运行时期间用户设置将如何应用于多视图图像。用户界面244可以具有包含菜单的第二部分250。菜单可以包括各种输入元素，诸如作为示例的滑块、文本框、复选框、单选按钮、下拉菜单等。菜单允许用户在多视图图像在第一部分中被渲染时改变多视图图像的各种视觉参数。这些视觉参数包括例如相机基线、会聚偏移、ZDP旋转、自动ZDP选项、景深(DoF)阈值、DoF强度、透明度阈值、透明度强度和潜在的其他视觉参数。用户可以通过操纵一个或多个输入元素来提供输入。结果，从用户界面244接收用户输入。

图7A描绘了从用户界面接收用户输入并基于用户输入确定切变强度的示例。例如，用户可以滑动ZDP旋转滑块以选择ZDP旋转的范围。当设置为最小值(例如，零旋转)使得滑块在一端时，会聚平面不旋转。当通过将滑块移动到另一端而设置为最大值时，会聚平面以对应的方式倾斜。也就是说，用户指定的ZDP旋转量用于确定倾斜量。当在运行时期间应用切变功能时，这可以量化切变强度。

切变功能还可以根据可以是用户指定的基线来计算切变强度。基线通过增加至少两个视图之间的距离来控制每个视图与中心视点之间的距离。因此，增加基线可以使视图移动得更远离中心视点，从而使该视图经历更强的切变效果。为此，外部视图将被更大程度地切变以实现倾斜会聚平面的效果。

图7B描绘了用户界面的示例，其允许用户选择选项以在配置模式期间自动确定会聚平面的倾斜量。例如，应用可以通过计算多视图图像的视图和另一视图之间的公共点处的视差值来自动确定切变强度。例如，应用可以识别预定位置处的特征。特征可以是像素，具有共同颜色的像素集合。预定位置可以是沿着视图的水平轴或垂直轴的中点。应用可以识别对应特征在另一视图中的位置，以确定其由于另一视图的不同视角而移位的量。应用可以调用光线投射操作以识别预定位置处的特征。光线投射是指从特定角度朝向3D模型的特定位置投射假设光线。输出识别3D模型的特征。光线投射可以用于确定来自3D模型的不同视图之间的视差。特征在两个视图之间移位的量等于视差。一旦在特定位置处识别出两个视图之间的视差，就可以确定最佳切变强度，使得由于倾斜会聚平面而移除该特定位置处的视差。在这方面，使用计算的切变强度倾斜会聚平面将导致视图在预定位置处对准，使得不存在视差。

图7A和图7B还示出用于选择性地应用后处理操作的用户界面。在一些实施例中，可以将后处理操作应用于多视图图像的选择的区域。例如，应用可以被配置为从用户界面接收用户输入，基于用户输入确定视差值的范围，并且配置着色器以响应于像素具有在视差值的范围内的视差值而对视图的像素进行操作。用户界面244可以包括用于选择阈值的菜单，所述阈值诸如例如DoF阈值、透明度阈值或用于其他后处理操作的阈值。阈值可以是对应于视差范围的值的范围。低阈值可以涵盖对应于低量视差(例如，零或接近零视差)的视图区域。较高的阈值可以涵盖对应于大量视差的视图区域，使得整个视图被选择。阈值选择在零视差平面的两个方向(进和出)上扩展视图的选择。因此，基于阈值选择，应用可以确定视差值的范围并且选择视图中落在视差值的范围内的那些区域。

在选择视图的区域之后，应用仅将着色器操作(例如，后处理操作)应用于选择的区域。着色器被配置为执行透明度操作或景深操作，或可能的其他后处理操作。透明度操作改变可以看到对象后面的其他对象的程度。该程度可以是用户使用用户界面指定的。例如，如图7A和7B所示，用户可以指定透明度强度以将像素的透明度控制在透明度阈值内。执行透明度操作的着色器根据透明度强度来配置，并且对由透明度阈值定义的选择的像素进行操作。

景深操作修改被认为聚焦的两个对象之间的深度差异。例如，景深操作可以改变选择的像素内的像素的视差值。例如，如果景深阈值选择具有在-30和+30之间的视差值的像素，则大的景深强度可以指定应用于选择的像素的模糊程度。景深操作以对应于景深强度的方式模糊选择的像素。

用户界面244允许用户对阈值和后处理操作参数进行特定选择。这些设置用于配置着色器。在运行时期间，着色器根据经由用户界面244应用的设置来操作。

图8示出根据与本文描述的原理一致的实施例的随着像素被采样而应用切变功能的计算系统的示例。图8描绘了至少包括处理器和存储器303的计算系统，其中存储器303存储多个指令，所述指令在被执行时使处理器执行各种操作。存储器303可以类似于图4的存储器208。关于图10更详细地描述了示出处理器和存储器的该计算架构的示例。

计算系统可以将多视图图像的视图加载到存储器303中。例如，如上面关于图4所讨论的，应用(例如，应用205)可以生成一个或多个多视图图像309并且实时地将不同视图312加载到存储器303中。视图312可以被格式化为由像素坐标系定义的位图。如图8所示，位图可以具有水平(X)轴和垂直(Y)轴。出于说明的目的，每一像素可由列字母(A到G)和行号(1到7)标记。最左上像素被称为视图312的像素A1。应理解，每个视图312的像素的数量可以显著大于图8中所显示的像素的数量。

接下来，计算系统可以向图形管线315发送根据沿着像素坐标系的轴323应用的切变功能将视图渲染为切变后的视图320的指令(渲染指令317)。图形管线315可以类似于图4的图形管线200。渲染指令317可以是API功能调用，以通过调用被配置为应用切变功能的着色器来将视图渲染为切变后的视图320。切变后的视图320是切变后的多视图图像326的一部分，使得每个视图312具有对应的切变后的视图320。渲染指令317可以识别要切变的视图。渲染指令317可以是实时发送到图形管线315以随着多视图图像211由应用动态生成而渲染多视图图像211的指令。切变功能可以由着色器实现，诸如例如图4的着色器226。着色器可以在配置模式期间由用户使用用户界面(诸如例如图7A和7B的用户界面244)来配置。

切变功能的切变强度与视图312相对于多视图图像309中的其他视图的位置相关。例如，视图索引号可以识别视图312相对于其他视图的位置。如上所解释，在一些实施例中，切变强度可以由用户在配置模式期间来确定，所述用户经由用户界面提供用户输入。切变强度由用户输入确定并在运行时期间应用。

图形管线315被配置为随着位图的像素由图形管线315采样而实施切变功能。例如，切变功能可以涉及通过对来自视图312的像素进行采样来形成切变后的视图。切变功能不是以一一对应的方式均匀采样，而是使用切变强度沿着切变线对像素进行采样以引起切变效果。例如，切变功能根据形成切变线的轴323操作。切变后的视图320的像素是从靠近视图312的对应位置的位置采样的。随着切变后的视图320的像素移动得更远离轴323(在垂直方向上)，水平位移量相对于像素被采样的位置增加。

为了说明，切变后的视图320的像素D3靠近轴，该轴靠近行3和行4。切变后的视图320的该像素是从视图312的像素D3采样的。因为在相同的对应位置处执行像素采样，所以这相当于没有切变效果。然而，随着像素在垂直方向上进一步向上定位，切变效果变得更加明显。切变后的视图的像素D1是从视图312的像素C1采样的。在这方面，轴323以北的像素向右偏斜。这是使得切变效果被应用于切变后的视图的采样偏移。类似地，切变后的视图320的像素D7是从视图312的像素E7采样的。轴323以南的像素向左偏斜。当在视图312的特定边缘附近操作时，该偏斜功能可能导致在无效位置处对像素进行采样。例如，切变后的视图320的像素G7是从视图外部的位置(示出为X)采样的。在这种情况下，默认像素可以用于生成切变后的视图320的G7的像素。默认像素可以为具有零色彩值的像素(例如，黑色像素)或可以具有任何其他默认像素值。在一些实施例中，默认像素值可以通过匹配到边界中的最接近像素来确定。

图8示出被配置为仅沿着像素坐标系的水平轴(例如，轴323)使视图312偏斜的切变功能。然而，可以应用任何轴取向。另外，如上面关于图7A和图7B所讨论的，可以在配置模式期间使用用户界面(例如，用户界面244)来配置后处理操作(包括倾斜会聚平面)。此后，可以在图形管线315中的运行时期间应用切变功能。

图9是示出根据与本文描述的原理一致的实施例的倾斜多视图图像的会聚平面的系统和方法的流程图的流程图。图9的流程图提供了由执行指令集的计算设备(例如，多视图显示系统)实现的不同类型的功能的一个示例。作为替代，图9的流程图可以被视为描绘根据一个或多个实施例的在计算设备中实现的方法的元素的示例。

在项目404处，计算设备生成多视图图像的多个视图。例如，应用(例如，图4的应用205)可以响应于用户输入动态地生成多视图图像的视图。应用可以将视图加载到存储器(例如，图4的存储器208、图8的存储器303)中。

在项目407处，计算设备识别每个视图与中心视点之间的距离。例如，应用可以基于指示每个视图相对于另一视图的位置的视图索引号来识别该距离。视图索引号可以指示视图是在中心的右侧还是左侧，以及随着索引号排序的它与中心的靠近程度。还可以根据基线计算距离。在基线是预定的情况下，视图索引号可以足以推断视图与中心视点之间的距离。

在项目410处，计算设备将切变功能应用于每个视图以生成切变后的视图。举例来说，图形管线(例如，图4的图形管线200、图8的存储器303)可以由应用程序指示以应用后处理切变功能。图形管线可以根据沿着像素坐标系的轴应用的切变功能的第一切变强度将图形管线中的第一视图渲染为第一切变后的视图。图形管线可以根据沿着像素坐标系的轴应用的切变功能的第二切变强度来将图形管线中的第二视图渲染为第二切变后的视图。第一切变强度和第二切变强度是不同的，并且基于视图与中心视点之间的距离。例如，第一切变强度可以是负切变强度，并且第二切变强度可以是正切变强度。切变强度的符号控制应用到视图的切变的方向，其取决于视图相对于中心视点的相对位置。

在项目413处，计算设备显示渲染的切变后的视图。切变后的视图有效地具有由应用到每个视图的切变量控制的倾斜会聚平面。视图可以在多视图显示器上被渲染为多视图图像。例如，图形管线可以使用例如图形驱动器和/或固件与多视图显示器通信，以使多视图图像被渲染以供显示。

上面讨论的图9的流程图可以示出实时倾斜会聚平面的系统或方法，其具有指令集的实现的功能和操作。如果体现在软件中，则每个框可以表示包括用于实现指定的(多个)逻辑功能的指令的代码的模块、段或部分。指令可以以包括以编程语言编写的人类可读语句的源代码、从源代码编译的目标代码或包括可由合适的执行系统(诸如处理器、计算设备)识别的数字指令的机器代码的形式体现。可以从源代码等转换机器代码。如果体现在硬件中，则每个块可以表示用于实现指定的(多个)逻辑功能的电路或数个互连电路。

尽管图9的流程图示出特定的执行顺序，但是应当理解，执行顺序可以与所描绘的顺序不同。例如，两个或更多个框的执行顺序可以相对于所示的顺序被扰乱。此外，所示的两个或更多个框可以同时或部分同时执行。此外，在一些实施例中，可以跳过或省略框中的一个或多个。

图10是描绘根据与本文描述的原理一致的实施例的提供多视图显示的多视图显示系统1000的示例图示的示意性框图。多视图显示系统1000可以包括为多视图显示系统1000的用户执行各种计算操作的组件的系统。多视图显示系统1000可以是膝上型计算机、平板计算机、智能电话、触摸屏系统、智能显示系统或其他客户端设备。多视图显示系统1000可以包括各种组件，诸如例如(多个)处理器1003、存储器1006、(多个)输入/输出(I/O)组件1009、显示器1012和潜在的其他组件。这些组件可以耦接到总线1015，总线1015用作本地接口以允许多视图显示系统1000的组件彼此通信。虽然多视图显示系统1000的组件被示出为包含在多视图显示系统1000内，但是应当理解，至少一些组件可以通过外部连接耦接到多视图显示系统1000。例如，组件可以经由外部端口、插座、插头或连接器从外部插入到多视图显示系统1000中或以其他方式与多视图显示系统1000连接。

处理器1003可以是中央处理单元(CPU)、图形处理单元(GPU)、执行计算处理操作的任何其他集成电路或其任何组合。(多个)处理器1003可以包括一个或多个处理核。(多个)处理器1003包括执行指令的电路。指令包括例如计算机代码、程序、逻辑或由(多个)处理器1003接收和执行以执行体现在指令中的计算功能的其他机器可读指令。(多个)处理器1003可以执行指令以对数据进行操作。例如，(多个)处理器1003可以接收输入数据(例如，图像)，根据指令集处理输入数据，并生成输出数据(例如，处理的图像)。作为另一示例，(多个)处理器1003可以接收指令并生成用于后续执行的新指令。处理器1003可以包括用于实现图形管线(例如，图4的图形管线200、图8的图形管线315)的硬件。例如，(多个)处理器1003可以包括一个或多个GPU核、向量处理器、缩放器进程或硬件加速器。

存储器1006可以包括一个或多个存储器组件。存储器1006在本文中被定义为包括易失性和非易失性存储器中的任一个或两者。易失性存储器组件是在断电时不保留信息的那些组件。易失性存储器可以包括例如随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、磁随机存取存储器(MRAM)或其他易失性存储器结构。可以使用易失性存储器来实现系统存储器(例如，主存储器、高速缓存等)。系统存储器是指可以临时存储用于快速读取和写入访问以辅助(多个)处理器1003的数据或指令的快速存储器。存储器1006可以包括图4的存储器208或图8的存储器303，或者一个或多个其他存储器设备。

非易失性存储器组件是在断电时保留信息的那些组件。非易失性存储器包括只读存储器(ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、经由存储卡读取器访问的存储卡、经由相关联的软盘驱动器访问的软盘、经由光盘驱动器访问的光盘、经由适当的磁带驱动器访问的磁带。ROM可以包括例如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其他类似的存储器设备。存储存储器可以使用非易失性存储器来实现，以提供数据和指令的长期保留。

存储器1006可以指用于存储指令以及数据的易失性和非易失性存储器的组合。例如，数据和指令可以存储在非易失性存储器中并加载到易失性存储器中以供(多个)处理器1003处理。指令的执行可以包括，例如，编译程序，其被翻译成能够从非易失性存储器加载到易失性存储器中然后由处理器1003运行的格式的机器代码；以适当格式转换的源代码，在诸如能够被加载到易失性存储器中以便由处理器1003执行的目标代码；或者由另一个可执行程序解释以在易失性存储器中生成指令并由处理器1003执行的源代码等。指令可以被存储或加载到存储器1006的任何部分或组件中，包括例如RAM、ROM、系统存储器、存贮器或其任何组合。

虽然存储器1006被示出为与多视图显示系统1000的其他组件分离，但是应当理解，存储器1006可以至少部分地嵌入或以其他方式集成到一个或多个组件中。例如，(多个)处理器1003可以包括板载存储器寄存器或高速缓存以执行处理操作。

(多个)I/O组件1009包括例如触摸屏、扬声器、麦克风、按钮、开关、拨号盘、相机、传感器、加速度计或接收用户输入或生成指向用户的输出的其他组件。(多个)I/O组件1009可以接收用户输入并将其转换为数据以存储在存储器1006中或由(多个)处理器1003处理。(多个)I/O组件1009可以接收由存储器1006或(多个)处理器1003输出的数据，并将它们转换为用户感知的格式(例如，声音、触觉响应、视觉信息等)。

特定类型的I/O组件1009是显示器1012。显示器1012可以包括多视图显示器(例如，多视图显示器112)、与2D显示器组合的多视图显示器或呈现图像的任何其他显示器。用作I/O组件1009的电容式触摸屏层可以在显示器内分层，以允许用户在同时感知视觉输出的同时提供输入。(多个)处理器1003可以生成被格式化为用于在显示器1012上呈现的图像的数据。(多个)处理器1003可以执行指令以在显示器上渲染图像以供用户感知。

总线1015促进(多个)处理器1003、存储器1006、(多个)I/O组件1009、显示器1012和多视图显示系统1000的任何其他组件之间的指令和数据的通信。总线1015可以包括地址转换器、地址解码器、结构、导电迹线、导电线、端口、插头、插座和其他连接器，以允许数据和指令的通信。

存储器1006内的指令可以以实现软件栈的至少一部分的方式以各种形式体现。例如，指令可以体现为操作系统1031、(多个)应用1034、设备驱动器(例如，显示驱动器1037)、固件(例如，显示固件1040)或其他软件组件。操作系统1031是支持多视图显示系统1000的基本功能(诸如调度任务、控制I/O组件1009、提供对硬件资源的访问、管理功率、以及支持应用1034)的软件平台

(多个)应用1034在操作系统1031上执行，并且可以经由操作系统1031获得对多视图显示系统1000的硬件资源的访问。在这方面，(多个)应用1034的执行至少部分地由操作系统1031控制。(多个)应用1034可以是向用户提供高级功能、服务和其他功能的用户级软件程序。在一些实施例中，应用1034可以是用户在多视图显示系统1000上可下载或以其他方式可访问的专用“app”。用户可以经由由操作系统1031提供的用户界面启动(多个)应用1034。(多个)应用1034可以由开发者开发并且以各种源代码格式来定义。应用1034可以使用数个编程或脚本语言来开发，诸如作为示例的C、C++、C#、Objective C、Swift、Perl、PHP、VisualRuby、Go或其他编程语言。(多个)应用1034可以由编译器编译成目标代码或由解释器解释以供(多个)处理器1003执行。应用1034可以是图4的应用205。应用还可以是另一应用，其为创建图4的应用205的开发者提供用户界面(例如，用户界面244)作为配置模式的一部分。

诸如例如显示驱动器1037的设备驱动器包括允许操作系统1031与各种I/O组件1009通信的指令。每个I/O组件1009可以具有其自己的设备驱动器。可以安装设备驱动程序，使得它们存储在存贮器中并加载到系统存储器中。例如，在安装时，显示驱动器1037将从操作系统1031接收的高级显示指令转换为由显示器1012实现的较低级指令以显示图像。

固件(诸如作为示例的显示器固件1040)可以包括允许I/O组件1009或显示器1012执行低级操作的机器代码或汇编代码。固件可以将特定组件的电信号转换成更高级的指令或数据。例如，显示器固件1040可以通过调整电压或电流信号来控制显示器1012如何以低电平激活单独像素。固件可以存储在非易失性存储器中并且直接从非易失性存储器执行。例如，显示固件1040可以体现在耦接到显示器1012的ROM芯片中，使得ROM芯片与多视图显示系统1000的其他存贮器和系统存储器分离。显示器1012可以包括用于执行显示器固件1040的处理电路。

操作系统1031、(多个)应用1034、驱动器(例如，显示驱动器1037)、固件(例如，显示固件1040)和潜在的其他指令集可以均包括可由(多个)处理器1003或多视图显示系统1000的其他处理电路执行以执行上述功能和操作的指令。尽管本文描述的指令可以体现在由如上所述的(多个)处理器1003执行的软件或代码中，但是作为替代，指令也可以体现在专用硬件或软件和专用硬件的组合中。例如，由上面讨论的指令执行的功能和操作可以被实现为采用数种技术中的任何一种或其组合的电路或状态机。这些技术可以包括但不限于具有用于在应用一个或多个数据信号时实现各种逻辑功能的逻辑门的离散逻辑电路、具有适当逻辑门的专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他组件等。

在一些实施例中，执行上面讨论的功能和操作的指令可以体现在非暂时性计算机可读存储介质中。计算机可读存储介质可以是或可以不是多视图显示系统1000的一部分。指令可以包括例如能够从计算机可读介质获取并由处理电路(例如，(多个)处理器1003)执行的语句、代码或声明。在本文讨论的上下文中，“非暂时性计算机可读介质”可以是能够包含、存储或维护本文描述的指令的任何介质，以供指令执行系统(诸如作为示例的多视图显示系统1000)使用或与指令执行系统结合使用。

非暂时性计算机可读介质能够包括许多物理介质中的任何一种，例如磁、光或半导体介质。合适的计算机可读介质的更具体示例可以包括但不限于磁带、磁性软盘、磁性硬盘驱动器、存储卡、固态驱动器、USB闪存驱动器或光盘。此外，计算机可读介质可以是随机存取存储器(RAM)，包括例如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)或磁随机存取存储器(MRAM)。另外，计算机可读介质可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其他类型的存储器设备。

多视图显示系统1000可以如上所述执行任何操作或实现功能。例如，上面讨论的流程图和过程流可以由执行指令和处理数据的多视图显示系统1000来执行。虽然多视图显示系统1000被示出为单个设备，但是实施例不限于此。在一些实施例中，多视图显示系统1000可以以分布式方式卸载指令的处理，使得多个多视图显示系统1000或其他计算设备一起操作以执行可以以分布式布置存储或加载的指令。例如，可以在结合多视图显示系统1000操作的基于云的系统中存储、加载或执行至少一些指令或数据。

因此，已经描述了倾斜多视图图像的会聚平面的示例和实施例。例如，随着多视图图像被渲染以供显示，会聚平面可以在实时图形管线中倾斜。在这方面，可以通过基于每个视图的相对位置将切变功能应用于多视图图像的不同视图来倾斜会聚平面。应当理解，上述示例仅仅是表示本文描述的原理的许多特定示例中的一些示例的说明。显然，本领域技术人员能够在不脱离由所附权利要求限定的范围的情况下容易地设计出许多其他布置。

Claims (22)

1.一种倾斜多视图图像的会聚平面的计算机实现的方法，所述方法包括：

将所述多视图图像的视图加载到存储器中，所述视图被格式化为由像素坐标系定义的位图；

识别所述视图与中心视点之间的距离；以及

根据沿着所述像素坐标系的轴应用的切变功能在图形管线中将所述视图渲染为切变后的视图，所述切变功能的切变强度与所述距离相关，其中，所述距离越大，所述切变强度越大，所述切变功能使得所述会聚平面倾斜，并且

其中，所述切变功能为根据所述切变强度来沿着方向移位所述多视图图像的像素的图形操作，所述切变强度量化由所述切变功能应用到所述多视图图像的切变效果的量，移位所述多视图图像的像素的方向取决于所述距离的正符号或负符号。

2.根据权利要求1所述的倾斜所述多视图图像的所述会聚平面的方法，其中，所述切变功能被配置为仅沿着所述像素坐标系的水平轴使所述视图偏斜。

3.根据权利要求2所述的倾斜所述多视图图像的所述会聚平面的方法，其中，所述多视图图像包括由导航应用生成的地图。

4.根据权利要求1所述的倾斜所述多视图图像的所述会聚平面的方法，其中，通过确定所述多视图图像的所述视图的有序视图号来识别所述视图与所述中心视点之间的距离。

5.根据权利要求1所述的倾斜所述多视图图像的所述会聚平面的方法，还包括：

从用户界面接收用户输入；以及

基于所述用户输入确定所述切变强度。

6.根据权利要求1所述的倾斜所述多视图图像的所述会聚平面的方法，所述方法还包括：

通过计算所述视图与所述多视图图像的另一视图之间的公共点处的视差值来自动确定所述切变强度。

7.根据权利要求1所述的倾斜所述多视图图像的所述会聚平面的方法，还包括：

从用户界面接收用户输入；

基于所述用户输入确定视差值的范围；以及

将着色器配置为响应于所述视图的像素具有在所述视差值的范围内的视差值而对所述像素进行操作。

8.根据权利要求7所述的倾斜所述多视图图像的所述会聚平面的方法，其中所述着色器被配置为执行透明度操作和景深操作中的至少一个。

9.一种多视图显示系统，所述系统包括：

处理器；以及

存储器，存储多个指令，所述多个指令在被执行时使所述处理器：

将多视图图像的视图加载到所述存储器中，所述视图被格式化为由像素坐标系定义的位图；以及

向图形管线发送用于根据沿着所述像素坐标系的轴应用的切变功能将所述视图渲染为切变后的视图的指令，所述切变功能的切变强度与所述视图相对于所述多视图图像中的其他视图的位置相关，

其中，所述图形管线被配置为随着所述位图的像素由所述图形管线采样而实现所述切变功能，并且

其中，所述切变功能使得所述图形管线中的会聚平面倾斜，并且

其中，所述切变功能为根据所述切变强度移位所述多视图图像的像素的图形操作，所述切变强度量化由所述切变功能应用到所述多视图图像的切变效果的量，所述切变强度的正符号或负符号控制所述切变功能应用的切变的方向。

10.根据权利要求9所述的多视图显示系统，其中，所述切变功能被配置为仅沿着所述像素坐标系的水平轴使所述视图偏斜。

11.根据权利要求9所述的多视图显示系统，其中，所述多视图图像包括由导航应用生成的地图。

12.根据权利要求9所述的多视图显示系统，其中，所述多个指令在被执行时还使所述处理器：

从用户界面接收用户输入；以及

基于所述用户输入确定所述切变强度。

13.根据权利要求9所述的多视图显示系统，其中，所述多个指令在被执行时还使所述处理器：通过计算所述视图与所述多视图图像的另一视图之间的公共点处的视差值来自动确定所述切变强度。

14.根据权利要求9所述的多视图显示系统，其中，所述多个指令在被执行时还使所述处理器：

从用户界面接收用户输入；

基于所述用户输入确定视差值的范围；以及

将着色器配置为响应于所述视图的像素具有在所述视差值的范围内的视差值而对所述像素进行操作。

15.根据权利要求14所述的多视图显示系统，其中，所述着色器被配置为执行透明度操作和景深操作中的至少一个。

16.根据权利要求9所述的多视图显示系统，其中，所述多视图显示系统被配置为在2D模式期间使用宽角度背光提供宽角度发射光；

其中，所述多视图显示系统被配置为在多视图模式期间使用具有多波束元件阵列的多视图背光提供定向发射光，所述定向发射光包括由所述多波束元件阵列中的每个多波束元件提供的多个定向光束；

其中，所述多视图显示系统被配置为使用模式控制器对所述2D模式和多视图模式进行时间复用，以顺序地在对应于所述2D模式的第一顺序时间间隔期间激活所述宽角度背光，并且在对应于所述多视图模式的第二顺序时间间隔期间激活所述多视图背光；并且

其中，所述多个定向光束中的定向光束的方向对应于多视图图像的不同视图方向。

17.根据权利要求16所述的多视图显示系统，其中，所述多视图显示系统被配置为在光导中引导光作为被引导光；并且

其中，所述多视图显示系统被配置为使用所述多波束元件阵列中的多波束元件散射出所述被引导光的一部分作为所述定向发射光，所述多波束元件阵列中的每个多波束元件包括衍射光栅、微折射元件和微反射元件中的一个或多个。

18.一种存储指令的非暂时性计算机可读存储介质，所述指令在由计算系统的处理器执行时实现在图形管线中倾斜会聚平面，在图形管线中倾斜会聚平面包括：

生成多视图图像的多个视图，每个视图被格式化为由像素坐标系定义的位图，所述多个视图包括第一视图和第二视图；

根据沿着所述像素坐标系的轴应用的切变功能的第一切变强度，在所述图形管线中将所述第一视图渲染为第一切变后的视图；以及

根据沿着所述像素坐标系的所述轴应用的所述切变功能的第二切变强度，在所述图形管线中将所述第二视图渲染为第二切变后的视图，

其中，所述切变功能的所述第一切变强度与所述第一视图相对于所述多视图图像中其他视图的位置相关，以及

其中，所述切变功能的所述第二切变强度与所述第二视图相对于所述多视图图像中其他视图的位置相关，

其中，所述切变功能使得所述会聚平面倾斜，并且

其中，所述切变功能为根据所述切变强度移位所述多视图图像的像素的图形操作，所述切变强度量化由所述切变功能应用到所述多视图图像的切变效果的量，所述切变强度的正符号或负符号控制由所述切变功能应用的切变的方向。

19.根据权利要求18所述的非暂时性计算机可读存储介质，其中，仅沿着所述像素坐标系的水平轴应用所述切变功能。

20.根据权利要求18所述的非暂时性计算机可读存储介质，其中，所述切变功能被配置为沿着所述像素坐标系的垂直轴使所述第一视图和所述第二视图偏斜。

21.根据权利要求18所述的非暂时性计算机可读存储介质，其中，所述第一切变强度是负切变强度，并且所述第二切变强度是正切变强度。

22.根据权利要求18所述的非暂时性计算机可读存储介质，其中，所述图形管线被配置为随着所述多视图图像的所述位图的像素由所述图形管线采样而实现所述切变功能。