HK1248851B - 显示系统和方法 - Google Patents

Description

显示系统和方法

本申请是国际申请号为PCT/US2014/028977、国际申请日为2014年3月14日、中国国家申请号为201480027589.2、标题为“显示系统和方法”的PCT申请的分案申请。

技术领域

本发明一般地涉及被配置以便于用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。

背景技术

许多显示系统可以从与观看者或用户的头部姿势有关的信息(即，用户的头部朝向和/或位置)中受益。

例如，头戴式显示器(或头盔显示器，或智能眼镜)至少松散地耦合到用户头部，并且因此在所述用户的头部移动时移动。如果所述用户的头部运动由显示系统检测到，被显示的数据可以更新以考虑头部姿势的变化。

作为示例，如果佩戴头戴式显示器的用户浏览显示器上的3D对象的虚拟表示并围绕3D对象出现的区域走动，所述3D对象可以为每个视点来重新渲染，给予用户他或她正在围绕占据现实空间的对象走动的感知。如果头戴式显示器被用于为多个对象显示虚拟空间(例如，丰富的虚拟世界)，头部姿势的测量可以用来重新渲染场景，以匹配用户头部位置和朝向的动态改变，并提供虚拟空间的增强的沉浸感。

尤其是对于用虚拟元素填充了用户视场的实质部分的显示系统，高的头部追踪的准确性以及从低的第一次检测到头部运动到更新由显示器发送到用户的视觉系统的光之间整个系统的延迟非常是至关重要的。如果延迟高，所述系统可以创建用户的前庭和视觉感觉系统之间的失配，并产生晕车或虚拟幻境头晕。

一些头戴式显示器能够同时观看现实和虚拟的元素——通常被描述为增强的现实或混合的现实方法。在一个这样的配置中，通常被称为“视频透视”显示器，摄像机捕获现实场景的元素，计算系统叠加虚拟组件到被捕获的现实场景上，并且非透明显示器显示合成图像到眼睛。另一种配置是通常被称为“光透视”的显示器，其中，用户可以通过显示系统中的透明(或半透明)元素看以直接看到来自环境中的显示对象的光线。透明元素，通常被称为“组合器”，叠加来自显示器的光到用户的现实世界的视觉。

在视频和光透视两种显示器中，检测头部姿势可以使得显示系统渲染虚拟对象以使得它们看上去占据了现实世界中的空间。当用户头部在现实世界中移动时，根据头部姿势来重新渲染虚拟对象，以使得虚拟对象看上去相对于现实世界仍然保持稳定。在这种光透视显示器的情况下，用户的现实世界视觉基本具有零延迟，而他或她的虚拟对象视觉具有的延迟取决于头部追踪速度、处理时间、呈现时间、和显示帧速率。如果系统延迟高，在快速头部运动期间，虚拟对象的显现位置将出现不稳定。

除了头戴式显示系统之外，其他显示系统可从准确的和低延迟的头部姿势检测中获益。这些包括头部追踪显示系统，其中显示器不戴在用户身体上，但是，例如，安装在墙上或其它表面上。头部追踪显示器表现得像到现场的窗口，并为当用户相对所述“窗口”移动其头部时，场景重新渲染以匹配用户不断变化的视点。其它系统包括一个头戴式投影系统，其中，头戴式显示器将光投影到现实世界。

发明内容

本发明的实施例针对有助于一个或多个用户与虚拟现实和/或增强现实互动的设备、系统和方法。

一个实施例针对在虚拟图像系统或增强现实系统中操作的方法，所述方法包括，对于被呈现给最终用户的多个帧中的至少一些中的每一个帧，确定所述最终用户的视场中的虚拟对象相对于最终用户的参考帧出现的位置，以及至少部分地基于已确定的所述最终用户的视场中的虚拟对象出现的位置调整至少一个后续帧的呈现。在时间上相对于先前呈现给所述最终用户的帧，虚拟对象可以被新引入所述最终用户的视场。新引入的虚拟对象可以被确定以有可能吸引所述最终用户的注意。相对于至少一个先前帧，虚拟对象可以处于帧中的一个新的方位。或者，相对于如先前呈现给所述最终用户的所述虚拟对象的先前方位，虚拟对象可以处于一个新的位置以呈现给所述最终用户。

所述方法可以进一步包括基于指示最终用户对所述虚拟对象的注意的输入选择所述虚拟对象。指示最终用户对所述虚拟对象的注意的输入可至少部分地基于相对于先前呈现给最终用户的虚拟对象的方位，虚拟对象在呈现给最终用户的新方位的出现。或者，指示最终用户对所述虚拟对象的注意的输入可至少部分地基于呈现给所述最终用户的所述虚拟对象的方位相对于如先前呈现给最终用户的虚拟对象的方位多快地改变。

至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移向最终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。或者，至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移至最终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。

所述方法可以进一步包括至少部分地基于最终用户的视场中的虚拟对象的已确定出现的位置来预测最终用户头部运动的发生。方法可以进一步包括估计指示所预测的最终用户头部运动的所估计的速度的至少一个值，确定至少部分地补偿所预测的最终用户头部运动的所估计的速度的至少一个值，以及至少部分地基于已确定的值渲染至少一个后续帧。

所述方法可以进一步包括估计所预测的最终用户头部运动中的速度的至少一个变化，其中，速度的至少一个变化发生在所预测的头部运动开始和所预测的头部运动结束之间，并且其中估计指示所预测的头部运动的估计速度的至少一个值包括估计指示所预测的速度的至少一个值，其至少部分地适应所预测的最终用户头部运动中的速度所估计的变化。

估计所预测的最终用户头部运动中的速度的至少一个变化可包括，估计在所预测的头部运动开始后第一定义的时间和所预测的头部运动结束前的第二定义的时间之间的至少一个变化。

所述方法可以进一步包括估计指示所预测的最终用户头部运动的所估计加速度的至少一个值，确定至少部分地补偿所预测的最终用户头部运动的所估计的加速度的至少一个值，以及至少部分地基于已确定的值渲染至少一个后续帧。

所述方法可以进一步包括接收指示最终用户的身份的信息，以及基于所接收的指示最终用户的身份的信息来检索至少一个用于最终用户的用户特定的历史属性，其中用户特定的历史属性指示用于最终用户的先前头部运动速度、用于最终用户的先前头部运动加速度和用于最终用户的先前眼睛运动到头部运动的关系之中的至少一个。

所述虚拟对象可以是虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟视觉表示之中的至少一个。

另一个实施例针对增强现实系统中的操作方法，该方法包括：接收指示最终用户的身份的信息，至少部分地基于所接收的指示最终用户的身份的信息检索至少一个用于最终用户的用户特定的历史属性，以及至少部分地基于所检索的至少一个用于最终用户的用户特定的历史属性向最终用户提供帧。所接收的信息可以是指示最终用户的眼睛的至少一部分的图像的图像信息。

所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供了用于最终用户的至少一个头部运动属性的指示，其中头部运动属性指示最终用户的至少一个先前头部运动。或所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供了用于最终用户的至少一个先前头部运动的至少一个先前头部运动速度的指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供最终用户的跨越至少一个先前头部运动的范围内的至少一部分的头部运动速度的变化指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供用于最终用户的至少一个先前头部运动的至少一个先前头部运动加速度的指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供最终用户的至少一个先前头部运动和至少一个先前眼睛运动之间的关系指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供最终用户的至少一个先前头部运动和至少一个先前眼睛运动之间的比率指示。

所述方法可以进一步包括预测最终用户头部运动的至少一个终点，并至少部分地基于所检索的用于最终用户的至少一个用户特定的历史属性向最终用户提供帧，包括渲染至少一个后续帧给至少一个图像缓冲器，该至少一个后续帧移向所预测的头部运动的终点。

所述方法可以进一步包括渲染多个后续帧，其至少部分适应用于最终用户的至少一个头部运动属性移向所预测的头部运动的终点，该头部运动属性指示最终用户的至少一个先前的头部运动。

指示最终用户的至少一个先前的头部运动的头部运动属性可以是用于最终用户的历史头部移动速度、用于最终用户的历史头部移动加速度或用于最终用户的头部运动和眼睛运动之间的历史比率。

所述方法可以进一步包括至少部分地基于最终用户的视场中的虚拟对象出现的位置，预测最终用户的头部运动的发生。虚拟对象出现的位置可以用与上述相同的方式确定。

另一个实施例针对检测呈现给最终用户的帧中的一些像素之间的间隔将不同于帧中其它像素之间的间隔的指示，基于已检测的指示调整第一组像素，并提供具有所调整的第一组像素给至少一个后续帧的一部分以至少部分补偿呈现给最终用户的间隔之间的差异。像素特征(例如，尺寸、亮度等)可以被最终用户感知到。

所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素，其中第一组像素的方向与已检测的头部运动的方向相同，以及增加至少一个后续帧的第一组像素的尺寸。所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素，其中第一组像素的方向与已检测的头部运动的方向相同，以及响应于已检测的头部运动增加至少一个后续帧的第一组像素的亮度。

所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素，其中第一组像素的方向与已检测的头部运动的方向相反，以及响应于已检测的头部运动减少至少一个后续帧的第一组像素的尺寸。

所述方法可以进一步包括基于已检测的头部运动的方向选择帧的第一组像素，其中第一组像素的方向与已检测的头部运动的朝向相反，以及响应于已检测的头部运动减少至少一个后续帧的第一组像素的亮度。

另一个实施例id针对在虚拟图像呈现系统中操作的方法，方法包括渲染第一完整帧到图像缓冲器，其中第一完整帧包括用于像素的顺序呈现以形成虚拟对象的图像的像素信息，开始第一完整帧的呈现，以及在第一完整帧的呈现结束之前通过呈现对第一完整帧的更新动态地中断呈现第一完整帧，在所述更新中像素信息的一部分已经从第一完整帧改变。

另一个实施例针对在虚拟图像呈现系统中操作的方法，方法包括渲染具有第一场(field)和第二场的第一完整帧到图像缓冲器，其中第一场至少包括第一螺旋扫描线并且第二场至少包括第二螺旋扫描线，第二螺旋扫描线至少与第一螺旋扫描线交错；读出存储第一完整帧的帧缓冲器；以及在读取第一完整帧完成之前通过读出对第一完整帧的更新动态中断读出第一完整帧，在所述更新中像素信息的一部分已经从第一完整帧改变。读出的动态中断可以基于已检测的最终用户头部运动，其中已检测的头部运动超过标称头部运动值。

另一个实施例针对在虚拟图像呈现系统中操作的方法，所述方法包括渲染具有第一场和第二场的第一完整帧到图像缓冲器，其中第一场至少包括第一利萨茹(Lissajous)扫描线并且第二场至少包括第二利萨茹扫描线，第二利萨茹扫描线至少与第一利萨茹扫描线交错；读出存储第一完整帧的帧缓冲器；以及在读取第一完整帧完成之前通过读出对第一完整帧的更新动态中断读出第一完整帧，在所述更新中像素信息的一部分已经从第一完整帧改变，所述更新动态中断基于最终用户已检测的头部运动超过标称头部运动值。所述方法可以进一步包括相移利萨茹扫描线以交错利萨茹扫描线。

另一个实施例针对在虚拟图像呈现系统中操作的方法，所述方法包括对于多帧中的每一个，响应于已检测的最终用户头部运动，为每个相应帧中的至少两部分中的每一部分确定相应的分辨率，并且基于已确定的相应帧中的至少两部分相应的分辨率呈现虚拟对象。所述相应的帧的部分可以帧的场、帧的线、帧的像素中的至少一个。所述方法可以进一步包括在呈现帧的第一部分和帧的第二部分之间调整驱动信号的特征以创建虚拟对象的图像中的可变分辨率。驱动信号的特征可以是驱动信号的振幅和驱动信号的斜率中的至少一个。

所述方法可以进一步包括基于已处理的眼睛追踪数据、已确定的最终用户的视场中的虚拟对象相对于最终用户参考帧出现的位置、已确定的当新引进最终用户的视场时虚拟对象出现的位置、已确定的虚拟对象相对于该虚拟图像在至少一个先前图像中的方位在图像中的新方位中出现的位置之中的至少一个来为最终用户评估至少第一图像中的注意点。

所述方法可以进一步包括在至少一个后续的图像的一部分中增加所述至少一个后续图像中的分辨率，其相对于所述至少一个后续的图像的其他部分至少邻近于评估出的注意点。所述方法可以进一步包括在至少一个后续的图像的一部分中减少所述至少一个后续图像中的分辨率，其相对于所述至少一个后续的图像的其他部分至少为评估出的注意点的远侧。

另一个实施例针对在虚拟图像呈现系统中操作的方法，所述方法包括：向最终用户显示至少一个虚拟对象，并且在已检测的头部运动超过标称头部运动值和所预测的头部运动被预测超过头部运动值中至少之一时暂时消隐所述至少一个虚拟对象的显示的一部分。所述方法可进一步包括处理经由至少一个传感器提供的追踪数据以确定已检测的头部运动和所预测头部运动中的至少一个，其中头部追踪数据至少指示最终用户的头部朝向。

另一个实施例针对一种投影机装置来在增强现实系统中至少投影[a1]虚拟图像，所述投影机装置包括投影机组件、使投影机组件在至少一个自由轴上可移动的支撑投影机组件的支撑件、至少一个被耦合以选择性地移动投影机组件的执行机构、以通信方式耦合以控制执行机构使得投影机组件响应于最终用户头部运动超过标称头部运动值的检测和最终用户头部运动的预测被预测超过标称头部运动值中的至少一个被移动的控制子系统。投影机组件可以进一步包括至少一个第一光纤，所述第一光纤具有后端和前端，后端被耦合以接收图像，前端被定位以由此传送图像。

支撑组件可以包括接收至少第一光纤的压电环，其靠近但与第一光纤前端向后侧隔开，使得第一光纤靠近其前端的一部分从所述压电环延伸并且以定义的谐振频率自由振荡。

根据权利要求87的投影机装置，其中至少受控制的子系统被以通信方式耦合以接收经由至少一个传感器提供的头部追踪数据，该头部追踪数据至少指示最终用户的头部朝向。对于呈现给最终用户的多个图像中的至少一些的每一个，控制子系统确定虚拟对象在最终用户的视场中相对于最终用户参考帧出现的位置，评估已确定的位置是否需要最终用户转动用户头部，并基于该评估预测头部运动的发生。

另一实施例针对虚拟图像呈现系统中的操作方法，所述方法包括过渲染(overrendering)用于定义的视场的帧，使得用于帧的一组像素的像素信息超出以最大分辨率显示的最大区域，确定帧的一部分以基于已检测的头部运动和所预测的头部运动中的至少一个呈现给最终用户，并且选择性地仅读出帧的确定的部分。

另一实施例针对用户显示设备，包括可安装在用户头部的外壳框架、可安装在外壳框架上的透镜，以及被耦合到外壳框架以至少部分地基于用户头部运动的检测和用户头部运动的预测中的至少一个来确定显示对象在用户视场出现的位置并基于已确定的显示对象出现的位置来投影显示对象到用户的的投影子系统。显示对象出现的位置可以被移动以响应用户头部运动的检测或用户头部运动的预测中的至少一个超过或预测超过标称头部运动值。用户头部运动的预测可基于用户在焦点的移动的预测或用户的一组历史属性。

用户显示设备可以进一步包括可安装在外壳框架上的第一对摄像机以追踪用户眼睛的移动，并基于追踪的眼睛运动估计用户的眼睛的焦点深度。投影子系统可以基于所估计的焦点深度投影显示对象。

用户显示设备可以进一步包括可安装在外壳框架上的第二对摄像机以捕获如用户眼睛看到的视场图像，其中视场图像包含至少一个物理对象。投影子系统可以以一种方式投影显示对象，使得显示对象和通过第二对摄像机捕获的物理对象相互混合并一起出现在同一帧中。出现位置可至少部分地基于物理对象。显示对象和物理对象可具有预先确定的关系。捕获的视场图像可以被用于收集关于用户头部运动的信息，其中关于用户头部运动的信息包括用户注意的中心、用户头部的朝向、用户头部的方向、用户头部运动的速度、用户头部运动的加速度和与用户的本地环境有关的用户头部的距离。

透镜可以包括至少一个透明表面以选择性地允许透射光，使得用户能够观察本地环境。投影子系统可以以一种方式投影显示对象，使得用户观察显示对象和本地环境如同通过透镜的透明表面进行观察。

用户显示设备还可以包括至少一个惯性传感器以捕获一组表示用户头部运动的惯性测量，其中该组惯性测量包括用户头部运动的速度、用户头部运动的加速度、用户头部运动的方向、用户头部的方位以及用户头部的朝向。

用户显示设备可以进一步包括至少一个光源以照亮用户的头部和用户的本地环境中的至少一个。

投影子系统可以调整与显示对象相关联的一组像素的所感知尺寸、亮度和分辨率中的至少一个以补偿检测到的头部移动和所预测的头部运动中的至少一个。显示对象可以是虚拟对象和增强虚拟对象中的一个。

本发明的另外的和其他的目标、特征、和优点在详细描述、附图和权利要求中被描述。

附图说明

图1示出了使用预测头部追踪来为最终用户|[12]渲染帧的示例。

图2示出了基于呈现给最终用户的虚拟对象的特征来预测头部运动的技术示例。

图3示出了帧中心偏移到哪的示例。

图4示出了基于最终用户的一组历史属性来预测头部运动的技术示例。

图5示出了基于历史属性预测头部运动的技术的另一示例。

图6示出了检索用户的多种历史属性的示例。

图7示出了基于预测的终点来渲染后续帧的示例。

图8示出了渲染后续帧的另一示例。

图9示出了预测头部运动的发生的示例。

图10示出了基于头部运动来调节像素的示例。

图11示出了使用调整后的像素渲染帧的示例。

图12示出了增加像素的尺寸和/或亮度的示例。

图13示出了的动态中断帧的呈现的示例。

图14示出了呈现更新后的帧的一部分的示例。

图15示出了读取更新帧的示例。

图16示出了相移的示例。

图17示出了导致图像中可变分辨率的示例。

图18示出了调整驱动信号的振幅的示例。

图19示出了基于最终用户的注意点调整后续图像中的分辨率的示例。

图20示出了调整分辨率的另一示例。

图21示出了确定虚拟对象出现的位置的示例。

图22示出了消隐显示虚拟对象的一部分的示例。

图23示出了基于虚拟对象的吸引力来预测头部运动的示例。

图24示出了频闪的示例。

图25示出了有选择地激活执行机构[13]以移动投影机组件的示例。

图26示出了选择性地读出帧的一部分的示例。

图27示出了基于已确定的虚拟对象的位置选择性地读出一部分的示例。

图28示出了选择性地读出一部分的另一示例。

图29示出了确定图像的一部分以呈现给最终用户的示例。

图30示出了动态地处理[14]过渲染的帧的一部分的示例。

图31示出了具有像素信息的帧的示例。

图32示出了光栅扫描图样的示例。

图33示出了螺旋扫描图样的示例。

图34示出了利萨茹扫描图样。

图35示出了多场螺旋扫描图样的示例。

图36A示出了在最终用户的头部快速横向移动期间光栅扫描图样失真的示例。

图36B示出了在最终用户的头部垂直向上移动期间光栅扫描图样失真的示例。

图37A示出了在最终用户的头部向左侧迅速地横向运动期间螺旋扫描线失真的示例。

图37B示出了在用户的头部向左侧非常迅速地横向运动期间螺旋扫描线失真的示例。

图38示出了虚拟图像生成系统的概述。

具体实施方式

下面的说明涉及在虚拟现实和/或增强现实系统中使用的显示系统和方法。然而，应理解，在适用于虚拟现实中的应用的同时，本发明在其最广泛的方面并不受限制。

首先参照图38，图38根据一个所示出的实施例示出了虚拟图像生成系统3800，其可以操作以向最终用户3802提供虚拟映像。

虚拟图像生成系统3800可以被作为增强现实系统操作，其在最终用户的视场中提供与物理对象混合的虚拟物体图像。当将虚拟图像生成系统3800作为增强现实系统操作时，有两种基本方法。第一种方法采用一个或多个成像器(例如，摄像机)以捕获周围环境的图像。虚像生成系统3800可以将图像混合进代表周围环境的图像的数据。第二种方法采用一个或多个通过其可以看到周围环境的至少部分透明的表面，并且虚拟图像生成系统3800在其上产生虚拟物体的图像。如将对本领域技术人员显而易见的，至少一些本文所描述的方面特别适合于增强现实系统。

虚像生成系统3800可以被作为虚拟现实系统操作，提供虚拟环境中的虚拟对象的图像。

虚像生成系统3800以及本文所教导的各种技术可以被用在除增强现实和虚拟现实系统之外的应用中。例如，各种技术可被应用到任何投影或显示系统。例如，本文描述的各种技术可应用到微型投影机，其中运动可以是最终用户的手的运动而不是头部运动。因此，尽管本文经常就增强现实系统而言进行描述，但教导不应受限于这种系统或这种用途。

至少对于增强现实应用，需要在最终用户3802的视场中放置相对于相应的物理对象的各种虚拟对象。本文也称为虚拟标签或标签或标注的虚拟对象可以采用任何各种各样的形式，主要为能够被呈现为图像的任何种类的数据、信息、概念或逻辑结构。虚拟对象的非限制性示例可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟视觉表示。

头部追踪精度和延迟一直是虚拟现实及增强现实系统中的问题。追踪不准确和延迟产生最终用户的视觉系统和前庭系统之间的不一致。这可能会导致恶心和不适。这在填充最终用户的大部分视场的显示系统中特别成问题。解决这些的途径可能包括提高帧速率或有效帧速率，例如通过闪动或闪烁或通过其他技术。如本文所描述的，可以用预测性头部追踪来解决这些问题，例如通过减少延迟。预测性头部追踪可依赖于大量的不同因素或方法，包括用于特定最终用户的历史数据或属性。本文还描述了显示或呈现的消隐可以被有效地使用，例如在快速头部运动时消隐。

至少对于增强的现实应用，与物理对象有空间关系的虚拟对象的放置(例如，被呈现以在两个或三个维度出现空间上接近物理对象)是重要的问题。例如，考虑到周围环境，头部运动可显著地使视场内的虚拟对象的放置复杂化。无论是被捕获的周围环境的图像并随后被投影或显示给最终用户3802的视场，还是最终用户3802直接感知的周围环境的视场，均是如此。例如，头部运动将可能导致最终用户3802的视场的改变，其将可能需要对显示在最终用户3802视场中的各种虚拟对象的位置进行更新。此外，头部运动可能会在种类繁多的范围和速度中发生。不仅在不同头部运动之间头部运动速度可能会发生变化，而且跨单个头部运动范围或者在单个头部运动范围之内头部运动速度也可能会发生变化。例如，头的移动速度可最初从起点增加(例如，线性地或非线性地)，并且当到达终点时可以降低，在头部运动的起点和终点之间的某处获得最大速度。快速的头部运动甚至可能超过特定显示或投影技术向最终用户3802渲染出现均匀和/或如平滑的运动的图像的能力。

在图38所示的实施例中，虚拟图像生成系统3800包括投影子系统3804，其可操作以在位于最终用户的3802视场中的部分透明的显示表面3806上投影图像，所述显示表面3806在最终用户3802的眼睛3808和周围环境之间。虚拟图像生成系统3800可能被穿戴或安装在最终用户3802的头部3810上，例如并入到一副眼镜或护目镜。

在所示的实施例中，投影子系统3804包括一个或多个光纤3812(例如，单模光纤)，其具有光被接收进入的后端或远端3812a和光从其被提供至部分透明的显示表面3806或者被直接投影进最终用户3802的眼睛3808的前端或近端3812b。投影子系统3804还可以包括一个或多个光源3815，其产生光(例如，以定义的图样发射不同颜色的光)，并以通信方式将光耦合至以一个或多个光纤3812的后端或远端3812a。光源3815可采取任何不同各种形式，例如根据在像素信息或数据的相应帧中指定的所定义的像素图案其可操作以分别产生红色、绿色和蓝色相干平行光的一组RGB激光器(例如，能够输出红色绿色和蓝色光的激光二极管)。激光提供高色彩饱和度并高的能源效率。

尽管图38示出了将光分解至多个信道的单个光纤3812，一些实现可采用两个或更多光纤3812。在这样的实施例中，光纤3812可以具有交错的尖端或者有斜面并且被抛光的尖端以弯曲光，降低了信道之间的光学间隔。光纤3812可方便地包装成带状电缆。适当的光学器件可产生由每个信道所产生的相应的图像的结合物。

一个或多个光纤3812可通过轭3814支持，具有由此延伸的前或近端3812b的一部分。轭3814可被操作以设置该前或近端3812b处于振荡运动。例如，轭3814可以包括一管压电式传感器3814a(图38仅示出一个)。多个电极3813(例如，示出了四个，仅有一个被标注)放射状地关于压电式传感器3814a排列。例如经由帧缓冲器3828施加控制信号至与压电式传感器3814a相关联的各个电极3813可导致光纤3812的前或近端3812b以第一谐振模式振动。振动的大小或偏离中心的量可经由所施加的驱动信号控制以获得任何各种的至少二轴的图样。图样可以例如包括光栅扫描图样、螺旋或蜗旋的扫描图样、或利萨茹或图8扫描图样。

图31根据一个所示的实施例示出了像素信息或数据的帧3100，其指定像素信息或数据以呈现图像，例如，一个或多个虚拟对象的图像。帧3100以单元3100A，-3100n(仅标注出两个，统称3102)示意性地示出每个像素。排列成行或线的单元3104a、31004b-3100n(标注出三个，统称3104)的序列，被示为水平延伸跨越图31中的图页。帧3100包括多个线3104。图31采用椭圆型来表示缺少的信息，例如为了清楚说明而省略的单元或行。

帧3100的每个单元3102可以为与单元对应的像素和/或亮度的各个像素指定用于多个颜色中的每一个的值(统称3106)。例如，帧3100可以为每个像素指定用于红色3106a的一个或多个值，指定用于绿色3106b的一个或多个值以及指定用于蓝色3106c的一个或多个值。值3106可以被为指定为用于每个颜色的二进制表示，例如每一个颜色对应4位数字。帧3100的每个单元3102可能另外包括为每个像素指定振幅或径向尺寸的振幅或径向值#P06d，例如在结合基于螺旋扫描线图样的系统或基于利萨茹扫描线图样的系统使用帧3100时。

帧3100可以包括被统称为3110的一个或多个场。帧3100可以由单个场构成。可选地，帧3100可包括两个，或甚至更多的场3110a-3110b。图31中所示的帧3100示出了两个场3110a、3110b。用于帧3100的完整的第一场3110a的像素信息可在用于完整的第二场3110b的像素信息之前被指定，例如在用于数列、有序列表或其它数据结构(例如，记录、链表)中用于第二场3110b的像素信息之前发生。假定呈现系统被配置以处理多于两个的场3110a-3110b，第三或甚至第四场可以跟随在第二场3110b之后。

图32示意性地表示光栅扫描图样3200。在光栅扫描图样3200中，像素3202(只有一个被标注出)被依次呈现。光栅扫描图样3200典型地从左至右(由箭头3204a、3204b表明)然后从上到下呈现(由箭头3206表明)像素。因此，该呈现可以在右上角开始并向左遍历第一行3208直到达到行的末尾。随后光栅扫描图样3200典型地从下一行的左侧开始。呈现可以被暂时停止或消隐，其从一行的末尾返回到到下一行的开始。该过程一行接一行重复直到完成底部线3208n完成，例如，底部最右像素。随着帧3100被完成，新的帧开始，再一次返回下一帧的最上面的行的右侧。再一次地，当从底部左侧返回到上方右侧以呈现下一个帧时，呈现可被停止。

光栅扫描的许多实现方式使用交错扫描图样。在交错光栅扫描图样中，来自第一和第二场3210A、3210b的行是交错的。例如，当呈现第一场3210a的行时，用于第一场3210a的像素信息可以仅用于奇数行，而用于第二场3210b的像素信息可以仅用于偶数行。这样，帧3100(图31)的第一场3210a的所有行典型地在第二场3210b的行之前呈现。第一场3210a可以使用第一场3210a的像素信息来依次呈现行1、行3、行5等。随后帧3100(图31)的第二场3210b可以通过使用第二场3210b的像素信息跟着第一场3210a呈现来依次呈现行2、行4、行6等。

图33示意性地根据一个示出的实施例表示螺旋扫描图样3300。螺旋扫描图样3300可以由单个螺旋扫描线3302构成，其可包括一个或多个完整的角周期(例如，360度)，其可以被命名为圈或环。像素信息被用于指定每个顺序的像素的颜色和/或亮度，随着角度增加。振幅或径向值3208(图31)指定自螺旋扫描线3302的起点3308的径向尺寸#R06。

图34示意性地根据一个所示实施例表示利萨茹扫描图样3400。利萨茹扫描图样3400可以由单个利萨茹扫描线3402构成，其可包括一个或多个完整的角周期(例如，360度)，其可以被命名为圈或环。可选地，利萨茹扫描图样3400可以包括两个或更多利萨茹扫描线3402，所述两个或更多利萨茹扫描线3402每个均相对于彼此相移以嵌套利萨茹扫描线3402。像素信息被用于指定随着角度增量每个顺序的像素的颜色和/或亮度。振幅或径向值3208(图31)指定从利萨茹扫描线3402的起点开始的径向尺寸。

图35示意性地根据一个所示实施例表示多场螺旋扫描图样3500。多场螺旋扫描图样3500包括两个或更多个不同的螺旋扫描线，统称为3502，图35示出了四个螺旋扫描线3502a-3502d。用于每个螺旋扫描3502线的像素信息可以被帧3100(图31)各自的场(例如，3210a，3210b)指定。有利地，可以简单地通过在每一个连续的螺旋扫描线3502之间进行相移来嵌套多个螺旋扫描线3502。螺旋扫描线3502之间的相位差应取决于将被采用的螺旋形扫描线3502的总数。例如，四个螺旋扫描线3502a-3502d可以以90度相移分开。示例性实施例可以以100赫兹刷新率结合10个不同的螺旋扫描线(即，子螺旋)操作。类似于图33的实施例，一个或多个振幅或径向值3208(图31)指定从螺旋扫描线3502的起点3508开始的径向尺寸3506。

如从图34和35可知，相邻像素之间的相对间隔可以在整个图像中变化。至少部分地适应或补偿该不均匀性可能是有利的。例如，调整像素尺寸可能是有利的，例如增加用于比其它像素间隔更远的像素的所感知的像素尺寸。这可以例如经由选择性模糊(例如，可变焦距透镜、可变扩散、抖动)以增加高斯光斑尺寸来实现。另外或可选地，调整用于比其它像素间隔更远的像素的亮度可能是有利的。

返回到图38，使用正弦波驱动信号以关于第一轴的共振频率和关于垂直于第一轴的第二轴的共振频率驱动压电式传感器3814a来产生螺旋扫描图样。螺旋扫描图样以随角度尺寸的变化而变化的径向尺寸为特征。例如，径向尺寸可以线性地或非线性地变化，当径向尺寸从0度到或通过360度变化时。在现象上，螺旋扫描线可出现连续的螺旋，该螺旋起始于起点并在在一个平面上旋转的同时径向向外放射。每个完整的角周期可被描述为构成圈或环。在起始点开始之前，可以定义具有任何期望数量的圈或环的螺旋扫描线。在在时间上第一螺旋扫描图样的结尾和下一个在时间上连续的螺旋扫描图样开始之间可发生显示或呈现被消隐的刷新周期。螺旋扫描图样的最外径向尺寸可通过正弦波驱动信号的振幅调制来设置。螺旋扫描线图样的振幅调整调整径向尺寸而不会影响角度尺寸。这样，振幅调制将不会影响周期的频率(例如，圈或环的数目)或给定时间的用于给定的扫描线的周期数。图样中的前端或近端3812b的方位与光源3815的输出同步以形成二维或三维图像。

虽然未示出，投影子系统3804可以包括一个或多个光学组件(例如，透镜、滤光器、光栅、棱镜、反射镜、分色反射镜、折射镜)，其例如经由部分透明显示表面3806直接或间接地引导来自一个或多个光纤3812的前端或近端3812b的输出到最终用户3802的眼睛3808。虽然未示出，投影子系统3804可以包括一个或多个光学组件，其调制像素数据的Z轴方位的深度。这样可以例如采取柔性反射(例如，涂覆有铝的氮化物溅镀(nitride sputter))膜和一个或多个被操作以引起柔性反射膜偏转的电极的形式。柔性反射膜被定位以反射和聚焦从一个或多个光纤3812的前端或近端3812b发射的光。柔性反射膜可基于用于像素数据或信息的深度图选择性地被操作以在Z维或轴聚焦光。柔性反射膜可采用高斯点以产生深度的外观，图像中的某些虚拟对象出现在焦点同时其他对象在焦点之外。附加或备选地，该系统可以使用一个或多个克尔(kerr)效应透镜。

虽然对于头戴式实施例是不必要的，光纤3812以及可选的轭3814可以被支持以用于在一个或多个方向的运动。例如，光纤3812，以及任选轭轭3814可以经由常平架3816被支持以用于运动的2、3或更多个自由度。常平架3816可以包括转盘3816a、可被操作以围绕第一轴3820a转动或旋转的第一执行机构3818a(例如，电动机、螺线管、压电式传感器)。常平架3816可以包括被转盘3816a上的框架3816c支撑的托架3816b，第二执行机构3818b(例如，电动机、螺线管、压电式传感器器)可被操作以围绕第二轴3820b转动或旋转。常平架3816可以包括由托架3816b可转动地支撑的杆3816d、可被操作以围绕第三轴3820c转动或旋转的第三执行机构3818c(例如，电动机、螺线管、压电式传感器)。第一、第二和第三轴(统称为3820)可以是正交的轴。

在图38所示的实施例中，虚拟图像生成系统3800包括控制子系统3822。控制子系统3822可以采取大量不同形式中的任意一个，其中一种在图38中示出。

控制子系统3822包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)3824、数字信号处理器(DSP)、图形处理单元(GPU)3826、其它集成电路控制器如专用集成电路(ASIC)、可编程门阵列(PGA)，例如现场PGA(FPGA)和/或可编程逻辑控制器(PLU)。在图38所示的实施例中，微处理器3824控制整个操作，而GPU3826渲染帧(例如，像素数据组)到一个或多个帧缓冲器3828a-3828n(统称为3828)。虽然没有示出，一个或多个附加的集成电路可控制从帧缓冲器3828读入和/或读出帧以及压电式传感器或电极3814a的操作，同步两者以产生二维或三维图像。例如在帧被过渲染的地方，读入和/或输出帧缓冲器3828的帧可以采用动态寻址。

控制子系统3822包括一个或多非个临时性计算机或处理器可读介质以存储指令和数据。该非临时性计算机或处理器可读介质可以例如包括帧缓冲器3828。非临时性计算机或处理器可读介质可以例如包括一个或多个非易失性存储器，例如只读存储器(RAM)3830或闪存。非临时性计算机或处理器可读介质可以例如包括一个或多个易失性存储器，例如随机存取存储器(RAM)3832。控制子系统3822可包括其它易失性和非易失性存储器，包括旋转介质存储以及固态存储设备。

在采用执行机构(统称3818)的实现方式中，控制子系统3822可选地包括以通信方式经由马达控制信号被耦合以驱动执行机构3818的一个或多个专用马达控制器3834。

控制子系统3822可选地包括一个或多个通信端口3836a、3836b(统称为3836)，其提供与不同的其它系统、组件或设备的通信。例如，控制子系统3822可以包括一个或多个提供有线或光通信的有线接口或端口3836a。又例如，控制子系统3822可以包括一个或多个无线接口或端口，如一个或多个提供无线通信的无线电设备(即，无线发射器、接收器、收发器)3836b。

如示出的，有线接口或端口3836a提供与环境成像系统3838的有线或光通信，环境成像系统3838包括被定位和定向以捕捉最终用户3802所在的环境的图像的一个或多个摄像机3838a。这些可用于感知、测量或收集有关最终用户3802和/或环境的信息。例如，这些可以用于检测或测量最终用户3802或者最终用户3802的部分身体——例如头部3810——的运动和/或和方位。如示出的，有线接口或端口3836a可选地提供与结构照明系统3840的有线或光通信，所述结构照明系统3840的包括被定位和定向以照亮终端用户3802、最终用户3802的一部分如头3810和/或在其中最终用户3802所在环境的一个或多个光源3840a。

如示出的，无线接口或端口3836b提供与一个或多个头戴式传感器系统3842的无线(例如，RF、微波，IR)通信，所述头戴式传感器系统3842包括一个或多个惯性传感器3842a以捕获指示最终用户3802的头部3810运动的惯性测量。这些可用于感知、测量或收集有关最终用户3802的头部运动的信息。例如，这些可用于检测或测量最终用户3802的头部3810的运动、速度、加速度和/或方位。如示出的，有线接口或端口3836a可选地提供与成像系统3842的有线或光通信，所述成像系统3842包括例如，一个或多个前向成像器或摄像机3842a。这些可以被用来捕获关于最终用户3802所在的环境的信息。这些可以被用来捕获指示最终用户3802相对于那个环境和那个环境中的特定对象的距离和朝向的信息。当被戴在头上，前向成像器或摄像机3842a特别适合于捕获指示最终用户的头部3810相对于最终用户3802所在的环境和那个环境中的特定对象的距离和朝向的信息。这些可以例如被用来检测头部运动、头部运动的速度和/或加速度。这些可以例如被用于检测或推断最终用户3802的注意中心，例于至少部分地基于最终用户的头部3810的朝向。朝向可以在任何方向被检测(例如，相对于最终用户的参考帧的上/下、左/右)。

在一些实现中所有通信都可以是有线的，而在另一些实现中所有通信都可以是无线的。在进一步的实现中，有线和无线通信的选择可能不同于图38所示出的。因此，有线或无线通信的特定选择不应该被认为是限制性的。

控制子系统3822的不同组件，例如微处理器3824、GPU3826、帧缓冲器3828、ROM3830、RAM3832、和/或可选地专用马达控制器3834可以经由一个或多个通信通道可通信地被耦合，所述通信通道例如是一个或多个总线3846(仅示出一个)。总线3846可以采取不同的形式，包括指令总线、数据总线、地址总线、其他通信总线，和/或电源总线。

预测头部运动的能力允许虚拟图像生成系统3800(图38)——例如增强现实系统，快速地更新图像的呈现和/或适应或补偿头部运动。例如，由可能在仅感知到头部运动的采用的情况下，后续帧可被更早的再渲染或读出。如从本文讨论中将显而易见的，适应或补偿可采取各种形式。例如，可以以偏移的视场或者移向或移到最终用户的注意或聚焦的区域的中心渲染或读出后续帧。又例如，后续帧可被再渲染或读出以适应或补偿自头部运动而导致的变化。例如，在某些显示器或投影技术中(例如，“飞行像素”技术，其中像素被顺序显示，例如光栅扫描、螺旋扫描、利萨茹扫描)，快速的头部运动可能导致被呈现给最终用户的帧像的素之间的间隔变化。适应或补偿可以包括适应或补偿这种像素间距的变化。例如，一些像素的尺寸或所预测的尺寸可以相对于其它像素被调整。还例如，一些像素的亮度或所预测的亮度可以相对于其它像素被调整。作为进一步的例示例，后续帧可以以所得图像不同部分之间的可变分辨率被渲染或读出。其他适应或补偿技术将从该讨论中显而易见。在其它方面，许多这些相同的技术可为了除适应或补偿以外的目的而被采用，并且可以独立地被用于预测头部追踪、感知的头部追踪，和/或与基于非“飞行像素”的显示或投影技术结合使用。

最终用户的运动，例如头部运动可能对图像产生重大的影响。由于增强现实系统试图渲染帧的后续帧与头部运动相一致，所得的虚拟对象的图像可以被压缩、扩展或以其他方式变形。这至少部分是事实的结果——对于许多显示或呈现技术(即“飞行像素”技术)，用于任何给定的帧的完整的图像并非被同时呈现或显示，而是由一个又一个的像素呈现或显示。因此，对于这些显示或呈现技术不存在真正的瞬时视场。这可能会以不同的形式，跨越许多不同类型的图像生成技术发生，例如光栅扫描、螺旋扫描或利萨茹扫描方法。一个或多个“白色”或空白帧或图像可以减轻一些快速头部运动的影响。

例如，图36A示出了在最终用户的头部快速横向运动期间产生在光栅扫描3600a中的示例性失真。该失真可能是非线性的，因为头部运动可以在开始后加速并在终止前减慢。该失真取决于头部运动的方向、速度和加速度以及光栅扫描像素生成的方向(例如，从右到左，从上到下)。

又例如，图36B示出了在最终用户的头部快速垂直运动期间产生在光栅扫描3600中的示例性失真。该失真可能是非线性的，因为头部运动可以在开始后加速并在终止前减慢。该失真取决于头部运动的方向、速度和加速度以及光栅扫描像素生成的方向(例如，从右到左，从上到下)。

作为另一个例子，图37A示出了在最终用户的头部向左侧的快速横向运动期间产生在螺旋扫描线3700a中的示例性失真。该失真可能是非线性的，因为头部运动可以在开始后加速并在终止前减慢。该失真取决于头部运动的方向、速度和加速度以及螺旋扫描像素生成的方向(例如，顺时针方向，增加半径)。如示出的螺旋扫描线3700a的连续环或圈之间的间隔在头部运动的方向增加(例如，向图纸的左边)，并且在相反的方向减小(例如，向图纸的右边)。

作为另一个例子，图37B示出了在最终用户的头部向左侧的快速横向运动期间产生在螺旋扫描线3700b中的示例性失真。该失真可能是非线性的，因为头部运动可以在开始后加速并在终止前减慢。事实上，如图37B所示，失真可能是高度椭圆(high elliptic)并且去中心化的。该失真取决于头部运动的方向、速度和加速度以及螺旋扫描像素生成的方向(例如，顺时针方向，增加半径)的函数。如示出的的螺旋扫描线3700b的连续环或圈之间的间隔在头部运动的方向上增加(例如，向图纸的左边)。对于相对于系统来说头部运动过快的地方，每个环或圈的最左部分可以位于与相对于螺旋扫描线3700b的起点的头部运动相同的方向，如图37B所示。

采用螺旋扫描图样的一个优点是，地址到图像缓冲器的转换独立于运动的方向(例如，头部运动、用于手持的微型投影机的手部运动)。

上述系统被用于下述的所有实施例。在一个实施例中，基于预测用户的焦点的移动，该系统可以被用于预测头部追踪。图1根据一个所示实施例示出了在采用预测头部追踪的增强现实系统中的方法100的操作。

在102，增强现实系统(例如，控制器子系统和/或其处理器)将多个帧作为呈现给增强现实系统的最终用户的图像。所述帧典型地包括指定用于在视场产生一个或多个虚拟对象的像素信息。如前所述，虚拟对象可以采取多种不同的虚拟对象的形式或格式中的任意一种，其可以可视地表示物理对象或者可被表示的信息、数据或逻辑结构。虚拟对象的非限制性实例可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟可视化表示。

在104，增强现实系统至少基于指示最终用户的注意的输入选择一个或更多虚拟对象。

输入可以是最终用户的实际选择。选择可以由最终用户实时做出或可能已被由预先指定。因此，最终用户可以选择某一组虚拟工具作为最终用户通常地较其他对象更为聚焦或者注意的一类虚拟对象。

输入可从各种来源被推出。输入可涉及到虚拟对象本身。输入可以被附加地或备选地涉及到最终用户的视场或者显示器或投影机的视场中的物理对象。输入可以附加地或备选地涉及到用户自身，例如最终用户和/或最终用户的一部分(例如，头、眼睛)的朝向和/或方位，或者历史属性。该历史属性可以是最终用户特定的，或者更一般化或通用的。历史属性可以指示一组已定义的最终用户的特征。最终用户特征可以例如包括头部运动速度、头部运动加速度、和/或头部运动和眼睛运动之间的关系(如一个到另一个的比率)。通过历史属性追踪的最终用户特征甚至可以包括指示给定的最终用户注意某些虚拟对象的倾向性。这些可以通过虚拟对象类型(例如，文本、图表)、最近的虚拟对象(例如，新出现的对象)、虚拟对象的运动(例如，图像到图像的大的变化、快速或迅速的运动、运动的方向)和/或虚拟物体的特征(如颜色，亮度，尺寸)来指定。

在106，对于被呈现给最终用户的多个帧中至少一些中的每一个帧，增强现实系统(例如，控制器子系统和/或其处理器)确定虚拟对象相对于最终用户参考帧在最终用户的视场中出现的位置。例如，增强现实系统可以确定新引入的虚拟对象的位置、已定义类型的虚拟对象、快速移动或超过大距离的虚拟对象、或曾经为最终用户的注意点的虚拟对象。

在108，增强现实系统至少部分地基于已确定的最终用户的视场中的虚拟对象出现的位置调整至少一个后续帧的呈现。本文讨论了调整视场中虚拟对象的出现的多种方式，包括非彻底地适应或补偿、调整像素尺寸、调整像素亮度、调整分辨率、开窗和/或消隐或闪烁。

图2根据一个所示实施例示出了在增强现实系统中另一个操作的方法200。在执行图1中方法100的动作104和/或10 6时可采用方法200。

方法200采用基于被或将被呈现给最终用户的虚拟对象的特征来预测头部运动的技术。例如，预期新引入的虚拟对象或虚拟对象的运动(例如，由于意外、速度和/或距离)可能会吸引用户注意的虚拟对象，导致头部运动以将特定的虚拟对象带入或靠近最终用户视场的中心。附加地或备选地，在评估哪些最有可能吸引人注意时，增强现实系统可依赖于虚拟对象的其他特征。例如，高吸引力的(例如，闪烁、微闪)、大型的、快速运动的，或明亮的虚拟对象比其他虚拟对象更可能吸引注意。

针对新引入虚拟对象的情况，在#ab02，当其被新引入最终用户的视场时，增强现实系统(例如，控制器子系统和/或其处理器)选择和/或确定虚拟对象出现的位置。当未出现在先前(时间上)呈现给最终用户的相关的帧中时，虚拟对象被认为是新引入的。特别是，增强现实系统依赖于一个事实，即新引入的虚拟对象相对于出现在直接的在先帧中的虚拟对象更可能会吸引最终的注意。附加地或备选地，增强现实系统可通过评估哪个最可能引起注意来依赖虚拟对象的其它特征，例如，以在多个新引入的虚拟对象选择或划分优先级。例如，高吸引力的(例如，闪烁，微闪)、大型、快速移动、或明亮的虚拟对象可能比其他的虚拟对象更能够吸引注意。

针对正在移动的虚拟对象的情况，在204，增强现实系统(例如，控制器子系统和/或其处理器)选择和/或确定虚拟对象相对于至少一个先前帧中的同一虚拟对象的方位在帧中的新方位中出现的位置。这样，突然移动、快速移动、和/或空间上虚拟对象从一帧到一个或多个后续帧的大的方位移动可能易于吸引最终用户的注意或聚焦。附加地或备选地，增强现实系统可通过评估哪个最可能引起注意来依赖虚拟对象的其它特征，例如，以在多个新引入的虚拟对象之间选择或划分优先级。例如，高吸引力的(例如，闪烁，微闪)、大型、或明亮的虚拟对象比其他的虚拟对象更可能吸引注意。

图3根据一个所示实施例示出了在增强现实系统中操作的方法300。可以在执行图1的方法100中的动作108时采用方法300。

在302，增强现实系统(例如，控制器子系统和/或其处理器)呈现至少一个后续帧，该至少一个后续帧的中心至少被移向——如果不是被集中在——已确定的最终用户的视场中虚拟对象出现的位置。后续帧或图像的中心可以被移动以共同位于所选择的被预测吸引最终用户注意的虚拟对象的位置。备选地，后续帧的中心可能移动以接近所选择的被预测吸引最终用户注意的虚拟对象的位置。这可在二维或三维中执行。例如，虚拟对象的二维或三维方位可以被用来分别在二维或三维中调整后续图像的视场。移动的后续帧或图像最好与所预测的最终用户头部运动在时间上一致。因此，移动的后续帧或图像应该尽可能在时间上与真实头部运动一致地呈现给最终用户。如本文所讨论的，这可能考虑速度、加速度、以及速度和加速度中的变化。

图4根据一个所示实施例示出了的增强现实系统中操作的方法400。可以在执行图1的方法100时采用方法400。

可选地，在402，增强现实系统接收指示最终用户的身份的信息。该信息可以采取多种不同形式中的任何形式。例如，信息可以是用户名或由最终用户输入或者来自与最终用户相关联的应答器、磁条、或机器可读符号的其他用户标识符(例如，加密的)。例如，信息可以包括指示最终用户的一个或多个物理特征的生物识别信息。在一个特别有利的实现中，增强现实系统可以接收图像数据，其代表最终用户的一个或两个眼睛的一部分(例如，视网膜)。例如，增强现实系统可以例如经由一个或多个光纤投影光进入最终用户的一个或两个眼睛。该光可以被调制以例如增加信噪比和/或限制眼睛的加热。图像传感器可以例如经由投影光的一个或多个光纤捕获眼睛的部分的图像，所述光纤提供双向路径。备选地，专用光纤也可被采用。如进一步备选地，图像传感器可以被置于靠近眼睛的位置，消除作为到图像传感器的返回路径的光纤的使用。人眼的某些部分(例如，视网膜血管)可能被视为具有足够的独特特征来作为唯一的最终用户标识符。

可选地，在404，增强现实系统中基于所接收到指示最终用户的身份的信息检索用于最终用户的至少一个用户特定的历史属性。该用户特定的历史属性可指示下述至少之一：用于最终用户的先前头部运动速度、用于最终用户的先前头部运动加速度、用于最终用户的先前的眼部运动到头部运动的关系、最终用户注意某些类型或具有某些特征的虚拟对象的倾向。

在406，增强现实系统(例如，控制器子系统和/或其处理器)至少部分地基于已确定的最终用户的视场中的虚拟对象出现的位置来预测最终用户的头部运动的发生。再一次，增强现实系统可依赖虚拟对象的吸引力来预测头部运动，例如在逐个最终用户的基础上。

增强现实系统可以采用估计的速度和/或估计的速度变化或估计的加速度以至少部分地将图像呈现与最终用户的预测的头部运动同步。预测的头部运动中速度的估计的变化可基于所预测的头部运动开始之后的第一定义时间和和预测的头部运动结束之前的第二定义时间之间的延伸范围。

在408，增强现实系统估计至少一个指示所预测的最终用户头部运动的估计速度的值。增强现实系统可基于一个或多个值、参数或特征来估计速度。例如，增强现实系统可依赖于移动最终用户头部到新位置以观察所选择或标识的虚拟对象所需的运动范围。增强现实系统可能依赖于用于人的采样的平均速度、或可依赖于用于特定的最终用户的历史头部移动速度。增强现实系统可依赖于用于特定的最终用户的历史属性。速度跨越可以用角速度表示。

在410，增强现实系统估计所预测的最终用户头部运动中的至少一个速度变化，该变化在所预测的头部运动开始和所预测的头部运动结束之间的头部运动的范围内发生。遍及所预测的运动范围内的某些部分，速度的变化可能会以不同的增量发生。

在412，增强现实系统估计至少一个指示所预测的最终用户头部运动的估计的加速度的值。该估计的加速度可能在头部运动的整个范围之上或仅在其中一部分上进行。该估计的加速度可以在头部运动范围离散的间隔上进行。加速度的估计可以被确定以用于头部运动开始后的一些已定义的持续时间的一个或多个间隔。加速度的估计可以被确定以用于头部运动终止前的一些定义的持续时间中的一个或多个间隔。从开始和/或结束点隔开估计可以避免加速度测量中的大的变化。

可选地，在414，增强现实系统确定至少一个值，其至少部分地适应或补偿最终用户的预测的头部运动的估计的速度。例如，增强现实系统可以确定与在给定的时间内呈现的帧的总数量有关的值和/或指定跨越一系列将被渲染和/或呈现的图像的一个或多个虚拟对象应在何处和/或多快地移动的值。这些可以被用来渲染后续帧。

可选地，在416，增强现实系统至少部分地基于至少一个值渲染至少一个后续帧，所述值至少部分地补偿最终用户的预测的头部运动的估计速度。例如，增强现实系统可以确定与在给定的时间内呈现的帧的总数量有关的值和/或指定跨越一系列将被渲染和/或呈现的图像的一个或多个虚拟对象应在何处和/或多快地移动的值。这些可以被用来渲染后续帧。

在另一个实施例中，系统可以被用于基于用户的历史属性预测头部追踪。图5根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法500。

增强现实系统在执行预测的头部追踪时可以采用历史属性。历史属性可能是最终用户特定的或者更通用或一般化的。历史属性可指示一组定义的最终用户特征。最终用户特征可以例如包括头部运动速度、头部运动加速度和/或头部运动和眼睛运动之间的关系(例如，一对另一个的比率)。由历史属性追踪的最终用户特征甚至可以包括指示给定的最终用户注意某些虚拟对象的倾向。

在502，增强现实系统接收到指示最终用户的身份的信息。该信息可以采取多种不同的形式中的任何形式，例如由最终用户主动地提供的信息，从非临时性存储介质读取的信息、从用户读取的信息(例如，生物识别数据或特征)，或从最终用户行为中推断的信息。

在504，增强现实系统至少部分地基于所接收的指示最终用户的身份的信息来检索至少一个用于用户的用户特定历史属性。该身份信息可被以多种不同方式中的任何方式来接收、产生或确定。

在506，增强现实系统至少部分地基于所检索的用于最终用户的至少一个用户特定历史属性来向最终用户提供帧。例如，增强现实系统可以提供来自帧缓冲器的帧到投影机或显示设备(例如，与一个或多个光纤配对的光源)，或可以渲染帧到帧缓冲器。增强现实系统可以经由至少在双轴方向可移动的至少一个光纤提供光。增强现实系统可以经由至少一个光纤接收指示最终用户的眼睛的至少一部分的图像的图像信息，所述光纤也向最终用户提供帧。

图6根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法600。可以在执行图5中的方法500的动作504时采用方法600。

在602，增强现实系统检索提供用于最终用户的至少一个头部运动属性的指示的至少一个历史属性。头部运动属性指示最终用户的至少一个先前的头部运动。历史属性可以被存储在非临时性介质上，例如在数据库或其它逻辑结构中。

在604，增强现实系统检索提供用于最终用户的至少一个先前的头部运动的头部运动速度的指示的至少一个历史属性。

在606，增强现实系统检索跨越最终用户的至少一个先前头部运动范围的至少一部分的头部运动速度的变化的指示的至少一个历史属性。

在608，增强现实系统检索提供用于最终用户的至少一个先前头部运动的头部运动加速度的指示至少一个历史属性。

在610，增强现实系统检索提供用于最终用户的至少一个先前头部和眼部运动组合的头部运动与眼部运动之间关系的指示的至少一个历史属性。该关系可以例如被表示为代表最终用户的至少一个先前头部运动的头部运动的头部运动值和代表至少一个先前眼部运动的值的比率。所述值可以分别代表头部和眼部运动的量，例如表示为角度变化。所述比率可能是最终用户的头部运动的历史平均和眼部运动的历史平均的比率。附加地或备选地，可以采用头部和眼部运动之间的其他关系，例如速度或加速度。

图7根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法700。可以在执行图5的方法500的动作506时采用方法700。

在702，增强现实系统至少预测最终用户的头部运动的终点。例如，当虚拟对象的出现被用于预测的头部运动时，特定虚拟对象的相对位置可被用作终点。

在704，增强现实系统渲染至少一个后续帧到至少一个图像缓冲器。所述至少一个后续帧被至少移向，甚至移至，所预测的头部运动的终点。

图8根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法800。可以在执行图7的方法700的动作704时采用方法800。

在802，增强现实系统以至少部分地适应用于最终用户的至少一个头部运动属性的方式渲染多个后续帧，所述多个后续帧至少向所预测的头部运动的终点偏移。所述头部运动属性可以指示头部运动的不同物理特性，特别是最终用户的头部运动的历史物理特性。头部运动属性可以例如包括下述中的一个或多个：用于最终用户的历史头部运动速度、用于最终用户的历史头部运动加速度，和/或用于最终用户的头部运动与眼部运动之间的历史关系(例如，比率)。可以通过将对应的图像或对应的图像的中心相对于与先前帧所对应的图像进行偏移来渲染后续帧从而实现偏移。

图9根据一个所示实施例示出了在采用预测的头部追踪的增强现实系统中操作的方法900。可以在执行图7的方法700的动作703时采用方法900。

在902，增强现实系统至少部分地基于最终用户的视场中的虚拟图像的出现来预测最终用户的头部运动的发生。

所述出现在时间上可能是相对于作为图像呈现给最终用户的先前帧，当新的虚拟对象被新引入呈现给最终用户的视场时的出现。备选地或附加地，所述出现可能是相对于先前呈现给最终用户的虚拟对象的方位，虚拟对象在呈现给最终用户的视场中在新的方位中的出现。所述预测可以例如考虑因素。例如，预测可以部分地基于虚拟对象的尺寸或显著性、方位改变的量或百分比、速度、突然地加速度，或虚拟对象的方位中的其他变化。

所述系统还可以被用于动态控制像素特征。图10根据一个所示实施例示出了在增强现实系统中操作的方法1000。

在1002，增强现实系统(例如，控制器子系统和/或其处理器)检测呈现给最终用户的帧中的一些像素之间的间隔将不同于在同一帧中的其他像素之间的间隔的指示。例如，增强现实系统可检测呈现给最终用户的帧中第一组像素的像素之间的间隔将不同于该呈现给最终用户的帧中至少第二组像素的像素之间的间隔的指示。例如，在帧的像素在一段时间上被顺序呈现(例如，帧缓冲器的读出)时(例如，“飞行像素”图样，诸如光栅扫描图样、螺旋扫描图样、利萨茹扫描图样)，快速头部运动可能会导致在图像或帧的不同部分之间的像素间隔的变化。

在1004，响应于呈现给最终用户的帧中的一些像素之间的间隔将不同于该帧中的其他像素之间的间隔的检测，增强现实系统向至少一个后续帧的至少一部分提供被调整以至少部分补偿可由最终用户感知的至少一个像素特征的至少第一组像素。这样可至少部分补偿呈现给最终用户的图像的不同部分中的像素之间的间隔。

图11根据一个所示实施例示出了在增强现实系统中操作的方法1100。可以在执行图10的方法1000时采用方法1100。

可选地，在1102，增强现实系统(例如，控制器子系统和/或其处理器)接收指示用户佩戴的至少一个头戴式惯性传感器的输出的信号。该惯性传感器可以采取多种形式，例如陀螺仪传感器或加速度传感器。惯性传感器可以是单轴或多轴设备。惯性传感器可以采取MEMS设备的形式。

可选地，在1104，增强现实系统接收指示用户佩戴的至少一个头戴式成像器的输出的信号。该成像器可以例如采取数码摄像机或其它图像捕获设备的形式。这些可以是前向摄像机以捕捉至少接近于最终用户视场的视场。

可选地，在1106，增强现实系统检测超过标称头部运动值的头部运动。例如，增强现实系统可以检测超过标称速度和/或标称加速度的头部运动。增强现实系统可采用来自惯性传感器的信号以检测运动，并且特别是加速度。增强现实系统可以采用来自头戴式摄像机的信号检测周围环境中的物理对象的方位的变化，特别是固定的物理对象如墙壁、地板、天花板。增强现实系统可以采用任何数量的图像处理技术。已检测的方位变化允许增强现实系统确定在头部方位、运动速度和加速度的变化。除了或代替惯性传感器和头戴成像信息，增强现实系统可以采用其他信息。例如，增强现实系统可采用来自监视周围环境并且不是被用户佩戴而是追踪用户的系统的信号。这样的系统可以采用一个或多个成像器，例如数码摄像机，来监控周围环境。成像器检测最终用户和最终用户的部分如头部的运动。再一次，多种图像处理技术可被采用。这样的系统可被有利地与结构化的光系统配对。备选地，方法#CB00可被独立于已检测的或甚至所预测的头部运动执行。

在1108，增强现实系统例如基于已检测到的头部运动的方向选择帧的第一组像素。增强现实系统可以基于其它准则例如已检测的头部运动的速度另外选择帧的第一组像素。

在1110，增强现实系统调节至少一个后续帧的第一组像素的至少一些像素的尺寸和/或亮度中的至少一个。该调整可被设计为至少适应或至少部分地补偿头部运动造成的帧或图像所中不期望的变化。

可选地，在1112，增强现实系统渲染至少一个后续帧。渲染的后续帧包括已调节的像素信息以至少部分适应或补至少部分适应或补偿头部运动造成的帧或图像中不期望的变化。

可选地，在1114，增强现实系统从存储一个或多个后续帧的至少一个帧缓冲器中读出至少一个后续帧。例如，增强现实系统可以选择性地从至少一个帧缓冲器中读出至少一个后续帧。这样可以利用过渲染，其中帧相对于图像区域或视场的尺寸被过渲染。该系统，特别是在头部佩戴该系统时，将在大多数情况下专用于具有已知面积和已知分辨率的固定显示表面。这与旨在向多种尺寸和分辨率的显示器提供信号的计算机和其它其它设备相反。因此，增强现实系统选择性地读入或读出帧缓冲器而不是读入或读出来自帧缓冲器的整个帧。如果被渲染以创建的后续图像的新帧显示位于以前的图像之外的部分，那么不进行过渲染时可能需要的GPU的过度运行，过渲染可以防止这种情况。例如，没有过渲染的话，增强现实系统将需要在每次最终用户的头被移动时渲染新的帧。结合过渲染，一组专用的电子设备可被用于选择或读出过渲染的帧的所期望的部分，其本质上是移动在先前渲染的帧中的窗口。

图12根据一个所示实施例示出了在增强现实系统中操作的方法1200。可以在执行图11的方法1100的动作1108和1110时采用方法1200。

在1202，增强现实系统(例如，控制器子系统和/或其处理器)选择帧的至少第一组像素中，使得第一组像素相对于检测到的头部运动方向处于给定的方向(例如，相同的方向、相反的方向)。

在1202，增强现实系统调整所选择的组的像素的像素尺寸作为呈现给用户的至少一个后续帧的第一组像素中的像素。

例如，增强现实系统可以选择帧的第一组像素，使得第一组像素相对于其他像素位于与已检测的头部运动相同的方向上。例如，相对于在图像中通常朝向右侧的第二组像素，在图像中第一组像素相对地朝向左侧。例如，相对于在图像中通常朝向底部的第二组像素，在图像中第一组像素相对地朝向上部。增强现实系统可以提供一个或多个后续帧或图像，其中第一组中的像素相对于后续帧中的一些其他像素具有增加的尺寸。这可以至少部分地适应或至少部分地补偿像素间的扩散，该扩散产生于增强现实系统不能跟上的快速头部运动。

例如，增强现实系统可以选择帧的第一组像素，使得第一组像素相对于其他像素位于与已检测的头部运动方法相反的方向上。增强现实系统可以提供一个或多个后续帧或图像，其中第一组像素相对于后续帧中的一些其他像素具有减少的尺寸。这可以至少部分地适应或至少部分地补偿像素间的扩散，该扩散产生于增强现实系统不能跟上的快速头部运动。

调整(例如，增加、减少)所选择的组的像素的尺寸可以包括调整可变的聚焦组件。调整(例如，增加、减少)所选择的组的像素的尺寸可以包括调整可变尺寸的源。调整(例如，增加、减少)选择的组的像素的尺寸可以包括调整抖动。

作为进一步的示例，增强现实系统可以选择帧的第一组像素，使得第一组像素相对于其他像素位于与已检测的头部运动相同的方向上。增强现实系统可以提供一个或多个后续帧或图像，其中第一组中的像素相对于后续帧中的一些其他像素具有增加的亮度。这可以至少部分地适应或至少部分地补偿像素间的扩散，该扩散产生于增强现实系统不能跟上的快速头部运动。

作为又一个更进一步的示例，增强现实系统可以选择帧的第一组像素，使得第一组像素相对于其他像素位于与已检测的头部运动相反的方向上。增强现实系统可以提供一个或多个后续帧或图像，其中第一组中的像素相对于后续帧中的一些其他像素具有减少的亮度。这可以至少部分地适应或至少部分地补偿像素间的扩散，该扩散产生于增强现实系统不能跟上的快速头部运动。

如上，增强现实系统可以仅调整所选择的像素的尺寸、仅调整所选择的像素的亮度，或调整所选择的像素的尺寸和亮度的两者。进一步地，增强现实系统可以调整一些像素的亮度、其它像素的尺寸，甚至其它像素的亮度和尺寸，和/或不调整进一步的像素的亮度或者尺寸。

所述系统还可以被用于在整个帧的基础上动态地对小于整个的帧进行更新，如下所示。图13根据一个所示实施例示出了在增强现实系统中操作的方法00。

在1302，增强现实系统(例如，控制器子系统和/或其处理器)渲染第一完整帧到图像缓冲器。第一完整帧包括用于像素的顺序呈现以形成多个虚拟对象的图像的像素信息。第一完整帧可以采取多种适用于不同显示技术的形式。例如，完整帧可包括适于形成完整的光栅扫描帧的像素信息，其可以是具有两个场的交错的光栅扫描帧。交错的光栅扫描的每个场均包括多条线，第一场包括奇数行并且第二场包含偶数行。至少如显示给所示最终用户的，奇数和偶数行可以是交错的。一种特别有优势的技术采用螺旋扫描线。该螺旋扫描方法可采用每帧单个场，例如由单个螺旋迹线(spiraltrace)组成。备选地，该螺旋扫描方法可以采用每帧两个或更多场，例如，由两个或更多个被顺序呈现的螺旋迹线组成。螺旋迹线可以有利地通过引入帧的每个场之间的相移被简单地交错或嵌套。另一种技术采用了利萨茹扫描方法。该利萨茹扫描方法可采用每帧单场，例如由单个利萨茹迹线组成。备选地，利萨茹扫描方法可采用每帧两个或更多场，例如由两个或更多个被顺序呈现的利萨茹迹线组成。利萨茹迹线可以有利地通过引入帧的每个场之间的相移被简单地交错或嵌套。。

在1304，增强现实系统开始第一完整帧的呈现。这可以包括读出帧缓冲器，例如以驱动光源和一个或多个光纤的端部。该读出可以包括动态地确定帧缓冲器的哪部分将被读出。

可选地，在1306，增强现实系统检测最终用户的的头部运动超过标称头部运动值。这可以采用先前讨论的不同方法中的任何一种。

在1308，在整个第一完整帧的呈现完成之前，增强现实系统动态地中断第一完整帧的呈现。详细地说，增强现实系统开始对第一完整帧的更新的呈现。在对第一完整帧的更新中的像素信息的至少一部分已经从第一完整帧改变。例如，在交错的基于光栅扫描的系统中，增强现实系统可呈现第一场的全部或一部分，使用更新的第二场来代替第二场。又例如，在交错的基于螺旋扫描的系统中，增强现实系统可呈现第一场(例如，第一螺旋扫描线或迹线)的全部或一部分，使用更新的第二场(例如，不同于初始第二螺旋扫描或迹线的更新的第二螺旋扫描线或迹线)来代替第二场。类似的，在交错的基于利萨茹扫描的系统中，增强现实系统可呈现第一场(例如，第一利萨茹扫描线或迹线，即，完整的图8周期)的全部或一部分，使用更新的第二场(例如，不同于初始第二螺旋扫描或迹线的更新的第二利萨茹扫描线或迹线)来代替第二场。虽然示例根据场给出，但其并不限于整个的场。呈现可在场的呈现期间被解释，例如在呈现第一或第二或第三场期间。呈现可以在任何给定的线的呈现的过程中被解释(例如，光栅扫描的行、螺旋或利萨茹扫描的完整周期)。

图14根据一个所示实施例示出了在增强现实系统中操作的方法1400。可以在执行图13的方法1300时采用方法1400。

在1402，增强现实系统(例如，控制器子系统和/或其处理器)渲染更新的第一完整帧。更新的第一完整帧包括像素信息，其在至少一个方面不同于第一完整帧的像素信息。

渲染更新的第一完整帧可包括以第一场和至少第二场渲染更新的整帧。第二场可以与第一场交错，典型地跟随第一场的呈现而被顺序地呈现。例如，第一场可由光栅扫描中的偶数行组成而第二场由奇数行组成。又例如，第一场可以由第一螺旋扫描线或第一利萨茹扫描线组成，而第二场由第二螺旋扫描线或第二利萨茹扫描线组成。因此，渲染更新的第一完整帧可包括使用第一场和至少第二场渲染更新的整帧，第二场与至少第一场交错。

在1404，增强现实系统呈现已更新的第一完整帧的一部分来代替第一完整帧的对应部分。因此，初始未更新的第一完整帧中断后，更新的帧的一部分代替第一完整帧的所有或一部分。

例如，增强现实系统呈现已更新的第一完整帧的第二场来代替初始(即，未更新的)第一完整帧的第二场。又例如，增强现实系统可呈现伴随已更新的第一完整帧的第二场的第一场的第二部分来代替第一初始(即，未更新的)第一完整帧的第一场的相应部分和整个第二场。

又例如，增强现实系统可呈现已更新的第一完整帧的场的一部分(例如，线、线的一部分、像素组，像素)来代替第一完整帧的对应场的对应部分。例如，增强现实系统可呈现已更新的光栅扫描帧的更新的第一完整帧的场的一部分来代替光栅扫描帧的初始(即，未更新的)第一完整帧的对应场的对应部分。

作为另一个示例，增强现实系统可呈现已更新的第一完整帧的线来代替初始(即，未更新的)第一完整帧的对应线。作为又一个示例，增强现实系统可呈现更新的第一完整帧的螺旋线来代替初始(即，未更新的)第一完整帧的对应螺旋线。作为进一步的示例，增强现实系统可呈现更新的第一完整帧的线的一部分来代替初始(即，未更新的)第一完整帧的对应线的对应部分。作为又一进一步的示例，增强现实系统可呈现更新的第一完整帧的至少一个像素来代替初始(即，未更新的)第一完整帧的至少一个像素的对应部分。作为又一个附加示例，增强现实系统可呈现更新的第一完整帧的利萨茹图样扫描的一个完整周期来代替初始(即，未更新的)第一完整帧的利萨茹图样扫描的一个完整周期的对应部分。

图15根据一个所示实施例示出了在增强现实系统中操作的方法1500。可以在执行图13的方法1300时采用方法1500。

在1502，增强现实系统(例如，控制器子系统和/或其处理器)渲染第一完整帧到帧缓冲器。第一完整帧可例如包括第一场和至少第二场。第一场可例如包括用于至少第一螺旋扫描线的像素信息并且第二场可包括用于至少第二螺旋扫描线的像素信息。第二场的扫描线可与第一场的扫描线交错。第一场可例如包括用于至少第一利萨茹扫描线的像素信息并且第二场可包括用于至少第二利萨茹扫描线的像素信息。第二场的扫描线可与第一场的扫描线交错。用于螺旋和利萨茹扫描图样两者的扫描线的交错可以使用相移来有效地实现。场或扫描线的数量可以大于2，例如3个，4个，8个，16个或更多。

在1504，增强现实系统开始读出存储第一完整帧的帧缓冲器。增强现实系统可以驱动光源和轭或其它设备或结构以基于在来自图像缓冲器的帧中指定的像素数据生成图像。

在1506，增强现实系统渲染更新的第一完整帧到帧缓冲器。更新的第一完整帧包括指定帧的像素信息，其中的一部分已从由初始(即，未更新的)第一完整帧所指定的信息改变。

在1508，在从帧缓冲器中读出第一完整帧完成之前，增强现实系统开始读出更新的第一完整帧，从而中断初始(即，未更新的)第一完整帧的呈现。一些实现可以利用有两个或多个的帧缓冲器，允许对一个帧缓冲器进行渲染，同时从其他帧缓冲器中读出帧。这不应该被认为限制增强现实系统的不同实现采用一个、两个、三个或甚至更多的帧缓冲器。

图16根据一个所示实施例示出了在增强现实系统中操作的方法1600。可以在执行图13的方法1300时采用方法1600。

在1602，增强现实系统(例如，控制器子系统和/或其处理器)生成用于第一扫描线(如螺旋、利萨茹)的像素信息。

可选地，在1604，增强现实系统生成用于相对于第一扫描线(如螺旋、利萨茹)相移的第二扫描线(如螺旋、利萨茹)的像素信息。相移有利地使用用于螺旋和利萨茹扫描线的第一扫描线与第二扫描线相互作用或嵌套。

可选地，在1606，增强现实系统生成用于相对于第二扫描线(如螺旋、利萨茹)相移的第三扫描线(如螺旋、利萨茹)的像素信息。相移有利地使用用于螺旋和利萨茹扫描线的第一和第二扫描线与第三扫描线相互作用或嵌套。

可选地，在1608，增强现实系统生成用于相对于第三扫描线(如螺旋、利萨茹)相移的第四扫描线(如螺旋、利萨茹)的像素信息。相移有利地使用用于螺旋和利萨茹扫描线的第一、第二和第三扫描线与第四扫描线相互作用或嵌套。

图17根据一个所示实施例示出了在增强现实系统中操作的方法1700。

在1702，对于多个帧中的每一个帧，增强现实系统(例如，控制器子系统和/或其处理器)为各个帧的至少两部分中的每一部分确定相应的分辨率。部分可以是场、线、其他细分，或甚至单个的像素。

在1704，增强现实系统基于多个帧引起虚拟图像的呈现，呈现给最终用户的图像中的至少一些图像具有可变的分辨率。例如，相邻像素之间的间隔从一部分到另一部分可能不同。

图18根据一个所示实施例示出了在增强现实系统中操作的方法1800。可以在执行图17的方法1700时采用方法1800。

在1802，增强现实系统(例如，控制器子系统和/或其处理器)将帧渲染为用于螺旋扫描图样的相应像素数据。

在1804，增强现实系统调整在帧中的第一个帧第一部分的呈现的时间和帧中的第一个帧第二部分的呈现的时间之间的驱动信号的振幅。该振幅变化导致对应于帧中的第一个帧的图像中可变的分辨率。增强现实系统可以例如改变驱动信号的斜率或坡度。这在使用螺旋扫描图样的时候特别有用。例如，帧的第一场可具有一个斜率或坡度，其第二场具有不同的斜率或坡度，从而以单个帧改变有效分辨率。可以在最终用户感兴趣或吸引处或其附近采用更高的分辨率或像素密度，而在远离这些位置的地方可以使用较低的分辨率或像素密度。在中心或图像被移向最终用户吸引或聚焦的中心的情况下，高分辨率可以在图像中心附近出现，而周围的部分以较低的分辨率出现。这基本上实现了具有可控像素的可被命名为视场显示(foviated display)。

图19根据一个所示实施例示出了在增强现实系统中操作的方法1900。可以在执行图17的方法1700时采用方法1800。

在1902，增强现实系统(例如，控制器子系统和/或其处理器)评估用于最终用户的至少第一图像的注意点。增强现实系统可以使用任意的前述的技术以用于评估该注意点。例如，确定新的虚拟对象是否和将在何处出现、或虚拟对象将在最终用户的视场中移至何处。又例如，增强现实系统可以评估虚拟对象的相对吸引力(例如，速度、颜色、尺寸、亮度、微闪)。这可以也采用眼睛追踪信息，其指示最终用户的眼睛追踪或聚焦的视场中的位置。

眼睛追踪信息可以例如经由例如头戴摄像机的一个或多个头戴传感器来提供。这样的眼睛追踪信息可以例如通过在最终用户的眼睛投影闪烁的光(glint)并检测至少一些所投影的光的返回或反射来辨别。例如，创建或投影图像的投影子系统可以投影像素、点或来自至少一个光纤的光的其它元素来创建照到最终用户的角膜的光。眼睛追踪可采用一个、两个、三个或甚至更多的光斑或光点。光斑或光点越多，就可以分辨越多的信息。光源(例如，激光二极管)可以是脉冲的或调制的，例如与用摄像机或图像传感器的帧速率同步。在这种情况下，斑或点可能出现为随眼部运动的线。作为跨越传感器的线迹的线的方向指示了眼睛运动的方向。线的朝向(例如，垂直、水平、对角)指示了眼睛运动的朝向。线的长度指示眼睛运动的速度。

对于眼睛追踪，光可以被调制(例如，在时间上、亮度)以增加信噪比。附加地或备选地，光可以是特定的波长(例如，近红外(near-IR))，允许其从背景光或甚至形成最终用户正在观看的图像的光中被区分。该光可以被调制以减少增强现实系统提供给眼睛的能量(例如，热)的总量。闪烁的光可以经由相同的或另一光纤被返回到传感器。传感器可以例如采取二维图像传感器的形式，例如CCD传感器或CMOS传感器。

这样，增强现实系统可以检测和追踪相应的眼睛运动，提供最终用户的注意或聚焦的点或位置的指示。增强现实系统可以在逻辑上将虚拟对象或虚拟事件(例如，虚拟对象的出现或运动)与最终用户注意或聚焦的被识别的点或位置相关联。例如，增强现实系统可指定虚拟对象出现在最终用户的注意或聚焦的点或位置或在其附近，作为对最终用户有吸引力的虚拟对象。

在1904，增强现实系统调整(如，增加、减少)至少一个后续图像的至少一个部分中的分辨率。增强现实系统可以使用本文中不同技术中的任意技术以及其他技术来调整后续的页部分相对于同一后续页的其它部分的分辨率。

图20根据一个所示实施例示出了在增强现实系统中操作的方法2000。可以在执行图19的方法1900的动作1904时采用方法2000。

在2002，增强现实系统(例如，控制器子系统和/或其处理器)增加至少一个后续图像的一部分中的分辨率，该部分相对于至少一个后续图像其他部分至少接近所评估的注意点。正如先前所解释的，可以通过控制驱动信号的幅度或振幅(例如，电流、电压)来调整螺旋扫描图样的分辨率。可以通过调整驱动信号的斜率来调整分辨率。因此，可以通过增加驱动信号的振幅来增加分辨率，同时相位不变。

在2004，增强现实系统减小至少一个后续图像的一部分中的分辨率，该部分相对于至少一个后续图像的其他部分在所评估的注意点的远侧。可以通过减小驱动信号的振幅来减小分辨率，同时相位保持不变。

在一些实现中仅增加分辨率，在某些部分增加分辨率而在其它部分分辨率既不增加也不减小。在另一些实现中仅减小分辨率，在某些部分减小分辨率，而其它部分分辨率既不增加也不减小。在又一些实现中，在一些部分增加分辨率而在另一些部分减小分辨率。

图21根据一个所示实施例示出了在增强现实系统中操作的方法2100。可以结合图17的方法1700采用方法2100。

在2102，增强现实系统(例如，控制器子系统和/或其处理器)处理眼睛追踪数据。眼睛追踪数据指示最终用户的至少一只眼睛的至少一个朝向。眼睛追踪数据经由至少一个传感器被提供。例如，眼睛追踪数据可以经由头戴传感器被提供。在一些实现中，经由光纤使用位于或接近该光纤远端的传感器收集眼睛追踪数据。例如，光纤可收集从最终用户的眼睛的一部分反射的光，所述光可能是闪烁的光。该光纤可以是被用来创建用于向最终用户显示或投影图像的那一根光纤。

在2104，增强现实系统处理头部追踪数据。头部追踪数据至少指示最终用户的头部朝向。头部追踪数据经由至少一个传感器来提供。

例如，一个或多个头戴或头部安装传感器例如惯性传感器(例如，陀螺仪传感器、加速度计)。头部运动追踪可以使用一个或多个头戴或头部安装光源和至少一个传感器来实现。头部追踪可采用一个、两个、三个或甚至更多的光斑或光点。光斑或光点越多，可分辨的信息就越多。光源(例如，激光二极管)可以是脉冲的或调制的，例如与摄像机或图像传感器(例如，前向摄像机)的帧速率同步。激光光源可能以低于摄像机或图像传感器的帧速率的频率被调制。在这种情况下，斑或点可能出现为如头部运动的线。作为跨越传感器的线迹的线的方向可以指示头部运动[a5]的方向。线的朝向(例如，垂直、水平、对角)指示头部运动的朝向。线的长度指示头部运动的速度。反射光还可提供有关周围环境中的对象的信息，诸如距离和/或几何形状(例如，平面的、弯曲的)和/或朝向(例如，成角度的或垂直的)。例如，一个激光束可能会产生关于方向和速率的信息(如，冲撞(dash)或线的长度)。第二激光束可以添加关于深度或距离的信息(例如，Z轴)。第三激光束可以添加关于周围环境中的表面的几何形状和/或朝向的信息。在头部运动期间或在头部运动的一部分的期间激光器或其它光源可以是脉冲的。

附加地或备选地，头部追踪数据可经由非头戴的传感器来提供。例如，摄像机或成像系统成像包括最终用户的头部的最终用户，追踪其运动。这可诸如例如相对于某些外部参考帧来追踪运动，例如由追踪系统定义的参考帧或追踪系统位于其中的房间。

在2106，增强现实系统确定虚拟对象相对于最终用户参考帧在最终用户的视场中出现的位置。该出现可以是当被新引入最终用户的视场中时新的虚拟对象的出现。该出现可以是虚拟对象相对于该虚拟对象在至少一个先前图像中的方位在新方位的出现。增强现实系统可以采用在本文其它地方描述的多种技术中任何技术来确定虚拟对象出现的位置

系统还可以使用消隐以提高最终用户感知体验。

图22根据一个所示实施例示出了在增强现实系统中操作的方法2200。方法2200可有效采用消隐以提高最终用户感知体验。

在2202，增强现实系统(例如，控制器子系统和/或其处理器)向最终用户显示至少一个虚拟对象。增强现实系统可渲染帧到帧缓冲器，读取帧以驱动一个或多个光源和/或轭或其他系统以产生光的至少双轴向运动或迹线。

在2204，增强现实系统检测和/或预测最终用户的头部运动的发生。增强现实系统可以采用可以采用在本文其它地方描述的多种技术中的任意技术来检测和/或预测头部运动的发生。非限制性地，这些技术包括直接感知头部运动，例如经由惯性传感器或感应器、或经由头戴成像器或成像最终用户在其中被呈现或可见的区域的环境成像器。这些技术还包括间接地预测头部运动，例如通过确定新的虚拟对象将出现在何处、现有的虚拟对象将移动到何处，或特别有吸引力的虚拟对象将被置于图像中的方位。

在2206，增强现实系统评估是否已检测的和/或所预测的头部运动超过或被预测超过标称头部运动值。增强现实系统可以采用可以采用本文其它地方描述的多种技术中的任何技术来评估已检测的和/或所预测的头部运动是否超过或被预测超过标称头部运动值。这样的评估可以包括简单的将已检测或所预测的速度与标称速度相比较。这样的评估可以包括简单的将已检测或所预测的加速度与标称加速度相比较。这样的评估可包括简单的将已检测或所预测的范围与标称范围相比较。这样的评估可以包括更复杂的比较，包括通过运动期间内多次速度、加速度或范围的平均或积分。这样的评估可以甚至采用历史属性或其他信息。

在2208，增强现实系统暂时对最终用户消隐至少一个虚拟对象的显示的至少一部分。例如，增强现实系统可以停止从帧缓冲器读取。附加地或备选地，增强现实系统可以关闭照明或光源。这可以包括暂时关闭LCD显示器的背光。

图23根据一个所示实施例示出了在增强现实系统中操作的方法2300。可以在执行图22的方法2200时采用方法2300。

在2302，增强现实系统(例如，控制器子系统和/或其处理器)处理头部追踪数据。头部追踪数据指示最终用户头部的至少一个朝向。头部追踪数据可以经由至少一个传感器来提供，其可能或可能不被最终用户所佩戴。增强现实系统可以采用可以采用本文其它地方描述的多种技术中的任何技术来处理头部追踪数据。

在2304，对于呈现给最终用户的图像中的至少一些中的每个帧，增强现实系统(例如，控制器子系统和/或其处理器)确定虚拟对象相对于用户参考帧在最终用户的视场中的出现的位置。当虚拟对象被新引进最终用户的视场时确定其出现的位置。相对于至少一个先前图像中的虚拟对象的方位，确定该虚拟对象在图像中新的方位中出现的位置。增强现实系统可以采用本文其它地方描述的多种技术中的任何技术来确定虚拟对象出现的位置。

在2306，增强现实系统评估已确定的虚拟对象的出现是否有足够的吸引力。例如，增强现实系统可以评估虚拟对象的相对视觉吸引力(例如，速度、颜色、尺寸、亮度、闪烁的光、透明度，特殊光学效应)。又例如，增强现实系统可以评估相对兴趣吸引力(例如，新颖程度、新旧程度、先前的注意、由最终用户进行的先前的身份识别、由最终用户先前进行的互动)。

在2308，增强现实系统评估已确定的位置是否需要最终用户相对于最终用户头部的当前位置转动其头部。增强现实系统可以采用最终用户头部的当前方位和/或朝向以及虚拟对象的相对方位和/或朝向。增强现实系统可确定距离，例如最终用户的当前焦点和虚拟对象的方位和/或朝向之间的角距离。增强现实系统可以确定已确定的距离是否在眼睛运动范围内，或者是否最终用户还必须转动他们的头部。如果最终用户必须转动他们的头部，系统可以评估最终用户必须转动头部多远。例如，增强现实系统可以采用指定最终用户的眼睛运动和头部运动之间的关系的信息。该信息可以指示最终用户在转动其头部之前，单独经由眼睛运动转移其注视能达到的程度。值得注意的是，眼睛运动和头部运动之间的关系可以被指定为多种不同的朝向，例如a)从上到下、b)从下到上、c)从左到右、d)从右到左、e)沿对角线地从左下到右上、f)沿对角线地右下到左上、g)沿对角线地从左上到右下、h)沿对角线地从右上到左下。

在2310，增强现实系统基于所述评估来预测头部运动的发生。增强现实系统可以使用一个或多个因素形成评估以预测头部运动是否会发生、头部运动的方向和/或朝向、和/或头部运动的速度或加速度。增强现实系统可以采用或者最终用户特定的或者是对一组最终用户更通用的历史数据。增强现实系统可以实现一个或多个机器学习算法以增加头部运动预测的准确性。

图24根据一个所示实施例示出了在增强现实系统中操作的方法2400。可以在执行图22的方法2200的操作2208时采用方法2400。

在2402，增强现实系统(例如，控制器子系统和/或其处理器)闪动或闪烁显示器或显示器的背光。该闪动或闪烁在已检测的头部运动或所预测的头部运动中的全部或一部分上发生。这可有利地有效减少帧或虚拟对象的呈现中不一致的感知。这也可有效地提高所感知的帧速率。

图25根据一个所示实施例示出了在增强现实系统中操作的方法2500。

在2502，增强现实系统(例如，控制器子系统和/或其处理器)检测和/或预测最终用户头部运动的发生。例如，增强现实系统可处理指示最终用户头部运动的至少一个朝向的头部追踪数据。附加地或备选地，增强现实系统可以确定虚拟对象相对于最终用户参考帧在最终用户的视场中出现的位置，评估已确定的位置是否需要最终用户转动最终用户的头部，并基于该评估预测头部运动的发生。增强现实系统可以采用本文其它地方描述的多种技术中的任何技术来检测和/或预测头部运动的发生。

在2504，增强现实系统确定已检测的和/或所预测的头部运动是否超过标称头部运动值。增强现实系统可以采用本文其它地方描述的多种技术中的任何技术来确定已检测的和/或所预测的头部运动是否超过标称头部运动值。

在2506，响应于确定已检测的和/或所预测的头部运动超过标称头部运动值，增强现实系统选择性地激活执行机构以在至少一个自由度移动投影机。移动投影机可包括沿着至少一个轴平移第一光纤。移动投影机可包括关于至少一个轴旋转第一光纤。

图26根据一个所示实施例示出了在增强现实系统中操作的方法2600。

增强现实系统可以过渲染帧，产生较给定显示技术的最大面积和最大分辨率所需的更大的帧。例如，在头戴或头部安装的增强现实系统中可由该设备的多种参数设定可用于显示或投影的面积。同样，尽管增强现实系统可能能够以多个不同的分辨率进行操作，该设备将设置上限或最大分辨率。过渲染帧包括用于超过以最大分辨率显示的最大区域的一组像素的像素信息。这可以有利地允许增强现实系统仅读出的帧的一部分(例如，如果没有被中断，帧的每一个场的一部分)。这可允许增强现实系统移动呈现给用户的图像。

在2602，增强现实系统(例如，控制器子系统和/或其处理器)过渲染用于已定义的视场的多个帧中的每一个帧。这需要生成被最大分辨率的最大面积所需要的更多的像素信息。例如，帧的面积可以通过最大面积的百分比增加，例如增加由帧定义的水平、垂直或者对角线方向中的像素信息。帧的尺寸越大，增强现实系统具有的移动呈现给用户的图像的边界自由度就越高。

在2604，增强现实系统在至少一个帧缓冲器依次缓冲过渲染的帧。增强现实系统可以采用大于用于最大分辨率最大显示尺寸所需的帧的尺寸的帧缓冲器。一些实现使用多个帧缓冲器。这可以如本文其它地方所述的有助于帧的呈现的中断。

在2606，增强现实系统确定各个图像的一部分来呈现。增强现实系统可基于多个不同的因素确定该部分。例如，所述因素可以指示图像或场景中最终用户正在注意、聚焦或已经以其他方式吸引了最终用户的注意的位置。再一次地，多种技术可以被采用，包括但不限于眼睛追踪。又例如，所述因素可以指示图像或场景中最终用户被预测正在注意、聚焦或将以其他方式吸引最终用户的注意的位置。再一次地，多种技术可以被采用，包括但不限于：识别新出现的虚拟对象、快速或迅速移动的虚拟对象、视觉上具有吸引力的虚拟对象、先前已经指定的虚拟对象(例如，由最终用户或由先前追踪的最终用户的交互来指定)和/或基于垂直对象的固有性质吸引注意的虚拟对象。基于垂直对象的固有性质吸引注意的虚拟对象可以例如包括对广义的最终用户或者特定的最终用户，在视觉上代表关注或担心的对象或项目的虚拟对象(例如，即将来临的威胁)。

在2608，增强现实系统选择性地从帧缓冲器中读出过渲染的帧的一部分。该部分至少部分地基于各自图像的已确定的部分来呈现。例如，被读出的部分可以具有被移动以被与所识别的位置接近，或者甚至匹配或者共对齐的中心。所识别的位置可以例如是先前图像或帧中已经吸引最终用户注意的位置。所识别的位置可以例如是增强现实系统已经预测将吸引最终用户注意的后续帧中的位置。

图27根据一个所示实施例示出了在增强现实系统中操作的方法2700。可以在执行图26的方法2600时采用方法2700。例如，方法2700可以被用来预测后续帧或图像中吸引最终用户注意的位置。

在2702，对于至少一些帧中的每一个帧，增强现实系统的(例如，控制器子系统和/或其处理器)确定虚拟对象相对于最终用户参考帧在最终用户的视场内出现的位置。

在2704，增强现实系统至少部分地基于确定视场中的虚拟对象出现的位置来选择性地读出帧缓冲器。例如，被读出的部分可以具有被移动以与被所识别的位置接近，或者甚至匹配或者共对齐的中心。备选地，被读出的部分的边界可以被移动以在两个或甚至三个维度涵盖已确定的位置紧挨着的周围区域。例如，增强现实系统可以选择将被读出帧缓冲器的整个过渲染帧的一部分(例如，80％)以用于呈现给最终用户。增强现实系统可以选择该部分，使得边界相对于最终用户注意的当前位置被移动，例如在当前被呈现给最终用户的图像中。增强现实系统可以基于当前位置和所预测的位置的组合选择边界，同时设定边界使得这两个位置将在后续呈现的图像中被呈现给最终用户。

图28根据一个所示实施例示出了在增强现实系统中操作的方法2800。可以在执行图26的方法2600时采用方法2800。例如，方法2800可以被用来确定图像中已经吸引或者被预测吸引最终用户的注意的位置。

在2802，增强现实系统(例如，控制器子系统和/或其处理器)确定当新的虚拟被新引入最终用户的视场时新的虚拟对象出现的位置。增强现实系统可以采用本文描述的多种技术中的任何技术来识别虚拟对象的引入，其相对于呈现给最终用户的直接先前帧或图像是新的。这样，即使虚拟对象先前已在呈现的一些其它部分被呈现给最终用户，如果已经呈现了足够数量的中间图像，虚拟对象可以被识别为新引入的以使虚拟对象的再引入吸引最终用户的注意。

在2804，增强现实系统确定虚拟对象相对于至少一个先前帧中的方位在帧的新方位中的出现的位置。增强现实系统可以采用本文描述的多种技术中的任何技术来识别虚拟对象到多个图像中新的或不同的方位的移动，所述移动是相对于呈现给最终用户的直接先前帧或图像的移动。这样，即使先前已在呈现的一些其它部分的一些位置向最终用户呈现了虚拟对象，如果足够数量的中介图像已经被呈现，该虚拟对象可以被识别为被移动或正在移动以使虚拟对象在先前位置的再出现吸引最终用户的注意。

在2806，增强现实系统确定在最终用户的视场中至少具有已定义的最小速度的虚拟对象的位置。增强现实系统可以采用本文描述的多种技术中的任何技术来确定虚拟对象从图像到图像的运动速度并将该速度与定义的或标称的速度相比较。该确定的速度可以相对于图像中的固定参考帧或相对于出现在图像中的其它虚拟对象和/或物理对象。

在2808，增强现实系统至少部分地基于图像中虚拟对象的位置来确定各个图像的一部分以呈现。增强现实系统可以采用本文中描述的多种技术中的任何技术来确定各个图像的所述部分来呈现。该确定可以基于任何不同的因素。所述因素可以例如包括指示最终用户正在注意、聚焦或已经以其他方式吸引了最终用户的注意的图像或场景中的位置的因素或数据。因素可以例如包括最终用户被预测注意、聚焦或将以其他方式吸引最终用户的注意的图像或场景中的位置的因素或数据。增强现实系统可以采用本文描述的多种技术中的任何技术来经由实际检测或经由预测识别已经吸引最终用户的注意的位置。

在2810，增强现实系统中读出帧缓冲器的一部分以用于至少一个后续帧。例如，被读出的部分将图像的中心至少向各个图像的已确定将被呈现的部分偏移。增强现实系统可以采用本文描述的多种技术中的任何技术来从帧缓冲器读出帧的一部分，该部分基于最终用户实际或预测的注意中心的位置移动图像的中心或边界。

图29根据一个所示实施例示出了在增强现实系统中操作的方法2900。可以在执行图26的方法2600时采用方法2800。特别地，方法2900可以被用来基于预测的最终用户的头部运动确定帧的哪部分将被读出。

在2902，增强现实系统(例如，控制器子系统和/或其处理器)预测最终用户的头部运动的发生。增强现实系统可以采用本文描述的多种技术中的任何技术来预测头部运动。这种技术包括但不限于检测新的虚拟对象、正在移动的虚拟对象、快速移动的虚拟对象、先前选择的虚拟对象和/或视觉吸引力的虚拟对象在图像中的出现。

在2904，增强现实系统确定各个帧或图像的一部分以至少部分地基于所预测的头部运动来呈现。增强现实系统可以采用本文描述的多种技术中的任何技术来确定将被使用的帧的部分。例如，增强现实系统可以选择所述部分，使得边界涵盖所预测的头部运动的预测结束点的位置。当头部运动预测是建立在虚拟对象的出现上时(例如，新引入的、移动的、有吸引力的外观、先前由最终用户选择的)，终点可以与该虚拟对象在后续帧或图像中的位置重合。

图30根据一个所示实施例示出了在增强现实系统中操作的方法3000。

增强现实系统可过渲染帧，产生较对给定的显示技术的最大面积和最大分辨率所需的更大的帧。例如，在头戴或头部安装的增强现实系统中可由该设备的多种参数设定可用于显示或投影的面积。同样，尽管增强现实系统可能能够以多个不同的分辨率进行操作，该设备将设置上限或最大分辨率。过渲染帧包括用于超过以最大分辨率显示的最大区域的一组像素的像素信息。这可以有利地允许增强现实系统仅读出的帧的一部分(例如，如果没有被中断，帧的每一个场的一部分)。这可允许增强现实系统移动呈现给用户的图像。

在3002，增强现实系统(例如，控制器子系统和/或其处理器)过渲染用于已定义的视场的多个帧中的每一个帧。这需要生成最大分辨率的最大面积需要的更多的像素信息。例如，帧的面积可以通过最大面积的百分比增加，例如增加由帧定义的水平、垂直或者对角线方向中的像素信息。帧的尺寸越大，增强现实系统具有的移动呈现给用户的图像的边界自由度就越高。

在3004，增强现实系统确定各个图像的一部分以呈现。增强现实系统可基于多种不同的因素来确定所述部分。例如，所述因素可以指示图像或场景中最终用户正在注意、聚焦或已经以其他方式吸引了最终用户的注意的位置。再一次的，多种技术可以被采用，包括但不限于眼睛追踪。又例如，所述因素可以指示图像或场景中最终用户被预测正在注意、聚焦或将以其他方式吸引最终用户的注意的位置。再一次地，多种技术可以被采用，包括但不限于：识别新出现的虚拟对象、快速或迅速移动的虚拟对象、视觉上具有吸引力的虚拟对象、先前已经指定的虚拟对象(例如，由最终用户或由先前追踪的最终用户的交互来指定)和/或基于垂直对象的固有性质吸引注意的虚拟对象。基于垂直对象的固有性质吸引注意的虚拟对象可以例如包括对广义的最终用户或者特定的最终用户，在视觉上代表关注或担心的对象或项目的虚拟对象(例如，即将来临的威胁)。

在3006，增强现实系统动态地将过渲染帧的一个或多个已确定的部分发(address)进缓冲器。所述已确定的部分可以例如具有被移动以与最终用户吸引、感兴趣或聚焦的所识别的位置接近或者甚至匹配或共对齐的中心。所识别的位置可以例如是已经吸引最终用户关注的先前图像或帧中的位置。所识别的位置可以例如是增强现实系统已预测将吸引最终用户注意的后续帧中的位置。一些实现采用多个帧缓冲器。如本文其他地方所述，这可有助于帧的呈现的中断。

在3008，增强现实系统从帧缓冲器读出过渲染帧的已确定的部分。

本文描述了本发明的多种示例性实施例。这些实施例以非限制性的意义被引用。它们被提供以更广泛地示出本发明可应用的方面。多种改变可做出以替代本发明的描述和等同物而不背离本发明的真实精神和范围。此外，许多修改可以被作出以适应特定的情况、材料、组合物、过程、处理或步骤来达到本发明的目标、精神或范围。进一步地，如将被本领域的技术人员所理解的，本文描述和示出的每个个体差异具有分立组件和特征，其可容易地从任何其它几个实施例分离出或与任何其它几个实施例结合而不背离本发明的范围或精神。所有这样的修改旨在落入与本公开相关联的权利要求书的范围内。

本发明包括可使用主题装置来执行的方法。该方法可包括提供这种适当设备的行为。这样的提供可由最终用户执行。换言之，“提供”行为仅仅需要最终用户获得、接触、处理、放置、设置、激活、上电或其他动作以在本主题方法中提供必要的设备。本文所列举的方法可以以所列举的事件的逻辑上可能的任何顺序和以事件的列举的顺序来实施。

以上陈述了本发明的示例性方面以及考虑了材料选择和制造的细节。至于本发明的其它细节，他们可以与上述引用的专利和出版物以及本领域技术人员已广泛的理解或认识结合而得以认知。根据通常地或逻辑地被采用的附加行为，同样的道理也适用于本发明基于方法的方面。

此外，尽管已经参照可选地结合多个特征的若干例子描述了本发明，相对于本发明的每个变体，本发明并不受限于这些被描述或指示的情形。多种改变可做出以替代本发明的描述和等同物(不论其在本文中被列举还是为了简洁起见本文没有包括)而不背离本发明的真实精神和范围。此外，当提供数值范围时，应理解，该范围的上限和下限之间的每一个中间以及和任何其它声称的或在该声明范围的中间值均涵盖在本发明之中。

此外，可以预期，，所述本发明的变体的任何可选特征可被独立地阐述和要求，或与本文所述的任何一个或多个特征组合来阐述和要求。对单数项的引用包括多个相同项目存在的可能性。更具体地，如本文和所附相关权利要求中所使用的，除非相反的特别声明，否则单数形式“一”、“一个”、“所述”和“该”包括多个指示对象。换句话说，在上述说明书以及与本公开相关的权利要求中该冠词的使用考虑到了“至少一个”所述主题项目。进一步指出，这样的权利要求可能被撰写以排除任何可选的组件。就这一点而言，该声明旨在作为前置基础以用于结合权利要求要素的叙述来使用这类排除性术语，如“仅”，“只”等，或使用“否定”限制。

如果不使用这种排他性术语，与本公开内容相关的权利要求中的术语“包括”应当允许包括任何额外的组件——不论给定数目的组件是否被列举在这样的权利要求中，或者增加的特征可被视为转化这种权利要求中阐述的组件的性质。除非本文具体地进行了定义，本文使用的所有技术和科学术语将被给予尽可能宽泛的通常理解含义，同时保持权利要求的有效性。

本发明的广度并不受限于所提供的实施例和/或主题说明书，而是仅受限于与本公开内容关联的权利要求语言的范围。

Claims (26)

1.一种在虚拟图像呈现系统中操作的方法，所述方法包括：

在虚拟或增强图像呈现系统的一个或多个传感器处检测指示呈现给最终用户的帧序列中的帧的第一部分中第一组像素中的第一相邻像素之间的第一间隔所对应的第一分辨率将不同于呈现给所述最终用户的帧的第二部分中第二组像素中的第二相邻像素之间的不同间隔所对应的第二分辨率的指示；

部分地或全部地基于与所述指示有关的方向特征，选择要为其修改所述第一间隔的帧的所述第一组像素；

至少通过在虚拟图像呈现系统的一个或多个调制子系统处将驱动第一组像素的驱动信号修改为用于在帧序列中的所述帧之后的后续帧的已修改的驱动信号，至少部分地基于所述指示调整所述第一部分中的第一组像素表示的分辨率，以生成由所述第一部分中已调整的第一组像素表示的第一分辨率；以及

至少通过开始帧的呈现、在完成所述呈现之前中断所述呈现、以及用已调整的第一组像素替代由所述第一组像素表示的所述第一部分，以至少以所述第一分辨率呈现所述帧的第一部分，并以所述第二分辨率呈现所述帧的第二部分，在包括所述第一部分和所述第二部分的所述后续帧中呈现一个或多个虚拟对象给最终用户。

2.如权利要求1所述的方法，还包括：

在所述虚拟或增强图像呈现系统的一个或多个调制子系统处，部分地或全部地基于所述指示，将用于第一组像素的驱动信号的电特征修改为已修改的驱动信号。

3.如权利要求1所述的方法，还包括：

调整一组像素特征，包括所感知的尺寸或所感知的亮度之中的至少一个；

调整最终用户可感知的一个或多个像素特征；以及

监测超过标称头部运动值的头部运动。

4.如权利要求1所述的方法，进一步包括：

基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第一组像素的方向与已检测的头部运动的方向相同；以及

增加至少一个后续帧的第一组像素的尺寸。

5.如权利要求1所述的方法，进一步包括调整第一组像素的可变聚焦组件。

6.如权利要求1所述的方法，进一步包括调整第一组像素的可变尺寸源。

7.如权利要求1所述的方法，进一步包括调整第一组像素的抖动。

8.如权利要求1所述的方法，进一步包括：

部分地或全部地基于一个或多个传感器检测的最终用户的头部运动的方向选择所述帧的所述第一组像素，其中所述第一组像素的方向与所述头部运动的方向相同；以及

响应于所述头部运动增加所述至少一个后续帧的第一组像素的亮度。

9.如权利要求1所述的方法，进一步包括：

部分地或全部地基于一个或多个传感器检测的最终用户的头部运动的方向选择所述第一组像素，其中所述第一组像素的第一方向与所述头部运动的方向相反；以及

响应于所述头部运动，减少所述至少一个后续帧的第一组像素的尺寸。

10.如权利要求1所述的方法，进一步包括：

部分地或全部地基于一个或多个传感器检测的最终用户的头部运动的方向选择所述第一组像素，其中所述第一组像素的第一方向与所述头部运动的方向相反；以及

响应于所述头部运动，减少所述至少一个后续帧的第一组像素的亮度。

11.如权利要求1所述的方法，其中所述指示部分地或全部地基于检测所述最终用户的头部运动属性已经超过头部运动属性的标称值。

12.如权利要求11所述的方法，其中所述头部运动属性包括所述头部运动的速度或所述头部运动的加速度之中的至少一个，且所述指示部分地或全部地基于通过惯性传感器接收到的信号。

13.如权利要求1所述的方法，其中所述指示部分地或全部地基于通过成像器接收到的信号。

14.如权利要求1所述的方法，其中所述至少一个后续帧的提供是部分地或全部地基于光栅扫描型帧、螺旋扫描型帧或利萨茹扫描型帧之中的至少一个。

15.一种用于呈现虚拟内容的虚拟或增强图像呈现系统，包括：

一个或多个传感器，其被配置为检测指示呈现给最终用户的帧序列中的帧的第一部分中第一组像素中的第一相邻像素之间的第一间隔所对应的第一分辨率将不同于呈现给最终用户的帧的第二部分中第二组像素中的第二相邻像素之间的不同间隔所对应的第二分辨率的指示；

所述虚拟或增强图像呈现系统被配置为，部分地或全部地基于与所述指示有关的方向特征，选择帧的所述第一组像素；

虚拟或增强图像呈现系统中的一个或多个调制子系统，其包括投影子系统和至少一个处理器并且操作地耦合到所述一个或多个传感器，且被配置为至少通过将驱动第一组像素的驱动信号修改为用于在帧序列中的所述帧之后的后续帧的已修改的驱动信号，至少部分地基于所述指示调整由所述第一部分中的第一组像素表示的分辨率，以生成由所述第一部分中已调整的第一组像素表示的第一分辨率；以及

一个或多个投影机，其操作地耦合到所述一个或多个调制子系统，且被配置为至少通过开始帧的呈现、在完成所述呈现之前中断所述呈现、以及用已调整的第一组像素替代用所述第一组像素表示的所述第一部分，以至少以第一分辨率呈现所述帧的第一部分并以第二分辨率呈现所述帧的第二部分，来在包括所述第一部分和所述第二部分的所述后续帧中呈现一个或多个虚拟对象给最终用户。

16.如权利要求15所述的虚拟或增强图像呈现系统，其中所述一个或多个调制子系统进一步被配置为调整最终用户可感知的一个或多个像素特征。

17.如权利要求15所述的虚拟或增强图像呈现系统，其中所述一个或多个调制子系统进一步被配置为部分地或全部地基于所述指示，将用于第一组像素的驱动信号的一个或多个电特征修改为已修改的驱动信号。

18.如权利要求17所述的虚拟或增强图像呈现系统，其中所述一个或多个电特征包括所述驱动信号的电压或电流。

19.如权利要求17所述的虚拟或增强图像呈现系统，其中所述一个或多个电特征包括所述驱动信号的振幅或斜率。

20.如权利要求15所述的虚拟或增强图像呈现系统，进一步包括被配置为检测最终用户的头部运动的一个或多个传感器，且所述一个或多个调制子系统进一步被配置为调整一组像素特征，所述一组像素特征包括所感知的尺寸或所感知的亮度之中的至少一个。

21.如权利要求15所述的虚拟或增强图像呈现系统，其中所述虚拟或增强图像呈现系统进一步被配置为：基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第一组像素的方向与已检测的头部运动的方向相同；以及增加至少一个后续帧的第一组像素的尺寸。

22.如权利要求15所述的虚拟或增强图像呈现系统，其中所述虚拟或增强图像呈现系统进一步被配置为调整第一组像素的可变聚焦组件。

23.如权利要求15所述的虚拟或增强图像呈现系统，其中所述虚拟或增强图像呈现系统进一步被配置为调整第一组像素的可变尺寸源。

24.如权利要求15所述的虚拟或增强图像呈现系统，其中所述虚拟或增强图像呈现系统进一步被配置为调整第一组像素的抖动。

25.如权利要求15所述的虚拟或增强图像呈现系统，进一步包括操作地耦合到微处理器的一个或多个传感器，所述微处理器被配置为：部分地或全部地基于所述操作地耦合到微处理器的一个或多个传感器检测的头部运动的方向选择所述帧的所述第一组像素，其中所述第一组像素的方向与已检测的头部运动的方向相同；以及响应于所述已检测的头部运动增加所述至少一个后续帧的第一组像素的亮度。

26.如权利要求15所述的虚拟或增强图像呈现系统，进一步包括操作地耦合到微处理器的一个或多个传感器，所述微处理器被配置为：部分地或全部地基于所述操作地耦合到微处理器的一个或多个传感器检测的头部运动的方向选择所述第一组像素，其中所述第一组像素的方向与已检测的头部运动的方向相反；以及响应于所述操作地耦合到微处理器的一个或多个传感器检测的头部运动，减少所述至少一个后续帧的第一组像素的尺寸。