CN102928979A

CN102928979A - 调整混合现实显示器以供瞳孔间距对准

Info

Publication number: CN102928979A
Application number: CN201210312701XA
Authority: CN
Inventors: J·R·刘易斯; K·S·佩雷兹; R·L·克劳扣; A·A-A·基普曼
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2011-08-30
Filing date: 2012-08-29
Publication date: 2013-02-13
Anticipated expiration: 2032-08-29
Also published as: WO2013033170A2; WO2013033170A3; CN102928979B; US9025252B2; US20130050833A1; HK1180041A1

Abstract

本发明涉及调整混合现实显示器以供瞳孔间距对准。本技术允许由显示调整机构的不同示例来调整透视、近眼、混合现实显示设备以便与用户的瞳孔间距（IPD）对准。该透视、近眼、混合现实系统包括用于每只眼睛的具有光轴的显示光学系统。每个显示光学系统被定位成由相应的眼睛透视，并在相应的活动支撑结构上得到支撑。附连于显示设备的显示调整机构还与每个活动支撑结构连接，以便移动该结构。自动地作出该显示设备是否与用户的IPD对准的判定。若未对准，则自动地确定用于显示光学系统中至少一个的位置的一个或多个调整值。该显示调整机构根据调整值来移动至少一个显示光学系统。

Description

调整混合现实显示器以供瞳孔间距对准

技术领域

本发明涉及混合现实显示器。

背景技术

头戴式显示器和双目镜是其中存在用于供用户双眼各自查看场景的光学系统的双眼查看系统的示例。两眼的瞳孔之间存在瞳孔间距，其估值显示成年人的距离在约25到30毫米之间变化。在头戴式混合现实显示器的情形中，如果每个光学系统的光轴未与相应的眼睛对准，则用户可能难以正确地融合三维（3D）内容、或可受到像用户的自然视觉系统的肌肉那样的眼睛疲劳或头痛的困扰。对于像双目镜和双目望远镜那样的双目查看设备，用户通过反复试验手动地调整目镜中每个光学系统的位置来获得清晰的双眼视图，这可能需要几分钟。

发明内容

本技术提供了用于调整透视、近眼、混合现实显示器以便与用户的瞳孔间距（IPD）对准的各种实施例。透视、近眼混合现实显示设备包括用于每只眼睛的被定位以由每只眼睛透视的显示光学系统，且该显示光学系统具有光轴（通常在该光学系统的中心）。每个显示光学系统是活动的。每个显示光学系统的至少一个传感器捕捉每只眼睛的数据，并且一个或多个处理器确定显示设备是否与用户IPD对准。如果否，则确定将由显示调整机构应用的一个或多个调整值，以供移动显示光学系统的位置。描述了显示调整机构的各种示例。

本技术提供用于调整透视、近眼、混合现实显示器以与用户的瞳孔间距（IPD）对准的系统的实施例。该系统包括透视、近眼、混合现实显示设备，该设备包括用于每只眼睛的具有光轴的显示光学系统，该显示光学系统被定位以由相应的眼睛透视。显示设备包括用于支撑每个显示光学系统的相应的活动支撑结构。每个显示光学系统的至少一个传感器被附连到显示设备。该至少一个传感器在用于捕捉相应眼睛的数据的位置具有检测区域。该系统的一个或多个处理器可访问存储所捕捉到的数据和软件的存储器。该一个或多个处理器基于所捕捉到的数据以及相应检测区域的位置，来确定每个显示光学系统的一个或多个位置调整值以供与IPD对准。至少一个显示调整机构被附连到显示设备并通信地耦合到该一个或多个处理器，以移动至少一个活动的支撑结构来根据一个或多个位置调整值调整相应的显示光学系统的位置。

本技术还提供用于将透视、近眼、混合现实显示设备与用户的IPD自动对准的方法的实施例。该方法可在透视、近眼、混合现实系统内操作，该系统包括用于每只眼睛的具有光轴的显示光学系统，该显示光学系统被定位以由相应的眼睛透视。该方法包括根据对准准则自动地确定该透视、近眼、混合现实显示设备是否与用户IPD对准。响应于根据对准准则该显示设备未与用户IPD对准，确定至少一个显示光学系统的一个或多个调整值以便满足对准准则，并且基于该一个或多个调整值来调整至少一个显示光学系统。

本技术提供在三个维度中的任一个上调整透视、近眼、混合现实显示系统以便与用户的IPD对准的系统的另一个实施例。在该实施例中，该系统包括透视、近眼、混合现实显示设备，该设备包括用于每只眼睛的具有光轴的显示光学系统，该显示光学系统被定位以由相应的眼睛透视。显示设备包括用于支撑每个显示光学系统的相应的活动支撑结构。相应的活动支撑结构能够在三个维度上移动。附连于显示设备的每个显示光学系统的至少一个传感器在用于捕捉相应眼睛的数据的位置具有检测区域。一个或多个处理器可访问用于存储软件和数据的存储器，该数据包括每只眼睛的所捕捉到的数据。

该系统的一个或多个处理器基于所捕捉到的数据以及相应检测区域的位置来确定每个显示光学系统在三个维度中的任一个上的一个或多个位置调整值，以供与IPD对准。该系统还包括至少一个显示调整机构，该显示调整机构被附连到显示设备并通信地耦合到一个或多个处理器，以根据一个或多个位置调整值在一个或多个处理器的控制下在三个维度中的任一个上移动至少一个相应的活动的支撑结构。

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1A是描绘一系统环境中的具有可调整IPD的透视、混合现实显示设备的一个实施例的示例组件的框图，其中该设备可以在该系统环境中操作。

图1B是描绘具有可调整IPD的透视、混合现实显示设备的另一实施例的示例组件的框图。

图2A是示出延伸到一定距离处的注视点并朝对准远IPD的方向延伸的注视向量的示例的俯视图。

图2B是示出延伸到一定距离处的注视点并朝对准近IPD的方向延伸的注视向量的示例的俯视图。

图3A是用于将透视、近眼、混合现实显示器与IPD对准的方法实施例的流程图。

图3B是用于调整显示设备以使其与用户IPD对准的方法的实现示例的流程图。

图3C是示出至少一个显示调整机构的机械或自动调整的不同示例选项的流程图。

图4A示出被实现为具有包括注视检测元件的活动的显示光学系统的眼镜的透视、近眼、混合现实显示设备的示例性安排。

图4B示出被实现为具有包括注视检测元件的活动的显示光学系统的眼镜的透视、近眼、混合现实显示设备的另一示例性安排。

图4C示出被实现为具有包括注视检测元件的活动的显示光学系统的眼镜的透视、近眼、混合现实显示设备的又一示例性安排。

图4D、4E和4F示出使用滑动机构的机械显示调整机构的一个示例的不同视图，其中用户可启动该滑动机构以移动显示光学系统。

图4G示出使用转轮机构的机械显示调整机构的一个示例，其中用户可启动该转轮机构以移动显示光学系统。

图4H和4I示出使用棘轮机构的机械显示调整机构的一个示例的不同视图，用户可启动该棘轮机构以移动显示光学系统。

图4J示出诸如可用于图4H和4I的机构的棘轮的侧视图。

图5A是混合现实显示设备的眼镜实施例中的提供对硬件和软件组件的支持的眼镜腿的侧视图。

图5B是混合现实显示设备的实施例中的提供对硬件和软件组件的支持和微显示器部件的三维调整的眼镜腿的侧视图。

图6A是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的实施例的俯视图。

图6B是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的另一实施例的俯视图。

图6C是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第三实施例的俯视图。

图6D是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第四实施例的俯视图。

图7A是可以用于一个或多个实施例的透视、近眼、混合现实显示单元的硬件和软件组件的一个实施例的框图。

图7B是与透视、近眼、混合现实显示单元相关联的处理单元的硬件和软件组件的一个实施例的框图。

图8A是用于确定对象在透视、近眼、混合现实显示设备的用户视野内的位置的系统实施例的框图。

图8B是用于确定透视、近眼、混合现实显示设备的三维用户视野的方法实施例的流程图。

图9A是用于将透视、近眼、混合现实显示器与IPD对准的方法实施例的流程图。

图9B是用于基于瞳孔的图像格式的图像数据来将透视、近眼、混合现实显示器与IPD对准的方法实施例的流程图。

图9C是用于基于不满足对准准则的每一显示光学系统的至少一个传感器的映射准则来确定显示调整机构的至少一个调整值的方法实施例的流程图。

图9D是用于基于注视数据来将透视、近眼、混合现实显示器与IPD对准的方法实施例的流程图。

图9E是图9D的方法实施例的另一版本的流程图。

图9F是基于相对于虚拟对象的图像的注视数据来将透视、近眼、混合现实显示器与IPD对准的方法实施例的流程图。

图10A是用于将透视、近眼、混合现实显示设备与瞳孔间距（IPD）重新对准的方法实施例的流程图。

图10B是示出用于从近IPD或远IPD中选择IPD的方法实施例的流程图。

图11是示出用于确定是否检测到指示与所选IPD的对准不再满足对准准则的变化的方法实施例的流程图。

图12是用于确定透视、近眼、混合现实显示系统中的注视的方法实施例的流程图。

图13是用于标识图像数据中的闪光的方法实施例的流程图。

图14是可被用于确定注视检测坐标系的边界的方法实施例的流程图。

图15是示出用于使用透视、近眼、混合现实显示器的光学注视检测元件来确定角膜中心在坐标系中的位置的方法实施例的流程图。

图16提供使用光学元件的安排所提供的几何形状来定义平面以形成可由图15的实施例用来寻找角膜中心的注视检测坐标系的说明性示例。

图17是示出用于从传感器生成的图像数据来确定瞳孔中心的方法实施例的流程图。

图18是示出用于基于所确定的瞳孔中心、角膜中心、以及眼球的旋转中心来确定注视向量的方法实施例的流程图。

图19是示出用于基于闪光数据来确定注视的方法实施例的流程图。

图20是可以在本发明技术的各实施例中操作的示例性移动设备的框图。

图21是描绘可用于实现中枢计算系统的计算系统的一个实施例的框图。

具体实施方式

瞳孔间距（IPD）通常指的是用户的瞳孔之间的水平距离。IPD也可包括垂直或高度维度。此外，许多人具有相对于他们的鼻子不对称的IPD。例如，左眼比右眼更靠近鼻子。

透视、近眼混合现实显示器包括用于每一只眼的具有光轴的显示光学系统，该显示光学系统被定位以由相应的眼睛透视。在每一显示光学系统的光轴与相应瞳孔对准时，该显示设备与用户的IPD（不对称或对称）对准。如果每一瞳孔没有在一准则内与光轴对准，则相应显示光学系统经由显示调整机构被调整，直至对准满足一准则为止。准则的示例是距离，例如1毫米。在瞳孔令人满意地与光轴对准时，显示光学系统的光轴之间的距离表示至少在一准则内的瞳孔间距（IPD）。

在下面描述的实施例中，每一显示光学系统被定位在活动的支撑结构内，该显示光学系统在位置上可由显示调整机构来调整。在很多示例中，该调整在处理器的控制下自动地执行。例如，在一个以上方向上的调整可由一组马达来执行，该组马达可垂直地、水平地或在深度方向上移动显示光学系统。在其他实施例中，显示调整机构是用户启动以根据所显示的指令或音频指令来定位显示光学系统的机械显示调整机构。在下面示出的某些示例中，对机械显示调整机构的控制被校准，因此每次启动对应于显示光学系统要在特定的方向上移动的距离单位，并且指令是按照启动次数来提供的。

图1A是描绘一系统环境中的具有可调整IPD的透视、混合现实显示设备的一个实施例的示例组件的框图，其中该设备可以在该系统环境中操作。系统10包括作为通过线6与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。在一些实施例中，处理单元4是可以佩戴在用户的身体上（例如，在所示示例中被佩戴在手腕上）或置于口袋中的分开的单元，并且包括用于操作近眼显示设备2的计算能力中的大部分能力。处理单元4可以与一个或多个中枢计算系统12无线地（例如，WiFi、蓝牙、红外、或其他无线通信手段）通信。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。

头戴式显示设备2（在一个实施例中它是带框115眼镜的形状）被佩戴在用户的头上，使得用户可以透视显示器（在该示例中该显示器被体现为每一只眼睛的显示光学系统14），并且从而具有该用户前方的空间的实际直接视图。

使用术语“实际直接视图”来指直接用人眼看到真实世界物体的能力，而非看到所创建的物体的图像表示。例如，在房间中透过眼镜进行查看将允许用户具有该房间的实际直接视图，而在电视上查看房间的视频不是房间的实际直接视图。基于执行软件（例如，游戏应用）的上下文，该系统可以将虚拟对象的图像（有时称为虚拟图像）投影在可由佩戴该透视显示设备的人观看的显示器上，同时该人还透过该显示器观看真实世界物体。

镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管道。在该实施例中，镜架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支撑体。在其他实施例中，可以使用其他支撑结构。这样的结构的示例是帽舌或护目镜。镜架115包括用于搁在用户的每一只耳朵上的镜腿或侧臂。镜腿102表示右镜腿的实施例，并且包括显示设备2的控制电路136。镜架的鼻梁104包括用于记录声音并向处理单元4传送音频数据的话筒110。

中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例性实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可以用于执行诸如游戏应用、非游戏应用等等之类的应用。应用可以在中枢计算系统12、显示设备2上执行、如下所述地在移动设备5上执行、或在这些设备的组合上执行。

中枢计算系统12还包括一个或多个捕捉设备，如捕捉设备20A和20B。在其他实施例中，可使用多于或少于两个捕捉设备来捕捉房间或用户的其他物理环境。

捕捉设备20A和20B可以是例如相机，该相机在视觉上监视一个或多个用户和周围空间，从而可以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或移动以及周围空间的结构，以在应用中执行一个或多个控制或动作和/或使化身或屏上角色动画化。

中枢计算环境12可以连接到诸如电视机、监视器、高清电视机（HDTV）等可提供游戏或应用视觉的视听设备16。在一些情况下，视听设备16可以是三维显示设备。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16、单独的立体声系统或中枢计算设备12连接到外部扬声器22。

图1B是描绘具有可调整IPD的透视、混合现实显示设备的另一实施例的示例组件的框图。在该实施例中，近眼显示设备2与作为处理单元4的示例实施例的移动计算设备5进行通信。在所示示例中，移动设备5经由线6进行通信，但在其他示例中通信也可以是无线的。

此外，如在中枢计算系统12中一样，游戏和非游戏应用可以在移动设备5的处理器上执行，其中用户动作控制或用户动作动画化被显示在设备5的显示器7上的化身。移动设备5还提供用于通过因特网或经由另一通信网络通过有线或无线通信介质使用有线或无线通信协议来与像中枢计算系统12等的其他计算设备进行通信的网络接口。像中枢计算系统12等远程网络可访问的计算系统可被像移动设备5等用作处理单元4的处理能力和远程数据访问。移动设备5的硬件和软件组件（例如可被包括在智能电话或平板计算设备中）的示例在图20中描述，并且这些组件可以包括处理单元4的硬件和软件组件，如在图7A的实施例中讨论的那些组件。移动设备5的一些其他示例是膝上型计算机或笔记本计算机以及上网本计算机。

在一些实施例中，对用户的眼睛中的每一个的注视检测是基于像眼镜2等近眼、混合现实显示设备上的注视检测元件的三维坐标系与诸如角膜中心、眼球旋转中心、以及瞳孔中心等一个或多个人眼元素之间的关系的。可作为该坐标系的一部分的注视检测元件的示例包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的至少一个传感器。如下文所述（参见图16的讨论），角膜中心可以基于两个闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于确定用户的眼睛的光轴在特定注视或查看角度的固定位置。

图2A是示出延伸到一定距离处的注视点并朝对准远IPD的方向延伸的注视向量的示例的俯视图。图2A示出在注视点处相交的注视向量的示例，其中用户的眼睛有效地集中在无限远处（例如五（5）英尺以外），或换言之，示出了在用户看向正前方时的注视向量的示例。基于Gullstrand示意性眼睛模型示出了每只眼睛的眼球的模型160l、160r。对于每只眼睛，眼球160被建模成具有旋转中心166的球形，并且包括也被建模成球形且具有中心164的角膜168。角膜相对于眼球来旋转，并且眼球的旋转中心166可被当作固定点。角膜覆盖虹膜170，瞳孔162处于虹膜170的中心。在该示例中，在相应角膜的表面172上是闪光174和176。

在图2A所示的实施例中，传感器检测区域139与眼镜架115内的每一显示光学系统14的光轴相对准。在该示例中，与该检测区域相关联的传感器是能够捕捉表示分别由镜架115左侧的照明器153a和153b生成的闪光174l和176l的图像数据和表示分别由照明器153c和153d生成的闪光174r和176r的数据的相机。透过显示光学系统（眼镜架115中的14l和14r），用户的视野包括真实物体190、192和194以及虚拟对象182、184和186。

从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178是眼睛的光轴。注视向量180有时被称为从小凹穿过瞳孔中心162延伸的视线或视轴。小凹是位于视网膜中的大约1.2度的小型区域。在图14的实施例中计算得到的光轴与视轴之间的角度偏移具有水平和垂直分量。水平分量距光轴上达5度，并且垂直分量在2和3度之间。在许多实施例中，光轴被确定，并且通过用户校准获得被选作注视向量的视轴来确定小型校正。对于每一用户，虚拟对象可由显示设备在不同的水平和垂直位置处的多个预先确定的位置中的每一位置处来显示。当将对象显示在每一位置处时，可以计算每一眼睛的光轴，并且光线被建模成从该位置延伸到用户眼睛。具有水平和垂直分量的注视偏移角度可以基于必须如何移动光轴以与所建模的光线相对准来确定。从不同的位置处，具有水平和垂直分量的平均注视偏移角度可被选作要被应用于每一计算得到的光轴的小型校正。在一些实施例中，只有水平分量被用于注视偏移角度校正。

视轴180l和180r示出注视向量并非完全平行，因为随着这些向量从眼球延伸到视野中的如符号181l和181r所指示的有效无限远处的注视点处，它们相互变得更近。在每一显示光学系统14处，注视向量180看起来与光轴相交，传感器检测区域139以这一交点为中心。在这一配置中，光轴与瞳孔间距（IPD）对准。在用户看向正前方时，测得的IPD也被称为远IPD。

在标识供用户聚焦以在一定距离处对准IPD的物体时，该物体可在沿每一显示光学系统的每一光轴的方向上被对准。一开始，光轴与用户的瞳孔之间的对准是未知的。对于远IPD，该方向可以是正前方穿过光轴。在对准近IPD时，所标识的物体可以在穿过光轴的方向上，然而由于眼睛对于近距离所必需的转动，该方向不是正前方，但它的中心处于各显示光学系统的各光轴之间。

图2B是示出延伸到一定距离处的注视点并朝对准近IPD的方向延伸的注视向量的示例的俯视图。在该示例中，左眼的角膜168l旋转到右侧或朝用户的鼻子旋转，并且右眼的角膜168r旋转到左侧或朝用户的鼻子旋转。两个瞳孔都在注视更近距离（例如，距用户前方两（2）英尺）处的真实物体194。始自每只眼睛的注视向量180l和180r进入真实物体194所处的Panum汇合区域195。Panum汇合区域是像人类视觉那样的双眼查看系统中的单视觉的区域。注视向量180l和180r的相交指示用户正在看真实物体194。在这样的距离处，随着眼球向内旋转，它们的瞳孔之间的距离减少到近IPD。近IPD通常比远IPD小大约4mm。近IPD距离准则，例如注视点处于小于四英尺处，可被用来将显示光学系统14的IPD对准切换或调整成近IPD的对准。对于近IPD，每一显示光学系统14可以朝用户的鼻子移动，使得光轴以及检测区域139朝鼻子移动几毫米，如检测区域139ln和139rn所表示的。

用户通常不知道他们的IPD数据。下文的讨论示出了用于确定用户的IPD并相应地调整显示光学系统的方法和系统的一些实施例。

图3A是用于将透视、近眼、混合现实显示器与IPD对准的方法实施例300的流程图。在步骤301，控制电路136的一个或多个处理器（例如下文图7A中的处理器210，处理单元4、5，中枢计算系统12，或这些的组合）根据对准准则来自动地确定透视、近眼、混合现实显示设备是否与用户的IPD对准。如果否，则在步骤302，该一个或多个处理器通过至少一个显示调整机构来引起对显示设备的调整，以使该设备与用户IPD对准。如果确定透视、近眼、混合现实显示设备与用户IPD对准，则可任选地在步骤303，存储该用户的IPD数据集。在一些实施例中，显示设备2可以在每次任何人戴上显示设备2时自动确定是否存在IPD对准。然而，因为由于人类头骨的限制，IPD数据对成人而言通常是固定的，所以每一用户的IPD数据集通常可被确定一次并被存储。所存储的IPD数据集至少可被用作用来开始IPD对准检查的显示设备的初始设置。

显示设备2具有用于每一眼睛的显示光学系统，并且在一些实施例中，一个或多个处理器将IPD作为在满足对准准则的位置处各显示光学系统的光轴之间的距离来存储。在一些实施例中，一个或多个处理器将每一光轴的位置存储在IPD数据集中。用户的IPD可以例如相对于用户的鼻子是不对称的。例如，左眼比右眼更靠近鼻子。在一个示例中，始自初始位置的用于每一显示光学系统的显示调整机构的调整值可被保存在IPD数据集中。显示调整机构的初始位置可以具有相对于不动的镜架部分的固定位置，例如鼻梁104上的点。基于相对于不动的镜架部分的这一固定位置以及用于一个或多个移动方向的调整值，每一光轴相对于该不动的镜架部分的位置可以作为每一显示光学系统的瞳孔对准位置来存储。另外，在不动的镜架部分是鼻梁上的点的情况下，可以基于该固定位置到鼻梁上的该点以及调整值来对每一只眼睛估计相应瞳孔到用户的鼻子的位置向量。每一眼睛的这两个位置向量至少提供水平距离分量，并且也可包括垂直距离分量。一个或多个方向上的瞳孔间距IPD可以从这些距离分量中导出。

图3B是用于调整显示设备以使其与用户IPD对准的方法的实现示例的流程图。在该方法中，至少一个显示调整机构调整未对准的至少一个显示光学系统14的位置。在步骤407，为至少一个显示调整机构自动地确定一个或多个调整，以便满足至少一个显示光学系统的对准准则。在步骤408，基于一个或多个调整值来调整至少一个显示光学系统。该调整可在处理器的控制下自动地执行、或如下面进一步讨论的机械地执行。

图3C是示出可用于实现步骤408的至少一个显示调整机制所执行的机械或自动调整的不同示例选项的流程图。取决于对显示设备2中显示调整机构的配置，根据步骤407中已经确定的一个或多个调整值，显示调整机构可以在步骤334中根据该一个或多个调整值来自动地（意味着在处理器的控制下）调整至少一个显示调整机构。或者，根据步骤333，与该系统相关联的一个或多个处理器（例如，处理单元4、5中的处理器，控制电路136中的处理器210，或甚至是中枢计算系统12的处理器）可电子地提供指令，以使用户向至少一个显示调整机构应用该一个或多个调整值。可存在自动调整和根据指令的机械调整的组合的情况。

电子地提供的指令的一些示例是由微显示器120、移动设备5显示的指令或由中枢计算系统12在显示器16上显示的指令、或通过显示设备2的扬声器130的音频指令。取决于用户偏好或用于允许用户一些附加控制，可存在具有自动调整和机械机构的设备配置。

在许多实施例中，显示调整机构包括机械控制器和处理器，该机械控制器具有供用户激活控制器以对应于至少一个显示光学系统移动的预定距离和方向的校准，并且该处理器基于该校准来确定指令的内容。在下面用于图4D至4J的示例中，提供了机械显示调整机构的示例，该示例将转轮或按钮按下的机械动作或用户激活的动作与特定的距离相关。所显示的给用户的指令可包括与预定距离相关的用户激活的特定序列。由用户而不是电子控制的组件来提供力量，而指令序列被确定以引起所需的位置改变。例如，可以显示十字准线来引导用户，并且告知用户将滑块向右移动三个槽。这引起例如显示光学系统的3毫米的预定的重新定位。

图4A示出被实现为具有包括注视检测元件的活动的显示光学系统的眼镜的透视、近眼、混合现实显示设备的示例性安排。表现为每个眼睛的透镜的是每个眼睛的显示光学系统14，例如14r和14l。显示光学系统包括透视透镜，例如图6A-6D中的118和116，如一副普通眼镜一样，但还包含用于将虚拟内容与透过透镜118、116看到的实际直接真实世界视图无缝地融合的光学元件（例如，反射镜、滤光器）。显示光学系统14具有一般处于透视透镜118、116的中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合用户的脸部时，目标是该眼镜在每一瞳孔与相应透镜的光轴或中心相对准的位置处落在用户的鼻子上，从而通常使得校准光到达用户的眼睛以得到清晰或无失真的视图。

在图4A的示例中，至少一个传感器的检测区域139r、139l与其相应显示光学系统14r、14l的光轴相对准，使得检测区域139r、139l的中心捕捉沿着光轴的光。如果显示光学系统14与用户的瞳孔对准，则相应传感器134的每一检测区域139与用户的瞳孔相对准。检测区域139的反射光经由一个或多个光学元件传送到相机的真实图像传感器134，在该示例中传感器134由处于镜架115内部的虚线示出。

在一个示例中，通常被称为RGB相机的可见光相机可以是传感器，并且光学元件或光定向元件的示例是部分透射且部分反射的可见光反射镜。可见光相机提供用户的眼睛的瞳孔的图像数据，而IR光电探测器152捕捉作为频谱的IR部分中的反射的闪光。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像过滤技术可被用来在需要时移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射是不敏感的。

在其他示例中，至少一个传感器134是IR辐射可被定向到的IR相机或位置敏感检测器（PSD）。例如，热反射表面可以透射可见光但反射IR辐射。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器（未示出）的入射辐射或者来自从眼睛反射的环境IR辐射。在一些示例中，传感器134可以是RGB和IR相机的组合，并且光定向元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些示例中，相机可以是小型的，例如2毫米（mm）乘2mm。这样的相机传感器的示例是Omnivision OV7727。在其他示例中，相机可以足够小（例如Omnivision OV7727），例如使得图像传感器或相机134能以显示光学系统14的光轴或其他位置为中心。例如，相机134可被嵌入在系统14的透镜中。另外，可以应用图像过滤技术来将相机混合到用户视野中以减轻对用户的任何分心。

在图4A的示例中，有四组照明器153，照明器153与光电检测器152配对并由屏障154分开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，相对于代表性的一对示出了附图标记。每一照明器可以是生成大约预定波长的窄光束的红外（IR）照明器。光电检测器中的每一个可被选择来捕捉大约该预定波长的光。红外还可包括近红外。因为照明器或光电检测器可能存在波长偏移或者波长周围的微小范围是可接受的，所以照明器和光电检测器可以具有与用于生成或检测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器（PSD）的实施例中，光电检测器可以是附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长偏移、波束宽度改变等。光电检测器还可提供闪光数据，其中可见光相机作为传感器134。

如下所述，在作为确定注视向量的一部分来计算角膜中心的一些实施例中，两个闪光（并且因此两个照明器）将是足够的。然而，在确定瞳孔位置并且因此确定注视向量时，其他实施例可以使用附加闪光。因为表示闪光的眼睛数据是重复地捕捉的，例如以每秒30帧或更大的帧率，所以一个闪光的数据可被眼睑或甚至被睫毛遮挡，但数据可由另一照明器所生成的闪光来收集。

在图4A中，每一显示光学系统14以及它面向每一眼睛的注视检测元件的安排（如相机134及其检测区域139）、光学对准元件（在该附图中未示出；参见以下图6A-6D）、照明器153、以及光电检测器152位于活动的内部镜架部分171l、171r上。在该示例中，显示调整机构包括具有附连到一物体的传动轴205的一个或多个马达203，该传动轴205用于在三个维度中的至少一个维度上推拉该物体。在该示例中，该物体是在镜架115内在由马达203驱动的传动轴205的引导和力量下从左向右滑动或反向滑动的内部镜架部分117。在其他实施例中，一个马达203可以驱动两个内部镜架。如参考图5A和5B所讨论的，显示设备2的控制电路136的处理器能够经由镜架115内的电连接来连接到一个或多个马达203，以由马达203控制传动轴205在不同方向上的调整。此外，马达203也经由镜架115的电连接来接入电源。

图4B示出被实现为具有包括注视检测元件的活动的显示光学系统的眼镜的透视、近眼、混合现实显示设备的另一示例性安排。在该实施例中，每一显示光学系统14被封闭在独立的镜架部分115l和115r中，例如独立的眼镜架部分，它可由马达203单独地移动。在一些实施例中，在任何维度上的移动范围小于10毫米。在一些实施例中，取决于针对产品提供的镜架大小的范围，移动范围小于6毫米。对于水平方向，将每一镜架向左或右移动几毫米将不会显著影响眼镜腿（例如102）之间的宽度，其中眼镜腿将显示光学系统14附连到用户的头部。另外，在该实施例中，两组照明器153和光电检测器152定位在每一镜架部分115l、115r的顶部附近，以示出照明器之间的几何关系并因此示出它们生成的闪光的另一示例。闪光的这一安排可以提供与瞳孔在垂直方向上的位置有关的更多信息。在像图4A中的实施例一样的其他实施例中（其中照明器更接近镜架部分115l、115r、117l、117r的一侧），照明器153可以按相对于镜架部分的不同角度来放置，以将光定向到眼睛的不同部分并还获得用于标识瞳孔位置的更多垂直和水平分量。

图4C示出被实现为具有包括注视检测元件的活动的显示光学系统的眼镜的透视、近眼、混合现实显示设备的又一示例性安排。在该示例中，传感器134r、134l在其相应显示光学系统14r、14l的大约中心处与光轴成一直线或对准，但在镜架115上位于系统14下方。另外，在一些实施例中，相机134可以是深度相机或包括深度传感器。在该示例中，有两组照明器153和光电检测器152。

瞳孔间距可以描述用户的瞳孔之间在水平方向上的距离，但也可以确定垂直差异。另外，在眼睛和显示设备2之间在深度方向上移动显示光学系统也可帮助将光轴与用户的瞳孔对准。用户的眼球在头骨中实际上可能具有不同的深度。显示设备在深度方向上相对于头部移动也可引入显示光学系统14的光轴与其相应瞳孔之间的不对准。

在该示例中，马达形成用于在三个维度上移动每一显示光学系统14的XYZ传动机构的示例。在该示例中，马达203位于外部镜架115上，并且它们的传动轴205被附连到相应内部镜架部分117的顶部和底部。马达203的操作由控制电路136处理器210来针对它们的传动轴移动进行同步。另外，因为这是混合现实设备，向微显示器部件173等用于创建虚拟对象的图像（即，虚拟图像）以供在相应显示光学系统14中显示的每一图像生成单元由马达和传动轴来移动，以维持与显示光学系统的光学对准。微显示器部件173的示例在下文进一步描述。在该示例中，马达203是三轴马达或可以在三个维度上移动它们的传动轴。例如，可以在一个方向轴上沿十字准线导杆的中心对传动轴进行推拉，并且该传动轴在该十字准线导杆的垂直开口内在同一平面中的两个垂直方向中的每一个方向上移动。

图4D、4E和4F示出使用滑动机构的机械显示调整机构的一个示例的不同视图，该滑动机构是用户可激活以移动显示光学系统的机械控制器的一个示例。图4D在侧视图中示出了可滑动的显示调整机构203的不同组件。在本示例中，用支撑件203a代替了马达。每个支撑件203a到显示光学系统的活动支撑件（例如，镜架部分115r或内部镜架117r）的附连元件205a包括像活动支撑件115r、117r内的螺栓和螺母组合那样的扣件，以将支撑件203a固定到镜架115r或内部镜架117r。另外，另一个附连元件205b（在该示例中是臂和支撑件203a内的扣件）将每个支撑件耦合到滑动机构203b，该滑动机构包括用于具有可变形装置211的每一镜架侧的滑块207，该可变形装置将滑块保持在由槽分隔件209限定的槽中并可在滑块被启动以移至另一个槽时改变形状。每个滑块207具有紧夹在滑动机构203b两个边缘213a、213b的缘210。

图4E提供支撑件203a位于初始位置时滑动机构203b的俯视图。每个支撑件203a的滑块207l、207r由槽分隔件209之间的可变形装置211保持在原位。如图4F所示，在左侧显示光学系统的滑块207l的情形中，当用户挤压滑块的两端时，该滑块在长度上缩回或变短，并且可变形装置211在形状上收缩以便越过槽分隔件209的端部移入中央开口121，这样用户可将滑块推或拉到另一个槽，在本示例中是向左一个槽。在该示例中，每个槽可表示一校准距离（例如，1mm），因此当向用户显示指令时，该指令可以是特定数量的具体移动或位置。用户应用该移动力量来增加或减少IPD，但不必确定调整量。

图4G示出使用转轮机构的机械显示调整机构的一个示例，用户可激活该转轮机构以移动显示光学系统。在该示例中，鼻梁104中的支撑件203a由附连到每个显示光学系统的转轮或转盘203a来代替。到活动支撑件115r或117r的附连元件包括从转轮或转盘的中心到螺钉顶部的臂或转动轴。螺钉或螺帽侧的臂或转动轴的端部适合于螺钉或螺帽的头以便拧动它。扣件将螺钉固定到镜架115l或内部镜架117l。由旋转转轮生成的旋转力在螺钉上产生线性力，并且适合于螺钉头的转动轴的端部也旋转螺钉，产生线性力以向左推动镜架部分115l、117l。

每个转轮或转盘从鼻梁104向外延伸一部分（例如，在该示例中是顶部）。旋转通过开口部分的转轮的部分也可被校准一调整距离，例如1mm。可以指示用户将左侧转轮朝向他的或她的鼻子转动2圈，使螺钉也向下朝鼻子转动并将镜架115l和内部镜架117l向左推动2mm。

图4H和4I示出使用棘轮机构的机械显示调整机构的一个示例的不同视图，用户可激活该棘轮机构以移动显示光学系统。该棘轮机构被示出用于移动左侧活动的支撑件115l、117l。用于右侧活动的支撑件115r、117r的棘轮机构将类似地工作。在本示例中，支撑件203a经由扣件（例如，臂和螺帽）被附连到镜架部分115l、117l的左侧，并经由两个棘轮204a和204b各自的螺帽和臂来进行本身的固定。如所示的，每个棘轮具有齿。在转动轮时，各个棘爪219a锁住一个新的齿。每个棘轮仅在一个方向上转动，并且各轮在相反的方向上转动。如由向左和向右箭头所指示的，相反方向上的旋转在轮的中心产生相反方向上的线性力矩。图4J示出诸如可用于图4H和4I的机构的棘轮的侧视图。棘轮204a包括用于连接到紧固机构205b的中央开口123以及允许另一个紧固机构205b穿过以到达另一个棘轮204b的中心的另一个开口127。

滑块按钮223l在有沟槽的导件225l内滑动，以向下推动臂221的顶部227来旋转每个棘轮204一个增量，例如，使线性力矩推或拉支撑件203a的一个齿间隔。如图4I的示例中所示的，如果滑块223l向下推动顶部227b和臂221b，则轮204b旋转以产生朝向鼻梁的力矩，该力矩经由穿过另一个轮204a中的开口127的臂205b来推动支撑件203a，并由此将镜架部分115l、117l推向鼻梁104，如由棘轮204b内的臂205b顶部的虚线延伸所指示的。类似地，如果滑块223l被定位为向下推动臂221a的顶部227a，则轮219a被旋转一个增量，这产生远离轮219a的力矩以将支撑件203a推向镜架部分115l、117l。在某些实施例中，对于滑块返回到中心的每个增量，向一侧或另一侧的这样的每次滑动导致一个增量以及一个经校准的调整单位长度，例如，1mm。

图4D至4J的示例仅是机械显示调整机构的一些示例。也可以使用其他机械机构来移动显示光学系统。

图5A是透视、混合现实显示设备的眼镜实施例中的镜架115的提供对硬件和软件组件的支持的眼镜腿102的侧视图。在镜架115的前方是可捕捉视频和静止图像的面向物理环境的视频相机113。具体而言，在其中显示设备2没有结合像中枢系统12的捕捉设备20a和20b等深度相机操作的某些实施例中，面向物理环境的相机113可以是深度相机以及对可见光敏感的相机。例如，该深度相机可包括IR照明器发射器和像处于可见图像传感器前方的热镜等热反射表面，该热反射表面使得可见光透过并将处于照明器所发射的波长范围内或预定波长周围的所反射的IR辐射定向到CCD或其他类型的深度传感器。来自传感器的数据可被发送到控制电路136的处理器210，或处理单元4、5，或者这两者，它们可以处理该数据但单元4、5也可发送到网络上的计算机系统或中枢计算系统12以供处理。该处理通过图像分割和边缘检测技术来标识对象，并将深度映射到用户的真实世界视野中的物体。另外，面向物理环境的相机113还可包括用于测量环境光的曝光计。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参考图7A提供。耳机130、惯性传感器132、GPS收发机144、以及温度传感器138处于镜腿102内部或安装在镜腿102上。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C（参见图7A）。惯性传感器用于感测头戴式显示设备2的位置、定向、以及突然加速。从这些移动中，也可以确定头部位置。

显示设备2提供可创建包括一个或多个虚拟对象的一个或多个图像的图像生成单元。在一些实施例中，微显示器可被用作图像生成单元。在该示例中，微显示器部件173包括光处理元件和可变焦点调整器135。光处理元件的示例是微显示器单元120。其他示例包括一个或多个光学元件，如透镜系统122的一个或多个透镜以及诸如图6A和6B中的面124a和124b或图6C和6D中的124等一个或多个反射元件。透镜系统122可包括单个透镜或多个透镜。

微显示器单元120安装在镜腿102上或处于镜腿102内部，它包括图像源并生成虚拟对象的图像。微显示器单元120在光学上与透镜系统122和反射面124或以下附图中示出的反射面124a和124b对准。光学对准可以沿着光轴133或包括一个或多个光轴的光路133。微显示器单元120透过透镜系统122来对虚拟对象的图像进行投影，这可将图像光定向到反射元件124上，反射元件124将该光定向到图6C和6D中的光导光学元件112中或定向到反射面124a（例如，镜面或其他表面）上，反射面124a将虚拟图像的光定向到部分反射元件124b，部分反射元件124b将沿着路径133的虚拟图像视图与沿着图6A-6D中的光轴142的自然或真实直接视图进行组合。各视图的组合被定向到用户的眼睛。

可变焦调整器135改变微显示器部件的光路中的一个或多个光处理元件之间的位移或微显示器部件中的元件的光功率（optical power）。透镜的光功率被定义成其焦距的倒数，例如1/焦距，因而一个中的改变影响另一个。焦距的改变造成视野的区域的改变，例如特定距离处的区域，该区域对于由微显示器部件173生成的图像而言是焦点对准的。

在微显示器部件173作出位移改变的一个示例中，在电枢137内对位移改变进行引导，电枢137支承诸如该示例中的透镜系统122和微显示器120之类的至少一个光处理元件。电枢137帮助在各元件的物理移动期间稳定沿光路133的对准，以达到所选位移或光功率。在一些示例中，调整器135可以移动一个或多个光学元件，如电枢137内的透镜系统122中的透镜。在其他示例中，电枢可在光处理元件周围的区域中具有槽或空间，使得它在不移动光处理元件的情况下在该元件（例如微显示器120）上滑动。电枢中的另一元件（如透镜系统122）被附连，使得系统122或其内的透镜与移动的电枢137一起滑动或移动。位移范围通常是几毫米（mm）的量级。在一个示例中，这一范围是1-2mm。在其他示例中，电枢137可以向透镜系统122提供对涉及除位移之外的其他物理参数的调整的焦点调整技术的支持。这样的参数的示例是偏振。

至于与调整微显示器部件的焦距有关的更多信息，请参见2010年11月8日提交的、发明人为Avi Bar-Zeev和John Lewis、题为“Automatic VariableVirtual Focus for Augmented Reality Displays（用于扩充真实显示的自动可变虚拟焦点）”的美国专利第12/941,825号，并且其通过引用结合于此。

在一个示例中，调整器135可以是诸如压电马达之类的执行器。也可使用用于执行器的其他技术，并且这样的技术的一些示例是由线圈和永久磁铁、磁致伸缩元件、以及电致伸缩元件形成的音圈。

存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前照亮的。数字光处理（DLP）、硅上液晶（LCOS）、以及来自Qualcomm有限公司的

显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射并且可用于本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoP^TM引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束（例如，激光）发射到眼睛。

如上所述，微显示器部件173的光处理元件的配置创建焦距或虚拟对象出现在图像中的聚焦区。改变该配置会改变虚拟对象图像的聚焦区。由光处理元件确定的聚焦区可以基于等式1/S1+1/S2=1/f来确定和改变。

符号f表示透镜的焦距，如微显示器部件173中的透镜系统122。透镜系统122具有前节点和后节点。如果光线以相对于光轴的给定角度被向前引导到两个节点任一，则光线将以相对于光轴的相等角度从另一节点出射。在一个示例中，透镜系统122的后节点将处于它自己与微显示器120之间。从后节点到微显示器120的距离可被表示成S2。前节点通常处于透镜系统122的几毫米内。目标位置是要由微显示器120在三维物理空间中生成的虚拟对象图像的位置。从前节点到虚拟图像的目标位置的距离可被表示成S1。因为图像是与微显示器120出现在透镜的相同侧的虚拟图像，所以符号规约示出S1具有负值。

如果透镜的焦距是固定的，则改变S1和S2来将虚拟对象聚焦在不同的深度处。例如，初始位置可使S1设置成无限远处，并且使S2等于透镜系统122的焦距。假定透镜系统122具有10mm的焦距，考虑虚拟对象要被置于用户视野中大约1英尺（即，300mm）的示例。S1现在大约是-300mm，f是10mm并且S2当前被设置在焦距的初始位置10mm，从而意味着透镜系统122的后节点与微显示器122相距10mm。基于1/(-300)+1/S2=1/10（所有项的单位均为毫米）来确定透镜122与微显示器120之间的新距离或新位移。其结果是S2大约为9.67mm。

在一个示例中，一个或多个处理器（如在控制电路中，处理单元4、5，或这两者）可以计算S1和S2的位移值，而使焦距f固定并使得控制电路136造成可变调整器驱动器237（参见图7A）发送驱动信号以使可变虚拟焦点调整器135例如沿光路133移动透镜系统122。在其他实施例中，作为移动透镜系统122的替换或补充，可以移动微显示器单元120。在其他实施例中，作为沿光路133的位移改变的替换或补充，也可以改变透镜系统122中的至少一个透镜的焦距。

图5B是混合现实显示设备的另一实施例中的提供对硬件和软件组件的支持和微显示器部件的三维调整的眼镜腿的侧视图。以上在图5A中示出的附图标记中的一些被移除以避免附图中的混乱。在显示光学系统14在三个维度中的任一个维度上移动的实施例中，由反射面124表示的光学元件和微显示器部件173的其他元件（例如，120、122）也可以移动以维持虚拟图像的光到该显示光学系统的光路133。在该示例中，由马达框203和传动轴205所表示的在控制电路136的处理器210（参见图7A）的控制之下的一个或多个马达构成的XYZ传动机构控制微显示器部件173的各元件的移动。可以使用的马达的示例是压电马达。在所示示例中，一个马达被附连到电枢137并且也移动可变焦点调整器135，并且另一代表性马达203控制反射元件124的移动。

图6A是透视、近眼、混合现实设备2的包括注视检测元件的安排的活动显示光学系统14的实施例的俯视图。近眼显示设备2的镜架115的一部分将包围显示光学系统14并且为微显示器部件173的实施例的各元件提供支持，微显示器部件173如图所示包括微显示器120以及其附随元件。为了示出显示系统14（在该情况下是右眼系统14r）的各个组件，在显示光学系统周围的镜架115的顶部部分未被描绘。另外，鼻梁104中的话筒110在该视图中未示出，以便将注意力集中于显示调整机构203的操作。如在图4C的示例中，在该实施例中，通过移动内部镜架117r来移动显示光学系统14，内部镜架117r在该示例中也包围微显示器部件173。在该实施例中，显示调整机构被实现为三轴马达203，这些马达将它们的传动轴205附连到内部镜架117r以在三个维度中的任一个维度上将显示光学系统14进行平移（如指示移动的三（3）个轴的符号144所示），在该实施例中显示光学系统14包括微显示器部件173。

在该实施例中，显示光学系统14具有光轴142并包括允许用户对真实世界的实际直接查看的透视透镜118。在该示例中，透视透镜118是眼镜中使用的标准透镜，并且可根据任何处方（包括不根据处方）来制作。在另一实施例中，用可变处方透镜来替换透视透镜118。在一些实施例中，透视、近眼显示设备2将包括附加透镜。

显示光学系统14还包括反射面124a和124b。在该实施例中，来自微显示器120的光经由反射元件124a沿光路133定向到嵌入在透镜118中的部分反射元件124b，部分反射元件124b将沿光路133行进的虚拟对象图像视图与沿光轴142的自然或实际直接视图进行组合，使得经组合的视图在光轴的具有用于最清晰视图的最多准直光的位置处被定向到用户的眼睛（在该示例中是右眼）。

光传感器的检测区域139r也是显示光学系统14r的一部分。光学元件125通过捕捉来自用户的眼睛的沿光轴142接收到的反射光来实现检测区域139r，并将捕捉到的光定向到传感器134r，在该示例中传感器134r位于内部镜架117r内的透镜118中。如图所示，这一安排允许传感器134r的检测区域139使其中心与显示光学系统14的中心对准。例如，如果传感器134r是图像传感器，则传感器134r捕捉检测区域139，使得在图像传感器处捕捉到的图像以光轴为中心，因为检测区域139的中心是光轴。在一个示例中，传感器134r是可见光相机或RGB/IR相机的组合，并且光学元件125包括对反射自用户的眼睛的可见光进行反射的光学元件，例如部分反射镜面。

在其他实施例中，传感器134r是诸如IR相机等IR敏感设备，并且元件125包括令可见光穿过它并将IR辐射反射到传感器134r的热反射表面。IR相机不仅可以捕捉闪光，还可以捕捉用户的眼睛（包括瞳孔）的红外或近红外图像。

在其他实施例中，IR传感器设备134r是位置敏感设备（PSD），有时被称为光学位置传感器。检测到的光在传感器的表面上的位置被标识。可以选择对闪光的IR照明器的波长范围或大约预定波长敏感的PSD。当在该设备的传感器或光敏部件上检测到处于该位置敏感设备的波长范围内或大约是其预定波长的光时，生成标识检测器的表面上的位置的电子信号。在一些实施例中，PSD的表面被分成可从中确定光的位置的各分立传感器（像像素一样）。在其他示例中，可以使用PSD各向同性传感器，其中表面上的局部阻抗的变化可被用来标识光点在PSD上的位置。也可使用PSD的其他实施例。通过以预定顺序来操作照明器153，可以标识在PSD上的闪光反射位置并且因此将该闪光反射位置与角膜表面上的位置进行相关。

在图6A-6D中描绘的光检测元件（在这种情况下是反射元件）125、124、124a、以及124b是它们的功能的表示。这些元件可以采取任何数量的形式，并且可以用一个或多个光学组件按用于将光定向到其预期目的地（如相机传感器或用户的眼睛）的一个或多个安排来实现。如图所示，这一安排允许传感器的检测区域139使其中心与显示光学系统14的中心对准。图像传感器134r捕捉检测区域139，使得在该图像传感器处捕捉到的图像以光轴为中心，因为检测区域139的中心是光轴。

如以上在图2A和2B中并在以下附图中讨论的，在用户看向正前方并且在检测区域139或图像传感器134r实际上以显示器的光轴为中心时用户的瞳孔的中心是所捕捉的用户的眼睛的图像的中心的情况下，显示光学系统14r与瞳孔对准。在两个显示光学系统14都与它们相应的瞳孔对准时，光学中心之间的距离与用户的瞳孔间距相匹配或对准。在图6A的示例中，瞳孔间距可以在三个维度上与显示光学系统14对准。

在一个实施例中，如果传感器134捕捉到的数据指示瞳孔未与光轴对准，则处理单元4、5或控制电路136或这两者中的一个或多个处理器使用将距离或长度测量单元与图像的像素或其他分立单元或区域进行相关的映射准则来确定瞳孔的中心距光轴142有多远。基于所确定的距离，该一个或多个处理器确定要将显示光学系统14r调整多少距离以及在哪一方向上移动来使光轴142与瞳孔对准。控制信号由一个或多个显示调整机构驱动器245应用到组成一个或多个显示调整机构203的各组件之一，例如马达203。在该示例中在马达的情况下，马达移动它们的传动轴205来在由控制信号指示的至少一个方向上移动内部镜架117r。镜架115的可变形部分215a、215b处于内部镜架117r的镜腿一侧，它们的一端附连到内部镜架117r并且当显示光学系统14在三个方向中的任一方向上移动以相对于相应瞳孔来改变宽度、高度或深度时它们在镜腿架115内部的槽217a和217b内滑动以将内部镜架117锚定到镜架115。

除传感器之外，显示光学系统14包括其他注视检测元件。在这一实施例中，至少两个（2）（但可以更多）红外（IR）照明设备153在透镜118的侧面附连到镜架117r，它们将处于特定波长范围内或大约是预定波长的窄红外光束定向到用户的眼睛以各自在相应角膜的表面上生成相应闪光。在其他实施例中，照明器和任何光电二极管可以处于透镜上，例如在角上或在边上。在这一实施例中，除至少2个红外（IR）照明设备153之外，还有IR光电检测器152。每一光电检测器152对它对应的IR照明器153的通过透镜118的特定波长范围内的IR辐射敏感，并且被定位来检测相应闪光。如在图4A-4C中所示，照明器和光电检测器由屏障154分开，使得来自照明器153的入射IR光不干扰在光电检测器152处接收到的反射IR光。在其中传感器134是IR传感器的情况下，光电检测器152可能不需要或可以是附加闪光数据捕捉源。使用可见光相机，光电检测器152捕捉来自闪光的光，并且生成闪光强度值。

在图6A-6D中，例如检测区域139和照明器153和光电检测器152等注视检测元件的位置相对于显示光学系统14的光轴是固定的。这些元件与显示光学系统14在内部镜架上一起移动，并且因此与显示光学系统14的光轴一起移动，但它们与光轴142的空间关系不变。

图6B是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的另一实施例的俯视图。在这一实施例中，光传感器134r可被实现成可见光相机（有时称为RGB相机），或它可被实现成IR相机或能够处理可见光和IR范围内的光的相机，如深度相机。在这一示例中，图像传感器134r是检测区域139r。相机的图像传感器134r垂直地位于显示光学系统的光轴142上。在一些示例中，相机可以在镜架115上位于透视透镜118上方或下方，或嵌入在透镜118中。在一些实施例中，照明器153向相机提供光，而在其他实施例中，相机使用环境光或来自它自己的光源的光来捕捉图像。捕捉到的图像数据可被用来确定瞳孔与光轴的对准。基于注视检测元件的几何形状，可以使用基于图像数据、闪光数据或这两者的注视确定技术。

在这一示例中，鼻梁104中的马达203相对于用户的眼睛在水平方向上移动显示光学系统14r，如方向符号145所示。在系统14被移动时，可变形镜架部件215a和215b在槽217a和217b内滑动。在这一示例中，微显示器部件173实施例的反射元件124a是固定的。因为IPD通常只确定一次并被存储，所以可能做出的对微显示器120与反射元件124a之间的焦距的任何调整可由微显示器部件来实现，例如经由在电枢137内对微显示器元件的调整。

图6C是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第三实施例的俯视图。显示光学系统14具有注视检测元件的类似安排，包括IR照明器153和光电检测器152、以及位于镜架115上或位于透镜118上处于光轴142上方或下方的光传感器134r。在这一示例中，显示光学系统14包括作为用于将图像定向到用户的眼睛的反射元件并且被置于附加的透视透镜116和透视透镜118之间的光导光学元件112。反射元件124处于光导光学元件内并且与元件112一起移动，在该示例中在镜腿102上，微显示器部件173的实施例被附连到显示光学系统14的显示调整机构203，该显示调整机构203被实现为一组具有传动轴205的三轴马达203，包括用于移动微显示器部件的至少一个马达。鼻梁104上的一个或多个马达203表示提供三轴移动145的显示调整机构203的其他组件。在另一实施例中，马达可用于只经由它们的附连传动轴205来在水平方向上移动该设备。微显示器部件173的马达203还将垂直地移动它以维持从微显示器120出射的光与反射元件124之间的对准。控制电路的处理器210（参见图7A）对它们的移动进行协调。

光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛。光导光学元件112还允许来自头戴式显示设备2的前方的光透过光导光学元件112传送到用户的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射面124（例如，镜面或其他表面）。来自微显示器120的光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面衬底内。

在衬底的表面上进行若干反射之后，所捕获的光波到达选择性反射面126的阵列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛。光导光学元件的更多细节可以在于2008年11月20日公布的美国专利申请公开号2008/0285140、序列号12/214,366“Substrate-Guided Optical Devices（衬底导向的光学设备）”中找到，其整体通过引用结合于此。在一个实施例中，每只眼睛将具有其自己的光导光学元件112。

图6D是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第四实施例的俯视图。该实施例类似于图6C的实施例，包括光导光学元件112。然而，光检测器仅有IR光电检测器152，因此这一实施例仅依赖于闪光检测来用作注视检测，如在以下示例中讨论的。

在图6A-6D的实施例中，例如检测区域139和照明器153和光电检测器152等注视检测元件的位置相对于彼此是固定的。在这些示例中，它们相对于显示光学系统14的光轴也是固定的。

在以上实施例中，所示出的具体数量的透镜只是示例。可以使用根据相同原理操作的其他数目和配置的透镜。另外，在以上示例中，只示出了透视、近眼显示器2的右侧。作为示例，完整的近眼、混合现实显示设备将包括另一组透镜116和/或118、用于图6C和6D的实施例的另一光导光学元件112、另一微显示器120、另一透镜系统122、可能包括另一面向环境的相机113、用于图6A到6C的实施例的另一眼睛跟踪相机134、耳机130、以及温度传感器138。

图7A是可以用于一个或多个实施例的透视、近眼、混合现实显示单元2的硬件和软件组件的一个实施例的框图。图7B是描述处理单元4、5的各组件的框图。在这一实施例中，近眼显示设备2接收来自处理单元4、5的关于虚拟图像的指令并向处理单元4、5提供传感器信息。可被实现在处理单元4、5中的软件和硬件组件在图7B中描绘，它们将从显示设备2接收传感器信息并且还可从中枢计算设备12（参见图1A）接收传感器信息。基于这一信息，处理单元4、5将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备12的控制电路136。

注意，图7A的各组件中的一些（例如，面向物理环境的相机113、眼睛相机134、可变虚拟焦距调整器135、光电检测器接口139、微显示器120、照明设备153（即照明器）、耳机130、温度传感器138、显示调整机构203）以阴影示出，以指示这些设备中的每一个至少有两个——头戴式显示设备2的左侧至少一个以及右侧至少一个。图7A示出控制电路200与电源管理电路202进行通信。控制电路200包括处理器210、与存储器214（例如D-RAM）进行通信的存储器控制器212、相机接口216、相机缓冲区218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路220的所有组件经由一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。

相机接口216提供到两个面向物理环境的相机113和每一眼睛相机134的接口，并且将从相机113、134接收到的相应图像存储在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222可以向执行该扩充的真实系统的处理的一个或多个计算机系统（例如4、5、12、210）的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。定时生成器226被用于向该系统提供定时数据。显示输出228是用于将来自面向物理环境的相机113和眼睛相机134的图像提供给处理单元4、5的缓冲区。显示输入230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4、5的接口的带接口232进行通信。

电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、可变调整器驱动器237、光电检测器接口239、音频DAC以及放大器238、话筒预放大器和音频ADC 240、温度传感器接口242、显示调整机构驱动器245、以及时钟生成器244。电压调节器234通过带接口232从处理单元4、5接收电能，并将该电能提供给头戴式显示设备2的其他组件。照明驱动器236例如经由驱动电流或电压来控制照明设备153以大约预定波长或在某一波长范围内操作。音频DAC和放大器238从耳机130接收音频信息。话筒预放大器和音频ADC240提供话筒110的接口。温度传感器接口242是用于温度传感器138的接口。一个或多个显示调整驱动器245向组成每一显示调整机构203的一个或多个马达或其他设备提供控制信号，这些控制信号表示三个方向中的至少一个方向上的移动调整量。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。电源管理单元202还向GPS收发机144提供电能并从中接收数据和向其发送数据。

可变调整器驱动器237向调整器135提供例如驱动电流或驱动电压等控制信号以移动微显示器部件173的一个或多个元件来达到通过在控制电路13或处理单元4、5或中枢计算机12或这两者的处理器210中执行的软件计算得到的聚焦区域的位移。在扫过一定范围的位移并且因此扫过一定范围的聚焦区域的实施例中，可变调整器驱动器237从定时生成器226、或者可替代地从时钟生成器244接收定时信号，以便以所编程的速率或频率来操作。

光电检测器接口239执行来自每一光电检测器的电压或电流读数所需的任何模数转换，经由存储器控制器212以处理器可读的格式来将该读数存储在存储器中，并且监视光电检测器152的操作参数，如温度和波长准确度。

图7B是与透视、近眼、混合现实显示单元相关联的处理单元4的硬件和软件组件的一个实施例的框图。移动设备5可包括硬件和软件组件的这一实施例以及执行类似功能的类似组件。图7B示出控制电路304与电源管理电路306进行通信。控制电路304包括中央处理单元（CPU）320，图形处理单元（GPU）322，高速缓存324，RAM 326，与存储器330（例如，D-RAM）进行通信的存储器控制器328，与闪存334（或其他类型的非易失性存储）进行通信的闪存控制器332，经由带接口302和带接口232与透视、近眼显示设备2进行通信的显示输出缓冲区336，经由带接口302和带接口232与近眼显示设备2进行通信的显示输入缓冲区338，与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340，用于连接到无线通信设备346的PCI express接口，以及USB端口348。

在一个实施例中，无线通信组件346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可被用来将处理单元4、5对接到中枢计算设备12，以将数据或软件加载到处理单元4、5上以及对处理单元4、5充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。

电源管理电路306包括时钟生成器360，模数转换器362，电池充电器364，电压调节器366，透视、近眼显示电源376，以及与温度传感器374进行通信的温度传感器接口372（位于处理单元4的腕带上）。交流电到直流电转换器362被连接到充电插座370来接收AC电源并为该系统产生DC电源。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插座370接收到电能后对电池368进行充电（经由电压调节器366）。设备电源接口376向显示设备2提供电能。

以上附图提供显示光学系统的各元件的几何结构的示例，它们提供在以下附图中讨论的对准IPD的不同方法的基础。这些方法实施例可引用以上系统的各元件和结构作为说明性上下文；然而，这些方法实施例可以在与上述系统和结构不同的系统或结构实施例中操作。

以下方法实施例标识或提供用于对准IPD的一个或多个焦点对象。图8A和8B讨论用于确定对象在佩戴该显示设备的用户的视野内的位置的一些实施例。

图8A是用于确定对象在透视、近眼、混合现实显示设备的用户视野内的位置的系统实施例的框图。这一实施例示出各设备如何充分利用联网计算机来映射用户视野的三维模型以及该模型内的真实和虚拟对象。在通信地耦合到显示设备2的处理单元4、5中执行的应用456可以通过一个或多个通信网络50与用于处理图像数据来确定并跟踪三维用户视野的计算系统12进行通信。计算系统12可为处理单元4、5远程地执行应用452以提供一个或多个虚拟对象的图像。如上所述，在一些实施例中，处理单元的软件和硬件组件被集成到显示设备2中。一起工作的应用456和452中的任一个或两者可以映射用户周围的空间的3D模型。深度图像处理应用450检测对象、标识对象以及它们在模型中的位置。应用450可以基于来自像20A和20B等深度相机的深度图像数据、来自一个或多个面向前方的相机113的二维或深度图像数据、以及与从GPS图像跟踪应用454获得的图像数据中的对象相关联的GPS元数据来执行其处理。

GPS图像跟踪应用454基于从处理单元4、5或被标识为处于用户附近的其他GPS单元或两者接收到的GPS数据来标识一个或多个图像数据库470中的用户的位置的图像。另外，图像数据库可以提供带有像GPS数据等元数据和标识由希望共享他们的图像的用户上传的数据的可访问位置图像。GPS图像跟踪应用基于GPS数据来向深度图像处理应用450提供图像中的对象之间的距离。另外，应用456可以在本地执行用于映射和定位3D用户空间中的对象的处理，并可与GPS图像跟踪应用454进行交互来接收对象之间的距离。通过充分利用网络连接性，在应用之间共享处理的许多组合是可能的。

图8B是用于确定透视、近眼、混合现实显示设备的三维用户视野的方法实施例的流程图。在步骤510，控制电路136、处理单元4、5、中枢计算系统12或这些的组合的一个或多个处理器从一个或多个面向前方的相机113接收图像数据，并且在步骤512标识面向前方的图像数据中的一个或多个真实对象。基于该面向前方的相机113或每一显示光学系统的面向前方的相机113的位置，来自面向前方的相机的图像数据对用户视野进行近似。来自两个相机113的数据可被对准，并且考虑了面向前方的相机113的位置相对于显示器光轴的偏移。来自定向传感器132（例如，三轴加速度计132C和三轴磁力计132A）的数据也可与面向前方的相机113图像数据一起使用来对用户周围的事物、用户的脸部和头部的位置进行映射，以确定他或她可能在当时聚焦于哪些对象（真实或虚拟）。可任选地，基于正在执行的应用，在步骤514，一个或多个处理器标识虚拟对象在用户视野中的位置，其中用户视野可被确定为是在面向前方的图像数据中捕捉的视野。在步骤516，确定每一对象在用户视野中的三维位置。换言之，每一对象相对于显示设备2位于何处，例如，相对于每一显示光学系统14的光轴142位于何处。

在标识面向前方的图像数据中的一个或多个真实对象的一些示例中，经由例如移动设备5中的GPS单元965或显示设备2上的GPS收发机144等GPS单元的GPS数据可以标识用户的位置。这一位置可以通过网络从设备2或经由处理单元4、5传递给能访问图像数据库470的计算系统12，该图像数据库可基于GPS数据来访问。基于面向前方的图像数据中的对象的模式识别和该位置的图像，一个或多个处理器确定面向前方的图像数据中的一个或多个对象相对于该位置中的一个或多个GPS跟踪对象的位置。基于该一个或多个相对位置来确定用户距一个或多个真实对象的位置。

在其他示例中，每一面向前方的相机是提供深度图像数据或具有用于提供可与图像数据相组合以提供深度图像数据的深度数据的深度传感器的深度相机。控制电路的一个或多个处理器（例如210）和处理单元4、5基于来自面向前方的相机的深度图像数据来标识一个或多个真实对象（包括它们在用户视野中的三维位置）。另外，定向传感器132数据也可被用来细化哪一图像数据当前表示用户视野。另外，远程计算机系统12也可以向其他处理器提供附加处理能力，以基于来自面向前方的图像数据的深度图像数据来标识对象并映射用户视野。

在其他示例中，佩戴该显示设备的用户可以处于如下环境中：在该环境中，带有深度相机的计算机系统（如图1A中的系统10中的带有深度相机20A和20B的中枢计算系统12的示例）在三个维度上映射该环境或空间并基于来自它的相机和正在执行的应用程序的深度图像数据来跟踪该空间中的真实和虚拟对象。例如，在用户进入存储时，存储计算机系统可以映射三维空间。来自多个视点的深度图像，在一些示例中包括来自一个或多个显示设备的深度图像，可以由深度图像处理应用450基于空间的共同坐标系进行组合。空间中的对象是通过模式识别技术（包括脸部识别技术）并参考来自图像数据库的事物和人的图像来检测（例如，边缘检测）并标识的。这样的系统可以发送诸如用户在空间中的位置以及用户周围的对象的位置等数据，设备2和处理单元4、5的一个或多个处理器可以使用该数据来检测并标识哪些对象处于用户视野内。此外，显示设备2或处理单元4、5的一个或多个处理器可以将面向前方的图像数据和定向数据发送到计算机系统12，计算机系统12执行用户视野内的对象检测、标识、以及对象位置跟踪并向处理单元4、5发送更新。

图9A是用于将透视、近眼、混合现实显示器与IPD对准的方法实施例400的流程图。步骤402到406示出用于根据对准准则自动确定透视、近眼、混合现实显示设备是否与用户的IPD对准的步骤301的示例的更多细节。步骤407到408示出步骤302中的用于调整显示设备以使该设备与用户IPD对准的示例的更详细步骤。如图3C所讨论的，该调整可由处理器自动地执行或通过电子地提供给用户的指令以供机械调整。

在步骤402，透视、近眼、混合现实系统的处于处理单元4、移动设备5、或中枢计算系统12中的一个或多个处理器（如控制电路的处理器210）单独地或相组合地标识用户视野中在一定距离处以及一定方向上的对象以用于确定IPD。对于远IPD，距离在有效无限远处（例如超过5英尺），方向是相对于每一显示光学系统的光轴的正前方。换言之，距离和方向是这样的：当每一瞳孔与每一光轴对准时，用户正在看向正前方。在步骤403，一个或多个处理器执行处理以将用户的焦点吸引到该对象。在一个示例中，一个或多个处理器电子地提供指令来请求用户查看所标识的真实对象。在一些情况下，可简单地请求用户看向正前方。电子地提供的指令的一些示例是由图像生成单元120、移动设备5显示的指令或由中枢计算系统12在显示器16上显示的指令、或通过显示设备2的扬声器130的音频指令。在其他示例中，该对象可具有应用于它的图像增强来吸引用户的眼睛集中到它。例如，在观察时间段期间，可以向该对象应用引人注目的视觉效果。这样的视觉效果的一些示例是突出显示、闪烁、以及移动。

在步骤404，在对该对象的观察时间段期间，相应显示光学系统的注视检测元件的安排中的诸如传感器134r或光电检测器152或这两者等至少一个传感器捕捉每一只眼睛的数据。在一个示例中，所捕捉的数据可以是IR图像数据以及由IR相机捕捉的从每一只眼睛反射的闪光。闪光由IR照明器153生成。在其他示例中，该至少一个传感器是像位置敏感检测器等IR传感器。该至少一个传感器也可以是IR光电检测器152。在一些示例中，该至少一个传感器134可以是可见光相机。然而，如上所述，如果虚拟对象的图像被用于确定IPD对准的过程中，则可以通过将虚拟对象在用户的眼睛中的反射过滤出去来解决它们。如果可见光照明器生成闪光，则用户的眼睛可以对该照明器的可见光作出反应。

在步骤406，一个或多个处理器基于所捕捉的数据和注视检测元件的安排来根据对准准则确定每一瞳孔是否与它相应的显示光学系统的光轴对准。对准准则可以是距光轴的距离，例如2毫米（mm）。如果是，则显示设备2已经与每一瞳孔对准，并且因此与IPD对准，并且在步骤409，一个或多个处理器将每一光轴的位置存储在IPD数据集中。

如果不满足对准准则，则在步骤407，一个或多个处理器自动确定至少一个显示调整机构的用于满足至少一个显示光学系统的对准准则的一个或多个调整值。“自动确定”意味着一个或多个处理器在无需用户通过机械操纵标识调整值的情况下来确定这些值。在许多实施例中，基于所存储的设备配置数据，跟踪光轴相对于支撑结构的固定点的当前位置。在步骤408，处理器基于该一个或多个调整值来造成对至少一个相应显示光学系统的调整。在自动调整中，一个或多个处理器经由一个或多个显示调整机构驱动器245来控制至少一个显示调整机构203，以基于该一个或多个调整值来移动至少一个相应的显示光学系统。在机械调整方法中，处理器向用户电子地提供指令，以供经由机械控制器将该一个或多个调整值应用到至少一个显示调整机构。指令可提供具体数量的用户激活，该用户激活被校准到预定距离以避免用户方面的猜测。同样在该示例中，在提供移动至少一个显示光学系统而非需要电力的马达的物理力的同时，用户避免推测要将机械控制器激活多少。该方法实施例的各步骤可以重复预定次数或直至满足对准准则为止。

图9B是基于图像格式的每只眼睛的瞳孔的图像数据来将透视、近眼、混合现实显示设备与用户的IPD对准的实现示例的方法实施例410的流程图。图像格式具有预定大小和形状，例如可以由图像传感器大小和形状来设置。图像格式的示例是图像帧。该格式将要提供用于跟踪图像数据内的位置的坐标系，例如中心作为原点。在例如IR相机（或在需要时，可见光相机）等图像传感器的检测区域139以显示光学系统14的光轴142为中心时，该图像格式的图像数据以光轴142为中心。瞳孔中心距图像中心有多远是用于确定瞳孔是否令人满意地与光轴对准的基础。如图4C的示例中一样，图像传感器134可以在活动的支撑件117上，以便沿穿过光轴142的轴来对准。在处理图像数据时，一个或多个处理器将图像传感器134距光轴的偏移向量考虑在内来确定瞳孔是否与光轴对准。

在步骤412，标识用户视野中一定距离和一定方向上的真实物体来确定IPD，并且在步骤413，一个或多个处理器执行处理来将用户的焦点吸引到该真实物体。在步骤414，在对该真实物体的观察时间段期间，由与相应显示光学系统的光轴对准的至少一个传感器以图像格式来捕捉每一只眼睛的图像数据。在步骤415，根据该图像数据确定相对于相应光轴的相应瞳孔位置。图像数据中的瞳孔区域可以通过对强度值设置阈值来标识。可以应用椭圆拟合算法来对瞳孔的大小和形状进行近似，并且所得椭圆的中心可被选作瞳孔的中心。理想地，瞳孔的中心与显示光学系统的光轴对准。下文讨论的图17提供用于根据也可用来实现步骤415的图像数据来确定瞳孔中心的方法的实施例。在步骤416，一个或多个处理器基于图像格式（例如，图像帧）的瞳孔位置来根据对准准则确定每一瞳孔是否与相应光轴对准。在其中检测区域139以光轴142为中心的情况下，一个或多个处理器根据对准准则来确定瞳孔位置是否是图像格式的中心（例如，图像帧的中心）。可以在水平和垂直方向上确定每一只眼睛相对于光轴的瞳孔位置。

如果满足对准准则，则在步骤409，一个或多个处理器将每一光轴的位置存储在IPD数据集中。如果否，则在步骤417，一个或多个处理器基于不满足对准准则的每一显示光学系统的至少一个传感器的映射准则来确定相应显示调整机构的至少一个调整值。在步骤418，一个或多个处理器控制相应显示调整机构基于该至少一个调整值来移动相应显示光学系统。该方法实施例的各步骤可以重复预定次数或直至满足对准准则为止。

同样，如在以上各附图中的一些附图中所示，相机的检测区域能不以光轴（例如，142）为中心，但与它对准。例如，在图4C、6B和6C中，相机图像传感器134与光轴142垂直对准，因为它位于光轴142的上方或下方（例如，在镜架115上）。

图9C是可被用于实现步骤417的用于基于不满足对准准则的显示光学系统的至少一个传感器的映射准则来确定显示调整机构的至少一个调整值的方法实施例的流程图。在步骤442，基于至少一个传感器的映射准则，一个或多个处理器确定水平瞳孔位置差向量。像素到距离映射准则可被用于对其提供调整的每一方向上。取决于图像传感器的检测区域的形状，对于垂直和水平而言，映射准则可以是不同的。在步骤444，基于至少一个传感器的映射准则，还确定垂直瞳孔位置差向量。在步骤446，一个或多个处理器将水平瞳孔位置差向量与水平调整值进行相关，并且在步骤448，将垂直瞳孔位置差向量与垂直调整值进行相关。

因为水平IPD可能具有25-30mm之间的范围，显示调整机构通常具有在任何方向上移动显示光学系统的距离范围限制。深度调整可帮助将水平或垂直方向上的范围外调整值带到范围内。可以执行可任选步骤451和453。在可任选步骤451，一个或多个处理器确定水平或垂直调整值中的任一个是否处于范围外。如果否，则显示光学系统的对准可以通过在二维平面上的移动来实现，并且可以执行步骤418。如果至少一个调整值在范围外，则在可任选步骤453，一个或多个处理器确定用于将范围外的任何水平或垂直调整值带到距范围限制更近或带到范围限制内的深度调整值，并且可以执行步骤418来调整显示光学系统。

作为说明性示例，如果光轴距右侧12mm并且显示调整机构只可将显示光学系统向左移动6mm，则通过增加显示光学系统和瞳孔之间的深度，在看向正前方时从瞳孔到光轴的位置之间的角度减小，因此深度增加结合向左侧的6mm调整使得光轴根据对准准则更接近于与瞳孔对准。深度变化对垂直维度的影响也可被考虑，使得垂直调整也是必要的或修改深度调整值

当闪光彼此之间有几何关系并且传感器具有分立传感器（如像素）的表面时，图9B和9C的实施例也可被应用于来自每一只眼睛的闪光数据。例如，由照明器生成的一只眼睛的闪光通过照明器的位置形成与该眼睛的相应显示光学系统的光轴对准的框或其他几何形状。如果传感器是用于检测闪光的位置敏感检测器（PSD），则传感器上的位置和检测到的从固定照明器生成的闪光的强度值被用来映射瞳孔的位置。来自IR相机（或甚至可见光相机）的图像数据提供用于瞳孔位置确定的更大准确度，但闪光数据方法处理更少数据并且因此在计算上较不密集。

图9D是用于基于注视数据来将透视、近眼、混合现实显示器与IPD对准的实现示例的方法实施例420的流程图。步骤412和413如以上在图9B中讨论的那样执行。在步骤423，一个或多个处理器基于相应显示光学系统的注视检测元件的安排来确定每一只眼睛对真实物体的穿过该显示光学系统的光轴的基准注视向量。注视确定方法的实施例在图12到19中讨论。这些方法可在其中操作的注视检测元件的安排或系统的实施例在图4A-4C和6A-6D中示出。如参考图8A-8B的实施例所讨论的，对真实物体在用户视野中的位置进行跟踪。在远IPD的情况下，估计基于用户正在看向正前方的瞳孔位置，并且通过对从所估计的瞳孔位置穿过光轴到真实物体的光线进行建模来估计基准注视向量。

在步骤414，在对真实物体的观察时间段期间，该安排的至少一个传感器捕捉每一只眼睛的数据，并且在步骤425，一个或多个处理器基于所捕捉的数据和该安排来确定每一只眼睛的当前注视向量。在步骤426，一个或多个处理器根据对准准则确定当前注视向量是否与基准注视向量匹配。如果是，则显示设备2已经与每一瞳孔对准，并且因此与IPD对准，并且在步骤409，一个或多个处理器将每一光轴的位置存储在IPD数据集中。

如果当前注视向量中的至少一个不满足对准准则，则在步骤427，一个或多个处理器基于当前和基准注视向量之间的差来自动确定不满足对准准则的每一显示光学系统的至少一个显示调整机构的一个或多个调整值。当前和基准注视向量之间的差可被表示成三维位置差向量，并且可以确定水平、垂直、以及深度调整值中的至少一个来将三维位置差向量带到对准准则内，例如一个或多个方向上的位置差容限。

在步骤428，一个或多个处理器使得至少一个显示调整机构基于该一个或多个调整值来调整至少一个相应的显示光学系统。

图9D的方法实施例可以使用用于确定注视向量的各种方法来执行。例如，可以使用图19的注视确定方法实施例。另外，可以使用图12到图18的基于图像数据和闪光数据来确定从内部眼睛部分到物体的注视向量的注视确定方法。在该方法中，所确定的初始向量对眼睛的光轴进行建模。然而，如上所述，人类的注视向量是从小凹穿过瞳孔中心的视轴或视线。人类视网膜的小凹区域中的感光器比视网膜的其余部分中的感光器更密地填塞。这一区域提供最高视觉敏锐度或视觉清晰度，并且还提供邻近物体的立体视觉。在确定光轴之后，可以应用默认注视偏移角度，使得光轴对视轴进行近似并且被选作注视向量。在一些情况下，可以在不校正视轴的情况下基于所确定的从眼球旋转中心穿过所确定的角膜和瞳孔中心的光轴向量来确定瞳孔与显示光学系统的光轴的对准。然而，在其他示例中，应用校正来对始自视网膜的注视向量更准确地进行近似。

图9E是应用注视偏移角度的图9D中的方法420的一实现示例的方法实施例430的流程图。在这一示例中，未经校正的当前和基准注视向量被用于将瞳孔与它们的相应光轴进行粗略对准。随后，为用户校准注视偏移角度，并且在将注视偏移角度应用于向量的情况下再次执行对准检查，以用于与相应光轴的更精细地调节的对准或更精确的对准。如在下文参考图18进一步讨论的，注视偏移角度的校准是通过在用户视野中的不同距离处显示虚拟对象的一个或多个图像并基于初始光轴向量和该一个或多个图像在用户视野中的位置之间的距离向量确定注视偏移向量来执行的。在IPD正确对准时，虚拟对象图像将对用户显得更加清楚。

在步骤411，将注视偏移角度设置成初始值。步骤412和413如以上在图9B中讨论的那样执行。在步骤431，如在步骤423一样，一个或多个处理器基于注视检测元件的安排来确定到真实物体的穿过显示光学系统的光轴的基准注视向量，但在该步骤中，基准注视向量包括注视偏移角度。一开始，如果注视偏移角度是零，则基准注视向量是从眼睛的光轴延伸的向量。在步骤414，在对真实物体的观察时间段期间，由该安排的至少一个传感器来捕捉每一只眼睛的数据。在步骤433，如在步骤423一样，确定当前注视向量，但该步骤中，当前注视向量包括注视偏移角度。如在图9D中一样，执行步骤426。如果针对至少一个显示光学系统的光轴的对准确定失败，则执行步骤427和428并且重复在步骤426处开始的过程。

如果在步骤426根据对准准则确定当前注视向量与基准注视向量匹配，则在步骤436，一个或多个处理器确定注视偏移角度是否已被校准。例如，初始值可担当指示校准尚未完成的标志或以其他方式存储在显示设备的存储器中的可指示校准已被执行的标志。如果尚未执行校准，则在步骤437，一个或多个处理器使得注视偏移角度被校准，并且该过程从步骤412进行重复。然而，从现在开始，基准和注视向量对始自用户的眼睛的视线的视轴更紧密地进行近似。如果在步骤426，对准确定指示令人满意的对准，并且现在注视偏移角度已如在步骤436确定的那样被校准，则将每一光轴的位置存储在IPD数据集中。

图9F是基于相对于虚拟对象的图像的注视数据来将透视、近眼、混合现实显示器与IPD对准的方法实施例的流程图。在该示例中，用户对虚拟对象的查看可能开始不非常清楚，因为IPD未对准。然而，一个或多个处理器具有对虚拟对象比对真实物体的更多控制，并且因而在将虚拟对象放置在用户视野中以确定IPD时具有更多余地。通过一起或分开移动每一显示光学系统中的虚拟立体图像，注视模式指示每一用户眼睛的视野中何处不跟踪该对象。从用户视野中不跟踪该对象的位置处，一个或多个处理器可以确定如何调整每一显示光学系统来与它相应的瞳孔更好地对准。

在步骤462，一个或多个处理器使得图像生成单元（例如，微显示器120）在用户视野中一定距离和一定方向上显示虚拟对象的立体图像，以通过在每一显示光学系统中投影单独的图像来确定IPD。这两个单独的图像组成该立体图像。在步骤463，则在观察时间段期间，一个或多个处理器使得图像生成单元120在显示光学系统中的至少一个的用户视野中将单独图像中的至少一个移动到在每一瞳孔与它相应的光轴对准的情况下预期可被看到的一个或多个位置。在步骤464，一个或多个处理器使得相应显示光学系统的注视检测元件的安排的至少一个传感器捕捉每一只眼睛在步骤464的观察时间段期间的数据。

在步骤465，一个或多个处理器基于所捕捉的数据和每一显示光学系统的注视检测元件的安排来确定每一只眼在观察时间段期间睛的注视模式。注视模式是针对在观查时间段期间虚拟对象图像在用户视野中的每一位置来确定的注视向量的集合。换言之，注视模式反映观察时间段期间的注视变化。在步骤466，一个或多个处理器根据对准准则来确定注视模式是否指示光轴与相应瞳孔对准。

作为步骤466的确定的一部分，一个或多个处理器确定在虚拟对象处于用户视野中的一位置处的时间段期间计算得到的每一注视向量是否在该位置处与虚拟对象相交。

如果满足对准准则，则在步骤409，一个或多个处理器将每一光轴的位置存储在IPD数据集中。如果不满足对准准则，则在步骤467一个或多个处理器基于注视模式来自动确定不满足对准准则的每一显示光学系统的至少一个显示调整机构的一个或多个调整值，并且在步骤468使得显示调整机构自动调整相应显示光学系统以满足对准准则。

可以基于不与虚拟对象相交的每一注视向量与虚拟对象在预期相交的时间段时的位置之间的距离向量来确定一个或多个调整值。

诸如在图9D和9F中描述的方法实施例等方法实施例可以在使用闪光数据来确定注视时使用。在一个实施例中，闪光反射可基于为闪光所检测的若干强度值的数据点来估计注视，而不是处理大很多的眼睛图像数据集。近眼显示设备的眼镜架115或其他支撑结构上的照明器153的位置可以是固定的，使得由一个或多个传感器所检测的闪光位置在传感器检测区域中是固定的。角膜并由此的虹膜以及瞳孔与眼球一起绕一固定中心旋转。在用户的注视改变时，虹膜、瞳孔以及巩膜（有时被称为眼白部分）在闪光下面移动。因此，在相同的传感器位置处检测到的闪光可由于与不同眼睛部分相关联的不同反射率而导致不同的强度值。由于瞳孔是带有吸收最多入射光的组织的孔，因此它的强度值会非常低或接近零，而虹膜的强度值由于其较高的反射率而会是较高强度值。由于巩膜具有最高反射率，因此巩膜的强度值可为最高。

在一些示例中，照明器可如图6A到图6D中位于显示光学系统14的任一侧，并且由此位于用户眼睛的瞳孔的任一侧。在其他实施例中，附加照明器可位于在镜架115或透镜118上，例如，可放置四个照明器以在眼球上生成闪光的包围几何形状（例如框），当用户看向正前方时该形状会大致以瞳孔为中心。微显示器部件173可向用户显示虚拟图像或发送消息，例如视觉虚拟图像或音频指令，使得该用户看向正前方以在瞳孔上或在瞳孔附近初始化闪光。在其他实施例中，基于闪光的注视检测是基于在闪光独立于以瞳孔为中心来定位的情况下从照明器所生成的强度值的。

图10A是用于将透视、近眼、混合现实显示设备与瞳孔间距（IPD）重新对准的方法实施例的流程图。在步骤741，处理单元4、5检测到指示与所选IPD的对准不再满足对准准则的变化，这触发一个或多个处理器在步骤743重新调整显示光学系统中的至少一个以满足对准准则。同样，对准准则可以是几毫米的距离，例如3mm。被持续完成以跟踪用户的焦点的注视确定方法可以检测该变化。

图10B是示出用于基于注视数据从近IPD或远IPD中选择IPD的方法实施例的流程图。在步骤752，处理单元4、5基于注视数据来确定注视点的距离，并且在步骤754基于该注视点的距离来选择近IPD或远IPD作为IPD。在一个示例中，用户的注视点一开始被确定为在用户前方七英尺左右。在该示例中，显示设备使用两英尺作为触发近和远IPD之间的变化的注视点距离。用户的焦点变化，并且通过注视确定方法确定的注视点指示注视点处于用于将IPD从一开始选择的远或规则IPD调整成近IPD的两英尺阈值内。处理单元4、5监视注视点并检查距离来检测用于在IPD之间进行重新调整的这一变化。

可触发显示光学系统的重新调整的其他类型的检测到的变化是显示光学系统相对于眼睛的移动。头部移动可以使得显示设备在用户的脸上移位。

图11是示出用于确定是否检测到指示与所选IPD的对准不再满足对准准则的变化的方法实施例的流程图。在步骤742，处理单元4、5根据一准则周期性地确定近眼显示设备相对于相应眼睛是否移动。在步骤744，如果结果指示基于该准则没有发生移动，则处理单元4、5在步骤746执行其他处理，直至下一所调度的移动检查为止。如果确实基于准则发生了移动，则在步骤748作出瞳孔对准是否仍然满足对准准则的确定。如果是，则处理单元4、5在步骤746执行其他处理直至下一所调度的移动检查为止。如果瞳孔对准不再满足对准准则，则可以执行可任选步骤750，其中处理单元4、5基于当前注视点确定哪一个IPD数据集（近或远）适用。在步骤752，处理单元4、5根据适用的IPD数据集调整任何相应显示光学系统以满足对准准则。

基于上述注视检测元件的不同几何形状，可以在不同的注视确定方法实施例期间检测移动。处理单元4、5可以监视注视结果以确定瞳孔对准的重新调整是否完成。同样，在提供近IPD对准和远IPD对准两者的实施例中，可以监视到注视点的距离来触发近IPD对准和远IPD对准之间的切换。

图12是用于在透视、近眼、混合现实显示系统中确定注视的方法实施例的流程图，并提供近眼显示设备如何能充分利用它的光学组件的几何形状来确定注视和眼球与显示光学系统之间的深度变化的总体视图。该混合现实系统的处于处理单元4、移动设备5、或中枢计算系统12中的诸如控制电路的处理器210等一个或多个处理器单独或相组合地在步骤602确定注视检测坐标系的边界。在步骤604，基于所反射的包括闪光的眼睛数据来确定每一只眼睛的注视向量，并且在步骤606，确定两只眼睛的在三维（3D）用户视野中的例如用户正在观看的事物等注视点。因为例如通过像图8A-8B中的实施例等实施例对用户视野中的对象的位置和身份进行了跟踪，所以在步骤608，标识在3D用户视野中的注视点处的任何对象。在许多实施例中，三维用户视野包括所显示的虚拟对象和真实物体的实际直接视图。术语“物体”包括人。

图12中的方法实施例和下文讨论的将闪光数据用于检测注视的其他方式的其他方法实施例可以从眼睛的图像数据中标识这样的闪光。在使用IR照明器时，通常也使用IR图像传感器。以下方法也与分立表面位置敏感检测器（PSD）（例如具有像素的PSD）一起工作。图13是用于标识图像数据中的闪光的方法实施例的流程图。如上所述，闪光是非常小的，并且常常是来自光源的光在诸如眼睛角膜等镜面反射表面上的非常明亮的反射。在以下方法实施例中，各步骤中的每一个步骤是针对数据样本集合来执行的。在一些示例中，这可包括来自一个图像或图像帧的数据，并且在其他示例中，数据样本集合可以是多个图像或图像帧。在步骤605，处理器标识具有其自己的处于预定强度范围内的强度值的像素的每一连通集，例如强度值范围可在220开始并且在最亮像素值255处结束。在步骤607，通过将满足闪光几何准则的每一像素连通集标识为候选闪光来修剪候选闪光。闪光几何准则的示例是大小和形状。一些可能过大、过小、或具有过度不规则的形状。此外，对照明器进行定位以使所得到的闪光彼此具有空间或几何关系。例如，对照明器153进行安排以使闪光形成矩形。在图14中讨论的瞳孔中心也是根据图像数据来确定的实施例中，与瞳孔的空间关系也可以是准则，例如距瞳孔的距离过远可指示连通集不是候选闪光。

在步骤609，一个或多个处理器确定候选闪光是否比预定数量更少。例如，对于四个照明器而言，预期有四个闪光，但预定数量可能是二。在矩形作为几何关系的示例中，形成预定长度的水平线或对角线的两个闪光可被选作候选。对于其他闪光，可能有眼睑或睫毛遮挡。如果存在少于预定数量的闪光，则丢弃该数据样本集合以用于进一步处理，并且处理在步骤611返回到步骤605以处理下一数据样本集合。如果候选不少于预定数量，则步骤613确定候选闪光是否比预定数量更多。如果有更多闪光，则在步骤615，一个或多个处理器选择最紧密地适合闪光之间的预定几何关系的预定数量的候选作为闪光。例如，对于矩形，最紧密的形成该预定大小和形状的矩形的那些候选。如果没有多于该数量的候选，则候选的数量与闪光的预定数量匹配，并且在步骤617这些候选被选作闪光。

由于以上讨论用于生成闪光的照明器的放置的几何形状，闪光出现在相同的位置，除非镜架115相对于眼睛移动。此外，由于照明器相对于彼此在镜架115或透镜118的支撑结构上的定位是固定的，所以在图像中闪光彼此之间空间关系也是固定的。至于大小，由于闪光非常小，所以组成传感器上的以及所传感的图像中的闪光区域的像素数量将相应地小。例如，如果相机的图像传感器具有1000像素，则每一闪光可占据小于十个像素。可以监视以例如每秒30或60帧的速率拍摄的每一图像帧中的闪光，并且一区域可被标识为来自一定数量的帧样本的闪光。可能不是在每一帧中都存在闪光数据。诸如由于像覆盖闪光和/或瞳孔的眼睑或睫毛之类的因素，采样在不同的图像帧中适应或平滑掉闪光和瞳孔数据的障碍物。图像帧是图像格式的示例。

图14是可被用于实现确定注视检测坐标系的边界的步骤602的方法实施例的流程图。在步骤612，一个或多个处理器基于闪光确定每一眼睛的角膜中心164相对于照明器153和至少一个光传感器（例如134或152）的位置。基于至少一个传感器所提供的图像数据，在步骤614，一个或多个处理器确定每一只眼睛的瞳孔中心。在步骤616，相对于角膜和瞳孔中心来确定眼球旋转中心的位置，该位置可被当作是固定的。例如，基于瞳孔中心，光线可以通过所确定的角膜中心164延伸回到固定的眼球旋转中心166。另外，距离或长度近似被用于对瞳孔与角膜之间的光轴上的长度（例如大约3mm）以及角膜的曲率中心与眼球旋转中心之间的光轴上的长度（大约6mm）进行近似。这些值是根据对人眼参数的人口研究中确定的，如Gullstrand所搜集的（参见Hennessey，第88页）。

可任选地，在步骤618，一个或多个处理器确定固定的眼球旋转中心相对于照明器和相应眼睛的至少一个传感器的位置。在步骤618确定的这一位置提供固定点（或可被近似为固定以精确考虑注视检测的点）与显示光学系统之间的深度距离。实际上，为深度检测坐标系定义了深度轴。沿深度轴检测到的变化可被用来指示近眼显示系统已经移动，并且触发每一光轴与其相应瞳孔的对准的检查来查看是否仍然满足对准准则。如果否，则根据步骤752执行自动重新调整。图9A到9D提供可如何执行重新调整的示例。

图15示出用于使用透视、近眼、混合现实显示器的光学元件来确定角膜中心在坐标系中的位置的方法实施例。在步骤622，一个或多个处理器生成包括各点的第一平面，这些点包括用于生成第一闪光的第一照明器的位置、例如相机入口瞳孔中心等至少一个图像传感器的瞳孔中心的位置、以及第一闪光的位置。如在图3A的实施例中一样，相机的瞳孔中心可以相对于检测区域139来定位，检测区域139担当图像平面并且将它接收到的光定向到另一位置中的图像传感器。在其他示例中，像图3B和3C，检测区域139本身可以是图像传感器，它是图像平面。该第一平面也将包括角膜中心的位置。类似地，在步骤624，一个或多个处理器生成包括各点的第二平面，这些点包括用于生成第二闪光的第二照明器的位置、至少一个传感器的同一瞳孔中心的位置、以及第二闪光的位置。这两个平面共享同一相机瞳孔中心作为原点，并且到每一照明器的距离向量相对于相机瞳孔中心而言是固定的，因为图像传感器和照明器被定位在近眼显示设备上的预定位置处。这些预定位置允许平面中的各点在第三坐标系中彼此相关，该第三坐标系包括这两个照明器、相机瞳孔中心的位置、以及角膜曲率中心。在步骤626，处理器基于第一和第二平面的相交来确定角膜曲率中心的位置。

图16提供可由图15的实施例用来发现角膜中心的注视检测坐标系500的几何的说明性示例。在该实施例中，至少一个传感器是被建模成针孔相机的相机。所描绘的几何是（Hennessey等人的“A Single Camera Eye-Gaze TrackingSystem with Free Head Motion（在自由头部运动的情况下的单相机眼睛注视跟踪系统）”，ETRA 2006，圣地亚哥，加利福尼亚州，ACM，第88页，第87-94页（此后称为Hennessey），其通过引用结合于此）的第89页上的图3的稍微修改的版本。以下提供变量的列表：

是照明器i的位置，该照明器的光产生闪光

（例如174），

是照明器i（153）在角膜表面上产生的闪光，

是针孔相机模型的相机瞳孔中心，

是闪光

在图像平面上的图像，该图像平面是相机传感器的检测区域139，

长度i是从点

到

的标量距离或长度，

是从相机瞳孔中心到闪光在图像传感器上的图像

的向量，

是从相机瞳孔中心

到照明器i的位置

的向量，

在该示例中，

轴沿

定义

并且坐标系的轴使得连接图像平面139（检测区域）上的闪光

的图像

的

位于由

和

轴形成的平面中。

是在

平面中形成的表示从照明器（153）位置

到角膜表面上的闪光

（174）的入射光线的线502之间的角度。

是在平面

中形成的表示从闪光

到相机的相机瞳孔中心

的反射光线的线504之间的角度，相机瞳孔中心也是该坐标系的原点。

是角膜中心的位置，它也位于

平面中。

因为角膜被建模成球形，r是角膜球的半径，并且每一闪光

是该球形的第一表面（即外表面）上的点，所以每一闪光与角膜中心相距半径r。在以上示例中，闪光

被建模成角膜的外表面（即第一表面）上的点。在这样的模型中，照明器的光在相同折射率的相同介质（空气）中散射离开角膜，作为闪光的定向回相机传感器的反射光。

如图16所示，与角膜的表面上的闪光

垂直的线或光线506可以在角膜的方向上从闪光来延伸，并且还被延伸以与该坐标系的平面的

轴相交。还如图16所示，入射光线502和反射光线504构成带有照明器

与相机瞳孔中心

之间的线长度i的直角三角形。因此，角度A和角度D各自由

来表示，其中

{\hat{α}}_{i} = \cos^{- 1} (\frac{- {\hat{I}}_{i} \cdot {\hat{Q}}_{i}}{| | - {\hat{I}}_{i} | | \cdot | | {\hat{Q}}_{i} | |})

且

{\hat{β}}_{i} = \tan^{- 1} (\frac{{\hat{g}}_{ix} \cdot \tan ({\hat{α}}_{i})}{{\hat{l}}_{i} - {\hat{g}}_{ix}}) .

根据Hennessey，角膜中心可以在坐标系500中根据未知参数

来定义，得到用于4个未知数

的如下三个等式：

[\begin{matrix} {\hat{c}}_{ix} \\ {\hat{c}}_{iy} \\ {\hat{c}}_{iz} \end{matrix}] = [\begin{matrix} {\hat{g}}_{ix} - r \cdot \sin (\frac{{\hat{α}}_{i} - {\hat{β}}_{i}}{2}) \\ 0 \\ {\hat{g}}_{ix} \cdot \tan ({\hat{α}}_{i}) + r \cdot \cos (\frac{{\hat{α}}_{i} - {\hat{β}}_{i}}{2}) \end{matrix}]

包括角膜中心

另一闪光

相机的相机瞳孔中心以及另一照明器的位置

的另一个二维平面也被形成。相机的相机瞳孔中心

以及角膜中心在每一平面中是相同的，但相机瞳孔中心

位置是已知的。这将产生带有8个未知数的6个等式。在Hennessey中，注视检测坐标系被当作辅助坐标系，旋转矩阵

可以在该辅助坐标系与诸如将检测区域139的位置与照明器153进行相关的第三坐标系等单个世界坐标系之间转换每一平面的各点。存在以下约束：其中为每一闪光定义的角膜中心在世界坐标系中是相同的，例如

并且对不同的轴分量得到3个等式，例如

以及

因此提供了带有8个未知数的9个等式。Hennessey（第90页）声称使用梯度下降算法求解出

的数字值。因此，角膜168的位置中心164是相对于照明器的位置和图像平面或检测区域139来定义的。

图17示出用于从传感器生成的图像数据来确定瞳孔中心的方法实施例。在步骤642，一个或多个处理器标识相应眼睛的多个图像数据样本中的黑瞳孔区域，并且在步骤644，对该多个图像数据样本中的黑瞳孔区域求平均以针对摇头进行调整。可以作出瞳孔是圆形并且在从一个角度观看时是椭圆形的假定。椭圆的一个轴（主轴）保持不变，因为它表示不会改变的瞳孔直径，假定光照不会改变，因为瞳孔大小随光照改变而改变。

在瞳孔正在透过显示器看向正前方时，瞳孔在诸如其检测区域以该显示器的光轴为中心的相机的图像帧等图像格式中显得是圆形。在瞳孔改变其注视并从图像帧的中心移开时，瞳孔显得是椭圆，因为从一个角度看上去圆形显得是椭圆。椭圆的短轴的宽度随注视改变而改变。图像帧的中心左侧的窄椭圆指示用户正在看向右侧远方。距图像帧的中心右侧较小距离的较宽椭圆指示用户正在向左看但不是左侧远方。

瞳孔的中心是椭圆的中心。从图像中的检测到的边缘点来拟合椭圆。因为这样的边缘点是带噪声的并且并非它们全部都在椭圆上，所以在所有边缘点的随机选择的子集上将椭圆拟合过程重复多次。与所有边缘点最一致的子集被用来获得最终椭圆。在步骤646，处理器对平均黑瞳孔区域执行椭圆拟合算法以确定表示瞳孔的椭圆，并且在步骤648，通过确定表示瞳孔的椭圆的中心来确定瞳孔中心。

在标识了旋转中心、角膜中心、以及瞳孔中心的情况下，可以将光线从旋转中心延伸穿过角膜和瞳孔中心来获得眼睛的光轴。然而，如上所述，人类的注视向量是从小凹穿过瞳孔中心的视轴或视线。人类视网膜的小凹区域中的感光器比视网膜的其余部分中的感光器更密地填塞。这一区域提供最高视觉敏锐度或视觉清晰度，并且还提供邻近物体的立体视觉。在确定光轴之后，可以应用默认注视偏移角度，使得光轴对视轴进行近似并且被选作注视向量。

图18示出用于基于所确定的瞳孔中心、角膜中心、以及眼球旋转中心来确定注视向量的方法实施例，并且该实施例可用于实现步骤604。在步骤652，一个或多个处理器将眼睛的光轴178建模成从固定的眼球旋转中心延伸穿过所确定的角膜中心和瞳孔中心的光线，并且在步骤654，对所建模的光轴应用校正以估计视轴。在步骤656，一个或多个处理器将所估计的视轴从瞳孔延伸穿过透视、近眼显示器的显示光学系统进入用户视野。

在一个实施例中，使用照明器的固定定位作为基础，眼睛的不同区域对反射率的影响（并且因此对反射光的量或强度的影响）被用作注视检测的基础。来自IR或可见光传感器的强度数据可被用来确定注视，所以反射率数据能以基于IR的反射率或可见光反射率为基础。为说明起见，巩膜比眼睛的其他区域（如瞳孔和虹膜）更具反射性。如果用户向该用户的左侧远方看去，则位于镜架115上用户的右侧远处的照明器153造成用户的右眼的右巩膜上的闪光反射。PSD 134r或如图6B所示，近鼻梁104的内部右镜架上的光电检测器152接收在一数据读数中表示的较多反射光，而在其他光电检测器152处或PSD上的其他位置处来自反射的光在最接近鼻梁的照明器153被打开时在与黑瞳孔相关联的范围内接收较少的反射光的量。虹膜的反射率也可以由相机134捕捉并由处理器210、处理单元4或包括处理单元4的移动设备5来为用户进行存储。

精确度可能不像基于整个眼睛的图像的精确度那么高，但对许多应用而言是足够的。另外，这样的注视检测可用于辅助或备份注视检测技术。例如，在生成复杂虚拟图像的在计算上密集的时间段期间，这样的基于闪光的技术减轻了一些处理器开销。此外，与基于图像的技术相比，这样的基于闪光的技术在一时间段中可被执行更多次，其中基于图像的技术处理更多数据或在计算上密集但却是更精确的技术，它能以较低速率运行以周期性地重新校准注视检测的精确度。既是基于图像的又是在计算上更密集的注视检测技术的示例是用于基于闪光数据和瞳孔图像数据来相对于眼睛的内部部分确定注视向量的技术，如在图12-18中描述的实施例，它能以较低速率运行以周期性地重新校准注视检测的准确度。例如，部分地基于图像数据的在计算上更密集的技术的实施例能以每秒十（10）次的速率运行，而基于闪光的注视检测技术能以每秒一百（100）次或甚至在一些情况下每秒五百（500）次的更快速率运行。

图19是示出用于基于闪光数据来确定注视的方法实施例的流程图。在步骤673，捕捉表示每一闪光强度值的数据。基于不同眼睛部分的镜面反射率以及照明器的位置，在步骤674基于检测到的强度值来标识与闪光有几何关系的每一闪光位置的眼球部分。在步骤675，基于与闪光位置中的每一个相关联的眼球部分来估计注视角度。如在先前示例描述的，眼球部分可以是虹膜、瞳孔、或眼球的巩膜。照明器的位置形成闪光的几何形状，例如至少在两侧框起或包围瞳孔的框、圆、矩形等。在步骤676基于注视角度来确定注视向量，并且在步骤677基于所确定的两只眼睛的注视向量的相交来确定3D用户视野中的注视点。

如上所述，能以不同的周期率使用具有不同精确度的不同方法来以精确度换取速度。诸如在图19中描述的方法实施例等基于闪光强度值的方法实施例是可以使用的具有低计算强度的技术的示例。

对移动的其他测试可基于在图像数据中具有固定特性的面部特征来执行。在一个实施例中，眼睛相机可捕捉角膜突出部分、巩膜、虹膜和瞳孔的可见眼球部分周围约5至10mm的区域，以便捕捉眼睑和睫毛的部分。还可将像在诸如眼睑的皮肤上或在包起下眼球的皮肤底部边缘上的痣或斑等位置固定的面部特征呈现在眼睛的图像数据中。在图像样本中，可监视痣或斑的位置以寻找位置改变。如果面部特征上移、下移、右移或左移，则可检测到垂直或水平偏移。如果面部特征显得更大或更小，则眼睛与显示设备2之间的空间关系中的深度改变可被确定。由于像相机分辨率等事物，可存在用于触发训练图像的重新校准的位置变化的准则范围。

在另一示例中，尽管光照是改变瞳孔大小和瞳孔区域与虹膜外周或周界内可见虹膜区域的比例的因素，但虹膜周界或外周的大小不随着注视改变或光照改变而改变，因此，该周界或外周是作为面部特征的虹膜的固定特性。通过对虹膜进行椭圆拟合，处理器210或显示设备2的处理单元4、5的处理器可以根据准则来确定在图像数据中虹膜是否变得更大或更小。如果变大，则带有其照明器153和至少一个传感器134的显示设备2已经在深度上移至更接近于用户的眼睛；如果变小，则显示设备2已经移至更远。固定特性中的变化可以触发IPD对准检查。

除深度变化之外，也可以通过周期性检查来确定瞳孔对准中的垂直和水平变化，该周期性检查是在预定距离处显示虚拟对象以供用户在看向正前方时观看并且按照在图像数据中为中心或处于预定闪光位置来查看瞳孔是否以光轴为中心。垂直和水平变化也可触发重新调整。如在以上示例中所示，在一些实施例中，显示调整机构提供在三个维度中的任一个维度上的移动。

图20是可以在本发明技术的各实施例中操作的示例性移动设备的框图。描绘了典型移动电话的示例性电子电路。电话900包括一个或多个微处理器912，以及存储由控制处理器912的一个或多个处理器执行来实现此处所述的功能的处理器可读代码的存储器1010（例如，诸如ROM等非易失性存储器和诸如RAM等易失性存储器）。

移动设备900可包括例如处理器912、包括应用和非易失性存储的存储器1010。处理器912可实现通信以及任何数量的应用，包括本文中所描述的交互应用。存储器1010可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。设备操作系统处理移动设备900的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用1030可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、其他多媒体应用、闹钟应用、其他第三方应用、本文中讨论的交互应用等。存储器1010中的非易失性存储组件1040包含诸如web高速缓存、音乐、照片、联系人数据、日程安排数据、以及其他文件等数据。

处理器912还与RF发射/接收电路906进行通信，该电路906进而耦合到天线902，它还与红外发射器/接收器908、与像Wi-Fi或蓝牙等任何附加通信信道1060、以及与像加速度计等移动/定向传感器914通信。加速度计被包括到移动设备中，以启用诸如让用户通过姿势输入命令的智能用户界面之类的应用，在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能，并检测设备的定向，并且，当旋转电话时自动地将显示从纵向变为横向。可以，例如，通过微机电系统（MEMS）来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械设备（微米尺寸）。可以感应加速方向、以及定向、振动和震动。处理器912还与响铃器/振动器916、用户界面键区/屏幕、生物测定传感器系统918、扬声器1020、话筒922、相机924、光传感器926以及温度传感器928进行通信。

处理器912控制无线信号的发射和接收。在发射模式期间，处理器912向RF发射/接收电路906提供来自话筒922的语音信号或其他数据信号。发射/接收电路906将该信号发射到远程站（例如固定站、运营商、其他蜂窝电话等）来通过天线902进行通信。响铃器/振动器916被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信号。在接收模式期间，发射/接收电路906通过天线902接收来自远程站的语音或其他数据信号。所接收到的语音信号被提供给扬声器1020，同时所接收到的其它数据信号也被适当地处理。

另外，物理连接器988可被用来将移动设备900连接到外部电源，如AC适配器或加电对接底座。物理连接器988还可被用作到计算设备的数据连接。该数据连接允许诸如将移动数据与另一设备上的计算数据进行同步等操作。

为这样的服务启用使用基于卫星的无线电导航来中继用户应用程序的位置的GPS收发机965。

附图中示出的示例计算机系统包括计算机可读存储介质的示例。计算机可读存储介质也是处理器可读存储介质。这样的介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。

图21是描绘可用于实现像图1A和1B中的中枢计算系统之类的中枢计算系统的计算系统的一个实施例的框图。在这一实施例中，计算系统是诸如游戏控制台等多媒体控制台800。如图18所示，多媒体控制台800具有中央处理单元（CPU）801以及便于处理器访问各种类型存储器的存储器控制器802，包括闪速只读存储器（ROM）803、随机存取存储器（RAM）806、硬盘驱动器808、以及便携式媒体驱动器806。在一种实现中，CPU 801包括1级高速缓存810和2级高速缓存812，这些高速缓存用于临时存储数据并因此减少对硬盘驱动器808进行的存储器访问周期的数量，从而提高了处理速度和吞吐量。

CPU 801、存储器控制器802、以及各种存储器设备经由一个或多个总线（未示出）互连在一起。在本实现中所使用的总线的细节对理解此处所讨论的关注主题不是特别相关。然而，应该理解，这样的总线可以包括串行和并行总线、存储器总线、外围总线、使用各种总线体系结构中的任何一种的处理器或局部总线中的一个或多个。作为示例，这样的体系结构可以包括工业标准体系结构（ISA）总线、微通道体系结构（MCA）总线、增强型ISA（EISA）总线、视频电子标准协会（VESA）局部总线、以及也称为夹层总线的外围部件互连（PCI）总线。

在一个实施方式中，CPU 801、存储器控制器802、ROM 803、以及RAM806被集成到公用模块814上。在此实施方式中，ROM 803被配置为通过PCI总线和ROM总线（两者都没有示出）连接到存储器控制器802的闪速ROM。RAM 806被配置为多个双倍数据速率同步动态RAM（DDR SDRAM）模块，它们被存储器控制器802通过分开的总线（未示出）独立地进行控制。硬盘驱动器808和便携式媒体驱动器805被示为通过PCI总线和AT附加（ATA）总线816连接到存储器控制器802。然而，在其他实现中，也可以备选地应用不同类型的专用数据总线结构。

图形处理单元820和视频编码器822构成了用于进行高速度和高分辨率（例如，高清晰度）的图形处理的视频处理流水线。数据通过数字视频总线（未示出）从图形处理单元（GPU）820传输到视频编码器822。通过使用GPU 820中断来显示由系统应用程序生成的轻量消息（例如，弹出窗口），以调度代码来将弹出窗口呈现为覆盖图。覆盖图所使用的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器（scaler）可用于设置该分辨率，从而消除了对改变频率并引起TV重新同步的需求。

音频处理单元824和音频编解码器（编码器/解码器）826构成了对应的音频处理流水线，用于对各种数字音频格式进行多通道音频处理。通过通信链路（未示出）在音频处理单元824和音频编解码器826之间传输音频数据。视频和音频处理流水线向A/V（音频/视频）端口828输出数据，以便传输到电视机或其他显示器。在所示出的实现中，视频和音频处理组件820-828安装在模块214上。

图21示出了包括USB主控制器830和网络接口832的模块814。USB主控制器830被示为通过总线（例如，PCI总线）与CPU 801和存储器控制器802进行通信，并作为外围控制器804(1)-804(4)的主机。网络接口832提供对网络（例如因特网、家庭网络等）的访问，并且可以是包括以太网卡、调制解调器、无线接入卡、蓝牙模块、电缆调制解调器等各种有线或无线接口组件中的任一种。

在图21中描绘的实现中，控制台800包括用于支持四个控制器804(1)-804(4)的控制器支持子部件840。控制器支持子部件840包括支持与诸如，例如，媒体和游戏控制器之类的外部控制设备的有线和无线操作所需的任何硬件和软件组件。前面板I/O子部件842支持电源按钮812、弹出按钮813，以及任何LED（发光二极管）或暴露在控制台802的外表面上的其他指示器等多个功能。子部件840和842通过一个或多个电缆部件844与模块814进行通信。在其他实现中，控制台800可以包括另外的控制器子部件。所示出的实现还示出了被配置成发送和接收可以传递到模块814的信号的光学I/O接口835。

MU 840(1)和840(2)被示为可分别连接到MU端口“A”830(1)和“B”830(2)。附加MU（例如，MU 840(3)-840(6)）被示为可连接到控制器804(1)和804(3)，即每一个控制器两个MU。控制器804(2)和804(4)也可以被配置成接纳MU（未示出）。每一个MU 840都提供附加存储，在其上面可以存储游戏、游戏参数、及其他数据。在一些实现中，其他数据可以包括数字游戏组件、可执行的游戏应用，用于扩展游戏应用的指令集、以及媒体文件中的任何一种。当被插入到控制台800或控制器中时，MU 840可以被存储器控制器802访问。系统供电模块850向游戏系统800的组件供电。风扇852冷却控制台800内的电路。还提供微控制器单元854。

包括机器指令的应用860被存储在硬盘驱动器808上。当控制台800被接通电源时，应用860的各个部分被加载到RAM 806，和/或高速缓存810以及812中以在CPU 801上执行，其中应用860是一个这样的示例。各种应用可以存储在硬盘驱动器808上以用于在CPU 801上执行。

可以通过简单地将系统连接到监视器16（图1A）、电视机、视频投影仪、或其他显示设备来将游戏与媒体系统800用作独立系统。在此独立模式下，游戏和媒体系统800允许一个或多个玩家玩游戏或欣赏数字媒体，例如观看电影或欣赏音乐。然而，随着宽带连接的集成通过网络接口832而成为可能，游戏和媒体系统800还可以作为较大的网络游戏社区的参与者来操作。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims

1.一种用于调整透视、近眼、混合现实显示器以便与瞳孔间距（IPD）对准的系统，包括：

包括用于每只眼睛的显示光学系统（14）的透视、近眼、混合现实显示设备（2），每个显示光学系统具有光轴（142）并被定位成由相应的眼睛（160）透视；

所述显示设备包括用于支撑每个显示光学系统的相应的活动支撑结构（115、117）；

附连到所述显示设备的每个显示光学系统的至少一个传感器（134、152），所述传感器在用于捕捉所述相应的眼睛的数据的位置处具有检测区域（139、152）；

用于存储软件和数据的存储器（214、330、1010、803、806、840），所述数据包括每只眼睛的所捕捉到的数据；

一个或多个处理器（210、320、324、801、820、912），所述一个或多个处理器能访问所述存储器以基于所捕捉到的数据以及相应检测区域的位置来确定每个显示光学系统的一个或多个位置调整值，以供与所述IPD对准；以及

至少一个显示调整机构（203、205、附图4A-4J），所述显示调整机构被附连到所述显示设备并通信地耦合到所述一个或多个处理器，以移动至少一个活动支撑结构来根据所述一个或多个位置调整值调整相应的显示光学系统的位置。

2.如权利要求1所述的系统，其特征在于，所述相应的活动支撑结构还支持与所述显示光学系统对准的图像生成单元（120）。

3.如权利要求1所述的系统，其特征在于，

所述一个或多个处理器基于所捕捉到的数据以及相应检测区域的位置来确定每个显示光学系统的一个或多个位置调整值还包括所述一个或多个处理器确定每只眼睛相对于其相应的显示光学系统的光轴的瞳孔位置。

4.如权利要求1所述的系统，其特征在于，所述至少一个显示调整机构能够根据所述一个或多个位置调整值在所述一个或多个处理器的自动控制下在三个维度中的任一个上移动至少一个活动支撑结构（附图4C、6A、6C、6D 203、205）。

5.如权利要求1所述的系统，其特征在于，

所述至少一个显示调整机构由所述一个或多个处理器自动地控制以根据所述一个或多个位置调整值来调整（408）所述相应的显示光学系统的位置。

6.如权利要求1所述的系统，还包括：

所述一个或多个处理器使得所述显示设备电子地提供（333）用于用户激活所述至少一个显示调整机构以根据所述一个或多个位置调整值来移动所述至少一个活动支撑结构的指令；

所述至少一个显示调整机构包括机械控制器（附图4D-4J，203b、207、210、211、213、203a、223、225、227、221、204、127、123），所述机械控制器具有用于用户激活该控制器以对应于至少一个显示光学系统的移动的预定距离和方向的校准；以及

所述一个或多个处理器基于所述校准来确定所述指令的内容。

7.如权利要求4所述的系统，其特征在于：

在所述一个或多个处理器的控制下的所述至少一个显示调整机构在三个维度中的任一个上移动所述图像生成单元，以便维持所述图像生成单元与相应的显示光学系统之间的光路。

8.一种在包括用于每只眼睛的显示光学系统（14）的透视、近眼、混合现实显示系统（2、4、5）中的、用于将透视、近眼、混合现实显示设备与用户的瞳孔间距（IPD）对准的方法，每个显示光学系统具有光轴（142）并被定位成由相应的眼睛（160）透视，所述方法包括：

根据对准准则自动地确定所述透视、近眼、混合现实显示器是否与用户IPD对准（301）；以及

响应于根据所述对准准则所述显示设备未与所述用户IPD对准，

确定至少一个显示光学系统的用于满足所述对准准则的一个或多个调整值（407），以及

基于所述一个或多个调整值来调整所述至少一个显示光学系统（408）。

9.如权利要求7所述的方法，其特征在于，基于所述一个或多个调整值来调整所述至少一个显示光学系统还包括根据深度调整值来调整所述至少一个显示光学系统（453、418）。

10.如权利要求10所述的方法，其特征在于，基于三维位置差向量来确定所述一个或多个调整值，所述三维位置差向量表示到三维用户视野中对象的当前注视向量与基准注视向量之间的位置差。