CN104094197A

CN104094197A - 利用投影仪的注视追踪

Info

Publication number: CN104094197A
Application number: CN201380008249.0A
Authority: CN
Inventors: P-A.阿伦松
Original assignee: Sony Ericsson Mobile Communications AB
Current assignee: Sony Mobile Communications AB
Priority date: 2012-02-06
Filing date: 2013-01-03
Publication date: 2014-10-08
Anticipated expiration: 2033-01-03
Also published as: CN104094197B; WO2013117999A1; US9916005B2; US20140354514A1; EP2812775A1

Abstract

本发明针对用于注视追踪的系统、方法和计算机程序产品。示例性方法包括：使用投影仪将光导入眼睛；使用图像捕获模块检测来自与所述眼睛相关联的表面的反射；以及基于所检测的反射确定与所述眼睛相关联的视线。在一些实施例中，所述光包括红外光。在一些实施例中，所述投影仪包括激光器。在一些实施例中，所述投影仪包括硅上液晶（LCoS）芯片。在一些实施例中，与所述反射相关联的所述表面是角膜、虹膜或视网膜中的至少一个。

Description

利用投影仪的注视追踪

背景技术

如图1中所呈现的，人眼100的重要部件包括角膜110、虹膜120、瞳孔130、晶状体135、视网膜140和视神经150。角膜110是在眼睛前部的清亮的外凸表面。角膜110是眼睛的主要折射表面。虹膜120是眼睛的有色部件，其调整进入眼睛的光的量。瞳孔130是在虹膜120的中心处的开口。虹膜120更改或调节瞳孔130的大小并且由此控制进入眼睛的光的量。晶状体135是虹膜120后面的、眼睛的清亮部件，其将光聚焦在视网膜140上。视网膜140是排列在眼睛背部的光敏组织。视网膜140将光转换为电信号，该电信号经由视神经被传递到大脑。水状体160是凝胶状液体，其位于晶状体135和角膜110之间的空间中。水状体160的功能是保持眼内压和使眼球膨胀。

注视追踪是在一段时间内追踪注视点（与眼睛或眼睛正在看的东西相关联的视线）的过程。在基础水平，注视追踪包括使用光源照射眼睛的步骤，由此引起来自眼睛的各种边界的可见反射。这些反射中的一些可以被称为浦肯野（Purkinje）图像。被追踪的一种类型的可见反射是微光。微光是被角膜反射的少量的光。微光也可以被称为第一浦肯野图像。

如在此所使用的，注视追踪可以包括生成反射和追踪反射的步骤。生成反射的步骤可以使用离散红外（IR）光源（例如，用于将IR光导入眼睛的离散IR发光二极管（LED））来施行。存在与使用IR光来用于注视追踪相关联的若干优点。IR光能够照射眼睛而不打扰观众。此外，IR光被角膜或眼睛的其他部件（例如，瞳孔）较好地反射，并且结果，反射更容易由IR图像捕获模块（例如，IR照相机）可检测。

然而，存在与使用离散IR LED来将光导入眼睛相关联的若干缺点。在其中从图像捕获模块到眼睛的距离非常小的系统中，当反射变得更大时，反射（例如，微光）可能难以进行具有高精度的检测和/或追踪。此外，IR LED能够占据相当大量的空间，并且由于注视追踪系统上的空间可能有限，当需要若干个IR LED时，系统无法容纳若干个IR LED。此外，当系统需要容纳若干个IR LED时，每个LED需要分离开至少预定距离以便使得反射（例如，微光）能够落入角膜的球形部位。当系统上的空间有限时，因为有限的空间阻碍了每个LED从另一个LED分离开预定距离，所以系统无法容纳若干个LED。此外，在其上注视的方向能够被追踪的角度范围较小，因为眼睛移动导致反射（例如，微光）落在角膜的球形部位之外，这使反射的检测不太可靠。

因此，所需要的是克服这些缺点的用于注视追踪的系统。

发明内容

本发明的实施例针对用于注视追踪的系统、方法和计算机程序产品。在一些实施例中，所述方法包括：使用投影仪将光导入眼睛；使用图像捕获模块检测来自与眼睛相关联的至少一个表面的至少一个反射；以及基于所检测的反射确定与眼睛相关联的视线。在一些实施例中，所述光包括红外光。在一些实施例中，所述投影仪包括激光器。在一些实施例中，所述投影仪包括硅上液晶（LCoS）芯片。在一些实施例中，与所述反射相关联的所述至少一个表面是与眼睛相关联的角膜、瞳孔、虹膜或视网膜中的至少一个。

在一些实施例中，所述投影仪和所述图像捕获模块被包括在头戴设备内。在一些实施例中，所述头戴设备包括眼镜、护目镜或头盔中的至少一个。

在一些实施例中，所述光形成图案。如在此所使用的，图案是指图像。术语“图像”和“图案”是等同的。在一些实施例中，所述图案具有四边形的形状。在一些实施例中，所述投影仪包括非暂态存储器，所述存储器存储至少一个图案，并且其中所述投影仪至少部分地基于眼睛的至少一个部分与该部分基本上中心的位置的距离来选择图案或者为该图案选择投影位置。在一些实施例中，所述存储器可以被收纳在从所述投影仪分离的设备中。在一些实施例中，与眼睛的部分（例如，瞳孔、视网膜等）相关联的基本上中心的位置是指当观众正在看或基本上笔直向前地聚焦在被远远地安置或者在无限远的距离处的对象时，眼睛的所述部分的位置。

在一些实施例中，所述方法还包括确定瞳孔或者瞳孔的至少一部分（例如，瞳孔的基本上中心的部分）的位置。

在一些实施例中，所述方法还包括更改以下各项中的至少一个：所述至少一个反射的大小、与所述至少一个反射相关联的形状、与所述至少一个反射相关联的强度或反射的量。

在一些实施例中，头戴设备包括显示器，并且所述方法还包括使用所述投影仪将图像投影到所述显示器上。

在一些实施例中，所述方法还包括至少部分地基于所述眼睛与第二眼睛之间的瞳孔间距离来调节所述图像。

在一些实施例中，一种用于注视追踪的头戴系统包括：至少一个显示器；第一投影仪，用于将光导入第一眼睛并用于将第一图像投影到所述至少一个显示器上；以及第一图像捕获模块，用于：检测来自与所述第一眼睛相关联的至少一个表面的至少一个反射，并且基于所检测的反射确定与所述第一眼睛相关联的视线。

在一些实施例中，所述系统还包括第二投影仪，用于将光导入第二眼睛并用于将第二图像投影到所述至少一个显示器上；以及第二图像捕获模块，用于：检测来自与所述第二眼睛相关联的至少一个表面的至少一个反射，并且基于所检测的反射确定与所述第二眼睛相关联的视线。

在一些实施例中，所述第一图像捕获模块确定与所述第一眼睛相关联的基本上中心的部分，并且其中所述第二图像捕获模块确定与所述第二眼睛相关联的基本上中心的部分。

在一些实施例中，所述系统还包括处理器，其至少部分地基于所确定的与所述第一眼睛相关联的基本上中心的部分和所确定的与所述第二眼睛相关联的基本上中心的部分来确定所述第一眼睛的瞳孔与所述第二眼睛的瞳孔之间的距离。

在一些实施例中，所述第一投影仪至少部分地基于所述第一眼睛与所述第二眼睛之间的瞳孔间距离来调节所述第一图像，并且其中所述第二投影仪至少部分地基于所述瞳孔间距离来调节所述第二图像。

在一些实施例中，一种用于调节与头戴系统相关联的至少一个显示器上的图像的方法，包括：将第一投影仪用于将第一图像投影到所述至少一个显示器上；将第二投影仪用于将第二图像投影到所述至少一个显示器上；将第一图像捕获模块用于确定与第一眼睛相关联的基本上中心的部分；将第二图像捕获模块用于确定与第二眼睛相关联的基本上中心的部分；至少部分地基于所确定的与所述第一眼睛相关联的基本上中心的部分和所确定的与所述第二眼睛相关联的基本上中心的部分来确定所述第一眼睛与所述第二眼睛之间的距离；至少部分地基于所确定的所述第一眼睛与所述第二眼睛之间的距离来调节所述第一图像；以及至少部分地基于所确定的所述第一眼睛与所述第二眼睛之间的距离来调节所述第二图像。在一些实施例中，所述第一投影仪将所述第一图像并且所述第二投影仪将所述第二图像投影到现实世界环境的基本上实况的视图上。

附图说明

已经概括地如此描述了本发明的实施例，现在将对附图做出参照，其中：

图1是图示出眼睛的截面视图；

图2是根据本发明的一个实施例图示出示例性系统的透视图；以及

图3是根据本发明的一个实施例图示出用于施行注视追踪的示例性过程流的流程图。

具体实施方式

参照附图，现在可以在下文中更充分地描述本发明的实施例，在附图中示出了本发明的一些（但非全部）实施例。确实，本发明可以以许多不同的形式来体现，并且不应当被解释为限于在此阐述的实施例；相反，提供这些实施例来使得本公开可以满足适用的法律要求。类似的标号自始至终指代类似的元件。

本发明针对使用非接触光学技术的、用于注视追踪的系统、方法和计算机程序产品。如在此所使用的，非接触技术是其中注视追踪系统不与眼睛物理接触的技术。一种示例性方法包括使用投影仪将光导入眼睛；使用图像捕获模块检测来自与眼睛相关联的表面的反射（例如，微光）；以及基于所检测的反射确定与眼睛相关联的视线。

在一些实施例中，注视追踪可以通过追踪与微光相关联的各种特性（例如，微光相对于注视追踪系统（例如，光源和/或图形捕获模块）的距离、方向和取向）来施行。在一些实施例中，如在此描述的取向可以包括与微光相关联的方位角、仰角或倾斜中的至少一个。在其他实施例中，注视追踪可以通过追踪微光和眼睛瞳孔或眼睛瞳孔的基本上中心的部分的位置二者来施行。在又一些其他实施例中，注视追踪可以通过追踪微光和来自瞳孔的反射（或者来自眼睛的任何其他表面或边界的反射）来施行。在这样的实施例中，可以将由微光和瞳孔反射（或来自眼睛的任何其它表面或边界的反射）之间的角度形成的矢量与其他几何数据相结合以确定注视方向。

在另外的实施例（例如，双浦肯野注视追踪系统）中，注视追踪可以通过追踪来自角膜前部的一个或多个反射（微光或第一浦肯野图像）以及来自眼睛的晶状体背部的一个或多个反射（第四浦肯野图像）来施行。在这样的实施例中，与两种反射相关联的数据可以被用于确定注视方向。

在又一些另外的实施例中，注视追踪可以通过对眼睛内的特征（例如，视网膜血管）进行追踪和/或成像（即，生成其图像）来施行。在一些实施例中，在此描述的图像捕获模块具有当眼睛或眼睛的各种部件移动或转动时继续对这些特征进行追踪和成像的能力。在这样的实施例中，图像捕获模块可以追踪或可以不追踪来自视网膜的反射。在其中反射被追踪的实施例中，图像捕获模块对来自视网膜（或视网膜血管）的反射或来自视网膜（或视网膜血管）的反射在一段时间内的改变进行检测、追踪和成像。

本发明的实施例不限于确定注视方向的任何特定方法。此外，在其中注视追踪系统支持多个注视追踪实施例的实施例中，注视追踪系统可以允许用户在各种模式之间切换。当注视追踪系统在模式之间切换时，注视追踪系统可以自动配置自身以使用所选择的模式来施行注视追踪。举例来说，当注视追踪系统从与追踪来自眼睛的一个或多个部件的反射相关联的模式转移到与对眼睛内的特征（例如，视网膜血管）进行追踪和成像相关联的模式时，图像捕获模块可以被配置为自动改变其聚焦以支持所选择的模式。在其他实施例中，上述实施例中的一个或多个的组合可以被用于确定注视方向。

尽管在此将注视追踪描述为追踪微光，但是本发明的实施例不限于追踪微光。本发明的实施例针对追踪与任何表面或边界相关联的反射，所述表面或边界与眼睛相关联（例如，除角膜以外的边界或表面）。因此，如在此所使用的，微光可以是指来自角膜的表面或与图1中所呈现的眼睛相关联的任何其他表面或边界的反射。

如在此所使用的，一种用于注视追踪的系统包括光源和图像捕获模块两者。在一些实施例中，光源将IR光照耀到眼睛上；然而，本发明的实施例不限于能够被照耀到眼睛上的任何特定类型（或频率）的光。在一些实施例中，光源和图像捕获模块被包括在相同的系统（例如，包括单个外壳的系统）中。在替换实施例中，光源和图像捕获模块被包括在分离的系统或分离的外壳中。

如在此所描述的图像捕获模块可以包括照相机或能够捕获图像或图像流（视频）的任何组件。图像捕获模块可以是数字照相机或数字摄像机。此外，图像捕获模块可以提供对照相机设置（例如，聚焦设置）的自动和/或手动调节。在一些实施例中，图像捕获模块包括除照相机以外或替代照相机的光学传感器。图像捕获模块可以检测来自与眼睛相关联的各种表面的一个或多个反射（或反射中的改变）、分析与所述一个或多个反射相关联的数据以及至少部分地基于所分析的数据来确定注视方向。

在此描述的图像捕获模块可以仅聚焦在单个眼睛上或者可以聚焦在两只眼睛上，并且当观众看着刺激物时检测和/或记录眼睛的移动。如在此所使用的，注视追踪系统的用户或观众可以是等同的。此外，图像捕获模块可以使用一个或多个技术来定位或追踪瞳孔或瞳孔的中心（或基本上中心的部分）。举例来说，图像捕获模块可以使用红外（IR）或近红外非准直光来生成与角膜相关联或者与眼睛的任何其他部件（例如，晶状体）相关联的反射。在一些实施例中，图像捕获模块可以生成瞳孔的中心（或基本上中心的部分）与所生成的反射之间的矢量以便确定注视方向。

在此描述的注视追踪系统（或与注视追踪系统相关联的图像捕获模块）使得能够实现亮瞳和深瞳追踪两者，以便确定瞳孔或瞳孔的中心的位置。亮瞳追踪和深瞳追踪之间的不同是光源相对于光学路径的位置。如果光源与光学路径同轴，则当光从视网膜反射时眼睛充当回射器，由此再现亮瞳效应。如在此所使用的，回射器是以最小光散射将光反射回其源的表面。如果光源从光学路径偏移，则瞳孔看起来是深色的，因为来自视网膜的回射被导向远离图像捕获模块。因此，在此描述的图像捕获模块至少部分地基于在此描述的光源是否与光学路径同轴或从光学路径偏移来使得能够实现要么亮瞳追踪要么深瞳追踪。如在此所使用的，光学路径是光在遍历注视追踪系统中采用的路径。

现在参照图2，图2呈现了一种用于施行注视追踪的示例性系统200。在一些实施例中，该示例性系统可以是如图2中呈现的护目镜或眼镜。在一些实施例中，光源220和图像捕获模块280可以被安放在该示例性系统的单侧上。在其他实施例中，光源220和图像捕获模块280的对被安放在该示例性系统的任一侧。在又一些其他实施例中，光源220可以被安放在该示例性系统的一侧上，而图像捕获模块280被安放在该示例性系统的另一侧上。本发明的实施例不限于将光源220和/或图像捕获模块280安放在该示例性系统上的任何特定位置。

光源220可以被用于将光照耀到或导入眼睛，由此生成来自与眼睛相关联的至少一个表面或边界的反射。附加地或替换地，光源220可以被用于照明或照射眼睛的表面，或眼睛的一个或多个部件。为了确定瞳孔或瞳孔的中心（或基本上中心的部分）的位置的目的，照射眼睛的表面可以是有用的。附加地或替换地，为了对视网膜血管的放置（和/或特性中的变化）进行检测和成像的目的，光源可以被用于照射视网膜。在其中视网膜血管被追踪和/或成像以便确定注视方向的实施例中，对视网膜的照射可以是有用的。

如在此描述的光源220可以是投影仪。投影仪可以是与在增强现实（AR）系统中的移动显示器上呈现叠加信息相关联的投影仪。如在此所使用的，增强（AR）现实是指现实世界环境的视图（例如，实况视图或延迟的视图），其中现实世界环境的元素被计算机生成的输入（诸如图像、声音等）所增强。因此，投影仪（以及在此描述的注视追踪系统）可以被包括在头戴显示器（HMD）系统中，并且该投影仪可以被用于将图像投影到HMD系统的显示器上。头戴显示器或头盔安装显示器（HMD）系统是可以被穿戴在头上的显示器系统。HMD系统可以采用眼镜、护目镜、面具或头盔的形式，尽管HMD系统不限于这些形式。HMD系统可以包括在仅一只眼睛前面的显示单元（单目HMD）或在每只眼睛前面的显示单元（双目HMD）。显示单元可以基于阴极射线管（CRT）、液晶显示器（LCD）、硅上液晶（LCoS）、发光二极管（LED）、有机发光二极管（OLED），等等。本发明的实施例不限于任何特定显示技术。如在此描述的HMD可以显示计算机生成的图像、来自现实世界的实况或延迟的图像或者两种图像的组合。

在一些实施例中，如在此描述的投影仪除红绿蓝（RGB）LED（其产生红光226、绿光224和蓝光228）外，可以包括至少一个IR LED（其产生IR光222）。在其他实施例中，投影仪可以仅包括一个或多个IR LED，而不包括RGB LED。包括在注视追踪系统中的控制模块可以被配置为对与每个IR LED和每个RGB LED相关联的发射进行单独地控制。在一些实施例中，控制模块可以基于眼睛的移动和/或头的移动（例如，基于从基本上中心的位置的眼睛或瞳孔的距离）来更改与每一种类型的LED（例如，IR LED）相关联的发射的强度。此外，在一些实施例中，控制模块可以基于眼睛的移动和/或头的移动（例如，基于眼睛或瞳孔与基本上中心的位置的距离）来调节哪些LED是活动的以及哪些LED是不活动的。

在一些实施例中，眼睛的移动是指眼睛的一部分的移动。如在此所使用的，眼睛的一部分也可以被称为眼睛的部件。在一些实施例中，与眼睛的一部分或部件（例如，瞳孔、视网膜、虹膜，等等）相关联的基本上中心的位置是指当观众看着或基本上笔直向前地聚焦在被远远地安置或在无限远的距离处的对象时，眼睛的该部分或部件的位置。

如在此所使用的，投影仪是将光（例如，定义一个或多个IR图案的IR光）投影到眼睛250上的光学系统。本发明的实施例不限于与任何特定形状相关联的图案。此外，图案可以由注视追踪系统的用户更改。每个图案可以产生与特定形状相关联的反射（或多个反射）。因此，投影仪将光投影到眼睛上，使得来自眼睛的各种表面的光的反射能够具有许多形状中的任一个。本发明的实施例不限于与任何特定形状相关联的反射。举例来说，投影仪将光照耀到眼睛导致四边形构造中的四个反射（例如，四个微光）。与引起一个或两个反射的生成的光源相比，该四边形反射构造产生对于眼睛（或与眼睛相关联的瞳孔）如何移动的更可靠的确定。图2中呈现了四边形反射图案232、234、236和238的图示说明。在其他实施例中，反射可以采用其他形状的形式，例如椭圆形的、圆形的、三角形的、多边形的，等等。此外，投影仪能够控制当投影仪的光被导入眼睛时产生的不同反射（例如，如图2中的四个反射）的数目。本发明的实施例不限于使用在此描述的注视追踪系统所能够生成的反射的最小或最大数目（或数量）。

此外，与投影仪相关联的存储器可以被用于存储至少一个图案。投影仪可以被自动地配置为至少部分地基于从基本上中心的位置的眼睛（或诸如瞳孔之类的眼睛的部件）的距离来使用不同的图案。因此，投影仪（或注视追踪系统中诸如图像捕获模块或处理器之类的一些其他组件）具有测量眼睛（或诸如瞳孔之类的眼睛的部件）与它基本上中心的位置的距离，并且将所测量的距离与一个或多个预定阈值进行比较的能力。响应于确定所测量的距离大于第一阈值，投影仪可以将第一类型的图案投影到眼睛上。响应于确定所测量的距离不大于第一阈值，投影仪可以将第二类型的图案投影到眼睛上。每种类型的图案导致针对与眼睛的表面相关联的反射的不同形状。在一些实施例中，图像捕获模块测量眼睛（或诸如瞳孔之类的眼睛的部件）与它基本上中心的位置的距离，并且将该信息传送到处理器或者直接传送到投影仪。接着，处理器或投影仪基于所测量的距离来选择图案的类型。

此外，投影仪可以基于瞳孔相对于固定位置的位置来自动地更改图案在眼睛上的放置（或更改图案在眼睛上的投影位置）。图案在眼睛上的放置的更改引起高质量反射的生成，该高质量反射（例如，微光）由在此描述的图像捕获模块容易地可检测。因此，投影仪（或注视追踪系统中诸如图像捕获模块或处理器之类的一些其他组件）具有测量瞳孔相对于固定位置（例如与瞳孔相关联的基本上中心的其余位置）的距离，并且将所测量的距离与一个或多个预定阈值进行比较的能力。响应于确定所测量的距离大于第一阈值，投影仪可以将第一所选图案投影到眼睛的第一部分上。响应于确定所测量的距离不大于第一阈值，投影仪可以将第二所选图案投影到眼睛的第二部分上，其中该第二部分不同于该第一部分。此外，该第一所选图案可以与或可以不与该第二所选图案不同。

在在此描述的实施例中，投影仪还可以具有同时将分离的图案投影到眼睛的不同部件上的能力。这使得能够实现多个不同反射的生成，每个反射与被导入眼睛的分离的图案相关联。这些多个反射在作出注视方向的更精确的确定中可以是有用的。此外，在一些实施例中，投影仪可以具有将图案导入眼睛的能力，其中图案的一个或多个特性（例如，大小、放置、强度、形状、数量，等等）在一段时间内改变。因此，这使得能够生成反射，该反射在一段时间内改变特性并且因此更容易被在此描述的图像捕获模块可检测。

此外，投影到眼睛上的图案的类型（和与图案相关联的其它特性，诸如大小、放置、强度、形状、数量等）可以至少部分地基于用户的头是否基本上静止或者用户的头是否在运动中而变化。因此，在此描述的投影仪可以确定用户的头是否基本上静止或者用户的头是否在运动中，并且可以基于该确定而选择要被投影到眼睛上的图案的类型（和与图案相关联的其他特性，诸如大小、放置、强度、形状、数量，等等）。因此，在此描述的注视追踪系统使得能够实现注视方向的确定而无论用户的头是否不动或在移动。

投影仪不仅使得能够实现反射的形状的控制，而且使得能够实现反射的大小的控制。如在此描述的投影仪使用一个或多个微显示芯片（例如，LCoS芯片、LCD芯片、DLP芯片，等等）。这些芯片中的每一个具有固定的像素阵列。如在此所使用的，像素是投影仪上最小的可寻址元件。投影仪能够控制与每个像素相关联的光强度并且能够控制被配置为具有特定光强度的像素的数目。通过控制与每个像素相关联的光强度和/或被配置为具有特定光强度的像素的数目，投影仪使得能够实现反射的大小的控制。举例来说，当较大数目的像素具有较高的强度和/或当较少数目的像素具有较低的强度时，反射的大小较大，而当较大数目的像素具有较低的强度和/或当较少数目的像素具有较高的强度时，反射的大小较小。

此外，投影仪还使得能够实现反射的强度的控制。在一些实施例中，投影仪使得用户能够通过改变与投影仪相关联的设置来手动地控制反射的强度，而在其他实施例中，投影仪被配置为自动地控制反射的强度以便准许图像捕获模块进行反射的最优检测或可视化。在一些实施例中，投影仪被配置为至少部分地基于一个或多个环境因素（例如，其中正在使用注视追踪系统的环境中的外部光的亮度或量）而自动地控制反射的强度（或对比度）。此外，在一些实施例中，投影仪将低强度的光照耀在眼睛的实质部分上，因此使得能够实现图像捕获模块对反射的更容易的检测或可视化。

在一些实施例中，在此描述的投影仪可以基于激光技术。激光器通过基于光子的激励发射的光学放大过程而发射光。激光具有高度的空间和时间一致性。因此，包括激光器的投影仪可以能够以更高的精度将光照耀到眼睛的特定部件上（例如，角膜的特定部件上）。因此，具有激光器的投影仪可以能够将光照耀到眼睛的特定部件上以产生由图像捕获模块最优地可检测（例如，更容易检测）的反射。

在其他实施例中，在此描述的投影仪可以基于硅上液晶（LCoS）技术。LCoS是使用被施加到反射镜衬底的液晶的反射技术。随着液晶打开和关闭，光被反射镜衬底反射。由于液晶打开和关闭而对光的调制创建了图像。因此，投影仪可以包括LCoS芯片。包括LCoS芯片的投影仪可以被用于将非常高分辨率的图案导入眼睛。这个高分辨率图案导致由图像捕获模块最优地可检测（例如，更容易检测）的反射的生成。如在此所使用的，术语“分辨率”是指由要么被投影到眼睛上的图案或者要么来自与眼睛相关联的表面的反射所承载的细节的量。本发明的实施例不限于任何特定类型的投影仪技术。

本发明的实施例准许从投影仪到图像捕获模块的图像（例如，图案）的传输。在一些实施例中，图像捕获模块可以将图案（例如，投影仪照耀到眼睛中的图案）与所检测的反射进行比较以便确定注视方向。本发明的实施例不限于用于将图像从投影仪传输到图像捕获模块的任何特定机制（例如，有线机制或诸如近场通信（NFC）之类的无线机制）。此外，图像捕获模块还可以经由一个或多个有线或无线机制将信息传递到投影仪。

如先前所指示的，注视捕获系统可以被包括在HMD系统（例如，单目或双目HMD系统）中。本发明的实施例还针对基于确定眼睛的中心或基本上中心的部分来调节呈现在HMD系统的显示器上的图像。在一些实施例中，呈现在HMD系统上的图像是由在此描述的投影仪所投影的图像。在一些实施例中，眼睛的中心（或基本上中心的部分）可以是指瞳孔的位置或瞳孔的中心（或基本上中心的部分）。

在HMD系统中，在此描述的调节是有用的，该HMD系统包括被定位在每只眼睛前面的图像捕获模块（例如，照相机）。此外，每个图像捕获模块可以与相应的投影仪相关联。与HMD系统相关联的每个图像捕获模块可以是先前描述的图像捕获模块，其检测来自眼睛的一个或多个反射并确定注视方向。此外，图像捕获模块不限于任何特定类型的图像捕获模块。举例来说，图像捕获模块可以是IR摄像机、RGB摄像机或能够检测眼睛的中心或基本上中心的部分的任何其他类型的照相机。

不同人具有不同的眼睛放置并因而他们的眼睛之间具有不同的距离。如果在生成HMD系统上的图像中不考虑眼睛放置中的差异，则可能出现许多问题。举例来说，当人正在观看HMD系统上的三维（3-D）内容时，如果呈现在HMD系统上的两个图像之间的距离没有顾及眼睛间或瞳孔间的距离，那么可能存在与生成立体效果相关联的差错。此外，与生成立体效果相关联的这些差错还可以引起HMD系统的用户遭受眼睛疲劳之苦。如在此所使用的，立体效果是指通过将两个偏移图像分离地呈现给观众的左眼和右眼而引起的用户对于3-D深度的感知。

在本发明的一些实施例中，与HMD系统相关联的图像捕获模块（例如，照相机）可以被安放在每只眼睛前面。每个图像捕获模块可以被配置为当观众正直视前方并聚焦在远处或无限远的距离处的场景、对象或刺激物上时，确定眼睛的中心（或基本上中心的部分）的放置。每个图像捕获模块可以被配置为将关于眼睛的中心（或基本上中心的部分）的位置信息传递到与图像捕获模块相关联的投影仪。如先前所描述的，本发明不限于图像捕获模块与投影仪之间的任何特定传递机制。可替换地，每个图像捕获模块可以被配置为将关于眼睛的中心（或基本上中心的部分）的位置信息传递到与HMD系统相关联的处理器。处理器可以计算要对每个图像做出的调节的量和/或类型，并将该调节信息传递到每个投影仪。

通过使用与眼睛的中心（或基本上中心的部分）相关联的位置信息，每个投影仪调节它投影到显示器上的图像。调节图像可以包括调节右图像相对于左图像的位置以便减少或消除立体效果差错，或者调节右图像与左图像的混合以便减少或消除立体效果差错。调节一个图像相对于另一个图像的位置可以包括沿x轴、y轴或z轴中的至少一个仅调节一个图像或调节两个图像的位置。附加地或替换地，调节图像还可以包括调节图像的大小、调节图像的亮度、调节图像的色彩或对比度，等等。

因此，投影到显示器上的图像被配置为适合用户的眼睛间或瞳孔间的距离。因而，本发明的实施例使得能够实现自动地调节由投影仪产生在HMD系统上的图像。本发明消除了对机械地调节投影仪或HMD以便调节投影图像的需要。因此，HMD系统可以根据本发明来构建，其不准许为了调节由投影仪产生的投影图像而对HMD系统的机械调节。当与被构建为使得能够实现对由投影仪产生的投影图像的机械调节的HMD系统相比时，这样的HMD系统将不太复杂、不太笨重，并且在美学上更赏心悦目。

现在参照图3，图3呈现了用于注视追踪的过程流300。图3中呈现的各种过程块可以以与图3中所呈现的不同的顺序来执行。在块310处，该示例性方法包括使用投影仪将光（例如，IR光）导入眼睛。在块320处，该方法包括使用图像捕获模块（例如，诸如数字摄像机之类的照相机）来检测或识别来自与眼睛相关联的表面（例如，角膜）的至少一个反射。在块330处，该方法包括基于所检测的反射来确定与眼睛相关联的视线（例如，相对于法线的角度）。如在此所使用的，视线可以是指与用户的注视相关联的角方向。角方向可以是相对于法线或平面的角度。

在一些实施例中，在此描述的各种系统可以包括至少一个处理器、至少一个存储器，以及存储在存储器中的至少一个模块，该模块可执行以施行或使一个或多个其他模块施行在此描述的各种过程。

根据本发明的实施例，相对于系统（或设备）的术语“模块”可以是指系统的硬件组件、系统的软件组件，或系统的包括硬件和软件两者的组件。如在此所使用的，模块可以包括一个或多个模块，其中每个模块可以驻留在硬件或软件的分离的部块中。

在一些实施例中，用于注视追踪或调节头戴系统的显示器上的图像中的至少一个的示例性计算机程序产品包括非暂态计算机可读介质，该非暂态计算机可读介质包括被配置为施行在此描述的一个或多个过程的代码。

如在此所使用的，术语“自动”是指在没有用户的干预下发生事件或状况时由计算机软件执行的功能、过程、方法或其任何部分。如在此所使用的，短语“大于”意指“大于或等于”。

尽管上文刚刚描述了本发明的许多实施例，但是本发明可以以许多不同的形式体现并且不应当被解释为限于在此阐述的实施例；相反，提供这些实施例来使得本公开将满足适用的法律要求。同样，将要理解，在可能的情况下，在此描述和/或设想的本发明的实施例中的任何一个的优点、特征、功能、设备，和/或操作方面中的任何一个可以被包括于在此描述和/或设想的本发明的其他实施例中的任何一个中，和/或反之亦然。此外，在可能的情况下，除非另行明确地陈述，否则在此以单数形式表述的任何术语意在还包括复数形式和/或反之亦然。如在此所使用的，“至少一个”应当意味着“一个或多个”，并且这些短语旨在是可互换的。因此，术语“一”和/或“一个”应当意味着“至少一个”或“一个或多个”，即使在此也使用短语“一个或多个”或“至少一个”。类似的标号自始至终指代类似的元件。

如本领域普通技术人员鉴于本公开将领会的，本发明可以包括和/或体现为装置（包括例如，系统、机器、设备、计算机程序产品和/或类似物）、方法（包括例如，商业方法、计算机实现的过程和/或类似物），或者前面各项的任何组合。因此，本发明的实施例可以采用以下形式：完全为商业方法的实施例、完全为软件的实施例（包括固件、驻留软件、微代码、在数据库中存储的过程，等等）、完全为硬件的实施例，或者将商业方法、软件和硬件方面相结合的实施例，其一般来说在此可以被称为“系统”。另外，本发明的实施例可以采用计算机程序产品的形式，该计算机程序产品包括其中存储有一个或多个计算机可执行程序代码部分的计算机可读存储介质。如在此所使用的，处理器（其可以包括一个或多个处理器）可以被“配置为”以多种方式施行某个功能，包括例如，通过使一个或多个通用电路执行体现在计算机可读介质中的一个或多个计算机可执行程序代码部分来施行功能，和/或通过使一个或多个专用电路施行功能。

将理解，可以利用任何合适的计算机可读介质。计算机可读介质可以包括但不限于非暂态计算机可读介质，诸如有形的电子的、磁的、光学的、电磁的、红外的和/或半导体系统、设备和/或其他装置。举例来说，在一些实施例中，非暂态计算机可读介质包括有形介质，诸如便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或闪存）、紧致盘只读存储器（CD-ROM）和/或一些其他有形的光学的和/或磁的存储设备。然而，在本发明的其他实施例中，计算机可读介质可以是暂态的，诸如，例如包括其中体现的计算机可执行程序代码部分的传播信号。

用于实行本发明的操作的一个或多个计算机可执行程序代码部分可以包括面向对象的、脚本的和/或非脚本的编程语言，诸如，例如Java、Perl、Smalltalk、C++、SAS、SQL、Python、Objective C、JavaScript和/或类似物。在一些实施例中，用于实行本发明的实施例的操作的一个或多个计算机可执行程序代码部分用常规的程序性编程语言（诸如“C”编程语言和/或类似的编程语言）来编写。计算机程序代码可以替换地或附加地用一个或多个多范式编程语言（诸如，例如F#）来编写。

在此参照装置和/或方法的流程图图示和/或框图来描述本发明的一些实施例。将理解，包括在流程图图示和/或框图中的每个块，和/或包括在流程图图示和/或框图中的块的组合，可以由一个或多个计算机可执行程序代码部分来实现。这些一个或多个计算机可执行程序代码部分可以被提供给通用计算机、专用计算机和/或一些其他可编程数据处理装置的处理器以便产生特定的机器，使得一个或多个计算机可执行程序代码部分（其经由计算机和/或其他可编程数据处理装置的处理器进行执行）创建用于实现由（多个）流程图和/或框图的（多个）块所表示的步骤和/或功能。

一个或多个计算机可执行程序代码部分可以存储在暂态和/或非暂态计算机可读介质（例如，存储器，等等）中，该暂态和/或非暂态计算机可读介质能够引导、指令和/或使计算机和/或其他可编程数据处理装置以特定的方式运行，使得存储在该计算机可读介质中的计算机可执行程序代码部分产生包括指令机制的制造品，该指令机制实现（多个）流程图和/或框图的（多个）块中指定的步骤和/或功能。

一个或多个计算机可执行程序代码部分还可以被装载到计算机和/或其他可编程数据处理装置上以使得一系列操作步骤在该计算机和/或其他可编程装置上被施行。在一些实施例中，这产生了计算机实现的过程，使得在该计算机和/或其他可编程装置上执行的一个或多个计算机可执行程序代码部分提供了操作步骤以实现（多个）流程图中指定的步骤和/或框图的（多个）块中指定的功能。可替换地，计算机实现的步骤可以与操作者和/或人实现的步骤相结合，和/或由其取代，以便实行本发明的实施例。

虽然已经描述了某些示例性实施例并将其示出在附图中，但是要理解，这样的实施例对于本宽泛的发明仅是说明性的而非限制性的，并且本发明不限于所示出和描述的特定构造和布置，因为除在以上段落中阐述的那些之外，各种其他改变、组合、省略、更改和置换是可能的。本领域技术人员将领会的是，可以配置刚刚描述的实施例的各种适配、更改和组合而不脱离于本发明的范围和精神。因此，要理解，在所附权利要求书的范围内，可以以除了在此特别描述的之外的方式来实践本发明。

Claims

1. 一种用于注视追踪的方法，所述方法包括：

使用投影仪将光导入眼睛，所述光形成图案；

使用图像捕获模块检测来自与所述眼睛相关联的至少一个表面的至少一个反射；以及

基于所检测的反射确定与所述眼睛相关联的视线。

2. 权利要求1的方法，其中所述光包括红外光。

3. 权利要求1的方法，其中所述投影仪包括激光器或硅上液晶（LCoS）芯片中的至少一个。

4. 权利要求1的方法，其中所述图像捕获模块包括照相机或光学传感器中的至少一个。

5. 权利要求1的方法，其中所述至少一个表面包括与所述眼睛相关联的角膜、视网膜、虹膜或晶状体中的至少一个。

6.权利要求1的方法，其中所述投影仪和所述图像捕获模块被包括在头戴设备内。

7. 权利要求6的方法，其中所述头戴设备包括眼镜、护目镜或头盔中的至少一个。

8. 权利要求6的方法，其中所述头戴设备包括显示器，并且其中所述方法还包括使用所述投影仪将图像投影到所述显示器上。

9. 权利要求8的方法，还包括至少部分地基于所述眼睛与第二眼睛之间的瞳孔间距离来调节所述图像。

10. 权利要求1的方法，还包括确定瞳孔的至少一个部分的位置。

11. 权利要求1的方法，其中所述图案具有四边形的形状。

12. 权利要求1的方法，其中所述投影仪包括非暂态存储器，所述存储器存储至少一个图案，并且其中所述投影仪至少部分地基于所述眼睛的至少一个部分与该部分基本上中心的位置的距离来选择图案或者为所述图案选择投影位置。

13. 权利要求1的方法，还包括：

更改以下各项中的至少一个：所述至少一个反射的大小、与所述至少一个反射相关联的形状、与所述至少一个反射相关联的强度或反射的量。

14. 一种用于注视追踪的头戴系统，所述系统包括：

至少一个显示器；

第一投影仪，用于将光导入第一眼睛并用于将第一图像投影到所述至少一个显示器上；以及

第一图像捕获模块，用于检测来自与所述第一眼睛相关联的至少一个表面的至少一个反射，并且基于所检测的反射确定与所述第一眼睛相关联的视线。

15. 权利要求14的系统，还包括：

第二投影仪，用于将光导入第二眼睛并用于将第二图像投影到所述至少一个显示器上；以及

第二图像捕获模块，用于检测来自与所述第二眼睛相关联的至少一个表面的至少一个反射，并且基于所检测的反射确定与所述第二眼睛相关联的视线。

16. 权利要求15的系统，其中所述第一图像捕获模块确定与所述第一眼睛相关联的基本上中心的部分，并且其中所述第二图像捕获模块确定与所述第二眼睛相关联的基本上中心的部分。

17. 权利要求16的系统，还包括处理器，其至少部分地基于所确定的与所述第一眼睛相关联的基本上中心的部分和所确定的与所述第二眼睛相关联的基本上中心的部分来确定所述第一眼睛的瞳孔与所述第二眼睛的瞳孔之间的距离。

18. 权利要求17的系统，其中所述第一投影仪至少部分地基于所述第一眼睛与所述第二眼睛之间的瞳孔间距离来调节所述第一图像，并且其中所述第二投影仪至少部分地基于所述瞳孔间距离来调节所述第二图像。

19. 一种用于调节与头戴系统相关联的至少一个显示器上的图像的方法，所述方法包括：

将第一投影仪用于将第一图像投影到所述至少一个显示器上；

将第二投影仪用于将第二图像投影到所述至少一个显示器上；

将第一图像捕获模块用于确定与第一眼睛相关联的基本上中心的部分；

将第二图像捕获模块用于确定与第二眼睛相关联的基本上中心的部分；

至少部分地基于所确定的与所述第一眼睛相关联的基本上中心的部分和所确定的与所述第二眼睛相关联的基本上中心的部分来确定所述第一眼睛与所述第二眼睛之间的距离；

至少部分地基于所确定的所述第一眼睛与所述第二眼睛之间的距离来调节所述第一图像；以及

至少部分地基于所确定的所述第一眼睛与所述第二眼睛之间的距离来调节所述第二图像。

20. 权利要求19的方法，其中所述第一投影仪将所述第一图像、并且所述第二投影仪将所述第二图像投影到现实世界环境的基本上实况的视图上。