[go: up one dir, main page]

CN111033354A - 利用mems扫描和反射光的眼睛跟踪 - Google Patents

利用mems扫描和反射光的眼睛跟踪 Download PDF

Info

Publication number
CN111033354A
CN111033354A CN201880052020.XA CN201880052020A CN111033354A CN 111033354 A CN111033354 A CN 111033354A CN 201880052020 A CN201880052020 A CN 201880052020A CN 111033354 A CN111033354 A CN 111033354A
Authority
CN
China
Prior art keywords
light
eye
mirror
visible light
reflect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880052020.XA
Other languages
English (en)
Inventor
N·M·西鲁西
J·D·洛尼
R·A·沃尔
D·雷希德克
I·A·阮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN111033354A publication Critical patent/CN111033354A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125—Field-of-view increase by wavefront division
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35503—Eye tracking associated with head mounted display to detect eye position

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

提供了一种眼睛跟踪系统。该系统包括具有被配置为发射可见光以撞击用户的眼睛的可见光显示区域的至少部分透明可见光波导。光源被配置为至少发射沿着红外(IR)光路行进以撞击眼睛的IR光。被定位在IR光路中的微机电系统(MEMS)扫描镜被配置为沿着IR光路引导IR光。被定位在IR光路中在MEMS扫描镜下游的中继器包括被配置为沿着IR光路反射IR光的至少一个镜。至少一个传感器被配置为接收被眼睛反射之后的IR光。

Description

利用MEMS扫描和反射光的眼睛跟踪
背景技术
在诸如头戴式显示器(HMD)设备等可穿戴设备中，跟踪用户眼睛的位置可以允许HMD设备估计用户的注视方向。注视方向可用作控制图像在HMD上的显示的程序的输入。为了确定用户眼睛的位置和视线，可以将眼睛跟踪系统添加到HMD设备。但是，在开发用于HMD设备的眼睛跟踪系统时会遇到挑战，因为它们会增加重量，需要额外的处理能力，对用户的视场造成障碍，在用户的眼睛附近发射过多的光，并且导致用户的其他的光学并发症。
发明内容
提供了一种眼睛跟踪系统。该系统可以包括具有被配置为发射可见光以撞击(impinge upon)用户的眼睛的可见光显示区域的至少部分透明可见光波导。该系统可以包括被配置为至少发射沿着红外(IR)光路行进以撞击用户的眼睛的IR光的光源。IR光路的一部分可以横穿可见光波导的一部分。该系统可以包括被定位在IR光路中的微机电系统(MEMS)扫描镜；MEMS扫描镜可以被配置为沿着IR光路引导IR光。该系统可以包括被定位在IR光路中在MEMS扫描镜下游的中继器，并且可以包括被配置为反射由MEMS扫描镜沿着IR光路引导的IR光的至少一个镜。该系统可以包括被配置为接收被眼睛反射之后的IR光的至少一个传感器。
提供本发明内容以便以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于能够解决在本公开的任何部分中指出的任何或所有缺点的实现。
附图说明
图1示出了具有眼睛跟踪系统的头戴式显示器(HMD)设备的侧面透视图。
图2A是包括热镜的图1的眼睛跟踪系统的第一实现的简化图示的侧视图，其中IR光路横穿波导。
图2B是图2A所示的第一实现的备选实现的侧视图，其中IR光路不横穿波导。
图3是包括折叠镜的图1的眼睛跟踪系统的第二实现的侧视图。
图4是包括两个热镜的图1的眼睛跟踪系统的第三实现的侧视图。
图5是包括两个折叠镜的图1的眼睛跟踪系统的第四实现的侧视图。
图6是包括IR波导的图1的眼睛跟踪系统的第五实现的侧视图。
图7是包括HMD设备遮阳板和热镜的图1的眼睛跟踪系统的第六实现的侧视图。
图8是包括HMD设备遮阳板和折叠镜的图1的眼睛跟踪系统的第七实现的侧视图。
图9是被定位在显示区域16周围的传感器28的一种实现的正视图。
图10是利用图2A-2B的眼睛跟踪系统照射眼睛的方法的流程图。
图11是根据本说明书的实施例的示例计算系统。
具体实施方式
发明人已经认识到，传统的眼睛跟踪系统可能会为其被设计用于的设备增加多余的体积、重量和设计复杂性。来自眼睛跟踪系统光源的杂散光可能会出现问题。在诸如头戴式显示器(HMD)设备等显示设备中安装视线跟踪可能会影响设备的成本，特别是在涉及需要很多组件的光中继器的情况下。一个重要的目标是，符合人体工程学的可接受设计还可以优化用户的观看体验。响应于这些问题，已经开发了本文中描述的系统和方法以提供用于在利用眼睛跟踪的应用中使用的简化且有效的设计。
图1示出了具有眼睛跟踪系统的HMD设备1的侧面透视图。在图1的示例中，HMD设备1包括显示设备3和框架5，当向用户提供虚拟现实或混合现实体验时，框架5环绕用户的头部以将显示设备3定位为靠近用户的眼睛。可以使用任何合适的显示技术和配置来经由显示设备3显示图像。为了获取虚拟现实体验，显示设备3可以是非透视发光二极管(LED)显示器、液晶显示器(LCD)或任何其他合适类型的不透明显示器。在一些情况下，可以提供捕获周围环境的图像的面向外的相机7，并且这些捕获图像可以与计算机生成的图像一起显示在显示器上，这些计算机生成的图像增强了真实环境的捕获图像。对于混合或增强现实体验，显示设备3可以至少部分透明，以便HMD设备1的用户可以通过显示虚拟对象表示的一个或多个部分透明像素查看物理环境中的物理的真实世界对象。例如，显示设备3可以包括图像产生元件，诸如例如透明有机发光二极管(OLED)显示器。
框架5还可以支撑HMD设备1的其他组件，包括处理器8、惯性测量单元(IMU)9和眼睛跟踪系统10。处理器8可以包括被配置为从IMU 9和其他传感器接收感觉信号，向显示设备3提供显示信号，从收集到的数据中获取信息，并且实施本文中描述的各种控制过程的逻辑和相关联的计算机存储器。
图2A呈现了眼睛跟踪系统10的一种实现。如上所述，眼睛跟踪系统10可以被包括在HMD设备中。眼睛跟踪系统10可以包括具有被配置为发射可见光以撞击用户的眼睛18的可见光显示区域16的至少部分透明可见光(VL)波导14。可见光波导14可以包括第一VL波导42和第二VL波导44。在一种实现中，第一VL波导42可以被配置为引导红光和绿光，而第二VL波导44可以被配置为引导绿光和蓝光。每个波长的光耦合到被配置为将相应波长引导到VL显示区域16的波导。在VL显示区域16，来自VL波导14的光可以发射到用户的眼睛18以给用户产生增强或完全虚拟的现实显示。系统10可以包括被定位在显示区域16的与用户的眼睛18相对的一侧的光源20，光源20被配置为至少发射沿着红外(IR)光路22行进以撞击用户的眼睛18的IR光。在替代配置中，光源20可以被定位在显示区域16的与用户的眼睛相同的一侧。光源20可以是激光器模块，该激光器模块包括多个单独的激光器，诸如IR激光器、红色激光器、蓝色激光器和绿色激光器，每个激光器分别被配置为发射相应频率的光。在图2A的实现中，IR光和可见光的发射点被类似地定位(在光源20内指向下方)；然而，应当理解，IR光和可见光可以具有或可以不具有来自其相应源的相似的发射点。图2A还概述了系统10的安装结构，该结构可以是被配置为将系统10的组件相互安装并且安装到HMD设备1的至少部分透明的塑料或其他合适的材料。为简单起见，安装结构未被包括在所有图中。可以使用安装结构来将眼睛跟踪系统10集成在例如HMD设备1或其他增强现实镜头系统中。
如图2A所示，可以将用作可见光和IR光发射源的激光器封装在一起并且在光源20中定向以至少在最初沿着重合的光路发射光。在这种实现中，初始重合的光路仅继续进行一小段距离，直到使用特殊配置的镜21仅将可见光反射到波导14中并且允许红外光通过。可见光通过入射光栅42A进入波导14，该入射光栅42A被配置为使来自光源20的红色激光和绿色激光的红光和一部分绿光入耦合，并且使来自蓝色激光和绿色激光的蓝光和一部分绿光通过。红光和一部分绿光继续跟随波导42，直到其与出射光栅42B接触，此时它沿着可见光路轴线朝向眼睛18发射。蓝光和一部分绿光通过入射光栅42A而不进入波导42，然后遇到被配置为将蓝光和一部分绿光入耦合到波导44中的波导44的入射光栅44A。一部分绿光和蓝光沿着波导44穿过，直到遇到出射光栅44B，此时光沿着可见光轴线通过显示区域16朝向眼睛18发射。应当理解，波导和光栅可以经由光学透明粘合剂(OCA)或使用其他光学允许的粘合剂和/或结构连接。
现在将描述IR光路。该系统包括被定位在IR光路22中的微机电系统(MEMS)扫描镜24。MEMS扫描镜24可以被配置为沿着IR光路22引导IR光。在从光源20发射并且通过特殊配置的镜21与可见光路分离之后，横穿特殊配置的镜21的IR光继续进行到MEMS扫描镜24。如图2A所示，IR光路22的一部分可以朝向可见光波导14的底部横穿可见光波导14的一部分，IR光路22在该底部处在图中从右到左与之交叉。为了在这种实现中使得IR光能够横穿可见光波导14，系统10可以包括被定位在IR光路22中在MEMS扫描镜24下游的中继器，该中继器可以包括被配置为沿着IR光路22反射由MEMS扫描镜24引导的IR光的至少一个镜26。在替代配置中，激光器模块20和至少一个镜26(如果包括)可以被定位为使得IR光路不横穿可见光波导14。这样的配置的一个示例可以是其中光源被定位在显示区域的与用户的眼睛相同的一侧；备选地，光源可以被定位在显示区域的与用户的眼睛相对的一侧，并且至少一个镜被用于将IR光引导到可见光波导14周围。后一示例将在下面进一步讨论。
应当理解，入射在眼睛上的光是通过眼睛内的反射性生物结构从眼睛反射的。随着眼睛的移动，反射光的性质可预测地改变。如果已知进入眼睛的光的轴线，如本文中描述的实现中，则可以计算从眼睛反射出的光的取向。相反，如果已知入射在眼睛上的光的性质并且测量反射光，则可以通过算法推断出眼睛的位置和取向。使用这些关系，系统10以使用MEMS镜24创建的预定模式反射IR光，并且感测反射光的位置以确定眼睛的位置并且从而确定注视方向。另外，眼睛跟踪系统可以通过记录来自眼睛的散射光来捕获用户虹膜的图像。对虹膜的图像分析可以启用用户认证特征。
为了提供这种感测功能，系统10可以包括被配置为接收被眼睛18反射之后的IR光的至少一个传感器28。如图9所示，传感器可被定位在显示区域16周围的一个或多个位置。通常，传感器包括每个可以包含一个或多个空间上分离的检测器(像素)的多个光感测装置。
眼睛跟踪系统10的镜26可以是反射IR光并且透射可见光的热镜，如图2A所示。在一种实现中，镜26可以被定位在可见光波导14的与光源20相同的一侧，并且被配置为反射由MEMS扫描镜24引导的IR光。以这种方式，来自光源20的IR光被中继以撞击眼睛18。图2A还示出了连接用户的眼睛18和显示区域16的可见光路轴线。在这种配置中，IR光在撞击眼睛18时相对于从可见光波导14发射的可见光的轴线同轴地进入眼睛18。如本文中使用的，当IR光路的中心轴在垂直于显示区域16的发射表面的显示区域轴的正负20度以内(优选范围为正或负5度)时，IR光路相对于从波导的显示区域16发射的可见光同轴地进入。
图2A的配置的一个潜在优点在于，用于为用户创建显示器的MEMS系统还可以仅利用包括IR源在内的一些其他组件来提供眼睛跟踪。另一优点在于，IR光可以与可见光同轴地指向眼睛18，从而为眼睛18提供大量的光，这有利于反射和接收光以实现最佳的眼睛跟踪。
应当理解，尽管IR光可以相对于从显示区域16发射的可见光的轴线同轴地进入眼睛18，但是不希望在红外光路22中包括可见光。换言之，尽管可见光路和IR光路22可以至少部分重合，但是在到达眼睛18之前，应当从IR光路22中去除残留的可见光，以防止用户在观看显示器时体验到眩光。在一些实现中，可以使用滤光器从IR光路22中去除残留的可见光。可以根据系统10的设计来实现其他技术。
图2B示出了备选实现，其中IR光路22不横穿可见光波导14。在这种实现中，由MEMS扫描镜24引导的IR光撞击被定位为将IR光反射到眼睛18的镜26。这里被描述为弯曲的热镜的镜26在其围绕可见光波导14转弯时反射IR光路22。随后，如图所示横穿IR光路22行进的IR光在撞击眼睛18时相对于从可见光波导14发射的可见光的轴线离轴地进入眼睛18。这种实现的一个潜在优点在于减少了当IR光横穿可见光波导14时可能发生的IR光的任何损失。
在眼睛跟踪系统10的备选实现中，镜26可以是如图3所示的折叠镜。折叠镜可以被定位在可见光波导14的与眼睛18相同的一侧，并且被配置为反射横穿可见光波导14的一部分的IR光。在这种实现中，折叠镜中继来自光源20的IR光以其撞击眼睛18。但是，在这种配置中，IR光在撞击眼睛18时相对于从可见光波导14发射的可见光的轴线离轴地进入眼睛18。这种配置的一个潜在优点在于，折叠镜不在用户的观看路径中并且因此不会破坏用户的观看体验。
图4显示了具有多个镜26的系统10的实现，在这种配置中，多个镜26是既反射IR光又透射可见光的两个热镜。第一热镜30和第二热镜32被定位在可见光波导14的同一侧，并且被配置为沿着IR光路22中继来自光源20的IR光。第一热镜30被配置为如图4所示向下反射IR光，并且第二热镜32被配置为反射来自第一热镜30的IR光。在来自第二热镜32的反射之后，IR光在撞击眼睛18时相对于从可见光波导14发射的可见光的轴线同轴地撞击眼睛18。在所示的实施例中，来自光源20的IR光在第一水平面上发射，横穿可见光波导，并且通过与IR光的发射轴线成45度角定位的第一热镜30以大约90度角向下反射，并且然后向下行进到第二镜以便以另一大约90度角朝向眼睛反射。第一热镜和第二热镜基本彼此平行，并且被定位在可见光波导14的相对的垂直端附近。备选地，应当理解，多个镜26可以被定位在波导14的与用户的眼睛相同的一侧的其他位置和取向，以便朝向用户的眼睛引导光。
备选地，多个镜26可以包括第一折叠镜34和第二折叠镜36，如图5所示。第一折叠镜34和第二折叠镜36可以被定位在可见光波导14的与眼睛18相同的一侧，并且被配置为沿着IR光路22中继来自光源20的IR光。第一折叠镜34可以被配置为反射横穿可见光波导14的一部分的IR光，并且第二折叠镜36可以被配置为反射来自第一折叠镜34的IR光。在图5中显示的配置中，第一折叠镜34相对于从光源发射的IR光的发射轴成大约60度角定位，并且第二折叠镜36垂直于发射轴定位。IR光一旦离开折叠镜34、36中的每个就被反射，并且相对于从可见光波导14发射的可见光的轴线离轴地撞击眼睛18。这种配置的一个潜在优点在于，折叠镜34和36均放置在用户的视场之外。而且，通过使用第二折叠镜36，尽管撞击眼睛18的IR光仍然像在图3所示的配置中是离轴的，但是撞击眼睛18的IR光的入射角较小。因此，由眼睛18反射的更多的IR光可以在传感器28的区域中被接收。应当理解，在一种实现中，从眼睛的中立位置向前看时，一种可能的入射角在15度至25度的范围内，而另一种可能的入射角在35到45度的范围内。
在另一实现中，系统10包括如图6所示的IR波导38，这类似于图4的配置，不同之处在于，热镜30、32包裹在IR波导38中。如图所示，IR波导38可以被定位在眼睛18与可见光波导14之间。在图6中，多个镜26包括被嵌入在IR波导38中的第一热镜30和第二热镜32。热镜30和32沿着IR光路22并且在IR波导38内中继来自光源20的IR光。第一热镜30可以被配置为反射横穿可见光波导14的一部分的IR光，并且第二热镜32可以被配置为将来自第一热镜30的IR光反射出IR波导38以使其撞击眼睛18。在这种配置中，IR光相对于从可见光波导14发射的可见光的轴线同轴地撞击眼睛18。这种配置的一个潜在优点在于，第一热镜30和第二热镜32可以容易地被安装在IR波导38内，而无需任何附加结构。将意识到，IR波导38可以被定位在VL波导14的与MEMS相同的一侧。
在图7所示的备选实现中，可见光波导14、光源20、MEMS扫描镜24、镜26和传感器28被安装在诸如图1所示的HMD设备1中。图7所示的实现还可以包括遮阳板40。IR光路22的多个部分可以横穿可见光波导14的对应的多个部分，如图所示。多个镜26可以包括均如上所述反射IR光并且透射可见光的第一热镜30和第二热镜32。第一热镜30和第二热镜32可以被嵌入在遮阳板40中，如图7所示，并且被配置为沿着IR光路22中继来自光源20的IR光。第一热镜30被示出为在与通过显示区域的到眼睛的水平可见光路同轴的位置并且在光源20下方被嵌入在遮阳板40中，并且第一热镜30的嵌入位置与从光源20发射的光的水平轴对准。第一热镜30可以被配置为反射横穿可见光波导14的多个部分中的至少第一部分的IR光，如图7的图示所示。第二热镜32可以被配置为反射来自至少第一热镜30的IR光以使其在与被IR光横穿的第一部分相对的波导14的垂直端的第二位置横穿可见光波导14，以最终撞击眼睛18。因此，IR光路22可以在到达眼睛18之前多次横穿可见光波导14，如图7所示。在这种配置中，IR光相对于从可见光波导14发射的可见光的轴线同轴地撞击眼睛18。此外，两个热镜30和32都被示出为弯曲的热镜，并且被设计为在IR光进入眼睛18时首先发散并且然后基本准直IR光。
这种配置的潜在优点在于，第一热镜30和第二热镜32可以被安装在遮阳板40内而无需任何其他结构，从而使得设备1的重量更轻并且设计更有效。在一种实现中，镜26可以是施加到遮阳板40的适当部分的涂层，从而进一步简化了设备1的设计。备选地，可以实现镜26和遮阳板40的涂覆部分的组合。将意识到，在任何实现中，镜26可以是弯曲的或平坦的。另外，光可以被部分或全部准直。
图8示出了HMD设备1内的系统10的附加配置。如图所示，IR光路22的多个部分可以横穿可见光波导14的对应的多个部分。在这种配置中，镜26是被定位在可见光波导14的与眼睛18相同的一侧并且与光源20的发射轴垂直对准的折叠镜。在所示实施例中，折叠镜26的角度大约为60度，尽管其他角度也是可能的。折叠镜被配置为反射横穿可见光波导14的多个部分中的第一部分的IR光。IR光路22继续到达被配置为反射来自镜26的IR光并且将IR光从光源20中继到眼睛18的遮阳板40的表面。如图8所示，IR光相对于从可见光波导14发射的可见光的轴线离轴地撞击眼睛。
尽管在图8中被描绘为遮阳板表面40，但是反射IR光的表面可以是眼睛跟踪系统10的至少一个组件的表面。只要该表面被配置为反射来自镜26的IR光以中继来自光源20的IR光以使其撞击眼睛18，系统10内的一个或多个表面就可以用来沿着IR光路22反射IR光。这种配置的一个潜在优点在于，如所描绘的，遮阳板40应当是弯曲的，光功率被添加到反射系统。这种配置的另一潜在优点在于，简化了组成IR光路22所需要的组件。如图8所示，除了镜26之外，仅需要反射IR光的表面即可以完成红外光路22。备选地，可以用后板或其他反射表面代替遮阳板40的表面。如有效设计所建议的，反射表面可以安装到系统10的各个组件中的任何一个以完成IR光路22。
图10示出了利用眼睛跟踪系统10照射眼睛的方法100的流程图。参考以上描述并且在图2A-8中示出的眼睛跟踪系统来提供方法100的以下描述。应当理解，方法100也可以在其他上下文中使用其他合适的组件来执行。
参考图10，在102，方法100可以包括配置具有用于发射可见光以撞击用户的眼睛18的可见光显示区域16的至少部分透明可见光波导14。在104，该方法可以包括：从光源20至少发射红外(IR)光。IR光可以沿着IR光路22行进以撞击用户的眼睛18。在一种配置中，光源20可以被定位在显示区域16的与用户的眼睛18相对的一侧，并且IR光路的一部分可以横穿可见光波导14的一部分。在其他配置中，光源20可以被定位在显示区域16的与用户的眼睛相同的一侧，以使得IR光路不横穿可见光波导14。在106，方法100可以包括利用被定位在IR光路22中的微机电系统(MEMS)扫描镜24沿着IR光路22引导IR光。MEMS扫描镜可以被配置为引导来自光源20的IR光。
在108，方法100可以包括利用被定位在IR光路22中在MEMS扫描镜24下游的中继器重新引导IR光。中继器可以包括被配置为沿着IR光路22反射由MEMS扫描镜24引导的IR光以使其撞击用户的眼睛18的至少一个镜26。在110，该方法可以包括经由被配置为接收IR光的至少一个传感器28接收从用户的眼睛18反射的IR光的一部分。
如上所述，镜26可以是反射IR光并且透射可见光的热镜。热镜可以被定位在可见光波导14的与光源20相同的一侧，并且可以被配置为反射由MEMS扫描镜24引导的IR光。镜26可以被配置为中继来自光源20的IR光以在使其撞击眼睛18时相对于从可见光波导14发射的可见光的轴线同轴地撞击眼睛18。备选地，镜26可以是可以被定位在可见光波导14的与眼睛18相同的一侧的折叠镜。折叠镜可以被配置为反射横穿可见光波导14的一部分的红外光，并且中继来自光源20的红外光以使其撞击眼睛18。在这种配置中，IR光在IR光撞击眼睛18时可以相对于从可见光波导14发射的可见光的轴线离轴地撞击眼睛18。
如上面进一步所述，镜26可以是多个镜之一。多个镜可以包括均反射IR光并且透射可见光的第一热镜30和第二热镜32。第一热镜30和第二热镜32可以被定位在可见光波导14的同一侧，并且被配置为沿着IR光路22中继来自光源20的IR光。第一热镜30可以是被配置为反射横穿可见光波导14的一部分的IR光，并且第二热镜32可以被配置为反射来自第一热镜30的IR光以使其撞击眼睛18。在这种配置中，IR光在撞击眼睛18时可以相对于从可见光波导14发射的可见光的轴线同轴地撞击眼睛18。备选地，多个镜可以包括第一折叠镜34和第二折叠镜36。第一折叠镜34和第二折叠镜36可以被定位在可见光波导14的与眼睛18相同的一侧，并且被配置为沿着IR光路22中继来自光源20的IR光。第一折叠镜34可以被配置为反射横穿可见光波导14的一部分的IR光，并且第二折光镜36可以被配置为反射来自第一折光镜34的IR光以使其撞击眼睛18。在这种配置中，IR光在撞击眼睛18时可以相对于从可见光波导14发射的可见光的轴线离轴地撞击眼睛18。
还如上所述，IR波导38可以被定位在眼睛18与可见光波导14之间。多个镜可以包括均反射IR光并且透射可见光的第一热镜30和第二热镜32。在这种配置中，第一热镜30和第二热镜32可以被嵌入在IR波导14中，并且被配置为沿着IR光路22中继来自光源20的IR光。第一热镜30可以被配置为反射横穿可见光波导14的一部分的IR光，并且第二热镜32可以被配置为反射来自第一热镜30的IR光以使其在离开IR波导38之后撞击眼睛18。在这种配置中，IR光在撞击眼睛18时可以相对于从可见光波导14发射的可见光的轴线同轴地撞击眼睛18。
还如上所述，可见光波导14、光源20、MEMS扫描镜24、镜26和传感器28可以被安装在包括遮阳板40的HMD设备1中。另外，多个镜26可以被包括在HMD设备1中。光路22可以包括横穿可见光波导14的对应的多个部分的多个部分。多个镜26可以包括均反射IR光并且透射可见光的第一热镜30和第二热镜32。第一热镜30和第二热镜32可以被嵌入在遮阳板40中并且被配置为沿着IR光路22中继来自光源20的IR光。第一热镜30可以被配置为反射横穿可见光波导14的多个部分中的至少第一部分的IR光。第二热镜32可以被配置为反射来自至少第一热镜30的IR光以使其撞击眼睛18。IR光在撞击眼睛18时可以相对于从可见光波导14发射的可见光的轴线同轴地撞击眼睛18。
备选地，上述HMD设备1可以包括遮阳板40，其中镜26是折叠镜。红外光路22的多个部分可以横穿可见光波导14的对应的多个部分。折叠镜可以被定位在可见光波导14的与眼睛18相同的一侧，并且被配置为沿着IR光路22反射横穿可见光波导14的多个部分中的至少第一部分的IR光。遮阳板40的表面可以被配置为反射来自折叠镜的IR光以中继来自光源20的IR光以使其撞击眼睛18。在这种配置中，IR光在撞击眼睛18时可以在相对于从可见光波导14发射的可见光的轴线离轴地撞击眼睛18。在备选实现中，眼睛跟踪系统10的至少一个组件的至少一个表面可以被配置为反射来自镜26的IR光以中继来自光源20的IR光以使其撞击眼睛18。
如本文中详述的，眼睛跟踪系统10具有用于解决HMD设计中的前述问题的很多优点。通过实现将用于显示器的可见光与用于在相应光路上游进行眼睛跟踪的IR光封装在一起的系统10，可以减轻体积和重量。利用显示设备的一些现有组件和架构来产生、引导和接收IR光以进行眼睛跟踪可以更好地改善设备的整体设计。例如，如本文中描述的光引擎中的光的部分重用可以减小设备1的尺寸、重量和成本。在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统联系在一起。特别地，这样的方法和过程可以被实现为计算机应用程序或服务、应用程序编程接口(API)、库和/或其他计算机程序产品。
图11示意性地示出了可以实施上述方法和过程中的一个或多个的计算系统800的非限制性实施例。计算系统800以简化形式示出。计算系统800可以采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能手机)、可穿戴计算机和/或其他计算设备的形式。
计算系统800包括逻辑处理器802、易失性存储器804和非易失性存储设备806。计算系统800可以可选地包括显示子系统808、输入子系统810、通信子系统812和/或图11中未示出的其他组件。
逻辑处理器802包括被配置为执行指令的一个或多个物理设备。例如，逻辑处理器可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。可以实现这样的指令以执行任务，实现数据类型，转换一个或多个组件的状态，实现技术效果，或者以其他方式实现期望的结果。
逻辑处理器可以包括被配置为执行软件指令的一个或多个处理器。附加地或备选地，逻辑处理器可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑处理器。逻辑处理器的处理器可以是单核或多核的，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑处理器的各个组件可以可选地分布在两个或更多个单独的设备中，这些设备可以远程定位和/或被配置用于协调处理。逻辑处理器的各方面可以由以云计算配置配置的可远程访问的联网计算设备来虚拟化和执行。在这种情况下，这些虚拟化方面可以在各种不同机器的不同物理逻辑处理器上运行。
非易失性存储设备806包括被配置为保存由逻辑处理器可执行以实现本文中描述的方法和过程的指令的一个或多个物理设备。当实现这样的方法和过程时，非易失性存储设备806的状态可以被变换，例如以保存不同的数据。
非易失性存储设备806可以包括可移动和/或内置的物理设备。非易失性存储设备806可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如，ROM、EPROM、EEPROM、FLASH存储器等)、和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)或其他大容量存储设备技术。非易失性存储设备806可以包括非易失性、动态、静态、读/写、只读、顺序访问、位置可寻址、文件可寻址和/或内容可寻址设备。应当理解，非易失性存储设备806被配置为即使当非易失性存储设备806断电时也保持指令。
易失性存储器804可以包括包括随机存取存储器的物理设备。易失性存储器804通常被逻辑处理器802用来在软件指令的处理期间临时存储信息。应当理解，当切断易失性存储器804的电源时，易失性存储器804通常不继续存储指令。
逻辑处理器802、易失性存储器804和非易失性存储设备806的各方面可以一起被集成为一个或多个硬件逻辑组件。这样的硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序和应用特定的集成电路(PASIC/ASIC)、程序和应用特定的标准产品(PSSP/ASSP)、系统级芯片(SOC)和复杂可编程逻辑器件(CPLD)。
术语“程序”可以用于描述通常由处理器以软件实现以使用易失性存储器的各部分来执行特定功能的计算系统800的方面，该功能涉及专门配置处理器以执行功能的变换处理。因此，可以使用易失性存储器804的一部分经由执行由非易失性存储设备806保持的指令的逻辑处理器802来实例化程序。应当理解，可以从相同的应用、服务、代码块、对象、库、例程、API、功能等来实例化不同的程序。同样，同一程序可以由不同的应用、服务、代码块、对象、例程、API、功能等实例化。术语“程序”可以包含可执行文件、数据文件、库、驱动程序、脚本、数据库记录等的个体或组。
当被包括时，显示子系统808可以用于呈现由非易失性存储设备806保存的数据的视觉表示。该视觉表示可以采取图形用户界面(GUI)的形式。当本文中描述的方法和过程改变由非易失性存储设备保存的数据并因此变换非易失性存储设备的状态时，显示子系统808的状态同样可以被变换以可视地表示基础数据的变化。显示子系统808可以包括实际上利用任何类型的技术的一个或多个显示设备；然而，利用MEMS扫描镜引导激光的设备可以以紧凑方式与眼睛跟踪系统兼容。这样的显示设备可以在共享外壳中与逻辑处理器802、易失性存储器804和/或非易失性存储设备806组合，或者这样的显示设备可以是外围显示设备。
当被包括时，输入子系统810可以包括一个或多个用户输入设备或与之交互，诸如键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)组件或与之交互。这样的组件可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外进行处理。示例NUI组件可以包括用于语音和/或声音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感测组件。
当被包括时，通信子系统812可以被配置为将本文中描述的各种计算设备彼此以及与其他设备通信地耦合。通信子系统812可以包括与一种或多种不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络或有线或无线局域网或广域网的通信。在一些实施例中，通信子系统可以允许计算系统800经由诸如因特网等网络向其他设备发送消息和/或从其他设备接收消息。
以下段落为主题申请的权利要求提供附加支持。一个方面提供了一种眼睛跟踪系统，该眼睛跟踪系统包括具有被配置为发射可见光以撞击用户的眼睛的可见光显示区域的至少部分透明可见光波导。光源被配置为至少发射沿着红外(IR)光路行进以撞击用户的眼睛的IR光。被定位在IR光路中的微机电系统(MEMS)扫描镜被配置为沿着IR光路引导IR光。被定位在IR光路中在MEMS扫描镜下游的中继器包括被配置为反射由MEMS扫描镜沿着IR光路引导的IR光的至少一个镜。至少一个传感器被配置为接收被眼睛反射之后的IR光。
在这方面，附加地或备选地，光源可以被定位在显示区域的与用户的眼睛相对的一侧，并且IR光路的一部分可以横穿可见光波导的一部分。在这方面，附加地或备选地，光源可以被定位在显示区域的与用户的眼睛相同的一侧，并且IR光路可以不横穿可见光波导。在这方面，附加地或备选地，至少一个镜可以反射IR光并且透射可见光的热镜，热镜可以被定位在可见光波导的与光源相同的一侧并且可以被配置为反射由MEMS扫描镜引导的IR光并且中继来自光源的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线同轴地撞击眼睛。
在这一方面，附加地或备选地，至少一个镜可以是折叠镜；折叠镜可以被定位在可见光波导的与眼睛相同的一侧并且可以被配置为反射IR光并且中继来自光源的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线离轴地撞击眼睛。在这方面，附加地或备选地，至少一个镜可以是多个镜之一，并且多个镜可以包括均反射IR光并且透射可见光的第一热镜和第二热镜。第一热镜和第二热镜可以被定位在可见光波导的同一侧并且被配置为沿着IR光路中继来自光源的IR光。第一热镜可以被配置为反射IR光并且第二热镜可以被配置为反射来自第一热镜的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线同轴地撞击眼睛。
在这方面，附加地或备选地，至少一个镜可以是多个镜之一，并且多个镜可以包括第一折叠镜和第二折叠镜。第一折叠镜和第二折叠镜可以被定位在可见光波导的与眼睛相同的一侧并且可以被配置为沿着IR光路中继来自光源的IR光。第一折叠镜可以被配置为反射IR光并且第二折叠镜可以被配置为反射来自第一折叠镜的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线离轴地撞击眼睛。
在这方面，附加地或备选地，IR波导可以被定位在眼睛与可见光波导之间。至少一个镜可以是多个镜之一，并且多个镜可以包括均反射IR光并且透射可见光的第一热镜和第二热镜。第一热镜和第二热镜可以被嵌入在IR波导中并且可以被配置为沿着IR光路中继来自光源的IR光。第一热镜可以被配置为反射IR光并且第二热镜可以被配置为反射来自第一热镜的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线同轴地撞击眼睛。
在这方面，附加地或备选地，可见光波导、光源、MEMS扫描镜、中继器和至少一个传感器可以被安装在包括遮阳板的头戴式显示器(HMD)设备中。至少一个镜可以是多个镜之一，并且IR光路的多个部分可以横穿可见光波导的对应的多个部分。多个镜可以包括均反射IR光并且透射可见光的第一热镜和第二热镜。第一热镜和第二热镜可以被嵌入在遮阳板中并且可以被配置为沿着IR光路中继来自光源的IR光。第一热镜可以被配置为反射横穿可见光波导的多个部分中的至少第一部分的红外光并且第二热镜可以被配置为反射来自至少第一热镜的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线同轴地撞击眼睛。
在这方面，附加地或备选地，可见光波导、光源、MEMS扫描镜、中继器和至少一个传感器可以被安装在包括遮阳板的头戴式显示器(HMD)设备中。IR光路的多个部分横穿可见光波导的对应的多个部分。至少一个镜可以是折叠镜。折叠镜可以被定位在可见光波导的与眼睛相同的一侧并且可以被配置为反射沿着IR光路横穿可见光波导的多个部分中的至少第一部分的IR光。遮阳板表面可以被配置为反射来自折叠镜的IR光以中继来自光源的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线离轴地撞击眼睛。
在这方面，附加地或备选地，可见光波导、光源、MEMS扫描镜、中继器和至少一个传感器可以被安装在包括遮阳板的头戴式显示器(HMD)设备中。IR光路的多个部分横穿可见光波导的对应的多个部分。至少一个镜可以是折叠镜。折叠镜可以被定位在可见光波导的与眼睛相同的一侧并且可以被配置为反射沿着IR光路横穿可见光波导的多个部分中的至少第一部分的IR光。眼睛跟踪系统的至少一个组件的至少一个表面可以被配置为反射来自折叠镜的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线离轴地撞击眼睛。
另一方面提供了一种利用眼睛跟踪系统照射眼睛的方法，该方法包括配置具有用于发射可见光以撞击用户的眼睛的可见光显示区域的至少部分透明可见光波导。该方法还包括从光源至少发射红外(IR)光，IR光沿着IR光路行进以撞击用户的眼睛。该方法还包括利用被定位在IR光路中并且被配置为引导来自光源的IR光的微机电系统(MEMS)扫描镜沿着IR光路引导IR光。该方法还包括利用被定位在IR光路中在MEMS扫描镜下游并且包括被配置为反射由MEMS扫描镜沿着IR光路引导的IR光以使其撞击用户的眼睛的至少一个镜的中继器来重新引导IR光。该方法还包括经由被配置为接收IR光的至少一个传感器接收从用户的眼睛反射的IR光的一部分。
在这方面，附加地或备选地，光源可以被定位在显示区域的与用户的眼睛相对的一侧，并且IR光路的一部分可以横穿可见光波导的一部分。在这方面，附加地或备选地，光源可以被定位在显示区域的与用户的眼睛相同的一侧，并且IR光路可以不横穿可见光波导。
在这方面，附加地或备选地，至少一个镜可以是反射IR光并且透射可见光的热镜。热镜可以被定位在可见光波导的与光源相同的一侧并且可以被配置为反射由MEMS扫描镜引导的IR光并且中继来自光源的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线同轴地撞击眼睛。
在这方面，附加地或备选地，至少一个镜可以是折叠镜；折叠镜可以被定位在可见光波导的与眼睛相同的一侧并且可以被配置为反射IR光并且中继来自光源的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线离轴地撞击眼睛。
在这方面，附加地或备选地，至少一个镜可以是多个镜之一。多个镜可以包括均反射IR光并且透射可见光的第一热镜和第二热镜。第一热镜和第二热镜可以被定位在可见光波导的同一侧并且可以被配置为沿着IR光路中继来自光源的IR光。第一热镜可以被配置为反射IR光并且第二热镜可以被配置为反射来自第一热镜的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线同轴地撞击眼睛。
在这一方面，附加地或备选地，至少一个镜可以是多个镜之一。多个镜可以包括第一折叠镜和第二折叠镜。第一折叠镜和第二折叠镜可以被定位在可见光波导的与眼睛相同的一侧并且可以被配置为沿着IR光路中继来自光源的IR光。第一折叠镜可以被配置为反射IR光并且第二折叠镜可以被配置为反射来自第一折叠镜的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线离轴地撞击眼睛。
在这方面，附加地或备选地，该方法可以包括将IR波导被定位在眼睛与可见光波导之间。至少一个镜可以是多个镜之一。多个镜可以包括均反射IR光并且透射可见光的第一热镜和第二热镜。第一热镜和第二热镜可以被嵌入在IR波导中并且可以被配置为沿着IR光路中继来自光源的IR光。第一热镜可以被配置为反射IR光并且第二热镜可以被配置为反射来自第一热镜的IR光以使IR光在撞击眼睛时相对于从可见光波导发射的可见光的轴线同轴地撞击眼睛。
另一方面提供了一种具有眼睛跟踪系统的头戴式显示器(HMD)设备，该HMD设备包括具有被配置为发射可见光以撞击用户的眼睛的至少部分透明可见光波导。光源被定位在显示区域的与用户的眼睛相对的一侧，该光源被配置为至少发射沿着红外(IR)光路行进以撞击用户的眼睛的IR光，IR光路的一部分横穿可见光波导的一部分。微机电系统(MEMS)扫描镜被定位在IR光路中并且被配置为沿着IR光路引导IR光。中继器被定位在IR光路中在MEMS扫描镜下游并且包括被配置为反射由MEMS扫描镜沿着IR光路引导的IR光的至少一个镜。至少一个传感器被配置为接收被眼睛反射之后的IR光的至少一部分。
应当理解，本文中描述的配置和/或方法本质上是示例性的，并且这些特定实施例或示例不应当被认为是限制性的，因为可以进行多种变化。本文中描述的特定例程或方法可以表示任何数目的处理策略中的一个或多个。这样，所示出和/或所描述的各种动作可以以所示出和/或所描述的顺序执行，以其他顺序执行，并行地执行，或者省略。同样，可以改变上述处理的顺序。
本公开的主题包括本文中公开的各种过程、系统和配置以及其他特征、功能、行为和/或特性及其所有等效项的所有新颖且非明显的组合和子组合。

Claims (15)

1.一种眼睛跟踪系统，包括：
至少部分透明可见光波导，具有被配置为发射可见光以撞击用户的眼睛的可见光显示区域；
光源，被配置为至少发射沿着红外(IR)光路行进以撞击所述用户的所述眼睛的IR光；
微机电系统(MEMS)扫描镜，被定位在所述IR光路中并且被配置为沿着所述IR光路引导所述IR光；
中继器，被定位在所述IR光路中在所述MEMS扫描镜下游并且包括被配置为反射由所述MEMS扫描镜沿着所述IR光路引导的所述IR光的至少一个镜；以及
至少一个传感器，被配置为接收被所述眼睛反射之后的所述IR光。
2.根据权利要求1所述的眼睛跟踪系统，其中所述光源被定位在所述显示区域的与所述用户的所述眼睛相对的一侧，并且所述IR光路的一部分横穿所述可见光波导的一部分。
3.根据权利要求1所述的眼睛跟踪系统，其中所述光源被定位在所述显示区域的与所述用户的所述眼睛相同的一侧，并且所述IR光路不横穿所述可见光波导。
4.根据权利要求1所述的眼睛跟踪系统，其中所述至少一个镜是反射IR光并且透射可见光的热镜，所述热镜被定位在所述可见光波导的与所述光源相同的一侧并且被配置为反射由所述MEMS扫描镜引导的所述IR光并且中继来自所述光源的所述IR光，以使所述IR光在撞击所述眼睛时相对于从所述可见光波导发射的所述可见光的轴线同轴地撞击所述眼睛。
5.根据权利要求1所述的眼睛跟踪系统，其中所述至少一个镜是折叠镜，所述折叠镜被定位在所述可见光波导的与所述眼睛相同的一侧并且被配置为反射所述IR光并且中继来自所述光源的所述IR光，以使所述IR光在撞击所述眼睛时相对于从所述可见光波导发射的所述可见光的轴线离轴地撞击所述眼睛。
6.根据权利要求1所述的眼睛跟踪系统，其中所述至少一个镜是多个镜之一，并且其中所述多个镜包括均反射IR光并且透射可见光的第一热镜和第二热镜，所述第一热镜和所述第二热镜被定位在所述可见光波导的同一侧并且被配置为沿着所述IR光路中继来自所述光源的所述IR光，所述第一热镜被配置为反射所述IR光并且所述第二热镜被配置为反射来自所述第一热镜的所述IR光，以使所述IR光在撞击所述眼睛时相对于从所述可见光波导发射的所述可见光的轴线同轴地撞击所述眼睛。
7.根据权利要求1所述的眼睛跟踪系统，其中所述至少一个镜是多个镜之一，并且其中所述多个镜包括第一折叠镜和第二折叠镜，所述第一折叠镜和所述第二折叠镜被定位在所述可见光波导的与所述眼睛相同的一侧并且被配置为沿着所述IR光路中继来自所述光源的所述IR光，所述第一折叠镜被配置为反射所述IR光并且所述第二折叠镜被配置为反射来自所述第一折叠镜的所述IR光，以使所述IR光在撞击所述眼睛时相对于从所述可见光波导发射的所述可见光的轴线离轴地撞击所述眼睛。
8.根据权利要求1所述的眼睛跟踪系统，还包括：
IR波导，被定位在所述眼睛与所述可见光波导之间，其中
所述至少一个镜是多个镜之一，并且其中所述多个镜包括均反射IR光并且透射可见光的第一热镜和第二热镜，所述第一热镜和所述第二热镜被嵌入在所述IR波导中并且被配置为沿着所述IR光路中继来自所述光源的所述IR光，所述第一热镜被配置为反射所述IR光并且所述第二热镜被配置为反射来自所述第一热镜的所述IR光，以使所述IR光在撞击所述眼睛时相对于从所述可见光波导发射的所述可见光的轴线同轴地撞击所述眼睛。
9.根据权利要求1所述的眼睛跟踪系统，其中
所述可见光波导、所述光源、所述MEMS扫描镜、所述中继器和所述至少一个传感器被安装在包括遮阳板的头戴式显示器(HMD)设备中；
所述至少一个镜是多个镜之一；
所述IR光路的多个部分横穿所述可见光波导的对应的多个部分；以及
所述多个镜包括均反射IR光并且透射可见光的第一热镜和第二热镜，所述第一热镜和所述第二热镜被嵌入在所述遮阳板中并且被配置为沿着所述IR光路中继来自所述光源的所述IR光，所述第一热镜被配置为反射横穿所述可见光波导的所述多个部分中的至少第一部分的所述IR光并且所述第二热镜被配置为反射来自至少所述第一热镜的所述IR光，以使所述IR光在撞击所述眼睛时相对于从所述可见光波导发射的所述可见光的轴线同轴地撞击所述眼睛。
10.根据权利要求1所述的眼睛跟踪系统，其中
所述可见光波导、所述光源、所述MEMS扫描镜、所述中继器和所述至少一个传感器被安装在包括遮阳板的头戴式显示器(HMD)设备中；
所述IR光路的多个部分横穿所述可见光波导的对应的多个部分；
所述至少一个镜是折叠镜，所述折叠镜被定位在所述可见光波导的与所述眼睛相同的一侧并且被配置为反射沿着所述IR光路横穿所述可见光波导的所述多个部分中的至少第一部分的所述IR光；以及
遮阳板表面被配置为反射来自所述折叠镜的所述IR光以中继来自所述光源的所述IR光，以使所述IR光在撞击所述眼睛时相对于从所述可见光波导发射的所述可见光的轴线离轴地撞击所述眼睛。
11.根据权利要求1所述的眼睛跟踪系统，其中
所述可见光波导、所述光源、所述MEMS扫描镜、所述中继器和所述至少一个传感器被安装在包括遮阳板的头戴式显示器(HMD)设备中；
所述IR光路的多个部分横穿所述可见光波导的对应的多个部分；
所述至少一个镜是折叠镜，所述折叠镜被定位在所述可见光波导的与所述眼睛相同的一侧并且被配置为反射沿着所述IR光路横穿所述可见光波导的所述多个部分中的至少第一部分的所述IR光；以及
所述眼睛跟踪系统的至少一个组件的至少一个表面被配置为反射来自所述折叠镜的所述IR光，以使所述IR光在撞击所述眼睛时相对于从所述可见光波导发射的所述可见光的轴线离轴地撞击所述眼睛。
12.一种利用眼睛跟踪系统照射眼睛的方法，所述方法包括：
配置具有用以发射可见光以撞击用户的眼睛的可见光显示区域的至少部分透明可见光波导；
从光源至少发射红外(IR)光，所述IR光沿着IR光路行进以撞击所述用户的所述眼睛；
利用被定位在所述IR光路中并且被配置为引导来自所述光源的所述IR光的微机电系统(MEMS)扫描镜沿着所述IR光路引导所述IR光；
利用被定位在所述IR光路中在所述MEMS扫描镜下游并且包括被配置为反射由所述MEMS扫描镜沿着所述IR光路引导的所述IR光以使所述IR光撞击所述用户的所述眼睛的至少一个镜的中继器来重新引导所述IR光；以及
经由被配置为接收IR光的至少一个传感器接收从所述用户的所述眼睛反射的所述IR光的一部分。
13.根据权利要求12所述的方法，其中所述光源被定位在所述显示区域的与所述用户的所述眼睛相对的一侧，并且所述IR光路的一部分横穿所述可见光波导的一部分。
14.根据权利要求12所述的方法，其中所述光源被定位在所述显示区域的与所述用户的所述眼睛相同的一侧，并且所述IR光路不横穿所述可见光波导。
15.根据权利要求12所述的方法，其中所述至少一个镜是反射IR光并且透射可见光的热镜，所述热镜被定位在所述可见光波导的与所述光源相同的一侧并且被配置为反射由所述MEMS扫描镜引导的所述IR光并且中继来自所述光源的所述IR光，以使所述IR光在撞击所述眼睛时相对于从所述可见光波导发射的所述可见光的轴线同轴地撞击所述眼睛。
CN201880052020.XA 2017-08-11 2018-06-21 利用mems扫描和反射光的眼睛跟踪 Pending CN111033354A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/675,349 2017-08-11
US15/675,349 US10976811B2 (en) 2017-08-11 2017-08-11 Eye-tracking with MEMS scanning and reflected light
PCT/US2018/038643 WO2019032199A1 (en) 2017-08-11 2018-06-21 MONITORING THE EYE WITH MEMS SCANNING AND REFLECTED LIGHT

Publications (1)

Publication Number Publication Date
CN111033354A true CN111033354A (zh) 2020-04-17

Family

ID=62875350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052020.XA Pending CN111033354A (zh) 2017-08-11 2018-06-21 利用mems扫描和反射光的眼睛跟踪

Country Status (4)

Country Link
US (1) US10976811B2 (zh)
EP (1) EP3665523A1 (zh)
CN (1) CN111033354A (zh)
WO (1) WO2019032199A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114035318A (zh) * 2021-11-17 2022-02-11 合肥芯福传感器技术有限公司 紧凑型眼球跟踪系统及方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10698481B1 (en) 2017-09-28 2020-06-30 Apple Inc. Glint-assisted gaze tracker
US11022809B1 (en) 2019-02-11 2021-06-01 Facebook Technologies, Llc Display devices with wavelength-dependent reflectors for eye tracking
WO2020191170A1 (en) * 2019-03-20 2020-09-24 Magic Leap, Inc. System for providing illumination of the eye
US11120258B1 (en) * 2019-07-18 2021-09-14 Facebook Technologies, Llc Apparatuses, systems, and methods for scanning an eye via a folding mirror
US11698676B2 (en) 2019-08-23 2023-07-11 Samsung Electronics Co., Ltd. Method and electronic device for eye-tracking
CN110824699B (zh) * 2019-12-25 2020-12-04 歌尔光学科技有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
JP7428028B2 (ja) * 2020-03-17 2024-02-06 株式会社リコー 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
JP2021148883A (ja) * 2020-03-17 2021-09-27 株式会社リコー 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
US12102387B2 (en) 2020-04-24 2024-10-01 Remmedvr Sp. Z.O.O. System and methods for use in vision assessment to determine refractive errors and neurodegenerative disorders by ocular biomarking features
US11528953B2 (en) * 2020-05-19 2022-12-20 Rockwell Collins, Inc. Display embedded visor helmet mounted display
US20210365533A1 (en) * 2020-05-20 2021-11-25 Facebook Technologies, Llc Systems and methods for authenticating a user of a head-mounted display
US11520152B1 (en) * 2020-08-06 2022-12-06 Apple Inc. Head-mounted display systems with gaze tracker alignment monitoring
US12253669B2 (en) * 2020-11-20 2025-03-18 Google Llc Time-sequential MEMS projector
WO2023067424A1 (ja) * 2021-10-19 2023-04-27 株式会社半導体エネルギー研究所 光学装置
US11796804B1 (en) * 2022-03-28 2023-10-24 Meta Platforms Technologies, Llc Eye-tracking with steered eyebox
US12093450B2 (en) * 2022-10-25 2024-09-17 Meta Platforms Technologies, Llc Scanning display with eye-tracking
US11988828B1 (en) * 2022-11-16 2024-05-21 Meta Platforms Technologies, Llc Multi-pupil display and eye-tracking with interferometric sensing
US12189121B2 (en) 2022-12-22 2025-01-07 Meta Platforms Technologies, Llc Ultrafast illumination for structured light based eye tracking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041259A1 (en) * 1998-08-05 2002-04-11 John R. Lewis Personal display with vision tracking
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示系统
WO2015012280A1 (ja) * 2013-07-24 2015-01-29 コニカミノルタ株式会社 視線検出装置
WO2016191709A1 (en) * 2015-05-28 2016-12-01 Thalmic Labs Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5303085A (en) 1992-02-07 1994-04-12 Rallison Richard D Optically corrected helmet mounted display
US7262919B1 (en) 1994-06-13 2007-08-28 Canon Kabushiki Kaisha Head-up display device with curved optical surface having total reflection
US6671100B1 (en) * 1999-10-14 2003-12-30 Stratos Product Development Llc Virtual imaging system
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
ES2880475T3 (es) * 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
US9529191B2 (en) 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US9001030B2 (en) * 2012-02-15 2015-04-07 Google Inc. Heads up display
US9116337B1 (en) 2012-03-21 2015-08-25 Google Inc. Increasing effective eyebox size of an HMD
WO2014043142A1 (en) 2012-09-11 2014-03-20 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US9261959B1 (en) * 2013-03-28 2016-02-16 Google Inc. Input detection
WO2014188149A1 (en) * 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
JP6483127B2 (ja) 2013-08-19 2019-03-13 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１つの対象物の位置を求めるための検出器
US20150157198A1 (en) 2013-12-11 2015-06-11 Topcon Medical Laser Systems, Inc. Ophthalmic Illumination System with Micro-Display Overlaid Image Source
WO2015198477A1 (ja) * 2014-06-27 2015-12-30 株式会社Ｆｏｖｅ 視線検知装置
US20160242643A1 (en) 2015-02-19 2016-08-25 Rivendell Heights, Inc. Transparent Camera for Imaging the Eye
CN118584664A (zh) 2015-09-23 2024-09-03 奇跃公司 采用离轴成像器的眼睛成像
JP6598269B2 (ja) 2015-10-05 2019-10-30 ディジレンズ インコーポレイテッド 導波管ディスプレイ
US10401625B2 (en) * 2015-12-28 2019-09-03 Facebook Technologies, Llc Determining interpupillary distance and eye relief of a user wearing a head-mounted display
US10553139B2 (en) * 2016-11-10 2020-02-04 Microsoft Technology Licensing, Llc Enhanced imaging system for linear micro-displays
AU2018258679B2 (en) * 2017-04-27 2022-03-31 Magic Leap, Inc. Light-emitting user input device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041259A1 (en) * 1998-08-05 2002-04-11 John R. Lewis Personal display with vision tracking
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示系统
WO2015012280A1 (ja) * 2013-07-24 2015-01-29 コニカミノルタ株式会社 視線検出装置
WO2016191709A1 (en) * 2015-05-28 2016-12-01 Thalmic Labs Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114035318A (zh) * 2021-11-17 2022-02-11 合肥芯福传感器技术有限公司 紧凑型眼球跟踪系统及方法

Also Published As

Publication number Publication date
WO2019032199A1 (en) 2019-02-14
US20190050051A1 (en) 2019-02-14
US10976811B2 (en) 2021-04-13
EP3665523A1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
CN111033354A (zh) 利用mems扫描和反射光的眼睛跟踪
US10394034B2 (en) Eye-tracking with MEMS scanning and optical relay
US10672103B2 (en) Virtual object movement
US10732427B2 (en) Eye-tracking system positioning diffractive couplers on waveguide
CN109564347B (zh) 光学系统中的扫描
KR102219245B1 (ko) 헤드 마운트 디스플레이를 위한 눈 추적 시스템
KR102460047B1 (ko) 유저 안경 특성을 결정하는 눈 추적용 디바이스를 갖는 헤드업 디스플레이
US9824499B2 (en) Mixed-reality image capture
US20160027218A1 (en) Multi-user gaze projection using head mounted display devices
US20170061694A1 (en) Augmented reality control of computing device
KR20170090490A (ko) 시선 타겟 애플리케이션 런처
CN105408802A (zh) 用于头戴式显示器的眼睛跟踪系统
KR20150127698A (ko) 재구성 가능 위상 마스크를 사용한 이미지 보정
WO2017039911A1 (en) Localizing devices in an augmented reality environment
US10481739B2 (en) Optical steering of component wavelengths of a multi-wavelength beam to enable interactivity
US11487105B2 (en) Modified slow-scan drive signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination