CN112334815B - 视网膜显示设备和方法 - Google Patents

Abstract

本发明涉及一种用于在用户的眼睛的视网膜上生成图像的视网膜显示设备(100)，其中，该视网膜显示设备(100)用于生成多个光束，每个光束传送该图像的实例，其中，上述多个光束一一对应于用户的眼睛的多个潜在取向。此外，本发明涉及一种相应的方法。

Description

视网膜显示设备和方法

技术领域

一般地，本发明涉及个人显示设备领域。更具体地，本发明涉及一种视网膜显示设备和方法。

背景技术

个人显示设备能够在传统显示屏使用受限的应用中向观看者提供图像内容。诸如显示眼镜的头戴式显示（head-mounted display，HMD）设备（也称为近眼显示（near-eyedisplay，NED）设备或近眼（near-to-eye，NTE）设备）被认为是可用于多种领域的有用的可穿戴个人显示设备，其应用范围包括军事、医疗、牙科、工业、以及游戏演示等。

众所周知，麦克斯韦（Maxwellian）HMD（也称为视网膜显示设备）提供了一种免调节（accommodation-free）的显示器，使用户能够稳定地观察真实对象和虚拟对象，这是传统HMD无法提供的关键功能。然而，一般地，麦克斯韦观察法（Maxwellian view）的局限在于其极窄的视场，该视场要求将光束精确地会聚在晶状体的中心。这种窄视场不足以提供便利的用户观看体验，因此限制了这种技术的发展。

Lin，J. 等人的“视网膜投影头戴式显示器（Retinal projection head-mounteddisplay）”，光电子学前沿杂志，10（1）：1-8，2017公开了一种用于在一定程度上扩展视场的所谓的修改的麦克斯韦观察法。但是，所提出的方法忽略了晶状体的调节，缩小了瞳孔，并且减小了视角场。

因此，仍然需要一种为用户提供更大视场的改进的视网膜显示设备和方法。

发明内容

本发明的实施例由独立权利要求的特征限定，并且实施例的其他有利的实施方式由从属权利要求的特征限定。

根据第一方面，本发明涉及一种用于在用户的眼睛的视网膜上生成图像的视网膜显示设备。视网膜显示设备用于生成多个光束，其中，每个光束传送该图像的实例，并且其中，上述多个光束一一对应于用户的眼睛的多个潜在取向（potential orientation）。

因此，公开了一种改进的视网膜显示设备，其为用户提供更大的视场。更具体地，本发明实施例通过提供一组出射光瞳并（同时）在每个出射光瞳处生成图像的副本来扩展视场。可以选择出射光瞳配置以最小化双重图像伪影。因此，本发明的实施例为增强现实（augmented reality，AR）、虚拟现实（virtual reality，VR）、或混合现实应用提供具有扩展视场的麦克斯韦光学系统。本发明实施例利用微光学元件同时创建多个图像副本，并且进一步利用自由曲面反射器将每个副本聚焦在专用栅格上。以此方式，当观察者转动眼球时，将始终有一个光束指向眼睛的瞳孔。

如本文所使用的，光束是图像光线的集合，并且主光线是来自图像的中心点的光线。

在本发明第一方面的另一可能实施方式中，对于多个光束中的每个光束，视网膜显示设备包括用于透射该光束的孔。

在本发明第一方面的另一可能实施方式中，多个光束中的每个光束由多个激光束组成，上述多个激光束中的每个激光束对应于图像的像素。

在本发明第一方面的另一可能实施方式中，视网膜显示设备用于通过将主光束分成多个光束来生成多个光束。例如，视网膜显示设备可以包括具有一个或多个分束器的分束器单元，上述一个或多个分束器用于将主光束分成多个光束。上述一个或多个分束器可包括用于反射多个光束的一个或多个反射镜（mirror）。

在本发明第一方面的另一可能的实施方式中，视网膜显示设备包括用于生成主光束的光引擎。

在本发明第一方面的另一可能的实施方式中，光引擎包括激光器。

在本发明第一方面的另一可能的实施方式中，对于多个光束中的每个光束，视网膜显示设备包括用于将相应的光束反射到对应于眼睛的多个潜在取向中的一个潜在取向的方向的反射器。

在本发明第一方面的另一可能的实施方式中，该反射器是自由曲面反射器。例如，自由曲面反射器可以包括曲面镜、衍射反射器、或全息反射器中的一个或多个。自由曲面反射器可以包括具有通过映射定义的可调节形状的反射性自由曲面，以反射和映射相应的光束。该反射面可以是光学反射面。

在本发明第一方面的另一可能的实施方式中，反射器是半透明的。

在本发明第一方面的另一可能的实施方式中，对于多个光束中的每个光束，视网膜显示设备包括用于补偿相应的光束的旋转的棱镜。特别地，棱镜可以是三角棱镜。

在本发明第一方面的另一可能的实施方式中，上述一个或多个棱镜（特别是三角棱镜）的底面涂覆有反射材料。

在本发明第一方面的另一可能的实施方式中，视网膜显示设备包括一个或多个扩束器。

在本发明第一方面的另一可能的实施方式中，上述多个光束具有相同的强度。

在本发明第一方面的另一可能的实施方式中，眼睛的多个潜在取向在眼睛上定义阵列，特别是眼睛上的六边形阵列。

在本发明第一方面的另一可能的实施方式中，多个潜在取向的阵列的两个相邻取向之间的距离在用户的眼睛的基于目标环境的照明条件的瞳孔尺寸的范围内。

在本发明第一方面的另一可能的实施方式中，视网膜显示设备还包括处理电路，该处理电路用于基于外部亮度水平调整多个潜在取向的阵列的两个垂直或水平相邻取向之间的距离。

在本发明第一方面的另一可能的实施方式中，视网膜显示设备还包括一个或多个光路均衡器，上述一个或多个光路均衡器用于将多个光束的光路调整为与图像相关联的光路。

上述每种实施方式设计简单，并且产生良好的光学性能。

根据第二方面，本发明涉及近眼显示设备，该近眼显示设备包括根据本发明的第一方面的一个或多个视网膜显示设备。

根据第三方面，本发明涉及相应的视网膜显示方法，其中，该视网膜显示方法包括步骤：通过生成多个光束在用户的眼睛的视网膜上生成图像，其中，每个光束传送该图像的实例，并且其中，上述多个光束一一对应于用户的眼睛的多个潜在取向。

根据本发明第三方面的视网膜显示方法可以由根据本发明第一方面的视网膜显示设备来执行。根据本发明第三方面的视网膜显示方法的其他特征直接来自根据本发明第一方面及其上述或下述不同实施方式的视网膜显示设备的功能。

根据第四方面，本发明涉及一种计算机程序产品，该计算机程序产品包括程序代码，当该程序代码在计算机上执行时用于执行根据第三方面的方法。

在附图和以下描述中阐述了一个或多个实施例的细节。其他特征、目的、以及优点从说明书、附图、以及权利要求中将显而易见。

附图说明

以下参考附图更详细地描述本发明实施例，在附图中：

图1是示出根据本发明实施例的视网膜显示设备的示例的示意图；

图2是示出根据本发明实施例的视网膜显示设备的分束器单元的细节的示意图；

图3是示出根据本发明实施例的视网膜显示设备的不同方面的示意图；

图4是示出根据本发明实施例的视网膜显示设备的示例的示意图；

图5是示出图4的视网膜显示设备的细节的示意图；

图6是示出根据本发明实施例的视网膜显示设备提供的适眼区（eye-box）的示例的示意图；

图7是示出视网膜显示设备的不同实施例的发生光学伪像的示意图；

图8是示出根据本发明实施例的包括视网膜显示设备的近眼显示设备的示例的示意图；

图9是示出根据本发明实施例的视网膜显示设备的示例的示意图；

图10是示出图9的视网膜显示设备的细节的示意图；以及

图11是示出根据本发明实施例的视网膜显示方法的示例的流程图。

在下文中，相同的附图标记表示相同或至少在功能上等同的特征。

具体实施方式

在以下描述中，参考形成本公开的一部分的附图，并且这些附图通过图示的方式示出了本发明实施例的特定方面或可以使用本发明实施例的特定方面。应当理解，本发明实施例可以用在其他方面，并且包括附图中未示出的结构或逻辑变化。因此，以下具体实施方式不应视为限制性的，并且本发明的范围由所附权利要求限定。

例如，应当理解，与所描述的方法有关的公开对于用于执行该方法的相应装置或系统也适用，反之亦然。例如，如果描述了一个或多个特定的方法步骤，则相应的装置可以包括用于执行所描述的一个或多个方法步骤的一个或多个诸如功能单元的单元（例如，一个单元执行一个或多个步骤，或多个单元各自执行多个步骤中的一个或多个），即使上述一个或多个单元未在附图中明确描述或示出。另一方面，例如，如果基于一个或多个诸如功能单元的单元描述了特定装置，则相应的方法可以包括执行一个或多个单元的功能的一个步骤（例如，一个步骤执行一个或多个单元的功能，或多个步骤各自执行一个或多个单元的功能），即使上述一个或多个步骤未在附图中明确描述或示出。此外，应当理解，除非另外特别指出，否则本文所述的各种示例性实施例和/或方面的特征可以彼此组合。

图1示出了用于在用户的眼睛的视网膜上生成图像的基于扩展的麦克斯韦观察法的视网膜显示设备100的实施例。如以下将进一步详细描述的，视网膜显示设备100用于生成多个光束，其中，每个光束传送图像的实例，并且其中，上述多个光束一一地对应于用户的眼睛的多个潜在取向。在实施例中，对于多个光束中的每个光束，视网膜显示设备100可以包括用于透射该光束的孔。在实施例中，多个光束中的每个光束可以由多个激光束组成，其中，上述多个激光束中的每个激光束对应于图像的像素。在实施例中，视网膜显示设备100用于通过将主光束分成多个光束来生成上述多个光束。

图1所示的视网膜显示设备100通常包括光引擎101、分束器单元103（在图1中称为适眼区扩展器）、以及自由曲面反射器单元105。

光引擎101用于生成单图像准直光束（一组光线），即主光束。在实施例中，光引擎101可以包括激光器。如将在图2的上下文中更详细地描述的，分束器单元103可以基于用于创建（优选地，具有相同强度的）多个图像副本的微光学器件。如以下将进一步详细描述的，分束器单元103被配置为使得生成的图像副本的数量与出射光瞳的数量相同。自由曲面反射器单元105可以包括一个或多个自由曲面反射器，上述一个或多个自由曲面反射器用于将相应的光束反射到对应于眼睛的多个潜在取向中的一个潜在取向的方向，以在适眼区107内“创建”麦克斯韦出射光瞳。

分束器单元103可以基于图2所示的光学设计，其中，使用微光学器件来实现分束器单元103。图2所示的分束器单元103包括尺寸为例如2×2×2 mm的多个分束器103a-e和多个反射镜，其中，每个分束器103a-e在接收到一组单输入准直光线之后最多输出两个准直光束或两组光线。在实施例中，可以通过在每个分束器103a-e的表面上涂敷涂层来调整每个出射光瞳的亮度。在实施例中，每个出射光瞳的亮度应相同，并且可以选择适当的涂层来实现该目的。

图3示出了包括自由曲面反射器105的视网膜显示设备的实施例，该自由曲面反射器105具有一定长度（例如，2厘米）的适眼距（eye relief），以实现具有一定的尺寸（例如，38度）以及一定的投影距离（例如，5厘米）的视场（field of view，FOV）。图3示出了自由曲面反射器单元105如何在从分束器单元103接收到两个图像副本之后创建出射光瞳。

图4示出了视网膜显示设备100的另一实施例，该视网膜显示设备100包括微光学元件和自由曲面反射器单元105。在图4所示的实施例中，分束器单元103包括用于提供六个出射光瞳的八个分束器。图4所示的视网膜显示设备100还包括六个棱镜500（特别是三角棱镜500），其中，每个棱镜500位于分束器单元103下游的每个图像副本的光路中。在图4所示的实施例中，在分束器以不同角度定位的情况下，（三角）棱镜500可用于补偿由分束器引起的图像反射而造成的图像旋转。此外，图4所示的视网膜显示设备100包括六个扩束器501，扩束器501用于将（三角）棱镜500提供的各个光束转换为发散光束。在实施例中，每个扩束器501可以包括用于提供发散光束的透镜或透镜阵列。

可以理解，图4所示的（三角）棱镜500的确切几何形状主要取决于每个（三角）棱镜500的材料的折射率以及光束的尺寸。每个（三角）棱镜500中存在三个反射和两个透射。每个（三角）棱镜500的入射面和出射面也用作反射面，因此在这两个面上应发生全内反射。在实施例中，每个（三角）棱镜500的底面用作反射面。在实施例中，由于该表面上的入射角可能很小，所以该表面可以涂覆有反射材料。图5示出了由根据实施例的视网膜显示设备100中使用的（三角）棱镜500提供的光路的详细视图，图5还至少部分地示出了位于（三角）棱镜500的出射面附近的用于发散（三角）棱镜500提供的准直光束的一个扩束器501和两个分束器。

图6示出了根据实施例的视网膜显示设备100提供的出射光瞳配置，即，眼睛的多个潜在取向。在图6所示的实施例中，适眼区107包括由六个出射光瞳（即眼睛的多个潜在取向）组成的阵列，该阵列具有两个水平行，每个水平行中具有三个出射光瞳。举例来说，图6所示的适眼区107的水平尺寸可以为12 mm，垂直尺寸可以为9 mm。举例来说，相邻的出射光瞳（即眼睛的相邻取向）之间的水平距离d2和垂直距离d1可以为d2 = d1 = 3 mm。在实施例中，水平距离d2和垂直距离d1可以不同。在实施例中，出射光瞳阵列可以任意地分布在2D空间上，例如不规则分布、呈六边形分布等。

在实施例中，多个潜在取向的阵列的两个相邻取向之间的距离在用户的眼睛的基于目标环境的光照条件的瞳孔尺寸的范围内。在实施例中，视网膜显示设备100还可以包括处理电路，该处理电路用于基于外部亮度水平调整多个潜在取向的阵列的两个相邻取向之间的距离。

图7示出了根据实施例的视网膜显示设备100的可视区域内的光学伪像对图6所示的出射光瞳阵列的空间配置的依赖性。对于眼瞳的示例性尺寸d = 3 mm并且总共有具有图6所示的空间配置的六个出射光瞳的情况，图7的阴影区域表示由计算机模拟确定的可能出现光学伪像的区域。图7的上半部分示出了出射光瞳之间相隔的垂直和水平距离为2 mm时阴影区域的俯视图和侧视图。图7的下半部分示出了出射光瞳之间相隔的垂直和水平距离为3 mm时阴影区域的俯视图和侧视图。可以理解的是，该视网膜显示设备100的实施例中，间隔为3 mm时的光学伪像小于间隔为2 mm时的光学伪像，因此，在这种情况下，优选3 mm的间隔。

图8示出了作为近眼显示设备的一部分的玻璃形式的视网膜显示设备100的实施例的实施方式。在图8中，自由曲面反射器单元105称为“光学组合器”，而分束器单元103（即适眼区扩展器）称为“瞳孔扩展器”。

图9示出了视网膜显示设备100的另一实施例的方面，其是对图4所示的实施例的修改，其中，图9的视网膜显示设备100还包括一个或多个光路均衡器900或路径均衡器。对于图4所示的视网膜显示设备100的实施例，激光器前面的透镜用于调整光束的会聚或发散以及束腰的位置。这种调整与扩束器和自由曲面反射器的其余组件共同确定了用户视网膜上的光斑尺寸。对于每种配置，激光束的光路有所不同（可以理解，从激光发射器到反射器，对于每种分束器配置，光束传播的距离不同）。根据实施例，为了最小化用户视网膜上的光斑尺寸，可以对每种配置的光路进行均衡。在实施例中，这可以通过为每个配置在一个路径之外再增加额外路径（例如，图10所示的额外路径D1和额外路径D2）来实现。从图10可以理解，相应的分束器903a、903b用于分离光束，然后分离后的光束传播一定距离，并由相应的反射镜906a、906b反射，该反射镜906a、906b将光发送回分束器903a、903b，然后到达反射器。在实施例中，可以确定反射镜906a、906b的位置（即距离D1和D2），使得所有配置的光路都相同。这称为由光路均衡器900实现的路径均衡。

此外，由于分束器903a、903b中可能存在来自不同配置的（不需要的）反射，因此用户可能会在每个出射光瞳上同时看到同一图像的一个或多个失焦副本。为了避免这种潜在的串扰，根据实施例，可以针对每种配置使用光学隔离器。举例来说，在图10所示的实施例中，视网膜显示设备100包括位于相应的分束器903a、903b前面的形式为相应的偏振器908a、908b的光学隔离器。光穿过相应的偏振器908a、908b之后具有偏振态p1。当光束穿过相应的延迟器912a、912b时，光束由反射镜906a、906b反射，并再次穿过延迟器912a、912b，从而偏振态变为p2，p2此时与p1正交。此时，光束到达分束器903a、903b，其中，部分光进入反射器，而部分光反射回源（或反射回先前的配置）。当光到达此时用作分析器（analyzer）的偏振器908a、908b时，反射被滤除。

图11是示出根据本发明实施例的相应的视网膜显示方法1100的示例的流程图。视网膜显示方法1100包括步骤1101：通过生成多个光束在用户的眼睛的视网膜上生成图像，其中，每个光束传送图像的实例，并且其中，上述多个光束一一对应于用户的眼睛的多个潜在取向。视网膜显示方法1100的其他实施例基于相应的视网膜显示设备100的以上实施例。

本领域技术人员将理解，各个附图（方法和设备）的“框”（“单元”）表示或描述了本发明实施例的功能（而不一定是硬件或软件中的各个“单元”），因此同样描述设备实施例以及方法实施例的功能或特征（单元=步骤）。

在本申请提供的若干实施例中，应当理解，可以以其他方式实现所公开的系统、设备、以及方法。例如，所描述的设备实施例仅是示例性的。例如，单元划分仅仅是逻辑功能划分，并且在实际实现中可以是其他划分。例如，可以将多个单元或部件组合或集成在另一系统中，或者可以忽略或不执行某些特征。另外，所显示或讨论的相互耦合或直接耦合或通信连接可以使用某些接口来实现。设备或单元之间的间接耦合或通信连接可以以电子、机械、或其他形式实现。

描述为分离的部分的单元在物理上可以是或不是分开的，并且显示为单元的部分可以是或不是物理单元，可以位于一个位置，或者可以分布在多个网络单元上。可以根据实际需要选择部分或全部单元，以实现实施例方案的目的。

另外，本发明实施例中的功能性单元可以集成在一个处理单元中，或者每个单元可以物理上单独存在，或者两个或两个以上的单元可以集成在一个单元中。

Claims (14)

1.一种用于在用户的眼睛的视网膜上生成图像的视网膜显示设备(100)，其中，所述视网膜显示设备(100)用于生成多个光束，每个光束传送所述图像的实例，其中，所述多个光束一一对应于所述用户的所述眼睛的多个潜在取向；

所述多个潜在取向的阵列的两个相邻取向之间的距离在所述用户的所述眼睛的基于目标环境的照明条件的瞳孔尺寸的范围内；其中，所述视网膜显示设备(100)还包括处理电路，所述处理电路用于基于外部亮度水平调整所述多个潜在取向的所述阵列的所述两个相邻取向之间的所述距离。

2.根据权利要求1所述的视网膜显示设备(100)，对于所述多个光束中的每个光束，所述视网膜显示设备(100)包括用于透射所述光束的孔。

3.根据权利要求1所述的视网膜显示设备(100)，其中，所述多个光束中的每个光束由多个激光束组成，所述多个激光束中的每个激光束对应于所述图像的像素。

4.根据权利要求1所述的视网膜显示设备(100)，用于通过将主光束分成所述多个光束来生成所述多个光束。

5.根据前述权利要求中任一项所述的视网膜显示设备(100)，对于所述多个光束中的每个光束，所述视网膜显示设备(100)包括用于将相应的光束反射到对应于所述眼睛的所述多个潜在取向中的一个潜在取向的方向的反射器(105)。

6.根据权利要求5所述的视网膜显示设备(100)，其中，所述反射器(105)是自由曲面反射器(105)。

7.根据权利要求5所述的视网膜显示设备(100)，其中，所述反射器(105)是半透明的。

8.根据权利要求1-4任一项所述的视网膜显示设备(100)，对于所述多个光束中的每个光束，所述视网膜显示设备(100)包括用于补偿相应的光束的旋转的棱镜(401)。

9.根据权利要求8所述的视网膜显示设备(100)，其中，每个棱镜(401)具有底面，所述底面涂覆有反射材料。

10.根据权利要求1-4任一项所述的视网膜显示设备(100)，包括一个或多个扩束器(501)。

11.根据权利要求1-4任一项所述的视网膜显示设备(100)，其中，所述眼睛的所述多个潜在取向在所述眼睛上定义阵列，所述阵列包括六边形阵列。

12.根据前述权利要求1-4任一项所述的视网膜显示设备(100)，其中，所述视网膜显示设备(100)还包括一个或多个光路均衡器，所述一个或多个光路均衡器通过确定反射镜的位置，以使分束器分离后的光束传播一定距离由相应的反射镜反射送回分束 器，然后达到反射器，以将所述多个光束的光路调整为与所述图像相关联的光路。

13.一种近眼显示设备，包括根据前述权利要求中任一项所述的一个或多个视网膜显示设备(100)。

14.一种视网膜显示方法(1100)，包括：通过生成多个光束在用户的眼睛的视网膜上生成图像，每个光束传送所述图像的实例，其中，所述多个光束一一对应于所述用户的所述眼睛的多个潜在取向；

所述多个潜在取向的阵列的两个相邻取向之间的距离在所述用户的所述眼睛的基于目标环境的照明条件的瞳孔尺寸的范围内，通过处理电路基于外部亮度水平调整所述多个潜在取向的所述阵列的所述两个相邻取向之间的所述距离。

Images