CN111766939A - 在光学透传显示器上的注意力方向 - Google Patents

Abstract

本公开涉及在光学透传显示器上的注意力方向。在一个具体实施中，一种引导用户注意力的方法由包括一个或多个处理器、非暂态存储器、场景摄像机和光学透传显示器的设备执行。该方法包括使用场景摄像机捕获场景的图像。该方法包括使用一个或多个处理器基于场景的图像来确定一个或多个非注意力方向区域。该方法包括在光学透视显示器上显示包括位于一个或多个非注意力方向区域中的掩蔽图案的掩蔽图像。

Description

在光学透传显示器上的注意力方向

技术领域

本公开整体涉及计算机生成的现实环境，并且具体地涉及用于在计算机生成的现实环境中引导用户注意力的系统、方法和设备。

背景技术

如本文所述，为了向用户提供沉浸式媒体体验，计算设备呈现计算机生成的现实(CGR)，该CGR将计算机生成的媒体内容(例如，包括图像、视频、音频、嗅觉、触觉等)与真实世界刺激以不同程度交织在一起——从完全合成体验到叠加在真实世界刺激上的几乎无法察觉的计算机生成的媒体内容。为此，根据本文所述的各种具体实施，CGR系统、方法和设备包括混合现实(MR)和虚拟现实(VR)系统、方法和设备。此外，MR系统、方法和设备包括增强现实(AR)系统和合成现实(CR)系统，其中在AR系统中，计算机生成的内容叠加(例如，经由透明显示器)在用户的视野上，并且在CR系统中，计算机生成的内容与真实世界环境的图像合成或合并在一起。虽然本说明书仅为了清楚起见提供了AR、CR、MR和VR之间的描述，但本领域的普通技术人员将从本公开中认识到，此类描述对于任何特定CGR系统、方法和/或设备的具体实施既不是绝对的也不是限制性的。因此，在各种具体实施中，CGR环境包括来自AR、CR、MR和VR的适当组合的元件，以便产生任何数量的所需沉浸式媒体体验。

在各种具体实施中，用户物理地或由化身(其可为虚拟的或真实的，例如，无人机或机器人化身)代表地存在于CGR环境中。在各种具体实施中，化身模拟用户的一部分或全部物理运动。

基于VR的CGR环境可完全沉浸到使得用户的特定感觉(例如，视觉和/或听觉)的真实世界感官输入完全被计算机生成的感官输入所取代的程度。因此，用户无法看到和/或听到他/她的真实世界环境。除了计算机生成的图像之外，基于VR的CGR环境还可利用(空间)音频、触觉等来增强体验的现实性。因此，在各种具体实施中，提供给用户的特定感觉的真实世界信息限于深度、形状、取向和/或布局信息；并且此类真实世界信息被间接传递给用户。例如，真实世界房间的墙壁完全被数字内容所遮盖，使得用户无法看到现实中存在的真实世界墙壁。

除了计算机生成的媒体内容之外，基于混合现实(MR)的CGR环境还包括由用户在基于增强现实(AR)的CGR环境的情况下直接接收的、或在基于合成现实(CR)的CGR环境的情况下间接接收的真实世界刺激。

基于增强现实(AR)的CGR环境包括真实世界光透传，使得真实世界光进入用户的眼睛。例如，在AR系统中，用户能够通过透明表面看到真实世界，并且计算机生成的媒体内容(例如，图像和/或视频)被可视化到该表面上。在特定具体实施中，媒体内容被可视化到表面上以提供计算机生成的媒体内容是真实世界的一部分和/或固定到真实世界的视觉印象。除此之外或另选地，计算机生成的图像数据可直接投射到用户的眼睛，使得真实世界光和计算机生成的媒体内容的投射光同时到达用户的视网膜。

基于合成现实(CR)的CGR环境包括从适当的传感器获得真实世界刺激数据，以及将真实世界刺激数据与计算机生成的媒体内容合成(例如，将刺激数据与计算机生成的内容合并，将计算机生成的内容叠加在刺激数据的部分上，或者在将真实世界刺激数据呈现给用户之前以其他方式对其进行变更)以生成合成数据。然后将合成数据提供给用户，从而用户间接地接收到真实世界刺激(如果有的话)。例如，对于基于CR的CGR环境的视觉部分，使用图像传感器获得真实世界图像数据，并且通过显示器提供合成图像数据。

在各种具体实施中，可能期望将用户在CGR环境中的注意力引导至CGR环境的某一对象或区域上或远离CGR环境的某一对象或区域。在各种具体实施中，用户的注意力是通过在CGR环境中的某些区域中显示视觉遮蔽结构(诸如噪声)来引导的，在这些区域中用户的注意力将不被引导。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A是根据一些具体实施的示例性操作架构的框图。

图1B是根据一些具体实施的CGR环境的透视图。

图2是根据一些具体实施的示例性控制器的框图。

图3A是根据一些具体实施的示例性头戴式设备(HMD)的框图。

图3B是根据一些具体实施的示例性CGR显示器的放大视图。

图4A示出了根据一些具体实施的真实环境。

图4B至图4E示出了根据一些具体实施的基于图4A的真实环境的引导用户注意力的CGR环境。

图5示出了根据一些具体实施的引导用户注意力的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于引导用户注意力的设备、系统和方法。在各种具体实施中，方法由具有一个或多个处理器、非暂态存储器、场景摄像机和光学透传显示器的设备执行。该方法包括使用场景摄像机捕获场景的图像。该方法包括使用一个或多个处理器基于场景的图像来确定一个或多个非注意力方向区域。该方法包括在光学透传显示器上显示包括位于一个或多个非注意力方向区域中的掩蔽图案的掩蔽图像。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；一个或多个程序被存储于非暂态存储器中并且被配置为由一个或多个处理器执行。一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器，以及用于执行或使得执行本文所述方法中的任一种的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

在各种具体实施中，可能期望将用户在CGR环境中的注意力引导至CGR环境的某一对象或区域。例如，由呈现CGR环境的HMD执行的游戏可能希望将用户的注意力引导至游戏目标上。又如，由HMD执行的地图应用程序可能希望将用户的注意力引导至地图目的地。在各种其他具体实施中，可能期望将用户的注意力引离CGR环境的对象或区域，诸如广告或不适当的情景。在各种具体实施中，用户的注意力是通过在CGR环境中的某些区域中显示噪声来引导的，在这些区域中用户的注意力将不被引导。

图1A是根据一些具体实施的示例性操作架构100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100包括位于含有桌子107的真实环境105中的控制器110和头戴式设备(HMD)120。

在一些具体实施中，控制器110被配置为管理和协调用户的CGR体验。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文相对于图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于环境105处于本地或远程位置的计算设备。例如，控制器110是位于环境105内的本地服务器。在另一个示例中，控制器110是位于环境105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE802.3x等)与HMD 120通信耦接。又如，控制器110包含在HMD 120的外壳内。

根据一些具体实施，当用户虚拟地和/或物理地存在于环境105内时，HMD 120向用户提供CGR体验。例如，图1B从用户的角度示出了环境105，其中其上具有虚拟对象115(由HMD 120显示)的桌子107是可见的。在一些具体实施中，HMD 120包括软件、固件和/或硬件的合适组合。下文参考图3A更详细地描述HMD 120。在一些具体实施中，控制器110的功能由HMD 120提供和/或与HMD 120结合。

在一些具体实施中，用户将HMD 120戴在头上。因此，HMD 120包括被提供用于显示CGR内容的一个或多个CGR显示器。例如，在各种具体实施中，HMD 120包围用户的视野。在一些具体实施中，使用被配置为呈现CGR内容的手持设备(诸如智能电话或平板电脑)代替HMD120，并且用户不再佩戴HMD 120而是手持该设备，同时使显示器朝向用户视野，并且使摄像机朝向环境105。在一些具体实施中，手持设备可被放置在可被佩戴在使用者的头部的外壳内。在一些具体实施中，采用被配置为呈现CGR内容的CGR舱、外壳或室替代HMD 120，用户在其中不再佩戴或手持HMD 120。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、全球移动通信系统(GSM)，码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或相似类型接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括与一个或多个处理单元202远程定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和CGR体验模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如，一个或多个用户的单重CGR体验，或一个或多个用户的相应群组的多重CGR体验)。为此，在各种具体实施中，CGR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。

在一些具体实施中，数据获取单元242被配置为至少从图1的HMD120获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种具体实施中，数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，跟踪单元244被配置为映射场景(例如，环境105)并且至少跟踪HMD 120相对于场景(例如，图1A的环境105)的位置/定位。出于该目的，在各种具体实施中，跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，协调单元246被配置为管理和协调由HMD 120A向用户呈现的CGR体验。出于该目的，在各种具体实施中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元248被配置为至少向HMD 120A传输数据(例如，呈现数据、位置数据等)。出于该目的，在各种具体实施中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元242、跟踪单元244、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取单元242、跟踪单元244、协调单元246和数据传输单元248的任何组合可位于独立计算设备中。

此外，图2更多地用作可以存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图3A是根据一些具体实施的HMD 120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，HMD 120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风307A、一个或多个扬声器307B、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等中的至少一者。

在一些具体实施中，一个或多个CGR显示器312被配置为向用户提供CGR体验。在一些具体实施中，一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以/或者类似的显示器类型。在一些具体实施中，一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，HMD 120包括单个CGR显示器。又如，HMD 120包括针对用户的每只眼睛的CGR显示器。在一些具体实施中，一个或多个CGR显示器312能够呈现MR和VR内容。

在各种具体实施中，一个或多个CGR显示器312为视频透传显示器，其将环境105的至少一部分显示为由场景摄像机所捕获的图像。在各种具体实施中，一个或多个CGR显示器312为光学透传显示器，其至少部分为透明的并通过由环境105发射或反射的光。图3B示出了根据一些具体实施的光学透传CGR显示器312的放大视图。在各种具体实施中，CGR显示器312包括选择性遮蔽层350，该选择性遮蔽层包括多个像素元件，这些像素元件在被激活时阻止光穿过光学传递显示器312。因此，通过对选择性遮蔽层350的适当定址，CGR显示器可呈现黑色区域351A或灰色区域352。在各种具体实施中，CGR显示器312包括全局可调暗层360，该层根据可控调暗水平来调暗穿过光学透传显示器312的光。在各种具体实施中，CGR显示器312包括光添加层370，该光添加层包括多个像素元件，这些像素元件在被激活时向用户发射光。因此，通过对光添加层370的适当定址，CGR显示器312可呈现白色(或彩色)虚拟对象371。在各种具体实施中，CGR显示器不包括层350、360、370中的每一层。具体地，在各种具体实施中，CGR显示器不包括选择性遮蔽层350和/或全局可调暗层360。在各种具体实施中，CGR显示器312不包括光添加层370和/或全局可调暗层360。在各种具体实施中，CGR显示器不包括选择性遮蔽层350和/或光添加层370。

在一些具体实施中，一个或多个图像传感器314被配置为获取对应于用户面部的至少一部分(包括用户的眼睛)的图像数据(因而可称为眼睛跟踪摄像机)。在一些具体实施中，一个或多个图像传感器314被配置成面向前方，以便获取对应于当不存在HMD 120时用户将看到的场景的图像数据(因而可以被称为场景摄像机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括与一个或多个处理单元302远程定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和CGR呈现模块340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。为此，在各种具体实施中，CGR呈现模块340包括数据获取单元342、注意力方向单元344、CGR呈现单元346和数据传输单元348。

在一些具体实施中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种具体实施中，数据获取单元342包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，注意力方向单元344被配置为在CGR环境中引导用户的注意力。出于该目的，在各种具体实施中，注意力方向单元344包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，CGR呈现单元346被配置为经由一个或多个CGR显示器312呈现CGR内容。出于该目的，在各种具体实施中，CGR呈现单元346包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元348被配置为至少向控制器110传输数据(例如，呈现数据、位置数据等)。出于该目的，在各种具体实施中，数据传输单元348包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取单元342、注意力方向单元344、CGR呈现单元346和数据传输单元348被示为位于单个设备(例如，图1A的HMD 120)上，但应当理解，在其他具体实施中，数据获取单元342、注意力方向单元344、CGR呈现单元346和数据传输单元348的任何组合可位于单独计算设备中。

此外，图3A更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3A中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图4A示出了根据一些具体实施的真实环境400A。真实环境400A包括太阳411、树412、岩石413和空中广告414。

图4B示出了基于图4A的真实环境400A的CGR环境400B。CGR环境400B包括太阳411、树412、岩石413和空中广告414。在各种具体实施中，为了将用户的注意力引导到树412上，CGR环境400B包括围绕树412的发光轮廓421。

在各种具体实施中，CGR环境400B由视频透传显示器生成，该视频透传显示器用场景摄像机捕获真实环境400A的图像并且呈现在该图像上覆盖有发光轮廓421的真实环境400A的图像。在各种具体实施中，CGR环境400B由光学透传显示器生成，该光学透传显示器通过反射离开真实环境400A的光，同时显示包括发光轮廓421的AR图像。

在各种情况下，可能难以生成围绕物体的发光轮廓(或其他边缘增强或注意力引导效果)。例如，对物体边缘的检测可能不准确。又如，物体的边缘可在捕获物体的图像并且呈现发光轮廓所花费的时间内不可预测地移动(例如，树412上的叶子在发光轮廓显示在树412的上方之前摆动)。此外，缓解此类困难可能需要很大计算量。

因此，在各种具体实施中，可使用另选的替代机构将用户的注意力引导到场景的注意力方向区域(或远离场景的非注意力方向区域)。在各种具体实施中，注意力方向区域对应于场景中具有特定相关性、重要性或兴趣的对象或区域，或用户的注意力将被导向的任何对象或区域。例如，注意力方向区域可对应于游戏目标、地图目的地或安全问题。在各种具体实施中，非注意力方向区域对应于场景中不相关、不重要或令人不悦的对象或区域。例如，非注意力方向区域可对应于广告、不适当的内容或专有内容或用户的注意力将被引离的任何对象或区域。

图4C示出了基于图4A的真实环境400A的CGR环境400C。CGR环境400C包括太阳411、树412、岩石413和空中广告414。在各种具体实施中，为了将用户的注意力引导到树412上，CGR环境400C包括含有树412的注意力方向区域432和远离树412的非注意力方向区域431。在图4C中，非注意力方向区域431相对于真实环境400A被调暗。

在各种具体实施中，CGR环境400C由视频透传显示器生成，该视频透传显示器用场景摄像机捕获真实环境400A的图像并且呈现其中非注意力方向区域431被调暗的真实环境400A的图像。

在各种具体实施中，CGR环境400C由光学透传显示器生成，该光学透传显示器通过从真实环境400A反射出的光，同时调暗非注意力方向区域431。在各种具体实施中，通过利用选择性遮蔽层选择性地遮蔽非注意力方向区域431来调暗非注意力方向区域431。在各种具体实施中，光学透传显示器不包括选择性遮蔽层，并且无法使用这种方法。在各种具体实施中，通过对全局调暗层进行全局调暗并经由光添加层向注意力方向区域添加亮度来调暗非注意力方向区域431。在各种情况下，这种方法降低了注意力方向区域432的对比度和/或饱和度。

图4D示出了基于图4A的真实环境400A的CGR环境400D。CGR环境400D包括太阳411、树412、岩石413和空中广告414。在各种具体实施中，为了将用户的注意力引导到树412上，CGR环境400D包括含有树412的注意力方向区域442和远离树412的非注意力方向区域441。在图4D中，非注意力方向区域441包括添加到真实环境400A中的光。

在各种具体实施中，CGR环境400D由视频透传显示器生成，该视频透传显示器用场景摄像机捕获真实环境400A的图像并且呈现其中非注意力方向区域441被添加光的真实环境400A的图像。

在各种具体实施中，CGR环境400D由光学透传显示器生成，该光学透传显示器通过反射离开真实环境400A的光，同时向非注意力方向区域441添加光。在各种具体实施中，通过生成将由光添加层显示的AR图像来向非注意力方向区域441添加光。在各种具体实施中，AR图像不包括在注意力方向区域442中的有效像素。因此，用户可在最小失真的情况下看到注意力方向区域442。

在各种具体实施中，AR图像包括在非注意力方向区域441中的在视觉上掩蔽非注意力方向区域的掩蔽图案。例如，在各种具体实施中，AR图像包括在非注意力方向区域441中用于在视觉上掩蔽非注意力方向区域441的均匀光(例如，均匀的白光或均匀的彩色光)。又如，在各种具体实施中，AR图像包括在非注意力方向区域441中的用于在视觉上掩蔽非注意力方向区域441的噪声。例如，在各种具体实施中，AR图像包括在非注意力方向区域441中的高斯随机噪声。又如，AR图像包括在非注意力方向区域441中的用于在视觉上掩蔽非注意力方向区域441的周期性结构(诸如线条或网格)。

然而，在各种具体实施中，在非注意力方向区域中显示AR图像可用于将用户的方向引导到注意力方向区域，诸如游戏目标、地图目的地或紧急车辆，在各种其他具体实施中，在非注意力方向区域中显示AR图像可用于将用户的注意力引离非注意力方向区域，诸如广告、不适当内容或专有内容。

图4E示出了基于图4A的真实环境400A的CGR环境400E。CGR环境400E包括太阳411、树412、岩石413和空中广告414。在各种具体实施中，为了将用户的注意力引离空中广告414，CGR环境400E包括含有空中广告414的非注意力方向区域451。在图4E中，非注意力方向区域451包括添加到真实环境400A中的光(例如，AR图像)。

图5示出了根据一些具体实施的引导用户注意力的方法500的流程图表示。在各种具体实施中，方法500由具有一个或多个处理器、非暂态存储器、场景摄像机和光学透传显示器(例如，图3中的HMD 120)的设备执行。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。

在框510中，方法500开始于设备使用场景摄像机捕获场景的图像。例如，图4A示出了包括太阳411、树412、岩石413和空中广告414的真实环境400A。

在框520中，方法500以设备使用一个或多个处理器基于场景的图像来确定一个或多个非注意力方向区域而继续。在各种具体实施中，确定一个或多个非注意力方向区域包括在场景的图像中检测广告、不适当内容或专有内容。例如，在图4E中，CGR环境400E包括含有空中广告414的非注意力方向区域451。在各种具体实施中，确定一个或多个非注意力方向区域包括确定一个或多个注意力方向区域并且基于一个或多个注意力方向区域来确定一个或多个非注意力方向区域。例如，在各种具体实施中，确定一个或多个非注意力方向区域包括选择除一个或多个注意力方向区域之外的整个图像。在各种具体实施中，确定一个或多个注意力方向区域包括在场景的图像中检测游戏目标、地图目的地或安全问题(诸如紧急车辆或道路危险)。

因此，在各种具体实施中，确定一个或多个非注意力方向区域或确定一个或多个注意力方向区域包括检测场景的图像中的物体。为此，在各种具体实施中，采用各种对象检测和/或分类算法(包括但不限于形状分析和语义分割)，这些分类算法产生对应于所检测对象的像素集合。确定非注意力方向区域(或注意力方向区域)涵盖该像素集合。

在框530中，方法500以设备在光学透传显示器上显示包括位于一个或多个非注意力方向区域中的掩蔽图案的掩蔽图像而继续。在各种具体实施中，设备使用一个或多个处理器来生成包括位于一个或多个非注意力方向区域中的掩蔽图案的掩蔽图像。在各种具体实施中，掩蔽图像不包括一个或多个非注意力方向区域之外的元件。

在各种具体实施中，一个或多个非注意力方向区域中的掩蔽图案是随机(或伪随机)噪声，例如高斯噪声或泊松噪声。在各种具体实施中，设备基于一个或多个掩蔽参数在一个或多个非注意力方向区域中生成掩蔽图案。

在各种具体实施中，一个或多个掩蔽参数包括掩蔽图案的空间频率(或空间频谱)。例如，在一些实施方案中，掩蔽图案是空间上为白噪声、棕色噪声或粉红噪声的噪声。

在各种具体实施中，一个或多个掩蔽参数包括掩蔽图案的时间频率(或时间频谱)。例如，在一些实施方案中，一个或多个非注意力方向区域中的掩蔽图案不随时间推移而变化。在一些实施方案中，一个或多个非注意力方向区域中的掩蔽图案随时间推移在不同频率上变化。例如，在一些实施方案中，掩蔽图案是时间上为白噪声、棕色噪声或粉红噪声的噪声。

在各种具体实施中，一个或多个掩蔽参数包括掩蔽图案的锁定参数，该锁定参数指示掩蔽图像是头部锁定的还是世界锁定的。例如，如果掩蔽图像是世界锁定的，则当用户在真实环境中移动时，掩蔽图像在光学透传显示器上移动，使其出现在CGR环境的相同位置。又如，如果掩蔽图像是头部锁定的，则当用户在真实环境中移动时，掩蔽图像不在光学透传显示器上移动。

在各种具体实施中，一个或多个掩蔽参数包括掩蔽图案的振幅(或亮度)。在各种具体实施中，一个或多个噪声参数包括掩蔽图案的颜色(或色度)。例如，在一些实施方案中，掩蔽图案是白色的(例如，掩蔽图像仅包括白色像素)。在一些实施方案中，掩蔽图案为单一颜色，诸如红色、黄色、绿色、蓝色或紫色(例如，掩蔽图像仅包括单一颜色的像素)。在一些实施方案中，掩蔽图案是多色的(例如，掩蔽图像包括在不同位置的不同颜色的像素)。

在各种具体实施中，设备基于场景的图像在一个或多个非注意力方向区域中生成掩蔽图案。在各种具体实施中，通过分类器对图像进行分类，并且选择一组对应于分类的掩蔽参数用于生成掩蔽图案。例如，如果图像被分类为亮图像，则该组掩蔽参数指示多色掩蔽图案，并且如果图像被分类为暗图像，则该组屏蔽参数指示白色掩蔽图案。又如，如果图像被分类为高对比度图像，则该组掩蔽参数指示比图像被分类为低对比度图像更高的空间频谱。

又如，在各种具体实施中，设备通过将掩蔽图案与一个或多个非注意力方向区域处的场景的图像匹配来生成基于图像的掩蔽图案，以模糊、淡出或减少非注意力方向区域的对比度。

在各种具体实施中，设备基于用户的注视方向在一个或多个非注意力方向区域中生成掩蔽图案。在各种具体实施中，设备使用朝向用户的一个或多个眼睛的一个或多个眼动跟踪摄像机来确定用户的注视方向。例如，在一些实施方案中，掩蔽图案通过用户的中央凹(例如，围绕由注视方向限定的注视点)中的第一组一个或多个掩蔽参数(例如，更强的)来表征，并且通过用户的周缘(例如，围绕中央凹)中的第二组一个或多个掩蔽参数(例如，较弱的)来表征。又如，在一些实施方案中，掩蔽图像包括沿注意力方向区域的方向靠近用户的中央凹的透光区域(具有最小限度的或不具有掩蔽图案)。

在各种具体实施中，设备基于距注意力方向区域的距离在一个或多个非注意力方向区域中生成掩蔽图案。例如，在一些实施方案中，掩蔽图案通过离注意力方向区域更近的第一组一个或多个掩蔽参数(例如，更弱的)来表征，并且通过离注意力方向区域更远的第二组一个或多个掩蔽参数(例如，较强的)来表征。因此，提供了类似于隧道的效果，将用户的注意力引导到注意力方向区域。

在各种具体实施中，设备基于用户的生物识别特征在一个或多个非注意力方向区域中生成掩蔽图案。在各种具体实施中，根据基于用户的生物识别特征所选择的一组一个或多个掩蔽参数来生成掩蔽图案，这些生物识别特征诸如用户的视敏度、用户的年龄或用户是否为色盲。例如，如果用户的视敏度较弱(例如，20/200)，则相比于具有更强视敏度(例如，20/20)的用户，可增加掩蔽图案的振幅。

在各种具体实施中，除了显示掩蔽图像(例如，在光学透传显示器的光添加层上)之外，该设备还将光学透传显示器的全局可调暗层调暗。在各种具体实施中，调暗量与一个或多个非注意力方向区域的尺寸和掩蔽图案的振幅成比例。例如，在各种具体实施中，选择调暗量以在光添加层所添加的光存在的情况下保持场景的亮度。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个f或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (17)

1.一种方法，包括：

在包括一个或多个处理器、非暂态存储器、场景摄像机和光学透传显示器的头戴式设备处：

使用所述场景摄像机捕获场景的图像；

使用所述一个或多个处理器基于所述场景的所述图像来确定一个或多个非注意力方向区域；以及

在所述光学透传显示器上显示包括位于所述一个或多个非注意力方向区域中的掩蔽图案的掩蔽图像。

2.根据权利要求1所述的方法，其中确定所述一个或多个非注意力方向区域包括在所述场景的所述图像中检测广告、不适当内容或专有内容。

3.根据权利要求1所述的方法，其中确定所述一个或多个非注意力方向区域包括确定一个或多个注意力方向区域并且基于所述一个或多个注意力方向区域来确定所述一个或多个非注意力方向区域。

4.根据权利要求3所述的方法，其中确定所述一个或多个注意力方向区域包括在所述场景的所述图像中检测游戏目标、地图目的地或安全问题。

5.根据权利要求1-4中任一项所述的方法，其中所述掩蔽图像不包括所述一个或多个非注意力方向区域之外的元件。

6.根据权利要求1-5中任一项所述的方法，其中所述一个或多个非注意力方向区域中的所述掩蔽图案是基于一个或多个噪声参数的随机噪声。

7.根据权利要求6所述的方法，其中所述一个或多个掩蔽参数包括空间频率和/或时间频率。

8.根据权利要求6或7所述的方法，其中所述一个或多个掩蔽参数包括指示所述噪声图像是被头部锁定还是被世界锁定的锁定参数。

9.根据权利要求6-8中任一项所述的方法，其中所述一个或多个掩蔽参数包括所述掩蔽图案的振幅和/或颜色。

10.根据权利要求1-9中任一项所述的方法，其中所述掩蔽图像基于所述场景的所述图像。

11.根据权利要求至1-10中任一项所述的方法，其中所述掩蔽图像基于用户的注视方向。

12.根据权利要求1-11中任一项所述的方法，其中所述掩蔽图像基于所述头戴式设备的用户的生物识别特征。

13.根据权利要求1-12中任一项所述的方法，还包括调暗所述光学透传显示器。

14.一种设备，所述设备包括：

场景摄像机；

光学透传显示器；

非暂态存储器；和

一个或多个处理器，所述一个或多个处理器用于：

使用所述场景摄像机捕获场景的图像；

使用所述一个或多个处理器基于所述场景的所述图像来确定一个或多个非注意力方向区域；以及

在所述光学透传显示器上显示包括位于所述一个或多个非注意力方向区域中的掩蔽图案的掩蔽图像。

15.根据权利要求14所述的设备，其中所述光学透传显示器包括光添加层，并且所述掩蔽图像由所述光添加层显示。

16.根据权利要求14所述的设备，其中所述光学透传显示器包括全局可调暗层。

17.根据权利要求14所述的设备，其中光学透传显示器不包括选择性遮蔽层。

Images