[go: up one dir, main page]

CN120179076A - 用于与扩展现实体验进行交互的设备、方法和图形用户界面 - Google Patents

用于与扩展现实体验进行交互的设备、方法和图形用户界面 Download PDF

Info

Publication number
CN120179076A
CN120179076A CN202510584157.1A CN202510584157A CN120179076A CN 120179076 A CN120179076 A CN 120179076A CN 202510584157 A CN202510584157 A CN 202510584157A CN 120179076 A CN120179076 A CN 120179076A
Authority
CN
China
Prior art keywords
augmented reality
user
reality experience
representation
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202510584157.1A
Other languages
English (en)
Inventor
A·W·德瑞尔
A·K·施玛拉玛丽
G·耶基斯
D·W·查尔默斯
N·金
S·O·勒梅
E·泽新·梁
E·J·纳廷格
J·崔恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority claimed from PCT/US2023/033372 external-priority patent/WO2024064278A1/en
Publication of CN120179076A publication Critical patent/CN120179076A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开整体涉及用于电子设备的用户界面，包括用于在扩展现实用户界面之间导航并且/或者与该扩展现实用户界面交互的用户界面。

Description

用于与扩展现实体验进行交互的设备、方法和图形用户界面
本申请是申请日为2023年9月21日、申请号为202380067076.3、发明名称为“用于与扩展现实体验进行交互的设备、方法和图形用户界面”的发明专利申请的分案申请。
技术领域
本申请要求以下专利申请的优先权：2023年9月15日提交的名称为“用于与扩展现实体验进行交互的设备、方法和图形用户界面(DEVICES,METHODS,AND GRAPHICAL USERINTERFACES FOR INTERACTING WITH EXTENDED REALITY EXPERIENCES)”的美国专利申请18/369,075号，和2023年9月14日提交的名称为“用于与扩展现实体验进行交互的设备、方法和图形用户界面(DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FORINTERACTING WITH EXTENDED REALITY EXPERIENCES)”的美国临时专利申请63/538,453号，以及2022年9月22日提交的名称为“用于与扩展现实体验进行交互的设备、方法和图形用户界面(DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FOR INTERACTING WITHEXTENDED REALITY EXPERIENCES)”的美国临时专利申请63/409,184号。这些专利申请中的每个专利申请的内容全文以引用方式并入本文。
技术领域
本公开整体涉及与一个或多个显示生成部件以及一个或多个输入设备通信的提供计算机生成的体验的计算机系统，这些计算机系统包括但不限于经由显示器提供虚拟现实体验和混合现实体验的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例虚拟元素包括诸如数字图像、视频、文本、图标和控制元素(诸如按钮和其他图形)的虚拟对象。
发明内容
用于与包括至少一些虚拟元素的环境(例如，应用、增强现实环境、混合现实环境和虚拟现实环境)进行交互的一些方法和界面是麻烦、低效并且受限的。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费的时间比必要的要长，从而浪费了计算机系统的能量。这后一考虑在电池驱动的设备中是特别重要的。
因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验(诸如例如，扩展现实体验)，从而使得用户与计算机系统的交互对用户来说更有效且更直观。此类方法和界面任选地补充或替换用于向用户提供扩展现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
通过所公开的系统减少或消除了与计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本计算机、平板计算机或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触摸板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和/或一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手在相对于GUI(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有改进的方法和界面的电子设备来与扩展现实体验进行交互。此类方法和界面可补充或替换用于与扩展现实体验进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。对于电池驱动的计算设备，此类方法和界面节省功率，并且增大电池充电之间的时间间隔。
根据一些实施方案，描述了一种方法。该方法包括：在与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统处：经由该一个或多个显示生成部件在三维环境中同时显示多个增强现实体验的表示，这些表示包括：第一增强现实体验的第一表示；和与该第一增强现实体验不同的第二增强现实体验的第二表示，其中该第二表示与该第一表示不同；当在该三维环境中同时显示该多个增强现实体验的这些表示时，经由该一个或多个输入设备接收第一用户输入；以及响应于接收到该第一用户输入：停止该多个增强现实体验中的一个或多个增强现实体验的这些表示的显示；以及根据确定该第一用户输入对应于对该第一增强现实体验的该第一表示的选择，经由该一个或多个显示生成部件在该三维环境中显示该第一增强现实体验。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。在一些实施方案中，该非暂态计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个显示生成部件在三维环境中同时显示多个增强现实体验的表示，这些表示包括：第一增强现实体验的第一表示；和与该第一增强现实体验不同的第二增强现实体验的第二表示，其中该第二表示与该第一表示不同；当在该三维环境中同时显示该多个增强现实体验的这些表示时，经由该一个或多个输入设备接收第一用户输入；以及响应于接收到该第一用户输入：停止该多个增强现实体验中的一个或多个增强现实体验的这些表示的显示；以及根据确定该第一用户输入对应于对该第一增强现实体验的该第一表示的选择，经由该一个或多个显示生成部件在该三维环境中显示该第一增强现实体验。
根据一些实施方案，描述了一种暂态计算机可读存储介质。在一些实施方案中，该暂态计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个显示生成部件在三维环境中同时显示多个增强现实体验的表示，这些表示包括：第一增强现实体验的第一表示；和与该第一增强现实体验不同的第二增强现实体验的第二表示，其中该第二表示与该第一表示不同；当在该三维环境中同时显示该多个增强现实体验的这些表示时，经由该一个或多个输入设备接收第一用户输入；以及响应于接收到该第一用户输入：停止该多个增强现实体验中的一个或多个增强现实体验的这些表示的显示；以及根据确定该第一用户输入对应于对该第一增强现实体验的该第一表示的选择，经由该一个或多个显示生成部件在该三维环境中显示该第一增强现实体验。
根据一些实施方案，描述了一种计算机系统。在一些实施方案中，该计算机系统被配置为与一个或多个显示生成部件和一个或多个输入设备通信，并且该计算机系统包括：一个或多个处理器；和存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个显示生成部件在三维环境中同时显示多个增强现实体验的表示，这些表示包括：第一增强现实体验的第一表示；和与该第一增强现实体验不同的第二增强现实体验的第二表示，其中该第二表示与该第一表示不同；当在该三维环境中同时显示该多个增强现实体验的这些表示时，经由该一个或多个输入设备接收第一用户输入；以及响应于接收到该第一用户输入：停止该多个增强现实体验中的一个或多个增强现实体验的这些表示的显示；以及根据确定该第一用户输入对应于对该第一增强现实体验的该第一表示的选择，经由该一个或多个显示生成部件在该三维环境中显示该第一增强现实体验。
根据一些实施方案，描述了一种计算机系统。在一些实施方案中，该计算机系统被配置为与一个或多个显示生成部件和一个或多个输入设备通信，并且该计算机系统包括：用于经由该一个或多个显示生成部件在三维环境中同时显示多个增强现实体验的表示的构件，这些表示包括：第一增强现实体验的第一表示；和与该第一增强现实体验不同的第二增强现实体验的第二表示，其中该第二表示与该第一表示不同；用于当在该三维环境中同时显示该多个增强现实体验的这些表示时，经由该一个或多个输入设备接收第一用户输入的构件；和用于响应于接收到该第一用户输入而执行以下操作的构件：停止该多个增强现实体验中的一个或多个增强现实体验的这些表示的显示；以及根据确定该第一用户输入对应于对该第一增强现实体验的该第一表示的选择，经由该一个或多个显示生成部件在该三维环境中显示该第一增强现实体验。
根据一些实施方案，描述了一种计算机程序产品。在一些实施方案中，该计算机程序产品包括被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个显示生成部件在三维环境中同时显示多个增强现实体验的表示，这些表示包括：第一增强现实体验的第一表示；和与该第一增强现实体验不同的第二增强现实体验的第二表示，其中该第二表示与该第一表示不同；当在该三维环境中同时显示该多个增强现实体验的这些表示时，经由该一个或多个输入设备接收第一用户输入；以及响应于接收到该第一用户输入：停止该多个增强现实体验中的一个或多个增强现实体验的这些表示的显示；以及根据确定该第一用户输入对应于对该第一增强现实体验的该第一表示的选择，经由该一个或多个显示生成部件在该三维环境中显示该第一增强现实体验。
根据一些实施方案，描述了一种方法。该方法包括：在与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统处：经由第一物理控件接收一个或多个用户输入的第一序列；以及响应于接收到该一个或多个用户输入的第一序列：根据确定该一个或多个用户输入的第一序列具有第一量值：经由该一个或多个显示生成部件在三维环境中显示第一扩展现实体验；以及根据确定该一个或多个用户输入的第一序列具有与该第一量值不同的第二量值：经由该一个或多个显示生成部件在该三维环境中显示与该第一扩展现实体验不同的第二扩展现实体验。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。在一些实施方案中，该非暂态计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由第一物理控件接收一个或多个用户输入的第一序列；以及响应于接收到该一个或多个用户输入的第一序列：根据确定该一个或多个用户输入的第一序列具有第一量值：经由该一个或多个显示生成部件在三维环境中显示第一扩展现实体验；以及根据确定该一个或多个用户输入的第一序列具有与该第一量值不同的第二量值：经由该一个或多个显示生成部件在该三维环境中显示与该第一扩展现实体验不同的第二扩展现实体验。
根据一些实施方案，描述了一种暂态计算机可读存储介质。在一些实施方案中，该暂态计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由第一物理控件接收一个或多个用户输入的第一序列；以及响应于接收到该一个或多个用户输入的第一序列：根据确定该一个或多个用户输入的第一序列具有第一量值：经由该一个或多个显示生成部件在三维环境中显示第一扩展现实体验；以及根据确定该一个或多个用户输入的第一序列具有与该第一量值不同的第二量值：经由该一个或多个显示生成部件在该三维环境中显示与该第一扩展现实体验不同的第二扩展现实体验。
根据一些实施方案，描述了一种计算机系统。在一些实施方案中，该计算机系统被配置为与一个或多个显示生成部件和一个或多个输入设备通信，并且该计算机系统包括：一个或多个处理器；和存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：经由第一物理控件接收一个或多个用户输入的第一序列；以及响应于接收到该一个或多个用户输入的第一序列：根据确定该一个或多个用户输入的第一序列具有第一量值：经由该一个或多个显示生成部件在三维环境中显示第一扩展现实体验；以及根据确定该一个或多个用户输入的第一序列具有与该第一量值不同的第二量值：经由该一个或多个显示生成部件在该三维环境中显示与该第一扩展现实体验不同的第二扩展现实体验。
根据一些实施方案，描述了一种计算机系统。在一些实施方案中，该计算机系统被配置为与一个或多个显示生成部件和一个或多个输入设备通信，并且该计算机系统包括：用于经由第一物理控件接收一个或多个用户输入的第一序列的构件；和用于响应于接收到该一个或多个用户输入的第一序列而执行以下操作的构件：根据确定该一个或多个用户输入的第一序列具有第一量值：经由该一个或多个显示生成部件在三维环境中显示第一扩展现实体验；以及根据确定该一个或多个用户输入的第一序列具有与该第一量值不同的第二量值：经由该一个或多个显示生成部件在该三维环境中显示与该第一扩展现实体验不同的第二扩展现实体验。
根据一些实施方案，描述了一种计算机程序产品。在一些实施方案中，该计算机程序产品包括被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由第一物理控件接收一个或多个用户输入的第一序列；以及响应于接收到该一个或多个用户输入的第一序列：根据确定该一个或多个用户输入的第一序列具有第一量值：经由该一个或多个显示生成部件在三维环境中显示第一扩展现实体验；以及根据确定该一个或多个用户输入的第一序列具有与该第一量值不同的第二量值：经由该一个或多个显示生成部件在该三维环境中显示与该第一扩展现实体验不同的第二扩展现实体验。
根据一些实施方案，描述了一种方法。该方法包括：在与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统处：当该计算机系统位于其中的三维环境的视图可见时，经由该一个或多个输入设备检测该三维环境中的第一组条件；以及响应于检测到该三维环境中的该第一组条件而执行以下操作：经由该一个或多个显示生成部件并且与该计算机系统的该三维环境的该视图的至少一部分同时显示对应于第一增强现实体验的第一建议，其中该第一增强现实体验是从能够供该计算机系统显示的多个增强现实体验中选择的。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。在一些实施方案中，该非暂态计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：当该计算机系统位于其中的三维环境的视图可见时，经由该一个或多个输入设备检测该三维环境中的第一组条件；以及响应于检测到该三维环境中的该第一组条件而执行以下操作：经由该一个或多个显示生成部件并且与该计算机系统的该三维环境的该视图的至少一部分同时显示对应于第一增强现实体验的第一建议，其中该第一增强现实体验是从能够供该计算机系统显示的多个增强现实体验中选择的。
根据一些实施方案，描述了一种暂态计算机可读存储介质。在一些实施方案中，该暂态计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：当该计算机系统位于其中的三维环境的视图可见时，经由该一个或多个输入设备检测该三维环境中的第一组条件；以及响应于检测到该三维环境中的该第一组条件而执行以下操作：经由该一个或多个显示生成部件并且与该计算机系统的该三维环境的该视图的至少一部分同时显示对应于第一增强现实体验的第一建议，其中该第一增强现实体验是从能够供该计算机系统显示的多个增强现实体验中选择的。
根据一些实施方案，描述了一种计算机系统。在一些实施方案中，该计算机系统被配置为与一个或多个显示生成部件和一个或多个输入设备通信，并且该计算机系统包括：一个或多个处理器；和存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：当该计算机系统位于其中的三维环境的视图可见时，经由该一个或多个输入设备检测该三维环境中的第一组条件；以及响应于检测到该三维环境中的该第一组条件而执行以下操作：经由该一个或多个显示生成部件并且与该计算机系统的该三维环境的该视图的至少一部分同时显示对应于第一增强现实体验的第一建议，其中该第一增强现实体验是从能够供该计算机系统显示的多个增强现实体验中选择的。
根据一些实施方案，描述了一种计算机系统。在一些实施方案中，该计算机系统被配置为与一个或多个显示生成部件和一个或多个输入设备通信，并且该计算机系统包括：用于当该计算机系统位于其中的三维环境的视图可见时，经由该一个或多个输入设备检测该三维环境中的第一组条件的构件；和用于响应于检测到该三维环境中的该第一组条件而执行以下操作的构件：经由该一个或多个显示生成部件并且与该计算机系统的该三维环境的该视图的至少一部分同时显示对应于第一增强现实体验的第一建议，其中该第一增强现实体验是从能够供该计算机系统显示的多个增强现实体验中选择的。
根据一些实施方案，描述了一种计算机程序产品。在一些实施方案中，该计算机程序产品包括被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：当该计算机系统位于其中的三维环境的视图可见时，经由该一个或多个输入设备检测该三维环境中的第一组条件；以及响应于检测到该三维环境中的该第一组条件而执行以下操作：经由该一个或多个显示生成部件并且与该计算机系统的该三维环境的该视图的至少一部分同时显示对应于第一增强现实体验的第一建议，其中该第一增强现实体验是从能够供该计算机系统显示的多个增强现实体验中选择的。
根据一些实施方案，描述了一种方法。该方法包括：在与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统处：经由该一个或多个输入设备检测对应于该一个或多个显示生成部件的第一显示位置的用户的注视；响应于检测到对应于该一个或多个显示生成部件的该第一显示位置的该用户的该注视，经由该一个或多个显示生成部件显示第一对象；当显示该第一对象时，检测到第一组标准被满足；响应于检测到该第一组标准被满足，经由该一个或多个显示生成部件显示该第一对象的移动；以及在显示该第一对象的移动之后：根据确定该用户的该注视满足指示对该第一对象的该移动的注视跟踪的第二组标准，执行第一操作；以及根据确定该用户的该注视不满足指示对该第一对象的该移动的注视跟踪的该第二组标准，放弃执行该第一操作。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。在一些实施方案中，该非暂态计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个输入设备检测对应于该一个或多个显示生成部件的第一显示位置的用户的注视；响应于检测到对应于该一个或多个显示生成部件的该第一显示位置的该用户的该注视，经由该一个或多个显示生成部件显示第一对象；当显示该第一对象时，检测到第一组标准被满足；响应于检测到该第一组标准被满足，经由该一个或多个显示生成部件显示该第一对象的移动；以及在显示该第一对象的移动之后：根据确定该用户的该注视满足指示对该第一对象的该移动的注视跟踪的第二组标准，执行第一操作；以及根据确定该用户的该注视不满足指示对该第一对象的该移动的注视跟踪的该第二组标准，放弃执行该第一操作。
根据一些实施方案，描述了一种暂态计算机可读存储介质。在一些实施方案中，该暂态计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个输入设备检测对应于该一个或多个显示生成部件的第一显示位置的用户的注视；响应于检测到对应于该一个或多个显示生成部件的该第一显示位置的该用户的该注视，经由该一个或多个显示生成部件显示第一对象；当显示该第一对象时，检测到第一组标准被满足；响应于检测到该第一组标准被满足，经由该一个或多个显示生成部件显示该第一对象的移动；以及在显示该第一对象的移动之后：根据确定该用户的该注视满足指示对该第一对象的该移动的注视跟踪的第二组标准，执行第一操作；以及根据确定该用户的该注视不满足指示对该第一对象的该移动的注视跟踪的该第二组标准，放弃执行该第一操作。
根据一些实施方案，描述了一种计算机系统。在一些实施方案中，该计算机系统被配置为与一个或多个显示生成部件和一个或多个输入设备通信，并且该计算机系统包括：一个或多个处理器；和存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：经由该一个或多个输入设备检测对应于该一个或多个显示生成部件的第一显示位置的用户的注视；响应于检测到对应于该一个或多个显示生成部件的该第一显示位置的该用户的该注视，经由该一个或多个显示生成部件显示第一对象；当显示该第一对象时，检测到第一组标准被满足；响应于检测到该第一组标准被满足，经由该一个或多个显示生成部件显示该第一对象的移动；以及在显示该第一对象的移动之后：根据确定该用户的该注视满足指示对该第一对象的该移动的注视跟踪的第二组标准，执行第一操作；以及根据确定该用户的该注视不满足指示对该第一对象的该移动的注视跟踪的该第二组标准，放弃执行该第一操作。
根据一些实施方案，描述了一种计算机系统。在一些实施方案中，该计算机系统被配置为与一个或多个显示生成部件和一个或多个输入设备通信，并且该计算机系统包括：用于经由该一个或多个输入设备检测对应于该一个或多个显示生成部件的第一显示位置的用户的注视的构件；用于响应于检测到对应于该一个或多个显示生成部件的该第一显示位置的该用户的该注视，经由该一个或多个显示生成部件显示第一对象的构件；用于当显示该第一对象时，检测到第一组标准被满足的构件；用于响应于检测到该第一组标准被满足，经由该一个或多个显示生成部件显示该第一对象的移动的构件；和用于在显示该第一对象的移动之后执行以下操作的构件：根据确定该用户的该注视满足指示对该第一对象的该移动的注视跟踪的第二组标准，执行第一操作；以及根据确定该用户的该注视不满足指示对该第一对象的该移动的注视跟踪的该第二组标准，放弃执行该第一操作。
根据一些实施方案，描述了一种计算机程序产品。在一些实施方案中，该计算机程序产品包括被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个输入设备检测对应于该一个或多个显示生成部件的第一显示位置的用户的注视；响应于检测到对应于该一个或多个显示生成部件的该第一显示位置的该用户的该注视，经由该一个或多个显示生成部件显示第一对象；当显示该第一对象时，检测到第一组标准被满足；响应于检测到该第一组标准被满足，经由该一个或多个显示生成部件显示该第一对象的移动；以及在显示该第一对象的移动之后：根据确定该用户的该注视满足指示对该第一对象的该移动的注视跟踪的第二组标准，执行第一操作；以及根据确定该用户的该注视不满足指示对该第一对象的该移动的注视跟踪的该第二组标准，放弃执行该第一操作。
根据一些实施方案，描述了一种方法。该方法包括：在与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统处：经由该一个或多个显示生成部件显示虚拟内容；当显示该虚拟内容时，经由该一个或多个输入设备检测该计算机系统的用户的面部前面的第一手势；以及响应于检测到该第一手势：根据确定该用户的该面部前面的该第一手势满足第一组标准，停止该虚拟内容的至少一部分的显示；以及根据确定该用户的该面部前面的该第一手势不满足该第一组标准，保持该虚拟内容的显示。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。在一些实施方案中，该非暂态计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个显示生成部件显示虚拟内容；当显示该虚拟内容时，经由该一个或多个输入设备检测该计算机系统的用户的面部前面的第一手势；以及响应于检测到该第一手势：根据确定该用户的该面部前面的该第一手势满足第一组标准，停止该虚拟内容的至少一部分的显示；以及根据确定该用户的该面部前面的该第一手势不满足该第一组标准，保持该虚拟内容的显示。
根据一些实施方案，描述了一种暂态计算机可读存储介质。在一些实施方案中，该暂态计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个显示生成部件显示虚拟内容；当显示该虚拟内容时，经由该一个或多个输入设备检测该计算机系统的用户的面部前面的第一手势；以及响应于检测到该第一手势：根据确定该用户的该面部前面的该第一手势满足第一组标准，停止该虚拟内容的至少一部分的显示；以及根据确定该用户的该面部前面的该第一手势不满足该第一组标准，保持该虚拟内容的显示。
根据一些实施方案，描述了一种计算机系统。在一些实施方案中，该计算机系统被配置为与一个或多个显示生成部件和一个或多个输入设备通信，并且该计算机系统包括：一个或多个处理器；和存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个显示生成部件显示虚拟内容；当显示该虚拟内容时，经由该一个或多个输入设备检测该计算机系统的用户的面部前面的第一手势；以及响应于检测到该第一手势：根据确定该用户的该面部前面的该第一手势满足第一组标准，停止该虚拟内容的至少一部分的显示；以及根据确定该用户的该面部前面的该第一手势不满足该第一组标准，保持该虚拟内容的显示。
根据一些实施方案，描述了一种计算机系统。在一些实施方案中，该计算机系统被配置为与一个或多个显示生成部件和一个或多个输入设备通信，并且该计算机系统包括：用于经由该一个或多个显示生成部件显示虚拟内容的构件；用于当显示该虚拟内容时，经由该一个或多个输入设备检测该计算机系统的用户的面部前面的第一手势的构件；和用于响应于检测到该第一手势而执行以下操作的构件：根据确定该用户的该面部前面的该第一手势满足第一组标准，停止该虚拟内容的至少一部分的显示；以及根据确定该用户的该面部前面的该第一手势不满足该第一组标准，保持该虚拟内容的显示。
根据一些实施方案，描述了一种计算机程序产品。在一些实施方案中，该计算机程序产品包括被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由该一个或多个显示生成部件显示虚拟内容；当显示该虚拟内容时，经由该一个或多个输入设备检测该计算机系统的用户的面部前面的第一手势；以及响应于检测到该第一手势：根据确定该用户的该面部前面的该第一手势满足第一组标准，停止该虚拟内容的至少一部分的显示；以及根据确定该用户的该面部前面的该第一手势不满足该第一组标准，保持该虚拟内容的显示。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1A是例示根据一些实施方案的用于提供XR体验的计算机系统的操作环境的框图。
图1B至图1P是用于在图1A的操作环境中提供XR体验的计算机系统的示例。
图2是例示根据一些实施方案的计算机系统的被配置为管理和协调用户的XR体验的控制器的框图。
图3是例示根据一些实施方案的计算机系统的被配置为向用户提供XR体验的视觉组成部分的显示生成部件的框图。
图4是例示根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是例示根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是例示根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图7A至图7K例示了根据一些实施方案的用于导航扩展现实体验的示例技术。
图8是根据各种实施方案的导航扩展现实体验的方法的流程图。
图9是根据各种实施方案的导航扩展现实体验的方法的流程图。
图10A至图10G例示了根据一些实施方案的用于提供与扩展现实体验有关的建议的示例技术。
图11是根据各种实施方案的提供与扩展现实体验有关的建议的方法的流程图。
图12A至图12K例示了根据一些实施方案的用于基于注视的交互的示例技术。
图13是根据一些实施方案的基于注视的交互的方法的流程图。
图14A至图14L例示了根据各种实施方案的用于与虚拟内容进行交互的示例技术。
图15是根据一些实施方案的与虚拟内容进行交互的方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供扩展现实(XR)体验的用户界面。
本文所述的系统、方法和GUI以多种方式改进与扩展现实环境和其他虚拟内容的用户界面交互。
在一些实施方案中，计算机系统在三维环境中同时显示多个增强现实体验的表示，这些表示包括第一增强现实体验的第一表示和第二增强现实体验的第二表示。当同时显示多个增强现实体验的表示时，计算机系统接收第一用户输入。响应于接收到第一用户输入，计算机系统停止多个增强现实体验中的一个或多个增强现实体验的表示的显示，并且基于第一用户输入的方向和/或量值，显示第一增强现实体验或第二增强现实体验。计算机系统从而向用户提供以直观且高效的方式在不同的增强现实体验之间切换的能力。
在一些实施方案中，计算机系统经由第一物理控件接收一个或多个用户输入的第一序列。在一些实施方案中，第一物理控件是可旋转且可按压物理控件，使得用户能够经由第一物理控件提供旋转输入以及按压输入。响应于接收到一个或多个用户输入的第一序列，计算机系统基于该一个或多个用户输入的第一序列的方向和/或量值来显示第一扩展现实体验或第二扩展现实体验。计算机系统从而向用户提供以直观且高效的方式在不同的增强现实体验之间切换的能力。
在一些实施方案中，计算机系统检测计算机系统位于其中的三维环境中的第一组条件。例如，在各种实施方案中，计算机系统检测计算机系统位于其中的物理环境中的一个或多个可视对象、音频内容或其他条件。响应于检测到三维环境中的第一组条件，计算机系统显示对应于第一增强现实体验的第一建议。第一增强现实体验是从能够供计算机系统显示的多个增强现实体验中选择的。例如，在一些实施方案中，第一增强现实体验是基于三维环境中的第一组条件来选择的。计算机系统从而基于由计算机系统检测到的条件来向用户提供对潜在相关的增强现实体验的建议。
在一些实施方案中，计算机系统检测对应于一个或多个显示生成部件的第一显示位置的用户的注视。响应于检测到对应于第一显示位置的用户的注视，计算机系统显示第一对象。例如，计算机系统显示用户旨在利用他或她的眼睛跟踪的注视目标。当显示第一对象时，计算机系统检测到第一组标准被满足，并且响应于检测到第一组标准被满足，计算机系统显示第一对象的移动。如果用户利用他或她的注视成功地跟踪第一对象的移动，则计算机系统执行第一操作，并且如果用户利用他或她的注视没有成功地跟踪第一对象的移动，则计算机系统不执行第一操作。例如，在一些实施方案中，用户能够通过跟踪第一对象的移动利用注视输入来解锁计算机系统。计算机系统从而向用户提供直观且高效的方式来利用注视输入执行诸如解锁计算机系统之类的操作。
在一些实施方案中，计算机系统显示虚拟内容。当显示虚拟内容时，计算机系统检测计算机系统的用户的面部前面的第一手势。如果第一手势满足第一组标准，则计算机系统停止虚拟内容的至少一部分的显示。以这种方式，计算机系统允许用户利用手势快速且容易地清除一些或所有虚拟内容。
图1A至图6提供了对用于向用户提供XR体验的示例计算机系统的描述。图7A至图7K例示了根据一些实施方案的用于导航扩展现实体验的示例技术。图8是根据各种实施方案的导航扩展现实体验的方法的流程图。图9是根据一些实施方案的导航扩展现实体验的方法的流程图。图7A至图7K中的用户界面用于例示图8和图9中的过程。图10A至图10G例示了根据一些实施方案的用于提供与扩展现实体验有关的建议的示例技术。图11是根据各种实施方案的提供与扩展现实体验有关的建议的方法的流程图。图10A至图10G的用户界面用于例示图11中的过程。图12A至图12K例示了根据一些实施方案的用于基于注视的交互的示例技术。图13是根据各种实施方案的基于注视的交互的方法的流程图。图12A至图12K中的用户界面用于例示图13中的过程。图14A至图14L例示了根据一些实施方案的用于与虚拟内容进行交互的示例技术。图15是根据各种实施方案的与虚拟内容进行交互的方法的流程图。图14A至图14L中的用户界面用于例示图15中的过程。
下文所述的过程通过各种技术增强了设备的可操作性并使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，包括通过向用户提供改进的视觉反馈、减少执行操作所需的输入数量、提供附加的控制选项而不会因附加的显示控件而使用户界面混乱、在一组条件已经被满足时执行操作而无需进一步的用户输入、改善隐私性和/或安全性、在节省存储空间的同时提供更丰富、更详细和/或更逼真的用户体验、和/或附加的技术。这些技术还通过使用户能够更快且更有效地使用设备而减少了电力使用并延长了设备的电池寿命。节省电池电量，并且因此节省重量，改善了设备的人体工程学。这些技术还使得能够进行实时通信，允许使用更少和/或不太精确的传感器，从而产生更紧凑、更轻且更便宜的设备，并且使得该设备能够在各种照明条件下使用。这些技术减少了能量使用，从而减少了由设备发出的热量，这对于可穿戴设备特别重要，其中如果完全在设备部件的操作参数内的设备产生太多热量，则对于用户来说，穿戴该设备会变得不舒服。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
在一些实施方案中，如图1A所示，经由包括计算机系统101的操作环境100向用户提供XR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
在描述XR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成XR体验的计算机系统101检测到的输入进行交互，这些输入使得生成XR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
扩展现实：相反，扩展现实(XR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在XR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调整在XR环境中模拟的一个或多个虚拟对象的一个或多个特性。例如，XR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调整呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对XR环境中虚拟对象的特性的调整可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测XR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可以感测和/或只与音频对象交互。
XR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子集的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
在增强现实、混合现实或虚拟现实环境中，三维环境的视图对用户是可见的。三维环境的视图通常经由一个或多个显示生成部件(例如，向同一用户的不同眼睛提供立体内容的显示器或一对显示模块)通过虚拟视口对用户可见，该虚拟视口具有视口边界，该视口边界限定经由一个或多个显示生成部件对用户可见的三维环境的范围。在一些实施方案中，由视口边界限定的区域在一个或多个维度上小于用户的视觉范围(例如，基于用户的视觉范围、一个或多个显示生成部件的尺寸、光学属性或其他物理特性、和/或一个或多个显示生成部件相对于用户的眼睛的位置和/或取向)。在一些实施方案中，由视口边界限定的区域在一个或多个维度上大于用户的视觉范围(例如，基于用户的视觉范围、一个或多个显示生成部件的尺寸、光学属性或其他物理特性、和/或一个或多个显示生成部件相对于用户的眼睛的位置和/或取向)。视口和视口边界通常随着一个或多个显示生成部件的移动而移动(例如，对于头戴式设备随着用户的头部移动，或者对于诸如平板电脑或智能电话之类的手持式设备随着用户的手部移动)。用户的视点确定在视口中可见的内容，视点通常指定相对于三维环境的位置和方向，并且随着视点移动，三维环境的视图也将在视口中移动。对于头戴式设备，视点通常基于用户的头部、面部和/或眼睛的位置、方向，以提供感知上准确的并且在用户正在使用头戴式设备时提供沉浸式体验的三维环境的视图。对于手持式或固定式设备，视点随着手持式或固定式设备的移动和/或随着用户相对于手持式或固定式设备的定位的变更而移动(例如，用户朝向、远离、向上、向下、向右和/或向左移动)。对于包括具有虚拟透传的显示生成部件的设备，经由一个或多个显示生成部件可见(例如，显示和/或投影)的物理环境的各部分基于与显示生成部件通信的一个或多个相机的视场，该一个或多个相机通常随着显示生成部件的移动而移动(例如，对于头戴式设备随着用户的头部的移动而移动，或者对于诸如平板电脑或智能电话之类的手持式设备随着用户的手部的移动而移动)，因为用户的视点随着一个或多个相机的视场的移动而移动(并且经由一个或多个显示生成部件显示的一个或多个虚拟对象的外观基于用户的视点来更新(例如，虚拟对象的显示位置和姿态基于用户的视点的移动来更新))。对于具有光学透传的显示生成部件，经由一个或多个显示生成部件可见(例如，通过显示生成部件的一个或多个部分或完全透明部分光学可见)的物理环境的各部分基于用户通过显示生成部件的部分或完全透明部分的视场(例如，对于头戴式设备随着用户头部的移动而移动，或者对于诸如平板电脑或智能电话之类的手持式设备随着用户的手部的移动而移动)，因为用户的视点随着用户通过显示生成部件的部分或完全透明部分的视场的移动而移动(并且一个或多个虚拟对象的外观基于用户的视点来更新)。
在一些实施方案中，物理环境的表示(例如，经由虚拟透传或光学透传显示)可被虚拟环境部分地或完全地遮挡。在一些实施方案中，所显示的虚拟环境的量(例如，未显示的物理环境的量)基于虚拟环境的沉浸水平(例如，相对于物理环境的表示)。例如，增加沉浸水平任选地使得显示更多的虚拟环境，替换和/或遮挡更多的物理环境，并且降低沉浸水平任选地使得显示更少的虚拟环境，从而显露先前未被显示和/或遮挡的物理环境的部分。在一些实施方案中，在特定沉浸水平下，一个或多个第一背景对象(例如，在物理环境的表示中)比一个或多个第二背景对象更多地在视觉上被去强调(例如，变暗淡、变模糊、以增大的透明度显示)，并且一个或多个第三背景对象停止显示。在一些实施方案中，沉浸水平包括由计算机系统显示的虚拟内容(例如，虚拟环境和/或虚拟内容)遮挡虚拟环境周围/后面的背景内容(例如，除了虚拟环境和/或虚拟内容之外的内容)的相关联的程度，任选地包括所显示的背景内容的项目的数量和/或背景内容的所显示视觉特性(例如，颜色、对比度和/或不透明度)，经由显示生成部件显示的虚拟内容的角度范围(例如，以低沉浸度显示的内容的60度，以中等沉浸度显示的内容的120度，或以高沉浸度显示的内容的180度)，和/或由虚拟内容占用的经由显示生成部件显示的视场的比例(例如，由虚拟内容以低沉浸度占用的视场的33％，由虚拟内容以中等沉浸度占用的视场的66％，或由虚拟内容以高沉浸度占用的视场的100％)。在一些实施方案中，背景内容被包括在其上显示有虚拟内容的背景中(例如，物理环境的表示中的背景内容)。在一些实施方案中，背景内容包括用户界面(例如，由计算机系统生成的与应用相对应的用户界面)、不与虚拟环境和/或虚拟内容相关联或不包括在虚拟环境和/或虚拟内容中的虚拟对象(例如，由计算机系统生成的文件或其他用户的表示等)，和/或真实对象(例如，表示用户周围的物理环境中的真实对象的透传对象，这些透传对象可见，使得它们经由显示生成部件显示和/或经由显示生成部件的透明或半透明部件可见，因为计算机系统不遮挡/妨碍它们透过显示生成部件的可见性)。在一些实施方案中，在低沉浸水平下(例如，第一沉浸水平)，背景、虚拟和/或真实对象以不被遮挡的方式显示。例如，具有低沉浸水平的虚拟环境任选地与背景内容同时显示，该背景内容任选地以全亮度、颜色和/或半透明度显示。在一些实施方案中，在较高沉浸水平下(例如，高于第一沉浸水平的第二沉浸水平)，背景、虚拟和/或真实对象以被遮挡的方式显示(例如，变暗淡、变模糊或从显示器移除)。例如，显示具有高沉浸水平的相应虚拟环境而不同时显示背景内容(例如，在全屏或完全沉浸模式中)。又如，以中等沉浸水平显示的虚拟环境与变暗、变模糊或以其他方式被去强调的背景内容同时显示。在一些实施方案中，背景对象的视觉特性在背景对象之间有所不同。例如，在特定沉浸水平下，一个或多个第一背景对象比一个或多个第二背景对象更多地在视觉上被去强调(例如，变暗淡、变模糊和/或以增大的透明度显示)，并且一个或多个第三背景对象停止显示。在一些实施方案中，零沉浸度或零沉浸水平对应于停止显示的虚拟环境，并且替代地显示物理环境的表示(任选地具有一个或多个虚拟对象，诸如应用、窗口或虚拟三维对象)，而物理环境的表示不被虚拟环境遮挡。使用物理输入元素调整沉浸水平提供了调整沉浸度的快速且高效的方法，这增强了计算机系统的可操作性并且使得用户-设备界面更高效。
视点锁定的虚拟对象：当计算机系统在用户视点中的相同位置和/或定位处显示虚拟对象时，即使用户的视点偏移(例如，发生变化)，虚拟对象也是视点锁定的。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的前向方向(例如，当用户直视前方时，用户的视点是用户视场的至少一部分)；因此，在不移动用户的头部的情况下，即使在用户的注视偏移时，用户的视点也保持固定。在其中计算机系统具有可相对于用户的头部重新定位的显示生成部件(例如，显示屏)的实施方案中，用户的视点是在计算机系统的显示生成部件上呈现给用户的增强现实视图。例如，当用户的视点处于第一取向(例如，用户头部面向北)时显示在用户的视点的左上角中的视点锁定的虚拟对象继续显示在用户的视点的左上角中，即使在用户的视点改变到第二取向(例如，用户头部面向西)时也是如此。换句话讲，在用户的视点中显示视点锁定的虚拟对象的位置和/或定位与用户在物理环境中的定位和/或取向无关。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的取向，使得虚拟对象也被称为“头部锁定虚拟对象”。
环境锁定的视觉对象：当计算机系统在用户的视点中的位置和/或定位处显示虚拟对象时，虚拟对象是环境锁定的(另选地，“世界锁定的”)，该位置和/或定位基于三维环境(例如，物理环境或虚拟环境)中的位置和/或对象(例如，参考该位置和/或对象而选择和/或锚定到该位置和/或对象)。随着用户的视点移动，环境中相对于用户的视点的位置和/或对象改变，这导致环境锁定的虚拟对象显示在用户视点中的不同位置和/或定位处。例如，锁定到紧接在用户前面的树木上的环境锁定的虚拟对象显示在用户的视点的中心处。当用户的视点向右偏移(例如，用户头部向右转动)使得树木现在在用户的视点中处于中心左侧(例如，用户的视点中的树木定位偏移)时，锁定到树木上的环境锁定的虚拟对象在用户的视点中显示在中心左侧。换句话讲，在用户的视点中显示环境锁定的虚拟对象的位置和/或定位取决于环境中虚拟对象被锁定到其上的位置和/或对象的定位和/或取向。在一些实施方案中，计算机系统使用静止的参照系(例如，在物理环境中锚定到固定位置和/或对象的坐标系)，以便确定在用户的视点中显示环境锁定的虚拟对象的定位。环境锁定的虚拟对象可被锁定到环境的静止部分(例如，地板、墙壁、桌子或其他静止对象)，或可被锁定到环境的可移动部分(例如，车辆、动物、人或甚至独立于用户的视点移动的用户身体的一部分诸如用户的手、手腕、手臂或脚的表示)使得虚拟对象随着视点或环境的该部分移动而移动以保持虚拟对象和环境的该部分之间的固定关系。
在一些实施方案中，环境锁定或视点锁定的虚拟对象表现出惰性跟随行为，其相对于虚拟对象所跟随的参考点的移动而减少或延迟环境锁定或视点锁定的虚拟对象的运动。在一些实施方案中，在表现出惰性跟随行为时，当检测到虚拟对象正在跟随的参考点(例如，环境的一部分、视点或相对于视点固定的点，诸如距离视点5cm至300cm之间的点)的移动时，计算机系统有意地延迟虚拟对象的移动。例如，当参考点(例如，环境的部分或视点)以第一速度移动时，虚拟对象被设备移动以保持锁定到参考点，但以相较于第一速度更慢的第二速度移动(例如，直到参考点停止移动或减慢，此时虚拟对象开始赶上参考点)。在一些实施方案中，当虚拟对象表现出惰性跟随行为时，设备忽略参考点的少量移动(例如，忽略参考点低于阈值移动量的移动，诸如移动0至5度或移动0至50cm)。例如，当参考点(例如，虚拟对象被锁定到的环境的部分或视点)移动第一量时，参考点和虚拟对象之间的距离增大(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的部分固定或基本上固定的位置)，并且当参考点(例如，虚拟对象被锁定到的环境的部分或视点)移动大于第一量的第二量时，参考点和虚拟对象之间的距离先增大(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的部分固定或基本上固定的位置)，然后在参考点的移动量增大到阈值(例如，“惰性跟随”阈值)以上时减小，因为虚拟对象被计算机系统移动以保持相对于参考点固定或基本上固定的位置。在一些实施方案中，虚拟对象保持相对于参考点基本上固定的定位包括虚拟对象在一个或多个维度(例如，相对于参考点的定位的上/下、左/右和/或向前/向后)中在参考点的阈值距离(例如，1cm、2cm、3cm、5cm、15cm、20cm、50cm)内显示。
硬件：有许多不同类型的电子系统使人能够感测各种XR环境和/或与各种XR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板设备和台式/膝上型计算机。头戴式系统可包括集成到头戴式系统中以用于提供音频输出的扬声器和/或其他音频输出设备。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有介质，通过该介质，代表图像的光被引导到人的眼睛。显示器可利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任何组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的XR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文相对于图2更详细地描述了控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供XR体验(例如，至少XR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供XR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手上等)。这样，显示生成部件120包括被提供用于显示XR内容的一个或多个XR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现XR内容的手持式设备(诸如智能电话或平板设备)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现XR内容的XR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示XR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示XR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与XR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对XR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手))的移动而触发的与XR内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手))的移动引起的。
尽管在图1A中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例实施方案的更多相关方面，未例示各种其他特征。
图1A至图1P例示了用于执行方法并且提供音频、视觉和/或触觉反馈作为本文所述的用户界面的一部分的计算机系统的各种示例。在一些实施方案中，计算机系统包括用于向计算机系统的用户显示任选地基于检测到的事件和/或由计算机系统检测到的用户输入生成的虚拟元素和/或物理环境的表示的一个或多个显示生成部件(例如，第一显示组件1-120a和第二显示组件1-120b和/或第一光学模块11.1.1-104a和第二光学模块11.1.1-104b)。由计算机系统生成的用户界面任选地由一个或多个矫正透镜11.3.2-216矫正，该一个或多个矫正透镜任选地可移除地附接到光学模块中的一个或多个光学模块，以使得用户界面更容易被原本会使用眼镜或隐形眼镜来矫正他们的视力的用户查看。虽然本文示出的许多用户界面示出了用户界面的单个视图，但HMD中的用户界面任选地使用两个光学模块(例如，第一显示组件1-120a和第二显示组件1-120b和/或第一光学模块11.1.1-104a和第二光学模块11.1.1-104b)来显示，一个光学模块用于用户的右眼并且不同的光学模块用于用户的左眼，并且向两个不同的眼睛呈现略微不同的图像以生成立体深度的错觉，用户界面的单个视图通常是右眼视图或左眼视图，深度效果在文本中或使用其他示意图或视图进行解释。在一些实施方案中，计算机系统包括用于向计算机系统的用户(当计算机系统未被穿戴时)和/或向计算机系统附近的其他人显示针对计算机系统的状态信息的一个或多个外部显示器(例如，显示组件1-108)，该状态信息任选地基于检测到的事件和/或由计算机系统检测到的用户输入来生成。在一些实施方案中，计算机系统包括用于生成音频反馈的一个或多个音频输出部件(例如，电子部件1-112)，该音频反馈任选地基于检测到的事件和/或由计算机系统检测到的用户输入来生成。在一些实施方案中，计算机系统包括用于检测输入的一个或多个输入设备，诸如用于检测关于设备的物理环境的信息的一个或多个传感器(例如，传感器组件1-356中的一个或多个传感器，和/或图1I)，该信息可用于(任选地结合一个或多个照明器，诸如图1I中所述的照明器)生成数字透传图像、捕获对应于物理环境的视觉媒体(例如，照片和/或视频)、或确定物理环境中的物理对象和/或表面的位姿(例如，位置和/或取向)，使得虚拟对象能够基于物理对象和/或表面的检测到的位姿而被放置。在一些实施方案中，计算机系统包括用于检测输入的一个或多个输入设备，诸如用于检测手部位置和/或移动的一个或多个传感器(例如，传感器组件1-356和/或图1I中的一个或多个传感器)，这些传感器可用于(任选地结合一个或多个照明器，诸如图1I中所述的照明器6-124)确定何时执行了一个或多个空中手势。在一些实施方案中，计算机系统包括用于检测输入的一个或多个输入设备，诸如用于检测眼睛移动的一个或多个传感器(例如，图1I中的眼睛跟踪和注视跟踪传感器)，这些传感器可用于(任选地结合一个或多个灯，诸如图1O中的灯11.3.2-110)确定注意力或注视位置和/或注视移动，这些位置和/或移动可任选地用于基于注视移动和/或停留来检测仅注视的输入。上述各种传感器的组合可用于确定用户面部表情和/或手部运动以用于生成用户的化身或表示，诸如用于实时通信会话的拟人化身或表示，其中化身具有基于或类似于设备的用户的检测到的面部表情、手部移动和/或身体移动的面部表情、手部移动和/或身体移动。注视和/或注意力信息任选地与手部跟踪信息组合以基于直接和/或间接输入来确定用户与一个或多个用户界面之间的交互，该直接和/或间接输入诸如空中手势或使用一个或多个硬件输入设备的输入，该硬件输入设备诸如一个或多个按钮(例如，第一按钮1-128、按钮11.1.1-114、第二按钮1-132和/或拨盘或按钮1-328)、旋钮(例如，第一按钮1-128、按钮11.1.1-114和/或拨盘或按钮1-328)、数字表冠(例如，可按压并且可扭转或可旋转的第一按钮1-128、按钮11.1.1-114和/或拨盘或按钮1-328)、触控板、触摸屏、键盘、鼠标和/或其他输入设备。一个或多个按钮(例如，第一按钮1-128、按钮11.1.1-114、第二按钮1-132和/或拨盘或按钮1-328)任选地用于执行系统操作，诸如重新居中对设备的用户可见的三维环境中的内容、显示用于启动应用的主用户界面、开始实时通信会话、或发起虚拟三维背景的显示。旋钮或数字表冠(例如，可按压并且可扭转或可旋转的第一按钮1-128、按钮11.1.1-114和/或拨盘或按钮1-328)任选地可旋转以调整视觉内容的参数，诸如虚拟三维环境的沉浸水平(例如，虚拟内容在三维环境中占据用户视口的程度)或与三维环境和经由光学模块(例如，第一显示组件1-120a和第二显示组件1-120b和/或第一光学模块11.1.1-104a和第二光学模块11.1.1-104b)显示的虚拟内容相关联的其他参数。
图1B例示了被配置为由用户穿戴并且提供虚拟和改变/混合现实(VR/AR)体验的可头戴式显示(HMD)设备1-100的示例的前视图、顶视图、透视图。HMD 1-100可包括显示单元1-102或组件、连接到显示单元1-102并从该显示单元延伸的电子条带组件1-104，以及在任一端固定到电子条带组件1-104的带组件1-106。电子条带组件1-104和带1-106可以是保持组件的一部分，该保持组件被配置为缠绕在用户的头部周围以保持显示单元1-102抵靠用户的面部。
在至少一个示例中，带组件1-106可包括被配置为缠绕在用户的头部后侧的第一带1-116和被配置为在用户的头部的顶部上方延伸的第二带1-117。如图所示，第二带可在电子条带组件1-104的第一电子条带1-105a与第二电子条带1-105b之间延伸。条带组件1-104和带组件1-106可以是固定机构的一部分，该固定机构从显示单元1-102向后延伸并且被配置为保持显示单元1-102抵靠用户的面部。
在至少一个示例中，固定机构包括第一电子条带1-105a，该第一电子条带包括耦接到显示单元1-102(例如，显示单元1-102的外壳1-150)的第一近端1-134和与第一近端1-134相对的第一远端1-136。固定机构还可包括第二电子条带1-105b，该第二电子条带包括耦接到显示单元1-102的外壳1-150的第二近端1-138和与第二近端1-138相对的第二远端1-140。固定机构还可包括第一带1-116和第二带1-117，第一带包括耦接到第一远端1-136的第一端1-142以及耦接到第二远端1-140的第二端1-144，并且第二带在第一电子条带1-105a与第二电子条带1-105b之间延伸。条带1-105a-b和带1-116可经由连接机构或组件1-114耦接。在至少一个示例中，第二带1-117包括在第一近端1-134与第一远端1-136之间耦接到第一电子条带1-105a的第一端1-146以及在第二近端1-138与第二远端1-140之间耦接到第二电子条带1-105b的第二端1-148。
在至少一个示例中，第一和第二电子条带1-105a-b包括塑料、金属或形成基本上刚性的条带1-105a-b形状的其他结构材料。在至少一个示例中，第一带1-116和第二带1-117由包括编织纺织品、橡胶等的弹性柔性材料形成。第一带1-116和第二带1-117可以是柔性的以在穿戴HMD 1-100时适形于用户头部的形状。
在至少一个示例中，第一和第二电子条带1-105a-b中的一者或多者可限定内部条带体积并且包括设置在内部条带体积中的一个或多个电子部件。在一个示例中，如图1B所示，第一电子条带1-105a可包括电子部件1-112。在一个示例中，电子部件1-112可包括扬声器。在一个示例中，电子部件1-112可包括计算部件，诸如处理器。
在至少一个示例中，外壳1-150限定了第一前置开口1-152。前置开口在图1B中以虚线标记为1-152，这是因为显示组件1-108被设置成当组装HMD 1-100时从视线中遮挡第一开口1-152。外壳1-150还可限定后置第二开口1-154。外壳1-150还限定了第一开口1-152与第二开口1-154之间的内部体积。在至少一个示例中，HMD 1-100包括显示组件1-108，该显示组件可包括设置在前开口1-152中或跨该前开口以遮挡前开口1-152的前盖和显示屏(在其他图中示出)。在至少一个示例中，显示组件1-108的显示屏以及通常的显示组件1-108具有被配置为跟随用户面部的曲率的曲率。显示组件1-108的显示屏可以如图所示弯曲以与用户的面部特征和从面部的一侧到另一侧的总体曲率互补，例如从左到右和/或从顶部到底部，其中显示单元1-102被按压。
在至少一个示例中，外壳1-150可限定第一开口1-152与第二开口1-154之间的第一孔1-126以及第一开口1-152与第二开口1-154之间的第二孔1-130。HMD 1-100还可包括设置在第一孔1-128中的第一按钮1-126，以及设置在第二孔1-130中的第二按钮1-132。第一按钮1-128和第二按钮1-132能够通过相应的孔1-126、1-130被按压。在至少一个示例中，第一按钮1-126和/或第二按钮1-132可以是可扭转拨盘以及可按压按钮。在至少一个示例中，第一按钮1-128是可按压并且可扭转的拨盘按钮，并且第二按钮1-132是可按压按钮。
图1C例示了HMD 1-100的后透视图。HMD 1-100可包括从显示组件1-108的外壳1-150围绕外壳1-150的周边向后延伸的光密封件1-110，如图所示。光密封件1-110可被配置为从外壳1-150延伸到用户的面部，围绕用户的眼睛，以阻挡外部光可见。在一个示例中，HMD 1-100可包括第一显示组件1-120a和第二显示组件1-120b，这些显示组件设置在由外壳1-150限定的面向后的第二开口1-154处或其中和/或设置在外壳1-150的内部体积中并且被配置为通过第二开口1-154投射光。在至少一个示例中，每个显示组件1-120a-b可包括相应的显示屏1-122a、1-122b，这些显示屏被配置为在向后方向上通过第二开口1-154朝向用户的眼睛投射光。
在至少一个示例中，参考图1B和图1C两者，显示组件1-108可以是包括被配置为在第一向前方向上投射光的显示屏的前置向前显示组件，并且后置显示屏1-122a-b可被配置为在与第一方向相反的第二向后方向上投射光。如上所述，光密封件1-110可被配置为阻挡HMD 1-100外部的光到达用户的眼睛，包括由图1B的前透视图中示出的显示组件1-108的前向显示屏投射的光。在至少一个示例中，HMD 1-100还可包括遮挡外壳1-150与后置显示组件1-120a-b之间的第二开口1-154的幕帘1-124。在至少一个示例中，幕帘1-124可以是弹性的或至少部分弹性的。
图1B和图1C所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1D至图1F所示以及本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，参考图1D至图1F所示或所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1B和图1C所示的设备、特征部、部件和零件的示例中。
图1D例示了HMD 1-200的示例的分解图，该HMD包括根据这些零件的模块性和选择性耦接而分离的各个部分或零件。例如，HMD 1-200可包括带1-216，该带可选择性地耦接到第一电子条带1-205a和第二电子条带1-205b。第一固定条带1-205a可包括第一电子部件1-212a，并且第二固定条带1-205b可包括第二电子部件1-212b。在至少一个示例中，第一和第二条带1-205a-b能够可移除地耦接到显示单元1-202。
此外，HMD 1-200可包括被配置为可移除地耦接到显示单元1-202的光密封件1-210。HMD 1-200还可包括透镜1-218，该透镜可例如在包括显示屏的第一组件和第二显示组件上可移除地耦接到显示单元1-202。透镜1-218可包括被配置用于矫正视力的定制处方透镜。如所指出的，在图1D的分解图中示出并且在上文描述的每个零件能够可移除地耦接、附接、重新附接以及更换以更新零件或者为不同的用户换出零件。例如，带诸如带1-216、光密封件诸如光密封件1-210、透镜诸如透镜1-218，以及电子条带诸如电子条带1-205a-b可根据用户而被换出，使得这些部分被定制为贴合并且对应于HMD 1-200的单个用户。
图1D所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1B、图1C和图1E至图1F所示以及本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，参考图1B、图1C和图1E至图1F所示和所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1D所示的设备、特征部、部件和零件的示例中。
图1E例示了HMD的显示单元1-306的示例的分解图。显示单元1-306可包括前显示组件1-308、框架/外壳组件1-350和幕帘组件1-324。显示单元1-306还可包括设置在框架组件1-350与前显示组件1-308之间的传感器组件1-356、逻辑板组件1-358和冷却组件1-360。在至少一个示例中，显示单元1-306还可包括后置显示组件1-320，该后置显示组件包括设置在框架1-350与幕帘组件1-324之间的第一后置显示屏1-322a和第二后置显示屏1-322b。
在至少一个示例中，显示单元1-306还可包括马达组件1-362，该马达组件被配置作为用于调整显示组件1-320的显示屏1-322a-b相对于框架1-350的位置的调整机构。在至少一个示例中，显示组件1-320机械地耦接到马达组件1-362，每个显示屏1-322a-b具有至少一个马达，使得马达能够平移显示屏1-322a-b以匹配用户的眼睛的瞳孔间距。
在至少一个示例中，显示单元1-306可包括拨盘或按钮1-328，该拨盘或按钮可相对于框架1-350按压并且可由框架1-350外部的用户访问。按钮1-328可经由控制器电连接到马达组件1-362，使得按钮1-328可由用户操纵以使得马达组件1-362的马达调整显示屏1-322a-b的位置。
图1E所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1B至图1D和图1F所示以及本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，参考图1B至图1D和图1F所示和所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1E所示的设备、特征部、部件和零件的示例中。
图1F例示了类似于本文所述的其他HMD设备的HMD设备的显示单元1-406的另一个示例的分解图。显示单元1-406可包括前显示组件1-402、传感器组件1-456、逻辑板组件1-458、冷却组件1-460、框架组件1-450、后置显示组件1-421和幕帘组件1-424。显示单元1-406还可包括马达组件1-462，该马达组件用于调整后置显示组件1-421的第一显示子组件1-420a和第二显示子组件1-420b的位置，包括用于瞳孔间调整的第一相应显示屏和第二相应显示屏，如上所述。
图1F的分解图所示的各种零件、系统和组件在本文中参考图1B至图1E以及本公开中所参考的随后的附图更详细地描述。图1F所示的显示单元1-406可与图1B至图1E所示的固定机构组装和集成，该固定机构包括电子条带、带以及包括光密封件、连接组件等的其他部件。
图1F所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1B至图1E所示以及本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，参考图1B至图1E所示和所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1F所示的设备、特征部、部件和零件的示例中。
图1G例示了本文所述的HMD设备的前盖组件3-100的分解透视图，例如图1G所示的HMD 3-100的前盖组件3-1或本文所示和所述的任何其他HMD设备。图1G所示的前盖组件3-100可包括透明或半透明盖3-102、护罩3-104(或“罩盖”)、粘合剂层3-106、包括双凸透镜面板或阵列3-110的显示组件3-108，以及结构装饰件3-112。粘合剂层3-106可将护罩3-104和/或透明盖3-102固定到显示组件3-108和/或装饰件3-112。装饰件3-112可将前盖组件3-100的各种部件固定到HMD设备的框架或底座。
在至少一个示例中，如图1G所示，包括双凸透镜阵列3-110的透明盖3-102、护罩3-104和显示组件3-108可被弯曲以适应用户面部的曲率。透明盖3-102和护罩3-104可在两个或三个维度上弯曲，例如，在Z-X平面内外沿Z方向竖直弯曲，在Z-X平面内外沿X方向水平弯曲。在至少一个示例中，显示组件3-108可包括双凸透镜阵列3-110以及具有像素的显示面板，这些像素被配置为通过护罩3-104和透明盖3-102投射光。显示组件3-108可在至少一个方向(例如，水平方向)上弯曲，以适应用户的面部从面部的一侧(例如，左侧)到另一侧(例如，右侧)的曲率。在至少一个示例中，显示组件3-108的每个层或部件(其将在随后的附图中示出并且更详细地描述，但是其可包括双凸透镜阵列3-110和显示层)可在水平方向上类似地或同心地弯曲以适应用户面部的曲率。
在至少一个示例中，护罩3-104可包括透明或半透明材料，显示组件3-108通过该透明或半透明材料投射光。在一个示例中，护罩3-104可包括一个或多个不透明部分，例如在护罩3-104的背面上的不透明墨印刷部分或其他不透明膜部分。当HMD设备被穿戴时，后表面可以是护罩3-104面向用户的眼睛的表面。在至少一个示例中，不透明部分可以在护罩3-104的与后表面相对的前表面上。在至少一个示例中，护罩3-104的一个或多个不透明部分可包括周边部分，该周边部分在视觉上隐藏围绕显示组件3-108的显示屏的外周边的任何部件。以这种方式，护罩的不透明部分隐藏了HMD设备的原本会通过透明或半透明盖3-102和/或护罩3-104可见的任何其他部件，包括电子部件、结构部件等。
在至少一个示例中，护罩3-104可限定一个或多个孔透明部分3-120，传感器可通过这些孔透明部分发送和接收信号。在一个示例中，部分3-120是孔，传感器可延伸通过该孔或者通过该孔发送和接收信号。在一个示例中，部分3-120是透明部分，或者比护罩的周围半透明或不透明部分更加透明的部分，通过这些部分，传感器可通过护罩并通过透明盖3-102发送和接收信号。在一个示例中，传感器可包括相机、IR传感器、LUX传感器，或HMD设备的任何其他视觉或非视觉环境传感器。
图1G所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，本文所示和所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1G所示的设备、特征部、部件和零件的示例中。
图1H例示了HMD设备6-100的示例的分解图。HMD设备6-100可包括传感器阵列或系统6-102，该传感器阵列或系统包括安装到HMD 6-100的一个或多个部件的一个或多个传感器、相机、投影仪等。在至少一个示例中，传感器系统6-102可包括托架1-338，传感器系统6-102的一个或多个传感器可固定/紧固在该托架上。
图1I例示了包括前透明盖6-104和传感器系统6-102的HMD设备6-100的一部分。传感器系统6-102可包括多个不同的传感器、发射器、接收器，包括相机、IR传感器、投影仪等。透明盖6-104被示出在传感器系统6-102的前面，以例示各种传感器和发射器的相对位置以及系统6-102的每个传感器/发射器的取向。如本文所引用，“侧向”、“侧面”、“横向”、“水平”和其他类似术语是指如图1J所示的X轴所指示的取向或方向。术语诸如“竖直”、“向上”、“向下”以及类似术语是指如图1J所示的Z轴所指示的取向或方向。术语诸如“向前”、“向后”、“前向”、“后向”以及类似术语是指如图1J所示的Y轴所指示的取向或方向。
在至少一个示例中，透明盖6-104可限定HMD设备6-100的前外表面，并且包括各种传感器及其部件的传感器系统6-102可在Y轴/方向上设置在盖6-104的后面。盖6-104可以是透明的或半透明的，以允许光穿过盖6-104，包括由传感器系统6-102检测到的光和由此发射的光两者。
如本文其他地方所述，HMD设备6-100可包括一个或多个控制器，这些控制器包括用于将传感器系统6-102的各种传感器和发射器与一个或多个母板、处理单元和其他电子设备诸如显示屏等电耦接的处理器。此外，如以下将参考其他附图更详细地示出的，传感器系统6-102的各种传感器、发射器和其他部件可耦接到图1I中未示出的HMD设备6-100的各种结构框架构件、托架等。为了清楚起见，图1I示出了传感器系统6-102的部件与其他部件未附接并且未电耦接。
在至少一个示例中，该设备可包括一个或多个控制器，这些控制器具有被配置为执行存储在电耦接到处理器的存储器部件上的指令的处理器。这些指令可包括或使得处理器执行一个或多个算法，这些算法用于随时间的推移随着相机的初始位置、角度或方向由于意外掉落事件或其他事件而发生碰撞或变形来自我校正本文所述的各种相机的角度和位置。
在至少一个示例中，传感器系统6-102可包括一个或多个场景相机6-106。系统6-102可包括两个场景相机6-102，分别设置在HMD设备6-100的鼻梁或拱形结构的两侧，使得这两个相机6-106中的每一者大致对应于用户在盖6-103后面的左眼和右眼的位置。在至少一个示例中，场景相机6-106通常在Y方向上向前取向以在HMD 6-100的使用期间捕获用户前方的图像。在至少一个示例中，场景相机是彩色相机，并且当使用HMD设备6-100时，提供用于MR视频透传的图像和内容到面向用户的眼睛的显示屏。场景相机6-106还可用于环境和对象重建。
在至少一个示例中，传感器系统6-102可包括通常在Y方向上向前指向的第一深度传感器6-108。在至少一个示例中，第一深度传感器6-108可用于环境和对象重建以及用户的手部和身体跟踪。在至少一个示例中，传感器系统6-102可包括沿着HMD设备6-100的宽度(例如，沿着X轴)居中设置的第二深度传感器6-110。例如，第二深度传感器6-110可被设置在中央鼻梁上方或用户穿戴HMD 6-100时鼻子上方的适配结构上。在至少一个示例中，第二深度传感器6-110可用于环境和对象重建以及手部和身体跟踪。在至少一个示例中，第二深度传感器可包括LIDAR传感器。
在至少一个示例中，传感器系统6-102可包括深度投影仪6-112，该深度投影仪通常面向前以将电磁波(例如，以预先确定的光点图案的形式)投射到用户和/或场景相机6-106的视场中或视场内，或者投射到包括并且超出用户和/或场景相机6-106的视场的视场中或视场内。在至少一个示例中，深度投影仪能够以点光图案的形式投射光的电磁波，这些电磁波从对象反射并回到上述深度传感器中，包括深度传感器6-108、6-110。在至少一个示例中，深度投影仪6-112可用于环境和对象重建以及手部和身体跟踪。
在至少一个示例中，传感器系统6-102可包括面向下的相机6-114，其视场通常在Z轴上相对于HDM设备6-100指向下。在至少一个示例中，向下相机6-114可如图所示设置在HMD设备6-100的左侧和右侧上并且用于手部和身体跟踪、头戴式耳机跟踪以及面部化身检测和创建以用于在本文其他地方所述的HMD设备6-100的前向显示屏上显示用户化身。例如，向下相机6-114可用于捕获HMD设备6-100下方的用户面部的面部表情和移动，包括脸颊、嘴部和下巴。
在至少一个示例中，传感器系统6-102可包括下颌相机6-116。在至少一个示例中，下颌相机6-116可如图所示设置在HMD设备6-100的左侧和右侧上并且用于手部和身体跟踪、头戴式耳机跟踪以及面部化身检测和创建以用于在本文其他地方所述的HMD设备6-100的前向显示屏上显示用户化身。例如，下颌相机6-116可用于捕获HMD设备6-100下方的用户面部的面部表情和移动，包括用户的下颌、脸颊、嘴部和下巴。用于手部和身体跟踪、头戴式耳机跟踪和面部化身
在至少一个示例中，传感器系统6-102可包括侧相机6-118。侧相机6-118可被取向成在X轴或相对于HMD设备6-100的方向上捕获左侧和右侧视图。在至少一个示例中，侧相机6-118可用于手部和身体跟踪、头戴式耳机跟踪以及面部化身检测和重新创建。
在至少一个示例中，传感器系统6-102可包括用于在使用期间和/或使用之前确定身份、状态和用户的眼睛的注视方向的多个眼睛跟踪和注视跟踪传感器。在至少一个示例中，眼睛/注视跟踪传感器可包括鼻眼相机6-120，该鼻眼相机被设置在用户的鼻子的任一侧上，并且在穿戴HMD设备6-100时邻近用户的鼻子。眼睛/注视传感器还可包括设置在相应用户眼睛下方的用于捕获眼睛的图像以用于面部化身检测和创建、注视跟踪和虹膜标识功能的底部眼睛相机6-122。
在至少一个示例中，传感器系统6-102可包括红外照明器6-124，该红外照明器从HMD设备6-100向外指向以利用IR光照射外部环境以及其中的任何对象，以便利用传感器系统6-102的一个或多个IR传感器进行IR检测。在至少一个示例中，传感器系统6-102可包括闪烁传感器6-126和环境光传感器6-128。在至少一个示例中，闪烁传感器6-126可检测顶灯光刷新速率以避免显示器闪烁。在一个示例中，红外照明器6-124可包括发光二极管，并且可特别地用于低光环境，以用于在低光中照射用户的手部和其他对象，以便由传感器系统6-102的红外传感器检测。
在至少一个示例中，多个传感器(包括场景相机6-106、向下相机6-114、下颌相机6-116、侧相机6-118、深度投影仪6-112和深度传感器6-108、6-110)可与电耦接控制器组合使用，以将深度数据与相机数据组合，用于手部跟踪和用于尺寸确定，以便更好地进行HMD设备6-100的手部跟踪以及对象识别和跟踪功能。在至少一个示例中，上文所述并在图1I中示出的向下相机6-114、下颌相机6-116和侧相机6-118可以是能够在可见光谱和红外光谱中工作的广角相机。在至少一个示例中，这些相机6-114、6-116、6-118可仅在黑白光检测中工作以简化图像处理并获得灵敏度。
图1I所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1J至图1L所示以及本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，参考图1J至图1L所示和所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1I所示的设备、特征部、部件和零件的示例中。
图1J例示了包括固定到框架6-230的盖或护罩6-204的HMD 6-200的示例的下部透视图。在至少一个示例中，传感器系统6-202的传感器6-203可围绕HDM 6-200的周边设置，使得传感器6-203围绕显示区域或显示区6-232的周边向外设置，以便不阻碍对所显示的光的查看。在至少一个示例中，传感器可设置在护罩6-204后面并且与护罩的透明部分对准，从而允许传感器和投影仪允许光来回通过护罩6-204。在至少一个示例中，不透明墨或其他不透明材料或膜/层可围绕显示区域6-232设置在护罩6-204上以将HMD 6-200的部件隐藏在显示区域6-232外部而不是由不透明部分限定的透明部分，传感器和投影仪在操作期间通过该不透明部分发送和接收光和电磁信号。在至少一个示例中，护罩6-204允许光从显示器(例如，在显示区域6-232内)穿过，但不允许光从围绕显示器和护罩6-204的周边的显示区域径向向外穿过。
在一些示例中，护罩6-204包括透明部分6-205和不透明部分6-207，如上文和本文其他地方所述。在至少一个示例中，护罩6-204的不透明部分6-207可限定一个或多个透明区域6-209，传感器系统6-202的传感器6-203可通过该透明区域发送和接收信号。在例示的示例中，传感器系统6-202的传感器6-203通过护罩6-204发送和接收信号，或者更具体地通过护罩6-204的不透明部分6-207的透明区域6-209(或由其限定)发送和接收信号，该传感器可包括与图1I的示例中所示的那些相同或类似的传感器，例如深度传感器6-108和6-110、深度投影仪6-112、第一和第二场景相机6-106、第一和第二向下相机6-114、第一和第二侧相机6-118以及第一和第二红外照明器6-124。这些传感器也在图1K和图1L的示例中示出。其他传感器、传感器类型、传感器数量和它们的相对位置可包括在HMD的一个或多个其他示例中。
图1J所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1I和图1K至图1L所示以及本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，参考图1I和图1K至图1L所示或所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1J所示的设备、特征部、部件和零件的示例中。
图1K例示了HMD设备6-300的示例的一部分的正视图，包括显示器6-334、托架6-336、6-338以及框架或外壳6-330。图1K所示的示例不包括前盖或护罩以便例示托架6-336、6-338。例如，图1J所示的护罩6-204包括不透明部分6-207，该不透明部分将在视觉上覆盖/阻挡对显示器/显示区域6-334外部(例如，径向地/外围外部)的任何事物的查看，包括传感器6-303和托架6-338。
在至少一个示例中，传感器系统6-302的各种传感器耦接到托架6-336、6-338。在至少一个示例中，场景相机6-306包括相对于彼此的角度的严格公差。例如，两个场景相机6-306之间的安装角度的公差可以是0.5度或更小，例如0.3度或更小。为了实现和保持这种严格公差，在一个示例中，场景相机6-306可安装到托架6-338而不是护罩。托架可包括悬臂，场景相机6-306以及传感器系统6-302的其他传感器可安装在该悬臂上，以在由用户导致其他托架6-226、外壳6-330和/或护罩的任何变形的掉落事件的情况下保持位置和取向不变。
图1K所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1I至图1J和图1L所示以及本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，参考图1I至图1J和图1L所示或所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1K所示的设备、特征部、部件和零件的示例中。
图1L例示了包括前显示器/盖组件6-404和传感器系统6-402的HMD 6-400的示例的底视图。传感器系统6-402可类似于上文和本文其他地方所述的其他传感器系统，包括参考图1I至图1K所述。在至少一个示例中，下颌相机6-416可面向下以捕获用户的下部面部特征的图像。在一个示例中，下颌相机6-416可直接耦接到框架或外壳6-430或者一个或多个内部托架，这些内部托架直接耦接到所示的框架或外壳6-430。框架或外壳6-430可包括一个或多个孔/开口6-415，下颌相机6-416可通过这些孔/开口发送和接收信号。
图1L所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1I至图1K所示以及本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，参考图1I至图1K所示和所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1L所示的设备、特征部、部件和零件的示例中。
图1M例示了瞳孔间距(IPD)调整系统11.1.1-102的后透视图，该IPD调整系统包括可滑动地接合/耦接到左和右调整子系统11.1.1-106a-b的相应导杆11.1.1-108a-b和马达11.1.1-110a-b的第一和第二光学模块11.1.1-104a-b。IPD调整系统11.1.1-102可耦接到托架11.1.1-112，并且包括与马达11.1.1-110a-b电连通的按钮11.1.1-114。在至少一个示例中，按钮11.1.1-114可经由处理器或其他电路部件与第一和第二马达11.1.1-110a-b电连通，以使得第一和第二马达11.1.1-110a-b激活并且分别使得第一和第二光学模块11.1.1-104a-b相对于彼此改变位置。
在至少一个示例中，第一和第二光学模块11.1.1-104a-b可包括相应的显示屏，这些显示屏被配置为在穿戴HMD 11.1.1-100时朝向用户的眼睛投射光。在至少一个示例中，用户可操纵(例如，按压和/或旋转)按钮11.1.1-114以激活光学模块11.1.1-104a-b的位置调整以匹配用户眼睛的瞳孔间距。光学模块11.1.1-104a-b还可包括用于成像和测量用户的IPD的一个或多个相机或其他传感器/传感器系统，使得光学模块11.1.1-104a-b可被调整以匹配IPD。
在一个示例中，用户可操纵按钮11.1.1-114以引起第一和第二光学模块11.1.1-104a-b的自动位置调整。在一个示例中，用户可操纵按钮11.1.1-114以引起手动调整，使得光学模块11.1.1-104a-b移动得更远或更近(例如当用户以一种方式或另一种方式旋转按钮11.1.1-114时)，直到用户在视觉上匹配她/他自己的IPD。在一个示例中，手动调整经由一个或多个电路以电子方式进行通信，并且用于经由马达11.1.1-110a-b移动光学模块11.1.1-104a-b的电力由电源提供。在一个示例中，经由操纵按钮11.1.1-114的光学模块11.1.1-104a-b的调整和移动经由移动按钮11.1.1-114被机械地致动。
图1M所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在任何其他附图所示和本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，参考任何其他附图所示或所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1M所示的设备、特征部、部件和零件的示例中。
图1N例示了HMD 11.1.2-100的一部分的前透视图，包括限定第一孔11.1.2-106a和第二孔11.1.2-106b的外部结构框架11.1.2-102和内部或中间结构框架11.1.2-104。孔11.1.2-106a-b在图1N中以虚线示出，因为孔11.1.2-106a-b的视图可能被HMD 11.1.2-100的耦接到内部框架11.1.2-104和/或外部框架11.1.2-102的一个或多个其他部件阻挡，如图所示。在至少一个示例中，HMD 11.1.2-100可包括耦接到内部框架11.1.2-104的第一安装托架11.1.2-108。在至少一个示例中，安装托架11.1.2-108在第一和第二孔11.1.2-106a-b之间耦接到内部框架11.1.2-104。
安装托架11.1.2-108可包括耦接到内部框架11.1.2-104的中间或中心部分11.1.2-109。在一些示例中，中间或中心部分11.1.2-109可以不是托架11.1.2-108的几何中间或中心。相反，中间/中心部分11.1.2-109可设置在远离中间部分11.1.2-109延伸的第一悬臂式延伸臂和第二悬臂式延伸臂之间。在至少一个示例中，安装托架108包括第一悬臂11.1.2-112和第二悬臂11.1.2-114，这些悬臂远离耦接到内部框架11.1.2-104的安装托架11.1.2-108的中间部分11.1.2-109延伸。
如图1N所示，外部框架11.1.2-102可在其下侧限定弯曲几何形状，以便当用户穿戴HMD 11.1.2-100时适应用户的鼻子。弯曲几何形状可被称为鼻梁11.1.2-111并且如图所示居中地位于HMD 11.1.2-100的下侧上。在至少一个示例中，安装托架11.1.2-108可在孔11.1.2-106a-b之间连接到内部框架11.1.2-104，使得悬臂11.1.2-112、11.1.2-114远离中间部分11.1.2-109向下并且横向向外延伸以与外部框架11.1.2-102的鼻架11.1.2-111几何形状互补。以这种方式，安装托架11.1.2-108被配置为适应用户的鼻子，如上所述。鼻梁11.1.2-111的几何形状适应鼻子，因为鼻梁11.1.2-111提供了符合用户鼻子的形状的曲率，从上方、上面和周围提供舒适的贴合度。
第一悬臂11.1.2-112可在第一方向上延伸远离安装托架11.1.2-108的中间部分11.1.2-109，并且第二悬臂11.1.2-114可在与第一方向相反的第二方向上延伸远离安装托架11.1.2-10的中间部分11.1.2-109。第一悬臂11.1.2-112和第二悬臂11.1.2-114被称为“悬臂式”或“悬臂”臂，因为每个臂11.1.2-112、11.1.2-114分别包括自由远端11.1.2-116、11.1.2-118，这些自由远端不与内部框架11.1.2-102和外部框架11.1.2-104附连。以这种方式，臂11.1.2-112、11.1.2-114从中间部分11.1.2-109悬伸，该中间部分可连接到内部框架11.1.2-104，而远端11.1.2-102、11.1.2-104未附接。
在至少一个示例中，HMD 11.1.2-100可包括耦接到安装托架11.1.2-108的一个或多个部件。在一个示例中，部件包括多个传感器11.1.2-110a-f。多个传感器11.1.2-110a-f中的每个传感器可包括各种类型的传感器，包括相机、IR传感器等。在一些示例中，传感器11.1.2-110a-f中的一个或多个传感器可用于三维空间中的对象识别，使得维持多个传感器11.1.2-110a-f中的两个或更多个传感器的精确相对位置是重要的。安装托架11.1.2-108的悬臂性质可保护传感器11.1.2-110a-f在因用户意外掉落的情况下免受损坏和改变位置。因为传感器11.1.2-110a-f悬挑在安装托架11.1.2-108的臂11.1.2-112、11.1.2-114上，因此内部框架和/或外部框架11.1.2-104、11.1.2-102的应力和变形不被传递到悬臂11.1.2-112、11.1.2-114，并且因此不会影响耦接/安装到安装托架11.1.2-108的传感器11.1.2-110a-f的相对位置。
图1N所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在本文所述的设备、特征部、部件的其他示例中的任何示例中。同样，本文所示和所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1N所示的设备、特征部、部件和零件的示例中。
图1O例示了用于电子设备(诸如HMD，包括本文所述的HDM设备)中的光学模块11.3.2-100的示例。如本文所述的一个或多个其他示例所示，光学模块11.3.2-100可以是HMD内的两个光学模块中的一者，其中每个光学模块被对准以朝向用户的眼睛投射光。以这种方式，第一光学模块可经由显示屏向用户的第一只眼睛投射光，并且同一设备的第二光学模块可经由另一显示屏向用户的第二只眼睛投射光。
在至少一个示例中，光学模块11.3.2-100可包括光学框架或外壳11.3.2-102，其也可被称为筒或光学模块筒。光学模块11.3.2-100还可包括耦接到外壳11.3.2-102的显示器11.3.2-104，该显示器包括一个或多个显示屏。显示器11.3.2-104可耦接到外壳11.3.2-102，使得显示器11.3.2-104被配置为在使用期间穿戴显示模块11.3.2-100所属的HMD时朝向用户的眼睛投射光。在至少一个示例中，外壳11.3.2-102可围绕显示器11.3.2-104并且提供用于耦接本文所述的光学模块的其他部件的连接特征部。
在一个示例中，光学模块11.3.2-100可包括耦接到外壳11.3.2-102的一个或多个相机11.3.2-106。相机11.3.2-106可相对于显示器11.3.2-104和外壳11.3.2-102定位，使得相机11.3.2-106被配置为在使用期间捕获用户的眼睛的一个或多个图像。在至少一个示例中，光学模块11.3.2-100还可包括围绕显示器11.3.2-104的灯条带11.3.2-108。在一个示例中，灯条带11.3.2-108设置在显示器11.3.2-104与相机11.3.2-106之间。灯条带11.3.2-108可包括多个灯11.3.2-110。该多个灯可包括一个或多个发光二极管(LED)或被配置为在穿戴HMD时朝向用户的眼睛投射光的其他灯。灯条带11.3.2-108中的各个灯11.3.2-110可围绕灯条带11.3.2-108间隔开，并且因此在灯条带11.3.2-108上和显示器11.3.2-104周围的各个位置处围绕显示器11.3.2-104均匀地或不均匀地间隔开。
在至少一个示例中，外壳11.3.2-102限定了查看开口11.3.2-101，当穿戴HMD设备时，用户可通过该查看开口查看显示器11.3.2-104。在至少一个示例中，这些LED被配置和布置成通过查看开口11.3.2-101将光发射到用户的眼睛上。在一个示例中，相机11.3.2-106被配置为通过查看开口11.3.2-101捕获用户的眼睛的一个或多个图像。
如上所述，图1O所示的光学模块11.3.2-100的部件和特征部中的每一者都可在与HMD一起设置的另一(例如，第二)光学模块中复制，从而与用户的另一只眼睛交互(例如，投射光和捕获图像)。
图1O所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1P所示或本文以其他方式所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，参考图1P或本文以其他方式所示或所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1O所示的设备、特征部、部件和零件的示例中。
图1P例示了光学模块11.3.2-200的示例的剖视图，包括外壳11.3.2-202、耦接到外壳11.3.2-202的显示组件11.3.2-204以及耦接到外壳11.3.2-202的透镜11.3.2-216。在至少一个示例中，外壳11.3.2-202限定了第一孔或通道11.3.2-212和第二孔或通道11.3.2-214。通道11.3.2-212、11.3.2-214可被配置为可滑动地接合HMD设备的相应轨道或导杆，以允许光学模块11.3.2-200相对于用户的眼睛调整位置，以匹配用户的瞳孔间距(IPD)。外壳11.3.2-202能够可滑动地接合导杆以将光学模块11.3.2-200固定在HMD内的适当位置。
在至少一个示例中，光学模块11.3.2-200还可包括耦接到外壳11.3.2-202并且当穿戴HMD时设置在显示组件11.3.2-204与用户的眼睛之间的透镜11.3.2-216。透镜11.3.2-216可被配置为将光从显示组件11.3.2-204引导到用户的眼睛。在至少一个示例中，透镜11.3.2-216可以是透镜组件的一部分，包括可移除地附接到光学模块11.3.2-200的矫正透镜。在至少一个示例中，透镜11.3.2-216设置在灯条带11.3.2-208和一个或多个眼睛跟踪相机11.3.2-206上方，使得相机11.3.2-206被配置为通过透镜11.3.2-216捕获用户的眼睛的图像，并且灯条带11.3.2-208包括被配置为在使用期间通过透镜11.3.2-216将光投射到用户的眼睛的灯。
图1P所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在本文所述的设备、特征部、部件和零件的其他示例中的任何示例中。同样，本文所示和所述的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在图1P所示的设备、特征部、部件和零件的示例中。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触摸板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和XR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，XR体验模块240被配置为管理和协调一个或多个用户的单重或多重XR体验(例如，一个或多个用户的单重XR体验，或一个或多个用户的相应群组的多重XR体验)。为此，在各种实施方案中，XR体验模块240包括数据获取单元241、跟踪单元242、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元241被配置为至少从图1A的显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种实施方案中，数据获取单元241包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元242被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1A的场景105的定位/位置，以及任选地相对于跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的定位/位置。为此，在各种实施方案中，跟踪单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元242包括手部跟踪单元244和/或眼睛跟踪单元243。在一些实施方案中，手部跟踪单元244被配置为跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1A的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元244。在一些实施方案中，眼睛跟踪单元243被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手))或相对于经由显示生成部件120显示的XR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元243。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的XR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元241、跟踪单元242(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元241、跟踪单元242(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于该目的，作为非限制性示例，在一些实施方案中，显示生成部件120(例如，HMD)包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个XR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备和传感器306包括以下中的至少一者：惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎、一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个XR显示器312被配置为向用户提供XR体验。在一些实施方案中，一个或多个XR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似的显示器类型。在一些实施方案中，一个或多个XR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，显示生成部件120(例如，HMD)包括单个XR显示器。在另一个示例中，显示生成部件120包括针对用户的每只眼睛的XR显示器。在一些实施方案中，一个或多个XR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个XR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在显示生成部件120(例如，HMD)的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选的图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机和/或一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和XR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，XR呈现模块340被配置为经由一个或多个XR显示器312向用户呈现XR内容。为此，在各种实施方案中，XR呈现模块340包括数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1A的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR呈现单元344被配置为经由一个或多个XR显示器312呈现XR内容。出于所述目的，在各种实施方案中，XR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR映射生成单元346被配置为基于媒体内容数据生成XR图(例如，混合现实场景的3D图或可以在其中放置计算机生成对象以生成扩展现实的物理环境的图)。出于所述目的，在各种实施方案中，XR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1A的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1A)由手部跟踪单元244控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置，和/或用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，和/或相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手图像，以使手指及其相应定位能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手的图像。在一些实施方案中，图像传感器404还捕获手406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D图数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从该图数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用，该应用相应地驱动显示生成部件120。例如，用户可以通过移动他的手406并改变他的手位姿来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。替代地，图像传感器404(例如，手部跟踪设备)可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手(例如，整个手或一根或多根手指)时捕获并处理包含用户的手的深度图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D图数据以提取这些深度图中手的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手的位姿。位姿通常包括用户的手关节和手指尖端的3D位置。
软件还可以分析手和/或手指在序列中的多个帧上的轨迹以标识手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，手势包括空中手势。空中手势是在用户不触碰作为设备(例如，计算机系统101、一个或多个输入设备125和/或手部跟踪设备140)的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于检测到的用户身体的一部分(例如，头部、一个或多个手臂、一只或多只手、一根或多根手指和/或一条或多条腿)穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手以预先确定位姿将移动预先确定的量和/或速度的轻击手势、或包括用户身体的一部分的预先确定的速度或旋转量的摇动手势))的手势。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势包括通过用户的手指相对于其他手指(或用户的手部的部分)的移动执行的用于与XR环境(例如，虚拟或混合现实环境)交互的空中手势。在一些实施方案中，空中手势是在用户不触碰作为设备的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手部以预先确定位姿将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在输入手势是空中手势的一些实施方案中(例如，在不存在与输入设备的物理接触的情况下，该输入设备向计算机系统提供关于哪个用户界面元素是用户输入的目标的信息，诸如与显示在触摸屏上的用户界面元素的接触、或与鼠标或触控板的接触以将光标移动到用户界面元素)，手势考虑用户的注意力(例如，注视)以确定用户输入的目标(例如，对于直接输入，如下所述)。因此，在涉及空中手势的具体实施中，例如，输入手势与用户的手指和/或手的移动组合(例如，同时)检测到朝向用户界面元素的注意力(例如，注视)以执行捏合和/或轻击输入，如下所述。
在一些实施方案中，直接或间接地参考用户界面对象来执行指向用户界面对象的输入手势。例如，根据用用户的手部在与三维环境中的用户界面对象的定位相对应的定位(例如，如基于用户的当前视点所确定的)处执行输入，直接在用户界面对象上执行用户输入。在一些实施方案中，在检测到用户对用户界面对象的注意力(例如，注视)时，根据在用户执行输入手势的同时用户的手的定位不在与用户界面对象在三维环境中的定位相对应的该定位处，在用户界面对象上间接执行输入手势。例如，对于直接输入手势，用户能够通过在与用户界面对象的显示定位相对应的定位处或附近(例如，从选项的外边缘或选项的中心部分测量的0.5cm、1cm、5cm内或0至5cm之间的距离内)发起手势来将用户的输入引导至用户界面对象。对于间接输入手势，用户能够通过关注用户界面对象(例如，通过注视用户界面对象)来将用户的输入引导至用户界面对象，并且在关注选项的同时，用户发起输入手势(例如，在计算机系统可检测到的任何定位处)(例如，在不对应于用户界面对象的显示定位的定位处)。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势(例如，空中手势)包括捏合输入和轻击输入，以用于与虚拟或混合现实环境交互。例如，下文所述的捏合输入和轻击输入被执行为空中手势。
在一些实施方案中，捏合输入是空中手势的一部分，该空中手势包括以下各项中的一项或多项：捏合手势、长捏合手势、捏合并拖动手势或双捏合手势。例如，作为空中手势的捏合手势包括手的两个或更多个手指的移动以彼此接触，即，任选地，随后是彼此立即(例如，在0秒至1秒内)中断接触。作为空中手势的长捏合手势包括在检测到彼此接触的中断之前手的两个或更多个手指彼此接触至少阈值时间量(例如，至少1秒)的移动。例如，长捏合手势包括用户保持捏合手势(例如，其中两个或更多个手指进行接触)，并且长捏合手势继续直到检测到两个或更多个手指之间的接触中断为止。在一些实施方案中，作为空中手势的双捏合手势包括彼此立即(例如，在预定义时间段内)连续检测到的两个(例如，或更多个)捏合输入(例如，由同一只手执行)。例如，用户执行第一捏合输入(例如，捏合输入或长捏合输入)，释放第一捏合输入(例如，中断两个或更多个手指之间的接触)，并且在释放第一捏合输入之后的预定义时间段内(例如，在1秒内或在2秒内)执行第二捏合输入。
在一些实施方案中，作为空中手势的捏合并拖动手势包括与将用户的手的定位从第一定位(例如，拖动的开始定位)改变到第二定位(例如，拖动的结束定位)的拖动输入结合(例如，跟随)执行的捏合手势(例如，捏合手势或长捏合手势)。在一些实施方案中，用户在执行拖动输入的同时保持捏合手势，并且释放捏合手势(例如，打开他们的两个或更多个手指)以结束拖动手势(例如，在第二定位处)。在一些实施方案中，捏合输入和拖动输入由同一只手执行(例如，用户捏合两个或更多个手指以彼此接触并且利用拖动手势将同一只手移动到空中的第二定位)。在一些实施方案中，由用户的第一只手执行捏合输入，并且由用户的第二只手执行拖动输入(例如，在用户用用户的第一只手继续捏合输入时，用户的第二只手在空中从第一定位移动到第二定位)。在一些实施方案中，作为空中手势的输入手势包括使用用户的两只手执行的输入(例如，捏合和/或轻击输入)。例如，输入手势包括彼此结合(例如，并发地或在预定义时间段内)执行的两个(例如，或更多个)捏合输入。例如，使用用户的第一只手执行第一捏合手势(例如，捏合输入、长捏合输入或捏合并拖动输入)，并且结合使用第一只手执行捏合输入，使用另一只手(例如，用户两只手中的第二只手)执行第二捏合输入。在一些实施方案中，用户两只手部之间的移动(例如，增加和/或减小用户两只手部之间的距离或相对取向)。
在一些实施方案中，作为空中手势执行的轻击输入(例如，指向用户界面元素)包括用户的手指朝向用户界面元素的移动、用户的手朝向用户界面元素的移动(任选地，用户的手指朝向用户界面元素延伸)、用户的手指的向下运动(例如，模仿鼠标点击运动或触摸屏上的轻击)、或用户的手的其他预定义移动。在一些实施方案中，基于执行手指或手的轻击手势移动的手指或手的移动特性来检测作为空中手势执行的轻击输入，该轻击手势移动是手指或手远离用户的视点和/或朝向作为轻击输入的目标的对象，随后是移动的结束。在一些实施方案中，基于执行轻击手势的手指或手的移动特性的变化来检测移动的结束(例如，远离用户的视点和/或朝向作为轻击输入的目标的对象的移动的结束、手指或手的移动方向的反转和/或手指或手的移动的加速方向的反转)。
在一些实施方案中，基于对指向三维环境的一部分的注视的检测来确定用户的注意力指向三维环境的该部分(任选地，不需要其他条件)。在一些实施方案中，基于利用一个或多个附加条件检测到指向三维环境的一部分的注视来确定用户的注意力指向三维环境的该部分，附加条件诸如要求注视指向三维环境的该部分达至少阈值持续时间(例如，停留持续时间)和/或要求注视在用户的视点在距三维环境的该部分的距离阈值内时指向三维环境的该部分，以便设备确定用户的注意力指向三维环境的该部分，其中如果这些附加条件中的一者未满足，则设备确定注意力未指向注视指向的三维环境的该部分(例如，直到满足该一个或多个附加条件)。
在一些实施方案中，用户或用户的一部分的就绪状态配置的检测由计算机系统检测。手的就绪状态配置的检测由计算机系统用作用户可能正准备使用由手执行的一个或多个空中手势输入(例如，捏合、轻击、捏合并拖动、双捏合、长捏合或本文所述的其他空中手势)与计算机系统交互的指示。例如，基于手是否具有预先确定的手形状(例如，拇指和一个或多个手指延伸并间隔开以准备做出捏合或抓取手势的预捏合形状，或者一个或多个手指延伸并且手掌背对用户的预轻击)、基于手是否处于相对于用户的视点的预先确定的定位中(例如，在用户的头部下方并且在用户的腰部上方并从身体延伸出至少15cm、20cm、25cm、30cm或50cm)和/或基于手是否已以特定方式移动(例如，朝向用户的腰部上方并且在用户的头部下方的用户前方的区域移动或远离用户的身体或腿部移动)来确定手的就绪状态。在一些实施方案中，就绪状态被用来确定用户界面的交互式元素是否对注意力(例如，注视)输入作出响应。
在参考空中手势描述输入的场景中，应当理解，可使用附接到用户的一只或多只手或由用户的一只或多只手握持的硬件输入设备来检测类似手势，其中可使用光学跟踪、一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计和/或一个或多个惯性测量单元来跟踪硬件输入设备在空间中的定位，并且使用硬件输入设备的定位和/或移动来代替处于对应空中手势的一只或多只手的定位和/或移动。在参考空中手势描述输入的场景中，应当理解，可使用附接到用户的一只或多只手或由用户的一只或多只手握持的硬件输入设备来检测类似手势，可利用硬件输入设备中所含有的控件来检测用户输入，这些控件诸如一个或多个触敏输入元件、一个或多个压敏输入元件、一个或多个按钮、一个或多个旋钮、一个或多个拨号盘、一个或多个操纵杆、可检测手和/或手指的部分相对于彼此、相对于用户的身体和/或相对于用户的物理环境的定位或定位的变化的一只或多只手或手指覆盖物，和/或其他硬件输入设备控件，其中使用利用硬件输入设备中所含有的控件进行的用户输入来代替手和/或手指手势诸如处于对应空中手势的空中轻击或空中捏合。例如，被描述为利用空中轻击或空中捏合输入执行的选择输入可以另选地利用按钮按压、触敏表面上的轻击、压敏表面上的按压或其他硬件输入来检测。又如，被描述为利用空中捏合和拖动执行的移动输入可基于与硬件输入控件的交互(诸如按钮按压并保持、触敏表面上的触摸、压敏表面上的按压，或硬件输入设备(例如，连同与硬件输入设备相关联的手)穿过空间的移动之后的其他硬件输入)来另选地检测。类似地，包括手相对于彼此的移动的双手输入可利用一个空中手势和手中未在执行空中手势的一个硬件输入设备、在不同的手中握持的两个硬件输入设备、或者由不同的手使用空中手势和/或由上述一个或多个硬件输入设备检测到的输入的各种组合执行的两个空中手势来执行。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器404分开的单元，控制器的处理功能中的一些处理功能或全部处理功能可以由合适的微处理器和软件或由图像传感器404(例如，手部跟踪设备)的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手406对应的像素412已经从该图中的背景和手腕分割出来。深度图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便标识和分割图像的具有人类手特性的组成部分(即，一组相邻像素)。这些特性可包括例如总体大小、形状和从深度图序列中的帧到帧的运动。
图4还示意性地例示了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，手骨骼414叠加在已经从原始深度图分割出来的手背景416上。在一些实施方案中，手的以及任选地在连接到手的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手的连接到手腕的端部等对应的点)被标识并位于手骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5例示了眼睛跟踪设备130(图1A)的示例实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元243(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的XR内容的定位和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成XR内容以供用户查看的部件以及用于跟踪用户相对于XR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或XR室时，眼睛跟踪设备130任选地是与手持式设备或XR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，眼睛跟踪设备130(例如，注视跟踪设备)包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。眼睛跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。又如，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。又如，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用中的另一个示例使用案例，控制器110可引导用于捕获XR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该头戴式设备包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)、以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6例示了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中，注视跟踪流水线通过闪光辅助的注视跟踪系统(例如，如图1A和图5所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60帧至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到流水线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由流水线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素610前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则在元素660处，跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为是(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供XR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例实施方案的描述中详尽地列出实施方案的所有特征。
用户界面和相关联的过程
现在将注意力集中在用户界面(“UI”)和相关联过程的实施方案上，这些实施方案可在与显示生成部件、一个或多个输入设备以及(任选地)一个或多个物理控件通信的计算机系统上实现，该计算机系统诸如便携式多功能设备或头戴式设备。
图7A至图7K例示了用于导航扩展现实体验的技术的示例。图8是用于导航扩展现实体验的示例性方法800的流程图。图9是用于导航扩展现实体验的示例性方法900的流程图。图7A至图7K中的用户界面用于例示下文所述的过程，包括图8和图9中的过程。
图7A描绘了电子设备700，该电子设备是包括触敏显示器702、按钮704a-704c和一个或多个输入传感器706(例如，一个或多个相机、眼睛注视跟踪器、手部移动跟踪器和/或头部移动跟踪器)的智能电话。在下文描述的一些实施方案中，电子设备700是智能电话。在一些实施方案中，电子设备700是平板电脑、可穿戴设备、可穿戴智能手表设备、头戴式系统(例如，头戴式耳机)或包括一个或多个显示设备(例如，显示屏、投影设备等)以及/或者与该一个或多个显示设备通信的其他计算机系统。电子设备700是计算机系统(例如，图1A中的计算机系统101)。
在图7A处，电子设备700处于低功率、非活动或休眠状态，其中内容不经由显示器702显示。在图7A处，电子设备700检测用户输入708。在所描绘的实施方案中，用户输入708是经由按钮704c的按钮按压输入。然而，在一些实施方案中，用户输入708是不同类型的输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，电子设备700是头戴式系统，并且用户输入708包括例如用户将电子设备700放在他或她的头上、在穿戴电子设备700的同时执行手势、在穿戴电子设备700的同时按压按钮、在穿戴电子设备700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。
在图7B处，响应于用户输入708，电子设备700从低功率、非活动或休眠状态过渡到活动状态，其中电子设备700经由显示器702显示三维环境712和扩展现实体验714(例如，增强现实体验和/或虚拟现实体验)。在所描绘的场景中，三维环境712包括椅子、桌子和放置在桌子上的地点设置(例如，餐巾、叉子、小刀和杯子)。在一些实施方案中，三维环境712由显示器显示(如图7B所描绘的)。在一些实施方案中，三维环境712包括虚拟环境或由一个或多个相机(例如，作为输入传感器706的一部分的一个或多个相机和/或图7B中未示出的一个或多个相机)捕获的物理环境的图像(或视频)。在一些实施方案中，三维环境712是在扩展现实体验714后面对用户可见的，但不是由显示器显示的。例如，在一些实施方案中，三维环境712是在扩展现实体验712后面(例如，透过透明显示器)对用户可见而不是由显示器显示的物理环境。
在图7B中，扩展现实体验714是相机扩展现实体验，如标识符716a所指示的，其包括相机的徽标和扩展现实体验的名称。相机扩展现实体验714包括能够由用户选择以经由一个或多个相机(例如，作为输入传感器706的一部分的一个或多个相机和/或图7B中未示出的一个或多个相机)捕获照片和/或视频内容的一个或多个可选对象716b-e。对象716b是可选择以捕获照片和/或视频的快门按钮。对象716c可被选择以启用慢动作捕获模式。选项716d可被选择以启用照片捕获模式。选项716e可被选择以启用视频捕获模式。在图7B中，电子设备700检测到用户正看向显示器702的右侧，如注视指示710所指示的。注视指示710被提供用于更好地理解所描述的技术，并且任选地不是所描述的设备的用户界面的一部分(例如，不是由电子设备700显示的)。在图7B处，电子设备700检测用户输入718。在所描绘的实施方案中，用户输入718是经由按钮704c的按钮按压输入。然而，在一些实施方案中，用户输入718是不同类型的输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，电子设备700是头戴式系统，并且用户输入718包括例如用户在穿戴电子设备700的同时执行手势(例如，空中手势)、在穿戴电子设备700的同时按压按钮、在穿戴电子设备700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。
在图7C中，响应于用户输入718，电子设备700显示其中扩展现实体验714看起来远离用户移动的动画。在图7C中，电子设备700显示表示720，其表示相机扩展现实体验714。表示720包括对象722a-722e，这些对象表示叠置在背景部分722f上并且由边界719围绕的对象716a-716e(例如，这些对象是对象716a-716e的较小非交互式版本)。表示720看起来通过例如随时间逐渐变小而远离用户移动。在一些实施方案中，响应于用户输入718和/或在显示动画时，三维环境712在视觉上是模糊的(如图7C中的虚线所指示的)(例如，以降低的聚焦、降低的锐度、降低的色彩饱和度、和/或更大的不透明度来显示)，以便吸引用户的注意力并且注视表示720。如上文所论述，在一些实施方案中，三维环境712是用户透过透明显示器看到并且不是由显示器显示的“透传”环境。在一些此类实施方案中，通过将掩蔽或其他技术应用于显示器(例如，显示器702)的区域(用户可透过该区域查看三维环境712)，使三维环境712在视觉上被去强调。
在图7D1处，看起来远离用户移动的表示720(和/或扩展现实体验714)的动画完成，并且表示720现在显示在表示721、724、726的堆叠的顶部处。表示721、724和/或726表示可由用户选择并且/或者由电子设备700显示的其他扩展现实体验。例如，如上文所论述，表示720表示相机扩展现实体验(例如，相机扩展现实体验714)。在一些实施方案中，表示724表示音乐扩展现实体验(例如，其包括用于播放音乐的一个或多个可选选项)，表示726表示翻译扩展现实体验(例如，其包括用于翻译内容(例如，由一个或多个相机捕获的内容和/或用户的视场和/或电子设备700的视场内的内容)的一个或多个可选选项)，并且表示721包括例如阅读扩展现实体验的表示、照片图库扩展现实体验的表示、视频消息传送扩展现实体验的表示、导航扩展现实体验的表示和/或健身扩展现实体验的表示。如将在随后的附图中展示的，用户能够滚动通过表示720、721、724和/或726的堆叠以选择用户想要显示哪个扩展现实体验。在一些实施方案中，每个扩展现实体验对应于不同的颜色，并且对应于扩展现实体验的表示以对应于扩展现实体验的对应颜色显示。例如，在一些实施方案中，相机扩展现实体验714对应于第一颜色，并且表示720以第一颜色显示(例如，背景722f以第一颜色显示，边界720以第一颜色显示，并且/或者对象722a(例如，徽标和/或名称)以第一颜色显示)；并且音乐扩展现实体验对应于第二颜色，使得表示724以第二颜色显示(例如，表示724的背景部分、表示724的边界并且/或者表示724的标识符以第二颜色显示)。以这种方式，用户能够基于表示720、721、724和/或726的颜色来快速地识别扩展现实体验堆叠的次序。
在图7D1中，表示720显示在第一显示位置处(例如，在堆叠的顶部处)，指示选择输入(例如，对按钮704c的按压或其他选择输入)将导致对应于正被显示的表示720的扩展现实体验(例如，将导致正被显示的相机扩展现实体验714)。在图7D1处，电子设备700检测用户输入727。在图7D1中，用户输入727是按钮704a的按钮按压。在一些实施方案中，按钮704a的按钮按压指示在第一方向上导航和/或滚动(例如，向前旋转堆叠)的请求，并且按钮704b的按钮按压指示在第二方向上导航和/或滚动(例如，向后旋转堆叠)的请求。此外，在一些实施方案中，用户输入727是不同类型的输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，电子设备700是头戴式系统，并且用户输入727包括例如用户在穿戴电子设备700的同时执行手势(例如，空中手势)、在穿戴电子设备700的同时按压按钮、在穿戴电子设备700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。例如，在一些实施方案中，可旋转输入机构在第一方向上的旋转(例如，在顺时针方向上的旋转)(在一些实施方案中，可旋转输入机构在看向堆叠时的旋转)指示在第二方向上导航和/或滚动的请求(例如，在逆时针方向上的旋转)，并且可旋转输入机构在第三方向上的旋转(在一些实施方案中，可旋转输入机构在看向堆叠时的旋转)指示在第四方向上导航和/或滚动的请求(例如，向后旋转堆叠)。
在一些实施方案中，图7A至图7K中描述的技术和用户界面由图1A至图1P中描述的设备中的一个或多个设备来提供。例如，图7D2至图7D4例示了其中在图7B至图7D1中描述的过渡动画显示在头戴式设备(HMD)X700的显示模块X702上的实施方案。在一些实施方案中，设备X700包括向同一用户的不同眼睛提供立体内容的一对显示模块。例如，HMD X700包括显示模块X702(其向用户的左眼提供内容)和第二显示模块(其向用户的右眼提供内容)。在一些实施方案中，第二显示模块显示与显示模块X702略微不同的图像以生成立体深度的错觉。
在图7D2中，扩展现实体验714是相机扩展现实体验，如标识符716a所指示的，其包括相机的徽标和扩展现实体验的名称。相机扩展现实体验714包括能够由用户选择以经由一个或多个相机(例如，作为输入传感器X706的一部分的一个或多个相机和/或图7D2中未示出的一个或多个相机)捕获照片和/或视频内容的一个或多个可选对象716b-e。对象716b是可选择以捕获照片和/或视频的快门按钮。对象716c可被选择以启用慢动作捕获模式。选项716d可被选择以启用照片捕获模式。选项716e可被选择以启用视频捕获模式。在图7D2中，HMD X700检测到用户正看向显示模块X702的右侧，如注视指示710所指示的。注视指示710被提供用于更好地理解所描述的技术，并且任选地不是所描述的设备的用户界面的一部分(例如，不是由HMD X700显示的)。在图7D2处，HMD X700检测用户输入718。在所描绘的实施方案中，用户输入718是经由按钮X704c的按钮按压输入。然而，在一些实施方案中，用户输入718是不同类型的输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，用户输入718包括例如用户在穿戴HMD X700的同时执行手势(例如，空中手势)、在穿戴HMD X700的同时按压按钮、在穿戴HMD X700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。
在图7D3中，响应于用户输入718，HMD X700显示其中扩展现实体验714看起来远离用户移动的动画。在图7D3中，HMD X700显示表示720，其表示相机扩展现实体验714。表示720包括对象722a-722e，这些对象表示叠置在背景部分722f上并且由边界719围绕的对象716a-716e(例如，这些对象是对象716a-716e的较小非交互式版本)。表示720看起来通过例如随时间逐渐变小而远离用户移动。在一些实施方案中，响应于用户输入718和/或在显示动画时，三维环境712在视觉上是模糊的(如图7D3中的虚线所指示的)(例如，以降低的聚焦、降低的锐度、降低的色彩饱和度、和/或更大的不透明度来显示)，以便吸引用户的注意力并且注视表示720。如上文所论述，在一些实施方案中，三维环境712是用户透过透明显示器看到并且不是由显示器显示的“透传”环境。在一些此类实施方案中，通过将掩蔽或其他技术应用于显示器(例如，显示模块X702)的区域(用户可透过该区域查看三维环境712)，使三维环境712在视觉上被去强调。
在图7D4处，看起来远离用户移动的表示720(和/或扩展现实体验714)的动画完成，并且表示720现在显示在表示721、724、726的堆叠的顶部处。表示721、724和/或726表示可由用户选择并且/或者由电子设备700显示的其他扩展现实体验。例如，如上文所论述，表示720表示相机扩展现实体验(例如，相机扩展现实体验714)。在一些实施方案中，表示724表示音乐扩展现实体验(例如，其包括用于播放音乐的一个或多个可选选项)，表示726表示翻译扩展现实体验(例如，其包括用于翻译内容(例如，由一个或多个相机捕获的内容和/或用户的视场和/或电子设备700的视场内的内容)的一个或多个可选选项)，并且表示721包括例如阅读扩展现实体验的表示、照片图库扩展现实体验的表示、视频消息传送扩展现实体验的表示、导航扩展现实体验的表示和/或健身扩展现实体验的表示。如将在随后的附图中展示的，用户能够滚动通过表示720、721、724和/或726的堆叠以选择用户想要显示哪个扩展现实体验。在一些实施方案中，每个扩展现实体验对应于不同的颜色，并且对应于扩展现实体验的表示以对应于扩展现实体验的对应颜色显示。例如，在一些实施方案中，相机扩展现实体验714对应于第一颜色，并且表示720以第一颜色显示(例如，背景722f以第一颜色显示，边界720以第一颜色显示，并且/或者对象722a(例如，徽标和/或名称)以第一颜色显示)；并且音乐扩展现实体验对应于第二颜色，使得表示724以第二颜色显示(例如，表示724的背景部分、表示724的边界并且/或者表示724的标识符以第二颜色显示)。以这种方式，用户能够基于表示720、721、724和/或726的颜色来快速地识别扩展现实体验堆叠的次序。
在图7D4中，表示720显示在第一显示位置处(例如，在堆叠的顶部处)，指示选择输入(例如，对按钮704c的按压或其他选择输入)将导致对应于正被显示的表示720的扩展现实体验(例如，将导致正被显示的相机扩展现实体验714)。在图7D4处，HMD X700检测用户输入727。在图7D4中，用户输入727是按钮X704a的按钮按压。在一些实施方案中，按钮X704a的按钮按压指示在第一方向上导航和/或滚动(例如，向前旋转堆叠)的请求，并且按钮X704b的按钮按压指示在第二方向上导航和/或滚动(例如，向后旋转堆叠)的请求。此外，在一些实施方案中，用户输入727是不同类型的输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，用户输入727包括例如用户在穿戴HMD X700的同时执行手势(例如，空中手势)、在穿戴HMD X700的同时按压按钮、在穿戴HMD X700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。例如，在一些实施方案中，可旋转输入机构在第一方向上的旋转(例如，在顺时针方向上的旋转)(在一些实施方案中，可旋转输入机构在看向堆叠时的旋转)指示在第二方向上导航和/或滚动的请求(例如，在逆时针方向上的旋转)，并且可旋转输入机构在第三方向上的旋转(在一些实施方案中，可旋转输入机构在看向堆叠时的旋转)指示在第四方向上导航和/或滚动的请求(例如，向后旋转堆叠)。
图1B至图1P所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在HMD X700中。例如，在一些实施方案中，HMD X700单独地或以任何组合方式包括HMD 1-100、1-200、3-100、6-100、6-200、6-300、6-400、11.1.1-100和/或11.1.2-100的特征部、部件和/或零件中的任一者。在一些实施方案中，显示模块X702单独地或以任何组合方式包括显示单元1-102、显示单元1-202、显示单元1-306、显示单元1-406、显示生成部件120、显示屏1-122a-b、第一后置显示屏1-322a和第二后置显示屏1-322b、显示器11.3.2-104、第一显示组件1-120a和第二显示组件1-120b、显示组件1-320、显示组件1-421、第一显示子组件1-420a和第二显示子组件1-420b、显示组件3-108、显示组件11.3.2-204、第一光学模块11.1.1-104a和第二光学模块11.1.1-104b、光学模块11.3.2-100、光学模块11.3.2-200、双凸透镜阵列3-110、显示区域或显示区6-232和/或显示器/显示区域6-334的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括传感器，该传感器单独地或以任何组合方式包括传感器190、传感器306、图像传感器314、图像传感器404、传感器组件1-356、传感器组件1-456、传感器系统6-102、传感器系统6-202、传感器6-203、传感器系统6-302、传感器6-303、传感器系统6-402和/或传感器11.1.2-110a-f中的任一者的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括一个或多个输入设备，该一个或多个输入设备单独地或以任何组合方式包括第一按钮1-128、按钮11.1.1-114、第二按钮1-132和/或拨盘或按钮1-328中的任一者的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括用于生成音频反馈(例如，音频输出X714-3)的一个或多个音频输出部件(例如，电子部件1-112)，该音频反馈任选地基于检测到的事件和/或由HMD X700检测到的用户输入来生成。
在图7E处，响应于用户输入727，电子设备700停止表示720在堆叠的顶部处的显示，并且现在在堆叠的顶部处显示表示724(其是图7D1中的堆叠中的第二个)。表示724表示音乐扩展现实体验，并且显示叠置在背景728e上并且由边界723围绕的对象728a-728d。对象728a-728d表示如果用户选择用于显示的音乐扩展现实体验则将在音乐扩展现实体验中显示的对象。因此，表示724向用户提供对音乐扩展现实体验将看起来像什么的预览。在图7E处，电子设备700检测用户输入729。在图7E中，用户输入729是按钮704a的按钮按压。如上文所论述，在一些实施方案中，用户输入729是不同类型的输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，电子设备700是头戴式系统，并且用户输入729包括例如用户在穿戴电子设备700的同时执行手势(例如，空中手势)、在穿戴电子设备700的同时按压按钮、在穿戴电子设备700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。
在图7F处，响应于用户输入729，电子设备700停止表示724在堆叠的顶部处的显示，并且现在在堆叠的顶部处显示表示726(其是图7E中的堆叠中的第二个)。在一些实施方案中，如果用户输入729已经是在相反方向上旋转堆叠的请求(例如，按钮704b的按钮按压)，则电子设备700将在堆叠的顶部处重新显示表示720(以及堆叠中的第二个表示724，如图7D1中所示)。在图7F中，表示726表示翻译扩展现实体验，并且包括叠置在背景730上并且由边界725围绕的对象730a-730d。在一些实施方案中，对象730a是标识翻译扩展现实体验(例如，经由徽标和/或名称)的标识符，并且对象730b-730d表示将在翻译扩展现实体验中显示的可选对象。在一些实施方案中，对象730b-730d表示可选对象(如将在下面参考图7J所描述的)，但是它们本身不是单独可选择的以执行任何功能。在图7F处，电子设备700检测用户输入732。在图7F中，用户输入732是具有向下方向的触摸屏轻扫手势。然而，在一些实施方案中，用户输入732是不同类型的用户输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，电子设备700是头戴式系统，并且用户输入732包括例如用户在穿戴电子设备700的同时执行手势(例如，空中手势)、在穿戴电子设备700的同时按压按钮、在穿戴电子设备700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。
在图7G处，响应于用户输入732，电子设备700显示包括可选对象736a-736h的系统控制用户界面734。对象736a可被选择以选择性地接合或脱离“请勿打扰”状态或休眠专注状态，在该状态下由电子设备700接收到的通知被抑制。对象736b可被选择以选择性地开启或关闭WiFi。对象736c可被选择以选择性地接合或脱离飞行模式。对象736d可被选择以选择性地打开或关闭手电筒。对象736e可被选择以发起用于将音频和/或视频内容流式传输到外部设备的过程。对象736f可被选择以选择性地接合或脱离静音模式。对象736g可被选择以修改电子设备700的音量设置。对象736h可被选择以修改电子设备700的亮度。在一些实施方案中，电子设备700是头戴式系统，并且选项736h是可选择的以修改电子设备700的透传亮度设置和/或透传不透明度设置。在图7G处，电子设备700检测用户输入736。在图7G中，用户输入736是触敏显示器702上的轻击输入。然而，在一些实施方案中，用户输入736是不同类型的用户输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，电子设备700是头戴式系统，并且用户输入736包括例如用户在穿戴电子设备700的同时执行手势(例如，空中手势)、在穿戴电子设备700的同时按压按钮、在穿戴电子设备700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。
在图7H处，响应于用户输入736，电子设备700停止系统控制用户输入734的显示。在图7H处，电子设备700在表示的堆叠的顶部处显示表示726，并且当在表示的堆叠的顶部处显示表示736时，电子设备700检测用户输入740(例如，选择输入)。在图7H中，用户输入740是按钮704c的按钮按压输入。然而，在一些实施方案中，用户输入740是不同类型的用户输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，电子设备700是头戴式系统，并且用户输入740包括例如用户在穿戴电子设备700的同时执行手势(例如，空中手势)、在穿戴电子设备700的同时按压按钮、在穿戴电子设备700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。
在图7I处，响应于用户输入740，电子设备700停止表示721的显示(例如，停止表示的堆叠的显示)，并且显示其中表示726看起来朝向用户移动的动画。例如，在图7I中，表示726(包括对象730a-730b和边界725)变得更大。此外，在图7I中，背景730e从不透明变为透明，以示出表示736后面的三维环境712。
在图7J处，电子设备700完成变得更大的表示721的动画，并且现在用翻译扩展现实体验742的显示来替换表示721的显示。在一些实施方案中，在从表示721的显示过渡到翻译扩展现实体验742的显示时，电子设备700显示对象730a-730d与对应的对象744a-744d的交叉渐变。此外，在图7J中，三维环境712不再在视觉上被去强调(如从图7I中的虚线到图7J中的实线的过渡所指示的)。
翻译扩展现实体验742包括标识扩展现实体验(例如，使用徽标和/或名称)的对象744a以及可被选择以执行各种任务的对象744b-744d。例如，在一些实施方案中，对象744b可被选择以接合麦克风，使得用户能够提供用于过渡到不同语言的口语和/或口头输入；对象744c可被选择以翻译由一个或多个相机(例如，输入传感器706)捕获的视觉内容；并且对象744d可被选择以使得电子设备700大声地阅读翻译(例如，播放大声地阅读翻译的音频内容)。在图7J中，翻译扩展现实体验742还包括对象746，该对象指示电子设备700已检测到可被翻译的视觉内容。在图7J中，菜单已移动到电子设备700的视图中(例如，移动到一个或多个相机的视图中)，并且对象746指示菜单包括可被翻译成不同语言的文本。在图7J处，电子设备700检测用户输入748，同时还检测到用户正看向对象746(例如，如注视指示710所指示的)。在图7J中，用户输入748是经由触敏显示器702的轻击输入。然而，在一些实施方案中，用户输入748是不同类型的用户输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，电子设备700是头戴式系统，并且用户输入748包括例如用户在穿戴电子设备700的同时执行手势(例如，空中手势)、在穿戴电子设备700的同时按压按钮、在穿戴电子设备700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。
在图7K处，响应于用户输入748(例如，响应于当用户正在注视对象746时的用户输入748)，电子设备700显示翻译750a-750e。翻译750a-750e叠置显示在三维环境712上。在一些实施方案中，对象744a-744d是视点锁定的对象，使得即使当用户改变电子设备700的视点(例如，通过移动和/或转动电子设备700)时，对象744a-744d也不在显示器702周围移动；并且翻译750a-750e是环境锁定的(或世界锁定的)对象，使得当用户改变电子设备700的视点时，翻译750a-750e基于三维环境712中的事物如何移动而在显示器702周围移动(并且/或者从显示器702移开)。例如，翻译750a被“锁定”到单词“MENU”上并且与单词“MENU”一起在显示器702周围移动，并且翻译750b被“锁定”到单词“GARDEN SALAD”上并且与单词“GARDEN SALAD”一起在显示器702周围移动。
以下参考相对于图7A至图7K描述的方法800和方法900提供关于图7A至图7K的附加描述。
图8是根据一些实施方案的用于导航扩展现实体验的示例性方法800的流程图。在一些实施方案中，方法800在计算机系统(例如，图1A中的计算机系统101)(例如，700和/或X700)(例如，智能手机、智能手表、平板电脑、可穿戴设备和/或头戴式设备)处执行，该计算机系统与一个或多个显示生成部件(例如，702和/或X702)(例如，视觉输出设备、3D显示器、具有图像可投影在其上的透明或半透明的至少一部分的显示器(例如，透视显示器)、投影仪、平视显示器、和/或显示控制器)和一个或多个输入设备(例如，触敏表面(例如，触敏显示器)；鼠标；键盘；遥控器；视觉输入设备(例如，一个或多个相机(例如，红外相机、深度相机、可见光相机))；音频输入设备；和/或生物测定传感器(例如，指纹传感器、面部标识传感器和/或虹膜标识传感器))通信。在一些实施方案中，方法800通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器(诸如计算机系统101的一个或多个处理器202)(例如，图1A中的控件110)执行的指令来管理。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个显示生成部件(例如，702和/或X702)在三维环境(例如，712)(例如，虚拟三维环境、虚拟透传三维环境和/或光学透传三维环境)中同时显示(802)多个增强现实体验的表示(例如，720、721、724和/或726)(例如，增强现实用户界面和/或增强现实应用程序)(例如，显示叠置在三维环境上的多个增强现实体验的表示，并且/或者与三维环境同时显示多个增强现实体验的表示)，包括：第一增强现实体验的第一表示(804)(例如，720、721、724和/或726)；和与该第一增强现实体验不同的第二增强现实体验的第二表示(806)(例如，720、721、724和/或726)，其中该第二表示与该第一表示不同。当在三维环境(例如，712)中同时显示(808)多个增强现实体验的表示(例如，720、721、724和/或726)时，计算机系统经由一个或多个输入设备(例如，702、704a-704c和/或706)接收(810)第一用户输入(例如，727、729和/或740)(例如，一个或多个用户输入和/或第一组用户输入)(例如，一个或多个机械输入(例如，按钮按压和/或物理输入机构的旋转)、一个或多个触摸输入、一个或多个手势、一个或多个空中手势和/或一个或多个注视输入)。响应于接收到第一用户输入(812)，计算机系统停止多个增强现实体验中的一个或多个增强现实体验的表示(例如，720、721、724和/或726)的显示(814)；并且根据确定第一用户输入对应于对第一增强现实体验的第一表示的选择(816)，计算机系统经由一个或多个显示生成部件在三维环境中显示(818)第一增强现实体验(例如，714和/或742)(并且在一些实施方案中，不显示第二增强现实体验)(例如，显示应用于三维环境的第一增强现实体验，显示叠置在三维环境上的第一增强现实体验，并且/或者与三维环境同时显示第一增强现实体验)。
在一些实施方案中，响应于接收到第一用户输入(例如，727、729和/或740)，并且根据确定第一用户输入对应于对第二增强现实体验的第二表示(例如，720、721、724和/或726)的选择，计算机系统经由一个或多个显示生成部件在三维环境(例如，712)中(例如，应用于三维环境并且/或者与三维环境同时)显示第二增强现实体验(例如，714和/或742)(并且，在一些实施方案中，不显示第一增强现实体验)。在一些实施方案中，计算机系统(例如，700和/或X700)是头戴式系统。在一些实施方案中，三维环境(例如，712)是通过在其上显示多个增强现实体验的表示(例如，720、721、724和/或726)、第一增强现实体验(例如，714和/或742)和/或第二增强现实体验(例如，714和/或742)的透明显示生成部件(例如，透明光学透镜显示器)对用户可见的光学透传环境(例如，物理的真实环境)。在一些实施方案中，三维环境(例如，712)是由一个或多个显示生成部件(例如，702)显示的虚拟三维环境。在一些实施方案中，三维环境是由一个或多个显示生成部件(例如，702和/或X702)显示的虚拟透传环境(例如，作为用户的物理的真实世界环境的虚拟表示的虚拟透传环境(例如，如由与计算机系统通信的一个或多个相机所捕获的))。同时显示多个增强现实体验的表示允许用户以更少的用户输入来在不同的增强现实体验之间切换，从而减少执行操作所需的用户输入的数量。根据确定第一用户输入对应于对第一增强现实体验的第一表示的选择来显示第一增强现实体验向用户提供关于系统的状态的视觉反馈(例如，系统已经检测到对应于对第一增强现实体验的第一表示的选择的第一用户输入)，从而向用户提供改进的视觉反馈。
在一些实施方案中，多个增强现实体验的表示(例如，720、721、724和/或726)显示在一个或多个添加光显示器(例如，显示一个或多个元素的同时真实世界背景对所显示的元素后面的用户可见的透视显示器)上；并且三维环境(例如，712)是通过一个或多个添加光显示器(例如，在多个增强现实体验的所显示的表示后面并且/或者通过多个增强现实体验的所显示的表示)对用户可见的光学透传环境(例如，物理的真实环境)。同时显示多个增强现实体验的表示允许用户以更少的用户输入来在不同的增强现实体验之间切换，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，响应于接收到第一用户输入(例如，727、729和/或740)，并且根据确定第一用户输入对应于对第二增强现实体验的第二表示(例如，720、721、724和/或726)的选择，计算机系统经由一个或多个显示生成部件在三维环境(例如，712)中显示第二增强现实体验(例如，714和/或742)。在一些实施方案中，显示第一增强现实体验(例如，714和/或742)包括显示第一组交互式元素(例如，对象716a-716e对应于增强现实体验714，并且对象744a-744d对应于增强现实体验742)(例如，一个或多个交互式元素)(例如，一个或多个可选选项、可选按钮和/或示能表示)(在一些实施方案中，显示叠置在三维环境上的第一组交互式元素)；显示第二增强现实体验(例如，714和/或742)包括显示与第一组交互式元素不同的第二组交互式元素(例如，对象716a-716e对应于增强现实体验714，并且对象744a-744d对应于增强现实体验742)(例如，一个或多个交互式元素)(例如，一个或多个可选选项、可选按钮和/或示能表示)(例如，不显示第一组交互式元素)(在一些实施方案中，显示叠置在三维环境上的第二组交互式元素)；第一增强现实体验的第一表示(例如，720和/或726)包括第一组交互式元素的表示(例如，表示720包括表示对象716a-716e的对象722a-722e；并且表示726包括表示对象744a-744d的对象730a-730d)(在一些实施方案中，叠置在第一代表性背景(例如，表示三维环境(例如，表示透传环境、光学透传环境和/或虚拟透传环境)的视觉区域和/或所显示的区域)上的第一组交互式元素的表示)))；并且第二增强现实体验的第二表示(例如，720和/或726)包括第二组交互式元素的表示(例如，表示720包括表示对象716a-716e的对象722a-722e；并且表示726包括表示对象744a-744d的对象730a-730d)(在一些实施方案中，叠置在第二表示背景上的第二组交互式元素的表示)，该第二组交互式元素的表示与第一组交互式元素的表示不同。显示向用户提供增强现实体验的简化预览的增强现实体验的表示通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，显示第一增强现实体验(例如，714和/或742)包括显示叠置在透传环境(例如，712)(例如，光学透传环境和/或虚拟透传环境)上的第一组交互式元素(例如，716a-716e和/或744a-744d)；显示第二增强现实体验(例如，714和/或742)包括显示叠置在透传环境(例如，712)上的第二组交互式元素(例如，716a-7164和/或744a-744d)；第一增强现实体验的第一表示(例如，720和/或726)包括表示透传环境(例如，不是透传环境并且/或者是透传环境的表示的占位符内容)(例如，图像、虚拟三维环境、实色和/或视觉图案)的第一占位符背景内容(例如，722f、728e和/或730e)(在一些实施方案中，第一组交互式元素的表示叠置在第一占位符背景内容上)；并且第二增强现实体验的第二表示(例如，720和/或726)包括表示透传环境(例如，不是透传环境并且/或者是透传环境的表示的占位符内容)(例如，图像、虚拟三维环境、实色和/或视觉图案)的第二占位符背景内容(例如，722f、728e和/或730e)(在一些实施方案中，第二组交互式元素的表示叠置在第二占位符背景内容上)(例如与第一占位符背景内容不同或与第一占位符背景内容相同的第二占位背景内容)。显示向用户提供增强现实体验的简化预览的增强现实体验的表示通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，第一组交互式元素(例如，722a-722e、728a-728d和/或730a-730d)的表示是非交互式的(例如，不能由用户单独地选择并且/或者以其他方式单独地交互)(在一些实施方案中，第一组交互式元素(例如，716a-716e和/或744a-744d)的一个或多个交互式元素可被选择以执行相应的对应动作(例如，第一组交互式元素的第一交互式元素可被选择以执行第一动作，并且第一组交互式元素的第二交互式元素可被选择以执行第二动作)，并且第一组交互式元素(例如，722a-722e、728a-728d和/或730a-730d)的表示不可被选择(例如，不可被单独地选择)以执行相应的对应动作(例如，第一组交互式元素的表示不可被选择以执行第一动作，并且第二交互式元素的表示不可被选择以执行第二动作，并且/或者第一和第二交互式元素的表示不可被单独地选择)；并且/或者计算机系统被配置为在对第一组交互式元素(例如，716a-716e和/或744a-744d)的第一交互式元素(例如，716a-716e和/或744a-744d)和第二交互式元素(例如，716a-716e和/或744a-744d)的选择之间进行区分，但是不被配置为在对第一交互式元素(例如，722a-722e、728a-728d和/或730a-730d)的表示和第二交互式元素(例如，722a-722e、728a-728d和/或730a-730d)的表示的选择之间进行区分)；并且第二组交互式元素(例如，722a-722e、728a-728d和/或730a-730d)的表示是非交互式的。显示向用户提供增强现实体验的简化预览的增强现实体验的表示通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，第一增强现实体验的第一表示(例如，720、721、724和/或726)的至少一部分以对应于第一增强现实体验(例如，714和/或742)(例如，唯一地对应于第一增强现实体验并且/或者对应于第一增强现实体验而不对应于第二增强现实体验)的第一颜色显示；并且第二增强现实体验的第二表示(例如，720、721、724和/或726)的至少一部分以对应于第二增强现实体验(例如，714和/或742)(例如，唯一地对应于第二增强现实体验并且/或者对应于第二增强现实体验而不对应于第一增强现实体验)的第二颜色显示，其中第二颜色与第一颜色不同。在一些实施方案中，第一增强现实体验的第一表示不包括第二颜色，并且第二增强现实经验的第二表示不包括第一颜色。以唯一地对应于不同的增强现实体验的不同颜色来显示增强现实体验的表示允许用户更容易地选择特定增强现实体验，这通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，第一增强现实体验的第一表示(例如，720、721、724和/或726)包括对应于第一增强现实体验(例如，唯一地对应于第一增强现实体验并且/或者对应于第一增强现实体验而不对应于第二增强现实体验或经由计算机系统可用的其他增强现实体验)的第一标识符(例如，722a、728a和/或730a)(例如，第一图标、第一组文本(例如，名称和/或其他文本标识符)和/或第一颜色)；第二增强现实体验的第二表示(例如，720、721、724和/或726)包括与第一标识符不同并且对应于第二增强现实体验(例如，唯一地对应于第二增强现实体验并且/或者对应于第二增强现实体验而不对应于第一增强现实体验)的第二标识符(例如，722a、728和/或730a)(例如，第二图标、第二组文本(例如，名称和/或其他文本标识符)和/或第二颜色)；显示第一增强现实体验(例如，714和/或742)包括显示第一标识符(例如，716a和/或744a)作为第一增强现实体验的一部分(例如，不显示第二标识符)；并且显示第二增强现实体验(例如，714和/或742)包括显示第二标识符(例如，716a和/或744a)作为第二增强现实体验的一部分(例如，不显示第一标识符)。显示具有唯一地对应于不同的增强现实体验的不同标识符的增强现实体验的表示允许用户更容易地选择特定增强现实体验，这通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，响应于接收到第一输入(例如，718、727、729和/或740)：根据确定第一用户输入对应于对第一增强现实体验的第一表示(例如，720、721、724和/或726)的选择：在显示第一增强现实体验(例如，714和/或742)之前，计算机系统经由一个或多个显示生成部件显示第一动画，在该第一动画中，第一增强现实体验的第一表示朝向计算机系统的用户的视点移动(例如，图7H至图7J，表示726朝向用户的视点移动，直到增强现实体验742被显示)(例如，其中第一增强现实体验的第一表示变得更大并且/或者看起来移动得更靠近用户的视点)。在一些实施方案中，响应于接收到第一用户输入，并且根据确定第一用户输入对应于对第二增强现实体验的第二表示的选择：在显示第二增强现实体验之前，计算机系统经由一个或多个显示生成部件显示第二动画，在该第二动画中，第二增强现实体验的第二表示朝向计算机系统的用户的视点移动。显示其中第一增强现实体验的第一表示朝向用户的视点移动的动画向用户提供关于系统的状态(例如，系统正过渡到第一增强现实体验)的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，第一增强现实体验的第一表示(例如，720、721、724和/或726)包括围绕(例如，部分地和/或完全地围绕)第一组交互式元素(例如，722a-722e、728a-728d和/或730a-730d)的表示的第一边界；第二增强现实体验的第二表示(例如，720、721、724和/或726)包括围绕(例如，部分地和/或完全地围绕)第二组交互式元素(例如，722a-722e、728a-728d和/或730a-730d)的表示的第二边界(例如，与第一边界不同和/或分开)；并且显示第一动画包括显示第一边界朝向计算机系统的用户的视点移动直到第一边界不再被显示(例如，图7H至图7J，围绕表示726的边界朝向用户的视点移动直到增强现实体验742被显示)(例如，直到第一边界移出计算机系统的显示区并且/或者移出计算机系统的显示区的对用户可见的部分)(例如，增加第一边界的大小直到第一边界不再被计算机系统显示并且/或者处于计算机系统的显示区的对用户可见的部分外部)。在一些实施方案中，响应于接收到第一用户输入，并且根据确定第一用户输入对应于对第二增强现实体验的第二表示的选择：在显示第二增强现实体验之前，计算机系统经由一个或多个显示生成部件显示第二动画，在该第二动画中，第二增强现实体验的第二表示朝向计算机系统的用户的视点移动，其中显示第二动画包括显示朝向计算机系统的用户的视点移动的第二边界直到第二边界不再被显示。显示其中第一增强现实体验的第一表示(包括第一表示的边界)朝向用户的视点移动的动画向用户提供关于系统的状态(例如，系统正过渡到第一增强现实体验)的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，响应于接收到第一输入(例如，718、727、729和/或740)：根据确定第一用户输入对应于对第一增强现实体验的第一表示的选择：计算机系统经由一个或多个显示生成部件显示第一组交互式元素(例如，730a-730d)的表示与第一组交互式元素(例如，744a-744d)的交叉渐变(例如，在第一动画的显示期间以及/或者在显示第一动画之后)。在一些实施方案中，响应于接收到第一输入：根据确定第一用户输入对应于对第二增强现实体验的第二表示的选择：计算机系统经由一个或多个显示生成部件显示第二组交互式元素的表示与第二组交互式元素的交叉渐变。显示第一组交互式元素的表示与第一组交互式元素的交叉渐变向用户提供关于系统的状态(例如，系统正在过渡到第一增强现实体验)的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，响应于接收到第一输入(例如，718、727、729和/或740)：根据确定第一用户输入对应于对第一增强现实体验的第一表示的选择：计算机系统停止第一组交互式元素(例如，730a-7330d)的表示的显示；并且经由一个或多个显示生成部件显示第一组交互式元素(例如，744a-744d)。显示第一组交互式元素对第一组交互式元素的表示的替换向用户提供关于系统的状态(例如，系统正在过渡到第一增强现实体验)的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，在接收到第一用户输入之前，并且当在三维环境(例如，712)中同时显示多个增强现实体验的表示(例如，720、721、724和/或726)时，计算机系统经由一个或多个显示生成部件在第一显示位置处显示第一增强现实体验的第一表示(例如，720、721、724和/或726)(例如，图7D1中的表示720)(并且在一些实施方案中，在与第一显示位置不同的第二显示位置处同时显示第二增强现实体验的第二表示(例如，图7D1中的表示724))(在一些实施方案中，第一显示位置表示当前选择的对象和/或当前聚焦的对象)。当在第一显示位置处显示第一增强现实体验的第一表示时，计算机系统经由一个或多个输入设备接收对应于从第一增强现实体验的第一表示(例如，720、721、724和/或726)导航到第二增强现实体验的第二表示(例如，720、721、724和/或726)的请求的第二用户输入(例如，727和/或729)(例如，一个或多个用户输入和/或第一组用户输入)(例如，一个或多个触摸输入、一个或多个手势、一个或多个空中手势和/或一个或多个注视输入)。响应于接收到第二用户输入(例如，727和/或729)，计算机系统停止第一增强现实体验的第一表示在第一显示位置处的显示(例如，在图7D1至图7E中，响应于用户输入727，电子设备700停止表示720在堆叠的前部位置处的显示；并且在图7E至图7F中，响应于用户输入729，电子设备700停止表示724在堆叠的前部位置处的显示)(并且在一些实施方案中，同时保持第一增强现实体验的第一表示的至少一部分的显示)；并且经由一个或多个显示生成部件在第一显示位置处显示第二增强现实体验的第二表示(例如，在图7E中，表示724显示在堆叠的前部位置处，并且在图7F中，表示726显示在堆叠的前部位置处)。响应于第二用户输入而显示从第一增强现实体验的第一表示到第二增强现实体验的第二表示的导航向用户提供关于系统的状态(例如，系统已经检测到第二用户输入)的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，同时显示多个增强现实体验的表示(例如，720、721、724和/或726)包括在堆叠中显示多个增强现实体验的表示，其中第一增强现实体验的第一表示堆叠在第二增强现实体验的第二表示之上(例如，第一增强现实体验的第一表示位于第二增强现实体验的第二表示的顶部并且/或者部分地使第二增强现实体验的第二表示模糊)。在用户可在其中进行导航的堆叠中显示增强现实体验的表示允许用户更容易地选择特定增强现实体验，这通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，在接收到第一用户输入之前，并且当在三维环境中同时显示多个增强现实体验的表示(包括同时显示第一增强现实体验的第一表示和第二增强现实体验的第二表示)时，计算机系统经由一个或多个输入设备接收对应于在多个增强现实体验的表示中进行导航的请求的第三用户输入(例如，727和/或729)(例如，一个或多个用户输入和/或第一组用户输入)(例如，一个或多个触摸输入、一个或多个手势、一个或多个空中手势和/或一个或多个注视输入)。响应于接收到第三用户输入，计算机系统停止第一增强现实体验的第一表示的显示，同时保持第二增强现实体验的第二表示的显示(例如，在图7D1至图7E中，响应于用户输入727，电子设备700停止表示720的显示，同时保持表示724和/或726的显示；并且/或者在图7E至图7F中，响应于用户输入729，电子设备700停止表示724的显示，同时保持表示726的显示)。在用户可在其中进行导航的堆叠中显示增强现实体验的表示允许用户更容易地选择特定增强现实体验，这通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，确定第一用户输入对应于对第一增强现实体验的第一表示的选择包括确定第一用户输入是选择输入，该选择输入包括：朝向第一增强现实体验的第一表示的注视输入(例如，在图7H中，注视指示710指示用户正看向表示726)(例如，朝向可选对象的用户注视；朝向多个增强现实体验的表示中的相应表示的用户注视和/或对应于并且/或者标识特定增强现实体验的用户注视)；以及当注视输入朝向第一增强现实体验的第一表示时检测到的硬件按压输入(例如，740)(例如，对硬件按钮的按压和/或对可按压输入机构(例如，可旋转且可按压输入机构)的按压)(例如，与注视输入同时发生的硬件按压输入)。在一些实施方案中，响应于接收到第一用户输入，并且根据确定第一用户输入不是选择输入(例如，根据确定第一用户输入不包括朝向第一增强现实体验的第一表示的注视输入和/或当注视输入朝向第一增强现实体验的第一表示时的硬件按压输入)，计算机系统放弃显示第一增强现实体验。在一些实施方案中，响应于接收到第一用户输入，并且根据确定第一用户输入不是选择输入，计算机系统放弃停止多个增强现实体验中的一个或多个增强现实体验的表示的显示(例如，计算机系统保持多个增强现实体验中的一个或多个增强现实体验的表示的显示)。在一些实施方案中，停止多个增强现实体验中的一个或多个增强现实体验的表示的显示是根据确定第一用户输入是选择输入来执行的。在一些实施方案中，第一用户输入包括：第一注视输入(例如，朝向多个增强现实体验的表示中的相应表示的用户注视和/或对应于并且/或者标识特定增强现实体验的用户注视)；和硬件按压输入(例如，对硬件按钮的按压和/或对可按压输入机构(例如，可旋转且可按压输入机构)的按压)。在一些实施方案中，第一用户输入包括同时发生的第一注视输入和硬件按压输入(例如，当用户注视特定对象时的硬件按压输入和/或当用户注视多个增强现实体验的表示中的相应表示时的硬件按压输入)。允许用户利用注视和硬件按压输入来选择特定增强现实体验通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，确定第一用户输入对应于对第一增强现实体验的第一表示的选择包括确定第一用户输入是选择输入，该选择输入包括：指示选择可选对象的用户请求的语音输入(例如，标识特定可选对象的语音输入；和/或标识多个增强现实体验中的相应增强现实体验和/或多个增强现实体验的表示中的相应表示的语音输入(例如，在图7D1中(以及/或者在图7B中)，用户陈述“应用翻译扩展现实体验”，并且响应于用户语音输入，电子设备700和/或HMD X700显示翻译扩展现实体验，如图7I至图7J所示)。在一些实施方案中，响应于接收到第一用户输入，并且根据确定第一用户输入不是选择输入(例如，根据确定第一用户输入不包括指示选择可选对象的用户请求的语音输入)，计算机系统放弃显示第一增强现实体验(例如，计算机系统继续显示图7D1所示的表示的堆叠)。在一些实施方案中，响应于接收到第一用户输入，并且根据确定第一用户输入不是选择输入，计算机系统放弃停止多个增强现实体验中的一个或多个增强现实体验的表示的显示(例如，计算机系统保持多个增强现实体验中的一个或多个增强现实体验的表示的显示)。在一些实施方案中，停止多个增强现实体验中的一个或多个增强现实体验的表示的显示是根据确定第一用户输入是选择输入来执行的。在一些实施方案中，第一用户输入包括：第一语音输入(例如，标识多个增强现实体验中的相应增强现实体验和/或多个增强现实体验的表示中的相应表示的语音输入)。在一些实施方案中，第一用户输入包括第一语音输入和第一注视输入(例如，朝向多个增强现实体验的表示中的相应表示的用户注视)(例如，在图7H中，陈述“显示该扩展现实体验”同时看向表示726的用户语音输入)。在一些实施方案中，第一用户输入包括与第一注视输入同时发生的第一语音输入(例如，当用户注视特定对象时的语音输入和/或当用户注视多个增强现实体验的表示的相应表示时的语音输入)。允许用户利用语音输入来选择特定增强现实体验通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，确定第一用户输入对应于对第一增强现实体验的第一表示的选择包括确定第一用户输入是选择输入，该选择输入包括：朝向第一增强现实体验的第一表示(例如，726)的注视输入(例如，图7H中的注视指示720)(例如，朝向可选对象的用户注视；朝向多个增强现实体验的表示中的相应表示的用户注视和/或对应于并且/或者标识特定增强现实体验的用户注视，该用户注视满足第一组注视持续时间标准(例如，朝向可选对象并且在该可选对象上得以保持达阈值持续时间(例如，没有中断并且/或者具有小于阈值量的中断)的用户注视；和/或朝向多个增强现实体验的表示中的相应表示并且在该相应表示上得以保持达阈值持续时间(例如，没有中断并且/或者具有小于阈值量的中断)的用户注视)。
在一些实施方案中，响应于接收到第一用户输入，并且根据确定第一用户输入不是选择输入(例如，根据确定第一用户输入不包括朝向满足第一组注视持续时间标准的第一增强现实体验的第一表示的注视输入，因为注视输入不朝向第一增强现实体验的第一表示，或者因为注视输入在第一组注视持续时间标准已被满足之前远离第一增强现实体验的第一表示移动)，计算机系统放弃显示第一增强现实体验(例如，在一些实施方案中，在图7H中，如果用户将他或她的注视保持在表示726上达阈值持续时间，则电子设备700和/或HMDX700显示如图7I至图7J所示的翻译扩展现实体验742，但是如果用户没有将他或她的注视保持在表示726上达阈值持续时间，则电子设备700保持图7H中的表示726、721的显示)。在一些实施方案中，响应于接收到第一用户输入，并且根据确定第一用户输入不是选择输入，计算机系统放弃停止多个增强现实体验中的一个或多个增强现实体验的表示的显示(例如，计算机系统保持多个增强现实体验中的一个或多个增强现实体验的表示的显示)(例如，保持图7H中的表示721、726的显示)。在一些实施方案中，停止多个增强现实体验中的一个或多个增强现实体验的表示的显示是根据确定第一用户输入是选择输入来执行的。在一些实施方案中，第一用户输入包括满足第一组注视持续时间标准的第一注视输入(例如，图7H中的710)(例如，朝向多个增强现实体验的表示中的相应表示并且在该相应表示上得以保持达阈值持续时间(例如，没有中断并且/或者具有小于阈值量的中断)的用户注视)。在一些实施方案中，确定第一用户输入对应于对第一增强现实体验的第一表示的选择包括用户已经注视第一增强现实体验的第一表示达阈值持续时间(例如，没有中断并且/或者具有小于阈值量的中断)(例如，在图7H中，用户已经注视表示726达阈值持续时间)。允许用户利用注视和停留输入来选择特定增强现实体验通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，当同时显示多个增强现实体验的表示时，计算机系统经由一个或多个显示生成部件显示一个或多个设置控件(例如，736a-736h)，包括对应于计算机系统的第一设置的第一设置控件(在一些实施方案中，计算机系统同时显示对应于计算机系统的与第一设置不同的第二设置的第二设置控件)。当显示一个或多个设置控件时，计算机系统经由一个或多个输入设备接收对应于计算机系统的第一设置的第一设置输入(例如，图7G中的用户输入选择设置选项736a-736h中的一个设置选项并且/或者修改设置)。响应于接收到第一设置输入，计算机系统将第一设置从第一值修改为与第一值不同的第二值。当同时显示多个增强现实体验的表示时并且当第一设置被设定为第二值时，计算机系统经由一个或多个输入设备接收第三用户输入(例如，740)(例如，一个或多个用户输入和/或第三组用户输入)(例如，一个或多个触摸输入、一个或多个手势、一个或多个空中手势和/或一个或多个注视输入)。响应于接收到第三用户输入：根据确定第三用户输入对应于对第一增强现实体验的第一表示(例如，720、724和/或726)的选择，计算机系统经由一个或多个显示生成部件在三维环境中显示第一增强现实体验(例如，714和/或742)，同时将第一设置保持在第二值；并且根据确定第一用户输入对应于对第二增强现实体验的第二表示(例如，720、724和/或726)的选择，计算机系统经由一个或多个显示生成部件在三维环境中显示第二增强现实体验(例如，714和/或742)，同时将第一设置保持在第二值。显示一个或多个设置控件以修改一个或多个设备设置，并且在不同的增强现实体验之间保持这些设置允许用户以更少的用户输入来修改设备设置，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，第一设置是透传着色设置(例如，选项736h)(例如，控制将多少掩蔽和/或暗化应用于三维环境的设置(例如，透传背景、光学透传背景和/或虚拟透传背景))；第一值对应于应用于三维环境的第一着色量(例如，第一掩蔽和/或暗化量；和/或第一亮度)；并且第二值对应于应用于三维环境的与第一着色量不同的第二着色量(例如，第二掩蔽和/或暗化量；和/或第二亮度)。显示设置控件以修改透传着色，并且在不同的增强现实体验之间保持透传着色设置允许用户以更少的用户输入来修改透传着色设置，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，第一设置是音量设置(例如，选项736g)；第一值对应于第一音量；并且第二值对应于与第一音量不同的第二音量。显示设置控件以修改音量，并且在不同的增强现实体验之间保持音量设置允许用户以更少的用户输入来修改音量设置，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当同时显示多个增强现实体验的表示和一个或多个设置控件时，计算机系统经由一个或多个显示生成部件显示指示计算机系统的一个或多个特性(例如，wi-fi网络名称、wi-fi信号强度、计算机系统电池电量、计算机系统位置跟踪指示器、麦克风记录指示器、相机记录指示器和/或音量滑块)的状态的设备状态信息(例如，在图7D1至图7H中的显示器702和/或显示模块X702的右上方的wifi水平指示和/或电池电量指示)。显示设备状态信息向用户提供关于系统的状态的视觉反馈(例如，关于计算机系统的一个或多个特性的状态的信息)，从而向用户提供改进的视觉反馈。
在一些实施方案中，多个增强现实体验的表示(例如，720、721、724和/或726)是在用户的视点相对于三维环境移位时停留在计算机系统的用户的视场的相应区域中(例如，在用户的视点移位并且背景三维环境712移动时，表示720、721、724和/或726不移动)的视点锁定的对象。将多个增强现实体验的表示显示为视点锁定的对象通过将多个增强现实体验的表示保持在用户的视线内而通过帮助用户提供适当的输入并且减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，同时显示多个增强现实体验的表示包括在第一取向上同时显示该多个增强现实体验的表示，在该第一取向上，该多个增强现实体验的表示与重力对准(例如，在图7D1中，表示720、721、724和/或726在使得表示720、721、724和/或726的底部表面朝向地面的取向上显示)(例如，每个表示具有底部部分和顶部部分，并且底部部分比顶部部分更靠近地面和/或地球的中心显示)。在一些实施方案中，当同时显示多个增强现实体验的表示时，计算机系统检测用户的视点的取向改变(例如，电子设备700的旋转，其例如使得表示720、721、724和/或726不再与重力对准(例如，表示720、721、724和/或726的底部不再朝向地面))(例如，检测用户的头部的旋转和/或移动并且/或者检测头戴式耳机和/或其他可穿戴设备(例如，穿戴在用户的头部上的可穿戴设备)的旋转和/或移动)。响应于检测到用户的视点的取向改变：计算机系统基于用户的视点的取向改变来将多个增强现实体验的表示(例如，720、721、724和/或726)从第一取向旋转到第二取向(例如，与第一取向不同的第二取向)以继续使多个增强现实体验的表示与重力对准(例如，以使得多个增强现实体验的表示保持与重力对准的方式来显示多个增强现实体验的表示(例如，每个表示具有底部部分和顶部部分，并且即使当用户移动并且/或者旋转他或她的视场时，底部部分保持比顶部部分更靠近地面和/或地球的中心))。在一些实施方案中，多个增强现实体验的表示与重力对准(例如，以多个增强现实体验的表示保持与重力对准的方式来显示多个增强现实体验的表示(例如，每个表示具有底部部分和顶部部分，并且即使当用户移动并且/或者旋转他或她的视场时，底部部分保持比顶部部分更靠近地面和/或地球的中心))。在一些实施方案中，当计算机系统检测到计算机系统的旋转时，计算机系统基于计算机系统的旋转来旋转多个增强现实体验的表示，使得表示的底部部分保持比表示的顶部部分更靠近地面和/或地球的中心。将多个增强现实体验的表示显示为与重力对准的视点锁定的对象通过将多个增强现实体验的表示保持在用户的视线内且保持一致对准(即使在用户移动并且/或者计算机系统移动时)而通过帮助用户提供适当的输入并且减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，将多个增强现实体验的表示(例如，720、721、724和/或726)从第一取向旋转到第二取向包括：在检测到用户的视点的取向改变之后的第一时间处，经由一个或多个显示生成部件在第一取向上显示多个增强现实体验的表示，其中在该第一时间处，至少部分地由于用户的视点的取向改变，多个增强现实体验的表示不与重力对准(例如，显示表示720、721、724和/或726，其中表示的底部边缘不朝向地面)；以及在第一时间之后的第二时间处，经由一个或多个显示生成部件在第二取向上显示多个增强现实体验的表示以使多个增强现实体验的表示与重力对准(例如，如图7D1所示的表示720、721、724和/或726)。在一些实施方案中，计算机系统显示多个增强现实体验的表示随时间从第一取向到第二取向的逐渐旋转。在一些实施方案中，在第一时间之后且在第二时间之前的第三时间处，计算机系统经由一个或多个显示生成部件在与第一取向和第二取向不同的第三取向上显示多个增强现实体验的表示，其中第三取向在第一取向与第二取向之间(例如，处于第一取向的角度与第二取向的角度之间的角度)。在一些实施方案中，多个增强现实体验的表示表现出惰性跟随行为(例如，相对于检测到的用户的物理移动(例如，相对于检测到的用户的头部的物理移动)并且/或者相对于检测到的计算机系统的物理移动减少或延迟多个增强现实体验的表示的运动的行为)。将多个增强现实体验的表示显示为表现出惰性跟随行为的视点锁定的对象，向用户提供关于系统的状态的视觉反馈(例如，当用户的头部移动时系统有意地移动多个增强真实体验的表示)，从而向用户提供改进的视觉反馈。
在一些实施方案中，显示第一增强现实体验(例如，742)包括同时显示第一组对象(例如，744a-744d、750a-750e)，包括第一对象(例如，744a-744d)和第二对象(例如，750a-750e)，并且其中：第一对象是视点锁定的对象(例如，744a-744d是视点锁定的对象)；并且第二对象是环境锁定的对象(例如，750a-750e是环境锁定的对象)。在一些实施方案中，第二增强现实体验包括第二组对象，包括第三对象和第四对象，其中第三对象是视点锁定的对象并且第四对象是环境锁定的对象。将AR体验中的某些对象显示为视点锁定的对象以及将其他对象显示为环境锁定的对象通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，计算机系统经由一个或多个显示生成部件在三维环境(例如，712)中显示第一增强现实体验(例如，图7B中的714)。当显示第一增强现实体验(例如，图7B中的714)时，计算机系统经由一个或多个输入设备接收指示从第一增强现实体验改变到第二增强现实体验(例如，“切换到下一AR体验”和/或“切换到相机AR视图”)的用户请求的第一语音输入(例如，包括来自用户的语音的用户输入和/或由用户说出的用户输入的输入)。响应于接收到第一语音输入，计算机系统停止第一增强现实体验的显示(例如，停止体验714的显示)；并且经由一个或多个输入设备在三维环境(例如，712)中显示第二增强现实体验(例如，图7J中的742)。允许用户使用语音输入来在不同的增强现实体验之间切换通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。允许用户使用语音输入来在不同的增强现实体验之间切换允许用户以更少的用户输入来在不同的增强现实体验之间切换，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当计算机系统处于休眠状态(例如，图7A)(例如，关闭状态、锁定状态和/或休眠状态)时，计算机系统经由一个或多个输入设备接收对应于使计算机系统从休眠状态过渡到唤醒状态的请求的第一唤醒输入(例如，708)(例如，一个或多个用户输入和/或第一组用户输入)(例如，一个或多个机械输入(例如，按钮按压和/或物理输入机构的旋转)、一个或多个触摸输入、一个或多个手势、一个或多个空中手势和/或一个或多个注视输入)。响应于接收到第一唤醒输入(并且在一些实施方案中，根据确定第一唤醒输入满足第一组唤醒标准(例如，解锁标准、用户认证标准和/或生物计量认证标准))，计算机系统经由一个或多个显示生成部件显示第一增强现实体验(例如，714和/或742)(例如，不显示第二增强现实体验和/或多个增强现实体验的表示)。在一些实施方案中，第一增强现实体验表示在计算机系统从休眠状态过渡到唤醒状态时显示的默认增强现实体验。当计算机系统从休眠状态过渡到唤醒状态时自动地显示第一增强现实体验允许用户以更少的用户输入来访问第一增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当计算机系统处于休眠状态(例如，图7A)(例如，关闭状态、锁定状态和/或休眠状态)时，计算机系统经由一个或多个输入设备接收对应于使计算机系统从休眠状态过渡到唤醒状态的请求的第一唤醒输入(例如，708)(例如，一个或多个用户输入和/或第一组用户输入)(例如，一个或多个机械输入(例如，按钮按压和/或物理输入机构的旋转)、一个或多个触摸输入、一个或多个手势、一个或多个空中手势和/或一个或多个注视输入)。响应于接收到第一唤醒输入(并且在一些实施方案中，根据确定第一唤醒输入满足第一组唤醒标准(例如，解锁标准、用户认证标准和/或生物计量认证标准))，计算机系统经由一个或多个显示生成部件显示多个增强现实体验的表示(例如，图7D1中的720、721、724和/或726)(例如，不显示第一增强现实体验和/或第二增强现实体验)。在一些实施方案中，包括多个增强现实体验的表示的AR体验切换器用户界面表示在计算机系统从休眠状态过渡到唤醒状态时显示的默认用户界面。当计算机系统从休眠状态过渡到唤醒状态时自动地显示多个增强现实体验的表示允许用户以更少的用户输入来访问多个增强现实体验的表示，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，多个增强现实体验包括以下各项中的一项或多项：相机增强现实体验(例如，714)(例如，包括可被选择以使用计算机系统的一个或多个相机来捕获更多照片和/或视频(例如，围绕计算机系统的环境的一个或多个照片和/或视频)的快门按钮的增强现实体验)(例如，其中用户能够捕获用户的周围环境的一个或多个照片和/或视频的增强现实体验)；翻译增强现实体验(例如，742)(例如，包括可被选择以翻译由计算机系统的一个或多个相机捕获的文本(例如，翻译在计算机系统周围的环境中的文本)的一个或多个选项的增强现实体验)(例如，其中用户能够将用户环境中的内容从第一语言翻译成第二语言的增强现实体验)；阅读增强现实体验(例如，显示书籍、文章和/或其他文本内容的增强现实体验)(例如，其中用户能够阅读内容(例如，书籍和/或文章)的增强现实体验)；音乐增强现实体验(例如，包括可被选择以输出音频内容(例如，音乐和/或其他音频内容)的一个或多个可选选项的增强现实体验)(例如，其中用户能够收听音乐和/或其他音频内容的增强现实体验)；导航增强现实体验(例如，向地理位置显示导航指令的增强现实体验)(例如，其中用户能够接收到地理位置的导航指令的增强现实体验)；照片增强现实体验(例如，显示用于在媒体库中的照片和/或视频内容中进行导航的一个或多个可选对象和/或用户界面的增强现实体验)(例如，其中用户能够在媒体库中的照片和/或视频内容中进行导航并且/或者查看该照片和/或视频内容的增强现实体验)；视频消息传送增强现实体验(例如，包括可被选择以发起并且/或者终止与一个或多个联系人的视频会议和/或视频通话的一个或多个可选选项的增强现实体验)(例如，其中用户能够参与与一个或多个联系人的视频会议和/或视频通话的增强现实体验)；和/或健身增强现实体验(例如，显示对应于用户的一个或多个健身度量和/或体力活动度量的增强现实体验)；和/或显示健身指令(例如，健身视频和/或演示)的增强现实体验(例如，其中用户能够跟踪健身和/或体力活动度量的增强现实体验；和/或其中用户能够查看健身指令(例如，健身视频和/或演示)的增强现实体验。同时显示多个增强现实体验的表示允许用户以更少的用户输入来在不同的增强现实体验之间切换，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，方法800、900、1100、1300和/或1500的各方面/操作可在这些方法之间互换、替换和/或添加。例如，在一些实施方案中，方法800中的增强现实体验是方法900和/或1100中的扩展现实体验。又如，在一些实施方案中，方法1500中的虚拟内容包括与方法800中的增强现实体验和/或方法900和/或1100中的扩展现实体验有关的虚拟内容。再如，在一些实施方案中，方法1300中的计算机系统是方法800、900、1100和/或1500中的任一个方法中的计算机系统。为了简明起见，此处不再重复这些细节。
图9是根据一些实施方案的用于导航扩展现实体验的示例性方法900的流程图。在一些实施方案中，方法900在计算机系统(例如，图1A中的计算机系统101；700；和/或HMDX700)(例如，智能手机、智能手表、平板电脑、可穿戴设备和/或头戴式设备)处执行，该计算机系统与一个或多个显示生成部件(例如，视觉输出设备、3D显示器、具有图像可投影在其上的透明或半透明的至少一部分的显示器(例如，透视显示器)、投影仪、平视显示器、和/或显示控制器)和一个或多个输入设备(例如，触敏表面(例如，触敏显示器)；鼠标；键盘；遥控器；视觉输入设备(例如，一个或多个相机(例如，红外相机、深度相机、可见光相机))；音频输入设备；和/或生物测定传感器(例如，指纹传感器、面部标识传感器和/或虹膜标识传感器))通信。在一些实施方案中，方法900通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器(诸如计算机系统101的一个或多个处理器202)(例如，图1A中的控件110)执行的指令来管理。方法900中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，计算机系统(例如，700和/或HMD X700)经由第一物理控件(例如，704a-704c和/或X704a-X704c)(例如，物理按钮、可旋转输入机构、可按压输入机构、和/或可旋转且可按压输入机构)(例如，一个或多个输入设备的第一物理控件)接收(900)一个或多个用户输入(例如，718、727、729、和/或740)的第一序列(例如，对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次按压和/或其旋转)。响应于接收到一个或多个用户输入的第一序列(904)：根据确定一个或多个用户输入的第一序列具有第一量值(906)(例如，移动量、移动速度、和/或输入/移动的持续时间)，计算机系统经由一个或多个显示生成部件(例如，702和/或X702)在三维环境(例如，712)中显示(908)第一扩展现实体验(例如，714和/或742)(例如，根据图7D1，如果一个或多个用户输入的第一序列包括在用户输入740之前对按钮704a和/或按钮X704a的仅一次按压，则计算机系统700和/或HMD X700显示对应于表示724的扩展现实体验(例如，音乐扩展现实体验)；并且如果一个或多个用户输入的第一序列包括在用户输入740之前对按钮704a和/或按钮X704a的两次按压(如图7D1至图7J所示)，则计算机系统700和/或HMDX700显示扩展现实体验742(例如，翻译扩展现实体验))(例如，第一扩展现实用户界面和/或第一扩展现实应用程序)(例如，显示应用于三维环境的第一扩展现实体验，显示叠置在三维环境上的第一扩展现实体验，以及/或者与三维环境同时显示第一扩展现实体验)；并且根据确定一个或多个用户输入的第一序列具有与第一量值不同的第二量值(910)(例如，移动量、移动速度、和/或输入/移动的持续时间)，计算机系统经由一个或多个显示生成部件在三维环境中显示(912)与第一扩展现实体验不同的第二扩展现实体验(例如，714和/或742)(例如，根据图7D1，如果一个或多个用户输入的第一序列包括在用户输入740之前对按钮704a和/或按钮X704a的仅一次按压，则计算机系统700和/或HMD X700显示对应于表示724的扩展现实体验(例如，音乐扩展现实体验)；并且如果一个或多个用户输入的第一序列包括在用户输入740之前对按钮704a和/或按钮X704a的两次按压(如图7D1至图7J所示)，则计算机系统700和/或HMD X700显示扩展现实体验742(例如，翻译扩展现实体验)。
在一些实施方案中，响应于接收到一个或多个用户输入的第一序列：根据确定第一用户输入具有第二量值和第一方向(例如，按钮704a和/或X704a对应于第一方向并且按钮704b和/或X704b对应于第二方向)，计算机系统经由一个或多个显示生成部件在三维环境中显示与第一扩展现实体验不同(并且在一些实施方案中，与第二扩展现实体验不同)的第三扩展现实体验。在一些实施方案中，响应于接收到一个或多个用户输入的第一序列：根据确定第一用户输入具有第一量值和第二方向(例如，按钮704a和/或X704a对应于第一方向并且按钮704b和/或X704b对应于第二方向)，计算机系统经由一个或多个显示生成部件在三维环境中显示与第一扩展现实体验不同(并且在一些实施方案中，与第二扩展现实体验和/或第三扩展现实体验不同)的第四扩展现实体验。在一些实施方案中，计算机系统是头戴式系统。在一些实施方案中，三维环境(例如，712)是通过在其上显示第一扩展现实体验(例如，714和/或742)和第二扩展现实体验(例如，714和/或742)的透明显示生成部件(例如，透明光学透镜显示器)对用户可见的光学透传环境(例如，物理的真实环境)。在一些实施方案中，三维环境(例如，712)是由一个或多个显示生成部件显示的虚拟三维环境。在一些实施方案中，三维环境是由一个或多个显示生成部件显示的虚拟透传环境(例如，作为用户的物理的真实世界环境的虚拟表示的虚拟透传环境(例如，如由与计算机系统通信的一个或多个相机所捕获的))。响应于物理控件上的第一量值的一个或多个用户输入而显示第一扩展现实体验以及响应于物理控件上的第二量值的一个或多个用户输入而显示第二扩展现实体验允许用户以更少的用户输入来在不同的扩展现实体验之间切换，从而减少执行操作所需的用户输入的数量。根据确定一个或多个用户输入的第一序列具有第一量值来显示第一扩展现实体验，并且根据确定一个或多个用户输入的第一序列具有第二量值来显示第二扩展现实体验向用户提供关于系统的状态的视觉反馈(例如，系统已经检测到第一用户输入具有第一量值或第二量值)，从而向用户提供改进的视觉反馈。
在一些实施方案中，在接收到一个或多个用户输入的第一序列之后，计算机系统(例如，700和/或X700)经由第一物理控件(例如，704a、704b、704c、X704a、X704b和/或X704c)接收一个或多个用户输入(例如，718、727、729和/或740)的第二序列(例如，对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次按压和/或其旋转)。响应于接收到一个或多个用户输入的第二序列：根据确定一个或多个用户输入的第二序列具有第一方向(例如，对按钮704a和/或X704a的按压对应于第一方向，并且对按钮704b和/或X704b的按压对应于第二方向；和/或可旋转输入机构在第一方向(例如，移动方向和/或输入方向)上的旋转)，计算机系统经由一个或多个显示生成部件(例如，702和/或X702)在三维环境(例如，712)中显示第三扩展现实体验(例如，714和/或742)(例如，第三扩展现实用户界面和/或第三扩展现实应用程序)(例如，显示应用于三维环境的第三扩展现实体验，显示叠置在三维环境上的第三扩展现实体验，以及/或者与三维环境同时显示第三扩展现实体验)；并且根据确定一个或多个用户输入的第二序列具有与第一方向不同的第二方向(例如，对按钮704a的按压对应于第一方向，并且对按钮704b的按压对应于第二方向；和/或可旋转输入机构在第二方向上的旋转)，计算机系统经由一个或多个显示生成部件(例如，702和/或X702)在三维环境(例如，712)中显示与第三扩展现实体验不同的第四扩展现实体验(例如，714和/或742)。在一些实施方案中，显示第三扩展现实体验包括显示叠置在三维环境(例如，712)上的第一组视觉内容(例如，图7B中的对象716a-716e和/或图7J中的对象744a-744d)；并且显示第四扩展现实体验包括显示叠置在三维环境上的与第一组视觉内容不同的第二组视觉内容。在一些实施方案中，显示第三扩展现实体验包括显示第一组可选对象(例如，图7B中的对象716a-716e和/或图7J中的对象744a-744d)，并且显示第四扩展现实体验包括显示与第一组可选对象不同的第二组可选对象。在一些实施方案中，第三扩展现实体验对应于第一颜色，并且显示第三扩展现实体验包括显示以第一颜色显示的第一组元素；并且第四扩展现实体验对应于第二颜色，并且显示第四扩展现实体验包括显示以第二颜色显示的第二组元素。在一些实施方案中，第三扩展现实体验不包括第二颜色并且/或者第四扩展现实体验不包括第一颜色。在一些实施方案中，第三扩展现实体验对应于第一体验名称(例如，相机、翻译、音乐、或另一扩展现实体验)，并且显示第三扩展现实体验包括显示第一体验名称；并且第四扩展现实体验对应于与第一体验名称不同的第二体验名称，并且显示第四扩展现实体验包括显示第二体验名称。在一些实施方案中，第三扩展现实体验对应于第一体验徽标，并且显示第三扩展现实体验包括显示第一体验徽标；并且第四扩展现实体验对应于与第一体验徽标不同的第二体验徽标，并且显示第四扩展现实体验包括显示第二体验徽标。响应于物理控件上的第一方向的一个或多个用户输入而显示第三扩展现实体验以及响应于物理控件上的第二方向的一个或多个用户输入而显示第四扩展现实体验允许用户以更少的用户输入来在不同的扩展现实体验之间切换，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，计算机系统经由一个或多个显示生成部件(例如，702和/或X702)以第一方式(例如，在扩展现实体验的表示的堆叠的顶部处，这些表示诸如图7D1中的表示720、图7E中的表示724和/或图7F中的表示726)(例如，在第一显示位置处并且/或者以第一组视觉特性(例如，亮度、颜色和/或饱和度))显示第一扩展现实体验的表示(例如，720、721、724和/或726)，该第一方式指示选择输入将使得第一扩展现实体验被显示(例如，不使得第二扩展现实体验被显示并且/或者任何其他扩展现实体验被显示)(并且，在一些实施方案中，以与第一方式不同的第二方式(例如，在与第一显示位置不同的第二显示位置处并且/或者以与第一组视觉特性不同的第二组视觉特性)同时显示第二扩展现实体验的表示(例如，指示选择输入将不会使得第二扩展现实体验被显示的第二方式))。当以第一方式显示第一扩展现实体验的表示时，计算机系统经由第一物理控件(例如，704a、704b、704c、X704a、X704b和/或X704c)接收一个或多个用户输入(例如，727和/或729)的第二序列(例如，对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次按压和/或其旋转)。响应于接收到一个或多个用户输入的第二序列，计算机系统停止第一扩展现实体验的表示以第一方式的显示(例如，根据图7D1至图7E，响应于用户输入727，电子设备700和/或HMD X700停止表示720在堆叠的顶部处的显示；并且根据图7E至图7F，响应于用户输入729，电子设备700和/或HMD X700停止表示724在堆叠的顶部处的显示)(例如，停止第一扩展现实体验的表示的显示并且/或者以与第一方式不同的第二方式显示第一扩展现实体验的表示)；并且经由一个或多个显示生成部件以第一方式显示第二扩展现实体验的表示(例如，根据图7D1至图7E，响应于用户输入727，电子设备700和/或HMD X700在堆叠的顶部处显示表示724；并且根据图7E至图7F，响应于用户输入729，电子设备700和/或HMD X700在堆叠的顶部处显示表示726。提供关于当前选择哪个扩展现实体验并且/或者将在接收到选择输入的情况下选择哪个扩展现实体验的反馈通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，当以第一方式显示第二扩展现实体验的表示时(例如，图7D1中的表示720；图7E中的表示724；和/或图7F中的表示726)，计算机系统经由第一物理控件接收一个或多个用户输入(例如，727和/或729)的第三序列(例如，对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次按压和/或其旋转)。响应于接收到一个或多个用户输入的第三序列：根据确定一个或多个用户输入的第三序列具有第三方向(例如，按钮704a和/或X704a对应于第一方向并且按钮704b和/或X704b对应于第二方向)(例如，移动方向和/或输入方向)，计算机系统在第四方向(例如，对应于第三方向上的用户输入的第四方向)上滚动多个扩展现实体验的表示(例如，720、721、724和/或726)(例如，包括第一扩展现实体验的表示和/或第二扩展现实体验的表示)；并且根据确定一个或多个用户输入的第三序列具有与第三方向不同的第五方向，计算机系统在与第四方向不同的第六方向(例如，对应于第五方向上的用户输入的第六方向)上滚动多个扩展现实体验的表示(例如，720、721、724和/或726)(例如，对按钮704a的选择使得表示720、721、724和/或726在第一方向上滚动，并且对按钮704b的选择使得表示720、7211、724和/或726在第二方向上滚动)。在一些实施方案中，用户经由可旋转输入机构提供滚动用户输入，使得可旋转输入机构在第一方向上的旋转引起表示720、721、724和/或726在第二方向上的旋转，并且可旋转输入机构在第三方向上的旋转引起表示720、721、724和/或726在第四方向上的旋转。基于用户输入的方向来显示扩展现实体验的表示的滚动，并且提供关于当前选择哪个扩展现实体验以及/或者将在接收到选择输入的情况下选择哪个扩展现实体验的反馈通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，当以第一方式显示第二扩展现实体验的表示时(例如，图7D1中的表示720；图7E中的表示724；和/或图7F中的表示726)，计算机系统经由第一物理控件(例如，704a、704b、704c、X704a、X704b和/或X704c)接收一个或多个用户输入(例如，727和/或729)的第四序列(例如，对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次按压和/或其旋转)。响应于接收到一个或多个用户输入的第四序列：根据确定一个或多个用户输入的第四序列具有第三量值(例如，按钮704a、704b、X704a和/或X704b的按压次数；和/或可旋转输入机构的旋转量)，计算机系统将多个扩展现实体验的表示(例如，包括第一扩展现实体验的表示和/或第二扩展现实体验的表示)滚动第一量(例如，使多个扩展现实体验的表示前进第一数量的表示)(例如，对应于第三量值的用户输入的第一量)；并且根据确定一个或多个用户输入的第四序列具有与第三量值不同的第四量值，将多个扩展现实体验的表示滚动与第一量值不同的第二量值(例如，使多个扩展现实体验的表示前进第二数量的表示)(例如，对应于第四量值的用户输入的第二量)。基于用户输入的量值来显示扩展现实体验的表示的滚动，并且提供关于当前选择哪个扩展现实体验以及/或者将在接收到选择输入的情况下选择哪个扩展现实体验的反馈通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，经由第一物理控件(例如，704a、704b、704c、X704a、X704b和/或X704c)接收一个或多个用户输入(例如，718、727、729和/或740)的第一序列包括：经由第一物理控件接收对应于退出当前显示的扩展现实体验的请求(例如，在显示第一相应扩展现实体验时接收到的并且对应于退出第一相应扩展现实体验的请求(例如，停止显示第一相应扩展现实体验)的第一输入(例如，718)(例如，对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次按压和/或其旋转)(在一些实施方案中，第一输入对应于显示体验切换器用户界面的请求(在一些实施方案中，体验切换器用户界面包括多个扩展现实体验的表示))；以及经由第一物理控件接收对应于选择(例如，标识和/或选择)用于显示的下一扩展现实体验的请求(例如，对应于显示第二相应扩展现实体验的请求的第二输入(例如，740)(例如，对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次按压和/或其旋转)。响应于物理控件上的一个或多个用户输入而从一个扩展现实体验切换到不同的扩展现实体验允许用户以更少的用户输入来在不同的扩展现实体验之间切换，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，响应于接收到对应于退出当前显示的扩展现实体验(例如，图7B中的714)的请求的第一输入(例如，718)，计算机系统经由一个或多个显示生成部件显示第一动画(例如，图7B至图7D1和/或图7D2至图7D4)，其中当前显示的扩展现实体验的表示(例如，图7C和/或7D3中的720是图7B和/或图7D2的扩展现实体验714的表示)从计算机系统的用户的视点移开(例如，其中当前显示的扩展现实体验的表示变得更小并且/或者看起来进一步从用户的视点移开)。显示其中当前显示的扩展现实体验的表示从用户的视点移开的动画向用户提供关于系统的状态(例如，系统正退出当前显示的扩展现实体验)的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，经由第一物理控件接收一个或多个用户输入的第一序列还包括：在接收第一输入之后并且在接收第二输入之前，经由第一物理控件(例如，704a、704b、704c、X704a、X704b和/或X704c)接收导航输入(例如，727和/或729；和/或可旋转输入机构的旋转)(例如，滚动输入和/或移动输入)(例如，从多个扩展现实体验中的第一相应扩展现实体验的表示到多个扩展现实体验中的第二相应扩展现实体验的导航)；并且第一输入(例如，718)包括第一物理控件(例如，704a、X704a)上的按压输入和/或可旋转且可按压输入机构上的按压输入(例如，第一物理控件的按下和/或按压)。响应于物理控件上的一个或多个用户输入而从一个扩展现实体验切换到不同的扩展现实体验允许用户以更少的用户输入来在不同的扩展现实体验之间切换，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，导航输入(例如，727和/或729)包括第一物理控件的旋转(例如，可旋转输入机构的旋转)。响应于物理控件上的一个或多个用户输入而从一个扩展现实体验切换到不同的扩展现实体验允许用户以更少的用户输入来在不同的扩展现实体验之间切换，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，显示第一扩展现实体验(例如，714和/或742)包括同时显示包括第一对象和第二对象的第一组对象(例如，716a-716e、744a-744d和/或746)，并且其中：第一对象是视点锁定的对象；并且第二对象是环境锁定的对象。在一些实施方案中，第二扩展现实体验包括第二组对象，包括第三对象和第四对象，其中第三对象是视点锁定的对象并且第四对象是环境锁定的对象。将XR体验中的某些对象显示为视点锁定的对象以及将其他对象显示为环境锁定的对象通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，当计算机系统处于低功率状态(例如，图7A)(例如，休眠状态、关闭状态、锁定状态和/或休眠状态)时，计算机系统经由一个或多个输入设备接收对应于使计算机系统从低功率状态过渡到较高功率状态(例如，唤醒状态)的请求的第一唤醒输入(例如，708)(例如，一个或多个用户输入和/或第一组用户输入)(例如，一个或多个机械输入(例如，按钮按压和/或物理输入机构的旋转)、一个或多个触摸输入、一个或多个手势、一个或多个空中手势和/或一个或多个注视输入)。响应于接收到第一唤醒输入(并且在一些实施方案中，根据确定第一唤醒输入满足第一组唤醒标准(例如，解锁标准、用户认证标准和/或生物计量认证标准))，计算机系统经由一个或多个显示生成部件显示第一扩展现实体验(例如，图7B中的714)(例如，不显示第二扩展现实体验)。在一些实施方案中，计算机系统当处于低功率状态时比当计算机系统处于高功率状态时利用更少的功率(例如，电功率和/或电池功率)。例如，计算机系统通过以较低的亮度操作一个或多个显示生成部件、去激活并且/或者关闭一个或多个传感器、以降低的灵敏度水平操作一个或多个传感器、去激活一个或多个处理器、以及/或者以较低的功率水平操作一个或多个处理器(例如，为了降低的功率使用而降低处理器速度和/或效率)来在低功率状态下利用较少的功率。在一些实施方案中，第一扩展现实体验表示在计算机系统从低功率状态过渡到高功率状态时显示的默认扩展现实体验。当计算机系统从休眠状态过渡到唤醒状态时自动地显示第一扩展现实体验允许用户以更少的用户输入来访问第一扩展现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当计算机系统处于低功率状态(例如，图7A)(例如，休眠状态、关闭状态、锁定状态和/或休眠状态)时，计算机系统经由一个或多个输入设备接收对应于使计算机系统从低功率状态过渡到高功率状态(例如，唤醒状态)的请求的第一唤醒输入(例如，708)(例如，一个或多个用户输入和/或第一组用户输入)(例如，一个或多个机械输入(例如，按钮按压和/或物理输入机构的旋转)、一个或多个触摸输入、一个或多个手势、一个或多个空中手势和/或一个或多个注视输入)。响应于接收到第一唤醒输入(并且在一些实施方案中，根据确定第一唤醒输入满足第一组唤醒标准(例如，解锁标准、用户认证标准和/或生物计量认证标准))，计算机系统经由一个或多个显示生成部件同时显示多个扩展现实体验的表示(例如，720、721、724和/或726)(例如，不显示第一扩展现实体验和/或第二扩展现实体验)，包括同时显示：第一扩展现实体验的表示；以及与第一扩展现实体验的表示分开的第二扩展现实体验的表示。在一些实施方案中，包括多个扩展现实体验的表示的体验切换器用户界面表示在计算机系统从低功率状态过渡到高功率状态时显示的默认用户界面。在一些实施方案中，计算机系统当处于低功率状态时比当计算机系统处于高功率状态时利用更少的功率(例如，电功率和/或电池功率)。例如，计算机系统通过以较低的亮度操作一个或多个显示生成部件、去激活并且/或者关闭一个或多个传感器、以降低的灵敏度水平操作一个或多个传感器、去激活一个或多个处理器、以及/或者以较低的功率水平操作一个或多个处理器(例如，为了降低的功率使用而降低处理器速度和/或效率)来在低功率状态下利用较少的功率。当计算机系统从休眠状态过渡到唤醒状态时自动地显示多个扩展现实体验的表示允许用户以更少的用户输入来访问多个扩展现实体验的表示，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，计算机系统经由第一物理控件(例如，704a-704c、X704a-X704c和/或可旋转输入机构)接收一个或多个用户输入的第四序列(例如，对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次按压和/或其旋转)。响应于接收到一个或多个用户输入的第四序列，计算机系统修改计算机系统的音量设置(例如，增大和/或减小计算机系统的音量)。允许用户使用同一物理控件来调整音量并且还在扩展现实体验之间切换通过减少计算机系统上的物理控件的数量来增强计算机系统的可操作性。
在一些实施方案中，计算机系统经由第一物理控件(例如，704a-704c、X704a-X704c和/或可旋转输入机构)接收一个或多个用户输入的第五序列(例如，对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次按压和/或其旋转)。响应于接收到一个或多个用户输入的第五序列，修改计算机系统的透传着色设置(例如，控制将多少掩蔽和/或暗化应用于三维环境(例如，透传背景、光学透传背景和/或虚拟透传背景)的设置)。允许用户使用同一物理控件来调整透传着色并且还在扩展现实体验之间切换通过减少计算机系统上的物理控件的数量来增强计算机系统的可操作性。
在一些实施方案中，方法800、900、1100、1300和/或1500的各方面/操作可在这些方法之间互换、替换和/或添加。例如，在一些实施方案中，方法800中的增强现实体验是方法900和/或1100中的扩展现实体验。又如，在一些实施方案中，方法1500中的虚拟内容包括与方法800中的增强现实体验和/或方法900和/或1100中的扩展现实体验有关的虚拟内容。再如，在一些实施方案中，方法1300中的计算机系统是方法800、900、1100和/或1500中的任一个方法中的计算机系统。为了简明起见，此处不再重复这些细节。
图10A至图10G例示了用于提供与扩展现实体验有关的建议的技术的示例。图11是用于提供与扩展现实体验有关的建议的示例性方法1100的流程图。图10A至图10G中的用户界面用于例示下文所述的过程，这些过程包括图11中的过程。
图10A描绘了电子设备700，该电子设备是包括触敏显示器702、按钮704a-704c和一个或多个输入传感器706(例如，一个或多个相机、眼睛注视跟踪器、手部移动跟踪器和/或头部移动跟踪器)的智能电话。在下文描述的一些实施方案中，电子设备700是智能电话。在一些实施方案中，电子设备700是平板电脑、可穿戴设备、可穿戴智能手表设备、头戴式系统(例如，头戴式耳机)或包括一个或多个显示设备(例如，显示屏、投影设备等)以及/或者与该一个或多个显示设备通信的其他计算机系统。电子设备700是计算机系统(例如，图1A中的计算机系统101)。
在图10A中，电子设备700显示以上参照图7A至图7K讨论的相机扩展现实体验714(例如，增强现实体验和/或虚拟现实体验)。相机扩展现实体验714叠置显示在三维环境712上。如上文所论述，在一些实施方案中，三维环境712由显示器显示(如图10A所描绘的)。在一些实施方案中，三维环境712包括虚拟环境或由一个或多个相机(例如，作为输入传感器706的一部分的一个或多个相机和/或图10A中未示出的一个或多个相机)捕获的物理环境的图像(或视频)。在一些实施方案中，三维环境712是在相机扩展现实体验714后面对用户可见的，但不是由显示器显示的。例如，在一些实施方案中，三维环境712是在扩展现实体验712后面(例如，透过透明显示器)对用户可见而不是由显示器显示的物理环境。
在图10B1处，电子设备700检测正在围绕电子设备700的物理环境中播放(例如，经由一个或多个麦克风和/或输入传感器706)的音频内容。电子设备700确定音频内容是歌曲，并且识别该歌曲和艺术家。响应于检测到正在电子设备700的环境中播放的音频内容，电子设备700显示建议1000。建议1000对应于音乐扩展现实体验，并且能够由用户选择以显示音乐扩展现实体验。例如，在所描绘的实施方案中，对建议1000的选择使得所检测到的歌曲被添加到音乐扩展现实体验内的播放列表。在一些实施方案中，对建议1000的选择使得电子设备700停止相机扩展现实体验714的显示并显示音乐扩展现实体验。在一些实施方案中，对建议1000的选择使得电子设备700显示音乐扩展现实体验，同时保持相机扩展现实体验714的显示(例如，同时显示两个扩展现实体验和/或同时显示两个扩展现实体验的部分)。
在一些实施方案中，图10A至图10G中描述的技术和用户界面由图1A至图1P中描述的设备中的一个或多个设备来提供。例如，图10B2例示了其中图10B1中描述的建议1000显示在头戴式设备(HMD)X700的显示模块X702上的实施方案。在一些实施方案中，设备X700包括向同一用户的不同眼睛提供立体内容的一对显示模块。例如，HMD X700包括显示模块X702(其向用户的左眼提供内容)和第二显示模块(其向用户的右眼提供内容)。在一些实施方案中，第二显示模块显示与显示模块X702略微不同的图像以生成立体深度的错觉。
在图10B2处，HMD X700检测正在围绕HMD X700的物理环境中播放(例如，经由一个或多个麦克风和/或输入传感器706)的音频内容。HMD X700确定音频内容是歌曲，并且识别该歌曲和艺术家。响应于检测到正在HMD X700的环境中播放的音频内容，HMD X700显示建议1000。建议1000对应于音乐扩展现实体验，并且能够由用户选择以显示音乐扩展现实体验。例如，在所描绘的实施方案中，对建议1000的选择使得所检测到的歌曲被添加到音乐扩展现实体验内的播放列表。在一些实施方案中，对建议1000的选择使得HMD X700停止相机扩展现实体验714的显示并显示音乐扩展现实体验。在一些实施方案中，对建议1000的选择使得HMD X700显示音乐扩展现实体验，同时保持相机扩展现实体验714的显示(例如，同时显示两个扩展现实体验和/或同时显示两个扩展现实体验的部分)。
图1B至图1P所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在HMD X700中。例如，在一些实施方案中，HMD X700单独地或以任何组合方式包括HMD 1-100、1-200、3-100、6-100、6-200、6-300、6-400、11.1.1-100和/或11.1.2-100的特征部、部件和/或零件中的任一者。在一些实施方案中，显示模块X702单独地或以任何组合方式包括显示单元1-102、显示单元1-202、显示单元1-306、显示单元1-406、显示生成部件120、显示屏1-122a-b、第一后置显示屏1-322a和第二后置显示屏1-322b、显示器11.3.2-104、第一显示组件1-120a和第二显示组件1-120b、显示组件1-320、显示组件1-421、第一显示子组件1-420a和第二显示子组件1-420b、显示组件3-108、显示组件11.3.2-204、第一光学模块11.1.1-104a和第二光学模块11.1.1-104b、光学模块11.3.2-100、光学模块11.3.2-200、双凸透镜阵列3-110、显示区域或显示区6-232和/或显示器/显示区域6-334的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括传感器，该传感器单独地或以任何组合方式包括传感器190、传感器306、图像传感器314、图像传感器404、传感器组件1-356、传感器组件1-456、传感器系统6-102、传感器系统6-202、传感器6-203、传感器系统6-302、传感器6-303、传感器系统6-402和/或传感器11.1.2-110a-f中的任一者的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括一个或多个输入设备，该一个或多个输入设备单独地或以任何组合方式包括第一按钮1-128、按钮11.1.1-114、第二按钮1-132和/或拨盘或按钮1-328中的任一者的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括用于生成音频反馈(例如，音频输出X714-3)的一个或多个音频输出部件(例如，电子部件1-112)，该音频反馈任选地基于检测到的事件和/或由HMD X700检测到的用户输入来生成。
在图10C中，用户还没有选择建议1000，但是电子设备700的视点已经改变，如由来自图10B1至图10C的三维环境712的移动所指示的。在一些实施方案中，建议1000被显示为视点锁定的对象，使得即使当电子设备700的视点改变时，建议1000也显示在显示器702上的同一位置。在一些实施方案中，电子设备700是头戴式系统，并且被穿戴在用户的头上，使得用户的头部的移动(例如，用户的视点的改变)也引起电子设备700的视点的对应改变。在一些此类实施方案中，建议1000被显示为视点锁定的对象，使得即使当用户的视点改变(并且电子设备700的视点也由于电子设备700被安装到用户的头部而改变)时，建议1000继续显示在一个或多个显示生成部件的同一区域上。在一些实施方案中，建议1000被显示为与重力对准的对象。例如，在图10B1至图10C中，以与重力对准的取向显示建议1000，因为建议1000的底部边缘和/或建议1000中的字母的底部部分朝向地面(和/或地球的中心)，并且建议1000的顶部边缘和/或建议1000中的字母的顶部部分朝向天空。在一些实施方案中，随着电子设备700的取向和/或用户的视点的取向改变(例如，电子设备700被旋转并且/或者用户的头部旋转，同时电子设备700被安装到用户的头部)，建议1000以对应的方式被旋转，使得建议1000继续保持与重力对准。
在图10D处，电子设备700检测到在没有与建议1000的用户交互的情况下(例如，在没有用户选择建议1000的情况下)已经过去阈值时间量。响应于该确定，电子设备700停止建议1000的显示。
在图10E处，三维环境712已经改变为现在显示菜单。例如，电子设备700已经被移动并且/或者对象已经被移动到电子设备700的前面，使得电子设备700现在指向菜单。电子设备700基于由一个或多个相机(例如，输入传感器706)捕获的视觉内容来检测可翻译的文本(例如，菜单上的文本)。响应于该确定，电子设备700显示建议1004，该建议可被选择以显示翻译扩展现实体验(例如，翻译扩展现实体验的至少一部分)，包括菜单文本到不同语言的翻译。在图10E中，电子设备700(例如，经由输入传感器706)检测到用户正看向建议1004(如注视指示710所指示的)，并且检测用户输入1006。在所描绘的实施方案中，用户输入1006是经由按钮704c的按钮按压输入。然而，在一些实施方案中，用户输入1006是不同类型的输入，诸如由用户采取的手势或其他动作。例如，在一些实施方案中，电子设备700是头戴式系统，并且用户输入1006包括例如用户在穿戴电子设备700的同时执行手势(例如，空中手势)、在穿戴电子设备700的同时按压按钮、在穿戴电子设备700的同时旋转可旋转输入机构、提供基于注视的手势(例如，看向对象并且/或者以特定方式移动他或她的注视)、和/或前述的任何组合。
在图10F处，响应于用户输入1006(例如，响应于在用户正注视建议1004时检测到用户输入1006)，电子设备700停止建议1004的显示，并且显示作为翻译扩展现实体验(例如，图7A至图7K的翻译扩展现实体验742)的一部分的翻译对象1008a-1008e。在所描绘的实施方案中，显示翻译对象1008a-1008e，同时保持相机扩展现实体验714的显示，使得翻译扩展现实体验的至少一部分与相机扩展现实体验714的至少一部分同时显示。在一些实施方案中，响应于用户输入1006，电子设备700用翻译扩展现实体验(例如，图7A至图7K的翻译扩展现实体验742)替换相机扩展现实体验714的显示。在一些实施方案中，翻译对象1008a-1008e是基于对应菜单文本的移动而在显示器702上移动的环境锁定的对象(或世界锁定的对象)。在一些实施方案中，相机扩展现实体验714的对象716a-716e是即使在用户和/或电子设备700的视点改变时也保持其显示位置的视点锁定的对象。
图10G例示了另一个示例场景，其中用户正在向外行走，并且三维环境712示出用户和/或电子设备700在人行道上。在各种实施方案中，基于各种上下文标准(例如，基于用户的位置和/或电子设备700的位置、基于星期几和/或基于一天中的时间)，电子设备700确定用户可能将去工作。响应于该确定，电子设备700显示对应于导航扩展现实体验的建议1010。在一些实施方案中，建议1010可被选择以显示导航扩展现实体验，该导航扩展现实体验在一些实施方案中显示叠置在三维环境712上的导航指令。
关于图10A至图10G的附加描述参见下文关于图10A至图10G所描述的方法1100。
图11是根据一些实施方案的用于提供与扩展现实体验有关的建议的示例性方法11100的流程图。在一些实施方案中，方法1100在计算机系统(例如，700和/或X700)(例如，图1A中的计算机系统101)(例如，智能手机、智能手表、平板电脑、可穿戴设备和/或头戴式设备)处执行，该计算机系统与一个或多个显示生成部件(例如，702和/或X702)(例如，视觉输出设备、3D显示器、具有图像可投影在其上的透明或半透明的至少一部分的显示器(例如，透视显示器)、投影仪、平视显示器、和/或显示控制器)和一个或多个输入设备(例如，702、704a-704c、706、X702、X704a-X704c和/或X706)(例如，触敏表面(例如，触敏显示器)；鼠标；键盘；遥控器；视觉输入设备(例如，一个或多个相机(例如，红外相机、深度相机、可见光相机))；音频输入设备；和/或生物测定传感器(例如，指纹传感器、面部标识传感器和/或虹膜标识传感器))通信。在一些实施方案中，方法1100通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器(诸如计算机系统101的一个或多个处理器202)(例如，图1A中的控件110)执行的指令来管理。方法1100中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，当计算机系统(例如，700和/或X700)位于其中的三维环境(例如，712)的视图是可见的(1102)(例如，在计算机系统的视场内以及/或者经由计算机系统的一个或多个相机)时，计算机系统经由一个或多个输入设备(例如，706和/或X706)检测(1104)三维环境(例如，计算机系统位于其中并且/或者围绕计算机系统的物理环境)中的第一组条件。在一些实施方案中，第一组条件包括以下各项中的一项或多项：第一位置(例如，检测到计算机系统位于第一位置处)、第一时间、第一日期、第一组视觉条件(例如，用户的视场内以及/或者计算机系统的一个或多个相机视场内的第一组项目)；和/或第一组音频条件(例如，由计算机系统从计算机系统的环境接收并且/或者检测到的第一组音频内容)。在一些实施方案中，检测计算机系统的环境中的第一组条件包括检测计算机系统的环境中的条件从第二组条件到第一组条件的改变。响应于检测到三维环境中的第一组条件(1106)：计算机系统经由一个或多个显示生成部件(例如，702和/或X702)并且与计算机系统的三维环境(例如，712)的视图的至少一部分同时显示(1108)对应于第一增强现实体验的第一建议(例如，1000、1004和/或1010)，其中第一增强现实体验是(例如，基于第一组条件)从能够供计算机系统显示的多个增强现实体验中选择的(例如，不显示对应于多个增强现实体验中的第二增强现实体验的建议)。
在一些实施方案中，第一增强现实体验对应于第一应用程序。在一些实施方案中，当显示第一建议时，计算机系统经由一个或多个输入设备接收对应于对第一建议的选择的第一用户输入(例如，1006和/或710)(例如，一个或多个用户输入和/或第一组用户输入)(例如，一个或多个触摸输入、一个或多个手势、一个或多个空中手势和/或一个或多个注视输入)；并且响应于接收到第一用户输入，计算机系统经由一个或多个显示生成部件显示第一增强现实体验(例如，714和/或1008a-1008e)。在一些实施方案中，计算机系统检测计算机系统的环境中的与第一组条件不同的第二组条件；并且响应于在计算机系统的环境中检测到第二组条件，计算机系统显示第二建议(例如，1000、1004和/或1010)，该第二建议对应于与第一增强现实体验不同的第二增强现实体验并且基于第二组条件从多个增强现实体验中选择(例如，不显示第一建议和/或对应于第一增强现实体验的建议)。
在一些实施方案中，计算机系统是头戴式系统。在一些实施方案中，三维环境(例如，712)是通过在其上显示第一建议和/或第一增强现实体验的透明显示生成部件(例如，透明光学透镜显示器)对用户可见的光学透传环境(例如，物理的真实环境)。在一些实施方案中，计算机系统的三维环境(例如，712)是光学透传环境，并且当计算机系统的三维环境的至少一部分通过在其上显示第一建议的一个或多个透明显示器可见时，通过显示第一建议，该第一建议与计算机系统的三维环境的视图的至少一部分同时显示。在一些实施方案中，三维环境(例如，712)是由一个或多个显示生成部件显示的虚拟三维环境。在一些实施方案中，三维环境(例如，712)是由一个或多个显示生成部件显示的虚拟透传环境(例如，作为用户的物理的真实世界环境的虚拟表示的虚拟透传环境(例如，如由与计算机系统通信的一个或多个相机所捕获的))。响应于检测到三维环境中的第一组条件而显示对应于第一增强现实体验的第一建议允许用户以更少的用户输入来激活相关增强现实体验，从而减少执行操作所需的用户输入的数量。响应于检测到三维环境中的第一组条件而显示对应于第一增强现实体验的第一建议向用户提供关于系统的状态(例如，系统已经检测到三维环境中的第一组条件)的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，虽然第二三维环境(例如，712)(例如，与三维环境相同和/或与三维环境不同)的视图是可见的(例如，在计算机系统的视场内以及/或者经由计算机系统的一个或多个相机)，但计算机系统经由一个或多个输入设备(例如，706和/或X706)检测第二三维环境中的一个或多个对象(例如，在图10E中，电子设备700和/或HMD X700检测菜单文本)(例如，在由计算机系统的一个或多个相机捕获的视频内容中标识的一个或多个对象和/或由计算机系统标识的一个或多个对象(例如，基于自动图像识别和/或自动对象识别))。响应于在第二三维环境中检测到第一组对象：根据确定第二三维环境中的一个或多个对象包括第一组对象，计算机系统经由一个或多个显示生成部件并且与第二三维环境(例如，712)的视图的至少一部分同时显示对应于第二增强现实体验的第二建议(例如，1000、1004和/或1010)；并且根据确定第二三维环境中的一个或多个对象包括与第一组对象不同的第二组对象，计算机系统经由一个或多个显示生成部件并且与第二三维环境(例如，712)的视图的至少一部分同时显示对应于与第二增强现实体验不同的第三增强现实体验的第三建议(例如，1000、1004和/或1010)(例如，不显示对应于第二增强现实体验的第二建议)。基于在三维环境中检测到的对象和/或基于用户的位置自动地显示对增强现实体验的建议允许用户以更少的用户输入来激活相关增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，第一增强现实体验(例如，714和/或1008a-1008e)是基于由计算机系统接收(例如，检测和/或测量)的音频内容(例如，在图10B1至图10C中，电子设备700和/或HMD X700显示对应于基于附近播放的音乐的音乐扩展现实体验的建议1000)(例如，由计算机系统的一个或多个麦克风接收的音频内容和/或从计算机系统位于其中的环境接收的音频内容)从能够供计算机系统显示的多个增强现实体验中选择的。基于在计算机系统的环境中检测到的音频内容来自动地显示对应于第一增强现实体验的第一建议允许用户以更少的用户输入来激活相关增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，三维环境(例如，712)是透传环境(例如，光学透传环境和/或虚拟透传环境)；并且对应于第一增强现实体验的第一建议(例如，1000、1004和/或1010)叠置在透传环境上。响应于检测到三维环境中的第一组条件而显示对应于叠置在三维环境上的第一增强现实体验的第一建议允许用户以更少的用户输入来激活相关增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当显示对应于第一增强现实体验的第一建议(例如，1000、1004和/或1010)时，计算机系统经由一个或多个输入设备接收接受用户输入(例如，1006和/或710)(例如，对应于显示第一增强现实经验的用户请求(例如，一个或多个用户输入和/或一组用户输入)(例如，一个或多个用户注视输入、一个或多个用户手部输入(例如，手部移动、手部手势和/或空中手势)、和/或一个或多个物理控制输入(例如，一次或多次按钮按压、对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次旋转和/或对其按压)))。响应于接收到接受用户输入，计算机系统经由一个或多个显示生成部件并且与计算机系统的三维环境(例如，712)的视图的至少一部分同时显示第一增强现实体验(例如，响应于用户输入1006，电子设备700和/或HMD X700显示对应于翻译扩展现实体验的对象1008a-1008e)(在一些实施方案中，计算机系统显示叠置在计算机系统的三维环境的视图的至少一部分上的第一增强现实体验)。
在一些实施方案中，计算机系统(例如，700和/或X700)是头戴式系统。在一些实施方案中，三维环境(例如，712)是通过在其上显示第一增强现实体验的透明显示生成部件(例如，透明光学透镜显示器)对用户可见的光学透传环境(例如，物理的真实环境)。在一些实施方案中，计算机系统的三维环境(例如，712)是光学透传环境，并且第一增强现实体验(例如，714和/或1008a-1008e)通过显示第一增强现实体验而与计算机系统的三维环境的视图的至少一部分同时显示，同时计算机系统的三维环境的至少一部分通过在其上显示第一增强现实体验的一个或多个透明显示器可见。在一些实施方案中，三维环境(例如，712)是由一个或多个显示生成部件(例如，702和/或X702)显示的虚拟三维环境。在一些实施方案中，三维环境(例如，712)是由一个或多个显示生成部件显示的虚拟透传环境(例如，作为用户的物理的真实世界环境的虚拟表示的虚拟透传环境(例如，如由与计算机系统通信的一个或多个相机所捕获的))。显示允许用户显示第一增强现实体验的第一建议允许用户以更少的用户输入来激活相关增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，接受用户输入包括对应于第一建议(例如，指向并且/或者位于第一建议上的用户注视)的第一注视输入(例如，图10E中的710)。在一些实施方案中，接受用户输入包括满足第一组注视持续时间标准的第一注视输入(例如，朝向第一建议并且在第一建议上保持阈值持续时间(例如，没有中断并且/或者具有小于阈值量的中断)的用户注视)。在一些实施方案中，当显示对应于第一增强现实体验的第一建议(例如，1004)时，计算机系统接收用户输入(例如，图10E中的1006和/或710)(例如，一个或多个用户注视输入、一个或多个用户手部输入(例如，手部移动、手部手势和/或空中手势)、和/或一个或多个物理控制输入(例如，一次或多次按钮按压、对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次旋转和/或对其按压))。响应于接收到用户输入：根据确定用户输入包括对应于第一建议(例如，图10E中的710)的注视输入(在一些实施方案中，根据确定用户输入包括对应于满足注视阈值标准的第一建议的注视输入(例如，对应于第一建议的注视被保持达阈值持续时间))，计算机系统经由一个或多个显示生成部件并且与计算机系统的三维环境(例如，712)的视图的至少一部分同时显示第一增强现实体验(例如，在图10F中，响应于图10E中的用户输入1006和注视输入710，电子设备700和/或HMD X700显示对应于翻译扩展现实体验的对象1008a-1008e)；根据确定用户输入不包括对应于第一建议的注视输入(例如，如果在图10E中，用户不看向对象1004)(在一些实施方案中，根据确定用户输入不包括对应于满足注视阈值标准的第一建议的注视输入)，计算机系统放弃显示第一增强现实体验。使得用户能够基于注视输入来显示第一增强现实体验允许用户以更少的用户输入来激活相关增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，接受用户输入包括对应于第一建议(例如，指示对第一建议的选择并且/或者朝向第一建议的手部输入)的第一手部输入(例如，1006和/或空中手势)(例如，来自用户的手部的用户输入(例如，触摸输入、手势和/或空中手势))。在一些实施方案中，接受用户输入包括注视输入(例如，图10E中的710)和手部输入(例如，1006和/或空中手势)(例如，与注视输入同时发生的手部输入；和/或当用户的注视朝向第一建议时发生并且/或者检测到的手部输入)。在一些实施方案中，当显示对应于第一增强现实体验的第一建议(例如，1004)时，计算机系统接收用户输入(例如，图10E中的710和/或1006)(例如，一个或多个用户注视输入、一个或多个用户手部输入(例如，手部移动、手部手势和/或空中手势)、和/或一个或多个物理控制输入(例如，一次或多次按钮按压、对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次旋转和/或对其按压))。响应于接收到用户输入：根据确定用户输入包括对应于第一建议的手部输入(例如，1006)(在一些实施方案中，根据确定用户输入包括注视输入(例如，图10E中的710)和对应于第一建议(例如，1004)的手部输入(例如，1006))，计算机系统经由一个或多个显示生成部件并且与计算机系统的三维环境的视图的至少一部分同时显示第一增强现实体验(例如，对象1008a-1008e)；根据确定用户输入不包括对应于第一建议的手部输入(在一些实施方案中，根据确定用户输入不包括注视输入和对应于第一建议的手部输入)，计算机系统放弃显示第一增强现实体验。使得用户能够基于手部输入来显示第一增强现实体验允许用户以更少的用户输入来激活相关增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，接受用户输入包括经由物理输入机构(例如，704c)(例如，按钮、可旋转输入机构和/或可旋转且可按压输入机构)的物理控制输入(例如，1006)(例如，对按钮的按压、可移动物理输入机构的移动和/或对可按压物理输入机构的按压)。在一些实施方案中，接受用户输入包括物理控制输入(例如，1006)和注视输入(例如，图10E中的710)(例如，与注视输入同时发生的物理控制输入；和/或当用户的注视朝向第一建议时发生并且/或者检测到的物理控制输入)。在一些实施方案中，当显示对应于第一增强现实体验的第一建议(例如，1004)时，计算机系统接收用户输入(例如，图10E中的710和/或1006)(例如，一个或多个用户注视输入、一个或多个用户手部输入(例如，手部移动、手部手势和/或空中手势)、和/或一个或多个物理控制输入(例如，一次或多次按钮按压、对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次旋转和/或对其按压))。响应于接收到用户输入：根据确定用户输入包括对应于第一建议(例如，1004)的物理控制输入(例如，1006)(在一些实施方案中，根据确定用户输入包括注视输入(例如，图10E中的710)和对应于第一建议的物理控制输入(例如，1006))，计算机系统经由一个或多个显示生成部件并且与计算机系统的三维环境(例如，712)的视图的至少一部分同时显示第一增强现实体验(例如，对象1008a-1008e)；根据确定用户输入不包括对应于第一建议的物理控制输入(在一些实施方案中，根据确定用户输入不包括注视输入和对应于第一建议的物理控制输入)，计算机系统放弃显示第一增强现实体验。使得用户能够基于物理控制输入来显示第一增强现实体验允许用户以更少的用户输入来激活相关增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当显示第一增强现实体验(例如，714)时，计算机系统经由第一物理控件(例如，704a-704c和/或X704a-X704c)(例如，物理按钮、可旋转输入机构、可按压输入机构、和/或可旋转且可按压输入机构)(例如，一个或多个输入设备的第一物理控件)接收一个或多个用户输入(例如，图7B至图7H中的用户输入718、727、729和740)的第一序列(例如，对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次按压和/或其旋转)。响应于接收到一个或多个用户输入的第一序列：计算机系统停止第一增强现实体验的显示；并且经由一个或多个显示生成部件并且与计算机系统的三维环境的视图的至少一部分同时显示与第一增强现实体验不同的第二增强现实体验(例如，图7B至图7H中的用户输入718、727、729和740导致电子设备700停止相机扩展现实体验714的显示并且显示翻译扩展现实体验742)(在一些实施方案中，计算机系统显示叠置在计算机系统的三维环境的视图的至少一部分上的第二增强现实体验)。
在一些实施方案中，计算机系统(例如，700和/或X700)是头戴式系统。在一些实施方案中，三维环境(例如，712)是通过在其上显示第一增强现实体验(例如，714明显示生成部件(例如，透明光学透镜显示器)对用户可见的光学透传环境(例如，物理的真实环境)。在一些实施方案中，计算机系统的三维环境(例如，712)是光学透传环境，并且第二增强现实体验(例如，742)通过显示第二增强现实体验而与计算机系统的三维环境的视图的至少一部分同时显示，同时计算机系统的三维环境的至少一部分通过在其上显示第二增强现实体验的一个或多个透明显示器可见。在一些实施方案中，三维环境(例如，712)是由一个或多个显示生成部件(例如，702和/或X702)显示的虚拟三维环境。在一些实施方案中，三维环境(例如，712)是由一个或多个显示生成部件(例如，702和/或X702)显示的虚拟透传环境(例如，作为用户的物理的真实世界环境的虚拟表示的虚拟透传环境(例如，如由与计算机系统通信的一个或多个相机所捕获的))。使得用户能够利用物理控件上的一个或多个用户输入来在增强现实体验之间切换允许用户以更少的用户输入来在增强现实体验之间切换，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当显示第一建议(例如，1000、1004和/或1010)时，计算机系统确定满足第一组排除标准，其中第一组排除标准包括当第一建议已经显示了阈值持续时间而计算机系统的用户没有提供接受第一建议的用户输入时满足的第一标准(例如，图10B1至图10D)(例如，选择第一建议和/或对应于显示第一增强现实体验和/或对应于第一建议的增强现实体验的请求的用户输入)。响应于确定满足第一组排除标准，计算机系统停止第一建议的显示(例如，在图10C至图10D中，电子设备700停止建议1000的显示)。在一些实施方案中，当显示第一建议时，计算机系统确定不满足第一组排除标准。响应于确定不满足第一组排除标准，计算机系统保持第一建议的显示(例如，在图10B1至图10C中，电子设备700保持建议1000的显示)。当满足第一组排除标准时自动地停止第一建议的显示允许用户以更少的用户输入来停止第一建议的显示，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，在显示与第一增强现实体验不同的第二增强现实体验时检测到第一组条件(例如，在图10B1至图10D中，显示相机扩展现实体验714)。在一些实施方案中，显示对应于第一增强现实体验的第一建议包括：显示对应于第一增强现实体验的第一建议(例如，1000)，同时保持第二增强现实体验(例如，图10B1至图10D中的714)的显示。在一些实施方案中，第一增强现实体验对应于第一应用程序(例如，建议1000对应于音乐应用程序)，并且第二增强现实体验对应于与第一应用程序不同的第二应用程序(例如，相机扩展现实体验714对应于相机应用程序)。响应于检测到三维环境中的第一组条件而显示对应于第一增强现实体验的第一建议允许用户以更少的用户输入来激活相关增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当显示对应于第一增强现实体验的第一建议(例如，1000、1004和/或1010)时，计算机系统经由一个或多个输入设备接收第二接受用户输入(例如，图10E中的1006和/或710)(例如，对应于显示第一增强现实经验的用户请求)(例如，一个或多个用户输入和/或一组用户输入)(例如，一个或多个用户注视输入、一个或多个用户手部输入(例如，手部移动、手部手势和/或空中手势)、和/或一个或多个物理控制输入(例如，一次或多次按钮按压、对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次旋转和/或对其按压))。响应于接收到第二接受用户输入，计算机系统停止第二增强现实体验的显示(例如，在一些实施方案中，在图10F中，电子设备700停止相机扩展现实体验714的显示)；并且经由一个或多个显示生成部件并且与计算机系统的三维环境(例如，712)的视图的至少一部分同时显示第一增强现实体验(例如，对象1008a-1008e和/或翻译扩展现实体验742)(在一些实施方案中，计算机系统显示叠置在计算机系统的三维环境的视图的至少一部分上的第一增强现实体验)。显示允许用户从第二增强现实体验切换到第一增强现实体验的第一建议允许用户以更少的用户输入来切换到相关增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当显示对应于第一增强现实体验的第一建议(例如，1000、1004和/或1010)时，计算机系统经由一个或多个输入设备接收第三接受用户输入(例如，图10E中的1006和/或710)(例如，对应于显示第一增强现实经验的用户请求)(例如，一个或多个用户输入和/或一组用户输入)(例如，一个或多个用户注视输入、一个或多个用户手部输入(例如，手部移动、手部手势和/或空中手势)、和/或一个或多个物理控制输入(例如，一次或多次按钮按压、对可按压输入机构的一次或多次按压、可旋转输入机构的一次或多次旋转、和/或可旋转且可按压输入机构的一次或多次旋转和/或对其按压))。响应于接收到第三接受用户输入，计算机系统经由一个或多个显示生成部件(例如，702和/或X702)并且与计算机系统的三维环境(例如，712)的视图的至少一部分同时显示第一增强现实体验(例如，1008a-1008e)(在一些实施方案中，显示叠置在计算机系统的三维环境的视图的至少一部分上的第一增强现实体验)，同时保持第二增强现实体验(例如，714)的显示(例如，与计算机系统的三维环境的视图的至少一部分同时显示第一增强现实体验和第二增强现实体验)。显示允许用户同时显示第二增强现实体验和第一增强现实体验的第一建议允许用户以较少的用户输入来激活相关增强现实体验，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，显示第一建议(例如，1000、1004和/或1010)包括在一个或多个显示生成部件的第一显示区域中显示第一建议。在一些实施方案中，当在一个或多个显示生成部件的第一显示区域中显示第一建议(例如，1000、1004和/或1010)时，计算机系统检测用户的视点从在第一方向上被引导(例如，用户的面部在第一方向上被引导并且/或者计算机系统的第一相机在第一方向上被引导)到在与第一方向不同的第二方向上被引导(例如，用户的面部在第二方向上被引导并且/或者计算机系统的第一相机在第二方向上被引导)的改变(例如，检测用户的头部的旋转和/或移动并且/或者检测头戴式设备和/或其他可穿戴设备(例如，用户的头部穿戴的可穿戴设备)的旋转和/或移动)(例如，在图10B1至图10C中，电子设备700和/或HMD X700的视点移动，如由三维环境712的移动所指示的；在一些实施方案中，其中电子设备700是头戴式系统，电子设备700和/或HMD X700的视点的移动指示用户的视点的改变，因为用户正在他或她的头上穿戴电子设备700)。在检测到用户的视点从在第一方向上被引导到在第二方向上被引导的改变之后，并且当用户的视点在第二方向上被引导时(例如，图10C)，计算机系统经由一个或多个显示生成部件在一个或多个显示生成部件的第一显示区域中显示第一建议(例如，根据图10B1至图10C，即使当电子设备700和/或HMD X700的视点移动时，建议1000也被保持在显示器702上的同一位置)(例如，即使当用户的视点移动时第一建议也继续显示在一个或多个显示生成部件的第一区域中)。在一些实施方案中，第一建议是当用户的视点相对于三维环境移动时，停留在计算机系统的用户的视场的相应区域中的视点锁定的对象。将第一建议显示为视点锁定的对象通过将第一建议保持在用户的视线内而通过帮助用户提供适当的输入并且减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，显示第一建议包括以其中第一建议与重力对准的第一取向显示第一建议(例如，在图10B1和/或图10B2中，建议1000以使建议1000与重力对准的取向显示，因为字母的底部朝向地面，并且字母的顶部朝向天空)(例如，第一建议具有底部部分和顶部部分，并且底部部分比顶部部分更靠近地面和/或地球的中心显示)。当在第一取向上显示第一建议时，计算机系统检测用户的视点的取向改变(例如，检测用户的头部的旋转和/或移动并且/或者检测头戴式耳机和/或其他可穿戴设备(例如，穿戴在用户头部上的可穿戴设备)的旋转和/或移动)(例如，用户旋转电子设备700和/或HMD X700，并且/或者在电子设备700和/或HMD X700是头戴式系统的实施方案中，当电子设备700和/或HMD X700被安装到用户头部时，用户旋转他或她的头部)。响应于检测到用户的视点的取向改变，计算机系统基于用户的视点的取向改变将第一建议从第一取向旋转到第二取向(例如，与第一取向不同的第二取向)以继续使第一建议与重力对准(例如，在图7B中，如果用户旋转电子设备700(或者如果用户将电子设备700安装到他或她的头部并且旋转他或她的头部))，则旋转建议1000以将建议1000保持在与重力对准的取向(例如，字母的底部指向地面并且字母的顶部指向天空)(例如，以使得第一建议保持与重力对准的方式显示第一建议(例如，第一建议具有底部部分和顶部部分，并且即使当用户移动和/或旋转他或她的视场时，底部部分保持比顶部部分更靠近地面和/或地球的中心))。在一些实施方案中，第一建议与重力对准(例如，以第一建议保持与重力对准的方式显示第一建议(例如，第一建议具有底部部分和顶部部分，并且即使当用户移动和/或旋转他或她的视场时，底部部分保持比顶部部分更靠近地面和/或地球的中心))。在一些实施方案中，当计算机系统检测到计算机系统的旋转时，计算机系统基于计算机系统的旋转来旋转第一建议，使得第一建议的底部部分保持比第一建议的顶部部分更靠近地面和/或地球的中心。将第一建议显示为与重力对准的视点锁定的对象通过将第一建议保持在用户的视线内且保持一致对准(即使在用户移动并且/或者计算机系统移动时)而通过帮助用户提供适当的输入并且减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，将第一建议从第一取向旋转到第二取向包括：在检测到用户的视点的取向改变之后的第一时间处，经由一个或多个显示生成部件在第一取向上显示第一建议，其中在该第一时间处，第一建议至少部分地由于用户的视点的取向改变而不与重力对准；以及在第一时间之后的第二时间处，经由一个或多个显示生成部件在第二取向上显示第一建议以使第一建议与重力对准。在一些实施方案中，计算机系统显示第一建议随时间从第一取向到第二取向的逐渐旋转。在一些实施方案中，在第一时间之后且在第二时间之前的第三时间处，计算机系统经由一个或多个显示生成部件在与第一取向和第二取向不同的第三取向上显示第一建议，其中第三取向在第一取向与第二取向之间(例如，处于第一取向的角度与第二取向的角度之间的角度)。在一些实施方案中，第一建议表现出惰性跟随行为(例如，相对于检测到的用户的物理移动(例如，相对于检测到的用户的头部的物理移动)并且/或者相对于检测到的计算机系统的物理移动减少或延迟第一建议的运动的行为)。将第一建议显示为表现出惰性跟随行为的视点锁定的对象，向用户提供关于系统的状态的视觉反馈(例如，当用户的头部移动时系统有意地移动第一建议)，从而向用户提供改进的视觉反馈。
在一些实施方案中，方法800、900、1100、1300和/或1500的各方面/操作可在这些方法之间互换、替换和/或添加。例如，在一些实施方案中，方法800中的增强现实体验是方法900和/或1100中的扩展现实体验。又如，在一些实施方案中，方法1500中的虚拟内容包括与方法800中的增强现实体验和/或方法900和/或1100中的扩展现实体验有关的虚拟内容。再如，在一些实施方案中，方法1300中的计算机系统是方法800、900、1100和/或1500中的任一个方法中的计算机系统。为了简明起见，此处不再重复这些细节。
图12A至图12K例示了用于基于注视的交互的技术的示例。图13是用于基于注视的交互的示例性方法1300的流程图。图12A至图12K中的用户界面用于例示下文描述的过程，包括图13中的过程。
图12A描绘了电子设备700，该电子设备是包括触敏显示器702和一个或多个输入传感器706(例如，一个或多个相机、眼睛注视跟踪器、手部移动跟踪器和/或头部移动跟踪器)的智能电话。在下文描述的一些实施方案中，电子设备700是智能电话。在一些实施方案中，电子设备700是平板电脑、可穿戴设备、可穿戴智能手表设备、头戴式系统(例如，头戴式耳机)或包括一个或多个显示设备(例如，显示屏、投影设备等)以及/或者与该一个或多个显示设备通信的其他计算机系统。电子设备700是计算机系统(例如，图1A中的计算机系统101)。
在图12A处，电子设备700显示指示电子设备700处于锁定状态的锁定屏幕用户界面1200。在图12A处，电子设备还显示对象1202。在图12A中，电子设备700检测到(例如，经由一个或多个相机、眼睛注视跟踪器和/或输入传感器706)用户没有注视对象1202，如注视指示710所指示的。如上文所论述，注视指示710被提供用于更好地理解所描述的技术，并且任选地不是所描述的设备的用户界面的一部分(例如，不是由电子设备700显示的)。在图12B处，电子设备700检测到(例如，经由一个或多个相机、眼睛注视跟踪器和/或输入传感器706)用户现在正看向对象1202。
在图12C处，响应于确定用户正看向对象1202，电子设备700停止对象1202的显示，并且显示指令1204和注视目标1206。如图12C所示，指令1204显示在对象1202所显示的同一位置处。在图12D处，电子设备700检测到(例如，经由一个或多个相机、眼睛注视跟踪器和/或输入传感器706)用户正看向注视目标1206。
在图12E处，响应于确定用户看向注视目标1206，电子设备700显示注视目标1206向右的移动。此外，在图12E中，电子设备700检测到用户的注视正在跟踪注视目标1206的移动。在图12E中，响应于确定用户的注视正在跟踪注视目标1206的移动，电子设备700输出音频输出1208。在一些实施方案中，随着注视目标1206向右移动，并且随着用户继续用他或她的注视跟踪注视目标1206的移动，音频输出1208逐渐变得更响。
图12F显示第一场景，其中用户连续地(或基本上连续地)跟踪注视目标1206到显示器702的右下角的移动。响应于确定用户已经成功地跟踪了注视目标1206随着他或她的注视到目的地位置的移动，电子设备700输出第二音频输出1209以指示用户已经成功地跟踪了注视目标1206随着他或她的注视的移动。在图12G1处，响应于用户已经成功地跟踪了注视目标1206随着他或她的注视到目的地注视目标位置的移动，电子设备700从锁定状态过渡到解锁状态，并且用新用户界面替换锁定屏幕用户界面1200的显示，该新用户界面是叠置在三维环境712上的音乐扩展现实体验1210。在一些实施方案中，三维环境712由显示器显示(如图12G1所描绘的)。在一些实施方案中，三维环境712包括虚拟环境或由一个或多个相机(例如，作为输入传感器706的一部分的一个或多个相机和/或图12G1中未示出的一个或多个相机)捕获的物理环境的图像(或视频)。在一些实施方案中，三维环境712是在扩展现实体验1210后面对用户可见的，但不是由显示器显示的。例如，在一些实施方案中，三维环境712是在扩展现实体验1210后面(例如，透过透明显示器)对用户可见而不是由显示器显示的物理环境。
在一些实施方案中，图12A至图12K中描述的技术和用户界面由图1A至图1P中描述的设备中的一个或多个设备来提供。例如，图12G2至图12G7例示了其中对象1202、指令1204和注视目标1206是头戴式设备(HMD)X700的显示模块X702的实施方案。在一些实施方案中，设备X700包括向同一用户的不同眼睛提供立体内容的一对显示模块。例如，HMD X700包括显示模块X702(其向用户的左眼提供内容)和第二显示模块(其向用户的右眼提供内容)。在一些实施方案中，第二显示模块显示与显示模块X702略微不同的图像以生成立体深度的错觉。
在图12G2处，HMD X700检测到(例如，经由一个或多个相机、眼睛注视跟踪器和/或输入传感器706)用户现在正看向对象1202。
在图12G3处，响应于确定用户正看向对象1202，HMD X700停止对象1202的显示，并且显示指令1204和注视目标1206。如图12G3所示，指令1204显示在对象1202所显示的同一位置处。在图12G4处，HMD X700检测到(例如，经由一个或多个相机、眼睛注视跟踪器和/或输入传感器X706)用户正看向注视目标1206。
在图12G5处，响应于确定用户看向注视目标1206，HMD X700显示注视目标1206向右的移动。此外，在图12G5中，HMD X700检测到用户的注视正在跟踪注视目标1206的移动。在图12G5中，响应于确定用户的注视正在跟踪注视目标1206的移动，HMD X700输出音频输出1208。在一些实施方案中，随着注视目标1206向右移动，并且随着用户继续用他或她的注视跟踪注视目标1206的移动，音频输出1208逐渐变得更响。
图12G6显示第一场景，其中用户连续地(或基本上连续地)跟踪注视目标1206到显示器702的右下角的移动。响应于确定用户已经成功地跟踪了注视目标1206随着他或她的注视到目的地位置的移动，HMD X700输出第二音频输出1209以指示用户已经成功地跟踪了注视目标1206随着他或她的注视的移动。在图12G7处，响应于用户已经成功地跟踪了注视目标1206随着他或她的注视到目的地注视目标位置的移动，HMD X700从锁定状态过渡到解锁状态，并且用新用户界面替换锁定屏幕用户界面1200的显示，该新用户界面是叠置在三维环境712上的音乐扩展现实体验1210。在一些实施方案中，三维环境712由显示器显示(如图12G7所描绘的)。在一些实施方案中，三维环境712包括虚拟环境或由一个或多个相机(例如，作为输入传感器X706的一部分的一个或多个相机和/或图12G7中未示出的一个或多个相机)捕获的物理环境的图像(或视频)。在一些实施方案中，三维环境712是在扩展现实体验1210后面对用户可见的，但不是由显示器显示的。例如，在一些实施方案中，三维环境712是在扩展现实体验1210后面(例如，透过透明显示器)对用户可见而不是由显示器显示的物理环境。
图1B至图1P所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在HMD X700中。例如，在一些实施方案中，HMD X700单独地或以任何组合方式包括HMD 1-100、1-200、3-100、6-100、6-200、6-300、6-400、11.1.1-100和/或11.1.2-100的特征部、部件和/或零件中的任一者。在一些实施方案中，显示模块X702单独地或以任何组合方式包括显示单元1-102、显示单元1-202、显示单元1-306、显示单元1-406、显示生成部件120、显示屏1-122a-b、第一后置显示屏1-322a和第二后置显示屏1-322b、显示器11.3.2-104、第一显示组件1-120a和第二显示组件1-120b、显示组件1-320、显示组件1-421、第一显示子组件1-420a和第二显示子组件1-420b、显示组件3-108、显示组件11.3.2-204、第一光学模块11.1.1-104a和第二光学模块11.1.1-104b、光学模块11.3.2-100、光学模块11.3.2-200、双凸透镜阵列3-110、显示区域或显示区6-232和/或显示器/显示区域6-334的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括传感器，该传感器单独地或以任何组合方式包括传感器190、传感器306、图像传感器314、图像传感器404、传感器组件1-356、传感器组件1-456、传感器系统6-102、传感器系统6-202、传感器6-203、传感器系统6-302、传感器6-303、传感器系统6-402和/或传感器11.1.2-110a-f中的任一者的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括一个或多个输入设备，该一个或多个输入设备单独地或以任何组合方式包括第一按钮1-128、按钮11.1.1-114、第二按钮1-132和/或拨盘或按钮1-328中的任一者的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括用于生成音频反馈(例如，音频输出X714-3)的一个或多个音频输出部件(例如，电子部件1-112)，该音频反馈任选地基于检测到的事件和/或由HMD X700检测到的用户输入来生成。
图12H描绘了第二场景，其中用户未能连续地(或基本上连续地)跟踪注视目标1206一直到其在显示器702的右下角的目的地位置的移动。在图12H中，电子设备700检测到(例如，经由一个或多个相机、一个或多个注视跟踪器和/或输入传感器706)在注视目标1206到达其目的地位置之前，用户已停止用他或她的注视跟踪注视目标1206的移动。响应于该确定，电子设备700停止音频输出1208的输出，并且停止注视目标1206向右的移动。在一些实施方案中，电子设备700完全停止注视目标1206的移动。在一些实施方案中，电子设备700将注视目标1206向左移回其原始位置(例如，如图12D所示)。
在图12I处，电子设备700检测到用户没有看向注视目标1206超过阈值持续时间。响应于该确定，电子设备700停止指令1204和注视目标1206的显示，并且重新显示对象1202。
图12J描绘了另选实施方案，其中注视目标1214被显示为沿轨道1216移动。轨道1216向用户提供对注视目标1214的初始位置以及注视目标1214的预期目的地位置(例如，在轨道1216的最右侧)的指示。图12K描绘了继续沿轨道1216移动并且接近其最终目的地位置的注视目标1214。
关于图12A至图12K的附加描述参见下文关于图12A至图12K描述的方法1300。
图13是根据一些实施方案的用于基于注视的交互的示例性方法1300的流程图。在一些实施方案中，方法1300在计算机系统(例如，700)(例如，图1A中的计算机系统101)(例如，智能手机、智能手表、平板电脑、可穿戴设备和/或头戴式设备)处执行，该计算机系统与一个或多个显示生成部件(例如，702)(例如，视觉输出设备、3D显示器、具有图像可投影在其上的透明或半透明的至少一部分的显示器(例如，透视显示器)、投影仪、平视显示器、和/或显示控制器)和一个或多个输入设备(例如，702、704a-704c和/或706)(例如，触敏表面(例如，触敏显示器)；鼠标；键盘；遥控器；视觉输入设备(例如，一个或多个相机(例如，红外相机、深度相机、可见光相机))；音频输入设备；和/或生物测定传感器(例如，指纹传感器、面部标识传感器和/或虹膜标识传感器))通信。在一些实施方案中，方法1300通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器(诸如计算机系统101的一个或多个处理器202)(例如，图1A中的控件110)执行的指令来管理。方法1300中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个输入设备(例如，706)检测(1302)对应于一个或多个显示生成部件(例如，图12B)的第一显示位置的用户的注视(例如，710)(例如，检测到用户正在注视(例如，看向)第一显示位置并且/或者检测到用户的眼睛(例如，虹膜和/或瞳孔)的位置和/或取向对应于第一显示位置)。响应于检测到对应于一个或多个显示生成部件的第一显示位置的用户的注视(1304)，计算机系统经由一个或多个显示生成部件(例如，702和/或X702)显示(1306)第一对象(例如，1206)。在一些实施方案中，第一对象显示在第一显示位置处。在一些实施方案中，第一对象显示在与第一显示位置不同的第二显示位置处。当显示第一对象时，计算机系统检测到(1308)第一组标准被满足。在一些实施方案中，第一组标准包括当计算机系统检测到用户正看向第一对象时满足的标准。在一些实施方案中，第一对象显示在与第一显示位置不同的第二显示位置处，并且第一组标准包括当检测到对应于第二显示位置的用户注视时满足的标准(例如，当检测到用户正看向第一对象时满足的标准)。响应于检测到第一组标准被满足(1310)，计算机系统经由一个或多个显示生成部件显示(1312)第一对象的移动(例如，图12D至图12F中的1206的移动)(例如，从第一显示位置到第二显示位置或从第二显示位置到第三显示位置)。在显示第一对象的移动之后(1314)：根据确定用户的注视满足指示对第一对象的移动的注视跟踪的第二组标准，计算机系统执行(1316)第一操作(例如，图12F至图12H，电子设备700和/或HMD X700从锁定状态过渡到解锁状态)；并且根据确定用户的注视不满足指示对第一对象的移动的注视跟踪的第二组标准，计算机系统放弃执行(1318)第一操作(例如，图12H至图12I，电子设备700放弃从锁定状态过渡到解锁状态)。
在一些实施方案中，第二组标准包括当用户的注视以与第一对象的移动一致的方式移动时满足的标准(例如，图12D至图12F)。在一些实施方案中，第二组标准包括当用户的注视跟踪第一对象的移动时满足的标准(例如，图12D至图12F)。在一些实施方案中，第二组标准包括当用户的注视在第一对象的移动期间保持在第一对象上时满足的标准(例如，图12D至图12F)。在一些实施方案中，第一操作包括以下项中的一项或多项：对计算机系统进行解锁；授权第一交易(例如，支付交易和/或非支付交易)；显示第一用户界面。在一些实施方案中，计算机系统是头戴式系统。在一些实施方案中，检测对应于一个或多个显示生成部件的第一显示位置的用户的注视包括在计算机系统的至少一部分被穿戴在用户的身体上(例如，在用户的头上)时检测对应于一个或多个显示生成部件的第一显示位置的用户的注视。根据确定用户的注视满足指示对第一对象的移动的注视跟踪的第二组标准来执行第一操作允许用户以更少的用户输入来执行第一操作，从而减少执行操作所需的用户输入的数量。根据确定用户的注视满足指示对第一对象的移动的注视跟踪的第二组标准来执行第一操作向用户提供关于系统的状态的视觉反馈(例如，系统已经检测到用户的注视满足第二组标准)，从而向用户提供改进的视觉反馈。
在一些实施方案中，在检测到对应于一个或多个显示生成部件的第一显示位置的用户的注视之前，计算机系统经由一个或多个显示生成部件在第一显示位置处显示与第一对象(例如，1206)不同的初始对象(例如，1202)。在第一显示位置处显示初始对象通过建议用户应当看向第一显示位置而通过帮助用户提供适当的输入并且减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，响应于检测到对应于一个或多个显示生成部件(例如，图12B)的第一显示位置的用户的注视(在一些实施方案中，响应于检测到对应于第一显示位置的用户的注视达阈值持续时间)，计算机系统改变初始对象的外观(例如，根据图12B至图12C，电子设备700和/或HMD X700将初始对象1202改变成文本1204)(例如，改变初始对象的形状、颜色、亮度、不透明度、饱和度和/或大小)(在一些实施方案中，计算机系统停止初始对象的显示并且/或者用不同的对象替换初始对象的显示)。响应于检测到对应于第一显示位置的用户的注视而改变初始对象的外观向用户提供关于系统的状态(例如，系统已经检测到用户在第一显示位置处的注视)的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，持久性地显示初始对象(例如，1202)而不显示第一对象(例如，1206)(例如，持久性地显示初始对象而不显示第一对象且计算机系统开启并且/或者计算机系统处于锁定状态)。在第一显示位置处持久性地显示初始对象通过建议用户应当看向第一显示位置而通过帮助用户提供适当的输入并且减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，响应于检测到对应于一个或多个显示生成部件的第一显示区域的用户的注视(例如，检测到用户正在注视第一显示区域并且/或者在第一显示区域内)，在第一显示位置处显示初始对象(例如，1202)，其中第一显示区域大于第一显示位置并且包括第一显示位置(例如，在一些实施方案中，响应于用户的注视正在靠近并且/或者接近显示器702和/或X702的左下角而显示对象1202)。在一些实施方案中，响应于用户看向一个或多个显示生成部件的第一显示区域而显示初始对象，并且响应于用户看向一个或多个显示生成部件的第一显示位置而显示第一对象。响应于检测到对应于第一显示区域的用户的注视而在第一显示位置处显示初始对象向用户提供关于系统的状态(例如，系统已经检测到对应于第一显示区域的用户的注视)的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，响应于检测到对应于一个或多个显示生成部件的第一显示位置的用户的注视，计算机系统经由一个或多个显示生成部件并且与第一对象(例如，1206)同时显示第一指令(例如，1204)(例如，文本指令和/或视觉指令)，该第一指令指示用户看向第一对象(例如，
“看向圆圈”并且/或者“注视跟随圆圈”)。显示供用户看向第一对象的指令通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，第一组标准包括当计算机系统检测到对应于(例如，指向并且/或者位于)第一显示位置(例如，显示器702和/或X702的左下角)的用户注视(例如，710)达阈值持续时间(例如，0.25秒、0.5秒、0.75秒和/或1秒)(例如，没有中断并且/或者具有小于阈值量的中断)时满足的第一标准。基于确定用户已经看向第一显示位置达阈值持续时间来移动第一对象确保了用户可能看到第一对象的移动，这通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，第一组标准包括当计算机系统检测到对应于(例如，指向并且/或者位于)第一对象(例如，1206)的用户注视(例如，710)(在一些实施方案中，达阈值持续时间(例如，0.25秒、0.5秒、0.75秒和/或1秒)(例如，没有中断并且/或者具有小于阈值量的中断))时满足的第二标准。基于确定用户正看向第一对象来移动第一对象确保了用户可能看到第一对象的移动，这通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，当显示第一对象(例如，1206)时，计算机系统检测到用户的注视(例如，710)指向一个或多个显示生成部件的不对应于第一显示位置或第一对象的显示区域(例如，图12H)(例如，用户正看向不包括第一显示位置或第一对象的显示区域并且/或者用户没有正看向第一显示位置或第一对象)。响应于检测到用户的注视指向一个或多个显示生成部件的不对应于第一显示位置或第一对象的显示区域，计算机系统停止第一对象的显示(例如，图12H至图12I)。当用户停止看向第一显示位置或者第一对象向用户建议用户应当看向第一对象时停止第一对象的显示，这通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，显示第一对象(例如，图12D至图12F中的1206)的移动包括以第一预定移动速率(例如，恒定移动速率和/或独立于用户的注视确定的移动速率)显示第一对象的移动。显示第一对象的移动向用户建议用户应当看向第一对象，这帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，显示第一对象(例如，图12D至图12F中的1206)的移动包括以第一移动速率(例如，恒定移动速率和/或可变移动速率)显示第一对象的移动，其中第一移动速率基于用户的注视(例如，图12D至图12F中的710)来确定(例如，对象的移动速率基于用户用他们的注视跟踪第一对象的平滑程度并且/或者基于用户的注视的移动速率而改变(例如，如果用户的注视跟踪第一对象的移动，则第一对象以恒定速率和/或默认速率移动，如果用户的注视移动到第一对象前面，则第一对象移动得更快，并且/或者如果用户的注视落在第一对象的移动后面，则第一对象移动得更慢))。显示第一对象的移动向用户建议用户应当看向第一对象，这帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，第二组标准包括当用户的注视(例如，图12D至图12F中的710)的移动满足相对于第一对象的移动(例如，图12D至图12F中的1206)的相似性标准时满足的第二标准(例如，用户的注视的加速度、移动速度和/或移动路径满足相对于第一对象的加速度、移动速度和/或移动路径的相似性标准和/或阈值)。根据确定用户的注视满足指示对第一对象的移动的注视跟踪的第二组标准来执行第一操作允许用户以更少的用户输入来执行第一操作，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，第二组标准包括当用户的注视(例如，图12D至图12F中的710)的移动满足指示用户的注视的移动的平滑度的平滑度标准时满足的平滑移动标准(例如，包括小于阈值加速度的加速度的移动；停留在一个或多个显示生成部件的预定义显示区域内的用户的注视的移动；停留在预定义移动路径内的用户的注视的移动；和/或用户的注视的比阈值更平滑的移动)。根据确定用户的注视满足指示对第一对象的移动的注视跟踪的第二组标准来执行第一操作允许用户以更少的用户输入来执行第一操作，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，确定用户的注视(例如，图12D至图12F中的710)的移动是否满足平滑移动标准排除了扫视(例如，一个或多个突然的、快速的、小的并且/或者无意识的眼睛移动)(例如，具有小于阈值持续时间的持续时间的用户的注视远离第一对象的移动)。当评估用户的注视的移动时忽略扫视通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，显示第一对象的移动(例如，图12D至图12F中的1206)包括显示第一对象从初始位置(例如，图12D中的1206)到目的地位置(例如，图12F中的1206)的移动；并且第二组标准包括当用户的注视(例如，710)移动到(例如，达到和/或到达)目的地位置(例如，图12F中的710)时满足的第三标准。根据确定用户的注视满足指示对第一对象的移动的注视跟踪的第二组标准来执行第一操作允许用户以更少的用户输入来执行第一操作，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当显示第一对象(例如，图12D至图12F中的1206)的移动时，计算机系统经由一个或多个显示生成部件并且与第一对象的移动同时显示指示目的地位置的目的地指示(例如，图12J中的轨道1216)(例如，在目的地位置处显示视觉指示并且/或者显示第一对象沿着其移动并且在目的地位置处结束的移动轨道)。显示指示目的地位置的目的地指示通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误来增强计算机系统的可操作性。
在一些实施方案中，当显示第一对象(例如，图12D至图12F中的1206)的移动时，并且在第一对象到达目的地位置之前，计算机系统经由一个或多个输入设备检测对应于目的地位置的用户的注视(例如，710)(例如，检测到用户的注视已经移动到并且/或者已经到达目的地位置)。响应于检测到对应于目的地位置的用户的注视(并且任选地，在第一对象到达目的地位置之前)，计算机系统执行第一操作(例如，在图12F至图12G7中，解锁计算机系统)。根据确定用户的注视满足指示对第一对象的移动的注视跟踪的第二组标准来执行第一操作允许用户以更少的用户输入来执行第一操作，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，第二组标准包括当用户的注视(例如，710)移动到(达到和/或到达)目的地位置(例如，图12J中的显示器702的右下角和/或轨道1216的末端)并且保持在目的地位置处达阈值持续时间(例如，没有中断和/或没有阈值量的中断)时满足的第四标准。在一些实施方案中，确定用户的注视满足第二组标准包括确定用户的注视(例如，710)移动到目的地位置并且保持在目的地位置处达阈值持续时间。在一些实施方案中，确定用户的注视不满足第二组标准包括确定用户的注视不移动到目的地位置和/或确定用户的注视不保持在目的地位置处达阈值持续时间。在一些实施方案中，在显示第一对象的移动之后：根据确定用户的注视移动到目的地位置并且保持在目的地位置处达阈值持续时间，计算机系统执行第一操作；并且根据确定用户的注视没有移动到目的地位置并且/或者根据确定用户的注视没有保持在目的地位置处达阈值持续时间，计算机系统放弃执行第一操作。根据确定用户的注视满足指示对第一对象的移动的注视跟踪的第二组标准来执行第一操作允许用户以更少的用户输入来执行第一操作，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，显示第一对象的移动(例如，图12D至图12F中的1206)包括显示第一对象从初始位置(例如，图12D中的1206)到目的地位置(例如，图12F中的1206)的移动。根据确定用户的注视不满足指示对第一对象的移动的注视跟踪的第二组标准，计算机系统在初始位置处显示第一对象(例如，将第一对象移回到初始位置)(例如，在图12H中，电子设备700将对象1206移回到其初始位置，如图12D所示)。根据确定用户的注视不满足第二组标准将第一对象移回到其初始位置向用户提供关于系统的状态的视觉反馈(例如，系统已经检测到用户的注视不满足第二组标准)，从而向用户提供改进的视觉反馈。
在一些实施方案中，执行第一操作包括使计算机系统从锁定状态(例如，图12F)(例如，其中计算机系统的一个或多个特征、功能和/或内容片段被锁定并且/或者不可访问的状态)过渡到解锁状态(例如，图12G1)(例如，其中先前在锁定状态下被锁定并且/或者不可访问的计算机系统的一个或多个特征、功能和/或内容片段现在是可访问的状态)。根据确定用户的注视满足指示对第一对象的移动的注视跟踪的第二组标准来解锁计算机系统允许用户以更少的用户输入来解锁计算机系统，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当显示第一对象(例如，图12D至图12F中的1206)的移动时：根据确定用户的注视满足指示朝向满足第二组标准的进展的进展标准(例如，根据确定用户的注视以阈值水平的准确度跟踪第一对象的移动)，计算机系统提供第一音频输出(例如，1208)(例如，输出音频输出并且/或者输出一个或多个声音)(例如，连续音频输出和/或周期音频输出)。在一些实施方案中，当显示第一对象的移动时：根据确定用户的注视不满足指示朝向满足第二组标准的进展的进展标准，计算机系统放弃提供第一音频输出(例如，在图12H中，电子设备700不输出音频输出1208)。当用户的注视满足进展标准时提供音频输出提供关于系统的状态的反馈(例如，系统已经检测到用户的注视满足进展标准)，从而向用户提供改进的反馈。
在一些实施方案中，在显示第一对象(例如，图12D至图12F中的1206)的移动之后：根据确定用户的注视满足指示对第一对象的移动的注视跟踪的第二组标准，计算机系统提供指示用户的注视满足第二组标准的第二音频输出(例如，1209)(例如，输出音频输出并且/或者输出一个或多个声音)。在一些实施方案中，在显示第一对象的移动之后：根据确定用户的注视不满足指示对第一对象的移动的注视跟踪的第二组标准，计算机系统放弃提供第二音频输出(例如，在图12H中，电子设备700不输出音频输出1209)。当用户的注视满足第二组标准时提供音频输出提供关于系统的状态的反馈(例如，系统已经检测到用户的注视满足第二组标准)，从而向用户提供改进的反馈。
在显示第一对象(例如，图12D至图12F中的1206)的移动时并且在提供第一音频输出(例如，1208)之后(例如，当提供第一音频输出时)(例如，在确定用户的注视不再满足指示朝向满足第二组标准的进展的进展标准之后)：根据确定用户的注视不再满足指示朝向满足第二组标准的进展的进展标准(例如，根据确定用户的注视不再以阈值水平的准确度跟踪第一对象的移动)，停止第一音频输出的输出(例如，在图12H中，电子设备700不输出音频输出1208)(或者，在一些实施方案中，减小第一音频输出的音量并且/或者输出与第一音频输出不同的第三音频输出)。在一些实施方案中，当显示第一对象(例如，图12D至图12F中的1206)的移动时并且在提供第一音频输出(例如，1208)之后：根据确定用户的注视继续满足指示朝向满足第二组标准的进展的进展标准，继续提供第一音频输出(例如，保持第一音频输出)。当用户的注视不满足进展标准时停止第一音频输出提供关于系统的状态的反馈(例如，系统已经检测到用户的注视不满足进展标准)，从而向用户提供改进的反馈。
在一些实施方案中，方法800、900、1100、1300和/或1500的各方面/操作可在这些方法之间互换、替换和/或添加。例如，在一些实施方案中，方法800中的增强现实体验是方法900和/或1100中的扩展现实体验。又如，在一些实施方案中，方法1500中的虚拟内容包括与方法800中的增强现实体验和/或方法900和/或1100中的扩展现实体验有关的虚拟内容。再如，在一些实施方案中，方法1300中的计算机系统是方法800、900、1100和/或1500中的任一个方法中的计算机系统。为了简明起见，此处不再重复这些细节。
图14A至图14L例示了用于与虚拟内容进行交互的技术的示例。图15是用于与虚拟内容进行交互的示例性方法1500的流程图。图14A至图14L中的用户界面用于例示下文所述的过程，包括图15中的过程。
图14A描绘了电子设备700，该电子设备是包括触敏显示器702、按钮704a-704c和一个或多个输入传感器706(例如，一个或多个相机、眼睛注视跟踪器、手部移动跟踪器和/或头部移动跟踪器)的智能电话。在下文描述的一些实施方案中，电子设备700是智能电话。在一些实施方案中，电子设备700是平板电脑、可穿戴设备、可穿戴智能手表设备、头戴式系统(例如，头戴式耳机)或包括一个或多个显示设备(例如，显示屏、投影设备等)以及/或者与该一个或多个显示设备通信的其他计算机系统。电子设备700是计算机系统(例如，图1A中的计算机系统101)。
在图14A中，电子设备700显示以上参照图7A至图7K讨论的翻译扩展现实体验742(例如，增强现实体验和/或虚拟现实体验)。翻译扩展现实体验742叠置显示在三维环境712上，该三维环境在图14A中示出菜单。翻译扩展现实体验742包括对象744a-744d，并且还包括翻译对象750a-750e，这些翻译对象表示三维环境712的菜单中的文本的翻译。在一些实施方案中，三维环境712由显示器显示(如图14A所描绘的)。在一些实施方案中，三维环境712包括虚拟环境或由一个或多个相机(例如，作为输入传感器706的一部分的一个或多个相机和/或图14A中未示出的一个或多个相机)捕获的物理环境的图像(或视频)。在一些实施方案中，三维环境712是在翻译扩展现实体验742后面对用户可见的，但不是由显示器显示的。例如，在一些实施方案中，三维环境712是在扩展现实体验712后面(例如，透过透明显示器)对用户可见而不是由显示器显示的物理环境。
在图14A中，电子设备700还显示对象1400a(例如，当前时间指示)、对象1400b(例如，wifi强度指示)和对象1400c(例如，电池电量指示)。在一些实施方案中，对象1400a-1400c对应于系统用户界面和/或系统应用程序(例如，操作系统)，而对象744a-744d和750a-750e对应于翻译扩展现实体验(例如，翻译应用程序)。在图14A中，电子设备700检测由用户1402执行的手势1404，其中用户1402在电子设备700前面从右到左(例如，从用户的角度)刷他的手1406。在一些实施方案中，手势1404对应于清除(例如，停止显示)一些或所有虚拟内容的请求。在一些实施方案中，响应于手势1404并且根据确定手势1404满足一个或多个标准，电子设备700清除所显示的一些或所有虚拟内容，如下文将更详细地描述的。在一些实施方案中，该一个或多个标准包括要求在远离用户的面部的阈值距离和/或远离电子设备700的阈值距离处执行手势1404的标准。例如，在一些实施方案中，电子设备700是头戴式系统，并且可能的是，过于接近用户面部的姿势的检测可能会导致正误识(例如，如果用户正在擦拭他或她的嘴或者用户正在刮擦他或她的面部)。在一些实施方案中，该一个或多个标准包括要求在用户的面部的阈值距离内并且/或者在电子设备700的阈值距离内执行手势1404的标准。例如，在一些实施方案中，电子设备700是头戴式系统，并且用户远离用户的头部(例如，在用户的躯干或腰部的前面)执行某些手势，并且用户在用户的面部前面执行某些手势。因此，在一些实施方案中，该一个或多个标准包括要求在远离用户的面部至少第一阈值距离处(例如，最小距离要求)但也在远离用户的面部的第二阈值距离内(例如，最大距离要求)执行手势1404的标准。
在图14B处，电子设备700经由显示器702显示用户的手部1406(例如，因为用户的手部1406正被电子设备700的一个或多个相机拍摄和/或捕获)。响应于姿势1404，电子设备700显示对象744a-744d和750a-750e(对应于翻译扩展现实体验742)离开显示器702的移动。在图14C中，随着姿势1404继续，电子设备700继续显示对象744a-744d和750a-750e离开显示器702的移动。在图14D1中，随着姿势1404进一步继续，电子设备700已完全地停止对象744a-744d和750a-750e的显示(例如，已将它们从显示器702完全地移开)。此外，响应于手势1404的完成(例如，响应于满足完成标准的手势1404)，电子设备700显示指示1408，该指示指示用户可以利用重新显示手势来重新显示对象744a-744d和750a-750e，如下面将更详细地描述的。在一些实施方案中，如果用户在满足完成标准之前停止手势1404(例如，在对象744a-744d和750a-750e完全移动离开显示器702之前并且/或者在手势1404横穿阈值距离之前)，那么电子设备700将已将对象744a-744d和750a-750e移动回到其原始显示位置，如图14A所示。
在一些实施方案中，电子设备700是头戴式系统。在一些此类实施方案中，对象744a-744d和750a-750e是由头戴式系统的一个或多个显示生成部件显示的虚拟对象，并且三维环境712是通过透明显示生成部件对用户可见但未被显示生成部件显示的光学透传环境。在一些实施方案中，当显示对象744a-744d和750a-750e时，用户能够看到三维环境712，但是用户的视线被显示在物理三维环境712的顶部并且/或者叠置在其上的对象744a-744d和750a-750e阻碍。因此，通过执行手势1404，用户能够清除叠置在光学透传三维环境712上的一些和/或所有虚拟内容，以便更清楚地看到光学透传三维环境712。
在一些实施方案中，图14A至图14L中描述的技术和用户界面由图1A至图1P中描述的设备中的一个或多个设备来提供。例如，图14D2至图14D4例示了其中在图14B至图14D1中描述的动画显示在头戴式设备(HMD)X700的显示模块X702上的实施方案。在一些实施方案中，设备X700包括向同一用户的不同眼睛提供立体内容的一对显示模块。例如，HMD X700包括显示模块X702(其向用户的左眼提供内容)和第二显示模块(其向用户的右眼提供内容)。在一些实施方案中，第二显示模块显示与显示模块X702略微不同的图像以生成立体深度的错觉。
在图14D2处，HMD X700经由显示模块X702显示用户的手部1406(例如，因为用户的手部1406正被HMD X700的一个或多个相机拍摄和/或捕获)。响应于姿势1404，HMD X700显示对象744a-744d和750a-750e(对应于翻译扩展现实体验742)离开显示模块X702的移动。在图14D3中，随着姿势1404继续，HMD X700继续显示对象744a-744d和750a-750e离开显示模块X702的移动。在图14D4中，随着姿势1404进一步继续，HMD X700已完全地停止对象744a-744d和750a-750e的显示(例如，已将它们从显示模块X702完全地移开)。此外，响应于手势1404的完成(例如，响应于满足完成标准的手势1404)，HMD X700显示指示1408，该指示指示用户可以利用重新显示手势来重新显示对象744a-744d和750a-750e，如下面将更详细地描述的。在一些实施方案中，如果用户在满足完成标准之前停止手势1404(例如，在对象744a-744d和750a-750e完全移动离开显示器702之前并且/或者在手势1404横穿阈值距离之前)，那么HMD X700将已将对象744a-744d和750a-750e移动回到其原始显示位置，如图14A所示。
图1B至图1P所示的特征部、部件和/或零件中的任一者(包括其布置和配置)可单独地或以任何组合方式包括在HMD X700中。例如，在一些实施方案中，HMD X700单独地或以任何组合方式包括HMD 1-100、1-200、3-100、6-100、6-200、6-300、6-400、11.1.1-100和/或11.1.2-100的特征部、部件和/或零件中的任一者。在一些实施方案中，显示模块X702单独地或以任何组合方式包括显示单元1-102、显示单元1-202、显示单元1-306、显示单元1-406、显示生成部件120、显示屏1-122a-b、第一后置显示屏1-322a和第二后置显示屏1-322b、显示器11.3.2-104、第一显示组件1-120a和第二显示组件1-120b、显示组件1-320、显示组件1-421、第一显示子组件1-420a和第二显示子组件1-420b、显示组件3-108、显示组件11.3.2-204、第一光学模块11.1.1-104a和第二光学模块11.1.1-104b、光学模块11.3.2-100、光学模块11.3.2-200、双凸透镜阵列3-110、显示区域或显示区6-232和/或显示器/显示区域6-334的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括传感器，该传感器单独地或以任何组合方式包括传感器190、传感器306、图像传感器314、图像传感器404、传感器组件1-356、传感器组件1-456、传感器系统6-102、传感器系统6-202、传感器6-203、传感器系统6-302、传感器6-303、传感器系统6-402和/或传感器11.1.2-110a-f中的任一者的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括一个或多个输入设备，该一个或多个输入设备单独地或以任何组合方式包括第一按钮1-128、按钮11.1.1-114、第二按钮1-132和/或拨盘或按钮1-328中的任一者的特征部、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括用于生成音频反馈(例如，音频输出X714-3)的一个或多个音频输出部件(例如，电子部件1-112)，该音频反馈任选地基于检测到的事件和/或由HMD X700检测到的用户输入来生成。
在图14A至图14D1中，响应于姿势1404，电子设备700停止对应于翻译扩展现实体验742的对象744a-744d和750a-750e的显示，但保持对应于系统应用程序和/或操作系统的对象1400a-1400c的显示。图14E至图14F描绘了其中虚拟内容的不同子集响应于手势1404而被清除的第二示例场景，并且图14G至图14H描绘了其中附加虚拟内容响应于手势1404而被清除的第三示例场景。
在图14E处，当姿势1404被检测到和/或发起时，电子设备700检测到(例如，经由一个或多个相机、一个或多个注视跟踪器和/或输入传感器706)用户正看向翻译对象750a-750e(如注视指示710所指示的)。在图14E中，响应于姿势1404的第一部分，并且基于确定当姿势1404被发起时用户正看向翻译对象750a-750e，电子设备700开始将对象750a-750d向左移动，同时保持对象744a-744d和1400a-1400c的显示(例如，不移动对象744a-744d和1400a-1400c)。在图14F中，响应于手势1404的继续，电子设备700将对象750a-750e从显示器702完全地移开并且停止对象750a-750e的显示，同时保持对象744a-744d和1400a-1400c的显示。因此，在图14E至图14F所示的实施方案中，用户能够通过看向用户希望清除的虚拟内容并执行手势1404来选择性地清除所显示的虚拟内容的某些子集。
图14G至图14H描绘了其中响应于手势1404而清除附加虚拟内容的第三示例场景。在图14G处，响应于用户开始手势1404(例如，响应于手势1404的第一部分)，电子设备700开始从右到左移动对象744a-744d、750a-750e和1400a-1400c。在一些实施方案中，三维环境712不被移动，因为三维环境712是背景内容，并且对象744a-744d、750a-750e和1400a-1400c基于确定这些对象表示前景内容而被移动。在一些实施方案中，三维环境712是光学透传环境，并且未被显示器显示，而是通过一个或多个透明显示生成部件对用户可见的物理环境。在一些此类实施方案中，对象744a-744d、750a-750e和1400a-1400c表示在显示器702上显示的所有虚拟内容，并且电子设备700移动并且/或者停止所有虚拟内容的显示。在图14H处，响应于手势1404的继续，电子设备700将对象744a-744d、750a-750e和1400a-1400c从显示器702完全地移开并且停止这些对象的显示。
在图14H处，电子设备700显示指示1408，如上所述，该指示指示用户能够提供一个或多个用户输入并且/或者执行一个或多个手势以重新显示被清除的虚拟内容。在图14H中，当显示指示1408时，电子设备700检测(例如，经由一个或多个相机和/或输入传感器706)手势1410，其中用户1402将他的手1406从左向右(从用户的角度)滑动。在图14I处，当用户执行手势1410时，电子设备700显示手1406。响应于手势1410的第一部分，电子设备停止指示1408的显示，并且显示从左到右移动回到显示器702上的所清除的虚拟对象的至少一个子集。在图14J处，响应于手势1410的继续，电子设备700继续显示对象744a-744d、750a-750e和1400a-1400c从左到右的移动，直到它们到达它们的最终显示位置。
图14K至图14L例示了根据各种实施方案的示例场景，其中在用户已经清除虚拟内容之后，用户不在阈值持续时间内重新显示虚拟内容。在图14K中，在手势1404之后(例如，在用户已经清除虚拟内容之后)已经经过了阈值持续时间。响应于检测到已经经过了阈值持续时间，电子设备700输出音频输出1412，并且显示其中指示1408从显示器702移开的动画。在图14L处，指示1408不再被显示，从而指示用户不再能够重新显示经由手势1404清除的虚拟内容。在一些实施方案中，当电子设备700处于图14L所示的状态时，即使用户执行手势1410，电子设备700也不重新显示所清除的虚拟内容。
关于图14A至图14L的附加描述参见下文关于图14A至图14L描述的方法1500。
图15是根据一些实施方案的用于与虚拟内容进行交互的示例性方法1500的流程图。在一些实施方案中，方法1500在计算机系统(例如，700和/或X700)(例如，图1A中的计算机系统101)(例如，智能手机、智能手表、平板电脑、可穿戴设备和/或头戴式设备)处执行，该计算机系统与一个或多个显示生成部件(例如，702和/或X702)(例如，视觉输出设备、3D显示器、具有图像可投影在其上的透明或半透明的至少一部分的显示器(例如，透视显示器)、投影仪、平视显示器、和/或显示控制器)和一个或多个输入设备(例如，702、704a-704c、706、X702、X704a-X704c和/或X706)(例如，触敏表面(例如，触敏显示器)；鼠标；键盘；遥控器；视觉输入设备(例如，一个或多个相机(例如，红外相机、深度相机、可见光相机))；音频输入设备；和/或生物测定传感器(例如，指纹传感器、面部标识传感器和/或虹膜标识传感器))通信。在一些实施方案中，方法1500通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器(诸如计算机系统101的一个或多个处理器202)(例如，图1A中的控件110)执行的指令来管理。方法1500中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个显示生成部件(例如，702和/或X702)显示(1502)虚拟内容(例如，1400a-1400c、742、744a-744d和/或750a-750e)(例如，增强现实体验和/或扩展现实体验)。在一些实施方案中，虚拟内容在三维环境(例如，712)(例如，虚拟三维环境、虚拟透传三维环境和/或光学透传三维环境)中显示(例如，应用于三维环境、叠置在三维环境上以及/或者与三维环境同时显示)。当显示虚拟内容时(1504)，计算机系统经由一个或多个输入设备检测(1506)计算机系统的用户的面部前面的第一手势(例如，1404)(例如，一个或多个手势、一个或多个空中手势、第一组手势和/或第一组空中手势)。响应于检测到第一手势(1508)：根据确定用户的面部前面的第一手势满足第一组标准(1510)，计算机系统停止(1512)虚拟内容的至少一部分(例如，虚拟内容的一些或全部)的显示(例如，在图14D1、图14D4、图14F和图14H中，电子设备700和/或HMDX700停止虚拟内容(例如，1400a-1400c、742、744a-744d和/或750a-750e)的至少一部分的显示)；并且根据确定用户的面部前面的第一手势不满足第一组标准(1514)，计算机系统保持(1516)虚拟内容(例如，1400a-1400c、742、744a-744d和/或750a-750e)的显示。
在一些实施方案中，虚拟内容(例如，1400a-1400c、742、744a-744d和/或750a-750e)包括在三维环境(例如，712)中显示(例如，应用于三维环境、叠置在三维环境上并且/或者与三维环境同时显示)的第一扩展现实体验(例如，742、742a-744d和/或750a-750e)(例如，增强现实体验、混合现实体验和/或虚拟现实体验)，并且停止虚拟内容的至少一部分的显示包括停止第一扩展现实体验的显示。在一些实施方案中，计算机系统(例如，700和/或X700)是头戴式系统。在一些实施方案中，检测用户的面部前面的第一手势(例如，1404)包括经由穿戴在用户的头部上的一个或多个相机(例如，706和/或X706)检测第一手势。在一些实施方案中，虚拟内容(例如，1400a-1400c、742、744a-744d和/或750a-750e)在三维环境(例如，712)中显示。在一些实施方案中，三维环境是通过在其上显示虚拟内容的透明显示生成部件(例如，透明光学透镜显示器)对用户可见的光学透传环境(例如，物理的真实环境)。在一些实施方案中，三维环境是由一个或多个显示生成部件显示的虚拟三维环境。在一些实施方案中，三维环境是由一个或多个显示生成部件显示的虚拟透传环境(例如，作为用户的物理的真实世界环境的虚拟表示的虚拟透传环境(例如，如由与计算机系统通信的一个或多个相机所捕获的))。响应于检测到第一手势而停止虚拟内容的至少一部分的显示允许用户以更少的用户输入来清除虚拟内容，从而减少执行操作所需的用户输入的数量。根据确定用户的面部前面的第一手势满足第一组标准而停止虚拟内容的至少一部分的显示向用户提供关于系统的状态的视觉反馈(例如，系统已经检测到第一手势并且确定第一手势满足第一组标准)，从而向用户提供改进的视觉反馈。
在一些实施方案中，确定用户的面部前面的第一手势(例如，1404)满足第一组标准包括确定第一手势的速度(例如，用户的手部移动的速度)满足速度标准(例如，第一手势的速度大于最小速度并且/或者小于最大速度)。在一些实施方案中，第一组标准包括基于第一手势的移动速度而满足的速度标准。确定第一手势是否满足速度标准通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误(例如，通过限制手势的错误检测和/或手势的无意检测)来增强计算机系统的可操作性。
在一些实施方案中，确定用户的面部前面的第一手势(例如，1404)满足第一组标准包括确定在执行第一手势时用户的手部距用户的面部的距离满足距离标准(例如，用户的手部距用户的面部的距离大于最小距离并且/或者小于最大距离)。在一些实施方案中，第一组标准包括基于用户的手部在该手部正执行第一手势时的距离而满足的距离标准。确定第一手势是否满足距离标准通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误(例如，通过限制手势的错误检测和/或手势的无意检测)来增强计算机系统的可操作性。
在一些实施方案中，第一组标准包括在执行第一手势(例如，1404)时当用户的手部(例如，1406)距用户的面部的距离大于最小距离阈值时满足的第一标准。确定第一手势是否满足距离标准通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误(例如，通过限制手势的错误检测和/或手势的无意检测)来增强计算机系统的可操作性。
在一些实施方案中，第一组标准包括在执行第一手势(例如，1404)时当用户(例如，1402)的手(例如，1406)距用户的面部的距离小于最大距离阈值时满足的第二标准。确定第一手势是否满足距离标准通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误(例如，通过限制手势的错误检测和/或手势的无意检测)来增强计算机系统的可操作性。
在一些实施方案中，确定用户的面部前面的第一手势(例如，1404)满足第一组标准包括确定第一手势(例如，1404)的位置(例如，用户的视场内和/或计算机系统的一个或多个相机的视场内的位置)(例如，第一手势相对于计算机系统、相对于计算机系统的一个或多个相机、相对于用户的面部和/或相对于用户的另一身体部位的位置)满足位置标准(例如，第一手势在相对于计算机系统和/或相对于计算机系统的一个或多个相机的第一距离范围和/或第一角度范围内执行；并且/或者第一手势不在相对于计算机系统和/或相对于计算机系统的一个或多个相机的第二距离范围和/或第二角度范围内执行)。在一些实施方案中，第一组标准包括基于用户的手部(例如，1406)在该手部正执行第一手势(例如，1404)时的位置而满足的手部位置标准。确定第一手势是否满足位置标准通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误(例如，通过限制手势的错误检测和/或手势的无意检测)来增强计算机系统的可操作性。
在一些实施方案中，确定用户的面部前面的第一手势(例如，1404)不满足第一组标准包括确定第一手势在计算机系统(例如，700和/或X700)的视场的第一预定部分内执行(例如，基于计算机系统的一个或多个相机)。确定第一手势是否满足位置标准通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误(例如，通过限制手势的错误检测和/或手势的无意检测)来增强计算机系统的可操作性。
在一些实施方案中，确定用户的面部前面的第一手势(例如，1404)满足第一组标准包括确定第一手势的方向满足定向标准(例如，第一手势的方向相对于用户的面部在横向(例如，左到右和/或右到左)方向上并且/或者相对于用户的面部不在竖直(例如，顶部到底部和/或底部到顶部)方向上)。在一些实施方案中，第一组标准包括基于用户的手部(例如，1406)在该手部正执行第一手势(例如，1406)时的移动方向而满足的手势方向标准。确定第一手势是否满足定向标准通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误(例如，通过限制手势的错误检测和/或手势的无意检测)来增强计算机系统的可操作性。
在一些实施方案中，虚拟内容包括虚拟环境(例如，712)(例如，用户和/或用户的表示位于其中的虚拟环境和/或围绕用户和/或用户的表示的虚拟环境)。响应于检测到第一手势而停止虚拟内容的至少一部分的显示允许用户以更少的用户输入来清除虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，虚拟内容(例如，742、744a-744d、750a-750d和/或1400a-1400c)包括叠置在三维增强现实环境(例如，712)(例如，光学透传环境和/或虚拟透传环境)上的虚拟内容，该三维增强现实环境包括表示计算机系统位于其中的三维环境的一个或多个元素(例如，是计算机系统位于其中的三维环境的虚拟表示(例如，虚拟透传环境)或者是计算机系统通过透明显示生成部件所位于的实际三维环境的视图(例如，光学透传环境))，并且任选地包括一个或多个虚拟元素。响应于检测到第一手势而停止虚拟内容的至少一部分的显示允许用户以更少的用户输入来清除虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，停止虚拟内容(例如，742、744a-744d、750a-750d和/或1400a-1400c)的至少一部分的显示包括停止虚拟内容(例如，742、744a-744d、750a-750d和/或1400a-1400c)(例如，图14H)(例如，所有虚拟内容和/或由一个或多个显示生成部件显示的所有虚拟内容)的显示。响应于检测到第一手势而停止虚拟内容的显示允许用户以更少的用户输入来清除虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，停止虚拟内容(例如，742、744a-744d、750a-750d和/或1400a-1400c)的至少一部分的显示包括停止虚拟内容的第一部分的显示(例如，停止图14F中的翻译对象750a-750e的显示)，同时保持虚拟内容的第二部分的显示(例如，保持图14F中的对象1400a-1400c和/或744a-744d的显示)。响应于检测到第一手势而停止虚拟内容的一部分的显示允许用户以更少的用户输入来清除虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，停止虚拟内容的第一部分的显示，同时保持虚拟内容的第二部分的显示包括：根据确定在检测到第一手势(例如，1404)时用户的注视(例如，图14A和/或图14B中的710)指向虚拟内容的第一部分(例如，用户正看向虚拟内容的第一部分)(例如，在图14A至图14B中，用户的注视指向翻译对象750a-750e)，停止虚拟内容的第一部分的显示(例如，在图14F中，停止翻译对象750a-750e的显示)；并且根据确定在检测到第一手势时用户的注视不指向虚拟内容的第二部分(例如，在图14A至图14B中，用户的注视不指向对象1400a-1400c和/或744a-744d)(例如，用户没有正看向虚拟内容的第二部分)，保持虚拟内容的第二部分的显示(例如，在图14F中，保持对象1400a-1400c和/或744a-744d的显示)。响应于检测到第一手势而停止用户正看向的虚拟内容的一部分的显示允许用户以更少的用户输入来清除虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，虚拟内容的第一部分对应于第一应用程序(例如，对象744a-744d和750a-750e对应于翻译应用程序和/或翻译扩展现实体验)(例如，是由第一应用程序生成和/或产生的虚拟内容)；虚拟内容的第二部分对应于系统用户界面(例如，对象1400a-1400c对应于系统用户界面)(例如，是由计算机系统的操作系统生成的虚拟内容，不是由第一应用程序生成和/或产生的虚拟内容，并且/或者是由与第一应用程序不同的第二应用程序生成的虚拟内容)；并且停止虚拟内容的第一部分的显示，同时保持虚拟内容的第二部分的显示包括：根据确定虚拟内容的第一部分对应于第一应用程序，停止虚拟内容的第一部分的显示(例如，在图14D1和/或图14D4中，电子设备700和/或HMD X700停止对象744a-744和750a-750e的显示)；以及根据确定虚拟内容的第二部分对应于系统用户界面，保持虚拟内容的第二部分的显示(例如，在图14D1和/或图14D4中，电子设备700和/或HMD X700保持对象1400a-1400c的显示)。响应于检测到第一手势而停止对应于第一应用程序的虚拟内容的显示允许用户以更少的用户输入来清除虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，虚拟内容的第一部分对应于前景内容(例如，在图14A中，对象744a-744d和750a-750e对应于前景内容)(例如，是在最顶层处显示并且/或者当前聚焦的虚拟内容)；虚拟内容的第二部分对应于背景内容(例如，在图14A中，对象1400a-1400c对应于背景内容)(例如，是在最顶层后面的背景层中显示的虚拟内容，是在前景内容后面的显示的虚拟内容，并且/或者是当前未聚焦的虚拟内容)；并且停止虚拟内容的第一部分的显示，同时保持虚拟内容的第二部分的显示包括：根据确定虚拟内容的第一部分对应于前景内容，停止虚拟内容的第一部分的显示(例如，在图14D1和/或图14D4中，电子设备700和/或HMD X700停止对象744a-744和750a-750e的显示)；以及根据确定虚拟内容的第二部分对应于背景内容，保持虚拟内容的第二部分的显示(例如，在图14D1和/或图14D4中，电子设备700和/或HMD X700保持对象1400a-1400c的显示)。响应于检测到第一手势而停止前景虚拟内容的显示允许用户以更少的用户输入来清除虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，当显示虚拟内容时，计算机系统经由一个或多个输入设备检测用户的面部前面的第二手势(例如，1404)(例如，一个或多个手势、一个或多个空中手势、第一组手势和/或第一组空中手势)。响应于第二手势的第一部分(例如，如图14B所示，其表示手势1404的初始部分)，计算机系统停止虚拟内容的第三部分的显示，同时保持虚拟内容的第四部分的显示(例如，在图14B和图14C和/或图14D2和图14D3中，电子设备700和/或HMDX700停止虚拟内容744a-744d和750a-750e的第一部分的显示)。响应于作为第二手势的第一部分的延续的第二手势的第二部分(例如，手势1404从图14C至图14D1和/或图14D3至图14D4继续)，计算机系统停止虚拟内容的第四部分的显示(例如，在图14D1中，响应于手势1404的第二半，电子设备700完成将对象744a-744d和750a-750e从显示器移开)。在一些实施方案中，虚拟内容基于手势的运动而逐渐地消失，使得随着手势进行，更多的虚拟内容停止显示。响应于手势的进展而逐渐地停止虚拟内容的显示向用户提供关于系统的状态(例如，系统已经检测到手势的进展)的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，停止虚拟内容的第四部分的显示(例如，图14D1和/或图14D4)根据确定第二手势满足第一组标准来执行。在一些实施方案中，响应于第二手势的第二部分(例如，手势1404从14C-14D1和/或从14D3-14D4继续)：根据确定第二手势不满足第一组标准：计算机系统保持虚拟内容的第四部分的显示；并且重新显示虚拟内容的第三部分(例如，如果在图14C中和/或在图14D3中，用户已终止手势1404和/或反转手势1404，那么在一些实施方案中，电子设备700和/或HMD X700将对象744a-744d和750a-750e移动回到其在图14A中显示的位置)。在一些实施方案中，当用户发起手势(例如，满足初始标准的手势)时，计算机系统开始停止所显示的虚拟内容的一部分的显示，但是如果手势最终不满足第一组标准，则计算机系统重新显示先前从显示中移除的虚拟内容的部分。根据确定第二手势不满足第一组标准重新显示虚拟内容的第三部分向用户提供关于系统的状态的视觉反馈(例如，系统已经检测到第二手势不满足第一组标准)，从而向用户提供改进的视觉反馈。
在停止虚拟内容的至少一部分的显示之后，并且当虚拟内容的至少一部分未被显示时(例如，图14H)，计算机系统经由一个或多个输入设备检测用户的面部前面的第三手势(例如，1410)(例如，一个或多个手势、一个或多个空中手势、第一组手势和/或第一组空中手势)(例如，1402)。响应于检测到第三手势，并且根据确定用户的面部前面的第三手势满足第二组标准(例如，与第一组标准不同的第二组标准)，计算机系统重新显示虚拟内容的至少一部分(例如，在图14J中，电子设备700重新显示虚拟内容744a-744d、750a-750e和/或1400a-1400c)。响应于检测到第三手势而重新显示虚拟内容的至少一部分允许用户以更少的用户输入来重新显示先前清除的虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，响应于检测到第三手势(例如，1410)，根据确定用户的面部前面的第三手势不满足第二组标准，计算机系统放弃重新显示虚拟内容的至少一部分(例如，保持图14H所示的显示)。根据确定用户的面部前面的第三手势不满足第二组标准而放弃重新显示虚拟内容的至少一部分向用户提供关于系统的状态的视觉反馈(例如，系统已经确定第三手势不满足第二组标准)，从而向用户提供改进的视觉反馈。根据确定用户的面部前面的第三手势不满足第二组标准而放弃重新显示虚拟内容的至少一部分通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误(例如，通过限制先前清除的内容的不期望和/或无意的重新显示)来增强计算机系统的可操作性。
在一些实施方案中，第一手势(例如，1404)包括在第三方向上的移动(例如，在图14A中从右向左)(例如，用户的手部在第三方向上的移动(例如，从左向右或从右向左))；并且第二组标准包括当第三手势(例如，1410)包括在与第三方向不同的第四方向(例如，图14H中从左到右)上的移动时满足的第三标准。在一些实施方案中，在第四方向上的移动包括与在第三方向相反的方向上的移动(例如，第四方向与第三方向相反，并且/或者第四方向不与第三方向相反，而是包括在与第三方向相反的方向上的移动(例如，第三方向从右向左，并且第四方向包括从左向右的移动(例如，同时还包括在向上和/或向下方向上的移动))。响应于检测到第三手势而重新显示虚拟内容的至少一部分允许用户以更少的用户输入来重新显示先前清除的虚拟内容，从而减少执行操作所需的用户输入的数量。如果用户的面部前面的第三手势不满足第二组标准则放弃重新显示虚拟内容的至少一部分通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误(例如，通过限制先前清除的内容的不期望和/或无意的重新显示)来增强计算机系统的可操作性。
在一些实施方案中，第五手势(例如，1404)包括在第三方向上的移动(例如，用户的手部在第三方向上的移动(例如，从左向右或从右向左))；并且第二组标准包括当第三手势(例如，1410)包括在第五方向上的移动时满足的第四标准。响应于检测到第三手势而重新显示虚拟内容的至少一部分允许用户以更少的用户输入来重新显示先前清除的虚拟内容，从而减少执行操作所需的用户输入的数量。如果用户的面部前面的第三手势不满足第二组标准则放弃重新显示虚拟内容的至少一部分通过帮助用户提供适当的输入并减少操作计算机系统/与计算机系统交互时的用户错误(例如，通过限制先前清除的内容的不期望和/或无意的重新显示)来增强计算机系统的可操作性。
在一些实施方案中，第二组标准包括当在第一手势(例如，1404)与第三手势(例如，1410)之间流逝的持续时间小于阈值持续时间时(例如，第三手势在第一手势之后的阈值持续时间内发生)满足的第五标准。响应于检测到第三手势而重新显示虚拟内容的至少一部分允许用户以更少的用户输入来重新显示先前清除的虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，在停止虚拟内容的至少一部分的显示之后并且在虚拟内容的至少一部分未被显示时的第一流逝时间处，计算机系统经由一个或多个输入设备检测第一空中手势输入(例如，1410)(例如，一个或多个空中手势)。响应于检测到第一空中手势输入：根据确定第一流逝时间小于第一阈值持续时间(例如，预定和/或预先指定的持续时间)，计算机系统重新显示虚拟内容的至少一部分(例如，如图14J所示)；并且根据确定第一流逝时间大于第一阈值持续时间，计算机系统放弃重新显示虚拟内容的至少一部分(例如，如图14L所示)。响应于检测到第一空中手势输入而重新显示虚拟内容的至少一部分允许用户以更少的用户输入来重新显示先前清除的虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，在停止虚拟内容的至少一部分的显示之后并且在虚拟内容的至少一部分未被显示时的第二流逝时间处，第二流逝时间大于第一流逝时间，计算机系统经由一个或多个输入设备检测第一机械硬件输入(例如，对按钮704a-704c的按压)(例如，经由物理输入机构和/或物理输入设备的输入)(例如，一次或多次按钮按压、对物理可按压输入机构的一次或多次按压、和/或物理可旋转输入机构的一次或多次旋转)。响应于检测到第一机械硬件输入：计算机系统重新显示虚拟内容的至少一部分(例如，如图14J所示)。响应于检测到第一机械硬件输入而重新显示虚拟内容的至少一部分允许用户以更少的用户输入来重新显示先前清除的虚拟内容，从而减少执行操作所需的用户输入的数量。
在一些实施方案中，在停止虚拟内容的至少一部分的显示之后，并且当不显示虚拟内容的至少一部分时：根据确定虚拟内容的至少一部分可用于重新显示(例如，根据确定满足一组重新显示标准并且/或者根据确定自第一手势起已经过去小于阈值持续时间)(例如，先前清除的虚拟内容可用于响应于特定用户输入而重新显示)，计算机系统经由一个或多个显示生成部件显示重新显示指示(例如，1408)；并且根据确定虚拟内容的至少一部分不可用于重新显示(例如，根据确定一组重新显示标准未被满足并且/或者根据确定自第一手势已经过去大于阈值持续时间)(例如，即使用户执行特定输入，虚拟内容也将不被重新显示)，计算机系统放弃重新显示指示(例如，1408)的显示(例如，在图14L中，电子设备700停止显示并且/或者放弃重新显示指示1408的显示)。如果虚拟内容可用于重新显示则显示重新显示指示，并且如果虚拟内容不可用于重新显示则放弃显示重新显示指示向用户提供关于系统的状态的视觉反馈(例如，虚拟内容是否可被重新显示)，从而向用户提供改进的视觉反馈。
在一些实施方案中，当显示重新显示指示(例如，1408)时，计算机系统输出指示虚拟内容可用于重新显示的第一音频内容(例如，如果用户执行并且/或者提供特定用户输入，则虚拟内容可用于重新显示)。如果虚拟内容可用于重新显示，则提供音频输出向用户提供关于系统的状态的反馈(例如，虚拟内容可用于重新显示)，从而向用户提供改进的反馈。
在一些实施方案中，当显示重新显示指示(例如，1408)时，计算机系统确定已经满足内容清除标准(例如，自从第一手势和/或自从从显示器清除虚拟内容起已经过去了阈值持续时间)。响应于确定已经满足内容清除标准：计算机系统输出指示满足内容清除标准的第二音频内容(例如，1412)(并且任选地，停止重新显示指示的显示)。如果虚拟内容不再可用于重新显示，则提供音频输出向用户提供关于系统的状态的反馈(例如，虚拟内容不再可用于重新显示)，从而向用户提供改进的反馈。
在一些实施方案中，响应于确定已经满足内容清除标准：计算机系统停止重新显示指示的显示(例如，图14K至图14L，电子设备700停止指示1408的显示)。在一些实施方案中，内容清除标准包括当自从检测到第一手势起已过去阈值持续时间时满足的标准。在一些实施方案中，内容清除标准包括当自从计算机系统响应于第一手势而停止虚拟内容的至少一部分的显示起已经过去阈值持续时间时满足的标准。在一些实施方案中，内容清除标准包括当用户提供指示停止重新显示指示的显示的请求的一个或多个用户输入(例如，一个或多个触摸输入、一个或多个手势输入、一个或多个注视输入和/或一个或多个物理控制输入)时满足的标准。如果虚拟内容不再可用于重新显示，则停止重新显示指示的显示向用户提供关于系统的状态的反馈(例如，虚拟内容不再可用于重新显示)，从而向用户提供改进的反馈。
在一些实施方案中，方法800、900、1100、1300和/或1500的各方面/操作可在这些方法之间互换、替换和/或添加。例如，在一些实施方案中，方法800中的增强现实体验是方法900和/或1100中的扩展现实体验。又如，在一些实施方案中，方法1500中的虚拟内容包括与方法800中的增强现实体验和/或方法900和/或1100中的扩展现实体验有关的虚拟内容。再如，在一些实施方案中，方法1300中的计算机系统是方法800、900、1100和/或1500中的任一个方法中的计算机系统。为了简明起见，此处不再重复这些细节
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性讨论并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
如上文所述，本技术的一个方面在于采集并使用得自各种来源的数据，以改善用户的XR体验。本公开预期，在一些实例中，这些所采集的数据可包括唯一地标识或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平有关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他标识或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改善用户的XR体验。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可以用于提供对用户总体健康状况的见解，或者可以用作对使用技术追求健康目标的个人的积极反馈。
本公开预期，负责这样的个人信息数据的收集、分析、公开、传输、存储或其他用途的实体将遵守完善的隐私政策和/或隐私措施。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和措施。这样的政策应该便于用户访问，并应该随着对数据的收集和/或使用的变化而被更新。来自用户的个人信息应该出于合法且合理的实体用途进行收集，并且不得在这些合法用途之外共享或出售。此外，这样的收集/共享应该在接收到用户的知情同意之后进行。附加地，此类实体应当考虑采取任何必要的步骤，以用于保护和保障对此类个人信息数据的访问权，并确保有权访问个人信息数据的其他实体遵守其他实体的隐私政策和程序。此外，此类实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和隐私实践。此外，政策和实践应该适应于采集和/或访问的特定类型的个人信息数据，并适应于包括特别管辖范围的考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应当相应处理。因此，对于每个国家中的不同个人数据类型，应该主张不同的隐私措施。
不顾前述如何，本公开还预期用户选择性地阻挡使用或访问个人信息数据的实施方案。也就是说，本公开预期可提供硬件元件和/或软件元件，以防止或阻挡对此类个人信息数据的访问。例如，就XR体验而言，本发明技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。又如，用户可选择不提供用于服务定制的数据。再如，用户可选择限制保持数据的时间长度或者完全禁止定制服务的开发。除了提供“选择加入”和“选择退出”选项以外，本公开还预期提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的意图是个人信息数据应当以最小化无意或未经授权访问或使用的风险的方式来管理和处理。一旦不再需要数据，可通过限制收集数据和删除数据使风险最小化。此外，并且当适用时，包括在某些健康相关应用中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在不需要访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低限度量的个人信息(诸如，与用户相关联的设备所请求的内容、对服务可用的其他非个人信息、或可公开获得的信息)推断偏好来生成XR体验。

Claims (33)

1.一种方法，所述方法包括：
在与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统处：
经由所述一个或多个显示生成部件在三维环境中同时显示多个增强现实体验的表示，所述表示包括：
第一增强现实体验的第一表示；和
与所述第一增强现实体验不同的第二增强现实体验的第二表示，其中所述第二表示与所述第一表示不同；
当在所述三维环境中同时显示所述多个增强现实体验的所述表示时，经由所述一个或多个输入设备接收第一用户输入；以及
响应于接收到所述第一用户输入：
停止所述多个增强现实体验中的一个或多个增强现实体验的所述表示的显示；以及
根据确定所述第一用户输入对应于对所述第一增强现实体验的所述第一表示的选择，经由所述一个或多个显示生成部件在所述三维环境中显示所述第一增强现实体验。
2.根据权利要求1所述的方法，其中：
所述多个增强现实体验的所述表示在一个或多个添加光显示器上显示；并且
所述三维环境是通过所述一个或多个添加光显示器对用户可见的光学透传环境。
3.根据权利要求1至2中任一项所述的方法，所述方法还包括：
响应于接收到所述第一用户输入：
根据确定所述第一用户输入对应于对所述第二增强现实体验的所述第二表示的选择，经由所述一个或多个显示生成部件在所述三维环境中显示所述第二增强现实体验，
其中：
显示所述第一增强现实体验包括显示第一组交互式元素；
显示所述第二增强现实体验包括显示与所述第一组交互式元素不同的第二组交互式元素；
所述第一增强现实体验的所述第一表示包括所述第一组交互式元素的表示；并且
所述第二增强现实体验的所述第二表示包括与所述第一组交互式元素的所述表示不同的所述第二组交互式元素的表示。
4.根据权利要求3所述的方法，其中：
显示所述第一增强现实体验包括显示叠置在透传环境上的所述第一组交互式元素；
显示所述第二增强现实体验包括显示叠置在所述透传环境上的所述第二组交互式元素；
所述第一增强现实体验的所述第一表示包括表示所述透传环境的第一占位符背景内容；并且
所述第二增强现实体验的所述第二表示包括表示所述透传环境的第二占位符背景内容。
5.根据权利要求3所述的方法，其中：
所述第一组交互式元素的所述表示是非交互式的；并且
所述第二组交互式元素的所述表示是非交互式的。
6.根据权利要求3所述的方法，其中：
所述第一增强现实体验的所述第一表示的至少一部分以对应于所述第一增强现实体验的第一颜色显示；并且
所述第二增强现实体验的所述第二表示的至少一部分以对应于所述第二增强现实体验的第二颜色显示，其中所述第二颜色与所述第一颜色不同。
7.根据权利要求3所述的方法，其中：
所述第一增强现实体验的所述第一表示包括对应于所述第一增强现实体验的第一标识符；
所述第二增强现实体验的所述第二表示包括与所述第一标识符不同并且对应于所述第二增强现实体验的第二标识符；
显示所述第一增强现实体验包括显示所述第一标识符作为所述第一增强现实体验的一部分；并且
显示所述第二增强现实体验包括显示所述第二标识符作为所述第二增强现实体验的一部分。
8.根据权利要求3所述的方法，所述方法还包括：
响应于接收到所述第一输入：
根据确定所述第一用户输入对应于对所述第一增强现实体验的所述第一表示的选择：
在显示所述第一增强现实体验之前，经由所述一个或多个显示生成部件显示第一动画，在所述第一动画中，所述第一增强现实体验的所述第一表示朝向所述计算机系统的用户的视点移动。
9.根据权利要求8所述的方法，其中：
所述第一增强现实体验的所述第一表示包括围绕所述第一组交互式元素的所述表示的第一边界；
所述第二增强现实体验的所述第二表示包括围绕所述第二组交互式元素的所述表示的第二边界；并且
显示所述第一动画包括显示所述第一边界朝向所述计算机系统的所述用户的所述视点移动直到所述第一边界不再被显示。
10.根据权利要求8所述的方法，所述方法还包括：
响应于接收到所述第一输入：
根据确定所述第一用户输入对应于对所述第一增强现实体验的所述第一表示的选择：
经由所述一个或多个显示生成部件显示所述第一组交互式元素的所述表示与所述第一组交互式元素的交叉渐变。
11.根据权利要求3所述的方法，所述方法还包括：
响应于接收到所述第一输入：
根据确定所述第一用户输入对应于对所述第一增强现实体验的所述第一表示的选择：
停止所述第一组交互式元素的所述表示的显示；以及
经由所述一个或多个显示生成部件显示所述第一组交互式元素。
12.根据权利要求1至2中任一项所述的方法，所述方法还包括：
在接收到所述第一用户输入之前，并且当在所述三维环境中同时显示所述多个增强现实体验的所述表示时：
经由所述一个或多个显示生成部件在第一显示位置处显示所述第一增强现实体验的所述第一表示；
当在所述第一显示位置处显示所述第一增强现实体验的所述第一表示时，经由所述一个或多个输入设备接收对应于从所述第一增强现实体验的所述第一表示导航到所述第二增强现实体验的所述第二表示的请求的第二用户输入；以及
响应于接收到所述第二用户输入：
停止所述第一增强现实体验的所述第一表示在所述第一显示位置处的显示；以及
经由所述一个或多个显示生成部件在所述第一显示位置处显示所述第二增强现实体验的所述第二表示。
13.根据权利要求1至2中任一项所述的方法，其中同时显示所述多个增强现实体验的所述表示包括以堆叠形式显示所述多个增强现实体验的所述表示，其中所述第一增强现实体验的所述第一表示堆叠在所述第二增强现实体验的所述第二表示之上。
14.根据权利要求1至2中任一项所述的方法，所述方法还包括：
在接收到所述第一用户输入之前，并且当在所述三维环境中同时显示所述多个增强现实体验的所述表示时，包括同时显示所述第一增强现实体验的所述第一表示和所述第二增强现实体验的所述第二表示，经由所述一个或多个输入设备接收对应于导航通过所述多个增强现实体验的所述表示的请求的第三用户输入；以及
响应于接收到所述第三用户输入：
停止所述第一增强现实体验的所述第一表示的显示，同时保持所述第二增强现实体验的所述第二表示的显示。
15.根据权利要求1至2中任一项所述的方法，其中：
确定所述第一用户输入对应于对所述第一增强现实体验的所述第一表示的选择包括确定所述第一用户输入是选择输入，所述选择输入包括：
朝向所述第一增强现实体验的所述第一表示的注视输入；和
在所述注视输入朝向所述第一增强现实体验的所述第一表示时检测到的硬件按压输入。
16.根据权利要求1至2中任一项所述的方法，其中：
确定所述第一用户输入对应于对所述第一增强现实体验的所述第一表示的选择包括确定所述第一用户输入是选择输入，所述选择输入包括：
指示选择可选对象的用户请求的语音输入。
17.根据权利要求1至2中任一项所述的方法，其中：
确定所述第一用户输入对应于对所述第一增强现实体验的所述第一表示的选择包括确定所述第一用户输入是选择输入，所述选择输入包括：
朝向所述第一增强现实体验的所述第一表示的注视输入，所述第一增强现实体验满足第一组注视持续时间标准。
18.根据权利要求1至2中任一项所述的方法，所述方法还包括：
当同时显示所述多个增强现实体验的所述表示时，经由所述一个或多个显示生成部件显示一个或多个设置控件，所述一个或多个设置控件包括对应于所述计算机系统的第一设置的第一设置控件；
当显示所述一个或多个设置控件时，经由所述一个或多个输入设备接收对应于所述计算机系统的所述第一设置的第一设置输入；
响应于接收到所述第一设置输入，将所述第一设置从第一值修改为与所述第一值不同的第二值；
当同时显示所述多个增强现实体验的所述表示时，并且当所述第一设置被设定为所述第二值时，经由所述一个或多个输入设备接收第三用户输入；以及
响应于接收到所述第三用户输入：
根据确定所述第三用户输入对应于对所述第一增强现实体验的所述第一表示的选择，经由所述一个或多个显示生成部件在所述三维环境中显示所述第一增强现实体验，同时将所述第一设置保持在所述第二值；以及
根据确定所述第一用户输入对应于对所述第二增强现实体验的所述第二表示的选择，经由所述一个或多个显示生成部件在所述三维环境中显示所述第二增强现实体验，同时将所述第一设置保持在所述第二值。
19.根据权利要求18所述的方法，其中：
所述第一设置是透传着色设置；
所述第一值对应于应用于所述三维环境的第一量；并且
所述第二值对应于应用于所述三维环境的与所述第一着色量不同的第二着色量。
20.根据权利要求18所述的方法，其中：
所述第一设置是音量设置；
所述第一值对应于第一音量；并且
所述第二值对应于与所述第一音量不同的第二音量。
21.根据权利要求18所述的方法，所述方法还包括：
当同时显示所述多个增强现实体验的所述表示和所述一个或多个设置控件时，经由所述一个或多个显示生成部件显示指示所述计算机系统的一个或多个特性的状态的设备状态信息。
22.根据权利要求1至2中任一项所述的方法，其中所述多个增强现实体验的所述表示是视点锁定的对象，当所述计算机系统的用户的视点相对于所述三维环境移位时，所述视点锁定的对象停留在所述用户的视场的相应区域中。
23.根据权利要求22所述的方法，其中：
同时显示所述多个增强现实体验的所述表示包括在第一取向上同时显示所述多个增强现实体验的所述表示，在所述第一取向上，所述多个增强现实体验的所述表示与重力对准；并且
所述方法还包括：
当同时显示所述多个增强现实体验的所述表示时，检测所述用户的所述视点的取向改变；以及
响应于检测到所述用户的所述视点的所述取向改变：
基于所述用户的所述视点的所述取向改变来将所述多个增强现实体验的所述表示从所述第一取向旋转到第二取向，以继续使所述多个增强现实体验的所述表示与重力对准。
24.根据权利要求23所述的方法，其中将所述多个增强现实体验的所述表示从所述第一取向旋转到所述第二取向包括：
在检测到所述用户的所述视点的所述取向改变之后的第一时间处，经由所述一个或多个显示生成部件在所述第一取向上显示所述多个增强现实体验的所述表示，其中在所述第一时间处，所述多个增强现实体验的所述表示至少部分地由于所述用户的所述视点的所述取向改变而不与重力对准；以及
在所述第一时间之后的第二时间处，经由所述一个或多个显示生成部件在所述第二取向上显示所述多个增强现实体验的所述表示以使所述多个增强现实体验的所述表示与重力对准。
25.根据权利要求22所述的方法，其中：
显示所述第一增强现实体验包括同时显示包括第一对象和第二对象的第一组对象，并且其中：
所述第一对象是视点锁定的对象；并且
所述第二对象是环境锁定的对象。
26.根据权利要求1至2中任一项所述的方法，所述方法还包括：
经由所述一个或多个显示生成部件在所述三维环境中显示所述第一增强现实体验；
当显示所述第一增强现实体验时，经由所述一个或多个输入设备接收指示从所述第一增强现实体验改变到所述第二增强现实体验的用户请求的第一语音输入；以及
响应于接收到所述第一语音输入：
停止所述第一增强现实体验的显示；以及
经由所述一个或多个输入设备在所述三维环境中显示所述第二增强现实体验。
27.根据权利要求1至2中任一项所述的方法，所述方法还包括：
当所述计算机系统处于休眠状态时，经由所述一个或多个输入设备接收对应于使所述计算机系统从休眠状态过渡到唤醒状态的请求的第一唤醒输入；以及
响应于接收到所述第一唤醒输入，经由所述一个或多个显示生成部件显示所述第一增强现实体验。
28.根据权利要求1至2中任一项所述的方法，所述方法还包括：
当所述计算机系统处于休眠状态时，经由所述一个或多个输入设备接收对应于使所述计算机系统从休眠状态过渡到唤醒状态的请求的第一唤醒输入；以及
响应于接收到所述第一唤醒输入，经由所述一个或多个显示生成部件显示所述多个增强现实体验的所述表示。
29.根据权利要求1至2中任一项所述的方法，其中所述多个增强现实体验包括以下各项中的一项或多项：相机增强现实体验；翻译增强现实体验；阅读增强现实体验；音乐增强现实体验；导航增强现实体验；照片增强现实体验；视频消息传送增强现实体验；和/或健身增强现实体验。
30.一种计算机可读存储介质，所述计算机可读存储介质存储被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至29中任一项所述的方法的指令。
31.一种被配置为与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统，所述计算机系统包括：
一个或多个处理器；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至29中任一项所述的方法的指令。
32.一种被配置为与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统，所述计算机系统包括：
用于执行根据权利要求1至29中任一项所述的方法的构件。
33.一种计算机程序产品，所述计算机程序产品包括被配置为由与一个或多个显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至29中任一项所述的方法的指令。
CN202510584157.1A 2022-09-22 2023-09-21 用于与扩展现实体验进行交互的设备、方法和图形用户界面 Pending CN120179076A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US202263409184P 2022-09-22 2022-09-22
US63/409,184 2022-09-22
US202363538453P 2023-09-14 2023-09-14
US63/538,453 2023-09-14
US18/369,075 US20240103678A1 (en) 2022-09-22 2023-09-15 Devices, methods, and graphical user interfaces for interacting with extended reality experiences
US18/369,075 2023-09-15
CN202380067076.3A CN119998762A (zh) 2022-09-22 2023-09-21 用于与扩展现实体验进行交互的设备、方法和图形用户界面
PCT/US2023/033372 WO2024064278A1 (en) 2022-09-22 2023-09-21 Devices, methods, and graphical user interfaces for interacting with extended reality experiences

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202380067076.3A Division CN119998762A (zh) 2022-09-22 2023-09-21 用于与扩展现实体验进行交互的设备、方法和图形用户界面

Publications (1)

Publication Number Publication Date
CN120179076A true CN120179076A (zh) 2025-06-20

Family

ID=90360368

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202510584157.1A Pending CN120179076A (zh) 2022-09-22 2023-09-21 用于与扩展现实体验进行交互的设备、方法和图形用户界面
CN202380067076.3A Pending CN119998762A (zh) 2022-09-22 2023-09-21 用于与扩展现实体验进行交互的设备、方法和图形用户界面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202380067076.3A Pending CN119998762A (zh) 2022-09-22 2023-09-21 用于与扩展现实体验进行交互的设备、方法和图形用户界面

Country Status (3)

Country Link
US (1) US20240103678A1 (zh)
EP (1) EP4591140A1 (zh)
CN (2) CN120179076A (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8502856B2 (en) 2010-04-07 2013-08-06 Apple Inc. In conference display adjustments
US10637986B2 (en) 2016-06-10 2020-04-28 Apple Inc. Displaying and updating a set of application views
US12242707B2 (en) 2017-05-15 2025-03-04 Apple Inc. Displaying and moving application views on a display of an electronic device
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11822761B2 (en) 2021-05-15 2023-11-21 Apple Inc. Shared-content session user interfaces
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US12449961B2 (en) 2021-05-18 2025-10-21 Apple Inc. Adaptive video conference user interfaces
US12405631B2 (en) 2022-06-05 2025-09-02 Apple Inc. Displaying application views
EP4498664A4 (en) * 2022-09-02 2025-07-30 Samsung Electronics Co Ltd Electronic device and method for controlling display of at least one external object among one or more external objects
US12417596B2 (en) 2022-09-23 2025-09-16 Apple Inc. User interfaces for managing live communication sessions
US20240414570A1 (en) * 2023-06-12 2024-12-12 Adeia Guides Inc. Next generation controls including cooperative gesture and movement detection using wireless signals

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171605B2 (en) * 2002-02-01 2007-01-30 International Business Machines Corporation Check bit free error correction for sleep mode data retention
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
AU2016341196B2 (en) * 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US10908769B2 (en) * 2018-04-09 2021-02-02 Spatial Systems Inc. Augmented reality computing environments—immersive media browser
US11340756B2 (en) * 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11256336B2 (en) * 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes

Also Published As

Publication number Publication date
EP4591140A1 (en) 2025-07-30
CN119998762A (zh) 2025-05-13
US20240103678A1 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
US12506953B2 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20240361835A1 (en) Methods for displaying and rearranging objects in an environment
US20240103678A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
CN120723067A (zh) 用于三维环境中的深度冲突缓解的方法
US20240104819A1 (en) Representations of participants in real-time communication sessions
CN120353342A (zh) 用于三维环境中的选项卡式浏览的设备、方法和介质
US12524142B2 (en) Devices, methods, and graphical user interfaces for displaying sets of controls in response to gaze and/or gesture inputs
CN120255701A (zh) 用于改善用户环境感知的方法
CN121241323A (zh) 用于内容应用的设备、方法和图形用户界面
CN120712546A (zh) 用于在三维环境中显示用户界面对象的方法
CN120266082A (zh) 用于三维环境中的深度冲突减轻的方法
CN121285792A (zh) 媒体内容的媒体控件和媒体内容的字幕在三维环境中的位置
CN121263762A (zh) 用于在三维环境中移动对象的方法
WO2025151784A1 (en) Methods of updating spatial arrangements of a plurality of virtual objects within a real-time communication session
CN120548519A (zh) 用于使用光标与三维环境交互的设备、方法和图形用户界面
CN121285789A (zh) 用于在与三维环境交互时选择性地访问计算机系统的系统功能并调整计算机系统的设置的设备、方法和图形用户界面
CN120569698A (zh) 用于设备定位调整的设备、方法和图形用户界面
CN121359110A (zh) 用于在三维环境中显示混合现实内容的方法
JP2025534284A (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN120469577A (zh) 用于基于手势的交互的设备、方法和用户界面
WO2024064278A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
CN121285790A (zh) 用于呈现内容的设备、方法和图形用户界面
CN121079655A (zh) 用于提供环境跟踪内容的设备、方法和图形用户界面
CN120166188A (zh) 实时通信会话中参与者的表示
CN119948439A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination