[go: up one dir, main page]

CN119960601A - 用于调节和/或控制与用户界面相关联的沉浸度的方法 - Google Patents

用于调节和/或控制与用户界面相关联的沉浸度的方法 Download PDF

Info

Publication number
CN119960601A
CN119960601A CN202510043992.4A CN202510043992A CN119960601A CN 119960601 A CN119960601 A CN 119960601A CN 202510043992 A CN202510043992 A CN 202510043992A CN 119960601 A CN119960601 A CN 119960601A
Authority
CN
China
Prior art keywords
user interface
user
electronic device
immersion
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202510043992.4A
Other languages
English (en)
Inventor
N·W·亨德森
川岛家幸
S·O·勒梅
I·帕斯特拉纳文森特
W·M·霍尔德
J·M·弗科纳
W·A·索伦帝诺三世
A·C·戴伊
M·E·汉基
J·耶德
J·P·艾夫
G·I·布彻
J·M·德赛罗
K·E·鲍尔利
B·H·博伊塞尔
邱诗善
D·H·黄
D·D·达尔甘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN119960601A publication Critical patent/CN119960601A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开涉及用于调节和/或控制与用户界面相关联的沉浸度的方法。在一些实施方案中，电子设备基于用户的注视来强调和/或淡化用户界面。在一些实施方案中，电子设备针对不同用户界面彼此独立地限定沉浸水平。在一些实施方案中，在(例如，临时地)减小与用户界面相关联的沉浸水平之后，电子设备以先前显示的沉浸水平恢复该用户界面的显示。在一些实施方案中，电子设备允许环境的对象、人和/或部分透过由该电子设备显示的用户界面可见。在一些实施方案中，电子设备基于该电子设备和/或该电子设备的物理环境的特性来减小与用户界面相关联的沉浸水平。

Description

用于调节和/或控制与用户界面相关联的沉浸度的方法
本申请是申请日为2021年9月25日、申请号为202180065836.8、发明名称为“用于调节和/或控制与用户界面相关联的沉浸度的方法”的中国专利申请的分案申请，该中国专利申请要求2020年9月25日提交的美国临时申请63/083,792号的权益。
技术领域
本发明整体涉及呈现图形用户界面的具有显示生成部件和一个或多个输入设备的计算机系统，包括但不限于经由显示生成部件呈现包括虚拟对象的三维环境的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。
但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
所公开的系统减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题，这些计算机系统具有显示生成部件和一个或多个输入设备。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触控板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有用于调节和/或控制与用户界面相关联的沉浸的改进方法和界面的电子设备。此类方法和界面可补充或替换用于在三维环境中显示用户界面的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。
在一些实施方案中，电子设备基于用户的注视来强调和/或淡化(deemphasize)用户界面。在一些实施方案中，电子设备针对不同用户界面彼此独立地限定沉浸水平。在一些实施方案中，在(例如，临时地)减小与用户界面相关联的沉浸水平之后，电子设备以先前显示的沉浸水平恢复该用户界面的显示。在一些实施方案中，电子设备允许环境的对象、人和/或部分透过由该电子设备显示的用户界面可见。在一些实施方案中，电子设备基于该电子设备和/或该电子设备的物理环境的特性来减小与用户界面相关联的沉浸水平。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框图。
图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体验的控制器的框图。
图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是示出根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图7A-图7B示出了根据一些实施方案的电子设备基于用户的注视来强调和/或淡化用户界面的方式的示例。
图8A-图8D是示出了根据一些实施方案的基于用户的注视来强调和/或淡化用户界面的方法的流程图。
图9A-图9C示出了根据一些实施方案的彼此独立地限定不同用户界面的沉浸水平的示例。
图10A-图10K是示出了根据一些实施方案的彼此独立地限定不同用户界面的沉浸水平的方法的流程图。
图11A-图11B示出了根据一些实施方案的在(例如，临时地)减小与用户界面相关联的沉浸水平之后以先前显示的沉浸水平恢复用户界面的显示的示例。
图12A-图12D是示出了根据一些实施方案的在(例如，临时地)减小与用户界面相关联的沉浸水平之后以先前显示的沉浸水平恢复用户界面的显示的方法的流程图。
图13A-图13C示出了根据一些实施方案的允许环境的对象、人和/或部分透过由电子设备显示的用户界面可见的示例。
图14A-图14F是示出了根据一些实施方案的允许环境的对象、人和/或部分透过由电子设备显示的用户界面可见的方法的流程图。
图15A-图15C示出了根据一些实施方案的基于电子设备和/或电子设备的物理环境的特性来减小与用户界面相关联的沉浸水平的示例。
图16A-图16C是示出了根据一些实施方案的基于电子设备和/或电子设备的物理环境的特性来减小与用户界面相关联的沉浸水平的方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。
本文所述的系统、方法和GUI为电子设备提供了调节和/或控制与用户界面相关联的沉浸水平的改进方式。
在一些实施方案中，当计算机系统检测到用户的注视投向第一用户界面时，系统相对于第一用户界面淡化第二用户界面。在一些实施方案中，当第一用户界面是特定类型的应用程序(例如，媒体播放器应用程序)的用户界面时，系统执行此类淡化。在一些实施方案中，第二用户界面包括由系统显示的虚拟元素或系统的物理环境的部分中的一者或多者的表示。淡化第二用户界面允许用户集中于第一用户界面，而较少地因第一用户界面之外的内容分心。
在一些实施方案中，计算机系统彼此独立地限定不同用户界面的沉浸水平。系统显示(例如，操作系统的、第一应用程序的)第一用户界面的沉浸水平的改变任选地不影响系统显示(例如，第二应用程序的)第二用户界面的沉浸水平。在一些实施方案中，经由操纵与计算机系统相关联的机械输入元件(例如，可旋转输入元件)来控制沉浸度(immersion)，其中机械输入元件处的输入的方向和/或量值限定沉浸水平的改变的量值和/或方向。沉浸水平任选地限定除了所考虑的用户界面之外的内容(例如，在用户界面之外的系统的物理环境、虚拟元素的表示等)经由显示器可见的程度。提供独立控制的沉浸水平，和/或根据输入的量值和/或方向这样做，为用户提供了各种用户界面的一致且预期的显示行为，并且因此减少了与此类用户界面交互的错误。
在一些实施方案中，计算机系统在(例如，临时地)减小与用户界面相关联的沉浸水平之后以先前显示的沉浸水平恢复用户界面的显示。计算机系统任选地检测用于减小显示相应用户界面的沉浸水平的事件，并且响应于该事件降低沉浸水平。随后，响应于检测到对应于以先前显示的沉浸水平重新显示相应用户界面的请求的事件，系统任选地以先前显示的沉浸水平恢复相应用户界面的显示。在一些实施方案中，减小沉浸水平的事件包括检测用于控制沉浸度的机械输入元件上的按压输入，并且恢复先前沉浸水平的事件包括检测用于控制沉浸度的机械输入元件的释放。以用户界面的先前沉浸水平恢复用户界面的显示提供了返回到先前生效的沉浸水平的快速且高效的方式，而无需限定要返回到的特定沉浸水平的用户输入，这也避免了限定要返回到的错误沉浸水平的错误用户输入。
在一些实施方案中，计算机系统允许环境的对象、人和/或部分透过由系统显示的用户界面可见。系统的环境中的人的表示任选地基于他们与用户的距离和/或他们的注意力(例如，是否将注意力投向用户)而变得透过用户界面可见。系统的环境中的对象的表示任选地基于它们与用户的距离和/或所确定的它们对用户的风险水平(例如，对象是否对用户造成风险)而变得透过用户界面可见。使得系统的物理环境的表示透过用户界面可见帮助用户避免他们的物理环境中的危险，并且便于与他们的环境中的人进行交互，而无需来自用户的为了这样做的单独输入。
在一些实施方案中，计算机系统基于系统和/或系统的物理环境的特性来减小与用户界面相关联的沉浸水平。如果计算机系统确定其正在以大于速度阈值的速度移动，则系统任选地减小其正在显示用户界面的沉浸水平，使得系统的用户能够经由系统查看物理环境。如果计算机系统确定在系统的环境中检测到与潜在危险相关联的声音，则系统任选地减小其正在显示用户界面的沉浸水平，使得系统的用户能够经由系统查看物理环境。如所描述地减小沉浸水平提供了允许系统的用户看见物理环境的快速且高效的方式，而无需来自用户的为了这样做的单独输入。
图1-图6提供了用于向用户提供CGR体验的示例性计算机系统的描述(诸如以下参考方法800、1000、1200、1400和1600所描述)。在一些实施方案中，如图1中所示，经由包括计算机系统101的操作环境100向用户提供CGR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
在描述CGR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成CGR体验的计算机系统101检测到的输入进行交互，这些输入使得生成CGR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
计算机生成的现实：相反地，计算机生成的现实(CGR)环境是指人们经由电子系统进行感测和/或交互的完全或部分模拟环境。在CGR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测CGR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
硬件：有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统还可以被配置为将虚拟对象投影到物理环境中例如作为全息图，或者投影到物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的CGR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供CGR体验(例如，至少CGR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供CGR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成部件120包括被提供用于显示CGR内容的一个或多个CGR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的手持式设备(诸如智能电话或平板电脑)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的CGR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示CGR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示CGR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对CGR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与CRG内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面，未示出各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和CGR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如，一个或多个用户的单重CGR体验，或一个或多个用户的相应群组的多重CGR体验)。为此，在各种实施方案中，CGR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元242被配置为从图1的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种实施方案中，数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元244被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1的场景105的位置，以及任选地跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的位置。出于该目的，在各种实施方案中，跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元244包括手部跟踪单元243和/或眼睛跟踪单元245。在一些实施方案中，手部跟踪单元243被配置为跟踪用户的手部的一个或多个部分的位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元243。在一些实施方案中，眼睛跟踪单元245被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成部件120显示的CGR内容的位置或移动。下文相对于图5更详细地描述了眼睛跟踪单元245。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的CGR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于所述目的，作为非限制性示例，在一些实施方案中，HMD 120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个CGR显示器312被配置为向用户提供CGR体验。在一些实施方案中，一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中，一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，HMD 120包括单个CGR显示器。又如，HMD 120包括针对用户的每只眼睛的CGR显示器。在一些实施方案中，一个或多个CGR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个CGR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在HMD 120的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和CGR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。出于该目的，在各种实施方案中，CGR呈现模块340包括数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR呈现单元344被配置为经由一个或多个CGR显示器312呈现CGR内容。出于所述目的，在各种实施方案中，CGR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR映射生成单元346被配置为基于媒体内容数据生成CGR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生成计算机生成现实的映射图)。出于所述目的，在各种实施方案中，CGR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元243控制(图2)来跟踪用户的手部的一个或多个部分的位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序，该应用程序相应地驱动显示生成部件120。例如，用户可以通过移动他的手部408并改变他的手部姿势来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。另选地，手部跟踪设备440可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器440分开的单元，控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部跟踪设备402的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元245(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的CGR内容的位置和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成CGR内容以供用户观看的部件以及用于跟踪用户相对于CGR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或CGR室时，眼睛跟踪设备130任选地是与手持式设备或CGR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，注视跟踪设备130包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。注视跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例性使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例，控制器110可引导用于捕获CGR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5中所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用程序，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6示出了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中，注视跟踪流水线通过闪光辅助的注视跟踪系统(例如，如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到流水线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由流水线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素410前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为YES(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供CGR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
因此，本文的描述包括具有真实世界对象的表示和虚拟对象的表示的三维环境(例如，CGR环境)的一些实施方案。例如，三维环境任选地包括存在于物理环境中的桌子的表示，该桌子被捕获并在三维环境中显示(例如，经由电子设备的相机和显示器主动地，或者经由电子设备的透明或半透明显示器被动地)。如先前所描述，三维环境任选地是混合现实系统，其中三维环境基于由设备的一个或多个传感器捕获并且经由显示生成部件显示的物理环境。作为混合现实系统，设备任选地能够选择性地显示物理环境的部分和/或对象，使得物理环境的相应部分和/或对象看起来好像它们存在于由电子设备显示的三维环境中一样。类似地，设备任选地能够通过将三维环境中的虚拟对象放置在三维环境中的在真实世界(例如，物理环境)中具有对应位置的相应位置处来将虚拟对象显示为看起来好像虚拟对象存在于真实世界中一样。例如，设备任选地显示花瓶，使得其看起来好像真实花瓶被放置在物理环境中的桌子顶部一样。在一些实施方案中，三维环境中的每个位置在物理环境中具有对应位置。因此，当设备被描述为在相对于物理对象的相应位置(例如，诸如用户的手部处或附近的位置，或者物理桌子处或附近的位置)处显示虚拟对象时，设备在三维环境中的特定位置处显示虚拟对象，使得看起来好像虚拟对象在物理世界中在物理对象处或附近一样(例如，虚拟对象在三维环境中的一位置处显示，该位置对应于物理环境中的如果虚拟对象是该特定位置处的真实对象则虚拟对象将被显示在的位置)。
在一些实施方案中，在三维环境中显示的存在于物理环境中的现实世界对象可与仅存在于三维环境中的虚拟对象交互。例如，三维环境可包括桌子和放置在桌子顶部的花瓶，其中桌子是物理环境中的物理桌子的视图(或表示)，并且花瓶是虚拟对象。
类似地，用户任选地能够使用一只或两只手与三维环境中的虚拟对象交互，好像虚拟对象是物理环境中的真实对象一样。例如，如上所述，设备的一或多个传感器任选地捕获用户的一只或两只手并且在三维环境中显示用户的手部的表示(例如，以类似于上述的在三维环境中显示真实世界对象的方式)，或者在一些实施方案中，借助于由于正在显示用户界面的显示生成部件的一部分的透明度/半透明度、或用户界面到透明/半透明表面上的投影、或用户界面到用户的眼睛上或到用户的眼睛的视场中的投影而透过用户界面看见物理环境的能力，用户的手部是经由显示生成部件可见的。因此，在一些实施方案中，用户的手部在三维环境中的相应位置处显示并且被视为好像它们是三维环境中的对象一样，这些对象能够与三维环境中的虚拟对象交互，好像这些虚拟对象是物理环境中的真实物理对象一样。在一些实施方案中，用户能够移动他或她的手部以致使三维环境中的手部的表示结合用户的手部的移动而移动。
在下文所述的一些实施方案中，设备任选地能够确定物理世界中的物理对象和三维环境中的虚拟对象之间的“有效”距离，例如，为了确定物理对象是否正在与虚拟对象交互(例如，手部是否正在触摸、抓取、握持等虚拟对象或在距虚拟对象的阈值距离内)。例如，设备在确定用户是否正在与虚拟对象交互和/或用户正在如何与虚拟对象交互时确定用户的手部和虚拟对象之间的距离。在一些实施方案中，设备通过确定三维环境中的手部的位置和三维环境中的感兴趣虚拟对象的位置之间的距离来确定用户的手部和虚拟对象之间的距离。例如，用户的一只或两只手位于物理世界中的特定位置处，设备任选地捕获该特定位置并且在三维环境中的特定对应位置处显示该特定位置(该特定对应位置例如三维环境中的如果手部是虚拟的手部而不是物理的手部则手部将被显示在的位置)。任选地将三维环境中的手部的位置与三维环境中的感兴趣虚拟对象的位置进行比较，以确定用户的一只或两只手和虚拟对象之间的距离。在一些实施方案中，设备任选地通过比较物理世界中的位置(例如，与比较三维环境中的位置相反)来确定物理对象和虚拟对象之间的距离。例如，当确定用户的一只或两只手和虚拟对象之间的距离时，设备任选地确定虚拟对象在物理世界中的对应位置(例如，如果虚拟对象是物理对象而不是虚拟对象则虚拟对象在物理世界中将处于的位置)，然后确定对应物理位置和用户的一只或两只手之间的距离。在一些实施方案中，任选地使用相同技术来确定任何物理对象和任何虚拟对象之间的距离。因此，如本文所述，当确定物理对象是否与虚拟对象接触或物理对象是否在虚拟对象的阈值距离内时，设备任选地执行上述技术中的任一技术以将物理对象的位置映射到三维环境和/或将虚拟对象的位置映射到物理世界。
在一些实施方案中，使用相同或类似技术来确定用户的注视所投向的位置和事物，和/或由用户握持的物理触控笔所指向的位置和事物。例如，如果用户的注视投向物理环境中的特定位置，则设备任选地确定三维环境中的对应位置，并且如果虚拟对象位于该对应虚拟位置处，则设备任选地确定用户的注视投向该虚拟对象。类似地，设备任选地能够基于物理触控笔的取向来确定触控笔所指向的物理世界中的位置。在一些实施方案中，基于该确定，设备确定三维环境中的对应于触控笔所指向的物理世界中的位置的对应虚拟位置，并且任选地确定触控笔正在指向三维环境中的对应虚拟位置。
类似地，本文所述的实施方案可指代三维环境中的用户(例如，设备的用户)的位置和/或设备的位置。在一些实施方案中，设备的用户正在握持电子设备、穿戴电子设备或以其他方式位于电子设备处或附近。因此，在一些实施方案中，设备的位置用作用户的位置的代替物。在一些实施方案中，物理环境中的设备和/或用户的位置对应于三维环境中的相应位置。在一些实施方案中，相应位置是三维环境的“相机”或“视图”从其延伸的位置。例如，设备的位置将是物理环境中的位置(及其在三维环境中的对应位置)，如果用户将要面向由显示生成部件显示的物理环境的相应部分站在该位置处，则用户将从该位置看到对象在物理环境中处于与它们由设备的显示生成部件显示相同的位置、取向和/或大小(例如，在绝对意义上和/或相对于彼此)。类似地，如果在三维环境中显示的虚拟对象是物理环境中的物理对象(例如，放置在物理环境中的与它们在三维环境中相同的位置处，并且在物理环境中具有与在三维环境中相同的大小和取向)，则设备和/或用户的位置是用户在那里将看到虚拟对象在物理环境中处于与它们由设备的显示生成部件显示相同的位置、取向和/或大小的位置(例如，在绝对意义上和/或相对于彼此和真实世界对象)。
在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
用户界面和相关联的过程
现在将注意力转向可在具有显示生成部件、一个或多个输入设备以及(任选)一个或多个相机的计算机系统(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。
图7A-图7B示出了根据一些实施方案的电子设备基于用户的注视来强调和/或淡化用户界面部分的方式的示例。
图7A示出了电子设备101经由显示生成部件(例如，图1的显示生成部件120)在用户界面中显示三维环境701。如上参考图1-图6所描述，电子设备101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101将能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，以下示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件以及用于检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或用于检测用户的注视的传感器(例如，向内面向用户的面部的内部传感器)。
如图7A所示，设备101捕获设备101周围的物理环境700(例如，操作环境100)、包括设备101周围的物理环境700中的一个或多个对象的一个或多个图像。在一些实施方案中，设备101在三维环境701中显示物理环境的表示。例如，三维环境701包括树的表示702b(例如，对应于物理环境700中的树702a)和人的表示704b(例如，对应于物理环境700中的人704a)。在一些实施方案中，设备101还在三维环境701中显示一个或多个虚拟对象(例如，不在物理环境700中的对象)。例如，在图7A中，设备101正在显示树的表示702b上的虚拟对象710(例如，装饰物)、人的表示704b上的虚拟对象706(例如，帽子)以及太阳的表示708。在一些实施方案中，太阳的表示708被显示并且被视为三维环境701中的光源，并且由太阳的表示708产生的照明效果被设备101应用于在三维环境701中显示的物理对象和/或虚拟对象的表示。
在图7A中，设备101还正在三维环境701中显示应用程序(例如，App A)的表示712。表示712任选地是应用程序(例如，App A)的用户界面，并且包括正由该应用程序显示的内容(例如，电影回放、照片集等)。在一些实施方案中，表示712在三维环境701内的一位置处显示，使得它上覆于三维环境701中的物理对象和/或虚拟对象的一个或多个表示(例如，上覆于人的表示704b的部分且在该表示的前面，该表示对应于物理环境700中的人704a)。在一些实施方案中，表示712位于三维环境701内，使得一个或多个虚拟对象在表示712的前面且上覆于该表示的部分，和/或物理对象的一个或多个表示在表示712的前面且上覆于该表示的部分。
在一些实施方案中，设备101以特定沉浸水平显示经由显示生成部件120显示的三维环境701和/或用户界面。如稍后将参考图9-图16更详细地描述的，沉浸水平任选地包括由电子设备101显示的内容遮挡(obscure)设备101正在显示的用户界面和/或虚拟对象周围/后面的背景内容(例如，对应于物理环境的内容，诸如表示702b和704b，或者除了感兴趣用户界面之外的内容)的相关联程度，任选地包括所显示的背景内容的项目的数量和以其显示背景内容的视觉特性(例如，颜色、对比度、不透明度)，和/或经由显示生成部件显示的内容的角度范围(例如，以低沉浸度显示的内容的60度，以中等沉浸度显示的内容的120度，以高沉浸度显示的内容的180度)，和/或由电子设备显示的内容所消耗的经由显示生成显示的视场的比例(例如，由电子设备以低沉浸度显示的内容所消耗的视场的33％，由电子设备以中等沉浸度显示的内容所消耗的视场的66％，由电子设备以高沉浸度显示的内容所消耗的视场的100％)。参考图9-图16描述了与以变化的沉浸水平显示用户界面有关的附加细节。
在图7A中，设备101正在以特定沉浸水平718(例如，在沉浸度标尺716上指示，该沉浸度标尺的最左侧对应于无沉浸度，并且该沉浸度标尺的最右侧对应于最大沉浸度)显示三维环境701，在该特定沉浸水平下，物理对象的表示702b和704b经由显示生成部件120可见。在一些实施方案中，设备101基于设备101的用户的注视来强调和/或淡化三维环境701的各个部分，即使当设备101正在显示三维环境701的沉浸水平未改变时也可以。例如，在图7A中，设备101的用户的注视714投向物理树的表示702b。然而，在图7B中，设备101检测到(例如，使用传感器314)设备101的用户的注视714投向App A的表示712。响应于检测到投向App A的表示712的用户的注视714，并且在未改变显示三维环境701的特定沉浸水平718的情况下，设备101任选地相对于表示712淡化三维环境的在表示712之外的部分，如图7B所示。例如，设备101任选地使经由显示生成部件120显示的物理环境700的表示(例如，表示702b和704b和/或其中显示那些表示的物理环境的表示)的显示变暗、变模糊或以其他方式被遮挡，如图7B所示。设备101附加地或另选地使除了表示712(例如，设备101的用户的注视714所投向的虚拟对象)之外的虚拟对象的显示变暗、变模糊或以其他方式被遮挡—例如，设备101任选地使表示710、表示708和表示706的显示变暗、变模糊或以其他方式被遮挡，如图7B所示。在一些实施方案中，设备101使经由显示生成部件120显示的物理环境700的表示的显示以及除了表示712之外的虚拟对象的显示两者变暗、变模糊或以其他方式被遮挡。以此方式，设备101能够减少由除了设备101的用户正在看向的表示之外的表示所造成的分心。在一些实施方案中，如果设备101检测到用户的注视714背离表示712(例如，返回到投向三维环境701的在表示712之外的部分，诸如在图7A中)，则设备101任选地停止淡化三维环境701的在图7B中被淡化的部分，并且返回到图7A所示的各种表示的显示。如先前所描述，在一些实施方案中，参考图7A-图7B所描述的淡化与改变设备101显示各种用户界面的沉浸水平是分开且独立的，改变将参考图9-图16更详细地描述。
在一些实施方案中，设备101只在设备101的用户看向某些类型的对象(例如，媒体播放器应用程序的表示)而不看向其他类型的对象(例如，其他类型的应用程序的表示)时执行上述去强调。例如，在图7A-图7B中，App A任选地是媒体播放器应用程序(例如，表示712正在显示媒体，诸如电影或电视节目)。如果用户的注视714已经改为投向帽子的表示706或非媒体播放器应用程序的表示，则设备101任选地将不使除了用户正在看向的对象或表示之外的对象或表示淡化。
图8A-图8D是示出了根据一些实施方案的基于用户的注视来强调和/或淡化用户界面的方法800的流程图。在一些实施方案中，方法800在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法800通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1中的控制单元110)执行的指令来管理。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法800中，在一些实施方案中，与显示生成部件和一个或多个输入设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，图1中的计算机系统101)经由一个或多个输入设备接收(802)对应于二维绘图的用户输入，诸如绘制图7A中的二维绘图708的用户输入(例如，接收绘制、生成、插入或以其他方式导致二维绘图的显示的用户输入)。
在方法800中，在一些实施方案中，与显示生成部件和眼睛跟踪设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，图1中的计算机系统101)经由显示生成部件同时显示(802)与第一应用程序相关联的第一用户界面(804)，诸如图7A中的用户界面712，以及围绕第一用户界面的至少一部分的第二用户界面(806)，诸如图7A中的三维环境701。在一些实施方案中，电子设备是移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或致使用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，电子设备与一个或多个输入设备通信，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测用户输入等)并且将与用户输入相关联的信息传输到电子设备的电子设备或部件。输入设备的示例包括触摸屏、鼠标(例如，外部的)、轨迹板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一移动设备(例如，与电子设备分离)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、运动传感器(例如，手部跟踪设备、手部运动传感器)和/或眼睛跟踪设备等)。
在一些实施方案中，电子设备在应用程序窗口中显示第一应用程序的内容。例如，显示视频内容回放应用程序中的视频，该视频内容回放应用程序诸如可经由其浏览一种或多种类型的内容(例如，音乐、歌曲、电视剧集、电影等)和/或其中可播放该内容的应用程序。在一些实施方案中，第二用户界面是其中显示第一用户界面的系统用户界面，诸如电子设备的操作系统的用户界面。在一些实施方案中，第一用户界面上覆于第二用户界面。在一些实施方案中，第一用户界面响应于在电子设备正在显示第二用户界面时接收到的显示第一用户界面的输入而显示。在一些实施方案中，第二用户界面并不特别地与任何单个应用程序相关联(例如，因为它是操作系统用户界面而不是应用程序用户界面)。在一些实施方案中，第二用户界面包括或为第一用户界面在其内显示的三维环境，诸如在计算机生成的现实(CGR)环境诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等内显示第一用户界面，该三维环境由电子设备生成、显示或以其他方式使其可查看。
在一些实施方案中，在同时显示第一用户界面以及第二用户界面的围绕第一用户界面的至少一部分的部分时，电子设备经由眼睛跟踪设备检测(808)到用户的注视投向第一用户界面，诸如图7B中的投向表示712的注视714(例如，电子设备经由眼睛跟踪设备确定用户正在看向第一用户界面内的区域，或第二用户界面的包括第一用户界面的区域/体积内的区域。在一些实施方案中，当用户的注视与第二用户界面中的在第一用户界面的阈值距离(例如，1英寸、6英寸、1英尺、2英尺、10英尺等)内的位置重合时，用户的注视投向第一用户界面)。
在一些实施方案中，响应于检测到用户的注视投向第一用户界面，根据确定满足一个或多个标准(例如，一个或多个标准包括当第一应用程序是第一类型的应用程序(例如，用于浏览和/或查看照片、视频、电影等的媒体播放器应用程序)时满足但当第一应用程序是不同于第一类型的应用程序的第二类型的应用程序(例如，文字处理应用程序)时不满足的标准)。在一些实施方案中，在除了用户的注视投向第一用户界面之外没有来自用户的任何附加输入的情况下满足一个或多个标准(例如，响应于注视输入，相对于第一用户界面自动地淡化第二用户界面)。在一些实施方案中，一个或多个标准包括当用户的注视投向第一用户界面长于时间阈值诸如0.5秒、1秒、2秒、5秒、10秒时满足否则不满足的标准，电子设备相对于第一用户界面淡化第二用户界面(810)，诸如图7A中的相对于表示712淡化三维环境701的内容。例如，使第一用户界面变亮和/或使第二用户界面变暗/变暗淡。在一些实施方案中，更新第一用户界面，使得第一用户界面的相应视觉特性从具有第一值改变为具有不同于第一值的第二值。在一些实施方案中，更新第二用户界面，使得第二用户界面的相应视觉特性从具有第三值改变为具有不同于第三值的第四值。在一些实施方案中，第二用户界面变模糊(当其之前不模糊时)或者变得更加模糊(当其之前已经模糊时)。在一些实施方案中，使第一用户界面在大小上扩大，并且因此占据第二用户界面的更大部分和/或上覆于第二用户界面的更大部分。在一些实施方案中，如果不满足一个或多个标准，则不相对于第一用户界面淡化第二用户界面。在一些实施方案中，如果用户的注视从第一用户界面移动到第二用户界面，则第二用户界面相对于第一用户界面的淡化被逆转(例如，恢复到用户的注视投向第一用户界面之前存在的相对强调度)。在一些实施方案中，如果用户的注视从第一用户界面移动到第二用户界面，则将第一用户界面相对于第二用户界面淡化(例如，以如本文关于相对于第一用户界面淡化第二用户界面所描述相同或类似的方式)。上述相对于第一用户界面淡化第二用户界面的方式提供了指示第一用户界面是具有焦点的用户界面的高效方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免因第二用户界面而分心，并且因此避免不必要的与第二用界面的交互)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，一个或多个标准包括当第一应用程序是第一类型的应用程序时满足并且当第一应用程序是不同于第一类型的第二类型的应用程序时不满足的标准(812)(例如，对于作为用于浏览和/或观看内容或媒体的应用程序的应用程序(例如，其中电影、图像、音乐、电视节目等可观看的应用程序)满足标准，并且对于不是用于观看内容或媒体的应用程序的应用程序(例如，文字处理应用程序、日历应用程序、电子表格应用程序等)不满足标准)。在一些实施方案中，响应于检测到用户的注视投向第一用户界面，根据确定不满足一个或多个标准(例如，因为第一应用程序不是内容/媒体浏览和/或观看应用程序)，电子设备放弃相对于第一用户界面淡化第二用户界面(814)。例如，第一用户界面的显示和第二用户界面的显示与它们在用户的注视被检测为投向第一用户界面之前保持一样，并且任选地，第一用户界面相对于第二用户界面的相对强调度(且反之亦然)与其在用户的注视被检测为投向第一用户界面之前保持一样。因此，第二用户界面任选地并不响应于用户的注视投向第一用户界面而变暗或变模糊。在一些实施方案中，第一用户界面相对于第二用户界面的基于注视的去强调针对所有类型的应用程序发生，包括除了内容和/或媒体观看应用程序之外的应用程序(例如，一个或多个标准不包括上述应用程序类型标准)。上述基于与用户界面相关联的应用程序的类型执行用户界面的基于注视的去强调的方式提供了只在很可能期望强调/去强调用户界面的情形下进行这种强调/去强调的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免用户界面的错误强调/去强调，而错误强调/去强调则需要附加用户输入来校正)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在检测到用户的注视投向第一用户界面之后并且在将第二用户界面显示为相对于第一用户界面淡化(例如，用户的注视投向第一用户界面导致第二用户界面相对于第一用户界面淡化)时，电子设备经由眼睛跟踪设备检测(816)到用户的注视投向第二用户界面，诸如注视714往回移动到表示712之外，诸如在图7A中(例如，电子设备经由眼睛跟踪设备确定用户正在看向第二用户界面内的、由第一用户界面占据的区域/体积之外的区域。在一些实施方案中，当用户的注视与第一用户界面中的在第二用户界面的阈值距离(例如，1英寸、6英寸、1英尺、2英尺、10英尺等)内的位置重合时，用户的注视投向第二用户界面)。在一些实施方案中，响应于检测到用户的注视投向第二用户界面，根据确定满足一个或多个第二标准(在一些实施方案中，在除了用户的注视投向第二用户界面之外没有来自用户的任何附加输入的情况下满足一个或多个第二标准(例如，响应于注视输入，相对于第二用户界面自动地淡化第一用户界面)。在一些实施方案中，一个或多个第二标准包括当用户的注视投向第二用户界面长于时间阈值诸如0.5秒、1秒、2秒、5秒、10秒时满足否则不满足的标准，电子设备相对于第一用户界面强调(818)第二用户界面，诸如导致图7A的显示(例如，和/或相对于第二用户界面淡化第一用户界面)。
在一些实施方案中，第一用户界面和第二用户界面的显示返回到在用户的注视被检测为投向第一用户界面之前显示这两个用户界面的方式(例如，在绝对意义上和/或相对于彼此)。在一些实施方案中，第二用户界面变亮和/或变清晰和/或以其他方式更少被遮挡。在一些实施方案中，第一用户界面变暗和/或变模糊和/或以其他方式更加被遮挡。在一些实施方案中，与在用户的注视投向第一用户界面之前第一用户界面和第二用户界面的相对显示相比，第二用户界面相对于第一用户界面变得更加被强调。在一些实施方案中，与在用户的注视投向第一用户界面之前第一用户界面和第二用户界面的相对显示相比，第二用户界面相对于第一用户界面变得更少被强调。上述基于注视恢复用户界面的显示的方式提供了返回到用户界面的先前显示的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过无需附加或不同种类的用户输入来恢复用户界面的显示)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在检测到用户的注视投向第一用户界面之前，第一用户界面和第二用户界面与电子设备的物理环境的至少一部分的表示诸如图7A中的表示702b和704b同时显示(820)(例如，该部分和/或电子设备的物理环境中的对象的表示经由显示生成部件透传以与第一用户界面和/或第二用户界面同时显示)。在一些实施方案中，透传对象由电子设备主动地显示(例如，通过经由电子设备的一个或多个传感器捕获，并且经由显示生成部件生成以供显示)。在一些实施方案中，透传对象的显示不被电子设备遮挡(例如，就允许电子设备的物理环境的部分透过显示生成部件可见的透明或半透明显示生成部件而言)。在一些实施方案中，第二用户界面包括经由显示生成部件可见的物理环境的部分。在一些实施方案中，第二用户界面和第一用户界面在经由显示生成部件显示的三维环境内显示，该三维环境包括经由显示生成部件可见的物理环境的部分。在一些实施方案中，物理环境的部分是放置在电子设备的物理环境的物理地板上的物理桌子。
在一些实施方案中，相对于第一用户界面淡化第二用户界面包括相对于第一用户界面淡化电子设备的物理环境的部分的表示(822)，诸如图7B所示的表示702b和704b的淡化。例如，使电子设备的物理环境的部分的表示的显示变暗和/或变模糊和/或以其他方式被遮挡(例如，使物理桌子的表示变暗)和/或使第一用户界面的显示变亮和/或以其他方式被强调。上述类似于第二用户界面处理电子设备的物理环境的部分的显示的方式维持了电子设备对用户的注视的响应的一致性，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免因电子设备的物理环境的这些部分而分心，并且因此避免不必要的与物理环境的这些部分的交互)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在检测到用户的注视投向第一用户界面之前，第一用户界面和第二用户界面与不在电子设备的物理环境中的虚拟对象诸如图7A中的表示706、708和710同时显示(824)(例如，显示作为虚拟对象而不是电子设备的物理环境的物理对象和/或部分的表示的对象、元素、应用程序等的表示。在一些实施方案中，第二用户界面包括虚拟对象。在一些实施方案中，虚拟对象在第一用户界面和/或第二用户界面之外显示。例如，虚拟(例如，非物理的、非真实的)花瓶的表示被显示为好像它被放置在放置于电子设备的物理环境的物理地板上的物理桌子上一样。在一些实施方案中，相对于第一用户界面淡化第二用户界面包括相对于第一用户界面淡化虚拟对象(826)，诸如图7B所示的表示706、708和710的淡化。例如，使虚拟对象的显示变暗和/或变模糊和/或以其他方式被遮挡(例如，使被显示为好像它被放置在电子设备的物理环境中的物理桌子上一样的虚拟花瓶变暗)，同时使第一用户界面的显示变亮和/或以其他方式被强调。上述类似于第二用户界面处理虚拟对象的显示的方式维持了电子设备对用户的注视的响应的一致性，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免因虚拟对象而分心，并且因此避免不必要的与虚拟对象的交互)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在检测到用户的注视投向第一用户界面之前，第一用户界面和第二用户界面与电子设备的物理环境的至少一部分的表示诸如图7A中的表示702b和704b同时显示(828)(例如，该部分和/或电子设备的物理环境中的对象的表示经由显示生成部件透传以与第一用户界面和/或第二用户界面同时显示)。在一些实施方案中，透传对象由电子设备主动地显示(例如，通过经由电子设备的一个或多个传感器捕获，并且经由显示生成部件生成以供显示)。在一些实施方案中，透传对象的显示不被电子设备遮挡(例如，就允许电子设备的物理环境的部分透过显示生成部件可见的透明或半透明显示生成部件而言)。在一些实施方案中，第二用户界面包括经由显示生成部件可见的物理环境的部分。在一些实施方案中，第二用户界面和第一用户界面在经由显示生成部件显示的三维环境内显示，该三维环境包括经由显示生成部件可见的物理环境的部分。在一些实施方案中，物理环境的部分是放置在电子设备的物理环境的物理地板上的物理桌子。
在一些实施方案中，第一用户界面和第二用户界面与不在电子设备的物理环境中的虚拟对象诸如图7A中的表示706、708和710同时显示(828)(例如，显示作为虚拟对象而不是电子设备的物理环境的物理对象和/或部分的表示的对象、元素、应用程序等的表示)。在一些实施方案中，第二用户界面包括虚拟对象。在一些实施方案中，虚拟对象在第一用户界面和/或第二用户界面之外显示。例如，虚拟(例如，非物理的、非真实的)花瓶的表示被显示为好像它被放置在放置于电子设备的物理环境的物理地板上的物理桌子上一样。在一些实施方案中，相对于第一用户界面淡化第二用户界面包括(830)：相对于第一用户界面淡化电子设备的物理环境的部分的表示(832)，诸如图7B所示(例如，使电子设备的物理环境的部分的表示的显示变暗和/或变模糊和/或以其他方式被遮挡(例如，使物理桌子的表示变暗)，同时使第一用户界面的显示变亮和/或以其他方式被强调)；以及相对于第一用户界面淡化虚拟对象(834)，诸如图7B所示(例如，使虚拟对象的显示变暗和/或变模糊和/或以其他方式被遮挡(例如，使被显示为好像它被放置在电子设备的物理环境中的物理桌子上一样的虚拟花瓶变暗)，同时使第一用户界面的显示变亮和/或以其他方式被强调)。上述类似于第二用户界面处理虚拟对象的显示和电子设备的物理环境的部分的显示的方式维持了电子设备对用户的注视的响应的一致性，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免因虚拟对象和物理环境的这些部分而分心，并且因此避免不必要的与虚拟对象和物理环境的这些部分的交互)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，第二用户界面包括不在电子设备的物理环境中的虚拟对象(836)，诸如图7A中的表示706、708和710。例如，在第二用户界面中显示作为虚拟对象的对象、元素、应用程序等的表示(例如，相较于电子设备的物理环境的物理对象和/或部分的表示)。例如，虚拟(例如，非物理的、非真实的)花瓶的表示在第二用户界面中显示，好像它被放置在放置于电子设备的物理环境的物理地板上的物理桌子上一样。在一些实施方案中，第二用户界面是在其上和/或在其内显示第一用户界面的背景(例如，使得第一用户界面上覆于包含虚拟对象的区域/体积)。在一些实施方案中，响应于用户的注视投向第一用户界面，还相对于第一用户界面淡化虚拟对象(例如，类似于第二用户界面)。上述执行用户界面的基于注视的强调/去强调的方式提供了强调/去强调包括虚拟对象的显示空间中的用户界面的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在检测到用户的注视投向第一用户界面之前，以第一沉浸水平诸如图7A中的沉浸水平718显示(例如，以如参考方法1000、1200和/或1600所述的相应沉浸水平显示)第一用户界面(838)，并且相对于第一用户界面淡化第二用户界面包括以第一沉浸水平维持第一用户界面的显示(840)，诸如图7B中的维持相同沉浸水平718(例如，继续以如参考方法1000、1200和/或1600所描述的相应沉浸水平显示)。例如，这里在方法800中所描述的第二用户界面相对于第一用户界面的基于注视的去强调任选地不改变显示所显示的用户界面的沉浸水平。在一些实施方案中，这里在方法800中所描述的一个用户界面相对于另一用户界面的去强调和/或强调独立于由沉浸水平的改变导致的显示特性的改变，如参考方法1000、1200和/或1600所描述。在一些实施方案中，这里在方法800中所描述的一个用户界面相对于另一用户界面的去强调和/或强调补充由沉浸水平的改变导致的显示特性的改变和/或与之组合(例如，无论是正贡献还是负贡献)，如参考方法1000、1200和/或1600所描述。上述执行用户界面的基于注视的强调/去强调的方式提供了强调/去强调用户界面而不改变所显示的用户界面的沉浸水平的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免对所显示的用户界面的沉浸水平的错误改变，而错误改变将需要附加用户输入来校正)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，第一用户界面被显示为上覆于第二用户界面(842)，诸如图7A中的上覆于三维环境701的内容的表示712。例如，第二用户界面是在其上和/或在其内显示第一用户界面的背景，使得第二用户界面的部分被第一用户界面遮挡(例如，不可见)(例如，第二用户界面的在第一用户界面后面的部分)，并且第二用户界面的其他部分不被第一用户界面遮挡(例如，可见)(例如，第二用户界面的围绕第一用户界面和/或不在第一用户界面后面的部分)。上述执行上覆于另一用户界面的用户界面的基于注视的强调/去强调的方式提供了强调/去强调上覆用户界面的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免因上覆第二用户界面后面的背景而分心，并且因此避免不必要的与该背景的交互)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
图9A-图9C示出了相较于应用程序用户界面设置操作系统用户界面的沉浸水平的示例。
图9A示出了电子设备101经由显示生成部件(例如，图1的显示生成部件120)在用户界面中显示三维环境901。如上参考图1-图6所描述，电子设备101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101将能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，以下示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件以及用于检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或用于检测用户的注视的传感器(例如，向内面向用户的面部的内部传感器)。
如图9A所示，设备101捕获设备101周围的物理环境900(例如，操作环境100)、包括设备101周围的物理环境900中的一个或多个对象的一个或多个图像。在一些实施方案中，设备101在三维环境901中显示物理环境的表示。例如，三维环境901包括树的表示902b(例如，对应于物理环境900中的树902a)和人的表示904b(例如，对应于物理环境900中的人904a)。在一些实施方案中，设备101还在三维环境901中显示一个或多个虚拟对象(例如，不在物理环境900中的对象)。例如，在图9A中，设备101正在显示树的表示902b上的虚拟对象910(例如，装饰物)、人的表示904b上的虚拟对象906(例如，帽子)以及太阳的表示908。在一些实施方案中，太阳的表示908被显示并且被视为三维环境901中的光源，并且由太阳的表示908产生的照明效果被设备101应用于在三维环境901中显示的物理对象和/或虚拟对象的表示。
在图9A中，设备101还正在显示设备101的操作系统的用户界面912。用户界面912任选地是设备101的操作系统的应用程序浏览用户界面，从该应用程序浏览用户界面可显示/启动可在设备101上访问的一个或多个应用程序。在一些实施方案中，用户界面912是设备101的操作系统的任何其他用户界面(例如，相较于作为设备101上的应用程序的用户界面)。在图9A中，用户界面912包括对应于可在设备101上访问的不同应用程序的图标(例如，App A的图标、App B的图标、App C的图标、以及App D的图标)，这些图标可选择以经由设备101的显示生成部件120来显示所选择的相应应用程序。在一些实施方案中，用户界面912在三维环境901内的一位置处显示，使得它上覆于三维环境901中的物理对象和/或虚拟对象的一个或多个表示(例如，上覆于人的表示904b的部分且在该表示的前面，该表示对应于物理环境900中的人904a)。在一些实施方案中，用户界面912位于三维环境901内，使得一个或多个虚拟对象在用户界面912的前面且上覆于该表示的部分，和/或物理对象的一个或多个表示在用户界面912的前面且上覆于该表示的部分。
在一些实施方案中，设备101以特定沉浸水平显示经由显示生成部件120显示的三维环境901和/或用户界面。在图9A中，设备101正在以特定沉浸水平918(例如，在沉浸度标尺916上指示，该沉浸度标尺的最左侧对应于无沉浸度，并且该沉浸度标尺的最右侧对应于最大沉浸度)显示三维环境901，在该特定沉浸水平下，物理对象的表示902b和904b经由显示生成部件120可见。在一些实施方案中，沉浸水平包括由电子设备显示的内容遮挡用户界面912周围/后面的背景内容(例如，除了用户界面912之外的内容)的相关联程度，任选地包括所显示的背景内容的项目的数量以及显示背景内容的视觉特性(例如，颜色、对比度、不透明度)。在一些实施方案中，背景内容包括于在其上显示用户界面912的背景中。在一些实施方案中，背景内容包括附加用户界面(例如，由设备101生成的对应于应用程序的用户界面、系统用户界面等)、不与用户界面912相关联或未包括在该用户界面中的虚拟对象(例如，由设备101生成的文件、其他用户的表示等)和/或真实对象(例如，表示电子设备101的物理环境中的真实对象的透传对象，这些透传对象由设备显示，使得它们经由显示生成部件可见)。在一些实施方案中，在第一(例如，低)沉浸水平下，背景、虚拟和/或真实对象以不被遮挡的方式显示。例如，具有低沉浸水平的相应用户界面任选地与背景内容同时显示，该背景内容任选地以全亮度、颜色和/或半透明度显示。在一些实施方案中，在第二(例如，更高)沉浸水平下，背景、虚拟和/或真实对象以被遮挡的方式显示(例如，变暗淡、变模糊、从显示器移除等)。例如，显示具有高沉浸水平的相应用户界面而不同时显示背景内容(例如，在全屏或完全沉浸模式中)。又如，以中等沉浸水平显示的用户界面与变暗、变模糊或以其他方式被去强调的背景内容同时显示。在一些实施方案中，背景对象的视觉特性在背景对象之间有所不同。例如，在特定沉浸水平下，一个或多个第一背景对象比一个或多个第二背景对象更多地在视觉上被去强调(例如，变暗淡、变模糊、以增大的透明度显示)，并且一个或多个第三背景对象停止显示。本文包括参考方法1200、1400和1600描述了关于沉浸水平的附加细节。
在图9A中，在设备101的输入元件920上接收输入。输入元件920任选地是可被操纵以改变设备101当前显示的用户界面的沉浸水平的机械输入元件，诸如滑块元件或旋转输入元件，其中沉浸度的改变的量和方向(例如，增大或减小)基于输入元件920的操纵的量值和方向(例如，输入元件920的移动的方向和/或量值，或可旋转输入元件的旋转的方向和/或量值)。在一些实施方案中，设备101和/或输入元件920在沉浸水平改变时生成触觉反馈(例如，针对沉浸度的每个增大或减小阶段的小触觉输出，以及在达到最小或最大沉浸度时的不同的大触觉输出)。
在图9A中，在输入元件920上接收的输入是将输入元件920向上滑动以将当前显示的用户界面的沉浸水平增大一定量的输入，该量基于元件920的向上移动量。响应于图9A中的输入，设备101将显示操作系统用户界面912的沉浸水平增大到中间沉浸水平，如图9B和沉浸度标尺916所示。具体地，在一些实施方案中，增大显示用户界面912的沉浸水平致使设备101经由显示生成部件120以更大大小显示用户界面，如图9B所示。此外，如先前所描述，附加地或另选地，在图9B中，在用户界面912周围和/或后面显示的内容(例如，物理对象的表示902b和904b，以及虚拟对象910和906)变暗和/或变模糊，而用户界面912未变暗或变模糊。在一些实施方案中，增大显示当前显示的用户界面的沉浸水平附加地或另选地增大与经由显示生成部件120显示的虚拟或物理对象相关联的氛围视觉和/或音频效果。例如，因此，在图9B中，从太阳的表示908发射的光线已经被加长(例如，对应于更多虚拟光从表示908发射)，并且树的表示902b上的装饰物910已经开始发光。类似地考虑了与沉浸水平的改变结合的氛围照明、视觉、音频等效果的附加或另选改变。
如先前所提及，在一些实施方案中，任选地彼此独立地设置显示不同用户界面的沉浸水平。例如，显示操作系统用户界面的沉浸水平的改变任选地不改变显示应用程序用户界面的沉浸水平，并且在一些实施方案中，显示第一应用程序的用户界面的沉浸水平的改变不改变显示第二应用程序的用户界面的沉浸水平。因此，在一些实施方案中，响应于从显示一个用户界面切换到显示另一用户界面的输入，设备101任选地以上一次显示所切换到的用户界面的沉浸水平显示所切换到的用户界面，与应用于当前显示的用户界面的沉浸的任何改变无关。
例如，在图9B中，设备101检测到选择用户界面912中的对应于App C的图标的输入。作为响应，设备101显示App C的用户界面934，如图9C所示。App C任选地是可经由设备101访问(例如，安装在该设备上)的应用程序，并且任选地是任何类型的应用程序(例如，内容观看应用程序、文字处理应用程序等)。App C任选地不同于设备101的操作系统，并且因此用户界面934任选地不是设备101的操作系统的用户界面，而是App C的用户界面。
如图9C所示，响应于显示App C的输入，设备101正在以高于图9B中设备101正在显示用户界面912的沉浸水平918的沉浸水平932显示用户界面934(例如，如App C的沉浸度标尺930所指示)。这是任选的，因为如先前所描述，针对应用程序设置的沉浸水平任选地与针对设备101的操作系统设置的沉浸水平无关。因此，任选的情况是，图9C中设备101正在显示App C的用户界面934的更高沉浸水平是设备101上一次显示用户界面934的沉浸水平。如果用户界面934上一次曾以与图9B所示的用户界面912的沉浸水平918相比更低的沉浸水平显示，则设备101将任选地以该更低沉浸水平而不是以图9C所示的更高沉浸水平显示图9C中的用户界面934。图9C中还示出了显示生成部件120上的用户界面934的增大的大小(相较于图9B中的用户界面912的大小)以及用户界面934之外/周围的内容的增大的变暗和/或变模糊(相较于图9B中的用户界面912之外/周围的内容的变暗和/或变模糊)—显示特性的这些改变任选地是响应于增大的沉浸度而发生的改变中的一些改变，如先前所描述。还考虑到诸如先前所描述的那些的显示特性的附加或另选改变。
如先前所描述，显示一个应用程序中的用户界面的沉浸度的改变任选地不改变显示其他应用程序的用户界面和/或操作系统的用户界面的沉浸水平。例如，如果设备101检测到改变图9C中的App C的用户界面934的沉浸水平的输入(例如，经由输入元件920)，则设备101将根据该输入来改变显示用户界面934的沉浸水平，如先前所描述。在改变显示用户界面934的沉浸水平之后，响应于重新显示用户界面912的输入(例如，停止用户界面934的显示的输入)，设备将任选地返回到图9B的显示，其中用户界面912以沉浸水平918显示，该沉浸水平是上一次显示用户界面912的沉浸水平，并且与在检测到重新显示用户界面912的输入时显示用户界面934的改变的沉浸水平无关。
在一些实施方案中，应用程序(例如，App C)在它们的用户界面中包括用于改变显示那些应用程序的沉浸水平的控件。例如，在一些实施方案中，App C的用户界面934包括用于增大或减小显示用户界面934的沉浸水平的控件，并且除了或代替与输入元件920的交互，设备101还响应于与那些控件的交互而改变显示App C的沉浸度。此外，在一些实施方案中，响应于在输入元件920处检测到的输入，可达到操作系统用户界面的高于阈值(例如，最大沉浸度)的沉浸度。然而，在一些实施方案中，响应于在输入元件920处检测到的输入，不可达到应用程序用户界面的高于该阈值的沉浸度—在一些实施方案中，显示应用程序用户界面的沉浸度使用输入元件只能达到阈值沉浸度，并且一旦达到该阈值，就需要不同类型的输入来将显示应用程序用户界面的沉浸度增大到超过该阈值。例如，在图9C中，显示用户界面934的沉浸水平932任选地是针对用户界面934经由输入元件920处的输入可达到的最高沉浸度。为了使沉浸度增大到越过沉浸水平932，设备101任选地需要选择用户界面934中示出的用户界面元素的输入。例如，在图9C中，用户界面934包括用户界面元素950，该用户界面元素可选择以将显示用户界面934的沉浸度增大超过沉浸水平932(例如，选择用户界面元素950的用户输入任选地导致设备101以最大沉浸度或全屏显示用户界面934，其中设备101不显示围绕用户界面934的内容)。在一些实施方案中，一旦显示用户界面934的沉浸水平已经达到先前所描述的阈值沉浸水平，用户界面934就仅包括元素950。在一些实施方案中，用户界面934包括元素950，而不管显示用户界面934的沉浸水平是否已经达到先前所描述的阈值沉浸水平。
图10A-图10K是示出了根据一些实施方案的彼此独立地限定不同用户界面的沉浸水平的方法1000的流程图。在一些实施方案中，方法1000在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1中的控制单元110)执行的指令来管理。方法1000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法1000中，在一些实施方案中，与显示生成部件和一个或多个输入设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，图1中的计算机系统101)显示(1002)电子设备的操作系统的第一相应用户界面，诸如图9B中的用户界面912。在一些实施方案中，电子设备是移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或致使用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，电子设备与一个或多个输入设备通信，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测用户输入等)并且将与用户输入相关联的信息传输到电子设备的电子设备或部件。输入设备的示例包括触摸屏、鼠标(例如，外部的)、轨迹板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一移动设备(例如，与电子设备分离)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、运动传感器(例如，手部跟踪设备、手部运动传感器)、包括在电子设备中的物理机械输入元件(例如，按钮、旋转机械元件、开关等)和/或眼睛跟踪设备等。
在一些实施方案中，第一相应用户界面是由电子设备的操作系统而不是由(例如，安装在)电子设备上的应用程序生成和/或显示的用户界面。例如，第一相应用户界面任选地是作为系统用户界面的应用程序浏览和/或启动用户界面，并且任选地包括不同应用程序的多个可选择表示，该多个可选择表示在被选择时致使电子设备显示所选择的应用程序的用户界面(例如，启动所选择的应用程序)。在一些实施方案中，第一相应用户界面在计算机生成的现实(CGR)环境诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等内显示，该环境由电子设备生成、显示或以其他方式使其可查看。
在一些实施方案中，第一相应用户界面以第一沉浸水平诸如图9B中的沉浸水平918显示(1004)(例如，在一些实施方案中，沉浸水平包括电子设备显示的内容遮挡第一相应用户界面周围/后面的背景内容(例如，除了第一相应用户界面之外的内容)的相关联程度，任选地包括所显示的背景内容的项目的数量和以其显示背景内容的视觉特性(例如，颜色、对比度、不透明度)，和/或经由显示生成部件显示的内容的角度范围(例如，以低沉浸度显示的内容的60度，以中等沉浸度显示的内容的120度，以高沉浸度显示的内容的180度)，和/或由电子设备显示的内容所消耗的经由显示生成显示的视场的比例(例如，由电子设备以低沉浸度显示的内容所消耗的视场的33％，由电子设备以中等沉浸度显示的内容所消耗的视场的66％，由电子设备以高沉浸度显示的内容所消耗的视场的100％))。在一些实施方案中，背景内容包括于在其上显示第一相应用户界面的背景中。在一些实施方案中，背景内容包括附加用户界面(例如，由设备生成的与除了第一相应用户界面的应用程序之外的应用程序对应的用户界面、系统用户界面)、不与第一相应用户界面相关联或未包括在第一相应用户界面中的虚拟对象(例如，由设备生成的文件、其他用户的表示等)和/或真实对象(例如，表示电子设备的物理环境中的真实对象的透传对象，这些透传对象由设备显示，使得它们经由显示生成部件可见和/或经由透明或半透明显示生成部件可见，因为电子设备不遮挡/妨碍它们透过显示生成部件的可见性)。在一些实施方案中，在第一(例如，低)沉浸水平下，背景、虚拟和/或真实对象以不被遮挡的方式显示。例如，具有低沉浸水平的相应用户界面任选地与背景内容同时显示，该背景内容任选地以全亮度、颜色和/或半透明度显示。在一些实施方案中，在于无(或非常低)沉浸度下显示的相应用户界面中，无(或非常少)虚拟用户界面元素得以显示，并且仅(或几乎仅)背景内容任选地得以经由显示生成部件显示。在一些实施方案中，在第二(例如，更高)沉浸水平下，背景、虚拟和/或真实对象以被遮挡的方式显示(例如，变暗淡、变模糊、从显示器移除等)。例如，显示具有高沉浸水平的相应用户界面而不同时显示背景内容(例如，在全屏或完全沉浸模式中)。又如，以中等沉浸水平显示的用户界面与变暗、变模糊或以其他方式被去强调的背景内容同时显示。在一些实施方案中，背景对象的视觉特性在背景对象之间有所不同。例如，在特定沉浸水平下，一个或多个第一背景对象比一个或多个第二背景对象更多地在视觉上被去强调(例如，变暗淡、变模糊、以增大的透明度显示)，并且一个或多个第三背景对象停止显示。本文包括参考方法1200、1400和1600描述了关于沉浸水平的附加细节。
在一些实施方案中，在以第一沉浸水平显示第一相应用户界面时，电子设备经由一个或多个输入设备接收(1006)与显示相应应用程序的第二相应用户界面的请求对应的第一用户输入，诸如图9B中的App C的图标上的输入(例如，检测到对应用程序浏览用户界面中的相应应用程序的应用程序图标的选择)。在一些实施方案中，第一用户输入是用于显示相应应用程序的语音输入，而无需选择相应应用程序的任何图标，无论该图标是否在第一相应用户界面中显示。在一些实施方案中，响应于接收到第一用户输入，电子设备经由显示生成部件显示(1008)相应应用程序的第二相应用户界面，诸如图9C所示的用户界面934(例如，在一些实施方案中，第二相应用户界面被显示为上覆于第一相应用户界面，这两者任选地继续在背景之上和/或在三维环境内显示。在一些实施方案中，显示第二相应用户界面包括停止第一相应用户界面的显示，使得第二相应用户界面(但第一相应用户界面不)继续在背景之上和/或在三维环境内显示，其中相应应用程序的第二相应用户界面以第二沉浸水平诸如图9C所示的沉浸水平932(例如，与操作系统用户界面的沉浸水平无关的沉浸水平)显示(1010)。因此，在一些实施方案中，操作系统用户界面的沉浸水平不影响应用程序用户界面的沉浸水平。在一些实施方案中，显示第二相应用户界面的第二沉浸水平是上一次(在第二相应用户界面的当前显示之前)显示第二相应用户界面的沉浸水平。在一些实施方案中，操作系统用户界面的沉浸水平确实影响应用程序用户界面的沉浸水平(例如，如果系统用户界面被设置在第一沉浸水平，则随后显示应用程序用户界面包括以该相同第一沉浸水平显示应用程序用户界面，即使应用程序用户界面上一次是以不同沉浸水平显示的)。
在一些实施方案中，在以第二沉浸水平显示第二相应用户界面时，电子设备经由一个或多个输入设备接收(1012)与改变与电子设备相关联的当前沉浸水平的请求对应的第二用户输入，诸如图9C中的输入元件920上的输入(例如，语音输入、手势、对所显示的用户界面元素的选择和/或对包括在电子设备中的机械输入元件处的输入(例如，旋转输入)的检测，该用户输入与增大或减小当前显示的用户界面的沉浸水平的请求对应)。在一些实施方案中，响应于接收到第二用户输入，电子设备经由显示生成部件以不同于第二沉浸水平的第三沉浸水平显示(1014)第二相应用户界面(例如，根据第二用户输入增大或减小第二相应用户界面的沉浸水平)。
在一些实施方案中，在以第三沉浸水平显示第二相应用户界面时，电子设备经由一个或多个输入设备接收(1016)与显示第一相应用户界面的请求对应的第三用户输入，诸如停止图9C中的用户界面934的显示的输入(例如，没有与改变用户界面的沉浸水平的请求对应的明确用户输入)(例如，停止显示第二相应用户界面的输入、在电子设备的导航层级中向后导航的输入、重新显示应用程序浏览用户界面的输入等)。在一些实施方案中，响应于接收到第三用户输入，电子设备经由显示生成部件显示(1018)第一相应用户界面，其中第一相应用户界面以第一沉浸水平显示(1020)，诸如图9B中的沉浸水平918下的用户界面912(例如，第一相应用户界面在响应于第一用户输入而显示第二相应用户界面时曾具有的相同沉浸水平)。因此，在一些实施方案中，第一相应用户界面的沉浸水平并不由于第二相应用户界面的沉浸水平的改变而改变)。所以，在一些实施方案中，应用程序的用户界面的沉浸水平的改变任选地不导致系统用户界面的沉浸水平的对应改变。在一些实施方案中，系统用户界面的沉浸水平的改变不导致应用程序的用户界面的沉浸水平的改变。在一些实施方案中，应用程序的用户界面的沉浸水平的改变任选地导致系统用户界面的沉浸水平的对应改变(例如，沉浸水平一起增大/减小)和/或反之亦然。在一些实施方案中，操作系统用户界面的沉浸水平可经由包括在电子设备中的机械输入元件改变，但是应用程序用户界面的沉浸水平不可经由该机械输入元件改变—在一些实施方案中，应用程序用户界面的沉浸水平可经由通过显示生成部件显示的控件改变。上述维持系统用户界面的沉浸水平而不管应用程序用户界面的沉浸水平的改变的方式提供了其中可针对不同用户界面独立地限定和/或改变沉浸水平的灵活架构，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免由于当前用户界面处的沉浸水平改变造成的另一用户界面中的错误沉浸水平改变)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，一个或多个输入设备包括可旋转输入元件，并且接收与改变跟电子设备相关联的当前沉浸水平的请求对应的第二用户输入包括检测可旋转输入元件的旋转(1022)，诸如参考输入元件920所描述。例如，电子设备包括机械输入元件或与机械输入元件通信，该机械输入元件响应于提供给它的旋转用户输入而旋转，并且在一些实施方案中，能够响应于提供给它的压下用户输入而被压下。在一些实施方案中，机械输入元件的旋转输入对应于改变电子设备当前经由显示生成部件显示的用户界面的当前沉浸水平的输入。在一些实施方案中，旋转的方向(例如，顺时针或逆时针)限定输入是增大所显示的用户界面的沉浸水平的请求(例如，顺时针)还是减小沉浸水平的请求(例如，逆时针)。在一些实施方案中，旋转的量值限定所显示的用户界面的沉浸水平被改变的量。上述改变所显示的用户界面的沉浸水平的方式提供了改变所显示的用户界面的沉浸水平的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免显示用于改变沉浸水平的用户界面元素的需要)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在检测可旋转元件的旋转时(1024)，根据确定当前显示的用户界面的当前沉浸水平是最小沉浸水平，电子设备经由触觉输出发生器(例如，耦接到可旋转输入元件，和/或耦接到可旋转输入元件任选地耦接到的设备的外壳等)生成(1026)包括具有第一值的相应特性的第一触觉输出，诸如参考图9A-图9C所描述(例如，如果所显示的用户界面已经响应于在旋转输入元件处检测到的旋转输入而达到最小沉浸水平(例如，无沉浸度)，则电子设备任选地在旋转输入元件处生成第一类型的触觉输出(例如，大触觉输出)，以指示已经达到所显示的用户界面的可用沉浸水平范围的最小值)。第一类型的触觉输出任选地具有第一量值、第一手感、第一频率等。在一些实施方案中，电子设备在电子设备的外壳处(例如，而不是直接在/到可旋转输入元件处)生成触觉输出。
在一些实施方案中，根据确定当前显示的用户界面的当前沉浸水平是最大沉浸水平，电子设备经由触觉输出发生器生成(1028)包括具有第一值的相应特性的第二触觉输出，诸如参考图9A-图9C所描述(例如，如果所显示的用户界面已经响应于在旋转输入元件处检测到的旋转输入而达到最大沉浸水平(例如，完全沉浸度)，则电子设备任选地在旋转输入元件处生成第一类型的触觉输出(例如，大触觉输出)，以指示已经达到所显示的用户界面的可用沉浸水平范围的最大值)。第一类型的触觉输出任选地具有第一量值、第一手感、第一频率等。在一些实施方案中，电子设备在电子设备的外壳处(例如，而不是直接在/到可旋转输入元件处)生成触觉输出。
在一些实施方案中，根据确定当前显示的用户界面的当前沉浸水平是中间沉浸水平，电子设备经由触觉输出发生器生成(1030)包括具有不同于第一值的第二值的相应特性的第三触觉输出，诸如参考图9A-图9C所描述。例如，如果所显示的用户界面已经响应于在旋转输入元件处检测到的旋转输入而达到预限定中间沉浸水平(例如，从一个沉浸阶段移动到下一个沉浸阶段)，则电子设备任选地在旋转输入元件处生成第二类型的触觉输出(例如，小触觉输出)，以指示已经达到所显示的用户界面的可用沉浸水平范围的预限定水平。第二类型的触觉输出任选地具有第二量值、第二手感、第二频率等。在一些实施方案中，电子设备在电子设备的外壳处(例如，而不是直接在/到可旋转输入元件处)生成触觉输出。在一些实施方案中，不同的应用程序和/或操作系统对于它们的相应用户界面具有不同的最小沉浸水平、最大沉浸水平和/或预限定中间沉浸水平；因此，在一些实施方案中，取决于当前正在调节哪一用户界面，任选地以不同沉浸水平生成上述触觉输出。在一些实施方案中，电子设备能够在多个沉浸阶段(例如，2至1000个沉浸阶段)(例如，多个沉浸阶段中的一个沉浸阶段)显示用户界面。在一些实施方案中，沉浸阶段单调地朝向更大沉浸度前进(例如，从无沉浸度到最大沉浸度)。如本文所述，在电子设备从一个沉浸阶段移动到下一个沉浸阶段时，电子设备任选地改变所显示的用户界面的一个或多个部分的显示特性。例如，随着沉浸度的增大，电子设备执行以下中的一者或多者：减小在用户界面中显示的物理环境的量；使在用户界面中显示的物理环境模糊和/或减小其亮度或饱和度；增大显示生成部件的视野由一个或多个虚拟对象占据的量；使一个或多个虚拟对象变清晰和/或增大其亮度或饱和度；或本文参考方法1000、1200、1400或1600所描述的其他效果中的任一效果。在一些实施方案中，电子设备任选地在以降序从一个沉浸阶段前进到先前沉浸阶段时进行相反的改变。在一些实施方案中，不同沉浸阶段导致电子设备所显示的事物的特性的不同改变。例如，在一组沉浸阶段(例如，较低水平的沉浸阶段)中，电子设备在其通过第一组沉浸阶段时首先通过增大经由显示生成部件显示的物理环境的模糊或被遮挡部分的阶段；在后续第二组沉浸阶段中，电子设备在其通过第二组沉浸阶段时任选地通过使经由显示生成部件显示的物理环境的(例如，模糊)部分变暗的阶段；并且在后续第三组沉浸阶段中，电子设备在其通过第三组沉浸阶段时任选地通过将经由显示生成部件显示的物理环境的(例如，模糊和/或变暗)部分替换为虚拟对象的阶段。在一些实施方案中，电子设备任选地在以降序通过多组沉浸阶段前进时进行相反的改变。上述生成触觉输出的方式提供了指示所显示的用户界面的当前沉浸水平的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免显示用于指示沉浸水平的用户界面元素的需要)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，第二用户输入包括第一部分和第二部分(1032)(例如，360度的总顺时针旋转包括180度的第一顺时针旋转，之后是180度的第二顺时针旋转)。在一些实施方案中，在接收到第二用户输入时(1034)，响应于接收到第二用户输入的第一部分，电子设备经由显示生成部件以介于第二沉浸水平和第三沉浸水平之间的第四沉浸水平显示第二相应用户界面(1036)，诸如参考图9A-图9C所描述(例如，随着可旋转输入元件的旋转和/或与可旋转输入元件在第二用户输入的第一部分中的旋转量成比例地增大沉浸水平)。在一些实施方案中，响应于接收到第二用户输入的第二部分，电子设备经由显示生成部件以第三沉浸水平显示第二相应用户界面(1038)，诸如参考图9A-图9C所描述(例如，随着可旋转输入元件旋转和/或与可旋转输入元件在第二用户输入的第一部分中的旋转量成比例地进一步增大沉浸水平)。因此，在一些实施方案中，随着可旋转输入元件的旋转和/或与可旋转输入元件的旋转成比例地和/或根据可旋转输入元件的旋转(例如，基于用户输入的量值和/或方向)，电子设备逐渐改变显示用户界面的沉浸水平。上述改变沉浸水平的方式在改变沉浸水平的同时向用户提供实时反馈，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免转变到不正确的沉浸水平，这避免了对逆转沉浸水平的一些或所有改变的另外的用户输入的需要)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，接收与改变跟电子设备相关联的当前沉浸水平的请求对应的第二用户输入包括(1040)：根据确定第二相应用户界面是第一应用程序的用户界面，检测与利用第二相应用户界面显示的第一相应控件的交互(1042)，并且根据确定第二相应用户界面是不同于第一应用程序的第二应用程序的用户界面，检测与利用第二用户界面显示的不同于第一相应控件的第二相应控件的交互(1044)，诸如参考图9A-图9C所描述。例如，在一些实施方案中，不同应用程序显示和/或具有用于改变应用程序的用户界面的沉浸水平的不同控件。例如，第一应用程序的用户界面任选地具有用于按5个沉浸阶段的步长来改变用户界面的沉浸水平的控件(例如，用于将沉浸阶段以5为增量从0到100步进增大/减小的向上/向下控件)。第二应用程序的用户界面任选地具有用于按1个沉浸阶段的步长来改变用户界面的沉浸水平的控件(例如，所显示的转盘，该转盘可响应于用户输入而旋转，以根据所显示的转盘的旋转将沉浸阶段从0到100步进增大/减小1个阶段)。在一些实施方案中，一些应用程序和/或用户界面显示用于改变沉浸水平的控件(例如，所以沉浸水平可经由与所显示的控件的交互来改变，并且任选地不能经由可旋转输入元件的旋转来改变，或者任选地也可经由可旋转输入元件的旋转来改变)，并且一些应用程序和/或用户界面不显示用于改变沉浸水平的控件(例如，沉浸水平仅可经由可旋转输入元件的旋转来改变)。例如，在一些实施方案中，操作系统用户界面的沉浸水平任选地可经由可旋转输入元件的旋转来改变(例如，且不可经由所显示的用户界面控件来改变)，而在电子设备上运行的应用程序的沉浸水平任选地可经由可旋转输入元件的旋转和/或经由所显示的用户界面控件来改变。上述具有基于应用程序的沉浸控件的方式提供了用于改变与所显示的应用程序和/或用户界面良好匹配的沉浸度的手段，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免用于改变与用户界面匹配不良的用户界面的沉浸水平的输入，这避免了对校正此类输入的另外的用户输入的需要)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在第二沉浸水平下，电子设备的物理环境的第一量经由显示生成部件替换为由电子设备显示的相应用户界面(1046)，诸如图9A-图9B所示，并且在第三沉浸水平下，电子设备的物理环境的不同于第一量的第二量经由显示生成部件替换为由电子设备显示的相应用户界面(1048)，诸如图9B-图9C所示。例如，在一些实施方案中，除了显示电子设备的物理环境(例如，物理环境中的对象、物理环境中的表面等)的表示之外，电子设备还正在显示内容/用户界面，诸如参考方法1200、1400和1600所描述。在一些实施方案中，物理环境的表示经由显示生成部件透传，如先前所描述。在一些实施方案中，在更低沉浸水平下，在电子设备经由显示生成部件显示内容/用户界面时，物理环境的更多表示经由显示生成部件透传。在一些实施方案中，在更高沉浸水平下，在电子设备经由显示生成部件显示内容/用户界面时，物理环境的更少表示经由显示生成部件透传。例如，在第一沉浸水平下，电子设备任选地经由显示生成部件透传物理环境的表示(例如，物理对象的表示)中的80％，而在更高的第二沉浸水平下，电子设备任选地经由显示生成部件透传物理环境的表示(例如，物理对象的表示)中的50％。在一些实施方案中，更低和更高沉浸水平任选地分别致使物理环境的更多或更少表示经由显示生成部件透传。在一些实施方案中，在更高沉浸水平下，物理环境的更多表示被由电子设备显示的内容/用户界面替换(例如，因为内容/用户界面占据显示生成部件的显示区域的更大部分)，并且在更低沉浸水平下，物理环境的更少表示被由电子设备显示的内容/用户界面替换(例如，因为内容/用户界面占据显示生成部件的显示区域的更小部分)。上述改变(例如，被电子设备替换的)透传内容的量的方式随着沉浸水平的增大而减少物理环境对由电子设备显示的用户界面的干扰，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免在更高沉浸水平下因物理环境的透传导致的分心)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在第二沉浸水平下，电子设备经由显示生成部件淡化电子设备的物理环境的第一量(1050)，诸如图9A-图9B所示，并且在第三沉浸水平下，电子设备经由显示生成部件淡化电子设备的物理环境的不同于第一量的第二量(1052)，诸如图9B-图9C所示。例如，在一些实施方案中，除了显示电子设备的物理环境(例如，物理环境中的对象、物理环境中的表面等)的表示之外，电子设备还正在显示内容/用户界面，诸如参考方法1200、1400和1600所描述。在一些实施方案中，物理环境的表示经由显示生成部件透传，如先前所描述。在一些实施方案中，在更低沉浸水平下，在电子设备经由显示生成部件显示内容/用户界面时，物理环境的表示经由显示生成部件以第一强调水平(例如，颜色上、亮度上、不模糊等)显示。在一些实施方案中，在更高沉浸水平下，在电子设备经由显示生成部件显示内容/用户界面时，物理环境的表示经由显示生成部件以低于第一强调水平的第二强调水平显示(例如，具有不太饱和的颜色或灰度、不太明亮、更加模糊等)。例如，在第一沉浸水平下，电子设备任选地经由显示生成部件透传物理环境的表示(例如，物理对象的表示)的颜色、亮度等的80％，而在更高的第二沉浸水平下，电子设备任选地经由显示生成部件透传物理环境的表示(例如，物理对象的表示)的颜色、亮度等的50％。在一些实施方案中，更低和更高沉浸水平任选地分别致使经由显示生成部件透传的物理环境的表示的更少或更多去强调。上述改变透传内容的强调的方式随着沉浸水平的增大而减少物理环境对由电子设备显示的用户界面的干扰，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免在更高沉浸水平下因物理环境的透传导致的分心)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在第二沉浸水平下，显示生成部件的显示区域的第一量由电子设备所显示的相应用户界面占据(1054)，并且在第三沉浸水平下，显示生成部件的显示区域的不同于第一区域的第二区域由电子设备所显示的相应用户界面诸如图9A-图9B所示的用户界面912的区域占据(1056)。在一些实施方案中，在无沉浸度下，由电子设备显示的内容/用户界面不占据显示生成部件的显示空间的部分，并且任选地，显示生成部件的整个显示空间由电子设备的物理环境(例如，物理环境中的对象、物理环境中的表面等)的表示占据，诸如参考方法1200、1400和1600所描述。在一些实施方案中，物理环境的表示经由显示生成部件透传，如先前所描述。在一些实施方案中，在完全沉浸度下，电子设备显示的内容/用户界面占据显示生成部件的整个显示空间，并且任选地，显示生成部件的显示空间不由电子设备的物理环境(例如，物理环境中的对象、物理环境中的表面等)的表示占据，诸如参考方法1200、1400和1600所描述。在一些实施方案中，随着沉浸水平从无/低沉浸度增大到完全/高沉浸度，显示生成部件的越来越多的显示空间由电子设备所显示的内容/用户界面占据，并且显示生成部件的越来越少的显示空间由电子设备的物理环境的表示占据，并且反之亦然。上述改变由电子设备所显示的内容和电子设备的物理环境的表示占据的显示空间的量的方式随着沉浸水平的增大而减少物理环境对由电子设备显示的用户界面的干扰，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免在更高沉浸水平下因物理环境的透传导致的分心)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，将第二相应用户界面从以第二沉浸水平显示改变为以第三沉浸水平显示包括改变经由显示生成部件显示的气氛效果(1058)，诸如对象908和910上从图9A至图9B的转变所示。例如，在一些实施方案中，电子设备显示电子设备的物理环境(例如，物理环境中的对象、物理环境中的表面等)的表示，诸如参考方法1200、1400和1600所描述。在一些实施方案中，物理环境的表示经由显示生成部件透传，如先前所描述。在一些实施方案中，电子设备修改设备的物理环境的那些表示的显示以将那些表示显示为具有对应于由电子设备生成的气氛效果的一个或多个视觉效果。例如，在一些实施方案中，气氛效果是一天中的黄昏的照明/声音/等的模拟效果。在一些实施方案中，在低沉浸度/无沉浸度下，经由显示生成部件显示物理环境的表示，好像在大白天显示一样(例如，在这种情况下，在电子设备处诸如在晴天中午在户外的情况就是如此)。在一些实施方案中，当沉浸水平增大时，电子设备修改物理环境的表示的显示以减小经由显示生成部件显示的阳光的亮度，包括减小经由显示生成部件显示各种对象(可能地包括太阳或阳光入射在其上的物理对象)的亮度以模仿当日时间是黄昏而不是中午时的物理环境的景象/气氛。在一些实施方案中，改变此类气氛效果包括向三维环境添加不同虚拟光源(例如，月亮或太阳，因为它在它落下时或在它落下之后将发光)，以及将物理环境的表示显示为具有它们在它们被该新的光源照亮时将具有的外观。在一些实施方案中，在最大沉浸度下，物理环境的表示的中午时间照明/气氛/景象等被物理环境的表示的黄昏时间照明/气氛/景象等完全替代。上述改变显示物理环境的气氛效果的方式增大了用户随着沉浸水平的增大而被引入虚拟体验的水平，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免在更高沉浸水平下因物理环境导致的分心)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，第二相应用户界面包括由电子设备显示的相应用户界面元素，并且将第二相应用户界面从以第二沉浸水平显示改变为以第三沉浸水平显示包括改变相应用户界面元素的显示(1060)，诸如对象906、908和/或910的显示在从图9A到图9B的转变中的改变。如先前所描述并且如参考方法1200、1400和1600所描述，在一些实施方案中，电子设备经由显示生成部件显示一个或多个虚拟对象。在一些实施方案中，虚拟对象是例如应用程序的用户界面/内容。在一些实施方案中，虚拟对象是以与电子设备的物理环境中的物理对象的表示具有某种关系的方式显示的虚拟对象(例如，在物理桌子的表示上显示的虚拟花瓶)。在一些实施方案中，虚拟对象是以与物理对象的表示没有关系的方式显示的虚拟对象(例如，由用户按照规格绘制的虚拟绘图)。在一些实施方案中，改变沉浸水平任选地致使电子设备经由显示生成部件改变此类虚拟对象的显示。例如，在一些实施方案中，增大沉浸水平任选地致使虚拟对象被放大(例如，经由显示生成部件以更少显示空间显示)、以更大强调度(例如，不同颜色、不同阴影、不同(例如，更多)照明、更大亮度、更大清晰度、更小半透明度等)显示、更接近用户的视点显示等。例如，在一些实施方案中，减小沉浸水平任选地致使虚拟对象在大小上被缩小(例如，经由显示生成部件以更少显示空间显示)、以更小强调度(例如，不同颜色、不同阴影、不同(例如，更少)照明、更小亮度、更小清晰度、更大半透明度等)显示、更远离用户的视点显示等。上述改变虚拟对象的显示的方式随着沉浸水平的增大而加强了用户与虚拟对象的互动，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免在更高沉浸水平下因其他对象诸如物理对象导致的分心)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，将第二相应用户界面从以第二沉浸水平显示改变为以第三沉浸水平显示包括改变由电子设备生成的音频效果(1062)。在一些实施方案中，电子设备在显示内容/用户界面时生成音频以便经由与电子设备通信的一个或多个扬声器或音频输出设备(例如，头戴式耳机)回放(例如，气氛声音效果、对应于虚拟对象(例如，应用程序的内容)的声音(例如，被生成为从虚拟对象发出)、对应于电子设备的物理环境中的物理对象的声音(例如，被生成为从物理对象发出)等)。在一些实施方案中，改变沉浸水平任选地改变由电子设备生成的音频。例如，在一些实施方案中，增大沉浸水平任选地致使对应于物理对象的声音被淡化(例如，在音量、清晰度、扩展性等方面减小)和/或对应于虚拟对象的声音被强调(例如，在音量、清晰度、扩展性方面增大)。在一些实施方案中，增大沉浸水平任选地致使气氛声音效果被强调(例如，对应于上述气氛效果的声音)被强调(例如，在音量、清晰度、扩展性方面增大)和/或对应于物理对象的声音被淡化(例如，在音量、清晰度、扩展性等方面减小)。在一些实施方案中，在高(例如，最大)沉浸度下，不生成对应于物理对象的声音或将其减小到低水平(例如，最小水平)，并且将对应于虚拟对象的声音增大到高水平(例如，最大水平)；在一些实施方案中，在低(例如，最小)沉浸度下，将对应于物理对象的声音增大到高水平(例如，最大水平)，并且不生成对应于虚拟对象的声音或将其减小到低水平(例如，最小水平)。上述基于沉浸度改变音频效果的方式随着沉浸水平的增大而减少了物理环境对由电子设备显示的用户界面的干扰，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免在更高沉浸水平下因对应于物理环境的音频导致的分心)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，以第二沉浸水平显示第二相应用户界面包括同时在显示生成部件的显示区域的第一部分中显示第一应用程序的内容，并且在显示生成部件的显示区域的第二部分中显示电子设备的物理环境的第一相应部分的一个或多个表示(1064)，诸如参考图9C中的用户界面934所描述并且如关于图9A-图9B中的用户界面912所示出(例如，在一些实施方案中，除了显示电子设备的物理环境(例如，物理环境中的对象、物理环境中的表面等)的表示之外，电子设备还在显示内容/用户界面，诸如参考方法1200、1400和1600所描述)。在一些实施方案中，物理环境的表示经由显示生成部件透传，如先前所描述。在一些实施方案中，在较低沉浸水平下，内容/用户界面占据显示生成部件的视场的较小部分(例如，不占据视场或占据视场的很小部分)，并且物理环境的表示占据显示生成部件的视场的较大部分(例如，占据整个视场或占据视场的很大部分)。在一些实施方案中，以第三沉浸水平显示第二相应用户界面包括同时在显示生成部件的显示区域的大于第一部分的第三部分中显示第一应用程序的内容，并且在显示生成部件的显示区域的小于第二部分的第四部分中显示电子设备的物理环境的不同于第一相应部分的第二相应部分的一个或多个表示(1066)，诸如参考图9C中的用户界面934所描述并且如关于图9A-图9B中的用户界面912所示。在一些实施方案中，随着沉浸水平的增大，内容/用户界面占据显示生成部件的视场的越来越多的部分(例如，占据整个视场或占据视场的很大部分)，并且物理环境的表示占据显示生成部件的视场的越来越少的部分(例如，不占据视场或占据视场的很小部分)。在一些实施方案中，显示物理环境的表示的视觉特性(例如，亮度、清晰度、颜色等)任选地不随着沉浸水平的改变而改变，而是由物理环境的那些表示占据的显示空间的量发生改变。因此，在一些实施方案中，改变沉浸水平改变了显示生成部件的视场由电子设备所显示的内容/用户界面占据的量。上述改变由电子设备所显示的内容和电子设备的物理环境的表示占据的显示空间/视场的量的方式随着沉浸水平的增大而减少物理环境对由电子设备显示的用户界面的干扰，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免在更高沉浸水平下因物理环境的透传导致的分心)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，以第二沉浸水平显示第二相应用户界面包括同时显示第一应用程序的内容(例如，视频的回放、照片的显示等)和物理环境的一个或多个表示(1068)，诸如图9A-图9C所示(例如，在一些实施方案中，除了显示电子设备的物理环境(例如，物理环境中的对象、物理环境中的表面等)的表示之外，电子设备还在显示内容/用户界面，诸如参考方法1200、1400和1600所描述。在一些实施方案中，物理环境的表示经由显示生成部件透传，如先前所描述)。在一些实施方案中，以第三沉浸水平显示第二相应用户界面包括同时显示第一应用程序的内容和物理环境的一个或多个表示，该物理环境的一个或多个表示相对于以第二沉浸水平显示的物理环境的一个或多个表示被淡化(1070)，诸如参考图9C中的用户界面934所描述并且如关于图9A-图9B中的用户界面912所示。在一些实施方案中，在更低沉浸水平下，在电子设备经由显示生成部件显示内容/用户界面时，物理环境的表示经由显示生成部件以第一强调水平(例如，颜色上、亮度上、不模糊等)显示。在一些实施方案中，随着沉浸水平的增大，在电子设备经由显示生成部件显示内容/用户界面时，物理环境的表示经由显示生成部件以低于第一强调水平的第二强调水平显示(例如，具有不太饱和的颜色或灰度、不太明亮、更加模糊等)。例如，在第一沉浸水平下，电子设备任选地经由显示生成部件透传物理环境的表示(例如，物理对象的表示)的颜色、亮度等的80％，而在更高的第二沉浸水平下，电子设备任选地经由显示生成部件透传物理环境的表示(例如，物理对象的表示)的颜色、亮度等的50％。在一些实施方案中，更低和更高沉浸水平任选地分别致使经由显示生成部件透传的物理环境的表示的更少或更多去强调。在一些实施方案中，增大沉浸水平致使增大第一应用程序的内容的强调度，并且减小沉浸水平致使减小第一应用程序的内容的强调度。在一些实施方案中，增大或减小沉浸水平不致使第一应用程序的内容相应地占据显示生成部件的显示空间的更大或更小部分(并且因此任选地不致使物理环境的表示相应地占据显示生成部件的显示空间的更大或更小部分)。在一些实施方案中，增大或减小沉浸水平致使第一应用程序的内容相应地占据显示生成部件的显示空间的更大或更小部分(并且因此任选地致使物理环境的表示相应地占据显示生成部件的显示空间的更小或更大部分)。上述改变透传内容的强调的方式随着沉浸水平的增大而减少物理环境对由电子设备显示的用户界面的干扰，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免在更高沉浸水平下因物理环境的透传导致的分心)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在以第三沉浸水平显示第二相应用户界面以及以第一沉浸水平显示第一相应用户界面之后，并且在没有接收到从第一沉浸水平改变第一相应用户界面的沉浸水平的输入的情况下，并且在没有接收到从第三沉浸水平改变第二相应用户界面的沉浸水平的输入的情况下(1072)(例如，显示第二相应用户界面的最后沉浸水平是第三沉浸水平，并且显示第一相应用户界面的最后沉浸水平是第一沉浸水平，并且在以那些沉浸水平显示那些用户界面之后尚未接收到改变那些沉浸水平的输入)，电子设备经由一个或多个输入设备接收(1074)与显示不同于相应应用程序的第二相应应用程序的第三相应用户界面的请求对应的第四用户输入(例如，在以第三沉浸水平显示第二相应用户界面、以第一沉浸水平显示第一相应用户界面、或者以不同沉浸水平显示不同用户界面时接收到输入)。在一些实施方案中，第四用户输入包括检测到对应用程序浏览用户界面中的第二相应应用程序的应用程序图标的选择。在一些实施方案中，第二用户输入是用于显示第二相应应用程序的语音输入，而无需选择第二相应应用程序的任何图标。
在一些实施方案中，响应于接收到第四用户输入(1076)，电子设备经由显示生成部件以第四沉浸水平显示第三相应用户界面(例如，在一些实施方案中，第三相应用户界面被显示为上覆于在接收到第四用户输入时显示的用户界面，这两者任选地继续在背景之上和/或在三维环境之内显示)。在一些实施方案中，显示第三相应用户界面包括停止在接收到第四用户输入时显示的用户界面的显示。在一些实施方案中，第四沉浸水平与操作系统用户界面和/或相应应用程序的用户界面的沉浸水平无关。因此，在一些实施方案中，操作系统用户界面和/或应用程序的沉浸水平不影响其他应用程序用户界面的沉浸水平(例如，每个应用程序具有其自己的独立的沉浸水平)。在一些实施方案中，显示第三相应用户界面的第四沉浸水平是上一次(在第三相应用户界面的当前显示之前)显示第三相应用户界面的沉浸水平。在一些实施方案中，操作系统用户界面的沉浸水平确实影响应用程序用户界面的沉浸水平(例如，如果系统用户界面被设置在第一沉浸水平，则随后显示应用程序用户界面包括以该相同第一沉浸水平显示应用程序用户界面，即使应用程序用户界面上一次是以不同沉浸水平显示的)。
在一些实施方案中，在以第四沉浸水平显示第三相应用户界面时，电子设备经由一个或多个输入设备接收到与改变与电子设备相关联的当前沉浸水平的请求对应的第五用户输入(1078)，诸如输入元件920处的输入(例如，语音输入、手势、对所显示的用户界面元素的选择和/或对包括在电子设备中的机械输入元件处的输入(例如，旋转输入)的检测，该用户输入与增大或减小当前显示的用户界面的沉浸水平的请求对应)。在一些实施方案中，响应于接收到第五用户输入，电子设备经由显示生成部件以不同于第四沉浸水平的第五沉浸水平显示(1080)第三相应用户界面(例如，根据第五用户输入增大或减小第三相应用户界面的沉浸水平)。在一些实施方案中，在接收到第五用户输入(1082)之后，电子设备经由一个或多个输入设备接收(1084)与显示第一相应用户界面的请求(例如，在接收到改变第三相应用户界面的沉浸水平的输入之后重新显示第一相应用户界面的请求)对应的第六用户输入。在一些实施方案中，响应于接收到第六用户输入，电子设备经由显示生成部件以第一沉浸水平诸如图9A所示的沉浸水平显示(1086)第一相应用户界面(例如，以上一次显示第一相应用户界面的沉浸水平显示第一相应用户界面)。在一些实施方案中，电子设备经由一个或多个输入设备接收(1088)与显示第二相应用户界面的请求(例如，在接收到改变第三相应用户界面的沉浸水平的输入之后重新显示第二相应用户界面的请求)对应的第七用户输入。在一些实施方案中，响应于接收到第七用户输入，电子设备经由显示生成部件以第三沉浸水平诸如图9C所示的沉浸水平显示(1090)第二相应用户界面(例如，以上一次显示第二相应用户界面的沉浸水平显示第二相应用户界面)。因此，在一些实施方案中，改变第一应用程序的用户界面的沉浸水平不影响其他应用程序和/或电子设备的操作系统的用户界面的沉浸水平。上述针对不同应用程序独立地设置沉浸度的方式提供了可针对不同用户界面独立地限定和/或改变沉浸水平的灵活架构，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免由于当前用户界面处的沉浸水平改变造成的另一用户界面中的错误沉浸水平改变)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在接收到第三用户输入之后并且在以第一沉浸水平显示第一相应用户界面时，电子设备经由一个或多个输入设备接收(1092)与显示第二相应用户界面的请求对应的第四用户输入(例如，在已经停止相应应用程序的显示以显示操作系统的用户界面诸如应用程序浏览用户界面之后重新显示相应应用程序的输入)。在一些实施方案中，在显示应用程序浏览用户界面时接收到第四用户输入(例如，对应于相应应用程序的图标的选择)。在一些实施方案中，响应于接收到第四用户输入，电子设备经由显示生成部件以第三沉浸水平诸如图9C所示的沉浸水平显示(例如，上一次显示第二相应用户界面的沉浸水平)(1094)第二相应用户界面。例如，在一些实施方案中，在退出到操作系统之后，重新显示相应应用程序致使以上一次显示相应应用程序的沉浸水平显示相应应用程序，而不管操作系统用户界面的沉浸水平的任何改变。上述维持先前退出的应用程序的沉浸度的方式提供了可针对不同用户界面独立地限定和/或维持沉浸水平的灵活架构，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免由于当前用户界面处的沉浸水平改变造成的另一用户界面中的错误沉浸水平改变)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，第二用户输入是第一类型的用户输入并且对应于增大与电子设备相关联的当前沉浸水平的请求，并且第三沉浸水平大于第二沉浸水平(1096)(例如，电子设备的可旋转输入元件的顺时针旋转，用于在显示应用程序的用户界面(例如，而不是电子设备的操作系统的用户界面)时增大当前显示用户界面的沉浸水平)。在一些实施方案中，在以第三沉浸水平显示第二相应用户界面时，电子设备经由一个或多个输入设备接收(1098)与增大与电子设备相关联的当前沉浸水平的请求对应的第一类型的第四用户输入，诸如输入元件920处的输入(例如，电子设备的可旋转输入元件的进一步顺时针旋转，用于在显示相应应用程序的用户界面时增大当前显示用户界面的沉浸水平)。在一些实施方案中，响应于接收到第一类型的第四用户输入，电子设备维持第二相应用户界面以第三沉浸水平的显示(1097)，诸如参考图9C中的用户界面934所描述(例如，第三沉浸水平任选地是在显示应用程序的用户界面时经由可旋转输入元件的旋转可达到的最高沉浸水平)。在一些实施方案中，在第三沉浸水平下，相应应用程序的用户界面不占据显示生成部件的整个视场和/或仍然与电子设备的物理环境的至少一些表示一起显示。在一些实施方案中，比第三沉浸水平更高的沉浸水平是可获得的，但是无法使用第一类型的输入获得。在一些实施方案中，更高沉浸水平能够使用第一类型的输入(例如，可旋转输入元件的旋转)获得，但仅针对电子设备的操作系统的用户界面，而不针对应用程序的用户界面。
在一些实施方案中，在以第三沉浸水平显示第二相应用户界面时，电子设备经由一个或多个输入设备接收(1095)与增大与电子设备相关联的当前沉浸水平的请求对应的不同于第一类型的第二类型的第五用户输入，诸如对图9C中的元素950的选择(例如，对第二相应用户界面中的由相应应用程序显示的用于增大相应应用程序的沉浸水平的用户界面元素的选择。例如，对第二相应用户界面中的“全屏”用户界面元素的选择)。在一些实施方案中，响应于接收到第二类型的第五用户输入，电子设备经由显示生成部件以大于第三沉浸水平的第四沉浸水平显示(1093)第二相应用户界面，诸如参考图9C中的用户界面934所描述(例如，相应应用程序的完全沉浸度或全屏显示)。因此，在一些实施方案中，在显示应用程序的用户界面时(例如，而不是操作系统的用户界面)，无法经由第一类型的输入获得完全沉浸度或至少高于第三沉浸水平的沉浸水平。在一些实施方案中，需要不同类型的输入(例如，对用户界面元素的选择)来超出应用程序用户界面的第三沉浸水平。上述需要不同类型的输入来获得应用程序的高沉浸水平的方式确保应用程序的高沉浸度在没有用户希望实现此类高沉浸水平的附加指示的情况下无法达到，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过避免意外达到在高沉浸水平下的行为可能未知或无法预测的应用程序的高沉浸水平)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
图11A-图11B示出了根据一些实施方案的在某些场景中减小电子设备显示用户界面的沉浸水平并且随后从该沉浸水平恢复该用户界面的显示的示例。
图11A示出了电子设备101经由显示生成部件(例如，图1的显示生成部件120)在用户界面中显示三维环境1101。如上参考图1-图6所描述，电子设备101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101将能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，以下示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件以及用于检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或用于检测用户的注视的传感器(例如，向内面向用户的面部的内部传感器)。
如图11A所示，设备101捕获设备101周围的物理环境1100(例如，操作环境100)、包括设备101周围的物理环境1100中的一个或多个对象的一个或多个图像。在一些实施方案中，设备101在三维环境1101中显示物理环境的表示。例如，三维环境1101包括树的表示1102b(例如，对应于物理环境1100中的树1102a)和人的表示1104b(例如，对应于物理环境1100中的人1104a)。在一些实施方案中，设备101还在三维环境901中显示一个或多个虚拟对象(例如，不在物理环境1100中的对象)。例如，在图11A中，设备101正在显示树的表示1102b上的虚拟对象1110(例如，装饰物)、人的表示1104b上的虚拟对象1106(例如，帽子)以及太阳的表示1108。在一些实施方案中，太阳的表示1108被显示并且被视为三维环境1101中的光源，并且由太阳的表示1108产生的照明效果被设备101应用于在三维环境1101中显示的物理对象和/或虚拟对象的表示。
在图11A中，设备101还正在显示应用程序(例如，App C)的用户界面1134。用户界面1134任选地是设备101显示的任何用户界面(例如，操作系统用户界面、内容(例如，音乐、电影、视频、照片等)浏览和/或观看应用程序的用户界面等)。在一些实施方案中，用户界面1134在三维环境1101内的一位置处显示，使得它上覆于三维环境1101中的物理对象和/或虚拟对象的一个或多个表示(例如，上覆于人的表示1104b的部分且在该表示的前面，该表示对应于物理环境1100中的人1104a)。在一些实施方案中，用户界面1134位于三维环境1101内，使得一个或多个虚拟对象在用户界面1112的前面且上覆于该表示的部分，和/或物理对象的一个或多个表示在用户界面1112的前面且上覆于该表示的部分。
在一些实施方案中，设备101以特定沉浸水平显示经由显示生成部件120显示的三维环境1101和/或用户界面。例如，在图11A中，设备101以沉浸度标尺1130上的相对高的沉浸水平1132显示用户界面1134。例如，图11A的显示任选地是设备101检测到使用设备101的输入元件1120将用户界面1134的沉浸水平增大到沉浸水平1132的输入的结果，诸如参考图9A所描述。因此，在一些实施方案中，由显示生成部件120显示的用户界面1134周围的内容(例如，物理环境1100的表示和/或物理环境1100中的对象的表示、虚拟对象等)相对高度地被遮挡(例如，如参考方法1000更详细地描述)。在一些实施方案中，关于以相对高沉浸水平1132显示用户界面1134的细节如参考方法1000所描述。
类似于如参考图9A所描述，输入元件1120任选地是可被操纵以改变设备101当前显示的用户界面的沉浸水平的机械输入元件，诸如滑块元件或旋转输入元件，其中沉浸度的改变的量和方向(例如，增大或减小)基于输入元件1120的操纵的量值和方向(例如，输入元件1120的移动的方向和/或量值，或可旋转输入元件的旋转的方向和/或量值)。在一些实施方案中，设备101和/或输入元件1120在沉浸水平改变时生成触觉反馈(例如，针对沉浸度的每个增大或减小阶段的小触觉输出，以及在达到最小或最大沉浸度时的不同的大触觉输出)。在一些实施方案中，输入元件1120还是可压下的和/或压敏的(例如，除了是可移动的和/或可旋转的之外)，使得在输入元件上提供按压输入(例如，按钮点击、高于压力阈值的压力等)可被设备101检测为输入。
在一些实施方案中，响应于检测到输入元件1120的压下，设备101将显示当前显示的用户界面的沉浸水平减小到预先确定的沉浸水平(例如，最小或相对低沉浸水平)，并且响应于检测到对输入元件1120的压下的释放，设备101恢复以在检测到压下输入时显示用户界面的沉浸水平来显示用户界面。在一些实施方案中，设备101要求在转变到低沉浸水平之前，输入元件1120的压下长于时间阈值(例如，0.1秒、0.5秒、1秒、5秒、10秒)。例如，在图11A中，设备101检测到输入元件1120的压下(“输入1”)。作为响应，设备将沉浸水平1132减小到预先确定的相对低沉浸水平(例如，无沉浸度)，如图11B所示。如图11B所示，设备101已经停止在三维环境1101中显示所有虚拟对象(例如，包括用户界面1134以及虚拟对象1110、1108和1106)，并且已经停止遮挡物理环境1100中的对象的表示1102b和1104b和/或物理环境1100本身的部分的表示的显示(例如，已经停止使这些表示变暗、变模糊或以其他方式淡化)。与虚拟对象和/或物理环境1100在转变到低沉浸水平或无沉浸水平时的显示特性有关的附加或另选细节任选地如参考方法1000所描述。因此，在一些实施方案中，输入元件1120的压下致使设备101在三维环境1101中完全显示物理环境1100和/或完全停止在三维环境1101中显示任何虚拟对象。以此方式，设备101的用户能够快速且容易地转变到以不被遮挡的方式查看物理环境1100。
如先前所提及，在一些实施方案中，响应于检测到输入元件1120的释放，设备101任选地返回到在检测到输入元件1120的压下时设备正在显示用户界面的先前沉浸水平。例如，在图11B中，设备101检测到输入元件1120的释放(“输入2”)。作为响应，设备返回到图11A所示的沉浸水平1132。在一些实施方案中，作为响应于检测到输入元件1120的释放而返回到先前沉浸水平的补充或替代，设备101响应于检测到与增大当前沉浸水平的请求对应的输入元件1120的移动(例如，与参考图9A所描述相同类型的用于逐渐改变沉浸水平的输入)而返回到先前沉浸水平。在一些实施方案中，响应于此类输入，设备101立即恢复以先前沉浸水平显示用户界面1134(例如，即使输入元件1120的移动量原本将不足以将沉浸水平从图11B中的水平增大到图11A中的先前沉浸水平)，或者在一些实施方案中，设备101逐渐增大沉浸水平(例如，根据输入元件1120的继续移动)，直到输入元件1120的移动足以达到图11A中的先前沉浸水平。还设想到用于恢复用户界面1134处于先前沉浸水平的显示的其他输入，诸如由设备101检测到的特定手势、由设备101(例如，该设备的传感器314)检测到的特定的基于注视的姿势等。
图12A-图12D是示出了根据一些实施方案的在(例如，临时地)减小与用户界面相关联的沉浸水平之后以先前显示的沉浸水平恢复用户界面的显示的方法1200的流程图。在一些实施方案中，方法1200在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1200通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1中的控制单元110)执行的指令来管理。方法1200中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法1200中，在一些实施方案中，与显示生成部件和一个或多个输入设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，图1中的计算机系统101)，在以第一沉浸水平显示第一用户界面时，电子设备经由一个或多个输入设备检测(1202)与增大与电子设备相关联的沉浸水平的请求对应的第一输入，诸如参考图9A所描述的元素920上的输入。在一些实施方案中，电子设备是移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或致使用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，电子设备与一个或多个输入设备通信，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测用户输入等)并且将与用户输入相关联的信息传输到电子设备的电子设备或部件。输入设备的示例包括触摸屏、鼠标(例如，外部的)、轨迹板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一移动设备(例如，与电子设备分离)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、运动传感器(例如，手部跟踪设备、手部运动传感器)、包括在电子设备中的物理机械输入元件(例如，按钮、旋转机械元件、开关等)和/或眼睛跟踪设备等。
在一些实施方案中，第一用户界面的第一沉浸水平任选地具有参考方法1000、1400和1600所描述的沉浸水平的特性中的一个或多个特性。第一输入任选地是经由一个或多个输入设备检测到的用户输入，诸如语音输入、手势、对所显示的用户界面元素的选择和/或对包括在电子设备中的机械输入元素处的输入(例如，旋转输入)的检测，该用户输入与增大或减小当前显示的用户界面的沉浸水平的请求对应。在一些实施方案中，第一用户界面在由电子设备经由显示生成部件显示的三维环境诸如计算机生成的现实(CGR)环境诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境内显示。在一些实施方案中，响应于检测到第一输入，电子设备经由显示生成部件以大于第一沉浸水平的相应沉浸水平显示(1204)第一用户界面，诸如图11A中的以沉浸水平1132显示用户界面1134(例如，根据第一输入增大第一用户界面的沉浸水平)。
在一些实施方案中，在以相应沉浸水平显示第一用户界面时，电子设备经由一个或多个输入设备检测(1206)第一事件的发生，诸如图11A中的检测输入元件1120上的输入1(例如，检测与下降到低于第一沉浸水平的电子设备的相应预限定沉浸水平(例如，电子设备的最低沉浸水平，诸如无沉浸度或最小沉浸度)的请求对应的输入)。例如，输入任选地是被旋转以增大(或减小)第一用户界面的沉浸水平的机械输入元件的向下按压(而不是旋转)。在一些实施方案中，第一事件是检测与电子设备的物理环境相关联的特性，诸如参考方法1400和/或1600所描述。在一些实施方案中，事件是对任何量和/或输入的检测，该量和/或输入用于减小电子设备处的(例如，当前显示的用户界面的)沉浸水平，使得先前并不经由显示生成部件可见(例如，因为显示生成部件正在显示阻塞或以其他方式遮挡物理环境的那些部分的内容)的物理环境的一个或多个部分变得经由显示生成部件可见(例如，因为显示生成部件不再显示阻挡或以其他方式遮挡物理环境的那些部分的内容)。因此，第一事件任选地对应于允许物理对象/环境经由显示生成部件透传并且经由显示生成部件显示的事件。
在一些实施方案中，响应于检测到第一事件的发生，电子设备将经由显示生成部件显示的用户界面的沉浸水平减小(1208)到低于相应沉浸水平诸如图11B所示的沉浸水平1132的第二沉浸水平(例如，在一些实施方案中，第二沉浸水平是无沉浸度(例如，物理环境根本不被遮挡以致无法经由显示生成部件透传))。在一些实施方案中，第二沉浸水平简单地低于相应沉浸水平，使得物理环境至少不完全被遮挡以致无法经由显示生成部件透传。在一些实施方案中，当以第二沉浸水平显示由显示生成部件显示的用户界面时，停止显示第一用户界面。在一些实施方案中，当以第二沉浸水平显示由显示生成部件显示的用户界面时，经由显示生成部件显示电子设备的物理环境的表示(例如，当以第一沉浸水平和/或相应沉浸水平显示第一用户界面时不显示这些表示时)。在一些实施方案中，继续经由显示生成部件显示第一用户界面，但以更低沉浸水平显示。
在一些实施方案中，在以第二沉浸水平显示用户界面时，电子设备经由一个或多个输入设备检测(1210)与恢复显示第一用户界面的请求对应的第二事件的发生，诸如检测到图11B中的输入元件1120处的输入2(例如，其中第二事件不指示电子设备的特定沉浸水平)。例如，如果第一事件是对机械输入元件的压下的检测，则第二事件任选地是对机械输入元件的释放的检测。如果第一事件是对与电子设备的物理环境相关联的特性的检测，则第二事件任选地是检测到该特性在电子设备的物理环境中不再生效(例如，对应于第一事件的声音已经停止)。在一些实施方案中，第二事件不是与将电子设备的沉浸水平增大到特定沉浸水平的请求对应的输入。例如，第二事件任选地不是对机械输入元件的旋转的检测，该旋转先前被检测以根据机械输入元件的旋转来增大(或减小)电子设备的沉浸水平。
在一些实施方案中，响应于检测到第二事件的发生，电子设备恢复(1212)第一用户界面经由显示生成部件的显示，诸如返回到图11A中的用户界面1134的显示。在一些实施方案中，根据确定相应沉浸水平是第三沉浸水平，以第三沉浸水平显示第一用户界面(1214)，并且根据确定相应沉浸水平是不同于第一沉浸水平的第四沉浸水平，以第四沉浸水平显示第一用户界面(1216)。因此，在一些实施方案中，电子设备返回到以在检测到第一事件时显示第一用户界面的沉浸水平显示第一用户界面，而无需检测指示此类沉浸水平的输入。在一些实施方案中，电子设备存储/记录在检测到第一事件时生效的沉浸水平，并且在检测到第二事件时以该沉浸水平恢复。上述恢复第一用户界面以在检测到第一事件时生效的沉浸水平的显示的方式提供了返回到先前生效的沉浸水平的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过无需限定要返回到的特定沉浸水平的用户输入，这还避免了限定要返回到的错误沉浸水平的错误用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，第二沉浸水平是无沉浸度(1218)，诸如图11B所示。例如，检测到第一事件的发生致使电子设备转变到最低或最小沉浸水平，其中电子设备的物理环境的大部分或全部经由显示生成部件可见，并且很少或没有虚拟元素(例如，由电子设备生成的用户界面、由电子设备生成的虚拟对象等)经由显示生成部件显示。上述显示电子设备的物理环境而不含虚拟元素或对象的方式提供了向用户提供环境感知的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，一个或多个输入设备包括可旋转输入元件(1220)，诸如参考图11A-图11B所描述(例如，包括在电子设备上/中或包括在与电子设备通信的另一设备上的可旋转输入元件。在一些实施方案中，可旋转输入元件可经由用户输入旋转)。在一些实施方案中，在以第一沉浸水平显示第一用户界面时，电子设备检测(1222)到可旋转输入元件的相应旋转(例如，用户对可旋转输入元件的顺时针或逆时针旋转)。在一些实施方案中，响应于检测到可旋转输入元件的相应旋转(1224)，根据确定相应旋转在第一方向上(例如，顺时针旋转)，电子设备经由显示生成部件以大于第一沉浸水平的第五沉浸水平显示(1226)第一用户界面，诸如参考图11A-图11B所描述(例如，在第一方向上旋转可旋转输入元件增大经由显示生成部件显示的用户界面的沉浸水平。增大沉浸水平任选地具有参考方法1000所描述的特性中的一个或多个特性)。在一些实施方案中，根据确定相应方向是不同于第一方向的第二方向(例如，逆时针旋转)，电子设备经由显示生成部件以小于第一沉浸水平的第六沉浸水平显示(1228)第一用户界面，诸如参考图11A-图11B所描述(例如，在第二方向上旋转可旋转输入元件减小经由显示生成部件显示的用户界面的沉浸水平。减小沉浸水平任选地具有参考方法1000所描述的特性中的一个或多个特性)。上述调节电子设备的沉浸水平的方式提供了这样做的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，检测第一事件的发生包括检测可旋转输入元件的压下(1230)，诸如图11A中的输入元件1120上的输入1。例如，在一些实施方案中，可旋转输入元件可旋转以向电子设备提供基于旋转的输入，并且还可压下以向电子设备提供基于压下和/或释放的输入。在一些实施方案中，检测可旋转输入元件的压下任选地致使电子设备以最低或最小沉浸水平显示用户界面。上述响应于可旋转输入元件的压下的方式提供了提供低沉浸体验的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，检测第二事件的发生包括检测可旋转输入元件的旋转(1232)，诸如参考图11A-图11B所描述。在一些实施方案中，在转变到第二沉浸水平之后，检测可旋转输入元件的任何旋转量致使电子设备转变回到相应沉浸水平，即使该旋转量不同于将沉浸水平从第二沉浸水平增大到相应沉浸水平通常所需的旋转量。在一些实施方案中，将沉浸水平从第二沉浸水平增大到相应沉浸水平通常所需的旋转量任选地是当电子设备不是经由对第一事件的检测而是经由对将沉浸水平逐渐减小到第二沉浸水平的不同类型的输入(诸如可旋转输入元件的旋转)的检测而转变到第二沉浸水平时所需的旋转量。例如，如果第二沉浸水平是0-10的标尺上的水平0，并且相应沉浸水平是水平7，并且检测到的旋转量是原本会将沉浸水平增大3(例如，从1到4或者从2到5等)的量，那么如果电子设备经由对第一事件的检测而转变到第二沉浸水平，则检测到的旋转量任选地恢复处于沉浸水平7的第一用户界面(例如，沉浸水平并不根据可旋转输入元件的旋转量从第二沉浸水平逐渐增大)。然而，如果电子设备不是经由对第一事件的检测(例如，而是经由对用于将沉浸水平减小到第二沉浸水平的可旋转元件的旋转的检测)而转变到第二沉浸水平，则检测到的旋转量任选地以沉浸水平3而不是以沉浸水平7显示第一用户界面。在致使以相应沉浸水平显示第一用户界面的初始旋转量之后，增大或减小沉浸水平的另外的旋转(顺时针或逆时针)任选地致使沉浸度从相应沉浸水平增大或减小。上述恢复设备的先前沉浸水平的方式提供了在使用通常用于改变设备的沉浸水平的相同输入方法时返回到先前生效的沉浸水平的快速且高效方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在以第二沉浸水平显示用户界面时，电子设备检测(1234)可旋转输入元件的第二相应旋转，包括第二相应旋转的第一部分，之后是第二部分(例如，检测可旋转输入元件的顺时针旋转的第一部分，之后是可旋转输入元件的顺时针旋转的继续第二部分)。在一些实施方案中，(例如，在检测到可旋转输入元件的第二相应旋转时)响应于检测到第二相应旋转的第一部分，电子设备经由显示生成部件以大于第二沉浸水平但小于相应沉浸水平的第七沉浸水平显示(1236)第一用户界面(例如，根据可旋转输入元件在第二相应旋转的第一部分期间的旋转量从第二沉浸水平逐渐增大沉浸水平)。在一些实施方案中，(例如，在检测到可旋转输入元件的第二相应旋转时)响应于检测到第二相应旋转的第二部分，电子设备将第一用户界面的沉浸水平从第七沉浸水平增大(1238)到相应沉浸水平。例如，根据可旋转输入元件在第二相应旋转的第二部分期间的继续旋转量继续增大沉浸水平。如果第二相应旋转包括足以将沉浸水平从第二沉浸水平增大到相应沉浸水平的总旋转量，则任选地以相应沉浸水平显示第一用户界面。如果第二相应旋转的总旋转量对应于除了相应沉浸水平之外的沉浸水平，则任选地以该另一沉浸水平显示第一用户界面。上述逐渐返回到设备的先前沉浸水平的方式提供了对可旋转输入元件的旋转的一致响应，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，检测第二事件的发生包括经由与显示生成部件通信的手部跟踪设备检测由电子设备的用户的手部执行的相应手势(1240)(例如，用户的手部的两根或更多根手指诸如用户的拇指和食指之间的特定夹捏手势。在一些实施方案中，手势包括在维持手部的夹捏手势时手部的特定移动和/或旋转。在一些实施方案中，如果除了相应手势之外的不同手势被检测为由用户的手部执行，则电子设备任选地不恢复以相应沉浸水平显示第一用户界面。在一些实施方案中，相应手势不同于致使电子设备转变到第二沉浸水平的第一事件)。上述恢复设备的先前沉浸水平的方式提供了在避免意外返回到先前生效的沉浸水平时返回到此类沉浸度的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，检测第一事件的发生包括检测与电子设备通信的机械输入元件的压下(1242)，类似于图11A中的输入元件1120上的输入1。在一些实施方案中，机械输入元件是包括在电子设备中/上或与电子设备通信的另一设备上的按钮。在一些实施方案中，机械输入元件仅可被按压或释放(例如，不被旋转)。在一些实施方案中，机械输入元件除了被旋转之外还可被按压或释放(例如，以改变由电子设备显示的用户界面的沉浸水平，如参考方法1000所描述)。在一些实施方案中，第一事件是机械输入元件的压下，并且不包括机械输入元件的后续释放。在一些实施方案中，第一事件包括机械输入元件的压下和后续释放。在一些实施方案中，机械输入元件是压敏的，并且检测机械输入元件的压下包括检测输入元件上大于阈值力或压力的力或压力(例如，不同于检测按钮的实际基于移动的压下)，并且检测机械输入元件的释放包括检测小于阈值力或压力的力或压力(或没有力或压力)。上述响应于压下输入元件的方式提供了提供低沉浸体验的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，检测第一事件的发生包括检测与电子设备通信的机械输入元件的长于时间阈值的压下(1244)，类似于图11A中的输入元件1120上的输入1。在一些实施方案中，机械输入元件是包括在电子设备中/上或与电子设备通信的另一设备上的按钮。在一些实施方案中，机械输入元件仅可被按压或释放(例如，不被旋转)。在一些实施方案中，机械输入元件除了被旋转之外还可被按压或释放(例如，以改变由电子设备显示的用户界面的沉浸水平，如参考方法1000所描述)。在一些实施方案中，第一事件是机械输入元件的长于时间阈值(例如，0.1秒、0.5秒、1秒、2秒、5秒、10秒)的压下，并且不包括机械输入元件的后续释放。在一些实施方案中，第一事件包括机械输入元件的压下和后续释放。在一些实施方案中，按下机械输入元件并在机械输入元件已经被压下达时间阈值之前释放机械输入元件不对应于第一事件，并且不致使电子设备转变到第二沉浸水平。在一些实施方案中，机械输入元件是压敏的，并且检测机械输入元件的压下包括检测输入元件上大于阈值力或压力的力或压力(例如，不同于检测按钮的实际基于移动的压下)，并且检测机械输入元件的释放包括检测小于阈值力或压力的力或压力(或没有力或压力)。上述响应于压下输入元件的方式提供了提供低沉浸体验同时避免意外转变到低沉浸体验的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，检测第二事件的发生包括检测与电子设备通信的机械输入元件的压下的释放(1246)，诸如图11B中的在输入元件1120处检测到的输入2。在一些实施方案中，机械输入元件是包括在电子设备中/上或与电子设备通信的另一设备上的按钮。在一些实施方案中，机械输入元件仅可被按压或释放(例如，不被旋转)。在一些实施方案中，机械输入元件除了被旋转之外还可被按压或释放(例如，以改变由电子设备显示的用户界面的沉浸水平，如参考方法1000所描述)。在一些实施方案中，电子设备响应于检测到机械输入元件的压下而将第一用户界面从第一沉浸水平转变到第二沉浸水平，并且响应于检测到机械输入元件的后续释放而将第一用户界面从第二沉浸水平转变回到第一沉浸水平。在一些实施方案中，机械输入元件是压敏的，并且检测机械输入元件的压下包括检测输入元件上大于阈值力或压力的力或压力(例如，不同于检测按钮的实际基于移动的压下)，并且检测机械输入元件的释放包括检测小于阈值力或压力的力或压力(或没有力或压力)。使用旋转并且可压下以执行对应功能的机械输入元件减少了电子设备上的控件的数量并且降低了制造该设备的复杂性。此外，上述响应于释放输入元件的方式提供了返回到先前生效的沉浸水平的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
图13A-图13C示出了根据一些实施方案的通过由电子设备显示的用户界面来显示电子设备的物理环境的人、对象和/或部分的表示的示例。
图13A示出了电子设备101经由显示生成部件(例如，图1的显示生成部件120)显示用户界面1334。如上参考图1-图6所描述，电子设备101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101将能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，以下示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件以及用于检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或用于检测用户的注视的传感器(例如，向内面向用户的面部的内部传感器)。
设备101任选地捕获设备101周围的物理环境1300(例如，操作环境100)、包括设备101周围的物理环境1300中的一个或多个对象的一个或多个图像。例如，在图13A中，物理环境1300包括两个对象(例如，树1304a和球1306a)以及两个人(例如，人1302a和人1308a)。图例1303提供了物理环境1300的自顶而下视图，其中元素101a对应于设备101在物理环境中的位置，元素1302c和1308c分别对应于人1302a和1308a在物理环境130中的位置，并且元素1304c和1306c分别对应于树1304a和球1306a在物理环境1300中的位置。如图例1303所示，图13A中的人1302a和1308a以及对象1304a和1306a中的每一者距设备101远于距离1340。下面将更详细地描述距离1340的相关性。
在图13A中，设备101正在以沉浸度标尺1330上的相对高(例如，最大)沉浸水平1332显示(例如，应用程序App C的)用户界面1334。例如，图13A的显示任选地是设备101检测到使用设备101的输入元件(例如，设备101的输入元件920，诸如参考图9A所描述)将用户界面1334的沉浸水平增大到沉浸水平1332的输入的结果。在一些实施方案中，用户界面1334是设备101的操作系统的用户界面，而不是应用程序的用户界面。在图13A中设备101正在显示用户界面1334的沉浸水平1332下，用户界面1334正遮挡(例如，完全遮挡)设备101的物理环境1300(例如，物理环境1300中的对象、人等)经由显示生成部件120的显示，使得用户界面1334的内容经由显示生成部件120可见，但物理环境1300的表示并不经由显示生成部件120可见。在一些实施方案中，关于以相对高(例如，最大)沉浸水平1332显示用户界面1334的细节如参考方法1000所描述。尽管图13A-图13C的描述是在具有相对高沉浸水平1332的用户界面1334的上下文中提供的，但是应当理解，图13A-图13C和方法1400的特征任选地类似地适用于其中由设备101显示的虚拟元素、对象等至少部分地遮挡经由显示生成部件120对物理环境1300的任何部分的显示的任何情形。
在一些实施方案中，设备101能够检测物理环境1300的对象、人、一个或多个部分等的一个或多个特性，并且响应于检测到某些特性，设备101任选地允许物理环境1300的那些对象、人或一个或多个部分的一个或多个表示“突破”用户界面1334，使得它们变得经由显示生成部件120可见(例如，当它们在检测到那些特性之前不可见时)。在一些实施方案中，物理环境1300的那些对象、人或一个或多个部分的表示突破用户界面1334的与物理环境1300的那些对象、人或一个或多个部分的位置对应的部分，并且用户界面1334的其余部分保持经由显示生成部件120显示。
例如，在图13A中，人1302a和人1308a两者距设备101比阈值距离远1340(例如，1、3、5、10、15、30、50等)。在那些距离处，如果设备101确定人的注意力投向设备101的用户，则设备101任选地致使该人突破用户界面1334。例如，在图13A中，设备101已经确定用户1302a的注意力未投向设备101的用户，并且因此人1302a的表示并不透过用户界面1334可见。然而，设备101已经确定用户1308a的注意力投向设备101的用户。因此，设备101经由显示生成部件120透过用户界面1334的一部分(例如，在显示生成部件120的与人1308a在包括设备101的三维环境内的位置对应的部分处，如本公开中所描述)显示表示1308b。以此方式，当物理环境1300中的人正在将他们的注意力投向设备101的用户时，即使当那些人远离设备101的用户时，设备101的用户也能够透过用户界面1334看到那些人。在一些实施方案中，当设备101致使物理环境1300的人、对象、部分等突破用户界面1334时，设备101停止显示用户界面1334的一部分(例如，或者以半透明度显示用户界面1334的该部分)，并且在用户界面1334的该部分处显示物理环境1300的该人、对象、部分等的表示。在一些实施方案中，物理环境1300的该人、对象、部分等的表示以可变模糊效果显示，使得用户界面1334的围绕物理环境1300的该人、对象、部分等的表示的部分以不同模糊量显示，模糊量根据距物理环境1300的该人、对象、部分等的表示的距离而减小。
设备101任选地使用设备101上的一个或多个传感器来确定人的注意力投向设备101的用户，该一个或多个传感器捕获物理环境1300的图像、声音和/或以其他方式检测该物理环境的特性。例如，在一些实施方案中，如果人正看向电子设备和/或电子设备的用户，则该人的注意力任选地被确定为投向电子设备的用户。在一些实施方案中，如果人正在朝向电子设备和/或电子设备的用户讲话，则该人的注意力任选地被确定为投向电子设备的用户。在一些实施方案中，与人相关联的电子设备使用与该电子设备通信的传感器检测人的相关注意力，并且将此类注意力信息传输到用户的电子设备，该电子设备接着相应地作出响应。在一些实施方案中，对人的注意力的确定是基于参考方法1400所描述的一个或多个因素，包括基于来自该人的手势(例如，定向到设备101的用户的手势)、来自该人的讲话(例如，定向到设备101的用户的说出设备101的用户的名字的讲话等)、该人朝向设备101的用户移动的速度、该人的注视(例如，投向设备101的用户的注视)等。
在一些实施方案中，作为使用关于物理环境1300中的人的注意力的因素来致使该人突破用户界面1334的补充或替代，设备101利用关于设备101的用户与物理环境1300中的该人的交互的一个或多个因素来致使该人突破用户界面1334。例如，在一些实施方案中，如果设备101的用户正在与该人互动(例如，朝向该人做手势、朝向该人讲话、朝向该人移动等)并且设备101检测到用户与该人的此类互动，则设备101致使该人突破用户界面1334。在一些实施方案中，设备101使用包括该人的注意力和设备101的用户与该人的互动的因素的组合来使该人突破用户界面1334。
在一些实施方案中，如果设备101确定距设备101比阈值距离远1340的对象是高风险对象，则设备101类似地致使那些对象突破用户界面1334，因此允许设备101的用户经由显示生成部件120看到那些对象(例如，以避免潜在危险)。例如，设备101任选地基于参考方法1400所描述的一个或多个因素，包括那些对象是否将与设备101的用户碰撞(例如，基于所检测到的那些对象的轨迹)，来确定对象是高风险的。在图13A中，设备101已经确定球1306a在要与设备101的用户碰撞的轨迹上。因此，设备101允许球1306a突破用户界面1334，并且经由显示生成部件120以一定方式和/或在显示生成部件120上的一定位置处显示球1306a的表示1306b，该方式和/或该位置与参考透过用户界面1334显示人1308a的表示1308b所描述类似。相反地，图13A中的设备101已经确定树1304a不是高风险对象，并且因此不致使树1304a突破用户界面1334。
如图13A所示，尽管允许物理环境1300的人、对象、部分等的某些表示突破用户界面1334，但在一些实施方案中，设备101继续以相对高沉浸水平1332显示用户界面1334的其余部分。因此，在一些实施方案中，物理环境1300的人、对象、部分等突破用户界面1334任选地不致使设备101现在或原本将以其显示用户界面的沉浸水平1332减小。
在一些实施方案中，设备101允许物理环境1300的人、对象、部分等基于确定该对象是高风险对象的置信度(例如，就对象而言)、人的注意力投向设备101的用户(例如，就人而言)、设备101的用户正在与该人互动(例如，就人而言)等而以各种程度突破用户界面1334。例如，在一些实施方案中，给定对象或人满足的本文以及参考方法1400所描述的突破因素越少，与该突破相关联的置信度就越低，并且给定对象或人满足的本文以及参考方法1400所描述的突破因素越多，与该突破相关联的置信度就越高。在一些实施方案中，随着给定突破的置信度的增大，设备101以更低半透明度、更大颜色饱和度、更高亮度等透过用户界面1334来显示该人、对象等的表示，和/或以更大半透明度、更低颜色饱和度、更低亮度等来显示用户界面1334的透过其显示该人、对象等的表示的部分。例如，在图13B中，设备101已经以相对高置信度确定人1308a的注意力投向设备101的用户—因此，设备101任选地正以相对低半透明度、相对高颜色饱和度、相对高亮度等透过用户界面1334来显示人1308a的表示1308b，和/或以相对高半透明度、相对低颜色饱和度、相对低亮度等来显示用户界面1334的正透过其显示表示1308b的部分。相比之下，在图13B中，设备101已经任选地以相对低置信度确定对象1306b是高风险对象—因此，设备101任选地正以相对高半透明度、相对低颜色饱和度、相对低亮度等透过用户界面1334来显示对象1306a的表示1306b，和/或以相对低半透明度、相对高颜色饱和度、相对高亮度等来显示用户界面1334的正透过其显示表示1306b的部分。
在一些实施方案中，设备101使在设备101的阈值距离1340内的对象或人突破，而不管那些对象是否是高风险的、那些人的注意力是否投向设备101的用户、或者设备101的用户是否正在与那些人互动。例如，在图13C中，设备101已经检测到树1304a在设备101的阈值距离1340内。树1304a任选地不是高风险对象(例如，不满足本文和/或参考方法1400所描述的高风险标准)，但是由于树1304a在设备的阈值距离1340内，因此设备101任选地透过用户界面1334显示树1304a的表示1304b，如图13C所示。此外，在图13C中，设备101已经确定球1306a不再是或者不是高风险对象；因此，由于球1306a距设备101比阈值距离远1340，因此设备101不透过用户界面1334显示球1306a的表示。最后，与图13A相反，在图13C中，设备101已经确定人1302a的注意力投向设备101的用户，并且人1308a的注意力未投向设备101的用户；因此，由于人1302a和1308a距设备101比阈值距离远1340，设备101透过用户界面1334显示人1302a的表示1302b，但是不透过用户界面1334显示人1308a的表示。
图14A-图14F是示出了根据一些实施方案的允许环境的对象、人和/或部分透过由电子设备显示的用户界面可见的方法1400的流程图。在一些实施方案中，方法1400在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1400通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1中的控制单元110)执行的指令来管理。方法1400中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法1400中，在一些实施方案中，与显示生成部件和一个或多个输入设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，图1中的计算机系统101)显示(1402)包括用户界面元素的用户界面，诸如图13A中的用户界面1334。在一些实施方案中，电子设备是移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或致使用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，电子设备与一个或多个输入设备通信，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测用户输入等)并且将与用户输入相关联的信息传输到电子设备的电子设备或部件。输入设备的示例包括触摸屏、鼠标(例如，外部的)、轨迹板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一移动设备(例如，与电子设备分离)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、运动传感器(例如，手部跟踪设备、手部运动传感器)、包括在电子设备中的物理机械输入元件(例如，按钮、旋转机械元件、开关等)和/或眼睛跟踪设备等。
在一些实施方案中，电子设备显示三维环境，诸如计算机生成的现实(CGR)环境诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等内显示，该三维环境由电子设备生成、显示或以其他方式使其可查看。在一些实施方案中，用户界面元素是虚拟元素或对象(例如，电子设备上的应用程序的用户界面、在三维环境中显示的虚拟对象等)。在一些实施方案中，电子设备不显示三维环境，而是仅经由显示生成部件显示内容(例如，具有用户界面元素的用户界面)。
在一些实施方案中，用户界面元素至少部分地遮挡电子设备的物理环境中的相应人经由显示生成部件的显示(1404)，诸如遮挡图13A中的人1302a和1308a的显示(例如，显示生成部件任选地在一定程度上透传电子设备的物理环境，该程度为由电子设备显示的虚拟内容不被显示为上覆于该物理环境的部分)。在一些实施方案中，由电子设备显示的用户界面元素显示在电子设备的物理环境中的相应人“前面”或比该人更靠近电子设备的视点。因此，用户界面元素任选地遮挡/阻止相应人的表示经由显示生成部件的显示(例如，完全遮挡相应人的表示的显示(例如，用户界面元素是完全不透明的和/或完全覆盖相应人的表示)，或部分地遮挡相应人的表示的显示(例如，用户界面元素是半透明的和/或不完全覆盖相应人的表示))。在一些实施方案中，用户界面和/或其内容遮挡整个物理环境，使得物理环境的任何部分都不经由显示生成部件可见。在一些实施方案中，用户界面和/或其内容遮挡物理环境的部分，使得物理环境的部分经由显示生成部件可见，而其他部分(例如，相应人)不经由显示生成部件可见。在一些实施方案中，如参考方法1000、1200和1600所描述，电子设备以相应沉浸水平显示用户界面。
在一些实施方案中，在显示用户界面时(1406)，根据确定相应人距物理环境中的电子设备比阈值距离远，诸如图13A中的人1302a和1308a(例如，该人距电子设备远于1英尺、3英尺、5英尺、10英尺、15英尺、50英尺、100英尺等。在一些实施方案中，如果经由显示生成部件可见，则相应人在由电子设备显示的三维环境中被显示为在三维环境中距电子设备的视点超过1英尺、3英尺、5英尺、10英尺、15英尺、50英尺、100英尺等)并且相应人的注意力投向电子设备的用户，诸如图13A中的人1308a(例如，电子设备任选地包括能够检测电子设备的物理环境中的相应人的注意力状态的一个或多个相机、麦克风或其他传感器。在一些实施方案中，如果相应人正看向电子设备和/或电子设备的用户，则相应人的注意力投向电子设备的用户。在一些实施方案中，如果相应人正在朝向电子设备和/或电子设备的用户讲话，则相应人的注意力投向电子设备的用户。在一些实施方案中，(例如，除了电子设备之外的)与相应人相关联的电子设备使用与那个电子设备通信的传感器检测相应人的相关注意力并且将此类注意力信息传输到电子设备，该电子设备接着相应地作出响应)，则电子设备更新(1408)用户界面元素的显示以在对应于用户界面元素的位置处指示相应人在物理环境中的存在，诸如显示图13A中的表示1308b(例如，停止经由显示生成部件显示用户界面元素，使得它不再在相应人“前面”，并且因此使得电子设备的物理环境中的相应人的表示经由显示生成部件可见)。在一些实施方案中，电子设备增大用户界面元素的半透明度，使得相应人变得透过用户界面元素可见(或更加可见)。在一些实施方案中，电子设备在用户界面中移动用户界面元素，使得它不再位于电子设备的物理环境中的相应人“前面”。在一些实施方案中，电子设备减小用户界面元素遮挡相应人经由显示生成部件的显示的程度。在一些实施方案中，电子设备在视觉上指示相应人的存在和/或注意力。在一些实施方案中，电子设备使用户界面元素的视觉外观模糊或以其他方式改变。在一些实施方案中，电子设备更新整个所显示的用户界面(例如，在用户界面中显示的一切)，如上所述。在一些实施方案中，电子设备仅更新用户界面的遮挡相应人的部分(例如，在用户界面的该部分中显示的对象)，并且不修改用户界面的其余部分的显示。
在一些实施方案中，根据确定相应人在物理环境中距电子设备比阈值距离远并且相应人的注意力未投向电子设备的用户(例如，相应人未看向电子设备和/或电子设备的用户和/或朝向其讲话)，电子设备放弃更新(1410)用户界面元素的显示，诸如不在图13A中的用户界面1334中显示人1302a的表示。例如，不修改用户界面和/或用户界面元素的显示。因此，用户界面元素任选地继续以与其之前所处的相同程度遮挡相应人经由显示生成部件的显示。上述基于注意力选择性地改变用户界面的显示的方式提供了允许电子设备的用户经由显示生成部件看到电子设备的物理环境中的人、但仅当很可能与相应人交互时才看到的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不必更新用户界面的显示，因此维持所显示的用户界面的连续相并且避免恢复用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在显示用户界面时(1412)，根据确定相应人在物理环境中距电子设备比阈值距离近(例如，3、5、10、15等)，电子设备更新(1414)用户界面元素的显示以在对应于用户界面元素的位置处指示相应人在物理环境中的存在(例如，相应人的注意力是否投向电子设备的用户)。因此，在一些实施方案中，当相应人靠近时，电子设备更新用户界面元素的显示以指示相应人的存在(例如，如先前所描述)，而不管相应人的注意力状态如何。上述当人靠近电子设备时改变用户界面的显示的方式提供了允许电子设备的用户经由显示生成部件看到电子设备的物理环境中的靠近的人的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过无需单独的用户输入来指示相应人在物理环境中的存在)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，确定相应人的注意力投向电子设备的用户是基于由与电子设备通信的一个或多个传感器(例如，捕获电子设备的物理环境、包括相应人的一个或多个光学或其他相机)检测到的相应人所执行的一个或多个手势(1416)，诸如参考图13A-图13C所描述。例如，如果电子设备检测到相应人正在用例如相应人的一只或两只手指向电子设备的用户、向其挥手或以其他方式朝向其做手势(例如，在一些实施方案中，与相应人正在朝向用户做手势多长时间无关，并且在一些实施方案中，在朝向用户做手势长于时间阈值诸如1秒、3秒、5秒、10秒、20秒等之后)，则电子设备任选地确定相应人的注意力投向电子设备的用户。在一些实施方案中，电子设备基于上述手势结合本文所述的一个或多个其他因素(例如，相应人的注视、相应人的讲话、相应人的速度和/或移动等)确定相应人的注意力投向电子设备的用户，并且当检测到上述手势而未检测到本文所述的其他因素中的一个或多个因素时确定相应人的注意力未投向电子设备的用户。上述基于来自相应人的手势确定相应人的注意力的方式提供了允许电子设备的用户在很可能与电子设备的物理环境中的人交互时经由显示生成部件看到相应人的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不必更新用户界面的显示，因此维持所显示的用户界面的连续相并且避免恢复用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，确定相应人的注意力投向电子设备的用户是基于由与电子设备通信的一个或多个传感器(例如，捕获电子设备的物理环境、包括相应人的一个或多个光学或其他相机)检测到的相应人的注视(1418)，诸如参考图13A-图13C所描述。例如，如果电子设备检测到相应人正看向或朝向电子设备的用户(例如，在围绕电子设备的用户的阈值距离诸如0.5英尺、1英尺、3英尺、5英尺、10英尺、20英尺处或该阈值距离内的位置范围内)(例如，在一些实施方案中，与相应人正看向用户多长时间无关，并且在一些实施方案中，在看向用户长于时间阈值诸如1秒、3秒、5秒、10秒、20秒等之后)，则电子设备任选地确定相应人的注意力投向电子设备的用户。在一些实施方案中，电子设备基于上述注视结合本文所述的一个或多个其他因素(例如，相应人的手势、相应人的讲话、相应人的速度和/或移动等)确定相应人的注意力投向电子设备的用户，并且当检测到上述注视而未检测到本文所述的其他因素中的一个或多个因素时确定相应人的注意力未投向电子设备的用户。上述基于来自相应人的注释确定相应人的注意力的方式提供了允许电子设备的用户在很可能与电子设备的物理环境中的人交互时经由显示生成部件看到相应人的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不必更新用户界面的显示，因此维持所显示的用户界面的连续相并且避免恢复用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，确定相应人的注意力投向电子设备的用户是基于由与电子设备通信的一个或多个传感器(例如，捕获来自电子设备的物理环境、包括相应人的声音的一个或多个麦克风)检测到的来自相应人的讲话(1420)，诸如参考图13A-图13C所描述。例如，如果电子设备检测到相应人正在讲问候语(例如，“大家好！”)或者正在以其他方式朝向电子设备的用户讲话(例如，在一些实施方案中，与相应人正在朝向用户讲话多长时间无关，并且在一些实施方案中，在朝向用户讲话长于时间阈值诸如1秒、3秒、5秒、10秒、20秒等之后)，则电子设备任选地确定相应人的注意力投向电子设备的用户。在一些实施方案中，电子设备基于上述讲话结合本文所述的一个或多个其他因素(例如，相应人的手势、相应人的注视、相应人的速度和/或移动等)确定相应人的注意力投向电子设备的用户，并且当检测到上述讲话而未检测到本文所述的其他因素中的一个或多个因素时确定相应人的注意力未投向电子设备的用户。上述基于来自相应人的讲话确定相应人的注意力的方式提供了允许电子设备的用户在很可能与电子设备的物理环境中的人交互时经由显示生成部件看到相应人的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不必更新用户界面的显示，因此维持所显示的用户界面的连续相并且避免恢复用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，确定相应人的注意力投向电子设备的用户是基于确定电子设备已经检测到来自相应人的讲话包括电子设备的用户的姓名(1422)，诸如参考图13A-图13C所描述。例如，如果相应人讲出用户的姓名，在一些实施方案中，在任何情境中(例如，在非问候语句诸如“我今天在商店看到Tom(用户)了”中)，并且在一些实施方案中，仅在特定情境中(例如，在问候语句诸如“你好TOM(用户)”中)，则电子设备任选地确定相应人的注意力投向电子设备的用户。在一些实施方案中，电子设备基于上述讲出用户的姓名结合本文所述的一个或多个其他因素(例如，相应人的手势、相应人的注视、相应人的速度和/或移动等)确定相应人的注意力投向电子设备的用户，并且当检测到上述讲出用户的姓名而未检测到本文所述的其他因素中的一个或多个因素时确定相应人的注意力未投向电子设备的用户。上述基于相应人讲出用户的姓名确定相应人的注意力的方式提供了允许电子设备的用户在很可能与电子设备的物理环境中的人交互时经由显示生成部件看到相应人的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不必更新用户界面的显示，因此维持所显示的用户界面的连续相并且避免恢复用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，确定相应人的注意力投向电子设备的用户是基于由与电子设备通信的一个或多个传感器(例如，捕获电子设备的物理环境、包括相应人的一个或多个光学或其他相机)检测到的相应人(例如，朝向电子设备的用户)的移动(例如，移动速度)(1424)，诸如参考图13A-图13C所描述。例如，如果电子设备检测到相应人正在朝向电子设备的用户移动(例如，基于相应人的当前移动的相应人的轨迹会将相应人引导到距电子设备的用户小于阈值距离诸如0.5英尺、1英尺、3英尺、5英尺、10英尺、20英尺的距离)，则电子设备任选地确定相应人的注意力投向电子设备的用户。在一些实施方案中，除了相应人朝向电子设备的用户移动之外，电子设备任选地要求相应人的移动速度满足某一标准(例如，高于阈值诸如0.3m/s、0.5m/s、1m/s、3m/s、5m/s、10m/s、20m/s的速度)；低于阈值的速度；等)，此时电子设备任选地确定相应人的注意力投向电子设备的用户(否则任选地不作出如此确定)。在一些实施方案中，电子设备基于上述的相应人的速度和/或移动结合本文所述的一个或多个其他因素(例如，相应人的手势、相应人的注视、相应人的讲话等)确定相应人的注意力投向电子设备的用户，并且当检测到上述的相应人的速度和/或移动而未检测到本文所述的其他因素中的一个或多个因素时确定相应人的注意力未投向电子设备的用户。上述基于相应人的速度和/或移动确定相应人的注意力的方式提供了允许电子设备的用户在很可能与电子设备的物理环境中的人交互时经由显示生成部件看到相应人的快速且高效的方式，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不必更新用户界面的显示，因此维持所显示的用户界面的连续相并且避免恢复用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在显示用户界面时，电子设备检测(1426)到电子设备的用户在与相应人进行交互。在一些实施方案中，响应于检测到电子设备的用户在与相应人进行交互，电子设备更新(1428)用户界面元素的显示以在对应于用户界面元素的位置处指示相应人在物理环境中的存在，诸如参考图13A-图13C所描述。例如，如果电子设备使用一个或多个传感器(例如，用于检测电子设备的用户的注视的眼睛跟踪设备、用于检测电子设备的用户的手势和/或手部移动的手部跟踪设备、用于检测来自电子设备的用户的讲话的麦克风、加速度计、陀螺仪和/或检测电子设备的移动的其他惯性测量单元(IMU))检测到电子设备的用户正在朝向相应人做手势(例如，类似于从相应人检测到的手势，如先前所描述)、朝向相应人讲话(例如，类似于从相应人检测到的讲话，如先前所描述)、朝向相应人移动(例如，类似于从相应人检测到的速度和/或移动，如先前所描述)、看向相应人(例如，类似于从相应人检测到的注视，如先前所描述)等，则电子设备任选地确定电子设备的用户在与相应人互动。在一些实施方案中，电子设备基于上述因素(例如，手势、讲话、移动、注视)中的一个因素来确定用户在与相应人互动；在一些实施方案中，电子设备基于上述因素中的两个或更多个因素来确定用户在与相应人互动，并且如果检测到上述因素中的仅一个因素时，则确定用户未在与相应人互动。在一些实施方案中，电子设备需要上述的基于用户的因素(例如，手势、讲话、用户的移动、注视)中的至少一个因素以及至少一个或多个上述的基于相应人的因素(例如，相应人的手势、相应人的注视、相应人的速度和/或移动、来自相应人的讲话)来确定用户在与相应人互动，否则确定用户未在与相应人互动。在一些实施方案中，如果电子设备确定用户未在与相应人互动，则电子设备任选地不更新用户界面元素的显示以指示相应人在物理环境中的存在(在一些实施方案中，除非电子设备基于相应人的注意力进行更新，如先前所描述)。上述基于用户与相应人的互动改变用户界面的显示的方式提供了允许电子设备的用户经由显示生成部件看到电子设备的物理环境中的人、但仅当很可能与相应人交互时才看到的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(通过不必更新用户界面的显示，因此维持所显示的用户界面的连续相并且避免恢复用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，更新用户界面元素的显示以在对应于用户界面元素的位置处指示相应人在物理环境中的存在包括(1430)：根据确定满足一个或多个第一标准，将用户界面元素的显示改变第一量(例如，如果满足多个上述因素(例如，相应人的手势、相应人的注视、相应人的速度和/或移动、来自相应人的讲话、用户的手势、用户的注视、用户的速度和/或移动、来自用户的讲话)中的少于阈值数量(例如，两个、三个)的因素，则电子设备任选地以第一方式更新用户界面元素，诸如将用户界面元素移动第一量、将用户界面元素的透明度增大第一量、将用户界面元素按第一量变模糊、更新用户界面的第一部分等)。在一些实施方案中，更新(1432)用户界面元素的显示以在对应于用户界面元素的位置处指示相应人在物理环境中的存在包括：根据确定满足不同于第一标准的一个或多个第二标准，将用户界面元素的显示改变(1434)不同于第一量的第二量，诸如图13A和图13B中的表示1306b的不同显示。例如，如果满足多个上述因素(例如，相应人的手势、相应人的注视、相应人的速度和/或移动、来自相应人的话语、用户的手势、用户的注视、用户的速度和/或移动、来自用户的话语)中的超过阈值数量(例如，两个、三个)的因素，则电子设备任选地以不同于第一方式的第二方式更新用户界面元素，例如将用户界面元素移动不同于(例如，大于)第一量的第二量、将用户界面元素的透明度增大不同于(例如，大于)第一量的第二量、将用户界面元素按不同于(例如，大于)第一量的第二量变模糊、更新用户界面的不同于(例如，大于)第一部分的第二部分等。因此，在一些实施方案中，在电子设备检测到更多相应人注意力和/或用户互动因素时，电子设备任选地更新用户界面元素的显示以例如使得相应人的表示更加经由显示生成部件可见。在一些实施方案中，在电子设备检测到更少相应人注意力和/或用户互动因素时，电子设备任选地更新用户界面元素的显示以例如使得相应人的表示更不易经由显示生成部件可见。因此，相应人的注意力投向用户和/或用户在与相应人互动的置信度越高，电子设备更新用户界面元素的显示越剧烈，并且相应人的注意力投向用户和/或用户在与相应人互动的置信度越低，电子设备更新用户界面的显示越不剧烈。上述根据确定相应人的注意力的置信度将用户界面的显示改变(例如，逐渐改变)不同量的方式提供了允许电子设备的用户在很可能与电子设备的物理环境中的人交互的程度上经由显示生成部件看到相应人的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不必更新用户界面的显示，因此维持所显示的用户界面的连续相并且避免恢复用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，用户界面包括至少部分地遮挡电子设备的物理环境中的相应对象经由显示生成部件的显示的相应用户界面元素(1436)，相应对象诸如图13A-图13C中的对象1304a和1306a(例如，吊扇、楼梯、物理环境中的高度断层、其他对象等。在一些实施方案中，对象是可能与用户碰撞的对象。在一些实施方案中，对象是可能对用户造成伤害的对象)。在一些实施方案中，在显示用户界面时(1438)，根据确定相应对象在物理环境中距电子设备远于相应阈值距离(例如，与相应人相关的阈值距离相同，或与相应人相关的阈值距离不同(例如，更远或更近))，诸如图13B中的对象1304a和1306a(例如，对象距电子设备远于3英尺、5英尺、10英尺、15英尺、30英尺、50英尺等。在一些实施方案中，如果经由显示生成部件可见，则对象将在由电子设备显示的三维环境中显示为在三维环境中距电子设备的视点超过3英尺、5英尺、10英尺、15英尺、30英尺、50英尺等)，并且相应对象满足一个或多个第一标准，诸如图13A中的对象1306b(例如，该对象对用户来说是潜在危险对象。例如，以下对象，该对象正以足够的速度(例如，快于0.5m/s、1m/s、2m/s、4m/s、10m/s、20m/s)朝向用户移动，使得与用户的碰撞将很可能致使用户受伤。在一些实施方案中，附加地或另选地，以下对象，对于该对象，该对象的轨迹和/或速度指示该对象将与用户碰撞。在一些实施方案中，附加地或另选地，以下对象，对于该对象，用户的轨迹和/或速度指示用户将与对象碰撞或到达对象(例如，用户在没有意识到对象的情况下可能跌倒的桌子、断层或楼梯等))，电子设备更新(1440)相应用户界面元素的显示以在对应于相应用户界面元素的位置处指示相应对象在物理环境中的存在，诸如显示图13A中的表示1306b(例如，以与先前参考更新用户界面元素的显示以在对应于用户界面元素的位置处指示相应人在物理环境中的存在的相同或类似方式)。
在一些实施方案中，根据确定相应对象在物理环境中距电子设备远于相应阈值距离并且相应对象不满足一个或多个第一标准，诸如对于图13A中的对象1304a(例如，对象对用户来说不是潜在危险对象。例如，以下对象，该对象正以低速(例如，低于0.5m/s、1m/s、2m/s、4m/s、10m/s、20m/s)朝向用户移动，使得与用户的碰撞将不太可能致使用户受伤。在一些实施方案中，附加地或另选地，以下对象，对于该对象，该对象的轨迹和/或速度指示该对象将不与用户碰撞。在一些实施方案中，附加地或另选地，以下对象，对于该对象，用户的轨迹和/或速度指示用户将不与对象碰撞或不到达对象(例如，用户在没有意识到对象的情况下可能跌倒的桌子、断层或楼梯等))，电子设备放弃更新(1442)相应用户界面元素的显示，诸如不在图13A中的用户界面1334中显示对象1304a的表示(例如，以与先前参考放弃更新用户界面元素的显示以在对应于用户界面元素的位置处指示相应人在物理环境中的存在的相同或类似方式)。在一些实施方案中，根据确定相应对象在物理环境中距电子设备近于相应阈值距离，诸如图13C中的对象1304a(例如，相应对象是否满足一个或多个第一标准)，电子设备更新(1444)相应用户界面元素的显示以在对应于相应用户界面元素的位置处指示相应对象在物理环境中的存在，诸如显示图13C中的表示1304b(例如，以与先前参考更新用户界面元素的显示以在对应于用户界面元素的位置处指示相应人在物理环境中的存在的相同或类似方式)。上述基于对象在电子设备的物理环境中的存在选择性地改变用户界面的显示提供了允许电子设备的用户经由显示生成部件看到电子设备的物理环境的、但仅当很可能相关(例如，当使用电子设备时为安全起见)时才看到的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过当电子设备的物理环境中不存在对象时不必更新用户界面的显示，因此维持所显示的用户界面的连续性并且避免逆转用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在更新用户界面元素的显示以在对应于用户界面元素的位置处指示相应人在物理环境中的存在之前，围绕用户界面的与相应人在物理环境中的位置对应的第二相应部分的用户界面的第一相应部分被显示为包括具有第一值的视觉特性(1446)(例如，用户界面元素的在相应人的表示透过用户界面元素可见时将围绕相应人的表示的部分以非模糊状态、以第一颜色配置、以第一亮度、以第一半透明度等显示)。在一些实施方案中，在更新用户界面元素的显示以在对应于用户界面元素的位置处指示相应人在物理环境中的存在之后，围绕用户界面的与相应人在物理环境中的位置对应的第二相应部分的用户界面的第一相应部分被显示为包括具有不同于第一值的第二值的视觉特性(1448)(例如，用户界面元素的围绕透过用户界面元素可见的相应人的表示的部分以模糊状态、以不同于第一颜色配置的第二颜色配置、以不同于第一亮度的第二亮度、以不同于第一半透明度的第二半透明度等显示)。例如，在一些实施方案中，用户界面的围绕经由显示生成部件可见的相应人的表示显示的部分被显示为具有视觉效果(例如，模糊、更加透明等)。在一些实施方案中，用户界面的围绕相应人的表示的部分是用户界面的在经由显示生成部件显示的相应人的表示(例如，其边界)的阈值距离(例如，0.5英尺、1英尺、3英尺、5英尺、20英尺)内的那些部分。在一些实施方案中，用户界面的远于相应人的表示(例如，其边界)的阈值距离的部分不被显示为具有视觉效果(例如，不因基于相应人更新用户界面元素的显示而更改，被显示为非模糊的，被显示为更不透明的等)。在一些实施方案中，应用于用户界面的视觉效果在量值上根据距相应人的表示(例如，其边界)的距离而减小。上述基于距相应人的表示的距离将用户界面改变不同量的方式减少了用户界面中的视觉混乱，这简化了用户和电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过有助于将相应用户的存在清晰地指示为与用户界面的内容分离)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
图15A-图15C示出了根据一些实施方案的电子设备的示例，该电子设备基于设备的特性和/或设备的环境的特性来减小其正在显示用户界面的沉浸水平。
图15A示出了电子设备101经由显示生成部件(例如，图1的显示生成部件120)显示用户界面1534。如上参考图1-图6所描述，电子设备101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101将能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，以下示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件以及用于检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或用于检测用户的注视的传感器(例如，向内面向用户的面部的内部传感器)。
设备101任选地捕获设备101周围的物理环境1500(例如，操作环境100)、包括设备101周围的物理环境1500中的一个或多个对象的一个或多个图像。例如，在图15A中，物理环境1500包括两个对象(例如，树1504a和球1506a)以及两个人(例如，人1502a和人1508a)。在图15A中，设备101正在以沉浸度标尺1530上的相对高(例如，最大)沉浸水平1532显示(例如，应用程序App C的)用户界面1534。例如，图15A的显示任选地是设备101检测到使用设备101的输入元件(例如，设备101的输入元件920，诸如参考图9A所描述)将用户界面1534的沉浸水平增大到沉浸水平1532的输入的结果。在一些实施方案中，用户界面1534是设备101的操作系统的用户界面，而不是应用程序的用户界面。在图15A中设备101正在显示用户界面1500的沉浸水平1532下，用户界面1534正遮挡(例如，完全遮挡)经由显示生成部件120对设备101的物理环境1500(例如，物理环境1500中的对象、人等)的显示，使得用户界面1534的内容(例如，虚拟桌子上的虚拟盒子)经由显示生成部件120可见，但物理环境1534的表示并不经由显示生成部件120可见。在一些实施方案中，关于以相对高(例如，最大)沉浸水平1532显示用户界面1534的细节如参考方法1000所描述。尽管图15A-图15C的描述是在具有相对高沉浸水平1532的用户界面1534的上下文中提供的，但是应当理解，图15A-图15C和方法1600的特征任选地类似地适用于其中由设备101显示的虚拟元素、对象等至少部分地遮挡经由显示生成部件120对物理环境1500的任何部分的显示的任何情形。
在一些实施方案中，设备101能够检测设备101和/或环境1500的一个或多个特性，并且响应于检测到某些特性，设备101任选地减小其显示用户界面1534的沉浸水平1532，使得物理环境1500的对象、人和/或一个或多个部分变得至少部分地经由显示生成部件120可见(例如，当它们在检测到那些特性之前不可见或不完全可见时)。在一些实施方案中，设备101响应于(例如，使用加速度计、GPS位置检测器和/或其他惯性测量单元(IMU))检测到设备101的移动(例如，移动速度)的特性(例如，如果设备移动得快于速度阈值诸如0.5英里/小时、1英里/小时、3英里/小时、5英里/小时、10英里/小时、20英里/小时、50英里/小时)而减小沉浸水平1532。在一些实施方案中，设备101响应于(例如，使用相机、麦克风等)检测到物理环境1500的特性(例如，如果环境1500包括与潜在危险情形相关联的声音，诸如玻璃破碎的声音或火警的声音)而减小沉浸水平1532。在一些实施方案中，设备101仅在设备101在环境1500中检测到对象和/或危险时执行上述沉浸度减小—如果设备101在环境1500中没有检测到对象和/或危险，则设备101任选地不执行以上基于速度和/或声音的沉浸度减小，即使设备101检测到所要求的速度和/或声音特性也是如此。在一些实施方案中，设备101将设备101正在显示用户界面1534的沉浸水平减小到预先确定的相对低(例如，最小)沉浸水平，使得整个用户界面1534的显示被修改(例如，相较于图13A-图13C中的设备101响应于不同情形的响应，其中用户界面1334的部分的显示被修改而用户界面1334的其他部分的显示不被修改)。
例如，在图15A中，设备101的速度1552低于速度标尺1550上的速度阈值1551(例如，0.5英里/小时、1英里/小时、3英里/小时、5英里/小时、10英里/小时、20英里/小时、50英里/小时)。因此，设备101尚未修改用户界面1534的沉浸度1532，并且物理环境1500的对象、人和/或部分保持被用户界面1534遮挡。
在图15B中，设备101检测到设备101的速度1552已经超出速度标尺1550上的速度阈值1551。因此，设备101任选地修改其正在显示用户界面1534的沉浸水平1532。在一些实施方案中，如果设备101确定其正在交通工具(例如，小汽车、飞机等)中行进，则设备并不响应于检测到速度1552高于速度阈值1551而修改沉浸水平1532。在图15B中，设备101已经将沉浸水平1532减小到最小沉浸水平，使得不经由显示生成部件120显示用户界面1534的任何部分，并且物理环境1500的对象(例如，1504b、1506b)、人(例如，1502b、1508b)和/或部分的表示完全经由显示生成部件120可见。在一些实施方案中，设备101不将沉浸水平1532减小到最小沉浸水平，而是减小到相对低(例如，非零)沉浸水平。关于用户界面1534和/或表示1502b、1504b、1506b和1508b在相对低沉浸水平下的显示的细节任选地如参考方法1000所描述。因此，如上所述，当设备101正在以相对高速度(例如，高于速度阈值)移动时，设备101任选地使设备101的物理环境1500经由显示生成部件120可见，以帮助确保正在使用设备101的用户能够经由显示生成部件120看到物理环境1500，从而避免可能由于以该速度移动而引起的潜在危险情形。
在一些实施方案中，响应于检测到设备101的速度1552下降到低于速度阈值1552，设备101返回到以先前沉浸水平(例如，当检测到使沉浸度减小的速度时设备101正在显示用户界面1534的沉浸水平，诸如图15A所示)显示用户界面1534。在一些实施方案中，设备101并不响应于检测到设备101的速度1552下降到低于速度阈值1552而返回到以先前沉浸水平显示用户界面1534—而是在一些实施方案中，在已经如参考图15B所描述减小沉浸水平1532之后，设备101需要单独的用户输入来增大该沉浸水平(例如，类似于如参考图11A-图11B所描述)。
图15C示出了其中设备101响应于在物理环境1500中检测到声音的某些特性而减小其正在显示用户界面1534的沉浸水平1532的场景。具体地，在图15B中，设备101在环境1500中检测到声音1560。声音1560任选地是与潜在危险情形相关联的声音，诸如某物破碎的声音、电子设备的物理环境中具有高压力值的人的语音、警报(例如，烟雾、火、一氧化碳、防盗等)的声音等。因此，即使设备101的速度1552低于速度阈值1551，设备101也任选地修改其正在显示用户界面1534的沉浸水平1532。在图15C中，设备101已经将沉浸水平1532减小到最小沉浸水平，使得不经由显示生成部件120显示用户界面1534的任何部分，并且物理环境1500的对象(例如，1504b、1506b)、人(例如，1502b、1508b)和/或部分的表示完全经由显示生成部件120可见。在一些实施方案中，设备101不将沉浸水平1532减小到最小沉浸水平，而是减小到相对低(例如，非零)沉浸水平。关于用户界面1534和/或表示1502b、1504b、1506b和1508b在相对低沉浸水平下的显示的细节任选地如参考方法1000所描述。因此，如上所述，当设备101在设备101的环境1500中检测到与潜在危险情形相关联的声音时，设备101任选地使物理环境1500经由显示生成部件120可见，以帮助确保正在使用设备101的用户能够经由显示生成部件120看到物理环境1500，从而避免可能存在于或已经出现在环境1500中的潜在危险情形。
在一些实施方案中，响应于设备101不再检测到声音1560和/或声音不再满足声音标准(例如，达时间阈值，诸如设备101不再检测到声音1560之后的1秒、3秒、5秒、10秒、30秒、60秒)，设备101返回到以先前沉浸水平(例如，当检测到声音1560时设备101正在显示用户界面1534的沉浸水平，诸如图15A所示)显示用户界面1534。在一些实施方案中，设备101并不响应于设备101不再检测到声音1560和/或声音不再满足声音标准而返回到以先前沉浸水平显示用户界面1534—而是在一些实施方案中，在已经如参考图15C所描述减小沉浸水平1532之后，设备101需要单独的用户输入来增大该沉浸水平(例如，类似于如参考图11A-图11B所描述)。
图16A-图16C是示出了根据一些实施方案的基于电子设备和/或电子设备的物理环境的特性来减小与用户界面相关联的沉浸水平的方法1600的流程图。在一些实施方案中，方法1600在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1600通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1中的控制单元110)执行的指令来管理。方法1600中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法1600中，在一些实施方案中，与显示生成部件和一个或多个输入设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，图1中的计算机系统101)显示(1602)包括用户界面元素的用户界面，诸如图15A中的用户界面1534。在一些实施方案中，电子设备是移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或致使用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，电子设备与一个或多个输入设备通信，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测用户输入等)并且将与用户输入相关联的信息传输到电子设备的电子设备或部件。输入设备的示例包括触摸屏、鼠标(例如，外部的)、轨迹板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一移动设备(例如，与电子设备分离)、手持式设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器、运动传感器(例如，手部跟踪设备、手部运动传感器)、包括在电子设备中的物理机械输入元件(例如，按钮、旋转机械元件、开关等)和/或眼睛跟踪设备等。
在一些实施方案中，电子设备显示三维环境，诸如计算机生成的现实(CGR)环境诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等内显示，该三维环境由电子设备生成、显示或以其他方式使其可查看。在一些实施方案中，用户界面元素是虚拟元素或对象(例如，电子设备上的应用程序的用户界面、在三维环境中显示的虚拟对象等)。在一些实施方案中，电子设备不显示三维环境，而是仅经由显示生成部件显示内容(例如，具有用户界面元素的用户界面)。在一些实施方案中，用户界面元素至少部分地遮挡电子设备的物理环境的相应部分经由显示生成部件的显示(1604)，诸如遮挡图15A中的1502a、1504a、1506a和1508a的显示(例如，显示生成部件任选地在一定程度上透传电子设备的物理环境，该程度为由电子设备显示的虚拟内容不被显示为上覆于该物理环境的部分。在一些实施方案中，由电子设备显示的用户界面元素显示在电子设备的物理环境的相应部分(例如，包括物理环境中的人、物理环境中的对象和/或等的相应部分)“前面”或比该相应部分更靠近电子设备的视点。因此，用户界面元素任选地遮挡/阻止物理环境的相应部分的表示经由显示生成部件的显示(例如，完全遮挡相应部分的表示的显示(例如，用户界面元素是完全不透明的和/或完全覆盖物理环境的相应部分的表示)，或部分地遮挡相应部分的表示的显示(例如，用户界面元素是半透明的和/或不完全覆盖相应部分的表示))。在一些实施方案中，用户界面和/或其内容遮挡整个物理环境，使得物理环境的任何部分都不经由显示生成部件可见。在一些实施方案中，用户界面和/或其内容遮挡物理环境的部分，使得物理环境的部分经由显示生成部件可见，而其他部分(例如，相应人)并不经由显示生成部件可见。在一些实施方案中，如参考方法1000、1200和1400所描述，电子设备以相应沉浸水平显示用户界面。
在一些实施方案中，在显示用户界面时(1606)，根据确定满足一个或多个标准，包括基于诸如图15B所示的电子设备的移动速度而满足的标准(例如，诸如经由加速度计、GPS位置检测器和/或其他惯性测量单元(IMU)检测到的电子设备正在移动的速度大于速度阈值(例如，3英里/小时、5英里/小时、10英里/小时)。例如，电子设备的用户在拿着、穿戴和/或以其他方式使用电子设备时跑步)，电子设备更新(1608)用户界面元素的显示以减小用户界面元素遮挡物理环境的相应部分的显示经由显示生成部件的程度，诸如减小图15B中的用户界面1534的显示，使得图15B中的表示1502b、1504b、1506b和/或1508b经由显示生成部件120可见(例如，停止显示用户界面元素，使得其不再经由显示生成部件在相应部分“前面”，并且因此使得电子设备的物理环境中的相应部分的表示经由显示生成部件可见)。在一些实施方案中，电子设备增大用户界面元素的半透明度，使得相应部分变得透过用户界面元素可见(或更加可见)。在一些实施方案中，电子设备在用户界面中移动用户界面元素，使得它不再位于电子设备的物理环境的相应部分“前面”。在一些实施方案中，电子设备更新整个所显示的用户界面(例如，在用户界面中显示的一切)，如上所述。在一些实施方案中，电子设备仅更新用户界面的遮挡相应部分的部分(例如，在用户界面的该部分中显示的对象)，并且不修改用户界面的其余部分的显示。在一些实施方案中，电子设备将沉浸水平减小到低沉浸水平或无沉浸水平，如参考方法1000所描述。在一些实施方案中，电子设备的移动速度越快，电子设备就越大程度地减小沉浸水平。
在一些实施方案中，根据确定不满足一个或多个标准，电子设备放弃更新(1610)用户界面元素的显示。例如，不修改用户界面和/或用户界面元素的显示(例如，维持电子设备的沉浸水平)。因此，用户界面元素任选地继续以与其之前所处的相同程度遮挡相应部分经由显示生成部件的显示。上述基于电子设备的速度选择性地改变用户界面的显示提供了允许电子设备的用户经由显示生成部件看到电子设备的物理环境的、但仅当很可能相关(例如，当使用电子设备时为安全起见)时才看到的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不必更新用户界面的显示，因此维持所显示的用户界面的连续性并且避免逆转用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，一个或多个标准包括当电子设备不位于交通工具(例如，汽车、飞机、轮船、火车、公共汽车等)中时满足并且当电子设备位于交通工具中时不满足的标准(1612)。例如，如果电子设备确定其位于交通工具中，则任选地放弃更新用户界面元素的显示以减小用户界面元素遮挡物理环境的相应部分经由显示生成部件的显示的程度，即使电子设备的移动速度满足基于电子设备的移动速度而满足的标准也是如此。在一些实施方案中，致使如上所述更新用户界面元素的显示的电子设备的移动速度是电子设备相对于其在物理环境中的即时周遭的移动速度—因此，在一些实施方案中，当在交通工具中时—即使该交通工具正在以将满足基于电子设备的移动速度而满足的标准的速度移动—电子设备将任选地不会相对于其在物理环境中的即时周遭(例如，在交通工具内)快速地移动，并且因此将任选地不会如上所述更新用户界面元素的显示。在一些实施方案中，电子设备基于其移动的特性(例如，与用户在不在交通工具中的情况下可移动相比更快地移动)、基于其周遭的图像识别和/或基于与交通工具内的电子系统(例如，交通工具的信息娱乐系统)的通信来确定其在交通工具中。在一些实施方案中，如果电子设备使用第一组传感器(例如，经由IMU)检测到高速移动但使用第二组传感器(例如，经由光学相机)未检测到相对于其在物理环境中的即时周遭的移动，则电子设备确定其在交通工具中或在其中经由第一组传感器检测到的高速移动不应(并且将不会)致使如本文所述更新用户界面元素的另一位置中。上述考虑电子设备是否正在交通工具中行进的方式提供了避免在其中速度并非相对于电子设备的即时周遭的情形中不必要地基于速度修改用户界面元素的显示的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不必更新用户界面的显示，因此维持所显示的用户界面的连续性并且避免逆转用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，一个或多个标准包括当电子设备的物理环境包括一个或多个检测到的危险(例如，用户可能跌倒的楼梯、用户可能绊倒的对象等)时满足的标准(1614)。在一些实施方案中，电子设备使用一个或多个传感器(例如，相机)来检测和/或识别电子设备的物理环境中的一个或多个危险。在一些实施方案中，电子设备以参考方法1400所描述的方式(例如，基于与用户的接近度、基于危险的移动特性等)检测危险和/或对检测到的危险作出响应。上述基于危险在电子设备的物理环境中的存在选择性地改变用户界面的显示提供了允许电子设备的用户经由显示生成部件看到电子设备的物理环境的、但仅当很可能相关(例如，当使用电子设备时为安全起见)时才看到的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过当电子设备的物理环境中不存在危险时不必更新用户界面的显示，因此维持所显示的用户界面的连续性并且避免逆转用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，一个或多个标准包括当电子设备的物理环境的相应部分包括一个或多个物理对象时满足的标准(1616)，诸如在图15A-图15B中。例如，在一些实施方案中，电子设备仅在电子设备确定物理环境的由用户界面元素遮挡的部分包括一个或多个物理对象(例如，危险，如本文参考方法1600所描述和/或如参考方法1400所描述的)时修改用户界面元素的显示。在一些实施方案中，电子设备确定如果物理环境的由用户界面元素遮挡的部分不包括一个或多个物理对象(例如，危险；例如，如果电子设备的物理环境的不同部分包括一个或多个物理对象)，则电子设备任选地不如上所述修改用户界面元素的显示。上述基于所显示的用户界面是否实际上遮挡可能对电子设备的用户造成危险的物理对象的显示来选择性地改变用户界面的显示的方式提供了允许电子设备的用户经由显示生成部件看到电子设备的物理环境、但仅当很可能相关(例如，当使用电子设备时为安全起见)时才看到的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过当不存在由电子设备所显示的用户界面遮挡的对象时不必更新用户界面的显示，因此维持所显示的用户界面的连续性并且避免逆转用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在显示用户界面时(1618)，根据确定满足一个或多个第二标准，包括基于电子设备的物理环境中的一个或多个物理对象的一个或多个特性而满足的标准，诸如参考图13A-图13C所描述(例如，关于电子设备的物理环境中的物理对象的标准，这些物理对象致使电子设备使得那些物理对象的表示比它们之前更加经由显示生成部件可见，诸如参考方法1400所描述和/或如本文参考方法1600所描述。在一些实施方案中，基于电子设备的移动速度而不满足一个或多个第二标准)，电子设备更新(1620)用户界面元素的显示以减小用户界面元素遮挡物理环境的小于相应部分的第二相应部分经由显示生成部件的显示的程度，诸如比较图13A-图13C与图15A-图15C。例如，在一些实施方案中，如果电子设备的物理环境中的一个或多个物理对象的特性致使电子设备修改用户界面经由显示生成部件显示的显示，则电子设备仅修改用户界面的遮挡那一个或多个物理对象的表示经由显示生成部件的显示的那些部分的显示(例如，以使那一个或多个物理对象的表示更加经由显示生成部件可见)。在一些实施方案中，电子设备维持用户界面的不遮挡那一个或多个物理对象的表示的显示的其他部分的显示(例如，不修改显示)。相比之下，在一些实施方案中，如果电子设备的移动速度是致使电子设备修改经由显示生成部件显示的用户界面的显示的速度，则电子设备任选地修改经由显示生成部件显示的用户界面的更大部分(或全部)以使物理环境的表示的更大部分(或全部)经由显示生成部件可见(例如，在一些实施方案中，与(例如，任何)物理对象在电子设备的物理环境中的位置无关)。上述根据发生修改的原因来修改用户界面的不同部分的显示的方式提供了修改用户界面的最有可能需要修改(例如，当使用电子设备时为安全起见)的那些部分的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过不必更新用户界面的过多部分的显示，因此维持所显示的用户界面的更大连续性并且避免逆转用户界面的错误更新的用户输入)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，在显示用户界面时(1622)，根据确定满足一个或多个第二标准，包括基于在电子设备的物理环境中检测到的声音诸如图15C中的声音1560而满足的标准(例如，如果电子设备经由麦克风检测到通常与潜在危险情形相关联的声音诸如某物破碎的声音、电子设备的物理环境中的具有高压力值的人的语音、警报(例如，烟雾、火、一氧化碳、防盗等)的声音等，则标准得以满足。在一些实施方案中，一个或多个第二标准包括当声音的音量高于阈值水平以指示声音的源在电子设备附近/在电子设备的附近物理环境中时满足、否则不满足的另一标准。在一些实施方案中，一个或多个第二标准包括当除了声音的音量之外的声音的特性(例如，频率等)指示声音的源在电子设备附近/在电子设备的附近物理环境中时满足、否则不满足的标准)，电子设备更新(1624)用户界面元素的显示以减小用户界面元素遮挡物理环境的相应部分经由显示生成部件的显示的程度，诸如减小图15C中的用户界面1534的显示，使得图15C中的表示1502b、1504b、1506b和/或1508b经由显示生成部件120可见。在一些实施方案中，电子设备以它在满足一个或多个标准(例如，包括基于速度的标准)时所做类似的方式(或相同方式)对满足一个或多个第二标准的声音作出响应。在一些实施方案中，声音的源越靠近电子设备，电子设备就越大程度地减小沉浸水平。在一些实施方案中，如果不满足一个或多个第二标准，则电子设备不基于检测到的声音来减小沉浸水平。上述基于由电子设备检测到的声音来选择性地改变用户界面的显示的方式提供了允许电子设备的用户基于多个潜在相关触发事项经由显示生成部件看到电子设备的物理环境的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过提供电子设备使物理环境更加可见所用的更多方式，因此避免需要附加的用户输入来使物理环境更加可见)，这通过使得用户能够更快且更高效地使用电子设备而另外减少功率使用并且延长电子设备的电池寿命，同时减少使用错误。
在一些实施方案中，方法800、1000、1200、1400和1600的各方面/操作可在这些方法之间互换、替换和/或添加。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (6)

1.一种方法，包括：
在与显示生成部件和眼睛跟踪设备通信的电子设备处：
经由所述显示生成部件同时显示：
与第一应用程序相关联的第一用户界面；以及
第二用户界面，所述第二用户界面包括所述物理环境的一个或多个表示、以及在三维环境中的一个或多个虚拟对象，所述一个或多个虚拟对象不在所述电子设备的所述物理环境中，其中，显示所述第一用户界面包括将所述第一用户界面显示为上覆于所述第二用户界面；
在同时显示所述第一用户界面和围绕所述第一用户界面的至少所述部分的所述第二用户界面的所述部分时，经由所述眼睛跟踪设备检测用户的注视投向所述第一用户界面；以及
响应于检测到所述用户的所述注视投向所述第一用户界面：
根据确定满足一个或多个标准，相对于所述第一用户界面淡化所述第二用户界面，包括在保持所述物理环境的所述一个或多个表示、以及所述三维环境中的所述一个或多个虚拟对象的显示时，淡化所述物理环境的所述一个或多个表示以及所述三维环境中的所述一个或多个虚拟对象。
2.根据权利要求1所述的方法，其中所述一个或多个标准包括当所述第一应用程序是第一类型的应用程序时被满足并且当所述第一应用程序是不同于所述第一类型的第二类型的应用程序时不满足的标准，所述方法还包括：
响应于检测到所述用户的所述注视投向所述第一用户界面：
根据确定不满足所述一个或多个标准，放弃相对于所述第一用户界面淡化所述第二用户界面。
3.根据权利要求1所述的方法，还包括：
在检测到所述用户的所述注视投向所述第一用户界面之后并且在将所述第二用户界面显示为相对于所述第一用户界面淡化时，经由所述眼睛跟踪设备检测所述用户的所述注视投向所述第二用户界面；以及
响应于检测到所述用户的所述注视投向所述第二用户界面，根据确定满足一个或多个第二标准，相对于所述第一用户界面强调所述第二用户界面。
4.根据权利要求1所述的方法，其中：
在检测到所述用户的所述注视投向所述第一用户界面之前，以第一沉浸水平显示所述第一用户界面，并且
相对于所述第一用户界面淡化所述第二用户界面包括以所述第一沉浸水平维持所述第一用户界面的显示。
5.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至4所述的方法中的任一种方法的指令。
6.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求1至4所述的方法中的任一种方法。
CN202510043992.4A 2020-09-25 2021-09-25 用于调节和/或控制与用户界面相关联的沉浸度的方法 Pending CN119960601A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063083792P 2020-09-25 2020-09-25
US63/083,792 2020-09-25
CN202180065836.8A CN116420130A (zh) 2020-09-25 2021-09-25 用于调节和/或控制与用户界面相关联的沉浸度的方法
PCT/US2021/071596 WO2022067343A2 (en) 2020-09-25 2021-09-25 Methods for adjusting and/or controlling immersion associated with user interfaces

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202180065836.8A Division CN116420130A (zh) 2020-09-25 2021-09-25 用于调节和/或控制与用户界面相关联的沉浸度的方法

Publications (1)

Publication Number Publication Date
CN119960601A true CN119960601A (zh) 2025-05-09

Family

ID=78463999

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310791788.1A Active CN117555417B (zh) 2020-09-25 2021-09-25 用于调节和/或控制与用户界面相关联的沉浸度的方法
CN202510043992.4A Pending CN119960601A (zh) 2020-09-25 2021-09-25 用于调节和/或控制与用户界面相关联的沉浸度的方法
CN202180065836.8A Pending CN116420130A (zh) 2020-09-25 2021-09-25 用于调节和/或控制与用户界面相关联的沉浸度的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310791788.1A Active CN117555417B (zh) 2020-09-25 2021-09-25 用于调节和/或控制与用户界面相关联的沉浸度的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202180065836.8A Pending CN116420130A (zh) 2020-09-25 2021-09-25 用于调节和/或控制与用户界面相关联的沉浸度的方法

Country Status (7)

Country Link
US (4) US11520456B2 (zh)
EP (2) EP4697149A2 (zh)
JP (3) JP7510000B2 (zh)
KR (2) KR20230117639A (zh)
CN (3) CN117555417B (zh)
AU (3) AU2021349382B2 (zh)
WO (1) WO2022067343A2 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12307066B2 (en) 2020-03-16 2025-05-20 Apple Inc. Devices, methods, and graphical user interfaces for providing computer-generated experiences
WO2022067302A1 (en) 2020-09-25 2022-03-31 Apple Inc. Methods for navigating user interfaces
EP4697149A2 (en) 2020-09-25 2026-02-18 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
CN116719452A (zh) 2020-09-25 2023-09-08 苹果公司 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
CN119440253A (zh) 2020-09-25 2025-02-14 苹果公司 用于操纵环境中的对象的方法
US11747896B2 (en) 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11609629B2 (en) * 2020-10-20 2023-03-21 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11392198B2 (en) 2020-10-20 2022-07-19 ROVl GUIDES, INC. Methods and systems of extended reality environment interaction based on eye motions
US12373029B2 (en) 2020-10-20 2025-07-29 Adeia Guides Inc. Methods and systems of extended reality environment interaction based on eye motions
US11914835B2 (en) * 2020-11-16 2024-02-27 Samsung Electronics Co., Ltd. Method for displaying user interface and electronic device therefor
WO2022146936A1 (en) 2020-12-31 2022-07-07 Sterling Labs Llc Method of grouping user interfaces in an environment
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
KR20230169331A (ko) 2021-04-13 2023-12-15 애플 인크. 환경에 몰입형 경험을 제공하기 위한 방법
WO2023049705A1 (en) 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications
CN118215903A (zh) 2021-09-25 2024-06-18 苹果公司 用于在虚拟环境中呈现虚拟对象的设备、方法和图形用户界面
US12456271B1 (en) 2021-11-19 2025-10-28 Apple Inc. System and method of three-dimensional object cleanup and text annotation
EP4453695A1 (en) 2021-12-23 2024-10-30 Apple Inc. Methods for sharing content and interacting with physical devices in a three-dimensional environment
US12524977B2 (en) 2022-01-12 2026-01-13 Apple Inc. Methods for displaying, selecting and moving objects and containers in an environment
CN119473001A (zh) 2022-01-19 2025-02-18 苹果公司 用于显示和重新定位环境中的对象的方法
US12272005B2 (en) 2022-02-28 2025-04-08 Apple Inc. System and method of three-dimensional immersive applications in multi-user communication sessions
US12541280B2 (en) 2022-02-28 2026-02-03 Apple Inc. System and method of three-dimensional placement and refinement in multi-user communication sessions
WO2023196258A1 (en) 2022-04-04 2023-10-12 Apple Inc. Methods for quick message response and dictation in a three-dimensional environment
US20230343049A1 (en) * 2022-04-20 2023-10-26 Apple Inc. Obstructed objects in a three-dimensional environment
WO2023205457A1 (en) 2022-04-21 2023-10-26 Apple Inc. Representations of messages in a three-dimensional environment
US11809615B1 (en) * 2022-04-25 2023-11-07 Apple Inc. User interfaces for facilitating operations
US12131616B2 (en) 2022-04-25 2024-10-29 Apple Inc. User interfaces for facilitating operations
US11899833B2 (en) * 2022-05-09 2024-02-13 Shopify Inc. Systems and methods for interacting with augmented reality content using a dual-interface
US12394167B1 (en) 2022-06-30 2025-08-19 Apple Inc. Window resizing and virtual object rearrangement in 3D environments
US20240004536A1 (en) * 2022-06-30 2024-01-04 Apple Inc. Systems and methods of reducing obstruction by three-dimensional content
US20240061561A1 (en) * 2022-08-22 2024-02-22 Microsoft Technology Licensing, Llc Visually-deemphasized effect for computing devices
US12148078B2 (en) * 2022-09-16 2024-11-19 Apple Inc. System and method of spatial groups in multi-user communication sessions
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US12405704B1 (en) 2022-09-23 2025-09-02 Apple Inc. Interpreting user movement as direct touch user interface interactions
EP4591133A1 (en) 2022-09-24 2025-07-30 Apple Inc. Methods for controlling and interacting with a three-dimensional environment
EP4591145A1 (en) 2022-09-24 2025-07-30 Apple Inc. Methods for time of day adjustments for environments and environment presentation during communication sessions
WO2024090844A1 (ko) * 2022-10-28 2024-05-02 삼성전자주식회사 화면의 상태를 변경하기 위한 웨어러블 장치 및 그 방법
US12547432B1 (en) 2022-12-27 2026-02-10 Apple Inc. Systems and methods of transferring user interaction between two computer systems
EP4659088A1 (en) 2023-01-30 2025-12-10 Apple Inc. Devices, methods, and graphical user interfaces for displaying sets of controls in response to gaze and/or gesture inputs
WO2024163798A1 (en) * 2023-02-03 2024-08-08 Apple Inc. Devices, methods, and graphical user interfaces for device position adjustment
US12277848B2 (en) 2023-02-03 2025-04-15 Apple Inc. Devices, methods, and graphical user interfaces for device position adjustment
US12108012B2 (en) * 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
US12321515B2 (en) 2023-04-25 2025-06-03 Apple Inc. System and method of representations of user interfaces of an electronic device
US12182325B2 (en) 2023-04-25 2024-12-31 Apple Inc. System and method of representations of user interfaces of an electronic device
WO2024233113A1 (en) * 2023-05-09 2024-11-14 Apple Inc. Providing and controlling immersive three-dimensional environments
US12061339B1 (en) 2023-05-15 2024-08-13 Apple Inc. Head mountable display
GB2638041A (en) * 2023-05-15 2025-08-13 Apple Inc Head mountable display
US12196974B2 (en) 2023-05-15 2025-01-14 Apple Inc. Head mountable display
US12147598B1 (en) 2023-05-15 2024-11-19 Apple Inc. Head mountable display
US12379595B2 (en) 2023-05-15 2025-08-05 Apple Inc. Head mountable display
US12148332B1 (en) 2023-05-15 2024-11-19 Apple Inc. Head mountable display
US12289874B2 (en) 2023-05-15 2025-04-29 Apple Inc. Head mountable display
US12238909B2 (en) 2023-05-15 2025-02-25 Apple Inc. Head mountable display
US12210169B2 (en) 2023-05-15 2025-01-28 Apple Inc. Head mountable display
US12169283B2 (en) 2023-05-15 2024-12-17 Apple Inc. Head mountable display
US12347051B2 (en) 2023-05-15 2025-07-01 Apple Inc. Head mountable display
US20240386819A1 (en) * 2023-05-15 2024-11-21 Apple Inc. Head mountable display
US12443286B2 (en) 2023-06-02 2025-10-14 Apple Inc. Input recognition based on distinguishing direct and indirect user interactions
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
WO2024253973A1 (en) * 2023-06-03 2024-12-12 Apple Inc. Devices, methods, and graphical user interfaces for content applications
WO2024254096A1 (en) 2023-06-04 2024-12-12 Apple Inc. Methods for managing overlapping windows and applying visual effects
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions
US12517627B2 (en) 2023-09-28 2026-01-06 Google Llc Wearable device mixed gaze tracking
US12387390B2 (en) * 2023-10-17 2025-08-12 Motorola Solutions, Inc. Method, system and computer program product for visual representation of an incident scene

Family Cites Families (553)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1173824A (en) 1914-09-15 1916-02-29 Frank A Mckee Drag-saw machine.
US3006002A (en) 1956-08-23 1961-10-31 Frederick De W Pingree Air-sea-rescue drift buoy
US5610828A (en) 1986-04-14 1997-03-11 National Instruments Corporation Graphical system for modelling a process and associated method
CA2092632C (en) 1992-05-26 2001-10-16 Richard E. Berry Display system with imbedded icons in a menu bar
JPH064596A (ja) 1992-06-24 1994-01-14 Brother Ind Ltd 電子読書装置
US5524195A (en) 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
US5619709A (en) 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
US5515488A (en) 1994-08-30 1996-05-07 Xerox Corporation Method and apparatus for concurrent graphical visualization of a database search and its search history
US5740440A (en) 1995-01-06 1998-04-14 Objective Software Technology Dynamic object visualization and browsing system
US5758122A (en) 1995-03-16 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Immersive visual programming system
GB2301216A (en) * 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US5737553A (en) 1995-07-14 1998-04-07 Novell, Inc. Colormap system for mapping pixel position and color index to executable functions
JP3400193B2 (ja) 1995-07-31 2003-04-28 富士通株式会社 ウィンドウ関係の識別アイコン付木構造一覧表示方法及び装置
US5751287A (en) 1995-11-06 1998-05-12 Documagix, Inc. System for organizing document icons with suggestions, folders, drawers, and cabinets
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6078310A (en) 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
US6112015A (en) 1996-12-06 2000-08-29 Northern Telecom Limited Network management graphical user interface
US6177931B1 (en) 1996-12-19 2001-01-23 Index Systems, Inc. Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information
US5995102A (en) 1997-06-25 1999-11-30 Comet Systems, Inc. Server system and method for modifying a cursor image
US5877766A (en) 1997-08-15 1999-03-02 International Business Machines Corporation Multi-node user interface component and method thereof for use in accessing a plurality of linked records
US6108004A (en) 1997-10-21 2000-08-22 International Business Machines Corporation GUI guide for data mining
US5990886A (en) 1997-12-01 1999-11-23 Microsoft Corporation Graphically creating e-mail distribution lists with geographic area selector on map
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
EP1717684A3 (en) 1998-01-26 2008-01-23 Fingerworks, Inc. Method and apparatus for integrating manual input
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US7134130B1 (en) 1998-12-15 2006-11-07 Gateway Inc. Apparatus and method for user-based control of television content
US6456296B1 (en) 1999-05-28 2002-09-24 Sony Corporation Color scheme for zooming graphical user interface
US20010047250A1 (en) 2000-02-10 2001-11-29 Schuller Joan A. Interactive decorating system
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6584465B1 (en) 2000-02-25 2003-06-24 Eastman Kodak Company Method and system for search and retrieval of similar patterns
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US7035903B1 (en) 2000-11-22 2006-04-25 Xerox Corporation Systems and methods for the discovery and presentation of electronic messages that are related to an electronic message
US20020065778A1 (en) 2000-11-30 2002-05-30 Stephane Bouet Mehtod of and a system for distributing electronic content
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) * 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US20030038754A1 (en) 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
US20030174882A1 (en) 2002-02-12 2003-09-18 Turpin Kenneth A. Color coding and standardization system and methods of making and using same
US7137074B1 (en) 2002-05-31 2006-11-14 Unisys Corporation System and method for displaying alarm status
US20030222924A1 (en) 2002-06-04 2003-12-04 Baron John M. Method and system for browsing a virtual environment
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP2004080382A (ja) 2002-08-19 2004-03-11 Sony Corp 電子機器制御装置および電子機器制御方法
US7334020B2 (en) 2002-09-20 2008-02-19 Goodcontacts Research Ltd. Automatic highlighting of new electronic message address
CN101317763B (zh) 2002-10-15 2013-04-03 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
US7373602B2 (en) 2003-05-28 2008-05-13 Microsoft Corporation Method for reading electronic mail in plain text
KR100538948B1 (ko) 2003-08-11 2005-12-27 삼성전자주식회사 적응적 이미지의 표시가 가능한 휴대용 단말기의디스플레이 장치
US20050097595A1 (en) 2003-11-05 2005-05-05 Matti Lipsanen Method and system for controlling access to content
US7230629B2 (en) 2003-11-06 2007-06-12 Behr Process Corporation Data-driven color coordinator
US7330585B2 (en) 2003-11-06 2008-02-12 Behr Process Corporation Color selection and coordination kiosk and system
US7809160B2 (en) 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US20050138572A1 (en) 2003-12-19 2005-06-23 Palo Alto Research Center, Incorported Methods and systems for enhancing recognizability of objects in a workspace
US8151214B2 (en) 2003-12-29 2012-04-03 International Business Machines Corporation System and method for color coding list items
US7409641B2 (en) 2003-12-29 2008-08-05 International Business Machines Corporation Method for replying to related messages
US8171426B2 (en) 2003-12-29 2012-05-01 International Business Machines Corporation Method for secondary selection highlighting
JP2005215144A (ja) 2004-01-28 2005-08-11 Seiko Epson Corp プロジェクタ
US20060080702A1 (en) 2004-05-20 2006-04-13 Turner Broadcasting System, Inc. Systems and methods for delivering content over a network
JP4495518B2 (ja) 2004-05-21 2010-07-07 日本放送協会 番組選択支援装置及び番組選択支援プログラム
US8684839B2 (en) 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
AU2005269254B2 (en) 2004-08-03 2009-06-18 Silverbrook Research Pty Ltd Electronic stylus
JP2006107048A (ja) 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 視線対応制御装置および視線対応制御方法
US8418075B2 (en) 2004-11-16 2013-04-09 Open Text Inc. Spatially driven content presentation in a cellular environment
JP2006146803A (ja) 2004-11-24 2006-06-08 Olympus Corp 操作装置及び遠隔操作システム
US8341541B2 (en) 2005-01-18 2012-12-25 Microsoft Corporation System and method for visually browsing of open windows
JP2006295236A (ja) 2005-04-05 2006-10-26 Sony Corp 記録再生装置、コンテンツ管理装置、コンテンツ管理方法および撮像装置
PL1734169T3 (pl) * 2005-06-16 2008-07-31 Electrolux Home Products Corp Nv Domowa maszyna pralnicza do tkanin z obiegiem wody o automatycznym pomiarze rodzaju wsadu prania i sposób jej działania
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
EP1994507B1 (en) 2006-03-10 2009-07-29 Nero AG Apparatus and method for providing a sequence of video frames, apparatus and method for providing a scene model, scene model, apparatus and method for creating a menu structure and computer program
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US7706579B2 (en) 2006-12-21 2010-04-27 Sony Ericsson Communications Ab Image orientation for display
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US20080181502A1 (en) 2007-01-31 2008-07-31 Hsin-Ming Yang Pattern recognition for during orientation of a display device
US20080211771A1 (en) 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
JP4858313B2 (ja) 2007-06-01 2012-01-18 富士ゼロックス株式会社 ワークスペース管理方式
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8299889B2 (en) 2007-12-07 2012-10-30 Cisco Technology, Inc. Home entertainment system providing presence and mobility via remote control authentication
US9108109B2 (en) 2007-12-14 2015-08-18 Orange Method for managing the display or deletion of a user representation in a virtual environment
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US9058765B1 (en) 2008-03-17 2015-06-16 Taaz, Inc. System and method for creating and sharing personalized virtual makeovers
WO2010026519A1 (en) 2008-09-03 2010-03-11 Koninklijke Philips Electronics N.V. Method of presenting head-pose feedback to a user of an interactive display system
US8896632B2 (en) 2008-09-12 2014-11-25 Qualcomm Incorporated Orienting displayed elements relative to a user
US8941642B2 (en) 2008-10-17 2015-01-27 Kabushiki Kaisha Square Enix System for the creation and editing of three dimensional models
US8446376B2 (en) 2009-01-13 2013-05-21 Microsoft Corporation Visual response to touch inputs
US8294766B2 (en) 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US20100269145A1 (en) 2009-04-17 2010-10-21 Apple Inc. Accessing radio content from a non-radio source
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US20110156879A1 (en) 2009-06-26 2011-06-30 Yosuke Matsushita Communication device
US20110016492A1 (en) 2009-07-16 2011-01-20 Gemstar Development Corporation Systems and methods for forwarding media asset events
US9639983B2 (en) 2009-07-22 2017-05-02 Behr Process Corporation Color selection, coordination and purchase system
US8319788B2 (en) 2009-07-22 2012-11-27 Behr Process Corporation Automated color selection method and apparatus
US9563342B2 (en) 2009-07-22 2017-02-07 Behr Process Corporation Automated color selection method and apparatus with compact functionality
EP2278780A1 (en) 2009-07-23 2011-01-26 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Common audio event determination
KR101351487B1 (ko) 2009-08-13 2014-01-14 엘지전자 주식회사 휴대 단말기 및 그 제어방법
WO2011044936A1 (en) * 2009-10-14 2011-04-21 Nokia Corporation Autostereoscopic rendering and display apparatus
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US9681112B2 (en) * 2009-11-05 2017-06-13 Lg Electronics Inc. Image display apparatus and method for controlling the image display apparatus
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
US20110169927A1 (en) 2010-01-13 2011-07-14 Coco Studios Content Presentation in a Three Dimensional Environment
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
JP2011203880A (ja) 2010-03-25 2011-10-13 Nomura Research Institute Ltd 既読判定装置および既読判定方法
US8793729B2 (en) 2010-03-31 2014-07-29 Verizon Patent And Licensing, Inc. Preferential program guide
JP5440334B2 (ja) 2010-04-05 2014-03-12 船井電機株式会社 携帯情報表示端末
US8982160B2 (en) 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US20110310001A1 (en) * 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking
US8593558B2 (en) 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape
US20120066638A1 (en) 2010-09-09 2012-03-15 Microsoft Corporation Multi-dimensional auto-scrolling
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
JP5564384B2 (ja) 2010-09-28 2014-07-30 任天堂株式会社 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
US10036891B2 (en) * 2010-10-12 2018-07-31 DISH Technologies L.L.C. Variable transparency heads up displays
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US8793753B2 (en) 2010-11-22 2014-07-29 International Business Machines Corporation Transferring a broadcast transmission to a remote device
US9851866B2 (en) * 2010-11-23 2017-12-26 Apple Inc. Presenting and browsing items in a tilted 3D space
US8589822B2 (en) 2010-12-10 2013-11-19 International Business Machines Corporation Controlling three-dimensional views of selected portions of content
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
EP2661675B1 (en) 2011-01-04 2020-03-04 PPG Industries Ohio, Inc. Web-based color selection system
CN106125921B (zh) 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
JP2014077814A (ja) 2011-02-14 2014-05-01 Panasonic Corp 表示制御装置および表示制御方法
US20120218395A1 (en) 2011-02-25 2012-08-30 Microsoft Corporation User interface presentation and interactions
KR101852428B1 (ko) * 2011-03-09 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 3ｄ객체 제어방법
EP3654146A1 (en) 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US9779097B2 (en) 2011-04-28 2017-10-03 Sony Corporation Platform agnostic UI/UX and human interaction paradigm
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
CN103782251A (zh) 2011-06-24 2014-05-07 汤姆逊许可公司 利用用户的眼球运动可操作的计算机设备和操作该计算机设备的方法
US20130028443A1 (en) 2011-07-28 2013-01-31 Apple Inc. Devices with enhanced audio
KR101851630B1 (ko) * 2011-08-29 2018-06-11 엘지전자 주식회사 이동 단말기 및 그의 영상 변환 방법
GB201115369D0 (en) 2011-09-06 2011-10-19 Gooisoft Ltd Graphical user interface, computing device, and method for operating the same
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9526127B1 (en) 2011-11-18 2016-12-20 Google Inc. Affecting the behavior of a user device based on a user's gaze
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
JP5831193B2 (ja) 2011-12-13 2015-12-09 富士通株式会社 利用者検知装置、方法及びプログラム
RU2600106C2 (ru) 2011-12-28 2016-10-20 Нокиа Текнолоджиз Ой Переключатель приложений
US9910490B2 (en) 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US8863042B2 (en) 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
JP5807686B2 (ja) 2012-02-10 2015-11-10 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20130211843A1 (en) 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US10289660B2 (en) 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
KR101180119B1 (ko) 2012-02-23 2012-09-05 (주)올라웍스 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체
JP2013174642A (ja) 2012-02-23 2013-09-05 Toshiba Corp 映像表示装置
US20130229345A1 (en) 2012-03-01 2013-09-05 Laura E. Day Manual Manipulation of Onscreen Objects
JP2013196158A (ja) 2012-03-16 2013-09-30 Sony Corp 制御装置、電子機器、制御方法、及びプログラム
US8947323B1 (en) 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
US9293118B2 (en) 2012-03-30 2016-03-22 Sony Corporation Client device
US8937591B2 (en) 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
US9448635B2 (en) 2012-04-16 2016-09-20 Qualcomm Incorporated Rapid gesture re-engagement
US9448636B2 (en) 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US9183676B2 (en) 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
AU2013205535B2 (en) 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
WO2013169849A2 (en) * 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10082863B2 (en) 2012-05-11 2018-09-25 Umoove Services Ltd. Gaze-based automatic scrolling
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US11209961B2 (en) 2012-05-18 2021-12-28 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US9229621B2 (en) 2012-05-22 2016-01-05 Paletteapp, Inc. Electronic palette system
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
JP6007600B2 (ja) 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US20130342672A1 (en) 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US20140002338A1 (en) 2012-06-28 2014-01-02 Intel Corporation Techniques for pose estimation and false positive filtering for gesture recognition
JP5963584B2 (ja) 2012-07-12 2016-08-03 キヤノン株式会社 電子機器及びその制御方法
US20140049462A1 (en) 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
JP6099342B2 (ja) 2012-09-19 2017-03-22 大学共同利用機関法人情報・システム研究機構 視線インタフェースを用いた対話的情報探索装置
US8866880B2 (en) 2012-09-26 2014-10-21 Hewlett-Packard Development Company, L.P. Display-camera system with selective crosstalk reduction
JP6007712B2 (ja) 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US9201500B2 (en) 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
JP5873982B2 (ja) 2012-10-09 2016-03-01 パナソニックＩｐマネジメント株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
US9007301B1 (en) 2012-10-11 2015-04-14 Google Inc. User interface
JP2014092940A (ja) 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9239627B2 (en) 2012-11-07 2016-01-19 Panasonic Intellectual Property Corporation Of America SmartLight interaction system
US9684372B2 (en) 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
US9423939B2 (en) 2012-11-12 2016-08-23 Microsoft Technology Licensing, Llc Dynamic adjustment of user interface
KR20140073730A (ko) 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US11137832B2 (en) 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
US9274608B2 (en) 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
WO2014093932A1 (en) 2012-12-14 2014-06-19 Biscotti Inc. Mobile presence detection
KR20140078853A (ko) 2012-12-18 2014-06-26 삼성전자주식회사 증강현실시스템 및 그 제어방법
US9746926B2 (en) 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
EP2939098B1 (en) * 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US9395543B2 (en) * 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
US9189611B2 (en) 2013-02-07 2015-11-17 Sony Corporation Adapting content and monitoring user behavior based on facial recognition
JP2014157466A (ja) 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
JP5541384B1 (ja) * 2013-02-27 2014-07-09 沖電気工業株式会社 画像処理装置、プログラムおよび画像処理システム
US20140247208A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
WO2014134623A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Delay warp gaze interaction
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US20140258942A1 (en) 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
WO2014139574A1 (en) 2013-03-14 2014-09-18 Brainlab Ag 3d-volume viewing by controlling sight depth
US20140282272A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Interactive Inputs for a Background Task
GB2500823B (en) 2013-03-28 2014-02-26 Paycasso Verify Ltd Method, system and computer program for comparing images
US20160054565A1 (en) * 2013-03-29 2016-02-25 Sony Corporation Information processing device, presentation state control method, and program
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US9230368B2 (en) 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
CN105308550B (zh) 2013-06-17 2019-01-01 麦克赛尔株式会社 信息显示终端
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US20140375541A1 (en) 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US9146618B2 (en) 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
US9563331B2 (en) * 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
US20150009118A1 (en) 2013-07-03 2015-01-08 Nvidia Corporation Intelligent page turner and scroller
US20150025917A1 (en) 2013-07-15 2015-01-22 Advanced Insurance Products & Services, Inc. System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information
US10380799B2 (en) 2013-07-31 2019-08-13 Splunk Inc. Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
GB2517143A (en) * 2013-08-07 2015-02-18 Nokia Corp Apparatus, method, computer program and system for a near eye display
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
KR20150026336A (ko) 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
JP6127853B2 (ja) 2013-09-13 2017-05-17 富士通株式会社 情報処理装置、方法及びプログラム
US10592064B2 (en) 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
KR102081935B1 (ko) 2013-09-30 2020-02-26 엘지전자 주식회사 멀티 시선 인식 장치 및 방법
JP6349777B2 (ja) * 2013-10-23 2018-07-04 株式会社ニコン 情報交換用携帯端末装置
WO2015066475A1 (en) 2013-10-31 2015-05-07 The University of North Carlina at Chapel Hill Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
EP3063602B1 (en) 2013-11-01 2019-10-23 Intel Corporation Gaze-assisted touchscreen inputs
US20150123890A1 (en) 2013-11-04 2015-05-07 Microsoft Corporation Two hand natural user input
US9256785B2 (en) 2013-11-12 2016-02-09 Fuji Xerox Co., Ltd. Identifying user activities using eye tracking data, mouse events, and keystrokes
US20170132822A1 (en) 2013-11-27 2017-05-11 Larson-Juhl, Inc. Artificial intelligence in virtualized framing using image metadata
US9886087B1 (en) * 2013-11-30 2018-02-06 Allscripts Software, Llc Dynamically optimizing user interfaces
KR20150069355A (ko) * 2013-12-13 2015-06-23 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US10387551B2 (en) 2013-12-13 2019-08-20 Freedom Scientific, Inc. Techniques for programmatic magnification of visible content elements of markup language documents
JP6079614B2 (ja) 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
US9811245B2 (en) 2013-12-24 2017-11-07 Dropbox, Inc. Systems and methods for displaying an image capturing mode and a content viewing mode
US9600904B2 (en) 2013-12-30 2017-03-21 Samsung Electronics Co., Ltd. Illuminating a virtual environment with camera light data
US10001645B2 (en) 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US9552060B2 (en) 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US9448687B1 (en) 2014-02-05 2016-09-20 Google Inc. Zoomable/translatable browser interface for a head mounted device
US10303324B2 (en) 2014-02-10 2019-05-28 Samsung Electronics Co., Ltd. Electronic device configured to display three dimensional (3D) virtual space and method of controlling the electronic device
AU2015222821B2 (en) 2014-02-27 2020-09-03 Hunter Douglas Inc. Apparatus and method for providing a virtual decorating interface
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
KR101710042B1 (ko) 2014-04-03 2017-02-24 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US9544257B2 (en) 2014-04-04 2017-01-10 Blackberry Limited System and method for conducting private messaging
US9430038B2 (en) 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
KR102209511B1 (ko) 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
KR102004990B1 (ko) * 2014-05-13 2019-07-29 삼성전자주식회사 영상 처리 장치 및 방법
US10579207B2 (en) 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
US20150331240A1 (en) 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
EP2947545A1 (en) 2014-05-20 2015-11-25 Alcatel Lucent System for implementing gaze translucency in a virtual scene
US9207835B1 (en) * 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9672588B1 (en) 2014-06-13 2017-06-06 Amazon Technologies, Inc. Approaches for customizing map views
CN115359567A (zh) 2014-06-14 2022-11-18 奇跃公司 用于产生虚拟和增强现实的方法和系统
JP6292478B2 (ja) * 2014-06-17 2018-03-14 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US9619519B1 (en) 2014-06-23 2017-04-11 Amazon Technologies, Inc. Determining user interest from non-explicit cues
WO2016001909A1 (en) 2014-07-03 2016-01-07 Imagine Mobile Augmented Reality Ltd Audiovisual surround augmented reality (asar)
US10593113B2 (en) 2014-07-08 2020-03-17 Samsung Electronics Co., Ltd. Device and method to display object with visual effect
JP6434144B2 (ja) 2014-07-18 2018-12-05 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． デバイスにおけるレイズジェスチャ検出
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9599821B2 (en) 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9779633B2 (en) 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
US9829708B1 (en) 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
US20160062636A1 (en) 2014-09-02 2016-03-03 Lg Electronics Inc. Mobile terminal and control method thereof
US9818225B2 (en) 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US20160098094A1 (en) 2014-10-02 2016-04-07 Geegui Corporation User interface enabled by 3d reversals
KR102265086B1 (ko) 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
EP3219098B1 (en) 2014-11-14 2021-10-06 PCMS Holdings, Inc. System and method for 3d telepresence
JP2016096513A (ja) 2014-11-17 2016-05-26 株式会社ゼンリンデータコム 情報処理システム、情報処理方法及びプログラム
US9798743B2 (en) 2014-12-11 2017-10-24 Art.Com Mapping décor accessories to a color palette
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9778814B2 (en) 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US10809903B2 (en) 2014-12-26 2020-10-20 Sony Corporation Information processing apparatus, information processing method, and program for device group management
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
AU2016222716B2 (en) 2015-02-25 2018-11-29 Facebook Technologies, Llc Identifying an object in a volume based on characteristics of light reflected by the object
WO2016137139A1 (en) 2015-02-26 2016-09-01 Samsung Electronics Co., Ltd. Method and device for managing item
US10732721B1 (en) 2015-02-28 2020-08-04 sigmund lindsay clements Mixed reality glasses used to operate a device touch freely
US9857888B2 (en) 2015-03-17 2018-01-02 Behr Process Corporation Paint your place application for optimizing digital painting of an image
JP6596883B2 (ja) 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
US20160306434A1 (en) 2015-04-20 2016-10-20 16Lab Inc Method for interacting with mobile or wearable device
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
WO2016170717A1 (ja) * 2015-04-23 2016-10-27 ソニー株式会社 ウェアラブルディスプレイ、情報処理システム及び制御方法
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
JP2017021461A (ja) 2015-07-08 2017-01-26 株式会社ソニー・インタラクティブエンタテインメント 操作入力装置および操作入力方法
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
JP6611501B2 (ja) 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
EP3332311B1 (en) 2015-08-04 2019-12-04 Google LLC Hover behavior for gaze interactions in virtual reality
US9818228B2 (en) 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction
US20170038829A1 (en) 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
US10290147B2 (en) 2015-08-11 2019-05-14 Microsoft Technology Licensing, Llc Using perspective to visualize data
US10101803B2 (en) 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US10318225B2 (en) 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
JP6489984B2 (ja) 2015-09-16 2019-03-27 株式会社エクシング カラオケ装置及びカラオケ用プログラム
JP6438869B2 (ja) 2015-09-16 2018-12-19 株式会社エクシング カラオケ装置及びカラオケ用プログラム
JP2017069687A (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
CA3003693A1 (en) 2015-10-30 2017-05-04 Homer Tlc, Inc. Methods, apparatuses, and systems for material coating selection operations
US10706457B2 (en) 2015-11-06 2020-07-07 Fujifilm North America Corporation Method, system, and medium for virtual wall art
KR102471977B1 (ko) 2015-11-06 2022-11-30 삼성전자 주식회사 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
CN105487782B (zh) 2015-11-27 2019-07-09 惠州Tcl移动通信有限公司 一种基于眼部识别的自动调整滚屏速度的方法及系统
US9491374B1 (en) 2015-12-11 2016-11-08 Fuji Xerox Co., Ltd. Systems and methods for videoconferencing input and display management based on activity
IL243422B (en) 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
US10775882B2 (en) * 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US10067636B2 (en) 2016-02-09 2018-09-04 Unity IPR ApS Systems and methods for a virtual reality editor
US11221750B2 (en) 2016-02-12 2022-01-11 Purdue Research Foundation Manipulating 3D virtual objects using hand-held controllers
US10169922B2 (en) 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality
AU2017244109B2 (en) 2016-03-31 2022-06-23 Magic Leap, Inc. Interactions with 3D virtual objects using poses and multiple-DOF controllers
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10048751B2 (en) * 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content
US10754434B2 (en) 2016-04-01 2020-08-25 Intel Corporation Motion gesture capture by selecting classifier model from pose
JP7092028B2 (ja) 2016-04-26 2022-06-28 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
CN108633307B (zh) 2016-05-17 2021-08-31 谷歌有限责任公司 在虚拟现实环境中投射与真实对象的接触的方法和装置
EP3249497A1 (en) 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking
US10395428B2 (en) 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10852913B2 (en) 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
US11146661B2 (en) 2016-06-28 2021-10-12 Rec Room Inc. Systems and methods for detecting collaborative virtual gestures
JP6236691B1 (ja) 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP6238381B1 (ja) 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
CN109313291A (zh) * 2016-06-30 2019-02-05 惠普发展公司，有限责任合伙企业 智能镜件
EP3497676B1 (en) 2016-08-11 2024-07-17 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
GB201615382D0 (en) 2016-09-09 2016-10-26 Univ Court Of The Univ Of Edinburgh The And Lothian Health Board A text display method and apparatus
US20180075657A1 (en) 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Attribute modification tools for mixed reality
US10817126B2 (en) * 2016-09-20 2020-10-27 Apple Inc. 3D document editing system
US10503349B2 (en) 2016-10-04 2019-12-10 Facebook, Inc. Shared three-dimensional user interface with personal space
US20180096505A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095635A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
EP4296827A1 (en) 2016-10-24 2023-12-27 Snap Inc. Redundant tracking system
EP3316075B1 (en) 2016-10-26 2021-04-07 Harman Becker Automotive Systems GmbH Combined eye and gesture tracking
EP3316117A1 (en) 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
US10754416B2 (en) 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for a peripheral-centric augmented/virtual reality environment
US20180150997A1 (en) 2016-11-30 2018-05-31 Microsoft Technology Licensing, Llc Interaction between a touch-sensitive device and a mixed-reality device
US20180150204A1 (en) 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
JP2018092313A (ja) 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN112578911B (zh) 2016-12-06 2024-07-26 美国景书公司 跟踪头部和眼睛的运动的装置和方法
JP6382928B2 (ja) 2016-12-27 2018-08-29 株式会社コロプラ 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
CN110419018B (zh) * 2016-12-29 2023-08-04 奇跃公司 基于外部条件的可穿戴显示装置的自动控制
US10410422B2 (en) 2017-01-09 2019-09-10 Samsung Electronics Co., Ltd. System and method for augmented reality control
US20180210628A1 (en) 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
CN110603539B (zh) 2017-02-07 2023-09-15 交互数字Vc控股公司 在虚拟现实中防止监视和保护隐私的系统和方法
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
KR102391965B1 (ko) 2017-02-23 2022-04-28 삼성전자주식회사 가상현실 서비스를 위한 화면 제어 방법 및 장치
US10627900B2 (en) 2017-03-23 2020-04-21 Google Llc Eye-signal augmented control
US10290152B2 (en) 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
EP3612878B1 (en) * 2017-04-19 2023-06-28 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
JP6744990B2 (ja) 2017-04-28 2020-08-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US10930076B2 (en) 2017-05-01 2021-02-23 Magic Leap, Inc. Matching content to a spatial 3D environment
US10417827B2 (en) 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10228760B1 (en) 2017-05-23 2019-03-12 Visionary Vr, Inc. System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings
JP7239493B2 (ja) 2017-05-31 2023-03-14 マジック リープ， インコーポレイテッド 眼追跡較正技術
EP3646581A1 (en) 2017-06-30 2020-05-06 PCMS Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
US10649616B2 (en) 2017-07-06 2020-05-12 Google Llc Volumetric multi-selection interface for selecting multiple objects in 3D space
US10521020B2 (en) 2017-07-12 2019-12-31 Unity IPR ApS Methods and systems for displaying UI elements in mixed reality environments
EP3542252B1 (en) 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
US10565448B2 (en) 2017-08-16 2020-02-18 International Business Machines Corporation Read confirmation of electronic messages
JP7009835B2 (ja) 2017-08-24 2022-01-26 大日本印刷株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
US10409444B2 (en) 2017-09-01 2019-09-10 Microsoft Technology Licensing, Llc Head-mounted display input translation
US10803716B2 (en) 2017-09-08 2020-10-13 Hellofactory Co., Ltd. System and method of communicating devices using virtual buttons
US20190088149A1 (en) 2017-09-19 2019-03-21 Money Media Inc. Verifying viewing of content by user
DE112018005499T5 (de) 2017-09-29 2020-07-09 Apple Inc. Venenscanvorrichtung zur automatischen Gesten- und Fingererkennung
EP3665550A1 (en) * 2017-09-29 2020-06-17 Apple Inc. Gaze-based user interactions
CN111448542B (zh) * 2017-09-29 2023-07-11 苹果公司 显示应用程序
US11079995B1 (en) 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
US10403123B2 (en) 2017-10-31 2019-09-03 Global Tel*Link Corporation Augmented reality system for guards of controlled environment residents
US20190130633A1 (en) 2017-11-01 2019-05-02 Tsunami VR, Inc. Systems and methods for using a cutting volume to determine how to display portions of a virtual object to a user
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
EP3503101A1 (en) 2017-12-20 2019-06-26 Nokia Technologies Oy Object based user interface
US11082463B2 (en) 2017-12-22 2021-08-03 Hillel Felman Systems and methods for sharing personal information
JP2019125215A (ja) 2018-01-18 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US11861062B2 (en) * 2018-02-03 2024-01-02 The Johns Hopkins University Blink-based calibration of an optical see-through head-mounted display
US20190251884A1 (en) 2018-02-14 2019-08-15 Microsoft Technology Licensing, Llc Shared content display with concurrent views
AU2019225989A1 (en) 2018-02-22 2020-08-13 Magic Leap, Inc. Browser for mixed reality systems
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US11417296B2 (en) 2018-03-13 2022-08-16 Sony Corporation Information processing device, information processing method, and recording medium
JP7338184B2 (ja) 2018-03-28 2023-09-05 株式会社リコー 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム
CN114935974B (zh) 2018-03-30 2025-04-25 托比股份公司 用于确定注视关注目标的对物体映射的多线迹注视
US11093103B2 (en) 2018-04-09 2021-08-17 Spatial Systems Inc. Augmented reality computing environments-collaborative workspaces
US10831265B2 (en) 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
US11182964B2 (en) 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
US10890968B2 (en) 2018-05-07 2021-01-12 Apple Inc. Electronic device with foveated display and gaze prediction
US11797150B2 (en) 2018-05-07 2023-10-24 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces, displaying a dock, and displaying system user interface elements
US11709541B2 (en) * 2018-05-08 2023-07-25 Apple Inc. Techniques for switching between immersion levels
KR102707428B1 (ko) 2018-05-15 2024-09-20 삼성전자주식회사 Vr/ar 콘텐트를 제공하는 전자 장치
EP3797345A4 (en) 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
US20190361521A1 (en) 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
CN110543230A (zh) 2018-05-28 2019-12-06 广州彩熠灯光有限公司 基于虚拟现实的舞台灯光元素的设计方法及设计系统
CN110554770A (zh) 2018-06-01 2019-12-10 苹果公司 静态遮挡物
WO2019236344A1 (en) 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
US10579153B2 (en) 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US11733824B2 (en) 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
US10712901B2 (en) 2018-06-27 2020-07-14 Facebook Technologies, Llc Gesture-based content sharing in artificial reality environments
WO2020006002A1 (en) 2018-06-27 2020-01-02 SentiAR, Inc. Gaze based interface for augmented reality environment
CN110673718B (zh) 2018-07-02 2021-10-29 苹果公司 用于显示系统的基于聚焦的调试和检查
US10890967B2 (en) 2018-07-09 2021-01-12 Microsoft Technology Licensing, Llc Systems and methods for using eye gaze to bend and snap targeting rays for remote interaction
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
US10692299B2 (en) 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US10699488B1 (en) 2018-09-07 2020-06-30 Facebook Technologies, Llc System and method for generating realistic augmented reality content
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
CN113168737B (zh) 2018-09-24 2024-11-22 奇跃公司 用于三维模型共享的方法和系统
WO2020068073A1 (en) 2018-09-26 2020-04-02 Google Llc Soft-occlusion for computer graphics rendering
CN112753050B (zh) 2018-09-28 2024-09-13 索尼公司 信息处理装置、信息处理方法和程序
US10816994B2 (en) 2018-10-10 2020-10-27 Midea Group Co., Ltd. Method and system for providing remote robotic control
US11030796B2 (en) 2018-10-17 2021-06-08 Adobe Inc. Interfaces and techniques to retarget 2D screencast videos into 3D tutorials in virtual reality
CN109491508B (zh) 2018-11-27 2022-08-26 北京七鑫易维信息技术有限公司 一种确定注视对象的方法和装置
US10901495B2 (en) 2019-01-10 2021-01-26 Microsofttechnology Licensing, Llc Techniques for multi-finger typing in mixed-reality
US11107265B2 (en) 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Holographic palm raycasting for targeting virtual objects
US11294472B2 (en) 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
US11320957B2 (en) 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Near interaction mode for far virtual object
KR102639725B1 (ko) 2019-02-18 2024-02-23 삼성전자주식회사 애니메이티드 이미지를 제공하기 위한 전자 장치 및 그에 관한 방법
CN109656421B (zh) 2019-03-05 2021-04-06 京东方科技集团股份有限公司 显示装置
US12505609B2 (en) 2019-03-19 2025-12-23 Obsess, Inc. Systems and methods to generate an interactive environment using a 3D model and cube maps
US10701661B1 (en) 2019-04-02 2020-06-30 Google Llc Location determination for device control and configuration
US11082249B2 (en) 2019-04-02 2021-08-03 Google Llc Location determination for device control and configuration
JP2019169154A (ja) 2019-04-03 2019-10-03 Kddi株式会社 端末装置およびその制御方法、並びにプログラム
CN113646731B (zh) 2019-04-10 2025-09-23 苹果公司 用于参与共享布景的技术
US11893153B2 (en) 2019-04-23 2024-02-06 Maxell, Ltd. Head mounted display apparatus
US11100909B2 (en) 2019-05-06 2021-08-24 Apple Inc. Devices, methods, and graphical user interfaces for adaptively providing audio outputs
US10852915B1 (en) 2019-05-06 2020-12-01 Apple Inc. User interfaces for sharing content with other electronic devices
CN114582377B (zh) 2019-05-22 2025-05-27 谷歌有限责任公司 用于沉浸式环境中对象分组和操纵的方法、系统和介质
US20200371673A1 (en) 2019-05-22 2020-11-26 Microsoft Technology Licensing, Llc Adaptive interaction models based on eye gaze gestures
CN113728301B (zh) 2019-06-01 2024-07-23 苹果公司 用于在2d屏幕上操纵3d对象的设备、方法和图形用户界面
US20200387214A1 (en) 2019-06-07 2020-12-10 Facebook Technologies, Llc Artificial reality system having a self-haptic virtual keyboard
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US10890983B2 (en) 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
US11055920B1 (en) 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
JP6684952B1 (ja) 2019-06-28 2020-04-22 株式会社ドワンゴ コンテンツ配信装置、コンテンツ配信プログラム、コンテンツ配信方法、コンテンツ表示装置、コンテンツ表示プログラムおよびコンテンツ表示方法
WO2021050317A1 (en) 2019-09-10 2021-03-18 Qsinx Management Llc Gesture tracking system
US10956724B1 (en) 2019-09-10 2021-03-23 Facebook Technologies, Llc Utilizing a hybrid model to recognize fast and precise hand inputs in a virtual environment
CA3153935A1 (en) 2019-09-11 2021-03-18 Savant Systems, Inc. Three dimensional virtual room-based user interface for a home automation system
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
CN113661691B (zh) 2019-09-27 2023-08-08 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
US11762457B1 (en) 2019-09-27 2023-09-19 Apple Inc. User comfort monitoring and notification
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2021061349A1 (en) 2019-09-27 2021-04-01 Apple Inc. Controlling representations of virtual objects in a computer-generated reality environment
US12175010B2 (en) 2019-09-28 2024-12-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11494995B2 (en) 2019-10-29 2022-11-08 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP3877971A1 (en) 2019-12-12 2021-09-15 Google LLC Viewing-angle-dependent color/brightness correction for display system
US11875013B2 (en) 2019-12-23 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
EP4111291A4 (en) 2020-02-26 2023-08-16 Magic Leap, Inc. HAND GESTURE INTERVENTION FOR TECHNO-WEAR SYSTEM
US11200742B1 (en) 2020-02-28 2021-12-14 United Services Automobile Association (Usaa) Augmented reality-based interactive customer support
US12307066B2 (en) 2020-03-16 2025-05-20 Apple Inc. Devices, methods, and graphical user interfaces for providing computer-generated experiences
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11112875B1 (en) 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment
US11237641B2 (en) 2020-03-27 2022-02-01 Lenovo (Singapore) Pte. Ltd. Palm based object position adjustment
CN115315681A (zh) 2020-03-27 2022-11-08 苹果公司 用于基于注视的导航的设备、方法和图形用户界面
EP4127878A4 (en) 2020-04-03 2024-07-17 Magic Leap, Inc. Avatar customization for optimal gaze discrimination
US20220229534A1 (en) 2020-04-08 2022-07-21 Multinarity Ltd Coordinating cursor movement between a physical surface and a virtual surface
US11481965B2 (en) 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof
US11439902B2 (en) 2020-05-01 2022-09-13 Dell Products L.P. Information handling system gaming controls
US12014455B2 (en) 2020-05-06 2024-06-18 Magic Leap, Inc. Audiovisual presence transitions in a collaborative reality environment
US11508085B2 (en) 2020-05-08 2022-11-22 Varjo Technologies Oy Display systems and methods for aligning different tracking means
CN111641843A (zh) 2020-05-29 2020-09-08 广州华多网络科技有限公司 直播间中虚拟蹦迪活动展示方法、装置、介质及电子设备
US11360310B2 (en) * 2020-07-09 2022-06-14 Trimble Inc. Augmented reality technology as a controller for a total station
US11233973B1 (en) 2020-07-23 2022-01-25 International Business Machines Corporation Mixed-reality teleconferencing across multiple locations
US12034785B2 (en) 2020-08-28 2024-07-09 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
WO2022046340A1 (en) 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs
WO2022056079A1 (en) 2020-09-10 2022-03-17 Sterling Labs Llc Shared space boundaries and phantom surfaces
CN116583816A (zh) 2020-09-11 2023-08-11 苹果公司 与环境中的对象进行交互的方法
CN116507997A (zh) 2020-09-11 2023-07-28 苹果公司 在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质
US11599239B2 (en) 2020-09-15 2023-03-07 Apple Inc. Devices, methods, and graphical user interfaces for providing computer-generated experiences
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN116508304A (zh) 2020-09-24 2023-07-28 苹果公司 多用户通信会话的环境表示中的推荐头像放置
JP6976395B1 (ja) 2020-09-24 2021-12-08 Kddi株式会社 配信装置、配信システム、配信方法及び配信プログラム
WO2022066399A1 (en) 2020-09-24 2022-03-31 Sterling Labs Llc Diffused light rendering of a virtual light source in a 3d environment
CN116719452A (zh) 2020-09-25 2023-09-08 苹果公司 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN119440253A (zh) 2020-09-25 2025-02-14 苹果公司 用于操纵环境中的对象的方法
WO2022067302A1 (en) 2020-09-25 2022-03-31 Apple Inc. Methods for navigating user interfaces
EP4697149A2 (en) 2020-09-25 2026-02-18 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
US11615597B2 (en) 2020-09-25 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11175791B1 (en) 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
US12472032B2 (en) 2020-10-02 2025-11-18 Cilag Gmbh International Monitoring of user visual gaze to control which display system displays the primary information
US11747896B2 (en) 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
CN114527864B (zh) 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
US11630509B2 (en) 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11232643B1 (en) 2020-12-22 2022-01-25 Facebook Technologies, Llc Collapsing of 3D objects to 2D images in an artificial reality environment
CN116888571A (zh) 2020-12-31 2023-10-13 苹果公司 在环境中操纵用户界面的方法
WO2022146936A1 (en) 2020-12-31 2022-07-07 Sterling Labs Llc Method of grouping user interfaces in an environment
WO2022147146A1 (en) 2021-01-04 2022-07-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11307653B1 (en) 2021-03-05 2022-04-19 MediVis, Inc. User input and interface design in augmented reality for use in surgical settings
WO2022153788A1 (ja) 2021-01-18 2022-07-21 古野電気株式会社 Ａｒ操船システム、及びａｒ操船方法
JP7674494B2 (ja) 2021-01-20 2025-05-09 アップル インコーポレイテッド 環境内のオブジェクトと相互作用するための方法
WO2022164881A1 (en) 2021-01-27 2022-08-04 Meta Platforms Technologies, Llc Systems and methods for predicting an intent to interact
JP7713189B2 (ja) 2021-02-08 2025-07-25 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
EP4288950A4 (en) 2021-02-08 2024-12-25 Sightful Computers Ltd USER INTERACTIONS IN EXTENDED REALITY
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
JP7580302B2 (ja) 2021-03-01 2024-11-11 本田技研工業株式会社 処理システム、および処理方法
US12333083B2 (en) 2021-03-22 2025-06-17 Apple Inc. Methods for manipulating objects in an environment
KR20230169331A (ko) 2021-04-13 2023-12-15 애플 인크. 환경에 몰입형 경험을 제공하기 위한 방법
EP4327293A1 (en) 2021-04-18 2024-02-28 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US20220197403A1 (en) 2021-06-10 2022-06-23 Facebook Technologies, Llc Artificial Reality Spatial Interactions
US12141423B2 (en) 2021-06-29 2024-11-12 Apple Inc. Techniques for manipulating computer graphical objects
US11868523B2 (en) 2021-07-01 2024-01-09 Google Llc Eye gaze classification
JP7809925B2 (ja) 2021-07-26 2026-02-03 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
US11902766B2 (en) 2021-07-30 2024-02-13 Verizon Patent And Licensing Inc. Independent control of avatar location and voice origination location within a virtual collaboration space
US20230069764A1 (en) 2021-08-24 2023-03-02 Meta Platforms Technologies, Llc Systems and methods for using natural gaze dynamics to detect input recognition errors
US11756272B2 (en) 2021-08-27 2023-09-12 LabLightAR, Inc. Somatic and somatosensory guidance in virtual and augmented reality environments
US11950040B2 (en) 2021-09-09 2024-04-02 Apple Inc. Volume control of ear devices
US12167082B2 (en) 2021-09-21 2024-12-10 Google Llc Attention tracking to augment focus transitions
JP7759157B2 (ja) 2021-09-23 2025-10-23 アップル インコーポレイテッド 三次元環境内でオブジェクトを移動させるための方法
CN119625154A (zh) 2021-09-23 2025-03-14 苹果公司 用于内容应用程序的设备、方法和图形用户界面
WO2023049705A1 (en) 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications
US12541940B2 (en) 2021-09-24 2026-02-03 The Regents Of The University Of Michigan Visual attention tracking using gaze and visual content analysis
EP4405791A1 (en) 2021-09-25 2024-07-31 Apple Inc. Methods for interacting with an electronic device
CN118215903A (zh) 2021-09-25 2024-06-18 苹果公司 用于在虚拟环境中呈现虚拟对象的设备、方法和图形用户界面
US12254571B2 (en) 2021-11-23 2025-03-18 Sony Interactive Entertainment Inc. Personal space bubble in VR environments
WO2023096940A2 (en) 2021-11-29 2023-06-01 Apple Inc. Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
JP7794985B2 (ja) 2022-01-03 2026-01-06 アップル インコーポレイテッド コンテンツをナビゲート及び入力又は修正するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN119473001A (zh) 2022-01-19 2025-02-18 苹果公司 用于显示和重新定位环境中的对象的方法
US12175614B2 (en) 2022-01-25 2024-12-24 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230244857A1 (en) 2022-01-31 2023-08-03 Slack Technologies, Llc Communication platform interactive transcripts
US12272005B2 (en) 2022-02-28 2025-04-08 Apple Inc. System and method of three-dimensional immersive applications in multi-user communication sessions
US12541280B2 (en) 2022-02-28 2026-02-03 Apple Inc. System and method of three-dimensional placement and refinement in multi-user communication sessions
WO2023196258A1 (en) 2022-04-04 2023-10-12 Apple Inc. Methods for quick message response and dictation in a three-dimensional environment
WO2023200813A1 (en) 2022-04-11 2023-10-19 Apple Inc. Methods for relative manipulation of a three-dimensional environment
WO2023205457A1 (en) 2022-04-21 2023-10-26 Apple Inc. Representations of messages in a three-dimensional environment
US12192257B2 (en) 2022-05-25 2025-01-07 Microsoft Technology Licensing, Llc 2D and 3D transitions for renderings of users participating in communication sessions
US20240111479A1 (en) 2022-06-02 2024-04-04 Apple Inc. Audio-based messaging
JP2025534239A (ja) 2022-09-14 2025-10-15 アップル インコーポレイテッド 三次元環境内の深度競合軽減のための方法
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12148078B2 (en) 2022-09-16 2024-11-19 Apple Inc. System and method of spatial groups in multi-user communication sessions
WO2024064828A1 (en) 2022-09-21 2024-03-28 Apple Inc. Gestures for selection refinement in a three-dimensional environment
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
WO2024064925A1 (en) 2022-09-23 2024-03-28 Apple Inc. Methods for displaying objects relative to virtual surfaces
EP4591145A1 (en) 2022-09-24 2025-07-30 Apple Inc. Methods for time of day adjustments for environments and environment presentation during communication sessions
US20240103676A1 (en) 2022-09-24 2024-03-28 Apple Inc. Methods for interacting with user interfaces based on attention
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
US20240361835A1 (en) 2023-04-25 2024-10-31 Apple Inc. Methods for displaying and rearranging objects in an environment
KR20260006689A (ko) 2023-05-18 2026-01-13 애플 인크. 3차원 환경에서 객체들을 이동시키기 위한 방법들
US20240402800A1 (en) 2023-06-02 2024-12-05 Apple Inc. Input Recognition in 3D Environments
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12443286B2 (en) 2023-06-02 2025-10-14 Apple Inc. Input recognition based on distinguishing direct and indirect user interactions
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions
CN119094689A (zh) 2023-06-04 2024-12-06 苹果公司 在多用户通信会话中管理空间组的系统和方法
WO2024254015A1 (en) 2023-06-04 2024-12-12 Apple Inc. Systems and methods for managing display of participants in real-time communication sessions
US20250029328A1 (en) 2023-07-23 2025-01-23 Apple Inc. Systems and methods for presenting content in a shared computer generated environment of a multi-user communication session
WO2025024469A1 (en) 2023-07-23 2025-01-30 Apple Inc. Devices, methods, and graphical user interfaces for sharing content in a communication session

Also Published As

Publication number Publication date
US20250306727A1 (en) 2025-10-02
JP2024156653A (ja) 2024-11-06
US11520456B2 (en) 2022-12-06
WO2022067343A2 (en) 2022-03-31
JP7612094B2 (ja) 2025-01-10
EP4697149A2 (en) 2026-02-18
EP4200692A2 (en) 2023-06-28
AU2023233175A1 (en) 2023-10-12
US12353672B2 (en) 2025-07-08
KR20230117639A (ko) 2023-08-08
AU2025203942A1 (en) 2025-06-19
AU2021349382A1 (en) 2023-05-11
WO2022067343A3 (en) 2022-05-12
JP7510000B2 (ja) 2024-07-02
US20230008537A1 (en) 2023-01-12
US20240310971A1 (en) 2024-09-19
KR20230048450A (ko) 2023-04-11
US20220155909A1 (en) 2022-05-19
KR102562285B1 (ko) 2023-08-02
CN117555417B (zh) 2024-07-19
US11995285B2 (en) 2024-05-28
AU2023233175B2 (en) 2025-02-27
JP2025061669A (ja) 2025-04-11
JP2023542234A (ja) 2023-10-05
AU2021349382B2 (en) 2023-06-29
CN116420130A (zh) 2023-07-11
CN117555417A (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
JP7612094B2 (ja) ユーザインタフェースに関連付けられた没入感を調整及び／又は制御する方法
US11934569B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11720171B2 (en) Methods for navigating user interfaces
KR102778979B1 (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
CN115315681A (zh) 用于基于注视的导航的设备、方法和图形用户界面
US12461640B2 (en) Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments
JP2024537657A (ja) メディア及び三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US20240428539A1 (en) Devices, Methods, and Graphical User Interfaces for Selectively Accessing System Functions and Adjusting Settings of Computer Systems While Interacting with Three-Dimensional Environments
CN117480472A (zh) 用于在环境中提供沉浸式体验的方法
CN117999534A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
KR20260017447A (ko) 중첩하는 윈도우들을 관리하고 시각적 효과들을 적용하기 위한 방법들
CN118519556A (zh) 用于与媒体和三维环境交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination