[go: up one dir, main page]

CN118946871A - 用于扩展现实环境中的三维用户体验会话的设备、方法和图形用户界面 - Google Patents

用于扩展现实环境中的三维用户体验会话的设备、方法和图形用户界面 Download PDF

Info

Publication number
CN118946871A
CN118946871A CN202380029272.1A CN202380029272A CN118946871A CN 118946871 A CN118946871 A CN 118946871A CN 202380029272 A CN202380029272 A CN 202380029272A CN 118946871 A CN118946871 A CN 118946871A
Authority
CN
China
Prior art keywords
user
user experience
experience session
audio
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380029272.1A
Other languages
English (en)
Inventor
P·洛克尔
G·I·布彻
D·D·达尔甘
A·E·德多纳托
J·M·德赛罗
C·C·霍伊特
M·斯陶贝尔
H·D·弗维杰
K·E·鲍尔里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US18/108,852 external-priority patent/US20230306695A1/en
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202411619537.6A priority Critical patent/CN119576128A/zh
Priority claimed from PCT/US2023/015826 external-priority patent/WO2023183340A1/en
Publication of CN118946871A publication Critical patent/CN118946871A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于在扩展现实环境中提供计算机生成的用户体验会话的技术。在一些实施方案中,计算机系统向计算机生成的用户体验会话提供基于用户的呼吸特性而移动的粒子。在一些实施方案中,计算机系统向计算机生成的用户体验会话提供基于XR环境的特性而选择的选项。在一些实施方案中,计算机系统向计算机生成的用户体验会话提供具有随机地选择的策划的声音组成部分的声景。

Description

用于扩展现实环境中的三维用户体验会话的设备、方法和图 形用户界面
相关申请的交叉引用
本申请要求于2022年3月22日提交的名称为“DEVICES,METHODS,AND GRAPHICALUSER INTERFACES FOR THREE-DIMENSIONAL USER EXPERIENCE SESSIONS IN AN EXTENDEDREALITY ENVIRONMENT”的美国临时申请63/322,502号以及于2023年2月13日提交的名称为“DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FOR THREE-DIMENSIONAL USEREXPERIENCE SESSIONS IN AN EXTENDED REALITY ENVIRONMENT”的美国专利申请18/108,852号的优先权,这些美国申请中的每个美国申请的全部内容据此全文以引用方式并入。
技术领域
本公开整体涉及与显示生成部件、一个或多个传感器并且任选地与提供计算机生成的体验的一个或多个音频生成部件通信的计算机系统,这些计算机系统包括但不限于经由显示器提供虚拟现实和混合现实体验的电子设备。
背景技术
近年来,用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例虚拟元素包括诸如数字图像、视频、文本、图标和控制元素(诸如按钮和其他图形)的虚拟对象。
发明内容
用于在扩展现实环境中提供计算机生成的用户体验会话的一些方法和界面是繁琐、低效且有限的。例如,提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统,以及虚拟对象操纵复杂、繁琐且容易出错的系统,会给用户造成巨大的认知负担,并且减损虚拟/增强现实环境的体验感。此外,这些方法花费的时间比必要的要长,从而浪费了计算机系统的能量。这后一考虑在电池驱动的设备中是特别重要的。
因此,需要具有用于在扩展现实环境中提供计算机生成的用户体验会话的改进的方法和界面的计算机系统,从而使得该计算机生成的用户体验会话与计算机系统的交互对用户来说更有效且更直观。此类方法和界面任选地补充或替换用于向用户提供扩展现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。
通过所公开的系统减少或消除了与计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中,计算机系统是具有相关联显示器的台式计算机。在一些实施方案中,计算机系统是便携式设备(例如,笔记本计算机、平板计算机或手持式设备)。在一些实施方案中,计算机系统是个人电子设备(例如,可穿戴电子设备,诸如手表或头戴式设备)。在一些实施方案中,计算机系统具有触摸板。在一些实施方案中,计算机系统具有一个或多个相机。在一些实施方案中,计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中,计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中,计算机系统具有一个或多个手部跟踪部件。在一些实施方案中,除显示生成部件之外,计算机系统还具有一个或多个输出设备,这些输出设备包括一个或多个触觉输出发生器和/或一个或多个音频输出设备。在一些实施方案中,计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中,用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中,通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有用于在扩展现实环境中提供计算机生成的用户体验会话的改进的方法和界面的电子设备。此类方法和界面可以补充或替换用于与三维环境进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质,并且产生更高效的人机界面。对于电池驱动的计算设备,此类方法和界面节省功率,并且增大电池充电之间的时间间隔。此类方法和界面还在节省用于用户体验会话的视觉和音频组成部分的存储空间的同时提供更逼真的用户体验。
根据一些实施方案,描述了一种方法。该方法在与显示生成部件和一个或多个传感器通信的计算机系统处执行。该方法包括:经由该显示生成部件显示用于用户体验会话的用户界面,包括:在该用户体验会话活动时:经由该一个或多个传感器检测该计算机系统的用户的一个或多个呼吸特性;以及将用户界面对象显示为具有基于该计算机系统的该用户的该一个或多个呼吸特性而移动的多个粒子,包括:根据该计算机系统的该用户的第一呼吸事件满足第一组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以第一方式移动;以及根据该计算机系统的该用户的该第一呼吸事件满足第二组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以与该第一方式不同的第二方式移动。
根据一些实施方案,描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示用于用户体验会话的用户界面,包括:在该用户体验会话活动时:经由该一个或多个传感器检测该计算机系统的用户的一个或多个呼吸特性;以及将用户界面对象显示为具有基于该计算机系统的该用户的该一个或多个呼吸特性而移动的多个粒子,包括:根据该计算机系统的该用户的第一呼吸事件满足第一组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以第一方式移动;以及根据该计算机系统的该用户的该第一呼吸事件满足第二组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以与该第一方式不同的第二方式移动。
根据一些实施方案,描述了一种暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示用于用户体验会话的用户界面,包括:在该用户体验会话活动时:经由该一个或多个传感器检测该计算机系统的用户的一个或多个呼吸特性;以及将用户界面对象显示为具有基于该计算机系统的该用户的该一个或多个呼吸特性而移动的多个粒子,包括:根据该计算机系统的该用户的第一呼吸事件满足第一组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以第一方式移动;以及根据该计算机系统的该用户的该第一呼吸事件满足第二组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以与该第一方式不同的第二方式移动。
根据一些实施方案,描述了一种计算机系统。该计算机系统被配置为与显示生成部件和一个或多个传感器通信。该计算机系统包括:一个或多个处理器;和存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示用于用户体验会话的用户界面,包括:在该用户体验会话活动时:经由该一个或多个传感器检测该计算机系统的用户的一个或多个呼吸特性;以及将用户界面对象显示为具有基于该计算机系统的该用户的该一个或多个呼吸特性而移动的多个粒子,包括:根据该计算机系统的该用户的第一呼吸事件满足第一组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以第一方式移动;以及根据该计算机系统的该用户的该第一呼吸事件满足第二组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以与该第一方式不同的第二方式移动。
根据一些实施方案,描述了一种计算机系统。该计算机系统被配置为与显示生成部件和一个或多个传感器通信。该计算机系统包括:用于经由该显示生成部件显示用于用户体验会话的用户界面的构件,该显示包括:在该用户体验会话活动时:经由该一个或多个传感器检测该计算机系统的用户的一个或多个呼吸特性;以及将用户界面对象显示为具有基于该计算机系统的该用户的该一个或多个呼吸特性而移动的多个粒子,包括:根据该计算机系统的该用户的第一呼吸事件满足第一组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以第一方式移动;以及根据该计算机系统的该用户的该第一呼吸事件满足第二组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以与该第一方式不同的第二方式移动。
根据一些实施方案,描述了一种计算机程序产品。该计算机程序产品包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示用于用户体验会话的用户界面,包括:在该用户体验会话活动时:经由该一个或多个传感器检测该计算机系统的用户的一个或多个呼吸特性;以及将用户界面对象显示为具有基于该计算机系统的该用户的该一个或多个呼吸特性而移动的多个粒子,包括:根据该计算机系统的该用户的第一呼吸事件满足第一组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以第一方式移动;以及根据该计算机系统的该用户的该第一呼吸事件满足第二组标准的确定,将该用户界面对象的这些粒子显示为在该计算机系统的该用户的该第一呼吸事件期间以与该第一方式不同的第二方式移动。
根据一些实施方案,描述了一种方法。该方法在与显示生成部件和一个或多个传感器通信的计算机系统处执行。该方法包括:在显示具有一个或多个特性的XR环境时,经由该一个或多个传感器检测在该XR环境中发起用户体验会话的请求;以及响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该用户体验会话,包括:经由该显示生成部件显示用于该用户体验会话的用户界面,其中显示用于该用户体验会话的该用户界面包括:根据该XR环境的该一个或多个特性满足第一组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第一组一个或多个选项;以及根据该XR环境的该一个或多个特性满足与该第一组标准不同的第二组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第二组一个或多个选项,其中该第二组一个或多个选项与该第一组一个或多个选项不同。
根据一些实施方案,描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:在显示具有一个或多个特性的XR环境时,经由该一个或多个传感器检测在该XR环境中发起用户体验会话的请求;以及响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该用户体验会话,包括:经由该显示生成部件显示用于该用户体验会话的用户界面,其中显示用于该用户体验会话的该用户界面包括:根据该XR环境的该一个或多个特性满足第一组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第一组一个或多个选项;以及根据该XR环境的该一个或多个特性满足与该第一组标准不同的第二组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第二组一个或多个选项,其中该第二组一个或多个选项与该第一组一个或多个选项不同。
根据一些实施方案,描述了一种暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:在显示具有一个或多个特性的XR环境时,经由该一个或多个传感器检测在该XR环境中发起用户体验会话的请求;以及响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该用户体验会话,包括:经由该显示生成部件显示用于该用户体验会话的用户界面,其中显示用于该用户体验会话的该用户界面包括:根据该XR环境的该一个或多个特性满足第一组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第一组一个或多个选项;以及根据该XR环境的该一个或多个特性满足与该第一组标准不同的第二组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第二组一个或多个选项,其中该第二组一个或多个选项与该第一组一个或多个选项不同。
根据一些实施方案,描述了一种计算机系统。该计算机系统被配置为与显示生成部件和一个或多个传感器通信。该计算机系统包括:一个或多个处理器;和存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:在显示具有一个或多个特性的XR环境时,经由该一个或多个传感器检测在该XR环境中发起用户体验会话的请求;以及响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该用户体验会话,包括:经由该显示生成部件显示用于该用户体验会话的用户界面,其中显示用于该用户体验会话的该用户界面包括:根据该XR环境的该一个或多个特性满足第一组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第一组一个或多个选项;以及根据该XR环境的该一个或多个特性满足与该第一组标准不同的第二组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第二组一个或多个选项,其中该第二组一个或多个选项与该第一组一个或多个选项不同。
根据一些实施方案,描述了一种计算机系统。该计算机系统被配置为与显示生成部件和一个或多个传感器通信。该计算机系统包括:用于在显示具有一个或多个特性的XR环境时,经由该一个或多个传感器检测在该XR环境中发起用户体验会话的请求的构件;以及用于响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该用户体验会话的构件,包括:用于经由该显示生成部件显示用于该用户体验会话的用户界面的构件,其中显示用于该用户体验会话的该用户界面包括:根据该XR环境的该一个或多个特性满足第一组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第一组一个或多个选项;以及根据该XR环境的该一个或多个特性满足与该第一组标准不同的第二组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第二组一个或多个选项,其中该第二组一个或多个选项与该第一组一个或多个选项不同。
根据一些实施方案,描述了一种计算机程序产品。该计算机程序产品包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:在显示具有一个或多个特性的XR环境时,经由该一个或多个传感器检测在该XR环境中发起用户体验会话的请求;以及响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该用户体验会话,包括:经由该显示生成部件显示用于该用户体验会话的用户界面,其中显示用于该用户体验会话的该用户界面包括:根据该XR环境的该一个或多个特性满足第一组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第一组一个或多个选项;以及根据该XR环境的该一个或多个特性满足与该第一组标准不同的第二组标准的确定,将用于该用户体验会话的该用户界面显示为具有针对该用户体验会话启用的第二组一个或多个选项,其中该第二组一个或多个选项与该第一组一个或多个选项不同。
根据一些实施方案,描述了一种方法。该方法在与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统处执行。该方法包括:在第一时间经由该一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求;响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第一用户体验会话,包括:经由该显示生成部件显示用于该第一用户体验会话的用户界面;以及经由该音频生成部件输出用于该第一用户体验会话的第一音频声景,其中该第一音频声景与显示用于该第一用户体验会话的该用户界面并发地输出,并且输出该第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的该第一音频声景;在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求;以及响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第二用户体验会话,包括:经由该显示生成部件显示用于该第二用户体验会话的用户界面;以及经由该音频生成部件输出用于该第二用户体验会话的第二音频声景,其中该第二音频声景与显示用于该第二用户体验会话的该用户界面并发地输出,并且输出该第二音频声景包括:输出具有从该组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的该第二音频声景。
根据一些实施方案,描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:在第一时间经由该一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求;响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第一用户体验会话,包括:经由该显示生成部件显示用于该第一用户体验会话的用户界面;以及经由该音频生成部件输出用于该第一用户体验会话的第一音频声景,其中该第一音频声景与显示用于该第一用户体验会话的该用户界面并发地输出,并且输出该第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的该第一音频声景;在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求;以及响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第二用户体验会话,包括:经由该显示生成部件显示用于该第二用户体验会话的用户界面;以及经由该音频生成部件输出用于该第二用户体验会话的第二音频声景,其中该第二音频声景与显示用于该第二用户体验会话的该用户界面并发地输出,并且输出该第二音频声景包括:输出具有从该组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的该第二音频声景。
根据一些实施方案,描述了一种暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:在第一时间经由该一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求;响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第一用户体验会话,包括:经由该显示生成部件显示用于该第一用户体验会话的用户界面;以及经由该音频生成部件输出用于该第一用户体验会话的第一音频声景,其中该第一音频声景与显示用于该第一用户体验会话的该用户界面并发地输出,并且输出该第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的该第一音频声景;在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求;以及响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第二用户体验会话,包括:经由该显示生成部件显示用于该第二用户体验会话的用户界面;以及经由该音频生成部件输出用于该第二用户体验会话的第二音频声景,其中该第二音频声景与显示用于该第二用户体验会话的该用户界面并发地输出,并且输出该第二音频声景包括:输出具有从该组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的该第二音频声景。
根据一些实施方案,描述了一种计算机系统。该计算机系统被配置为与显示生成部件、音频生成部件和一个或多个传感器通信。该计算机系统包括:一个或多个处理器;和存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:在第一时间经由该一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求;响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第一用户体验会话,包括:经由该显示生成部件显示用于该第一用户体验会话的用户界面;以及经由该音频生成部件输出用于该第一用户体验会话的第一音频声景,其中该第一音频声景与显示用于该第一用户体验会话的该用户界面并发地输出,并且输出该第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的该第一音频声景;在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求;以及响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第二用户体验会话,包括:经由该显示生成部件显示用于该第二用户体验会话的用户界面;以及经由该音频生成部件输出用于该第二用户体验会话的第二音频声景,其中该第二音频声景与显示用于该第二用户体验会话的该用户界面并发地输出,并且输出该第二音频声景包括:输出具有从该组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的该第二音频声景。
根据一些实施方案,描述了一种计算机系统。该计算机系统被配置为与显示生成部件、音频生成部件和一个或多个传感器通信。该计算机系统包括:用于在第一时间经由该一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求的构件;用于响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第一用户体验会话的构件,包括:用于经由该显示生成部件显示用于该第一用户体验会话的用户界面的构件;以及用于经由该音频生成部件输出用于该第一用户体验会话的第一音频声景的构件,其中该第一音频声景与显示用于该第一用户体验会话的该用户界面并发地输出,并且输出该第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的该第一音频声景;用于在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求的构件;和用于响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第二用户体验会话的构件,包括:用于经由该显示生成部件显示用于该第二用户体验会话的用户界面的构件;以及用于经由该音频生成部件输出用于该第二用户体验会话的第二音频声景的构件,其中该第二音频声景与显示用于该第二用户体验会话的该用户界面并发地输出,并且输出该第二音频声景包括:输出具有从该组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的该第二音频声景。
根据一些实施方案,描述了一种计算机程序产品。该计算机程序产品包括被配置为由与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:在第一时间经由该一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求;响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第一用户体验会话,包括:经由该显示生成部件显示用于该第一用户体验会话的用户界面;以及经由该音频生成部件输出用于该第一用户体验会话的第一音频声景,其中该第一音频声景与显示用于该第一用户体验会话的该用户界面并发地输出,并且输出该第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的该第一音频声景;在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求;以及响应于检测到在该XR环境中发起该用户体验会话的该请求,在该XR环境中发起该相应类型的第二用户体验会话,包括:经由该显示生成部件显示用于该第二用户体验会话的用户界面;以及经由该音频生成部件输出用于该第二用户体验会话的第二音频声景,其中该第二音频声景与显示用于该第二用户体验会话的该用户界面并发地输出,并且输出该第二音频声景包括:输出具有从该组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的该第二音频声景。
需注意,上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面,具体来说,根据附图、说明书和权利要求书,许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外,应当指出,出于可读性和指导性目的,在原则上选择了本说明书中使用的语言,并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供XR体验的计算机系统的操作环境的框图。
图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的XR体验的控制器的框图。
图3是示出根据一些实施方案的计算机系统的被配置为向用户提供XR体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是示出根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图7A至图7L示出根据一些实施方案的用于在扩展现实环境中提供计算机生成的用户体验会话的示例技术。
图8是根据各种实施方案的向计算机生成的用户体验会话提供基于用户的呼吸特性而移动的粒子的方法的流程图。
图9是根据各种实施方案的向计算机生成的用户体验会话提供基于XR环境的特性而选择的选项的方法的流程图。
图10A至图10B是根据各种实施方案的向计算机生成的用户体验会话提供具有随机地选择的策划的声音组成部分的声景的方法的流程图。
具体实施方式
根据一些实施方案,本公开涉及用于向用户提供扩展现实(XR)体验的用户界面。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。
在一些实施方案中,计算机系统向计算机生成的用户体验会话提供基于用户的呼吸特性而移动的粒子。计算机系统显示用于用户体验会话的用户界面。当用户体验会话活动时,计算机系统检测计算机系统的用户的一个或多个呼吸特性,并且将用户界面对象显示为具有基于用户的一个或多个呼吸特性而移动的多个粒子。当用户的第一呼吸事件满足第一组标准时,计算机系统将用户界面对象的粒子显示为在用户的第一呼吸事件期间以第一方式移动。当用户的第一呼吸事件满足第二组标准时,计算机系统将用户界面对象的粒子显示为在用户的第一呼吸事件期间以与第一方式不同的第二方式移动。
在一些实施方案中,计算机系统向计算机生成的用户体验会话提供基于XR环境的特性而选择的选项。在计算机系统显示具有一个或多个特性的XR环境时,计算机系统检测在XR环境中发起用户体验会话的请求。响应于检测到在XR环境中发起用户体验会话的请求,计算机系统在XR环境中发起用户体验会话,包括显示用于用户体验会话的用户界面。当XR环境的一个或多个特性满足第一组标准时,计算机系统将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第一组一个或多个选项。当XR环境的一个或多个特性满足与第一组标准不同的第二组标准时,计算机系统将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第二组一个或多个选项,其中第二组一个或多个选项与第一组一个或多个选项不同。
在一些实施方案中,计算机系统向计算机生成的用户体验会话提供具有随机地选择的策划的声音组成部分的声景。计算机系统在第一时间检测在XR环境中发起相应类型的用户体验会话的请求。响应于检测到在XR环境中发起用户体验会话的请求,计算机系统在XR环境中发起相应类型的第一用户体验会话。发起第一用户体验会话包括:显示用于第一用户体验会话的用户界面;以及输出用于第一用户体验会话的第一音频声景。与显示用于第一用户体验会话的用户界面并发地输出第一音频声景。输出第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的第一音频声景。计算机系统在与第一时间不同的第二时间检测在XR环境中发起相应类型的用户体验会话的请求。响应于检测到在XR环境中发起用户体验会话的请求,计算机系统在XR环境中发起相应类型的第二用户体验会话。发起第二用户体验会话包括:显示用于第二用户体验会话的用户界面;以及输出用于第二用户体验会话的第二音频声景。与显示用于第二用户体验会话的用户界面并发地输出第二音频声景。输出第二音频声景包括:输出具有从该组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的第二音频声景。
图1至图6提供了对用于向用户提供XR体验的示例计算机系统的描述。图7A至图7L示出根据一些实施方案的用于在扩展现实环境中提供计算机生成的用户体验会话的示例技术。图8是根据各种实施方案的向计算机生成的用户体验会话提供基于用户的呼吸特性而移动的粒子的方法的流程图。图9是根据各种实施方案的向计算机生成的用户体验会话提供基于XR环境的特性而选择的选项的方法的流程图。图10A至图10B是根据各种实施方案的向计算机生成的用户体验会话提供具有随机地选择的策划的声音组成部分的声景的方法的流程图。图7A至图7L中的用户界面用于示出图8、图9、图10A和图10B中的过程。
下文所述的过程通过各种技术增强了设备的可操作性并使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),包括通过向用户提供改进的视觉反馈、减少执行操作所需的输入数量、提供附加的控制选项而不会因附加的显示控件而使用户界面混乱、在一组条件已经被满足时执行操作而无需进一步的用户输入、改善隐私性和/或安全性、在节省存储空间的同时提供更丰富、更详细和/或更逼真的用户体验、和/或附加的技术。这些技术还通过使用户能够更快且更有效地使用设备而减少了电力使用并延长了设备的电池寿命。节省电池电量,并且因此节省重量,改善了设备的人体工程学。这些技术还使得能够进行实时通信,允许使用更少和/或不太精确的传感器,从而产生更紧凑、更轻且更便宜的设备,并且使得该设备能够在各种照明条件下使用。这些技术减少了能量使用,从而减少了由设备发出的热量,这对于可穿戴设备特别重要,其中如果完全在设备部件的操作参数内的设备产生太多热量,则对于用户来说,穿戴该设备会变得不舒服。
下文所述的过程通过在节省存储空间的同时提供更丰富、更详细和/或更逼真的用户体验来增强设备的可操作性并使用户-设备界面更高效。例如,这些技术允许设备(例如,计算机系统、平板设备和/或HMD)在通过减少生成用户体验会话所需要存储的视觉和/或音频组成部分的量来节省空间的同时提供用户体验。例如,在一些实施方案中,设备存储音频特性的超集,设备可从该超集(随机地或伪随机地)选择音频特性的各种组合以创建用于用户体验会话的相应声景。该技术节省了空间,因为设备能够从音频特性的子集生成许多不同的声景,而不必存储用于用户体验会话的完全组装的声景。类似地,设备存储视觉特性的超集,设备可从该超集(随机地或伪随机地)选择视觉特性的各种组合以创建用户体验会话的视觉组成部分和视觉效果。该技术节省了空间,因为设备能够从视觉特性的子集生成许多不同的视觉,而不必存储用户体验会话的完全渲染的视觉组成部分。下文参考附图描述示出这些技术的附加示例。
此外,在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中,应当理解,所述方法可在多次重复中重复,使得在重复的过程中,在方法的不同重复中已满足决定方法中的步骤的所有条件。例如,如果方法需要执行第一步骤(如果满足条件),以及执行第二步骤(如果不满足条件),则普通技术人员将会知道,重复所声明的步骤,直到满足条件和不满足条件两者(不分先后)。因此,可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而,这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令,并且因此能够确定是否已满足可能的情况,而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解,类似于具有视情况而定的步骤的方法,系统或计算机可读存储介质可根据需要多次重复方法的步骤,以确保已执行所有视情况而定的步骤。
在一些实施方案中,如图1中所示,经由包括计算机系统101的操作环境100向用户提供XR体验。计算机系统101包括控制器110(例如,便携式电子设备的处理器或远程服务器)、显示生成部件120(例如,头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如,眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如,扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如,图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速率传感器、速度传感器等),以及任选地一个或多个外围设备195(例如,家用电器、可穿戴设备等)。在一些实施方案中,输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如,在头戴式设备或手持式设备中)。
在描述XR体验时,各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如,利用由生成XR体验的计算机系统101检测到的输入进行交互,这些输入使得生成XR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集:
物理环境:物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品,诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
扩展现实:相反,扩展现实(XR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在XR中,跟踪人的物理运动的子集或其表示,并且作为响应,以符合至少一个物理定律的方式调整在XR环境中模拟的一个或多个虚拟对象的一个或多个特性。例如,XR系统可以检测人的头部转动,并且作为响应,以与此类视图和声音在物理环境中变化的方式类似的方式调整呈现给人的图形内容和声场。在一些情况下(例如,出于可达性原因),对XR环境中虚拟对象的特性的调整可以响应于物理运动的表示(例如,声音命令)来进行。人可以利用其感觉中的任一者来感测XR对象和/或与之交互,包括视觉、听觉、触觉、味觉和嗅觉。例如,人可以感测音频对象和/或与音频对象交互,音频对象创建3D或空间音频环境,3D或空间音频环境提供3D空间中点音频源的感知。又如,音频对象可以使能音频透明度,该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中,人可以感测和/或只与音频对象交互。
XR的示例包括虚拟现实和混合现实。
虚拟现实:虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子集的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实:与被设计成完全基于计算机生成的感官输入的VR环境相比,混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如,虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上,混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况,但不包括这两端。在一些MR环境中,计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外,用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够与真实对象(即,来自物理环境的物理物品或其表示)交互。例如,系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实:增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如,用于呈现AR环境的电子系统可具有透明或半透明显示器,人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象,使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地,系统可以具有不透明显示器和一个或多个成像传感器,该成像传感器捕获物理环境的图像或视频,这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合,并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境,并且感知叠加在物理环境之上的虚拟对象。如本文所用,在不透明显示器上显示的物理环境的视频被称为“透传视频”,意味着系统使用一个或多个图像传感器捕获物理环境的图像,并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地,系统可以具有投影系统,该投影系统将虚拟对象投射到物理环境中,例如作为全息图或者在物理表面上,使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如,在提供透传视频中,系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如,视点)。又如,物理环境的表示可以通过图形地修改(例如,放大)其部分而进行转换,使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如,物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟:增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如,AV公园可以具有虚拟树木和虚拟建筑物,但人的脸部是从对物理人拍摄的图像逼真再现的。又如,虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如,虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
视点锁定的虚拟对象:当计算机系统在用户视点中的相同位置和/或定位处显示虚拟对象时,即使用户的视点偏移(例如,发生变化),虚拟对象也是视点锁定的。在其中计算机系统是头戴式设备的实施方案中,用户的视点被锁定到用户的头部的前向方向(例如,当用户直视前方时,用户的视点是用户视场的至少一部分);因此,在不移动用户的头部的情况下,即使在用户的注视偏移时,用户的视点也保持固定。在其中计算机系统具有可相对于用户的头部重新定位的显示生成部件(例如,显示屏幕)的实施方案中,用户的视点是在计算机系统的显示生成部件上呈现给用户的增强现实视图。例如,当用户的视点处于第一取向(例如,用户头部面向北)时显示在用户的视点的左上角中的视点锁定的虚拟对象继续显示在用户的视点的左上角中,即使在用户的视点改变到第二取向(例如,用户头部面向西)时也是如此。换句话讲,在用户的视点中显示视点锁定的虚拟对象的位置和/或定位与用户在物理环境中的定位和/或取向无关。在其中计算机系统是头戴式设备的实施方案中,用户的视点被锁定到用户的头部的取向,使得虚拟对象也被称为“头部锁定虚拟对象”。
环境锁定的视觉对象:当计算机系统在用户的视点中的位置和/或定位处显示虚拟对象时,虚拟对象是环境锁定的(另选地,“世界锁定的”),该位置和/或定位基于三维环境(例如,物理环境或虚拟环境)中的位置和/或对象(例如,参考该位置和/或对象而选择和/或锚定到该位置和/或对象)。随着用户的视点移动,环境中相对于用户的视点的位置和/或对象改变,这导致环境锁定的虚拟对象显示在用户视点中的不同位置和/或定位处。例如,锁定到紧接在用户前面的树木上的环境锁定的虚拟对象显示在用户的视点的中心处。当用户的视点向右偏移(例如,用户头部向右转动)使得树木现在在用户的视点中处于中心左侧(例如,用户的视点中的树木定位偏移)时,锁定到树木上的环境锁定的虚拟对象在用户的视点中显示在中心左侧。换句话讲,在用户的视点中显示环境锁定的虚拟对象的位置和/或定位取决于环境中虚拟对象被锁定到其上的位置和/或对象的定位和/或取向。在一些实施方案中,计算机系统使用静止的参照系(例如,在物理环境中锚定到固定位置和/或对象的坐标系),以便确定在用户的视点中显示环境锁定的虚拟对象的定位。环境锁定的虚拟对象可被锁定到环境的静止部分(例如,地板、墙壁、桌子或其他静止对象),或可被锁定到环境的可移动部分(例如,车辆、动物、人或甚至独立于用户的视点移动的用户身体的一部分诸如用户的手部、手腕、手臂或脚的表示)使得虚拟对象随着视点或环境的该部分移动而移动以保持虚拟对象和环境的该部分之间的固定关系。
在一些实施方案中,环境锁定或视点锁定的虚拟对象表现出惰性跟随行为,其相对于虚拟对象所跟随的参考点的移动而减少或延迟环境锁定或视点锁定的虚拟对象的运动。在一些实施方案中,在表现出惰性跟随行为时,当检测到虚拟对象正在跟随的参考点(例如,环境的一部分、视点或相对于视点固定的点,诸如距离视点5cm至300cm之间的点)的移动时,计算机系统有意地延迟虚拟对象的移动。例如,当参考点(例如,环境的部分或视点)以第一速度移动时,虚拟对象被设备移动以保持锁定到参考点,但以相较于第一速度更慢的第二速度移动(例如,直到参考点停止移动或减慢,此时虚拟对象开始赶上参考点)。在一些实施方案中,当虚拟对象表现出惰性跟随行为时,设备忽略参考点的少量移动(例如,忽略参考点低于阈值移动量的移动,诸如移动0至5度或移动0至50cm)。例如,当参考点(例如,虚拟对象被锁定到的环境的部分或视点)移动第一量时,参考点和虚拟对象之间的距离增大(例如,因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的部分固定或基本上固定的定位),并且当参考点(例如,虚拟对象被锁定到的环境的部分或视点)移动大于第一量的第二量时,参考点和虚拟对象之间的距离先增大(例如,因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的部分固定或基本上固定的定位),然后在参考点的移动量增大到阈值(例如,“惰性跟随”阈值)以上时减小,因为虚拟对象被计算机系统移动以保持相对于参考点固定或基本上固定的定位。在一些实施方案中,虚拟对象保持相对于参考点基本上固定的定位包括虚拟对象在一个或多个维度(例如,相对于参考点的定位的上/下、左/右和/或向前/向后)中在参考点的阈值距离(例如,1cm、2cm、3cm、5cm、15cm、20cm、50cm)内显示。
在一些实施方案中,空间媒体包括空间视觉媒体和/或空间音频。在一些实施方案中,空间捕获是空间媒体的捕获。在一些实施方案中,空间视觉媒体(也被称为立体媒体)(例如,空间图像和/或空间视频)是包括表示具有相同或重叠视场的两个视角的两个不同图像或图像集以供同时显示的媒体。表示第一视角的第一图像被呈现给观看者的第一只眼睛,并且表示与第一视角不同的第二视角的第二图像被并发地呈现给观看者的第二只眼睛。第一图像和第二图像具有相同或重叠的视场。在一些实施方案中,计算机系统经由被定位用于由观看者的第一只眼睛观看的第一显示器显示第一图像,并且经由与第一显示器不同的被定位用于由观看者的第二只眼睛观看的第二显示器并发地显示第二图像。在一些实施方案中,当一起观看时,第一图像和第二图像创建深度效果并且向观看者提供针对图像的内容的深度感知。在一些实施方案中,表示第一视角的第一视频被呈现给观看者的第一只眼睛,并且表示与第一视角不同的第二视角的第二视频被并发地呈现给观看者的第二只眼睛。第一视频和第二视频具有相同或重叠的视场。在一些实施方案中,当一起观看时,第一视频和第二视频创建深度效果并且向观看者提供针对视频的内容的深度感知。在一些实施方案中,通过操纵耳机的两个音频通道(例如,左和右)中的声音以使得它们类似于到达耳道的定向声音来产生耳机中的空间音频体验。例如,耳机可再现模拟收听者(也被称为用户)周围的声景的空间音频信号。有效的空间声音再现可呈现声音,使得收听者将声音感知为来自收听者的头部外部的声景内的位置,正如收听者在真实世界中遇到声音的情况下将体验到声音一样。
收听者的耳朵,并且特别是外耳(耳廓)的几何形状对从声源到达收听者的耳膜的声音具有显著的影响。通过考虑收听者的耳廓、收听者的头部和收听者的躯干对进入收听者的耳道的声音的影响,可能实现空间音频声音体验。用户的耳朵的几何形状通过使用产生用户的耳朵的可见部分的至少一部分的三维模型的三维扫描设备来任选地确定。该几何形状任选地用于产生用于产生空间音频体验的滤波器。在一些实施方案中,空间音频是已经被滤波以使得音频的收听者将音频感知为来自三维空间中的一个或多个方向和/或位置(例如,来自收听者的上方、下方和/或前方)的音频。
此种滤波器的示例是头部相关传递函数(HRTF)滤波器。这些滤波器用于提供与人类耳朵、头部和躯干如何对声音进行滤波类似的效果。当收听者的耳朵的几何形状已知时,可产生个性化滤波器(例如,个性化HRTF滤波器),使得该收听者通过耳机(例如,入耳式耳机、贴耳式耳机和/或罩耳式耳机)体验到的声音更逼真。在一些实施方案中,产生两个滤波器-每只耳朵一个滤波器-使得收听者的每只耳朵具有对应的个性化滤波器(例如,个性化HRTF滤波器),因为收听者的耳朵可具有不同的几何形状。
在一些实施方案中,HRTF滤波器包括描述声音在进入收听者的听觉系统之前在收听者的头部周围如何反射或衍射所需的一些(或全部)声学信息。在一些实施方案中,可从针对具有类似解剖特性的用户的先前确定的HRTF的数据库选择个性化HRTF滤波器。在一些实施方案中,可通过基于收听者的耳朵的几何形状的数字建模来生成个性化HRTF滤波器。计算机系统的一个或多个处理器任选地将用于收听者的个性化HRTF滤波器应用于音频输入信号,以生成用于由(例如,无线地或有线地)连接到计算机系统的耳机回放的空间输入信号。
硬件:有许多不同类型的电子系统使人能够感测各种XR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如,类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如,具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板设备和台式/膝上型计算机。头戴式系统可包括集成到头戴式系统中以用于提供音频输出的扬声器和/或其他音频输出设备。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地,头戴式系统可以被配置为接受外部不透明显示器(例如,智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可以具有媒介,代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中,透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可被配置为将虚拟对象投影到物理环境中,例如作为全息图或在物理表面上。在一些实施方案中,控制器110被配置为管理和协调用户的XR体验。在一些实施方案中,控制器110包括软件、固件和/或硬件的合适组合。下文相对于图2更详细地描述了控制器110。在一些实施方案中,控制器110是相对于场景105(例如,物理环境)处于本地或远程位置的计算设备。例如,控制器110是位于场景105内的本地服务器。又如,控制器110是位于场景105之外的远程服务器(例如,云服务器、中央服务器等)。在一些实施方案中,控制器110经由一个或多个有线或无线通信通道144(例如,蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如,HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中,控制器110包括在显示生成部件120(例如,HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如,物理外壳)内,或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中,显示生成部件120被配置为向用户提供XR体验(例如,至少XR体验的视觉组成部分)。在一些实施方案中,显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中,控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案,当用户虚拟地和/或物理地存在于场景105内时,显示生成部件120向用户提供XR体验。
在一些实施方案中,显示生成部件穿戴在用户身体的一部分上(例如,他/她的头部上、他/她的手部上等)。这样,显示生成部件120包括被提供用于显示XR内容的一个或多个XR显示器。例如,在各种实施方案中,显示生成部件120包围用户的视场。在一些实施方案中,显示生成部件120是被配置为呈现XR内容的手持式设备(诸如智能电话或平板设备),并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中,手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中,手持式设备被任选地放置在用户前面的支撑件(例如,三脚架)上。在一些实施方案中,显示生成部件120是被配置为呈现XR内容的XR室、壳体或房间,其中用户不穿戴或握持显示生成部件120。参考用于显示XR内容的一种类型的硬件(例如,手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示XR内容的另一种类型的硬件(例如,HMD或其他可穿戴计算设备)上实现。例如,示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与XR内容的交互的用户界面可以类似地用HMD来实现,其中交互发生在HMD前面的空间中,并且对XR内容的响应经由HMD来显示。类似地,示出基于手持式设备或三脚架安装的设备相对于物理环境(例如,场景105或用户身体的一部分(例如,用户的眼睛、头部或手部))的移动而触发的与XR内容的交互的用户界面可以类似地用HMD来实现,其中移动是由HMD相对于物理环境(例如,场景105或用户身体的一部分(例如,用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征,但本领域的普通技术人员将从本公开中认识到,为了简洁起见并且为了不模糊本文所公开的示例实施方案的更多相关方面,未示出各种其他特征。
图2是一些实施方案中的控制器110的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂,未示出各种其他特征。为此,作为非限制性示例,在一些实施方案中,控制器110包括一个或多个处理单元202(例如,微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如,通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如,I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中,一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中,一个或多个I/O设备206包括键盘、鼠标、触摸板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中,存储器220包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中,存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统230和XR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中,XR体验模块240被配置为管理和协调一个或多个用户的单重或多重XR体验(例如,一个或多个用户的单重XR体验,或一个或多个用户的相应群组的多重XR体验)。为此,在各种实施方案中,XR体验模块240包括数据获取单元241、跟踪单元242、协调单元246和数据传输单元248。
在一些实施方案中,数据获取单元241被配置为从图1的至少显示生成部件120,以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如,呈现数据、交互数据、传感器数据、位置数据等)。为此,在各种实施方案中,数据获取单元241包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中,跟踪单元242被配置为映射场景105,并且跟踪至少显示生成部件120相对于图1的场景105的定位/位置,以及任选地跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的定位/位置。为此,在各种实施方案中,跟踪单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中,跟踪单元242包括手部跟踪单元244和/或眼睛跟踪单元243。在一些实施方案中,手部跟踪单元244被配置为跟踪用户的手部的一个或多个部分的定位/位置,以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元244。在一些实施方案中,眼睛跟踪单元243被配置为跟踪用户注视(或更广泛地,用户的眼睛、面部或头部)相对于场景105(例如,相对于物理环境和/或相对于用户(例如,用户的手部))或相对于经由显示生成部件120显示的XR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元243。
在一些实施方案中,协调单元246被配置为管理和协调由显示生成部件120,以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的XR体验。出于该目的,在各种实施方案中,协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中,数据传输单元248被配置为将数据(例如,呈现数据、位置数据等)传输到至少显示生成部件120,并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的,在各种实施方案中,数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元241、跟踪单元242(例如,包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如,控制器110)上,但应当理解,在其他实施方案中,数据获取单元241、跟踪单元242(例如,包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外,图2更多地用作可以存在于特定具体实施中的各种特征的功能描述,与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图2中单独示出的一些功能模块可以在单个模块中实现,并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,并且在一些实施方案中,部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是一些实施方案中的显示生成部件120的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂,未示出各种其他特征。出于该目的,作为非限制性示例,在一些实施方案中,显示生成部件120(例如,HMD)包括一个或多个处理单元302(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如,USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如,I/O)接口310、一个或多个XR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中,一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中,一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如,结构光、飞行时间等)等。
在一些实施方案中,一个或多个XR显示器312被配置为向用户提供XR体验。在一些实施方案中,一个或多个XR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中,一个或多个XR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如,显示生成部件120(例如,HMD)包括单个XR显示器。在另一示例中,显示生成部件120包括针对用户的每只眼睛的XR显示器。在一些实施方案中,一个或多个XR显示器312能够呈现MR和VR内容。在一些实施方案中,一个或多个XR显示器312能够呈现MR或VR内容。
在一些实施方案中,一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中,一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中,一个或多个图像传感器314被配置为面向前方,以便获取与在不存在显示生成部件120(例如,HMD)的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选的图像传感器314可包括一个或多个RGB相机(例如,具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机和/或一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中,存储器320包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中,存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统330和XR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中,XR呈现模块340被配置为经由一个或多个XR显示器312向用户呈现XR内容。为此,在各种实施方案中,XR呈现模块340包括数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348。
在一些实施方案中,数据获取单元342被配置为至少从图1的控制器110获取数据(例如,呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的,在各种实施方案中,数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中,XR呈现单元344被配置为经由一个或多个XR显示器312呈现XR内容。出于所述目的,在各种实施方案中,XR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中,XR映射生成单元346被配置为基于媒体内容数据生成XR图(例如,混合现实场景的3D图或可以在其中放置计算机生成对象以生成扩展现实的物理环境的图)。出于所述目的,在各种实施方案中,XR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中,数据传输单元348被配置为将数据(例如,呈现数据、位置数据等)传输到至少控制器110,以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的,在各种实施方案中,数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如,图1的显示生成部件120)上,但应当理解,在其他实施方案中,数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外,图3更多地用作可能存在于特定实施方案中的各种特征的功能描述,与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图3中单独示出的一些功能模块可在单个模块中实现,并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,并且在一些实施方案中,部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例实施方案的示意性图解。在一些实施方案中,手部跟踪设备140(图1)由手部跟踪单元244控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置,以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如,相对于围绕用户的物理环境的一部分、相对于显示生成部件120,或者相对于用户的一部分(例如,用户的面部、眼睛或头部),以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中,手部跟踪设备140是显示生成部件120的一部分(例如,嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中,手部跟踪设备140与显示生成部件120分开(例如,位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中,手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如,一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像,以使手指及其相应定位能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像,并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中,图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中,图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境,或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中,以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器,在该交互空间中,由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中,图像传感器404将包含3D图数据(以及此外,可能的彩色图像数据)的帧序列输出到控制器110,该控制器从该图数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用,该应用相应地驱动显示生成部件120。例如,用户可以通过移动他的手部406并改变他的手部位姿来与在控制器110上运行的软件交互。
在一些实施方案中,图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中,控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的,因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中,假设图像传感器404限定x轴、y轴、z轴的正交集合,使得场景中的点的深度坐标对应于由图像传感器测量的z分量。替代地,图像传感器404(例如,手部跟踪设备)可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法,诸如立体成像或飞行时间测量。
在一些实施方案中,手部跟踪设备140在用户移动他的手部(例如,整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D图数据以提取这些深度图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配,以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以标识手势。本文所述的位姿估计功能可以与运动跟踪功能交替,使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计,而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像,或者执行其他功能。
在一些实施方案中,手势包括空中手势。空中手势是在用户不触碰作为设备(例如,计算机系统101、一个或多个输入设备125和/或手部跟踪设备140)的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于检测到的用户身体的一部分(例如,头部、一个或多个手臂、一只或多只手部、一根或多根手指和/或一条或多条腿)穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如,用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如,用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如,包括手部以预先确定位姿将移动预先确定的量和/或速度的轻击手势、或包括用户身体的一部分的预先确定的速度或旋转量的摇动手势))的手势。
在一些实施方案中,在本文所述的各种示例和实施方案中使用的输入手势包括在一些实施方案中通过用户的手指相对于其他手指(或用户的手部的部分)的移动执行的用于与XR环境(例如,虚拟或混合现实环境)交互的空中手势。在一些实施方案中,空中手势是在用户不触碰作为设备的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如,用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如,用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如,包括手部以预先确定位姿将移动预先确定的量和/或速度的轻击手势、或包括用户身体的部分的预先确定的速度或旋转量的摇动手势))的手势。
在输入手势是空中手势的一些实施方案中(例如,在不存在与输入设备的物理接触的情况下,该输入设备向计算机系统提供关于哪个用户界面元素是用户输入的目标的信息,诸如与显示在触摸屏上的用户界面元素的接触、或与鼠标或触控板的接触以将光标移动到用户界面元素),手势考虑用户的注意力(例如,注视)以确定用户输入的目标(例如,对于直接输入,如下所述)。因此,在涉及空中手势的实施方案中,例如,输入手势与用户的手指和/或手部的移动组合(例如,同时)检测到朝向用户界面元素的注意力(例如,注视)以执行捏合和/或轻击输入,如下所述。
在一些实施方案中,直接或间接地参考用户界面对象来执行指向用户界面对象的输入手势。例如,在用用户的手部在对应于用户界面对象在三维环境中的定位(例如,如基于用户的当前视点确定的)的定位处执行输入手势时,直接在用户界面对象上执行用户输入。在一些实施方案中,在检测到用户对用户界面对象的注意力(例如,注视)时,根据在用户执行输入手势的同时用户的手部的定位不在与用户界面对象在三维环境中的定位相对应的该定位处,在用户界面对象上间接执行输入手势。例如,对于直接输入手势,用户能够通过在与用户界面对象的显示定位相对应的定位处或附近(例如,从选项的外边缘或选项的中心部分测量的0.5cm、1cm、5cm内或0至5cm之间的距离内)发起手势来将用户的输入引导至用户界面对象。对于间接输入手势,用户能够通过关注用户界面对象(例如,通过注视用户界面对象)来将用户的输入引导至用户界面对象,并且在关注选项的同时,用户发起输入手势(例如,在计算机系统可检测到的任何定位处)(例如,在不对应于用户界面对象的显示定位的定位处)。
在一些实施方案中,在本文所述的各种示例和实施方案中使用的输入手势(例如,空中手势)包括在一些实施方案中用于与虚拟或混合现实环境交互的捏合输入和轻击输入。例如,下文所述的捏合输入和轻击输入被执行为空中手势。
在一些实施方案中,捏合输入是空中手势的一部分,该空中手势包括以下各项中的一项或多项:捏合手势、长捏合手势、捏合并拖动手势或双捏合手势。例如,作为空中手势的捏合手势包括手部的两个或更多个手指的移动以彼此接触,即,任选地,随后是彼此立即(例如,在0至1秒内)中断接触。作为空中手势的长捏合手势包括在检测到彼此接触的中断之前手部的两个或更多个手指彼此接触至少阈值时间量(例如,至少1秒)的移动。例如,长捏合手势包括用户保持捏合手势(例如,其中两个或更多个手指进行接触),并且长捏合手势继续直到检测到两个或更多个手指之间的接触中断为止。在一些实施方案中,作为空中手势的双捏合手势包括彼此立即(例如,在预定义时间段内)连续检测到的两个(例如,或更多个)捏合输入(例如,由同一手部执行)。例如,用户执行第一捏合输入(例如,捏合输入或长捏合输入),释放第一捏合输入(例如,中断两个或更多个手指之间的接触),并且在释放第一捏合输入之后的预定义时间段内(例如,在1秒内或在2秒内)执行第二捏合输入。
在一些实施方案中,作为空中手势的捏合并拖动手势包括与将用户的手部的定位从第一定位(例如,拖动的开始定位)改变到第二定位(例如,拖动的结束定位)的拖动输入结合(例如,跟随)执行的捏合手势(例如,捏合手势或长捏合手势)。在一些实施方案中,用户在执行拖动输入的同时保持捏合手势,并且释放捏合手势(例如,打开他们的两个或更多个手指)以结束拖动手势(例如,在第二定位处)。在一些实施方案中,捏合输入和拖动输入由同一手部执行(例如,用户捏合两个或更多个手指以彼此接触并且利用拖动手势将同一手部移动到空中的第二定位)。在一些实施方案中,由用户的第一手部执行捏合输入,并且由用户的第二手部执行拖动输入(例如,在用户用用户的第一手部继续捏合输入时,用户的第二手部在空中从第一定位移动到第二定位)。在一些实施方案中,作为空中手势的输入手势包括使用用户的两只手部执行的输入(例如,捏合和/或轻击输入)。例如,输入手势包括彼此结合(例如,并发地或在预定义时间段内)执行的两个(例如,或更多个)捏合输入。例如,使用用户的第一手部执行第一捏合手势(例如,捏合输入、长捏合输入或捏合并拖动输入),并且结合使用第一手部执行捏合输入,使用另一手部(例如,用户两只手部中的第二手部)执行第二捏合输入。在一些实施方案中,用户两只手部之间的移动(例如,增加和/或减小用户两只手部之间的距离或相对取向)。
在一些实施方案中,作为空中手势执行的轻击输入(例如,指向用户界面元素)包括用户的手指朝向用户界面元素的移动、用户的手部朝向用户界面元素的移动(任选地,用户的手指朝向用户界面元素延伸)、用户的手指的向下运动(例如,模仿鼠标点击运动或触摸屏上的轻击)、或用户的手部的其他预定义移动。在一些实施方案中,基于执行手指或手部的轻击手势移动的手指或手部的移动特性来检测作为空中手势执行的轻击输入,该轻击手势移动是手指或手部远离用户的视点和/或朝向作为轻击输入的目标的对象,随后是移动的结束。在一些实施方案中,基于执行轻击手势的手指或手部的移动特性的变化来检测移动的结束(例如,远离用户的视点和/或朝向作为轻击输入的目标的对象的移动的结束、手指或手部的移动方向的反转和/或手指或手部的移动的加速方向的反转)。
在一些实施方案中,基于对指向三维环境的一部分的注视的检测来确定用户的注意力指向三维环境的该部分(任选地,不需要其他条件)。在一些实施方案中,基于利用一个或多个附加条件检测到指向三维环境的一部分的注视来确定用户的注意力指向三维环境的该部分,附加条件诸如要求注视指向三维环境的该部分达至少阈值持续时间(例如,停留持续时间)和/或要求注视在用户的视点在距三维环境的该部分的距离阈值内时指向三维环境的该部分,以便设备确定用户的注意力指向三维环境的该部分,其中如果这些附加条件中的一者未满足,则设备确定注意力未指向注视指向的三维环境的该部分(例如,直到满足该一个或多个附加条件)。
在一些实施方案中,用户或用户的一部分的就绪状态配置的检测由计算机系统检测。手部的就绪状态配置的检测由计算机系统用作用户可能正准备使用由手部执行的一个或多个空中手势输入(例如,捏合、轻击、捏合并拖动、双捏合、长捏合或本文所述的其他空中手势)与计算机系统交互的指示。例如,基于手部是否具有预先确定的手部形状(例如,拇指和一个或多个手指延伸并间隔开以准备做出捏合或抓取手势的预捏合形状,或者一个或多个手指延伸并且手掌背对用户的预轻击)、基于手部是否处于相对于用户的视点的预先确定的定位中(例如,在用户的头部下方并且在用户的腰部上方并从身体延伸出至少15cm、20cm、25cm、30cm或50cm)和/或基于手部是否已以特定方式移动(例如,朝向用户的腰部上方并且在用户的头部下方的用户前方的区域移动或远离用户的身体或腿部移动)来确定手部的就绪状态。在一些实施方案中,就绪状态被用来确定用户界面的交互式元素是否对注意力(例如,注视)输入作出响应。
在参考空中手势描述输入的场景中,应当理解,可使用附接到用户的一只或多只手部或由用户的一只或多只手部握持的硬件输入设备来检测类似手势,其中可使用光学跟踪、一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计和/或一个或多个惯性测量单元来跟踪硬件输入设备在空间中的定位,并且使用硬件输入设备的定位和/或移动来代替处于对应空中手势的一只或多只手部的定位和/或移动。在参考空中手势描述输入的场景中,应当理解,可使用附接到用户的一只或多只手部或由用户的一只或多只手部握持的硬件输入设备来检测类似手势,可利用硬件输入设备中所含有的控件来检测用户输入,这些控件诸如一个或多个触敏输入元件、一个或多个压敏输入元件、一个或多个按钮、一个或多个旋钮、一个或多个拨号盘、一个或多个操纵杆、可检测手部和/或手指的部分相对于彼此、相对于用户的身体和/或相对于用户的物理环境的定位或定位的变化的一只或多只手部或手指覆盖物,和/或其他硬件输入设备控件,其中使用利用硬件输入设备中所含有的控件进行的用户输入来代替手部和/或手指手势诸如处于对应空中手势的空中轻击或空中捏合。例如,被描述为利用空中轻击或空中捏合输入执行的选择输入可以可选地利用按钮按压、触敏表面上的轻击、压敏表面上的按压或其他硬件输入来检测。作为另一示例,被描述为利用空中捏合和拖动执行的移动输入可基于与硬件输入控件的交互(诸如按钮按压并保持、触敏表面上的触摸、压敏表面上的按压,或硬件输入设备(例如,连同与硬件输入设备相关联的手部)穿过空间的移动之后的其他硬件输入)来可选地检测。类似地,包括手部相对于彼此的移动的双手输入可利用一个空中手势和手部中未在执行空中手势的一个硬件输入设备、在不同手部中握持的两个硬件输入设备、或者由不同手部使用空中手势和/或由上述一个或多个硬件输入设备检测到的输入的各种组合执行的两个空中手势来执行。
在一些实施方案中,软件可以例如通过网络以电子形式下载到控制器110,或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中,数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外,计算机的所描述的功能中的一些或全部可以在专用硬件(诸如,定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110,但是举例来说,作为与图像传感器404分开的单元,控制器的处理功能中的一些处理功能或全部处理功能可以由合适的微处理器和软件或由图像传感器404(例如,手部跟踪设备)的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中,这些处理功能中的至少一些可由与显示生成部件120(例如,在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如,游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括在一些实施方案中由图像传感器404捕获的深度图410的示意性表示。如上所述,深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该图中的背景和手腕分割出来。深度图410内的每个像素的亮度与其深度值(即,测量的距图像传感器404的z距离)成反比,其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便标识和分割图像的具有人类手部特性的组成部分(即,一组相邻像素)。这些特性可包括例如总体大小、形状和从深度图序列中的帧到帧的运动。
图4还示意性地示出在一些实施方案中控制器110最终从手部406的深度图410提取的手部骨骼414。在图4中,手部骨骼414叠加在已经从原始深度图分割出来的手部背景416上。在一些实施方案中,手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如,与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被标识并位于手部骨骼414上。在一些实施方案中,控制器110使用这些关键特征点在多个图像帧上的位置和移动来在一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例实施方案。在一些实施方案中,眼睛跟踪设备130由眼睛跟踪单元243(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的XR内容的定位和移动。在一些实施方案中,眼睛跟踪设备130与显示生成部件120集成。例如,在一些实施方案中,当显示生成部件120是头戴式设备(诸如,头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时,该头戴式设备包括生成XR内容以供用户查看的部件以及用于跟踪用户相对于XR内容的注视的部件两者。在一些实施方案中,眼睛跟踪设备130与显示生成部件120分开。例如,当显示生成部件是手持式设备或XR室时,眼睛跟踪设备130任选地是与手持式设备或XR室分开的设备。在一些实施方案中,眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中,头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中,眼睛跟踪设备130不是头戴式设备,并且任选地与头戴式显示生成部件结合使用。在一些实施方案中,眼睛跟踪设备130不是头戴式设备,并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中,显示生成部件120使用显示机构(例如,左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧,从而向用户提供3D虚拟视图。例如,头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中,显示生成部件可包括或耦接到一个或多个外部摄像机,该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中,头戴式显示生成部件可具有透明或半透明显示器,并且在该透明或半透明显示器上显示虚拟对象,用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中,显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影,使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下,可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示,在一些实施方案中,眼睛跟踪设备130(例如,注视跟踪设备)包括至少一个眼睛跟踪相机(例如,红外(IR)或近红外(NIR)相机),以及朝向用户眼睛发射光(例如,IR或NIR光)的照明源(例如,IR或NIR光源,诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光,或者另选地可指向位于用户眼睛和显示面板之间的“热”镜,这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机,同时允许可见光通过。眼睛跟踪设备130任选地捕获用户眼睛的图像(例如,作为以每秒60帧-120帧(fps)捕获的视频流),分析这些图像以生成注视跟踪信息,并将注视跟踪信息传送到控制器110。在一些实施方案中,用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中,通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中,使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数,例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前,可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。用户特定的校准过程可包括估计特定用户的眼睛参数,例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。在一些实施方案中,一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数,就可使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像,以确定用户相对于显示器的当前视轴和注视点。
如图5中所示,眼睛跟踪设备130(例如,130A或130B)包括眼睛透镜520和注视跟踪系统,该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如,红外(IR)或近红外(NIR)相机),以及朝向用户眼睛592发射光(例如,IR或NIR光)的照明源530(例如,IR或NIR光源,诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如,头戴式显示器的左显示器面板或右显示器面板,或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光,同时允许可见光通过)(例如,如图5的顶部部分所示),或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如,如图5的底部部分所示)。
在一些实施方案中,控制器110渲染AR或VR帧562(例如,用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的,例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例,并且不旨在进行限制。作为示例使用案例,控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如,控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例,控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例,控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用中的另一个示例使用案例,控制器110可引导用于捕获XR体验的物理环境的外部相机在所确定方向上聚焦。然后,外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例使用案例,眼睛透镜520可以是可聚焦透镜,并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点,使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点,使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中,眼睛跟踪设备是头戴式设备的一部分,该头戴式设备包括安装在可穿戴外壳中的显示器(例如,显示器510)、两个眼睛透镜(例如,眼睛透镜520)、眼睛跟踪相机(例如,眼睛跟踪相机540)、以及光源(例如,光源530(例如,IR或NIR LED))。光源朝向用户眼睛592发射光(例如,IR或NIR光)。在一些实施方案中,光源可围绕透镜中的每个透镜布置成环或圆圈,如图5中所示。在一些实施方案中,例如,八个光源530(例如,LED)围绕每个透镜520布置。然而,可使用更多或更少的光源530,并且可使用光源530的其他布置和位置。
在一些实施方案中,显示器510发射可见光范围内的光,并且不发射IR或NIR范围内的光,并且因此不会在注视跟踪系统中引入噪声。需注意,眼睛跟踪相机540的位置和角度以举例的方式给出,并且不旨在进行限制。在一些实施方案中,单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中,可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中,可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中,可在用户面部的每一侧上使用以一个波长(例如,850nm)操作的相机540和以不同波长(例如,940nm)操作的相机540。
如图5所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用,以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6示出一些实施方案中的闪光辅助的注视跟踪流水线。在一些实施方案中,注视跟踪流水线通过闪光辅助的注视跟踪系统(例如,如图1和图5所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初,跟踪状态为关闭或“否”。当处于跟踪状态时,当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时,闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时,闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光,并且如果成功,则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示,注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的,注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中,可以将每组所捕获的图像输入到流水线以用于处理。然而,在一些实施方案中或在一些条件下,不是所有所捕获的帧都由流水线处理。
在610处,对于当前所捕获的图像,如果跟踪状态为是,则方法前进到元素640。在610处,如果跟踪状态为否,则如620处所指示的,分析图像以检测图像中的用户瞳孔和闪光。在630处,如果成功检测到瞳孔和闪光,则方法前进到元素640。否则,方法返回到元素610以处理用户眼睛的下一个图像。
在640处,如果从元素610前进,则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处,如果从元素630前进,则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如,可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处,如果结果不可能是可信的,则在元素660处,跟踪状态被设置为否,并且方法返回到元素610以处理用户眼睛的下一个图像。在650处,如果结果是可信的,则方法前进到元素670。在670处,跟踪状态被设置为YES(如果尚未为是),并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的,在一些实施方案中,可以在计算机系统101中代替本文所述的闪光辅助的眼睛跟踪技术或与本文所述的闪光辅助的眼睛跟踪技术组合使用当前存在的或将来开发的其他眼睛跟踪技术,以用于向用户提供XR体验。
在本公开中,相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例,并且使用另一个输入设备或输入方法来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地,相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例,并且使用另一个输出设备或输出方法来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地,相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时,并且使用混合现实环境来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此,本公开公开了作为多个示例的特征的组合的实施方案,而无需在每个示例实施方案的描述中详尽地列出实施方案的所有特征。
用户界面和相关联的过程
现在将注意力集中在用户界面(“UI”)和相关联过程的实施方案上,这些实施方案可在与显示生成部件、一个或多个传感器以及(任选地)一个或多个音频生成部件通信的计算机系统诸如便携式多功能设备或头戴式设备上实现。
图7A至图7L示出在扩展现实(XR)环境中提供计算机生成的用户体验会话的示例。图8是用于向计算机生成的用户体验会话提供基于用户的呼吸特性而移动的粒子的示例性方法800的流程图。图9是用于向计算机生成的用户体验会话提供基于XR环境的特性而选择的选项的示例性方法900的流程图。图10A至图10B是用于向计算机生成的用户体验会话提供具有随机地选择的策划的声音组成部分的声景的示例性方法1000的流程图。图7A至图7L中的用户界面用于示出下文所述的过程,包括图8、图9、图10A和图10B中的过程。
提供附图和随附描述以描述XR环境中的计算机生成的用户体验会话的各种实施方案。各种实施方案是关于由在计算机系统处操作的冥想应用提供的示例用户体验会话来描述的。该用户体验会话被称为“冥想会话”。冥想会话在本文被描述为具有各个阶段或部分,该各个阶段或部分具有冥想会话和/或该冥想会话的相应部分的相应视觉和音频特性。例如,冥想会话被描述为具有介绍性部分、指导的呼吸部分、反应部分和结尾部分。另外,冥想会话被描述为具有各种视觉特性,诸如例如虚拟对象(例如,形状、粒子和/或用户界面)、虚拟覆盖、虚拟壁纸和视觉效果。冥想会话还被描述为具有各种音频特性,诸如例如可包括音效、音乐和指导指令的策划的声景。冥想会话被描述为在XR环境中提供。在一些具体实施中,XR环境是AR环境。在一些具体实施中,XR环境是VR环境。在一些实施方案中,冥想会话的各种选项、设置、参数和/或特性基于冥想会话是在AR环境中还是在VR环境中执行来确定。例如,在一些实施方案中,从可供用于AR环境中的冥想会话的音频和/或视觉特性的子集选择用于VR环境中的冥想会话的音频和/或视觉特性。在一些实施方案中,可任选地以偏向于不重复先前冥想会话的音频和/或视觉特性的方式随机地(或伪随机地)选择冥想会话的视觉和/或音频特性,以便为每个会话提供唯一的用户体验。在一些实施方案中,伪随机地选择音频和/或视觉特性。例如,使用随机数生成器来从音频特性的超集选择音频特性。类似地,使用随机数生成器来从视觉特性的超集选择视觉特性。在一些实施方案中,当伪随机地(或随机地)选择音频和/或视觉特性并且所选择的音频和/或视觉特性先前已被使用(或先前已与其他特定音频和/或视觉特性一起使用)时,所选择的音频和/或视觉特性被忽视并且不同的音频和/或视觉特性被伪随机地(或随机地)选择。应当理解,根据相应附图中所描述和例示的示例,可组合、重新布置和/或省略本文所述的各种实施方案的各方面。从一组元素随机地或伪随机地选择元素需要基于从诸如放射性衰变的真实随机性源或另一非确定性源生成的数或基于从确定性源生成的数来选择具有明显随机性的元素,该确定性源在统计上是随机的并且产生看起来是随机的结果,即使该结果实际上不是真正随机的。从具有明显随机性的一组元素选择元素产生对于设备的典型用户来说不具有可辨别的确定性模式的结果。
图7A描绘物理环境700,该物理环境是包括物理桌子700-1、物理椅子700-2和物理绘画700-3的物理房间。用户701处于物理环境700中,握持设备702(例如,平板设备或智能电话)并且穿戴连接(例如,无线地或通过有线连接)到设备702的音频输出设备703(例如,耳机或耳塞)。设备702包括显示器702-1和一个或多个相机702-2。设备相机被统称为相机702-2,并且可包括位于设备的显示器侧的相机(前置相机)和/或位于设备的与显示器不同的一侧的相机(后置相机)。在图7A所描绘的实施方案中,物理桌子700-1、椅子700-2和绘画700-3处于设备702的后置相机的视场内,并且物理环境的视图在设备显示器702-1上显示,同时用户体验会话不活动。物理环境的视图是物理环境700的表示700a,包括物理桌子700-1的表示700-1a、物理椅子700-2的表示700-2a和物理绘画700-3的表示700-3a。在本文所述的实施方案中,设备702用于提供在设备702的显示器702-1上显示的XR环境中的用户体验会话(也被称为冥想会话)。用户体验会话的音频在音频输出设备703处输出。然而,在一些实施方案中,可使用不同音频源诸如设备702的一个或多个扬声器输出音频。显示器702-1是可用于显示XR环境并检测用于与设备702、用户体验会话和/或XR环境交互的用户输入(例如,触摸输入、轻击手势、轻扫手势和/或文本输入)的触摸屏显示器。在一些实施方案中,相机702-2可用于检测用于与设备702、用户体验会话和/或XR环境交互的用户输入(例如,手部手势、生物识别输入和/或呼吸动作或手势)。在一些实施方案中,设备702包括可用于检测用于与设备702、用户体验会话和/或XR环境交互的用户输入(例如,语音命令和/或环境声音)的麦克风。
在图7A至图7L所描绘的实施方案中,设备702是用于在XR环境中提供用户体验会话的计算机系统(类似于图1中的计算机系统101)。然而,应当理解,可使用不同类型的计算机系统在XR环境中提供用户体验会话。例如,代替使用设备702(或除了使用该设备之外),计算机系统可以是由用户701穿戴的头戴式设备(HMD)。在此类实施方案中,HMD包括类似于显示器702-1的显示部件和类似于相机702-2的一个或多个传感器。例如,显示器可以是具有显示部件的不透明显示屏和/或透明或半透明显示器,用户701可通过该显示器直接观看物理环境700并且用户体验会话的虚拟元素可显示或投影在该显示器上。HMD还可包括扬声器和/或集成到HMD中以用于提供音频输出的其他音频输出设备,以及用于捕获物理环境700的图像(例如,视频和/或图片)(例如,用于在HMD处显示和/或用于检测输入)并且接收呈手部手势、语音手势、注视手势和/或本文所论述的其他输入形式的用户输入的一个或多个相机、麦克风和/或其他传感器。虽然本文关于设备702论述了用于在XR环境中提供用户体验会话的方法,但是应当理解,这些方法可使用包括例如HMD的其他计算机系统来执行。
图7B至图7L描绘设备702处针对其中冥想应用活动并且在一些实例中在冥想用户会话正在进行的情况下的实施方案的用户界面。图7B至图7I描绘用于AR环境中的冥想会话的用户界面。图7J至图7L描绘用于VR环境中的冥想会话的用户界面。
在图7B中,设备702正在提供冥想会话的第一部分(介绍性部分、起始部分和/或在指导的呼吸部分之前的部分),并且经由显示器702-1显示覆盖物理环境700的所显示的表示700a的虚拟界面705。在一些实施方案中,虚拟界面被显示为AR环境的用于用户体验会话的部分。在此类实施方案中,虚拟界面包括在物理环境700的表示700a之上显示的调光效果704。调光效果通过以98%的透明度(或2%的不透明度)显示调光效果来允许例如物理环境的98%的可见度,从而对用户对物理环境的视野进行调光。在一些实施方案中,调光效果可更大或更小,并且可在设备显示器的不同部分处具有变化的调光量(例如,接近显示器的中心,调光效果的不透明度越小,以及朝向设备显示器的周边,调光效果的不透明度增大)。调光效果可向用户701指示用户正在观看AR环境,并且在一些实施方案中,通过减少可能出现在物理环境中的干扰来帮助使用户专注于用户体验会话的各方面。在一些实施方案中,虚拟界面被显示为VR环境的用于用户体验会话的部分。在此类实施方案中,虚拟界面是不透明的,并且物理环境700不可透过虚拟界面可见。此种界面的示例在图7J和图7L中示出,下文更详细地论述。除非另外特别指出,否则本文针对各种视觉效果诸如调光效果论述的值和范围旨在作为非限制性示例。
在一些实施方案中,虚拟界面705被显示为XR环境中的用户体验会话的一部分。例如,在图7B中,设备702将虚拟界面705显示为由在设备702处操作的冥想应用提供的冥想会话的一部分,并且因此包括与冥想会话相关联的附加虚拟元素。具体地,在图7B中,设备702将虚拟对象710、虚拟粒子712和虚拟菜单715显示为XR环境中的冥想会话的介绍性部分或介绍性阶段的一部分。在一些实施方案中,响应于在XR环境中启动冥想应用(例如,通过检测在XR环境中对用于冥想应用的虚拟图标的选择和/或通过检测在XR环境中启动冥想应用的音频指令),由设备702显示包括调光效果704、虚拟对象710、粒子712和菜单715的虚拟界面705。在一些实施方案中,虚拟界面705可包括虚拟壁纸。
在一些实施方案中,虚拟界面被显示为XR环境的与用户体验会话分离或与用户体验会话解除关联的部分。例如,虚拟界面可被显示为虚拟中转室或虚拟“家庭”环境的一部分,设备在开始用户体验会话之前(例如,在启动冥想应用之前和/或在启动冥想应用之后并且在开始用户体验会话之前)将虚拟中转室或虚拟“家庭”环境显示为XR环境的一部分。有时,在此类实施方案中,设备702不显示虚拟对象710、粒子712或菜单715,而是任选地显示可被选择来管理用户对XR环境和/或设备702的体验的图标或其他虚拟元素。例如,设备702可显示可选择来启动在设备处操作的应用和/或访问XR环境和/或设备702的各种设置的图标。在一些实施方案中,用户701可与其他用户交互并与其他用户共享XR环境,包括在XR环境中启动的应用。
虚拟对象710是在冥想应用活动时(例如,在冥想会话期间或不在冥想会话期间)移动并改变外观的图形元素。如图7B所示,虚拟对象710具有由粒子712的集合形成的大致三角形宏观形状。在冥想会话的介绍性部分期间,设备702将粒子712显示为以节律模式移动,使得虚拟对象710具有向用户701传达放松或舒缓环境的脉动、摇摆和/或其他节律移动(在附图中由线714表示)。在一些实施方案中,设备702将粒子712显示为移动得更靠近在一起并且然后更远地分开,从而致使虚拟对象710在保持大致三角形宏观形状的同时以模仿预先确定的呼吸节奏(或其他生物识别节律,诸如心跳、脑波或步行速率)的节律模式扩张和收缩。在一些实施方案中,虚拟对象710以比预先确定的呼吸节奏快或慢的速率脉动(扩张和收缩)。另外,虚拟对象710可具有与图7B所示的宏观形状或外观不同的宏观形状或外观。例如,在一些实施方案中,虚拟对象710是具有宏观形状的二维对象,该宏观形状为圆圈、正方形、三角形、矩形或抽象的二维形状。在一些实施方案中,虚拟对象710是具有宏观形状的三维对象,该宏观形状为球体、球形物、立方体、长方体、棱锥体或抽象的三维形状(诸如云状物)、或具有浮动的雾气或涡旋形笔刷笔触的外观的粒子的移动布置。
在图7B至图7I所示的实施方案中,粒子712被示出为具有三角形形状。然而,粒子可具有不同的二维/或三维形状或外观,诸如圆圈、球体、棱锥体、花瓣状、叶状、正方形、立方体、云状物、雾滴、笔刷笔触或它们的任何组合。在一些实施方案中,粒子中的一些粒子在相邻粒子之间具有均匀的间距。在一些实施方案中,粒子中的一些粒子在相邻粒子之间具有不均匀的间距。在一些实施方案中,粒子中的一些粒子具有重叠布置。在一些实施方案中,随着虚拟对象710以节律模式移动,粒子在各种外观和间距布置之间移动。例如,在虚拟对象710的扩张状态下,粒子712具有间隔开的布置,并且在虚拟对象710的收缩状态下,粒子712具有重叠或间距更小的布置。此外,虚拟对象710和/或粒子712可具有不同的视觉特性,诸如动画效果或外观、粒子的半透明度(例如,部分半透明度或完全半透明度)、在物理环境中检测到的光的模拟反射(例如,从粒子的模拟反射和/或宏观形状和/或光的模拟弯曲)、虚拟照明的模拟反射或它们的组合。在一些实施方案中,粒子712和/或虚拟对象710的视觉特性基于各种标准(诸如例如物理环境、XR环境、冥想会话的状态、用户和/或设备702的移动、用户输入和/或它们的任何组合)而改变。在一些实施方案中,用户体验会话的视觉特性由设备702随机地(或伪随机地)生成。例如,在一些实施方案中,每当启动冥想应用时,设备702生成具有不同的、随机地选择的视觉特性的虚拟对象和/或粒子。在一些实施方案中,以偏向于不重复用户体验会话的先前显示的一组视觉特性的方式随机地选择视觉特性。
在图7B中,设备702显示菜单715,该菜单是用于选择或修改冥想会话的各个方面的虚拟菜单用户界面。菜单715包括向用户701提供冥想会话的上下文(例如,通知用户冥想应用活动,指示用户体验会话是冥想会话,和/或命令用户准备冥想会话)的文本715-1。菜单715还包括选项元素720,该选项元素可选择来显示用于冥想会话的选项菜单。选项元素720还包括指示冥想会话的当前选择的持续时间(例如,冥想会话的一个或多个部分的持续时间和/或冥想会话的指导的呼吸部分和反应部分、以及任选地,结尾部分的组合持续时间)的持续时间指示720-1和指示冥想会话的当前选择的教练的教练指示720-2。如图7B所示,教练指示720-2指示当前针对冥想会话选择男性教练,并且持续时间指示720-1指示冥想会话的持续时间被选择为10分钟。菜单715还包括开始元素725,该开始元素可选择(例如,经由输入724和/或经由音频输入)来通过从冥想会话的介绍性部分转变到指导的呼吸部分来开始冥想会话。在一些实施方案中,冥想应用活动,但是在介绍性部分和结尾部分期间,冥想会话不被认为是正在进行。在此类实施方案中,冥想会话被认为是通过选择开始元素725来开始的。在一些实施方案中,在介绍性部分和结尾部分期间,冥想会话被认为是正在进行。在此类实施方案中,冥想会话通过启动冥想应用而开始,并且选择开始元素725从冥想会话的一个部分转变到冥想会话的不同部分(例如,从介绍性部分转变到指导的呼吸部分或者转变到冥想会话的另一部分)。
图7B还描绘音频示意图707,该音频示意图是由设备702针对用户体验会话输出的音频的一些特性的示意性表示。音频示意图707不是用户界面的一部分,而是为了更好地理解所描述的技术而提供的。音频示意图707示出用户701和音频输出设备703在物理环境700中的相对定位(示出用户的头部的顶部朝下式视图)。音频示意图707还包括表示在冥想会话期间输出的特定声景的音频指示符711以及指示冥想会话的音频相对于用户的头部的位置的感知位置(在使用音频输出设备703播放音频时由用户701感知的音频的位置)的空间音频指示符709-1和709-2。在图7B所描绘的实施方案中,音频以立体声输出。因此,空间音频指示符709-1表示邻近用户的头部左侧的音频通道(例如,左通道和/或第一通道)的感知位置,并且空间音频指示符709-2表示邻近用户的头部右侧的另一音频通道(例如,右通道和/或第二通道)的感知位置。因此,如图7B所描绘的,用户701正面向前方(例如,面向如图7A所示的物理环境700或/或面向设备702),并且设备702正在致使冥想会话的声景使用音频输出设备703以立体声播放。在一些实施方案中,图7B所描绘的实施方案中的音频输出是将在冥想会话期间(例如,在介绍性部分之后、在指导的呼吸部分期间、在反应部分期间和/或在结尾部分期间)播放的声景的预览。在一些实施方案中,在预览期间播放具有与冥想会话期间不同的音频特性的声景。例如,以更低音量输出音频,如图7B中(与图7D中相比)的音频指示符711的更小大小所指示的。作为另一示例,如图7D所示以及下文所论述的,以立体声而不是以具有三维感知空间位置的完全音频沉浸感(本文被称为“空间音频”)来输出声景。
在一些实施方案中,设备702使用策划的声音组成部分的集合来创建用于特定用户体验会话的声景。该设备组装声音组成部分以为用户提供和谐的音频体验。在一些实施方案中,用于特定用户体验会话的声景被创建来传达特定情绪或主题。例如,对于冥想会话,声景被创建来提供帮助用户专注于他们的呼吸节律或特定主题或话题的放松音频。在一些实施方案中,设备702随机地(或伪随机地)选择声音组成部分以创建声景。在一些实施方案中,声音组成部分是随机地选择的,但是偏向于不重复先前创建或先前使用的声景。在一些实施方案中,可供用于创建相应声景的声音组成部分被选择为当在随机地选择的时间一起播放时是和谐的。在一些实施方案中,针对声景选择的声音组成部分针对用户体验会话或针对用户体验会话的一部分循环重复。在一些实施方案中,设备702引入随机地(或伪随机地)生成的声音组成部分,该声音组成部分在遍及声景的各个(在一些实施方案中,随机)时刻被播放,以便向声景引入多样性。在一些实施方案中,声景具有共用的开始和结束声音。在一些实施方案中,声景的音频特性基于虚拟对象710的动画而改变。例如,音频音量利用虚拟对象710的脉冲动画来调制,随着虚拟对象710扩张而增大,并且当虚拟对象710收缩时减小。在一些实施方案中,音频的空间位置随着虚拟对象710的脉冲动画而改变。例如,当对象扩张时,音频听起来像其正在朝向用户移动得更近,而当对象收缩时,音频听起来像其正在远离用户移动。
在图7B中,设备702检测选项元素720上的输入722,并且作为响应,显示选项菜单730,如图7C所示。选项菜单730是用于定制冥想会话的各种设置的用户界面。选项菜单730包括持续时间选项732、节奏选项734和指导选项736。持续时间选项732可选择来设置冥想会话的持续时间。如图7C所示,当前选择持续时间选项732-2,并且冥想会话的持续时间被设置为10分钟。其他可用持续时间选项包括五分钟持续时间选项732-1和十五分钟持续时间选项732-3。节奏选项732可选择来设置冥想会话的定义的呼吸节奏。在一些实施方案中,动画效果(诸如虚拟对象710的脉动节律)基于所选择的呼吸节奏。如图7C所示,当前选择节奏选项734-2,并且呼吸节奏被设置为每分钟七次呼吸(bpm)。其他可用节奏选项包括五bpm节奏选项734-1和十bpm节奏选项734-3。指导选项736可选择来挑选冥想会话的教练。所选择的教练与设备702在冥想会话期间作为声景的一部分输出的一个或多个音频记录(例如,音频指导740和/或其他音频记录)相关联,从而向用户701提供针对冥想会话的指令、鼓励和/或指导。在一些实施方案中,音频记录由教练所记录的用于在冥想会话的各个部分期间回放的不同脚本组成。每个教练具有他们自己的不同语音,其具有说话节奏、音调、语调、口音以及对于所选择的教练唯一的其他言语特性。如图7C所示,当前选择教练选项736-1,该教练选项指示针对冥想会话选择男性教练。其他可用教练选项是女性教练选项736-2。
在设备702正在显示选项菜单730时,设备702继续将虚拟对象710显示为具有由线714表示的动画、脉动效果。在图7C中,虚拟对象710被显示为具有扩张状态,如由粒子712之间的增大的间距和粒子712的增大的大小(当与图7B相比时)所指示的。在一些实施方案中,粒子的间距在不改变粒子的大小的情况下改变。设备702继续在音频输出设备703处以立体声输出声景的预览。
在图7C中,设备702检测选择五分钟持续时间选项736-1的输入731、选择五bpm节奏选项732-1的输入733以及选择女性教练选项734-2的输入735。响应于相应输入,设备702基于所选择的选项来更新冥想会话的设置。具体地,冥想会话的持续时间从十分钟改变为五分钟,呼吸节奏从7bpm改变为5bpm,并且教练从男性教练改变为女性教练。然后,设备702检测选择完成示能表示738的输入739。响应于检测到输入739,设备702显示菜单715,该菜单类似于图7B所示的菜单,但基于所选择的选项来进行更新。例如,选项元素720被更新为示出所选择的五分钟的持续时间并且被更新为包括女性教练的表示。设备702继续显示虚拟对象710的动画移动,该动画移动以具有所选择的呼吸节奏的节律脉动,该所选择的呼吸节奏现在改变为五bpm。
在具有在图7C中选择的变化的情况下,图7D和图7E示出其中设备702响应于选择开始元素725的输入(例如,输入724和/或音频输入)而输出冥想会话的第二部分(例如,指导的呼吸部分、在介绍性部分之后的部分和/或非介绍性部分)的实施方案。当用户选择开始元素725时,设备702从冥想会话的介绍性部分转变到图7D和图7E所示的冥想会话的指导的呼吸部分。当从冥想会话的介绍性部分转变到指导的呼吸部分时,设备702通过显示增长到更大大小的虚拟对象710、增加调光效果704并且从以立体声输出音频转变为输出空间音频来增加用户的视觉和音频沉浸感。在转变期间,设备702通过将调光效果的不透明度从例如2%逐渐增大到95%或从5%逐渐增大到90%来增加调光效果704,并且将虚拟对象710以及任选地粒子712显示为与在介绍性部分中相比生长到更大的平均大小。在一些实施方案中,虚拟对象710和粒子712被输出为三维对象。在一些实施方案中,从介绍性部分到指导的呼吸部分的转变包括:显示从二维对象转变到三维对象的虚拟对象和粒子。在一些实施方案中,虚拟对象710和粒子712的其他视觉特性在转变期间改变。例如,对象被显示为具有增加的亮度、半透明度和/或具有变化的模拟或检测光的反射。设备702通过在音频输出设备703处输出具有音频效果的声景来增加用户的音频沉浸感,由此音频的音量逐渐增大(如由音频指示符711的更大大小所指示的)并且听起来如同它正在从右立体声位置和左立体声位置移动到用户周围的不同感知位置,如下文更详细地论述的。在一些实施方案中,设备702经由音频输出设备703输出用于指示从介绍性部分到指导的呼吸部分的转变的开始声音(诸如例如,叮铃或打铃声)。在一些实施方案中,当转变到冥想会话的结尾部分时,设备702经由音频输出设备703输出相同的叮铃或打铃声。
在指导的呼吸部分中,设备702提供视觉和音频效果的组合以帮助用户701将他们的呼吸专注于受控的呼吸速率。设备702将虚拟对象710以及任选地粒子712显示为与在介绍性部分中相比具有更大的平均大小。在一些实施方案中,设备702将粒子712显示为与在介绍性部分期间相比间隔开更大的量(例如,更大的平均量和/或更大的瞬时量)。在冥想会话的指导的呼吸部分期间,设备702将虚拟对象710显示为以由所选择的呼吸节奏设置的速率扩张和收缩,并且输出(例如,使用音频输出设备703和/或集成到HMD中的音频生成部件)命令用户701控制他们的呼吸以匹配所选择的呼吸节奏的音频指导740。例如,因为用户利用输入733将呼吸节奏改变为5bpm,所以设备702将虚拟对象710显示为以匹配每分钟五次呼吸的呼吸节奏的速率扩张和收缩,并且输出具有鼓励用户使他们自己的呼吸速率符合匹配每分钟五次呼吸的所选择的呼吸节奏的音频特性的声景。在一些实施方案中,虚拟对象710在指导的呼吸部分中改变为与在冥想会话的介绍性部分期间不同的(例如,扩张到更大或收缩到更小)大小。
图7D和图7E描绘冥想会话的指导的呼吸部分的各个时刻。具体地,图7D描绘虚拟对象710的收缩状态,其与用户701正在呼气或刚刚完成呼气且即将吸气的预期一致。当虚拟对象以收缩状态显示时,设备702以女性教练的语音(经由输入735选择的)输出具有命令用户吸气的音频指导740-1的声景。然后,设备702将虚拟对象710显示为以稳定速率扩张(推测地,在用户正在吸气时),直到其达到扩张状态,如图7E所描绘的,这与用户701已经吸气且即将呼气的预期一致。然后,设备702在音频输出设备703处输出命令用户701开始呼气的音频指导740-2。然后,设备702将虚拟对象710显示为以稳定速率收缩(推测地,在用户正在呼气时),直到其达到收缩状态,如图7D所描绘的。该过程在冥想会话的指导的呼吸部分期间重复。在一些实施方案中,该过程重复达预先确定的时间量(例如,在图7C中选择的持续时间的一半或1/3)。在一些实施方案中,该过程重复达预先确定数量的呼吸循环(例如,七次吸入和七次呼出或者十次吸入和十次呼出)。在一些实施方案中,重复该过程直到设备702确定用户701已经将他们的呼吸节律与所选择的呼吸节奏匹配。在一些实施方案中,设备702包括用于检测用户的呼吸节律以确定用户的呼吸节律是否与所选择的呼吸节奏匹配的传感器和/或相机。
在冥想会话的指导的呼吸部分期间,随着设备输出音频指导740,设备702继续输出声景(至少部分地由音频指示符711表示),并且将虚拟对象710显示为以所选择的呼吸节奏扩张和收缩。在一些实施方案中,声景音频的一个或多个组成部分被输出为空间音频。例如,如图7D所示,音频示意图707包括空间音频指示符709-3至709-9,每个空间音频指示符表示冥想会话的音频(例如,声景和/或音频指导)相对于用户的头部的位置的感知位置。因此,在冥想会话的指导的呼吸部分期间,用户701将音频感知为位于用户的头部周围的多个点处。在一些实施方案中,音频的空间位置在冥想会话期间改变。例如,随着虚拟对象710正在扩张,设备702调整音频的空间位置以便听起来如同粒子712正在朝向用户701移动得更近,并且随着虚拟对象710正在收缩,设备702调整音频的空间位置以便听起来如同粒子712正在远离用户701移动。空间音频的该移动由音频指示符709-3至709-9表示,这些音频指示符在图7E中具有更靠近用户的头部的位置并且在图7D中具有更远离用户的头部的位置。在一些实施方案中,设备702输出音效作为声景的一部分。在一些实施方案中,声景的部分基于虚拟对象和/或粒子的动画效果来选择。例如,随着虚拟对象710扩张并且粒子712朝向用户701移动得更近,声景可包括增大的嘶嘶声,并且随着在虚拟对象收缩时粒子远离用户701移动而包括减小的嘶嘶声。
图7F至图7H描绘其中设备702已经从冥想会话的指导的呼吸部分转变到第三部分(例如,反应部分和/或在指导的呼吸部分之后的部分)的实施方案。如图7F所描绘的,设备702从冥想会话的指导的呼吸部分转变到反应部分并且以其中粒子712以三维布置进行显示的激增状态显示虚拟对象。在一些实施方案中,设备702将转变显示为具有描绘粒子712从形成虚拟对象710的配置扩张到图7F所描绘的激增三维布置的动画效果。
在反应部分中,设备702提示用户701专注于或考虑特定话题或主题,并且提供视觉和音频效果的组合以提供舒缓、放松的环境来帮助用户专注于该话题。在一些实施方案中,反应部分建立在于冥想会话的指导的呼吸部分期间实现的用户701的放松上。在反应部分期间,设备702继续输出声景并且显示基于检测到用户呼吸而移动的粒子712。当设备702检测到用户701吸气时,该设备将粒子712显示为朝向用户701和/或在其周围移动。当设备702检测到用户701呼气时,该设备将粒子712显示为远离用户701移动。图7F和图7G描绘基于检测到用户呼吸的冥想会话的显示状态的示例。在一些实施方案中,设备702显示基于检测到不同的生物识别输入(诸如心率、脑波或步行速度)而移动的粒子。
例如,图7F描绘在用户吸气之前(或在呼气之后)的XR环境中的粒子712,并且图7G描绘在用户吸气之后(或在呼气之前)的XR环境中的粒子712。响应于检测到用户吸气,设备702将粒子712显示为朝向用户701移动,例如从图7F中的布置移动到图7G中的布置。相反地,当设备702检测到用户呼气时,设备将粒子712显示为远离用户701移动,例如,从图7G中的布置移动到图7F中的布置。一般来讲,该过程继续,在冥想会话的反应部分的持续时间内,基于用户的所检测的呼吸来移动粒子。
图7F和图7G所描绘的实施方案被提供作为粒子712响应于检测到用户701的呼吸的移动的非限制性示例。在一些实施方案中,设备702将粒子显示为基于用户的呼吸而以不同方式移动。例如,在一些实施方案中,粒子712的移动幅度基于用户的呼吸(向内和/或向外)的幅度和/或持续时间。因此,如果设备检测到用户以比上文所论述的示例中大的幅度和/或持续时间吸气,则设备702将粒子712显示为与图7G所示相比具有朝向用户701的更大的移动量。类似地,如果设备检测到用户以比上文所论述的示例中小的幅度和/或持续时间吸气,则设备702将粒子712显示为与图7G所示相比具有朝向用户701的更少移动。在一些实施方案中,粒子的所显示的远离用户的移动基于如由设备702检测到的用户呼气的幅度和/或持续时间而类似地变化。
在一些实施方案中,当用户呼气时,设备702将粒子712显示为以比当用户吸气时更大的移动速度移动(或反之亦然)。在一些实施方案中,设备702显示呈三维布置的粒子712,其中一些粒子被显示为看起来更靠近用户701并且一些粒子被显示为看起来更远离用户701。例如,在图7F中,粒子712-1被显示为看起来比粒子712-2靠近用户701。在一些实施方案中,当用户呼吸时,被显示为更靠近用户701的粒子被示出为与被显示为更远离用户701的粒子相比在XR环境中具有更大的移动量(例如,距离和/或幅度)。在一些实施方案中,当粒子712不基于用户的呼吸而移动时(例如,在用户的呼吸之间和/或当用户的呼吸低于阈值幅度时),设备702将这些粒子显示为具有浮动或摇摆移动。在一些实施方案中,设备702显示根据模拟物理参数(诸如模拟惯性、弹簧常数、摩擦等)而移动的粒子712。在一些实施方案中,当用户呼吸时,设备702将粒子712显示为离开屏幕或在屏幕上移动。例如,当设备702检测到用户吸气时,设备将粒子712显示为朝向用户移动,其中一些粒子或其部分随着用户正在吸气而移动离开屏幕,模拟粒子移动经过用户和/或离开用户的视场。类似地,当设备702检测到用户呼气时,设备将粒子712显示为远离用户移动,其中一些粒子或粒子的部分在屏幕上移动,模拟粒子移动到用户的视场中。
在冥想会话的反应部分期间,随着设备输出音频指导740,设备702继续输出声景(至少部分地由音频指示符711表示),并且显示基于所检测的用户呼吸而移动的粒子712。在一些实施方案中,当反应部分开始时,设备702输出提示用户(以教练的语音)专注于特定话题或主题的音频指导740-3。设备702以空间音频输出声景,并且在冥想会话的反应部分期间调整声景的音频特性。例如,随着粒子712朝向用户移动,设备702调整音频的空间位置以便听起来如同粒子712正在朝向用户701移动得更近,并且随着粒子712远离用户移动,设备702调整音频的空间位置以便听起来如同粒子712正在远离用户701移动。例如,在图7F中,音频示意图707示出定位到用户的头部的表示的侧面和前面的空间音频指示符709-3至709-9,这些空间音频指示符指示音频被感知为起源于用户的头部的前面和侧面的位置处。在用户吸气,并且如图7G所示,粒子712被显示为朝向用户701并且在其周围移动时,设备702调整音频的空间位置以便听起来如同粒子712正在用户的头部周围(包括后面)移动,如图7G中的空间音频指示符709-3至709-9的位置所指示的。在用户呼气,并且粒子712被显示为正在远离用户701移动到图7F所示的布置时,设备702调整音频的空间位置以便听起来如同粒子正在移动回到用户的侧面和前面的位置,如图7F所描绘的。
在一些实施方案中,设备702继续冥想会话的反应部分达预先确定的时间量(例如,在图7C中选择的持续时间的一半或1/3),从而继续基于所检测的用户呼吸来修改粒子的显示状态。在一些实施方案中,反应部分继续达预先确定数量的呼吸循环(例如,七次吸入和七次呼出或十次吸入和十次呼出)。在一些实施方案中,该过程继续直到设备702确定用户701不再专注于冥想会话或者已经指示用户希望结束冥想会话。
图7H描绘其中设备702已经检测到用户未专注于冥想会话的实施方案。如图7H所示,用户701已经将他们的专注从冥想会话转移,旋转他们的头部以及设备702的定位以看向位于物理环境700中的人745。在一些实施方案中,设备702通过检测不同的基于注意力和专注的指示符来确定用户是否专注于冥想会话,这些基于注意力和专注的指示符诸如用户的注视、呼吸节律、心率、脑波、身体移动、设备702的移动、所检测的声音(例如,附近的另一人的声音、背景声音和/或指示用户的移动或躁动的声音)和/或由设备702检测到并且指示用户被干扰的其他输入。在一些实施方案中,当用户的专注已经从冥想会话漂移达至少阈值时间量(例如,非零时间量、2秒和/或5秒)时,设备702检测到用户被干扰。在一些实施方案中,设备702基于检测到基于注意力和专注的指示符来检测到用户已经重新获得专注。例如,在一些实施方案中,当用户已经返回到他们在被干扰之前所位于的定位(例如,面向前方和/或眼睛专注于XR环境中的粒子)并且他们的呼吸已经从被干扰之前恢复了呼吸速率时,设备702确定用户已经重新获得专注。
在一些实施方案中,当设备702检测到用户701被干扰时,设备702提示用户专注于冥想会话。例如,如图7H所示,设备提示用户专注于他们的呼吸,如由音频指导740-4所指示的。在一些实施方案中,当用户被干扰时,设备702暂停冥想会话(例如,暂停粒子712的移动和/或修改或暂停声景的输出)。在一些实施方案中,当设备确定用户已经重新获得专注时,设备702继续冥想会话的当前部分。在一些实施方案中,设备702返回到冥想会话的指导的呼吸部分以帮助用户重新获得专注。图7H示出用户在反应部分期间已经被干扰,然而,设备能够在冥想会话的其他部分(诸如例如,指导的呼吸部分)中检测到用户被干扰。在此类实施方案中,设备暂停指导的呼吸部分,并且以与上文针对在反应部分期间发生的干扰所描述的方式类似的方式来鼓励用户专注于冥想会话。
在一些实施方案中,用户的位置(例如通过设备702的位置和/或定位来近似)和XR环境中的虚拟对象(例如,虚拟对象710和/或粒子712)是世界锁定的。例如,在图7H中,随着用户旋转设备702的定位,设备702从设备702的改变的视角显示粒子712,因为该设备已经从图7G中的定位旋转到图7H中的定位。例如,设备702在图7G和图7H两者中显示粒子712-3。然而,在图7H中,因为用户已经从图7G中的先前定位旋转设备702,并且因为粒子712的定位是世界锁定的,所以粒子712-3在图7H中以相对于图7G中粒子712-3的先前显示的取向旋转的取向来显示。因此,随着用户旋转或移动设备702,XR环境的所显示的视图基于世界锁定的配置而改变。在一些实施方案中,在用户移动时,通过设备702修改声景的输出以便相对于XR环境保留声景的空间音频位置来演示该世界锁定的配置。例如,如图7H所示,用户的头部向左旋转。代替使空间音频保持锁定到用户的头部的定位,设备702调整空间音频以相对于XR环境保持固定,如由保持空间音频的来自图7G的定位的空间音频指示符709-3至709-9所指示的。因此,随着用户移动其头部,用户感知到音频已经具有XR环境中的相同相对位置。在一些实施方案中,诸如例如,当设备702是HMD时,粒子712在空间上围绕用户701的视点布置,并且随着粒子在XR环境中移动(例如,如关于图7D、图7E、图7F、图7G、图7H和/或图7I所描述的)而相对于用户的视点移动。
在一些实施方案中,用户701可与XR环境中的虚拟对象交互。例如,粒子712可对在XR环境中检测到的用户的位置或触摸有反应。在一些实施方案中,设备702确定用户的身体(例如,手部、手腕和/或手臂)与XR环境中的粒子712共同定位,并且作为响应,将粒子712显示为改变外观(例如,改变颜色、基于用户的触摸而移动、发光和/或变得或多或少半透明)。在一些实施方案中,用户701可与XR环境中的其他用户交互。例如,在一些实施方案中,表示745a是正在与用户701共享XR环境的人745的虚拟表示。在一些实施方案中,表示745a可与用户701交互,并且任选地,观看和/或操纵作为冥想会话的一部分而显示的虚拟对象。
图7I描绘设备702从冥想会话的反应部分转变到第四部分(例如,结尾部分和/或在反应部分之后的部分)。在一些实施方案中,结尾部分转变冥想会话之外的用户,并且将用户的专注带回到物理世界(或带回到XR环境中的不同体验)。在一些实施方案中,设备702将粒子712显示为一起移动(例如,以动画飞行效果和/或以协调移动)以形成虚拟对象710。在一些实施方案中,设备702减小调光效果704(例如,减小调光效果的不透明度和/或以其他方式减小调光效果),由此增大物理环境700的表示700a在设备702上的可见度。在一些实施方案中,到结尾部分的转变是在从介绍性部分到指导的呼吸部分的转变中提供的音频和视觉效果的反转。在一些实施方案中,设备702使粒子712的外观变暗,并且使粒子712的移动从冥想会话的指导的呼吸部分和反应部分中的移动减少。在一些实施方案中,设备702将虚拟对象710显示为以与介绍性部分中的方式类似的方式脉动。在一些实施方案中,设备702将虚拟对象710显示为与在介绍性部分中相比具有更少的移动。
如图7I所示,当转变到结尾部分时,设备702将声景音频从空间音频输出转变到立体声,逐渐减小声景的音量(如由音频指示符711的更小大小所指示的),并且以教练语音输出提示用户增加他们对他们周围环境的意识的音频指导740-5。在一些实施方案中,设备702经由音频输出设备703输出音效,诸如类似于当从介绍性部分转变到指导的呼吸部分时的叮铃或打铃声。在一些实施方案中,当转变到结尾部分时,设备702输出与当从介绍性部分转变到指导的呼吸部分时相同的音频。在一些实施方案中,设备702针对每个冥想会话输出相同的开始声音(例如,当从介绍性部分转变到指导的呼吸部分时,当结束介绍性部分时,和/或当开始指导的呼吸部分时)。在一些实施方案中,设备702针对每个冥想会话输出相同的结束声音(例如,当转变到反应部分时和/或当转变到结尾部分时)。在一些实施方案中,开始声音与相应冥想会话的结束声音不同。在一些实施方案中,开始声音与结束声音相同,并且该声音对于多个相应冥想会话是不同的或者对于每个相应冥想会话是唯一的。
如图7I所描绘的,设备702在冥想会话的结尾部分中显示菜单750。菜单750包括为用户已经经历的冥想会话提供历史数据的文本。文本754指示用户701今天已经在冥想会话中花费了五分钟,并且文本756指示用户在过去一周的三天内已经经历了至少一次冥想会话。可提供其他历史数据,诸如例如冥想会话的数量、每个冥想会话所花费的特定时间量和/或冥想会话所花费的平均时间量。菜单750还包括指示女性教练针对冥想会话提供音频指导740的教练指示符752。菜单750包括继续选项758,该继续选项可选择来继续或扩展冥想会话。例如,在一些实施方案中,响应于检测到对继续选项758的选择,设备702恢复冥想会话达大约预先确定的时间或直到用户指示他们希望结束冥想会话。在一些实施方案中,当设备702恢复冥想会话时,设备702返回到冥想会话的指导的呼吸部分。在一些实施方案中,当设备702恢复冥想会话时,设备702返回到冥想会话的反应部分。在一些实施方案中,设备702向用户701提供选择是返回到指导的呼吸部分还是返回到反应部分的选项。菜单750还包括完成选项760。在一些实施方案中,当用户选择完成选项760时,设备702返回到冥想会话的介绍性部分(例如,显示图7B所描绘的UI和/或显示与图7B所描绘的UI类似的UI)或退出冥想应用(例如,显示与图7A所描绘的UI类似的UI或返回到XR环境中的中转室或虚拟家庭环境)。
在一些实施方案中,冥想会话可在AR环境或VR环境中执行。图7B至图7I描绘在AR环境中提供的冥想会话的各种实施方案,并且图7J至图7L描绘在VR环境中提供的不同冥想会话的各种实施方案。设备702可以类似于AR环境中的冥想会话的方式提供VR环境中的冥想会话,但是具有各种差异,诸如例如使用虚拟环境而不是AR环境。在一些实施方案中,为VR环境中的冥想会话提供的视觉效果和声景是可供用于AR环境中的冥想会话的视觉效果和声景的子集。在一些实施方案中,设备702基于XR环境的特性来自动地选择视觉和音频特性。例如,如果XR环境是AR环境(例如,在AR环境中提供冥想会话和/或在AR环境中提供冥想会话的一部分),则设备702基于AR环境的各个方面(诸如例如,所检测的照明条件、AR冥想会话的先前使用的音频和/或视觉特性的历史)或者简单地基于XR环境是AR的事实来自动地选择视觉和音频特性。作为另一示例,如果XR环境是VR环境(例如,向冥想会话提供虚拟壁纸和/或在虚拟环境中提供冥想会话),则设备702基于VR环境的各个方面(诸如例如,虚拟壁纸中的场景、VR冥想会话的先前使用的音频和/或视觉特性的历史)或者简单地基于XR环境是VR的事实来自动地选择视觉和音频特性。
图7J描绘设备702显示将在VR环境中执行的不同冥想会话(例如,在图7B至图7I中描绘的冥想会话之后发生的会话或独立于图7B至图7I所描绘的冥想会话而发生的会话)的介绍性部分。在VR冥想会话期间,设备702显示为冥想会话提供不透明的虚拟背景的虚拟壁纸765。设备702在物理环境700的表示700a的一部分之上显示虚拟壁纸765。虚拟壁纸765是描绘图7J中的海滩场景的虚拟界面,然而,虚拟壁纸可具有用于不同冥想会话的不同图像或背景场景。例如,图7L描绘不同冥想会话,其中虚拟壁纸787具有山景。在一些实施方案中,用户可从虚拟壁纸的背景场景的集合选择背景场景。在一些实施方案中,设备702从背景场景的集合中随机地选择背景场景(任选地,与其他视觉特性诸如虚拟对象和/或粒子相结合地偏向于不重复先前使用的背景场景)。
在图7J所描绘的实施方案中,设备702显示具有粒子772的虚拟对象770。虚拟对象770和粒子772具有与虚拟对象710和粒子712不同的视觉特性。例如,虚拟对象770具有大致圆形或倒圆的宏观形状。此外,粒子772是形成虚拟对象770并且在虚拟对象770的形状内四处移动的圆圈或球形物。在一些实施方案中,粒子772具有与粒子712不同的材料属性。例如,粒子772可具有不同的模拟光学属性、形状和/或弯曲,并且对于在粒子上反射的模拟光可具有不同的光属性(例如,方向、颜色和/或强度),例如,归因于粒子772的倒圆形状,而粒子712是三角形的。
尽管虚拟对象770和粒子772具有与虚拟对象710和粒子712不同的视觉特性,但在一些实施方案中,虚拟对象和粒子可基于正由设备702输出的冥想会话的各个部分而表现出类似行为。例如,设备702将虚拟对象770和粒子772显示为在介绍性部分中有节律地移动(例如,脉动和/或摇摆)并且扩张到基于针对指导的呼吸部分的预先确定的呼吸节奏来有节律地移动的更大的布置,类似于虚拟对象710和粒子712。另外,设备702将粒子772显示为移动到针对反应部分的激增状态并且基于用户的所检测的呼吸而移动,类似于粒子712。在结尾部分中,设备702将粒子772显示为进行重新组装以形成虚拟对象770,类似于形成虚拟对象710的粒子712,如上文关于图7I所论述的。
在一些实施方案中,设备702选择冥想会话的视觉和音频特性来为多个冥想会话提供变化的用户体验和/或为每个冥想会话提供唯一的用户体验。例如,在图7J和图7K所描绘的实施方案中,设备702输出与上文关于图7B至图7I论述的实施方案中不同的声景,如由图7J所描绘的音频指示符774所指示的。音频指示符774类似于音频指示符711,但具有不同的外观(例如,一组不同的音符和/或不同的放置)以指示与在图7B至图7I所描绘的冥想会话中输出的声景不同的声景的输出。在一些实施方案中,设备702针对各种冥想会话输出不同的声景。在一些实施方案中,设备702选择或创建要与视觉特性和谐的声景。例如,设备702可选择或创建放松的声景以与放松的沙滩场景和粒子772的温和摇摆和谐。
在设备702针对相应冥想会话生成或选择视觉和音频特性的不同组合时,在一些实施方案中,可重复一些视觉和/或音频特性。例如,虚拟对象或粒子可在两个不同的冥想会话中具有相同的外观,但表现出不同的移动特性(例如,在一个会话中摇摆而在另一个会话中脉动和/或在一个会话中比在另一会话中更快/更远地移动)。作为另一示例,可在两个不同的冥想会话中使用相同的虚拟壁纸,但虚拟对象、粒子和/或声景对于这些会话是不同的。
在图7J中,设备702显示菜单767,该菜单类似于菜单715。菜单767包括选项元素773,该选项元素类似于选项元素720并且可被选择来显示与图7C所描绘的选项菜单类似的选项菜单。在图7J所描绘的实施方案中,冥想会话被设置为十分钟持续时间与针对先前冥想会话选择的女性教练,如分别由持续时间指示符773-1和教练指示符773-2所指示的。菜单767还包括开始元素776,该开始元素类似于开始元素725。响应于检测到经由输入778进行的对开始元素776的选择,设备702从冥想会话的介绍性部分转变到指导的呼吸部分,如图7K所描绘的。
在图7K中,设备702已经转变到指导的呼吸部分并且正在显示具有扩张大小的虚拟壁纸765并且正在显示基于预定义的呼吸节奏而移动的虚拟对象770和粒子772,类似于上文关于图7D和图7E所论述的实施方案。另外,设备702已经将声景从立体声音频转变到空间音频,包括逐渐增大音量,如由音频指示符774的所显示的更大大小所指示的。
在一些实施方案中,针对每个冥想会话使用不同的音频指导。例如,尽管图7J和图7K所描绘的VR冥想会话的实施方案使用与AR冥想会话中相同的女性教练的语音,但由设备702输出的音频指导对于冥想会话的各个部分是不同的。在一些实施方案中,从可供用于冥想会话的相应部分的所选择的教练的音频记录的子集选择音频指导。因此,在图7K中,设备702输出指导780-1,该指导提供与指导740-1类似的指令,但使用不同的词语(并且,在一些实例中,不同的说话特性诸如语调),因为它是与指导740-1不同的音频记录。
图7L示出不同冥想会话的不同音频和视觉特性的示例,其示出不同冥想会话的指导的呼吸部分。例如,在图7L中,设备702显示虚拟壁纸787,该虚拟壁纸类似于虚拟壁纸765,但具有山景而非海滩场景。设备702还显示虚拟对象790和粒子792(类似于虚拟对象710和770以及粒子712和772),其示出不同冥想会话的不同视觉特性的附加示例。设备702还输出如由音频指示符794和音频指导785-1所指示的不同声景,其类似于音频指导740-1和780-1,但为如由包括在音频指导785-1中的不同词语所指示的不同音频记录。在一些实施方案中,音频指导是不同的音频记录,其使用相同的词语,但具有不同的音频特性诸如音调、口音或节奏。
下文参考相对于图7A至图7L描述的方法800、900和1000提供关于图7A至图7L的附加描述。
图8是根据一些实施方案的向计算机生成的用户体验会话提供基于用户的呼吸特性而移动的粒子的示例性方法800的流程图。在一些实施方案中,方法800在计算机系统(例如,图1中的计算机系统101和/或设备702)(例如,智能电话、设备和/或头戴式显示生成部件)处执行,该计算机系统与显示生成部件(例如,图1、图3和图4中的显示生成部件120和/或显示器702-1)(例如,显示器、触摸屏、视觉输出设备、3D显示器、具有图像可投影在其上的透明或半透明的至少一部分的显示器(例如,透视显示器和/或透明显示器)、投影仪、平视显示器和/或显示控制器)和一个或多个传感器(例如,相机702-2)(例如,陀螺仪、加速度计、运动传感器、移动传感器、麦克风、红外传感器、相机传感器、深度相机、可见光相机、眼睛跟踪传感器、注视跟踪传感器、生理传感器、图像传感器、向下指向用户的手部处的相机(例如,颜色传感器、红外传感器和其他深度感测相机)和/或从用户的头部向前指向的相机)通信。在一些实施方案中,方法800通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器(诸如计算机系统101的一个或多个处理器202)(例如,图1中的控制器110)执行的指令来管理。方法800中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
在方法800中,计算机系统(例如,702)经由显示生成部件(例如,702-1)(例如,在XR环境中、在非XR环境中)显示(802)用于用户体验会话的用户界面(例如,705、765和/或787)(例如,用于XR环境的应用的UI,该UI任选地包括用于呼吸以放松和/或使用户专注的指导指令)。在用户体验会话活动时(例如,在发起用户体验会话之后并且在用户体验会话已经结束之前),计算机系统经由一个或多个传感器(例如,702-2)检测(804)计算机系统的用户(例如,701)的一个或多个呼吸特性(例如,用户当前是否正在呼气、用户当前是否正在吸气、吸气速率、呼气速率、吸气持续时间、呼气持续时间、暂停持续时间(例如,在吸气之后、在呼气之后、在吸气期间、在呼气期间)、吸气和/或呼气速率的变化、和/或吸气和/或呼气模式),并且显示(806)具有基于计算机系统的用户的一个或多个呼吸特性而移动的多个粒子(例如,712、772和/或792)的用户界面对象(例如,710、770和/或790)(例如,立方体、球体、球形物、云状物、棱锥体和/或抽象对象)。
作为显示用于用户体验会话的用户界面的一部分,并且根据计算机系统的用户的第一呼吸事件(例如,在用户在呼吸时吸气、呼气和/或暂停时)满足第一组标准(例如,呼吸事件的特性指示用户正在吸气)的确定,计算机系统(例如,702)将用户界面对象(例如,710、770和/或790)的粒子(例如,712、772和/或792)显示(808)为在计算机系统的用户的第一呼吸事件期间以第一方式(例如,如图7G所描绘)(例如,具有第一移动方向(例如,远离固定点(例如,在用户的视场中)扩张)、第一移动速率或速度和/或第一移动模式)移动(例如,在用户吸气时从固定点扩张,其中粒子以基于用户吸气的速率确定的速率移动)。
作为显示用于用户体验会话的用户界面的一部分,并且根据计算机系统的用户的第一呼吸事件满足第二组标准(例如,呼吸事件的特性指示用户正在呼气)的确定,计算机系统(例如,702)将用户界面对象(例如,710、770和/或790)的粒子(例如,712、772和/或792)显示(810)为在计算机系统的用户的第一呼吸事件期间以与第一方式不同的第二方式(例如,如图7F所描绘)(例如,具有第二移动方向(例如,朝向固定点(例如,在用户的视场中)收缩)、第二移动速率或速度和/或第二移动模式)移动(例如,在用户呼气时朝向固定点收缩,其中粒子以基于用户呼气的速率确定的速率移动)。根据用户的第一呼吸事件满足第一组标准的确定来将用户界面对象的粒子显示为以第一方式移动以及根据用户的第一呼吸事件满足第二组标准的确定来将用户界面对象的粒子显示为以第二方式移动提供了关于计算机系统的状态(例如,提供用户体验会话的状态)的反馈。
在一些实施方案中,计算机系统(例如,702)与音频生成部件(例如,703)(例如,扬声器、骨传导音频输出设备和/或集成到HMD中的音频生成部件)通信。在一些实施方案中,作为显示用于用户体验会话的用户界面的一部分,在用户体验会话活动之前(例如,在启动可供用于提供用户体验会话的应用之后并且在(例如,由计算机系统的用户)发起(例如,开始)用户体验会话之前),计算机系统经由显示生成部件(例如,702-1)并发地显示用户界面对象的多个粒子(例如,如图7B和/或图7C所描绘的粒子712、如图7J所描绘的粒子772和/或如图7L所描绘的粒子792)的表示(例如,在用户体验会话开始之前的粒子的静态和/或动画视图),并且经由音频生成部件输出用于用户体验会话的音频声景(例如,如图7B和/或图7C所描绘的音频711、如图7J所描绘的音频774和/或如图7L所描绘的音频794)(例如,自动地和/或手动地选择来创建用于用户体验会话的音频环境的一组策划的声音组成部分)。在用户体验会话活动之前显示用户界面对象的多个粒子的表示并且输出用于用户体验会话的音频声景提供了关于计算机系统的状态的反馈。例如,音频和视觉反馈向用户指示用户体验会话在活动时将包括什么。
在一些实施方案中,计算机系统在用户体验活动之前输出音频声景的一部分(例如,音频声景的预览),并且当用户体验活动时输出完整的音频声景(例如,在图7D、图7E、图7F、图7G、图7H、图7K和/或图7L中)。在一些实施方案中,输出音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的一组两个或更多个音频组成部分的音频声景(或音频声景的一部分)。
在一些实施方案中,作为显示用于用户体验会话的用户界面的一部分,计算机系统(例如,702)在用户体验会话活动之前(例如,如图7B和图7C所描绘)显示用户体验的环境(例如,700a)(例如,虚拟环境和/或物理环境(例如,经由透传视频和/或由于显示器的透明性质可见))的调光的外观(例如,704)(例如,淡入淡出效果和/或调光效果)(例如,将环境的至少一部分调光0.5%、1%、2%、3%、5%、7%、10%、15%、20%和/或大于0%的另一量)。在用户体验会话活动之前显示环境的调光的外观鼓励计算机系统的用户专注于用户体验会话。
在一些实施方案中,显示环境的调光的外观包括:在视觉上模糊对计算机系统(例如,702)的用户(例如,701)可见(例如,经由透传视频和/或由于显示器的透明性质)的物理环境(例如,700a)的视图。在一些实施方案中,显示环境的调光的外观包括:显示部分透明的虚拟覆盖(例如,704)以透过虚拟覆盖示出物理环境。在一些实施方案中,调光的外观是均匀的。在一些实施方案中,调光的外观是可变的。
在一些实施方案中,显示用于用户体验会话的用户界面包括:在用户体验会话活动之前,计算机系统(例如,702)显示可选择(例如,经由输入724和/或输入778)(例如,经由捏合手势、轻击输入、注视手势、注视停留手势和/或其他输入手势)来发起(例如,开始、开始和/或激活)用户体验会话的开始选项(例如,725和/或776)(例如,示能表示、图形用户界面对象和/或图形元素),并且显示对用户体验会话的持续时间(例如,3分钟、5分钟、10分钟、12分钟、15分钟、20分钟)的指示(例如,720-1、732-1、732-2、732-3和/或773-1)(例如,当用户体验会话活动时)。在用户体验会话活动之前显示开始示能表示和对用户体验会话的持续时间的指示提供了关于计算机系统的状态的反馈。例如,对持续时间的指示向用户提供了关于用户体验会话的所选择的长度的反馈。在一些实施方案中,响应于检测到指向开始选项的输入(例如,724和/或778)(例如,捏合手势、轻击输入、注视手势、注视停留手势和/或其他输入手势),计算机系统发起用户体验会话。
在一些实施方案中,显示用于用户体验会话的用户界面包括:在用户体验会话活动之前,计算机系统(例如,720)显示一组一个或多个持续时间选项(例如,732、732-1、732-2和/或732-3),该组一个或多个持续时间选项可选择(例如,经由捏合手势、轻击输入、注视手势、注视停留手势和/或其他输入手势)来修改用户体验会话的持续时间(例如,用户体验会话的至少一部分诸如指导的呼吸部分和/或反应部分的持续时间)。计算机系统检测指向该组一个或多个持续时间选项中的可选择来修改用户体验会话的持续时间的第一持续时间选项(例如,732-1)的输入(例如,731)(例如,捏合手势、轻击输入、注视手势、注视停留手势和/或其他输入手势),并且响应于检测到指向该组一个或多个持续时间选项中的第一持续时间选项的输入,计算机系统将用户体验会话的持续时间选择(例如,基于所检测的输入来修改和/或设置)为第一持续时间(例如,5分钟或10分钟)(例如,从1分钟的默认持续时间修改或从20分钟的先前选择的持续时间修改)。在一些实施方案中,检测指向第二持续时间选项的输入致使计算机系统将持续时间设置为与第一持续时间不同的第二持续时间。响应于检测到指向第一持续时间选项的输入而将用户体验会话的持续时间修改为第一持续时间致使计算机系统自动地优化用户体验会话以满足由计算机系统的用户提供的所请求的持续时间。
在一些实施方案中,显示用于用户体验会话的用户界面包括:在用户体验会话活动之前,计算机系统(例如,702)显示一组一个或多个音频选项(例如,736、736-1和/或736-2),该组一个或多个音频选项可选择(例如,经由捏合手势、轻击输入、注视手势、注视停留手势和/或其他输入手势)来从用于用户体验会话的多个音频指导挑选音频指导(例如,音频源、叙述者、说话者、教练和/或人)。计算机系统检测指向该组一个或多个音频选项中的可选择来从用于用户体验会话的多个音频指导挑选音频指导的第一音频选项(例如,736-2)的输入(例如,735)。响应于检测到指向第一音频选项的输入,计算机系统从用于用户体验会话的多个音频指导选择第一音频指导(例如,并且任选地不选择用于用户体验会话的第二音频指导)。响应于检测到指向可选择来挑选音频指导的第一音频选项的输入而选择用于用户体验会话的第一音频指导致使计算机系统自动地优化用户体验会话以提供用于用户体验会话的所请求的音频指导。在一些实施方案中,响应于检测到指向第二音频选项(例如,736-1)的输入,计算机系统选择用于用户体验会话的与第一音频指导不同的第二音频指导。在一些实施方案中,所选择的音频指导向用户提供口头指令、鼓励、教导、提示和/或指导以便体验用户体验会话。
在一些实施方案中,显示用于用户体验会话的用户界面包括:在用户体验会话活动时(例如,在(响应于)开始用户体验会话之后;和/或在用户体验会话的第一阶段或部分(例如,在用户体验会话的后续阶段或部分之前的用户体验会话的阶段或部分)中),计算机系统(例如,702)将用户界面对象(例如,710、770和/或790)显示为具有动画效果(例如,用户界面对象和/或用户界面对象的粒子的动画移动)(例如,脉动动画(例如,增大用户界面对象的大小(例如,使用户界面对象扩张)和减小用户界面对象的大小(例如,使用户界面对象收缩)的重复的交替模式)),该动画效果基于预先确定的生物识别节律(例如,呼吸节奏(例如,吸气和呼气模式))(例如,每分钟3次呼吸、每分钟5次呼吸、每分钟7次呼吸、每分钟10次呼吸)(例如,如图7D、图7E和/或图7K所描绘)。在一些实施方案中,预先确定的生物识别节律是由用于提供用户体验会话的应用和/或由计算机系统的操作系统设置的默认设置。在一些实施方案中,预先确定的生物识别节律是用户选择的设置。在一些实施方案中,预先确定的生物识别节律包括心率。在一些实施方案中,预先确定的生物识别节律包括步行速度。将用户界面对象显示为具有基于预先确定的生物识别节律的动画效果包括:根据预先确定的生物识别节律是第一生物识别节律(例如,每分钟5次呼吸(例如,在一分钟内吸气然后呼气(任选地在其间暂停)五次)或每分钟6次呼吸)的确定(例如,基于用户体验会话的一个或多个设置),计算机系统基于对应于第一生物识别节律的第一模式来以动画方式显示用户界面对象(例如,利用呼吸节奏的吸气部分来使用户界面对象扩张以及利用呼吸节奏的呼气部分来使用户界面对象收缩,和/或利用呼吸节奏的吸气部分来使用户界面对象在第一方向上旋转以及利用呼吸节奏的呼气部分来使用户界面对象在第二方向上旋转),并且根据预先确定的生物识别节律是与第一生物识别节律不同的第二生物识别节律(例如,每分钟7次呼吸(例如,在一分钟内吸气然后呼气(任选地在其间暂停)七次)或每分钟8次呼吸)的确定,计算机系统基于对应于第二生物识别节律的第二模式来以动画方式显示用户界面对象(例如,利用呼吸节奏的吸气部分来使用户界面对象扩张以及利用呼吸节奏的呼气部分来使用户界面对象收缩,和/或利用呼吸节奏的吸气部分来使用户界面对象在第一方向上旋转以及利用呼吸节奏的呼气部分来使用户界面对象在第二方向上旋转)。根据预先确定的生物识别节律是第一生物识别节律的确定来基于对应于第一生物识别节律的第一模式来以动画方式显示用户界面对象,并且根据预先确定的生物识别节律是第二生物识别节律的确定来基于对应于第二生物识别节律的第二模式来以动画方式显示用户界面对象,提供了关于计算机系统的状态的反馈。
在一些实施方案中,预先确定的生物识别节律是由计算机系统(例如,702)的用户(例如,701)选择(例如,经由输入733)的生物识别节律(例如,用户可选择或可定制设置)。在一些实施方案中,第一生物识别节律是默认生物识别节律(例如,生物识别节律由用于提供用户体验会话的应用和/或由计算机系统的操作系统设置),并且第二生物识别节律是由计算机系统的用户选择的生物识别节律(例如,用户可选择或可定制设置)。在一些实施方案中,第一生物识别节律和第二生物识别节律两者是用户可选择设置。
在一些实施方案中,计算机系统(例如,702)与音频生成部件(例如,703)(例如,扬声器、骨传导音频输出设备和/或集成到HMD中的音频生成部件)通信。在一些实施方案中,在用户体验会话活动时,计算机系统输出具有基于计算机系统的用户的一个或多个呼吸特性而(例如,自动地)(例如,相对于用户的位置)移动的感知空间位置(例如,709-3至709-9)的音频组成部分(例如,711、774和/或794)(例如,针对用户体验会话(自动地)选择的声景的一个或多个音频组成部分)(例如,如图7D、图7E、图7F、图7G、图7H和/或图7K所描绘)。根据计算机系统的用户(例如,701)的第二呼吸事件(在一些实施方案中,第二呼吸事件是第一呼吸事件)满足第三组标准(在一些实施方案中,第三组标准是第一组标准)的确定,计算机系统输出具有相对于计算机系统的用户的第一感知空间位置(例如,如图7G所描绘的709-3至709-9)的音频组成部分。根据计算机系统的用户的第二呼吸事件满足第四组标准(在一些实施方案中,第四组标准是第二组标准)的确定,计算机系统输出相对于计算机系统的用户的具有与第一感知空间位置不同的第二感知空间位置(例如,如图7F所描绘的709-3至709-9)的音频组成部分。根据第二呼吸事件满足第三组标准的确定来输出具有相对于计算机系统的用户的第一感知空间位置的音频组成部分以及根据第二呼吸事件满足第四组标准的确定来输出具有相对于用户的第二感知空间位置的音频组成部分致使计算机系统基于计算机系统的用户的所检测的呼吸事件来自动地调整音频组成部分的空间位置。
在一些实施方案中,音频组成部分的空间位置结合呼吸事件的变化而改变。在一些实施方案中,音频组成部分的感知空间音频位置随着用户界面对象的粒子的移动而改变。例如,随着粒子以第一方式(例如,远离固定点扩张)移动,感知空间音频位置朝向计算机系统的用户移动,并且随着粒子以第二方式(例如,朝向固定点收缩)移动,感知空间音频位置远离计算机系统的用户移动。
在一些实施方案中,计算机系统(例如,702)的用户(例如,701)的物理环境(例如,700)的一部分在用户体验会话活动之前可见(例如,700a)(例如,经由透传视频显示和/或由于显示器的透明性质而可见)。在一些实施方案中,计算机系统发起(例如,开始、开始和/或激活)用户体验会话。在一些实施方案中,作为发起用户体验会话的一部分,计算机系统经由显示生成部件(例如,702-1)显示逐渐减小物理环境的可见度(例如,如图7B、图7C和/或图7D所描绘)(例如,物理环境的可见度在第一时间减小(例如,50%可见),在第一时间之后的第二时间进一步减小(例如,25%可见),在第二时间之后的第三时间进一步减小(例如,10%可见),并且在第三时间之后的第四时间进一步减小(例如,2%可见))的调光效果(例如,704)(例如,淡入淡出效果)(例如,调光99.9%、99%、98%、97%、95%、90%、85%、80%和/或小于100%的另一量)。显示逐渐减小物理环境的可见度的调光效果减少了干扰并且鼓励计算机系统的用户专注于用户体验会话。
在一些实施方案中,显示调光效果(例如,704)包括:在视觉上模糊对计算机系统(例如,702)的用户可见(例如,经由透传视频和/或由于显示器的透明性质)的物理环境(例如,700a)的视图。在一些实施方案中,显示调光效果包括:显示部分不透明并且不透明度增大的虚拟覆盖以降低物理环境透过虚拟覆盖的可见度,从而导致物理环境看起来淡出视线(或者看起来微弱可见)的效果。在一些实施方案中,调光效果是均匀的。在一些实施方案中,调光效果是可变的。
在一些实施方案中,在用户体验会话活动时,计算机系统(例如,702)经由一个或多个传感器(例如,702-2)检测计算机系统的用户(例如,701)的一个或多个基于专注的特性(例如,一个或多个生物识别特性(例如,头部移动、身体移动、呼吸速率、心率和/或眼神注视)和/或指示用户是否正在将他们的注意力专注于用户体验会话(例如,呼吸和/或收听音频指导)和/或指示对用户体验会话的特定专注水平的用户输入),并且输出基于计算机系统的用户的一个或多个基于专注的特性的反馈(例如,740-4)(例如,音频反馈和/或视觉反馈)(例如,如图7H所描绘)。输出基于计算机系统的用户的一个或多个基于专注的特性的反馈使得计算机系统能够自动地鼓励计算机系统的用户参与用户体验会话并且向用户提供关于所检测的基于专注的特性的反馈。
在一些实施方案中,输出基于计算机系统(例如,702)的用户(例如,701)的一个或多个基于专注的特性的反馈包括:经由显示生成部件显示基于计算机系统的用户的一个或多个基于专注的特性的视觉反馈(例如,用户界面对象的粒子(例如,712、772和/或792)的移动和/或指示用户专注水平的文本)。显示基于计算机系统的用户的一个或多个基于专注的特性的视觉反馈使得计算机系统能够自动地鼓励计算机系统的用户参与用户体验会话并且向用户提供关于所检测的基于专注的特性的视觉反馈。在一些实施方案中,当用户的一个或多个基于专注的特性指示用户正在专注于用户体验会话时,视觉反馈包括用户界面对象的粒子的移动。在一些实施方案中,当用户的一个或多个基于专注的特性指示用户未专注于用户体验会话时(例如,如图7H所描绘),视觉反馈包括粒子的移动的暂停(例如,临时暂停)。
在一些实施方案中,显示基于计算机系统(例如,702)的用户(例如,701)的一个或多个基于专注的特性的视觉反馈包括:根据计算机系统的用户的一个或多个基于专注的特性满足第一组专注标准(例如,用户的一个或多个生物识别特性(例如,头部移动、身体移动、呼吸速率、心率和/或眼睛注视)指示用户正在将他们的注意力专注于用户体验会话(例如,呼吸和/或收听音频指导))的确定(在一些实施方案中,并且根据用户的第一呼吸事件满足第一组标准的确定),将用户界面对象的粒子(例如,712、772和/或792)显示为在计算机系统的用户的向外呼吸(例如,呼气)期间远离参考位置(例如,用户的视点或预定义位置)移动(例如,如图7F所描绘)。将用户界面对象的粒子显示为在计算机系统的用户的向外呼吸期间远离参考位置移动提供了关于计算机系统的状态(例如,所显示的粒子对用户的所检测的向外呼吸有反应的状态)的反馈。在一些实施方案中,将用户界面对象的粒子显示为在用户的第一呼吸事件期间以第一方式移动包括:将粒子显示为在向外呼吸期间远离参考位置移动。
在一些实施方案中,显示基于计算机系统的用户的一个或多个基于专注的特性的视觉反馈包括:根据计算机系统的用户的一个或多个基于专注的特性满足第一组专注标准(例如,用户的一个或多个生物识别特性(例如,头部移动、身体移动、呼吸速率、心率和/或眼睛注视)指示用户正在将他们的注意力专注于用户体验会话(例如,呼吸和/或收听音频指导))的确定(在一些实施方案中,并且根据用户的第一呼吸事件满足第二组标准的确定),将用户界面对象的粒子(例如,712、772和/或792)显示为在计算机系统的用户的向内呼吸(例如,吸气)期间朝向参考位置(例如,用户的视点或预定义位置)移动(例如,如图7G所描绘)。将用户界面对象的粒子显示为在计算机系统的用户的向内呼吸期间朝向参考位置移动提供了关于计算机系统的状态(例如,所显示的粒子对用户的所检测的向内呼吸有反应的状态)的反馈。在一些实施方案中,将用户界面对象的粒子显示为在用户的第一呼吸事件期间以第二方式移动包括:将粒子显示为在向内呼吸期间朝向参考位置移动。
在一些实施方案中,计算机系统(例如,702)将用户界面对象的粒子(例如,712、772和/或792)显示为在向内呼吸期间以第一速率朝向参考位置移动。在一些实施方案中,计算机系统将用户界面对象的粒子显示为在向外呼吸期间以第二速率远离参考位置移动。在一些实施方案中,第二速率不同于(例如,慢于;快于)第一速率。在一些实施方案中,不管向内呼吸和向外呼吸的特性(例如,速度、音量和/或持续时间)如何,第二速率不同于第一速率。
在一些实施方案中,参考位置是对应于计算机系统(例如,702)的用户(例如,701)在物理环境(例如,700)中的视点的世界锁定的(例如,环境锁定的)位置(例如,用户的视点基于三维环境(例如,物理环境或虚拟环境)中的位置和/或对象(例如,参考该位置和/或对象而选择和/或锚定到该位置和/或对象))(例如,如图7H所描绘)。
在一些实施方案中,计算机系统(例如,702)与音频生成部件(例如,703)通信。在一些实施方案中,输出基于计算机系统的用户的一个或多个基于专注的特性的反馈包括:经由音频生成部件输出基于计算机系统的用户的一个或多个基于专注的特性的音频反馈(例如,740-4)(例如,命令计算机系统的用户专注于用户体验会话的一个或多个元素(例如,呼吸和/或收听音频)和/或音频音调的音频指导)。输出基于计算机系统的用户的一个或多个基于专注的特性的音频反馈使得计算机系统能够自动地鼓励计算机系统的用户参与用户体验会话。
在一些实施方案中,计算机系统(例如,702)的用户(例如,701)的一个或多个基于专注的特性包括多个生物识别指示符(例如,注视(例如,增加的移动/扫视)、头部位姿(头部方向的显著变化(例如,旋转和/或倾斜))和/或呼吸(例如,增加的或不规则的频率))。
在一些实施方案中,计算机系统(例如,702)的用户(例如,701)的一个或多个基于专注的特性包括对用户的专注是否未能满足专注标准(例如,用户的专注已停止专注于用户体验会话)达阈值时间量(例如,7秒、8秒、9秒或10秒)的指示。
在一些实施方案中,将用户界面对象的粒子(例如,712、772和/或792)显示为以第一方式或第二方式移动包括:计算机系统(例如,702)将第一组一个或多个粒子(例如,712-2)显示为具有距对应于计算机系统的用户的视点的位置的第一距离并且在第一呼吸事件期间具有第一移动量(例如,如图7F或图7G所描绘)(例如,从计算机系统的用户的角度朝向或远离参考点移动第一距离),并且将与第一组一个或多个粒子不同的第二组一个或多个粒子(例如,712-1)显示为具有距对应于计算机系统的用户的视点的位置的不同于(例如,小于;大于)第一距离的第二距离,并且在第一呼吸事件期间具有不同于(例如,小于;大于)第一移动量的第二移动量(例如,如图7F或图7G所描绘)(例如,从计算机系统的用户的角度朝向或远离参考点移动第二距离)。将第二组一个或多个粒子显示为具有距用户的与第一距离不同的第二距离并且在第一呼吸事件期间具有不同于第一移动量的第二移动量提供了关于计算机系统的状态的反馈。
在一些实施方案中,第一组一个或多个粒子(例如,712-2)被显示为具有与第二组一个或多个粒子(例如,712-1)相比距用户更远的感知距离,并且第一组一个或多个粒子在相应呼吸事件期间与第二组一个或多个粒子相比移动更小的量。在一些实施方案中,从用户的角度,相应粒子的距离越短,相应粒子在相应呼吸事件期间的移动量就越大。例如,随着用户吸气或呼气,被显示为更靠近用户的粒子与被显示为更远离用户的粒子相比看起来(对于用户)移动更大的量,并且被显示为更远离用户的粒子与被显示为更靠近用户的粒子相比看起来移动更小的量。
在一些实施方案中,多个粒子(例如,712、772和/或792)的移动基于一组一个或多个模拟物理参数(例如,惯性、弹簧常数和/或摩擦)。
在一些实施方案中,显示用于用户体验会话的用户界面包括:在用户体验会话活动时,计算机系统(例如,702)经由一个或多个传感器(例如,702-2)检测指示计算机系统的用户(例如,701)的注视的注视数据。在一些实施方案中,在将用户界面对象显示为具有基于计算机系统的用户的一个或多个呼吸特性而移动的多个粒子(例如,712、772和/或792)时,计算机系统检测更新的注视数据。在一些实施方案中,响应于检测到更新的注视数据,并且根据更新的注视数据指示用户的注视超过注视偏离阈值(例如,用户的注视未专注于或未看向用户体验会话的一个或多个元素(例如,粒子)达至少阈值时间量(例如,7秒、8秒、9秒、10秒或12秒))的确定,计算机系统暂停用户体验会话(例如,暂时停止用户体验会话)(例如,如图7H所描绘)。在一些实施方案中,响应于检测到更新的注视数据,并且根据更新的注视数据不指示用户的注视超过注视偏离阈值的确定,计算机系统放弃暂停用户体验会话(例如,继续或恢复用户体验会话)。基于更新的注视数据是否指示用户的注视超过注视偏离阈值的确定来选择性地暂停用户体验会话使得计算机系统能够在计算机系统的用户被干扰时自动地暂停用户体验会话。在一些实施方案中,暂停用户体验会话包括:停止显示用户界面对象。在一些实施方案中,暂停用户体验会话包括:以静止状态显示用户界面对象。在一些实施方案中,暂停用户体验会话包括:输出用于恢复对用户体验会话的专注的音频指令。
在一些实施方案中,显示用于用户体验会话的用户界面包括:计算机系统(例如,702)将用户界面(例如,705、710、712、770、772、790和/或794)显示为具有从一组可用视觉特性(例如,视觉特性的超集)随机地或伪随机地选择的一组视觉特性(例如,形状(例如,立方体、球体、球形物、云状物、棱锥体和/或抽象对象)、组成部分(例如,粒子)和/或视觉外观(例如,动画效果、半透明度、移动特性和/或显示的背景))。在一些实施方案中,计算机系统与音频生成部件(例如,703)通信。在一些实施方案中,计算机系统经由音频生成部件输出用于用户体验会话的音频声景(例如,711、774和/或794)(例如,被选择来创建用户体验会话的音频环境的一组策划的声音组成部分),其中与显示用于用户体验会话的用户界面并发地输出音频声景,并且输出音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分(例如,一组声音组成部分)的音频声景。将用户界面显示为具有从一组可用视觉特性随机地或伪随机地选择的一组视觉特性以及输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的音频声景使得计算机系统能够在通过不要求多个不同的完整音频轨道和/或视觉组成部分被存储和选择用于回放/显示来节省存储空间的同时提供更逼真的用户体验。在一些实施方案中,第一组音频组成部分中的两个或更多个音频组成部分是从用于音频声景的策划的声音组成部分的超集选择的策划的声音组成部分的子集。下文关于方法1000更详细地论述声景的附加方面。
在一些实施方案中,显示用于用户体验会话的用户界面包括,在将用户界面对象(例如,710、770和/或790)显示为具有其中多个粒子(例如,712、772和/或792)针对用户体验会话的第一部分(例如,介绍性部分)被显示为具有第一间距量(例如,粒子的密集、紧凑和/或紧密分组;形成形状(例如,球形物、云状物、三角形和/或立方体))的第一显示状态时(例如,如图7B、图7C和/或图7J所描绘),计算机系统(例如,702)检测从用户体验会话的第一部分到用户体验会话的第二部分(例如,用户体验会话的指导的呼吸部分)的转变。响应于检测到从用户体验会话的第一部分到用户体验会话的第二部分的转变,计算机系统将用户界面对象显示为具有与第一显示状态不同的第二显示状态(例如,转变到第二显示状态),其中多个粒子针对用户体验会话的第二部分被显示为具有不同于(例如,大于)第一间距量的第二间距量(例如,粒子的松散分组;粒子的更间隔开的定位,但仍形成相应形状(例如,球形物、云状物、三角形和/或立方体))(例如,如图7D、图7E、图7K和/或图7L所描绘)。响应于检测到从用户体验会话的第一部分到用户体验会话的第二部分的转变而将用户界面对象显示为具有与第一显示状态不同的第二显示状态,其中多个粒子针对用户体验会话的第二部分被显示具有不同于第一间距量的第二间距量,提供了关于计算机系统的状态(例如,计算机系统正在提供用户体验会话的特定部分的状态)的反馈。
在一些实施方案中,显示用于用户体验会话的用户界面包括:在计算机系统(例如,702)将用户界面对象(例如,710、770和/或790)显示为具有第二显示状态时(例如,如图7D、图7E、图7K和/或图7L所描绘),计算机检测从用户体验会话的第二部分到用户体验会话的第三部分(例如,用户体验会话的反应部分)的转变。响应于检测到从用户体验会话的第二部分到用户体验会话的第三部分的转变,计算机系统将用户界面对象显示为具有(例如,转变到)与第一显示状态和第二显示状态不同的第三显示状态,其中多个粒子(例如,712、772和/或792)针对用户体验会话的第三部分被显示为具有不同于(例如,大于)第二间距量的第三间距量(例如,粒子的间隔开定位和/或不再形成不同形状的粒子的间距)(例如,如图7F、图7G和/或图7H所描绘)。响应于检测到从用户体验会话的第二部分到用户体验会话的第三部分的转变而将用户界面对象显示为具有与第一显示状态和第二显示状态不同的第三显示状态,其中多个粒子针对用户体验会话的第三部分被显示具有不同于第二间距量的第三间距量,提供了关于计算机系统的状态(例如,计算机系统正在提供用户体验会话的特定部分的状态)的反馈。
在一些实施方案中,显示用于用户体验会话的用户界面包括:在计算机系统(例如,702)将用户界面对象(例如,710、770和/或790)显示为具有包括在粒子之间具有第一平均间距的布置(例如,如图7F、图7G和/或图7H所描绘)(例如,粒子的间隔开定位、粒子的不形成不同形状的间距、粒子的均匀间距、粒子的不规则间隔定位和/或粒子间距的不均匀方式)的多个粒子(例如,712、772和/或792)时,计算机系统检测用户体验会话的终止(例如,到用户体验会话的结束部分(例如,结尾)的转变或立即终止)。响应于检测到用户体验会话的终止,计算机系统将多个粒子的动画显示为移动到在粒子之间具有第二平均间距的布置,其中第二平均间距小于第一平均间距(例如,如图7I所描绘)(例如,粒子的密集、紧凑和/或紧密分组、形成形状(例如,球形物、云状物、三角形、棱锥体和/或立方体)、粒子的均匀间距、粒子的不规则间隔定位和/或粒子间距的不均匀方式)(例如,并且终止用户体验会话(例如,发起用户体验会话的终止))。响应于检测到用户体验会话的终止而将多个粒子的动画显示为移动到分组布置提供了关于计算机系统的状态(例如,计算机系统正在终止用户体验会话的状态)的反馈。在一些实施方案中,响应于检测到用户体验会话的终止,计算机系统在多个粒子被以动画方式显示为移动到在粒子之间具有第二平均间距的布置的同时(或之后)终止用户体验会话(或发起用户体验会话的终止)。在一些实施方案中,终止用户体验会话包括:转变到用户体验会话的结尾部分。
在一些实施方案中,显示用于用户体验会话的用户界面包括:在用户体验会话活动并且计算机系统(例如,702)的用户(例如,701)的环境(例如,700a)(例如,物理环境中的元素或XR环境中的虚拟元素的表示)在视觉上被模糊(例如,经由调光效果704)(例如,调光(例如1%可见或2%可见)或不显示)时,计算机系统检测用户体验会话的终止(例如,到用户体验会话的结束部分(例如,结尾)的转变)。响应于检测到用户体验会话的终止,计算机系统发起用户体验会话的终止(例如,转变到用户体验会话的结束部分(例如,结尾)和/或结束用户体验会话)并且逐渐地增大用户的环境的可见度(例如,将环境淡入视图)(例如,如图7I所描绘)。响应于检测到用户体验会话的终止而发起用户体验会话的终止并且逐渐增大用户的环境的可见度提供了关于计算机系统的状态(例如,计算机系统正在终止用户体验会话的状态)的反馈。在一些实施方案中,增大环境的可见度包括:减少被显示(例如,覆盖)到环境(例如,物理环境)上的调光效果。在一些实施方案中,增大环境的可见度包括:显示环境(例如,虚拟或XR环境)的更大部分。在一些实施方案中,环境的可见度在第一时间增大(例如,10%可见),在第一时间之后的第二时间进一步增大(例如,25%可见),在第二时间之后的第三时间进一步增大(例如,50%可见),并且在第三时间之后的第四时间进一步增大(例如,98%可见)。
在一些实施方案中,显示用于用户体验会话的用户界面包括:在用户体验会话活动时,计算机系统(例如,702)检测用户体验会话的终止(例如,到用户体验会话的结束部分(例如,结尾)的转变)。响应于检测到用户体验会话的终止,计算机系统发起用户体验会话的终止(例如,转变到用户体验会话的结束部分(例如,结尾)和/或结束用户体验会话)并且显示可选择来继续用户体验会话(例如,在会话的终止之后恢复用户体验会话;在会话的终止之前恢复用户体验会话)的选项(例如,758)。发起用户体验会话的终止并且显示可选择来继续用户体验会话的选项通过自动地显示继续用户体验会话的选项而无需附加用户输入来减少继续用户体验会话所需的输入数量。在一些实施方案中,响应于检测到对可选择来继续用户体验会话的选项的选择,计算机系统恢复用户体验会话并且停止可选择来继续用户体验会话的选项的显示。
在一些实施方案中,显示用于用户体验会话的用户界面包括:在用户体验会话活动时,计算机系统(例如,702)检测用户体验会话的终止(例如,到用户体验会话的结束部分(例如,结尾)的转变)。响应于检测到用户体验会话的终止,计算机系统发起用户体验会话的终止(例如,转变到用户体验会话的结束部分(例如,结尾)和/或结束用户体验会话)并且显示与一个或多个先前用户体验会话(例如,754和/或756)相关(例如,基于或对应于一个或多个先前用户体验会话)的数据历史(在一些实施方案中,一个或多个先前用户体验会话包括当前用户体验会话)。发起用户体验会话的终止并且显示与一个或多个先前用户体验会话相关的数据历史通过自动地显示历史数据而无需附加用户输入来减少观看历史数据所需的输入数量。
在一些实施方案中,显示用于用户体验会话的用户界面包括:致使计算机系统(例如,702)的用户(例如,701)的环境(例如,700a)(例如,物理环境中的元素和/或XR环境中的虚拟元素的表示)的至少一部分在用户体验会话活动时可见(例如,经由透传视频显示和/或由于显示器的透明性质而可见)(例如,如图7D、图7E、图7F、图7G和/或图7H所描绘)。致使计算机系统的用户的环境的至少一部分在用户体验会话活动时可见提供了关于计算机系统的状态的反馈。在一些实施方案中,用于用户体验会话的用户界面被显示为具有一定量的不透明度或透明度,使得用户的环境透过用户界面(或在用户界面后面)可见。在一些实施方案中,用户界面被显示为具有99.9%、99%、98%、97%、95%、90%、85%、80%和/或小于100%的另一量的不透明度。
在一些实施方案中,在用户体验会话活动时并且在计算机系统(例如,702)将用户界面对象(例如,710、770和/或790)显示为具有相对于计算机系统的用户(例如,701)的第一显示取向(例如,用户界面对象相对于用户以第一角度显示)时,计算机系统接收指示计算机系统的用户从环境(例如,700)中的第一定位(例如,如图7G所描绘)到环境中的与第一定位不同的第二定位的定位变化(例如,用户相对于用户的物理环境和/或XR环境的定位变化)(例如,如图7H所描绘)的数据。响应于接收到指示计算机系统的用户的定位变化的数据,计算机系统将用户界面对象显示为具有相对于计算机系统的用户的与第一显示取向不同的第二显示取向(例如,用户界面对象相对于用户以第二角度显示)(例如,如图7H所描绘)。响应于接收到指示计算机系统的用户的定位变化的数据而将用户界面对象显示为具有相对于计算机系统的用户的与第一显示取向不同的第二显示取向致使计算机系统基于计算机系统的用户的所检测的定位变化来自动地调整用户体验会话的所显示的视图。
在一些实施方案中,将用户界面对象显示为具有第二显示取向包括:显示用户界面对象的当用户界面对象被显示为具有第一取向时不可见(例如,显示的)至少一部分。在一些实施方案中,将用户界面对象显示为具有第二显示取向包括:隐藏(停止显示)用户界面对象的当用户界面对象被显示为具有第一取向时可见(例如,显示的)至少一部分。
在一些实施方案中,用于用户体验会话的用户界面能够在一个或多个外部计算机系统(例如,与其他用户(例如,XR环境中的用户)相关联的设备或计算机系统)处显示。
在一些实施方案中,在用户体验会话活动时并且在计算机系统(例如,702)正在将用户界面对象显示为具有基于计算机系统的用户的一个或多个呼吸特性而移动的多个粒子(例如,712、772和/或792)时,计算机系统接收指示计算机系统的用户(例如,701)的部分的位姿变化(例如,用户的手部和/或手臂正在XR环境中移动)的数据。响应于接收到指示计算机系统的用户的部分的位姿变化的数据,计算机系统更新多个粒子的显示,包括:根据指示用户的部分的位姿变化的数据包括用户的部分与相应粒子的显示位置相交(或在移动期间相交)的指示的确定,修改相应粒子的显示特性(例如,改变相应粒子的颜色、定位和/或取向,和/或显示基于用户的手部与相应粒子的相交的动画效果);以及根据指示用户的部分的位姿变化的数据不包括用户的部分与相应粒子的显示位置相交(或在移动期间相交)的指示的确定,放弃修改相应粒子的显示特性(例如,保持相应粒子的显示颜色、定位和/或取向和/或放弃显示基于用户的手部与相应粒子的相交的动画效果)。根据指示用户的部分的位姿变化的数据包括用户的部分与相应粒子的显示位置相交的指示的确定来修改相应粒子的显示特性致使计算机系统基于用户的部分的所检测的定位与相应粒子相交来自动地调整所显示的相应粒子。在一些实施方案中,粒子中的一些粒子基于用户的部分的移动而移动和/或改变颜色(例如,用户可与粒子交互)。
在一些实施方案中,方法900和/或1000的方面/操作可在这些方法之间互换、替换和/或添加。为了简明起见,此处不再重复这些细节。
图9是根据一些实施方案的用于向计算机生成的用户体验会话提供基于XR环境的特性而选择的选项的示例性方法900的流程图。在一些实施方案中,方法900在计算机系统(例如,图1中的计算机系统101和/或设备702)(例如,智能电话、平板设备和/或头戴式显示生成部件)处执行,该计算机系统与显示生成部件(例如,图1、图3和图4中的显示生成部件120和/或显示器702-1)(例如,显示器、触摸屏、视觉输出设备、3D显示器、具有图像可投影在其上的透明或半透明的至少一部分的显示器(例如,透视显示器)、投影仪、平视显示器和/或显示控制器)和一个或多个传感器(例如,相机702-2)(例如,陀螺仪、加速度计、运动传感器、移动传感器、麦克风、红外传感器、相机传感器、深度相机、可见光相机、眼睛跟踪传感器、注视跟踪传感器、生理传感器、图像传感器、向下指向用户的手部处的相机(例如,颜色传感器、红外传感器和其他深度感测相机)和/或从用户的头部向前指向的相机)通信。在一些实施方案中,方法900通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器(诸如计算机系统101的一个或多个处理器202)(例如,图1中的控件110)执行的指令来管理。方法900中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
在方法900中,在显示具有一个或多个特性(例如,照明特性、虚拟对象的显示、物理对象的直通显示和/或XR环境中的用户活动历史)的XR环境(例如,705、765和/或787)时,计算机系统(例如,702)经由一个或多个传感器(例如,702-1和/或702-2)检测(902)在XR环境中发起用户体验会话的请求(例如,经由输入724和/或输入778)(例如,在XR环境中开始用户体验的请求,该用户体验任选地包括用于放松和/或使用户专注的呼吸练习和/或用于帮助用户对场景、话题、想法、概念作出反应等的反应练习的指导指令)。
响应于检测到在XR环境中发起用户体验会话的请求,计算机系统(例如,702)在XR环境中发起(904)用户体验会话(例如,在XR环境中开始用户体验,该用户体验任选地包括用于放松和/或使用户专注的呼吸练习和/或用于帮助用户对场景、话题、想法、概念等作出反应的反应练习的指导指令)。在一些实施方案中,在XR环境中开始用户体验包括:启动用于提供用户体验的应用。
作为在XR环境中发起用户体验会话的一部分,计算机系统(例如,702)经由显示生成部件(例如,702-1)显示(906)(例如,在XR环境中)用于用户体验会话的用户界面(例如,705、765和/或787)(例如,用于呼吸练习和/或反应练习的应用的UI)。显示用于用户体验会话的用户界面包括:根据XR环境的一个或多个特性满足第一组标准的确定(例如,XR环境是AR环境;XR环境包括第一环境;XR环境具有第一组照明条件;先前已经在XR环境中发起一个或多个用户体验会话),则计算机系统将用于用户体验会话的用户界面显示(908)为具有针对用户体验会话启用的第一组一个或多个选项(例如,用于会话的第一组视觉和/或音频特性、显示第一虚拟环境和/或将一个或多个虚拟对象显示为具有第一外观)。
根据XR环境的一个或多个特性满足与第一组标准不同的第二组标准的确定(例如,XR环境是VR环境;XR环境包括第二环境;XR环境具有第二组照明条件;先前尚未在XR环境中发起用户体验会话),计算机系统(例如,702)将用于用户体验会话的用户界面显示(910)为具有针对用户体验会话启用的第二组一个或多个选项(例如,用于会话的第二组视觉和/或音频特性、显示第二虚拟环境和/或将一个或多个虚拟对象显示为具有第二外观),其中第二组一个或多个选项与第一组一个或多个选项不同。根据XR环境的一个或多个特性满足第一组标准的确定来将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第一组一个或多个选项,并且根据XR环境的一个或多个特性满足第二组标准的确定来将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第二组一个或多个选项,减少了将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的特定选项所需的输入数量。
在一些实施方案中,将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第一组一个或多个选项(例如,用于会话的第一组视觉和/或音频特性)包括:计算机系统(例如,702)显示用于用户体验会话的增强现实(AR)环境(例如,705)(例如,如图7B、图7C、图7D、图7E、图7F、图7G、图7H和/或图7I所描绘)。在一些实施方案中,将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第二组一个或多个选项(例如,用于会话的第二组视觉和/或音频特性)包括:计算机系统显示用于用户体验会话的虚拟现实(VR)环境(例如,765和/或787)(例如,如图7J、图7K和/或图7L所描绘)。当XR环境的一个或多个特性满足第一组标准或第二组标准时显示用于用户体验会话的AR环境或VR环境致使设备基于XR环境的特性来自动地启用AR环境或VR环境而无需显示附加控件。
在一些实施方案中,第一组一个或多个选项包括从第一组可用选项(例如,针对AR环境的选项的超集)选择(例如,随机地或伪随机地)的用于AR环境(例如,如图7B、图7C、图7D、图7E、图7F、图7G、图7H和/或图7I所描绘)的选项的第一子集(例如,用于用户体验会话的视觉和/或音频特性)。在一些实施方案中,第二组一个或多个选项包括从第二组可用选项(例如,针对VR环境的选项的超集)选择(例如,随机地或伪随机地)的用于VR环境(例如,如图7J、图7K和/或图7L所描绘)的选项的第二子集(例如,用于用户体验会话的视觉和/或音频特性)。在一些实施方案中,第一组可用选项包括与第二组可用选项不同数量(更少或更多)的选项。从第一组可用选项选择用于AR环境的选项的第一子集并且从第二组可用选项选择用于VR环境的选项的第二子集,其中第一组可用选项包括与第二组可用选项不同数量的选项,使得计算机系统能够在通过不要求多个不同的完整音频轨道和/或视觉组成部分被存储和选择用于回放/显示来节省存储空间的同时提供更逼真的用户体验。在一些实施方案中,可供用于VR环境的选项与可供用于AR环境的选项相比更有限。在一些实施方案中,可供用于VR环境的选项可被用来创建用于创建VR环境的更少的一组配方,或者与以其他方式可供用于创建AR环境相比包括更小范围的变量。
在一些实施方案中,将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第一组一个或多个选项(例如,用于会话的第一组视觉和/或音频特性)包括:计算机系统(例如,702)显示用于用户体验会话的第一环境(例如,765)(例如,第一虚拟环境)。在一些实施方案中,将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第二组一个或多个选项(例如,用于会话的第二组视觉和/或音频特性)包括:显示用于用户体验会话的与第一环境不同的第二环境(例如,787)(例如,第二虚拟环境)。当XR环境的一个或多个特性满足第一组标准或第二组标准时显示用于用户体验会话的第一环境或第二环境致使设备基于XR环境的特性来自动地显示第一环境或第二环境而无需显示附加控件。
在一些实施方案中,虚拟环境是三维环境的幕布或壁纸。在一些实施方案中,虚拟环境可被显示为在用户体验会话之外(例如,之前和/或之后)。在一些实施方案中,虚拟环境提供虚拟三维空间,其中用户使用计算机系统诸如使用应用、玩游戏、与其他用户通信、体验与其他用户的共现和/或与计算机系统的操作系统的元件交互来执行活动。在一些实施方案中,计算机系统为各种虚拟环境提供相应空间音频声景。在一些实施方案中,空间音频声景对于每个相应虚拟环境是唯一的。在一些实施方案中,例如为了传达相应虚拟环境的特定情绪和/或主题,针对相应虚拟环境策划空间音频声景。
在一些实施方案中,第一组一个或多个选项包括用于第一环境的基于第一环境的一个或多个特性(例如,765)的第一组变量(例如,770、772、774和/或780-1)(例如,用于用户体验会话的视觉和/或音频特性)(例如,针对第一环境定制或优化用于第一环境的变量)。在一些实施方案中,第二组一个或多个选项包括用于第二环境(例如,787)的基于第二环境的一个或多个特性的第二组变量(例如,790、792、794和/或785-1)(例如,用于用户体验会话的视觉和/或音频特性)(例如,与第一组变量不同)(例如,针对第二环境定制或优化用于第二环境的变量)。
在一些实施方案中,第一组标准包括当用于先前用户体验会话(例如,用户体验会话的先前实例)的先前用户界面(例如,765)已经被显示为具有用于先前用户体验会话的一组先前视觉特性(例如,770和/或772)(例如,先前用户体验会话的所显示的组成部分的视觉特性、颜色、形状、大小、图形和/或动画效果)时满足的第一标准。在一些实施方案中,将用于用户体验会话的用户界面显示为具有针对用户体验会话(例如,用户体验会话的当前实例)启用的第一组一个或多个选项包括:计算机系统(例如,702)将用户界面(例如,787)显示为具有与用于先前用户体验会话的一组先前视觉特性不同的用于用户体验会话的第一组视觉特性(例如,790和/或792)(例如,用户体验会话的所显示的组成部分的视觉特性、颜色、形状、大小、图形和/或动画效果)。将用户界面显示为具有与用于先前用户体验会话的一组先前视觉特性不同的用于用户体验会话的第一组视觉特性使得计算机系统能够基于用户体验会话的历史来生成用于用户体验会话的唯一或新鲜的用户界面而无需显示附加控件。在一些实施方案中,用户体验会话的后续实例(例如,重复的用户体验会话)具有被选择为唯一的或与用户体验会话的先前实例不同的不同视觉特性。在一些实施方案中,第三组标准包括第一标准。在一些实施方案中,第二组标准包括当用于第二先前用户体验会话的第二先前用户界面已经被显示为具有用于第二先前用户体验会话的第二组先前视觉特性时满足的第二标准。在一些实施方案中,将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第二组一个或多个选项包括:将用户界面显示为具有与用于第二先前用户体验会话的第二组先前视觉特性不同(并且任选地,与用于先前用户体验会话的该组先前视觉特性不同)的用于用户体验会话的第二组视觉特性。
在一些实施方案中,由计算机系统(例如,702)从一组可用视觉特性(例如,视觉特性的超集)随机地或伪随机地选择用于用户体验会话的第一组视觉特性。从该组可用视觉特性随机地或伪随机地选择用于用户体验会话的第一组视觉特性使得计算机系统能够在通过不要求多个不同的完整视觉组成部分被存储和选择用于显示来节省存储空间的同时提供更逼真的用户体验。在一些实施方案中,以偏向于不重复在先前用户体验会话中已经使用的视觉特性中的一个或多个视觉特性来选择用于用户体验会话的该组视觉特性。例如,该组可用视觉特性包括该组先前视觉特性,并且第一组视觉特性选自可用视觉特性的不包括该组先前视觉特性的子集。
在一些实施方案中,该组先前视觉特性包括针对在先前用户体验会话中显示的用户界面对象(例如,710、712、770、772、790和/或792)(例如,形成立方体、球体、球形物、云状物、棱锥体和/或抽象对象的一个或多个粒子)的模拟照明效果(例如,模拟光反射)的第一光属性(例如,光的方向、颜色和/或强度)。在一些实施方案中,第一组视觉特性包括针对在用户体验会话中显示的用户界面对象的模拟照明效果的与第一光属性不同的第二光属性(例如,用于用户体验会话的用户界面包括用户界面对象,该用户界面对象包括具有从粒子反射的模拟光的一组光属性的多个粒子)。将用户界面显示为具有包括针对在用户体验会话中显示的用户界面对象的模拟照明效果的与第一光属性不同的第二光属性的第一组视觉特性使得计算机系统能够在通过不要求多个不同的完整视觉组成部分被存储和选择用于显示来节省存储空间的同时提供更逼真的用户体验。
在一些实施方案中,该组先前视觉特性包括针对在先前用户体验会话中显示的用户界面对象(例如,710、712、770、772、790和/或792)(例如,形成立方体、球体、球形物、云状物、棱锥体和/或抽象对象的一个或多个粒子)的第一材料属性(例如,模拟光学属性、形状和/或弯曲)。在一些实施方案中,第一组视觉特性包括针对在用户体验会话中显示的用户界面对象的与第一材料属性不同的第二材料属性(例如,用于用户体验会话的用户界面包括用户界面对象,该用户界面对象包括具有一组材料属性的多个粒子)。将用户界面显示为具有包括针对在用户体验会话中显示的用户界面对象的与第一材料属性不同的第二材料属性的第一组视觉特性使得计算机系统能够在通过不要求多个不同的完整视觉组成部分被存储和选择用于显示来节省存储空间的同时提供更逼真的用户体验。
在一些实施方案中,将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第一组一个或多个选项(例如,用于会话的第一组视觉和/或音频特性)包括:计算机系统(例如,702)将用于用户体验会话的VR环境(例如,765和/或787)显示为具有第一强调量(例如,低调光量、无调光;无调光效果;无VR环境的淡入淡出)。在一些实施方案中,将用于用户体验会话的用户界面显示为具有针对用户体验会话启用的第二组一个或多个选项(例如,用于会话的第二组视觉和/或音频特性)包括:将用于用户体验会话的AR环境(例如,705)显示为具有小于第一强调量的第二强调量(例如,704)(例如,AR环境被显示为具有更大的淡入淡出效果或调光效果)(例如,AR环境被调光99.9%、99%、98%、97%、95%、90%、85%、80%、50%、20%、15%、10%、7%、5%、3%、2%、1%、0.5%和/或大于0%的另一量)。将用于用户体验会话的AR环境显示为具有小于针对VR环境的第一强调量的第二强调量减少了对用户体验会话的干扰。
在一些实施方案中,AR环境与VR环境相比被显示为具有更大的调光量。在一些实施方案中,显示调光效果包括:在视觉上模糊对计算机系统(例如,702)的用户(例如,701)可见(例如,经由透传视频或由于显示器的透明性质)的物理环境的视图(例如,700a)。在一些实施方案中,显示调光效果(例如,704)包括:显示部分透明的虚拟覆盖以透过虚拟覆盖示出物理环境。在一些实施方案中,对AR环境进行调光以便以与VR环境中的方式不同的方式减少干扰。例如,计算机系统可通过显示特定虚拟环境来和谐VR环境中的用户体验会话,由此减少对用户的潜在干扰,而AR环境中的干扰通过计算机系统对物理环境中的对象的可见度进行调光来减少。
在一些实施方案中,显示用于用户体验会话的用户界面包括:将多个用户界面对象(例如,710、712、770、772、790和/或792)(例如,形成立方体、球体、球形物、云状物、棱锥体和/或抽象对象的一个或多个粒子)显示为具有基于用于用户体验会话的环境(例如,700a、705、765和/或787)(例如,XR环境中的物理对象、虚拟对象、所检测的照明和/或虚拟照明)的半透明外观(例如,粒子的半透明外观受用于用户体验会话的环境的元素影响)。将多个用户界面对象显示为具有基于用于用户体验会话的环境的半透明外观使得计算机系统能够在通过不要求多个不同的完整视觉组成部分被存储和选择用于显示来节省存储空间的同时基于用于用户体验会话的环境来提供更逼真的用户体验。
在一些实施方案中,将多个用户界面对象(例如,710、712、770、772、790和/或792)显示为具有基于用于用户体验会话的环境的半透明外观包括:根据用于用户体验会话的环境包括第一虚拟照明效果(例如,XR环境中的光的模拟定位、方向、颜色和/或强度)的确定,计算机系统(例如,702)将多个用户界面对象显示为具有第一半透明外观(例如,粒子的半透明度在相应粒子上具有第一定位和/或第一半透明度量)(例如,在图7J和/或图7K中)。在一些实施方案中,根据用于用户体验会话的环境包括与第一虚拟照明效果不同的第二虚拟照明效果(例如,XR环境中的光的模拟定位、方向、颜色和/或强度)的确定,将多个用户界面对象显示为具有与第一半透明外观不同的第二半透明外观(例如,粒子的半透明度在相应粒子上具有第二定位和/或第二半透明度量)(例如,在图7L中)。根据环境包括第二虚拟照明效果的确定来将多个用户界面对象显示为具有第二半透明外观使得计算机系统能够在通过不要求多个不同的完整视觉组成部分被存储和选择用于显示来节省存储空间的同时基于用于用户体验会话的环境中的虚拟照明效果来提供更逼真的用户体验。在一些实施方案中,具有半透明外观的用户界面对象的视觉外观受AR/VR环境的虚拟照明影响。
在一些实施方案中,在XR环境中发起用户体验会话包括:计算机系统(例如,702)增加用户体验会话的一个或多个沉浸式方面(例如,增加由环境占据的用户视场的比例,和/或增加环境的音频的空间沉浸感)(例如,如图7D和/或图7K所描绘)。增加用户体验会话的一个或多个沉浸式方面提供了关于计算机系统的状态的反馈并且消除了对用户体验会话的干扰。
在一些实施方案中,增加用户体验会话的一个或多个沉浸式方面包括:计算机系统(例如,702)增大由用于用户体验会话的用户界面占据的用户视场(例如,显示生成部件(例如,702-1)的视场)的比例(例如,增大图7K中的虚拟壁纸765、虚拟对象770和/或粒子772的所显示的大小)(例如,增大图7D中的虚拟界面705、虚拟对象710和/或粒子712的所显示的大小)。增大由用于用户体验会话的用户界面占据的用户视场的比例提供了关于计算机系统的状态的反馈并且消除了对用户体验会话的干扰。
在一些实施方案中,增加用户体验会话的一个或多个沉浸式方面包括:计算机系统(例如,702)增加针对用户体验会话生成的音频的空间沉浸感(例如,致使音频的感知空间位置从被感知为远离计算机系统的用户的距离的第一位置移动到(由用户)感知为在用户附近和/或周围的第二位置)(例如,图7D和/或图7K中的从立体声音频转变到空间音频)。增加针对用户体验会话生成的音频的空间沉浸感提供了关于计算机系统的状态的反馈并且消除了对用户体验会话的干扰。
在一些实施方案中,方法800和1000的方面/操作可在这些方法之间互换、替换和/或添加。为了简明起见,此处不再重复这些细节。
图10A至图10B是根据一些实施方案的用于向计算机生成的用户体验会话提供具有随机地选择的策划的声音组成部分的声景的示例性方法900的流程图。在一些实施方案中,方法1000在计算机系统(例如,图1中的计算机系统101和/或设备702)(例如,智能电话、平板设备和/或头戴式显示生成部件)处执行,该计算机系统与显示生成部件(例如,图1、图3和图4中的显示生成部件120和/或显示器702-1)(例如,显示器、触摸屏、视觉输出设备、3D显示器、具有图像可投影在其上的透明或半透明的至少一部分的显示器(例如,透视显示器)、投影仪、平视显示器和/或显示控制器)、音频生成部件(例如,音频输出设备703和/或设备702处的扬声器,或者集成到HMD中的音频生成部件)(例如,扬声器和/或骨传导音频输出设备)和一个或多个传感器(例如,相机702-2)(例如,陀螺仪、加速度计、运动传感器、移动传感器、麦克风、红外传感器、相机传感器、深度相机、可见光相机、眼睛跟踪传感器、注视跟踪传感器、生理传感器、图像传感器、向下指向用户的手部处的相机(例如,颜色传感器、红外传感器和其他深度感测相机)和/或从用户的头部向前指向的相机)通信。在一些实施方案中,方法1000通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器(诸如计算机系统101的一个或多个处理器202)(例如,图1中的控件110)执行的指令来管理。方法1000中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
在方法1000中,计算机系统(702)在第一时间(例如,图7B所描绘或图7J所描绘)经由一个或多个传感器(例如,702-1和/或702-2)检测(1002)在XR环境中发起相应类型的用户体验会话的请求(例如,输入724、输入778或类似输入)(例如,在XR环境中开始用户体验的请求,该用户体验任选地包括用于放松和/或使用户专注的呼吸练习和/或用于帮助用户对场景、话题、想法、概念等作出反应的反应练习的指导指令)。
响应于检测到在XR环境中发起用户体验会话的请求,计算机系统(例如,702)在XR环境中发起(1004)相应类型的第一用户体验会话(例如,图7D所描绘和图7K所描绘)(例如,在XR环境中开始用户体验,该用户体验任选地包括用于放松和/或使用户专注的呼吸练习和/或用于帮助用户对场景、话题、想法、概念等作出反应的反应练习的指导指令)。在一些实施方案中,在XR环境中开始用户体验包括:启动用于提供用户体验的应用。
作为在XR环境中发起相应类型的第一用户体验会话的一部分,计算机系统(例如,702)经由显示生成部件(例如,702-1)显示(1006)(例如,在XR环境中)用于第一用户体验会话的用户界面(例如,705、710、712、765、770和/或772)(例如,用于呼吸练习和/或反应练习的应用的UI)。计算机系统还经由音频生成部件(例如,703)输出(1008)用于第一用户体验会话的第一音频声景(例如,711或774)(例如,被选择来创建用于用户体验会话的音频环境的一组策划的声音组成部分)(例如,在显示用于第一用户体验会话的用户界面时)。计算机系统与显示用于第一用户体验会话的用户界面并发地输出第一音频声景。输出第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的第一音频声景。在一些实施方案中,第一组音频组成部分中的两个或更多个音频组成部分是从用于音频声景的策划的声音组成部分的超集选择的策划的声音组成部分的子集。
在方法1000中,计算机系统(例如,702)在与第一时间不同的第二时间(例如,图7B所描绘或图7J所描绘)经由一个或多个传感器(例如,702-1和/或702-2)检测(1010)在XR环境中发起相应类型的用户体验会话的请求(例如,输入724、输入778或类似输入)(例如,在XR环境中开始用户体验的请求,该用户体验任选地包括用于放松和/或使用户专注的呼吸练习和/或用于帮助用户对场景、话题、想法、概念等作出反应的反应练习的指导指令)。
响应于检测到在XR环境中发起用户体验会话的请求,计算机系统(例如,702)在XR环境中发起(1012)相应类型的第二用户体验会话(例如,图7L所描绘)(例如,在XR环境中开始用户体验,该用户体验任选地包括用于放松和/或使用户专注的呼吸练习和/或用于帮助用户对场景、话题、想法、概念等作出反应的反应练习的指导指令)。在一些实施方案中,在XR环境中开始用户体验包括:启动用于提供用户体验的应用。
作为在XR环境中发起相应类型的第二用户体验会话的一部分,计算机系统(例如,702)经由显示生成部件(例如,702-1)显示(1014)(例如,在XR环境中)用于第二用户体验会话的用户界面(例如,787、790和/或792)(例如,用于呼吸练习和/或反应练习的应用的UI)。计算机系统还经由音频生成部件(例如,703)输出(1016)用于第二用户体验会话的第二音频声景(例如,794)(例如,被选择来创建用于用户体验会话的音频环境的一组策划的声音组成部分)(例如,在显示用于第二用户体验会话的用户界面时)。计算机系统与显示用于第二用户体验会话的用户界面并发地输出第二音频声景。输出第二音频声景包括:输出具有从该组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分(例如,与第一组两个或更多个音频组成部分不同)的第二音频声景。输出用于第二用户体验会话的第二音频声景,其中该第二音频声景与显示用于第二用户体验会话的用户界面并发地输出,并且输出第二音频声景包括输出具有从该组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的第二音频声景,使得计算机系统能够在通过不要求多个不同的完整音频轨道被存储和选择用于回放来节省存储空间的同时提供更逼真的用户体验。在一些实施方案中,第二组音频组成部分中的两个或更多个音频组成部分是从用于音频声景的策划的声音组成部分的超集选择的策划的声音组成部分的子集。在一些实施方案中,第二组音频组成部分中的两个或更多个音频组成部分中的至少一个音频组成部分被选择为与第一组音频组成部分中的音频组成部分不同。
在一些实施方案中,输出用于第一用户体验会话的第一音频声景(例如,711或774)包括:计算机系统(例如,702)在第一用户体验会话期间重复(例如,在循环上连续重复)第一组两个或更多个音频组成部分。在一些实施方案中,输出用于第二用户体验会话的第二音频声景包括:在第二用户体验会话期间重复(例如,在循环上连续重复)第二组两个或更多个音频组成部分。在第一用户体验会话期间重复第一组两个或更多个音频组成部分提供了关于计算机系统的状态(例如,输出第一用户体验会话的状态)的反馈。
在一些实施方案中,第一音频声景(例如,711或774)的第一组两个或更多个音频组成部分与第二音频声景(例如,794)的第二组两个或更多个音频组成部分不同。输出第一声景和/或第二声景,其中第一组两个或更多个音频组成部分与第二组两个或更多个音频组成部分不同,使得计算机系统能够在通过不要求多个不同的完整音频轨道被存储和选择用于回放来节省存储空间的同时提供更逼真的用户体验。
在一些实施方案中,与显示用于第一用户体验会话的用户界面(例如,705、710、712、765、770和/或772)并发地输出用于第一用户体验会话的第一音频声景(例如,711或774)包括以下内容。当用于第一用户体验会话的用户界面包括第一预先确定的动画效果(例如,针对第一用户体验会话的特定阶段或部分显示的视觉组成部分的动画效果)(例如,针对第一用户体验的指导的呼吸部分的视觉组成部分(例如,球形物、球体、立方体、旋涡和/或云状物)的脉动动画(例如,增大视觉组成部分的大小和减小视觉组成部分的大小的重复的交替模式))时,计算机系统(例如,702)输出具有第一组音频特性的第一组两个或更多个音频组成部分(例如,第一组两个或更多个音频组成部分具有基于预先确定的动画效果而确定的一组音频特性)(例如,当视觉组成部分的大小增大时增大第一组中的两个或更多个音频组成部分的音量,并且当视觉组成部分的大小减小时减小第一组中的两个或更多个音频组成部分的音量)。当用于第一用户体验会话的用户界面包括与第一预先确定的动画效果不同的第二预先确定的动画效果(例如,针对第一用户体验的反应部分的视觉组成部分(例如,粒子、三角形、圆圈、正方形和/或小立方体)的浮动/摇摆动画外观)时,计算机系统输出具有与第一组音频特性不同的第二组音频特性的第一组两个或更多个音频组成部分(例如,音频基于视觉组成部分的浮动/摇摆移动而被输出为具有空间位置变化)。当用于第一用户体验会话的用户界面包括第一预先确定的动画效果时输出具有第一组音频特性的第一组两个或更多个音频组成部分并且当第一用户体验会话包括与第一预先确定的动画效果不同的第二预先确定的动画效果时输出具有与第一组音频特性不同的第二组音频特性的第一组两个或更多个音频组成部分致使计算机系统基于在用于第一用户体验会话的用户界面中输出的动画效果来自动地修改第一音频声景。
在一些实施方案中,与显示用于第二用户体验会话的用户界面(例如,787、790和/或792)并发地输出用于第二用户体验会话的第二音频声景(例如,794)包括以下内容。当用于第二用户体验会话的用户界面包括第三预先确定的动画效果(在一些实施方案中,第三预先确定的动画效果与第一预先确定的动画效果相同)时,计算机系统(例如,702)输出具有第三组音频特性(在一些实施方案中,第三组音频特性与第一组音频特性相同)的第二组两个或更多个音频组成部分。当用于第二用户体验会话的用户界面包括与第三预先确定的动画效果不同的第四预先确定的动画效果(在一些实施方案中,第四预先确定的动画效果与第二预先确定的动画效果相同)时,计算机系统输出具有与第三组音频特性不同的第四组音频特性的第二组两个或更多个音频组成部分(在一些实施方案中,第四组音频特性与第二组音频特性相同)。
在一些实施方案中,视觉效果(例如,预先确定的动画效果)和音频组成部分(例如,711、774和/或794)(例如,对应音频声景)两者都基于一些标准(例如,相同标准)进行选择。例如,当(例如,由用户和/或由计算机系统)选择特定声景时,(例如,由计算机系统)自动地选择对应视觉效果来伴随所选择的声景,或者当选择特定视觉效果时,(例如,由计算机系统)自动地选择对应声景来伴随所选择的视觉效果。作为另一示例,选择特定虚拟环境、主题和/或情绪,并且针对所选择的环境、主题和/或情绪,(例如,由计算机系统)自动地选择特定声景和/或视觉效果。
在一些实施方案中,在输出用于第一用户体验会话的第一音频声景(例如,711或774)时,计算机系统(例如,702)检测(例如,确定)(例如,使用传感器)生物识别输入(例如,向内呼吸、向外呼吸、心跳和/或身体移动)。在一些实施方案中,响应于检测到生物识别输入,计算机系统修改第一音频声景,包括:根据生物识别输入包括第一生物识别输入(例如,向内呼吸)的确定,计算机系统以第一方式修改第一组两个或更多个音频组成部分(例如,将第一声景输出为具有音频组成部分的正在朝向用户移动的感知空间位置)(例如,如图7G中的空间音频指示符709-3至709-9的位置所描绘)。根据生物识别输入包括与第一生物识别输入不同的第二生物识别输入(例如,向外呼吸)的确定,计算机系统以与第一方式不同的第二方式修改第一组两个或更多个音频组成部分(例如,将第一声景输出为具有音频组成部分的正在远离用户移动的感知空间位置)(例如,如图7F中的空间音频指示符709-3至709-9的位置所描绘的)。当生物识别输入包括第一生物识别输入时以第一方式修改第一组两个或更多个音频组成部分并且当生物识别输入包括与第一生物识别输入不同的第二生物识别输入时以与第一方式不同的第二方式修改第一组两个或更多个音频组成部分致使计算机系统基于在第一用户体验会话期间检测到的生物识别输入来自动地修改第一音频声景。
在一些实施方案中,在输出用于第二用户体验会话的第二音频声景(例如,774或794)时,计算机系统(例如,702)检测生物识别输入。响应于检测到生物识别输入,计算机系统修改第二音频声景,包括:根据生物识别输入包括第三生物识别输入(例如,第一生物识别输入)(例如,向内呼吸)的确定,以第三方式(例如,以第一方式)修改第二组两个或更多个音频组成部分(例如,将第二声景输出为具有音频组成部分的正在朝向用户移动的感知空间位置);并且根据生物识别输入包括与第三生物识别输入不同的第四生物识别输入(例如,第二生物识别输入)(例如,向外呼吸)的确定,以与第三方式不同的第四方式(例如,以第二方式)修改第二组两个或更多个音频组成部分(例如,将第二声景输出为具有音频组成部分的正在远离用户移动的感知空间位置)。在一些实施方案中,音频的特性(例如,音频的空间位置和/或音频的空间移动)基于用户生物识别测量(例如,呼吸、移动和/或心率)。
在一些实施方案中,输出用于第一用户体验会话的第一音频声景(例如,711或774)包括:根据满足第一组标准的确定(例如,预先确定的时间量已经过去和/或第一用户体验正在从用户体验的第一部分转变(或已经转变)到用户体验的第二部分),计算机系统(例如,702)致使第一音频声景的输出音量逐渐增大(例如,如图7D和/或图7K所描绘);并且根据满足第二组标准的确定(例如,预先确定的时间量已经过去和/或第一用户体验正在从用户体验的第二部分转变(或已经转变)到用户体验的第三部分),致使第一音频声景的输出音量逐渐减小(例如,如图7I所描绘)。当满足第一组标准时致使第一音频声景的输出音量逐渐增大并且当满足第二组标准时致使第一音频声景的输出音量逐渐减小致使计算机系统基于在第一用户体验会话期间满足的标准来自动地修改第一音频声景。
在一些实施方案中,输出用于第二用户体验会话的第二音频声景(例如,774或794)包括:根据满足第三组标准(例如,满足第一组标准)的确定,计算机系统(例如,702)致使第二音频声景的输出音量逐渐增大(例如,如图7D和/或图7K所描绘);并且根据满足第四组标准(例如,满足第二组标准)的确定,计算机系统致使第二音频声景的输出音量逐渐减小(例如,如图7I所描绘)。
在一些实施方案中,在XR环境中发起(例如,开始)相应类型的第一用户体验会话包括:计算机系统(例如,702)输出具有相应音频组成部分(例如,开始声音和/或与第一用户体验会话的开始和/或结束重合的声音)的第一音频声景(例如,711和/或774)。在一些实施方案中,在输出用于第一用户体验会话的第一音频声景时(例如,并且在第一音频声景不包括相应音频组成部分时),计算机系统发起(例如,响应于用户输入、在特定时间量已经过去之后、和/或在第一用户体验会话的至少一部分完成之后)第一用户体验会话的终止(例如,如图7I所描绘),其中终止第一用户体验会话包括:输出具有相应音频组成部分的第一音频声景。当发起相应类型的第一用户体验会话时和当发起第一用户体验会话的终止时输出具有相应音频组成部分的第一音频声景向计算机系统的用户提供了关于计算机系统的状态(例如,开始或结束第一用户体验会话的状态)的反馈。
在一些实施方案中,在XR环境中发起相应类型的第二用户体验会话包括:计算机系统(例如,702)输出具有第二相应音频组成部分(例如,开始声音和/或与第二用户体验会话的开始和/或结束重合的声音)的第二音频声景(例如,774和/或794)。在输出用于第二用户体验会话的第二音频声景时(例如,并且在第二音频声景不包括第二相应音频组成部分时),计算机系统发起(例如,响应于用户输入、在特定时间量已经过去之后、和/或在第二用户体验会话的至少一部分完成之后)第二用户体验会话的终止(例如,如图7I所描绘),其中终止第二用户体验会话包括:输出具有第二相应音频组成部分的第二音频声景。
在一些实施方案中,在第一用户体验会话或第二用户体验会话的终止之后,计算机系统(例如,702)不输出第一音频声景。在一些实施方案中,声景具有在特定用户体验会话的开始时和在特定用户体验会话的结束时输出的相同声音。在一些实施方案中,声景在不同用户体验会话的开始时具有相同的开始声音(并且对于每个用户体验会话任选地具有不同的结束声音,该结束声音任选地是相同的结束声音)。在一些实施方案中,声景在不同用户体验会话的结束时具有相同的结束声音(并且对于每个用户体验会话任选地具有不同的开始声音,该开始声音任选地是相同的开始声音)。在一些实施方案中,声景在不同用户体验会话的开始时具有不同的开始声音。在一些实施方案中,声景在不同用户体验会话的结束时具有不同的结束声音。
在一些实施方案中,输出第一音频声景(例如,711和/或774)包括:在输出具有第一组两个或更多个音频组成部分的第一音频声景时,计算机系统(例如,702)输出第三组一个或多个音频组成部分(例如,与第一组不同的音频组成部分),其中第三组一个或多个音频组成部分在第一用户体验会话期间的一个或多个随机地选择或伪随机地选择的实例(例如,时刻)处输出。在第一用户体验会话期间的一个或多个随机地选择或伪随机地选择的实例处输出第三组一个或多个音频组成部分使得计算机系统能够在通过不要求多个不同的完整音频轨道被存储和选择用于回放来节省存储空间的同时提供更逼真的用户体验。在一些实施方案中,输出第二音频声景包括:在输出具有第二组两个或更多个音频组成部分的第二音频声景时,输出第四组一个或多个音频组成部分,其中第四组一个或多个音频组成部分在第二用户体验会话期间的一个或多个随机地选择或伪随机地选择的实例处输出。在一些实施方案中,第一音频声景和/或第二音频声景包括在整个声景中随机地(或伪随机地)生成以向声景引入多样性的一种或多种声音。
在一些实施方案中,该组可用音频组成部分包括被选择来当在相应类型的用户体验会话期间(例如,在第一用户体验会话期间和/或在第二用户体验会话期间)的一个或多个随机地选择或伪随机地选择的实例(例如,时刻)处并发地输出时满足和谐标准(例如,音频组成部分被指示为和谐的)的多个音频组成部分。
在一些实施方案中,在输出具有包括相对于计算机系统(例如,702)的用户(例如,701)第一感知空间位置(例如,709-1至709-9)的第一组两个或更多个音频组成部分的第一音频声景(例如,711和/或774)时,计算机系统接收更新数据(例如,指示第一用户体验会话的状态变化的数据)。响应于接收到更新数据,计算机系统更新第一用户体验会话的状态,包括:根据更新数据包括满足第一组音频更新标准的指示的确定(例如,第一预先确定的时间量已经过去和/或第一用户体验正在从用户体验的第一部分转变(或已经转变)到用户体验的第二部分),输出具有包括相对于计算机系统的用户的第二感知空间位置(例如,如图7F所描绘)的第一组两个或更多个音频组成部分的第一音频声景,其中第二感知空间位置与第一感知空间位置不同(例如,将第一声景输出为具有音频组成部分的正在朝向用户移动的感知空间位置);以及根据更新数据包括满足第二组音频更新标准的指示的确定(例如,第二预先确定的时间量已经过去和/或第一用户体验正在从用户体验的第二部分转变(或已经转变)到用户体验的第三部分),输出具有包括相对于计算机系统的用户的第三感知空间位置(例如,如图7G所描绘)的第一组两个或更多个音频组成部分的第一音频声景,其中第三感知空间位置与第二感知空间位置不同(例如,将第一声景输出为具有音频组成部分的正在远离用户移动的感知空间位置)。在一些实施方案中,声景的感知空间音频位置随时间推移而改变。基于更新数据是否包括满足第一组音频更新标准或第二组音频更新标准的指示来输出具有包括相对于计算机系统的用户的第二感知空间位置或第三感知空间位置的第一组两个或更多个音频组成部分的第一音频声景致使计算机系统基于在第一用户体验会话期间满足的音频更新标准来自动地修改第一音频声景的感知空间位置。
在一些实施方案中,第一组两个或更多个音频组成部分包括来自第一音频源(例如,叙述者、叙述者、指导者、教练和/或人)的第一音频记录(例如,740-1、740-2、740-3和/或740-4),并且第二组两个或更多个音频组成部分包括来自第一音频源的第二音频记录(例如,780-1和/或785-1)。输出具有包括来自第一音频源的第一音频记录的第一组两个或更多个音频组成部分的第一声景并且输出具有包括来自第一音频源的第二音频记录的第二组两个或更多个音频组成部分的第二声景使得计算机系统能够在通过不要求多个不同的完整音频轨道被存储和选择用于回放来节省存储空间的同时提供更逼真的用户体验。在一些实施方案中,第二音频记录与第一音频记录不同。在一些实施方案中,第二音频记录具有与第一音频记录共用的一个或多个元素(例如,对话、指令和/或短语)。在一些实施方案中,第二音频记录具有与第一音频记录不同的一个或多个元素(例如,语调、音调、节奏、抑扬、音高和/或口音)。
在一些实施方案中,来自第一音频源的第一音频记录(例如,740-1、740-2、740-3和/或740-4)包括具有第一组说话特性(例如,语调、节奏、音调、抑扬、音高和/或口音)的第一对话(例如,说出的词语、指令和/或指导),并且来自第一音频源的第二音频记录(例如,780-1和/或785-1)包括具有与第一组说话特性不同的第二组说话特性的第一对话。输出具有来自第一音频源的包括具有第一组说话特性的第一对话的第一音频记录的第一声景以及输出具有包括具有与第一组说话特性不同的第二组说话特性的第一对话的第二音频记录的第二声景使得计算机系统能够在通过不要求多个不同的完整音频轨道被存储和选择用于回放来节省存储空间的同时提供更逼真的用户体验。
在一些实施方案中,来自第一音频源的第一音频记录(例如,740-1、740-2、740-3和/或740-4)包括第二对话(例如,说出的词语、指令和/或指导),并且来自第一音频源的第二音频记录(例如,780-1和/或785-1)包括与第二对话不同的第三对话。输出具有来自第一音频源的包括第二对话的第一音频记录的第一声景以及输出具有包括与第二对话不同的第三对话的第二音频记录的第二声景使得计算机系统能够在通过不要求多个不同的完整音频轨道被存储和选择用于回放来节省存储空间的同时提供更逼真的用户体验。
在一些实施方案中,方法800和/或900的方面/操作可在这些方法之间互换、替换和/或添加。为了简明起见,此处不再重复这些细节。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
如上文所述,本技术的一个方面在于采集并使用得自各种来源的数据,以改善用户的XR体验。本公开预期,在一些实例中,这些所采集的数据可包括唯一地标识或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平有关的数据或记录(例如,生命体征测量、药物信息、锻炼信息)、出生日期或任何其他标识或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可用于改善用户的XR体验。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可以用于提供对用户总体健康状况的见解,或者可以用作对使用技术追求健康目标的个人的积极反馈。
本公开预期,负责这样的个人信息数据的收集、分析、公开、传输、存储或其他用途的实体将遵守完善的隐私政策和/或隐私措施。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。这样的政策应该便于用户访问,并应该随着对数据的收集和/或使用的变化而被更新。来自用户的个人信息应该出于合法且合理的实体用途进行收集,并且不得在这些合法用途之外共享或出售。此外,这样的收集/共享应该在接收到用户的知情同意之后进行。另外,这样的实体应该考虑采取任何必要的步骤,以用于保护和保障对这样的个人信息数据的访问,并确保有权访问个人信息数据的其他实体遵守其隐私政策和程序。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。另外,政策和实践应该适应于采集和/或访问的特定类型的个人信息数据,并适应于包括特别管辖范围的考虑的适用法律和标准。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此,对于每个国家中的不同个人数据类型,应该主张不同的隐私措施。
不管前述如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。也就是说,本公开预期硬件元件和/或软件元件,以防止或阻止对这样的个人信息数据的访问。例如,就XR体验而言,本发明技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。又如,用户可选择不提供用于服务定制的数据。再如,用户可选择限制保持数据的时间长度或者完全禁止定制服务的开发。除了提供“选择加入”和“选择退出”选项以外,本公开还预期提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的意图是个人信息数据应该以最小化无意或未经授权访问或使用的风险的方式来管理和处理。一旦不再需要数据,可以通过限制收集数据和删除数据使风险最小化。此外,并且当适用时,包括在某些健康相关应用中,数据脱离标识可以用于保护用户的隐私。可在适当时通过移除特定标识符(例如,出生日期等)、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户之间聚合数据)、和/或其他方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可通过基于非个人信息数据或绝对最低限度量的个人信息(诸如,与用户相关联的设备所请求的内容、对服务可用的其他非个人信息、或可公开获得的信息)推断偏好来生成XR体验。

Claims (85)

1.一种方法,所述方法包括:
在与显示生成部件和一个或多个传感器通信的计算机系统处:
经由所述显示生成部件显示用于用户体验会话的用户界面,包括:
在所述用户体验会话活动时:
经由所述一个或多个传感器检测所述计算机系统的用户的一个或多个呼吸特性;以及
显示具有基于所述计算机系统的所述用户的所述一个或多个呼吸特性而移动的多个粒子的用户界面对象,包括:
根据确定所述计算机系统的所述用户的第一呼吸事件满足第一组标准,在所述计算机系统的所述用户的所述第一呼吸事件期间将所述用户界面对象的所述粒子显示为以第一方式移动;以及
根据确定所述计算机系统的所述用户的所述第一呼吸事件满足第二组标准,在所述计算机系统的用户的所述第一呼吸事件期间将所述用户界面对象的所述粒子显示为以与所述第一方式不同的第二方式移动。
2.根据权利要求1所述的方法,其中所述计算机系统与音频生成部件通信,并且其中显示用于所述用户体验会话的所述用户界面包括:
在所述用户体验会话活动之前,并发地:
经由所述显示生成部件显示所述用户界面对象的所述多个粒子的表示;以及
经由所述音频生成部件输出用于所述用户体验会话的音频声景。
3.根据权利要求2所述的方法,其中显示用于所述用户体验会话的所述用户界面还包括:在所述用户体验会话活动之前显示所述用户体验的环境的调光的外观。
4.根据权利要求1至3中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在所述用户体验会话活动之前:
显示能够选择来发起所述用户体验会话的开始选项;以及
显示对所述用户体验会话的持续时间的指示。
5.根据权利要求4所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在所述用户体验会话活动之前:
显示能够选择来修改所述用户体验会话的所述持续时间的一组一个或多个持续时间选项;
检测指向所述一组一个或多个持续时间选项中的能够选择来修改所述用户体验会话的所述持续时间的第一持续时间选项的输入;以及
响应于检测到指向所述一组一个或多个持续时间选项中的所述第一持续时间选项的所述输入,将所述用户体验会话的持续时间选择为第一持续时间。
6.根据权利要求1至5中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在所述用户体验会话活动之前:
显示能够选择来从用于所述用户体验会话的多个音频指导挑选音频指导的一组一个或多个音频选项;
检测指向所述一组一个或多个音频选项中的能够选择来从用于所述用户体验会话的所述多个音频指导挑选音频指导的第一音频选项的输入;以及
响应于检测到指向所述第一音频选项的所述输入,从用于所述用户体验会话的所述多个音频指导选择第一音频指导。
7.根据权利要求1至6中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在所述用户体验会话活动时:
将所述用户界面对象显示为具有基于预先确定的生物识别节律的动画效果,包括:
根据确定所述预先确定的生物识别节律是第一生物识别节律,基于对应于所述第一生物识别节律的第一模式来以动画方式显示所述用户界面对象;以及
根据确定所述预先确定的生物识别节律是与所述第一生物识别节律不同的第二生物识别节律,基于对应于所述第二生物识别节律的第二模式来以动画方式显示所述用户界面对象。
8.根据权利要求7所述的方法,其中所述预先确定的生物识别节律是由所述计算机系统的用户选择的生物识别节律。
9.根据权利要求1至8中任一项所述的方法,其中所述计算机系统与音频生成部件通信,所述方法还包括:
在所述用户体验会话活动时:
输出具有基于所述计算机系统的用户的所述一个或多个呼吸特性而移动的感知空间位置的音频组成部分,包括:
根据确定所述计算机系统的所述用户的第二呼吸事件满足第三组标准,输出具有相对于所述计算机系统的所述用户的第一感知空间位置的所述音频组成部分;以及
根据确定所述计算机系统的用户的所述第二呼吸事件满足第四组标准,输出具有相对于所述计算机系统的所述用户的与所述第一感知空间位置不同的第二感知空间位置的所述音频组成部分。
10.根据权利要求1至9中任一项所述的方法,其中所述计算机系统的所述用户的物理环境的部分在所述用户体验会话活动之前可见,所述方法还包括:
发起所述用户体验会话,包括:
经由所述显示生成部件显示逐渐减小所述物理环境的可见度的调光效果。
11.根据权利要求1至10中任一项所述的方法,所述方法还包括:
在所述用户体验会话活动时:
经由所述一个或多个传感器检测所述计算机系统的所述用户的一个或多个基于专注的特性;以及
输出基于所述计算机系统的用户的所述一个或多个基于专注的特性的反馈。
12.根据权利要求11所述的方法,其中输出基于所述计算机系统的用户的所述一个或多个基于专注的特性的反馈包括:经由所述显示生成部件显示基于所述计算机系统的用户的所述一个或多个基于专注的特性的视觉反馈。
13.根据权利要求12所述的方法,其中显示基于所述计算机系统的用户的所述一个或多个基于专注的特性的视觉反馈包括:
根据确定所述计算机系统的用户的所述一个或多个基于专注的特性满足第一组专注标准,将所述用户界面对象的所述粒子显示为在所述计算机系统的所述用户的向外呼吸期间远离参考位置移动。
14.根据权利要求13所述的方法,其中显示基于所述计算机系统的用户的所述一个或多个基于专注的特性的视觉反馈包括:
根据确定所述计算机系统的用户的所述一个或多个基于专注的特性满足所述第一组专注标准,将所述用户界面对象的所述粒子显示为在所述计算机系统的所述用户的向内呼吸期间朝向所述参考位置移动。
15.根据权利要求14所述的方法,其中:
所述用户界面对象的所述粒子被显示为在所述向内呼吸期间以第一速率朝向所述参考位置移动;
所述用户界面对象的所述粒子被显示为在所述向外呼吸期间以第二速率远离所述参考位置移动;并且
所述第二速率与所述第一速率不同。
16.根据权利要求13所述的方法,其中所述参考位置是对应于所述计算机系统的所述用户在物理环境中的视点的世界锁定的位置。
17.根据权利要求11至16中任一项所述的方法,其中所述计算机系统与音频生成部件通信,并且其中输出基于所述计算机系统的用户的所述一个或多个基于专注的特性的反馈包括:经由所述音频生成部件输出基于所述计算机系统的用户的所述一个或多个基于专注的特性的音频反馈。
18.根据权利要求11至17中任一项所述的方法,其中所述计算机系统的用户的所述一个或多个基于专注的特性包括多个生物识别指示符。
19.根据权利要求11至18中任一项所述的方法,其中所述计算机系统的用户的所述一个或多个基于专注的特性包括对所述用户的专注是否未能满足专注标准达阈值时间量的指示。
20.根据权利要求1至19中任一项所述的方法,其中将所述用户界面对象的所述粒子显示为以所述第一方式或所述第二方式移动包括:
将第一组一个或多个粒子显示为具有距对应于所述计算机系统的用户的所述视点的位置的第一距离并且在所述第一呼吸事件期间具有第一移动量;以及
将与所述第一组一个或多个粒子不同的第二组一个或多个粒子显示为具有距对应于所述计算机系统的用户的所述视点的所述位置的与所述第一距离不同的第二距离并且在所述第一呼吸事件期间具有与所述第一移动量不同的第二移动量。
21.根据权利要求1至20中任一项所述的方法,其中所述多个粒子的移动基于一组一个或多个模拟物理参数。
22.根据权利要求1至21中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在所述用户体验会话活动时,经由所述一个或多个传感器检测指示所述计算机系统的所述用户的注视的注视数据;
在显示具有基于所述计算机系统的用户的所述一个或多个呼吸特性而移动的所述多个粒子的所述用户界面对象时,检测更新的注视数据;以及
响应于检测到所述更新的注视数据:
根据确定所述更新的注视数据指示所述用户的所述注视超过注视偏离阈值,暂停所述用户体验会话;以及
根据确定所述更新的注视数据不指示所述用户的所述注视超过所述注视偏离阈值,放弃暂停所述用户体验会话。
23.根据权利要求1至22中任一项所述的方法,其中:
显示用于所述用户体验会话的所述用户界面包括:将所述用户界面显示为具有从一组可用视觉特性随机地或伪随机地选择的一组视觉特性;并且
所述计算机系统与音频生成部件通信,所述方法还包括:
经由所述音频生成部件输出用于所述用户体验会话的音频声景,其中所述音频声景与显示用于所述用户体验会话的所述用户界面并发地输出,并且输出所述音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的所述音频声景。
24.根据权利要求1至23中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在显示具有第一显示状态的所述用户界面对象时,检测从所述用户体验会话的所述第一部分到所述用户体验会话的第二部分的转变,所述第一显示状态中所述多个粒子针对所述用户体验会话的第一部分被显示为具有第一间距量;以及
响应于检测到从所述用户体验会话的所述第一部分到所述用户体验会话的所述第二部分的所述转变,显示具有与所述第一显示状态不同的第二显示状态的所述用户界面对象,其中所述多个粒子针对所述用户体验会话的所述第二部分被显示为具有与所述第一间距量不同的第二间距量。
25.根据权利要求24所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在显示具有所述第二显示状态的所述用户界面对象时,检测从所述用户体验会话的所述第二部分到所述用户体验会话的第三部分的转变;以及
响应于检测到从所述用户体验会话的所述第二部分到所述用户体验会话的所述第三部分的所述转变,显示具有与所述第一显示状态和所述第二显示状态不同的第三显示状态的所述用户界面对象,其中所述多个粒子针对所述用户体验会话的所述第三部分被显示为具有与所述第二间距量不同的第三间距量。
26.根据权利要求1至25中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在显示具有包括在粒子之间具有第一平均间距的布置的所述多个粒子的所述用户界面对象时,检测所述用户体验会话的终止;以及
响应于检测到所述用户体验会话的终止,将所述多个粒子的动画显示为移动到在粒子之间具有第二平均间距的布置,其中所述第二平均间距小于所述第一平均间距。
27.根据权利要求1至26中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在所述用户体验会话活动并且所述计算机系统的所述用户的环境在视觉上模糊时,检测所述用户体验会话的终止;以及
响应于检测到所述用户体验会话的终止,发起所述用户体验会话的终止并且逐渐增大所述用户的所述环境的可见度。
28.根据权利要求1至27中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在所述用户体验会话活动时,检测所述用户体验会话的终止;以及
响应于检测到所述用户体验会话的终止,发起所述用户体验会话的终止并且显示能够选择来继续所述用户体验会话的选项。
29.根据权利要求1至28中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:
在所述用户体验会话活动时,检测所述用户体验会话的终止;以及
响应于检测到所述用户体验会话的终止,发起所述用户体验会话的终止并且显示与一个或多个先前用户体验会话相关的数据历史。
30.根据权利要求1至29中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:致使所述计算机系统的所述用户的环境的至少部分在所述用户体验会话活动时可见。
31.根据权利要求1至30中任一项所述的方法,所述方法还包括:
在所述用户体验会话活动时并且在显示具有相对于所述计算机系统的所述用户的第一显示取向的所述用户界面对象时,接收指示所述计算机系统的所述用户从环境中的第一定位到所述环境中的与所述第一定位不同的第二定位的定位变化的数据;以及
响应于接收到指示所述计算机系统的所述用户的定位变化的所述数据,显示具有相对于所述计算机系统的所述用户的与所述第一显示取向不同的第二显示取向的所述用户界面对象。
32.根据权利要求1至31中任一项所述的方法,其中用于所述用户体验会话的所述用户界面能够在一个或多个外部计算机系统处显示。
33.根据权利要求1至32中任一项所述的方法,所述方法还包括:
在所述用户体验会话活动时并且在显示具有基于所述计算机系统的用户的所述一个或多个呼吸特性而移动的所述多个粒子的所述用户界面对象时,接收指示所述计算机系统的所述用户的部分的位姿变化的数据;以及
响应于接收到指示所述计算机系统的用户的所述部分的位姿变化的所述数据,更新所述多个粒子的显示,包括:
根据确定指示所述用户的所述部分的位姿变化的所述数据包括所述用户的所述部分与相应粒子的显示位置相交的指示,
修改所述相应粒子的显示特性;以及
根据确定指示所述用户的所述部分的位姿变化的所述数据不包括所述用户的所述部分与所述相应粒子的所述显示位置相交的指示,放弃修改所述相应粒子的所述显示特性。
34.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至33中任一项所述的方法的指令。
35.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至33中任一项所述的方法的指令。
36.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
用于执行根据权利要求1至33中任一项所述的方法的构件。
37.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至33中任一项所述的方法的指令。
38.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件显示用于用户体验会话的用户界面,包括:
在所述用户体验会话活动时:
经由所述一个或多个传感器检测所述计算机系统的用户的一个或多个呼吸特性;以及
显示具有基于所述计算机系统的用户的所述一个或多个呼吸特性而移动的多个粒子的用户界面对象,包括:
根据确定所述计算机系统的所述用户的第一呼吸事件满足第一组标准,在所述计算机系统的用户的所述第一呼吸事件期间将所述用户界面对象的所述粒子显示为以第一方式移动;以及
根据确定所述计算机系统的用户的所述第一呼吸事件满足第二组标准,在所述计算机系统的用户的所述第一呼吸事件期间将所述用户界面对象的所述粒子显示为以与所述第一方式不同的第二方式移动。
39.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件显示用于用户体验会话的用户界面,包括:
在所述用户体验会话活动时:
经由所述一个或多个传感器检测所述计算机系统的用户的一个或多个呼吸特性;以及
显示具有基于所述计算机系统的用户的所述一个或多个呼吸特性而移动的多个粒子的用户界面对象,
包括:
根据确定所述计算机系统的所述用户的第一呼吸事件满足第一组标准,在所述计算机系统的用户的所述第一呼吸事件期间将所述用户界面对象的所述粒子显示为以第一方式移动;以及
根据确定所述计算机系统的用户的所述第一呼吸事件满足第二组标准,在所述计算机系统的用户的所述第一呼吸事件期间将所述用户界面对象的所述粒子显示为以与所述第一方式不同的第二方式移动。
40.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
用于经由所述显示生成部件显示用于用户体验会话的用户界面的构件,所述显示包括:
在所述用户体验会话活动时:
经由所述一个或多个传感器检测所述计算机系统的用户的一个或多个呼吸特性;以及
显示具有基于所述计算机系统的用户的所述一个或多个呼吸特性而移动的多个粒子的用户界面对象,包括:
根据确定所述计算机系统的所述用户的第一呼吸事件满足第一组标准,在所述计算机系统的用户的所述第一呼吸事件期间将所述用户界面对象的所述粒子显示为以第一方式移动;以及
根据确定所述计算机系统的用户的所述第一呼吸事件满足第二组标准,在所述计算机系统的用户的所述第一呼吸事件期间将所述用户界面对象的所述粒子显示为以与所述第一方式不同的第二方式移动。
41.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件显示用于用户体验会话的用户界面,包括:
在所述用户体验会话活动时:
经由所述一个或多个传感器检测所述计算机系统的用户的一个或多个呼吸特性;以及
显示具有基于所述计算机系统的用户的所述一个或多个呼吸特性而移动的多个粒子的用户界面对象,包括:
根据确定所述计算机系统的所述用户的第一呼吸事件满足第一组标准,在所述计算机系统的用户的所述第一呼吸事件期间将所述用户界面对象的所述粒子显示为以第一方式移动;以及
根据确定所述计算机系统的用户的所述第一呼吸事件满足第二组标准,在所述计算机系统的用户的所述第一呼吸事件期间将所述用户界面对象的所述粒子显示为以与所述第一方式不同的第二方式移动。
42.一种方法,所述方法包括:
在与显示生成部件和一个或多个传感器通信的计算机系统处:
在显示具有一个或多个特性的XR环境时,经由所述一个或多个传感器检测在所述XR环境中发起用户体验会话的请求;以及
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述用户体验会话,包括:
经由所述显示生成部件显示用于所述用户体验会话的用户界面,其中显示用于所述用户体验会话的所述用户界面包括:
根据确定所述XR环境的所述一个或多个特性满足第一组标准,显示具有针对所述用户体验会话启用的第一组一个或多个选项的用于所述用户体验会话的所述用户界面;以及
根据确定所述XR环境的所述一个或多个特性满足与所述第一组标准不同的第二组标准,显示具有针对所述用户体验会话启用的第二组一个或多个选项的用于所述用户体验会话的所述用户界面,其中所述第二组一个或多个选项与所述第一组一个或多个选项不同。
43.根据权利要求42所述的方法,其中:
显示具有针对所述用户体验会话启用的所述第一组一个或多个选项的用于所述用户体验会话的所述用户界面包括:显示用于所述用户体验会话的增强现实(AR)环境;并且
显示具有针对所述用户体验会话启用的所述第二组一个或多个选项的用于所述用户体验会话的所述用户界面包括:显示用于所述用户体验会话的虚拟现实(VR)环境。
44.根据权利要求43所述的方法,其中:
所述第一组一个或多个选项包括从第一组可用选项选择的用于所述AR环境的选项的第一子集;
所述第二组一个或多个选项包括从第二组可用选项选择的用于所述VR环境的选项的第二子集;并且
所述第一组可用选项包括与所述第二组可用选项不同数量的选项。
45.根据权利要求42至44中任一项所述的方法,其中:
显示具有针对所述用户体验会话启用的所述第一组一个或多个选项的用于所述用户体验会话的所述用户界面包括:显示用于所述用户体验会话的第一环境;并且
显示具有针对所述用户体验会话启用的所述第二组一个或多个选项的用于所述用户体验会话的所述用户界面包括:显示用于所述用户体验会话的与所述第一环境不同的第二环境。
46.根据权利要求45所述的方法,其中:
所述第一组一个或多个选项包括用于所述第一环境的基于所述第一环境的一个或多个特性的第一组变量;并且
所述第二组一个或多个选项包括用于所述第二环境的基于所述第二环境的一个或多个特性的第二组变量。
47.根据权利要求42至46中任一项所述的方法,其中:
所述第一组标准包括当用于先前用户体验会话的先前用户界面已经被显示为具有用于所述先前用户体验会话的一组先前视觉特性时满足的第一标准;并且
显示具有针对所述用户体验会话启用的所述第一组一个或多个选项的用于所述用户体验会话的所述用户界面包括:显示具有与用于所述先前用户体验会话的所述一组先前视觉特性不同的用于所述用户体验会话的第一组视觉特性的所述用户界面。
48.根据权利要求47所述的方法,其中用于所述用户体验会话的所述第一组视觉特性是从一组可用视觉特性随机地或伪随机地选择的。
49.根据权利要求47至48中任一项所述的方法,其中:
所述一组先前视觉特性包括针对在所述先前用户体验会话中显示的用户界面对象的模拟照明效果的第一光属性;并且
所述第一组视觉特性包括针对在所述用户体验会话中显示的用户界面对象的模拟照明效果的与所述第一光属性不同的第二光属性。
50.根据权利要求47至49中任一项所述的方法,其中:
所述一组先前视觉特性包括针对在所述先前用户体验会话中显示的用户界面对象的第一材料属性;并且
所述第一组视觉特性包括针对在所述用户体验会话中显示的用户界面对象的与所述第一材料属性不同的第二材料属性。
51.根据权利要求42至50中任一项所述的方法,其中:
显示具有针对所述用户体验会话启用的所述第一组一个或多个选项的用于所述用户体验会话的所述用户界面包括:将用于所述用户体验会话的VR环境显示为具有第一强调量;并且
显示具有针对所述用户体验会话启用的所述第二组一个或多个选项的用于所述用户体验会话的所述用户界面包括:将用于所述用户体验会话的AR环境显示为具有小于所述第一强调量的第二强调量。
52.根据权利要求42至51中任一项所述的方法,其中显示用于所述用户体验会话的所述用户界面包括:显示具有基于用于所述用户体验会话的环境的半透明外观的多个用户界面对象。
53.根据权利要求52所述的方法,其中显示具有基于所述用户体验会话的所述环境的所述半透明外观的所述多个用户界面对象包括:
根据确定用于所述用户体验会话的所述环境包括第一虚拟照明效果,显示具有第一半透明外观的所述多个用户界面对象;以及
根据确定用于所述用户体验会话的所述环境包括与所述第一虚拟照明效果不同的第二虚拟照明效果,显示具有与所述第一半透明外观不同的第二半透明外观的所述多个用户界面对象。
54.根据权利要求42至53中任一项所述的方法,其中在所述XR环境中发起所述用户体验会话包括:增加所述用户体验会话的一个或多个沉浸式方面。
55.根据权利要求54所述的方法,其中增加所述用户体验会话的一个或多个沉浸式方面包括:增加由用于所述用户体验会话的所述用户界面占据的用户视场的比例。
56.根据权利要求54至55中任一项所述的方法,其中增加所述用户体验会话的一个或多个沉浸式方面包括:增加针对所述用户体验会话生成的音频的空间沉浸感。
57.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求42至56中任一项所述的方法的指令。
58.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求42至56中任一项所述的方法的指令。
59.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
用于执行根据权利要求42至56中任一项所述的方法的构件。
60.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求42至56中任一项所述的方法的指令。
61.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
在显示具有一个或多个特性的XR环境时,经由所述一个或多个传感器检测在所述XR环境中发起用户体验会话的请求;以及
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述用户体验会话,包括:
经由所述显示生成部件显示用于所述用户体验会话的用户界面,其中显示用于所述用户体验会话的所述用户界面包括:
根据确定所述XR环境的所述一个或多个特性满足第一组标准,显示具有针对所述用户体验会话启用的第一组一个或多个选项的用于所述用户体验会话的所述用户界面;以及
根据确定所述XR环境的所述一个或多个特性满足与所述第一组标准不同的第二组标准,显示具有针对所述用户体验会话启用的第二组一个或多个选项的用于所述用户体验会话的所述用户界面,其中所述第二组一个或多个选项与所述第一组一个或多个选项不同。
62.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
在显示具有一个或多个特性的XR环境时,经由所述一个或多个传感器检测在所述XR环境中发起用户体验会话的请求;以及
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述用户体验会话,包括:
经由所述显示生成部件显示用于所述用户体验会话的用户界面,其中显示用于所述用户体验会话的所述用户界面包括:
根据确定所述XR环境的所述一个或多个特性满足第一组标准,显示具有针对所述用户体验会话启用的第一组一个或多个选项的用于所述用户体验会话的所述用户界面;以及
根据确定所述XR环境的所述一个或多个特性满足与所述第一组标准不同的第二组标准,显示具有针对所述用户体验会话启用的第二组一个或多个选项的用于所述用户体验会话的所述用户界面,其中所述第二组一个或多个选项与所述第一组一个或多个选项不同。
63.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
用于在显示具有一个或多个特性的XR环境时,经由所述一个或多个传感器检测在所述XR环境中发起用户体验会话的请求的构件;和
用于响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述用户体验会话的构件,包括:
用于经由所述显示生成部件显示用于所述用户体验会话的用户界面的构件,其中显示用于所述用户体验会话的所述用户界面包括:
根据确定所述XR环境的所述一个或多个特性满足第一组标准,显示具有针对所述用户体验会话启用的第一组一个或多个选项的用于所述用户体验会话的所述用户界面;以及
根据确定所述XR环境的所述一个或多个特性满足与所述第一组标准不同的第二组标准,显示具有针对所述用户体验会话启用的第二组一个或多个选项的用于所述用户体验会话的所述用户界面,其中所述第二组一个或多个选项与所述第一组一个或多个选项不同。
64.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
在显示具有一个或多个特性的XR环境时,经由所述一个或多个传感器检测在所述XR环境中发起用户体验会话的请求;以及
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述用户体验会话,包括:
经由所述显示生成部件显示用于所述用户体验会话的用户界面,其中显示用于所述用户体验会话的所述用户界面包括:
根据确定所述XR环境的所述一个或多个特性满足第一组标准,显示具有针对所述用户体验会话启用的第一组一个或多个选项的用于所述用户体验会话的所述用户界面;以及
根据确定所述XR环境的所述一个或多个特性满足与所述第一组标准不同的第二组标准,显示具有针对所述用户体验会话启用的第二组一个或多个选项的用于所述用户体验会话的所述用户界面,其中所述第二组一个或多个选项与所述第一组一个或多个选项不同。
65.一种方法,所述方法包括:
在与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统处:
在第一时间经由所述一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求;
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述相应类型的第一用户体验会话,包括:
经由所述显示生成部件显示用于所述第一用户体验会话的用户界面;以及
经由所述音频生成部件输出用于所述第一用户体验会话的第一音频声景,其中所述第一音频声景与显示用于所述第一用户体验会话的所述用户界面并发地输出,并且输出所述第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的所述第一音频声景;
在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求;以及
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述相应类型的第二用户体验会话,包括:
经由所述显示生成部件显示用于所述第二用户体验会话的用户界面;以及
经由所述音频生成部件输出用于所述第二用户体验会话的第二音频声景,其中所述第二音频声景与显示用于所述第二用户体验会话的所述用户界面并发地输出,并且输出所述第二音频声景包括:输出具有从所述一组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的所述第二音频声景。
66.根据权利要求65所述的方法,其中输出用于所述第一用户体验会话的所述第一音频声景包括:在所述第一用户体验会话期间重复所述第一组两个或更多个音频组成部分。
67.根据权利要求65至66中任一项所述的方法,其中所述第一音频声景的所述第一组两个或更多个音频组成部分与所述第二音频声景的所述第二组两个或更多个音频组成部分不同。
68.根据权利要求65至67中任一项所述的方法,其中与显示用于所述第一用户体验会话的所述用户界面并发地输出用于所述第一用户体验会话的所述第一音频声景包括:
当用于所述第一用户体验会话的所述用户界面包括第一预先确定的动画效果时,输出具有第一组音频特性的所述第一组两个或更多个音频组成部分;以及
当用于所述第一用户体验会话的所述用户界面包括与所述第一预先确定的动画效果不同的第二预先确定的动画效果时,输出具有与所述第一组音频特性不同的第二组音频特性的所述第一组两个或更多个音频组成部分。
69.根据权利要求65至68中任一项所述的方法,所述方法还包括:
在输出用于所述第一用户体验会话的所述第一音频声景时,检测生物识别输入;以及
响应于检测到所述生物识别输入,修改所述第一音频声景,包括:
根据确定所述生物识别输入包括第一生物识别输入,以第一方式修改所述第一组两个或更多个音频组成部分;以及
根据确定所述生物识别输入包括与所述第一生物识别输入不同的第二生物识别输入,以与所述第一方式不同的第二方式修改所述第一组两个或更多个音频组成部分。
70.根据权利要求65至69中任一项所述的方法,其中输出用于所述第一用户体验会话的所述第一音频声景包括:
根据确定满足第一组标准,致使所述第一音频声景的输出音量逐渐增大;以及
根据确定满足第二组标准,致使所述第一音频声景的所述输出音量逐渐减小。
71.根据权利要求65至70中任一项所述的方法,其中在所述XR环境中发起所述相应类型的所述第一用户体验会话包括:输出具有相应音频组成部分的所述第一音频声景,所述方法还包括:
在输出用于所述第一用户体验会话的所述第一音频声景时,发起所述第一用户体验会话的终止,其中终止所述第一用户体验会话包括:输出具有所述相应音频组成部分的所述第一音频声景。
72.根据权利要求65至71中任一项所述的方法,其中输出所述第一音频声景包括:
在输出具有所述第一组两个或更多个音频组成部分的所述第一音频声景时,输出第三组一个或多个音频组成部分,其中所述第三组一个或多个音频组成部分在所述第一用户体验会话期间的一个或多个随机地选择或伪随机地选择的实例处输出。
73.根据权利要求65至72中任一项所述的方法,其中所述一组可用音频组成部分包括被选择来当在所述相应类型的用户体验会话期间的一个或多个随机地选择或伪随机地选择的实例处并发地输出时满足和谐标准的多个音频组成部分。
74.根据权利要求65至73中任一项所述的方法,所述方法还包括:
在输出具有包括相对于所述计算机系统的用户的第一感知空间位置的所述第一组两个或更多个音频组成部分的所述第一音频声景时,接收更新数据;以及
响应于接收到所述更新数据,更新所述第一用户体验会话的状态,包括:
根据确定所述更新数据包括满足第一组音频更新标准的指示,输出具有包括相对于所述计算机系统的所述用户的第二感知空间位置的所述第一组两个或更多个音频组成部分的所述第一音频声景,其中所述第二感知空间位置与所述第一感知空间位置不同;以及
根据确定所述更新数据包括满足第二组音频更新标准的指示,输出具有包括相对于所述计算机系统的所述用户的第三感知空间位置的所述第一组两个或更多个音频组成部分的所述第一音频声景,其中所述第三感知空间位置与所述第二感知空间位置不同。
75.根据权利要求65至74中任一项所述的方法,其中所述第一组两个或更多个音频组成部分包括来自第一音频源的第一音频记录,并且所述第二组两个或更多个音频组成部分包括来自所述第一音频源的第二音频记录。
76.根据权利要求75所述的方法,其中来自所述第一音频源的所述第一音频记录包括具有第一组说话特性的第一对话,并且来自所述第一音频源的所述第二音频记录包括具有与所述第一组说话特性不同的第二组说话特性的所述第一对话。
77.根据权利要求75所述的方法,其中来自第一音频源的所述第一音频记录包括第二对话,并且来自所述第一音频源的所述第二音频记录包括与所述第二对话不同的第三对话。
78.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求65至77中任一项所述的方法的指令。
79.一种被配置为与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求65至77中任一项所述的方法的指令。
80.一种被配置为与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
用于执行根据权利要求65至77中任一项所述的方法的构件。
81.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求65至77中任一项所述的方法的指令。
82.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
在第一时间经由所述一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求;
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述相应类型的第一用户体验会话,包括:
经由所述显示生成部件显示用于所述第一用户体验会话的用户界面;以及
经由所述音频生成部件输出用于所述第一用户体验会话的第一音频声景,其中所述第一音频声景与显示用于所述第一用户体验会话的所述用户界面并发地输出,并且输出所述第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的所述第一音频声景;
在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求;以及
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述相应类型的第二用户体验会话,包括:
经由所述显示生成部件显示用于所述第二用户体验会话的用户界面;以及
经由所述音频生成部件输出用于所述第二用户体验会话的第二音频声景,其中所述第二音频声景与显示用于所述第二用户体验会话的所述用户界面并发地输出,并且输出所述第二音频声景包括:输出具有从所述一组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的所述第二音频声景。
83.一种被配置为与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
在第一时间经由所述一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求;
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述相应类型的第一用户体验会话,包括:
经由所述显示生成部件显示用于所述第一用户体验会话的用户界面;以及
经由所述音频生成部件输出用于所述第一用户体验会话的第一音频声景,其中所述第一音频声景与显示用于所述第一用户体验会话的所述用户界面并发地输出,并且输出所述第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的所述第一音频声景;
在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求;以及
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述相应类型的第二用户体验会话,包括:
经由所述显示生成部件显示用于所述第二用户体验会话的用户界面;以及
经由所述音频生成部件输出用于所述第二用户体验会话的第二音频声景,其中所述第二音频声景与显示用于所述第二用户体验会话的所述用户界面并发地输出,并且输出所述第二音频声景包括:输出具有从所述一组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的所述第二音频声景。
84.一种被配置为与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统,所述计算机系统包括:
用于在第一时间经由所述一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求的构件;
用于响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述相应类型的第一用户体验会话的构件,包括:
用于经由所述显示生成部件显示用于所述第一用户体验会话的用户界面的构件;和
用于经由所述音频生成部件输出用于所述第一用户体验会话的第一音频声景的构件,其中所述第一音频声景与显示用于所述第一用户体验会话的所述用户界面并发地输出,并且输出所述第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的所述第一音频声景;
用于在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求的构件;和
用于响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述相应类型的第二用户体验会话的构件,包括:
用于经由所述显示生成部件显示用于所述第二用户体验会话的用户界面的构件;和
用于经由所述音频生成部件输出用于所述第二用户体验会话的第二音频声景的构件,其中所述第二音频声景与显示用于所述第二用户体验会话的所述用户界面并发地输出,并且输出所述第二音频声景包括:输出具有从所述一组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的所述第二音频声景。
85.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件、音频生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
在第一时间经由所述一个或多个传感器检测在XR环境中发起相应类型的用户体验会话的请求;
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述相应类型的第一用户体验会话,包括:
经由所述显示生成部件显示用于所述第一用户体验会话的用户界面;以及
经由所述音频生成部件输出用于所述第一用户体验会话的第一音频声景,其中所述第一音频声景与显示用于所述第一用户体验会话的所述用户界面并发地输出,并且输出所述第一音频声景包括:输出具有从一组可用音频组成部分随机地或伪随机地选择的第一组两个或更多个音频组成部分的所述第一音频声景;
在与所述第一时间不同的第二时间经由所述一个或多个传感器检测在XR环境中发起所述相应类型的用户体验会话的请求;以及
响应于检测到在所述XR环境中发起所述用户体验会话的所述请求,在所述XR环境中发起所述相应类型的第二用户体验会话,包括:
经由所述显示生成部件显示用于所述第二用户体验会话的用户界面;以及
经由所述音频生成部件输出用于所述第二用户体验会话的第二音频声景,其中所述第二音频声景与显示用于所述第二用户体验会话的所述用户界面并发地输出,并且输出所述第二音频声景包括:输出具有从所述一组可用音频组成部分随机地或伪随机地选择的第二组两个或更多个音频组成部分的所述第二音频声景。
CN202380029272.1A 2022-03-22 2023-03-21 用于扩展现实环境中的三维用户体验会话的设备、方法和图形用户界面 Pending CN118946871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411619537.6A CN119576128A (zh) 2022-03-22 2023-03-21 用于扩展现实环境中的三维用户体验会话的设备、方法和图形用户界面

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US63/322,502 2022-03-22
US18/108,852 2023-02-13
US18/108,852 US20230306695A1 (en) 2022-03-22 2023-02-13 Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment
PCT/US2023/015826 WO2023183340A1 (en) 2022-03-22 2023-03-21 Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202411619537.6A Division CN119576128A (zh) 2022-03-22 2023-03-21 用于扩展现实环境中的三维用户体验会话的设备、方法和图形用户界面

Publications (1)

Publication Number Publication Date
CN118946871A true CN118946871A (zh) 2024-11-12

Family

ID=93356981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202380029272.1A Pending CN118946871A (zh) 2022-03-22 2023-03-21 用于扩展现实环境中的三维用户体验会话的设备、方法和图形用户界面

Country Status (1)

Country Link
CN (1) CN118946871A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230306695A1 (en) * 2022-03-22 2023-09-28 Apple Inc. Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment
US12461589B2 (en) 2023-06-04 2025-11-04 Apple Inc. Devices, methods, and graphical user interfaces for generating reminders for a user experience session in an extended reality environment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230306695A1 (en) * 2022-03-22 2023-09-28 Apple Inc. Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment
US12461589B2 (en) 2023-06-04 2025-11-04 Apple Inc. Devices, methods, and graphical user interfaces for generating reminders for a user experience session in an extended reality environment

Similar Documents

Publication Publication Date Title
US20240103617A1 (en) User interfaces for gaze tracking enrollment
US20230384860A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
CN117008720A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
US12417596B2 (en) User interfaces for managing live communication sessions
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20230306695A1 (en) Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment
CN119404170A (zh) 三维环境中的被遮蔽对象
US20240118746A1 (en) User interfaces for gaze tracking enrollment
CN119576128A (zh) 用于扩展现实环境中的三维用户体验会话的设备、方法和图形用户界面
US20240395073A1 (en) Devices, methods, and graphical user interfaces for biometric feature enrollment
US12374069B2 (en) Devices, methods, and graphical user interfaces for real-time communication
CN118946871A (zh) 用于扩展现实环境中的三维用户体验会话的设备、方法和图形用户界面
US12461589B2 (en) Devices, methods, and graphical user interfaces for generating reminders for a user experience session in an extended reality environment
KR20250049408A (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
WO2024253834A1 (en) Devices, methods, and graphical user interfaces for generating reminders for a user experience session in an extended reality environment
US20250377714A1 (en) User interfaces for breath tracking
US12554609B2 (en) Devices, methods, and graphical user interfaces for providing environment tracking content
US20260045043A1 (en) Devices, methods, and graphical user interfaces for displaying movement of virtual objects in a communication session
US20250110551A1 (en) Devices, methods, and graphical user interfaces for displaying presentation environments for a presentation application
US20240370344A1 (en) Devices, methods, and graphical user interfaces for providing environment tracking content
WO2025259365A1 (en) User interfaces for breath tracking
WO2023230088A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
KR20250050092A (ko) 시선 추적 등록을 위한 사용자 인터페이스들
WO2024253842A1 (en) Devices, methods, and graphical user interfaces for real-time communication
CN121263772A (zh) 用于管理音频源的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination