CN119137929A - 用于参与通信会话的用户的渲染的2d和3d转换 - Google Patents

Abstract

提供了用于将用户界面布置从用户的二维图像的显示转换到用户的三维表示的渲染的系统。该系统可以从包括基于2D图像文件的用户的渲染的UI开始。系统可以接收输入，该输入被配置为使系统将选定用户的2D图像的渲染的显示转换到选定用户的三维表示的渲染。为了显示选定用户的3D表示的渲染，系统使用权限数据和定义位置和取向的三维模型来显示用户的3D表示。系统允许用户在观看模式之间切换，以允许用户使用最有效的硬件类型与内容进行交互。

Description

用于参与通信会话的用户的渲染的2D和3D转换

背景技术

在线会议应用中使用元宇宙(meta-verse)环境正变得无处不在。在线会议的参与者现在在三维虚拟环境中会面，并且在那些虚拟环境内共享内容。尽管与其他形式的协作相比有许多好处，但使用3D环境来共享内容可能会带来许多缺点。

在线会议应用使用元宇宙环境的主要问题之一是，可能存在并非会议的所有参与者都拥有相同类型的设备的场景。例如，一些参与者可能正在操作PC，而其他参与者可能正在操作VR耳机。这种场景可能是由于硬件的可用性导致的，同时在其他情况下，用户可能基于个人偏好而拥有不同类型的设备。对硬件类型的个人偏好可能基于每种设备的功能。一些类型的计算机(例如台式设备)更适合某些角色和会议功能，例如编辑内容。在这种情况下，要参加元宇宙环境会议的一些人使用台式计算机而消费内容的其他用户可以使用头戴式显示设备可能会更好。

在一些情况下，台式设备用户处于不利地位，这是因为他们无法在虚拟环境中导航或与所有用户交互。当计算机提供3D环境的2D视图时，该计算机在其可以接收用户导航或与3D环境交互的输入手势方面受到限制。鉴于这些涉及不同类型的设备和不同类型的环境的问题，当前的技术无法为VR耳机用户和PC用户提供相同的体验。此外，即使用户想要从VR耳机转换到桌面设备，或者反之，一些现有系统在诸如聚会或公司会议之类的事件期间可能并不总是提供无缝转换。

发明内容

本文公开的技术使得系统能够在用户正在参与通信会话(例如会议)的同时将用户界面布置从用户的二维图像的显示转换到该用户的三维表示的渲染。在一些配置中，选定用户可以以图库(gallery)模式开始，其中用户的渲染基于从用户的图像文件或实时视频接收的数据。在一些配置中，选定用户可以被显示在显示正在参与会议的其他用户的用户界面中。其他用户可以被显示为来自图像或实时视频流的2D渲染。其他用户还可以被显示为位于3D环境内的3D表示，例如化身(avatar)。系统可以接收输入，该输入被配置为使系统将选定用户的二维图像的渲染的显示转换到选定用户的三维表示的渲染。为了显示选定用户的3D表示的渲染，系统访问三维模型，该三维模型定义选定用户的三维表示在3D环境内的位置和取向。3D环境可以是会议室的模型，用户的3D表示位于其中。输入可以包括语音命令、键输入或另一种类型的输入手势。在一些实施例中，输入可以指示用户正在利用特定设备类型(例如台式PC)进行操作，并且基于该设备类型，系统可以促使转换。响应于用于促使从用户的二维图像的渲染的显示到用户的三维表示的渲染的转换的输入，系统可以修改用户界面布置，以移除用户的二维图像的渲染，并且在3D环境的渲染中添加用户三维的表示的显示。这种转换可以使系统使用三维模型中定义的位置和取向将用户的化身放置在3D环境中。

本技术公开提供了许多技术优势。例如，当系统检测到用户正在操作台式计算机时，一些系统可能会显示该用户的2D图像。这可能是因为台式计算机和台式相机可能更适合显示该用户的2D图像这样的事实。然而，如果该用户希望使用3D表示(例如3D环境中的化身)参与会议，则本技术公开允许该用户使用台式计算机进行该转换而无需切换到耳机。本文公开的技术还改变了计算机的操作模式，以允许用户使用键盘控件在3D环境内导航。这允许用户在3D环境中与计算机交互，同时利用某些类型的计算机(例如台式设备)来访问针对某些3D模型优化的专用编辑工具。

通过阅读以下具体实施方式和查看相关联的附图，除了上文明确描述的特征和技术优势之外的特征和技术优势将显而易见。本发明内容旨在以简化形式介绍一组构思，这组构思将在下文的具体实施方式中进一步描述。本发明内容并非旨在标识所保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。例如，如由上述上下文和整个文档中允许的，术语“技术”可以指系统、方法、计算机可读指令、模块、算法、硬件逻辑和/或操作。

附图说明

参照附图描述了具体实施方式。在附图中，附图标记最左边的数字标识该附图标记首次出现的图。不同图中的相同附图标记指示相似或相同的项目。对多个项目中的个体项目的引用可以使用带有字母序列的字母的附图标记来指代每个个体项目。对项目的一般引用可以使用不带字母序列的具体附图标记。

图1A示出了台式显示设备的用户界面的转换的第一阶段，其中转换从用户的二维图像的显示开始，并且在用户正在参与通信会话的同时改变为用户的三维表示的渲染。

图1B示出了在用户正在参与通信会话的同时用户界面从用户的二维图像的显示到用户的三维表示的渲染的转换的第二阶段。

图2A示出了头戴式显示设备的用户界面的转换的第一阶段，其中转换从用户的二维图像的显示开始，并且在用户正在参与通信会话的同时改变为用户的三维表示的渲染。

图2B示出了在用户正在参与通信会话的同时用户界面从用户的二维图像的显示到用户的三维表示的渲染的转换的第二阶段。

图3A示出了用户界面中识别的特定用户的第一用户界面布置。

图3B示出了用户界面中识别的特定用户的第二用户界面布置。

图4A示出了UI转换的附加特征。

图4B示出了系统的两种操作模式以及每种操作模式如何改变显示参与通信会话的个体的权限。

图5A示出了其中第一用户和第二用户的化身被定向，使得用户正在查看虚拟环境内的虚拟内容显示的场景。

图5B示出了其中新添加到通信会话的用户的化身基于正在查看虚拟环境内的内容的虚拟显示的现有用户的化身而被定位和定向的场景。

图6A示出了其中第一用户和第二用户的化身被定向，使得用户正在虚拟环境内相互查看的场景。

图6B示出了其中新添加到通信会话的用户的化身基于正在虚拟环境内相互查看的现有用户的化身而被定位和定向的场景。

图7是示出了使得系统能够在用户正在参与通信会话的同时将用户界面布置从用户的二维图像的显示转换到用户的三维表示的渲染的例程的方面的流程图。

图8是示出了能够实现本文提出的技术和工艺的方面的计算系统的说明性计算机硬件和软件架构的计算机架构图。

图9是示出了能够实现本文提出的技术和工艺的方面的计算设备的计算设备架构的计算机架构图。

具体实施方式

图1A和图1B示出了在用户正在参与通信会话的同时用户界面布置从用户的二维图像的显示到用户的三维表示的渲染的转换的示例。通信会话可以由系统100管理，系统100包括多个计算机11，每个计算机11对应于多个用户10。计算机可以是台式计算机、头戴式显示单元、平板设备、移动电话等形式。系统可以生成向每个用户示出通信会话的方面的用户界面。在此示例中，用户界面101可以包括每个用户10的多个渲染。渲染可以包括二维(2D)图像的渲染，其可以包括用户的图片或实时视频馈送。渲染还可以包括三维(3D)表示的渲染，其可以包括位于3D虚拟环境200内的化身。在此特定示例中，用户界面101包括第一用户10A的2D渲染151A、第二用户10B的2D渲染151B和第三用户10C的2D渲染151A。用户界面101还包括第四用户10D的表示251D的3D渲染和第五用户10E的表示251E的另一3D渲染。

在此示例中，第三用户10C的渲染将经历从其中他们被展示为2D图像的渲染的2D模式到其中他们被表示为3D环境中的3D对象的3D模式的转换。为了说明这种转换的方面，图1A所示的用户界面101可以是显示在其他用户的计算设备上的用户界面，例如与第一用户10A相关联的第一计算机11A，或者除第三用户10C之外的任何其他用户。这向其他人展示了当第三用户10C从2D模式转换到3D模式时会发生什么。此示例仅提供用于说明目的，不应被视为限制。可以理解的是，此示例性UI可以被显示在参与通信会话的任何用户的任何计算设备上。

为了开始该转换，系统可以接收用于促使特定用户的二维图像的渲染的显示的转换的输入。在此示例中，该输入标识第三用户10C。该输入还可以提供允许系统访问定义第三用户10C的三维表示的位置和取向的3D模型的权限。位置和取向可以包括3D环境200内的表示的向量和坐标，3D环境200在本文中也被称为虚拟环境200。

如图1A和图1B所示，响应于接收到该输入，系统100的一台或多台计算机可以促使对用户界面101的修改，以移除如图1A所示的用户10C的图像151C的渲染，并且添加如图1B所示的用户10C的3D表示251C的渲染。可以根据3D模型中定义的坐标和/或向量，在3D环境中定位和定向用户10C的3D表示251C的渲染。

在此示例中，移除用户10C的2D图像的渲染，可以用其他渲染来代替。例如，图1A所示的第三用户10C的2D图像渲染在UI中被另一用户(图1B所示的第四用户10D)的另一2D图像代替。这种转换(本文中也被称为传送(teleportation))使得特定用户(例如第三用户10C)能够转换他们呈现给通信会话的其他用户的显示。另外，这种转换使得该用户能够使用不同的模式与计算设备交互。例如，在此示例中，如果选定用户10C希望从通信会话中的实时视频流转换到允许该用户在3D环境中与其他用户交互的另一种操作模式，则系统会将该用户从允许他们与一般内容、文档、电子表格和幻灯片组交互的一种模式转换到允许他们与3D对象交互的另一种模式。通信会话期间的这种转换允许选定用户在适合不同内容类型的每个环境中使用编辑工具。例如，如果视频流中的某个人希望离开使用2D图像展示该用户的2D模式，并进入3D环境以展示其他用户如何移动特定位置的对象或塑造特定的3D对象，则一旦他们能够在通信会话内进行转换，该用户就可以更轻松地做到这一点。该用户(例如第三用户10C，Charlotte Smith(夏洛特·史密斯))可以使用台式PC进行此转换，而无需使用任何类型的虚拟现实或增强现实耳机，例如HMD。如本文所述，使用台式机的这种转换使得用户(例如第三用户)能够使用台式计算机进入与3D计算环境交互的3D模式，这可能更适合编辑或查看某些类型的内容。

本文公开的技术还提供了对于其他系统来说反直觉的工具。例如，即使用户正在台式计算机上操作，他们也可以在不使用VR耳机的情况下转换到3D环境。这对于要求用户戴上耳机才能进入3D环境的实施例来说是反直觉的。这使得用户能够从PC(例如鼠标和键盘)的准确度中受益，同时还可以在与3D对象交互的3D环境中工作。用户可以从鼠标的手势中受益以移动对象，同时使用方向键在3D环境中导航。

特定类型的输入(其可以是计算机生成的或由用户输入引起的)可以促使本文所述的转换。例如，可以使用诸如语音命令、键输入或其他手势之类的用户输入来调用本文所述的转换。另外，指示远程用户想要与选定用户共享内容的输入也可以调用本文所述的转换。在特定示例中，考虑第二用户10B与第三用户10C共享3D文件(例如AutoCAD文件)的场景。如果在第二用户经由3D环境与计算机交互的同时接收到该输入，并且第三用户未经由3D环境与计算机交互，则在该场景中接收到的此类输入可以调用本文所述的转换。在又一实施例中，如果在第二用户经由3D环境与计算机交互的同时从第二用户接收到该输入，并且第三用户在台式计算机上并且未使用3D环境的渲染与计算机交互，则在该场景中接收到的此类输入可以调用本文所述的转换。相对于其他系统，这可能是反直觉的，因为即使第三用户在台式计算机上操作并且未使用头戴式显示器(HMD)单元，该人也可能转换到3D环境。

技术优势之一是，该系统可以允许用户在通信会话的3D模式和2D模式之间切换，而不管他们正在与哪种硬件交互。这样，使用最适合使用鼠标和键盘的台式计算机的软件与特定类型的内容(例如3D模型或AutoCAD文件)交互的人，该人可以使用计算机，同时还可以与3D环境中的内容交互。这对于现有系统来说是反直觉的，因为那些系统需要耳机才能与3D环境交互。当用户使用台式计算机或与键盘和指点设备(例如鼠标)通信的设备时，系统可以分配特定的手势，这些手势可以通过相机或特殊键捕获，以允许用户在3D环境中导航。这样，传统计算机(例如台式设备)可以允许用户访问指点设备以进行准确的移动以与AutoCAD文件交互，同时还提供特殊键或然后放置设备(例如摄像头)以允许用户在3D环境中导航。

所公开的技术提供了技术优势，即个人计算机的用户可以改变其表示(例如他们呈现给其他人的方式)，还可以改变该用户从给定视角观看其他人的方式(例如其他人呈现给该用户的方式)，同时保持单个设备(例如台式计算机)的操作。在这种场景中，用户可以在从2D计算环境转移到3D计算环境的同时仅保持使用一个计算设备，例如台式计算机。因此，用户可以从2D计算环境中开始，并且通过2D图像151C的渲染而被表示，例如图1A所示的表示。然后，响应于一个或多个输入(例如用户开始编辑具有特定文件类型的内容)，或者基于指示执行UI转换的指令的输入，系统可以转换UI以移除2D图像151C的渲染，如图1A所示，并且生成用户的3D表示251C的渲染，如图1B所示。这允许用户在不实际使用增强现实或虚拟现实(AR/VR)设备的情况下转换到3D环境。

该技术还适用于其他类型的设备，例如头戴式显示设备。在这样的实施例中，用户可以在将交互模型从3D计算环境转换到2D计算环境的同时，仅保持使用一个计算设备，例如HMD。因此，用户可以从3D计算环境开始，并且通过3D表示251C的渲染而被表示，如图1B所示的表示。然后，响应于一个或多个输入，例如用户开始编辑具有特定文件类型的内容或基于指示执行UI转换意图的输入，系统可以转换UI以移除3D表示251C的渲染，如图1B所示，并且生成用户的2D图像151C的渲染，例如图1A所示的表示。这允许用户在不实际使用利用平面屏幕显示器和键盘的台式设备的情况下转换到2D环境。

图2A和图2B示出了在用户正在参与通信会话的同时用户界面从具有用户的二维图像的显示到用户的三维表示的渲染的转换的另一示例。在此示例中，用户界面201是基于3D模型的3D环境的渲染。在此示例中，用户界面201以第一用户10A的表示251A的3D渲染和第二用户10B的表示251B的3D渲染开始。每个表示的3D渲染具有由存储在3D模型中的虚拟对象属性确定的位置和方向。在此示例中，3D环境还包括虚拟对象275，该虚拟对象275具有安装在虚拟环境的墙壁上的虚拟平面屏幕电视的形式。该虚拟对象275具有显示表面，该显示表面展示虚拟用户界面，该虚拟用户界面显示第三用户10C的2D渲染151C和第四用户10D的2D渲染151D。在此示例中，系统接收标识用户的输入，为了说明目的，该用户是与2D图像的渲染151C相关联的第三用户10C。

如图2A和图2B所示，响应于促使从用户10C的2D图像的渲染的显示到用户10C的三维表示的渲染的转换的输入，系统修改用户界面布置201，以移除用户10C的2D图像的渲染151D，并且在3D环境200的渲染中添加用户的三维表示251C的显示。此转换可以促使系统使用3D模型中定义的位置和取向数据将用户的化身放置在3D环境中。

图3A和图3B示出了第三用户10C Charlotte Smith的转换的另一方面。这些图从Charlotte的计算机的视角展示了用户界面301。这些图特别展示了从Charlotte的视角来看的用户体验，例如转换是如何呈现给正从2D模式传送到3D模式的第三用户的。在此示例中，第三用户10C的渲染经历了从其中他们以2D图像的渲染而显示给其他人的2D模式到其中他们以3D环境中的3D对象而表示给其他人的3D模式的转换。为了从第三用户的视角说明此转换的方面，图3A所示的用户界面301是显示在第三用户10C Charlotte Smith的计算设备11C上的用户界面。这向第三用户展示了当第三用户10C从2D模式转换到3D模式时会发生什么的视角。

如图3A所示，用户界面301以Jazmine(贾斯明)、Lawrence(劳伦斯)和Mike(迈克)的2D图像的显示开始，每个图像分别被显示为图像151A、151B和151D的渲染。该用户界面还包括3D环境200的渲染，该3D环境200具有其他用户的两个3D表示251A和251B。响应于本文所述的输入数据，例如第三用户编辑某种类型的数据或一个或多个用户在语音或文本聊天中指示第三用户要转换到3D模式，系统执行转换。在第三用户的转换中，第三用户10C的第三计算机11C从图3A所示的用户界面转换到图3B所示的用户界面。

如图3B所示，在转换之后，Charlotte的计算机，即计算机11C，显示修改后的用户界面301，该修改后的用户界面301具有3D环境200的放大的渲染，该放大的渲染包括两个其他用户的两个3D表示251A和251B。系统保持每个用户的状态，例如图3A中显示为3D表示251A和251B的两个用户，在图3B中也保持为3D表示251A和251B。图3B还示出，修改后的用户界面301还包括在本示例中为虚拟显示设备的虚拟对象275，虚拟对象275展示最初以2D图像显示的其他用户的2D渲染，例如图3A中的Jazmine和Lawrence。修改后的用户界面301现在展示Charlotte的视角，就好像她已经从2D环境传送到3D环境中一样。与其他示例类似，在此传送中，系统还可以基于一个或多个因素来确定Charlotte的化身的位置和取向。在此示例中，Charlotte的化身的取向和位置使她面向共享内容(例如虚拟显示监视器)并位于虚拟椅子上。

在这样的示例中，Charlotte可能正在操作单个设备，例如PC，她从查看会议2D模式开始，例如她的视角不在3D环境中。然后，响应于本文所述的一个或多个输入，系统可以从图3A的用户界面转换到图3B的用户界面，与此同时她继续使用台式PC。即使不使用传统上用于查看3D渲染的计算机，例如HMD，也可以发生此示例的转换。

在另一示例中，转换还可以涉及Charlotte从图3B的用户界面开始并转换到图3A的用户界面的过程。在这样的示例中，Charlotte可能正在操作单个设备，例如头戴式显示器，她从查看图3B所示的3D环境开始。然后，响应于本文所述的一个或多个输入，系统可以从图3B的用户界面转换到图3A的用户界面，与此同时她继续使用HMD。即使不使用传统上用于查看2D图像的计算机，例如台式机，也可以发生此示例的转换。

如可以应用于本文所述的其他示例，在一些实施例中，在保持其他用户的渲染类型的同时，执行在Charlotte的图像上发生的转换。例如，在图3A的示例中，名为Jazmine的用户在图3A中首先被显示为2D渲染，然后在第三用户Charlotte的转换之后，Jazmine在图3B中被保持为2D渲染。这也应用于最初被显示为3D渲染的其他用户，如图3A所示。在Charlotte的转换之后，这些用户仍保持为3D渲染，如图3B所示。该系统控制其他用户的显示，以使可能由多个用户同时转换引起的干扰最小化。

图4A示出了UI转换的附加特征。在一些实施例中，当接收到促使从用户10C的2D图像的渲染到用户10C的3D表示的渲染的UI转换的输入时，系统可以确定用户10C的3D表示的位置和取向。例如，如果虚拟环境200的模型仅以表示用户的两个虚拟对象351A和351B开始，则系统可以确定表示用户的新添加的虚拟对象351C的位置和取向。在此示例中，当输入指示特定用户(例如第三用户10C)时，系统可以基于其他用户的位置和/或虚拟环境200内的共享内容的位置来确定表示第三用户10C的虚拟对象351C的位置和取向。

在一个说明性示例中，如果系统确定用于表示第三用户10C的虚拟对象351C将被添加到虚拟环境200中，则系统可以以某种方式定位虚拟对象351C，使得虚拟对象351C看起来像用户的化身正在查看与用户10C共享的内容。在另一示例中，如果系统确定用于表示第三用户10C的虚拟对象351C将被添加到虚拟环境200，则系统可以以某种方式定位虚拟对象351C，使得虚拟对象351C看起像用户的化身正在看着与用户10C交谈的用户的化身。如本文所述，系统定位人的化身，使得化身不会阻挡其他用户查看内容和/或系统定位人的化身朝向虚拟环境内的共享的突出信息。

在一些实施例中，每个虚拟对象351的放置可以基于团队成员、用户组的分布，和/或由个体用户或用户组建立的策略。例如，如果一个人是公司内的团队的一部分，当在用于转换用户界面的输入中识别出那些个体中的一个个体时，他们的相应化身将位于其他团队成员的阈值距离内。该用户的化身的取向可以基于对其团队成员的化身的取向的分析。例如，如果团队内阈值数量的用户正在查看内容，则进入3D环境的该用户的化身也可以被定向以查看内容。系统还可以配置权限。例如，当特定用户的化身进入3D环境并且阈值数量的队友正在查看内容时，系统还可以提供访问权限以允许该用户访问该内容。当用户离开3D环境时，可以撤销该访问权限。一个人的权限也可以反映3D环境中其他人的权限。例如，如果团队中的其他用户能够编辑内容，则该团队中的用户在3D环境中拥有化身时也可以获得编辑权利。

图4A还示出了被配置为实施本文公开的技术的系统的方面。为了说明目的，2D图像文件的渲染或用户的2D图像的渲染可以由接收2D图像数据310(例如图像文件)的2D渲染引擎551生成。2D图像文件的渲染可以包括2D环境(例如图像的背景)和2D对象(例如人的图像或化身)。图像文件(例如图像数据310)可以具有以二维布置的像素，例如布置在二维坐标系(x,y)内的像素。该数据在本文中也可以被称为基于二维坐标系的二维模型。图像的每个部分可以是像素或任何其他几何形状，例如三角形。例如，可以使用一组像素或三角形来生成用户的二维化身的渲染或人的实时视频图像。

具有通信会话的参与者的多个2D图像的二维环境在本文中也被称为“网格环境”。图像数据或通信数据流可以定义二维环境或二维对象，并且该二维环境可以被渲染在显示屏上。渲染在本文中可以被称为二维环境的二维渲染或二维对象的二维渲染。这在本文中也被称为“二维图像的渲染”。

为了说明目的，可以通过访问3D模型数据320(例如3D模型)的3D渲染引擎552生成3D模型的渲染或用户的3D表示的渲染。3D模型可以包括定义3D环境200(例如房间模型)的参数，以及定义3D对象的参数，例如用户或其他虚拟对象的表示351的大小、形状和位置数据。三维环境是基于三维坐标系的计算环境模型。三维环境和三维环境中的三维对象的属性基于位于三维坐标系(x,y,z)内的分量。每个分量可以是三角形或任何其他几何形状。每个分量可以具有位置(例如三维坐标系中的地点)以及取向(例如三角形指向的方向)。例如，一组三角形可用于生成用户的三维化身的渲染或三维对象的三维渲染。

三维环境在本文中也被称为“沉浸式环境”。模型数据或三维模型可以被包括在通信数据流中，并且模型数据可以定义三维环境。该三维环境可以基于三维坐标系。当渲染引擎552从3D模型生成3D渲染时，该渲染是从环境中的参考点(例如具有相对于虚拟环境的位置的视角)生成的。为了说明目的，参考点在本文中也被称为虚拟相机350。该相机可以具有视野，该视野用于基于虚拟相机350的位置来生成3D环境或3D对象的渲染。三维环境中的三维对象的渲染基于三维对象的位置和取向以及虚拟相机350的位置。

在一些实施例中，二维图像可以被显示在三维环境内。例如，当通信系统接收用户的二维视频流，但接收该视频流的参与者正在利用HMD观看3D环境时，就会发生这种情况。这可以促使系统展示该用户的图像，就好像他们出现在虚拟环境的墙壁上的虚拟电视上一样。这在本文中被称为三维环境内的用户的二维渲染。这可以包括在图2A中示为渲染151C的第三用户10C。

在一些实施例中，三维环境和由三维模型定义的三维对象可以被显示为二维渲染。例如，当通信会话涉及展示二维图像的用户界面时，例如当Teams处于网格模式(GridMode)时，就会发生这种情况。在处于此模式的同时，系统可能需要显示在3D环境中交互的用户的图像。在这种情况下，从特定位置(例如虚拟相机位置)显示3D环境的2D图像，并且该2D图像被显示在其中一个网格内。此渲染在本文中可以被称为三维环境的二维渲染。为了实现三维环境的二维渲染，可以使用变换来投影定义三维环境的模型数据。该变换可以生成渲染，使得可以使用从三维对象的模型到视点(例如虚拟相机位置)的向量投影在平面屏幕上表达该三维对象的宽度、高度和深度。

图4B示出了系统的两种操作模式以及每种操作模式可以改变参与通信会话的个体的权限的方式。在第一种操作模式(图4B的上半部分)中，权限可以允许系统在用户的表示未被包括在3D模型中时使用图像文件来显示该用户的2D图像。在这种情况下，3D模型数据处于第一状态320A，其中在3D环境200内选定用户没有表示该用户的虚拟对象。当3D模型处于此状态时，其中在3D环境内选定用户没有表示该用户的虚拟对象，与该用户相关联的权限数据315被配置为允许系统和其他用户访问该用户的图像数据310。这意味着系统和每个远程用户的客户端可以使用图像数据310来生成该用户的渲染，或者系统可以编辑图像数据310。

当系统检测到3D模型数据处于第二状态时，例如模型数据320B包括表示选定用户的虚拟对象351C，系统修改权限以限制该特定用户对图像数据的使用。如图所示，权限数据315被修改以限制系统读取图像数据310以显示该特定用户的2D图像。在此操作模式下，权限被配置为限制所有用户访问图像数据，因此阻止所有客户端访问或显示2D图像文件。

图5A和图5B示出了被配置为在3D环境200内相对于共享内容定位用户的表示的系统的特征。这些图示出了3D环境200的俯视图。图5A示出了第一用户351A和第二用户351B的化身被定向成在3D环境内查看共享内容的场景。共享内容可以被显示在虚拟对象上，例如虚拟显示屏。当系统检测到阈值数量的用户正在查看共享内容时，系统可以生成针对第三用户的取向，让化身进入3D环境。该特征的一个示例在图5B中示出。在此示例中，第三用户351C的化身被添加到虚拟环境。响应于系统检测到其他用户在其视野范围内具有共享内容，第三用户351C的化身被定向成朝向共享内容。该系统还可以确定每个人的视野的几何形状，并且确定第三用户的化身的位置，使得第三用户的化身不会阻挡其他用户的视野。

图6A和图6B示出了被配置为在3D环境200内相对于其他用户定位用户的表示的系统的特征。图6A示出了其中第一用户和第二用户的化身被定向为使得用户在虚拟环境内相互查看的场景。在特定团队或预定组中，当系统确定阈值数量的人正在相互查看时。系统可以定向进入环境的第三用户的化身，使得化身被定位为查看其他用户。图6A示出了具有至少三个用户的多个化身，这些用户在视野内具有其他组成员。当系统确定阈值数量的化身在视野内具有其他组成员时，如图6B所示，系统可以允许新组成员加入虚拟环境，该虚拟环境具有允许该用户查看其他组成员的位置和取向。

图7是示出例程700的方面的图，例程700用于提供在用户正在参与通信会话的同时用户界面布置从用户的二维图像的显示到用户的三维表示的渲染的转换。本领域普通技术人员应当理解，本文公开的方法的操作不必以任何特定顺序呈现，并且以替代顺序执行一些或全部操作是可能的且被考虑的。为了便于描述和说明，已经按演示的顺序呈现了操作。可以添加、省略、一起执行和/或同时执行操作，而不会脱离所附权利要求的范围。

还应当理解，所示方法可以随时开始或结束，无需全部执行。方法的一些或全部操作和/或基本等效的操作可以通过执行本文定义的计算机存储介质上包含的计算机可读指令来执行。说明书和权利要求书中使用的术语“计算机可读指令”及其变型在本文中被广泛用于包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等。计算机可读指令可以在各种系统配置上实现，包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的可编程消费电子产品、它们的组合等。尽管下文描述的示例性例程在系统(例如一个或多个计算设备)上运行，但可以理解的是，该例程可以在任何计算系统上执行，该计算系统可以包括协同工作以执行本文公开的操作的任意数量的计算机。

因此，应当理解，本文所述的逻辑操作被实现为在计算系统(例如本文所述的计算系统)上运行的一系列计算机实现的动作或程序模块和/或计算系统内的互连机器逻辑电路或电路模块。实施方式是取决于计算系统的性能和其他要求的选择问题。因此，逻辑操作可以实现在软件、固件、专用数字逻辑以及它们的任何组合中。

另外，图7和其他图所示的操作可以与本文所述的示例性用户界面和系统相关联地实现。例如，本文所述的各种设备和/或模块可以生成、发送、接收和/或显示与通信会话的内容(例如实时内容、广播事件、录制内容等)相关联的数据和/或包括远程计算设备的一个或多个参与者、化身、频道、聊天会话、视频流、图像、虚拟对象和/或与通信会话相关联的应用的渲染的呈现UI。

例程700包括操作701，其中系统100显示用户界面，该用户界面包括特定用户(本文中也被称为“选定用户”)的2D图像的渲染。用户界面可以包括使用2D图像显示的多个其他用户，这些图像可以包括实时视频或静态图像，或者其他用户可以由化身表示，例如诸如化身之类的3D表示的渲染。

在操作703处，系统可以接收用于促使UI转换以移除用户的2D渲染并添加用户的3D渲染的输入。图1A和图1B中展示了此转换的示例，其中首先使用2D图像或视频显示第三用户10C。响应于该输入，从用户界面中移除2D图像并显示第三用户的3维表示。

在操作705处，系统更新3D模型以包括具有确定的位置和取向的选定用户的表示。在一些配置中，位置和取向可以被设置为默认值或由一个或多个策略预先确定的3D模型内的着陆区域。在一些配置中，选定用户的表示的位置和取向可以基于与选定用户相关联的其他人的位置来确定。例如，如果选定用户与多人相关联，例如队友或同事，则该人可以定位成与那些队友的化身保持任何预定距离。选定用户的表示的位置和取向还可以基于三维环境中其他表示的注视方向或与选定用户共享内容的位置。例如，如果选定用户的化身正在进入3D环境并且其他用户正在查看3D环境中的共享内容，则选定用户的表示被定位和定向为使其面向共享内容。

在操作707处，系统可以响应于接收到用于转换用户界面的输入而改变权限。响应于该输入，系统可以分析三维模型并确定是否应限制或允许对选定用户的相应图像的访问权限。如果选定用户在3D环境内具有关联表示，则系统将遵守限制所有用户访问选定用户的任何2D图像文件或2D图像流的权限。然而，如果选定用户与3D环境内的表示不关联，则系统将遵守允许所有用户访问选定用户的2D图像文件或2D图像流的权限。

在操作709处，系统可以基于权限来修改用户界面以移除选定用户的2D图像的渲染。另外，系统可以访问3D模型以在用户界面上显示选定用户的3D表示的渲染。3D表示的渲染可以基于3D模型中的位置和取向信息。

在操作711处，系统可以接收用于转换用户界面以包括2D图像并移除选定用户的3D表示的输入。在此特定示例中，该输入被配置为使用户界面从图1B所示的用户界面转换回图1A所示的用户界面。

在操作713处，系统改变权限以允许访问2D图像文件或2D图像流，并且响应该输入以转换用户界面以包括2D图像并移除选定用户的3D表示。

在操作715处，系统可以促使用户界面的转换以包括2D图像并移除选定用户的3D表示。响应于该输入，系统使用户界面从图1B所示的用户界面转换回图1A所示的用户界面。

图8是示出系统602可以在其中实施本文公开的技术的示例性环境600的图。应当理解，上述主题可以被实现为计算机控制的装置、计算机过程、计算系统或诸如计算机可读存储介质之类的制品。示例性方法的操作以个体块表示，并参考这些块进行总结。方法被示出为块的逻辑流，每个块可以表示一个或多个操作，这些操作可以以硬件、软件或它们的组合来实现。在软件的上下文中，操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，所述计算机可执行指令当由一个或多个处理器执行时使得一个或多个处理器能够执行所述操作。

通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的顺序不应被视为限制，并且任何数量的所述操作都可以按任何顺序执行、按任何顺序组合、细分为多个子操作和/或并行执行以实现所述过程。所述过程可以由与一个或多个设备相关联的资源执行，例如一个或多个内部或外部CPU或GPU，和/或一个或多个硬件逻辑单元，例如现场可编程门阵列(“FPGA”)、数字信号处理器(“DSP”)或其他类型的加速器。

上述所有方法和过程都可以体现在由一个或多个通用计算机或处理器执行的软件代码模块中，并经由所述软件代码模块完全自动化。代码模块可以被存储在任何类型的计算机可读存储介质或其他计算机存储设备中，例如下文描述的计算机可读存储介质或计算机存储设备。一些或所有方法可以替代地体现在专用计算机硬件中，例如下文描述的专用计算机硬件。

本文所述和/或附图中描绘的流程图中的任何例程描述、元素或块应当被理解为可能表示代码的模块、段或部分，其包括用于实现例程中的特定逻辑功能或元素的一个或多个可执行指令。替代实施方式被包括在本文所述示例的范围内，其中元素或功能可以被删除，或以与所示或讨论的顺序不同的顺序执行，包括基本同步或以相反顺序，这取决于如本领域技术人员所理解的涉及的功能。

在一些实施方式中，系统602可以用于收集、分析和共享显示给通信会话604的用户的数据。如图所示，通信会话603可以在与系统602相关联或作为系统602的一部分的多个客户端计算设备606(1)至606(N)(其中N是具有2或更大的值的数字)之间实现。客户端计算设备606(1)至606(N)使得用户(也被称为个体)能够参与通信会话603。

在此示例中，通信会话603由系统602通过一个或多个网络608托管。也就是说，系统602可以提供使得客户端计算设备606(1)至606(N)的用户能够参与通信会话603(例如，经由实时观看和/或录制观看)的服务。因此，通信会话603的“参与者”可以包括用户和/或客户端计算设备(例如，多个用户可以在房间中通过使用单个客户端计算设备参与通信会话)，每个用户都可以与其他参与者通信。作为替代方案，通信会话603可以由利用对等技术的客户端计算设备606(1)至606(N)之一托管。系统602还可以托管聊天对话和其他团队协作功能(例如作为应用套件的一部分)。

在一些实施方式中，此类聊天对话和其他团队协作功能被视为不同于通信会话603的外部通信会话。收集通信会话603中的参与者数据的计算系统602可以能够链接到此类外部通信会话。因此，系统可以接收信息，例如日期、时间、会话细节等，这些信息实现与此类外部通信会话的连接。在一个示例中，可以根据通信会话603进行聊天对话。另外，系统602可以主持通信会话603，该通信会话603至少包括共同位于会议地点(例如会议室或礼堂)或位于不同地点的多个参与者。

在本文所述的示例中，参与通信会话603的客户端计算设备606(1)至606(N)被配置为接收并渲染通信数据以在显示屏的用户界面上显示。通信数据可以包括实时内容和/或录制内容的各种实例或流的集合。实时内容和/或录制内容的各种实例或流的集合可以由一个或多个相机(例如摄像机)提供。例如，实时内容或录制内容的个体流可以包括与摄像机提供的视频馈送相关联的媒体数据(例如，捕获参与通信会话的用户的外表和语音的音频和视觉数据)。在一些实施方式中，视频馈送可以包括这样的音频和视觉数据、一个或多个静止图像和/或一个或多个化身。一个或多个静止图像还可以包括一个或多个化身。

实时内容或录制内容的个体流的另一示例可以包括媒体数据，该媒体数据包括参与通信会话的用户的化身以及捕获用户的语音的音频数据。实时内容或录制内容的个体流的又一示例可以包括媒体数据，该媒体数据包括显示在显示屏上的文件以及捕获用户的语音的音频数据。因此，通信数据内的实时内容或录制内容的各个流使得能够促进一群人之间的远程会议以及该群人内的内容共享。在一些实施方式中，通信数据内的实时内容或录制内容的各个流可以源自多个共置摄像机，这些摄像机位于诸如房间之类的空间中，用于记录或直播包括一个或多个个体进行演示和一个或多个个体消费所演示内容的演示。

参与者或出席者可以在活动发生时实时观看通信会话603的内容，或者替代地，在活动发生之后的稍后时间经由记录查看通信会话603的内容。在本文所述的示例中，参与通信会话603的客户端计算设备606(1)至606(N)被配置为接收并渲染通信数据以在显示屏的用户界面上显示。通信数据可以包括实时内容和/或录制内容的各种实例或流的集合。例如，内容的个体流可以包括与视频馈送相关联的媒体数据(例如捕获参与通信会话的用户的外观和语音的音频和视觉数据)。内容的个体流的另一示例可以包括媒体数据，该媒体数据包括参与会议会话的用户的化身以及捕获用户的语音的音频数据。内容的个体流的又一示例可以包括媒体数据，该媒体数据包括显示在显示屏上的内容项和/或捕获用户的语音的音频数据。因此，通信数据内的内容各个流使得分散在远程位置的一群人能够方便地召开会议或进行广播演示。

通信会话的参与者或出席者是处于相机或其他图像和/或音频捕获设备范围内的人，从而可以捕获(例如记录)在该人观看和/或收听经由通信会话共享的内容的同时产生的该人动的作和/或声音。例如，参与者可能坐在人群中，在舞台演示发生的广播位置实时观看共享内容。或者，参与者可能坐在办公室会议室中，经由显示屏与其他同事一起观看通信会话的共享内容。甚至，参与者可能独自在其办公室或家中，坐在或站在个人设备(例如平板设备、智能手机、计算机等)前观看通信会话的共享内容。

图8的系统602包括设备610。设备610和/或系统602的其他组件可以包括分布式计算资源，这些资源经由一个或多个网络608相互通信和/或与客户端计算设备606(1)至606(N)通信。在一些示例中，系统602可以是独立系统，其任务是管理一个或多个通信会话(例如通信会话603)的方面。作为示例，系统602可以由诸如SLACK、WEBEX、GOTOMEETING、GOOGLEHANGOUTS等的实体管理。

网络608可以包括例如公共网络(例如互联网)、私有网络(例如机构和/或个人内联网)或私有网络和公共网络的某种组合。网络608还可以包括任何类型的有线和/或无线网络，包括但不限于局域网(“LAN”)、广域网(“WAN”)、卫星网络、有线网络、Wi-Fi网络、WiMax网络、移动通信网络(例如3G、4G等)或它们的任何组合。网络608可以使用通信协议，包括基于分组和/或基于数据报的协议，例如互联网协议(“IP”)、传输控制协议(“TCP”)、用户数据报协议(“UDP”)或其他类型的协议。此外，网络608还可以包括促进网络通信和/或形成网络硬件基础的多个设备，例如交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备等。

在一些示例中，网络608还可以包括实现到无线网络的连接的设备，例如无线接入点(“WAP”)。示例支持通过WAP进行连接，WAP通过各种电磁频率(例如无线频率)发送和接收数据，包括支持电气和电子工程师协会(“IEEE”)802.11标准(例如802.11g、802.11n、802.11ac等)和其他标准的WAP。

在各种示例中，设备610可以包括一个或多个计算设备，这些计算设备以集群或其他分组配置运行，以共享资源、平衡负载、提高性能、提供故障转移支持或冗余，或用于其他目的。例如，设备610可以属于各种类型的设备，例如传统服务器类型设备、台式计算机类型设备和/或移动类型设备。因此，尽管被示为单一类型的设备或服务器类型的设备，但设备610可以包括各种各样的设备类型，并且不限于特定类型的设备。设备610可以表示但不限于服务器计算机、台式计算机、web服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机或任何其他类型的计算设备。

客户端计算设备(例如客户端计算设备606(1)至606(N)之一)(每个客户端计算设备在本文中也被称为“数据处理系统”)可以属于各种类型的设备，这些设备可以与设备610相同或不同，例如传统客户端类型的设备、台式计算机类型的设备、移动类型的设备、专用类型的设备、嵌入式类型的设备和/或可穿戴类型的设备。因此，客户端计算设备可以包括但不限于台式计算机、游戏机和/或游戏设备、平板计算机、个人数据助理(“PDA”)、移动电话/平板混合设备、膝上型计算机、电信设备、计算机导航类型的客户端计算设备(例如基于卫星的导航系统，包括全球定位系统(“GPS”)设备)、可穿戴设备、虚拟现实(“VR”)设备、增强现实(“AR”)设备、植入式计算设备、汽车用计算机、网络电视、瘦客户端、终端、物联网(“IoT”)设备、工作站、媒体播放器、个人视频录像机(“PVR”)、机顶盒、相机、用于包含在计算设备中的集成组件(例如外围设备)、电器或任何其他类型的计算设备。此外，客户端计算设备可以包括前面列出的客户端计算设备示例的组合，诸如例如台式计算机类型的设备或与可穿戴设备组合的移动类型的设备等。

各种类别和设备类型的客户端计算设备606(1)至606(N)可以表示任何类型的计算设备，其具有一个或多个数据处理单元692，数据处理单元692可操作地例如经由总线616连接到计算机可读介质694，在一些情况下，总线616可以包括系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线，以及任何种类的本地、外围和/或独立总线中的一个或多个。

存储在计算机可读介质694上的可执行指令可以包括例如操作系统619、客户端模块620、简档模块622以及可由数据处理单元692加载和执行的其他模块、程序或应用。

客户端计算设备606(1)至606(N)还可以包括一个或多个接口624，以实现客户端计算设备606(1)至606(N)与其他联网设备(例如设备610)之间的通过网络608的通信。这样的网络接口624可以包括用于通过网络发送和接收通信和/或数据的一个或多个网络接口控制器(NIC)或其他类型的收发器设备。此外，客户端计算设备606(1)至606(N)可以包括输入/输出(“I/O”)接口(设备)626，其能够与输入/输出设备通信，例如用户输入设备，包括外围输入设备(例如游戏控制器、键盘、鼠标、笔、语音输入设备(例如麦克风)、用于获取和提供视频馈送和/或静态图像的摄像机、触摸输入设备、手势输入设备等)和/或输出设备，包括外围输出设备(例如显示器、打印机、音频扬声器、触觉输出设备等)。图8示出了客户端计算设备606(1)以某种方式连接到显示设备(例如显示屏629(N))，该显示设备可以根据本文所述的技术显示UI。

在图8的示例性环境600中，客户端计算设备606(1)至606(N)可以使用其各自的客户端模块620相互连接和/或与其他外部设备连接，以便参与通信会话603，或者以便向协作环境贡献活动。例如，第一用户可以利用客户端计算设备606(1)与另一客户端计算设备606(2)的第二用户进行通信。当执行客户端模块620时，用户可以共享数据，这可以促使客户端计算设备606(1)通过网络608连接到系统602和/或其他客户端计算设备606(2)至606(N)。

客户端计算设备606(1)至606(N)可以使用其各自的简档模块622来生成参与者简档(图8中未示出)，并将参与者简档提供给其他客户端计算设备和/或系统602的设备610。参与者简档可以包括用户或用户组的身份(例如姓名、唯一标识符(“ID”)等)、诸如个人数据之类的用户数据(例如)、诸如地点(例如IP地址、建筑物中的房间等)之类的机器数据和技术能力等中的一个或多个。参与者简档可以用于注册通信会话的参与者。

如图8所示，系统602的设备610包括服务器模块630和输出模块632。在此示例中，服务器模块630被配置为从个体客户端计算设备(例如客户端计算设备606(1)至606(N))接收媒体流634(1)至634(N)。如上所述，媒体流可以包括视频馈送(例如与用户相关联的音频和视觉数据)、要与用户的化身的呈现一起输出的音频数据(例如不传输用户的视频数据的纯音频体验)、文本数据(例如文本消息)、文件数据和/或屏幕共享数据(例如文档、幻灯片、图像、显示屏上显示的视频等)等等。因此，服务器模块630被配置为在实时观看通信会话603期间接收各种媒体流634(1)至634(N)的集合(该集合在本文中称为“媒体数据634”)。在一些场景中，并非所有参与通信会话603的客户端计算设备都提供媒体流。例如，客户端计算设备可能只是消费设备或“收听”设备，使得它仅接收与通信会话603相关联的内容，但不向通信会话603提供任何内容。

在各种示例中，服务器模块630可以选择要与参与的客户端计算设备606(1)至606(N)中的个体客户端计算设备共享的媒体流634的方面。因此，服务器模块630可以被配置为基于流634生成会话数据636和/或将会话数据636传递到输出模块632。然后，输出模块632可以将通信数据639传送到客户端计算设备(例如参与实时观看通信会话的客户端计算设备606(1)至606(3))。通信数据639可以包括由输出模块632基于与输出模块632相关联的内容650和基于接收到的会话数据636而提供的视频、音频和/或其他内容数据。内容650可以包括流634或其他共享数据，例如图像文件、电子表格文件、幻灯片、文档等。流634可以包括视频分量，该视频分量描绘由每个客户端计算机上的I/O设备626捕获的图像。

如图所示，输出模块632将通信数据639(1)发送到客户端计算设备606(1)，将通信数据639(2)发送到客户端计算设备606(2)，将通信数据639(3)发送到客户端计算设备606(3)，等等。发送到客户端计算设备的通信数据639可以相同或者可以不同(例如用户界面内的内容的流的定位可能因设备而异)。

在各种实施方式中，设备610和/或客户端模块620可以包括GUI呈现模块640。GUI呈现模块640可以被配置为分析要传送到一个或多个客户端计算设备606的通信数据639。具体地，设备610和/或客户端计算设备606处的UI呈现模块640可以分析通信数据639以确定在相关联的客户端计算设备606的显示屏629上显示视频、图像和/或内容的适当方式。在一些实施方式中，GUI呈现模块640可以向渲染在相关联的客户端计算设备606的显示屏629上的呈现GUI 646提供视频、图像和/或内容。GUI呈现模块640可以使呈现GUI 646被渲染在显示屏629上。呈现GUI 646可以包括由GUI呈现模块640分析的视频、图像和/或内容。

在一些实施方式中，呈现GUI 646可以包括多个区段或网格，其可以渲染或包括视频、图像和/或内容以显示在显示屏629上。例如，呈现GUI 646的第一区段可以包括演示者或个体的视频馈送，呈现GUI 646的第二区段可以包括消费由演示者或个体提供的会议信息的个体的视频馈送。GUI呈现模块640可以以适当模仿演示者和个体可能共享的环境体验的方式填充呈现GUI 646的第一区段和第二区段。

在一些实施方式中，GUI呈现模块640可以放大或提供视频馈送所表示的个体的缩放视图，以突出显示个体对演示者的反应，例如面部特征。在一些实施方式中，呈现GUI 646可以包括与会议(例如一般通信会话)相关联的多个参与者的视频馈送。在其他实施方式中，呈现GUI 646可以与频道相关联，例如聊天频道、企业团队频道等。因此，呈现GUI 646可以与不同于一般通信会话的外部通信会话相关联。

图9示出了展示示例性设备700(本文中也被称为“计算设备”)的示例性组件的图，此示例性设备被配置为生成用于本文公开的一些用户界面的数据。设备700可以生成数据，该数据可以包括一个或多个区段，这些区段可以渲染或包括视频、图像、虚拟对象和/或内容以供显示在显示屏629上。设备700可以表示本文所述的设备之一。另外地或者替代地，设备700可以表示客户端计算设备606之一。

如图所示，设备700包括一个或多个数据处理单元702、计算机可读介质704和通信接口706。设备700的组件可操作地例如经由总线709被连接，总线709可以包括系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线以及任何种类的本地、外围和/或独立总线中的一个或多个。

如本文所利用的，数据处理单元(例如数据处理单元702和/或数据处理单元692)可以表示例如CPU类型的数据处理单元、GPU类型的数据处理单元、现场可编程门阵列(“FPGA”)、另一类DSP或在一些情况下可以由CPU驱动的其他硬件逻辑组件。例如，但不限于，可以利用的硬件逻辑组件的说明性类型包括专用集成电路(“ASIC”)、专用标准产品(“ASSP”)、片上系统(“SOC”)、复杂可编程逻辑器件(“CPLD”)等。

如本文所利用的，计算机可读介质(例如计算机可读介质704和计算机可读介质694)可以存储可由数据处理单元执行的指令。计算机可读介质还可以存储可由外部数据处理单元(例如外部CPU、外部GPU)执行的指令和/或可由外部加速器(例如FPGA类型加速器、DSP类型加速器或任何其他内部或外部加速器)执行的指令。在各种示例中，至少一个CPU、GPU和/或加速器被并入计算设备中，而在一些示例中，CPU、GPU和/或加速器中的一个或多个位于计算设备的外部。

计算机可读介质(本文中也可以被称为计算机可读介质)可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括易失性存储器、非易失性存储器和/或其他持久性和/或辅助计算机存储介质、可移动和不可移动计算机存储介质中的一种或多种，这些计算机存储介质以任何方法或技术实现，用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息。因此，计算机存储介质包括包含在设备中和/或作为设备的一部分或设备外部的硬件组件中的有形和/或物理形式的介质，包括但不限于随机存取存储器(“RAM”)、静态随机存取存储器(“SRAM”)、动态随机存取存储器(“DRAM”)、相变存储器(“PCM”)、只读存储器(“ROM”)、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、闪存、压缩光盘只读存储器(“CD-ROM”)、数字多功能光盘(“DVD”)、光卡或其他光学存储介质、磁带盒、磁带、磁盘存储设备、磁卡或其他磁性存储设备或介质、固态存储器设备、存储阵列、网络附加存储设备、存储库域网络、托管计算机存储设备或可以用于存储和维护信息以供计算设备访问的任何其他存储存储器、存储设备和/或存储介质。计算机存储介质在本文中也可以被称为计算机可读存储介质、非暂时性计算机可读存储介质、非暂时性计算机可读介质或计算机存储介质。

与计算机存储介质相反，通信介质可以体现计算机可读指令、数据结构、程序模块或者调制数据信号(例如载波)或其他传输机制中的其他数据。如本文所定义的，计算机存储介质不包括通信介质。也就是说，计算机存储介质不包括仅由调制数据信号、载波或传播信号本身组成的通信介质。

通信接口706可以表示例如用于通过网络发送和接收通信的网络接口控制器(“NIC”)或其他类型的收发器设备。此外，通信接口706可以包括一个或多个摄像机和/或音频设备722，以便生成视频馈送和/或静态图像，等等。

在所示示例中，计算机可读介质704包括数据存储库708。在一些示例中，数据存储库708包括数据存储设备，例如数据库、数据仓库或其他类型的结构化或非结构化数据存储设备。在一些示例中，数据存储库708包括具有一个或多个表、索引、存储过程等的语料库和/或关系数据库，以实现数据访问，包括例如超文本标记语言(“HTML”)表、资源描述框架(“RDF”)表、Web本体语言(“OWL”)表和/或可扩展标记语言(“XML”)表中的一个或多个。

数据存储库708可以存储用于存储在计算机可读介质704中和/或由数据处理单元702和/或加速器执行的过程、应用、组件和/或模块的操作的数据。例如，在一些示例中，数据存储库708可以存储会话数据710(例如如图8所示的会话数据636)、(例如与参与者简档相关联的)简档数据712和/或其他数据。会话数据710可以包括通信会话中的参与者(例如用户和/或客户端计算设备)的总数、通信会话中发生的活动、通信会话的受邀者列表和/或与何时以及如何进行或主持通信会话相关的其他数据。数据存储库708还可以包括上下文数据714，例如包括视频、音频或其他内容的内容，以在一个或多个显示屏629上渲染和显示。硬件数据711可以定义任何设备的方面，例如计算机的多个显示屏。上下文数据714可以定义与个体用户10A-10L相关的任何类型的活动或状态，每个用户都与多个视频流634中的个体视频流相关联。例如，上下文数据可以定义一个人在组织中的级别、每个人的级别与其他人的级别之间的关系、一个人的表现级别，或可以用于确定一个人的渲染在虚拟环境内的位置的任何其他活动或状态信息。该上下文信息还可以被馈送到任何模型中，以帮助强调特定级别的人所说的关键字，在检测到某个级别的人的背景声音时突出显示UI，或者在检测到某个级别的人有某种情绪时以特定方式改变情绪显示。

替代地，上述数据中的一些或全部可以被存储在一个或多个数据处理单元702上的单独存储器716中，例如CPU类型的处理器、GPU类型的处理器、FPGA类型的加速器、DSP类型的加速器和/或另一加速器上的存储器。在此示例中，计算机可读介质704还包括操作系统718和被配置为将设备700的功能和数据公开给其他设备的应用编程接口710(API)。另外，计算机可读介质704包括一个或多个模块，例如服务器模块730、输出模块732和GUI呈现模块740，但是所示模块的数量仅为示例，并且数量可能有所不同。也就是说，本文中与所示模块相关联地描述的功能可以由一台设备上的更少数量的模块或更多数量的模块执行，或者分布在多台设备上。

以下示例性条款是对本公开内容的补充。

示例性条款A、一种用于在用户(10C)正在参与通信会话(604)的同时将用户界面(101)从用户(10C)的二维图像(151C)的渲染转换到用户(10C)的三维表示(251C)的渲染的方法，如图1A到图1B所示的转换，该方法被配置为在系统(100)上执行，该方法包括：促使包括用户(10C)的二维图像(151C)的渲染的用户界面(101)的显示，其中，二维图像(151C)的渲染来自二维图像文件(310)，其中，用户界面(101)同时显示用户(10C)的二维图像(151C)的渲染和参与与用户(10C)的通信会话(604)的其他用户(10A-10B)的渲染；这被包括在图1A或图2A中，用户以图库模式开始，其被定义为“二维图像的渲染”。其他用户可以处于图库模式或沉浸式模式。图库模式可以在VR房间的墙上或标准网格模式下；接收用于促使从用户(10C)的二维图像(151C)的渲染的显示到用户(10C)的三维表示(251C)的渲染的转换的输入，其中，该输入使系统访问定义用户(10C)的三维表示(251C)在三维环境(200)内的位置和取向的三维模型(320)，该；该输入旨在促使从图库模式到沉浸式模式的转换，该输入使系统访问3D模型；以及响应于用于促使从用户的二维图像的渲染的显示到用户的三维表示的渲染的转换的输入，促使对用户界面布置的修改，以移除用户的二维图像的渲染(151)，并且使用在三维模型(320)中定义的位置和取向在三维环境(200)的渲染中添加用户的三维表示(251C)的显示，这将移除2D图像并且在3D环境(例如房间)中显示用户的3D模型。3D表示使用3D模型数据来确定用户在3D环境中的位置和方向。

示例性条款B、该实施例是使用单个设备的从3D到2D的转换，如图1B到图1A所示的转换，用于在用户(10C)正在参与通信会话(604)的同时将用户界面(101)从用户(10C)的三维表示(251C)的渲染的渲染转换到用户(10C)的二维图像(151C)的方法，该方法被配置为在系统(100)上执行，该方法包括：促使包括用户(10C)的三维表示(251C)的渲染的用户界面(101)的显示，其中，用户界面(101)同时显示用户(10C)的三维表示(251C)和参与与用户(10C)的通信会话(604)的其他用户(10A-10B)的渲染，其他用户的渲染可以是2D图像或3D表示；该特征被包括在图1A或图2A中，用户以沉浸式模式开始，其被定义为3D渲染的渲染，其他用户可以处于图库模式或沉浸式模式；接收用于促使从用户(10C)的三维表示(251C)的渲染的显示到用户(10C)的二维图像(151C)的转换的输入，该输入旨在促使从沉浸式模式到图库模式的转换，该输入使系统从访问3D模型转变为访问2D图像文件；并且响应于用于促使用户(10C)的三维表示(251C)的渲染的显示到用户(10C)的二维图像(151C)的转换的输入，促使对用户界面布置的修改，以移除用户(10C)的三维表示(251C)的渲染，并且添加用户(10C)的二维图像(151C)的显示。

示例性条款C、一种用于转换用户界面(101)的方法，如从图3A到图3B的转换所示，与系统操作模式从第一操作模式改变为第二操作模式相协调，在第一操作模式中，用户(10C)作为2D图像(151C)的渲染被显示给通信会话的其他用户(10A-10B、10D-10E)，在第二操作模式中，在用户(10C)正在参与通信会话(604)的同时，用户作为用户(10C)的3D表示(251C)的渲染被显示给通信会话的其他用户，该方法配置为在系统(100)上执行，该方法包括：

响应于处于第一操作模式，促使在与用户(10C)相关联的计算机(11C)的显示设备上的用户界面(101)的显示，用户界面(101)包括参与与用户(10C)的通信会话(604)的其他用户中的第一组用户(10A-10B)的2D图像(151A-151B)的渲染，用户界面(101)还包括参与与用户(10C)的通信会话(604)的其他用户中的第二组用户(10D-10E)的3D表示(251A-251B)的渲染，其中，3D表示(251A-251B)的渲染的第一观看视角基于相对于虚拟相机(350)的位置的、3D表示(251A-251B)的虚拟对象(351A-351B)在3D环境内的位置(200)；在图3A中，第三用户以图库模式开始，其中3D环境是展示化身的正面的较小的窗口，接收用于促使系统操作模式从第一操作模式改变为第二操作模式的输入，在第一操作模式中，用户(10C)作为2D图像(151C)的渲染被显示给通信会话的其他用户(10A-10B、10D-10E)，在第二操作模式中，在用户(10C)正在参与通信会话(604)的同时，用户作为用户(10C)的3D表示(251C)的渲染被显示给通信会话的其他用户；如图1A和图1B所示，并且响应于用于促使系统操作模式从第一操作模式改变为第二操作模式的输入，促使对用户界面(101)的修改，以相对于在第一操作模式下3D环境(200)的渲染的第一尺寸而放大3D环境(200)的渲染，其中，用户(10C)对3D环境(200)的观看视角基于与用户(10C)的3D表示(251C)相关联的虚拟对象(351C)的位置和取向，其中，3D表示(251A-251B)的第二观看视角基于相对于3D表示(251A-251B)的虚拟对象(351A-351B)在3D环境(200)内的位置的、与用户(10C)的3D表示(251C)相关联的虚拟对象(351C)的位置和取向，在此示例中3D环境(200)展示化身的背面，其中，第二操作模式使用户界面将第一组用户(10A-10B)的2D图像(151A-151B)包括在形成为与虚拟环境(200)一起定位的虚拟显示屏的虚拟对象(275)中。

示例性条款D、一种用于转换用户界面(101)的方法，如从图3B到图3A的转换所示，与系统操作模式从第二操作模式改变为第一操作模式相协调，在第二操作模式中，在用户(10C)正在参与通信会话(604)的同时，用户作为用户(10C)的3D表示(251C)的渲染被显示给通信会话的其他用户，如图1B所示，在第一操作模式中，用户(10C)作为2D图像(151C)的渲染被显示给通信会话的其他用户(10A-10B、10D-10E)，如图1A所示，该方法被配置为在系统(100)上执行，该方法包括：响应于处于第二操作模式，如图3B所示，促使在与用户(10C)相关联的计算机(11C)的显示设备上的用户界面(101)的显示，用户界面(101)包括3D环境(200)的渲染的第一尺寸，其中，用户(10C)对3D环境(200)的第一观看视角基于与用户(10C)的3D表示(251C)相关联的虚拟对象(351C)的位置和取向，例如，其中其他化身相对于该用户的化身而被定位，其中，第二操作模式使用户界面将第一组用户(10A-10B)的2D图像(151A-151B)包括在形成为与虚拟环境(200)一起定位的虚拟显示屏的虚拟对象(275)中。接收用于促使系统操作模式从第二操作模式改变为第一操作模式的输入，在第二操作模式中，在用户(10C)正在参与通信会话(604)的同时，用户作为用户(10C)的3D表示(251C)的渲染被显示给通信会话的其他用户，如图1B所示，在第一操作模式中，用户(10C)作为2D图像(151C)的渲染被显示给通信会话的其他用户(10A-10B、10D-10E)，如图1A所示；以及响应于用于促使系统操作模式从第二操作模式改变为第一操作模式的输入，促使对用户界面(101)的修改，以将3D环境(200)的渲染从第一尺寸缩小，而在第一操作模式下，用户界面(101)包括参与与用户(10C)的通信会话(604)的其他用户中的第二组用户(10D-10E)的3D表示(251A-251B)的渲染，其中，3D表示(251A-251B)的渲染的第二观看视角基于相对于虚拟相机(350)的位置的、3D表示(251A-251B)的虚拟对象(351A-351B)在3D环境(200)内的位置，其中，第一操作模式使第一组用户(10A-10B)的2D图像(151A-151B)在没有显示虚拟对象(275)的情况下被显示。

示例性条款E、如任何示例性条款所述的方法，其中，用于促使所述转换的所述输入包括指示用户正在与具有键盘和鼠标的计算设备交互的输入数据，其中，基于检测到与用户(10C)相关联的客户端计算设备通信的键盘和鼠标，权限数据被修改以允许所述转换，其中，系统被配置为仅响应于确定权限数据基于检测到与客户端计算设备通信的键盘和鼠标来允许所述用户界面的所述转换而允许所述转换。

示例性条款F、如任何示例性条款所述的方法，其中，用于促使所述转换的所述输入包括指示用户正在与具有键盘的台式计算设备交互的输入数据，其中，基于检测到与关联于用户(10C)的台式计算设备通信的键盘，权限数据被修改以允许所述转换，其中，系统被配置为仅响应于确定权限数据基于检测到与关联于用户的台式计算设备通信的键盘来允许所述用户界面的所述转换而允许所述转换，其中，仅响应于检测到用户保持使用具有键盘的台式计算设备而允许所述用户界面的所述转换。

示例性条款G、如任何示例性条款所述的方法，其中，用于促使所述转换的所述输入包括指示用户正在与具有头戴式显示设备形式的计算机交互的输入数据，该计算机用于显示增强现实或虚拟现实计算环境，其中，系统被配置为仅响应于确定权限数据基于检测到用户保持使用具有头戴式显示设备形式的计算机来允许所述用户界面的所述转换而允许所述转换。

最后，尽管已经用特定于结构化特征和/或方法化动作的语言描述了各种配置，但是应当理解的是，所附表达中定义的主题不必限于所描述的具体特征或动作。而是，具体特征和动作是作为实现所主张的主题的示例性形式公开的。

Claims (14)

1.一种用于在用户正在参与通信会话的同时将用户界面从所述用户的二维图像的渲染转换到所述用户的三维表示的渲染的方法，所述方法被配置为在系统上执行，所述方法包括：

促使包括所述用户的所述二维图像的渲染的所述用户界面的显示，其中，所述二维图像的渲染来自二维图像文件，其中，所述用户界面同时显示所述用户的所述二维图像的渲染和参与与所述用户的所述通信会话的其他用户的渲染；

接收用于促使从所述用户的所述二维图像的渲染的显示到所述用户的所述三维表示的渲染的转换的输入，其中，所述输入使所述系统访问定义所述用户的所述三维表示在三维环境内的位置和取向的三维模型；以及

响应于用于促使从所述用户的所述二维图像的渲染的显示到所述用户的所述三维表示的渲染的所述转换的所述输入，促使对所述用户界面布置的修改，以移除所述用户的所述二维图像的渲染，并且使用所述三维模型中定义的位置和取向在所述三维环境的渲染中添加所述用户的所述三维表示的显示。

2.根据权利要求1所述的方法，其中，用于促使所述转换的所述输入包括指示所述用户正在与具有键盘和鼠标的计算设备交互的输入数据，其中，基于检测到与关联于所述用户的客户端计算设备通信的键盘和鼠标，权限数据被修改以允许所述转换，其中，所述系统被配置为仅响应于确定所述权限数据基于检测到与所述客户端计算设备通信的键盘和鼠标来允许所述用户界面的所述转换而允许所述转换。

3.根据权利要求1所述的方法，其中，用于促使所述转换的所述输入包括指示所述用户正在与具有键盘的台式计算设备交互的输入数据，其中，基于检测到与关联于所述用户的台式计算设备通信的键盘，权限数据被修改以允许所述转换，其中，所述系统被配置为仅响应于确定所述权限数据基于检测到与关联于所述用户的所述台式计算设备通信的键盘来允许所述用户界面的所述转换而允许所述转换。

4.根据权利要求1所述的方法，其中，所述三维表示的位置和取向被配置为提供所述表示的显示，使得响应于确定参与所述通信会话的其他用户的阈值数量的表示被定位为像正在查看共享内容的渲染，所述表示像正在查看所述共享内容的渲染。

5.根据权利要求1所述的方法，其中，所述三维表示的位置和取向被配置为提供所述表示的显示，使得响应于确定参与所述通信会话的其他用户的阈值数量的表示被定位和定向为像正在相互查看，所述表示像正在查看参与所述通信会话的其他用户的表示。

6.根据权利要求1所述的方法，其中，用于促使所述转换的所述输入包括指示所述用户已经戴上用于所述通信会话的头戴式显示设备的输入数据，其中，所述输入数据从安装到所述头戴式显示设备的运动传感器生成，所述传感器检测指示所述用户已经戴上头戴式显示设备的所述用户的运动。

7.根据权利要求1所述的方法，其中，用于促使所述转换的所述输入包括指示预定设备类型的输入数据，其中，基于检测到所述预定设备类型是台式计算设备，权限数据被修改以允许所述转换，其中，所述系统被配置为仅响应于确定所述权限数据基于检测到所述预定设备类型来允许所述用户界面的所述转换而允许所述转换。

8.一种用于在用户正在参与通信会话的同时将用户界面从所述用户的二维图像的渲染转换到所述用户的三维表示的渲染的系统，所述系统包括：

一个或多个处理单元；以及

计算机可读存储介质，其上编码有计算机可执行指令，以使所述一个或多个处理单元执行一种方法，所述方法包括：

促使包括所述用户的所述二维图像的渲染的所述用户界面的显示，其中，所述二维图像的渲染来自二维图像文件，其中，所述用户界面同时显示所述用户的所述二维图像的渲染和参与与所述用户的所述通信会话的其他用户的渲染；

接收用于促使从所述用户的所述二维图像的渲染的显示到所述用户的所述三维表示的渲染的转换的输入，其中，所述输入使所述系统访问定义所述用户的所述三维表示在三维环境内的位置和取向的三维模型；以及

响应于用于促使从所述用户的所述二维图像的渲染的显示到所述用户的所述三维表示的渲染的所述转换的所述输入，促使对所述用户界面布置的修改，以移除所述用户的所述二维图像的渲染，并且使用所述三维模型中定义的位置和取向在所述三维环境的渲染中添加所述用户的所述三维表示的显示。

9.根据权利要求8所述的系统，其中，用于促使所述转换的所述输入包括指示所述用户正在与具有键盘和鼠标的计算设备交互的输入数据，其中，基于检测到与关联于所述用户的客户端计算设备通信的键盘和鼠标，权限数据被修改以允许所述转换，其中，所述系统被配置为仅响应于确定所述权限数据基于检测到与所述客户端计算设备通信的键盘和鼠标来允许所述用户界面的所述转换而允许所述转换。

10.根据权利要求8所述的系统，其中，用于促使所述转换的所述输入包括指示所述用户正在与具有键盘的计算设备交互的输入数据，其中，基于检测到与关联于所述用户的客户端计算设备通信的键盘，权限数据被修改以允许所述转换，其中，所述系统被配置为仅响应于确定所述权限数据基于检测到与关联于所述用户的所述客户端计算设备通信的键盘来允许所述用户界面的所述转换而允许所述转换。

11.根据权利要求8所述的系统，其中，所述三维表示的位置和取向被配置为提供所述表示的显示，使得响应于确定参与所述通信会话的其他用户的阈值数量的表示被定位为像正在查看共享内容的渲染，所述表示像正在查看所述共享内容的渲染。

12.根据权利要求8所述的系统，其中，所述三维表示的位置和取向被配置为提供所述表示的显示，使得响应于确定参与所述通信会话的其他用户的阈值数量的表示被定位和定向为像正在相互查看，所述表示像正在查看参与所述通信会话的其他用户的表示。

13.根据权利要求8所述的系统，其中，用于促使所述转换的所述输入包括指示所述用户已经戴上用于所述通信会话的头戴式显示设备的输入数据，其中，所述输入数据从安装到所述头戴式显示设备的运动传感器生成，所述传感器检测指示所述用户已经戴上头戴式显示设备的所述用户的运动。

14.根据权利要求8所述的系统，其中，用于促使所述转换的所述输入包括指示预定设备类型的输入数据，其中，基于检测到所述预定设备类型是台式计算设备，权限数据被修改以允许所述转换，其中，所述系统被配置为仅响应于确定所述权限数据基于检测到所述预定设备类型来允许所述用户界面的所述转换而允许所述转换。