CN116018803A - 具有可导航虚拟形象的基于网页的视频会议虚拟环境和其应用 - Google Patents

Abstract

本文中所公开的是一种基于网页的视频会议系统，所述基于网页的视频会议系统允许视频虚拟形象(102A、102B)在虚拟环境内导航。所述系统具有演示模式，所述演示模式允许将演示流纹理映射到位于所述虚拟环境内的演示者屏幕(104A、104B)。调整相对的左右声音以提供虚拟空间中的虚拟形象的位置的感观。基于所述虚拟形象所在的区域和虚拟相机所在的区域而进一步调整所述声音。基于虚拟空间中的相对位置而调整视频流质量。三维建模在虚拟视频会议环境内可用。

Description

具有可导航虚拟形象的基于网页的视频会议虚拟环境和其应用

相关申请的交叉引用

本申请要求以下美国专利申请的优先权：2020年10月20日提交的美国专利申请，其申请号为US17/075,338，授权日为2021年4月13日，授权公告号为US10,979,672；2021年3月11日提交的美国专利申请，其申请号为US17/198,32；2020年10月20日提交的美国专利申请，其申请号为US17/075,362，授权日为2021年8月17日，授权公告号为US11,095,857；2020年10月20日提交的美国专利，其申请号为US17/075,390，授权日为2021年3月16日，授权公告号为US10,952,006；2020年10月20日提交的美国专利申请，其申请号为US17/075,408，授权日2021年7月20日，授权公告号为US11,070,768；2020年10月20日提交的美国专利申请，其申请号US17/075,428，授权日为2021年7月27日，授权公告号为US11,076,128；以及2020年10月20日提交的美国专利申请，其申请号为US17/075,454。这些申请中的每一个的内容以全文引用的方式并入本文中。

技术领域

本领域大体上涉及视频会议。

背景技术

视频会议涉及用户在不同位置处接收和传输音频-视频信号，以用于人与人之间的实时通信。视频会议在各种不同服务的许多计算设备上广泛使用，其中该服务包括可从加利福尼亚州圣何塞(San Jose,CA)的Zoom通信公司获得的ZOOM服务。一些视频会议软件，例如可从加利福尼亚州库比蒂诺(Cupertino,CA)的苹果公司(Apple Inc.)获得的FaceTime应用程序，是移动设备的标准配置。

一般来说，这些应用程序通过其他会议参与者所显示的视频和输出的音频而进行操作。当存在多个参与者时，屏幕可划分成数个矩形框，每一矩形框显示一个参与者的视频。有时，这些服务通过使用更大的框来显示说话的人的视频。当不同的人说话时，该框将在说话者之间切换。应用程序从与用户的设备集成的相机捕捉视频并且从与用户的设备集成的麦克风捕捉音频。应用程序随后将音频和视频传输到在其它用户的设备上运行的其它应用程序。

这些视频会议应用程序中的许多都具有屏幕共享功能。当用户决定共享其屏幕(或其屏幕的一部分)时，将具有其屏幕内容的流传输到其它用户的设备。在一些情况下，其它用户甚至可控制分享用户的屏幕上的内容。以此方式，用户可就项目进行合作或对其它会议参与者进行演示。

近来，视频会议技术变得越来越重要。许多工作场所、商贸展会、集会、会议、学校和宗教场所已经关闭或鼓励人们不参加，以避免传播疾病，尤其是COVID-19。使用视频会议技术的虚拟会议越来越多地代替实体会议。另外，与实体会议相比，此技术提供避免旅行和通勤的优势。

然而通常，此视频会议技术的使用会造成场所感的丧失。在体验方面，人们在同一场所中实体地开会时会获得体验，而在虚拟地进行会议时就会丧失此体验。在社交方面，人们能够通过手势动作表达自己并且能够看着自己的伙伴。这种体验感在创建关系和社交联系方面很重要。然而，在传统的视频会议中这种感觉不复存在。

此外，当若干参与者开始进入会议时，这些视频会议技术会发生额外的问题。在实体会议中，人们可进行单向对话。你可以发出你的声音而使只有靠近你的人能听清你说的话。在一些情况下，你甚至可在较大型集会中进行私人对话。然而，在虚拟会议中，当多个人同时说话时，软件会大体上均匀混合两个音频流，从而导致参与者打断彼此。因此，当多个人参与虚拟会议时，不可能进行私人对话，并且对话趋向于采用一对多的演讲形式。此处，虚拟会议也失去了让参与者更有效地创建社交联系、沟通和建立关系网的机会。

此外，由于网络带宽和计算硬件的限制，当将大量流放入会议中时，许多视频会议系统的性能开始下降。许多计算设备虽然配备了处理来自几个参与者的视频流的能力，但能力不足，无法处理来自十几个或更多个参与者的视频流。由于许多学校完全虚拟地运作，25人的班级进行虚拟会议可能严重减慢学校分发的计算设备的运行速度。

大型多人在线游戏(MMOG或MMO)通常可具有超过25个参与者。这些游戏通常在单个服务器上具有数百或数千个玩家。MMO通常允许玩家在虚拟世界中导航虚拟形象。有时这些MMO允许用户彼此说话或彼此发送消息。实例包括可从加利福尼亚州圣马特奥(SanMateo,CA)的罗布乐思(Roblox)公司获得的罗布乐思(ROBLOX)游戏，和可从瑞典斯德哥尔摩(Stockholm,Sweden)的魔赞(Mojang)工作室获得的我的世界(MINECRAFT)游戏。

仅让虚拟形象彼此交互在社会交互方面也具有局限性。这些虚拟形象通常无法传达人们常常在无意中做的面部表情。在视频会议中可观察到这些面部表情。一些出版物可能描述将视频放在虚拟世界中的虚拟形象上。然而，这些系统通常需要专用软件并且具有其他限制它们的用途。

需要一种改进视频会议的方法。

发明内容

在实施例中，一种设备实现第一用户与第二用户之间的视频会议。所述设备包括被耦接到存储器的处理器、显示屏、网络接口和网页浏览器。网络接口被配置为接收：(i)指定三维虚拟空间的数据，(ii)三维虚拟空间中的位置和方向，位置和方向由第一用户输入，和(iii)从第一用户的设备上的相机捕捉的视频流。第一用户的相机被定位成捕捉第一用户的摄影图像。在处理器上实施的网页浏览器被配置为从服务器下载网页应用程序并且执行网页应用程序。网页应用程序包括纹理映射器和渲染器。纹理映射器被配置为将视频流纹理映射到虚拟形象的三维模型上。渲染器被配置为从第二用户的虚拟相机的视角进行渲染，以向第二用户显示三维虚拟空间，显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的虚拟形象的经纹理映射的三维模型。通过在网页应用程序内管理纹理映射，实施例避免了安装专门软件的需要。

在实施例中，一种计算机实施方法允许在包括多个参与者的虚拟会议中进行演示。在方法中，接收指定三维虚拟空间的数据。还接收三维虚拟空间中的位置和方向。位置和方向由多个参与者中的第一参与者输入到会议。最后，接收从第一参与者的设备上的相机捕捉的视频流。相机被定位成捕捉第一参与者的摄影图像。视频流经纹理映射到虚拟形象的三维模型上。此外，从第一参与者的设备接收演示流。演示流经纹理映射到演示屏的三维模型上。最后，从多个参与者中的第二参与者的虚拟相机的视角渲染三维虚拟空间以显示给第二参与者，所述三维虚拟空间具有经纹理映射虚拟形象和经纹理映射演示屏参与者。以此方式，实施例允许在社交会议环境中进行演示。

在实施例中，一种计算机实施方法为包括多个参与者的虚拟会议提供音频。在方法中，从第一用户的虚拟相机的视角渲染三维虚拟空间以显示给第一用户，所述三维虚拟空间包括具有第二用户的纹理映射视频的虚拟形象。虚拟相机在三维虚拟空间中的第一位置处，并且虚拟形象在三维虚拟空间中的第二位置处。接收来自第二用户的设备的麦克风的音频流。麦克风被定位以捕捉第二用户的语音。调整所接收音频流的音量以确定左音频流和右音频流，从而提供第二位置相对于第一位置在三维虚拟空间中的位置的感观。输出左音频流和右音频流，从而以立体声播放给第一用户。

在实施例中，一种计算机实施方法为虚拟会议提供音频。在方法中，从第一用户的虚拟相机的视角渲染三维虚拟空间以显示给第一用户，所述三维虚拟空间包括具有第二用户的经纹理映射视频的虚拟形象。虚拟相机在三维虚拟空间中的第一位置处，并且虚拟形象在三维虚拟空间中的第二位置处。接收来自第二用户的设备的麦克风的音频流。确定虚拟相机和虚拟形象是否位于多个区域中的同一区域中。当确定虚拟相机和虚拟形象不位于同一区域中时，减弱音频流。输出减弱的音频流以播放给第一用户。以此方式，实施例允许虚拟视频会议环境中的私人对话或单向对话。

在实施例中，一种计算机实施方法有效地流式传输用于虚拟会议的视频。在方法中，确定虚拟会议空间中的第一用户与第二用户之间的距离。接收从第一用户的设备上的相机捕捉的视频流。相机被定位以捕捉第一用户的摄影图像。基于所确定距离而降低视频流的分辨率或比特率，使得较近距离产生比较远距离更大的分辨率。以降低的分辨率或比特率将视频流传输到第二用户的设备，以在虚拟会议空间内显示给第二用户。视频流将经纹理映射到第一用户的虚拟形象上，以在虚拟会议空间内显示给第二用户。以此方式，实施例即使在存在大量会议参与者时也能高效地分配带宽和计算资源。

在实施例中，一种计算机实施方法允许在虚拟视频会议中进行建模。在方法中，接收虚拟环境的三维模型、表示对象的三维模型的网格和来自虚拟视频会议的参与者的视频流。视频流经纹理映射到可由参与者导航的虚拟形象。渲染虚拟环境内的经纹理映射虚拟形象和表示对象的三维模型的网格以用于显示。

还公开了系统、设备和计算机程序产品实施例。

下文参考附图详细地描述本发明的其它实施例、特征和优点以及各种实施例的结构和操作。

附图说明

并入本文中并且形成说明书的一部分的附图说明本公开，并且与描述一起进一步用以解释本公开的原理并且使得相关领域的技术人员能够制作和使用本公开。

图1是说明在虚拟环境中提供视频会议的示例界面的图，其中视频流映射到虚拟形象上。

图2是说明三维模型的图，该三维模型用以渲染虚拟环境，虚拟环境具有用于视频会议的虚拟形象。

图3是说明提供虚拟环境中的视频会议的系统的简图。

图4A到图4C说明数据如何在图3中的系统的各种组件之间传输以提供视频会议。

图5是说明用于调整相对左右音量以在视频会议期间提供虚拟环境中的位置感观的方法的流程图。

图6是说明音量如何随着虚拟形象之间的距离增加而滚降的图表。

图7是说明用于调整相对音量以在视频会议期间在虚拟环境中提供不同音量区域的方法的流程图。

图8A到图8B是说明在视频会议期间虚拟环境中的不同音量区域的图。

图9A到图9C是说明在视频会议期间遍历虚拟环境中的音量区域的分级结构的简图。

图10说明在三维虚拟环境中具有三维模型的界面。

图11说明用于视频会议的三维虚拟环境中的演示屏共享。

图12是说明用于基于三维虚拟环境内的虚拟形象的相对位置而分配可用带宽的方法的流程图。

图13是说明优先级值如何随虚拟形象之间的距离增加而下降的图表。

图14是说明所分配的带宽可如何基于相对优先级而变化的图表。

图15是说明用以在虚拟环境内提供视频会议的设备的组件的图。

元件第一次出现的图式通常由对应附图标记中最左侧的一个或多个数字指示。在图式中，相同的附图标记可指示相同或功能上类似的元件。

具体实施方式

在虚拟环境中具有虚拟形象的视频会议

图1是说明在虚拟环境中提供视频会议的界面100的示例的图，其中视频流映射到虚拟形象上。

可以向视频会议的参与者显示界面100。举例来说，界面100可经渲染以显示给参与者，并且可随着视频会议的进行而不断地更新。用户可使用例如键盘输入来控制其虚拟相机的方向。以此方式，用户可在虚拟环境中导航。在实施例中，不同输入可改变虚拟相机在虚拟环境中的X位置和Y位置以及平移角度和倾斜角度。在另外实施例中，用户可使用输入来改变虚拟相机的高度(Z坐标)或偏转。在进一步的其他实施例中，用户可键入输入以使虚拟相机“跃升”，同时返回到其原始位置，以模拟重力。可用于导航虚拟相机的输入可包括例如键盘输入和鼠标输入，例如用以在X-Y平面上向前、向后、向左、向右移动虚拟相机的WASD键盘键、用以“跃升”虚拟相机的空格键和鼠标移动指定平移角度和倾斜角度的变化。

界面100包括虚拟形象102A和102B，其各自表示视频会议的不同参与者。虚拟形象102A和102B分别具有来自第一参与者和第二参与者的设备的经纹理映射的视频流104A和104B。纹理映射是应用(映射)到形状或多边形的表面的图像。此处，图像是视频的各个帧。捕捉视频流104A和104B的相机设备被定位以捕捉各个参与者的面部。以此方式，当参与者在会议中讲话和倾听时，虚拟形象具有纹理映射于其上的面部移动图像。

类似于通过用户查看界面100对虚拟相机的控制，虚拟形象102A和102B的位置和方向由其表示的各个参与者控制。虚拟形象102A和102B是由网格表示的三维模型。每一虚拟形象102A和102B可在虚拟形象下方具有参与者姓名。

各个虚拟形象102A和102B由各个用户控制。它们可各自定位在对应于其自身虚拟相机位于虚拟环境内的位置点处。正如用户查看界面100可围绕虚拟相机移动，各个用户可移动其各自的虚拟形象102A和102B。

在界面100中经渲染的虚拟环境包括场所的背景图像120和三维模型118。场所可为应在其中进行视频会议的场地或建筑。场所可包括以墙壁为界的地板区域。三维模型118可包括网格和纹理。数学上表示三维模型118的表面的其它方式也是可能的。举例来说，多边形建模、曲线建模和数字刻纹是可能的。举例来说，三维模型118可由体元、样条、几何图元、多边形或三维空间中的任何其它可能表现物来展示。三维模型118还可包括光源的规格。光源可包括例如点光源、定向光源、聚光灯光源和环境光源。对象还可具有描述其如何反射光的某些属性。在实例中，属性可包括漫射、环境和光谱照明交互。

除场所之外，虚拟环境还可包括说明环境的不同组件的各种其它三维模型。举例来说，三维环境可包括装饰模型114、扬声器模型116和演示屏模型122。正如模型118，可使用表示三维空间中的几何表面的任何数学方式来表示这些模型。这些模型可与模型118分离或组合到虚拟环境的单个表现物中。

例如模型114的装饰模型用以增强场所的真实性并且增加场所的美观性。扬声器模型116可虚拟地发出声音，例如演示音乐和背景音乐，如下文将关于图5和图7更详细地描述。演示屏模型122可用以提供出口以呈现演示。可将演示者屏幕共享或演示屏共享的视频纹理映射到演示屏模型122上。

按钮108可向用户提供参与者列表。在一个实例中，在用户选择按钮108之后，用户可通过单独或群组发送文本消息而与其它参与者聊天。

按钮110可使得用户能够改变用于渲染界面100的虚拟相机的属性。举例来说，虚拟相机可具有视场，该视场指定数据经渲染以用于显示的角度。渲染相机视场内的建模数据，而可能不渲染相机视场外的建模数据。默认地，可在60°与110°之间的某处设置虚拟相机的视场，其与广角镜头和人类视觉相称。然而，选择按钮110可使得虚拟相机将视场增大到超过170°，与鱼眼镜头相称。这可使得用户能够对其在虚拟环境中的周围环境具有更广泛的外围感知。

最后，按钮112使得用户退出虚拟环境。选择按钮112可使得通知发送到属于另一参与者的设备，发信号通知其设备停止显示对应于先前查看界面100的用户的虚拟形象。

以此方式，界面虚拟3D空间用于进行视频会议。每一用户控制虚拟形象，其可控制虚拟形象四处移动、环顾四周、跳跃或做其它改变位置或方向的事情。虚拟相机向用户展示虚拟3D环境和其它虚拟形象。其它用户的虚拟形象具有作为整体部分的虚拟显示，该虚拟显示展示用户的网络相机图像。

通过给予用户空间感并且允许用户看见彼此的脸，实施例提供比传统网页会议或传统MMO游戏更多的社交体验。更多社交体验具有多种应用。举例来说，其可在在线购物中使用。举例来说，界面100具有以下应用：提供虚拟杂货店、教堂、商贸展会、B2B销售、B2C销售、学校教育、餐馆或食堂、产品发布、施工现场调查(例如用于建筑师、工程师、承包人)、办公空间(例如人们虚拟地“在办公桌前”工作)、远程控制机器(船、车辆、飞机、潜水艇、无人机、钻井装备等)、厂房/工厂控制室、医疗手术、花园设计、有导游的虚拟巴士之旅、音乐盛会(例如音乐会)、讲座(例如TED演讲)、政党集会、董事会、水下研究、对难以到达的地点的研究，紧急情况训练(例如火灾)、烹饪、购物(包括结帐和货物运输)、虚拟艺术和工艺(例如绘画和陶器)、婚姻、葬礼、洗礼、远程体育训练、咨询、治疗恐惧症(例如对抗疗法)、时尚展览、游乐园、家庭装饰、观看体育赛事、观看电子竞技、观看使用三维相机捕捉的表演、玩桌游和角色扮演游戏、浏览/遍览医学图像、查看地质数据、学习语言、在视障者空间中开会、在听障者空间中开会、使通常不能行走或站立的人参与进活动，播报新闻或天气、脱口秀、签售会、投票、MMO、购买/出售虚拟地址(例如在一些MMO，如可从加利福尼亚州旧金山(SanFrancisco,CA)的林登研究公司(Linden Research,Inc.)获得的第二人生(SECOND LIFE)游戏中可获得的那些虚拟地址)、跳蚤市场、车库出售、旅行社、银行、计算机流程管理、击剑/剑术/武术、重现(例如重现犯罪现场和或事故)、彩排真实事件(例如婚礼、演示、演出、太空行走)、评价或查看用三维相机捕捉的真实事件、动物表演、动物园、以高/矮/盲/聋/白人/黑人的身份体验生活(例如虚拟世界的经修改视频流或静态图像，以模拟用户希望体验反应的视角)、求职面试、游戏演出、交互式故事(例如凶杀疑案(murder mystery))、虚拟钓鱼、虚拟航行、心理学研究、行为分析、虚拟体育运动(例如，攀爬/抱石运动)、控制你的房子或其它场所中的灯等(家居自动化(domotics))、记忆宫殿、考古学、礼品商店、虚拟就诊，使得顾客在其真实就诊时将更舒适、虚拟医疗手术，其用以解释手术并让人感觉更舒适、和虚拟交易大厅/金融市场/股票市场(例如将实时数据和视频反馈集成到虚拟世界、实时交易和分析)、虚拟位置，人们必须前往该虚拟位置作为其工作的一部分，这样人们才能实际上有机地彼此见面(例如如果你想创建发票，只有在虚拟位置内才有可能完成)，和增强现实，在该增强现实中，你将人的面部投影到他们的AR头戴装置(或头盔)上，这样你就可看到他们的面部表情(例如用于军事，执法，消防队，特种部队)，和进行预订(例如预订某一度假屋/汽车/等)。

图2是说明三维模型的图200，该三维模型用以渲染虚拟环境，虚拟环境具有用于视频会议的虚拟形象。正如图1中所说明的，此处的虚拟环境包括三维场所118和各种三维模型，包括三维模型114和122。同样如图1中所说明的，图200包括在虚拟环境中导航的虚拟形象102A和102B。

如上文所描述，从虚拟相机的视角渲染图1中的界面100。虚拟相机在图200中说明为虚拟相机204。如上文所提及，图1中用户查看界面100可控制虚拟相机204并且在三维空间中导航虚拟相机。根据虚拟相机204的新位置和虚拟相机204的视场内的模型的任何改变而不断地更新界面100。如上文所描述的，虚拟相机204的视场可为至少部分地由水平和竖直视场角度定义的锥体。

如上文相对于图1所描述的，背景图像或纹理可定义虚拟环境的至少一部分。背景图像可捕捉意图在某一距离处出现的虚拟环境的方面。背景图像可经纹理映射到球体202上。虚拟相机204可在球体202的原点处。以此方式，可有效地渲染虚拟环境的远距离特征。

在其它实施例中，可使用其它形状代替球体202来纹理映射背景图像。在各种替代实施例中，形状可为圆柱体、立方体、矩形棱柱或任何其它三维几何形状。

图3是说明提供虚拟环境中的视频会议的系统300的图。系统300包括经由一个或多个网络304耦接到设备306A和306B的服务器302。

服务器302提供连接设备306A与306B之间的视频会议会话的服务。如下文将更详细描述的，当新参与者加入会议时和当现有参与者离开会议时，服务器302将通知传送到会议参与者的设备(例如设备306A到306B)。服务器302传送描述三维虚拟空间内各个参与者的虚拟相机在三维虚拟空间的位置和方向的消息。服务器302还在参与者的相应设备(例如设备306A到306B)之间传送视频流和音频流。最后，服务器302存储描述指定三维虚拟空间的数据并将其传输到各个设备306A到306B。

除了虚拟会议所必需的数据之外，服务器302还可提供指导设备306A和306B如何渲染数据以提供交互式会议的可执行信息。

服务器302通过响应以对请求作出回应。服务器302可为网页服务器。网页服务器是使用超文本传送协议(HTTP)和其它协议的软件和硬件，以对万维网上进行的客户端请求作出响应。网页服务器的主要工作是通过存储网页、处理网页和将网页传递到用户来显示网站内容。

在替代实施例中，设备306A到306B之间的通信不是通过服务器302而是在对等的基础上发生。在所述实施例中，描述各个参与者的位置和方向的数据、关于新参与者和退出的参与者的通知以及各个参与者的视频流和音频流不通过服务器302传送，而是直接在设备306A到306B之间传送。

网络304实现各种设备306A到306B与服务器302之间的通信。网络304可为临时网络、企业内部网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、因特网的一部分、公共交换电话网络(PSTN)的一部分、蜂窝式电话网络、无线网络、WiFi网络、WiMax网络、任何其它类型的网络或两种或更多种此类网络的任何组合。

设备306A到306B各自是虚拟会议的各个参与者的设备。设备306A到306B各自接收进行虚拟会议所必需的数据并且渲染提供虚拟会议所必需的数据。如下文将更详细地描述的，设备306A到306B包括用以呈现经渲染会议信息的显示器、允许用户控制虚拟相机的输入、用以将音频提供给用户以用于会议的扬声器(例如头戴装置)、用以捕捉用户的语音输入的麦克风和被定位以捕捉用户的面部视频的相机。

设备306A到306B可为任何类型的计算设备，包括膝上型计算机、桌上型计算机、智能手机或平板计算机或可穿戴计算机(例如智能手表或增强现实或虚拟现实的耳机)。

网页浏览器308A到308B可检索通过链路标识符(例如统一资源定位符或URL)寻址的网络资源(例如网页)并且呈现网络资源以用于显示。特别地，网页浏览器308A到308B是用于访问万维网上的信息的软件应用程序。通常，网页浏览器308A到308B使用超文本传送协议(HTTP或HTTPS)进行此请求。当用户从特定网站请求网页时，网页浏览器从网页服务器检索所需内容、解译并执行内容，并且随后在设备306A到306B上的显示器上显示经展示为客户端/对应会议应用程序310A到310B的页面。在实例中，内容可具有HTML和客户端脚本处理，例如JavaScript。一旦显示，用户就可输入信息并且在页面上进行选择，这可使得网页浏览器308A到308B进行进一步请求。

会议应用程序310A到310B可为从服务器302下载并且被配置为由各个网页浏览器308A到308B执行的网页应用程序。在实施例中，会议应用程序310A到310B可为JavaScript应用程序。在一个实例中，会议应用程序310A到310B可以较高级语言(例如Typescript语言)编写，并且经翻译或编译成JavaScript。会议应用程序310A到310B被配置为与WebGLJavaScript应用程序编程接口交互。其可具有在JavaScript中指定的控制代码和在OpenGLES着色语言(GLSL ES)中写入的着色器代码。使用WebGL API，会议应用程序310A到310B可利用设备306A到306B的图形处理单元(未图示)。此外，OpenGL在不使用插件的情况下渲染交互式二维图形和交互式三维图形。

会议应用程序310A到310B从服务器302接收描述其它虚拟形象的位置和方向的数据和描述虚拟环境的三维建模信息。另外，会议应用程序310A到310B从服务器302接收其它会议参与者的视频流和音频流。

会议应用程序310A到310B渲染三维建模数据，包括描述三维环境的数据和表示各个参与者虚拟形象的数据。此渲染可涉及光栅化、纹理映射、光线跟踪、着色或其它渲染技术。在实施例中，渲染可涉及基于虚拟相机的特性的光线跟踪。光线跟踪涉及通过在图像平面中将光的路径跟踪为像素并且模拟其遇到虚拟对象的效果来产生图像。在一些实施例中，为了增强真实性，光线跟踪可模拟光学效应，例如反射、折射、散射和色散。

以此方式，用户使用网页浏览器308A到308B来进入虚拟空间。场景显示于用户的屏幕上。将用户的网络相机视频流和麦克风音频流发送到服务器302。当其它用户进入虚拟空间时，为其创建虚拟形象模型。此虚拟形象的位置被发送到服务器并且由其它用户接收。其它用户还从服务器302获得音频流/视频流可用的通知。用户的视频流被放置在为该用户创建的虚拟形象上。音频流被播放为来自虚拟形象的位置。

图4A到图4C说明数据如何在图3中的系统的各种组件之间传送以提供视频会议。类似于图3，图4A到图4C中的每一个描绘服务器302与设备306A和306B之间的连接。特别地，图4A到图4C说明设备之间的示例数据流。

图4A说明服务器302如何将描述虚拟环境的数据传输到设备306A和306B的图400。特别地，设备306A和306B都从服务器302接收三维场所404、背景纹理402、空间分级结构408和任何其它三维建模信息406。

如上文所描述，背景纹理402是说明虚拟环境的远距离特征的图像。图像可为规则的(例如砖壁)或不规则的。背景纹理402可以任何常见图像文件格式编码，例如位图、JPEG、GIF或其它文件图像格式。其描述待针对例如一定距离处的球体渲染的背景图像。

三维场所404是其中将进行会议的空间的三维模型。如上文所描述，该三维场所可包括例如网格和待映射到其所描述的三维图元上的可能存在的其自身的纹理信息。其可限定虚拟相机和各个虚拟形象可在虚拟环境内导航的空间。因此，其可由向用户说明可导航虚拟环境的周边的边缘(例如墙壁或围栏)限界。

空间分级结构408是指定虚拟环境中的分区的数据。这些分区用于确定在参与者之间传送声音之前的声音处理方式。如下文将描述，此分区数据可为分级的并且可描述声音处理，以允许虚拟会议的参与者可进行私人对话或单向对话的区域。

三维模型406是进行会议所需的任何其它三维建模信息。在一个实施例中，这可包括描述各个虚拟形象的信息。替代地或另外，此信息可包括产品展示。

随着将进行集会所需的信息发送到参与者，图4B到图4C说明服务器302如何将信息从一个设备转发到另一设备。图4B说明展示服务器302如何从各个设备306A和306B接收信息的图420，图4C说明展示服务器302如何将信息传输到各个设备306B和306A的图460。特别地，设备306A将位置和方向422A、视频流424A和音频流426A传输到服务器302，该服务器将位置和方向422A、视频流424A和音频流426A传输到设备306B。并且设备306B将位置和方向422B、视频流424B和音频流426B传输到服务器302，该服务器将位置和方向422B、视频流424B和音频流426B传输到设备306A。

位置和方向422A到422B描述使用设备306A的用户的虚拟相机的位置和方向。如上文所描述的，位置可为三维空间中的坐标(例如x、y、z坐标)，并且方向可为三维空间中的方向(例如平移、倾斜、横摇)。在一些实施例中，用户可能无法控制虚拟相机的横摇，因此该方向可能仅指定平移角度和倾斜角度。类似地，在一些实施例中，用户可能无法改变虚拟形象的坐标(因为虚拟形象受虚拟重力的限制)，因此z坐标可为非必要的。以此方式，位置和方向422A到422B各自可至少包括三维虚拟空间中的水平面上的坐标以及平移值和倾斜值。替代地或另外，用户可能够使虚拟形象“跳跃”，因此Z位置可仅由用户是否正使其虚拟形象跳跃的指示来指定。

在不同实例中，可使用HTTP请求响应或使用插口消息传递来传输和接收位置和方向422A到422B。

视频流424A到424B是从各个设备306A和306B的相机捕捉的视频数据。视频可以被压缩。举例来说，视频可使用任何通常已知的视频编解码器，包括MPEG-4、VP8或H.264。可实时地捕捉和传输视频。

类似地，音频流426A到426B是从各个设备的麦克风捕捉的音频数据。音频可以被压缩。举例来说，音频可使用任何通常已知的音频编解码器，包括MPEG-4或vorbis。可实时地捕捉和传输音频。视频流424A和音频流426A彼此同步地被捕捉、传输和呈现。类似地，视频流424B和音频流426B彼此同步地被捕捉、传输和呈现。

可使用WebRTC应用程序编程接口来传输视频流424A到424B和音频流426A到426B。WebRTC是在JavaScript中可用的API。如上文所描述，设备306A和306B下载并且运行网页应用程序，作为会议应用程序310A和310B，并且会议应用程序310A和310B可在JavaScript中实施。会议应用程序310A和310B可使用WebRTC通过从其JavaScript进行API调用来接收和传输视频流424A到424B和音频流426A到426B。

如上文所提及，当用户离开虚拟会议时，此离开被传送到所有其它用户。举例来说，如果设备306A退出虚拟会议，则服务器302将把离开传送到设备306B。因此，设备306B将停止渲染对应于设备306A的虚拟形象，从而从虚拟空间移除虚拟形象。另外，设备306B将停止接收视频流424A和音频流426A。

如上文所描述的，会议应用程序310A和310B可基于来自各个视频流424A和424B的新信息、位置和方向422A和422B以及关于三维环境的新信息而周期性地或间歇性地重新渲染虚拟空间。为简单起见，现在从设备306A的视角描述这些更新中的每一个。然而，技术人员将理解设备306B将在给定类似改变的情况下有类似的表现。

当设备306A接收视频流424B时，设备306A将来自视频流424A的帧纹理映射到对应于设备306B的虚拟形象。经纹理映射的虚拟形象在三维虚拟空间内被重新渲染并且呈现给设备306A的用户。

设备306A接收新位置和新方向422B时，设备306A产生对应于位于新位置处并且在新方向上定向的设备306B的虚拟形象。所产生的虚拟形象在三维虚拟空间内被重新渲染并且呈现给设备306A的用户。

在一些实施例中，服务器302可发送描述三维虚拟环境的更新的模型信息。举例来说，服务器302可发送更新的信息402、404、406或408。当发生此情况时，设备306A将基于更新的信息而重新渲染虚拟环境。当环境随时间改变时这可能是有用的。举例来说，户外活动可能随着活动进行而从白天改变为黄昏。

再次，当设备306B退出虚拟会议时，服务器302将指示设备306B不再参与会议的通知发送到设备306A。在此情况下，设备306A将在没有设备306B的虚拟形象的情况下重新渲染虚拟环境。

虽然图4A到图4C和图3为简单起见用两个设备进行说明，但技术人员将理解，本文中所描述的技术可延伸到任何数量的设备。并且，虽然图4A到图4C和图3说明单个服务器302，但技术人员将理解，服务器302的功能性可分布在多个计算设备当中。在实施例中，在图4A中传送的数据可来自服务器302的一个网络地址，而在图4B到图4C中传送的数据可传送到服务器302的另一网络地址/从服务器302的另一网络地址传送。

在一个实施例中，参与者可在进入虚拟会议之前设置他们的网络相机、麦克风、扬声器和图形设置。在替代实施例中，在启动应用程序之后，用户可进入虚拟大厅，在虚拟大厅中他们受到由真人控制的虚拟形象的迎接。此人能够查看和修改网络相机、麦克风、扬声器和用户的图形设置。工作人员还可指导用户如何使用虚拟环境，例如通过指导用户查看、四处移动和交互。当用户准备好时，用户自动地离开虚拟等待室并且加入真实虚拟环境。

调整虚拟环境中的视频会议的音量

实施例还调整音量以提供对虚拟会议内的位置和空间的感观。例如，这在图5到图7、图8A到图8B和图9A到图9C中进行说明，图中的每一个被描述在下文中。

图5是说明用于调整相对左右音量以在视频会议期间提供对虚拟环境中的位置的感观的方法500的流程图。

在步骤502处，基于虚拟形象之间的距离而调整音量。如上文所描述的，接收来自另一用户的设备的麦克风的音频流。基于第二位置到第一位置之间的距离而调整第一音频流和第二音频流的音量。这在图6中进行说明。

图6展示说明音量如何随着多个虚拟形象之间的距离增加而下降的图表600。图表600在其x轴和y轴上说明了音量602。随着用户之间的距离增加，音量保持恒定，直到达到基准距离606为止。此时，音量开始降低。以此方式，在所有其它事物相同的情况下，较近用户将通常比较远用户声音更响。

声音降低的速度取决于滚降因子。这可为内置于视频会议系统或客户端设备的设置中的系数。如通过线608和线610所说明的，与较小滚降因子相比，较大滚降因子将导致音量更快地劣化。

返回到图5，在步骤504处，基于虚拟形象位于的方向而调整相对左右音频。也就是说，在用户的扬声器(例如耳机)上输出的音频的音量将变化，以提供对说话的用户的虚拟形象所在位置的感观。基于产生音频流的用户所在的位置(例如，说话的用户的虚拟形象的位置)的方向相对于接收音频的用户所在的位置(例如，虚拟相机的位置)而调整左音频流和右音频流的相对音量。位置可在三维虚拟空间内的水平面上。左音频流和右音频流的相对音量提供对第二位置相对于第一位置在三维虚拟空间中的位置的感观。

举例来说，在步骤504处，将调整对应于虚拟相机的左侧的虚拟形象的音频，使得音频在接收用户的左耳以比右耳更高的音量输出。类似地，将调整对应于虚拟相机的右侧的虚拟形象的音频，使得音频在接收用户的右耳以比左耳更高的音量输出。

在步骤506处，基于一个虚拟形象相对于另一虚拟形象定向的方向而调整相对左右音频。基于虚拟相机面向的方向与虚拟形象面向的方向之间的角度而调整左音频流和右音频流的相对音量，使得较垂直的角度趋向于在左音频流与右音频流之间具有较大音量差。

举例来说，当虚拟形象直接面向虚拟相机时，在步骤506中可根本不调整虚拟形象的对应音频流的相对左右音量。当虚拟形象面向虚拟相机的左侧时，可调整虚拟形象的对应音频流的相对左右音量，使得左音量比右音量更响。并且，当虚拟形象面向虚拟相机的右侧时，可调整虚拟形象的对应音频流的相对左右音量，使得右音量比左音量更响。

在示例中，步骤506中的计算可涉及虚拟相机面向的角度与虚拟形象面向的角度的向量积。角度可为其在水平面上面向的方向。

在实施例中，可进行检查以确定用户正使用的音频输出设备。如果音频输出设备不是提供立体声效果的一组头戴式耳机或另一类型的扬声器，则可能不会发生步骤504和步骤506中的调整。

对从每一其它参与者接收到的每一音频流重复步骤502到506。基于步骤502到506中的计算，计算每一其它参与者的左音频增益和右音频增益。

以此方式，调整每一参与者的音频流以提供对参与者的虚拟形象在三维虚拟环境中所在位置的感观。

不仅调整音频流以提供对虚拟形象所在位置的感观，而且在某些实施例中，可调整音频流以提供私人或半私人音量区域。以此方式，虚拟环境使得用户能够进行私人对话。并且，该虚拟环境使得用户能够彼此交流并且允许发生单独、单向对话，这是传统视频会议软件不可能做到的。例如，这相对于图7进行说明。

图7是说明用于调整相对音量以在视频会议期间在虚拟环境中提供不同音量区域的方法700的流程图。

如上文所描述的，服务器可将声音区域或音量区域的规范提供到客户端设备。虚拟环境可被分成不同音量区域。在步骤702处，设备确定各个虚拟形象和虚拟相机位于哪些声音区域中。

举例来说，图8A到图8B是说明视频会议期间的虚拟环境中的不同音量区域的图。图8A说明具有音量区域802的图800，音量区域允许在控制虚拟形象806的用户与控制虚拟相机的用户之间进行半私人对话或单向对话。以此方式，会议桌810周围的用户可进行对话而不干扰房间中的其它用户。来自控制虚拟相机中的虚拟形象806的用户的声音可在其退出音量区域802时下降，但不完全消失。如果他们愿意，这允许路人加入对话。

界面800还包括将在下文描述的按钮804、806和808。

图8B说明具有音量区域804的图800，音量区域804允许在控制虚拟形象808的用户与控制虚拟相机的用户之间进行私人对话。一旦在音量区域804内部，来自控制虚拟形象808的用户和控制虚拟相机的用户的音频就可仅输出给在音量区域804内部的那些用户。由于根本没有音频在会议中从那些用户播放到其它用户，因此其音频流可能甚至不被传输到其它用户设备。

音量空间可为分级的，如图9A和9B中所说明的。图9B是展示具有被布置成分级结构的不同音量区域的布局的图930。音量区域934和935在音量区域933内，并且音量区域933和932在音量区域931内。这些音量区域以分级树表示，如图900和图9A中所说明的。

在图900中，节点901表示音量区域931并且是树的根部。节点902和903是节点901的子节点，并且表示音量区域932和933。节点904和906是节点903的子节点，并且表示音量区域934和935。

如果位于区域934中的用户试图倾听位于区域932中的用户说话，则音频流必须穿过数个不同的虚拟“墙壁”，每个墙壁减弱音频流。具体地，声音必须穿过区域932的墙壁、区域933的墙壁和区域934的墙壁。每个墙壁以特定因子减弱。相对于图7中的步骤704和步骤706描述此计算。

在步骤704处，遍历分级结构以确定虚拟形象之间存在哪些不同声音区域。这例如在图9C中进行说明。从对应于说话话音的虚拟区域的节点(在此情况下，节点904)开始，确定到接收用户的节点(在此情况下，节点902)的路径。为了确定路径，确定在节点之间行进的链路952。以此方式，确定在包括虚拟形象的区域与包括虚拟相机的区域之间的区域的子集。

在步骤706处，来自说话用户的音频流基于区域的子集的相应墙壁传输因子而减弱。每一相应的墙壁传输因子指定音频流被减弱的程度。

另外或替代地，不同区域具有不同滚降因子，在此情况下，可基于各个滚降因子而将方法600中展示的基于距离的计算应用于相应区域。以此方式，虚拟环境的不同区域以不同速率发出声音。如上文相对于图5所描述的方法中确定的音频增益可应用于音频流以相应地确定左音频和右音频。以此方式，墙壁传输因子、滚降因子和提供对声音方向的感观的左右调整可一起经应用以提供全面的音频体验。

不同音频区域可具有不同功能性。举例来说，音量区域可为讲台区域。如果用户位于讲台区域中，则可能不会发生相对于图5或图7所描述的一些或全部减弱。举例来说，可能不会发生由于滚降因子或墙壁传输因子而引起的减弱。在一些实施例中，可仍调整相对左右音频以提供对方向的感观。

出于示范性目的，相对于图5和图7描述的方法描述来自具有对应虚拟形象的用户的音频流。然而，相同方法可应用于除虚拟形象外的其它声音源。举例来说，虚拟环境可具有扬声器的三维模型。声音可以与上文所描述的虚拟形象模型相同的方式从扬声器发出，这归因于演示或正好为了提供背景音乐。

如上文所提及，可使用墙壁传输因子来完全隔离音频。在实施例中，这可用于创建虚拟办公室。在一个实例中，每一用户可在其物理(可能家庭)办公室中具有持续显示会议应用程序并且登录进入虚拟办公室的监视器。可存在允许用户指示其是否位于办公室中或其不可受打扰的特征。如果免打扰指示符是关闭的，则同事或管理者可进入到虚拟空间内并且敲门或走入，如其在实体办公室中时所做的一样。如果工作者不在她的办公室中，则造访者能够留下便条。当工作者返回时，她将能够阅读造访者留下的便条。虚拟办公室可具有显示用户消息的白板和/或界面。消息可为电子邮件和/或来自消息传递应用程序，例如可从加利福尼亚州旧金山的Slack技术公司获得的SLACK应用程序。

用户能够定制或个性化他们的虚拟办公室。举例来说，他们可能够张贴海报模型或其它墙壁装饰品。他们可能够改变桌子或装饰品(例如植物)的模型或定向。他们能够改变照明或从窗口看向外面。

返回到图8A，界面800包括各种按钮804、806和808。当用户按下按钮804时，上文相对于图5和图7中的方法所描述的减弱可能不会发生，或可能仅以较小量发生。在此情形下，用户的声音均匀地输出给其它用户，从而允许用户向会议中的所有参与者讲话。还可在虚拟环境内的演示屏上输出用户视频，如下文将描述的。当用户按下按钮806时，启用扬声器模式。在此情况下，从虚拟环境内的声音源输出音频，以便播放背景音乐。当用户按下按钮808时，可启用屏幕共享模式，从而使得用户能够与其它用户共享其设备上的屏幕或窗口的内容。内容可在演示模型上呈现。这也将在下文进行描述。

在三维环境中进行演示

图10说明在三维虚拟环境中具有三维模型1004的界面1000。如上文相对于图1所描述的，可将界面1000显示给可在虚拟环境周围导航的用户。如界面1000中所说明的，虚拟环境包括虚拟形象1004和三维模型1002。

三维模型1002是放置在虚拟空间内部的产品的3D模型。人们能够加入此虚拟空间以观察模型，并且可在其中走动。产品可具有局部化的声音以增强体验。

更特别地，虚拟空间中的演示者想要展示3D模型时，其从界面选择所要的模型。这将消息发送到服务器以更新细节(包括模型的名称和路径)。这将自动传送到客户端。以此方式，可渲染三维模型以用于在呈现视频流时同步显示。用户可围绕产品的三维模型导航虚拟相机。

在不同实例中，对象可为产品展示或可为产品的广告。

图11说明具有用于视频会议的三维虚拟环境中的演示屏共享的界面1100。如上文相对于图1所描述的，可将界面1100显示给可在虚拟环境周围导航的用户。如在界面1100中所说明的，虚拟环境包括虚拟形象1104和演示屏1106。

在此实施例中，从会议中的参与者的设备接收演示流。演示流经纹理映射到演示屏1106的三维模型上。在一个实施例中，演示流可为来自用户的设备上的相机的视频流。在另一实施例中，演示流可为来自用户的设备的屏幕共享，其中监视器或窗口是共享的。通过屏幕共享或以其它方式，演示视频流和演示音频流还可来自外部源，例如活动直播。当用户启用演示者模式时，将用户的演示流(和音频流)发布到服务器，并以用户想要使用的屏幕的名称进行标记。通知其它客户端新流是可用的。

演示者还可能能够控制观众成员的位置和方向。举例来说，演示者可具有选择将所有其它参与者重新布置到集会以使他们被定位并且定向以面向演示屏的选项。

音频流是与演示流同步捕捉并且从第一参与者的设备的麦克风捕捉的。来自用户的麦克风的音频流可被其它用户听到，作为来自演示屏1106的音频流。以此方式，演示屏1106可为如上文所描述的声音源。因为用户的音频流从演示屏1106投射，其可能受用户的虚拟形象抑制。以此方式，输出音频流，以与三维虚拟空间内的屏幕1106上的演示流的显示同步地播放。

基于用户之间的距离而分配带宽

图12是说明用于基于三维虚拟环境内的虚拟形象的相对位置而分配可用带宽的方法1200的流程图。

在步骤1202处，确定虚拟会议空间中的第一用户与第二用户之间的距离。距离可为三维空间中的水平面上的第一用户与第二用户之间的距离。

在步骤1204处，对所接收的视频流进行优先级排序，使得较近用户的视频流优先于来自较远用户的视频流。可确定优先级值，如图13中所说明的。

图13展示图表1300，其展示y轴上的优先级1306以及距离1302。如通过线1306所说明的，优先级状态保持恒定水平，直到达到基准距离1304为止。在达到基准距离之后，优先级开始下降。

在步骤1206处，将各种视频流之间的可用带宽分配给用户设备。这可基于在步骤1204中确定的优先级值而完成。举例来说，可按比例调整优先级以使得所有优先级总计为1。对于任何其中可用带宽不足的视频，相对优先级可能被降为零。随后，再次针对视频流的剩余部分调整优先级。基于这些相对优先级值而分配带宽。另外，可为音频流保留带宽。这在图14中进行说明。

图14说明了图表1400，其中y轴表示带宽1406并且x轴表示相对优先级。在将有效的最小带宽1406分配到视频之后，分配到视频流的带宽1406与其相对优先级按比例增大。

一旦确定所分配的带宽，客户端就可以通过选择并且分配到该视频的带宽/比特率/帧速率/分辨率而从服务器请求视频。这可开始客户端与服务器之间的协商过程以在指定带宽处开始流式传输视频。以此方式，为所有用户公平地划分可用视频带宽和可用音频带宽，其中具有两倍多的优先级的用户将获得两倍多的带宽。

在一个可能实施方案中，使用联播，所有客户端将具有不同比特率和分辨率的多个视频流发送到服务器。其它客户端随后可向服务器指示它们关注并且想要接收流中的哪一个。

在步骤1208处，确定虚拟会议空间中的第一用户与第二用户之间的可用带宽是否使得在远处的视频显示无效。此确定可由客户端或服务器完成。如果由客户端完成，则客户端将消息发送给服务器以停止将视频传输到客户端。如果视频显示无效，则暂停视频流到第二用户的设备的传输，并且通知第二用户的设备用静止图像代替视频流。静止图像可只是所接收的最后视频帧(或最后视频帧中的一个)。

在一个实施例中，可针对音频执行类似过程，从而根据音频保留部分的大小降低质量。在另一实施例中，每个音频流的带宽一致。

以此方式，实施例为所有用户提高性能，并且服务器对于较远和/或较不重要的用户可降低视频流和音频流的质量。当有足够带宽预算可用时不这样操作。减少是在比特率和分辨率上完成的。这提高了视频质量，因为编码器可更高效地利用该用户的可用带宽。

独立于此，视频分辨率基于距离而按比例降低，其中两倍远的用户具有一半的分辨率。以此方式，鉴于屏幕分辨率的限制，不必要的分辨率可不下载。因此节省了带宽。

图15是说明用以在虚拟环境内提供视频会议的设备的组件的系统1500的图。在各种实施例中，系统1500可根据上文所描述的方法操作。

设备306A是用户计算设备。设备306A可为台式计算机或膝上型计算机、智能手机、平板电脑或可穿戴式设备(例如手表或头戴式设备)。设备306A包括麦克风1502、相机1504、立体声扬声器1506、输入设备1512。虽然未图示，但设备306A还包括处理器和持久性、非暂时性和易失性存储器。处理器可包括一个或多个中央处理单元、图形处理单元或其任何组合。

麦克风1502将声音转化成电信号。麦克风1502被定位以捕捉设备306A的用户的语音。在不同实例中，麦克风1502可为电容式麦克风、驻极体麦克风、动圈式麦克风、带状麦克风、碳麦克风、压电麦克风、光纤麦克风、激光麦克风、水麦克风或MEMs麦克风。

相机1504通过大体上穿过一个或多个镜头捕捉光而捕捉图像数据。相机1504被定位以捕捉设备306A的用户的摄影图像。相机1504包括图像传感器(未图示)。图像传感器可为例如电荷耦接设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。图像传感器可包括检测光并且将光转化成电信号的一个或多个光电检测器。在类似时间范围内一起捕捉的这些电信号包括静止摄影图像。以规则间隔捕捉的一连串静止摄影图像一起构成视频。以此方式，相机1504捕捉图像和视频。

立体声扬声器1506是将电音频信号转化成对应左右声音的设备。立体声扬声器1506输出由音频处理器1520(下文)产生的左音频流和右音频流，左音频流和右音频流将以立体声播放给设备306A的用户。立体声扬声器1506包括环境扬声器和头戴式耳机两者，他们被设计为将声音直接播放到用户的左耳和右耳中。实例扬声器包括动铁式扩音器、压电扬声器、静磁扩音器、静电扩音器、带状和平面磁性扩音器、弯曲波扩音器、平板扩音器、海尔气动式变换器、透明离子传导扬声器、等离子体电弧扬声器、热声扬声器、旋转式低音扬声器、动圈式电枢、静电电枢、驻极体电枢、平面磁性电枢和平衡电枢。

网络接口1508是计算机网络中的两件装备或两个协议层之间的软件接口或硬件接口。网络接口1508从服务器302接收集会的各个参与者的视频流。视频流是从视频会议的另一参与者的设备上的相机捕捉的。网络接口1508还从服务器302接收指定三维虚拟空间和其中的任何模型的数据。对于其它参与者中的每一者，网络接口1508接收三维虚拟空间中的位置和方向。位置和方向由各个其它参与者中的每一个输入。

网络接口1508还将数据传输到服务器302。网络接口传输由渲染器1518使用的设备306A的用户虚拟相机的位置，并且传输来自相机1504和麦克风1502的视频流和音频流。

显示器1510是用于以视觉或触觉形式(例如在供盲人使用的触觉电子显示器的实例中使用触觉形式)呈现电子信息的输出设备。显示器1510可为电视机、计算机显示器、头戴式显示器、平视显示器、增强现实头戴装置或虚拟现实头戴装置的输出、广播参考监视器、医疗监视器移动显示器(用于移动设备)、智能手机显示器(用于智能手机)。为了呈现信息，显示器1510可包括电致发光(ELD)显示器、液晶显示器(LCD)、发光二极管(LED)背光LCD、薄膜晶体管(TFT)LCD、发光二极管(LED)显示器、OLED显示器、AMOLED显示器、等离子体(PDP)显示器、量子点(QLED)显示器。

输入设备1512是用于将数据和控制信号提供到例如计算机或信息设备的信息处理系统的装备。输入设备1512允许用户输入由渲染器1518使用的虚拟相机的新的期望位置，由此实现三维环境中的导航。输入设备的实例包括键盘、鼠标、扫描器、导航杆和触摸屏。

上文相对于图3描述了网页浏览器308A和网页应用程序310A。网页应用程序310A包括屏幕捕捉器1514、纹理映射器1516、渲染器1518和音频处理器1520。

屏幕捕捉器1514捕捉演示流，尤其是屏幕共享。屏幕捕捉器1514可与由网页浏览器308A提供的API交互。通过调用可从API获得的功能，屏幕捕捉器1514可使得网页浏览器308A询问用户其想要共享哪一窗口或屏幕。基于对该查询的应答，网页浏览器308A可将对应于屏幕共享的视频流传回到屏幕捕捉器1514，该屏幕捕捉器1514将视频流传递到网络接口1508上以传输到服务器302并且最终传输到其它参与者的设备。

纹理映射器1516将视频流纹理映射到对应于虚拟形象的三维模型上。纹理映射器1516可将来自视频的各个帧纹理映射到虚拟形象。另外，纹理映射器1516可将演示流纹理映射到演示屏的三维模型。

渲染器1518从设备306A的用户的虚拟相机的视角进行渲染以向显示器1510输出三维虚拟空间，输出的三位虚拟空间包括位于接收的对应位置处并且在方向上定向的各个参与者的虚拟形象的纹理映射的三维模型。渲染器1518还渲染包括例如演示屏的任何其它三维模型。

音频处理器1520调整所接收音频流的音量以确定左音频流和右音频流，从而提供对第二位置相对于第一位置在三维虚拟空间中的位置的感观。在一个实施例中，音频处理器1520基于第二位置到第一位置之间的距离而调整音量。在另一实施例中，音频处理器1520基于第二位置到第一位置的方向而调整音量。在又一实施例中，音频处理器1520基于第二位置相对于第一位置在三维虚拟空间内的水平面上的方向而调整音量。在又一实施例中，音频处理器1520基于虚拟相机在三维虚拟空间中面向的方向而调整音量，使得当虚拟形象位于虚拟相机的左侧时左音频流趋向于具有较高音量，并且当虚拟形象位于虚拟相机的右侧时右音频流趋向于具有较高音量。最后，在又一实施例中，音频处理器1520基于虚拟相机面向的方向与虚拟形象面向的方向之间的角度而调整音量，使得较垂直于虚拟形象面向的方向的角度趋向于在左音频流与右音频流之间具有较大音量差。

音频处理器1520还可基于扬声器所在的区域相对于虚拟相机所在的区域来调整音频流的音量。在此实施例中，三维虚拟空间被分割成多个区域。这些区域可为分级的。当扬声器和虚拟相机位于不同区域中时，可应用墙壁传输因子以减弱说话音频流的音量。

服务器302包括出席通知器1522、流调整器1524和流转发器1526。

出席通知器1522在参与者加入和离开会议时通知会议参与者。当新参与者加入会议时，出席通知器1522将指示新参与者已加入的消息发送到会议的另一参与者的设备。出席通知器1522发信号通知流转发器1526开始将视频、音频和位置/方向信息转发到其它参与者。

流调整器1524接收从第一用户的设备上的相机捕捉的视频流。流调整器1524确定将用于虚拟会议的数据传输到第二用户的可用带宽。流调整器确定虚拟会议空间中的第一用户与第二用户之间的距离。并且，其基于相对距离而分配第一视频流与第二视频流之间的可用带宽。以此方式，流调整器1524将较近用户的视频流优先于来自较远用户的视频流。另外或替代地，流调整器1524可能作为网页应用程序310A的部分位于设备306A上。

流转发器1526广播所接收的位置/方向信息、视频、音频和屏幕共享屏(由流调整器1524进行调整)。流转发器1526可响应于来自会议应用程序310A的请求而将信息发送到设备306A。会议应用程序310A可响应于来自出席通知器1522的通知而发送请求。

网络接口1528是计算机网络中的两件装备或两个协议层之间的软件接口或硬件接口。网络接口1528将模型信息传输到各个参与者的设备。网络接口1528接收来自各个参与者的视频、音频和屏幕共享屏。

屏幕捕捉器1514、纹理映射器1516、渲染器1518、音频处理器1520、出席通知器1522、流调整器1524和流转发器1526可各自实施于硬件、软件、固件或其任何组合中。

例如“(a)”、“(b)”、“(i)”、“(ii)”等标识符有时在不同元件或步骤中使用。这些标识符是为了清楚起见而使用，并且不一定指定元件或步骤的次序。

上文已借助于说明指定功能及其关系的实施方案的功能构建块来描述本发明。为了便于描述，本文已任意地限定这些功能构建块的边界。只要适当地执行指定功能及其关系，就可限定替代边界。

具体实施例的前文描述将充分揭示本发明的一般性质，使得其他人在不脱离本发明的一般概念的情况下可通过应用所属领域内的知识针对各种应用而轻松修改和/或调适此类具体实施例，而无需进行不当实验。因此，基于本文所呈现的教示和指导，此类调适和修改既定在所公开实施例的等效物的含义和范围内。应理解，本文的措辞或术语是出于描述而非限制的目的，使得本说明书的术语或措辞将由所属领域的技术人员按照教示及指导进行解译。

本发明的广度和范围不应受到上述示范性实施例中任一实施例限制，而应仅根据以下权利要求书和其等同物进行限定。

Claims (146)

1.一种用于实现第一用户与第二用户之间的视频会议的系统，其特征在于，所述系统包括：

处理器，所述处理器被耦接到存储器；

显示屏；

网络接口，所述网络接口被配置为接收：(i)指定三维虚拟空间的数据，(ii)所述三维虚拟空间中的位置和方向，所述位置和所述方向由所述第一用户输入，和从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

在所述处理器上实施的网页浏览器，所述网页浏览器被配置为从服务器下载网页应用程序并执行所述网页应用程序，其中所述网页应用程序包括：

纹理映射器，所述纹理映射器被配置为将所述视频流纹理映射到虚拟形象的三维模型上，以及

渲染器，所述渲染器被配置为：

(i)从所述第二用户的虚拟相机的视角进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的纹理映射的三维模型，

(ii)当接收到来自所述第二用户的、指示希望改变所述虚拟相机的所述视角的输入时，改变所述第二用户的所述虚拟相机的所述视角，以及

(iii)从所述虚拟相机的改变的视角重新进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的纹理映射的三维模型。

2.根据权利要求1所述的系统，其特征在于，所述设备进一步包括图形处理单元，并且其中所述纹理映射器和所述渲染器包括WebGL应用程序调用，所述WebGL应用程序调用使得所述网页应用程序能够使用所述图形处理单元来纹理映射或进行渲染。

3.一种用于实现第一用户与第二用户之间的视频会议的计算机实施方法，其特征在于，所述计算机实施方法包括：

将网页应用程序传输到所述第一用户的第一客户端设备并且传输到所述第二用户的第二客户端设备；

从执行所述网页应用程序的所述第一客户端设备接收(i)三维虚拟空间中的位置和方向，其中所述位置和方向由所述第一用户输入，以及(ii)从所述第一客户端设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；以及

将所述位置和所述方向以及所述视频流传输到所述第二用户的所述第二客户端设备，其中所述网页应用程序包括可执行指令，所述可执行指令在网页浏览器上执行时使得所述第二客户端设备：

(i)将所述视频流从所述第二用户的虚拟相机的视角纹理映射到虚拟形象的三维模型上，

(ii)进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的纹理映射的三维模型，

(ii)当接收到来自所述第二用户的、指示希望改变所述虚拟相机的所述视角的输入时，改变所述第二用户的所述虚拟相机的所述视角，以及

(iii)从所述虚拟相机的改变的视角重新进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的纹理映射的三维模型。

4.根据权利要求3所述的方法，其特征在于，所述网页应用程序包括WebGL应用程序调用，所述WebGL应用程序调用使得所述网页应用程序能够使用所述第二客户端设备的图形处理单元来纹理映射或进行渲染。

5.一种用于实现第一用户与第二用户之间的视频会议的计算机实施方法，其特征在于，所述计算机实施方法包括：

接收指定三维虚拟空间的数据；

接收所述三维虚拟空间中的位置和方向，其中所述位置和所述方向由所述第一用户输入；

接收从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

通过在网页浏览器上实施的网页应用程序将所述视频流纹理映射到虚拟形象的三维模型上；以及

通过在所述网页浏览器上实施的所述网页应用程序从所述第二用户的虚拟相机的视角进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的纹理映射的三维模型；

当接收到来自所述第二用户的、指示希望改变所述虚拟相机的所述视角的输入时：

改变所述第二用户的所述虚拟相机的所述视角；以及

从所述虚拟相机的改变的视角重新进行渲染，以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的纹理映射的三维模型。

6.根据权利要求5所述的方法，其特征在于，所述方法进一步包括：

从所述第一用户的所述设备的麦克风接收与所述视频流同步捕捉的音频流，所述麦克风被定位成捕捉所述第一用户的语音；以及

与所述视频流在所述三维虚拟空间内的显示同步地输出所述音频流，以播放给所述第二用户。

7.根据权利要求5所述的方法，其特征在于，所述虚拟相机的所述视角由所述三维虚拟空间中的水平面上的至少一坐标以及平移值和倾斜值限定。

8.根据权利要求5所述的方法，其特征在于，所述方法进一步包括当接收到所述第一用户在所述三维虚拟空间中的新位置和新方向时：

重新进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述新位置处并且在所述新方向上定向的所述虚拟形象的纹理映射的三维模型。

9.根据权利要求5所述的方法，其特征在于，所述纹理映射包括针对所述视频流的各个帧将像素反复地映射到所述虚拟形象的三维模型上。

10.根据权利要求5所述的方法，其特征在于，在网页浏览器处从服务器接收所述数据、所述位置和所述方向以及所述视频流，并且其中所述纹理映射和渲染由所述网页浏览器执行。

11.根据权利要求10所述的方法，其特征在于，所述方法进一步包括：

从所述服务器接收指示所述第一用户不再可用的通知；以及

重新进行渲染以在所述网页浏览器上向所述第二用户显示所述三维虚拟空间，所述三维虚拟空间不具有所述虚拟形象的纹理映射的三维模型。

12.根据权利要求11所述的方法，其特征在于，所述方法进一步包括：

从所述服务器接收指示第三用户已进入所述三维虚拟空间的通知；

接收所述第三用户在所述三维虚拟空间中的第二位置和第二方向；

接收从所述第三用户的设备上的相机捕捉的第二视频流，所述相机被定位成捕捉所述第三用户的摄影图像；

将所述第二视频流纹理映射到第二虚拟形象的第二三维模型上；以及

从所述第二用户的所述虚拟相机的所述视角进行渲染，以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述第二位置处并且在所述第二方向上定向的第二经纹理映射的三维模型。

13.根据权利要求5所述的方法，其特征在于，所述接收指定所述三维虚拟空间的数据包括接收指定会议空间的网格和接收背景图像，其中进行渲染包括将所述背景图像纹理映射到球体上。

14.一种存储有指令的非暂时性、有形的计算机可读设备，其特征在于，所述指令由至少一个计算设备执行时使得所述至少一个计算设备执行用于实现第一用户与第二用户之间的视频会议的操作，所述操作包括：

接收指定三维虚拟空间的数据；

接收所述三维虚拟空间中的位置和方向，所述位置和方向由所述第一用户输入；

接收从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

将所述视频流纹理映射到虚拟形象的三维模型上；

从所述第二用户的虚拟相机的视角进行渲染，以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的纹理映射的三维模型，

当接收到来自所述第二用户的、指示希望改变所述虚拟相机的所述视角的输入时：

改变所述第二用户的所述虚拟相机的所述视角；以及

从所述虚拟相机的改变的视角重新进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的纹理映射的三维模型，

其中在网页浏览器处从服务器接收所述数据、所述位置和所述方向以及所述视频流，并且其中所述纹理映射和渲染由所述网页浏览器执行。

15.根据权利要求14所述的设备，其特征在于，所述操作进一步包括：

从所述第一用户的所述设备的麦克风接收与所述视频流同步捕捉的音频流，所述麦克风被定位成捕捉所述第一用户的语音；以及

与所述视频流在所述三维虚拟空间内的显示同步地输出所述音频流，以播放给所述第二用户。

16.根据权利要求14所述的设备，其特征在于，所述虚拟相机的所述视角由所述三维虚拟空间中的水平面上的至少一坐标以及平移值和倾斜值限定。

17.根据权利要求14所述的设备，其特征在于，所述操作进一步包括当接收到所述第一用户在所述三维虚拟空间中的新位置和新方向时：

重新进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述新位置处并且在所述新方向上定向的所述虚拟形象的纹理映射的三维模型。

18.根据权利要求14所述的设备，其特征在于，所述纹理映射包括针对所述视频流的各个帧将像素反复地映射到所述虚拟形象的三维模型上。

19.根据权利要求14所述的设备，其特征在于，所述操作进一步包括：

从所述服务器接收指示所述第一用户不再可用的通知；以及

重新进行渲染以在所述网页浏览器上向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间不具有所述虚拟形象的纹理映射的三维模型。

20.根据权利要求19所述的设备，其特征在于，所述操作进一步包括：

从所述服务器接收指示第三用户已进入所述三维虚拟空间的通知；

接收所述第三用户在所述三维虚拟空间中的第二位置和第二方向；

接收从所述第三用户的设备上的相机捕捉的第二视频流，所述相机被定位成捕捉所述第三用户的摄影图像；

将所述第二视频流纹理映射到第二虚拟形象的第二三维模型上；以及

从所述第二用户的所述虚拟相机的视角进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述第二位置处并且在所述第二方向上定向的第二经纹理映射的三维模型。

21.根据权利要求14所述的设备，其特征在于，所述接收指定所述三维虚拟空间的数据包括接收指定会议空间的网格和接收背景图像，其中所述渲染包括将所述背景图像纹理映射到球体上。

22.一种用于实现第一用户与第二用户之间的视频会议的计算机实施方法，其特征在于，所述计算机实施方法包括：

接收指定三维虚拟空间的数据；

接收所述三维虚拟空间中的位置和方向，所述位置和所述方向由所述第一用户输入；

接收从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

通过在网页浏览器上实施的网页应用程序将所述视频流纹理映射到虚拟形象的三维模型上；

通过在所述网页浏览器上实施的所述网页应用程序从所述第二用户的虚拟相机的视角进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的纹理映射的三维模型；

从服务器接收指示所述第一用户不再可用的通知；以及

重新进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间不具有所述虚拟形象的所述经纹理映射的三维模型。

23.根据权利要求22所述的方法，其特征在于，所述方法进一步包括：

从所述服务器接收指示第三用户已进入所述三维虚拟空间的通知；

接收所述第三用户在所述三维虚拟空间中的第二位置和第二方向；

接收从所述第三用户的设备上的相机捕捉的第二视频流，所述相机被定位成捕捉所述第三用户的摄影图像；

将所述第二视频流纹理映射到第二虚拟形象的第二三维模型上；以及

从所述第二用户的所述虚拟相机的视角进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述第二位置处并且在所述第二方向上定向的第二经纹理映射的三维模型。

24.一种用于实现第一用户与第二用户之间的视频会议的系统，其特征在于，所述系统包括：

处理器，所述处理器被耦接到存储器；

显示屏；

网络接口，所述网络接口被配置为接收：(i)指定三维虚拟空间的数据，(ii)所述三维虚拟空间中的位置和方向，其中所述位置和所述方向由所述第一用户输入，和从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

在所述处理器上实施的网页浏览器，所述网页浏览器被配置为从服务器下载网页应用程序并执行所述网页应用程序，其中所述网页应用程序包括：

映射器，所述映射器被配置为将所述视频流映射到虚拟形象的三维模型上，以及

渲染器，所述渲染器被配置为从所述第二用户的虚拟相机的视角进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的具有映射视频流的所述虚拟形象的三维模型。

25.根据权利要求24所述的系统，其特征在于，所述设备进一步包括图形处理单元，并且其中所述映射器和所述渲染器包括WebGL应用程序调用，所述WebGL应用程序调用使得所述网页应用程序能够使用所述图形处理单元来映射或进行渲染。

26.一种用于实现第一用户与第二用户之间的视频会议的计算机实施方法，其特征在于，所述计算机实施方法包括：

将网页应用程序传输到所述第一用户的第一客户端设备并且传输到所述第二用户的第二客户端设备；

从执行所述网页应用程序的所述第一客户端设备接收(i)三维虚拟空间中的位置和方向，所述位置和所述方向由所述第一用户输入，以及(ii)从所述第一客户端设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；以及

将所述位置和所述方向以及所述视频流传输到所述第二用户的所述第二客户端设备，其中所述网页应用程序包括可执行指令，所述可执行指令在网页浏览器上执行时将所述视频流映射到虚拟形象的三维模型上并且从所述第二用户的虚拟相机的视角进行渲染，以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的映射有所述视频流的所述虚拟形象的三维模型。

27.根据权利要求26所述的方法，其特征在于，所述网页应用程序包括WebGL应用程序调用，所述WebGL应用程序调用使得所述网页应用程序能够使用所述第二客户端设备的图形处理单元来映射或渲染。

28.一种用于实现第一用户与第二用户之间的视频会议的计算机实施方法，其特征在于，所述计算机实施方法包括：

接收指定三维虚拟空间的数据；

接收所述三维虚拟空间中的位置和方向，所述位置和所述方向由所述第一用户输入；

接收从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

通过在网页浏览器上实施的网页应用程序将所述视频流映射到虚拟形象的三维模型上；以及

通过在所述网页浏览器上实施的所述网页应用程序从所述第二用户的虚拟相机的视角进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的三维模型。

29.根据权利要求28所述的方法，其特征在于，所述方法进一步包括：

从所述第一用户的所述设备的麦克风接收与所述视频流同步捕捉的音频流，所述麦克风被定位成捕捉所述第一用户的语音；以及

与所述视频流在所述三维虚拟空间内的显示同步地输出所述音频流，以播放给所述第二用户。

30.根据权利要求28所述的方法，其特征在于，所述方法进一步包括当接收到来自所述第二用户的、指示希望改变所述虚拟相机的视角的输入时：

改变所述第二用户的所述虚拟相机的视角；以及

从所述虚拟相机的改变的视角重新进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的三维模型。

31.根据权利要求30所述的方法，其特征在于，所述虚拟相机的所述视角由所述三维虚拟空间中的水平面上的至少一坐标以及平移值和倾斜值限定。

32.根据权利要求28所述的方法，其特征在于，所述方法进一步包括当接收到所述第一用户在所述三维虚拟空间中的新位置和新方向时：

重新进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述新位置处并且在所述新方向上定向的所述虚拟形象的三维模型。

33.根据权利要求28所述的方法，其特征在于，所述映射包括针对所述视频流的各个帧将像素反复地映射到所述虚拟形象的三维模型上。

34.根据权利要求28所述的方法，其特征在于，在网页浏览器处从服务器接收所述数据、所述位置和所述方向以及所述视频流，并且其中所述映射和渲染由所述网页浏览器执行。

35.根据权利要求34所述的方法，其特征在于，所述方法进一步包括：

从所述服务器接收指示所述第一用户不再可用的通知；以及

重新进行渲染以在所述网页浏览器上向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间不具有所述虚拟形象的三维模型。

36.根据权利要求35所述的方法，其特征在于，所述方法进一步包括：

从所述服务器接收指示第三用户已进入所述三维虚拟空间的通知；

接收所述第三用户在所述三维虚拟空间中的第二位置和第二方向；

接收从所述第三用户的设备上的相机捕捉的第二视频流，所述相机被定位成捕捉所述第三用户的摄影图像；

将所述第二视频流映射到第二虚拟形象的第二三维模型上；以及

从所述第二用户的所述虚拟相机的视角进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述第二位置处并且在所述第二方向上定向的所述第二三维模型。

37.根据权利要求28所述的方法，其特征在于，接收指定所述三维虚拟空间的数据包括接收指定会议空间的网格和接收背景图像，其中渲染包括将所述背景图像映射到球体上。

38.一种存储有指令的非暂时性、有形的计算机可读设备，其特征在于，所述指令在由至少一个计算设备执行时使得所述至少一个计算设备执行用于实现第一用户与第二用户之间的视频会议的操作，所述操作包括：

接收指定三维虚拟空间的数据；

接收所述三维虚拟空间中的位置和方向，所述位置和所述方向由所述第一用户输入；

接收从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

将所述视频流映射到虚拟形象的三维模型上；以及

从所述第二用户的虚拟相机的视角进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的三维模型。

39.根据权利要求38所述的设备，其特征在于，所述操作进一步包括：

从所述第一用户的所述设备的麦克风接收与所述视频流同步捕捉的音频流，所述麦克风被定位成捕捉所述第一用户的语音；以及

与所述视频流在所述三维虚拟空间内的显示同步地输出所述音频流，以播放给所述第二用户。

40.根据权利要求38所述的设备，其特征在于，所述操作进一步包括当接收到来自所述第二用户的指示希望改变所述虚拟相机的视角的输入时：

改变所述第二用户的所述虚拟相机的视角；以及

从所述虚拟相机的改变的视角重新进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述位置处并且在所述方向上定向的所述虚拟形象的三维模型。

41.根据权利要求40所述的设备，其特征在于，所述虚拟相机的视角由所述三维虚拟空间中的水平面上的至少一坐标以及平移值和倾斜值限定。

42.根据权利要求38所述的设备，其特征在于，所述操作进一步包括当接收到所述第一用户在所述三维虚拟空间中的新位置和新方向时：

重新进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述新位置处并且在所述新方向上定向的所述虚拟形象的三维模型。

43.根据权利要求38所述的设备，其特征在于，所述映射包括针对所述视频流的各个帧将像素反复地映射到所述虚拟形象的三维模型上。

44.根据权利要求38所述的设备，其特征在于，在网页浏览器处从服务器接收所述数据、所述位置和所述方向以及所述视频流，并且其中所述映射和所述渲染由所述网页浏览器执行。

45.根据权利要求44所述的设备，其特征在于，所述操作进一步包括：

从所述服务器接收指示所述第一用户不再可用的通知；以及

重新进行渲染以在所述网页浏览器向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间不具有所述虚拟形象的三维模型。

46.根据权利要求45所述的设备，其特征在于，所述操作进一步包括：

从所述服务器接收指示第三用户已进入所述三维虚拟空间的通知；

接收所述第三用户在所述三维虚拟空间中的第二位置和第二方向；

接收从所述第三用户的设备上的相机捕捉的第二视频流，所述相机被定位成捕捉所述第三用户的摄影图像；

将所述第二视频流映射到第二虚拟形象的第二三维模型上；以及

从所述第二用户的所述虚拟相机的视角进行渲染以向所述第二用户显示所述三维虚拟空间，该显示的三维虚拟空间包括位于所述第二位置处并且在所述第二方向上定向的所述第二三维模型。

47.根据权利要求38所述的设备，其特征在于，接收指定所述三维虚拟空间的数据包括接收指定会议空间的网格和接收背景图像，其中所述渲染包括将所述背景图像映射到球体上。

48.一种用于在包括多个与会者的虚拟会议中进行演示的计算机实施方法，其特征在于，所述计算机实施方法包括：

接收指定三维虚拟空间的数据；

接收所述三维虚拟空间中的位置和方向，所述位置和所述方向由所述多个与会者中的第一与会者输入到所述虚拟会议；

接收从所述第一与会者的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一与会者的摄影图像；

将所述视频流映射到虚拟形象的三维模型上；

从所述第一与会者的所述设备接收演示流；

将所述演示流映射到演示屏的三维模型上；以及

从所述多个与会者中的第二与会者的虚拟相机的视角进行渲染以向所述第二与会者显示所述三维虚拟空间，该显示的三维虚拟空间具有经映射的虚拟形象和经映射的演示屏。

49.根据权利要求48所述的方法，其特征在于，所述方法进一步包括：

从所述第一与会者的所述设备的麦克风接收与所述演示流同步捕捉的音频流，所述麦克风被定位成捕捉所述第一与会者的语音；以及

与所述演示流在所述三维虚拟空间内的显示同步地输出所述音频流，以播放给所述第二与会者。

50.根据权利要求48所述的方法，其特征在于，所述方法进一步包括：

接收所述多个与会者中的第三与会者在所述三维虚拟空间中的位置；

从所述第三与会者的设备的麦克风接收音频流，所述麦克风被定位成捕捉所述第三与会者的语音；以及

调整所述音频流，以提供所述第三与会者在所述三维虚拟空间中的接收位置相对于所述虚拟相机的位置的感观，

其中所述渲染包括进行渲染以向所述第二与会者显示所述三维虚拟空间，该显示的三维虚拟空间具有在所述接收位置处的所述第三与会者的虚拟形象。

51.根据权利要求48所述的方法，其特征在于，所述方法进一步包括：

接收所述第一与会者在所述三维虚拟空间中的位置；

从所述第一与会者的设备的麦克风接收音频流，所述麦克风被定位成捕捉所述第一与会者的语音；

调整所述音频流，以提供所述第一与会者在所述三维虚拟空间中的接收位置相对于所述虚拟相机的位置的感观；

进行渲染以向所述第二与会者显示所述三维虚拟空间，该显示的三维虚拟空间具有在所述接收位置处的所述第三与会者的虚拟形象；以及

当进入演示模式时，调整所述音频流以提供所述经映射的演示屏位置相对于所述虚拟相机的位置的感观。

52.根据权利要求48所述的方法，其特征在于，所述演示流是所述第一与会者的视频。

53.根据权利要求48所述的方法，其特征在于，所述演示流是所述第一与会者的屏幕共享。

54.根据权利要求48所述的方法，其特征在于，映射所述视频流包括将所述视频流的各个帧映射到所述虚拟形象的三维模型上，以在所述虚拟形象上呈现所述第一与会者的面部的移动图像。

55.根据权利要求54所述的方法，其特征在于，所述虚拟形象包括表面，并且其中所述映射包括将所述各个帧映射到所述表面上。

56.根据权利要求55所述的方法，其特征在于，所述渲染包括渲染所述三维虚拟空间中的所述位置和所述方向处的经映射的虚拟形象，其中所述第一与会者能够基于由所述第一与会者输入的所述位置和所述方向的变化而改变所述经映射的虚拟形象在所述经渲染的三维虚拟空间内的位置和方向。

57.根据权利要求55所述的方法，其特征在于，所述渲染包括进行渲染使得所述虚拟形象位于所述三维虚拟空间中的所述位置处并且所述表面在所述三维虚拟空间中在所述方向上定向，所述方法进一步包括：

接收所述三维虚拟空间中的新方向，所述新方向由所述第一与会者输入；

从所述第二与会者的所述虚拟相机的视角重新进行渲染，以向所述第二与会者显示所述三维虚拟空间，使得经纹理映射的虚拟形象的所述表面在所述新方向上定向。

58.根据权利要求57所述的方法，其特征在于，当所述第一与会者输入所述新方向时，根据所述新方向改变所述第一与会者的虚拟相机，所述第一与会者的所述虚拟相机指定如何渲染所述三维虚拟空间以显示给所述第一与会者。

59.一种存储有指令的非暂时性、有形的计算机可读设备，其特征在于，所述指令在由至少一个计算设备执行时使得所述至少一个计算设备执行用于在包括多个与会者的虚拟会议中进行演示的操作，所述操作包括：

接收指定三维虚拟空间的数据；

接收所述三维虚拟空间中的位置和方向，所述位置和所述方向由所述多个与会者中的第一与会者输入到所述虚拟会议；

接收从所述第一与会者的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一与会者的摄影图像；

将所述视频流映射到虚拟形象的三维模型上；

从所述第一与会者的设备接收演示流；

将所述演示流映射到演示屏的三维模型上；以及

从所述多个与会者中的第二与会者的虚拟相机的视角进行渲染，以向所述第二与会者显示所述三维虚拟空间，该显示的三维虚拟空间具有经映射的虚拟形象和经映射的演示屏。

60.根据权利要求59所述的设备，其特征在于，所述操作进一步包括：

从所述第一与会者的所述设备的麦克风接收与所述演示流同步捕捉的音频流，所述麦克风被定位成捕捉所述第一与会者的语音；以及

与所述演示流在所述三维虚拟空间内的显示同步地输出所述音频流，以播放给所述第二与会者。

61.根据权利要求59所述的设备，其特征在于，所述操作进一步包括：

接收所述多个与会者中的第三与会者在所述三维虚拟空间中的位置；

从所述第三与会者的设备的麦克风接收音频流，所述麦克风被定位成捕捉所述第三与会者的语音；以及

调整所述音频流，以提供所述第三与会者在所述三维虚拟空间中的接收位置相对于所述虚拟相机的位置的感观，

其中所述渲染包括进行渲染以向所述第二与会者显示所述三维虚拟空间，该显示的三维虚拟空间具有在所述接收位置处的所述第三与会者的虚拟形象。

62.根据权利要求59所述的设备，其特征在于，所述操作进一步包括：

接收所述第一与会者在所述三维虚拟空间中的位置；

从所述第一与会者的设备的麦克风接收音频流，所述麦克风被定位成捕捉所述第一与会者的语音；

调整所述音频流，以提供所述第一与会者在所述三维虚拟空间中的接收位置相对于所述虚拟相机的位置的感观；

进行渲染以向所述第二与会者显示所述三维虚拟空间，该显示的三维虚拟空间具有在所述接收位置处的所述第三与会者的虚拟形象；以及

当进入演示模式时，调整所述音频流以提供所述映射的演示屏的位置相对于所述虚拟相机的位置的感观。

63.根据权利要求59所述的设备，其特征在于，所述演示流是所述第一与会者的视频。

64.根据权利要求59所述的设备，其特征在于，所述演示流是所述第一与会者的屏幕共享。

65.一种用于在包括多个与会者的虚拟会议中进行演示的系统，其特征在于，所述系统包括：

处理器，所述处理器被耦接到存储器；

网络接口，所述网络接口被配置为接收：(i)指定三维虚拟空间的数据，(ii)所述三维虚拟空间中的位置和方向，所述位置和所述方向由所述多个与会者中的第一与会者输入到所述虚拟会议，(iii)从所述第一与会者的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一与会者的摄影图像，以及(iv)来自所述第一与会者的设备的演示流；

在所述处理器上实施的映射器，所述映射器被配置为将所述视频流映射到虚拟形象的三维模型上，并且将所述演示流映射到演示屏的三维模型上；以及

在所述处理器上实施的渲染器，所述渲染器被配置为从所述多个与会者中的第二与会者的虚拟相机的视角进行渲染以向所述第二与会者显示所述三维虚拟空间，该显示的三维虚拟空间具有经映射的虚拟形象和经映射的演示屏。

66.根据权利要求65所述的系统，其特征在于，所述演示流是所述第一与会者的视频。

67.根据权利要求65所述的系统，其特征在于，所述演示流是所述第一与会者的屏幕共享。

68.一种用于在包括多个与会者的虚拟会议中进行演示的计算机实施方法，其特征在于，所述计算机实施方法包括：

从所述虚拟会议的所述多个与会者中的第一与会者的第一设备接收(i)所述三维虚拟空间中的位置和方向，所述位置和所述方向由所述第一与会者输入，(ii)从所述第一设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一与会者的摄影图像，以及(iii)演示流；以及

将所述演示流传输到所述多个与会者中的第二与会者的第二设备，其中所述第二设备被配置为(i)将所述演示流映射到演示屏的三维模型上，(ii)将所述视频流映射到虚拟形象，并且(iii)从所述多个与会者中的所述第二与会者的虚拟相机的视角进行渲染以向所述第二与会者显示所述三维虚拟空间，该显示的三维虚拟空间具有经映射的演示屏空间和位于所述位置处并且在所述方向上定向的所述虚拟形象的经映射的三维模型。

69.根据权利要求68所述的方法，其特征在于，所述演示流是所述第一与会者的视频。

70.根据权利要求68所述的方法，其特征在于，所述演示流是所述第一与会者的屏幕共享。

71.根据权利要求68所述的方法，其特征在于，所述方法进一步包括：

将具有可执行代码的网页应用程序传输到所述第二设备，所述可执行代码指定所述第二设备将如何映射并且渲染所述演示屏。

72.一种用于提供包括多个与会者的虚拟会议的计算机实施方法，其特征在于，所述计算机实施方法包括：

从第一用户的虚拟相机的视角进行渲染，以向所述第一用户显示三维虚拟空间，该显示的三维虚拟空间包括具有第二用户的纹理映射视频的虚拟形象，所述虚拟相机在所述三维虚拟空间中的第一位置处并且所述虚拟形象在所述三维虚拟空间中的第二位置处；

从所述第二用户的设备的麦克风接收音频流，所述麦克风被定位成捕捉所述第二用户的语音；以及

调整所接收音频流的音量以确定左音频流和右音频流，从而提供所述第二位置相对于所述第一位置在所述三维虚拟空间中的位置的感观；以及

输出所述左音频流和所述右音频流，从而以立体声播放给所述第一用户。

73.根据权利要求72所述的方法，其特征在于，所述调整包括基于所述第二位置到所述第一位置的方向而调整所述左音频流和所述右音频流的相对音量。

74.根据权利要求73所述的方法，其特征在于，所述调整包括基于所述三维虚拟空间内的水平面上的所述第二位置到所述第一位置的方向而调整所述左音频流和所述右音频流的相对音量。

75.根据权利要求72所述的方法，其特征在于，所述调整包括基于所述三维虚拟空间内的水平面上的所述第二位置相对于所述第一位置的方向而调整所述左音频流和所述右音频流的相对音量。

76.根据权利要求72所述的方法，其特征在于，所述调整包括基于所述虚拟相机在所述三维虚拟空间中面向的方向而调整所述左音频流和所述右音频流的相对音量，使得当所述虚拟形象位于所述虚拟相机的左侧时所述左音频流趋向于具有较高音量，并且当所述虚拟形象位于所述虚拟相机的右侧时所述右音频流趋向于具有较高音量。

77.根据权利要求76所述的方法，其特征在于，所述调整包括基于所述虚拟相机面向的所述方向与所述虚拟形象面向的方向之间的角度而调整所述左音频流和所述右音频流的相对音量，使得较垂直于所述虚拟形象面向的方向的角度趋向于在所述左音频流与所述右音频流之间具有较大音量差。

78.根据权利要求72所述的方法，其特征在于，所述调整包括基于所述第二位置到所述第一位置之间的距离而调整所述第一音频流和所述第二音频流的音量。

79.一种存储有指令的非暂时性、有形的计算机可读设备，其特征在于，所述指令在由至少一个计算设备执行时使得所述至少一个计算设备执行用于在包括多个与会者的虚拟会议中进行演示的操作，所述操作包括：

从第一用户的虚拟相机的视角进行渲染以向所述第一用户显示三维虚拟空间，该显示的三维虚拟空间包括具有第二用户的纹理映射视频的虚拟形象，所述虚拟相机在所述三维虚拟空间中的第一位置处并且所述虚拟形象在所述三维虚拟空间中的第二位置处；

从所述第二用户的设备的麦克风接收音频流，所述麦克风被定位成捕捉所述第二用户的语音；以及

调整所接收音频流的音量以确定左音频流和右音频流，从而提供所述第二位置相对于所述第一位置在所述三维虚拟空间中的位置的感观；以及

输出所述左音频流和所述右音频流，从而以立体声播放给所述第一用户。

80.根据权利要求79所述的设备，其特征在于，所述调整包括基于所述第二位置到所述第一位置的方向而调整所述左音频流和所述右音频流的相对音量。

81.根据权利要求79所述的设备，其特征在于，所述调整包括基于所述三维虚拟空间内的水平面上的所述第二位置到所述第一位置的方向而调整所述左音频流和所述右音频流的相对音量。

82.根据权利要求79所述的设备，其特征在于，所述调整包括基于所述三维虚拟空间内的水平面上的所述第二位置相对于所述第一位置的方向而调整所述左音频流和所述右音频流的相对音量。

83.根据权利要求82所述的设备，其特征在于，所述调整包括基于所述虚拟相机在所述三维虚拟空间中面向的方向而调整所述左音频流和所述右音频流的相对音量，使得当所述虚拟形象位于所述虚拟相机的左侧时所述左音频流趋向于具有较高音量，并且当所述虚拟形象位于所述虚拟相机的右侧时所述右音频流趋向于具有较高音量。

84.根据权利要求83所述的设备，其特征在于，所述调整包括基于所述虚拟相机面向的所述方向与所述虚拟形象面向的方向之间的角度而调整所述左音频流和所述右音频流的相对音量，使得较垂直于所述虚拟形象面向的方向的角度趋向于在所述左音频流与所述右音频流之间具有较大音量差。

85.根据权利要求79所述的设备，其特征在于，所述调整包括基于所述第二位置到所述第一位置之间的距离而调整第一音频流和第二音频流的音量。

86.一种用于提供包括多个与会者的虚拟会议的系统，其特征在于，所述系统包括：

处理器，所述处理器被耦接到存储器；

在所述处理器上实施的渲染器，所述渲染器被配置从第一用户的虚拟相机的视角进行渲染以向所述第一用户显示三维虚拟空间，该显示的三维虚拟空间包括具有第二用户的纹理映射视频的虚拟形象，所述虚拟相机在所述三维虚拟空间中的第一位置处并且所述虚拟形象在所述三维虚拟空间中的第二位置处；

网络接口，所述网络接口被配置为从所述第二用户的设备的麦克风接收音频流，所述麦克风被定位成捕捉所述第二用户的语音；

音频处理器，所述音频处理器被配置为调整所接收音频流的音量以确定左音频流和右音频流，从而提供所述第二位置相对于所述第一位置在所述三维虚拟空间中的位置的感观；以及

立体声扬声器，所述立体声扬声器输出所述左音频流和所述右音频流，从而以立体声播放给所述第一用户。

87.根据权利要求86所述的系统，其特征在于，所述音频处理器被配置为基于所述第二位置到所述第一位置的方向而调整所述左音频流和所述右音频流的相对音量。

88.根据权利要求87所述的系统，其特征在于，所述音频处理器被配置为基于所述三维虚拟空间内的水平面上的所述第二位置到所述第一位置的方向而调整所述左音频流和所述右音频流的相对音量。

89.根据权利要求86所述的系统，其特征在于，所述音频处理器被配置为基于所述三维虚拟空间内的水平面上的所述第二位置相对于所述第一位置的方向而调整所述左音频流和所述右音频流的相对音量。

90.根据权利要求89所述系统，其特征在于，所述音频处理器被配置为基于所述虚拟相机在所述三维虚拟空间中面向的方向而调整所述左音频流和所述右音频流的相对音量，使得当所述虚拟形象位于所述虚拟相机的左侧时所述左音频流趋向于具有较高音量，并且当所述虚拟形象位于所述虚拟相机的右侧时所述右音频流趋向于具有较高音量。

91.根据权利要求86所述的系统，其特征在于，所述音频处理器被配置为基于所述虚拟相机面向的所述方向与所述虚拟形象面向的方向之间的角度而调整所述左音频流和所述右音频流的相对音量，使得较垂直于所述虚拟形象面向的方向的角度趋向于在所述左音频流与所述右音频流之间具有较大音量差。

92.根据权利要求86所述的系统，其特征在于，所述音频处理器被配置为基于所述第二位置到所述第一位置之间的距离而调整第一音频流和第二音频流的音量。

93.一种用于为虚拟会议提供音频的计算机实施方法，其特征在于，所述计算机实施方法包括：

(a)从第一用户的虚拟相机的视角进行渲染，以向第一用户显示三维虚拟空间的至少一部分，该显示的三维虚拟空间包括表示第二用户的虚拟形象，所述虚拟相机在所述三维虚拟空间中的第一位置处并且所述虚拟形象在所述三维虚拟空间中的第二位置处，其中所述三维虚拟空间被分割成多个区域；

(b)从所述第二用户的设备的麦克风接收音频流，所述麦克风被定位成捕捉所述第二用户的语音；

(c)确定所述虚拟相机和所述虚拟形象是否位于所述多个区域中的同一区域中；

(d)确定所述虚拟形象是否在所述多个区域中的讲台区域中；

(e)当确定所述虚拟相机和所述虚拟形象不位于同一区域中并且确定所述虚拟形象不在所述讲台区域中时，减弱所述音频流；以及

(f)输出所述音频流以播放给所述第一用户。

94.根据权利要求93所述的计算机实施方法，其特征在于，所述音频流是第一音频流，其中所述三维虚拟空间包括表示第三用户的第二虚拟形象，其中确定(c)包括确定所述虚拟相机和所述虚拟形象位于所述同一区域中，所述计算机实施方法进一步包括：

(g)从所述第一用户的设备的麦克风接收第二音频流，所述麦克风被定位成捕捉所述第一用户的语音；

(h)确定所述第二虚拟形象和所述虚拟相机位于所述三维虚拟空间的、与所述虚拟相机位于的所述同一区域不同的区域中；以及

(i)减弱所述第一音频流和所述第二音频流以防止所述第一音频流和所述第二音频流被所述第三用户听到，从而实现所述第一用户与所述第二用户之间的私人对话。

95.根据权利要求93所述的计算机实施方法，其特征在于，所述多个区域中的各个区域具有墙壁传输因子，所述墙壁传输因子指定(e)中所述音频流的减弱程度。

96.根据权利要求93所述的计算机实施方法，其特征在于，所述多个区域中的各个区域具有距离传输因子，所述计算机实施方法进一步包括：

(g)确定所述三维虚拟空间中所述虚拟相机与所述虚拟形象之间的距离；

(h)确定所述虚拟相机与所述虚拟形象之间的至少一个区域；以及

(i)基于(g)中确定的所述距离和对应于(h)中确定的所述至少一个区域的所述距离传输因子而减弱所述音频流。

97.根据权利要求93所述的计算机实施方法，其特征在于，所述多个区域被构造为分级结构。

98.根据权利要求97所述的计算机实施方法，其特征在于，所述多个区域中的各个区域具有墙壁传输因子，所述计算机实施方法进一步包括：

(g)遍历所述分级结构，以在包括所述虚拟形象的区域与包括所述虚拟相机的区域之间的多个区域中确定区域的子集；以及

(h)基于对应于(g)中确定的区域的子集的各个墙壁传输因子而减弱所述音频流。

99.一种存储有指令的非暂时性、有形的计算机可读设备，其特征在于，所述指令在由至少一个计算设备执行时使得所述至少一个计算设备执行用于为虚拟会议提供音频的操作，所述操作包括：

(a)从第一用户的虚拟相机的视角进行渲染，以向第一用户显示三维虚拟空间的至少一部分，该显示的三维虚拟空间包括表示第二用户的虚拟形象，所述虚拟相机在所述三维虚拟空间中的第一位置处并且所述虚拟形象在所述三维虚拟空间中的第二位置处，其中所述三维虚拟空间被分割成多个区域；

(b)从所述第二用户的设备的麦克风接收音频流，所述麦克风被定位成捕捉所述第二用户的语音；

(c)确定所述虚拟相机和所述虚拟形象是否位于所述多个区域中的同一区域中；

(d)确定所述虚拟形象是否在所述多个区域中的讲台区域中；

(e)当确定所述虚拟相机和所述虚拟形象不位于同一区域中并且确定所述虚拟形象不在所述讲台区域中时，减弱所述音频流；以及

(f)输出所述音频流以播放给所述第一用户。

100.根据权利要求99所述的设备，其特征在于，所述音频流是第一音频流，其中所述三维虚拟空间包括表示第三用户的第二虚拟形象，其中所述确定(c)包括确定所述虚拟相机和所述虚拟形象位于所述同一区域中，所述操作进一步包括：

(g)从所述第一用户的设备的麦克风接收第二音频流，所述麦克风被定位成捕捉所述第一用户的语音；

(h)确定所述第二虚拟形象和所述虚拟相机位于所述三维虚拟空间的、与所述虚拟相机位于的所述同一区域不同的区域中；以及

(i)减弱所述第一音频流和所述第二音频流以防止所述第一音频流和所述第二音频流被所述第三用户听到，从而实现所述第一用户与所述第二用户之间的私人对话。

101.根据权利要求99所述的设备，其特征在于，所述多个区域中的各个区域具有指定(e)中所述音频流的减弱程度的墙壁传输因子。

102.根据权利要求99所述的设备，其特征在于，所述多个区域中的各个区域具有距离传输因子，所述操作进一步包括：

(g)确定所述三维虚拟空间中所述虚拟相机与所述虚拟形象之间的距离；

(h)确定所述虚拟相机与所述虚拟形象之间的至少一个区域；以及

(i)基于(g)中确定的所述距离和对应于(h)中确定的所述至少一个区域的所述距离传输因子而减弱所述音频流。

103.根据权利要求99所述的设备，其特征在于，所述多个区域被构造为分级结构。

104.根据权利要求103所述的设备，其特征在于，所述多个区域中的所述各个区域具有墙壁传输因子，所述操作进一步包括：

(g)遍历所述分级结构，以在包括所述虚拟形象的区域与包括所述虚拟相机的区域之间的多个区域中确定区域的子集；以及

(h)基于对应于(g)中确定的区域的子集的各个墙壁传输因子而减弱所述音频流。

105.一种用于为虚拟会议提供音频的系统，其特征在于，所述系统包括：

处理器，所述处理器被耦接到存储器；

渲染器，所述渲染器在所述处理器上实施并且被配置为从第一用户的虚拟相机的视角进行渲染以向所述第一用户显示三维虚拟空间的至少一部分，该显示的三维虚拟空间包括表示第二用户的虚拟形象，所述虚拟相机在所述三维虚拟空间中的第一位置处并且所述虚拟形象在所述三维虚拟空间中的第二位置处，其中所述三维虚拟空间被分割成多个区域，所述多个区域被构造为分级结构；

网络接口，所述网络接口被配置为从所述第二用户的设备的麦克风接收音频流，所述麦克风被定位成捕捉所述第二用户的语音；以及

音频处理器，所述音频处理器被配置为确定所述虚拟相机和所述虚拟形象是否位于所述多个区域中的同一区域中以及所述虚拟形象是否在所述多个区域中的讲台区域中，并且当确定所述虚拟相机和所述虚拟形象不位于所述同一区域中并且确定所述虚拟形象不在所述讲台区域中时，减弱所述音频流，并且输出所述音频流以播放给所述第一用户。

106.根据权利要求105所述的系统，其特征在于，所述多个区域中的各个区域具有指定所述音频流的减弱程度的墙壁传输因子。

107.根据权利要求105所述的系统，其特征在于，所述多个区域中的各个区域具有距离传输因子，所述音频处理器被配置为：(i)确定所述三维虚拟空间中所述虚拟相机与所述虚拟形象之间的距离，(ii)确定所述虚拟相机与所述虚拟形象之间的至少一个区域，并且(iii)基于所确定距离和对应于所确定的至少一个区域的所述距离传输因子而减弱所述音频流。

108.根据权利要求105所述的系统，其特征在于，所述多个区域中的各个区域具有墙壁传输因子，其中所述音频处理器被配置为遍历所述分级结构以在包括所述虚拟形象的区域与包括所述虚拟相机的区域之间的多个区域中确定区域的子集，并且基于对应于所确定的区域的子集的各个墙壁传输因子而减弱所述音频流。

109.一种用于虚拟会议的流式视频的计算机实施方法，其特征在于，所述计算机实施方法包括：

(a)确定虚拟会议空间中第一用户与第二用户之间的距离；

(b)接收从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

(c)基于所确定距离而选择所述视频流的降低的分辨率或比特率，使得较近距离比较远距离产生更大的分辨率或比特率；以及

(d)请求将处于降低的分辨率或比特率的视频流传输到所述第二用户的设备以在所述虚拟会议空间内显示给所述第二用户，所述视频流将映射在所述第一用户的虚拟形象上以在所述虚拟会议空间内显示给所述第二用户。

110.根据权利要求109所述的方法，其特征在于，所述方法进一步包括：

(e)接收从第三用户的设备上的相机捕捉的第二视频流，所述相机被定位成捕捉所述第三用户的摄影图像；

(f)确定用于将所述虚拟会议的数据传输到所述第二用户的可用带宽；

(g)确定虚拟会议空间中第一用户与第二用户之间的第二距离；以及

(h)基于(g)中确定的所述第二距离与(a)中确定的距离的相对关系而分配(b)中接收到的所述视频流与(e)中接收到的所述第二视频流之间的可用带宽。

111.根据权利要求110所述的方法，其特征在于，所述分配(h)包括将较近用户的视频流优先于来自较远用户的视频流。

112.根据权利要求110所述的方法，其特征在于，所述方法进一步包括：

(i)从所述第一用户的设备接收第一音频流；

(j)从所述第三用户的设备接收第二音频流，其中所述分配(h)包括保留所述第一音频流和所述第二音频流的一部分。

113.根据权利要求112所述的方法，其特征在于，所述方法进一步包括：

(k)根据所保留部分的大小降低所述第一音频流和所述第二音频流的质量。

114.根据权利要求113所述的方法，其特征在于，所述降低(k)包括独立于(g)中确定的所述第二距离与(a)中确定的距离的相对关系而降低所述质量。

115.根据权利要求109所述的方法，其特征在于，所述方法进一步包括：

(e)确定所述虚拟会议空间中所述第一用户与所述第二用户之间的所述距离为使所述距离处的视频显示无效；

响应于(e)中的所述确定：

(f)暂停将所述视频流传输到所述第二用户的所述设备；以及

(g)通知所述第二用户的所述设备用静止图像代替所述视频流。

116.根据权利要求109所述的方法，其特征在于，通过所述第二用户的所述设备将处于所述降低的分辨率的所述视频流映射到虚拟形象上以显示给所述第二用户，所述虚拟形象将在所述虚拟会议空间内的所述第二用户的位置处进行渲染。

117.一种存储有指令的非暂时性、有形的计算机可读设备，其特征在于，所述指令在由至少一个计算设备执行时使得所述至少一个计算设备执行用于虚拟会议的流式视频的操作，所述操作包括：

(a)确定虚拟会议空间中第一用户与第二用户之间的距离；

(b)接收从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

(c)基于所确定距离而选择所述视频流的降低的分辨率或比特率，使得较近距离比较远距离产生更大的分辨率或比特率；以及

(d)请求将处于降低的分辨率或比特率的视频流传输到所述第二用户的设备以在所述虚拟会议空间内显示给所述第二用户，所述视频流将映射在所述第一用户的虚拟形象上以在所述虚拟会议空间内显示给所述第二用户。

118.根据权利要求117所述的设备，其特征在于，所述操作进一步包括：

(e)接收从第三用户的设备上的相机捕捉的第二视频流，所述相机被定位成捕捉所述第三用户的摄影图像；

(f)确定用于将所述虚拟会议的数据传输到所述第二用户的可用带宽；

(g)确定虚拟会议空间中第一用户与第二用户之间的第二距离；以及

(h)基于(g)中确定的所述第二距离与(a)中确定的距离的相对关系而分配(b)中接收到的所述视频流与(e)中接收到的所述第二视频流之间的可用带宽。

119.根据权利要求118所述的设备，其特征在于，所述分配(h)包括将较近用户的视频流优先于来自较远用户的视频流。

120.根据权利要求118所述的设备，其特征在于，所述操作进一步包括：

(i)从所述第一用户的设备接收第一音频流；

(j)从所述第三用户的设备接收第二音频流，其中所述分配(h)包括保留所述第一音频流和所述第二音频流的一部分。

121.根据权利要求120所述的设备，其特征在于，所述操作进一步包括：

(k)根据所保留部分的大小降低所述第一音频流和所述第二音频流的质量。

122.根据权利要求121所述的设备，其特征在于，所述降低(k)包括独立于(g)中确定的所述第二距离与(a)中确定的距离的相对关系而降低所述质量。

123.根据权利要求117所述的设备，其特征在于，所述操作进一步包括：

(e)确定所述虚拟会议空间中所述第一用户与所述第二用户之间的所述距离为使所述距离处的视频显示无效；

响应于(e)中的所述确定：

(f)暂停将所述视频流传输到所述第二用户的所述设备；以及

(g)通知所述第二用户的所述设备用静止图像代替所述视频流。

124.根据权利要求117所述的设备，其特征在于，通过所述第二用户的所述设备将处于所述降低的分辨率的所述视频流映射到虚拟形象上以显示给所述第二用户，所述虚拟形象将在所述虚拟会议空间内的所述第二用户的位置处进行渲染。

125.一种用于虚拟会议的流式视频的系统，其特征在于，所述系统包括：

处理器，所述处理器被耦接到存储器；

网络接口，所述网络接口接收从第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

流调整器，所述流调整器被配置为确定虚拟会议空间中第一用户与第二用户之间的距离，并且基于所确定距离而降低所述视频流的分辨率，使得较近距离比较远距离产生更大的分辨率或比特率，

其中所述网络接口被配置为将处于降低的分辨率或比特率的视频流传输到所述第二用户的设备以在所述虚拟会议空间内显示给所述第二用户，所述视频流将映射在所述第一用户的虚拟形象上以在所述虚拟会议空间内显示给所述第二用户。

126.根据权利要求125所述的系统，其特征在于，所述网络接口接收从第三用户的设备上的相机捕捉的第二视频流，所述相机被定位成捕捉所述第三用户的摄影图像，

其中所述流调整器(i)确定用于将所述虚拟会议的数据传输到所述第二用户的可用带宽，(ii)确定虚拟会议空间中第一用户与第二用户之间的第二距离，以及(iii)基于所述第二距离与所述距离的相对关系而分配所述视频流与所述第二视频流之间的可用带宽。

127.根据权利要求126所述的系统，其特征在于，所述流调整器被配置为将较近用户的视频流优先于来自较远用户的视频流。

128.根据权利要求126所述的系统，其特征在于，所述网络接口被配置为从所述第一用户的设备接收第一音频流，并且从所述第三用户的设备接收第二音频流，其中所述流调整器被配置为保留所述第一音频流和所述第二音频流的一部分。

129.一种用于虚拟视频会议的流式视频的计算机实施方法，其特征在于，所述计算机实施方法包括：

接收虚拟环境的三维模型；

接收表示对象的三维模型的网格；

接收所述虚拟视频会议的第一与会者的视频流，所述视频流包括多个帧；

将所述视频流的所述多个帧中的各个帧映射到由网格表示的三维模型上，以产生能够由所述第一与会者导航的虚拟形象，其中所述网格独立于所述视频流而产生；以及

从第二与会者的虚拟相机的视角进行渲染，以在所述虚拟环境中向所述第二与会者显示所述经映射的虚拟形象和表示所述对象的三维模型的所述网格。

130.根据权利要求129所述的方法，其特征在于，所述对象是产品，并且其中所述第二与会者能够围绕所述产品的三维模型导航所述虚拟相机。

131.根据权利要求129所述的方法，其特征在于，所述对象是广告。

132.根据权利要求129所述的方法，其特征在于，所述方法进一步包括：

在所述虚拟会议空间中展示所述产品。

133.根据权利要求129所述的方法，其特征在于，所述虚拟环境是建筑。

134.根据权利要求129所述的方法，其特征在于，所述网格是第一网格，所述方法进一步包括：

为所述第一网格传输来自所述第二与会者的请求，其中接收所述第一网格响应于所述请求而发生。

135.根据权利要求129所述的方法，其特征在于，所述方法进一步包括：

接收所述第一用户在所述三维虚拟空间中的位置和方向；

接收从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

将所述视频流映射到虚拟形象的三维模型上，其中所述渲染包括渲染所述虚拟会议以包括位于所述位置处并且在所述方向上定向的所述虚拟形象的经映射的三维模型。

136.一种存储有指令的非暂时性、有形的计算机可读设备，其特征在于，所述指令在由至少一个计算设备执行时使得所述至少一个计算设备执行用于虚拟会议的流式视频的操作，所述操作包括：

接收虚拟环境的三维模型；

接收表示对象的三维模型的网格；

接收所述虚拟视频会议的第一与会者的视频流，所述视频流包括多个帧；

将所述视频流的所述多个帧中的各个帧映射到由网格表示的三维模型上，以产生能够由所述第一与会者导航的虚拟形象，其中所述网格独立于所述视频流而产生；以及

从第二与会者的虚拟相机的视角进行渲染，以在所述虚拟环境中向所述第二与会者显示所述经映射的虚拟形象和表示所述对象的三维模型的所述网格。

137.根据权利要求136所述的非暂时性、有形的计算机可读设备，其特征在于，所述对象是产品，并且其中所述第二与会者能够围绕所述产品的所述三维模型导航所述虚拟相机。

138.根据权利要求136所述的非暂时性、有形的计算机可读设备，其特征在于，所述对象是广告。

139.根据权利要求137所述的非暂时性、有形的计算机可读设备，其特征在于，所述操作进一步包括：

在所述虚拟会议空间中展示所述产品。

140.根据权利要求136所述的非暂时性、有形的计算机可读设备，其特征在于，所述虚拟环境是建筑。

141.根据权利要求136所述的非暂时性、有形的计算机可读设备，其特征在于，所述网格是第一网格，所述操作进一步包括：

为所述第一网格传输来自所述第二与会者的请求，其中接收所述第一网格响应于所述请求而发生。

142.根据权利要求136所述的非暂时性、有形的计算机可读设备，其特征在于，所述操作进一步包括：

接收所述第一用户在所述三维虚拟空间中的位置和方向；

接收从所述第一用户的设备上的相机捕捉的视频流，所述相机被定位成捕捉所述第一用户的摄影图像；

将所述视频流映射到虚拟形象的三维模型上，其中所述渲染包括渲染所述虚拟会议以包括位于所述位置处并且在所述方向上定向的所述虚拟形象的经映射的三维模型。

143.一种用于虚拟视频会议的流式视频的系统，其特征在于，所述系统包括：

处理器，所述处理器被耦接到存储器；

网络接口，所述网络接口被配置为接收(i)虚拟环境的三维模型，(ii)表示对象的三维模型的网格，(iii)所述虚拟视频会议的第一与会者的视频流，所述视频流包括多个帧；

映射器，所述映射器将所述视频流的所述多个帧中的各个帧映射到由网格表示的三维模型上，以产生能够由所述第一与会者导航的虚拟形象，其中所述网格独立于所述视频流而产生；以及

渲染器，所述渲染器被配置为从第二与会者的虚拟相机的视角进行渲染，以在所述虚拟环境中向所述第二与会者显示所述经映射的虚拟形象和表示所述对象的三维模型的所述网格。

144.根据权利要求143所述的系统，其特征在于，所述对象是产品，并且其中所述第二与会者能够围绕所述产品的所述三维模型导航所述虚拟相机。

145.根据权利要求143所述的系统，其特征在于，所述对象是广告。

146.根据权利要求143所述的系统，其特征在于，所述虚拟环境是建筑。

Images