CN116490249A - 信息处理装置、信息处理系统、信息处理方法和信息处理终端 - Google Patents

Abstract

提出了一种包括用于控制虚拟空间显示的控制单元的信息处理装置。控制单元执行控制以获取关于其他虚拟空间中的一个或更多个其他用户的通信信息并且用设置在虚拟空间中的虚拟对象呈现所获取的通信信息。

Description

信息处理装置、信息处理系统、信息处理方法和信息处理终端

技术领域

本公开内容涉及信息处理装置、信息处理系统、信息处理方法和信息处理终端。

背景技术

在近年来变得普遍的VR(虚拟现实)应用中，用户可以从任意视点观看其中布置有3D模型的虚拟空间。可以主要通过使用利用显示单元覆盖用户的视场的非透射HMD(头戴式显示器)来提供这样的VR世界。

对于用于提供虚拟空间的技术，例如，下面的专利文献1公开了这样一种技术，其中当用户操作设置在虚拟空间中的摄像装置的对象(虚拟对象)以捕获虚拟空间内部的图像时，在监视器的对象(虚拟对象)上绘制通过捕获生成的摄影图像。

引文列表

专利文献

专利文献1：日本专利申请特许公开第2019-021122号

发明内容

技术问题

此处，在现有技术文献中，提到了在一个虚拟空间中的图像捕获体验；然而，其并未考虑与不同虚拟空间的通信。

因此，本公开内容提出了一种能够更容易地在其他虚拟空间中呈现通信信息并且增强虚拟空间的便利性的信息处理装置、信息处理系统、信息处理方法和信息处理终端。

问题的解决方案

根据本公开内容，提出了一种信息处理装置，其包括控制虚拟空间的显示的控制单元，其中，控制单元执行控制以获取其他虚拟空间中的一个或更多个其他用户的通信信息，并且通过设置在虚拟空间中的虚拟对象来呈现所获取的通信信息。

根据本公开内容，提出了一种信息处理系统，其包括：信息处理终端，其包括显示单元和通信单元；以及信息处理装置，其包括控制单元和通信单元，该控制单元控制显示单元上的虚拟空间的显示，其中，控制单元执行控制以获取其他虚拟空间中的一个或更多个其他用户的通信信息，并且通过设置在显示单元上显示的虚拟空间中的虚拟对象来呈现所获取的通信信息。

根据本公开内容，提出了一种信息处理方法，其包括：由处理器控制虚拟空间的显示；以及执行控制以获取其他虚拟空间中的一个或更多个其他用户的通信信息，并且由设置在虚拟空间中的虚拟对象呈现所获取的通信信息。

根据本公开内容，提出了一种信息处理终端，其包括：通信单元；显示单元；以及控制单元，其执行控制以在显示单元上显示由通信单元从信息处理装置接收的虚拟空间的图像，其中，控制单元显示图像，在该图像中，由设置在虚拟空间中的虚拟对象呈现其他虚拟空间中的一个或更多个其他用户的通信信息。

附图说明

图1是示出根据本公开内容的实施方式的信息处理系统的配置示例的图。

图2是示出通过多个虚拟房间配置虚拟空间的情况的示例的图。

图3是示出包括在根据本实施方式的信息处理系统中的服务器和用户终端的配置的示例的框图。

图4是用于说明根据本实施方式的使用虚拟窗的虚拟空间之间的通信的图。

图5是示出根据本实施方式的虚拟摄像装置的布置示例的图。

图6是示出根据本实施方式的其中设置有虚拟窗的虚拟空间的图像的显示示例的图。

图7是示出根据本实施方式的信息处理系统的操作处理的流程的示例的序列图。

图8是示出根据本公开内容的另一实施方式的信息处理系统的配置示例的图。

图9是用于说明根据另一实施方式的使用虚拟窗的单向通信信息的呈现的图。

图10是示出根据另一实施方式的信息处理系统的操作处理的流程的示例的流程图。

图11是示出根据另一实施方式的在设置有虚拟窗的虚拟空间中的来自用户的视点的图像的显示示例的图。

图12是用于说明根据另一实施方式的特殊房间的通信信息的另一呈现示例的图。

图13是用于说明根据本实施方式的应用示例的在至少一个虚拟空间中存在多个人的情况下虚拟空间之间的双向交互的图。

图14是示出来自图13所示的房间中的用户的视点的图像的另一示例的图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的优选实施方式。在本说明书和附图中，具有基本相同功能配置的部件由相同的附图标记表示，并且省略了冗余描述。

将按以下的顺序给出描述。

1.概要

2.配置示例

3.操作处理

4.其他实施方式

5.应用示例

6.补充

<<1.概要>>

作为本公开内容的实施方式，将描述一种用于更容易地在其他虚拟空间中呈现通信信息并且增强虚拟空间(VR：虚拟现实)的便利性的机制。

图1是示出根据本公开内容的实施方式的信息处理系统的配置示例的图。如图1所示，根据本实施方式的信息处理系统包括由每个用户使用的用户终端10(用户终端10A、10B和……)以及向用户终端10中的每一个提供虚拟空间的信息的服务器20。用户终端10和服务器20经由网络30通信地连接，以发送和接收数据。

使用例如覆盖用户视场的非透射HMD(头戴式显示器)来呈现虚拟空间。在本实施方式中，作为示例，假设由HMD实现用户终端10的情况。

将HMD佩戴在用户的头部上。此外，HMD可以包括用于佩戴用户的左眼和右眼中的每一个的图像显示单元。当HMD被配置成阻挡用户的外部世界时，可以增加观看时的虚拟现实感觉(虚拟空间中的沉浸感)。HMD显示来自虚拟空间中的用户视点的图像。这样的图像可以由服务器20生成并且实时显示在HMD上，或者可以由HMD基于从服务器20获取的信息生成。通过跟随由HMD中提供的动作传感器检测到的用户的动作的同时，改变由用户观看的虚拟空间的视频(虚拟空间中用户视点的改变)，可以进一步增强虚拟世界的现实。此外，HMD还可以在左眼和右眼中显示不同的视频，并且可以通过显示相对于左眼和右眼具有视差的图像来呈现3D图像。此外，HMD组合使用耳机，并且还可以向用户的听觉以及用户的视觉呈现虚拟空间的信息(声音)。

(课题的梳理)

此处，可以在虚拟空间中准备多个房间(下文中，称为虚拟房间)。虽然在本说明书中被称为“房间”，但是每个虚拟房间是虚拟空间之一，并且空间的大小、用户的数目、要设置的3D模型的形状等不被特别地限制。

图2是示出虚拟空间由多个虚拟房间构成的情况的示例的图。在图2所示的示例中，假设虚拟空间包括对应于虚拟空间的入口、广场等并且可以由任何人使用的休息室5-1，以及可以从休息室5-1访问的房间5-2A至5-2C……。当用户登录到虚拟空间时，用户可以首先进入休息室5-1，并且从休息室5-1选择房间作为移动目的地。房间5-2可以是被构建为每个单独用户的房间的虚拟房间，或者可以是被构建为举行特定事件的事件场所的虚拟房间。

此处，例如，当房间5-2A中的用户50A想要与房间5-2B中的用户50B进行对话时，两个用户需要处于相同的空间中；因此，用户之一需要移动到另一方的房间(虚拟空间)，或者两个用户都需要移动到其他虚拟空间(例如休息室)。

然而，空间移动涉及场景移动处理，并且在用户终端10和服务器20中生成大的处理负荷和处理时间。场景移动处理是重写虚拟空间中诸如背景数据的所有数据的处理。通常，虚拟空间包括背景数据和大量虚拟对象(包括参与者化身)。在每个虚拟对象中，设置许多参数，例如，多边形网格信息、顶点信息、材料信息、光泽和阴影的渲染信息、物理计算信息(例如，碰撞、摩擦和光)、三维空间坐标位置、动画、颜色信息、透明度、视频和声音的效果以及控制脚本等，并且当所有参数被组合时，获得大量的设置数据。例如，当用户50A从房间5-2A空间地移动到房间5-2B时，需要在用户终端10和服务器20中替换和重构这些大量的设置数据。例如，假设在这种空间移动中需要约30秒或40秒至1分钟来替换和重构设置数据，并且读取最新的场景。

当用户50A在房间5-2B中与用户50B进行对话并且然后再次返回到原始房间5-2A时，类似地，空间移动中的大量设置数据被再次替换、重构等，并且发生处理负荷和等待时间。当在诸如其他房间的其他虚拟空间中仅与用户执行少量对话的情况下，与由于空间移动等引起的虚拟空间的新构建相关的这种处理可以说是非常低效的处理。另外，由于空间移动等而在虚拟空间的新构建中出现等待时间成为用户的压力，并且损害了舒适性。无论虚拟空间是在服务器侧还是在用户终端侧构建，通过这种空间移动等的虚拟空间的新构建可能导致处理负荷大和处理时间长。

因此，根据本公开内容的实施方式提出了一种能够更容易地呈现其他虚拟空间中的通信信息并且增强虚拟空间的便利性的信息处理系统。

具体地，例如，获取其他虚拟空间中的一个或更多个其他用户的通信信息，并且将所获取的通信信息实时显示(绘制)在设置在用户所在的虚拟空间中的虚拟对象(在本实施方式中，假设“窗”并且将其称为虚拟窗)上。通信信息是用于与伙伴通信的信息，并且例如，假设图像(视频)、声音、文本等。

在下文中，将描述根据本实施方式的信息处理系统的每个配置和操作处理。

<<2.配置示例>>

图3是示出包括在根据本实施方式的信息处理系统中的服务器20和用户终端10的配置的示例的框图。在下文中，将具体描述每个装置。

<2-1.服务器20>

如图3所示，服务器20包括控制单元200、通信单元210和存储单元220。

(通信单元210)

通信单元210以有线或无线方式通信地连接至外部装置，以发送和接收数据。例如，通信单元210连接至网络30，并且向用户终端10发送数据以及从用户终端10接收数据。通信单元210将构建虚拟空间所需的信息、虚拟空间中用户视点的图像数据、参与虚拟空间的其他化身的信息等发送至用户终端10。化身是作为每个用户的个人角色设置在虚拟空间中的虚拟对象，并且用户的操作和动作(整个身体的动作、手和手指的动作、脚的动作、头的动作、表情等)反映在虚拟空间中的用户的化身中。可以由用户终端10的传感器单元120、用户持有的控制器、用户佩戴的传感器装置、用户周围提供的大量摄像装置等来检测用户的操作和动作。化身可以是2D实况动作或3D CG。此外，化身可以是更类似于由体积捕获技术生成的实际照片的3D CG。体积捕获技术是能够从捕获的图像和通过由真实空间中的大量摄像装置捕获用户的图像而获得的3D数据实时生成更类似于实际照片的3D CG的技术。虚拟空间中的用户视点可以是化身视点(在这种情况下，用户自己的化身不出现在屏幕上)，或者可以是来自距化身一定距离的位置，使得用户自己的化身出现在屏幕上的视点(在这种情况下，视点跟随化身)。用户可以任意地切换用户的视点。

通信单元210通过例如有线/无线LAN(局域网)、Wi-Fi(注册商标)、蓝牙(注册商标)、移动通信网络(LTE(长期演进)、3G(第三代移动通信系统)、4G(第四代移动通信系统)、5G(第五代移动通信系统)等通信地连接至外部装置或网络30。

(控制单元200)

控制单元200用作算术处理装置和控制装置，并且根据各种程序控制服务器20中的整体操作。控制单元200例如通过诸如CPU(中央处理单元)或微处理器的电子电路来实现。此外，控制单元200可以包括：ROM(只读存储器)，其存储要使用的程序、操作参数等；以及RAM(随机存取存储器)，其暂时存储适当地变化的参数等。

根据本实施方式的控制单元200还用作虚拟空间信息提供单元201和虚拟窗控制单元202。

虚拟空间信息提供单元201具有向用户终端10提供虚拟空间的信息并且在用户终端10上显示虚拟空间的图像的功能。虚拟空间的图像是来自虚拟空间中的用户视点的图像(视频)。

由虚拟空间信息提供单元201提供的虚拟空间的信息是至少用于在用户终端10中将来自用户视点的虚拟空间的图像呈现给用户视觉的信息。信息的示例包括：构建虚拟空间所需的信息(背景数据和每个虚拟对象的各种参数)、虚拟空间中用户视点的图像数据、参与虚拟空间的其他化身的信息等。此外，当用户通过登录或空间移动进入新的虚拟空间时，虚拟空间信息提供单元201可以向用户终端10呈现用于构建虚拟空间的所有数据(背景数据、其他化身的CG、虚拟空间的各种参数等)。在这种情况下，在构建虚拟空间之后，虚拟空间信息提供单元201可以向用户终端10连续地发送诸如其他化身的实时位置信息或动作信息的差异信息。

显示在用户终端10上的来自用户视点的虚拟空间的图像可以由虚拟空间信息提供单元201生成，或者可以基于由用户终端10从虚拟空间信息提供单元201获取的信息来生成。当虚拟空间信息提供单元201生成来自用户视点的虚拟空间的图像时，可以在基于从用户终端10连续发送的用户的位置信息(例如，头部的位置)、姿势信息和动作信息(例如，头部的动作和肢体的动作)使用户的视点跟随用户在真实空间中的动作之后生成虚拟空间的图像。由虚拟空间信息提供单元201提供的虚拟空间的信息还可以包括声音信息、振动信息等。

虚拟空间(例如，图2所示的休息室5-1和房间5-2A至5-2C……)的构建可以由服务器20执行，或者可以由每个用户使用的用户终端10执行。例如，可以由服务器20构建由大量用户共享的虚拟空间(例如，休息室5-1)(即，大量用户可以进入的虚拟空间)，并且可以由用户终端10中的每一个构建单个用户的房间(即，仅用户可以进入的虚拟空间)。

虚拟窗控制单元202具有控制呈现其他虚拟空间中的通信信息的虚拟窗的功能。通信信息是用于与伙伴通信的信息，并且例如，假设图像(视频)、声音、文本等。根据本实施方式的虚拟窗控制单元202在设置在用户所在的虚拟空间中的虚拟窗中实时显示(绘制)从其他虚拟空间获取的一个或更多个其他用户的通信信息，从而更容易地呈现其他虚拟空间中的通信信息并且增强虚拟空间的便利性。即，可以在不执行空间移动的情况下与其他虚拟空间中的其他用户进行对话，并且减少了在空间移动的情况下生成的处理负荷和处理时间(例如，用于读取所有虚拟对象的大量设置数据的处理负荷和处理时间)。在呈现其他虚拟空间中的通信信息时，呈现图像(视频)、声音或文本就足够了；因此，处理负荷和处理时间相对较轻，并且可以立即开始与其他虚拟空间中的其他用户的对话。

此处，图4示出用于说明根据本实施方式的使用虚拟窗的虚拟空间之间的通信的图。如图4所示，例如，当房间5-2A中的用户50A和房间5-2B中的用户50B想要进行对话时，虚拟窗控制单元202在每个虚拟空间中布置虚拟窗54(例如，由3D CG生成的虚拟对象)和虚拟摄像装置52(用于捕获虚拟空间的图像的图像捕获位置)。然后，虚拟窗控制单元202执行控制以实时地在另一方的虚拟空间的虚拟窗54上显示由虚拟摄像装置52中的每一个捕获的视频(例如，可以使用所谓的实时流式传输分发)。即，虚拟窗控制单元202将通过由设置在房间5-2A中的虚拟摄像装置52A捕获用户50A的图像而获得的视频显示在设置在房间5-2B中的虚拟窗54B上。同时，虚拟窗控制单元202将通过由设置在房间5-2B中的虚拟摄像装置52B捕获用户50B的图像而获得的视频显示在设置在房间5-2A中的虚拟窗54A上。此时，在另一方的虚拟空间中收集并且输出声音。因此，每个用户可以经由虚拟窗54使用视频和声音进行对话(通信)。

在这种情况下，虽然使用视频和声音的会话被实现为示例，但是本实施方式不限于此，并且可以经由虚拟窗54执行使用文本的会话(聊天)。此外，可以经由虚拟窗54执行使用视频、声音和文本中的至少一个的通信。

虚拟窗54的形状、大小和布置位置不受特别限制。在本说明书中，假设使用作为模仿“窗”的虚拟对象的虚拟窗54；然而，本公开内容不限于此，并且可以使用任何虚拟对象，只要该虚拟对象具有用于呈现从其他虚拟空间获取的通信信息的区域。例如，可以由诸如屏幕、桌子、墙壁、天花板、门或显示器的虚拟对象来呈现从其他虚拟空间获取的通信信息。

当由虚拟摄像装置52捕获的视频被显示在虚拟窗54上时，可以将虚拟摄像装置52设置在从前方捕获观看虚拟窗54的用户(化身)的图像的位置处，使得用户和视频中的另一方用户的视线匹配。虚拟摄像装置52的布置是用于捕获虚拟空间的图像捕获位置和图像捕获方向的设置。在图4中，为了清楚地指示图像捕获位置和方向，示出了虚拟摄像装置52；然而，虚拟摄像装置52不是实际绘制在虚拟空间中的对象，因此，即使虚拟摄像装置52设置在用户的眼睛的前方，也不会干扰用户的视场。

此处，图5中示出了虚拟摄像装置52的布置示例。如图5所示，例如，虚拟摄像装置52可以被设置在虚拟窗54的后方(或在虚拟窗54的位置处)、与用户眼睛的高度对应的位置处(即，其为虚拟空间中的用户视点位置，并且在图5中被指示为视点E)。当利用虚拟摄像装置52从虚拟窗54的背面捕获用户的图像时，虚拟窗控制单元202可以通过从所捕获的图像中排除设置在虚拟空间中的虚拟窗54来从正面(透过虚拟窗54)捕获面向虚拟窗54的用户的图像。在这种情况下，作为示例，虚拟摄像装置52被调整到用户视点的高度，但是作为另一示例，虚拟摄像装置52可以被调整到用户(化身)的头部的位置(高度)。此外，虚拟摄像装置52可以被设置在出现在虚拟窗54中的另一方用户的眼睛(或头部)的位置处，以捕获面向虚拟窗54的用户的图像。如上所述，虚拟摄像装置52(图像捕获位置)甚至可以自由地设置在在真实空间中摄像装置成为障碍或不能被安装的位置处，并且经由虚拟窗54进行对话的用户可以彼此注视。

(存储单元220)

存储单元220通过ROM(只读存储器)和RAM(随机存取存储器)实现，ROM存储用于控制单元200的处理的程序、操作参数等，RAM临时存储适当改变的参数等。

虽然上面已经具体描述了服务器20的配置，但是根据本公开内容的服务器20的配置不限于图3所示的示例。例如，服务器20可以由多个装置实现。虽然将服务器20用作提供虚拟空间的信息并且控制虚拟空间的显示的信息处理装置的示例，但是信息处理装置不限于网络上的服务器。例如，信息处理装置可以由中间服务器(分布式服务器)、本地边缘服务器、设置在与用户终端10相同的空间中的专用终端、智能电话、平板终端、PC(个人计算机)等来实现。服务器20的至少部分或全部功能可以由中间服务器、本地边缘服务器、用户终端10、设置在与用户终端10相同的空间中的专用终端、智能电话、平板终端，PC(个人计算机)等来实现。

<2-2.用户终端10>

如图3中所示，用户终端10包括控制单元100、通信单元110、传感器单元120、显示单元130、扬声器140和存储单元150。作为示例，根据本实施方式的用户终端10可以通过显示虚拟空间的图像的非透射HMD来实现。

(通信单元110)

通信单元110以有线或无线方式通信地连接至外部装置，以发送和接收数据。例如，通信单元110连接至网络30，并且向网络上的服务器20发送数据和从网络上的服务器20接收数据。通信单元110例如从服务器20接收虚拟空间的信息。此外，通信单元110将由设置在用户终端10中的传感器单元120检测到的感测数据(位置信息、姿势信息、动作信息、声音、操作信息等)发送至服务器20。

通信单元110通过例如有线/无线LAN(局域网)、Wi-Fi(注册商标)、蓝牙(注册商标)、移动通信网络(LTE(长期演进)、3G(第三代移动通信系统)、4G(第四代移动通信系统)、5G(第五代移动通信系统)等通信地连接至外部装置或网络30。

(传感器单元120)

传感器单元120具有感测关于用户的各种类型的信息的功能。例如，传感器单元120可以是摄像装置122、麦克风(下文中，称为麦克风)124和动作传感器126。可以提供多个传感器。

摄像装置122可以是捕获真实空间的图像的向外摄像装置和捕获用户眼睛的图像的向内摄像装置。例如，当检测用户终端10的位置(自身位置)时，使用向外摄像装置。通常，对自身位置的识别包括：使用安装在用户终端10的外部(环境侧)的传感器的外向内方法、使用安装在用户终端10上的传感器的内向外方法、以及作为外向内方法和内向外方法的组合的混合方法。向外摄像装置还用于检测周围环境中的障碍物等。例如，向内摄像装置用于检测关于用户视线(视线方向、眼球运动等)的信息。

麦克风124收集用户的说话声音并且将声音数据输出至控制单元100。

动作传感器126用于检测用户的姿势和动作。例如，动作传感器126可以包括加速度传感器、陀螺仪传感器和地磁传感器。

此外，传感器单元120可以包括距离测量传感器，该距离测量传感器通过红外传感器或超声传感器测量到存在于真实空间周围的真实对象的距离。此外，传感器单元120可以包括检测心跳、脉搏、出汗量、呼吸、血压、脑电图、肌电值、指纹、掌纹等的生物传感器。此外，传感器单元120可以包括计算用户终端10的绝对位置或相对位置的位置测量单元。作为位置测量单元，例如，可以使用从人造卫星接收无线电波并且检测用户终端10所在的当前位置的GNSS(全球导航卫星系统)。除了GNSS之外，可以使用Wi-Fi(注册商标)、蓝牙(注册商标)、利用移动电话、PHS、智能电话等的发送和接收、或者通过短距离通信等检测位置的方法。位置测量单元可以基于加速度传感器、角速度传感器等的检测结果来估计指示相对位置的变化的信息。

传感器单元120可以包括触摸传感器、开关、按钮等。这些用作检测用户操作的操作输入单元。

(显示单元130)

例如，当用户终端10被配置为HMD时，显示单元130包括分别固定到用户的左眼和右眼的左屏幕和右屏幕，并且具有显示左眼图像和右眼图像的功能。显示单元130的屏幕例如包括诸如液晶显示器(LCD)或有机EL(电致发光)显示器的显示面板、或者诸如视网膜直绘显示器的激光扫描显示器。显示单元130可以包括成像光学系统，该成像光学系统放大并且投影显示屏幕以在用户的瞳孔上形成具有预定视角的放大的虚拟图像。

(扬声器140)

扬声器140具有输出声音的功能。例如，扬声器140可以被配置为头戴式耳机、耳机或骨传导扬声器。

(存储单元150)

存储单元150通过ROM(只读存储器)和RAM(随机存取存储器)实现，ROM存储用于控制单元100的处理的程序、操作参数等，RAM临时存储适当改变的参数等。

(控制单元100)

控制单元100用作算术处理装置和控制装置，并且根据各种程序来控制用户终端10中的整体操作。控制单元100例如通过诸如CPU(中央处理单元)或微处理器的电子电路来实现。此外，控制单元100可以包括：ROM(只读存储器)，其存储要使用的程序、操作参数等；以及RAM(随机存取存储器)，其暂时存储适当地变化的参数等。

根据本实施方式的控制单元100执行控制以将由传感器单元120检测到的感测数据(位置信息、动作信息、声音、操作信息等)从通信单元110发送至服务器20。此外，控制单元100可以执行控制以将基于由传感器单元120检测到的感测数据计算的信息(自身位置和姿势的估计信息等)从通信单元110发送至服务器20。

控制单元100基于从服务器20接收的虚拟空间的信息执行控制以在显示单元130上显示来自虚拟空间中的用户视点的图像。此处，显示在显示单元130上的来自虚拟空间中的用户视点的图像可以由控制单元100基于从服务器20接收的虚拟空间的信息来生成。当由控制单元100生成来自用户视点的图像时，控制单元100基于从服务器20接收的虚拟空间的信息(背景数据、虚拟空间中存在的各种虚拟对象(包括其他用户的化身)的参数等)来构建虚拟空间。可以从服务器20实时发送关于另一用户的化身的动作的信息等。

控制单元100可以执行控制以通过通信单元110接收来自服务器20生成的虚拟空间中的用户视点的图像，并且在显示单元130上显示图像。在这种情况下，控制单元100将由传感器单元120检测到的感测数据从通信单元110发送至服务器20，并且可以接收反映用户在真实空间中的位置和姿势的变化的虚拟空间的图像。此外，为了通过通信进行延迟补偿，控制单元100可以执行控制，以在基于最近获取的感测数据校正所接收的虚拟空间的图像之后，在显示单元130上显示所接收的虚拟空间的图像。

由控制单元100控制显示的虚拟空间的图像可以包括如上所述呈现其他虚拟空间中的通信信息的虚拟窗54。此处，图6示出了根据本实施方式的其中设置有虚拟窗54的虚拟空间的图像的显示示例。

图6的左侧所示的示例是在房间5-2A中的用户50A的用户终端10A中提供的显示单元130A上显示的来自房间5-2A中的用户50A的视点的图像的示例。来自房间5-2A中的用户50A的视点的图像包括设置在房间5-2A中的虚拟窗54A的显示。在虚拟窗54A上，实时显示在其他虚拟空间(在这种情况下，房间5-2B)中捕获的另一用户(在这种情况下，用户50B(的化身))的视频(可以使用实时流式传输机制)。当利用用户终端10A构建房间5-2A时，服务器20可以执行将在房间5-2B中捕获的用户50B(的化身)的视频和声音实时发送至用户终端10A的处理。

另一方面，图6的右侧所示的示例是在房间5-2B中的用户50B的用户终端10B中提供的显示单元130B上显示的来自房间5-2B中的用户50B的视点的图像的示例。来自房间5-2B中的用户50B的视点的图像包括设置在房间5-2B中的虚拟窗54B的显示。在虚拟窗54B上，实时显示在其他虚拟空间(在这种情况下，房间5-2A)中捕获的另一用户(在这种情况下，用户50A(的化身))的视频(可以使用实时流式传输机制)。当利用用户终端10B构建房间5-2B时，服务器20可以执行将在房间5-2A中捕获的用户50A(的化身)的视频和声音实时发送至用户终端10B的处理。

虽然上面已经具体描述了用户终端10的配置，但是根据本实施方式的用户终端10的配置不限于图3所示的示例。例如，用户终端10可以由多个装置实现。具体地，用户终端10可以通过包括由HMD等实现的显示装置(至少包括显示单元130)和由智能电话、平板终端、PC等实现的信息处理终端(至少包括控制单元100)的系统配置来实现。传感器单元120的至少一部分可以设置在可通信地连接至用户终端10的外部装置(用户佩戴的可佩戴装置等)中。可以将由用户手持的控制器检测到的感测数据输入到用户终端10。

可以由诸如网络上的服务器20、中间服务器、本地边缘服务器、设置在与用户相同的空间中的专用终端、智能电话、平板终端或PC的外部装置实现由上述控制单元100执行的每个处理。

<<3.操作处理>>

接下来，将参照图7具体描述根据本实施方式的信息处理系统的操作处理。图7是示出根据本实施方式的信息处理系统的操作处理的流程的示例的序列图。

如图7所示，首先，用户终端10A访问提供关于虚拟空间的信息的服务器20并且登录到虚拟空间(步骤S103)。具体地，可以基于预先登记的用户ID等执行用户认证等。

接下来，服务器20生成作为虚拟空间之一的休息室的图像(来自休息室中的用户视点的图像)，并且将该图像发送至用户终端10A(步骤S106)。在这种情况下，作为示例，将描述其中使得已经登录到虚拟空间的用户首先进入休息室的规格的情况。该休息室由例如服务器20构建，并且服务器20在假设用户从休息室中的预定入口(门廊)进入的情况下设置第一用户的视点。在这种情况下，虽然已经描述了用户首先进入休息室作为示例，但是本实施方式不限于此，并且用户可以在登录之后任意地选择用户进入哪个虚拟空间。

接下来，用户终端10A在显示单元130上显示休息室的图像(来自休息室中的用户视点的图像)(步骤S109)。如上所述，用户的视点可以是作为用户的个人角色在虚拟空间中绘制的化身的视点(在这种情况下，用户的化身不包括在用户的视场中)，或者可以是将用户的化身包括在视场中的视点。此外，可以任意地切换用户的视点。

接下来，当用户使用用户终端10A选择作为他/她的房间的房间A时(步骤S112)，服务器20将房间A的构建的信息发送至用户终端10A(步骤S115)。在这种情况下，作为示例，将描述由用户终端10构建每个单独用户的房间(虚拟空间)的情况；然而，本实施方式不限于这种情况。例如，当由服务器20构建单独用户的房间时，服务器20构建房间A，生成来自房间A中的用户A的视点的图像，并且将该图像发送至用户终端10A。

接下来，用户终端10A基于从服务器20接收的虚拟空间的信息(例如，背景数据、每个虚拟对象的参数等)来构建房间A，生成来自房间A中的用户A的视点的图像，并且将该图像显示在显示单元130A上(步骤S118)。

另一方面，在用户终端10B中，类似地，执行用户B的登录和房间B的构建，并且在用户终端10B的显示单元130B上显示来自房间B中的用户B的视点的图像(步骤S121)。

接下来，当用户A想要与作为其他虚拟空间的房间B中的用户B交互时，用户终端10A根据用户A的操作经由服务器20向用户B(用户终端10B)发出交互请求(步骤S124和S127)。在这种情况下，作为示例，示出了用户A向用户B进行交互请求的情况；当然，可以从用户B向用户A进行交互请求。

随后，当从用户B接收到交互许可时(步骤S130)，服务器20将虚拟摄像装置和虚拟窗分别安装在房间A和房间B中(步骤S133和S136)。

然后，服务器20通过每个房间中的虚拟摄像装置获取通信信息(步骤S139和S142)，将所获取的通信信息发送至另一方的房间(步骤S145和S151)，并且通过安装在另一方的房间中的虚拟窗呈现(显示输出或声音输出)通信信息(步骤S148和S154)。可以通过实时流传输通信信息。在这样的实时流传输中使用的标准没有特别限制。当仅获取文本或声音作为通信信息时，在每个房间中安装虚拟摄像装置(成像位置)可能是不必要的。

如上所述，根据本实施方式的信息处理系统在没有空间移动的情况下实现多个虚拟空间中的双向交互。

在交互结束之后，服务器20取消虚拟窗的安装(删除虚拟窗和虚拟摄像装置的设置)。用户A或用户B可以指示结束交互。服务器20可以总是具有安装在每个房间中的虚拟窗。服务器20可以在与其他房间中的用户交互时打开虚拟窗(开始视频的发送和接收并且激活交互功能)，并且在交互结束时关闭虚拟窗(结束视频的发送和接收并且停用交互功能)。

在上文中，已经具体描述了根据本实施方式的信息处理系统的操作处理。在图7的序列图中示出的每个步骤的内容和顺序是示例，并且本实施方式不限于该示例。

例如，每个房间可以不是单独的房间，而是具有预定权限的用户可以进入的虚拟空间，并且可以由服务器20构建该虚拟空间。虽然已经描述了用户从休息室移动到每个房间，但是本实施方式不限于此，并且虚拟空间可以不具有休息室，或者可以从登录到虚拟空间之后开始选择任意房间。虽然图7所示的示例包括“交互请求”和“交互许可”作为用于通过安装虚拟窗在多个虚拟空间中启动双向交互的触发，但是用于启动双向交互的触发不限于此，并且一些其他事件可以用作触发。

<<4.其他实施方式>>

接下来，将描述根据本公开内容的其他实施方式。在上述实施方式中，通过虚拟窗实现多个虚拟空间中的双向交互；然而，使用虚拟窗的方法不限于此，并且例如，还可以通过虚拟窗查看其他虚拟空间的状态(通信信息的单向通信)。具体地，例如，服务器20执行控制，以通过实时流传送将由设置在其他虚拟空间中的虚拟摄像装置捕获的捕获图像显示在安装在与其他虚拟空间不同的虚拟空间中的虚拟窗上。因此，可以更容易地呈现其他虚拟空间中的通信信息，并且增强虚拟空间的便利性。

在下文中，将参照图8至图12具体描述根据本公开内容的这样的另一实施方式的信息处理系统。作为示例，假设其中作为主客户端的分发者的表演者进行诸如音乐会的某个事件，而作为一般客户端的观看者的用户参与虚拟空间的情况。主客户端是具有不同于一般客户端的权限的特定权限的用户。例如，主客户端可以任意地改变虚拟空间的内部(背景的选择、每个虚拟对象的布置等)，可以限制一般用户进入和离开虚拟空间，可以控制从虚拟空间的分发的开始和结束，并且可以控制整个虚拟空间，例如要在虚拟空间中播放的音乐和虚拟空间中的照明。

如图8所示，例如，根据本公开内容的另一实施方式的信息处理的配置包括服务器20、由每个用户使用的用户终端10(用户终端10A至10B……)、以及由作为主客户端的表演者(分发者)使用的表演者终端12。表演者终端12的基本配置类似于图3所示的配置。表演者的动作由设置在表演者终端12中的摄像装置和布置在表演者周围的大量摄像装置检测，并且反映在虚拟空间中表演者的化身的动作中。检测到的数据可以是指示表演者的三维动作的数据。表演者的表情可以由摄像装置跟踪，并且反映在虚拟空间中的表演者的化身的表情中。表演者的声音可以由麦克风收集并且输出作为表演者的化身的声音。表演者终端12可以由非透射HMD实现。表演者的动作可以由设置在表演者持有的控制器中的各种传感器和设置在表演者佩戴的装置中的各种传感器来感测。在虚拟空间中绘制的表演者的化身可以是2D实况动作，可以是表达虚拟人物等的3D CG，或者可以是由体积捕获技术生成的并且更类似于实况动作的3D CG。

图9是用于说明根据另一实施方式的使用虚拟窗的单向通信信息的呈现的图。如图9所示，例如，假设表演者60的音乐会在事件房间5-2E中举行。表演者60和作为一般观看者的许多一般用户50参与事件房间5-2E。接下来，当在事件房间5-2E中举行的音乐会结束时，以音乐会的结束作为触发，只有表演者60从一般观看者中选择的用户50C和表演者60移动到特殊房间(special room)5-2D。然后，其余的一般观看者停留在事件房间5-2E中，并且特殊房间5-2D的状态通过安装在事件房间5-2E中的虚拟窗54E实时流式传输。显示在虚拟窗54E上的视频是由设置在特殊房间5-2D中的虚拟摄像装置52D捕获的视频。

如上所述，在根据另一实施方式的信息处理系统中，当以预定事件的结束(例如音乐会的结束)作为触发而使场所分支时，可以执行控制以通过虚拟窗实时呈现另一相关虚拟空间的状态。

选择移动到特殊房间5-2D的用户的方法没有特别限制，并且例如，可以根据收费报酬金额来选择用户，可以通过检测兴奋程度来选择最兴奋(声音大、动作大等)的用户，可以选择虚拟空间中表演者60所指向的用户，或者可以选择表演者60呼叫其名字并且作出响应的用户。基于例如从真实空间中表演者60(人)的骨骼信息获取的表演者60的手指的动作信息来控制虚拟空间中表演者60(化身)的指向姿势。假设服务器20基于表演者60的手指的动作信息绘制特殊房间5-2D(虚拟空间)中的表演者60的化身的手指，并且选择在指向方向上碰上的用户。

下面将参照图10描述这样的另一实施方式的操作处理。

(操作处理)

图10是示出根据本公开内容的另一实施方式的信息处理系统的操作处理的流程的示例的流程图。如图10所示，首先，表演者60在事件房间5-2E中执行实况事件(例如，音乐会的实况广播等)(步骤S203)。例如，服务器20根据来自表演者60的表演者终端12的输入信息来控制事件房间5-2E。更具体地，服务器20利用表演者60选择的背景和虚拟对象来构建事件房间5-2E，在事件房间5-2E中绘制表演者60的化身，根据表演者60的动作来控制表演者60的化身的动作，根据表演者60的指示在事件房间5-2E中播放音乐，并且控制照明。除了表演者60之外，可以存在具有预定权限的分发者，并且分发者可以适当地指示事件房间5-2E中的设置。此外，服务器20绘制参与事件房间5-2E的每个用户(一般观看者)的化身，并且根据每个用户的动作控制每个用户的化身的动作。此外，服务器20生成来自每个用户(一般观看者)的视点(例如，每个用户的化身的视点)的图像，并且将该图像实时地发送至用户终端10中的每一个(该图像可以是实时流式传输的)。此外，服务器20生成来自表演者60的视点(例如，表演者60的化身的视点)的图像，并且将该图像实时发送至表演者终端12(该图像可以是实时流式传输的)。

接下来，服务器20接受表演者60对用户的选择(步骤S206)。表演者60可以从参与事件房间5-2E的用户(一般观看者)中选择移动到特殊房间的用户。被选择的用户的数目可以是一个或两个或更多个。尽管此处作为示例描述了表演者60进行选择，但是与表演者60分开存在的具有预定权限的分发者可以选择用户，或者服务器20可以基于预定条件自动地选择用户。

接下来，当实况事件结束时(步骤S209的结果为是)，服务器20将表演者60和所选择的用户移动到特殊房间5-2D(步骤S212)。这样的移动是空间移动。服务器20构建特殊房间5-2D，并且在特殊房间5-2D中绘制表演者60的化身和所选择的用户(图9所示示例中的用户50C)的化身。此外，服务器20将特殊房间5-2D中的相应视点(表演者60的视点、用户50C的视点)的图像发送至表演者终端12和所选择的用户的用户终端。所选择的用户50C移动到特殊房间5-2D，并且因此可以与也移动到特殊房间5-2D的表演者60交互。

接下来，服务器20通过安装在特殊房间5-2D中的虚拟摄像装置52D获取表演者与用户50C之间的通信信息(语音和视频)(步骤S215)。即，服务器20通过虚拟摄像装置52D捕获表演者与用户50C彼此交互的状态的图像，并且获取所捕获的图像。虚拟摄像装置52D的布置位置没有特别限制，例如，服务器20可以设置虚拟摄像装置52D，以从获取表演者60和用户50C的鸟瞰图的位置捕获表演者60和用户50C的图像。替选地，服务器20可以按照与表演者60交互的用户50C的视点设置虚拟摄像装置52D，或者可以将虚拟摄像装置52D设置在仅在附近捕获表演者60的图像的位置处。多个虚拟摄像装置52D可以安装在特殊房间5-2D中，并且可以由分发者侧的工作人员任意切换。

然后，服务器20从安装在事件房间5-2E中的虚拟窗54E呈现特殊房间5-2D的通信信息，事件房间5-2E是与特殊房间5-2D相关的虚拟空间(步骤S218)。安装在事件房间5-2E中的虚拟窗54E可以通过大屏幕(虚拟对象)来实现，并且设置在该空间的上方，从而可以被留在事件房间5-2E中的大量一般观众用户看到。

此处，图11示出了根据另一实施方式的来自设置有虚拟窗54E的虚拟空间(事件房间5-2E)中的用户50A的视点的图像的显示示例。图11所示的图是当表演者60在事件房间5-2E中表演诸如音乐会的实况事件时用户50A的视点的图像。这样的图像可以显示在用户终端10A的显示单元130A上。

接下来，当实况事件结束时，表演者60和所选择的用户50C移动到从事件房间5-2E分支的另一虚拟空间(特殊房间5-2D)。因此，在事件房间5-2E中，没有表演者60和所选择的用户50C。然后，在图11的下部示出的图像被显示在用户终端10A的显示单元130A上。在图11的下部示出的图像是事件房间5-2E(虚拟空间)中的用户50A的视点的图像，在事件房间5-2E中设置有用于实时显示特殊房间5-2D的视频的虚拟窗54E。

如上所述，根据根据另一实施方式的信息处理系统，在不伴随空间移动的情况下，可以经由设置在用户所在的虚拟空间中的虚拟窗54实时地查看多个其他用户正在其他虚拟空间中交流的状态，其中从用户所在的虚拟空间分支出该其他虚拟空间。

在上述实施方式中，实况事件结束之后，在事件房间5-2E中设置虚拟窗54E，通过虚拟窗54E呈现特殊房间5-2D的通信信息；然而，本实施方式不限于此。图12是用于说明根据另一实施方式的特殊房间5-2D的通信信息的另一呈现示例的图。例如，服务器20可以以实况事件的结束作为触发而关闭事件房间5-2E，并且将已经在事件房间5-2E中的一般观众用户移动到另一房间F，如图12所示。另一房间F被定位在事件场所之外，并且可以是例如售卖事件的商品的商品售卖场所。虽然只有购票者可以进入事件场所，但是任何人都可以进入商品售卖场所。此外，另一房间F可以被定位为其中可以看到特殊房间5-2D的状态的观看房间(子房间)。替选地，另一房间F可以是被定位为虚拟空间的中央的休息室(见图2)。另外，在特殊房间5-2D中获取的通信信息不限于在设置在虚拟空间中的虚拟窗54E中的呈现，并且可以在用户终端10G上呈现(实时流式传输)，用户终端10G由诸如智能电话、平板终端、透射眼镜型显示器、PC、TV装置或投影装置的显示装置实现，如图12所示。这使得可以增加观看者的数目。

在上述实施方式中，“实况事件的结束”被描述为用于从设置在虚拟空间中的虚拟窗开始单向分发从该虚拟空间分支的其他虚拟空间的通信信息的处理的触发；然而，这样的触发是示例，并且本实施方式不限于此。另一预定事件的结束可以用作触发，预定事件的开始可以用作触发，预定时间的流逝可以用作触发，或者预定事件的发生可以用作触发。

<<5.应用示例>>

在下文中，将描述本实施方式的应用示例。

在参照图4描述的上述实施方式中，描述了在没有空间移动的情况下能够容易地在每个虚拟空间中执行单个用户之间的双向交互的系统；然而，本实施方式不限于此，并且可以经由虚拟窗在第一虚拟空间中的N个人与第二虚拟空间中的N个人之间执行双向交互。

图13是用于说明根据本实施方式的应用示例的在至少一个虚拟空间中存在多个人的情况下虚拟空间之间的双向交互的图。如图13所示，例如，即使当房间A中有三个人并且房间B中有一个人时，也可以经由虚拟窗54执行房间A与房间B之间的双向交互。具体地，服务器20将捕获房间A中的用户50A、50C和50D的图像的虚拟摄像装置52A-1至52A-3分别布置在房间A中，并且执行控制以在房间B的虚拟窗54B中实时显示由虚拟摄像装置52A-1至52A-3获得的捕获图像。当在虚拟窗54B中显示多个人时，服务器20可以使用多个用户之一的背景作为背景，并且其他用户可以在去除背景的情况下进行组合和显示，或者可以并排显示三个人的图像。当并排显示三个人的图像时，服务器20可以优选地以较大尺寸显示正在说话的用户的图像。如图13所示，可以使用于捕获房间A中的多个用户的图像的摄像装置角度与每个用户的视线一致(从前方捕获每个用户的图像)，也可以从获得多个用户的鸟瞰图的视点通过一个虚拟摄像装置捕获多个用户的图像。可以通过用户操作(手势操作、按钮操作、语音输入操作等)任意地切换摄像装置角度。

由设置在房间B中的虚拟摄像装置52B捕获的用户50B的视频显示在布置在房间A中的虚拟窗54A-1至54A-3中。如图13所示，也可以使用户50B的摄像装置角度与用户50B的视线一致(从前方捕获用户50B的图像)，或者从获得用户50B的鸟瞰图的视点捕获用户50B的图像。此外，布置在房间A中的虚拟窗54A-1至54A-3不仅可以显示房间B的视频，还可以显示在同一房间A中参与交互的所有用户的视频(即，同一虚拟空间的视频)。图14是示出来自图13所示的房间A中的用户50A的视点的图像的另一示例的图。如图14所示，在用户50A的用户终端10A的显示单元130A上，通过捕获房间B中的用户50B(化身)而获得的图像、参与交互的同一房间A的用户50C(化身)的捕获图像、以及用户50D(化身)的捕获图像被实时地显示在设置在房间A(虚拟空间)中的虚拟窗54A-1中。

(其他方面)

在虚拟窗54中显示的图像不限于在虚拟空间中实时捕获的图像，并且可以通过用户操作(图像共享)来显示任何图像(静止图像和运动图像)。共享图像可以是与参与交互的用户相关的图像(例如，所有用户参与的事件的视频)。

除了交互参与者之外，工作人员AI(人工智能)可以被添加到虚拟窗54，并且可以由工作人员AI来促进该交互。工作人员AI是可以通过系统侧准备的自然语言处理等与用户自动地交互的角色。

捕获要显示在虚拟窗54上的图像的虚拟摄像装置52的角度没有特别限制。可以针对一个用户布置多个虚拟摄像装置52，使得用户可以任意地切换摄像装置角度。

<<6.补充>>

如上所述，在根据本公开内容的实施方式的信息处理装置中，可以更容易地呈现其他虚拟空间中的通信信息，并且增强虚拟空间的便利性。

上面已经参照附图详细描述了本公开内容的优选实施方式，但是本技术不限于这样的示例。明显的是，本公开内容的技术领域中的具有普通知识的人可以在权利要求中描述的技术构思的范围内想到各种改变或修改，当然，应该认识到，这些改变和修改也属于本公开内容的技术范围。

例如，根据本实施方式的信息处理系统可以应用于诸如娱乐、教育、体育、商业、工作支持、建筑、研究、医疗、志愿活动、仪式场合、公共机构、金融机构、灾难和空间发展的广泛领域。

具体地，当在诸如补习学校或学校的教育机构中远程上课时，可以通过虚拟空间中的自己房间中的虚拟窗来观看来自虚拟空间中的教室的课堂。在课堂结束之后，可以将在答疑房间(在课堂结束之后，仅有问题的学生可以移动到此并且向教师提问的虚拟空间)中单独向教师提问的学生的对话(答疑房间中教师与学生之间的通信信息)实时流式传输到安装在教室(虚拟空间)中的虚拟窗。留在教室中的其他学生可以即时观看提问的状态而无需移动到答疑房间。

根据本实施方式的信息处理系统还可以应用于远程位置处的指示者通过非语言通信向工作者给出工作指示(例如，通过手势等的指示)的情况。关于指示者的姿势，例如通过手佩戴的摄像装置或传感器来检测手的精细动作，并且可以在虚拟空间中绘制精细地移动的手的虚拟对象。要被指示的工作可以是虚拟空间中的工作或真实空间中的工作。在虚拟空间中的工作的情况下，在设置在虚拟空间中的虚拟窗上显示在其他虚拟空间中指示者通过非语言通信给出指示的状态；因此，工作者可以在虚拟空间中执行工作，同时从显示在虚拟窗上的指示者接收指令。在真实空间中的工作的情况下，工作者可以佩戴透射HMD(例如，透射眼镜型显示器)和AR显示虚拟窗。

如上所述，根据本实施方式的在虚拟空间中绘制的化身可以是由体积捕获技术生成的并且更类似于实况动作的3D CG(在下文中，也称为体积化身)。当使用体积化身时，可以详细地确认整个身体的动作和用户的指尖的动作。因此，例如，训练教练、高尔夫学校的教师等可以通过观看作为学生的体积化身的全身动作来教导身体动作的校正部分。其中教师(其不一定必须是体积化身，但在示出示例时优选地是体积化身)在单独的指示房间中指示学生(体积化身)的状态可以被实时流式传输到设置在诸如其他学生等待的等候房间的虚拟空间中的虚拟窗。

还可以将其用于对排队等待进行医疗检查的患者的医疗服务的咨询或对话。例如，可以经由安装在存在排队等待进行医疗检查的患者的等候室中的虚拟窗与其他房间(其他虚拟空间)中的医生进行双向交互。

在上述实施方式中，描述了经由虚拟窗执行从定位在虚拟空间的中央的休息室移动的房间之间的双向交互和单向分发的情况；然而，本公开内容不限于此。例如，还可以经由虚拟窗在单独存在的并且用户不能来回移动(或者没有可以共享的地方，例如休息室)的虚拟空间之间执行双向交互或单向分发。

即使在同一虚拟空间中，也可以经由虚拟窗与在远方(移动需花费时间的地方)等的其他用户执行双向交互或单向分发。节省了到另一方用户所在的地方的移动时间，并且增强了虚拟空间的便利性。

用户终端10不限于非透射HMD，并且可以是透射AR眼镜。虚拟窗(虚拟对象)可以经受AR(增强现实)显示(在真实空间中的叠加显示)。因此，在与虚拟空间中的其他用户交互时，节省了在用户终端10或服务器20中构建虚拟空间的处理负荷。根据本实施方式的信息处理系统适用于诸如VR、AR和MR(混合现实)的XR体验。

双向交互和单向分发并非必须在两个虚拟空间之间执行，并且可以经由虚拟窗在三个或更多个虚拟空间之间执行。

在虚拟窗中呈现的通信信息不限于二维视频，并且可以是3D视频(立体视频)。当用户终端10的显示单元130包括分别固定到用户的左眼和右眼的左屏幕和右屏幕并且具有显示左眼图像和右眼图像的功能时，可以提供立体视频。从其他虚拟空间获取的立体视频可以是360度的立体图像或180度的立体图像。在从其他虚拟空间获取的立体视频中，可以使用其中执行垂直布置的顶部和底部方案，或者可以使用其中执行水平布置的并排方案。服务器20通过立体VR流式传输将其他虚拟空间的立体视频分发到该虚拟空间。此时，例如，服务器20在用户视点的视野的中央处绘制其他空间的立体视频，并且在其外围绘制用户所在的虚拟空间的背景，从而可以在用户所在的虚拟空间中观看其他虚拟空间的视频而无需移动到该空间。

还可以创建用于使内置在上述用户终端10或服务器20中的诸如CPU、ROM和RAM的硬件表现出用户终端10或服务器20的功能的一个或更多个计算机程序。还提供了存储一个或更多个计算机程序的计算机可读存储介质。

此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。即，连同或者代替上述效果，根据本公开内容的技术可以展示来自本说明书的描述中对本领域技术人员而言明显的其他效果。

本技术还可以按如下配置。

(1)

一种信息处理装置，包括控制虚拟空间的显示的控制单元，

其中，控制单元执行控制以获取其他虚拟空间中的一个或更多个其他用户的通信信息，并且由设置在虚拟空间中的虚拟对象来呈现所获取的通信信息。

(2)

根据(1)所述的信息处理装置，其中，控制单元执行控制以获取虚拟空间中的一个或更多个用户的通信信息，并且将通信信息输出至其他虚拟空间。

(3)

根据(1)或(2)所述的信息处理装置，其中，控制单元执行控制以获取在其他虚拟空间中执行的多个其他用户的通信信息，并且由设置在虚拟空间中的虚拟对象来呈现通信信息。

(4)

根据(1)至(3)中任一项所述的信息处理装置，其中，通信信息包括以下中的至少一个：捕获的图像、文本和声音。

(5)

根据(1)至(4)中任一项所述的信息处理装置，其中，控制单元执行控制以在虚拟对象上显示在通信信息中包括的其他虚拟空间中捕获的一个或更多个捕获图像。

(6)

根据(1)至(5)中任一项所述的信息处理装置，其中，控制单元执行控制以将虚拟摄像装置设置在虚拟空间中面向用户视点的位置处，并且将由虚拟摄像装置捕获的用户的化身的捕获图像作为用户的通信信息输出到其他虚拟空间。

(7)

根据(1)至(6)中任一项所述的信息处理装置，其中，控制单元执行控制以将预定事件的结束作为触发来获取从虚拟空间分支的其他虚拟空间中的一个或更多个其他用户的通信信息，并且由设置在虚拟空间中的虚拟对象呈现通信信息。

(8)

根据(7)所述的信息处理装置，其中，控制单元执行控制以当其他虚拟空间被分支时，将已经在虚拟空间中的一个或更多个用户中的一个或更多个特定用户移动到其他虚拟空间。

(9)

根据(1)至(8)中任一项所述的信息处理装置，还包括通信单元，

其中，控制单元执行控制以生成来自虚拟空间中的用户的视点的图像，并且将图像从通信单元发送至用户的信息处理终端。

(10)

根据(1)至(8)中任一项所述的信息处理装置，还包括显示单元，

其中，控制单元执行控制以生成来自虚拟空间中的用户的视点的图像并且在显示单元上显示图像。

(11)

一种信息处理系统，包括：

信息处理终端，其包括显示单元和通信单元；以及

信息处理装置，其包括控制虚拟空间在显示单元上的显示的控制单元以及通信单元，

其中，控制单元执行控制以获取其他虚拟空间中的一个或更多个其他用户的通信信息，并且由设置在在显示单元上显示的虚拟空间中的虚拟对象来呈现所获取的通信信息。

(12)

—种信息处理方法，包括：

由处理器控制虚拟空间的显示；以及

执行控制以获取其他虚拟空间中的一个或更多个其他用户的通信信息，并且由设置在虚拟空间中的虚拟对象呈现所获取的通信信息。

(13)

一种信息处理终端，包括：

通信单元；

显示单元；以及

控制单元，其执行控制以在显示单元上显示由通信单元从信息处理装置接收的虚拟空间的图像，

其中，控制单元显示由设置在虚拟空间中的虚拟对象呈现其他虚拟空间中的一个或更多个其他用户的通信信息的图像。

附图标记列表

10用户终端

100控制单元

110通信单元

120传感器单元

122摄像装置

124麦克风

126动作传感器

130显示单元

140扬声器

150存储单元

20服务器

200控制单元

201虚拟空间信息提供单元

202虚拟窗控制单元

210通信单元

220存储单元

Claims (13)

1.一种信息处理装置，包括控制虚拟空间的显示的控制单元，

其中，所述控制单元执行控制以获取其他虚拟空间中的一个或更多个其他用户的通信信息，并且由设置在所述虚拟空间中的虚拟对象来呈现所获取的通信信息。

2.根据权利要求1所述的信息处理装置，其中，所述控制单元执行控制以获取所述虚拟空间中的一个或更多个用户的通信信息，并且将所述通信信息输出至所述其他虚拟空间。

3.根据权利要求1所述的信息处理装置，其中，所述控制单元执行控制以获取在所述其他虚拟空间中执行的多个其他用户的所述通信信息，并且由设置在所述虚拟空间中的所述虚拟对象来呈现所述通信信息。

4.根据权利要求1所述的信息处理装置，其中，所述通信信息包括以下中的至少一个：捕获的图像、文本和声音。

5.根据权利要求1所述的信息处理装置，其中，所述控制单元执行控制以在所述虚拟对象上显示在所述通信信息中包括的所述其他虚拟空间中捕获的一个或更多个捕获图像。

6.根据权利要求1所述的信息处理装置，其中，所述控制单元执行控制以将虚拟摄像装置设置在所述虚拟空间中面向用户视点的位置处，并且将由所述虚拟摄像装置捕获的所述用户的化身的捕获图像作为所述用户的通信信息输出到所述其他虚拟空间。

7.根据权利要求1所述的信息处理装置，其中，所述控制单元执行控制以将预定事件的结束作为触发来获取从所述虚拟空间分支的所述其他虚拟空间中的一个或更多个其他用户的通信信息，并且由设置在所述虚拟空间中的所述虚拟对象呈现所述通信信息。

8.根据权利要求7所述的信息处理装置，其中，所述控制单元执行控制以当所述其他虚拟空间被分支时，将已经在所述虚拟空间中的一个或更多个用户中的一个或更多个特定用户移动到所述其他虚拟空间。

9.根据权利要求1所述的信息处理装置，还包括通信单元，

其中，所述控制单元执行控制以生成来自所述虚拟空间中的所述用户的视点的图像，并且将所述图像从所述通信单元发送至所述用户的信息处理终端。

10.根据权利要求1所述的信息处理装置，还包括显示单元，

其中，所述控制单元执行控制以生成来自所述虚拟空间中的所述用户的视点的图像并且在所述显示单元上显示所述图像。

11.一种信息处理系统，包括：

信息处理终端，其包括显示单元和通信单元；以及

信息处理装置，其包括控制虚拟空间在所述显示单元上的显示的控制单元以及通信单元，

其中，所述控制单元执行控制以获取其他虚拟空间中的一个或更多个其他用户的通信信息，并且由设置在在所述显示单元上显示的所述虚拟空间中的虚拟对象来呈现所获取的通信信息。

12.一种信息处理方法，包括：

由处理器控制虚拟空间的显示；以及

执行控制以获取其他虚拟空间中的一个或更多个其他用户的通信信息，并且由设置在所述虚拟空间中的虚拟对象呈现所获取的通信信息。

13.一种信息处理终端，包括：

通信单元；

显示单元；以及

控制单元，其执行控制以在所述显示单元上显示由所述通信单元从信息处理装置接收的虚拟空间的图像，

其中，所述控制单元显示由设置在所述虚拟空间中的虚拟对象呈现其他虚拟空间中的一个或更多个其他用户的通信信息的图像。