CN121002889A

CN121002889A - 影像共享系统和影像共享方法

Info

Publication number: CN121002889A
Application number: CN202380097607.3A
Authority: CN
Inventors: 桥本康宣; 鹤贺贞雄; 中出真弓; 高见泽尚久
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2023-04-28
Filing date: 2023-04-28
Publication date: 2025-11-21
Also published as: JPWO2024224608A1; WO2024224608A1

Abstract

影像共享系统包括第一便携信息终端和第二便携信息终端，所述第一便携信息终端包括：第一显示器；与所述第二便携信息终端之间进行数据收发的第一通信机；和对第一显示器和第一通信机进行控制的第一处理器，其中，第一处理器按照第一便携信息终端的用户或第二便携信息终端的用户的选择操作来执行视觉共享控制，在所述视觉共享控制中，使由作为视觉共享目标的虚拟对象构成的个别显示对象的显示方式，由从第一便携信息终端的视点位置观看的影像切换为基于经由第一通信机接收的数据而得到的从第二便携信息终端的视点方向观看的影像，第一显示器使用从第二便携信息终端的视点方向观看的影像来显示所述个别显示对象。

Description

影像共享系统和影像共享方法

技术领域

本发明涉及影像共享系统和影像共享方法，特别涉及便携信息终端之间进行的虚拟空间中的影像共享技术。

背景技术

专利文献1中记载了这样的内容，“当使用者A, B面对面地观看对方的影像进行交流时，在各使用者A, B的分身41A, 41B的前方设置对象显示区域42A, 42B，在各对象显示区域内显示对象43A, 43B，在使用者A或B对该对象43A或43B进行了移动、旋转、伸缩、变形等操作的情况下，对另一个对象也实施该操作（选自摘要）”。

现有技术文献

专利文献

专利文献1：日本特开2001-22958号公报

发明内容

发明要解决的技术问题

现有技术中，对于正在讨论的对象（object）,需要显示与想要共享该对象的使用者的数量相应的该对象的拷贝，共享使用者的数量越增多则对象的显示数越增多，存在发生计算负载增大和虚拟空间内的显示拥挤的问题。

本发明是鉴于上述情况作出的，目的在于提供一种减轻在多名使用者之间共享对象并显示时的显示拥挤的影像共享系统和影像共享方法。

解决问题的技术手段

为了解决上述问题，本发明具备要求保护的技术方案中记载的结构。举其一例，本发明是一种影像共享系统，包括第一便携信息终端和第二便携信息终端，所述第一便携信息终端包括：第一显示器；与所述第二便携信息终端之间进行数据收发的第一通信机；和对所述第一显示器和所述第一通信机进行控制的第一处理器，其中，所述第一处理器按照所述第一便携信息终端的用户或所述第二便携信息终端的用户的选择操作来执行视觉共享控制，在所述视觉共享控制中，使由作为视觉共享目标的虚拟对象构成的个别显示对象的显示方式，由从所述第一便携信息终端的视点位置观看的影像切换为基于经由所述第一通信机接收的所述数据的、从所述第二便携信息终端的视点方向观看的影像，所述第一显示器使用所述从第二便携信息终端的视点方向观看的影像，来显示所述个别显示对象。

另外，本发明是一种影像共享方法，执行以下步骤：第一步骤，便携信息终端执行视觉共享控制，使在多名用户之间被选择为视觉共享目标的虚拟对象的显示方式，由从所述便携信息终端的视点位置观看的影像切换为从其他便携信息终端的视点方向观看的影像；和第二步骤，所述便携信息终端使用从所述其他便携信息终端的视点方向观看的影像，来显示所述虚拟对象。

发明效果

根据本发明，为了在用户之间使作为目标的虚拟对象看上去相同，无需生成拷贝，而是使作为目标的虚拟对象的显示切换为从相同朝向观看的显示。由此，可以得到抑制计算负载增大、不会发生虚拟空间内的显示拥挤的效果。上述以外的目的、特征、效果将在以下实施方式中说明。

附图说明

图1是第一实施方式的影像共享系统的概略结构图。

图2是HMD的硬件结构图。

图3是智能手机的硬件结构图。

图4是服务器的硬件结构图。

图5是影像共享程序的功能框图。

图6是表示从通常的终端视点观看的虚拟空间的影像的图。

图7是表示在开始所选择的虚拟对象的视觉共享的时间点，从各终端视点观看的虚拟空间的影像的图。

图8是表示视觉共享中的虚拟空间的状态的图。

图9是表示视觉共享结束后的虚拟空间的状态的一例的图。

图10是表示个别显示对象的坐标系的图。

图11是表示个别显示对象坐标系相对于虚拟空间坐标系的位置和朝向的图。

图12是在图6的状态下以从上方观看的状态表示2个终端视点与虚拟对象的位置关系的图。

图13是表示图7的视觉共享开始时的2个终端视点与虚拟对象的位置关系的图。

图14是表示视觉共享开始时的主机终端中的显示基准配置的图。

图15是表示视觉共享开始时的从机终端中的显示基准配置的图。

图16是表示主机终端的水平基准方向与从机终端的水平基准方向的关系的图。

图17是表示主机终端标示例的图。

图18是表示主机终端标示的其他例的图。

图19是表示本实施方式的影像共享系统的处理流程的流程图，表示在便携信息终端中进行个别显示对象的显示控制的方式。

图20A是表示本实施方式的影像共享系统的处理流程的流程图，表示在服务器中进行个别显示对象的显示控制的方式。

图20B是表示本实施方式的影像共享系统的处理流程的流程图，表示在服务器中进行个别显示对象的显示控制的方式。

图21是表示第一实施方式的变形例3的显示例的图。

图22是表示第一实施方式的变形例4的显示例的图。

图23是表示第二实施方式的显示例的图。

图24是表示第二实施方式的变形例1的显示例的图。

图25是表示第二实施方式的变形例2的显示例的图。

图26是表示第二实施方式的变形例3的显示例的图。

图27是表示第二实施方式的变形例4的显示例的图。

图28是表示第二实施方式的变形例5的显示例的图。

图29是表示第二实施方式的变形例6的显示例的图。

具体实施方式

本发明中，在多个便携信息终端之间，自己能够以从位于不同位置的其他用户的视点方向看到的虚拟对象的呈现方式（视觉效果）来观看虚拟对象，即能够进行视觉共享，由此能够有望促进相互理解和改善交流。因此，本发明预计可以改进需要作业辅助、后勤辅助的劳动密集型产业用的技术，所以有望对联合国提倡的可持续发展目标（SDGs：Sustainable Development Goals）的8.2（通过多样化经营、技术升级和创新，包括重点发展高附加值和劳动密集型行业，实现更高水平的经济生产力）作出贡献。

本实施方式的影像共享系统中，第一便携信息终端与第二便携信息终端经由通信线路连接，按照所述第一便携信息终端的用户或第二便携信息终端的用户的选择操作来执行视觉共享控制，使由作为视觉共享目标的虚拟对象构成的个别显示对象的显示方式，由从第一便携信息终端的视点位置观看的影像切换为基于经由第一通信机接收的数据而得到的从第二便携信息终端的视点方向观看的影像，第一显示器使用从第二便携信息终端的视点方向观看的影像来显示个别显示对象。

以下，参照附图说明本发明的实施方式。在用于说明实施方式的全部图中，对于同一部件原则上标注同一附图标记，省略其重复说明。

<第一实施方式>

第一实施方式中，根据从个别显示对象看来的第一便携信息终端的视线方向与第二便携信息终端的视线方向的差，相应地将从第一便携信息终端的视线位置观看的个别显示对象在虚拟空间内的位置和姿态，变换为从第二便携信息终端的视线位置观看的个别显示对象在虚拟空间内的位置和姿态，将从第一便携信息终端观看的个别显示对象的影像切换为从第二便携信息终端观看的个别显示对象的影像，由此执行视觉共享控制。

图1是第一实施方式的影像共享系统的概略结构图。

如图1所示，用户A佩戴作为便携信息终端1的HMD（Head Mounted Display）1A，对作为便携信息终端1的智能手机1C进行操作。同样，用户B佩戴作为便携信息终端1的HMD1B，对作为便携信息终端1的智能手机1C进行操作。

智能手机1C经由接入点23A与网络9连接，智能手机1D经由接入点23B与网络9连接，它们与连接至网络9的服务器3通信连接。在便携信息终端1位于同一场所的情况下，也可以使用同一接入点。

HMD1A与智能手机1C之间采用近距离无线连接，HMD1B与智能手机1D之间采用近距离无线连接。另外，HMD1A, 1B也可以直接与接入点23A, 23B通信连接。

影像共享系统100在HMD1A与HMD1B之间直接通信，或者经由网络9间接通信，在同一虚拟空间内配置同一虚拟对象6, 7, 8，供用户A, B观看。

图2是HMD1A, 1B的硬件结构图。

因为HMD1A和HMD1B结构相同，因此以下说明中，对于HMD1A和HMD1B通用的构成要素，将附图标记的后缀按A, B进行区分。

HMD1A和HMD1B中，外侧摄像机111A, 111B、测距传感器113A, 113B、位置姿态传感器135A, 135B、地磁传感器117A, 117B、定位传感器118A, 118B、RTC（real-time clock）114A, 114B、显示器119A, 119B、麦克风121A, 121B、扬声器122A, 122B、处理器125A,125B、存储器128A, 128B、无线通信机129A, 129B和网络通信机120A, 120B，经由将各构成要素连接的总线140A, 140B彼此连接。网络通信机120A, 120B与收发网络通信信号的天线123A, 123B连接。显示器119A, 119B、扬声器122A, 122B相当于输出装置，麦克风121A,121B相当于输入装置。

位置姿态传感器135A, 135B用于测定HMD1A、HMD1B的位置和姿态。此处，姿态指的是HMD1A、HMD1B在自身所处的真实空间中的三维旋转位置。详情后述。作为位置姿态传感器135A, 135B的具体结构例，存在位置姿态摄像机136A, 136B（Position AND Posture摄像机：此后简记作“PP摄像机”）、位置姿态测距传感器137A, 137B（Position AND Posture测距传感器：此后简记作“PP测距传感器”）、加速度传感器115A, 115B、陀螺仪传感器116A,116B。PP摄像机136A, 136B可以与外侧摄像机111A, 111B为同一摄像机。另外，PP测距传感器137A, 137B可以与测距传感器113A, 113B为同一传感器。

在使用PP摄像机136A, 136B和PP测距传感器137A, 137B测定位置和姿态时，要利用外界存在的特征点。特征点要使用多个，例如可以是拍摄对象物的特征点，也可以是室内的特征点，或室外的建筑物的特征点。作为准备处理，通过测定特征点的方向和距离来测定特征点的相对位置关系。如果已知特征点在外界坐标系中的坐标值则能够省略该准备。然后，测定从HMD1A、HMD1B看来的特征点的方向和距离的变化，由此测定HMD1A、HMD1B的位置和姿态的变化。在使用立体摄像机方法测定距离的情况下，可以仅具有PP摄像机136A,136B。另外，如果已知特征点的外界坐标系的值，且已知外界坐标系与铅垂方向的关系，则使用PP摄像机136A, 136B和PP测距传感器137A, 137B测定姿态的情况下，能够掌握HMD1A、HMD1B的壳体姿态与铅垂方向的相对位置关系。

在使用加速度传感器115A, 115B和陀螺仪传感器116A, 116B测定位置和姿态时，通过加速度和角加速度的积分进行该测定。由此，求出相对于基准位置和基准姿态发生的变化。另外，通过使用加速度传感器115A, 115B测定重力加速度矢量，也能够掌握HMD1A、HMD1B的壳体姿态与铅垂方向的相对位置关系。

在测定HMD1A、HMD1B的位置和姿态时，可以参照使用PP摄像机136A, 136B和PP测距传感器137A, 137B得到的测定值和使用加速度传感器115A, 115B和陀螺仪传感器116A,116B得到的测定值这两者，也可以使用其他种类的传感器的测定值。

定位传感器118A, 118B用于测定HMD1A、HMD1B在室内、室外的位置。其中也包括比位置姿态传感器135A, 135B对终端壳体位置的测定精度更低精度的定位。例如，用于取得检索与拍摄对象物相关的库影像时作为索引的位置信息。作为其具体例，在室内例如使用信标信号、使用位置标记等。在室外，例如是使用卫星信号的GPS（Global PositioningSystem）接收机。

网络通信机120A, 120B是通过近距离无线通信、无线LAN或基站通信，来至少在HMD1A和HMD1B与接入点23A, 23B之间进行无线通信的通信接口，包括与规定的各种通信接口对应的通信处理电路，与天线123A, 123B连接。而且，网络通信机120A, 120B收发生物信息、图像数据、控制信号等。另外，近距离无线通信使用Bluetooth（注册商标）、IrDA（Infrared Data Association，注册商标）、Zigbee（注册商标）、HomeRF（Home RadioFrequency，注册商标）、或Wi-Fi（注册商标）等无线LAN进行。另外，基站通信可以使用LTE（Long-Term Evolution，注册商标）方式、LTE-Advanced方式、移动WiMAX（WorldwideInteroperability for Microwave Access，注册商标）方式、WiMAX2方式等远距离无线通信。

显示器119A, 119B设置在佩戴着HMD1A、HMD1B的用户A, B的双眼前方。处理器125A, 125B控制HMD1A、HMD1B的动作。特别是，对通过外侧摄像机111A, 111B拍摄的现实空间信息的影像和从接入点23A, 23B接收的拍摄影像进行校正并显示在显示器119A, 119B上。

处理器125A, 125B例如由CPU构成。

存储器128A, 128B由闪存、非易失性存储器构成。存储器128A, 128B存储OS（Operating System）和/或动作控制应用等程序126A, 126B、供处理器125A, 125B使用的数据127A, 127B。

处理器125A, 125B将程序126A, 126B载入存储器128A, 128B并执行，根据需要读取数据127A, 127B用于程序126A, 126B的执行处理。

图3是智能手机的硬件结构图。

与HMD的构成要素名称相同的部分具有基本相同的功能，所以在没有特别差异的情况下省略详细说明。

智能手机1C, 1D中，后置摄像机211A, 211B、前置摄像机212A, 212B、测距传感器213A, 213B、位置姿态传感器235A, 235B、地磁传感器217A, 217B、定位传感器218A,218B、RTC214A, 214B、显示器219A, 219B、麦克风221A, 221B、扬声器222A, 222B、处理器225A, 225B、存储器228A, 228B、网络通信机220A, 220B、电话网通信机231A, 231B和无线通信机229A, 229B，经由将各构成要素连接的总线240A, 240B彼此连接。网络通信机220A,220B与收发网络通信信号的天线223A, 223B连接。

位置姿态传感器235A, 235B的具体结构例与HMD的情况相同，存在PP摄像机236A,236B、PP测距传感器237A, 237B、加速度传感器215A, 215B、陀螺仪传感器216A, 216B。PP摄像机236A, 236B可以与后置摄像机211A, 211B为同一摄像机。另外，PP测距传感器237A,237B可以与测距传感器213A, 213B为同一传感器。

存储器228A, 228B存储程序226A, 226B和数据227A, 227B。

在显示器219A, 219B上，叠层有作为输入接口的触摸面板230A, 230B。

图4是服务器3的硬件结构图。

服务器3中，处理器325、存储器328和网络通信机320经由将各构成要素连接的总线340彼此连接。网络通信机320与收发网络通信信号的天线323连接。

存储器328存储程序326和数据327。

图5是影像共享程序的功能框图。

影像共享程序400包括虚拟对象显示控制部410、终端类别设定部420、个别显示对象设定部430、虚拟形象显示控制部440和通信控制部450。

个别显示对象指的是虚拟对象中被设定为个别显示对象的虚拟对象，是以从特定便携信息终端的视点观看的呈现方式显示在其他便携信息终端的显示器上的虚拟对象。特定便携信息终端是主机终端（master terminal），在其他便携信息终端即从机终端（slaveterminal）上以主机终端上的呈现方式（视觉效果）显示个别显示对象。

将虚拟对象中没有被设定为个别显示对象的称为一般显示对象。一般显示对象以从各便携信息终端自身的视点观看的呈现方式显示在该便携信息终端的显示器上。从而，在主机终端的显示器上，以从主机终端的视点观看的呈现方式显示一般显示对象，在从机终端的显示器上，以从从机终端的视点观看的呈现方式显示一般显示对象。

影像共享程序400被安装在构成影像共享系统100的各便携信息终端中。各便携信息终端的处理器将其载入该便携信息终端的存储器并执行，由此实现各部的功能。

虚拟对象显示控制部410进行虚拟对象的显示设定，例如设定虚拟空间内配置的虚拟对象的显示位置、朝向、显示颜色等。

终端类别设定部420在接收到主机终端的设定操作时将本便携信息终端设定为主机终端，并且生成对连接到影像共享系统100的其他便携信息终端通知已将本便携信息终端设定为主机终端的通知消息。另外，在从其他便携信息终端接收了其已设定为主机终端的通知消息时，将本便携信息终端设定为从机终端。

个别显示对象设定部430在接收到将虚拟对象中的至少一个设定为个别显示对象的操作时，将该虚拟对象设定为个别显示对象。另外，个别显示对象的设定操作也可以兼用作将本便携信息终端设定为主机终端的操作。该情况下，当个别显示对象设定部430接收到个别显示对象的设定操作时，对终端类别设定部420通知将本便携信息终端设定为主机终端。

或者，也可以在接收到将本机设定为主机终端的操作之后，接收从虚拟对象中设定个别显示对象的操作。

虚拟形象显示控制部440进行控制，在本便携信息终端的显示器上显示与各便携信息终端的用户对应的虚拟形象，并对其他便携信息终端发送本便携信息终端的虚拟形象的显示位置、动作、显示颜色等虚拟形象显示信息。另外，在从其他便携信息终端接收了虚拟形象显示信息时，根据该信息在本便携信息终端的显示器上显示与其他用户对应的虚拟形象。另外，后述的实施方式中说明使用虚拟形象的位置来表示视点共享状态的例子，在该情况下的虚拟形象的显示位置的控制中也由虚拟形象显示控制部440进行显示控制。另外，在使用了透视型HMD因此能够看到真实空间的其他用户的情况下，也可以不使用虚拟形象，可以将以下实施例中的虚拟形象置换为所看到的用户的形象。

通信控制部450进行与其他便携信息终端的直接通信以及经由接入点23A, 23B的网络通信的通信控制。进行用于显示虚拟空间所需的全部数据的收发，例如，进行上述设定为主机终端的通知消息数据的收发，将虚拟对象设定为个别显示对象的通知消息数据的收发等。

在图6、图7中表示本实施方式的虚拟空间的显示例。

图6是表示从通常的终端视点观看的虚拟空间的影像的图。此处，终端视点指的是虚拟空间内的这样一种位置，当便携信息终端例如HMD1A, 1B的显示处理系统在HMD1A, 1B各自的显示器119A, 119B上显示虚拟空间内的虚拟对象时，将虚拟对象以从该终端视点的位置观看的方式显示。

图7是表示在开始所选择的虚拟对象的视觉共享的时间点，从各终端视点观看的虚拟空间的影像的图。此处，视觉共享指的是对于所选择的虚拟对象进行影像控制以使各用户看到该虚拟对象的相同朝向的方法。此后，将作为视觉共享的目标的虚拟对象称为个别显示对象。另外，将并非个别显示对象的虚拟对象称为一般显示对象。

以下说明中，假设虚拟对象8被指定为个别显示对象，虚拟对象6、7没有被指定为个别显示对象而是一般显示对象来进行说明。从而，以下说明中有时记载为“个别显示对象（虚拟对象8）”。

另外，个别显示对象的视觉共享具体而言是通过使从从机终端（此处是HMD1B）观看的个别显示对象的呈现方式与从主机终端（此处是HMD1A）观看的个别显示对象的呈现方式一致来进行的。

如图7所示，在从机终端（HMD1B）中，当视觉共享开始时，与从主机终端（HMD1A）看到的呈现方式一致地切换个别显示对象的显示。

图8是表示视觉共享中的虚拟空间的状态的图。视觉共享开始后，当主机终端（HMD1A）变更了个别显示对象（虚拟对象8）的位置、姿态时，与其一致地变更从机终端（HMD1B）的个别显示对象（虚拟对象8）的显示。从而，个别显示对象即虚拟对象8的呈现方式在从机终端（HMD1B）和主机终端（HMD1A）中同步地成为相同的呈现方式。另一方面，一般显示对象即虚拟对象6、7的呈现方式以从从机终端（HMD1B）的视点观看的呈现方式显示，所以一般显示对象（虚拟对象6、7）的呈现方式在主机终端（HMD1A）和从机终端（HMD1B）中不同。

另外，即使在视觉共享中，从机终端（HMD1B）中虚拟空间的背景也是使用从从机终端（HMD1B）的视点位置观看的影像来显示在显示器119B上的。因此，显示器119B显示的是这样的影像，在使用从从机终端（HMD1B）的视点位置观看的影像构成的虚拟空间的背景上，配置了使用从主机终端（HMD1A）的视点方向观看的影像构成的个别显示对象8，并且配置了使用从从机终端（HMD1B）的视点方向观看的影像构成的一般显示对象6、7。

图9是表示视觉共享结束后的虚拟空间的状态的一例的图。结束视觉共享后，个别显示对象（虚拟对象8）恢复为一般显示对象，但此时的该一般显示对象的位置和姿态是对于主机终端（HMD1A）而言的个别显示对象（虚拟对象8）的最后的位置和姿态。此时，在从机终端（HMD1B）中，对于配置在虚拟空间中的该一般显示对象，与其他一般显示对象同样地以从从机终端（HMD1B）的终端视点观看的状态进行显示。除此以外，作为视觉共享结束时的处理，也可以采用恢复为开始视觉共享前的状态（图6的状态）的方法。

另外，主机终端（HMD1A）和从机终端（HMD1B）并非固定的，也可以适当交换角色。

<个别显示对象的显示处理例>

对于个别显示对象的显示处理例，参照图10、图11进行说明。图10是表示个别显示对象的定义坐标系的图，图11是表示虚拟对象定义坐标系相对于虚拟空间坐标系的位置和朝向的图。

首先，用于绘制各个虚拟对象的数据是用虚拟对象定义坐标系{X_T, Y_T, Z_T}描述的（图10）。

在虚拟空间中绘制该虚拟对象时，在图11所示的虚拟空间坐标系{X, Y, Z}中，决定虚拟对象原点O_T在虚拟空间内的位置（此后也称为“配置位置R_T”），和虚拟对象定义坐标系{X_T, Y_T, Z_T}在虚拟空间中的朝向（此后也称为“配置朝向”），由此能够执行绘制（图11）。“虚拟空间中的朝向”具体而言指的是虚拟对象定义坐标系{X_T, Y_T, Z_T}相对于虚拟空间坐标系{X, Y, Z}的朝向。

以下，只要没有特别说明，表达空间内的点、方向、空间内的旋转的符号采用四元数表达。另外，表达方向的四元数被归一化为大小是1。进而，表达点、方向的四元数的实部是0。四元数q的共轭四元数用q^*表示。

此处，用旋转Q_T表示虚拟对象的配置朝向，定义虚拟空间虚拟空间坐标系{X, Y,Z}，用N_X、N_Y、N_Z表示虚拟空间内的虚拟空间坐标系{X, Y, Z}的各坐标轴的方向。当设虚拟空间内的虚拟对象定义坐标系{X_T, Y_T, Z_T}的各坐标轴的方向为N_TX、N_TY、N_TZ时，这些方向如下所述地由旋转Q_T决定。

N_TX=Q_T N_X Q_T ^*……（1）

N_TY=Q_T N_Y Q_T ^*……（2）

N_TZ=Q_T N_Z Q_T ^*……（3）

这样，如果决定了配置位置R_T和配置朝向Q_T，就能够规定虚拟对象的显示位置和姿态。

以下，用配置位置与配置朝向的组[R_T, Q_T]表达虚拟对象的显示状态。另外，虚拟空间的坐标系能够在主机终端（HMD1A）与从机终端（HMD1B）之间共享，各虚拟对象的位置、姿态的信息通过主机终端（HMD1A）与从机终端（HMD1B）之间的通信或经由服务器3的通信所共享。

关于坐标系的共享方法，例如在作为公知技术的国际公开公报WO2021053805中有记载，所以此处省略详细记载。

首先用图12说明开始视觉共享前的状态。图12是在图6的状态下以从上方观看的状态表示2个终端视点与虚拟对象的位置关系的图。设视觉共享开始前的虚拟对象8的显示状态为[R_T0, Q_T0]。

图13是表示图7的视觉共享开始时的2个终端视点与虚拟对象的位置关系的图。在从机终端HMD1B中，如虚线所示，随着视觉共享开始，变更作为个别显示对象的虚拟对象8的朝向。

接着，说明虚拟对象的显示处理的详情。首先，图14是表示视觉共享开始时的主机终端中的显示基准配置的图。图15是表示视觉共享开始时的从机终端中的显示基准配置的图。

显示基准配置中的个别显示对象的位置和姿态，是图13的视觉共享开始时的各便携信息终端即主机终端（HMD1A）和从机终端（HMD1B）中的个别显示对象的配置位置和配置朝向的初始状态。

如图14所示，从主机终端（HMD1A）看到的个别显示对象位于个别显示对象的初始配置位置R_T0。同样，如图15所示，从从机终端（HMD1B）看到的个别显示对象位于个别显示对象的初始配置位置R_T0。

图14、图15中，将视觉共享开始时的主机终端（HMD1A）、从机终端（HMD1B）各自的初始位置称为各终端中的终端基准点。

在视觉共享开始时，对个别显示对象（虚拟对象8）设定水平基准方向。将从终端基准点对包含个别显示对象的初始配置位置R_T0的水平面沿铅垂方向投影得到的点定义为投影点，将从个别显示对象的初始配置位置R_T0去往投影点的方向决定为水平基准方向。

图14中将主机终端（HMD1A）的水平基准方向记作D^(M) _H0，图15中将从机终端（HMD1B）的水平基准方向记作D^(S) _H0。

接着，说明在视觉共享过程中，将主机终端（HMD1A）对个别显示对象的配置位置和配置姿态实施的变更反映到从机终端（HMD1B）所显示的个别显示对象的位置和姿态的变更上的处理。

首先，为了说明引入以下若干符号。设视觉共享中的个别显示对象（虚拟对象8）的当前配置位置为R^(#) _T、配置朝向为Q^(#) _T。上标(#)表示主从的区别，(M)表示主机，(S)表示从机。为了将被主机终端（HMD1A）变更后的配置位置R^(M) _T和配置朝向Q^(M) _T变换为从机终端（HMD1B）中使用的配置位置R^(S) _T和配置朝向Q^(S) _T，与水平基准方向的差相应地进行配置位置变化量和配置朝向的旋转。

通过进行使水平基准方向D^(M) _H0绕铅垂轴旋转至与水平基准方向D^(S) _H0重合的变换，来对配置位置R^(M) _T和配置朝向Q^(M) _T进行变换。由此，能够如同从主机终端（HMD1A）所处的方向观看那样，进行从机终端（HMD1B）中个别显示对象（虚拟对象8）的显示。将表示该变换的旋转称为MS旋转变换，当用Q^(MS) _V表示该旋转变换参数时，Q^(MS) _V可以如下书写。

Q^(MS) _V=cos(θ/2)+sin(θ/2)N_V……（4）

此处，N_V是用四元数表达的铅垂向上方向的单位向量。θ是面向铅垂向上方向时按顺时针计算的、在显示基准配置下从主机终端的水平基准方向D^(M) _H0到从机终端（HMD1B）的水平基准方向D^(S) _H0的角度。

另外，将式（4）更具体地书写可以如下表达。

Q^(MS) _V=cos(θ/2)+sin(θ/2)(N_V)_Xi+sin(θ/2)(N_V)_Yj+sin(θ/2)(N_V)_Zk……（4）’

此处，i, j, k是四元数的1以外的单位元。复数的情况下仅有i一项。

能够根据该MS旋转变换参数Q^(MS) _V，如下所述地求出应当在从机终端（HMD1B）中显示的个别显示对象（虚拟对象8）的显示状态。

R^(S) _T=R_T0+Q^(MS) _V(R^(M) _T-R_T0)Q^(MS) _V ^*……（5）

Q^(S) _T=Q^(MS) _VQ^(M) _T……（6）

根据以上所述，只要取得基准参数R_T0、D^(M) _H0和D^(S) _H0、以及进行显示时的主机终端（HMD1A）中的个别显示对象（虚拟对象8）的显示状态，从机终端（HMD1B）就能够以水平面内的朝向为与从主机终端（HMD1A）观看的状态相同的状态显示个别显示对象（虚拟对象8）。

此处，从机终端（HMD1B）应当取得的初始设定信息是主机终端（HMD1A）的终端基准点和个别显示对象（虚拟对象8）的初始配置位置信息（R_T0）。从机终端（HMD1B）掌握自身终端的终端基准点。另外，在从机终端（HMD1B）与主机终端（HMD1A）同时开始视觉共享的情况下，已掌握了R_T0，所以不需要R_T0的信息。根据主机终端（HMD1A）的终端基准点和R_T0能够求出D^(M) _H0，根据从机终端（HMD1B）的终端基准点和R_T0能够求出D^(S) _H0。由此，得到上述基准参数R_T0、D^(M) _H0和D^(S) _H0的全部信息。在显示了主机终端（HMD1A）的虚拟形象的情况下，可以使虚拟形象的头部位置为终端基准位置。另外，在终端位置从终端基准点发生了变更的情况下，在考虑了该变更的基础上，以重现以上求出的虚拟空间中的位置和姿态的方式显示虚拟对象。

关于个别显示对象（虚拟对象8）的显示状态变更，也可以将虚拟对象放大缩小。

另外，即使进入视觉共享状态，主机终端中的虚拟对象的呈现方式也保持从自身终端的视点观看的呈现方式来进行显示，所以与观看通常的一般显示对象的方式相比没有变化。

以上说明中，在从机终端上以如同从主机终端的视点观看那样显示个别显示对象，但也可以将显示模式变更为从自身终端的位置观看的呈现方式。即，成为这样的方式：对象的位置和姿态的变更权限虽然由主机终端持有，但对于从机终端中的显示，能够不应用MS旋转变换而是像一般显示对象那样地进行显示。该情况下，代替式（5）、（6）成为下式。

R^(S) _T=R^(M) _T……（7）

Q^(S) _T=Q^(M) _T……（8）

将基于主机终端视点的显示（式（5）、（6））称为MS变换显示，将基于从机终端视点的显示（式（7）、（8））称为通常显示。

另外，从其他终端的视点观看的方法也能够对主机终端以外的终端应用。根据其他终端的终端基准点和作为目标的对象的配置位置，能够求出与MS旋转变换对应的旋转变换，所以能够实现同样的显示模式变换。就图13而言，是将水平基准方向D^(M) _H0置换为要视觉共享的其他终端的水平基准方向。这在临时确认其他终端上的呈现方式等时是有用的。

在视觉共享开始时，首先决定主机终端。若某一用户在会议等场合下一直是主要说明者，则将其视作该场合下预定的主机终端。或者，也可以由希望成为主机终端的便携信息终端声明其为主机终端而成为主机终端。其他从机终端在想要与主机终端进行视觉共享的情况下，指定作为目标的一般显示对象来开始视觉共享。

虚拟对象的指定方法可以是从控制器照射光束等进行指点、用表示用户的手的虚拟对象进行指示、用视线注视、选择对每个虚拟对象分配的编号等任意方法。

图17是表示主机终端标示例的图。

如图17所示，为了标示谁的终端是主机终端，在显示了与主机终端的用户A对应的虚拟形象AVT_A和与从机终端的用户B对应的虚拟形象AVT_B的情况下，可以对与主机终端的用户对应的虚拟形象附加表示主机终端的用户的图形标示。作为图形标示例，例如可以对虚拟形象AVT_A附加主机终端标记MRK_M，或者附加包括文本标示的主机终端标示MSG_MA。

图18是表示主机终端标示的另一例的图。

主机终端可以按每个特定的虚拟对象设定。即，在虚拟空间内存在多个虚拟对象的情况下，各个虚拟对象的主机终端可以不同。图18中，虚拟对象8的主机终端是HMD1A，所以对虚拟对象8附加“主机终端是A”这样的主机终端标示MSG_MA。另外，虚拟对象8的从机终端是HMD1B。

另外，图18中，虚拟对象7的主机终端是HMD1B，所以对虚拟对象7附加“主机终端是B”这样的主机终端标示MSG_MB。另外，虚拟对象7的从机终端是HMD1A。

另外，图18中，虚拟对象6是一般显示对象。

个别显示对象的视觉共享也可以在3个以上便携信息终端之间进行。此时，一个便携信息终端是主机终端，其他便携信息终端是从机终端。

另外，也可以对从机终端临时地移交主机终端的权限，使其能够变更个别显示对象的位置、姿态。在主机终端中途成为从机终端的情况下，取得新成为主机终端的便携信息终端的终端基准点信息，计算用于进行姿态信息变换的旋转变换。

进而，其他便携信息终端也可以随后作为从机终端加入正在进行视觉共享的群组。在加入时，只要取得初始设定信息，就能够根据此后的主机终端中的个别显示对象的显示状态求出自身便携信息终端中应当显示的显示状态。该初始设定信息可以从主机终端直接接收，也可以从其他从机终端或服务器3接收。

在会议等预先决定了主机终端的情况下，仅由主机终端开始视觉共享，设定初始设定信息。在此基础上，要进行视觉共享的从机终端适当取得初始设定信息并开始视觉共享。

进而，进行视觉共享的虚拟对象可以是多个，主机终端可以按每个虚拟对象而不同。

进而，虚拟对象的显示控制可以全部由服务器3进行。该情况下，各便携信息终端对服务器3发送各便携信息终端的初始设定信息。该情况下的初始设定信息是各便携信息终端的终端基准位置、和成为主机终端时的个别显示对象的初始配置位置的信息。进而，成为主机终端的便携信息终端对服务器3发送由主机终端对个别显示对象的显示状态实施的变更的变更信息。服务器3进行各便携信息终端的个别显示对象的显示控制。

图19是表示本实施方式的影像共享系统的处理流程的流程图，表示在便携信息终端中进行个别显示对象的显示控制的方式。以下，举出如图1所示在用户A、用户B之间将3个虚拟对象中的一个指定为个别显示对象并显示的处理为例进行说明。

首先，在HMD1A和HMD1B之间开始影像共享处理、详细而言是个别显示对象的视觉共享处理时，在HMD1A和HMD1B中分别显示至少一个以上虚拟对象，进行显示基准配置的设定（S01A、S01B）。

接着，HMD1A接收将其设定为主机终端的处理。另外，本步骤中，HMD1A接收个别显示对象的指定（S02A）。伴随该处理，HMD1A对HMD1B通知自身成为了主机终端。接收该通知后，HMD1B进行从机终端设定（S02B）。

主机终端（HMD1A）对从机终端（HMD1B）发送初始设定信息（S03），从机终端（HMD1B）接收该信息（S04）。初始设定信息包括主机终端（HMD1A）的终端基准点信息。另外，初始设定信息中包括个别显示对象是虚拟对象中的哪一个的信息和表示其初始配置位置的信息。

从机终端（HMD1B）使用接收的初始设定信息中的主机终端（HMD1A）基准点信息和自身便携信息终端的终端基准点信息求取用于进行显示状态变换的MS旋转变换参数Q^(MS) _V（S05）。

接着，在HMD1B中设定显示模式（S06）。此处，显示模式中存在使用MS旋转变换的主机终端视点显示（式（5）、（6））和通常显示（式（7）、（8））。

HMD1A、HMD1B分别测定各终端的位置和姿态（S07A、S07B）。

然后，当主机终端（HMD1A）变更了个别显示对象的显示状态时，即变更了个别显示对象的位置、姿态中的任一者或两者时（S08），从HMD1A对从机终端（HMD1B）发送该变更信息（S09），从机终端（HMD1B）接收该信息（S10）。

从机终端（HMD1B）中，按照主机终端（HMD1A）的终端的位置和姿态以及个别显示对象的显示状态的变化，相应地更新个别显示对象的显示（S11）。由此，在HMD1B的显示器119B上，能够显示从HMD1A的视点观看的虚拟对象8，所以用户A和用户B能够以同一视点观看同一虚拟对象。换言之，用户A和用户B能够共享视点。

直到用户指示结束视觉共享为止（S12A：“否”，S12B：“否”），返回步骤S06A、S06B继续显示个别显示对象，如果存在结束视觉共享的指示（S12A：“是”，S12B：“是”）则进行结束处理。结束处理中，在各终端上解除终端设定，使个别显示对象的显示恢复为一般显示对象的显示，结束视觉共享（S13A、S13B）。

使个别显示对象（虚拟对象8）恢复为一般显示对象的显示的方法，可以是恢复为开始该视觉共享前的显示状态的方法，也可以恢复为视觉共享结束时的主机终端（HMD1A）中的显示状态。关于以哪一种方法恢复，可以设定为视觉共享方法的规定值，也可以在视觉共享结束时接收主机终端（HMD1A）的用户A的选择来切换。

图20A、图20B是表示本实施方式的影像共享系统的处理流程的流程图，表示在服务器中进行个别显示对象的显示控制的方式。本例中，由服务器接收变换用的信息来进行显示控制，但基本上与图19的流程相同，所以对于与图19共同的步骤沿用同一步骤编号。

接着，HMD1A接收将其设定为主机终端的处理。另外，本步骤中，HMD1A接收个别显示对象的指定。同时，主机终端（HMD1A）对服务器3和HMD1B通知自身终端成为了主机终端，服务器3和HMD1B接收该通知（S02A、S02S、S02B）。

主机终端（HMD1A）、从机终端（HMD1B）分别对服务器发送初始设定信息（S03A、S30B），服务器3接收该信息（S04）。

服务器3使用接收的初始设定信息中的主机终端（HMD1A）基准点信息和从机终端（HMD1B）的终端基准点信息求取显示状态的旋转变换参数Q^(MS) _V（S05）。

从机终端（HMD1B）设定显示模式为自身终端视点或主机终端视点并发送给服务器3（S30）。服务器3接收该显示模式设定信息（S31）。

HMD1A、HMD1B分别测定各终端的位置和姿态并发送给服务器3（S22A、S22B），服务器3接收该信息（S22S）。

然后，当主机终端（HMD1A）变更了个别显示对象的位置、姿态中的任一者或两者时（S08），从HMD1A对服务器3发送该变更信息（S09），服务器3接收该信息（S23）。服务器3根据主机终端（HMD1A）和从机终端（1B）的终端位置和姿态以及个别显示对象的位置和姿态的变化，为了各终端使用而（分别）计算个别对象的绘制信息，对主机终端（HMD1A）和从机终端（HMD1B）发送该绘制信息（S24）。

主机终端（HMD1A）和从机终端（HMD1B）使用从服务器3接收的绘制信息，更新个别显示对象的显示（S11A、S11B）。由此，在HMD1B的显示器119B上，能够显示从HMD1A的视点观看的虚拟对象8，所以用户A和用户B能够以同一视点观看同一虚拟对象。换言之，用户A和用户B能够共享视点。

直到用户指示结束视觉共享为止（S12A：“否”，S12B：“否”，S25：“否”），继续影像共享处理，如果存在结束视觉共享的指示（S12A：“是”，S12B：“是”，S25：“是”），则解除各终端的终端设定，使个别显示对象的显示恢复为一般显示对象的显示，结束视觉共享（S13A、S13B、S26）。

根据本实施方式，能够从从机终端观看从主机终端的视点看到的虚拟对象，所以即使主机终端的用户和从机终端的用户位于不同位置、朝向，也能够共享同一虚拟对象的呈现方式。由此，有望在例如作业辅助和手术辅助、学习辅助、教育辅助等中，使不同用户之间可以共享虚拟对象的呈现方式，增进理解，顺利地交流。

<变形例1>

可以使变更个别显示对象（虚拟对象8）的显示状态的权限（以下称为个别显示变更权限）并非固定于主机终端（HMD1A），而是能够在终端之间转移。在多名用户交替地使用个别显示对象（虚拟对象8）进行说明的情况下，若正在说明的用户的终端具有权限，则有望实现说明易于进行的效果。

<变形例2>

关于个别显示变更权限，也可以无需发出权限转移的指示，而是自动转移至进行了个别对象的显示状态变更的终端。当存在几乎同时要进行显示变更的终端时，使权限转移至先进行了显示变更的终端。为了避免操作冲突而发生混乱，可以在权限转移之后、该终端的操作结束后的一定时间内，使个别显示变更权限保留于该终端。

如果用“M1”表示接受了主机终端（HMD1A）的权限移交的终端，则用“S”表示其他终端，设以初始配置位置为中心点从“M1”方向去往“S”方向的旋转角为θ₁，用下式定义旋转变换参数Q^(M1S) _V。

Q^(M1S) _V=cos(θ₁/2)+sin(θ₁/2)N_V……（9）

此处，“S”是包括临时成为从机终端（HMD1B）的主机终端（HMD1A）在内地用于代表从机终端（HMD1B）的记号，要注意θ₁的值对于每个终端是不同的。通过使用该旋转变换参数Q^(M1S) _V，与基本形式同样地，能够将临时主机终端（HMD1A）中的个别显示对象（虚拟对象8）的显示状态[R^(M1) _T, Q^(M1) _T]变换为其他从机终端（HMD1B）中的显示状态。

R^(S) _T= R_T0+Q^(M1S) _V(R^(M1) _T-R_T0)Q^(M1S) _V ^*……（10）

Q^(S) _T=Q^(M1S) _VQ^(M1) _T……（11）

<变形例3>

可以将从机终端（HMD1B）中的个别显示对象（虚拟对象8）的初始配置位置R_T0变更为各个从机终端（HMD1B）专用的位置R^(S) _T0。另外，从机终端（HMD1B）中的从主机终端（HMD1A）方向观看的呈现方式也可以个别地按旋转Q^(ΔS) _T的量进行调整。图21是表示第一实施方式的变形例3的显示例的图。

R^(S) _T=R^(S) _T0+Q^(MS) _V(R^(M) _T-R_T0)Q^(MS) _V ^*……（12）

Q^(S) _T=Q^(ΔS) _TQ^(MS) _VQ^(M) _T……（13）

根据变形例3，在不具有个别显示对象（虚拟对象8）的位置、朝向的变更权限的情况下，能够临时从自己想要观看的方向观看个别显示对象（虚拟对象8）。

另外，在个别显示开始时的配置基准点是不容易观看该个别对象的位置等情况下，通过将其移动至终端用户易于观看的位置，能够提高便利性。另外，该方法对一般显示对象也可以应用。能够在不影响虚拟对象对于其他用户的呈现方式的前提下，临时从自己想要观看的方向观看该虚拟对象。此时，对于自身便携信息终端中没有实施变更的状态的个别显示对象（虚拟对象8）或一般显示对象，可以改变它们的显示方式进行显示，例如可以完全清除它们的显示，也可以淡化（半透明地）显示等。或者，也可以对自身便携信息终端中实施了变更的显示状态的虚拟对象等改变显示方式地进行显示，例如使其淡化地显示。

<变形例4>

关于注释（comment）等二维对象，其观看方向只要是易于看到注释等的朝向即可，所以仅共享内容，不需要共享对象的朝向变更。它虽然是一种个别显示对象（虚拟对象8），但不与其他便携信息终端的朝向变更操作联动，所以称为独立显示对象5。例如对于具有白板功能的对象，以易于从各终端视点观看的位置和朝向显示，在视觉共享的终端之间共享该对象上书写的内容。图22是表示第一实施方式的变形例4的显示例的图。

<第二实施方式>

第一实施方式中，使用个别显示这一方法实现了在各终端同样地观看所关注的虚拟对象。该第二实施方式中，通过使各终端从针对整个虚拟空间设定的基准显示方向观看虚拟空间的方法，即，通过使终端视点位置为相同位置，来实现视觉共享。该情况下，当显示了各用户的虚拟形象时，虚拟形象的显示会重合。针对该虚拟形象的显示方法可以考虑若干方法。图23是表示第二实施方式的显示例的图。

图23仅显示位于同一视点位置的虚拟形象中的主机虚拟形象。由此，能够在显示上没有特别不自然感地显示虚拟形象。

主机虚拟形象例如是当时讨论的中心或说明者等中心人物的虚拟形象。与主机虚拟形象对应的终端是主机终端（HMD1A）。主机终端（HMD1A）以外的从机终端（HMD1B）使用主机终端（HMD1A）的终端视点作为共享视点。

使用共享视点时，从机终端（HMD1B）看到的自身虚拟形象（手的部分等）可以是主机虚拟形象的，也可以在调整身高的基础上展示自己的虚拟形象。如果可以看到自己的身体或其替代物，则不会感到悬浮在空中，可以获得安稳感。或者，在主机虚拟形象的动作与自己的动作不同，感到不自然的情况下，也可以使虚拟形象不可见。

对于位于与从机终端（HMD1B）对应的原本位置上的从机虚拟形象，在进行视觉共享的期间可以停止显示。不过，因为视觉共享后要返回原本的场所，所以也可以在原本场所以能够了解正处于视觉共享中的形态进行显示，例如显示为半透明的淡色对象。

另外，可以将变更虚拟对象的位置、朝向的权限限定于主机终端（HMD1A）。

为了表示进入了视觉共享位置，进行视觉共享的从机虚拟形象的声音可以从视觉共享位置发出。或者，为了易于了解谁正在说话，也可以从原本的虚拟形象位置发出。

在进入视觉共享位置的情况下，为了了解位置的变化可以采用虚拟形象走到该位置的形式。或者，为了节约时间，也可以瞬间移动至视觉共享位置。

根据第二实施方式，与第一实施方式同样，能够共享主机终端的视点和从机终端的视点。进而，有望实现从机终端的用户易于掌握主机终端的视点与虚拟对象的位置关系的效果。

<变形例1>

图24是表示第二实施方式的变形例1的显示例的图。

图24中，因为各终端视点的高度并非固定的，所以在视点高度与主机终端（HMD1A）不同的从机终端（HMD1B）进行视觉共享时，若使用主机终端（HMD1A）的视点会感到不自然。因此，作经过主机终端（HMD1A）的视点位置的铅垂线，将其定义为共享视点线。然后，在从机终端（HMD1B）进行视点共享时，使用共享视点线上自身便携信息终端的终端视点高度的位置作为视觉共享时的视点。由此，不会如上所述感到不自然。

另外，在自己是进行视觉共享的从机虚拟形象时，可以使自己的虚拟形象可见，也可以使其不可见。

根据变形例1，与上述第二实施方式的效果同样，能够共享主机终端的视点和从机终端的视点。进而，有望实现从机终端的用户易于掌握主机终端的视点与虚拟对象的位置关系的效果。

<变形例2>

图25是表示第二实施方式的变形例2的显示例的图。

如图25所示，变形例2中可以替换主机虚拟形象。在最初HMD1A是主机终端，用户A针对对象进行说明时，中途HMD1B的用户B发言的情况下，HMD1B成为新的主机终端，可以在同一位置显示与HMD1B的用户B对应的主机虚拟形象。该情况下，可以在HMD1B为从机终端时的主机虚拟形象的视点位置上进行视觉共享，也可以如第一实施方式那样，在自身便携信息终端的原本位置上仅视觉共享作为目标的个别显示对象（虚拟对象8）。HMD1B在发言结束后可以留在主机虚拟形象的位置，也可以返回原本位置。

根据变形例2，与上述第二实施方式的效果同样，能够共享主机终端的视点和从机终端的视点。进而，有望实现从机终端的用户易于直观地掌握其正在共享主机终端的视点这一效果。

<变形例3>

图26是表示第二实施方式的变形例3的显示例的图。

如图26所示，变形例3中，可以在主机虚拟形象的后方并排显示进行视觉共享的从机虚拟形象。

根据变形例3，与上述第二实施方式的效果同样，能够共享主机终端的视点和从机终端的视点。进而，有望实现主机终端、从机终端的各用户易于直观地掌握谁进入了共享视点位置的效果。

<变形例4>

图27是表示第二实施方式的变形例4的显示例的图。

如图27所示，变形例4中，可以在视觉共享位置缩小显示进行视觉共享的虚拟形象。

根据变形例4，与上述第二实施方式的效果同样，能够共享主机终端的视点和从机终端的视点。进而，因为能够缩小虚拟形象的显示区域，所以易于确保虚拟对象的显示区域。

或者，对于主机虚拟形象可以使其保持原本大小或者缩小率比从机虚拟形象小，从而使其醒目。

<变形例5>

图28是表示第二实施方式的变形例5的显示例的图。

图28所示的变形例5中，可以在多个便携信息终端中使用共享的虚拟形象。使用该共享虚拟形象AVT_SH的便携信息终端能够进行视觉共享。虚拟形象的身体控制限于某个便携信息终端。因为允许从较多便携信息终端发声时存在混乱的情况，所以也可以将发声权限制于若干个终端。

为了与单独使用的虚拟形象区分，可以使共享虚拟形象AVT_SH的外观与其他单独使用虚拟形象的外观不同。

<变形例6>

图29是表示第二实施方式的变形例6的显示例的图。

图29所示的变形例6中，可以与通常人类的外观不同地增加身体自由度，例如增加手臂的数量等，由多个终端进行共同控制。

由此，能够对对象作出复杂的操作。

另外，也能够从教导的观点出发，从同一身体位置进行作业辅助。

图29中示出了手臂数量增加的情况。将虚拟形象的身体自由度分割，按每个自由度使各便携信息终端获得其控制权。

例如，将通常的身体部分用作第一自由度，将追加的下方的手臂部分用作第二自由度。另外，在用下方的手臂进行作业的情况下，存在当身体的躯干部分运动时控制第二自由度的终端用户不能如愿地进行控制的可能性，所以该情况下可以使躯干部分的运动为包含静止在内的一定速度以下等，对第一自由度的控制施加限制。

或者，下方的手臂也可以与第一自由度的动作完全分离。

进而，也可以在进行作业的部分时间中与第一自由度的动作分离。在显示方式中，第一自由度的目标身体部分（例如上方的手臂）与第二自由度的目标身体部分（例如下方的手臂）可以存在在虚拟空间中重叠的部分。

根据本实施方式，将多个便携信息终端通信连接，自己也能够以从他人的视点观看的虚拟对象的呈现方式来观看虚拟对象，所以通过接受用户选择，将虚拟对象的显示方式由从自身便携信息终端的视点位置观看的影像切换为从其他便携信息终端的视点方向观看的影像，能够与其他便携信息终端用户之间体验视觉共享。

以上对本发明的实施方式进行了说明，但实现本发明的技术的结构不限于上述实施方式，可以考虑各种变形例。例如，上述实施方式是为了易于理解地说明本发明而详细说明的，并不限定于必须具备说明的全部结构。另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，也能够在某个实施方式的结构上添加其他实施方式的结构。这些全部属于本发明的范畴。另外，文中和图中出现的数值和消息等也只是一例，即使使用不同的也不损害本发明的效果。

另外，各处理例中说明的程序可以是分别独立的程序，也可以由多个程序构成一个应用程序。另外，也可以更换进行各处理的顺序来执行程序。

上述本发明的功能等例如可以通过集成电路设计等而用硬件实现其一部分或全部。另外，也可以通过由微处理器单元、CPU等解释并执行实现各功能等的动作程序而用软件实现。另外，并不限定软件的实现范围，可以同时使用硬件和软件。另外，也可以用服务器实现各功能的一部分或全部。另外，服务器只要能够经由通信与其他构成部分协作地执行功能即可，其方式可以是任意的，例如是本地服务器、云服务器、边缘服务器、网络服务等。实现各功能的程序、表、文件等信息可以保存在存储器、硬盘、SSD（Solid State Drive）等记录装置或者IC卡、SD卡、DVD等记录介质中，也可以保存在通信网上的装置中。

另外，图中所示的控制线和信息线示出了说明上必要的部分，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都彼此连接。

上述实施方式包括以下形态。

（附记1）

一种影像共享系统，

包括第一便携信息终端和第二便携信息终端，

所述第一便携信息终端包括：

第一显示器；

与所述第二便携信息终端之间进行数据收发的第一通信机；和

对所述第一显示器和所述第一通信机进行控制的第一处理器，其中，

所述第一处理器按照所述第一便携信息终端的用户或所述第二便携信息终端的用户的选择操作来执行视觉共享控制，在所述视觉共享控制中，使由作为视觉共享目标的虚拟对象构成的个别显示对象的显示方式，由从所述第一便携信息终端的视点位置观看的影像切换为基于经由所述第一通信机接收的所述数据而得到的从所述第二便携信息终端的视点方向观看的影像，

所述第一显示器使用从所述第二便携信息终端的视点方向观看的影像，来显示所述个别显示对象。

（附记2）

一种影像共享方法，执行以下步骤：

第一步骤，便携信息终端执行视觉共享控制，使在多名用户之间被选择为视觉共享目标的虚拟对象的显示方式，由从所述便携信息终端的视点位置观看的影像切换为从其他便携信息终端的视点方向观看的影像；和

第二步骤，所述便携信息终端使用从所述其他便携信息终端的视点方向观看的影像，来显示所述虚拟对象。

附图标记说明

1A：HMD

1B：HMD

1C：智能手机

1D：智能手机

3：服务器

5：独立显示对象

6：虚拟对象

7：虚拟对象

8：虚拟对象

9：网络

23A：接入点

23B：接入点

100：影像共享系统

111A：外侧摄像机

111B：外侧摄像机

113A：测距传感器

113B：测距传感器

114A：RTC

114B：RTC

115A：加速度传感器

115B：加速度传感器

116A：陀螺仪传感器

116B：陀螺仪传感器

117A：地磁传感器

117B：地磁传感器

118A：定位传感器

118B：定位传感器

119A：显示器

119B：显示器

120A：网络通信机

120B：网络通信机

121A：麦克风

121B：麦克风

122A：扬声器

122B：扬声器

123A：天线

123B：天线

125A：处理器

125B：处理器

126A：程序

126B：程序

127A：数据

127B：数据

128A：存储器

128B：存储器

129A：无线通信机

129B：无线通信机

135A：位置姿态传感器

135B：位置姿态传感器

136A：位置姿态摄像机

136B：位置姿态摄像机

137A：位置姿态测距传感器

137B：位置姿态测距传感器

140A：总线

140B：总线

211A：后置摄像机

211B：后置摄像机

212A：前置摄像机

212B：前置摄像机

213A：测距传感器

213B：测距传感器

214A：RTC

214B：RTC

215A：加速度传感器

215B：加速度传感器

216A：陀螺仪传感器

216B：陀螺仪传感器

217A：地磁传感器

217B：地磁传感器

218A：定位传感器

218B：定位传感器

219A：显示器

219B：显示器

220A：网络通信机

220B：网络通信机

221A：麦克风

221B：麦克风

222A：扬声器

222B：扬声器

223A：天线

223B：天线

225A：处理器

225B：处理器

226A：程序

226B：程序

227A：数据

227B：数据

228A：存储器

228B：存储器

229A：无线通信机

229B：无线通信机

230A：触摸面板

230B：触摸面板

231A：电话网通信机

231B：电话网通信机

235A：位置姿态传感器

235B：位置姿态传感器

236A：位置姿态摄像机

236B：位置姿态摄像机

237A：位置姿态测距传感器

237B：位置姿态测距传感器

240A：总线

240B：总线

320：网络通信机

323：天线

325：处理器

326：程序

327：数据

328：存储器

340：总线

400：影像共享程序

410：虚拟对象显示控制部

420：终端类别设定部

430：个别显示对象设定部

440：虚拟形象显示控制部

450：通信控制部

AVT_A：虚拟形象

AVT_B：虚拟形象

AVT_SH：共享虚拟形象

MRK_M：主机终端标记

MSG_MA：主机终端标示

MSG_MB：主机终端标示

Claims

1.一种影像共享系统，其特征在于：

包括第一便携信息终端和第二便携信息终端，

所述第一便携信息终端包括：

第一显示器；

2.如权利要求1所述的影像共享系统，其特征在于：

所述第一处理器根据从所述个别显示对象看来的所述第一便携信息终端的视线方向与所述第二便携信息终端的视线方向的差，将从所述第一便携信息终端的视线位置观看的所述个别显示对象在虚拟空间内的位置和姿态变换为从所述第二便携信息终端的视线位置观看的所述个别显示对象在虚拟空间内的位置和姿态，

将从所述第一便携信息终端观看的所述个别显示对象的影像切换为从所述第二便携信息终端观看的所述个别显示对象的影像，来执行视觉共享控制。

3.如权利要求1所述的影像共享系统，其特征在于：

所述第一处理器使所述第一便携信息终端在虚拟空间内的终端视点位置重叠于所述第二便携信息终端的终端视点位置，由此将从所述第一便携信息终端观看的所述个别显示对象的影像切换为从所述第二便携信息终端观看的所述个别显示对象的影像，来执行视觉共享控制。

4.如权利要求1所述的影像共享系统，其特征在于：

所述第一处理器对于由并非视觉共享目标的虚拟对象构成的一般显示对象，执行使用从所述第一便携信息终端的视点位置观看的影像在所述第一显示器上进行显示的显示控制，

所述第一显示器同时显示使用从所述第二便携信息终端的视点方向观看的影像构成的所述个别显示对象、和使用从所述第一便携信息终端的视点位置观看的影像构成的所述一般显示对象。

5.如权利要求1所述的影像共享系统，其特征在于：

所述第一处理器执行在所述第一显示器上显示如下影像的显示控制，其中，该影像是在使用从所述第一便携信息终端的视点位置观看的影像构成的虚拟空间背景上，配置了使用从所述第二便携信息终端的视点方向观看的影像构成的所述个别显示对象而得到的。

6.如权利要求1所述的影像共享系统，其特征在于：

在虚拟空间中配置有多个虚拟对象，

对于一个所述虚拟对象，使用从所述第二便携信息终端的视线位置观看的影像在所述第一便携信息终端和所述第二便携信息终端上进行显示，

对于其他的所述虚拟对象，使用从所述第一便携信息终端的视线位置观看的影像在所述第一便携信息终端和所述第二便携信息终端上进行显示。

7.如权利要求3所述的影像共享系统，其特征在于：

所述第一处理器利用与所述第一便携信息终端的用户对应的虚拟形象表示所述第一便携信息终端的视点位置，

利用与所述第二便携信息终端的用户对应的虚拟形象表示所述第二便携信息终端的视点位置。

8.如权利要求7所述的影像共享系统，其特征在于：

所述第一处理器代替与所述第一便携信息终端的用户对应的虚拟形象和与所述第二便携信息终端的用户对应的虚拟形象，使用观看所述个别显示对象的共同虚拟形象表示所述个别显示对象的观看位置。

9.一种影像共享方法，其特征在于，执行以下步骤：