CN111408137A - 一种基于增强现实的场景交互方法、装置、设备和介质 - Google Patents

Abstract

本发明公开了一种基于增强现实的场景交互方法、装置、设备和介质，所述方法包括根据环境图像信息进行场景匹配，确定位于同一场景中的目标用户，并建立各个目标用户的增强现实空间。根据各个目标用户的虚拟物体信息，在每个目标用户的增强现实空间生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体。当在目标用户的增强现实空间中对所述目标用户的虚拟物体进行各种操作时，在其他目标用户的增强现实空间同样对所述目标用户的虚拟物体进行相应的操作。所述方法通过同一场景下的增强现实空间进行多用户的交互，可以增加增强现实空间的真实感和沉浸感，使得用户可以在增强现实空间进行社交，提高用户体验。

Description

一种基于增强现实的场景交互方法、装置、设备和介质

技术领域

本发明涉及增强现实领域，尤其涉及一种基于增强现实的场景交互方法、装置、设备和介质。

背景技术

增强现实技术是一种将虚拟信息与真实世界巧妙融合的技术，增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。

在现有技术中，目前的增强现实技术通常在用户终端的增强现实空间中显示用户指定的虚拟物品信息，例如用户的游戏角色信息，用户只可以看到自己的虚拟物品信息，当用户之间需要进行交流时，只能通过互相查看对方终端的方式进行交流，缺乏增强现实空间的真实感和沉浸感。

发明内容

本发明提供了一种基于增强现实的场景交互方法、装置、设备和介质，可以增加增强现实空间的真实感和沉浸感，提高用户体验。

一方面，本发明提供了一种基于增强现实的场景交互方法，所述方法包括：

获取至少两个用户所在位置的环境图像信息；

对所述至少两个用户所在位置的环境图像信息进行场景匹配；

根据场景匹配的结果，确定同一场景下至少两个目标用户；

根据所述同一场景中至少两个目标用户的环境图像信息，生成每个目标用户的增强现实空间，所述增强现实空间包括每个目标用户的虚拟物体与在同一场景下的其他目标用户的虚拟物体；

获取每个目标用户的虚拟物体信息；

根据每个目标用户的虚拟物体信息和每个目标用户的环境图像信息，在每个目标用户的增强现实空间生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体；

响应于用户操作指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行相应操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中。

另一方面提供了一种基于增强现实的场景交互装置，所述装置包括：环境图像获取模块、场景匹配模块、目标用户确定模块、增强现实空间生成模块、虚拟物体信息获得模块、虚拟物体生成模块和虚拟物体操作模块；

所述环境图像获取模块用于获取至少两个用户所在位置的环境图像信息；

所述场景匹配模块用于对所述至少两个用户所在位置的环境图像信息进行场景匹配；

所述目标用户确定模块用于根据场景匹配的结果，确定同一场景下至少两个目标用户；

所述增强现实空间生成模块用于根据所述同一场景中至少两个目标用户的环境图像信息，生成每个目标用户的增强现实空间，所述增强现实空间包括每个目标用户的虚拟物体与在同一场景下的其他目标用户的虚拟物体；

所述虚拟物体信息获得模块用于获取每个目标用户的虚拟物体信息；

所述虚拟物体生成模块用于根据每个目标用户的虚拟物体信息和每个目标用户的环境图像信息，在每个目标用户的增强现实空间生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体；

所述虚拟物体操作模块用于响应于用户操作指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行相应操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中。

另一方面提供了一种设备，所述车载设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现上述所述的一种基于增强现实的场景交互方法。

另一方面提供了一种存储介质，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现上述所述的一种基于增强现实的场景交互方法。

本发明提供的一种基于增强现实的场景交互方法、装置、设备和介质，所述方法包括根据环境图像信息进行场景匹配，确定位于同一场景中的目标用户，并建立各个目标用户的增强现实空间。根据各个目标用户的虚拟物体信息，在每个目标用户的增强现实空间生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体，当在目标用户的增强现实空间中对所述目标用户的虚拟物体进行位置移动、外观更换或者姿态更换等操作时，在其他目标用户的增强现实空间同样对所述目标用户的虚拟物体进行位置移动、外观更换或者姿态更换等操作。所述方法通过同一场景下共享的增强现实空间进行多用户的交互，可以增加增强现实空间的真实感和沉浸感，使得用户可以在增强现实空间进行社交，提高用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于增强现实的场景交互方法的应用场景示意图；

图2为本发明实施例提供的一种基于增强现实的场景交互方法的流程图；

图3为本发明实施例提供的一种基于增强现实的场景交互方法中在增强现实空间中生成虚拟物体的方法流程图；

图4为本发明实施例提供的一种基于增强现实的场景交互方法中户外场景下的共享增强现实空间的界面示意图；

图5为本发明实施例提供的一种基于增强现实的场景交互方法中室内场景下的共享增强现实空间的界面示意图；

图6为本发明实施例提供的一种基于增强现实的场景交互方法中在增强现实空间中操作虚拟物体的方法流程图；

图7为本发明实施例提供的一种基于增强现实的场景交互方法中在增强现实空间中对虚拟物体进行位置移动操作的方法流程图；

图8为本发明实施例提供的一种基于增强现实的场景交互方法中在增强现实空间中对虚拟物体进行外观变化的方法流程图；

图9为本发明实施例提供的一种基于增强现实的场景交互方法中在增强现实空间中对虚拟物体进行姿态变化的方法流程图；

图10为本发明实施例提供的一种基于增强现实的场景交互方法中用户位置变化后更新增强现实空间的方法流程图；

图11为本发明实施例提供的一种基于增强现实的场景交互装置的结构示意图；

图12为本发明实施例提供的一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。而且，术语“第一”、“第二”等适用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

请参见图1，其显示了本发明实施例提供的一种基于增强现实的场景交互方法的应用场景示意图，所述应用场景包括用户终端110和服务器120，服务器120接收至少两个用户终端110发送的环境图像信息，并判断环境图像信息是否为同一场景，若确定为同一场景，则可以开启多人现实增强场景功能，建立确定为同一场景的目标用户终端110的增强现实空间。服务器120获取全部目标用户终端110的虚拟物体信息，在每个现实增强空间中生成至少一个虚拟物体。且若用户对自己的虚拟物体进行了某种操作，该操作被执行后会现实在全部增强现实空间中。

在本发明实施例中，所述用户终端110包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本申请实施例中在所述用户终端110上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、Unix、windows等。所述用户终端110包括UI(UserInterface，用户界面)层，所述用户终端110通过所述UI层对外提供增强现实空间和虚拟物体的显示，另外，基于API(Application Programming Interface，应用程序接口)将环境图像信息和虚拟物体信息等传输到服务器120。

在本发明实施例中，所述服务器120可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器120可以包括有网络通信单元、处理器和存储器等等。

请参见图2，其显示了一种基于增强现实的场景交互方法，可应用于服务器侧，所述方法包括：

S210.获取至少两个用户所在位置的环境图像信息；

S220.对所述至少两个用户所在位置的环境图像信息进行场景匹配；

S230.根据场景匹配的结果，确定同一场景下至少两个目标用户；

具体地，用户可以通过用户终端向服务器发送多人增强现实场景生成请求，基于增强现实场景生成请求，服务器获取发送请求的用户的环境图像信息，以判断这些用户是否处于同一场景中。环境图像信息为用户终端中的图像采集设备采集到的用户所在的周边环境信息，图像采集设备例如摄像头。当周边环境匹配，确定处在同一场景下的目标用户，目标用户即所在位置的场景匹配可以生成共享的多人增强现实空间的用户，目标用户的数目至少为两个。

S240.根据所述同一场景中至少两个目标用户的环境图像信息，生成每个目标用户的增强现实空间，所述增强现实空间包括每个目标用户的虚拟物体与在同一场景下的其他目标用户的虚拟物体；

具体地，由于各个用户终端存在不同，因此每个用户终端生成对应自己用户终端的增强现实空间，但是生成的增强现实空间为同一场景下可交互的增强现实空间，每个增强现实空间中都可以包括每个目标用户的虚拟物体与在同一场景下的其他目标用户的虚拟物体，即每个用户终端的增强现实空间中都可以获取其他用户终端的位置信息，各个用户终端之间进行交互，从而实现多人共享的增强现实空间。

在生成增强现实空间时，可以获取每个用户终端检测到的环境中真实物体信息，根据真实物体信息的距离、角度和位置，可以确定各个用户终端之间的相对位置，从而获取其他用户终端的位置信息。

在生成增强现实空间时，还可以获取每个用户终端的特征点信息，通过特征点信息可以追踪对应的用户终端，将每个用户终端的特征点上传并储存到服务器中，在服务器中对比同一场景下不同用户各自的特征点，虚拟物体就可以把虚拟物体在不同的用户终端上渲染到增强现实空间中相同的位置。

S250.获取每个目标用户的虚拟物体信息；

S260.根据每个目标用户的虚拟物体信息和每个目标用户的环境图像信息，在每个目标用户的增强现实空间生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体；

进一步地，请参见图3，所述根据每个目标用户的虚拟物体信息和每个目标用户的环境图像信息，在每个增强现实空间中生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体包括：

S310.根据每个目标用户的虚拟物体信息，在每个目标用户的增强现实空间中生成所述目标用户的虚拟物体；

S320.根据所述环境图像信息，确定每个目标用户的增强现实空间之间的方位关系和/或所述环境图像信息中的特征点，所述特征点为各个目标用户终端的特征点；

S330.根据所述各个增强现实空间之间的方位关系和/或所述特征点，在每个增强现实空间中生成至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体。

具体地，获取每个目标用户的虚拟物体信息，虚拟物体信息可以为用户在游戏中的游戏角色信息，虚拟物体信息中可以包括用户的游戏角色的3D模型结构数据、颜色数据和动态数据等。首先根据用户自己的游戏角色信息，在用户自己的用户终端中的增强现实空间中生成对应的游戏角色。之后，则需要在各个用户终端的增强现实空间中检测其他用户终端，当检测到其他用户终端时，可以通过与其他用户终端的交互，获取其他用户终端的游戏角色信息，对应在自己的增强现实空间中生成其他用户终端的游戏角色。当由于其他用户终端关闭共享增强现实场景的功能或者因为位置移动而消失在增强现实空间中时，该用户终端对应的游戏角色也会一起消失。

在各个用户终端的增强现实空间中检测其他用户终端时，可以基于环境图像信息，获取当前环境图像中各个用户终端之间的方位信息，对其他用户终端进行定位，方位信息可以基于检测到的包含距离和角度的平面信息、垂直面信息以及曲面信息等得到。或者获取当前环境图像中的各个用户终端的特征点，基于特征点对其他用户终端进行识别并追踪。或者基于特征点和方位信息共同对其他用户终端进行识别和追踪。

如图4所示为户外场景的较为复杂的光源下，存在A用户、B用户和C用户进行共享现实增强空间时，A用户的终端设备处的界面示意图，从A用户的终端设备中能够看到B用户和C用户的虚拟物体信息，且根据透视规则可以调整各个虚拟物体的大小和光照等，增加真实感。此时在进行特征点的追踪或者方位信息的计算时，需要排除环境图像信息中的多个光源或者阴影等的干扰。如图5所示为室内场景的较为单一的光源下，存在A用户、B用户和C用户进行共享现实增强空间时，A用户的终端设备处的界面示意图，从A用户的终端设备中能够看到B用户和C用户的虚拟物体信息，且根据透视规则可以调整各个虚拟物体的大小和光照等，增加真实感。

在基于方位信息进行识别和追踪时，例如，A用户和B用户进行了增强现实空间的共享，A用户的终端设备检测环境图像中各个物体的平面信息、垂直面信息或者曲面信息，获取各个物体与A用户的终端设备的距离和角度。B用户的终端设备检测环境图像中各个物体的平面信息、垂直面信息或者曲面信息，获取各个物体与B用户的终端设备的距离和角度。基于服务器，A用户的终端设备和B用户的终端设备进行信息交互，计算得到A用户的终端设备和B用户的终端设备之间的距离和角度，A用户的终端设备就可以在A用户的增强现实空间中得到B用户的终端设备的位置，在该位置上生成B用户的虚拟物体。

在基于特征点进行识别和追踪时，例如，A用户和B用户进行了增强现实空间的共享，A用户的终端设备在环境图像中检测到了B用户的特征点，A用户将B用户的用户终端的特征点上传到服务器中，请求B用户的虚拟物体信息，服务器将B用户的虚拟物体信息发送到A用户的用户终端中，则在A用户的增强现实空间中生成B用户的虚拟物体。基于B用户的特征点，A用户可以对B用户的用户终端进行追踪，实时调制B用户的虚拟物体在A用户的增强现实空间中的位置。当A用户检测不到B用户的特征点信息时，则对应的B用户的虚拟物体也会从A用户的增强现实空间中消失。

通过特征点的追踪或者方位信息的追踪，可以进行用户与用户之间增强现实空间的交互，实现同一场景下多个用户共享的增强现实空间。

S270.响应于用户操作指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行相应操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中。

进一步地，请参见图6，所述响应于用户操作指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行相应操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中包括：

S610.响应于位置移动指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行位置移动操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中；

S620.和/或响应于外观变化指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行外观变化操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中；

S630.和/或响应于姿态变化指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行姿态变化操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中。

具体地，用户之间可以进行交互，当某一用户对自己的虚拟物体执行某种操作时，例如变化外观、移动位置或者变化姿态，其操作的结果可以显示在其他用户的增强现实空间中。某用户对自己的虚拟物体执行操作后，该用户的用户终端将操作信息反馈到服务器。其他用户终端若在增强现实空间中检测到该用户的用户终端的特征点，则反馈特征点到服务器中，或者其他用户根据方位信息确定该用户终端位于自己的增强现实空间中是时，反馈到服务器中。服务器根据操作信息以及反馈该用户位于自己的增强现实空间中的其他用户终端，将操作信息发送到反馈该用户位于自己的增强现实空间中的其他用户终端中，在其他用户终端的增强现实空间中显示执行操作后的该用户的虚拟物体。

通过同一场景下共享的增强现实空间进行多用户的交互，用户的操作可以同步显现在其他用户的增强现实空间中，可以增加增强现实空间的真实感和沉浸感，使得用户可以在增强现实空间进行社交，提高用户体验。

进一步地，请参见图7，所述响应于位置移动指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行位置移动操作，并将操作后的虚拟物体显示在各个增强现实空间中包括：

S710.将所述待操作目标用户的增强现实空间作为目标增强现实空间；

S720.将所述其他目标用户的增强现实空间作为非目标增强现实空间；

S730.根据所述位置移动指令，获取所述目标增强现实空间中所述待操作目标用户的虚拟物体的目标位置信息；

S740.根据所述目标位置信息，对所述目标增强现实空间中所述待操作目标用户的虚拟物体进行移动；

S750.获取所述非目标增强现实空间中所述待操作目标用户的虚拟物体与其所述他目标用户的虚拟物体之间的相对位置关系；

S760.根据所述相对位置关系和所述目标位置信息，对所述非目标增强现实空间中所述待操作目标用户的虚拟物体进行移动。

具体地，在待操作目标用户对应的目标增强现实空间中，可以直接根据位置移动指令中的虚拟物体的第一目标位置信息，对待操作目标用户对应的虚拟物体进行移动。在移动之后，将待操作目标用户对应的虚拟物体移动的信息反馈到服务器中，服务器获取此时待操作目标用户对应的虚拟物体存在的非目标增强现实空间，服务器可以根据其他用户的终端设备的方位信息或者其他用户的终端设备反馈的待操作目标用户的特征点信息来获取。服务器将待操作目标用户对应的虚拟物体的移动信息经过计算后发送到其他用户的终端中，在其他用户的非目标增强现实空间中，对待操作目标用户对应的待操作目标用户的虚拟物体进行移动。待操作目标用户对应的虚拟物体的移动信息中可以包括虚拟物体的第一目标位置信息。

在非目标增强现实空间中，计算得到该非目标增强现实空间对应的虚拟物体与待操作目标用户的虚拟物体之间的相对位置关系，根据相对位置关系转换虚拟物体的第一目标位置信息，得到在非目标增强现实空间中待操作目标用户的虚拟物体的第二目标位置信息。根据第二目标位置信息，对非目标增强现实空间中的待操作目标用户的虚拟物体进行移动。

例如，A用户和B用户在同一场景下的共享增强现实空间中，A用户控制自己的虚拟物体向右移动到目标位置x，A用户的虚拟物体与B用户的虚拟物体在B用户的现实增强空间中的相对位置为Sa，服务器获取A用户的虚拟物体向右移动到目标位置x的信息和相对位置Sa，确定A用户的虚拟物体存在在B用户的现实增强空间中时，根据相对位置Sa进行转换，得到在B用户的现实增强空间中，A用户的虚拟物体向左移动到目标位置y，将目标位置y发送到B用户的终端设备中，根据目标位置y，移动B用户的现实增强空间中A用户的虚拟物体。

通过同一场景下共享的增强现实空间进行多用户的交互，让其他用户可以同步看到某个用户进行位置移动后的虚拟物体，可以增加增强现实空间的真实感和沉浸感，使得用户可以在增强现实空间进行社交，提高用户体验。

进一步地，请参见图8，所述响应于外观变化指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行外观变化操作包括：

S810.根据所述外观变化信息，获取所述待操作目标用户的虚拟物体的目标外观信息；

S820.根据所述目标外观信息，分别更新每个目标用户的增强现实空间中待操作目标用户的虚拟物体的当前外观信息。

具体地，根据外观变化信息，获取所述待操作目标用户的虚拟物体的目标外观信息后，根据目标外观信息，将目标增强现实空间中待操作目标用户的虚拟物体的外观更新为目标外观信息。向服务器反馈待操作目标用户的虚拟物体的目标外观信息。服务器获取此时待操作目标用户对应的虚拟物体存在的非目标增强现实空间，服务器可以根据其他用户的终端设备的方位信息或者其他用户的终端设备反馈的待操作目标用户的特征点信息来获取。服务器将目标外观信息发送到其他用户的终端设备中，在其他用户的非目标增强现实空间中将待操作目标用户对应的虚拟物体的外观更新为目标外观信息。

通过同一场景下共享的增强现实空间进行多用户的交互，让其他用户可以同步看到某个用户进行外观变化后的虚拟物体，可以增加增强现实空间的真实感和沉浸感，使得用户可以在增强现实空间进行社交，提高用户体验。

进一步地，请参见图9，所述响应于姿态变化指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行姿态变化操作包括：

S910.根据所述姿态变化信息，获取所述待操作目标用户的虚拟物体的目标姿态信息；

S920.根据所述目标姿态信息，分别更新每个目标用户的增强现实空间中待操作目标用户的虚拟物体的当前姿态信息。

具体地，根据姿态变化信息，获取所述待操作目标用户的虚拟物体的目标姿态信息后，根据目标姿态信息，将目标增强现实空间中待操作目标用户的虚拟物体的外观更新为目标姿态信息。向服务器反馈待操作目标用户的虚拟物体的目标姿态信息。服务器获取此时待操作目标用户对应的虚拟物体存在的非目标增强现实空间，服务器可以根据其他用户的终端设备的方位信息或者其他用户的终端设备反馈的待操作目标用户的特征点信息来获取。服务器将目标姿态信息发送到其他用户的终端设备中，在其他用户的非目标增强现实空间中将待操作目标用户对应的虚拟物体的姿态更新为目标姿态信息。

通过同一场景下共享的增强现实空间进行多用户的交互，让其他用户可以同步看到某个用户进行姿态变化后的虚拟物体，可以增加增强现实空间的真实感和沉浸感，使得用户可以在增强现实空间进行社交，提高用户体验。

进一步地，请参见图10，所述方法还包括：

S1010.若任一目标用户的所在位置发生变化，则获取所述目标用户的所在位置发生变化后的环境图像信息；

S1020.获取位置发生变化后的目标用户对应的增强现实空间中的各个虚拟物体之间的相对位置关系；

S1030.基于所述目标用户的所在位置发生变化后的环境图像信息和所述目标用户的所在位置发生变化后的相对位置关系，更新所述目标用户的增强现实空间和其他目标用户是增强现实空间。

具体地，当目标用户的所在位置发生变化时，例如A用户向右移动或者A用户向后转身，此时目标用户的所在位置发生了变化，因此需要获取目标用户的所在位置发生变化后的环境图像信息。反馈变化后的环境图像信息，服务器获取此时目标用户对应的虚拟物体存在的增强现实空间，服务器可以根据其他用户的终端设备的方位信息或者其他用户的终端设备反馈的目标用户的特征点信息来获取，根据此时目标用户对应的虚拟物体存在的增强现实空间，获取位置发生变化后的目标用户对应的增强现实空间中的各个虚拟物体之间的相对位置关系。根据所在位置发生变化后的相对位置关系，确定在其他用户的增强现实空间中的位置发生变化后的目标用户的虚拟物体的位置信息，更新其他用户的增强现实空间。根据所在位置发生变化后的相对位置关系和位置发生变化后的环境图像信息，更新该目标用户的增强现实空间。

本发明实施例提出了一种基于增强现实的场景交互方法，所述方法包括根据环境图像信息进行场景匹配，确定位于同一场景中的目标用户，并建立各个目标用户的增强现实空间。根据各个目标用户的虚拟物体信息，在每个目标用户的增强现实空间生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体，当在目标用户的增强现实空间中对所述目标用户的虚拟物体进行位置移动、外观更换或者姿态更换等操作时，在其他目标用户的增强现实空间同样对所述目标用户的虚拟物体进行位置移动、外观更换或者姿态更换等操作。所述方法通过同一场景下共享的增强现实空间进行多用户的交互，可以增加增强现实空间的真实感和沉浸感，使得用户可以在增强现实空间进行社交，提高用户体验。

本发明实施例还提供了一种基于增强现实的场景交互装置，请参见图11，所述装置包括：环境图像获取模块1110、场景匹配模块1120、目标用户确定模块1130、增强现实空间生成模块1140、虚拟物体信息获得模块1150、虚拟物体生成模块1160和虚拟物体操作模块1170；

所述环境图像获取模块1110用于获取至少两个用户所在位置的环境图像信息；

所述场景匹配模块1120用于对所述至少两个用户所在位置的环境图像信息进行场景匹配；

所述目标用户确定模块1130用于根据场景匹配的结果，确定同一场景下至少两个目标用户；

所述增强现实空间生成模块1140用于根据所述同一场景中至少两个目标用户的环境图像信息，生成每个目标用户的增强现实空间，所述增强现实空间包括每个目标用户的虚拟物体与在同一场景下的其他目标用户的虚拟物体；

所述虚拟物体信息获得模块1150用于获取每个目标用户的虚拟物体信息；

所述虚拟物体生成模块1160用于根据每个目标用户的虚拟物体信息和每个目标用户的环境图像信息，在每个目标用户的增强现实空间生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体；

所述虚拟物体操作模块970用于响应于用户操作指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行相应操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中。

上述实施例中提供的装置可执行本发明任意实施例所提供方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的一种基于增强现实的场景交互方法。

本实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令由处理器加载并执行本实施例上述的一种基于增强现实的场景交互方法。

本实施例还提供了一种设备，所述设备包括处理器和存储器，其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行本实施例上述的一种基于增强现实的场景交互方法。

所述设备可以为计算机终端、移动设备或服务器，所述设备还可以参与构成本发明实施例所提供的装置或系统。如图12所示，移动设备12(或计算机终端12或服务器12)可以包括一个或多个(图中采用1202a、1002b，……，1002n来示出)处理器1202(处理器1202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1204、以及用于通信功能的传输装置1206。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，移动设备12还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。

应当注意到的是上述一个或多个处理器1002和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到移动设备12(或计算机终端)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器1204可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器1002通过运行存储在存储器1204内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种基于自注意力网络的时序行为捕捉框生成方法。存储器1204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1204可进一步包括相对于处理器1202远程设置的存储器，这些远程存储器可以通过网络连接至移动设备12。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动设备12的通信供应商提供的无线网络。在一个实例中，传输装置1206包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1206可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与移动设备12(或计算机终端)的用户界面进行交互。

本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或中断产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本实施例中所示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比示出的更多或更少的部件，或者组合某些部件，或者具有不同的部件的布置。应当理解到，本实施例中所揭露的方法、装置等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元模块的间接耦合或通信连接。

基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本发明的范围。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于增强现实的场景交互方法，其特征在于，所述方法包括：

获取至少两个用户所在位置的环境图像信息；

对所述至少两个用户所在位置的环境图像信息进行场景匹配；

根据场景匹配的结果，确定同一场景下至少两个目标用户；

根据所述同一场景中至少两个目标用户的环境图像信息，生成每个目标用户的增强现实空间，所述增强现实空间包括每个目标用户的虚拟物体与在同一场景下的其他目标用户的虚拟物体；

获取每个目标用户的虚拟物体信息；

根据每个目标用户的虚拟物体信息和每个目标用户的环境图像信息，在每个目标用户的增强现实空间生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体；

响应于用户操作指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行相应操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中。

2.根据权利要求1所述的一种基于增强现实的场景交互方法，其特征在于，所述根据每个目标用户的虚拟物体信息和每个目标用户的环境图像信息，在每个增强现实空间中生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体包括：

根据每个目标用户的虚拟物体信息，在每个目标用户的增强现实空间中生成所述目标用户的虚拟物体；

根据所述环境图像信息，确定每个目标用户的增强现实空间之间的方位关系和/或所述环境图像信息中的特征点，所述特征点为各个目标用户终端的特征点；

根据所述各个增强现实空间之间的方位关系和/或所述特征点，在每个增强现实空间中生成至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体。

3.根据权利要求1所述的一种基于增强现实的场景交互方法，其特征在于，所述响应于用户操作指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行相应操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中包括：

响应于位置移动指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行位置移动操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中；

和/或响应于外观变化指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行外观变化操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中；

和/或响应于姿态变化指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行姿态变化操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中。

4.根据权利要求3所述的一种基于增强现实的场景交互方法，其特征在于，所述响应于位置移动指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行位置移动操作，并将操作后的虚拟物体显示在各个增强现实空间中包括：

将所述待操作目标用户的增强现实空间作为目标增强现实空间；

将所述其他目标用户的增强现实空间作为非目标增强现实空间；

根据所述位置移动指令，获取所述目标增强现实空间中所述待操作目标用户的虚拟物体的目标位置信息；

根据所述目标位置信息，对所述目标增强现实空间中所述待操作目标用户的虚拟物体进行移动；

获取所述非目标增强现实空间中所述待操作目标用户的虚拟物体与其所述他目标用户的虚拟物体之间的相对位置关系；

根据所述相对位置关系和所述目标位置信息，对所述非目标增强现实空间中所述待操作目标用户的虚拟物体进行移动。

5.根据权利要求3所述的一种基于增强现实的场景交互方法，其特征在于，所述响应于外观变化指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行外观变化操作包括：

根据所述外观变化信息，获取所述待操作目标用户的虚拟物体的目标外观信息；

根据所述目标外观信息，分别更新每个目标用户的增强现实空间中待操作目标用户的虚拟物体的当前外观信息。

6.根据权利要求3所述的一种基于增强现实的场景交互方法，其特征在于，所述响应于姿态变化指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行姿态变化操作包括：

根据所述姿态变化信息，获取所述待操作目标用户的虚拟物体的目标姿态信息；

根据所述目标姿态信息，分别更新每个目标用户的增强现实空间中待操作目标用户的虚拟物体的当前姿态信息。

7.根据权利要求1所述的一种基于增强现实的场景交互方法，其特征在于，所述方法还包括：

若任一目标用户的所在位置发生变化，则获取所述目标用户的所在位置发生变化后的环境图像信息；

获取位置发生变化后的目标用户对应的增强现实空间中的各个虚拟物体之间的相对位置关系；

基于所述目标用户的所在位置发生变化后的环境图像信息和所述目标用户的所在位置发生变化后的相对位置关系，更新所述目标用户的增强现实空间和其他目标用户是增强现实空间。

8.一种基于增强现实的场景交互装置，其特征在于，所述装置包括：环境图像获取模块、场景匹配模块、目标用户确定模块、增强现实空间生成模块、虚拟物体信息获得模块、虚拟物体生成模块和虚拟物体操作模块；

所述环境图像获取模块用于获取至少两个用户所在位置的环境图像信息；

所述场景匹配模块用于对所述至少两个用户所在位置的环境图像信息进行场景匹配；

所述目标用户确定模块用于根据场景匹配的结果，确定同一场景下至少两个目标用户；

所述增强现实空间生成模块用于根据所述同一场景中至少两个目标用户的环境图像信息，生成每个目标用户的增强现实空间，所述增强现实空间包括每个目标用户的虚拟物体与在同一场景下的其他目标用户的虚拟物体；

所述虚拟物体信息获得模块用于获取每个目标用户的虚拟物体信息；

所述虚拟物体生成模块用于根据每个目标用户的虚拟物体信息和每个目标用户的环境图像信息，在每个目标用户的增强现实空间生成所述目标用户的虚拟物体和至少一个与所述目标用户在同一场景中的其他目标用户的虚拟物体；

所述虚拟物体操作模块用于响应于用户操作指令，对每个目标用户的增强现实空间中待操作目标用户的虚拟物体执行相应操作，并将操作后的虚拟物体显示在每个目标用户的增强现实空间中。

9.一种设备，其特征在于，所述车载设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-7任一项所述的一种基于增强现实的场景交互方法。

10.一种存储介质，其特征在于，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-7任一项所述的一种基于增强现实的场景交互方法。

Images