CN106954092A

CN106954092A - 一种基于云计算的虚拟现实自行车实现方法

Info

Publication number: CN106954092A
Application number: CN201710139232.9A
Authority: CN
Inventors: 陈铭松; 宋进忠; 葛子帅
Original assignee: East China Normal University
Current assignee: East China Normal University
Priority date: 2017-03-09
Filing date: 2017-03-09
Publication date: 2017-07-14

Abstract

本发明中公开了基于云计算的虚拟现实自行车实现方法，包括以下内容：a)：虚拟现实与云计算结合：利于云计算和虚拟现实结合，使得云服务器能够在满足客户端VR操作情况下做到数据传输；b)优化移动端性能和电量：通过云端渲染运行技术，实现以视频流作为体验虚拟现实的载体，解决了移动端VR的性能；c)多人在线实现：通过支持多人在线，以及全视角的观察方位，不仅可以给用户营造身临其境的感受，还可以让用户彼此感觉到对方的存在，降低孤独感；d)遥控控制：通过增加了遥控器降低实体自行车设备的束缚。本发明通过使用具有强大计算能力且廉价的云服务器作为VR渲染数据的后端，改善用户体验。

Description

一种基于云计算的虚拟现实自行车实现方法

技术领域

本发明属于计算机领，更确切地说是一种基于云计算的虚拟现实自行车实现方法。

背景技术

虚拟现实如今已经成为了一个热门的话题，其利用计算机生成一种多源信息融合的、三维动态视景和实体行为交互的模拟环境，使用户能够沉浸到该环境中，是一种可以创建和体验虚拟世界的计算机仿真技术。从20世纪50年代起至今，虚拟现实技术经历了从萌芽探索阶段到快速发展和完善的阶段。随着计算机软硬件技术的迅速发展，新一代CPU、GPU、显示技术以及传感技术的进步，为VR的发展奠定了坚实的技术基础，推动VR在各行各业的广泛应用。

计算机网络和智能设备的发展，使得万物互联已经成为了一种趋势，各式各样的互联网设备层出不穷。近年来，伴随着人们需求的提高，很多互联网设备变得越来越小，便于携带，例如我们熟悉的手机、VR眼镜和智能手表等。同时随着生产技术的发展，便手持终端设备变得非常便宜，越来越多的研发人员研究将手持终端设备与VR结合，让普通用户也可以体验VR的乐趣。

然而，渲染一个近似真实的VR场景需要消耗大量的计算资源，普通的手持终端设备如手机、VR眼镜等硬件计算能力很弱，难以完成一些对计算能力要求很高的VR场景实时渲染。此外，当前手持终端设备的电源存储能力有限，大量的数据计算会加速其电能消耗，设备将无法支持长时间的VR场景渲染过程。因此，随着VR技术的不断发展，计算能力和续航能力的限制将会是阻碍普通用户体验VR技术的一个瓶颈。所以，使用廉价的终端设备体验VR已经成为一个迫切需要解决的问题。

发明内容

云计算，由于其能够提供按使用量付费、按需扩展的使用模式而受到广泛关注。用户只需要投入很少的管理工作、和云服务提供商进行很少的交互便可以使用动态可配置的计算资源池(如计算、存储、网络等)。

本发明涉及到了虚拟现实技术和云计算技术，还有视频传输技术和漫游技术。尤其涉及到了在虚拟现实中建模，并将移动端的漫游通过数据传输传递给服务器，实现虚拟现实漫游，并生成相对应的视频流，传输给移动端，解决了移动端性能和电量等问题，实现了虚拟现实移动端化。

本发明中基于云计算的虚拟现实自行车实现方法，包括以下内容：

a)：虚拟现实与云计算结合：

利于云计算和虚拟现实结合，使得云服务器能够在满足客户端VR操作情况下做到数据传输；

b)优化移动端性能和电量：

通过云端渲染运行技术，实现以视频流作为体验虚拟现实的载体，既解决了移动端VR的性能，还可以根据电量对视频流的清晰度进行调整，以达到最优的虚拟现实体验；

c)多人在线实现：

通过支持多人在线，以及全视角的观察方位，不仅可以给用户营造身临其境的感受，还可以让用户彼此感觉到对方的存在，降低孤独感；

d)遥控控制：

通过增加了遥控器降低实体自行车设备的束缚。

虚拟现实与云计算结合的步骤：

本发明提出的虚拟现实与云计算结合的方法是以云计算提供控制虚拟现实物理模型的接口，系统运行在云服务器端，移动端是客户端，云服务器端的Unity3D专门为每个客户端建立一个独立可移动端相机，并将相机的实时画面或视频流发送给客户端，客户端发送指令，依次来控制服务器端相机的移动。移动端向虚拟现实服务器发送立体VR数据和控制数据，服务器接到命令，控制移动，并将实时渲染的结果通过独立的相机发送给移动端，以达到虚拟现实与云计算的结合。

云计算(云服务器)的作用是进行VR场景渲染，接收运动参数和头盔方向参数，发送图像视频流；移动端(用户)的主要作用是操控自行车(遥控器)并发送数据给服务器，接受视频流、解压和实时显示视频。这个过程实现了虚拟现实与云计算结合，达到了最佳的体验效果。移动端的设备运行的软件是一个视频解码器和视频播放器，并能够和服务器进行数据交换和控制服务，其性能消耗很低，对视频流图片质量的可控可以带来电量上的优化，当电量很低时，适当调整图片分辨率。

优化移动端性能和电量步骤：

在移动端实现VR虚拟现实，不得不把性能与耗电考虑进去，长期放电会降低电池的寿命，手机的性能也同样会带来耗电问题，一般情况，性能越高，耗电越高。本发明结合云端渲染运行技术，实现以视频流作为体验虚拟现实的载体，这样既解决了移动端VR的性能问题，还可以根据电量对视频流的清晰度进行调整，以达到最优的虚拟现实体验。

移动端的设备(比如Android)运行的软件是一个视频解码器和视频播放器，并能够和服务器进行数据交换和控制服务，其性能消耗很低。对视频流图片质量的可控可以带来电量上的优化，当电量很低时，适当调整图片分辨率。

多人在线实现步骤：

在传统的多人在线游戏中，每个用户的存在都体现为游戏中虚拟实体，用户通过远程控制并不能得到真实场景的体验，用户相互之间并没有立体真实的存在感，而目前很多VR产品只是为用户创建一个虚拟的3D场景，让用户突然置身于陌生、空洞的世界中，很容易让用户产生孤独的感受。本发明通过支持多人在线，以及全视角的观察方位，不仅可以给用户营造身临其境的感受，还可以让用户彼此感觉到对方的存在，降低孤独感。此外，多用户在线，还可以使得软件的互动性得到质的飞跃，吸引更多的人在VR世界中共同娱乐休闲，同时也极大地丰富了产品的应用场景。

在虚拟现实场景中，为每一个相机对象添加一个真实的物理模型，对于模型的控制来源于客户端，而在服务器端运行的场景中，它们都是独立的模型，存在物理碰撞，这是一种基于云虚拟现实的多人在线模型。

遥控控制步骤：

能够在接收装有传感设备的自行车的控制下运行，然而并不是所有人都拥有一套装备完善的自行车装置。如果发明出来的软件仅仅能够在实体自行车的配合下才能使用，那么用户群必将受到极大限制。因此我们为软件增加了遥控器设计，让我们的软件将不再被实体自行车设备所束缚。这样即使是没有实体VR自行车设备的用户也可以通过遥控器体验虚拟现实，直接使用身边的手机安装一个简易遥控器模拟器，这样便又进一步降低了使用本软件的门槛。

以模拟遥控器代替真实的自行车模型，用于软件测试等功能，开放的接口，也保证了软件的扩展性，比如手柄、手环控制等。

因此,本发明通过使用具有强大计算能力且廉价的云服务器作为VR渲染数据的后端，而便宜的便携式终端手持设备只负责将云端渲染后的结果展示给用户，这样便可以大大降低VR产品对终端设备计算能力的需求、增加电源的续航能力、延长电池的使用寿命；同时云计算庞大的计算资源也可以提高VR产品运行的流畅程度，改善用户体验。

附图说明

下面结合实施例和附图对本发明进行详细说明，其中：

图1是本发明的流程示意图。

图2是实现图1的方法的系统框图。

图3是图2中的服务器结构图。

具体实施方式

下面结合附图进一步阐述本发明的具体实施方式：

根据具体的实施案例，对本发明涉及到的相关的技术进行深入详细地说明和讲解。本发明除了以下即将提及的内容以外，其余的技术和实施条件相关方法均是本领域及其相关领域的普遍知识和公认常识。

如图1至图3所示，本发明中基于云计算的虚拟现实自行车实现方法，包括以下内容：

1.虚拟现实与云计算结合：

本发明提出的虚拟现实与云计算结合的方法是以云计算提供控制虚拟现实物理模型的接口，移动端向虚拟现实服务器发送立体VR数据和控制数据，服务器接到命令，控制移动，并将实时渲染的结果通过独立的相机发送给移动端，以达到虚拟现实与云计算的结合。

云计算(云服务器)的作用是进行VR场景渲染，接收运动参数和头盔方向参数，发送图像视频流；移动端(用户)的主要作用是操控自行车(遥控器)并发送数据给服务器，接受视频流、解压和实时显示视频。这个过程实现了虚拟现实与云计算结合，达到了最佳的体验效果。

VR中的场景渲染是一个极其消耗计算资源的过程，对渲染设备的计算能力要求很高，普通的移动设备很难满足需求，云计算由于能够提供动态可扩展的计算资源，正好可以弥补移动设备资源有限的短板。我们总结了以上经验发明了一种利于云计算和虚拟现实结合的方法，使得云服务器能够在满足客户端VR操作情况下做到数据传输。

2.优化移动端性能和电量：

3.多人在线实现：

4.遥控控制：

本发明提出了一种基于云计算的虚拟现实自行车实现方法，以下是其代码实现部分(截取重要)：

如代码1所示，这部分包括了虚拟现实与云计算结合的方法的代码：

代码1

简单了列举了三个重要的函数，它们分别是：cloud2VR、Player、IClient，这三个函数的功能如下：

cloud2VR是云服务器启动时开启的函数，它的参数如下，用于存储连接客户端的player数组，用于连接客户端的server函数，用于存储每个客户端对应的虚拟现实对象的数组gameObject，用于辨别每个独立客户端的id。当cloud2VR函数启动时，会开放一个端口监听是否有客户端连接，控制云服务器端渲染，当有客户端连接进来时，渲染场景，开始正常的虚拟现实场景。

Player是控制客户端连接的类，当有一个客户端连接进来，就会对应生成一个Player对象。该Player对象的主要功能包括：建立和保持与客户端的连接、生成一个3D相机用于或许渲染视频流并发送给客户端、PlayerController对象用于处理客户端传输过来的数据。PlayerController是一个重要的函数，虚拟现实对象的控制就依靠这个函数，必须优化此函数，满足云服务器和客户端连接的流畅性。

IClient是处理与客户端数据传输的函数，其中包括三个重要的部分：向客户端发送视频流、获取客户端发送的数据、保持和断开与客户端的连接。

如代码2所示，优化移动端性能和电量方法：

代码2

在代码2中，描述了如何改变发送视频流的清晰度，即通过改变每一帧的图片质量(默认图片大小1920*1080)。前面已经大致叙述了关于服务器和客户端的传输数据问题，从客户端处获得clear，然后与之前的图片尺寸进行对比，如果需要改变，将相机贴图的材质修改并发送给UpdateImages函数来应用。

如代码3所示，多人在线实现方法：

代码3

在代码3中，主要给出了多人在线的服务器端控制逻辑，当有客户端连接进来时，将其添加到palyer数组中，然后云服务器运行时的每一帧都去跑player数组里的客户端。因为所有的player模型都是运行在一个游戏中，而且他们本身就处于物理碰撞系统的约束之下，无需做额外的操作。对人在线的实现是比较简单的，保持客户端的连接是最重要的。多人在线的效果取决于渲染的速度和网络的带宽，如果二者出现不稳定，都会对系统的流畅性带来影响。

如代码4所示，遥控控制方法：

代码4

从代码4是遥控的部分方法，遥控来自于客户端，而遥控的对象有两个，分别是相机和场景中对应客户端的模型。对于相机来说，主要是通过手机端获得其方向传感器的值，然后控制场景中相机的方向，对于客户端模型的移动，需要对模型原来的运动状态进行累加，然后得出最终的运动状态。

本发明提出的一种基于云计算的虚拟现实自行车实现方法，结合了VR技术和云计算，构造了一个仿真城市模型，让用户可以在虚拟城市中骑行漫游，将耗费巨大计算的场景渲染工作移至云端，弥补了普通的手持终端设备计算能力弱的痛点。同时我们设计了控制器，可以控制用户在VR世界中的行为，将VR自行车从传统的自行车硬件设备中解放出来，使得我们的应用场景有了极大的扩充。我们相信VR与云计算的结合会让VR技术有着突破性的进展，会让VR产品的用户体验有着质的提高，会让VR的门槛变得跟加的低。我们相信会有越来越多的人体验VR，让VR给他们的生活增添色彩。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.基于云计算的虚拟现实自行车实现方法，其特征包括以下步骤：

a)：虚拟现实与云计算结合：

b)优化移动端性能和电量：

c)多人在线实现：

d)遥控控制：

通过增加了遥控器降低实体自行车设备的束缚。

2.根据权利要求1所述的基于云计算的虚拟现实自行车实现方法，其特征在于，

步骤a)中，系统运行在云服务器端，移动端是客户端，云服务器端的Unity3D专门为每个客户端建立一个独立可移动端相机，并将相机的实时画面或视频流发送给客户端，客户端发送指令，依次来控制服务器端相机的移动。

3.根据权利要求1所述的基于云计算的虚拟现实自行车实现方法，其特征在于，步骤b)中，移动端的设备运行的软件是一个视频解码器和视频播放器，并能够和服务器进行数据交换和控制服务，其性能消耗很低，对视频流图片质量的可控可以带来电量上的优化，当电量很低时，适当调整图片分辨率。

4.根据权利要求3所述的基于云计算的虚拟现实自行车实现方法，其特征在于，步骤b)中，通过改变发送视频流的清晰度，以改变每一帧的图片质量。

5.根据权利要求1所述的基于云计算的虚拟现实自行车实现方法，其特征在于，步骤c)中，虚拟现实场景中，为每一个相机对象添加一个真实的物理模型，对于模型的控制来源于客户端，而在服务器端运行的场景中，都是独立的模型，存在物理碰撞，实现基于云虚拟现实的多人在线模型。

6.根据权利要求5所述的基于云计算的虚拟现实自行车实现方法，其特征在于，有客户端连接进来时，将其添加到palyer数组中，然后云服务器运行时的每一帧都去跑player数组里的客户端。

7.根据权利要求1所述的基于云计算的虚拟现实自行车实现方法，其特征在于，步骤d)中，以模拟遥控器代替真实的自行车模型，用于软件测试等功能，开放的接口，也保证了软件的扩展性。

8.根据权利要求7所述的基于云计算的虚拟现实自行车实现方法，其特征在于，所述模拟遥控器为手柄、手环控制中任意一种。

9.根据权利要求7或8所述的基于云计算的虚拟现实自行车实现方法，其特征在于，遥控来自于客户端，而遥控的对象有两个，分别是相机和场景中对应客户端的模型，相机主要是通过手机端获得其方向传感器的值，然后控制场景中相机的方向，对于客户端模型的移动，需要对模型原来的运动状态进行累加，然后得出最终的运动状态。