CN106228615A - 基于增强现实的无人飞行器体验系统及其体验方法 - Google Patents

Abstract

一种基于增强现实的无人飞行器体验系统及其体验方法，基于增强现实的无人飞行器体验系统包括至少一个无人飞行器本体(1)和至少一个对应的用户终端(2)，所述无人飞行器本体(1)和用户终端(2)相互之间经由无线通信设备连接，所述无人飞行器本体(1)设有用于采集实景图像数据的拍摄设备(3)和用于测量无人飞行器本体(1)参数数据的测量模块(4)，所述用户终端(2)设有用于生成虚拟场景的虚拟场景发生器(5)和虚实结合模块(6)，所述虚实结合模块(6)基于所述图像数据和参数数据建立实景空间且所述虚实结合模块(6)将所述虚拟场景生成器(5)生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境。

Description

基于增强现实的无人飞行器体验系统及其体验方法

技术领域

本发明属于无人飞行器体验领域，特别是涉及一种基于增强现实的无人飞行器体验系统及其体验方法。

背景技术

无人飞行器的应用领域正在不断拓展，无论是行业无人机还是消费无人机都得到长足的进步，尤其是多旋翼式无人飞行器为代表的小微型无人飞行器，其各种组成部分开始模块化，产业日趋成熟。

无人机竞速比赛活动已经在世界范围内得到一定的普及，尤其是在极客群体中，采用头戴显示器、头戴眼镜、监视屏等方式来与小型无人机共享视野，然后以主视角或者第三视角方式(主视角方式较为常见)来操控无人机完成规定飞行线路的飞行，以完成时间最短者为胜。

无人机竞速活动已经成为除了无人机航拍以外的一个非常大的消费级无人机市场。但是，目前无人机竞速领域，主要依赖于设置于地面的障碍物或者事先划定的比赛线路，去引导竞速无人机穿越障碍，完成空中规定动作。有碍于地面障碍物理性质与竞速场地大小的限制等条件约束，而无人机竞速通常又是需要较大的范围和较高的飞行高度，场地越大越容易呈现出更具备想象力和更加精彩的比赛。换句话说，当前无人机竞速比赛中场地条件的物理限制，导致比赛中并不能完全发挥出竞速无人机的全部性能，竞速无人机玩家也很难体验大范围远距离高速飞行控制的竞速乐趣。

专利文献CN105704501A公开了一种基于无人机全景视频的虚拟现实直播系统，所述系统包括无人机、移动控制终端、VR直播云服务器、沉浸式可视设备，所述无人机内设置有VR处理器，并且无人机搭载有全景视频相机，所述无人机与移动控制端采用无线数据连接，所述VR直播云服务器与移动控制终端、可视设备采用互联网或者虚拟专用网方式连接，其中，所述全景视频相机包含双目或多目摄像头，用于采集现场360°全景视频，保证视场的全方位覆盖，能够提供立体三维建模所需要的全部信息；所述VR处理器作为VR图像处理中心，接收所述360°全景视频以及全景视频相机参数，确定场景内各目标的相关信息，最终生成三维全景视频，所述相关信息包括场景内各目标的空间位置、距离、大小、方位、速度；所述移动控制终端用于将从无人机的VR处理器回传的三维全景视频实时上传到VR直播云服务器；所述VR直播云服务器用于高速缓存一套或多套无人机对应的移动控制终端传输过来的三维全景视频，根据直播用户需求进行实时转播；所述沉浸式可视设备具有内部图形处理器及控制器，用于实时接收VR直播云服务器转播的三维全景视频，并快速处理视频图像还原真实的3D场景，实时展示。该专利能直接通过身体的各种动作控制无人机的飞行，并同时获取到飞机的视角。但该专利无法建立无人飞行器竞速比赛场地，该比赛场地可以根据需要在实景空间的基础上嵌入所需的虚拟场景以实现种类丰富的比赛环境，且竞速比赛不受地面场地限制，提高竞速玩家沉浸感，提高无人飞行器竞速比赛的安全性和比赛裁判的自动化判断。

专利文献CN105629470 A公开的一种头戴式显示器包括：连接模块，用于建立与目标设备的通信连接；接收模块，用于接收所述目标设备发送的显示信息；创建模块，用于根据所述目标设备的类型创建虚拟现实场景；显示模块，用于显示所述虚拟现实场景，并将所述显示信息叠加显示到所述虚拟现实场景上。该专利实现了通过显示虚拟现实场景，并将显示信息叠加显示到虚拟现实场景上，从而不仅可以提升观看视频信息时的体验，同时可以营造逼真的操作环境，但该专利只是简单叠加显示信息和虚拟场景，无法将虚拟场景嵌入到实景空间，无法建立无人飞行器竞速比赛场地，该比赛场地可以根据需要在实景空间的基础上嵌入所需的虚拟场景以实现种类丰富的比赛环境，且竞速比赛不受地面场地限制，提高竞速玩家沉浸感，提高无人飞行器竞速比赛的安全性和比赛裁判的自动化判断。

专利文献CN103699106 A公开了一种基于VR-Forces仿真平台的多无人机协同任务规划仿真系统，所述多无人机协同任务规划仿真系统由n个无人机仿真子系统、一个地面控制中心仿真子系统和一个任务规划仿真场景管理子系统组成；所述n个无人机仿真子系统、一个地面控制中心仿真子系统和一个任务规划仿真场景管理子系统各自运行在同一个局域网中的不同计算机上。该专利仿真不同的多无人机协同任务规划场景，并保证各个无人机仿真实体状态信息和仿真时间的一致性，同时以二维图像形式实时地展示出多无人机协同任务规划仿真过程的任务规划仿真场景。但该专利无法建立无人飞行器竞速比赛场地，该比赛场地可以根据需要在实景空间的基础上嵌入所需的虚拟场景以实现种类丰富的比赛环境，且竞速比赛不受地面场地限制，提高竞速玩家沉浸感，提高无人飞行器竞速比赛的安全性和比赛裁判的自动化判断。

专利文献CN105759833公开了一种沉浸式无人机驾驶飞行系统包括机载装置和地面装置，机载装置与地面装置通过无线连接；所述机载装置位于无人机上，控制无人机飞行状态及采集无人机的位置信息和周围环境的图像，并将图像和位置信息给地面装置，并接收地面装置的头部角度信息和控制指令；所述地面装置接收机载装置发送的位置信息和图像进行分析，通过地面装置的计算机增强现实技术处理，将无人机所在位置的周边环境信息、道路信息、交通信息、标示信息、地标信息模拟仿真后在叠加到真实世界画面空间中，通过虚拟现实目镜呈现给操控者。该专利借助虚拟现实与增强现实技术的优势，使无人机在飞行过程中变得更加有趣，在飞行过程中我们不仅能通过无人机得到实时的图像画面，还能通过现有的增强现实技术，让我们通过画面知道无人机自身状态、所在位置的高度、交通、位置标示、公共设施、道路环境、以及所在地图信息介绍、追踪锁定动态目标等各种功能。但该专利只是简单仿真叠加显示信息和环境场景，无法将虚拟场景嵌入到实景空间，无法建立无人飞行器竞速比赛场地，该比赛场地可以根据需要在实景空间的基础上嵌入所需的虚拟场景以实现种类丰富的比赛环境，且竞速比赛不受地面场地限制，提高竞速玩家沉浸感，提高无人飞行器竞速比赛的安全性和比赛裁判的自动化判断。

本申请注意到以上问题，别出心裁利用增强现实设备结合无人机操控系统，来解决无人机竞速范围设计和高度限制设计等问题。通过增强现实技术，可以不设物理条件的限制，设置空中虚拟障碍、规划空中虚拟比赛线路，竞速玩家等体验用户通过无人机拍摄的飞行实境和增强现实设备提供的虚拟比赛场景向结合，控制无人机进行如空中竞速等增强现实体验，极大的提升了无人机如空中竞速的体验的可玩性。

在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。

发明内容

本发明的目的是通过以下技术方案予以实现。

根据本发明的一方面，一种基于增强现实的无人飞行器体验系统包括至少一个无人飞行器本体和至少一个对应的用户终端，所述无人飞行器本体和用户终端相互之间经由无线通信设备连接，所述无人飞行器本体设有用于采集实景图像数据的拍摄设备和用于测量无人飞行器本体参数数据的测量模块，所述用户终端设有用于生成虚拟场景的虚拟场景发生器和虚实结合模块，所述虚实结合模块基于所述图像数据和参数数据建立实景空间且所述虚实结合模块将所述虚拟场景生成器生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境。

优选地，所述增强现实的无人飞行器体验环境中的虚拟场景按照几何一致性和/或运动一致性嵌入在所述实景空间中。在本文中，所述的几何一致性是指无论在虚拟环境中静止或漫游，实体对象都应与集成的图像保持透视关系一致性。也就是说，几何一致性对虚拟场景嵌入实景空间的几何位置关系进行了一致性的限定。所述运动一致性就是指当虚拟环境中的对象做出诸如平移或旋转等运动时，模型的尺寸和视角都应随时与静止图像建立的虚拟环境保持一致。

优选地，所述测量模块包括定位单元、高度计、陀螺仪、加速度计中的一个或多个，所述参数数据包括空间位置、高度、转动角度和转动角加速度中的一个或多个。

优选地，所述定位单元为GPS模块、所述高度计为气压高度计、所述陀螺仪为MEMS陀螺仪、所述加速度计为MEMS加速度计、所述拍摄设备为CCD相机、和/或所述无线通信设备由具有不同优先级的无线局域网通信设备、平流层通信网络设备和卫星网络通信设备中的一个或多个组成。

优选地，无人飞行器本体上设有将图像数据和参数数据同步的数传图传同步模块和用于处理图像数据和参数数据的第一应用处理模块，和/或所述用户终端上设有用于处理图像数据和参数数据的第二应用处理模块，所述第一应用处理模块和/或所述第二应用处理模块包括CPU、内存和存储器。

优选地，所述虚拟场景发生器包括用于生成虚拟图像模型的虚拟对象模型生成模块和用于生成所述虚拟图像模型的坐标的虚拟对象坐标生成模块。

优选地，所述用户终端设有用于呈现所述增强现实的无人飞行器体验环境的显示模块和用于控制无人飞行器本体的飞行控制模块。

优选地，所述显示模块同时向第三方显示所述增强现实的无人飞行器体验环境。更优选地，所述显示模块设有将体验环境提供给用户的用户频段和/或提供给第三方的观看频段。

优选地，所述虚拟场景发生器为设在用户终端之外的虚拟场景绘制装置，所述虚拟场景绘制装置经由无线通信设备无线连接无人飞行器本体和用户终端。

优选地，所述无人飞行器体验系统设有用于追踪在所述增强现实的无人飞行器体验环境中的无人飞行器本体的追踪装置和用于计算比赛时间的计时器。

根据本发明的另一方面，一种使用基于增强现实的无人飞行器体验系统的体验方法包括以下步骤。

第一步骤中，所述拍摄设备采集实景图像数据和测量模块测量无人飞行器本体参数数据。

第二步骤中，所述图像数据和参数数据经由无线通信设备发送到所述用户终端，所述虚拟场景发生器生成虚拟场景。

第三步骤中，所述虚实结合模块基于所述图像数据和参数数据建立实景空间且所述虚实结合模块将所述虚拟场景生成器生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境。

优选地，第三步骤中，所述增强现实的无人飞行器体验环境中的虚拟场景按照几何一致性和/或运动一致性嵌入在所述实景空间中。

因此，本基于增强现实的无人飞行器体验系统及其体验方法有如下优势：

1.如无人飞行器竞速比赛的体验系统成本大为减低，例如，比赛场景、线路更新更为简单、方便；

2.如无人飞行器竞速比赛的体验系统不受地面场地限制，由地面障碍物竞速体验发展为空中虚拟障碍物竞速体验；

3.体验用户体验无人飞行器实境和虚拟比赛场景结合，提高用户沉浸感；

4.由于是利用虚拟现实技术实现线路规划和障碍物布局，所以无人飞行器不会真的发生撞击、损毁等安全事故；

5.无人飞行器是否发生违规、脱离线路等事件的判断，依赖数据处理即可完成，更加精准，脱离了人工判断等不确定因素。

上述说明仅是本发明技术方案的概述，为了能够使得本发明的技术手段更加清楚明白，达到本领域技术人员可依照说明书的内容予以实施的程度，并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂，下面以本发明的具体实施方式进行举例说明。

附图说明

通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。

在附图中：

图1是根据本发明一个实施例的基于增强现实的无人飞行器体验系统的结构示意图；

图2是根据本发明另一个实施例的基于增强现实的无人飞行器体验系统的结构示意图；

图3是根据本发明一个实施例的使用基于增强现实的无人飞行器体验系统的体验方法的步骤示意图；

图4是根据本发明一个实施例的基于增强现实的无人飞行器体验系统的工作流程图。

以下结合附图和实施例对本发明作进一步的解释。

具体实施方式

下面将参照附图更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。

图1为本发明的一个实施例的基于增强现实的无人飞行器体验系统的结构示意图，本发明实施例将结合图1进行具体说明。

如图1所示，本发明的一个实施例提供了一种基于增强现实的无人飞行器体验系统，基于增强现实的无人飞行器体验系统包括至少一个无人飞行器本体1和至少一个对应的用户终端2，所述无人飞行器本体1和用户终端2相互之间经由无线通信设备连接，所述无人飞行器本体1设有用于采集实景图像数据的拍摄设备3和用于测量无人飞行器本体1参数数据的测量模块4，所述用户终端2设有用于生成虚拟场景的虚拟场景发生器5和虚实结合模块6，所述虚实结合模块6基于所述图像数据和参数数据建立实景空间且所述虚实结合模块6将所述虚拟场景生成器5生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境。

实施例中，无人飞行器本体1是无人飞行器的本体部分，无人飞行器简称“无人机”，英文缩写为“UAV”(unmanned aerial vehicle)，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。从技术角度定义可以分为：无人直升机、无人固定翼机、无人多旋翼飞行器、无人飞艇、无人伞翼机等。

本发明实施例中优选的无人飞行器为多旋翼无人飞行器，多旋翼无人飞行器可以是四旋翼、六旋翼及旋翼数量大于六的无人飞行器。

本发明技术方案采用的无人飞行器主要是指小、微型多旋翼无人飞行器，这种无人飞行器体积小、成本低、飞行稳定性较好，飞行成本低等。本发明使用的飞行器，典型的以四轴多旋翼飞行器为代表。因此，在一个实施例中，无人飞行器本体1可以例如是多旋翼无人飞行器本体。本发明的体验系统可以容纳多个无人飞行器及其对应的用户终端进行竞速比赛。

本发明实施例优选的是，所述测量模块4包括定位单元、高度计、陀螺仪、加速度计中的一个或多个，所述参数数据包括空间位置、高度、转动角度和转动角加速度中的一个或多个。

在一个实施例中，所述定位单元为GPS模块或北斗定位模块、所述高度计为气压高度计、所述陀螺仪为MEMS陀螺仪、所述加速度计为MEMS加速度计、所述拍摄设备为CCD相机、和/或所述无线通信设备由具有不同优先级的无线局域网通信设备、平流层通信网络设备和卫星网络通信设备中的一个或多个组成。

在一个实施例中，测量模块4采集并计算无人飞行器本体1的各种传感器数据和GPS数据，该模块的采集陀螺仪和加速度计的AD值，即3个维度的陀螺仪值和3个维度的加速度值，每个值为16位精度。AD值通过姿态解算算法得到飞行器当前的姿态，姿态使用四元数表示，然后将四元数转化为欧拉角，用于表示无人飞行器的飞行姿态，并通过无线通信模块向用户终端实时传送。其中，GPS模块通过高灵敏度GPS接收器，在捕获到有效的卫星信号时，用于确定无人飞行器当前的经纬度位置。MEMS陀螺仪通过传感器实时收集飞行器姿态信息。MEMS陀螺仪传感器测量值的实质为无人飞行器围绕三维方向，即x、y和z轴的转动角速度，当无人飞行器姿态发生变化时就会产生相应的传感器数据，因此在设计上以毫秒为周期设定触发机制，定期监听传感器事件，并辅以MEMS三轴加速度计数据，可以得到准确的无人飞行器本体1欧拉角数据。MEMS加速度计通过传感器实时收集无人机飞行器在三维方向的x、y和z轴上速度的变换。由于MEMS加速度计没有积分误差，所以在相对静止的条件下可以校正MEMS陀螺仪的误差。气压高度计通过传感器，实时收集无人飞行器垂直于地面方向的海拔高度数据。

在一个实施例中，拍摄设备3可以是摄像头或机载CCD相机，负责采集高清视频图像数据。

在一个实施例中，无线通信设备主要负责通过各类无线通信网络建立与地面智能控制端之间的通信路由，接收和发送的无人飞行器本体1飞行控制信号和各类应用层指令消息；同时将无人飞行器本体1采集的视频、音频、传感器数据以及其他应用软件信息通过无线网络发送至用户终端2。

本发明实施例中优选地是，所述无线通信设备由具有不同优先级的无线局域网通信设备、平流层通信网络设备和卫星网络通信设备中的一个或多个组成。无线局域网通信设备可以是蓝牙、ZigBee或Wi-Fi器中的一个，无线局域设备可通过2.4GHz通信频率建立短距离通信，在室内或低速移动的室外环境会优选该设备建立用户终端2和无人飞行器本体1之间的通信连接。平流层通信设备一般用充氦飞艇、气球作为安置转发站的平台，平台高度距地面17km～22km，无人飞行器在大范围野外飞行时，可以优选平流层通信建立用户终端2和无人飞行器本体1之间的通信连接。卫星通信设备利用卫星通信信道建立用户终端2和无人飞行器本体1之间的通信连接，一般是在无其他可用无线通信网络的情况下，会使用卫星通信器，作为应急通信。在一个实施例中，依据无线网络成本或无线网络接入速度，选择无线传输网络，本发明设计以下为优先级方案，Wi-Fi网络：优先级为0；平流层通信网络：优先级为1；卫星通信网络：优先级为2；优先级别0-2，所选择无线网络优先级由高到低，即如果同时存在多种无线信号，且信号强度有效时用户终端2和无人飞行器本体1之间的无线通信会首先选择Wi-Fi网络作为无线接入网络，依次类推。优选地，无线通信设备对2G、3G和4G移动网路通信设定优先级，其中，4G优先级大于3G，3G的优先级大于2G。

在一个实施例中，用户终端2可以是无人飞行器的无线电遥控设备，例如，用户终端2可包括如无人飞行器飞行控制台的飞行控制模块，用于控制无人飞行器本体1的飞行。进一步地，用户终端2也可以是用户移动设备，诸如手机、pad等个人移动终端。进一步地，用户终端2可以是头盔式操作控制器，更进一步地，用户终端2可以是VR操作控制器，该控制器可包括用于控制无人飞行器本体1的飞行控制模块。

本发明实施例中优选地是，虚拟场景生成器5产生具有空间坐标系的虚拟场景，虚拟场景生成器5可以是虚拟图形绘制系统，例如虚拟图形的三维建模系统。虚拟场景生成器5产生的虚拟场景可以是在悬浮在空中的空心圆筒，用来让无人飞行器本体1穿越；虚拟场景可以是一个高于地面若干米的物理台型障碍，让无人飞行器本体1飞越；虚拟场景生成器5也可以设计一个竖直插于地面的标杆，让无人飞行器本体1绕过等。

在一个实施例中，所述虚拟场景发生器5为设在用户终端之外的虚拟场景绘制装置，所述虚拟场景绘制装置经由无线通信设备无线连接无人飞行器本体1和用户终端2。所述虚拟场景绘制装置可以是独立的虚拟图形绘制系统。

本发明实施例中优选地是，所述增强现实的无人飞行器体验环境中的虚拟场景按照几何一致性和/或运动一致性嵌入在所述实景空间中。其中，所述的几何一致性是指无论在虚拟环境中静止或漫游，实体对象都应与集成的图像保持透视关系一致性。也就是说，几何一致性对虚拟场景嵌入实景空间的几何位置关系进行了一致性的限定。因此，几何一致性重点在于让生成的虚拟场景和实景空间建立在同一个三维坐标系下的位置对应关系。几何一致性对提高增强现实的真实感起到了相当重要的作用，不正确的几何关系会让用户对真实物体和虚拟物体之间的位置产生错觉，这在一些重要的场合可能会导致比较严重的后果。因此，虚拟场景按照几何一致性嵌入在所述实景空间中提高了体验系统的真实性和精确性。而所述运动一致性就是指当虚拟环境中的对象作出诸如平移或旋转等运动时，模型的尺寸和视角都应随时与静止图像建立的虚拟环境保持一致；本发明依据实景图像数据中携带的各类无人飞行器本体1的传感器数据，包括如无人机高度、速度、方位、俯仰、GPS等数据，保证虚拟场景结合、对准、定位时的几何一致性和运动一致性。

在一个实施例中，虚实结合模块6接收无人飞行器本体1传送的实景图像数据和实时传感器数据经过处理组织建立起实景空间，而由虚拟场景生成器5生成虚拟对象依几何一致性、运动一致性等嵌入实景空间中，形成虚实融合的增强现实无人机体验环境；这里几何一致性，是指无论在虚拟环境中静止或漫游，实体对象都应与集成的图像保持透视关系一致性；而运动一致性，就是指当虚拟环境中的对象做出诸如平移或旋转等运动时，模型的尺寸和视角都应随时与静止图像建立的虚拟环境保持一致。优选地，所述虚实结合模块6是独立的三维图像处理系统，该系统可包括用于建立三维模型的图像建模计算器和用于处理图像的图像处理器。进一步地，所述虚实结合模块6可包括用于建立实景空间的图像建模单元和用于虚拟对象依几何一致性、运动一致性等嵌入实景空间的图像处理处理器。

因此，本发明通过自由设定的不同虚拟对象模型，能够实现无穷无尽的无人飞行器竞速比赛线路设计，而不需要实际像F1比赛那样，需要建设价格昂贵的高标准跑道，只需要有足够宽阔、无遮挡的物理空间，就能轻松实现虚拟赛道布局。

图2为本发明的一个实施例的基于增强现实的无人飞行器体验系统的结构示意图，本发明实施例将结合图2进行具体说明。

如图2所示，本发明的一个实施例提供了一种基于增强现实的无人飞行器体验系统，基于增强现实的无人飞行器体验系统包括至少一个无人飞行器本体1和至少一个对应的用户终端2，所述无人飞行器本体1和用户终端2相互之间经由无线通信设备连接，所述无人飞行器本体1设有用于采集实景图像数据的拍摄设备3和用于测量无人飞行器本体1参数数据的测量模块4，所述用户终端2设有用于生成虚拟场景的虚拟场景发生器5和虚实结合模块6，所述虚实结合模块6基于所述图像数据和参数数据建立实景空间且所述虚实结合模块6将所述虚拟场景生成器5生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境。无人飞行器本体1上设有将图像数据和参数数据同步的数传图传同步模块7和用于处理图像数据和参数数据的第一应用处理模块8，和/或所述用户终端上设有用于处理图像数据和参数数据的第二应用处理模块9，所述第一应用处理模块8和/或所述第二应用处理模块9包括CPU、内存和存储器。

在一个实施例中，作为无人飞行器本体1的的核心处理模块的第一应用处理模块8包括CPU，RAM内存，操作系统和应用软件。该模块负责多任务调度，包括访问测量模块4、访问无线通信设备、存储器读写和无人机传感器数据处理等等。进一步地，第一应用处理模块8还可以将视频或图片进行高效率压缩编码处理，使得图像或视频数据便于实时在各类无线通信网络中传输，回传至用户终端2。当然，也可以通过独立的图像处理模块将视频或图片进行高效率压缩编码处理。

在一个实施例中，数传图传同步模块7负责将拍摄设备3采集到的无人飞行器本体1上的图像数据和各类传感器采集到的无人机高度、方位、俯仰、GPS等飞行数据同步，保证回传至用户终端2的图像和飞行数据时间同步。

在一个实施例中，第二应用处理模块9作为用户终端2的核心处理模块，负责多任务调度，包括访问测量模块、访问无线通信设备、存储器读写和传感器数据处理等等。进一步地，第二应用处理模块9可包括实景处理模块，其将无人飞行器回传的视频实景图像和传感器数据，进行解压、解码处理，并传送至虚实结合模块进行进一步处理。

在本发明实施例中优选地，所述第一应用处理模块8和/或所述第二应用处理模块9可以包括通用处理器、数字信号处理器、专用集成电路ASIC，现场可编程门阵列FPGA、模拟电路、数字电路、及其组合、或其他已知或以后开发的处理器。所述第一应用处理模块8和/或所述第二应用处理模块9可包括存储器，存储器可以是易失性存储器或非易失性存储器。存储器可以包括一个或多个只读存储器ROM、随机存取存储器RAM、快闪存储器、电子可擦除可编程只读存储器EEPROM或其它类型的存储器。

在本发明实施例中优选地，所述虚拟场景发生器5包括用于生成虚拟图像模型的虚拟对象模型生成模块10和用于生成所述虚拟图像模型的坐标的虚拟对象坐标生成模块11。虚拟对象模型生成模块10生成无人飞行器竞速比赛所需的虚拟障碍、虚拟线路等图像模型。虚拟对象坐标生成模块11生成无人机竞速比赛所需的虚拟对象所在位置、高度的坐标。虚拟场景生成器5结合虚拟对象模型生成模块10和虚拟对象坐标生成模块11生成的虚拟对象模型和虚拟对象坐标产生具有空间坐标系的虚拟场景。例如，虚拟场景可以是在悬浮在空中的空心圆筒、高于地面若干米的物理台型障碍、竖直插于地面的标杆等的组合。

在本发明实施例中优选地，所述用户终端2设有用于呈现所述增强现实的无人飞行器体验环境的显示模块12和用于控制无人飞行器本体的飞行控制模块13。显示模块12将系统形成的虚实融合的增强现实环境呈现给用户，该模块不限制呈现的具体实体，可以为无人机遥控器的显示界面，也可为手机控制端显示屏幕界面，还可为头盔式操作控制器的显示单元；限于当前显示模块12的呈现效果，目前还只能做到增强现实，而非能够骗过人眼的虚拟现实程度，然而这种体验对于竞速飞手来说，只要能够让其确认空中存在一个虚拟障碍，即已经达到效果。对于竞速飞行来说，飞手更愿意体验的是高速飞行中，准确给出飞行指令，并完成高难度穿越的成就感，而并非关注虚拟呈现的障碍物、场景的图像效果有多真实。所以显示效果的真实性并不影响本发明的实施。在一个实施例中，显示模块12可以包括液晶显示屏。

在一个实施例中，所述显示模块12同时向第三方显示所述增强现实的无人飞行器体验环境。更优选地，所述显示模块设有将体验环境提供给用户的用户频段和/或提供给第三方的观看频段。

在本发明实施例中优选地，所述用户终端2设有人机交互界面用于用户对无人飞行器的操作，该界面不限制操作实体，可以为实体无人机遥控器，也可为手机控制端平面操作界面，还可为头盔式操作控制器等，

在本发明实施例中优选地，所述无人飞行器体验系统设有用于追踪在所述增强现实的无人飞行器体验环境中的无人飞行器本体的追踪装置14和用于计算比赛时间的计时器15。追踪装置14用于无人飞行器本体1的空间定位跟踪和虚拟对象在真实空间中的定位，即虚拟和真实对象的匹配和排列。对无人飞行器本体1空间相对位置和视觉方位的获取采用如跟踪传感器的追踪装置14进行注册或标记，优选的实用例采用惯性导航装置进行跟踪。惯性导航装置通过惯性原理来测定无人飞行器本体1的运动加速度，通常所指的惯性装置包括陀螺仪和加速度计。但本发明不排除使用其他方式进行虚拟场景对实景的跟踪注册或标记，包括：采用红外线、超声波、电磁、光学、无线电波等进行跟踪。所述计时器15以备竞速比赛中计算各个选手飞行开始时间、抵达终点事件、飞行用时、飞行总时长等参数，能够有效辅助该竞速比赛的完成，并确保公正性。

图3为本发明的一个实施例的基于增强现实的无人飞行器体验系统的体验方法的步骤示意图，本发明实施例将结合图3进行具体说明。

如图3所示，使用基于增强现实的无人飞行器体验系统的体验方法包括以下步骤。

第一步骤S1中，所述拍摄设备3采集实景图像数据和测量模块4测量无人飞行器本体1参数数据。

第二步骤S2中，所述图像数据和参数数据经由无线通信设备发送到所述用户终端2，所述虚拟场景发生器5生成虚拟场景。

第三步骤S3中，所述虚实结合模块6基于所述图像数据和参数数据建立实景空间且所述虚实结合模块6将所述虚拟场景生成器5生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境。

下面通过介绍基于增强现实的无人飞行器体验系统的工作流程来进一步理解本发明。参见图4所示的基于增强现实的无人飞行器体验系统的工作流程图。

首先，无人飞行器本体1和用户终端2开机加电自检，无人飞行器本体1和用户终端2相互之间经由无线通信设备连接，建立用户终端2与无人飞行器本体1之间的点对点无线数传和图传链路，当通信连接成功后，所述无人飞行器本体1设有用于采集实景图像数据的拍摄设备3和用于测量无人飞行器本体1参数数据的测量模块4，拍摄设备3采集飞行器实景图像，测量模块4采集飞行器高度、方位、俯仰、GPS等参数数据，无人飞行器实景图像和飞行参数数据同步，并回传至用户终端2，用户终端2根据无人飞行器回传的实景图像和一系列飞行数据，判断无人机飞行器是否进入竞速比赛区域，在进入竞速比赛区域时，所述用户终端2设有用于生成虚拟场景的虚拟场景发生器5和虚实结合模块6，所述虚实结合模块6基于所述图像数据和参数数据建立实景空间且所述虚实结合模块6将所述虚拟场景生成器5生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境，用户根据实时变化的实景和虚拟比赛障碍物控制无人机按照虚拟线路完成竞速比赛，其中，追踪装置14记录无人飞行器的竞速飞行线路和障碍物触碰等，计时器15记录竞速时间，追踪装置14还可以通过数据校准以进一步修正无人飞行器体验环境，完成竞速比赛后，关闭所述虚拟场景生成器5和虚实结合模块6。

尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (10)

1.一种基于增强现实的无人飞行器体验系统，其包括至少一个无人飞行器本体(1)和至少一个对应的用户终端(2)，所述无人飞行器本体(1)和用户终端(2)相互之间经由无线通信设备连接，其特征在于：所述无人飞行器本体(1)设有用于采集实景图像数据的拍摄设备(3)和用于测量无人飞行器本体(1)参数数据的测量模块(4)，所述用户终端(2)设有用于生成虚拟场景的虚拟场景发生器(5)和虚实结合模块(6)，所述虚实结合模块(6)基于所述图像数据和参数数据建立实景空间且所述虚实结合模块(6)将所述虚拟场景生成器(5)生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境。

2.根据权利要求1所述的基于增强现实的无人飞行器体验系统，其特征在于：所述增强现实的无人飞行器体验环境中的虚拟场景按照几何一致性和/或运动一致性嵌入在所述实景空间中。

3.根据权利要求1所述的基于增强现实的无人飞行器体验系统，其特征在于：所述测量模块(4)包括定位单元、高度计、陀螺仪、加速度计中的一个或多个，所述参数数据包括空间位置、高度、转动角度和转动角加速度中的一个或多个。

4.根据权利要求1所述的基于增强现实的无人飞行器体验系统，其特征在于：所述虚拟场景发生器(5)包括用于生成虚拟图像模型的虚拟对象模型生成模块(10)和用于生成所述虚拟图像模型的坐标的虚拟对象坐标生成模块(11)。

5.根据权利要求1所述的基于增强现实的无人飞行器体验系统，其特征在于：所述用户终端(2)设有用于呈现所述增强现实的无人飞行器体验环境的显示模块(12)和用于控制无人飞行器本体的飞行控制模块(13)。

6.根据权利要求5所述的基于增强现实的无人飞行器体验系统，其特征在于：所述显示模块(12)同时向第三方显示所述增强现实的无人飞行器体验环境。

7.根据权利要求1所述的基于增强现实的无人飞行器体验系统，其特征在于：所述虚拟场景发生器(5)为设在用户终端之外的虚拟场景绘制装置，所述虚拟场景绘制装置经由无线通信设备无线连接无人飞行器本体(1)和用户终端(2)。

8.根据权利要求1所述的基于增强现实的无人飞行器体验系统，其特征在于：所述无人飞行器体验系统设有用于追踪在所述增强现实的无人飞行器体验环境中的无人飞行器本体的追踪装置(14)和用于计算比赛时间的计时器(15)。

9.一种使用根据权利要求1-8中任一项所述的基于增强现实的无人飞行器体验系统的体验方法，其包括以下步骤：

第一步骤(S1)中，所述拍摄设备(3)采集实景图像数据和测量模块(4)测量无人飞行器本体(1)参数数据；

第二步骤(S2)中，所述图像数据和参数数据经由无线通信设备发送到所述用户终端(2)，所述虚拟场景发生器(5)生成虚拟场景；

第三步骤(S3)中，所述虚实结合模块(6)基于所述图像数据和参数数据建立实景空间且所述虚实结合模块(6)将所述虚拟场景生成器(5)生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境。

10.根据权利要求9所述的体验方法，其特征在于：第三步骤(S3)中，所述增强现实的无人飞行器体验环境中的虚拟场景按照几何一致性和/或运动一致性嵌入在所述实景空间中。