CN116125976A - 一种无人平台集群网联管控系统及方法 - Google Patents

Abstract

本发明涉及无人设备协同技术领域，公开了一种无人平台集群网联管控系统及方法，该管控系统，包括无人平台，还包括与所述无人平台分别通信连接的通信模块、无人系统接入模块、服务器。本发明解决了现有技术存在的难以实现自主协同、功耗较高、不具备轻量化的优点等问题。

Description

一种无人平台集群网联管控系统及方法

技术领域

本发明涉及无人设备协同技术领域，具体是一种无人平台集群网联管控系统及方法。

背景技术

近年来，无人机、无人车等无人设备飞速发展，无人集群系统是国内外争相研发的重点。但是不同的无人设备之间的信息接入和管控技术还处于研发阶段，对接入的无人系统集群进行任务规划和实时指挥控制，是目前国内外都在重点攻克的课题。

目前市场上无人设备的信息接入比较单一，比如只能由远程遥控器控制无人机的飞行，虽然有视频流和多种传感信息的传输与显示，但是接入方式较为单一且不方便变更。在信息多变的环境中，例如从室外变化的环境切入室内固定不变的场景，显然需要多端协同交互。比如手机等轻便设备适合室外控制，而PC、平板等管控和显示效果较好，但不轻便的设备适合室内场景。当前多种无人设备之间联合协同也正在开发当中，例如无人机与无人车、无人艇之间的自主协同系统较为少见，大多数是单一种类的无人系统集群。除此之外，目前无人设备的机载接入模块普遍存在功耗较高且不具备轻量化的优点。

发明内容

为克服现有技术的不足，本发明提供了一种无人平台集群网联管控系统及方法，解决现有技术存在的难以实现自主协同、功耗较高、不具备轻量化的优点等问题。

本发明解决上述问题所采用的技术方案是：

一种无人平台集群网联管控系统，包括无人平台，还包括与所述无人平台分别通信连接的通信模块、无人系统接入模块、服务器。

作为一种优选的技术方案，无人信息接入模块支持的信息接入格式包括：数据报文信息、视频音频流。

作为一种优选的技术方案，所述通信模块的通信方式包括：5G、4G、低轨卫通、自组网、WIFI或UWB。

作为一种优选的技术方案，支持的数据接入接口包括：232/485串口、CAN、I2C、SPI、USB、RJ45、MIDI音频。

作为一种优选的技术方案，无人系统接入模块所采用的系统为鸿蒙系统。

一种无人平台集群网联管控方法，采用所述的一种无人平台集群网联管控系统，无人平台与云端的信息交互方式为：通过与云端建立的socket通信接收从服务器发来的通讯指令，然后将收到的指令作用于无人平台；并且，通过通信模块，将无人设备的信息发送至云端。

作为一种优选的技术方案，云端与无人系统接入模块通信依据TCP传输控制协议。

作为一种优选的技术方案，服务器与无人平台之间的信息交互方式为：指令在发送过程中，服务器作为客户端向无人平台发送信息；指令在接受过程中，无人平台作为客户端向服务器发送信息；其中，在信息交互过程中通过Socket套接字作为通信链的句柄来描述IP地址和端口。

作为一种优选的技术方案，无人系统接入模块用于管理整个无人设备的运行逻辑。

作为一种优选的技术方案，通信模块与无人平台之间的信息交互方式为：在接收过程中，接受服务器发来的指令，进行Mavlink协议解析，得到对无人平台的控制指令；在采样过程中，通信模块以设定的采样频率读取无人设备各个传感器的数据，然后通过Mavlink协议，打包传感器的数据。

本发明相比于现有技术，具有以下有益效果：

(1)本发明可打通指控中心、5G/卫通-前端无人节点、末端无人群组的“云-端-群”组织关系，为网联无人系统集群应用提供信息接入和指挥控制解决方案；

(2)本发明可以达到高计算量、低功耗等特点，针对小型无人系统还有定制的轻量级鸿蒙开发板可以使用，从而达到对多种类无人设备进行管控的效果；

(3)本发明采用异构无人平台自适应信息接入，支持多种通信模式联通，组网不掉线；

(4)本发明采用鸿蒙系统开发机载接入模块，具备轻量系统低功耗与标准系统全功能两种上机版本，按需配属；

(5)本发明采用的软件可根据特定行动任务需求定制拓展；

(6)本发明支持VR头显、PC、平板、手机，多端协同交互。

附图说明

图1为本发明所述的一种无人平台集群网联管控系统的结构示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

实施例1

如图1所示，本发明设计了一种基于OpenHarmony的无人系统集群网联信息接入与管控解决方案，面向未来无人系统5G/4G、低轨卫通大规模信息接入网联需求研制，依托鸿蒙轻量系统或标准系统的无人系统接入模块，以及云端\嵌入式软件平台，可打通指控中心、5G/卫通-前端无人节点、末端无人群组的“云-端-群”组织关系，为网联无人系统集群应用提供信息接入和指挥控制解决方案。本发明首先由人机交互模块通过有线或者无线信息传输连通远程服务器，人机交互模块支持VR头显、PC、平板、手机。多端协同交互可以达到多个设备同时登陆，并且每个登陆设备均可对无人集群进行控制。前端可视化与管控界面拥有VR头显技术，在操控无人机、无人车等无人设备时可以实现很好的控制效果。本发明在人机交互模块具有多功能性的交互界面，可以实现不同种类的需求。人机交互模块与服务器进行连接后，服务器通过通信模块与无人系统接入模块进行连接。通信模块主要由低轨卫星和5G终端组成，当前，国内低轨卫星互联网仍处于试验星技术验证阶段，本产品研制项目也定位先期预研布局阶段，目标占据未来无人系统配套设备供应链一环，并后续为物联网或更多需求的系统应用研制提供低轨卫通定制化信息接入解决服务。而5G通信技术具有高速率、低延时等特点的新一代宽带移动通信技术，可以很好的做到人机交互模块与无人系统接入模块之间的通信。而无人系统接入模块主要依托基于OpenHarmony的鸿蒙轻量系统或者标准系统。目前采用的是OpenHarmony3.0release的系统版本和海思最新研发的3861系列芯片。可以达到高计算量、低功耗等特点，针对小型无人系统还有定制的轻量级鸿蒙开发板可以使用。从而达到对多种类无人设备进行管控的效果。

为达到上述目的，本发明的技术方案为：

一种基于OpenHarmony的无人系统集群网联信息接入与管控解决方案主要由无人系统信息接入模块、低轨卫星/5G终端通信模块、人机交互模块组成。

无人信息接入模块主要由基于OpenHarmony的鸿蒙开发板和无人设备信息接入技术组成。其中OpenHarmony是部署在海思芯片上，通过OpenHarmony完成对无人设备的控制。其具体实施过程主要包括：通过与云端建立的socket通信接收从服务器发来的通讯指令，然后将收到的指令通过海思芯片作用于无人设备；同样通过通信模块，将无人设备的信息发送至云端。由此便建立的无人设备与云端的信息交互。在实施过程中，对设备开发者而言，OpenHarmony采用了组件化的设计方案，可以根据设备的资源能力和业务特征进行灵活裁剪，满足不同形态的终端设备对于操作系统的要求。对应用开发者而言，OpenHarmony统一软件架构打通了多种终端，使得应用程序的开发实现与不同终端设备的形态差异无关，降低了开发难度和成本。这能够让开发者聚焦上层业务逻辑、便捷开发应用程序。无人信息接入模块支持的信息接入格式：数据报文信息、视频音频流等。支持通信组网模式：5G/4G、低轨卫通、自组网、WIFI、UWB等。支持数据接入接口：232/485串口、CAN、I2C、SPI、USB、RJ45、MIDI音频等。

无人设备信息接入技术主要包括建立云端与部署OpenHarmony的芯片通信、部署OpenHarmony的芯片管控无人设备。其中建立云端与部署OpenHarmony的芯片通信主要通过TCP传输控制协议，建立一种面向连接的、可靠的、基于字节流的通信协议。指令在发送过程中，服务器作为Client客户端向Server服务端也就是无人设备发送信息。指令在接受过程中，无人设备作为Client客户端向Server服务端(服务器)发送信息。由此建立的服务器与无人设备之间的相互通信。在这个过程中主要通过Socket套接字作为通信链的句柄来描述IP地址和端口。通过Socket这种约定，一台计算机可以接收其他发送的数据，也可以向其他计算机发送数据。Socket()函数返回一个整型的Socket描述符，随后的连接建立、数据传输等操作都是通过该Socket实现的。

部署OpenHarmony的芯片管控无人设备主要需要针对不同无人设备的进行实施部署。其主要用于管理整个无人设备的运行逻辑包括接受指令、执行、采样以及通信。在接收过程中，接受服务器发来的指令，进行协议解析(Mavlink协议)，得到对无人设备的控制指令，从而对无人设备进行管控。在采样过程中，相应芯片以50HZ的采样频率读取无人设备各个传感器的数据，然后通过Mavlink协议，打包各传感器的数据(包括心跳包、姿态高度、定位信息等)。通信模块即通过4G/5G模块与服务器建立socket通信，将数据包发送给服务器或者接受从服务器发来的信息。

低轨卫星/5G终端通信模块实现海思芯片与服务器之间的数据传递。该模块依托低轨卫星采用无线接受与发射，从而做到对无人集群的信息传递以及收集。卫星通信技术服务范围不断拓宽，具备全覆盖、大带宽、低时延、低成本、大容量用户规模的互联网卫星布局正在不断落地，继5G通信之后，低轨互联网卫星通信将成为未来推动数字化信息时代发展的重要引擎。

人机交互模块主要是基于java语言实现的html界面，其主要分为前端交互模块和后端数据库模块。前端交互模块通过显示无人设备的设备号、地理位置信息、状态等，让用户更好的对无人设备进行控制。位置信息的显示使用了3D全球卫星地图，可实时监控无人设备的位置。交互界面还有VR模块，可以通过VR头显和手柄，对无人设备进行实时的、身临其境的控制。后端数据模块主要将服务器传输的无人设备的信息进行解析、储存然后显示至前端界面，同时也将用户下达的对无人设备的管控指令通过云服务器传输给海思芯片，从而实现对无人设备的管控。

实施例2

如图1所示，作为实施例1的进一步优化，在实施例1的基础上，本实施例还包括以下技术特征：

一种基于鸿蒙系统的无人平台集群网联信息接入与管控解决方案，包括：无人系统信息接入模块、低轨卫星/5G终端通信模块、人机交互模块。

所述无人平台集群网联信息接入与管控无人系统解决方案信息接入模块实现将无人平台状态信息、视频进行处理发送到通信模块，并接受处理控制信息。

所述无人平台集群网联信息接入与管控无人系统解决方案低轨卫星/5G终端通信模块，将数据通过低轨卫通/5G通信模块发送到人机交互系统，人机交互模块将控制信息返回。

所述无人平台集群网联信息接入与管控无人系统解决方案人机交互模块将具备管控无人平台、设备管理、任务规划、视频管理等功能。

如图1所示，本发明提供一种无人平台集群网联信息接入与管控方案，人机交互模块(VR头显、PC、平板电脑)等向服务器发送用户传输的管控信息，然后通过低轨卫星/5G终端通信模块将信息传输至无人系统接入模块，无人系统接入模块通过基于OpenHarmony的海思芯片对无人设备进行管控。同时鸿蒙系统实时收集无人系统的心跳包、定位信息、姿态高度等各种信息，连同用户管控信息的反馈通过低轨卫星/5G终端通信模块发送至服务器，然后通过VR头显、PC、平板电脑等显示给用户。在复杂环境下，可对接入的无人系统集群行动进行任务规划与实时指挥控制。还可进一步通过拓展接口满足基于三维GIS的物联网、车联网、物流、救灾、农业、工业等更多市场领域的平台设备信息接入管控应用。

基于鸿蒙系统的前端无人系统接入模块：

无人设备信息接入主要建立云端与部署OpenHarmony的芯片通信、部署OpenHarmony的芯片管控无人设备。其中建立云端与部署OpenHarmony的芯片通信主要通过TCP传输控制协议，建立一种面向连接的、可靠的、基于字节流的通信协议。指令在发送过程中，服务器作为Client客户端向Server服务端也就是无人设备发送信息。指令在接受过程中，无人设备作为Client客户端向Server服务端(服务器)发送信息。由此建立的服务器与无人设备之间的相互通信。在这个过程中主要通过Socket套接字作为通信链的句柄来描述IP地址和端口。通过Socket这种约定，一台计算机可以接收其他发送的数据，也可以向其他计算机发送数据。Socket()函数返回一个整型的Socket描述符，随后的连接建立、数据传输等操作都是通过该Socket实现。

本发明具备管控中心、设备管理、任务规划、视频管理等功能。

管控中心：

管控中心由3D全景云图和管控组件组成。3D全景云图是一幅3D全球卫星地图，可对各个无人设备的位置进行显示。该云图不仅显示面积大，而且可以显示高度信息，在面对无人机无人艇等任务执行时，也能很好的显示无人设备的位置信息以便用户操控。在面对特殊场景时，还能对针对不容任务进行实时切换。管控组件是对无人设备进行管控，例如无人车的管控组件包括前进、后退、向左转向、向右转向、打开或者关闭灯光、程序接管或者手动操控、通电断电等。针对无人机的管控组件包括向上飞行、向下飞行。

前进、后退、左旋转、右旋转、滞空、定速巡航、打开或者关闭灯光、程序接管或者手动操控、通电断电等。管控组件发送命令后，由服务器通过通信模块发送至海思芯片，然后通过信息接入技术对无人设备进行管控。本发明针对更多的无人设备种类还可以进行定制开发，以满足更多的无人系统集群功能需求。

设备管理：

设备管理分为用户管理界面和管理员管理界面，不同的管理界面可实现的功能并不相同。普通用户可以根据需求查看无人系统的实时信息，例如无人机的高度、经纬度、速度、电量等设备信息，也可以查询该无人机正在执行的任务。如果需要增加设备或者删除设备，可以向管理员进行申请，获得相应权限后可增加或者删除设备。管理员除了拥有普通用户的权限之外，还可以增加新的用户或者移除原先使用无人系统的用户。并直接对设备进行增加或者删除处理。如需增加新的无人设备，可以在向维护人员进行定制。维护人员在无人设备上部署芯片，并且连通无人设备、云服务器、人机交互界面，加入无人群组的“云-端-群”组织关系。

任务规划：

支持任务实时规划管控功能，具备航路应急规划、集群快速回收、根据三维地图高程信息规划航线、航线智能预规划、可根据试验任务规划初级航路。具备飞行中飞行航线重规划、集群无人机指令识别、控制参数解算等智能算法功能。具备在复杂、临时性的任务，数据链畅通情况下，临时接管集群及重新规划任务的能力。

视频管理：

系统可接入多路无人机视频流，对无人机视频进行管理功能。支持显示选定无人机载荷视频，支持同时显示多路无人机载荷视频，支持动态改变视频显示窗口数量，支持接入显示播放全景VR视频。

如上所述，可较好地实现本发明。

本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (10)

1.一种无人平台集群网联管控系统，其特征在于，包括无人平台，还包括与所述无人平台分别通信连接的通信模块、无人系统接入模块、服务器。

2.根据权利要求1所述的一种无人平台集群网联管控系统，其特征在于，无人信息接入模块支持的信息接入格式包括：数据报文信息、视频音频流。

3.根据权利要求2所述的一种无人平台集群网联管控系统，其特征在于，所述通信模块的通信方式包括：5G、4G、低轨卫通、自组网、WIFI或UWB。

4.根据权利要求3所述的一种无人平台集群网联管控系统，其特征在于，支持的数据接入接口包括：232/485串口、CAN、I2C、SPI、USB、RJ45、MIDI音频。

5.根据权利要求1至4任一项所述的一种无人平台集群网联管控系统，其特征在于，无人系统接入模块所采用的系统为鸿蒙系统。

6.一种无人平台集群网联管控方法，其特征在于，采用权利要求1至5任一项所述的一种无人平台集群网联管控系统，无人平台与云端的信息交互方式为：通过与云端建立的socket通信接收从服务器发来的通讯指令，然后将收到的指令作用于无人平台；并且，通过通信模块，将无人设备的信息发送至云端。

7.根据权利要求6所述的一种无人平台集群网联管控方法，其特征在于，云端与无人系统接入模块通信依据TCP传输控制协议。

8.根据权利要求7所述的一种无人平台集群网联管控方法，其特征在于，服务器与无人平台之间的信息交互方式为：指令在发送过程中，服务器作为客户端向无人平台发送信息；指令在接受过程中，无人平台作为客户端向服务器发送信息；其中，在信息交互过程中通过Socket套接字作为通信链的句柄来描述IP地址和端口。

9.根据权利要求8所述的一种无人平台集群网联管控方法，其特征在于，无人系统接入模块用于管理整个无人设备的运行逻辑。

10.根据权利要求6至9任一项所述的一种无人平台集群网联管控方法，其特征在于，通信模块与无人平台之间的信息交互方式为：在接收过程中，接受服务器发来的指令，进行Mavlink协议解析，得到对无人平台的控制指令；在采样过程中，通信模块以设定的采样频率读取无人设备各个传感器的数据，然后通过Mavlink协议，打包传感器的数据。

Images