CN116132473A - 天基物联网数据处理系统 - Google Patents
天基物联网数据处理系统 Download PDFInfo
- Publication number
- CN116132473A CN116132473A CN202211711877.2A CN202211711877A CN116132473A CN 116132473 A CN116132473 A CN 116132473A CN 202211711877 A CN202211711877 A CN 202211711877A CN 116132473 A CN116132473 A CN 116132473A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- space
- network element
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
- H04L12/1403—Architecture for metering, charging or billing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
- H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
- H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请公开了一种天基物联网数据处理系统。其中,该系统包括:数据采集平台,数据应用平台,数据管理平台,其中,数据采集平台,包括数据库和数据处理模块,其中,数据处理模块用于通过天基互联网获取各个地面感知节点提供的原始传输数据,并对原始传输数据进行处理,得到目标数据,并将目标数据存储到数据库中数据应用平台,用于依据业务分析需求信息从数据库中获取并处理目标数据,以及依据目标数据生成预设报表;数据管理平台,用于管理为目标用户开通的系统账号。本申请解决了由于相关技术中无法汇总分析各个感知节点所采集到的数据造成的无法高效分析利用数据的技术问题。
Description
技术领域
本申请涉及数据处理领域,具体而言,涉及一种天基物联网数据处理系统。
背景技术
目前相关技术中无法汇总分析地面物联网中各个感知节点所采集到的数据,导致无法高效分析利用地面物联网中采集的数据。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种天基物联网数据处理系统,以至少解决由于相关技术中无法汇总分析各个感知节点所采集到的数据造成的无法高效分析利用数据的技术问题。
根据本申请实施例的一个方面,提供了一种天基物联网数据处理系统,包括数据采集平台,数据应用平台,数据管理平台,其中,数据采集平台,包括数据库和数据处理模块,其中,数据处理模块用于通过天基互联网获取各个地面感知节点提供的原始传输数据,并对原始传输数据进行处理,得到目标数据,并将目标数据存储到数据库中数据应用平台,用于依据业务分析需求信息从数据库中获取并处理目标数据,以及依据目标数据生成预设报表;数据管理平台,用于管理为目标用户开通的系统账号。
可选地,天基物联网数据处理系统由云端分布式主机代理,天基物联网数据处理系统还用于存储目标用户上传至天基物联网数据处理系统中的云数据,以及对目标用户存储在天基物联网数据处理系统中的云数据进行数据完整性校验。
可选地,天基物联网数据处理系统存储目标用户上传至天基物联网数据处理系统中的云数据的步骤包括:生成公钥和私钥;接收目标用户通过终端设备发送的数据上传请求;对数据上传请求进行验证,在验证通过的情况下与终端设备建立连接关系;接收目标用户通过终端设备上传的待存储文件,并在接收到待存储文件后,对待存储文件进行分块处理,得到多个待存储文件块;为多个待存储文件块中的每个待存储文件块生成标签信息,得到云数据,其中,云数据中包括多个待存储文件块,以及每个待存储文件块对应的标签信息。
可选地,为多个待存储文件块中的每个待存储文件块生成标签信息的步骤包括:对每个存储文件块再次分段,得到多个存储文件段确定多个存储文件段中的每个存储文件段的编号;依据编号和时间调用标签算法为每个存储文件段生成标签信息。
可选地,对目标用户存储在天基物联网数据处理系统中的云数据进行数据完整性校验的步骤包括:接收目标用户发送的数据完整性验证请求;依据数据完整性验证请求,在存储节点确定待验证的云数据;依据云数据对应的标签信息对云数据进行完整性验证。
可选地,数据管理平台中还包括计费管理单元,其中,计费管理单元,用于在预设时间段内按照预设时间间隔确定多个数据采集时间点,并在每个数据采集时间点采集流量数据;确定每个数据采集时间点对应的流量数据的数据大小,并依据数据大小删除预设数量个数据采集时间点对应的流量数据;依据剩余的数据采集时间点对应的流量数据进行计费。
可选地,数据管理平台中还包括网元检测单元,其中,网元监测单元用于:采集原始网元资源数据和原始网元性能数据;对原始网元资源数据和原始网元性能数据进行数据清洗,得到目标网元资源数据和目标网元性能数据;对目标网元资源数据和目标网元性能数据进行关联分析,得到网元的性能指标,其中,性能指标包括文件缺失率和网元缺失率。
可选地,数据处理模块对原始传输数据进行处理,得到目标数据包括:对原始传输数据进行数据抽取,数据转换,数据清洗和数据加载,得到目标数据。
可选地,业务分析需求信息所指示的业务分析需求类型包括以下至少之一:客户分析,量收分析,套餐分析;预设报表的报表类型包括以下至少之一:业务套餐销售报表,计费财务报表。
可选地,目标数据中携带有流程标识信息,其中,流程标识信息用于确定得到目标数据时对原始传输数据执行的数据处理方式,以及数据应用平台在应用目标数据时的具体应用方式。
在本申请实施例中,提供了一种天基物联网数据处理系统,包括数据采集平台,数据应用平台,数据管理平台,其中,数据采集平台,包括数据库和数据处理模块,其中,数据处理模块用于通过天基互联网获取各个地面感知节点提供的原始传输数据,并对原始传输数据进行处理,得到目标数据,并将目标数据存储到数据库中数据应用平台,用于依据业务分析需求信息从数据库中获取并处理目标数据,以及依据目标数据生成预设报表;数据管理平台,用于管理为目标用户开通的系统账号,通过天基互联网获取各个地面感知节点提供的原始传输数据,并对原始传输数据进行处理,达到了汇总分析各个地面感知节点提供的数据的目的,从而实现了高效分析各个感知节点所提供的数据的技术效果,进而解决了由于相关技术中无法汇总分析各个感知节点所采集到的数据造成的无法高效分析利用数据技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种计算机终端的结构示意图;
图2是根据本申请实施例的一种天基物联网数据处理系统的结构示意图;
图3是根据本申请实施例提供的一种文件完整性验证流程的流程示意图;
图4是根据本申请实施例提供的一种客户业务开通流程的流程示意图;
图5是根据本申请实施例提供的一种计费管理流程的流程示意图。
图6是根据本申请实施例提供的一种网元质量评估流程的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
无法汇总分析地面物联网中各个感知节点所采集到的数据,导致无法高效分析利用地面物联网中采集的数据。为了解决该问题,本申请实施例中提供了相关的解决方案,以下详细说明。
根据本申请实施例,提供了一种天基物联网数据处理系统的系统实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于承载天基物联网数据处理系统的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的天基物联网数据处理系统中的各项功能对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的天基物联网数据处理系统中的各项功能。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
需要说明的是,本申请实施例中的天基物联网数据处理系统中可以包含多个上述计算机终端,并且每个计算机终端可以用于实现天基物联网数据处理系统中不同模块的功能。
在上述运行环境下,本申请实施例提供了一种天基物联网数据处理系统。图2是天基物联网数据处理系统的结构示意图,如图2所示,该系统包括数据采集平台10,数据应用平台20,数据管理平台30,其中,数据采集平台10,包括数据库12和数据处理模块14,其中,数据处理模块14用于通过天基互联网获取各个地面感知节点提供的原始传输数据,并对原始传输数据进行处理,得到目标数据,并将目标数据存储到数据库12中;数据应用平台20,用于依据业务分析需求信息从数据库12中获取并处理目标数据,以及依据目标数据生成预设报表;数据管理平台30,用于管理为目标用户开通的系统账号。
在本申请的一些实施例中,数据处理模块14对原始传输数据进行处理,得到目标数据的步骤包括:对原始传输数据进行数据抽取,数据转换,数据清洗和数据加载,得到目标数据。
作为一种可选地实施方式,业务分析需求信息所指示的业务分析需求类型包括以下至少之一:客户分析,量收分析,套餐分析;预设报表的报表类型包括以下至少之一:业务套餐销售报表,计费财务报表。
具体地,数据采集平台10从计费管理获取计费数据、从客户管理获取客户信息、从网络管理获取网络运行数据,并对原始数据进行数据抽取、转换、清洗、加载,将生成数据保存到数据库12中。
数据应用平台20用于业务主题分析和报表管理。其中业务主题分析指的是支持常态化的业务分析需求,包括常规的客户分析、量收分析、套餐分析等。报表管理主要包括业务套餐销售报表、计费财务报表等,以及典型管理流程、客户业务开通流程、客户计费管理流程。
需要说明的是,目标数据中携带有流程标识信息,其中,流程标识信息用于确定得到目标数据时对原始传输数据执行的数据处理方式,以及数据应用平台20在应用目标数据时的具体应用方式。
具体地,从天基物联网获取的地面各类感知节点的海量传输数据并传递给地面接收设施的天基物联网运维管理系统后,可以进行运营分析并进行流程标识,方便跟踪各环节进度及异常快速定位。运营分析对天基传输网络的运营情况进行精细化分析,能够提升天基传输网络信息数据的有效共享,支撑系统管理和运营分析数据应用,充分发挥数据的价值,实现数据服务向信息服务的提升。
具体地,天基物联网数据处理系统中的数据的流程标识信息的格式如下所示:
业务主题分析
1-1=客户管理。1-2=计费管理。1-3=网络管理。1-4=网元管理。
数据采集平台10
2-1=数据库12。
2-1-1=数据处理2-1-2=数据抽取2-1-2=数据转换2-1-2=数据加载
业务主题分析
3-1=数据应用。3-2=业务主题。3-3=报表管理。
流程标识格式:#号功能点间隔符、@号代表子模块间隔符逗号代表间隔每个子类异常发生概率值。
格式:2-1@1-1,【39%61%】@1-2#2-1-2
可以看出,通过流程标识信息可以快速确定对各项数据执行的清理方式和各项数据的具体应用场景。
另外,本申请实施例提供的天基物联网数据处理系统还可以为客户开通基于区块链的天基物联网运维管理系统账号。并通过无线数据获取对客户计费网元进行计费管理及针对【流程标识】的数据关联性可视化。由于关联计算时间复杂度较高,引入Spark大数据分析技术将资源数据、性能数据处理成RDD基于内存进行计算,比传统人工通过SQL查询再计算的效率有了明显提升。
在本申请的一些实施例中,天基物联网数据处理系统由云端分布式主机代理,天基物联网数据处理系统还用于存储目标用户上传至天基物联网数据处理系统中的云数据,以及对目标用户存储在天基物联网数据处理系统中的云数据进行数据完整性校验。
作为一种可选地实施方式,天基物联网数据处理系统存储目标用户上传至天基物联网数据处理系统中的云数据的步骤包括:生成公钥和私钥;接收目标用户通过终端设备发送的数据上传请求;对数据上传请求进行验证,在验证通过的情况下与终端设备建立连接关系;接收目标用户通过终端设备上传的待存储文件,并在接收到待存储文件后,对待存储文件进行分块处理,得到多个待存储文件块;为多个待存储文件块中的每个待存储文件块生成标签信息,得到云数据,其中,云数据中包括多个待存储文件块,以及每个待存储文件块对应的标签信息。
可选地,为多个待存储文件块中的每个待存储文件块生成标签信息的步骤包括:对每个存储文件块再次分段,得到多个存储文件段;确定多个存储文件段中的每个存储文件段的编号;依据编号和时间调用标签算法为每个存储文件段生成标签信息。
在本申请的一些实施例中,用户在存储数据时会在本地终端设备中生成公钥和私钥。具体地,公私钥对的生成公式如下:
KeuGen(1k)→(pk,sk)
其中,上述公式的含义是取大素数p,是p上的域,设G1、G2、GT是素数p的乘法循环,g1是G1的生成元,g2是G2的生成元,存在双线性射随机选取用户在本地生成密钥对{SK={a,sk},PK={g1,u,pk}}其中私钥为x,公钥为
之后用户会发出连接对应虚拟机代理的请求。VMA(虚拟内存空间)接到用户请求,验证其是否合法,若合法,则开启虚机代理;若不合法,则回拒绝连接响应。
然后用户将文件上传到VMA中后,VMA会初始化数据信息文件F将数据信息文件F进行分块,分块公式为:F={m1,…,mi,…,mn},0≤i<n,。再分别针对各个分块进行平均分块,分别分成k个段,分段公式为:mi={mi,0,…,mi,j,…,mi,k-1},。之后针对各个块编号b和时间调用标签生成算法m为每一个数据块生成标签a1。
具体地,对目标用户存储在天基物联网数据处理系统中的云数据进行数据完整性校验的步骤包括:接收目标用户发送的数据完整性验证请求;依据数据完整性验证请求,在存储节点确定待验证的云数据;依据云数据对应的标签信息对云数据进行完整性验证。
作为一种可选地实施方式,对云数据进行完整性校验的流程如图3所示,包括以下步骤:
步骤S302,用户发起挑战;
当用户担心自己的数据被篡改时,只需要向服务器发出挑战,根据服务器的应答便可知晓自己存储的数据是否完整。
用户针对所存储待检测文件向VMA发出待检测文件的数据完整性验证请求chal,chal包括待检测文件数据块集合IDX={idxi|1≤i≤c,c≤n}和对应的随机数集合其中,c为待检测的数据块总数,n为待检测文件数据块集合中数据块的总数。
步骤S304,存储节点确定文件位置,生成验证证据;
VMA节点根据挑战请求,先在IPFS集群中查询返回文件的IPFS唯一标志FId,接着,VMA节点新建MA迁移到存储节点获取待检测数据块的相应证据。
根据VMA节点中存储的u,计算总数据块标签值,即
VMA从自身数据库中读取挑战数据块标签值并根据该值计算T,同时计算对应的挑战块编号的Hash值B,即
生成证据proof={D,B,T)
步骤S306,虚拟机计算证据是否有效;
计算
其中,
若下式成立,则证明文件完整。
捕捉S308,在确定证据有效的情况下,通过待验证数据的根哈希值对待验证数据进行再次验证。
用户将收到VMA传送的验证结果,同时根据FId获取文件的MHT根Hash值,者同时匹配,即验证结果可信。
在本申请的一些实施例中,数据管理平台30还包括客户管理单元32,其中,客户管理单元32用于为用户开通业务。
在本申请的一些实施例中,数据管理平台30中还包括计费管理单元34,其中,计费管理单元34,用于在预设时间段内按照预设时间间隔确定多个数据采集时间点,并在每个数据采集时间点采集流量数据;确定每个数据采集时间点对应的流量数据的数据大小,并依据数据大小删除预设数量个数据采集时间点对应的流量数据;依据剩余的数据采集时间点对应的流量数据进行计费。
具体地,可以每5分钟取一个点,1个小时12个点,1天12*24个点,一个月按30天算12*24*30=8640个点,然后把数值最高的%5的流量去掉,剩下的95%为正常流量范围。计费点数是8208个点。有432个点不用计费。
在本申请的一些实施例中,数据管理平台30为用户开通业务的完整流程如图4所示,为用户计费的完整流程如图5所示。
在本申请的一些实施例中,数据管理平台30中还包括网络管理单元36和网元检测单元38,其中,网元检测单元38用于:采集原始网元资源数据和原始网元性能数据;对原始网元资源数据和原始网元性能数据进行数据清洗,得到目标网元资源数据和目标网元性能数据;对目标网元资源数据和目标网元性能数据进行关联分析,得到网元的性能指标,其中,性能指标包括文件缺失率和网元缺失率。
具体地,针对天基无线网数据网元质量评估问题,通过基于无线网性能数据和资源数据相关联的OMC文件缺失率和网元缺失率两个指标,并借助Spark大数据分析技术完成数据质量自动监测的技术改进措施。
在本申请的一些实施例中,如图6所示,确定天基无线网数据网元质量的步骤包括:
步骤S602,数据采集;
具体地,在采集数据时可以定时调度shell脚本采集天基无线网数据网元资源数据与性能数据。资源数据分省以天粒度的方式更新网元基本特性,包括:室内外类型、厂商、类型等。性能数据分省以小时粒度的方式更新网元性能特性,包括:PDCP上下行流量、RRC连接用户数、CQI优良比、同频切换成功率等。
步骤S604,数据清洗;
具体地,天基无线网数据采集网元数据时,由于设备中断或异常经常进行数据补采。补采方式是对小时粒度文件全量追加的方式更新补采数据。需要对此部分数据进行清洗,自动筛选最新日期的数据文件更新到集群中。
步骤S606,数据关联性计算;
具体地,可以通过Spark对性能数据及资源数据关联分析,分省市对无线网数据质量进行评估,计算OMC(Operations&Maintenance Center,网元管理系统)文件缺失率、网元缺失率。解析流程标识,将流程中各环节对应的关联性引入性能数据、资源数据缺失率评估体系。当整个网元数据缺失时,通过单维度的性能数据将无法判断,资源数据每天更新上报网元数量,与性能数据中网元数量关联后可以得到全部网元缺失数量。由于OMC采集过程会出现采集中断的情况,当采集的数据文件无法解压或者文件过小时也会标记为OMC缺失文件。
Pi=P′i/24
Ti=T′i/24
其中,POMC为OMC文件缺失率,Pi为第i个OMC的缺失率,NOMC为OMC总数,P′i为第i个OMC缺失文件的小时数。T为网元缺失率,Ti为第i个网元的缺失率,Npm和Ncm分别为通过资源数据和性能数据获取的网元总数,T′i为与第i个网元缺失的小时数。
可化展示通过Vue框架分省市对不同日期的OMC文件缺失率网元缺失率进行可视化示,并设定5%的缺失预警门限,及时报送运维人员。
通过本申请实施例所提供的天基物联网数据处理系统,与传统的无线网数据质量检测相比,通过性能和资源二维数据关联重新定义了OMC文件缺失率、网元缺失率,更加全面评估数据质量。由于无线网数据分OMC以文件的方式存储数据,基于OMC维度的数据质量评估可以发现较大维度的文件缺失快速定位问题,基于网元级的数据质量评估可精准发现网元数据缺失。比传统数据质量监测方式在发现缺失的效率上有了大大提升。
另外,本申请中引入大数据分析技术对性能数据、资源数据进行计算,提高了数据质量分析效率和速度。性能数据分省、分小时、分OMC存储在资源池内、资源数据分省分天进行上报。由于关联计算时间复杂度较高,引入Spark大数据分析技术将资源数据、性能数据处理成RDD基于内存进行计算,比传统人工通过SQL查询再计算的效率有了明显提升。
需要说明的是,上述天基物联网数据处理系统中的各个模块可以是程序模块(例如是实现某种特定功能的程序指令集合),也可以是硬件模块,对于后者,其可以表现为以下形式,但不限于此:上述各个模块的表现形式均为一个处理器,或者,上述各个模块的功能通过一个处理器实现。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种天基物联网数据处理系统,其特征在于,包括数据采集平台,数据应用平台,数据管理平台,其中,
所述数据采集平台,包括数据库和数据处理模块,其中,所述数据处理模块用于通过天基互联网获取各个地面感知节点提供的原始传输数据,并对所述原始传输数据进行处理,得到目标数据,并将所述目标数据存储到所述数据库中;
所述数据应用平台,用于依据业务分析需求信息从所述数据库中获取并处理所述目标数据,以及依据所述目标数据生成预设报表;
所述数据管理平台,用于管理为目标用户开通的系统账号。
2.根据权利要求1所述的天基物联网数据处理系统,其特征在于,所述天基物联网数据处理系统由云端分布式主机代理,所述天基物联网数据处理系统还用于存储所述目标用户上传至所述天基物联网数据处理系统中的云数据,以及对所述目标用户存储在所述天基物联网数据处理系统中的所述云数据进行数据完整性校验。
3.根据权利要求2所述的天基物联网数据处理系统,其特征在于,所述天基物联网数据处理系统存储所述目标用户上传至所述天基物联网数据处理系统中的云数据的步骤包括:
生成公钥和私钥;
接收所述目标用户通过终端设备发送的数据上传请求;
对所述数据上传请求进行验证,在验证通过的情况下与所述终端设备建立连接关系;
接收所述目标用户通过所述终端设备上传的待存储文件,并在接收到所述待存储文件后,对所述待存储文件进行分块处理,得到多个待存储文件块;
为所述多个待存储文件块中的每个所述待存储文件块生成标签信息,得到所述云数据,其中,所述云数据中包括所述多个待存储文件块,以及所述每个待存储文件块对应的标签信息。
4.根据权利要求3所述的天基物联网数据处理系统,其特征在于,所述为所述多个待存储文件块中的每个所述待存储文件块生成标签信息的步骤包括:
对每个所述存储文件块再次分段,得到多个存储文件段;
确定所述多个存储文件段中的每个存储文件段的编号;
依据所述编号和时间调用标签算法为所述每个存储文件段生成所述标签信息。
5.根据权利要求3所述的天基物联网数据处理系统,其特征在于,所述对所述目标用户存储在所述天基物联网数据处理系统中的所述云数据进行数据完整性校验的步骤包括:
接收所述目标用户发送的数据完整性验证请求;
依据所述数据完整性验证请求,在存储节点确定待验证的所述云数据;
依据所述云数据对应的所述标签信息对所述云数据进行完整性验证。
6.根据权利要求1所述的天基物联网数据处理系统,其特征在于,所述数据管理平台中还包括计费管理单元,其中,
所述计费管理单元,用于在预设时间段内按照预设时间间隔确定多个数据采集时间点,并在每个所述数据采集时间点采集流量数据;
确定所述每个数据采集时间点对应的流量数据的数据大小,并依据所述数据大小删除预设数量个所述数据采集时间点对应的流量数据;
依据剩余的所述数据采集时间点对应的流量数据进行计费。
7.根据权利要求1所述的天基物联网数据处理系统,其特征在于,所述数据管理平台中还包括网元检测单元,其中,所述网元检测单元用于:
采集原始网元资源数据和原始网元性能数据;
对所述原始网元资源数据和所述原始网元性能数据进行数据清洗,得到目标网元资源数据和目标网元性能数据;
对所述目标网元资源数据和所述目标网元性能数据进行关联分析,得到网元的性能指标,其中,所述性能指标包括文件缺失率和网元缺失率。
8.根据权利要求1所述的天基物联网数据处理系统,其特征在于,所述数据处理模块对所述原始传输数据进行处理,得到目标数据包括:
对所述原始传输数据进行数据抽取,数据转换,数据清洗和数据加载,得到所述目标数据。
9.根据权利要求1所述的天基物联网数据处理系统,其特征在于,所述业务分析需求信息所指示的业务分析需求类型包括以下至少之一:客户分析,量收分析,套餐分析;所述预设报表的报表类型包括以下至少之一:业务套餐销售报表,计费财务报表。
10.根据权利要求1所述的天基物联网数据处理系统,其特征在于,所述目标数据中携带有流程标识信息,其中,所述流程标识信息用于确定得到所述目标数据时对所述原始传输数据执行的数据处理方式,以及所述数据应用平台在应用所述目标数据时的具体应用方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211711877.2A CN116132473A (zh) | 2022-12-29 | 2022-12-29 | 天基物联网数据处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211711877.2A CN116132473A (zh) | 2022-12-29 | 2022-12-29 | 天基物联网数据处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116132473A true CN116132473A (zh) | 2023-05-16 |
Family
ID=86294949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211711877.2A Pending CN116132473A (zh) | 2022-12-29 | 2022-12-29 | 天基物联网数据处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116132473A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103906011A (zh) * | 2014-02-27 | 2014-07-02 | 宇龙计算机通信科技(深圳)有限公司 | 一种数据发送、接收装置及方法 |
| CN105721193A (zh) * | 2014-12-05 | 2016-06-29 | 方正国际软件(北京)有限公司 | 一种系统信息监控的方法和设备 |
| CN107819876A (zh) * | 2017-11-27 | 2018-03-20 | 北京旷视科技有限公司 | 一种基于云平台的数据处理方法及系统 |
| CN109413188A (zh) * | 2018-11-02 | 2019-03-01 | 济南大陆机电股份有限公司 | 一种工业设备物联网管理系统及方法 |
| CN109617854A (zh) * | 2018-10-18 | 2019-04-12 | 中国人民大学 | 基于传感器网络的k近邻查询方法及装置 |
| US20210126923A1 (en) * | 2019-01-31 | 2021-04-29 | Green Zone Security., Ltd. | Integrity verification chain for verifying integrity of devices and method for verifying integrity of devices using the same |
| CN114218309A (zh) * | 2021-11-04 | 2022-03-22 | 招银云创信息技术有限公司 | 数据处理方法、系统和计算机设备 |
-
2022
- 2022-12-29 CN CN202211711877.2A patent/CN116132473A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103906011A (zh) * | 2014-02-27 | 2014-07-02 | 宇龙计算机通信科技(深圳)有限公司 | 一种数据发送、接收装置及方法 |
| CN105721193A (zh) * | 2014-12-05 | 2016-06-29 | 方正国际软件(北京)有限公司 | 一种系统信息监控的方法和设备 |
| CN107819876A (zh) * | 2017-11-27 | 2018-03-20 | 北京旷视科技有限公司 | 一种基于云平台的数据处理方法及系统 |
| CN109617854A (zh) * | 2018-10-18 | 2019-04-12 | 中国人民大学 | 基于传感器网络的k近邻查询方法及装置 |
| CN109413188A (zh) * | 2018-11-02 | 2019-03-01 | 济南大陆机电股份有限公司 | 一种工业设备物联网管理系统及方法 |
| US20210126923A1 (en) * | 2019-01-31 | 2021-04-29 | Green Zone Security., Ltd. | Integrity verification chain for verifying integrity of devices and method for verifying integrity of devices using the same |
| CN114218309A (zh) * | 2021-11-04 | 2022-03-22 | 招银云创信息技术有限公司 | 数据处理方法、系统和计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 方欣: "云存储环境下数据完整性验证相关技术研究", 信息科技, 15 April 2019 (2019-04-15), pages 2 - 4 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106878064B (zh) | 数据监控方法和装置 | |
| US9438470B2 (en) | Network event capture and retention system | |
| CN104615852B (zh) | 针对保障网上预约挂号秩序及提高号源使用效率的方法 | |
| CN108989463B (zh) | 一种数据处理方法和装置 | |
| CN112744115A (zh) | 电动汽车的信息处理方法、装置及系统、处理器 | |
| CN111126928B (zh) | 对发布内容审核的方法和装置 | |
| CN106407078A (zh) | 基于信息交互的客户端性能监控装置及方法 | |
| CN110708177B (zh) | 分布式系统中的异常处理方法、系统和装置 | |
| CN111371672A (zh) | 消息推送方法及装置 | |
| CN114418092A (zh) | 基于区块链的联邦学习恶意节点甄别方法 | |
| TW201824018A (zh) | 即時資料處理方法和裝置 | |
| CN115664743B (zh) | 行为检测方法以及装置 | |
| CN103634158B (zh) | 一种snmp管理进程的压力测试方法和装置 | |
| CN107577769A (zh) | 一种计量专业数据的挖掘方法及系统 | |
| CN116132473A (zh) | 天基物联网数据处理系统 | |
| CN120631956A (zh) | 数据流展示方法、装置、非易失性存储介质及电子设备 | |
| CN117768939B (zh) | 一种面向无线通信设备的分布式自动拨测系统 | |
| CN101316195B (zh) | 实现监测系统中配置一致的方法及系统 | |
| CN116862198A (zh) | 专线信息的管理方法和装置、存储介质及电子装置 | |
| CN110825609B (zh) | 服务的测试方法、装置和系统 | |
| CN118312956A (zh) | 应用程序识别特征的检测方法及装置 | |
| EP4354297B1 (en) | Data integrity processing method and apparatus, and electronic device | |
| CN113343577B (zh) | 一种基于机器学习的参数优化方法、装置、设备及介质 | |
| CN107317790B (zh) | 网络行为的监控方法及装置 | |
| CN116418652A (zh) | 专网数据管理系统、方法、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |