CN107404417A - 一种监控数据的处理方法、处理装置及处理系统 - Google Patents
一种监控数据的处理方法、处理装置及处理系统 Download PDFInfo
- Publication number
- CN107404417A CN107404417A CN201710615101.3A CN201710615101A CN107404417A CN 107404417 A CN107404417 A CN 107404417A CN 201710615101 A CN201710615101 A CN 201710615101A CN 107404417 A CN107404417 A CN 107404417A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring data
- time series
- acquisition
- sent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 230
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000013500 data storage Methods 0.000 claims description 76
- 230000010354 integration Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims 3
- 230000006870 function Effects 0.000 abstract description 25
- 230000008569 process Effects 0.000 abstract description 12
- 230000008878 coupling Effects 0.000 abstract description 11
- 238000010168 coupling process Methods 0.000 abstract description 11
- 238000005859 coupling reaction Methods 0.000 abstract description 11
- 238000007726 management method Methods 0.000 description 17
- 238000013480 data collection Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000004941 influx Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000883510 Kolla Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种监控数据的处理方法、处理装置及处理系统,包括接收数据显示装置发送的监控数据获取请求;从分布式时序数据库中获取与监控数据获取请求对应的目标监控数据;其中,分布式时序数据库中存储有来自数据采集装置的监控数据;将目标监控数据发送至数据显示装置,以使数据显示装置显示目标监控数据。从本发明提供的技术方案可见,由于监控数据的获取、存储和展示分别由三个装置完成,从而在极大程度地降低了数据处理过程的强耦合性,因此在某一部分出现问题以影响这部分功能时,也不会影响其他部分功能的正常实现。
Description
技术领域
本发明涉及数据处理领域,尤指一种监控数据的处理方法、处理装置及处理系统。
背景技术
云计算管理平台是基于虚拟化基础架构的集计算、管理功能为一体的平台,它通过各种互补的服务实现了数据中心基础设施即服务(Infrastructure as a Service,IaaS)云计算环境的中央管理控制,并且以简洁的管理界面实现了数据中心内所有的物理资源和虚拟资源的统一管理,因此提高了信息科技(Information Technology,IT)人员的管理能力、简化了日常例行工作,还降低了IT环境的复杂度和管理成本。
但在实际情况中,常常会由于各种各样的原因造成云计算管理平台的服务出现错误,从而影响云计算管理平台的整体运行,因此,随时根据监控数据以获取云计算管理平台的运行情况是保证云计算正常运行的基础。
根据监控数据以获取云计算管理平台的运行情况一般包括监控数据的获取、监控数据的存储以及监控数据的展示三个部分,相关技术中,通常采用运行某种监控软件,例如nagios、zabbix的一个整体监控装置获取云计算管理平台的监控数据以存储,并在用户需要查看监控数据时对监控数据进行展示,但由于数据的获取、数据的存储以及数据的展示都由运行一个整体程序的装置完成,存在着强耦合性,因此当某部分程序出现问题以影响某部分功能时,其他部分的功能也可能受到影响以无法正常实现。
发明内容
为了解决上述技术问题,本发明提供了一种监控数据的处理方法、处理装置及处理系统,能够极大程度降低数据处理过程中数据的获取、数据的存储以及数据的展示三个部分的强耦合性。
为了达到本发明目的,本发明提供了一种监控数据的处理方法,包括:
接收数据显示装置发送的监控数据获取请求;
从分布式时序数据库中获取与所述监控数据获取请求对应的目标监控数据;其中,所述分布式时序数据库中存储有来自数据采集装置的监控数据;
将所述目标监控数据发送至所述数据显示装置,以使所述数据显示装置显示所述目标监控数据。
所述接收数据显示装置发送的数据显示请求之前,还包括:
接收数据采集装置发送的监控数据;
将接收到的所述监控数据存储在分布式时序数据库。
所述将接收到的监控数据存储在分布式时序数据库之前,还包括:
采用预设方法对接收到的所述监控数据进行压缩整合处理;
相应的,所述将接收到的所述监控数据存储在分布式时序数据库,包括:
将进行压缩整合处理的所述监控数据以分区存储的方式存储在所述分布式时序数据库。
本发明还提供了一种监控数据的处理方法,包括:
采集监控数据;
将采集到的所述监控数据以分布式时序的形式发送至数据存储装置。
本发明还提供了一种监控数据的处理方法,包括:
将接收到的监控数据获取请求发送至数据存储装置;
接收所述数据存储装置发送的目标监控数据;
从预设数据库中获取页面配置信息;
根据获取的所述页面配置信息调用自身类库中的图表表现形式;
以调用的所述图表表现形式显示所述目标监控数据。
本发明还提供了一种数据存储装置,包括:
第一接收模块,用于接收数据显示装置发送的监控数据获取请求;
第一获取模块,用于从分布式时序数据库中获取与所述监控数据获取请求对应的目标监控数据;其中,所述分布式时序数据库中存储有来自数据采集装置的监控数据;
第一发送模块,用于将所述目标监控数据发送至所述数据显示装置,以使所述数据显示装置显示所述目标监控数据。
还包括:
第二接收模块,用于接收数据采集装置发送的监控数据;
存储模块,用于将接收到的所述监控数据存储在分布式时序数据库。
本发明还提供了一种数据采集装置,包括:
采集模块,用于采集监控数据;
第二发送模块,用于将采集到的所述监控数据以分布式时序的形式发送至数据存储装置。
本发明还提供了一种数据显示装置,包括:
第三发送模块,用于将接收到的监控数据获取请求发送至数据存储装置;
第三接收模块,用于接收所述数据存储装置发送的目标监控数据;
第二获取模块,用于从预设数据库中获取页面配置信息;
调用模块,用于根据获取的所述页面配置信息调用自身类库中的图表表现形式;
显示模块,用于以调用的所述图表表现形式显示所述目标监控数据。
本发明还提供了一种监控数据的处理系统,包括:
如上所述的数据采集装置,如上所述的数据存储装置,以及如上所述的数据显示装置。
与现有技术相比,本发明至少包括接收数据显示装置发送的监控数据获取请求;从分布式时序数据库中获取与所述监控数据获取请求对应的目标监控数据;其中,所述分布式时序数据库中存储有来自数据采集装置的监控数据;将所述目标监控数据发送至所述数据显示装置,以使所述数据显示装置显示所述目标监控数据。从本发明提供的技术方案可见,由于监控数据的获取由数据获取装置完成,监控数据的存储由数据存储装置完成,并且监控数据的展示由数据显示装置完成,从而使得监控数据的获取、存储和展示能够分别由不同的装置独立承担,极大程度地降低了数据处理过程中数据获取、存储以及展示三个部分的强耦合性,因此在某一部分出现问题以影响这部分功能时,也不会影响其他部分功能的正常实现。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种监控数据的处理方法的流程示意图;
图2为本发明实施例提供的另一种监控数据的处理方法的流程示意图;
图3为本发明实施例提供的又一种监控数据的处理方法的流程示意图;
图4为本发明实施例提供的又一种监控数据的处理方法的流程示意图;
图5为本发明实施例提供的一种数据存储装置的结构示意图;
图6为本发明实施例提供的另一种数据存储装置的结构示意图;
图7为本发明实施例提供的一种数据采集装置的结构示意图;
图8为本发明实施例提供的一种数据显示装置的结构示意图;
图9为本发明实施例提供的一种监控数据的处理系统的结构示意图;
图10为本发明实施例提供的另一种监控数据的处理系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
本发明实施例提供一种监控数据的处理方法,如图1所示,该方法包括:
步骤101、采集监控数据。
具体的,在云计算管理平台中,监控数据可以是通过监控器监控待监控装置产生的。
步骤102、将采集到的监控数据以分布式时序的形式发送至数据存储装置。
需要说明的是,将采集到的监控数据发送至数据库存储装置,以使得数据存储装置在接收到数据显示装置发送的数据显示请求时,能够在自身的分布式时序数据库中获取数据显示请求对应的目标监控数据,并发送给数据显示装置以进行显示。
需要说明的是,由于监控数据的获取、存储和显示都是由不同装置完成的,因此,可以在不影响其他两部分功能的前提下,对这三部分功能的任意一部分功能进行更适应具体要求的调整。
本发明提供的监控数据的处理方法,采集监控数据;将采集到的监控数据以分布式时序的形式发送至数据存储装置,从而使得数据存储装置在接收到数据显示装置发送的数据显示请求时,能够在自身的分布式时序数据库中获取数据显示请求对应的目标监控数据,并发送给数据显示装置以进行显示。从本发明提供的技术方案可见,由于监控数据的获取由数据获取装置完成,监控数据的存储由数据存储装置完成,并且监控数据的展示由数据显示装置完成,从而使得监控数据的获取、存储和展示能够分别由不同的装置独立承担,极大程度地降低了数据处理过程中数据获取、存储以及展示三个部分的强耦合性,因此在某一部分出现问题以影响这部分功能时,也不会影响其他部分功能的正常实现。
本发明实施例提供另一种监控数据的处理方法,如图2所示,该方法包括:
步骤201、接收数据显示装置发送的监控数据获取请求。
步骤202、从分布式时序数据库中获取与监控数据获取请求对应的目标监控数据。
其中,分布式时序数据库中存储有来自数据采集装置的监控数据。
具体的,分布式时序数据库(influx Date Base,influxDB)是用于存储时序数据的数据库,它是一个用快速编译语言Go编写的、不依赖外部的数据库,支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。
步骤203、将目标监控数据发送至数据显示装置,以使数据显示装置显示目标监控数据。
本发明提供的监控数据的处理方法,接收数据显示装置发送的监控数据获取请求;从分布式时序数据库中获取与监控数据获取请求对应的目标监控数据;其中,分布式时序数据库中存储有来自数据采集装置的监控数据;将目标监控数据发送至数据显示装置,以使数据显示装置显示目标监控数据。从本发明提供的技术方案可见,由于监控数据的获取由数据获取装置完成,监控数据的存储由数据存储装置完成,并且监控数据的展示由数据显示装置完成,从而使得监控数据的获取、存储和展示能够分别由不同的装置独立承担,极大程度地降低了数据处理过程中数据获取、存储以及展示三个部分的强耦合性,因此在某一部分出现问题以影响这部分功能时,也不会影响其他部分功能的正常实现。
本发明实施例提供又一种监控数据的处理方法,如图3所示,该方法包括:
步骤301、将接收到的监控数据获取请求发送至数据存储装置。
步骤302、接收数据存储装置发送的目标监控数据。
步骤303、从预设数据库中获取页面配置信息。
具体的,预设数据库可以是数据库Mysql,页面配置信息存储于Mysql中,当点击相关页面时,从Mysql中读取页面配置信息。
步骤304、根据获取的页面配置信息调用自身类库中的图表表现形式。
具体的,图表表现形式包括页面布局和图表数据等。
步骤305、以调用的图表表现形式显示目标监控数据。
本发明提供的监控数据的处理方法,接收用户发送的监控数据获取请求;将接收到的监控数据获取请求发送至数据存储装置,从而使得数据存储装置从自身的分布式时序数据库中获取监控数据获取请求对应的目标监控数据;接收数据存储装置发送的目标监控数据;从预设数据库中获取页面配置信息;根据获取的页面配置信息调用自身类库中的图表表现形式;以调用的图表表现形式显示目标监控数据。从本发明提供的技术方案可见,由于监控数据的获取由数据获取装置完成,监控数据的存储由数据存储装置完成,并且监控数据的展示由数据显示装置完成,从而使得监控数据获取、存储和展示能够分别由不同的装置独立承担,极大程度地降低了数据处理过程中数据获取、存储以及展示三个部分的强耦合性,因此在某一部分出现问题以影响这部分功能时,也不会影响其他部分功能的正常实现。
本发明实施例提供又一种监控数据的处理方法,如图4所示,该方法包括:
步骤401、数据采集装置采集监控数据。
具体的,数据采集装置可以通过安装监控数据采集程序Telegraf来实现监控数据的采集。Telegraf是一个用快速编译语言Go编写的代理程序,该程序可收集系统和服务的统计数据,具有内存占用小的特点,并且开发人员可轻松添加支持其他服务的扩展。
步骤402、数据采集装置将采集到的监控数据以分布式时序的形式发送至数据存储装置。
具体的,若数据采集装置是通过安装程序Telegraf来实现监控数据的采集的,而所采集到的数据是要存储在InfluxDB中的,因此在Telegraf中开发云计算管理平台的数据采集插件,将采集到的数据通过InfluxDB的应用程序编程接口(Application ProgrammingInterface,API)以分布式时序的形式发送至数据存储装置以存储在InfluxDB中。
步骤403、数据存储装置接收数据采集装置发送的监控数据。
步骤404、数据存储装置将接收到的监控数据存储在分布式时序数据库。
具体的,步骤404之前还包括:
采用预设方法对接收到的监控数据进行压缩整合处理。
相应的,步骤404包括:
将进行压缩整合处理的监控数据以分区存储的方式存储在分布式时序数据库。
具体的,预设方法可以是InfluxDB中特有的一种查询方式-连续查询(ContinuousQuery)数据处理方法,采用这种处理方法可以实现对监控数据的压缩整合,以使得接收到的监控数据能够以更小的存储空间进行存储。
具体的,分区存储的方式指的是按照时间分区存储的方式,分区存储的方式可以在后续过程中更加简便地进行数据管理,例如对监控数据的删除,如果监控数据是以分区存储的方式存储的,那可以根据日期直接对某一分区的数据进行删除。
步骤405、数据显示装置将接收到的监控数据获取请求发送至数据存储装置。
需要说明的是,监控数据获取请求可以是由用户输入的。
具体的,数据显示装置可以是安装可视化工具Grafana的装置,Grafana具有功能齐全的度量仪表盘和图形编辑器以及灵活丰富的图形化选项,因此可以混合多种风格,并且还支持多个数据源,除此之外,它还具备告警功能,通过设置告警条件就能够自行获取监控数据以判断是否达到告警条件以进行告警。
具体的,若数据显示装置安装可视化工具Grafana的装置,那么数据显示装置实际上是通过Grafana插件将监控数据获取请求发送至数据存储装置的。
步骤406、数据存储装置接收数据显示装置发送的监控数据获取请求。
步骤407、数据存储装置从分布式时序数据库中获取与监控数据获取请求对应的目标监控数据。
步骤408、数据存储装置将目标监控数据发送至数据显示装置。
步骤409、数据显示装置接收数据存储装置发送的目标监控数据。
步骤410、数据显示装置从预设数据库中获取页面配置信息。
步骤411、数据显示装置根据获取的页面配置信息调用自身类库中的图表表现形式。
步骤412、数据显示装置以调用的图表表现形式显示目标监控数据。
本发明提供的监控数据的处理方法,接收数据显示装置发送的监控数据获取请求;从分布式时序数据库中获取与监控数据获取请求对应的目标监控数据;其中,分布式时序数据库中存储有来自数据采集装置的监控数据;将目标监控数据发送至数据显示装置,以使数据显示装置显示目标监控数据。从本发明提供的技术方案可见,由于监控数据的获取由数据获取装置完成,监控数据的存储由数据存储装置完成,并且监控数据的展示由数据显示装置完成,从而使得监控数据的获取、存储和展示能够分别由不同的装置独立承担,极大程度地降低了数据处理过程中数据获取、存储以及展示三个部分的强耦合性,因此在某一部分出现问题以影响这部分功能时,也不会影响其他部分功能的正常实现。
若数据采集装置是安装监控数据采集程序Telegraf的装置,Telegraf的系统信息如中央处理器(Central Processing Unit,CPU),内存,硬盘等采用系统自带插件的配置如下:
[[inputs.cpu]]
[[inputs.disk]]
ignore_fs=[″tmpfs″,″devtmpfs″]
[[inputs.diskio]]
[[inputs.mem]]
[[inputs.processes]]
[[inputs.swap]]
[[inputs.system]]
[[inputs.net]]
Telegraf的服务信息采用check_api.sh脚本,配置如下:
[[inputs.exec]]
commands=[″sh/var/lib/kolla/config_files/monitor/script/check_api.sh$ip″]
timeout=″10s″
data_format=″infflux″
check_api.sh采用influx格式,样例如下:
exec_mycollector a=0.5,b_c=0.1,b_d=5 1452815002357578567
Telegraf的其他信息,例如根据Telegraf所在服务器是否启用此服务通过自动化运维工具ansible自动化配置,以搜索服务器ElasticSearch为例,配置如下:
{%if inventory_hostname in groups[′elasticsearch′]and enable_elasticsearch |bool%}
[[inputs.elasticsearch]]
servers=[″{{elasticsearch_proto}}://{{api_interface_address}}:{{elasticsearch_port}}″]
{%endif%}
Telegraf采集数据默认存储在Telegraf库中,在influxDB中,可以将要存入的一条数据看作一个虚拟的字段key和其对应的字段value(field value),格式如下:
cpu_usage,host=server01,region=group1 value=0.671434023462000000000
虚拟的字段key包括以下几个部分:字段database,字段retention policy,字段measurement,字段tag sets,字段field name,字段timestamp。字段database和字段retention policy在上面的数据中并没有体现,通常在插入数据时在超文本传输协议(HyperText Transfer Protocol,HTTP)请求的相应字段中指定。
字段database:数据库名,在InfluxDB中可以创建多个数据库,不同数据库中的数据文件是隔离存放的,存放在磁盘上的不同目录。
字段retention policy:存储策略,用于设置数据保留的时间。
字段measurement:测量指标名,例如cpu_usage表示cpu的使用率。
字段tag sets:tags在InfluxDB中会按照字典序排序。
字段field name:例如上面数据中的value就是fieldName。
字段timestamp:每一条数据都需要指定一个时间戳。
存储策略的配置如下:
Grafana需配置源数据为influxdb及influxdb的访问途径,配置如下:
influxdb:{
type:′influxdb′,
url:″http://xxx.xxx.xxx.xxx:8086/db/collectd″,
username:′root′,
password:′root′
}
添加仪表盘dashboard:在主界面Home中选择选项Add,然后选择添加dashboad,在每个dashboad下添加图形配置数据。
Grafana报警规则可以使用现有的图表控制面板设置,阈值可以通过拖拉右边的线控制,报警状态的改变通过自定义的方式显示。
本发明实施例提供一种数据存储装置,如图5所示,该数据存储装置5包括:
第一接收模块51,用于接收数据显示装置发送的监控数据获取请求。
第一获取模块52,用于从分布式时序数据库中获取与监控数据获取请求对应的目标监控数据;其中,分布式时序数据库中存储有来自数据采集装置的监控数据。
第一发送模块53,用于将目标监控数据发送至数据显示装置,以使数据显示装置显示目标监控数据。
进一步,在图5对应的实施例的基础上,本发明实施例提供另一种数据存储装置,如图6所示,该数据存储装置5还包括:
第二接收模块54,用于接收数据采集装置发送的监控数据。
存储模块55,用于将接收到的监控数据存储在分布式时序数据库。
处理模块56,用于采用预设方法对接收到的监控数据进行压缩整合处理。
进一步,存储模块55具体用于将进行压缩整合处理的监控数据以分区存储的方式存储在分布式时序数据库。
本发明提供的数据存储装置,接收数据显示装置发送的监控数据获取请求;从分布式时序数据库中获取与监控数据获取请求对应的目标监控数据;其中,分布式时序数据库中存储有来自数据采集装置的监控数据;将目标监控数据发送至数据显示装置,以使数据显示装置显示目标监控数据。从本发明提供的技术方案可见,由于监控数据的获取由数据获取装置完成,监控数据的存储由数据存储装置完成,并且监控数据的展示由数据显示装置完成,从而使得监控数据的获取、存储和展示能够分别由不同的装置独立承担,极大程度地降低了数据处理过程中数据获取、存储以及展示三个部分的强耦合性,因此在某一部分出现问题以影响这部分功能时,也不会影响其他部分功能的正常实现。
在实际应用中,所述第一接收模块51、第一获取模块52、第一发送模块53、第二接收模块54、存储模块55和处理模块56均可由位于数据存储装置中的CPU、微处理器(MicroProcessor Unit,MPU)、数字信号处理器(Digital Signal Processor,DSP)或现场可编程门阵列(Field Programmable Gate Array,FPGA)等实现。
本发明实施例提供一种数据采集装置,如图7所示,该数据采集装置6包括:
采集模块61,用于采集监控数据。
第二发送模块62,用于将采集到的监控数据以分布式时序的形式发送至数据存储装置。
本发明提供的数据采集装置,采集监控数据;将采集到的监控数据以分布式时序的形式发送至数据存储装置,从而使得数据存储装置在接收到数据显示装置发送的数据显示请求时,能够在自身的分布式时序数据库中获取数据显示请求对应的目标监控数据,并发送给数据显示装置以进行显示。从本发明提供的技术方案可见,由于监控数据的获取由数据获取装置完成,监控数据的存储由数据存储装置完成,并且监控数据的展示由数据显示装置完成,从而使得监控数据的获取、存储和展示能够分别由不同的装置独立承担,极大程度地降低了数据处理过程中数据获取、存储以及展示三个部分的强耦合性,因此在某一部分出现问题以影响这部分功能时,也不会影响其他部分功能的正常实现。
在实际应用中,所述采集模块61和第二发送模块62均可由位于数据采集装置中的CPU、MPU、DSP或FPGA等实现。
本发明实施例提供一种数据显示装置,如图8所示,该数据显示装置7包括:
第三发送模块71,用于将接收到的监控数据获取请求发送至数据存储装置。
第三接收模块72,用于接收数据存储装置发送的目标监控数据。
第二获取模块73,用于从预设数据库中获取页面配置信息。
调用模块74,用于根据获取的页面配置信息调用自身类库中的图表表现形式。
显示模块75,用于以调用的图表表现形式显示目标监控数据。
本发明提供的数据显示装置,接收用户发送的监控数据获取请求;将接收到的监控数据获取请求发送至数据存储装置,从而使得数据存储装置从自身的分布式时序数据库中获取监控数据获取请求对应的目标监控数据;接收数据存储装置发送的目标监控数据;从预设数据库中获取页面配置信息;根据获取的页面配置信息调用自身类库中的图表表现形式;以调用的图表表现形式显示目标监控数据。从本发明提供的技术方案可见,由于监控数据的获取由数据获取装置完成,监控数据的存储由数据存储装置完成,并且监控数据的展示由数据显示装置完成,从而使得监控数据的获取、存储和展示能够分别由不同的装置独立承担,极大程度地降低了数据处理过程中数据获取、存储以及展示三个部分的强耦合性,因此在某一部分出现问题以影响这部分功能时,也不会影响其他部分功能的正常实现。
在实际应用中,所述第三发送模块71、第三接收模块72、第二获取模块73、调用模块74和显示模块75均可由位于数据显示装置中的CPU、MPU、DSP或FPGA等实现。
本发明实施例提供一种监控数据的处理系统,如图9所示,该处理系统8包括:
上述图5或图6对应的实施例提供的数据存储装置81、上述图7对应的实施例提供的数据采集装置82以及上述图8对应的实施例提供的数据显示装置83。
本发明实施例还提供另一种监控数据的处理系统,由于云计算管理平台是实现计算和管理的平台,平台中的装置都可以以计算节点和管理节点来表示,因此数据采集装置所采集监控数据可以分为计算节点的监控数据和管理节点的监控数据(其中,监控数据又可以分为系统数据、服务数据和性能数据三部分),如图10所示,该处理系统包括数据采集装置、数据存储装置和数据显示装置,该处理系统的运行方法与图4对应的实施例一致,在此不再赘述。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种监控数据的处理方法,其特征在于,包括:
接收数据显示装置发送的监控数据获取请求;
从分布式时序数据库中获取与所述监控数据获取请求对应的目标监控数据;其中,所述分布式时序数据库中存储有来自数据采集装置的监控数据;
将所述目标监控数据发送至所述数据显示装置,以使所述数据显示装置显示所述目标监控数据。
2.根据权利要求1所述的处理方法,其特征在于,所述接收数据显示装置发送的数据显示请求之前,还包括:
接收数据采集装置发送的监控数据;
将接收到的所述监控数据存储在分布式时序数据库。
3.根据权利要求2所述的处理方法,其特征在于,所述将接收到的监控数据存储在分布式时序数据库之前,还包括:
采用预设方法对接收到的所述监控数据进行压缩整合处理;
相应的,所述将接收到的所述监控数据存储在分布式时序数据库,包括:
将进行压缩整合处理的所述监控数据以分区存储的方式存储在所述分布式时序数据库。
4.一种监控数据的处理方法,其特征在于,包括:
采集监控数据;
将采集到的所述监控数据以分布式时序的形式发送至数据存储装置。
5.一种监控数据的处理方法,其特征在于,包括:
将接收到的监控数据获取请求发送至数据存储装置;
接收所述数据存储装置发送的目标监控数据;
从预设数据库中获取页面配置信息;
根据获取的所述页面配置信息调用自身类库中的图表表现形式;
以调用的所述图表表现形式显示所述目标监控数据。
6.一种数据存储装置,其特征在于,包括:
第一接收模块,用于接收数据显示装置发送的监控数据获取请求;
第一获取模块,用于从分布式时序数据库中获取与所述监控数据获取请求对应的目标监控数据;其中,所述分布式时序数据库中存储有来自数据采集装置的监控数据;
第一发送模块,用于将所述目标监控数据发送至所述数据显示装置,以使所述数据显示装置显示所述目标监控数据。
7.根据权利要求6所述的数据存储装置,其特征在于,还包括:
第二接收模块,用于接收数据采集装置发送的监控数据;
存储模块,用于将接收到的所述监控数据存储在分布式时序数据库。
8.一种数据采集装置,其特征在于,包括:
采集模块,用于采集监控数据;
第二发送模块,用于将采集到的所述监控数据以分布式时序的形式发送至数据存储装置。
9.一种数据显示装置,其特征在于,包括:
第三发送模块,用于将接收到的监控数据获取请求发送至数据存储装置;
第三接收模块,用于接收所述数据存储装置发送的目标监控数据;
第二获取模块,用于从预设数据库中获取页面配置信息;
调用模块,用于根据获取的所述页面配置信息调用自身类库中的图表表现形式;
显示模块,用于以调用的所述图表表现形式显示所述目标监控数据。
10.一种监控数据的处理系统,其特征在于,包括:如权利要求6所述的数据采集装置,如权利要求7或8所述的数据存储装置,以及如权利要求9所述的数据显示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710615101.3A CN107404417A (zh) | 2017-07-25 | 2017-07-25 | 一种监控数据的处理方法、处理装置及处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710615101.3A CN107404417A (zh) | 2017-07-25 | 2017-07-25 | 一种监控数据的处理方法、处理装置及处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107404417A true CN107404417A (zh) | 2017-11-28 |
Family
ID=60401424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710615101.3A Pending CN107404417A (zh) | 2017-07-25 | 2017-07-25 | 一种监控数据的处理方法、处理装置及处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107404417A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108512719A (zh) * | 2018-03-02 | 2018-09-07 | 南京易捷思达软件科技有限公司 | 一种基于开源云平台的一体化资源监控系统 |
| CN108897796A (zh) * | 2018-06-12 | 2018-11-27 | 平安科技(深圳)有限公司 | 一种业务系统调用influxdb数据库的方法、存储介质和服务器 |
| CN109144838A (zh) * | 2018-09-28 | 2019-01-04 | 平安科技(深圳)有限公司 | 应用程序监控方法及装置、计算机装置及计算机存储介质 |
| CN109639472A (zh) * | 2018-12-04 | 2019-04-16 | 科大国创软件股份有限公司 | 基于Grafana的容器云平台的集成告警控制方法及系统 |
| CN110247801A (zh) * | 2019-06-19 | 2019-09-17 | 苏州浪潮智能科技有限公司 | 一种对集群宿主机的监控系统及方法 |
| CN110502424A (zh) * | 2019-06-28 | 2019-11-26 | 浙江吉利控股集团有限公司 | 一种应用软件的性能数据处理方法、装置、系统及终端 |
| CN110727564A (zh) * | 2019-10-22 | 2020-01-24 | 上海游族信息技术有限公司 | 服务器性能压力测试的测试数据实时监控方法 |
| CN111914013A (zh) * | 2020-08-13 | 2020-11-10 | 傲普(上海)新能源有限公司 | 基于pandas库与InfluxDB数据库的数据管理方法、系统、终端及介质 |
| CN112965782A (zh) * | 2019-12-13 | 2021-06-15 | 天翼电子商务有限公司 | 针对Docker容器的智能监控方法、装置、存储介质及电子设备 |
| CN113987020A (zh) * | 2021-10-27 | 2022-01-28 | 通威太阳能(成都)有限公司 | 电池工艺数据显示方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1480845A (zh) * | 2003-07-15 | 2004-03-10 | 联想(北京)有限公司 | 实现机群监控系统多模式机群监控界面的方法和装置 |
| CN101453743A (zh) * | 2008-10-31 | 2009-06-10 | 中国移动通信集团北京有限公司 | 一种实时监控系统、装置及方法 |
| CN105208098A (zh) * | 2015-08-24 | 2015-12-30 | 用友网络科技股份有限公司 | 云监控系统的实现装置和方法 |
| CN105930380A (zh) * | 2016-04-14 | 2016-09-07 | 北京思特奇信息技术股份有限公司 | 一种基于hadoop的图表监控方法和装置 |
-
2017
- 2017-07-25 CN CN201710615101.3A patent/CN107404417A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1480845A (zh) * | 2003-07-15 | 2004-03-10 | 联想(北京)有限公司 | 实现机群监控系统多模式机群监控界面的方法和装置 |
| CN101453743A (zh) * | 2008-10-31 | 2009-06-10 | 中国移动通信集团北京有限公司 | 一种实时监控系统、装置及方法 |
| CN105208098A (zh) * | 2015-08-24 | 2015-12-30 | 用友网络科技股份有限公司 | 云监控系统的实现装置和方法 |
| CN105930380A (zh) * | 2016-04-14 | 2016-09-07 | 北京思特奇信息技术股份有限公司 | 一种基于hadoop的图表监控方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 李晟译: "TRIZ推动创新的技术", 《TRIZ推动创新的技术》 * |
| 王继成和李竹林: "大数据时代高校信息化战略与实践", 《大数据时代高校信息化战略与实践》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108512719A (zh) * | 2018-03-02 | 2018-09-07 | 南京易捷思达软件科技有限公司 | 一种基于开源云平台的一体化资源监控系统 |
| CN108512719B (zh) * | 2018-03-02 | 2021-06-08 | 南京易捷思达软件科技有限公司 | 一种基于开源云平台的一体化资源监控系统 |
| WO2019237533A1 (zh) * | 2018-06-12 | 2019-12-19 | 平安科技(深圳)有限公司 | 业务系统调用influxdb数据库的方法、存储介质、终端设备及装置 |
| CN108897796A (zh) * | 2018-06-12 | 2018-11-27 | 平安科技(深圳)有限公司 | 一种业务系统调用influxdb数据库的方法、存储介质和服务器 |
| CN109144838A (zh) * | 2018-09-28 | 2019-01-04 | 平安科技(深圳)有限公司 | 应用程序监控方法及装置、计算机装置及计算机存储介质 |
| CN109639472A (zh) * | 2018-12-04 | 2019-04-16 | 科大国创软件股份有限公司 | 基于Grafana的容器云平台的集成告警控制方法及系统 |
| CN110247801A (zh) * | 2019-06-19 | 2019-09-17 | 苏州浪潮智能科技有限公司 | 一种对集群宿主机的监控系统及方法 |
| CN110502424A (zh) * | 2019-06-28 | 2019-11-26 | 浙江吉利控股集团有限公司 | 一种应用软件的性能数据处理方法、装置、系统及终端 |
| CN110727564A (zh) * | 2019-10-22 | 2020-01-24 | 上海游族信息技术有限公司 | 服务器性能压力测试的测试数据实时监控方法 |
| CN112965782A (zh) * | 2019-12-13 | 2021-06-15 | 天翼电子商务有限公司 | 针对Docker容器的智能监控方法、装置、存储介质及电子设备 |
| CN111914013A (zh) * | 2020-08-13 | 2020-11-10 | 傲普(上海)新能源有限公司 | 基于pandas库与InfluxDB数据库的数据管理方法、系统、终端及介质 |
| CN111914013B (zh) * | 2020-08-13 | 2023-02-28 | 傲普(上海)新能源有限公司 | 基于pandas库与InfluxDB数据库的数据管理方法、系统、终端及介质 |
| CN113987020A (zh) * | 2021-10-27 | 2022-01-28 | 通威太阳能(成都)有限公司 | 电池工艺数据显示方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107404417A (zh) | 一种监控数据的处理方法、处理装置及处理系统 | |
| US12248804B1 (en) | Managing user data in a multitenant deployment | |
| US11893703B1 (en) | Precise manipulation of virtual object position in an extended reality environment | |
| US11500875B2 (en) | Multi-partitioning for combination operations | |
| US10963347B1 (en) | Data snapshots for configurable screen on a wearable device | |
| US11410403B1 (en) | Precise scaling of virtual objects in an extended reality environment | |
| WO2021189954A1 (zh) | 日志数据处理方法、装置、计算机设备和存储介质 | |
| CN109388317B (zh) | 一种图片加载方法、终端设备及存储介质 | |
| US11676345B1 (en) | Automated adaptive workflows in an extended reality environment | |
| US11574429B1 (en) | Automated generation of display layouts | |
| US11657582B1 (en) | Precise plane detection and placement of virtual objects in an augmented reality environment | |
| CN110955578A (zh) | 基于宿主机的日志收集方法、装置、计算机设备及存储介质 | |
| CN112463254A (zh) | 网页加载时长的获取方法、装置、设备及存储介质 | |
| CN111143286A (zh) | 一种云平台日志管理方法及系统 | |
| US11276236B1 (en) | Techniques for placement of extended reality objects relative to other extended reality objects in an extended reality environment | |
| CN108052661B (zh) | 分布式环境下的聚合检索的方法、装置及可读存储介质 | |
| US11699268B1 (en) | Techniques for placement of extended reality objects relative to physical objects in an extended reality environment | |
| US10366081B2 (en) | Declarative partitioning for data collection queries | |
| CN114610806A (zh) | 数据查询方法、装置、电子设备和存储介质 | |
| CN114691723A (zh) | 工业数据处理方法、装置、设备及介质 | |
| CN111984723A (zh) | 数据同步方法、装置及终端设备 | |
| CN114357001A (zh) | 多集群的数据查询方法、装置、监控平台及存储介质 | |
| CN107894942B (zh) | 数据表访问量的监控方法和装置 | |
| CN115858276A (zh) | 数据处理方法、数据配置方法、装置及计算机设备 | |
| CN114448976B (zh) | 网络报文的组装方法、装置、设备、介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171128 |