CN102929773A - 信息采集方法和装置 - Google Patents

Abstract

本发明公开了一种信息采集方法和装置，该方法包括：接收虚拟机管理平台发送的状态信息；根据接收的所述状态信息对应的类型对状态信息进行统计分析；将统计分析后的状态信息发送至管理节点。相应的计算机信息采集装置包括：接收模块，用于接收虚拟机管理平台发送的状态信息；统计分析模块，用于根据接收的所述状态信息对应的类型对状态信息进行统计分析；发送模块，用于将统计分析后的状态信息发送至管理节点。本发明通过降低采集间隔，并经信息采集装置按照预定策略处理后，可以大幅提高资源采集信息的实时性和有效性，从而保证云计算管理系统的稳定性，并在出现无法采集到数据的情况时，建立告警机制。

Description

信息采集方法和装置

技术领域

本发明涉及计算机领域，特别是涉及一种信息采集方法和装置。

背景技术

在云计算系统的运行过程中，要保证系统运行的稳定性和安全性，需要实时监控系统中各种资源的运行状态，通过分析监控数据，来执行不同的调度策略自动的处理各种异常情况。而系统中各种资源的监控数据则需要信息采集系统来进行收集并保存到数据库中。如通过采集服务器资源的配置和运行状态信息，可以知道服务器目前的内存利用率，如果超过了一定的阈值，则会通知系统管理员，同时会产生告警并执行已经设定好的动作。所以这些关键信息需要保证实时性和有效性。

当前，采集资源信息是通过管理节点和虚拟机管理平台Hypervisor直接进行通信，首先由Hypervisor上的采集插件从管理获取到需要采集的指标，然后通过根据这些指标对Hypervisor进行相应的采集，最后将采集到的信息发送到管理节点进行保存。

当前各信息采集软件产品和技术存在以下不足：

考虑到大规模环境下系统性能问题，只能每隔一段时间(如1分钟)，采集一次数据，并不是真正的实时数据；

采集到的数据只是某个时间点的信息，无法完全描述时间区间内的全部信息，无法保证数据的有效性；

当由于网络等原因无法采集到数据时，没有相应机制来进行处理。

针对相关技术中无法保证系统内计算资源信息的实时性和有效性、进而无法判断系统的运行状态的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中无法保证系统内计算资源信息的实时性和有效性、进而无法判断系统的运行状态的问题，本发明提出一种信息采集方法和装置，能够以合理的方式完成信息的采集，保证信息的有效性和实时性，有助于准确判断系统的运行状态。

根据本发明的一个方面，提供了一种信息采集方法。

该方法包括：

接收虚拟机管理平台发送的状态信息；

根据接收的状态信息对应的类型对状态信息进行统计分析；

将统计分析后的状态信息发送至管理节点。

其中，该方法可进一步包括：预先配置状态信息采集指标；并且，虚拟机管理平台根据状态信息采集指标确定需要采集的状态信息的类型并进行状态信息采集。

此外，采集指标包含以下信息中的至少之一：需要采集的状态信息的类型、需要采集的状态信息的标识、采集的时间间隔。

另外，根据接收的状态信息对应的类型对状态信息进行统计分析包括以下至少之一：

对于一个类型的状态信息，对虚拟机管理平台在预定周期内采集的该类型的状态信息的数值取平均值，并将该平均值作为统计分析后的状态信息；

对于一个类型的状态信息，确定虚拟机管理平台在预定周期内采集到的该类型的状态信息的时间，并将最后采集到的该类型的状态信息作为统计分析后的状态信息。

此外，根据接收的状态信息对应的类型对状态信息进行统计分析包括：

根据接收的状态信息确定系统是否出现异常，并在确定结果为是的情况下将表示系统出现异常的状态信息发送至管理节点并向管理节点进行告警。

优选地，接收虚拟机管理平台发送的状态信息包括：

以预定时间间隔接收虚拟机管理平台发送的状态信息；

并且，该方法进一步包括：

在无法接收到来自虚拟机管理平台的状态信息的情况下，向管理节点进行告警。

另外，在无法接收到来自虚拟机管理平台的状态信息的次数超过阈值的情况下，向管理节点进行告警。

根据本发明的另一方面，提供了一种信息采集装置。

该装置包括：

接收模块，用于接收虚拟机管理平台发送的状态信息；

统计分析模块，用于根据接收的状态信息对应的类型对状态信息进行统计分析；

发送模块，用于将统计分析后的状态信息发送至管理节点。

作为本发明信息采集装置的改进，统计分析模块用于：

其中，对虚拟机管理平台在预定周期内采集的该类型的状态信息的数值取平均值，并将该平均值作为统计分析后的状态信息；和/或

对于一个类型的状态信息，确定虚拟机管理平台在预定周期内采集到的该类型的状态信息的时间，并将最后采集到的该类型的状态信息作为统计分析后的状态信息。

此外，接收模块可用于以预定时间间隔接收虚拟机管理平台发送的状态信息；并且，发送模块还用于在无法接收到来自虚拟机管理平台的状态信息的情况下，向管理节点进行告警。

本发明在保证性能的前提下，通过降低采集间隔，并经信息采集装置按照预定策略处理后，可以大幅提高资源采集信息的实时性和有效性，从而保证云计算管理系统的稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的信息采集方法的流程图；

图2是根据本发明实施例的信息采集处理系统的工作原理图；

图3是根据本发明实施例的信息采集装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种信息采集方法。

如图1所示，根据本发明实施例的信息采集方法包括：

步骤S101，接收虚拟机管理平台(例如，可以是下文中描述的Hypervisor)发送的状态信息；

步骤S103，根据接收的状态信息对应的类型对状态信息进行统计分析；

步骤S105，将统计分析后的状态信息发送至管理节点。

其中，采集指标包含以下信息中的至少之一：需要采集的状态信息的类型、需要采集的状态信息的标识、采集的时间间隔。

根据接收的状态信息对应的类型，对状态信息进行统计分析包括以下至少之一：

对于一个类型的状态信息，对虚拟机管理平台在预定周期内采集的该类型的状态信息的数值取平均值，并将该平均值作为统计分析后的状态信息；

对于一个类型的状态信息，确定虚拟机管理平台在预定周期内采集到的该类型的状态信息的时间，并将最后采集到的该类型的状态信息作为统计分析后的状态信息。

例如，对于采集的CPU利用率会取所有时间点数据的平均值，而内存剩余量则取所有时间点数据的最新值，应用何种策略是在状态信息采集指标中定义的。

在实现本发明的方案时，可以以预定时间间隔接收虚拟机管理平台发送的状态信息；并且在无法接收到来自虚拟机管理平台的状态信息的情况下，向管理节点进行告警。例如，可将无法接收到来自虚拟机管理平台的状态信息的次数的告警阈值设为3，每次未采集到数据时次数加1，同时进行判断，当该次数大于或等于3时，将告警信息发送到管理节点。

此外，对于采集信息出现异常的情况，同样可以进行告警，例如，可以将接收的状态信息某指标值和该参数信息对应的告警阈值进行比较，当状态信息某指标的指标值超过该告警阈值时，信息采集装置将会产生告警信息，并将告警信息发送到管理节点。告警阈值是信息采集装置针对状态信息某个指标而定义的一个界限。

图2示出了能够实现上述方案的系统，该系统包括管理节点、代理节点、Hypervisor。其中，上述步骤S101、步骤S103和步骤S105可以由代理节点来执行。

具体地，在图2中，管理节点是运行云计算管理系统的计算机；Hypervisor，即虚拟机管理平台，是运行信息采集插件，并已经在系统中注册的资源；代理节点起到了信息采集装置的作用，是对信息采集流程进行处理和转发的计算机。其中，对信息采集数据实时性和有效性起主要作用的是代理节点的数据分析及处理过程。管理节点、代理节点、Hypervisor之间的工作机制为：运行在Hypervisor上的采集代理对Hypervisor节点进行资源探测，以规定的格式发送给管理节点，作为Hypervisor的子资源保存在数据库中；

在工作过程中，管理节点对Hypervisor及其子资源对象进行分析处理，根据配置文件中预定义的内容生成采集指标，并保存在数据库中；

Hypervisor上运行的采集插件从管理节点获取相关指标，根据指标名称、指标内容和采集时间间隔，采集Hypervisor及其子资源的信息，并将这些信息发送到代理节点，并保存在缓存中；

代理节点对接收到的数据信息进行分析处理，以预定的策略进行筛选，将有效信息和异常信息整理后发送到管理节点保存在数据库中。同时对采集周期进行监控，对未采集到数据并超过规定次数的Hypervisor，产生异常告警信息发送到管理节点。

在可以采集到数据的情况下，Hypervisor每5秒采集一次数据并发送到代理节点，考虑到管理节点的性能，代理节点接收到采集数据后，需要对这些数据进行判断，当数据正常时，对过去一分钟内获取到的12个数据根据不同指标取平均值/最新值，然后发送到管理节点；当数据异常时，立刻将其发送到管理节点。

在实际应用当中，具体可以通过以下方式来实现本发明的上述技术方案。

作为云计算管理系统的一部分，信息采集系统需要依赖资源管理系统，现假设资源管理已经添加了相关的资源，并且已经生成了子资源和相应指标，则信息采集具体实现流程如下：

(1)Hypervisor调用获取资源指标接口

Public List<Metric>getMetricsByResId(Long ResId)；

其中，参数ResId为Hypervisor的资源Id，Metric为指标对象，包含了指标ID、指标名称、采集间隔基本信息。该接口返回Metric列表。

(2)Hypervisor根据指标信息获取指标值，即采集数据

Public MetricValue getMetricValueByMetric(Metric metric)；

其中MetricValue为指标值对象，包含了指标的基本信息和指标采集值。对于采集间隔，根据预定义的比例，将其划分为多个小间隔，对多个时间点分别进行采集。例如，如果数据库中定义的是CPU利用率采集间隔为1分钟，则Hypervisor进行采集时，会每5秒采集一次数据，最终所有的数据都需要发送到代理节点进行分析处理。

(3)Hypervisor调用信息发送接口，将采集数据发送到代理节点

Public void sendMetricValue(List<MetricValue>metricValueList)；

该接口为代理节点定义，并发布为webservice服务，由Hypervisor获取并调用。其中metricValueList为指标值列表。

(4)代理节点对接收到的采集信息进行处理，处理流程如下：

(4.1)判断接收到的采集数据是否为空，即遍历指标值列表，判断metricValue中的指标是否有相应的指标值。其接口可以为：

Public void dataInfoCheck(MetricValue metricValue)；

如果指标值存在，则进行下一步；否则将指标中未采集到数据的次数加1，同时进行判断，当该次数大于或等于3时，调用告警发送接口，将告警信息发送到管理节点，告警发送接口由告警管理子系统定义。

(4.2)根据指标ID，从管理节点获取告警阈值，调用接口：

Public Threshold getThresholdByMetricId(Long metricId)

告警阈值是指系统针对某个指标而定义的一个界限，当资源的某指标的指标值超过定义的阈值时，系统将会产生告警信息。Threshold对象保存了阈值所对应的指标ID、阈值数值、阈值单位。

(4.2)代理节点对接收到的采集信息进行分析判断，根据判断结果执行不同的处理，判断接口为：

Public void dataInfoHandle(List<MetricValue>metricValueList，Thresholdthreshold)

在这种情况下，可以执行以下处理：

(a)首先循环遍历所有指标，将指标值和指标阈值进行比较，指标值超过阈值界限时，产生告警信息，调用告警发送接口sendAlarmInfo()，将告警信息发送到管理节点；

(b)根据指标采集间隔，获取该间隔内所有时间点的采集数据，根据不同指标采取不同的策略，例如CPU利用率会取所有时间点数据的平均值，而内存剩余量则取所有时间点数据的最新值。应用何种策略实在指标对象中定义的，变量名称为policy，值为0和1，其中，0表示平均值，1表示最新值。

(c)将处理后的采集数据发送到管理节点，调用接口为：

Public void sendMetricInfo(List<MetricValue>metricList)。

通过上述处理能够有效分析从虚拟机管理平台获取的各种状态信息，并且既不会增加数据开销，也能够保证数据的实时性和有效性。

相应于本发明实施例所提供的信息采集方法，本发明实施例所提供的信息采集装置如图3所示，包括：

接收模块1，用于接收虚拟机管理平台发送的状态信息；

统计分析模块2，用于根据接收的状态信息对应的类型对状态信息进行统计分析；

发送模块3，用于将统计分析后的状态信息发送至管理节点。

根据采集到的状态信息的不同类型，统计分析模块2决定是否对于虚拟机管理平台在预定周期内采集的该类型的状态信息的数值取平均值，并将该平均值作为统计分析后的状态信息；和/或确定虚拟机管理平台在预定周期内采集到的该类型的状态信息的时间，并将最后采集到的该类型的状态信息作为统计分析后的状态信息。

作为本发明信息采集装置的优选方式，接收模块1用于以预定时间间隔接收虚拟机管理平台发送的状态信息，并且，发送模块3还用于在无法接收到来自虚拟机管理平台的状态信息的情况下，向管理节点进行告警。

可以看出，本发明对设置了代理节点并对其进行功能配置，对采集得到的数据进行中间环节的处理和判断，以保证数据的有效性，并且，代理节点能够对异常数据进行判断，从而能够及时的发现系统运行时出现的问题。

综上所述，借助于本发明的上述技术方案，在保证性能的前提下，通过降低采集间隔，并经信息采集装置按照预定策略处理后，可以大幅提高状态信息的实时性和有效性，从而保证云计算管理系统的稳定性。并在出现无法采集到数据的情况时，建立告警机制。本发明的技术方案不仅能够在云计算环境下，实现大规模计算资源信息采集，对于其他类型的平台或中小规模的系统同样适用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种信息采集方法，其特征在于，包括：

接收虚拟机管理平台发送的状态信息；

根据接收的所述状态信息对应的类型对状态信息进行统计分析；

将统计分析后的状态信息发送至管理节点。

2.根据权利要求1所述的信息采集方法，其特征在于，进一步包括：

预先配置状态信息采集指标；

并且，所述虚拟机管理平台根据所述状态信息采集指标确定需要采集的状态信息的类型并进行状态信息采集。

3.根据权利要求1所述的信息采集方法，其特征在于，所述采集指标包含以下信息中的至少之一：

需要采集的状态信息的类型、需要采集的状态信息的标识、采集的时间间隔。

4.根据权利要求1所述的信息采集方法，其特征在于，根据接收的所述状态信息对应的类型对状态信息进行统计分析包括以下至少之一：

对于一个类型的状态信息，对所述虚拟机管理平台在预定周期内采集的该类型的状态信息的数值取平均值，并将该平均值作为统计分析后的状态信息；

对于一个类型的状态信息，确定所述虚拟机管理平台在预定周期内采集到的该类型的状态信息的时间，并将最后采集到的该类型的状态信息作为统计分析后的状态信息。

5.根据权利要求1所述的信息采集方法，其特征在于，根据接收的所述状态信息对应的类型对状态信息进行统计分析包括：

根据接收的状态信息确定系统是否出现异常，并在确定结果为是的情况下将表示系统出现异常的状态信息发送至管理节点并向管理节点进行告警。

6.根据权利要求1所述的信息采集方法，其特征在于，接收虚拟机管理平台发送的状态信息包括：

以预定时间间隔接收虚拟机管理平台发送的状态信息；

并且，所述方法进一步包括：

在无法接收到来自虚拟机管理平台的状态信息的情况下，向管理节点进行告警。

7.根据权利要求6所述的信息采集方法，其特征在于，在无法接收到来自虚拟机管理平台的状态信息的次数超过阈值的情况下，向管理节点进行告警。

8.一种信息采集装置，其特征在于，包括：

接收模块，用于接收虚拟机管理平台发送的状态信息；

统计分析模块，用于根据接收的所述状态信息对应的类型对状态信息进行统计分析；

发送模块，用于将统计分析后的状态信息发送至管理节点。

9.根据权利要求8所述的信息采集装置，其特征在于，所述统计分析模块用于：

对于一个类型的状态信息，对所述虚拟机管理平台在预定周期内采集的该类型的状态信息的数值取平均值，并将该平均值作为统计分析后的状态信息；和/或

对于一个类型的状态信息，确定所述虚拟机管理平台在预定周期内采集到的该类型的状态信息的时间，并将最后采集到的该类型的状态信息作为统计分析后的状态信息。

10.根据权利要求8所述的信息采集装置，其特征在于，所述接收模块用于以预定时间间隔接收虚拟机管理平台发送的状态信息；

并且，所述发送模块还用于在无法接收到来自虚拟机管理平台的状态信息的情况下，向管理节点进行告警。

Images