CN109165212A - 一种大数据实时监控与稽核的方法 - Google Patents

Abstract

本发明提供一种大数据实时监控与稽核的方法，属于大数据处理技术领域，本发明通过界面可以简单的配置稽核规则，在数据清理环节记录稽核的结果，将稽核结果存储到数据库中，根据稽核结果触发告警。解决在现有的数据监控稽核复杂、繁琐的问题。

Description

一种大数据实时监控与稽核的方法

技术领域

本发明涉及大数据处理技术，尤其涉及一种大数据实时监控与稽核的方法。

背景技术

数据监控和稽核是所有数据处理分析的重要任务，通过数据监控和稽核可以及时发现数据的真实情况，数据内容是否合理，大小是否异常等。现有的数据稽核均是针对某个具体的业务制定相应的规则，需要修改或增加一个稽核规则时，都要经过开发测试的过程，耗时耗力，灵活性差，维护成本高。而且随着业务数据量越来越大，现有的数据稽核过程也需要消耗过多的系统资源以及时间。

发明内容

为了解决以上技术问题，本发明提出了一种大数据实时监控与稽核的方法，旨在解决在现有的数据监控稽核复杂、繁琐的问题，以利于现场维护人员维护和使用，且在数据量越来越大的情况下仍然可以高效实时的监控数据质量。

本发明的技术方案是：

一种大数据实时监控与稽核的方法，

通过界面可以简单的配置稽核规则，在数据清理环节记录稽核的结果，将稽核结果存储到数据库中，根据稽核结果触发告警。

数据清理服务器作为一个集群，可以根据数据量增加而扩展。

数据稽核规则可以在界面配置，不需要修改代码，其规则包含数据总体核查规则以及单个字段稽核规则。

在数据清理时同时完成数据稽核。

数据清理完成即可根据稽核结果触发告警。

具体实施步骤如下：

S1，根据接口获取需要采集的数据信息，通过数据分发（manager）节点下发给数据清理服务器。

S2，通过界面配置数据稽核规则。

S3，在数据清理时记录文件总行数以及不符合各个稽核规则的行数，并记录到关系型数据库中。

S4，环比同时间段数据总行数，设定阀值触发环比波动告警。

S5，获取不符合各个稽核规则的数据比例，设定阀值分别触发数据质量告警。

本发明的有益效果是

1）通过界面配置稽核规则，只需简单的选择字段是否可为空、设定取值范围、是否满足正则表达式，不需要修改代码，利于现场维护人员使用。

2）数据清理服务器作为一个集群，可以轻易扩展，适应大数据的环境，避免由于数据量的逐渐增大而系统资源不足的情况。

3）数据清理时即记录文件具体情况，不需要去集群或者数据库中查询数据稽核，即可以更实时的监控数据质量，也可以节省查询数据带来的资源消耗。

附图说明

图1是本发明的工作流程示意图。

具体实施方式

下面对本发明的内容进行更加详细的阐述：

本发明的一种大数据实时监控与稽核的方法，通过界面可以简单的配置稽核规则，在数据清理环节记录稽核的结果，将稽核结果存储到数据库中，根据稽核结果触发告警。

如图所示，具体实施步骤如下：

S1，根据接口获取需要采集的数据信息，通过数据分发（manager）节点下发给数据清理服务器。

S2，通过界面配置数据稽核规则。

S3，在数据清理时记录文件总行数以及不符合各个稽核规则的行数，并记录到关系型数据库中。

S4，环比同时间段数据总行数，设定阀值触发环比波动告警。

S5，获取不符合各个稽核规则的数据比例，设定阀值分别触发数据质量告警。

Claims (6)

1.一种大数据实时监控与稽核的方法，其特征在于，

通过界面配置稽核规则，在数据清理环节记录稽核的结果，将稽核结果存储到数据库中，根据稽核结果触发告警。

2.根据权利要求1所述的方法，其特征在于，

数据清理服务器作为一个集群，可以根据数据量增加而扩展。

3.根据权利要求1或2所述的方法，其特征在于，

数据稽核规则可以在界面配置，不需要修改代码，其规则包含数据总体核查规则以及单个字段稽核规则。

4.根据权利要求3所述的方法，其特征在于，

在数据清理时同时完成数据稽核。

5.如权利要求4所述，其特征在于，

数据清理完成即可根据稽核结果触发告警。

6.如权利要求5所述，其特征在于，

具体实施步骤如下：

S1，根据接口获取需要采集的数据信息，通过数据分发节点下发给数据清理服务器；

S2，通过界面配置数据稽核规则；

S3，在数据清理时记录文件总行数以及不符合各个稽核规则的行数，并记录到关系型数据库中；

S4，环比同时间段数据总行数，设定阀值触发环比波动告警；

S5，获取不符合各个稽核规则的数据比例，设定阀值分别触发数据质量告警。