CN120523703A - 一种基于人工智能模型自动化数据处理系统及方法 - Google Patents

Abstract

本发明公开了一种基于人工智能模型自动化数据处理系统及方法，涉及数据处理技术领域。包括：数据采集模块，用于获取采集间隔，根据采集间隔，获取实时业务数据，并批量导入离线业务数据；数据预处理模块，用于对离线业务数据以及实时业务数据进行预处理；系统状态评估模块，用于获取系统当前负载数据。本发明通过对采集间隔、业务及系统数据的综合分析与动态调整，构建了数据采集的智能闭环。数据波动与系统状态双维度驱动间隔优化，既精准捕捉业务异常细节，又适配系统负载能力，同时在数据处理时，可动态匹配数据采集量与系统处理能力，避免数据过载或采集不足，提升预处理效率与异常检测精准度，减少无效计算消耗。

Description

一种基于人工智能模型自动化数据处理系统及方法

技术领域

本发明涉及技术领域，具体为一种基于人工智能模型自动化数据处理系统及方法。

背景技术

自动化数据处理系统，是融合了机器学习、自然语言处理、计算机视觉等前沿AI技术，能够对海量、多类型、多格式的数据进行全流程自动化处理的智能系统。它打破了传统数据处理中依赖人工录入、规则固化、效率低下的局限，通过AI模型的自主学习与迭代优化，实现从数据采集、清洗、转换到分析、挖掘、输出的端到端自动化。

在传统数据处理场景中，数据采集间隔常为固定设置，难以适配业务数据的动态波动与系统负载的实时变化：固定间隔过宽会遗漏业务异常细节，过窄则导致数据冗余、加剧系统负担；同时，离线数据与实时数据缺乏联动分析，系统负载状态也未被纳入采集策略调整依据，使得数据预处理效率低、异常检测精准度不足，且需依赖人工频繁干预调整间隔，运维成本高且响应滞后，难以满足现代化数据处理对高效性、稳定性与智能化的需求，因此，现在提出一种基于人工智能模型自动化数据处理系统及方法解决此类问题。

发明内容

解决的技术问题

针对现有技术的不足，本发明提供了一种基于人工智能模型自动化数据处理系统及方法，解决了上述背景技术中提出的问题。

技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于人工智能模型自动化数据处理系统，包括：

数据采集模块，用于获取采集间隔，根据采集间隔，获取实时业务数据，并批量导入离线业务数据；数据预处理模块，用于对离线业务数据以及实时业务数据进行预处理；系统状态评估模块，用于获取系统当前负载数据，并通过系统当前负载数据进行计算资源适配状态，并通过资源适配状态评估当前系统状态；周期调整模块，用于对离线业务数据、实时业务数据以及系统当前负载数据进行综合分析，得到时间调整值，并通过时间调整值调整采集间隔；数据识别模块，用于基于调整后的采集间隔获取实时业务数据，进行异常检测并存储到数据库。

优选地，所述数据采集模块还包括数据存储单元、用于对接外部设备的接口单元以及用于检测数据合规性的数据校验单元。

优选地，所述对离线业务数据以及实时业务数据进行预处理的具体步骤如下：

对离线业务数据以及实时业务数据进行标准化处理，并对离线业务数据采用历史均值填充，对实时业务数据采用前向插值填充。

优选地，所述系统当前负载数据包括：CPU使用率、内存使用率以及磁盘速率。

优选地，所述通过系统当前负载数据进行计算资源适配状态具体步骤如下：

对获取的CPU使用率、内存使用率以及磁盘速率进行综合计算，得到系统状态评估值。

优选地，通过资源适配状态评估当前系统状态的具体步骤如下：设置评估阈值，将系统状态评估值与评估阈值实时比对，若系统状态评估值大于评估阈值，则表示系统状态差，若系统状态评估值小于等于评估阈值，则表示系统状态稳定。

优选地，所述得到时间调整值的具体步骤如下：

对离线业务数据以及实时业务数据进行综合分析，得到数据波动值，将采集间隔、数据波动值以及系统状态评估值进行综合分析，得到间隔调整值；

设置调整阈值，将当前采集间隔、间隔调整值以及调整阈值进行综合计算，得到时间调整值，并根据时间调整值调整采集间隔。

优选地，所述得到数据波动值的具体步骤如下：

对离线业务数据与实时业务数据进行均值计算，得到离线业务均值与实时业务均值，通过两者的偏差程度计算数据波动值。

优选地，所述标准化处理包括对系统当前负载数据的标准化，以消除 CPU 使用率、内存使用率、磁盘速率的量纲差异。

一种基于人工智能模型自动化数据处理方法，包括以下步骤：

步骤一，获取采集间隔，根据采集间隔，获取实时业务数据，并批量导入离线业务数据；

步骤二，对离线业务数据以及实时业务数据进行预处理；

步骤三，获取系统当前负载数据，并通过系统当前负载数据进行计算资源适配状态，并通过资源适配状态评估当前系统状态；

步骤四，对离线业务数据、实时业务数据以及系统当前负载数据进行综合分析，得到时间调整值，并通过时间调整值调整采集间隔；

步骤五，基于调整后的采集间隔获取实时业务数据，进行异常检测并存储到数据库。

有益效果

本发明具有以下有益效果：

（1）该一种基于人工智能模型自动化数据处理系统及方法，通过计算的系统状态评估值，可以将 CPU 使用率、内存占用、磁盘速率等分散的硬件指标整合为直观的量化结果，精准反映系统整体负载状态。便于实时监控系统健康度，通过预设阈值快速识别高风险状态并触发预警，又能为资源调度提供数据支撑，同时，结合历史评估值可分析负载趋势，提前应对周期性高峰，大幅提升系统运维效率与稳定性，减少因突发故障导致的业务中断损失。

（2）该一种基于人工智能模型自动化数据处理系统及方法，通过对采集间隔、业务及系统数据的综合分析与动态调整，构建了数据采集的智能闭环。数据波动与系统状态双维度驱动间隔优化，既精准捕捉业务异常细节，又适配系统负载能力，同时在数据处理时，可动态匹配数据采集量与系统处理能力，避免数据过载或采集不足，提升预处理效率与异常检测精准度，减少无效计算消耗。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

图1为本发明一种基于人工智能模型自动化数据处理系统及方法的结构图；

图2为本发明一种基于人工智能模型自动化数据处理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种技术方案：一种基于人工智能模型自动化数据处理系统，包括：

数据采集模块，用于获取采集间隔，根据采集间隔，获取实时业务数据，并批量导入离线业务数据；

数据预处理模块，用于对离线业务数据以及实时业务数据进行预处理；

系统状态评估模块，用于获取系统当前负载数据，并通过系统当前负载数据进行计算资源适配状态，并通过资源适配状态评估当前系统状态；

周期调整模块，用于对离线业务数据、实时业务数据以及系统当前负载数据进行综合分析，得到时间调整值，并通过时间调整值调整采集间隔；

数据识别模块，用于基于调整后的采集间隔获取实时业务数据，进行异常检测并存储到数据库，具体是通过人工智能模型对数据进行异常检测，并且存储。

具体地，所述数据采集模块还包括数据存储单元、用于对接外部设备的接口单元以及用于检测数据合规性的数据校验单元，其中数据存储单元用于存储采集的业务数据、离线业务数据、实时业务数据及历史采集间隔记录，其中的存储介质是采用分布式数据库存储时序数据；接口单元用于通过接口对接业务系统以及对服务器进行监控，数据校验单元用于检测所获取数据的合理性，数据字段是否完整等功能。

具体地，所述对离线业务数据以及实时业务数据进行预处理的具体步骤如下：

对离线业务数据以及实时业务数据进行标准化处理，并且对系统当前负载数据也进行标准化处理，通过标准化处理可以消除量纲影响，使不同的数据可以进行比对，并对离线业务数据采用历史均值填充，当离线数据批量导入导致部分字段缺失时，可以通过计算历史均值来对缺失的部分进行填充，对实时业务数据采用前向插值填充，具体是从数据缓存中读取缺失时刻的前一时刻实时数据，通过填充补全数据。

具体地，所述系统当前负载数据包括：CPU使用率、内存使用率以及磁盘速率，其中CPU使用率、内存使用率以及磁盘速率均可通过操作系统命令实时采集。

具体地，所述通过资源适配状态评估当前系统状态的具体步骤如下：

对获取的CPU使用率、内存使用率以及磁盘速率进行综合计算，得到系统状态评估值；

对CPU使用率、内存使用率以及磁盘速率进行标准化处理，并从系统日志中历史故障事件，记录并提取系统故障时的CPU使用率、内存使用率以及磁盘速率，并设置分别设置CPU阈值、内存阈值以及磁盘阈值，并将提取的CPU使用率、内存使用率以及磁盘速率分别与CPU阈值、内存阈值以及磁盘阈值进行实时比对，且分别记录大于等于CPU阈值、内存阈值以及磁盘阈值的CPU超标次数、内存超标次数以及磁盘超标次数，对CPU超标次数、内存超标次数以及磁盘超标次数进行相加，并将其相加结果分别与对应的CPU超标次数、内存超标次数进行比值计算，分别得到CPU影响值、内存影响值以及磁盘影响值；

CPU影响值的获取方式如下：

；

式中，表示CPU影响值，CPU影响值越大，表示CPU超标导致系统异常的影响程度越大，表示CPU超标次数，表示内存超标次数，表示磁盘超标次数，通过计算可以得到CPU超标次数导致系统异常程度的评估；

且内存影响值与磁盘影响值的获取方式均与CPU影响值的获取方式相同；

将CPU影响值、内存影响值以及磁盘影响值与标准化处理后的CPU使用率、内存使用率以及磁盘速率进行综合计算，得到系统状态评估值；

系统状态评估值的获取方式如下：

；

式中，表示系统状态评估值，具体是对计算机系统当前运行状态的综合量化指标，通过整合CPU、内存、磁盘等关键硬件的负载信息，直观反映系统的负载压力，表示CPU影响值，表示CPU使用率，表示内存影响值，表示内存使用率，表示磁盘影响值，表示磁盘速率。

设置评估阈值，将系统状态评估值与评估阈值实时比对，若系统状态评估值大于评估阈值，表示系统状态差，会发出警报警示工作人员负载过大，并且会终止异常进程；若系统状态评估值小于等于评估阈值，则表示系统状态稳定，无需进行调整。

值得说明的是，通过计算的系统状态评估值，可以将CPU使用率、内存占用、磁盘速率等分散的硬件指标整合为直观的量化结果，精准反映系统整体负载状态。便于实时监控系统健康度，通过预设阈值快速识别高风险状态并触发预警，又能为资源调度提供数据支撑，同时，结合历史评估值可分析负载趋势，提前应对周期性高峰，大幅提升系统运维效率与稳定性，减少因突发故障导致的业务中断损失。

具体地，所述得到时间调整值的具体步骤如下：

对离线业务数据与实时业务数据进行均值计算，得到实时业务均值与离线业务均值，对实时业务均值与离线业务均值的偏差程度进行综合计算，得到数据波动值；

数据波动值的获取方式如下：

；

式中，表示数据波动值，具体为实时业务数据与离线历史数据的偏差程度衡量，数据波动值越大，表示当前实时数据与历史规律偏差越显著，表示实时业务均值，表示离线业务均值，通过将其乘以100%，可以将数据波动值转化为百分比的形式，使其直观易懂；

对采集间隔、离线业务数据、实时业务数据以及系统状态评估值进行综合分析，得到间隔调整值；

间隔调整值的获取方式如下：

将数据波动值与系统状态评估值进行综合计算，得到间隔调整值；间隔调整值的获取方式为：；式中，表示间隔调整值，表示数据波动值，表示系统状态评估值；

设置调整阈值，将当前采集间隔、间隔调整值以及调整阈值进行综合计算，得到时间调整值，将当前采集间隔的时间与时间调整值相加，即可得到当前所需调整到的具体采集间隔；

时间调整值的获取方式如下：

；

式中，表示时间调整值，具体为最终需要缩短或增加的时间，表示当前采集间隔,具体为当前系统正在使用的采集间隔，表示间隔调整值，表示调整阈值，通过设置的，用于确定调整的方向，并且通过的设置，限制了调整幅度，避免调整幅度过大导致系统失常；

周期调整模块计算得到新采集间隔后，通过接口单元向数据采集模块推送配置更新指令，数据采集模块实时加载新间隔并重启采集流程。

值得说明的是，通过对采集间隔、业务及系统数据的综合分析与动态调整，构建了数据采集的智能闭环。数据波动与系统状态双维度驱动间隔优化，既精准捕捉业务异常细节，又适配系统负载能力，同时在数据处理时，可动态匹配数据采集量与系统处理能力，避免数据过载或采集不足，提升预处理效率与异常检测精准度，减少无效计算消耗。

一种基于人工智能模型自动化数据处理方法，包括以下步骤：

步骤一，获取采集间隔，根据采集间隔，获取实时业务数据，并批量导入离线业务数据；

步骤二，对离线业务数据以及实时业务数据进行预处理；

步骤三，获取系统当前负载数据，并通过系统当前负载数据进行计算资源适配状态，并通过资源适配状态评估当前系统状态；

步骤四，对离线业务数据、实时业务数据以及系统当前负载数据进行综合分析，得到时间调整值，并通过时间调整值调整采集间隔；

步骤五，基于调整后的采集间隔获取实时业务数据，进行异常检测并存储到数据库

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种基于人工智能模型自动化数据处理系统，其特征在于，包括：

数据采集模块，用于获取采集间隔，根据采集间隔，获取实时业务数据，并批量导入离线业务数据；

数据预处理模块，用于对离线业务数据以及实时业务数据进行预处理；

系统状态评估模块，用于获取系统当前负载数据，并通过系统当前负载数据进行计算资源适配状态，并通过资源适配状态评估当前系统状态；

周期调整模块，用于对离线业务数据、实时业务数据以及系统当前负载数据进行综合分析，得到时间调整值，并通过时间调整值调整采集间隔；

数据识别模块，用于基于调整后的采集间隔获取实时业务数据，进行异常检测并存储到数据库。

2.根据权利要求1所述的一种基于人工智能模型自动化数据处理系统，其特征在于：所述数据采集模块还包括数据存储单元、用于对接外部设备的接口单元以及用于检测数据合规性的数据校验单元。

3.根据权利要求1所述的一种基于人工智能模型自动化数据处理系统，其特征在于：所述对离线业务数据以及实时业务数据进行预处理的具体步骤如下：

对离线业务数据以及实时业务数据进行标准化处理，并对离线业务数据采用历史均值填充，对实时业务数据采用前向插值填充。

4.根据权利要求1所述的一种基于人工智能模型自动化数据处理系统，其特征在于：所述系统当前负载数据包括：CPU使用率、内存使用率以及磁盘速率。

5.根据权利要求4所述的一种基于人工智能模型自动化数据处理系统，其特征在于：所述通过系统当前负载数据进行计算资源适配状态具体步骤如下：

对获取的CPU使用率、内存使用率以及磁盘速率进行综合计算，得到系统状态评估值。

6.根据权利要求5所述的一种基于人工智能模型自动化数据处理系统，其特征在于：通过资源适配状态评估当前系统状态的具体步骤如下：

设置评估阈值，将系统状态评估值与评估阈值实时比对，若系统状态评估值大于评估阈值，则表示系统状态差，若系统状态评估值小于等于评估阈值，则表示系统状态稳定。

7.根据权利要求1所述的一种基于人工智能模型自动化数据处理系统，其特征在于：所述得到时间调整值的具体步骤如下：

对离线业务数据以及实时业务数据进行综合分析，得到数据波动值，将采集间隔、数据波动值以及系统状态评估值进行综合分析，得到间隔调整值；

设置调整阈值，将当前采集间隔、间隔调整值以及调整阈值进行综合计算，得到时间调整值，并根据时间调整值调整采集间隔。

8.根据权利要求7所述的一种基于人工智能模型自动化数据处理系统，其特征在于：所述得到数据波动值的具体步骤如下：

对离线业务数据与实时业务数据进行均值计算，得到离线业务均值与实时业务均值，通过两者的偏差程度计算数据波动值。

9.根据权利要求3所述的一种基于人工智能模型自动化数据处理系统，其特征在于：所述标准化处理包括对系统当前负载数据的标准化，以消除 CPU 使用率、内存使用率、磁盘速率的量纲差异。

10.一种基于人工智能模型自动化数据处理方法，用于实现上述权利要求1-9任意一项所述的一种基于人工智能模型自动化数据处理系统，其特征在于：包括以下步骤：

步骤一，获取采集间隔，根据采集间隔，获取实时业务数据，并批量导入离线业务数据；

步骤二，对离线业务数据以及实时业务数据进行预处理；

步骤三，获取系统当前负载数据，并通过系统当前负载数据进行计算资源适配状态，并通过资源适配状态评估当前系统状态；

步骤四，对离线业务数据、实时业务数据以及系统当前负载数据进行综合分析，得到时间调整值，并通过时间调整值调整采集间隔；

步骤五，基于调整后的采集间隔获取实时业务数据，进行异常检测并存储到数据库。