CN114721906A - 一种异常数据监测方法和装置 - Google Patents
一种异常数据监测方法和装置 Download PDFInfo
- Publication number
- CN114721906A CN114721906A CN202210365028.XA CN202210365028A CN114721906A CN 114721906 A CN114721906 A CN 114721906A CN 202210365028 A CN202210365028 A CN 202210365028A CN 114721906 A CN114721906 A CN 114721906A
- Authority
- CN
- China
- Prior art keywords
- error reporting
- information
- data
- error
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种异常数据监测方法和装置，属于大数据，该方法包括：接收手机银行前端上送的异常数据信息；解析异常数据信息，确定手机银行报错信息；将手机银行报错信息按照时间序列计算增长率；若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。本发明可以实时监控手机银行的异常报错、在早于用户感知之前收到异常信息并针对非用户操作导致的系统错误进行监测以实现及时提醒和修复，则可以避免用户不满情绪的产生。
Description
技术领域
本发明涉及计算机数据处理技术领域，尤其涉及一种异常数据监测方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
用户在使用手机银行APP中如果经常出现登录出错、会话超时、APP无响应等错误，会导致用户对该APP产生不满。经常性的系统崩溃会引发用户流失、用户投诉等现象。
现有的方法未对异常数据做归类处理，报错频率高，且不能很好地识别出真正有意义的报错，开发者识别异常数据时间成本高。
因此，如何提供一种新的方案，其能够解决上述技术问题是本领域亟待解决的技术难题。
发明内容
本发明实施例提供一种异常数据监测方法，可以实时监控手机银行APP的异常报错、在早于用户感知之前收到异常信息并针对非用户操作导致的系统错误进行监测以实现及时提醒和修复，则可以避免用户不满情绪的产生，包括：
接收手机银行前端上送的异常数据信息；
解析异常数据信息，确定手机银行报错信息；
将手机银行报错信息按照时间序列计算增长率；
若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。
本发明实施例还提供一种异常数据监测装置，包括：
数据接收模块，用于接收手机银行前端上送的异常数据信息；
数据解析模块，用于解析异常数据信息，确定手机银行报错信息；
增长率计算模块，用于将手机银行报错信息按照时间序列计算增长率；
告警模块，用于若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种异常数据监测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种异常数据监测方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述一种异常数据监测方法。
本发明实施例提供的一种异常数据监测方法和装置，包括：接收手机银行前端上送的异常数据信息；解析异常数据信息，确定手机银行报错信息；将手机银行报错信息按照时间序列计算增长率；若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。设计一个实时的异常数据监控的方案，实时计算时间序列内手机银行报错信息发生的增长率，以实现监测该报错是否为突然出现的报错或者报错数是否在短时间内持续增长，若是，则推送该报错信息给监测方进行告警，本发明按照时间序列为周期，对手机银行报错信息做报错数的聚合计算，并根据报错数同比计算上一个时间序列的报错数的同比增长率，并根据同比增长率计算出真正报错数突增并持续增加的报错数，作为重点需关注的报错信息进行告警。可以实时监控手机银行APP的异常报错、在早于用户感知之前收到异常信息并针对非用户操作导致的系统错误进行监测以实现及时提醒和修复，则可以避免用户不满情绪的产生，本发明通过大数据技术实现异常数据监控并实时告警，这种方法可帮助开发者了解手机银行的异常情况，以助于开发者针对异常情况及时给予解决方案。本发明提出的方案具有一定的可扩展性，用于多种App以及平台的异常监控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例一种异常数据监测方法示意图。
图2为本发明实施例一种异常数据监测方法的一个实施例示意图。
图3为本发明实施例一种异常数据监测方法的一个实施例示意图。
图4为本发明实施例一种异常数据监测方法的一个实施例示意图。
图5为运行本发明实施的一种异常数据监测方法的计算机设备示意图。
图6为本发明实施例一种异常数据监测装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
本发明属于大数据技术。图1为本发明实施例一种异常数据监测方法示意图，如图1所示，本发明实施例提供一种异常数据监测方法，可以实时监控手机银行APP的异常报错、在早于用户感知之前收到异常信息并针对非用户操作导致的系统错误进行监测以实现及时提醒和修复，则可以避免用户不满情绪的产生，包括：
步骤101：接收手机银行前端上送的异常数据信息；
步骤102：解析异常数据信息，确定手机银行报错信息；
步骤103：将手机银行报错信息按照时间序列计算增长率；
步骤104：若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。
本发明实施例提供的一种异常数据监测方法，包括：接收手机银行前端上送的异常数据信息；解析异常数据信息，确定手机银行报错信息；将手机银行报错信息按照时间序列计算增长率；若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。设计一个实时的异常数据监控的方案，实时计算时间序列内手机银行报错信息发生的增长率，以实现监测该报错是否为突然出现的报错或者报错数是否在短时间内持续增长，若是，则推送该报错信息给监测方进行告警，本发明按照时间序列为周期，对手机银行报错信息做报错数的聚合计算，并根据报错数同比计算上一个时间序列的报错数的同比增长率，并根据同比增长率计算出真正报错数突增并持续增加的报错数，作为重点需关注的报错信息进行告警。可以实时监控手机银行APP的异常报错、在早于用户感知之前收到异常信息并针对非用户操作导致的系统错误进行监测以实现及时提醒和修复，则可以避免用户不满情绪的产生，本发明通过大数据技术实现异常数据监控并实时告警，这种方法可帮助开发者了解手机银行的异常情况，以助于开发者针对异常情况及时给予解决方案。本发明提出的方案具有一定的可扩展性，用于多种App以及平台的异常监控。
具体实施本发明实施例提供的一种异常数据监测方法时，在一个实施例中，包括：
接收手机银行前端上送的异常数据信息；
解析异常数据信息，确定手机银行报错信息；
将手机银行报错信息按照时间序列计算增长率；
若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。
本发明可以实时监控APP的异常、在早于用户感知之前收到异常信息并针对非用户操作导致的系统错误进行修复，则可以避免用户不满情绪的产生。
在本发明实施例中，时间序列，是指相等的时间间隔内形成的连续数据值，例如，可以设置时间序列为间隔1分钟的连续数据值，也就是以每1分钟作为一个周期进行数据的采集和统计。
图2为本发明实施例一种异常数据监测方法的一个实施例示意图，如图2所示，具体实施本发明实施例提供的一种异常数据监测方法时，在一个实施例中，接收手机银行前端上送的异常数据信息，包括：
步骤201：通过KAFKA接收手机银行前端上送的接口报错信息；接口报错信息，是指手机银行App中非正常事件报错，常见的报错包括业务类报错和系统类报错。
步骤202：通过SPARK STREAMING流式计算程序实时接受KAFKA上送的数据信息；
步骤203：根据接口报错信息和数据信息，确定异常数据信息。
实施例中，实时接收手机银行前端上送的异常数据信息，具体过程包括：首先，通过KAFKA接收手机银行前端上送的接口报错信息；KAFKA是一种高吞吐量的分布式发布订阅消息系统，其可以处理前端软件的所有动作流数据。这种动作例如网页浏览，搜索和其他用户的行动，是在现代网络前端软件上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。然后，通过SPARK STREAMING流式计算程序实时接受KAFKA上送的数据信息；SPARKSTREAMING流式计算程序，是一种大数据处理框架，可完成实时的、高吞吐量的流式数据计算，即可实时地接受数据并完成计算。最后，根据接口报错信息和数据信息，确定异常数据信息。
具体实施本发明实施例提供的一种异常数据监测方法时，在一个实施例中，在接收到手机银行前端上送的异常数据信息后，还包括：
对异常数据信息进行预处理和过滤清洗，去掉垃圾数据；所述垃圾数据，包括：格式不正确json串，json串无法解析，json串超出设定长度。
实施例中，为了防止对异常数据的误判，需要对手机银行前端上送的异常数据信息进行清洗，具体过程包括：对异常数据信息进行预处理和过滤清洗，去掉格式不正确json串、json串无法解析以及json串超出设定长度的垃圾数据。
具体实施本发明实施例提供的一种异常数据监测方法时，在一个实施例中，所述异常数据信息为json格式的数据串；
解析异常数据信息，确定手机银行报错信息，包括：
解析json格式的数据串，获取报错接口、报错页面、报错时刻和报错码作为手机银行报错信息。
实施例中，异常数据信息通常为json格式的数据串，因此对异常数据信息，具体过程可以包括：解析json格式的数据串，获取报错接口、报错页面、报错时刻和报错码作为手机银行报错信息。
图3为本发明实施例一种异常数据监测方法的一个实施例示意图，如图3所示，具体实施本发明实施例提供的一种异常数据监测方法时，在一个实施例中，将手机银行报错信息按照时间序列计算增长率，包括：
步骤301：利用SPARK STREAMING流式计算程序，按照设定时间序列对报错接口、报错页面、报错时刻和报错码进行汇总，将汇总结果存储在第一MONGO数据表；
步骤302：对第一MONGO数据表中多个时间序列记录的报错接口、报错页面、报错时刻和报错码，分别计算当前时间序列同比上一时间序列的报错接口、报错页面、报错时刻和报错码的增长率。
实施例中，将手机银行报错信息按照时间序列计算增长率的过程，主要可以包括：
首先，利用SPARK STREAMING流式计算程序，按照设定时间序列对报错接口、报错页面、报错时刻和报错码进行汇总，将汇总结果存储在第一MONGO数据表；在一个实例中，将事件序列的值设定为1分钟作为间隔，利用SPARK STREAMING流式计算程序，将报错接口、报错页面、报错时刻和报错码按照batch间隔为1分钟进行数据汇总，将汇总结果存储在第一MONGO数据表；MONGO数据表，是一个基于分布式文件存储的数据库，由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB将数据存储为一个文档，数据结构由键值(key＝>value)对组成。MongoDB文档类似于JSON对象。字段值可以包含其他文档，数组及文档数组。
然后，对第一MONGO数据表中多个时间序列记录的报错接口、报错页面、报错时刻和报错码，分别计算当前时间序列同比上一时间序列的报错接口、报错页面、报错时刻和报错码的增长率。在一个实例中，以前述的1分钟作为时间序列的设定值，对第一MONGO数据表中多个时间序列记录的报错接口、报错页面、报错时刻和报错码，提取当前时间序列的报错接口、报错页面、报错时刻和报错码的报错数量，再提取上一时间序列的报错接口、报错页面、报错时刻和报错码的报错数量，分别计算当前时间序列同比上一时间序列的报错接口、报错页面、报错时刻和报错码的增长率，也就是，计算当前时间序列同比上一时间序列的报错接口的报错数量的增长率，计算当前时间序列同比上一时间序列的报错页面的报错数量的增长率，计算当前时间序列同比上一时间序列的报错时刻的报错数量的增长率，计算当前时间序列同比上一时间序列的报错码的报错数量的增长率。
图4为本发明实施例一种异常数据监测方法的一个实施例示意图，如图4所示，具体实施本发明实施例提供的一种异常数据监测方法时，在一个实施例中，若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警，包括：
步骤401：若在设定时长内，同一个报错接口、报错页面、报错时刻和报错码在时间序列上对应的增长率超过设定阈值，则判定所述手机银行报错信息为异常情况，将所述手机银行报错信息标记为关注信息，存入第二MONGO数据表；
步骤402：利用Java扫描第二MONGO数据表中的关注信息，按照设定方式将关注信息发送至监测方，以使监测方在对关注信息进行告警展示。
实施例中，设定对增长率设定一个阈值，监测报错接口、报错页面、报错时刻和报错码在设定时长内增长率是否超过设定阈值，若在设定时长内，同一个报错接口、报错页面、报错时刻和报错码在时间序列上对应的增长率超过设定阈值，则判定所述手机银行报错信息为异常情况，将所述手机银行报错信息标记为关注信息，存入第二MONGO数据表；然后，利用Java扫描第二MONGO数据表中的关注信息，按照设定方式将关注信息发送至监测方，以使监测方在对关注信息进行告警展示。
在一二实例中，将增长率的阈值设置为30％，设定时长为3分钟，则监测报错接口、报错页面、报错时刻和报错码的增长率，若在3分钟内，同一个报错接口、报错页面、报错时刻和报错码在时间序列上对应的增长率超过30％，则判定所述手机银行报错信息为异常情况，将所述手机银行报错信息标记为关注信息，存入第二MONGO数据表；然后，利用Java扫描第二MONGO数据表中的关注信息，按照设定方式将关注信息发送至监测方，以使监测方在对关注信息进行告警展示。
本发明实施例可以实时监控APP的异常、在早于用户感知之前收到异常信息并针对系统错误(非用户操作导致的错误)进行修复，则可以避免用户不满情绪的产生，设计一个实时的异常数据监控的方案，实时计算时间序列内同一个页面，接口，同一个报错码发生的次数，并监控该报错是否为突然出现的报错或者报错数是否在短时间内持续增长，若是，则推送该报错信息给报错关注的人员，以提醒相关人员给出解决方案。提出基于时序分析的方法，按照每分钟为一个周期，对报错码、报错接口、报错页面做报错数的聚合计算，并根据报错数同比计算上一个一分钟的报错数的同比增长率，并根据同比增长率计算出真正报错数突增并持续增加的报错数，作为重点需关注的报错信息进行告警。通过大数据技术实现异常数据监控并实时告警，这种方法可帮助开发者了解App的异常情况，以助于开发者针对异常情况及时给予解决方案。同时，本发明提出的方法具有一定的可扩展性，用于多种App以及平台的异常监控。
下面结合具体场景，对本发明实施例提供的一种异常数据监测方法进行简要描述：
本发明实施例设计一个实时的异常数据监控方案，实时计算一分钟内同一个页面，接口，同一个报错码发生的次数，并监控该报错是否为突然出现的报错或者报错数是否在短时间内持续增长，若是，则推送该报错信息给监测方报错关注的人员，以提醒相关人员给出解决方案。
本发明针对以上问题提出基于时序分析的方法，按照每分钟为一个周期，对报错码、报错接口、报错页面做报错数的聚合计算，并根据报错数同比计算上一个一分钟的报错数的同比增长率，并根据同比增长率计算出真正报错数突增并持续增加的报错数，作为重点需关注的报错信息进行告警。
技术人员需要编写spark streaming流式计算程序、mongo数据表的设计、
Java数据推送程序，需设计合理方案识别要告警的数据，需要了解kafka数据处理过程。最重要的部分是kafka上送数据的数据清洗、针对报错页面、报错码、报错接口的数据计算、告警数据计算模型。
本发明实施例还提供了一种异常数据监测方法的模块化实例，主要包括：
数据接收模块：通过kafka接受手机银行前端上送的接口报错信息，通过sparkstreaming流式计算程序实时接受kafka上送的数据信息。
数据清洗模块：kafka上送的数据信息进行预处理和过滤，去掉格式不正确或json串无法解析、json串太长等垃圾数据。
数据处理模块：解析kafka上送的json格式的数据串，获取报错接口、报错页面、报错码、报错时间等报错信息，流式程序按照batch间隔为一分钟进行报错接口、报错页面、报错码的数据汇总，并将汇总结果存储于mongo数据表。
告警计算模块：针对mongo表中的每分钟记录的报错接口、报错页面、报错码计算其同比上一分钟的增长率，若在连续三分钟内同一个报错页面、报错接口、报错码对应的增长率均大于30％，则认为该报错属于非正常情况报错，需要关注。
报错提醒模块：针对以上需要关注的报错信息，Java扫描mongo表并通过行信等行内常见的工具进行告警。
上述模块化实例的工作过程，主要包括：数据接收模块接受kafka上送的json字符串，并将json串传送给数据清洗模块，数据清洗模块过滤无效数据，并将清洗之后的json串传送给数据处理模块，数据处理模块解析json串，并按照batch time为一分钟做计算，将计算结果存储于mongo数据库，告警计算模块扫描mongo数据库，获取需要关注的报错数据，并将这些数据存储于另一个mongo数据表，报错提醒模块从时序计算模块存储结果的mongo表中读取数据通过java程序实时展示在用户端。
在告警计算模块中，基于时序计算告警数据，即最终生成的告警数据依赖于相邻的三分钟的告警数，且三分钟内每一分钟均依赖于上一分钟的报错数。通过大数据技术实现异常数据监控并实时告警，这种方法可帮助开发者了解App的异常情况，以助于开发者针对异常情况及时给予解决方案。同时，本发明提出的方法具有一定的可扩展性，用于多种App以及平台的异常监控。
图5为运行本发明实施的一种异常数据监测方法的计算机设备示意图，如图5所示，本发明实施例还提供一种计算机设备500，包括存储器510、处理器520及存储在存储器上并可在处理器上运行的计算机程序530，所述处理器执行所述计算机程序时实现上述一种异常数据监测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种异常数据监测方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述一种异常数据监测方法。
本发明实施例中还提供了一种异常数据监测装置，如下面的实施例所述。由于该装置解决问题的原理与一种异常数据监测方法相似，因此该装置的实施可以参见一种异常数据监测方法的实施，重复之处不再赘述。
图6为本发明实施例一种异常数据监测装置示意图，如图6所示，本发明实施例还提供一种异常数据监测装置。
具体实施本发明实施例提供的一种异常数据监测装置时，在一个实施例中，包括：
数据接收模块601，用于接收手机银行前端上送的异常数据信息；
数据解析模块602，用于解析异常数据信息，确定手机银行报错信息；
增长率计算模块603，用于将手机银行报错信息按照时间序列计算增长率；
告警模块604，用于若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。
具体实施本发明实施例提供的一种异常数据监测装置时，在一个实施例中，数据接收模块，具体用于：
通过KAFKA接收手机银行前端上送的接口报错信息；
通过SPARK STREAMING流式计算程序实时接受KAFKA上送的数据信息；
根据接口报错信息和数据信息，确定异常数据信息。
具体实施本发明实施例提供的一种异常数据监测装置时，在一个实施例中，还包括数据清洗模块，用于：
对异常数据信息进行预处理和过滤清洗，去掉垃圾数据；所述垃圾数据，包括：格式不正确json串，json串无法解析，json串超出设定长度。
具体实施本发明实施例提供的一种异常数据监测装置时，在一个实施例中，所述异常数据信息为json格式的数据串；
数据解析模块，具体用于：
解析json格式的数据串，获取报错接口、报错页面、报错时刻和报错码作为手机银行报错信息。
具体实施本发明实施例提供的一种异常数据监测装置时，在一个实施例中，增长率计算模块，具体用于：
利用SPARK STREAMING流式计算程序，按照设定时间序列对报错接口、报错页面、报错时刻和报错码进行汇总，将汇总结果存储在第一MONGO数据表；
对第一MONGO数据表中多个时间序列记录的报错接口、报错页面、报错时刻和报错码，分别计算当前时间序列同比上一时间序列的报错接口、报错页面、报错时刻和报错码的增长率。
具体实施本发明实施例提供的一种异常数据监测装置时，在一个实施例中，告警模块，具体用于：
若在设定时长内，同一个报错接口、报错页面、报错时刻和报错码在时间序列上对应的增长率超过设定阈值，则判定所述手机银行报错信息为异常情况，将所述手机银行报错信息标记为关注信息，存入第二MONGO数据表；
利用Java扫描第二MONGO数据表中的关注信息，按照设定方式将关注信息发送至监测方，以使监测方在对关注信息进行告警展示。
综上，本发明实施例提供的一种异常数据监测方法和装置，包括：接收手机银行前端上送的异常数据信息；解析异常数据信息，确定手机银行报错信息；将手机银行报错信息按照时间序列计算增长率；若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。设计一个实时的异常数据监控的方案，实时计算时间序列内手机银行报错信息发生的增长率，以实现监测该报错是否为突然出现的报错或者报错数是否在短时间内持续增长，若是，则推送该报错信息给监测方进行告警，本发明按照时间序列为周期，对手机银行报错信息做报错数的聚合计算，并根据报错数同比计算上一个时间序列的报错数的同比增长率，并根据同比增长率计算出真正报错数突增并持续增加的报错数，作为重点需关注的报错信息进行告警。可以实时监控手机银行APP的异常报错、在早于用户感知之前收到异常信息并针对非用户操作导致的系统错误进行监测以实现及时提醒和修复，则可以避免用户不满情绪的产生，本发明通过大数据技术实现异常数据监控并实时告警，这种方法可帮助开发者了解手机银行的异常情况，以助于开发者针对异常情况及时给予解决方案。本发明提出的方案具有一定的可扩展性，用于多种App以及平台的异常监控。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种异常数据监测方法，其特征在于，包括：
接收手机银行前端上送的异常数据信息；
解析异常数据信息，确定手机银行报错信息；
将手机银行报错信息按照时间序列计算增长率；
若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。
2.如权利要求1所述的方法，其特征在于，接收手机银行前端上送的异常数据信息，包括：
通过KAFKA接收手机银行前端上送的接口报错信息；
通过SPARK STREAMING流式计算程序实时接受KAFKA上送的数据信息；
根据接口报错信息和数据信息，确定异常数据信息。
3.如权利要求1所述的方法，其特征在于，在接收到手机银行前端上送的异常数据信息后，还包括：
对异常数据信息进行预处理和过滤清洗，去掉垃圾数据；所述垃圾数据，包括：格式不正确json串，json串无法解析，json串超出设定长度。
4.如权利要求1所述的方法，其特征在于，所述异常数据信息为json格式的数据串；
解析异常数据信息，确定手机银行报错信息，包括：
解析json格式的数据串，获取报错接口、报错页面、报错时刻和报错码作为手机银行报错信息。
5.如权利要求4所述的方法，其特征在于，将手机银行报错信息按照时间序列计算增长率，包括：
利用SPARK STREAMING流式计算程序，按照设定时间序列对报错接口、报错页面、报错时刻和报错码进行汇总，将汇总结果存储在第一MONGO数据表；
对第一MONGO数据表中多个时间序列记录的报错接口、报错页面、报错时刻和报错码，分别计算当前时间序列同比上一时间序列的报错接口、报错页面、报错时刻和报错码的增长率。
6.如权利要求5所述的方法，其特征在于，若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警，包括：
若在设定时长内，同一个报错接口、报错页面、报错时刻和报错码在时间序列上对应的增长率超过设定阈值，则判定所述手机银行报错信息为异常情况，将所述手机银行报错信息标记为关注信息，存入第二MONGO数据表；
利用Java扫描第二MONGO数据表中的关注信息，按照设定方式将关注信息发送至监测方，以使监测方在对关注信息进行告警展示。
7.一种异常数据监测装置，其特征在于，包括：
数据接收模块，用于接收手机银行前端上送的异常数据信息；
数据解析模块，用于解析异常数据信息，确定手机银行报错信息；
增长率计算模块，用于将手机银行报错信息按照时间序列计算增长率；
告警模块，用于若在设定时长内增长率超过设定阈值，则所述手机银行报错信息为异常情况，将所述手机银行报错信息发送至监测方进行告警。
8.如权利要求7所述的装置，其特征在于，数据接收模块，具体用于：
通过KAFKA接收手机银行前端上送的接口报错信息；
通过SPARK STREAMING流式计算程序实时接受KAFKA上送的数据信息；
根据接口报错信息和数据信息，确定异常数据信息。
9.如权利要求7所述的装置，其特征在于，还包括数据清洗模块，用于：
对异常数据信息进行预处理和过滤清洗，去掉垃圾数据；所述垃圾数据，包括：格式不正确json串，json串无法解析，json串超出设定长度。
10.如权利要求7所述的装置，其特征在于，所述异常数据信息为json格式的数据串；
数据解析模块，具体用于：
解析json格式的数据串，获取报错接口、报错页面、报错时刻和报错码作为手机银行报错信息。
11.如权利要求10所述的装置，其特征在于，增长率计算模块，具体用于：
利用SPARK STREAMING流式计算程序，按照设定时间序列对报错接口、报错页面、报错时刻和报错码进行汇总，将汇总结果存储在第一MONGO数据表；
对第一MONGO数据表中多个时间序列记录的报错接口、报错页面、报错时刻和报错码，分别计算当前时间序列同比上一时间序列的报错接口、报错页面、报错时刻和报错码的增长率。
12.如权利要求11所述的装置，其特征在于，告警模块，具体用于：
若在设定时长内，同一个报错接口、报错页面、报错时刻和报错码在时间序列上对应的增长率超过设定阈值，则判定所述手机银行报错信息为异常情况，将所述手机银行报错信息标记为关注信息，存入第二MONGO数据表；
利用Java扫描第二MONGO数据表中的关注信息，按照设定方式将关注信息发送至监测方，以使监测方在对关注信息进行告警展示。
13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210365028.XA CN114721906A (zh) | 2022-04-08 | 2022-04-08 | 一种异常数据监测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210365028.XA CN114721906A (zh) | 2022-04-08 | 2022-04-08 | 一种异常数据监测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114721906A true CN114721906A (zh) | 2022-07-08 |
Family
ID=82242043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210365028.XA Pending CN114721906A (zh) | 2022-04-08 | 2022-04-08 | 一种异常数据监测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114721906A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090013208A1 (en) * | 2008-03-31 | 2009-01-08 | Dimuzio Thomas M | Real time automated exception notification and reporting solution |
| CN112347379A (zh) * | 2020-10-30 | 2021-02-09 | 银盛支付服务股份有限公司 | 一种基于Spark的数据实时处理可视化的方法 |
| CN114201201A (zh) * | 2021-12-15 | 2022-03-18 | 建信金融科技有限责任公司 | 一种对业务系统异常检测方法、装置及设备 |
-
2022
- 2022-04-08 CN CN202210365028.XA patent/CN114721906A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090013208A1 (en) * | 2008-03-31 | 2009-01-08 | Dimuzio Thomas M | Real time automated exception notification and reporting solution |
| CN112347379A (zh) * | 2020-10-30 | 2021-02-09 | 银盛支付服务股份有限公司 | 一种基于Spark的数据实时处理可视化的方法 |
| CN114201201A (zh) * | 2021-12-15 | 2022-03-18 | 建信金融科技有限责任公司 | 一种对业务系统异常检测方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113051147B (zh) | 一种数据库集群的监控方法、装置、系统、以及设备 | |
| US10228996B2 (en) | Context-aware rule engine for anomaly detection | |
| CN114781510A (zh) | 一种故障定位方法、装置、系统和存储介质 | |
| JP6503679B2 (ja) | フィルタルール作成装置、フィルタルール作成方法、およびプログラム | |
| CN107239388A (zh) | 一种监测告警方法及系统 | |
| CN103856344B (zh) | 一种告警事件信息处理方法及装置 | |
| CN113918412A (zh) | 一种实时异常日志分析方法及系统 | |
| CN103746831A (zh) | 一种告警分析的方法、装置及系统 | |
| CN108182134A (zh) | 一种通用接口监控方法、装置及设备、存储介质 | |
| CN109034423B (zh) | 一种故障预警判定的方法、装置、设备及存储介质 | |
| CN110677271B (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
| US20250358303A1 (en) | Microservices anomaly detection | |
| CN108306997B (zh) | 域名解析监控方法及装置 | |
| CN106951360B (zh) | 数据统计完整度计算方法和系统 | |
| CN105763384A (zh) | 银行卡交换中心的运营保障系统 | |
| CN111427749B (zh) | 一种openstack环境下针对ironic服务的监控工具及方法 | |
| CN115167297B (zh) | 基于线程控制的智能制造工业物联网及控制方法 | |
| CN113220543B (zh) | 一种业务自动报警方法及装置 | |
| CN114721906A (zh) | 一种异常数据监测方法和装置 | |
| CN113760669A (zh) | 问题数据的告警方法及装置、电子设备、存储介质 | |
| CN116887340B (zh) | 一种短信状态报告实时推送系统 | |
| CN120336131A (zh) | 一种基于数据流动的告警平台多层级处理系统及方法 | |
| CN118838958A (zh) | 一种云环境下的基于cmdb的数据管控方法 | |
| CN118708555A (zh) | 应用于商旅平台的日志管理系统、方法、电子设备及存储介质 | |
| CN115563575B (zh) | 基于神经网络的起重机故障预测方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220708 |
|
| WD01 | Invention patent application deemed withdrawn after publication |