CN114201201A - 一种对业务系统异常检测方法、装置及设备 - Google Patents
一种对业务系统异常检测方法、装置及设备 Download PDFInfo
- Publication number
- CN114201201A CN114201201A CN202111536537.6A CN202111536537A CN114201201A CN 114201201 A CN114201201 A CN 114201201A CN 202111536537 A CN202111536537 A CN 202111536537A CN 114201201 A CN114201201 A CN 114201201A
- Authority
- CN
- China
- Prior art keywords
- log
- abnormal
- service
- business
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种对业务系统异常检测方法、装置及设备,涉及数据验证领域,该方法包括:检测到业务系统版本更新时,获取新业务系统处理业务时产生的日志信息;对当前第一汇总时间段内的日志信息进行汇总,确定各异常业务行为对应的第一日志;获取历史对更新前的业务系统统计的第二汇总时间段内日志信息的汇总结果,确定各异常业务行为对应的第二日志;根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件时,将该异常业务行为进行告警标识。通过本申请提供的方案,能够及时发现业务系统新版本上线时的异常业务,缩短问题定位的时间,提升业务服务质量。
Description
技术领域
本发明涉及数据验证领域,具体涉及一种对业务系统异常检测方法、装置及设备。
背景技术
一般的大型银行系统都会对系统标准规范化,各个系统的交易都要求记录监控日志,交易如果出错,会要求将错误码与错误信息输出到监控平台,监控平台平时会对单只交易的成功率进行监控,其中对于业务类错误监控阈值相对较低进行告警,对于技术类错误监控阈值相对较高进行告警,通过以上告警来提示运维人员及时进行干预。
以上方式属于常规监控,对于稳定态的版本是有效的,而系统新版本上线时属于非稳定态,仅仅依靠以上的方式难以及时发现问题。
1、新版本中可能不是整个交易出现问题,而是交易中的某个功能出现问题。
2、版本变更完成后依然在凌晨,随着时间的推移,业务量逐渐增大,通过以上交易成功率的监控需要等到交易高峰期才会发现问题,此时已有大量客户投诉,后续应急操作会非常被动。
3、目前的监控手段没有办法识别此次告警是否与新版本上线相关,上线后出现的问题并不一定就是本次版本造成的,也可能是历史问题。
发明内容
本申请实施例提供了一种对业务系统异常检测方法、装置及设备,以解决业务系统新版本上线时不能及时发现业务异常的问题。
第一方面,本申请实施例提供了一种对业务系统异常检测方法,所述方法包括:
检测到业务系统版本更新时,获取新业务系统处理业务时产生的日志信息,所述日志信息包括业务行为、业务是否异常及异常类型;
响应于数据统计指令,对当前第一汇总时间段内的日志信息进行汇总,确定各异常业务行为对应的第一日志;
获取历史对更新前的业务系统统计的第二汇总时间段内日志信息的汇总结果,确定各异常业务行为对应的第二日志,所述第二汇总时间段与第一汇总时间段为位于不同时间周期内的同一时间段;
根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件时,将该异常业务行为进行告警标识。
在一种可能的实施方式中,根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
确定第二日志中存在未在第一日志中出现的新异常业务行为,确定满足告警条件。
在一种可能的实施方式中,根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
确定同一异常业务行为在第一日志中出现的次数相比在第二日志中出现的次数,增长率超出预设第一阈值时,确定满足预设告警条件。
在一种可能的实施方式中,根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
确定在本时间周期内超过设定数量个汇总时间段内,同一异常业务行为在第一日志中出现的次数相比在第二日志中出现的次数,增长率未超出预设第一阈值超出第二预设阈值时,确定满足告警条件。
在一种可能的实施方式中,确定各异常业务行为对应的第一日志/第二日志:
根据所述日志信息中的业务是否异常的信息项,确定所述信息项指示业务异常时,根据异常类型得到对应的异常业务行为。
在一种可能的实施方式中,根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
根据同一异常业务行为在第一日志中出现的次数及各次对应的处理时间,得到所述异常业务行为的第一平均处理时间;
根据同一异常业务行为在第二日志中出现的次数及各次对应的处理时间,得到所述异常业务行为的第二平均处理时间;
确定所述第一平均处理时间大于第二平均处理时间且差值超出预设阈值时,确定满足告警条件。
在一种可能的实施方式中,将该异常业务行为进行告警标识之后,所述方法还包括:
确定带告警标识的异常业务行为对应的程序模块;
根据更新版本相比之前版本发生更新的程序模块对照表,确定所述程序模块在所述程序模块对照表中时,标识所述程序模块为新版本程序模块,否则标识所述程序模块为旧版本程序模块;
将待告警标识的异常业务行为及对应的标识结果发送到对应调试客户端。
在一种可能的实施方式中,确定带告警标识的异常业务行为对应的程序模块,包括:
根据所述各异常业务行为对应的第一日志,建立各异常业务行与对应的程序模块的映射关系表;
从所述映射关系表中,查询所述带告警标识的异常业务行为对应的程序模块。
在一种可能的实施方式中,所述业务包括交易信息,所述日志信息包括标识业务行为的交易码、标识业务是否异常的错误码及描述错误码的错误信息、交易开始时间和交易结束时间。
在一种可能的实施方式中,检测到业务系统版本更新时,获取新业务系统处理业务时产生的日志信息,包括:
确定版本更新完成时,打开定时分析开关;
确定定时开关打开时,通过所述业务系统所部署的业务客户端,通过SDK获取各业务客户端在处理业务时生成的日志信息;
确定版本更新后达到稳定运行指标时,关闭所述定时分析开关。
在一种可能的实施方式中,所述响应于数据统计指令,对当前第一汇总时间段内的日志信息进行汇总,包括:
间隔固定时间间隔T产生数据统计指令,确定当前时间之前时间长度为T的时间段为当前第一汇总时间段;
对当前第一汇总时间段内的日志信息进行汇总。
第二方面,本申请实施例提供了一种对业务系统异常检测装置,所述装置包括:
获取日志数据模块,用于检测到业务系统版本更新时,获取新业务系统处理业务时产生的日志信息,所述日志信息包括业务行为、业务是否异常及异常类型;
数据统计模块,用于响应于数据统计指令,对当前第一汇总时间段内的日志信息进行汇总,确定各异常业务行为对应的第一日志;
汇总日志模块,用于获取历史对更新前的业务系统统计的第二汇总时间段内日志信息的汇总结果,确定各异常业务行为对应的第二日志,所述第二汇总时间段与第一汇总时间段为位于不同时间周期内的同一时间段;
告警标识模块,用于根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件时,将该异常业务行为进行告警标识。
第三方面,本申请实施例提供了一种对业务系统异常检测设备,所述设备包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行对业务系统异常检测方法的方法。
第四方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品用于使计算机执行对业务系统异常检测方法中的方法。
第五方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序用于使计算机执行业务系统异常检测方法中的任何一项方法。
本申请实施例提供了一种对业务系统异常检测方法、装置及设备,通过对比业务系统新版本和更新前业务系统的在不同时间周期的同一时间段的日志信息的统计指标,确定统计指标的变化确定满足告警条件时,对该异常业务行为进行告警标识。利用本申请实施例提供的方法,能够及时发现业务系统新版本上线时的异常业务,缩短问题定位的时间,提升业务服务质量。
附图说明
图1为根据本发明示例性实施例示例的一种对业务系统异常检测系统对应的架构图示意图;
图2为根据本发明示例性实施例示例的一种对业务系统异常检测方法流程示意图;
图3为根据本发明示例性实施例示例的一种对业务系统异常检测方法的具体流程示意图;
图4为根据本发明示例性实施例示例的一种对业务系统异常检测装置示意图;
图5为根据本发明示例性实施例示例的一种对业务系统异常检测设备示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本申请实施例中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
本申请提供的对业务系统异常检测的方法应用在监控平台服务器监测业务系统的场景。如图1所示为本申请实施例提供的一种对业务系统异常检测系统对应的架构图,该系统包括监控平台服务器101、数据库102、至少一个业务系统服务器(图中实例的业务系统服务器103_1、业务系统服务器103_2、业务系统服务器103_3)。其中监控平台服务器101用于采集业务系统的业务日志数据;业务系统服务器可以是大型银行系统,包括个人网银系统、理财产品销售系统、收单系统(POS终端机、电子清算系统)等,用于为用户提供各项业务服务;数据库102用于存储监控平台服务器101实现相应功能需要的程序和数据。
本申请实施例应用于如图1所示的场景中,以大型银行系统为例,一般的大型银行系统都会对系统标准规范化,各个系统的交易都要求记录日志信息。针对业务系统版本更新后达到稳定运行指标之前,常规的监控方法无法满足对异常业务的监控需求时,本申请实施例提出了一种对业务系统异常检测方法,如图2所示,该方法包括:
S201:检测到业务系统版本更新时,获取新业务系统处理业务时产生的日志信息,所述日志信息包括业务行为、业务是否异常及异常类型。
在一种可能的实施方式中,确定版本更新完成时,打开定时分析开关;
确定定时开关打开时,通过所述业务系统所部署的业务客户端,通过SDK获取各业务客户端在处理业务时生成的日志信息;
确定版本更新后达到稳定运行指标时,关闭所述定时分析开关。
由于本实施例提供的对业务系统异常检测方法实施高度精准的检测和告警,相比传统的检测方法所需成本较高,鉴于版本更新后达到运行稳定指标时,传统的检测同样可以满足检测的需求,因此版本完成更新时,打开定时分析开关进行利用本申请实施例提供的方法对业务系统异常检测,一般在3天后,关闭所述定时分析开关。
对于大型银行系统来说,业务系统包括多种类型,用于实现各类业务。银行的业务系统版本更新一般是指大规模的业务系统版本更新,其更新周期较频繁,为了不影响为用户提供正常的业务服务,业务系统版本更新一般在周六凌晨。由于周末尤其是凌晨由于交易量较小,会出现无法及时发现某些异常业务行为的情况,进而使得后续的应急操作十分被动。针对此问题,本申请实施例提供的方法获取新业务系统处理业务时产生的日志信息,并对其进行分析,从而解决上述问题。
在一种可能的实施方式中,所述业务包括交易信息,所述交易信息包括标识业务行为的交易码、标识业务是否异常的错误码及描述错误码的错误信息、交易开始时间和交易结束时间。
S202:响应于数据统计指令,对当前第一汇总时间段内的日志信息进行汇总,确定各异常业务行为对应的第一日志。
在一种可能的实施方式中,所述响应于数据统计指令,对当前第一汇总时间段内的日志信息进行汇总,包括:
间隔固定时间间隔T产生数据统计指令,确定当前时间之前时间长度为T的时间段为当前第一汇总时间段;
对当前第一汇总时间段内的日志信息进行汇总。
汇总时间段为从业务系统版本更新的时刻开始计算,可以每到整点时汇总一次,例如,业务系统版本更新在2:10完成,则在3点时,汇总2:10-3:00的日志信息,在4点时,汇总3:00-4:00的日志信息;也可以每隔一个小时汇总一次,例如,业务系统版本更新在2:10完成,则在3:10汇总2:10-3:10的日志信息。
从日志信息中获取异常业务行为对应的第一日志,在此过程中,不对正常业务行为进行统计,即不对成功的交易进行统计。第一日志中包括系统版本更新后的异常业务行为的交易码、标识异常业务的错误码及描述错误码的错误信息、交易开始时间和交易结束时间。
S203:获取历史对更新前的业务系统统计的第二汇总时间段内日志信息的汇总结果,确定各异常业务行为对应的第二日志,所述第二汇总时间段与第一汇总时间段为位于不同时间周期内的同一时间段。
除了S202中对新业务系统的日志信息进行汇总外,还对更新前的业务系统的日志信息进行汇总,其汇总过程可以在新版本上线前监控平台服务器记录日志信息的时候进行汇总,也可以新版本上线后汇总第一汇总时间段内的日志信息的时候进行汇总。
从更新前的业务系统的日志信息中获取异常业务行为对应的第二日志,同样的,不对正常业务行为进行统计。第二日志中包括更新前的业务系统的异常业务行为的交易码、标识异常业务的错误码及描述错误码的错误信息、交易开始时间和交易结束时间。
其第二汇总的时间段为与第一汇总时间段为位于不同时间周期内的同一时间段,时间周期可以根据用户的需求进行设置,可以为一周也可以为其他设定天数。例如第一汇总时间段为2:10-3:00,3:00-4:00,则第二时间段为1周前的2:10-3:00,3:00-4:00。
S204:根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件时,将该异常业务行为进行告警标识。
将新业务系统的第一日志与更新前的业务系统的第二日志进行对比,需要对比的是同一异常业务行为对应的统计指标,即相同交易码、错误码、错误信息组合对应的统计指标。
在一种可能的实施方式中,确定各异常业务行为对应的第一日志/第二日志:
根据所述日志信息中的业务是否异常的信息项,确定业务是否异常的信息项只是业务存在异常时,根据异常类型得到对应的异常业务行为。所述异常业务行为为业务行为的交易码、标识业务异常的错误码及标识异常来下的错误信息的组合。
本申请实施例提供了一种对业务系统异常检测方法,通过对比业务系统新版本和更新前业务系统的在不同时间周期的同一时间段的日志信息的统计指标,确定统计指标的变化确定满足告警条件时,对该异常业务行为进行告警标识。利用本申请实施例提供的方法,能够及时、主动地发现业务系统新版本上线时的异常业务,缩短问题定位的时间,将问题产生的业务影响降到最低。
如图3所示,本申请实施例提供的对业务系统异常检测的方法主要包括两部分:新业务系统与更新前的业务系统的异常业务行为的对比分析和程序模块分析两部分。
1、新业务系统与更新前的业务系统的异常业务行为的对比分析。
在一种可能的实施方式中,根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括如下至少一种:
1)确定第二日志中存在未在第一日志中出现的新异常业务行为,确定满足告警条件。
当某个异常业务行为是首次出现时,例如交易码、错误码和错误信息的组合“A0183A200 YBLA01823135输入币别不正确”在新业务系统的第一日志中出现,未在更新前的业务系统的第二日志中出现过,则确定满足告警条件,为该异常业务行为设置告警标识Y。
2)确定同一异常业务行为在第一日志中出现的次数相比在第二日志中出现的次数,增长率超出预设第一阈值时,确定满足预设告警条件。
如表1所示为新业务系统异常业务行为的统计表,表中只列出了同一业务行为中的不同异常业务行为,以及各异常业务行为对应的交易数量。
表1
以第一阈值为30%为例,新业务系统的第一日志中的异常业务行为“A0183A200YBLA01823135输入币别不正确”的组合出现的次数为8439次,更新前的业务系统的第二日志的同一异常业务行为“A0183A200YBLA01823135输入币别不正确”的组合出现的次数为5430次,则对于该异常业务行为来说,新业务系统相较于更新前的业务系统增长率为(8439-5439)/1439≈55.38%>30%,则确定满足告警条件,为该异常业务行为设置告警标识Y。
3)确定在本时间周期内超过设定数量个汇总时间段内,同一异常业务行为在第一日志中出现的次数相比在第二日志中出现的次数,增长率未超出预设第一阈值超出第二预设阈值时,确定满足告警条件。
以第一阈值为30%,第二阈值为10%,设定数量为2次为例,汇总新业务系统2:10-3:00、3:00-4:00、4:00-5:00的第一日志;汇总一周前2:10-3:00、3:00-4:00、4:00-5:00的第二日志。
在2:10-3:00时间段,新业务系统的第一日志中的异常业务行为“A0183A200YBLA01823135输入币别不正确”的组合出现的次数为8439次;更新前的业务系统的第二日志的同一异常业务行为“A0183A200YBLA01823135输入币别不正确”的组合出现的次数为7430次。则对于该异常业务行为来说,新业务系统相较于更新前的业务系统增长率为(8439-7430)/7430≈13.6%,处于10%~30%之间,将累加标志设置为1(初始为0)。
在3:00-4:00时间段,新业务系统的第一日志中的异常业务行为“A0183A200YBLA01823135输入币别不正确”的组合出现的次数为4239次;更新前的业务系统的第二日志的同一异常业务行为“A0183A200YBLA01823135输入币别不正确”的组合出现的次数为3902次。则对于该异常业务行为来说,新业务系统相较于更新前的业务系统增长率为(4392-3902)/3902≈12.6%,处于10%~30%之间,将累加标志设置为2。
在4:10-5:00时间段,新业务系统的第一日志中的异常业务行为“A0183A200YBLA01823135输入币别不正确”的组合出现的次数为7025次;更新前的业务系统的第二日志的同一异常业务行为“A0183A200YBLA01823135输入币别不正确”的组合出现的次数为5430次。则对于该异常业务行为来说,新业务系统相较于更新前的业务系统增长率为(7025-5430)/5430≈29.4%,处于10%~30%之间,将累加标志设置为3。
在本时间周期内超过2个汇总时间段内,同一异常业务行为在第一日志中出现的次数相比在第二日志中出现的次数,增长率均在10%~30%之间,即累加标志为3,则确定满足告警条件,为该异常业务行为设置告警标识Y。
4)根据同一异常业务行为在第一日志中出现的次数及各次对应的处理时间,得到所述异常业务行为的第一平均处理时间;根据同一异常业务行为在第二日志中出现的次数及各次对应的处理时间,得到所述异常业务行为的第二平均处理时间;确定所述第一平均处理时间大于第二平均处理时间且差值超出预设阈值时,确定满足告警条件。
在汇总日志信息的过程中,处理每个业务对应的开始时间和结束时间会被记录下来,确定各异常业务行为对应的第一日志/第二日志的过程中,统计同一异常业务行为在第一日志/第二日志中出现的次数,计算同一异常业务行为在第一日志/第二日志每次异常业务行为对应的处理时间,即处理该异常业务行为的结束时间减去开始时间,将同一异常业务行为各次对应的处理时间相加除以同一异常业务行为的次数,得到所述异常业务行为的平均处理时间。
表2中包括第一日志中各异常交易行为对应的平均处理时间。
表2
以异常交易行为“A0183A200 YBLA01823135输入币别不正确”,预设阈值为500ms为例,新业务系统中的该异常交易行为534ms,更新前的业务系统中的该异常交易行为22ms,534>22,且534-22=512ms,则确定满足告警条件,为该异常业务行为设置告警标识Y。
2、程序模块分析。
获取业务系统中的所有程序模块中的带有告警标识的异常业务行为,建立错误码、错误信息与程序模块名称的对应表,如表3所示。
表3
| 错误码 | 错误信息 | 程序模块名称 |
| YBLA01823135 | 输入币别不正确 | KBSADRW0 |
| YBLA01826734 | 账号不正确 | KBCRTWE1 |
| XDBX00304590 | 本时段不允许进行该交易 | KBCRTWE1 |
在一种可能的实施方式中,确定带告警标识的异常业务行为对应的程序模块,包括:
根据所述各异常业务行为对应的第一日志,建立各异常业务行与对应的程序模块的映射关系表;
从所述映射关系表中,查询所述带告警标识的异常业务行为对应的程序模块。
此处只统计错误码、错误信息、程序模块的对应关系,由于一个业务行为可能对应多个程序模块,因此不考虑交易码与程序模块的对应关系。
在一种可能的实施方式中,将该异常业务行为进行告警标识之后,所述方法还包括:
确定带告警标识的异常业务行为对应的程序模块;
根据更新版本相比之前版本发生更新的程序模块对照表,确定所述程序模块在所程序模块对照表中时,标识所述程序模块为新版本程序模块,否则标识所述程序模块为旧版本程序模块;
将待告警标识的异常业务行为及对应的标识结果发送到对应调试客户端。
带告警标识的异常业务行为对应的程序模块不一定属于新业务系统,也有可能是在更新前的业务系统中没有发现,在版本更新后触发的问题,无论是新业务系统的程序模块还是旧版本程序模块都需要运维人员进行调试。
在本申请实施例提供的方法中,还包括告警信息发送的功能。上述S301和S302完成后,确定带有告警标识Y的异常业务行为以及所述异常业务行为对应的新版本程序模块或旧版本程序模块,将以上内容组合成短信发送给运维人员。
通过上述实施方式可以将新版本程序模块与旧版本程序模块区分开,以便能够快速获取问题所在原因,明确问题的解决方向,以实现精准运维。
基于相同的发明构思,本申请实施例提供了一种对业务系统检测装置400如图4所示,所述装置包括:
获取日志数据模块401,用于检测到业务系统版本更新时,获取新业务系统处理业务时产生的日志信息,所述日志信息包括业务行为、业务是否异常及异常类型;
数据统计模块402,用于响应于数据统计指令,对当前第一汇总时间段内的日志信息进行汇总,确定各异常业务行为对应的第一日志;
汇总日志模块403,用于获取历史对更新前的业务系统统计的第二汇总时间段内日志信息的汇总结果,确定各异常业务行为对应的第二日志,所述第二汇总时间段与第一汇总时间段为位于不同时间周期内的同一时间段;
告警标识模块404,用于根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件时,将该异常业务行为进行告警标识。
在一种可能的实施方式中,告警标识模块用于根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
确定第二日志中存在未在第一日志中出现的新异常业务行为,确定满足告警条件。
在一种可能的实施方式中,告警标识模块用于根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
确定同一异常业务行为在第一日志中出现的次数相比在第二日志中出现的次数,增长率超出预设第一阈值时,确定满足预设告警条件。
在一种可能的实施方式中,告警标识模块用于根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
确定在本时间周期内超过设定数量个汇总时间段内,同一异常业务行为在第一日志中出现的次数相比在第二日志中出现的次数,增长率未超出预设第一阈值超出第二预设阈值时,确定满足告警条件。
在一种可能的实施方式中,汇总日志模块用于确定各异常业务行为对应的第一日志/第二日志:
根据所述日志信息中的业务是否异常的信息项,确定所述信息项指示业务异常时,根据异常类型得到对应的异常业务行为。
在一种可能的实施方式中,告警标识模块用于根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
根据同一异常业务行为在第一日志中出现的次数及各次对应的处理时间,得到所述异常业务行为的第一平均处理时间;
根据同一异常业务行为在第二日志中出现的次数及各次对应的处理时间,得到所述异常业务行为的第二平均处理时间;
确定所述第一平均处理时间大于第二平均处理时间且差值超出预设阈值时,确定满足告警条件。
在一种可能的实施方式中,告警信息发送模块用于确定该异常业务行为进行告警标识之后,所述方法还包括:
确定带告警标识的异常业务行为对应的程序模块;
根据更新版本相比之前版本发生更新的程序模块对照表,确定所述程序模块在所述程序模块对照表中时,标识所述程序模块为新版本程序模块,否则标识所述程序模块为旧版本程序模块;
将待告警标识的异常业务行为及对应的标识结果发送到对应调试客户端。
在一种可能的实施方式中,告警信息发送模块用于确定带告警标识的异常业务行为对应的程序模块,包括:
根据所述各异常业务行为对应的第一日志,建立各异常业务行与对应的程序模块的映射关系表;
从所述映射关系表中,查询所述带告警标识的异常业务行为对应的程序模块。
在一种可能的实施方式中,获取日志数据模块用于获取日志数据模块获取的业务包括交易信息,所述日志信息包括标识业务行为的交易码、标识业务是否异常的错误码及标识异常错误码的错误信息、交易开始时间和交易结束时间。
在一种可能的实施方式中,获取日志数据模块用于检测到业务系统版本更新时,获取新业务系统处理业务时产生的日志信息,包括:
确定版本更新完成时,打开定时分析开关;
确定定时开关打开时,通过所述业务系统所部署的业务客户端,通过SDK获取各业务客户端在处理业务时生成的日志信息;
确定版本更新后达到稳定运行指标时,关闭所述定时分析开关。
在一种可能的实施方式中,数据统计模块用于响应于数据统计指令,对当前第一汇总时间段内的日志信息进行汇总,包括:
间隔固定时间间隔T产生数据统计指令,确定当前时间之前时间长度为T的时间段为当前第一汇总时间段;
对当前第一汇总时间段内的日志信息进行汇总。
基于相同的发明构思,本申请实施了提供了一种对业务系统异常检测设备,如图5所示,所述设备包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述实施例中的任一对业务系统异常检测方法。
下面参照图5来描述根据本申请的这种实施方式的电子设备130。图5显示的电子设备130仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于:上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
所述处理器131用于读取所述存储器132中的指令并执行,以使所述至少一个处理器能够执行上述实施例提供的一种对业务系统异常检测方法。
总线133表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)1321和/或高速缓存存储器1322,还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325,这样的程序模块1324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与电子设备130交互的设备通信,和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且,电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解,尽管图中未示出,可以结合电子设备130使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本申请提供的一种对业务系统异常检测方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种对业务系统异常检测方法的步骤。
另外,本申请还提供一种计算机可读存储介质,所述计算机存储介质存储有计算机程序所述计算机程序用于使计算机执行上述实施例中任何一项所述的方法。
这些计算机程序指令可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (15)
1.一种对业务系统异常检测方法,其特征在于,所述方法包括:
检测到业务系统版本更新时,获取新业务系统处理业务时产生的日志信息,所述日志信息包括业务行为、业务是否异常及异常类型;
响应于数据统计指令,对当前第一汇总时间段内的日志信息进行汇总,确定各异常业务行为对应的第一日志;
获取历史对更新前的业务系统统计的第二汇总时间段内日志信息的汇总结果,确定各异常业务行为对应的第二日志,所述第二汇总时间段与第一汇总时间段为位于不同时间周期内的同一时间段;
根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件时,将该异常业务行为进行告警标识。
2.根据权利要求1所述的方法,其特征在于,根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
确定第二日志中存在未在第一日志中出现的新异常业务行为,确定满足告警条件。
3.根据权利要求1所述的方法,其特征在于,根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
确定同一异常业务行为在第一日志中出现的次数相比在第二日志中出现的次数,增长率超出预设第一阈值时,确定满足预设告警条件。
4.根据权利要求1所述的方法,其特征在于,根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
确定在本时间周期内超过设定数量个汇总时间段内,同一异常业务行为在第一日志中出现的次数相比在第二日志中出现的次数,增长率未超出预设第一阈值超出第二预设阈值时,确定满足告警条件。
5.根据权利要求1~4任一所述的方法,其特征在于,确定各异常业务行为对应的第一日志/第二日志:
根据所述日志信息中的业务是否异常的信息项,确定所述信息项指示业务异常时,根据异常类型得到对应的异常业务行为。
6.根据权利要求1所述的方法,其特征在于,根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件,包括:
根据同一异常业务行为在第一日志中出现的次数及各次对应的处理时间,得到所述异常业务行为的第一平均处理时间;
根据同一异常业务行为在第二日志中出现的次数及各次对应的处理时间,得到所述异常业务行为的第二平均处理时间;
确定所述第一平均处理时间大于第二平均处理时间且差值超出预设阈值时,确定满足告警条件。
7.根据权利要求1所述的方法,其特征在于,将该异常业务行为进行告警标识之后,所述方法还包括:
确定带告警标识的异常业务行为对应的程序模块;
根据更新版本相比之前版本发生更新的程序模块对照表,确定所述程序模块在所述程序模块对照表中时,标识所述程序模块为新版本程序模块,否则标识所述程序模块为旧版本程序模块;
将待告警标识的异常业务行为及对应的标识结果发送到对应调试客户端。
8.根据权利要求7所述的方法,其特征在于,确定带告警标识的异常业务行为对应的程序模块,包括:
根据所述各异常业务行为对应的第一日志,建立各异常业务行与对应的程序模块的映射关系表;
从所述映射关系表中,查询所述带告警标识的异常业务行为对应的程序模块。
9.根据权利要求7所述的方法,其特征在于,所述业务包括交易信息,所述日志信息包括标识业务行为的交易码、标识业务是否异常的错误码及描述错误码的错误信息、交易开始时间和交易结束时间。
10.根据权利要求1所述的方法,其特征在于,检测到业务系统版本更新时,获取新业务系统处理业务时产生的日志信息,包括:
确定版本更新完成时,打开定时分析开关;
确定定时开关打开时,通过所述业务系统所部署的业务客户端,通过SDK获取各业务客户端在处理业务时生成的日志信息;
确定版本更新后达到稳定运行指标时,关闭所述定时分析开关。
11.根据权利要求1所述的方法,其特征在于,所述响应于数据统计指令,对当前第一汇总时间段内的日志信息进行汇总,包括:
间隔固定时间间隔T产生数据统计指令,确定当前时间之前时间长度为T的时间段为当前第一汇总时间段;
对当前第一汇总时间段内的日志信息进行汇总。
12.一种对业务系统异常检测装置,其特征在于,所述装置包括:
获取日志数据模块,用于检测到业务系统版本更新时,获取新业务系统处理业务时产生的日志信息,所述日志信息包括业务行为、业务是否异常及异常类型;
数据统计模块,用于响应于数据统计指令,对当前第一汇总时间段内的日志信息进行汇总,确定各异常业务行为对应的第一日志;
汇总日志模块,用于获取历史对更新前的业务系统统计的第二汇总时间段内日志信息的汇总结果,确定各异常业务行为对应的第二日志,所述第二汇总时间段与第一汇总时间段为位于不同时间周期内的同一时间段;
告警标识模块,用于根据同一异常业务行为的第一日志与第二日志得到对应的统计指标,根据统计指标的变化确定满足告警条件时,将该异常业务行为进行告警标识。
13.一种对业务系统异常检测设备,其特征在于,所述设备包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-11中任何一项所述的方法。
14.一种计算机程序产品,其特征在于,所述计算机程序产品用于使计算机执行如权利要求1-11中任何一项所述的方法。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序用于使计算机执行如权利要求1-11中任何一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111536537.6A CN114201201B (zh) | 2021-12-15 | 2021-12-15 | 一种对业务系统异常检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111536537.6A CN114201201B (zh) | 2021-12-15 | 2021-12-15 | 一种对业务系统异常检测方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114201201A true CN114201201A (zh) | 2022-03-18 |
| CN114201201B CN114201201B (zh) | 2024-12-20 |
Family
ID=80654135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111536537.6A Active CN114201201B (zh) | 2021-12-15 | 2021-12-15 | 一种对业务系统异常检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114201201B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114721906A (zh) * | 2022-04-08 | 2022-07-08 | 中国银行股份有限公司 | 一种异常数据监测方法和装置 |
| CN115883346A (zh) * | 2023-02-23 | 2023-03-31 | 广州嘉为科技有限公司 | 一种基于fdep日志的异常检测方法、装置及存储介质 |
| CN116166501A (zh) * | 2023-02-03 | 2023-05-26 | 上海擎创信息技术有限公司 | 一种日志校验方法、装置、电子设备及存储介质 |
| CN116383083A (zh) * | 2023-04-23 | 2023-07-04 | 中航信移动科技有限公司 | 基于多接口连接的异常数据源确定方法及存储介质 |
| CN116933189A (zh) * | 2022-04-07 | 2023-10-24 | 北京沃东天骏信息技术有限公司 | 一种数据检测方法和装置 |
| CN117076953A (zh) * | 2023-09-20 | 2023-11-17 | 深圳市小赢信息技术有限责任公司 | 异步服务异常处理方法、电子设备及计算机可读存储介质 |
| CN118312392A (zh) * | 2024-04-26 | 2024-07-09 | 福建天晴数码有限公司 | 一种支付系统版本发布探测预警的方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060070037A1 (en) * | 2004-09-30 | 2006-03-30 | Microsoft Corporation | Method, system, and apparatus for providing customer product support for a software program based upon states of program execution instability |
| CN108599977A (zh) * | 2018-02-13 | 2018-09-28 | 南京途牛科技有限公司 | 基于统计方法监控系统可用性的系统及方法 |
| CN109818787A (zh) * | 2019-01-21 | 2019-05-28 | 苏州科达科技股份有限公司 | 业务异常检测方法、装置及存储介质 |
| CN110191094A (zh) * | 2019-04-26 | 2019-08-30 | 北京奇安信科技有限公司 | 异常数据的监控方法及装置、存储介质、终端 |
| US20190354443A1 (en) * | 2018-05-16 | 2019-11-21 | International Business Machines Corporation | Adjusting backup data in response to an abnormality detection |
| CN111526060A (zh) * | 2020-06-16 | 2020-08-11 | 网易(杭州)网络有限公司 | 业务日志的处理方法及系统 |
| CN113297149A (zh) * | 2021-06-21 | 2021-08-24 | 中国农业银行股份有限公司 | 数据处理请求的监测方法及装置 |
| CN113312321A (zh) * | 2021-05-31 | 2021-08-27 | 中国民航信息网络股份有限公司 | 一种业务量的异常监测方法及相关设备 |
-
2021
- 2021-12-15 CN CN202111536537.6A patent/CN114201201B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060070037A1 (en) * | 2004-09-30 | 2006-03-30 | Microsoft Corporation | Method, system, and apparatus for providing customer product support for a software program based upon states of program execution instability |
| CN108599977A (zh) * | 2018-02-13 | 2018-09-28 | 南京途牛科技有限公司 | 基于统计方法监控系统可用性的系统及方法 |
| US20190354443A1 (en) * | 2018-05-16 | 2019-11-21 | International Business Machines Corporation | Adjusting backup data in response to an abnormality detection |
| CN109818787A (zh) * | 2019-01-21 | 2019-05-28 | 苏州科达科技股份有限公司 | 业务异常检测方法、装置及存储介质 |
| CN110191094A (zh) * | 2019-04-26 | 2019-08-30 | 北京奇安信科技有限公司 | 异常数据的监控方法及装置、存储介质、终端 |
| CN111526060A (zh) * | 2020-06-16 | 2020-08-11 | 网易(杭州)网络有限公司 | 业务日志的处理方法及系统 |
| CN113312321A (zh) * | 2021-05-31 | 2021-08-27 | 中国民航信息网络股份有限公司 | 一种业务量的异常监测方法及相关设备 |
| CN113297149A (zh) * | 2021-06-21 | 2021-08-24 | 中国农业银行股份有限公司 | 数据处理请求的监测方法及装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116933189A (zh) * | 2022-04-07 | 2023-10-24 | 北京沃东天骏信息技术有限公司 | 一种数据检测方法和装置 |
| CN114721906A (zh) * | 2022-04-08 | 2022-07-08 | 中国银行股份有限公司 | 一种异常数据监测方法和装置 |
| CN116166501A (zh) * | 2023-02-03 | 2023-05-26 | 上海擎创信息技术有限公司 | 一种日志校验方法、装置、电子设备及存储介质 |
| CN116166501B (zh) * | 2023-02-03 | 2024-03-08 | 上海擎创信息技术有限公司 | 一种日志校验方法、装置、电子设备及存储介质 |
| CN115883346A (zh) * | 2023-02-23 | 2023-03-31 | 广州嘉为科技有限公司 | 一种基于fdep日志的异常检测方法、装置及存储介质 |
| CN116383083A (zh) * | 2023-04-23 | 2023-07-04 | 中航信移动科技有限公司 | 基于多接口连接的异常数据源确定方法及存储介质 |
| CN116383083B (zh) * | 2023-04-23 | 2024-01-12 | 中航信移动科技有限公司 | 基于多接口连接的异常数据源确定方法及存储介质 |
| CN117076953A (zh) * | 2023-09-20 | 2023-11-17 | 深圳市小赢信息技术有限责任公司 | 异步服务异常处理方法、电子设备及计算机可读存储介质 |
| CN117076953B (zh) * | 2023-09-20 | 2024-01-16 | 深圳市小赢信息技术有限责任公司 | 异步服务异常处理方法、电子设备及计算机可读存储介质 |
| CN118312392A (zh) * | 2024-04-26 | 2024-07-09 | 福建天晴数码有限公司 | 一种支付系统版本发布探测预警的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114201201B (zh) | 2024-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114201201A (zh) | 一种对业务系统异常检测方法、装置及设备 | |
| CN110661659B (zh) | 一种告警方法、装置、系统及电子设备 | |
| EP3373516B1 (en) | Method and device for processing service calling information | |
| CN107636741B (zh) | 金融终端的故障预警方法、终端设备及存储介质 | |
| AU2019275633B2 (en) | System and method of automated fault correction in a network environment | |
| CN113918413A (zh) | 银行系统批量作业的监控方法及监控装置、电子设备 | |
| CN109934268B (zh) | 异常交易检测方法及系统 | |
| CN107302469B (zh) | 分布式服务集群系统数据更新的监控装置及方法 | |
| US12056992B2 (en) | Identification of anomalies in an automatic teller machine (ATM) network | |
| CN119089349B (zh) | 一种能源互联网营销服务系统的运行监控方法及装置 | |
| CN112887123A (zh) | 一种基于调用链的业务报警方法、系统及装置 | |
| CN112463834A (zh) | 流式处理中自动实现根因分析的方法、装置及电子设备 | |
| CN111401874A (zh) | 一种自助交易系统监控方法及装置 | |
| CN113590427A (zh) | 一种监控指标异常的告警方法、装置、存储介质和设备 | |
| CN111835566A (zh) | 一种系统故障管理方法、装置及系统 | |
| CN112416896A (zh) | 数据异常的报警方法和装置、存储介质、电子装置 | |
| CN111724009B (zh) | 风险评估方法、风控系统及风险评估设备 | |
| CN119493682A (zh) | 一种基于日志数据的故障分析定位方法及系统 | |
| CN119597596A (zh) | 一种可视化的数据预警系统和方法 | |
| CN116931843B (zh) | 基于大语言模型的用户在线管理系统 | |
| WO2025052444A1 (en) | System and method for log aggregation in a network | |
| CN110619572A (zh) | 一种监控企业公开数据高容错性增长的方法 | |
| CN113806196B (zh) | 根因分析方法及系统 | |
| CN117687874A (zh) | 针对运维平台的监控方法及装置 | |
| CN112306792A (zh) | 一种告警信息生成方法、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |