CN110442498A - 异常数据节点的定位方法、装置、存储介质及计算机设备 - Google Patents
异常数据节点的定位方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN110442498A CN110442498A CN201910576944.6A CN201910576944A CN110442498A CN 110442498 A CN110442498 A CN 110442498A CN 201910576944 A CN201910576944 A CN 201910576944A CN 110442498 A CN110442498 A CN 110442498A
- Authority
- CN
- China
- Prior art keywords
- daily record
- abnormal data
- record data
- access behavior
- data node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3604—Analysis of software for verifying properties of programs
- G06F11/3612—Analysis of software for verifying properties of programs by runtime analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Alarm Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及计算机技术领域,尤其涉及一种异常数据节点的定位方法、装置、存储介质及计算机设备。其中,异常数据节点的定位方法,包括:获取记录访问行为的日志数据,根据时间戳将所述访问行为与所述日志数据进行绑定;将所述日志数据中的运行参数与设定阈值进行对比,若所述日志数据超出所述设定阈值的范围,则判定对应的日志数据为异常数据;获取所述异常数据对应的时间戳,根据所述时间戳获取所述访问行为,并根据访问行为确定异常数据节点的位置。本申请提供的方案,通过不断对比日志数据中的运行参数与设定阈值,确定异常数据节点的位置,解决了定位异常代码耗费时间长的问题,能够迅速精准定位异常数据节点的位置。
Description
技术领域
本申请涉及计算机技术领域,具体而言,本申请涉及一种异常数据节点的定位方法、装置、存储介质及计算机设备。
背景技术
随着应用系统越来越复杂,一个业务流程往往要跨越多个业务系统才能完成。例如,消费者在电商平台的一个购买业务流程,就可能涉及到商品展示业务系统、订单业务系统、付费业务系统、库存管理业务系统、物流业务系统等,每个业务系统对应于业务流程中涉及的一项业务。为了实现对业务流程的全面高效监控,需要跨越多个系统,追踪整个业务调用链数据。这种跨系统的作业模式使得底层代码也需要相互调用、跳转,代码数据骤增,一旦某一系统中的某段代码出现异常,若要实现对异常代码段的精准定位非常困难,
现有对异常代码段进行定位的手段是对每个环节逐个检测,这种方式在系统运行时间长,代码数据量大,业务复杂的情况下,容易出现异常代码段的定位耗费时间长,后期系统维护的成本高的问题,也容易造成巨大的经济损失。
发明内容
本申请提供了一种异常数据节点的定位方法、装置、计算机可读存储介质及计算机设备,以解决异常代码段的定位耗费时间长的问题,实现迅速精准地定位异常数据节点的位置。
本申请实施例首先提供了一种异常数据节点的定位方法,包括:
获取与访问行为有关的日志数据,根据时间戳将所述访问行为与所述日志数据进行绑定;
将所述日志数据中的运行参数与设定阈值进行对比,若所述日志数据超出所述设定阈值的范围,则判定对应的日志数据为异常数据;
获取所述异常数据对应的时间戳,根据所述时间戳获取所述访问行为,并根据访问行为确定异常数据节点的位置。
在一种实施例中,所述获取与访问行为有关的日志数据的步骤,包括:
持续监控并记录所述访问行为对应代码的执行时间、执行次数、访问行为定期产生的统计信息中的至少一种信息,其中,所述访问行为定期产生的统计信息包括中央处理器使用率、连接池状态、系统负载中的至少一种信息。
在一种实施例中,所述根据时间戳将所述访问行为与所述日志数据进行绑定的步骤,包括:
按照时间信息将访问行为对应的代码段及所述日志数据进行分段,获得代码子段与日志数据段;
按照所述代码子段与所述日志数据段上的时间戳进行匹配;
对匹配的所述代码子段与所述日志数据段进行绑定,以便后续调用。
在一种实施例中,所述对匹配的所述代码子段与所述日志数据段进行绑定的步骤之后,还包括:
将各个所述日志数据段封装成API,建立各所述日志数据段相应的标识名称,并以可视化的形式展示于客户端。
在一种实施例中,所述根据访问行为确定异常数据节点的位置的步骤之后,还包括:
解除所述日志数据对存储空间的占用。
在一种实施例中,所述根据访问行为确定异常数据节点的位置的步骤之后,还包括:
发送包含所述异常数据节点位置的告警信息至客户端。
在一种实施例中,所述发送包含所述异常数据节点位置的告警信息至客户端的步骤,包括:
根据所述异常数据节点的位置确定当前异常数据的危险等级;
根据异常数据的危险等级调取对应危险等级的告警方式,通过确定的告警方式将所述告警信息发送至客户端。
相应地,本申请实施例还提供了一种异常数据节点的定位装置,包括:
获取日志数据模块,用于获取与访问行为有关的日志数据,根据时间戳将所述访问行为与所述日志数据进行绑定;
获得异常数据模块,用于将所述日志数据中的运行参数与设定阈值进行对比,若所述日志数据超出所述设定阈值的范围,则判定对应的日志数据为异常数据;
确定异常数据节点位置模块,用于获取所述异常数据对应的时间戳,根据所述时间戳获取所述访问行为,并根据访问行为确定异常数据节点的位置。
进一步地,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机指令,当所述计算机指令在计算机上运行时,使得计算机可以执行上述任一技术方案所述的异常数据节点的定位方法的步骤。
更进一步地,本申请实施例还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任意一技术方案所述的异常数据节点的定位方法的步骤。
与现有技术相比,本申请提供的方案至少具备如下优点:
本申请实施例提供的异常数据节点的定位方法,通过在访问行为运行过程中,不断对比日志数据中的运行参数与其预设阈值,一旦发现异常数据,即锁定异常数据节点的位置及对应的运行代码段,本方案不必等到访问行为结束就能发现异常数据,且能够迅速精准地定位异常数据的发生节点,以便后续对异常数据的发生节点进行修复。
本申请实施例提供的异常数据节点的定位方法,日志数据记录的是访问行为对应代码段执行过程产生的统计数据,这些数据即是记录至少一个代码段的运行参数,采用日志数据能够实现对多代码段执行过程的监控,有利于提高对跨系统边界的访问行为以及执行时间较长的业务逻辑的监控准确性。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请一个实施例提供的异常数据节点的定位方法的实施环境图;
图2为本申请一个实施例提供的异常数据节点的定位方法的流程图;
图3为本申请一个实施例提供的根据时间戳将所述访问行为与所述日志数据进行绑定的流程图;
图4为本申请一个实施例提供的发送包含所述异常数据节点位置的告警信息至客户端的流程图;
图5为本申请一种实施例提供的异常数据节点的定位装置的结构示意图;
图6为本申请一种实施例提供的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。
图1为一个实施例中提供的异常数据节点的定位方法的实施环境图,在该实施环境中,包括用户终端、服务器端。
本实施例提供的异常数据节点的定位方法,适用于上述服务器端执行,服务器端获取与访问行为有关的日志数据,根据时间戳将所述访问行为与所述日志数据进行绑定;将所述日志数据中的运行参数与设定阈值进行对比,若所述日志数据超出所述设定阈值的范围,则判定对应的日志数据为异常数据;获取所述异常数据对应的时间戳,根据所述时间戳获取所述访问行为,并根据访问行为确定异常数据节点的位置。
需要说明的是,用户终端可为智能手机、平板电脑、笔记本电脑、台式计算机等,服务器端可以由具有处理功能的计算机设备来实现,但并不局限于此。服务器端与用户终端可以通过蓝牙、USB(Universal Serial Bus,通用串行总线)或者其他通讯连接方式进行网络连接,本申请在此不做限制。
在一个实施例中,图2为本申请实施例提供的异常数据节点的定位方法的流程图,该异常数据节点的定位方法可以应用于上述的服务器端,包括如下步骤:
步骤S210,获取与访问行为有关的日志数据,根据时间戳将所述访问行为与所述日志数据进行绑定;
步骤S220,将所述日志数据中的运行参数与设定阈值进行对比,若所述日志数据超出所述设定阈值的范围,则判定对应的日志数据为异常数据;
步骤S230,获取所述异常数据对应的时间戳,根据所述时间戳获取所述访问行为,并根据访问行为确定异常数据节点的位置。
其中,访问行为是指某一代码、程序或应用对其他代码段、模块、应用、数据库、服务器等的访问行为,如:远程调用、数据库调用等访问行为,上述访问行为可以包括程序访问行为。
其中,所述日志数据用于记录访问行为的运行过程及过程中产生的数据。日志数据及访问行为上均有时间戳,访问行为上的时间戳为执行某一程序代码的时间信息,日志数据上的时间戳则记录访问行为发生的时间信息。根据时间戳可以将相同时间信息对应的访问行为及日志数据进行绑定。
本申请提供的方案目的在于获得异常数据节点的位置,首先通过时间戳将访问行为与日志数据进行绑定,即将同一时间信息对应的访问行为与产生的日志数据进行绑定,所述绑定也可以是一种关联关系,再通过日志数据中的运行参数与该运行参数的预设阈值进行对比,以判断当前日志数据是否为异常数据,所述日志数据中的运行参数包括但不限于:访问行为对应代码的执行时间、代码执行次数、事件的发生次数、程序定期产生的统计信息等,其中,所述程序定期产生的统计信息包括:CPU、连接池状态、系统负载的至少一种信息。任一运行参数的数据超出预设阈值时,均能表明当前日志数据为异常数据。
以一示例阐述如何根据日志数据中的运行参数与设定阈值进行对比判断异常数据的过程,若日志数据中包括访问行为对应代码段的执行时间,日志数据中记录的执行时间为30秒,而该段代码的执行时间的预设阈值的范围为10秒至20秒之间,对比这段代码段的执行时间可知,日志数据中的执行时间已超出预设阈值的范围,则确定该代码段为异常数据。
同样地,根据其他运行参数进行异常数据的判断过程类似,不再赘述。
若当前日志数据为异常数据,则根据异常数据的时间戳确定当前时刻对应的访问行为,当前时刻对应的访问行为为异常数据的发生位置,该发生位置可以是异常数据对应的运行代码段。
本申请提供的异常数据节点的定位方法,通过在访问行为运行过程中,不断对比运行参数与其预设阈值,不必等到访问行为结束就能发现异常数据,一旦发现异常数据,即锁定异常数据节点的位置及对应的运行代码段,能够迅速精准地定位异常数据的发生节点,以便后续对异常数据的发生节点进行修复。
为了更清楚本申请提供的异常数据节点的定位方案及其技术效果,接下来以多个实施例对其具体方案进行详细阐述。
一种实施例中,步骤S210的获取与访问行为有关的日志数据的步骤,包括:
持续监控并记录所述访问行为对应代码的执行时间、执行次数、访问行为定期产生的统计信息中的至少一种信息;其中,所述访问行为定期产生的统计信息包括中央处理器(CPU)使用率、连接池状态、系统负载中的至少一种信息。
由于日志数据记录的是访问行为对应代码段执行过程产生的统计数据,如:统计代码的执行时间、执行次数以及访问行为定期产生的统计信息,这些数据或信息均是记录代码段或多个代码段的运行参数,实现对多段代码段执行过程的监控,因此,本申请提供的异常数据节点的定位方案适用于记录跨系统边界的访问行为,适合执行时间较长的业务逻辑监控,如:远程调用、数据库调用以及多系统协作的场景中。
一种实施例中,步骤S210的根据时间戳将所述访问行为与所述日志数据进行绑定的步骤,可以通过如下方式进行,其流程图如图3所示,包括如下子步骤:
S310,按照时间信息将访问行为对应的代码段及所述日志数据进行分段,获得代码子段与日志数据段;
S320,按照所述代码子段与所述日志数据段上的时间戳进行匹配;
S330,对匹配的所述代码子段与日志数据段进行绑定,以便后续调用。
本申请实施例中,由于访问行为对应的代码段有可能较长,对应的日志数据的数据量较大,首先将日志数据及访问行为对应的代码段按照时间信息进行分段,形成日志数据段及代码子段,日志数据及访问行为对应的代码段进行分段的时间信息优选相同,如在多段代码子段及日志数据段中,搜索10:20至10:30时间段内执行的代码子段,及相同时间段的日志数据段,代码子段与日志数据段上的时间戳相同,表明两者是匹配的,将该段时间对应的代码子段与日志数据段进行绑定。
进一步地,可以将上述日志数据段封装成应用程序接口(API),建立各日志数据段相应的标识名称,并以可视化的形式展示于客户端。
将分段后的日志数据段封装成应用程序接口的形式,分别加以存储,如系统10:20至10:30产生的日志数据,以标识名称10:20展示于前端页面上,该种方式使得各日志数据段直观地展示于客户端,便于用户调取、查看对应的日志数据段。
将日志数据段封装成API的形式,能够直接获取或访问该段数据,无需访问源码,或理解内部工作机制的细节,提升获取效率。
上述实施例中,通过对日志数据进行分段,与相同时段的代码子段进行绑定或展示于客户端,实现日志数据的监控与管理,有利于及时发现异常数据及异常数据的发生节点,提高维护效率,有利于降低整个系统瘫痪的概率。
一种实施例中,步骤S220的将所述日志数据中的运行参数与设定阈值进行对比的步骤之前,还包括:检测到异常信息,或接收到异常分析请求。
本实施例提供的方案中,后台接收到异常分析请求,该异常分析请求可以是用户端发出的,执行步骤S220至步骤S230;并返回异常数据节点的位置。
步骤S230的根据访问行为确定异常数据节点的位置的步骤之后,还包括:将包含异常数据节点位置的告警信息发送至客户端;其中,该客户端预先与所述访问行为所在系统建立关联,一旦确定异常数据的节点位置,即发送该节点位置至相关客户端,以便尽快获得修复。
进一步地,发送包含所述异常数据节点位置的告警信息至客户端的步骤,可以通过如下方式进行,其流程图如图4所示,包括如下子步骤:
S410,根据所述异常数据节点的位置确定当前异常数据的危险等级;
S420,根据异常数据的危险等级调取对应危险等级的告警方式,通过确定的告警方式将所述告警信息发送至客户端。
众所众知,一个项目由大量的代码段组成,众多代码段根据代码的功能与所处位置可以被划分为多个重要等级,核心代码段有最高重要等级,优化代码段的重要等级稍低,同样地,本申请提供的访问行为对应的代码段也会有重要等级的区分,有些代码段的运行起始段比较重要,有些是访问行为对应的运行中间段比较重要,因此需要预先根据访问行为设定代码位置对应的重要等级,根据步骤S210至步骤S230提供的方案确定异常数据节点的位置后,该异常数据节点的位置即访问行为对应的异常代码的位置,调用代码位置与重要等级的关联表,代码位置的重要等级越高,该位置出现的异常数据的危险等级越高,根据步骤S230确定的异常数据节点的位置信息,结合代码位置与重要等级的关联表,确定异常数据的危险等级,按照预先设定的各危险等级对应的告警方式进行告警。
例如,最低危险等级的告警方式可以向客户端发送表征当前访问行为出现异常的告警信息,危险等级稍高的告警信息可以向用户端采用弹窗的形式发送包含异常数据节点位置的告警信息,并通过闪烁显示的方式引起用户注意,最高危险等级的告警信息,可以调取预先关联的电话号码,通过电话的形式向用户传达包含异常数据节点位置的告警信息。
本申请实施例通过调取预设的危险等级标准对当前异常数据进行危险等级的判断,根据异常数据的危险等级,执行相应的告警措施,针对不同的危险等级采取不同的告警方式进行告警,在危险等级较小时,不会打扰到用户,又能传达告警信息,在危险等级较高时,通过更为直接的告警方式传达告警信息,确保用户及时获知告警信息,以尽快修复异常数据。
进一步地,步骤S230的根据访问行为确定异常数据节点的位置的步骤之后,还包括:解除所述日志数据对存储空间的占用。
在确定异常数据节点的位置后,删除存储的日志数据,以减少日志数据对存储空间的占用;或者删除除了异常数据对应的日志数据段之外的日志数据,保留异常数据对应的日志数据段,以便后续调取该日志数据段进行代码段的修复,有利于提高后续对其他异常数据节点的定位效率。
上述实施例提供的方案均是访问行为运行过程中出现异常数据,为了降低日志数据造成的内存占用,将日志数据删除,若访问行为完成后,日志数据中并无异常数据,则解除所述日志数据对存储空间的占用,该段访问行为运行过程中并未出现异常,则日志数据中记录的数据均符合设定的阈值范围,并不需要重新调取该段访问行为,则该段访问行为对应的日志数据则对异常数据的修复无意义,则解除该部分日志数据对内存数据的占用,以降低过多中间数据的占用率,有利于提高获得异常数据节点位置的效率。
以上为本申请提供的异常数据节点的定位方法实施例,针对于该方法,本申请还提供了与之对应的异常数据节点的定位装置的实施例。
本申请实施例还提供了一种异常数据节点的定位装置,其结构示意图如图5所示,包括:获取日志数据模块510、获得异常数据模块520、确定异常数据节点位置模块530,具体如下:
获取日志数据模块510,用于获取与访问行为有关的日志数据,根据时间戳将所述访问行为与所述日志数据进行绑定;
获得异常数据模块520,用于将所述日志数据中的运行参数与设定阈值进行对比,若所述日志数据超出所述设定阈值的范围,则判定对应的日志数据为异常数据;
确定异常数据节点位置模块530,用于获取所述异常数据对应的时间戳,根据所述时间戳获取所述访问行为,并根据访问行为确定异常数据节点的位置。
其中,获取日志数据模块510还包括:分段单元、匹配单元、绑定单元,各单元的配置信息如下:
分段单元,用于按照时间信息将所述访问行为对应的代码段及所述日志数据进行分段,获得代码子段与日志数据段;
匹配单元,用于按照所述代码子段与所述日志数据段上的时间戳进行匹配;
绑定单元,用于对匹配的所述代码子段与所述日志数据段进行绑定,以便后续调用。
关于上述实施例中的异常数据节点的定位装置,其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
进一步地,本申请实施例还提供一种计算机可读存储介质,其上存储有计算机指令,该计算机指令被处理器执行时实现上述任意一项所述的异常数据节点的定位方法的步骤。其中,所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random AcceSS Memory,随即存储器)、EPROM(EraSable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器,磁盘或光盘等。
更进一步地,本申请实施例还提供一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任意一项所述的异常数据节点的定位方法的步骤。
图6是根据一示例性实施例示出的一种用于计算机设备600的框图。例如,计算机设备600可以被提供为一服务器。参照图6,计算机设备600包括处理组件622,其进一步包括一个或多个处理器,以及由存储器632所代表的存储器资源,用于存储可由处理组件622的执行的指令,例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件622被配置为执行指令,以执行上述异常数据节点的定位方法的步骤。
计算机设备600还可以包括一个电源组件626被配置为执行计算机设备600的电源管理,一个有线或无线网络接口650被配置为将计算机设备600连接到网络,和一个输入输出(I/O)接口658。计算机设备600可以操作基于存储在存储器632的操作系统,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
应该理解的是,在本申请各实施例中的各功能单元可集成在一个处理模块中,也可以各个单元单独物理存在,也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种异常数据节点的定位方法,其特征在于,包括:
获取与访问行为有关的日志数据,根据时间戳将所述访问行为与所述日志数据进行绑定;
将所述日志数据中的运行参数与设定阈值进行对比,若所述日志数据超出所述设定阈值的范围,则判定对应的日志数据为异常数据;
获取所述异常数据对应的时间戳,根据所述时间戳获取所述访问行为,并根据访问行为确定异常数据节点的位置。
2.根据权利要求1所述的异常数据节点的定位方法,其特征在于,所述获取与访问行为有关的日志数据的步骤,包括:
持续监控并记录所述访问行为对应代码的执行时间、执行次数、访问行为定期产生的统计信息中的至少一种信息,其中,所述访问行为定期产生的统计信息包括中央处理器CPU使用率、连接池状态、系统负载中的至少一种信息。
3.根据权利要求1所述的异常数据节点的定位方法,其特征在于,所述根据时间戳将所述访问行为与所述日志数据进行绑定的步骤,包括:
按照时间信息将所述访问行为对应的代码段及所述日志数据进行分段,获得代码子段与日志数据段;
按照所述代码子段与所述日志数据段上的时间戳进行匹配;
对匹配的所述代码子段与所述日志数据段进行绑定,以便后续调用。
4.根据权利要求3所述的异常数据节点的定位方法,其特征在于,所述对匹配的所述代码子段与所述日志数据段进行绑定的步骤之后,还包括:
将各个所述日志数据段封装成API,建立各所述日志数据段相应的标识名称,并以可视化的形式展示于客户端。
5.根据权利要求1所述的异常数据节点的定位方法,其特征在于,所述根据访问行为确定异常数据节点的位置的步骤之后,还包括:
解除所述日志数据对存储空间的占用。
6.根据权利要求1所述的异常数据节点的定位方法,其特征在于,所述根据访问行为确定异常数据节点的位置的步骤之后,还包括:
发送包含所述异常数据节点位置的告警信息至客户端。
7.根据权利要求6所述的异常数据节点的定位方法,其特征在于,所述发送包含所述异常数据节点位置的告警信息至客户端的步骤,包括:
根据所述异常数据节点的位置确定当前异常数据的危险等级;
根据异常数据的危险等级调取对应危险等级的告警方式,通过确定的告警方式将所述告警信息发送至客户端。
8.一种异常数据节点的定位装置,其特征在于,包括:
获取日志数据模块,用于获取记录访问行为的日志数据,根据时间戳将所述访问行为与所述日志数据进行绑定;
获得异常数据模块,用于将所述日志数据中的运行参数与设定阈值进行对比,若所述日志数据超出所述设定阈值的范围,则判定对应的日志数据为异常数据;
确定异常数据节点位置模块,用于获取所述异常数据对应的时间戳,根据所述时间戳获取所述访问行为,并根据访问行为确定异常数据节点的位置。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机指令,当其在计算机上运行时,使得计算机可以执行上述权利要求1至7中任一项所述的异常数据节点的定位方法的步骤。
10.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至7中任意一项所述的异常数据节点的定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910576944.6A CN110442498B (zh) | 2019-06-28 | 2019-06-28 | 异常数据节点的定位方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910576944.6A CN110442498B (zh) | 2019-06-28 | 2019-06-28 | 异常数据节点的定位方法、装置、存储介质及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110442498A true CN110442498A (zh) | 2019-11-12 |
| CN110442498B CN110442498B (zh) | 2022-11-25 |
Family
ID=68428836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910576944.6A Active CN110442498B (zh) | 2019-06-28 | 2019-06-28 | 异常数据节点的定位方法、装置、存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110442498B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111045950A (zh) * | 2019-12-16 | 2020-04-21 | 上海钧正网络科技有限公司 | 性能问题点确定方法、装置、数据分析系统及存储介质 |
| CN111343161A (zh) * | 2020-02-14 | 2020-06-26 | 平安科技(深圳)有限公司 | 异常信息处理节点分析方法、装置、介质及电子设备 |
| CN111756579A (zh) * | 2020-06-24 | 2020-10-09 | 北京百度网讯科技有限公司 | 异常预警方法、装置、设备以及存储介质 |
| CN112015653A (zh) * | 2020-08-31 | 2020-12-01 | 中移(杭州)信息技术有限公司 | 问题定位方法、服务器及存储介质 |
| CN112948361A (zh) * | 2021-02-02 | 2021-06-11 | 北京三快在线科技有限公司 | 一种数据修复的方法及装置 |
| CN113449159A (zh) * | 2021-06-29 | 2021-09-28 | 乐视云计算有限公司 | 节点数据处理方法、装置、设备和计算机可读存储介质 |
| CN113472725A (zh) * | 2020-03-31 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 一种数据处理的方法和装置 |
| WO2021218179A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安科技(深圳)有限公司 | 异常数据查询方法、装置、计算机设备及存储介质 |
| CN113762569A (zh) * | 2020-10-15 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
| CN114003483A (zh) * | 2020-07-28 | 2022-02-01 | 中移(苏州)软件技术有限公司 | 数据问题排查方法、装置、设备及计算机可读存储介质 |
| CN114428822A (zh) * | 2022-01-27 | 2022-05-03 | 云启智慧科技有限公司 | 一种数据处理的方法、装置、电子设备及存储介质 |
| CN114859663A (zh) * | 2021-02-04 | 2022-08-05 | 佳能株式会社 | 信息处理装置、信息处理方法以及物品的制造方法 |
| CN116521663A (zh) * | 2023-05-06 | 2023-08-01 | 上海亿为科技有限公司 | 预制化数据中心系统管理方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040088699A1 (en) * | 2002-11-06 | 2004-05-06 | Charles Suresh | System and method for measuring code segment performance |
| CN105556482A (zh) * | 2013-06-20 | 2016-05-04 | 微软技术许可有限责任公司 | 监视移动应用性能 |
| CN106557308A (zh) * | 2015-09-29 | 2017-04-05 | 腾讯科技(深圳)有限公司 | 一种软件持续集成方法及装置 |
| CN107168845A (zh) * | 2017-03-31 | 2017-09-15 | 北京奇艺世纪科技有限公司 | 一种故障定位方法及装置 |
| CN107229555A (zh) * | 2017-05-04 | 2017-10-03 | 北京小度信息科技有限公司 | 标识生成方法和装置 |
| CN107273280A (zh) * | 2017-06-30 | 2017-10-20 | 百度在线网络技术(北京)有限公司 | 一种日志处理方法、装置、电子设备和存储介质 |
| CN107332680A (zh) * | 2016-04-28 | 2017-11-07 | 苏宁云商集团股份有限公司 | 一种系统监控方法及装置 |
| CN109739718A (zh) * | 2018-11-30 | 2019-05-10 | 贵阳朗玛信息技术股份有限公司 | 日志报警方法及装置 |
| CN109871307A (zh) * | 2018-12-25 | 2019-06-11 | 杭州茂财网络技术有限公司 | 一种精确定位启动时间问题的自动化测试方法 |
-
2019
- 2019-06-28 CN CN201910576944.6A patent/CN110442498B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040088699A1 (en) * | 2002-11-06 | 2004-05-06 | Charles Suresh | System and method for measuring code segment performance |
| CN105556482A (zh) * | 2013-06-20 | 2016-05-04 | 微软技术许可有限责任公司 | 监视移动应用性能 |
| CN106557308A (zh) * | 2015-09-29 | 2017-04-05 | 腾讯科技(深圳)有限公司 | 一种软件持续集成方法及装置 |
| CN107332680A (zh) * | 2016-04-28 | 2017-11-07 | 苏宁云商集团股份有限公司 | 一种系统监控方法及装置 |
| CN107168845A (zh) * | 2017-03-31 | 2017-09-15 | 北京奇艺世纪科技有限公司 | 一种故障定位方法及装置 |
| CN107229555A (zh) * | 2017-05-04 | 2017-10-03 | 北京小度信息科技有限公司 | 标识生成方法和装置 |
| CN107273280A (zh) * | 2017-06-30 | 2017-10-20 | 百度在线网络技术(北京)有限公司 | 一种日志处理方法、装置、电子设备和存储介质 |
| CN109739718A (zh) * | 2018-11-30 | 2019-05-10 | 贵阳朗玛信息技术股份有限公司 | 日志报警方法及装置 |
| CN109871307A (zh) * | 2018-12-25 | 2019-06-11 | 杭州茂财网络技术有限公司 | 一种精确定位启动时间问题的自动化测试方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111045950A (zh) * | 2019-12-16 | 2020-04-21 | 上海钧正网络科技有限公司 | 性能问题点确定方法、装置、数据分析系统及存储介质 |
| CN111343161A (zh) * | 2020-02-14 | 2020-06-26 | 平安科技(深圳)有限公司 | 异常信息处理节点分析方法、装置、介质及电子设备 |
| CN113472725A (zh) * | 2020-03-31 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 一种数据处理的方法和装置 |
| WO2021218179A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安科技(深圳)有限公司 | 异常数据查询方法、装置、计算机设备及存储介质 |
| CN111756579A (zh) * | 2020-06-24 | 2020-10-09 | 北京百度网讯科技有限公司 | 异常预警方法、装置、设备以及存储介质 |
| CN114003483A (zh) * | 2020-07-28 | 2022-02-01 | 中移(苏州)软件技术有限公司 | 数据问题排查方法、装置、设备及计算机可读存储介质 |
| CN112015653A (zh) * | 2020-08-31 | 2020-12-01 | 中移(杭州)信息技术有限公司 | 问题定位方法、服务器及存储介质 |
| CN113762569A (zh) * | 2020-10-15 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
| CN112948361A (zh) * | 2021-02-02 | 2021-06-11 | 北京三快在线科技有限公司 | 一种数据修复的方法及装置 |
| CN112948361B (zh) * | 2021-02-02 | 2022-04-01 | 北京三快在线科技有限公司 | 一种数据修复的方法及装置 |
| CN114859663A (zh) * | 2021-02-04 | 2022-08-05 | 佳能株式会社 | 信息处理装置、信息处理方法以及物品的制造方法 |
| CN113449159A (zh) * | 2021-06-29 | 2021-09-28 | 乐视云计算有限公司 | 节点数据处理方法、装置、设备和计算机可读存储介质 |
| CN113449159B (zh) * | 2021-06-29 | 2024-02-02 | 乐视云网络技术(北京)有限公司 | 节点数据处理方法、装置、设备和计算机可读存储介质 |
| CN114428822A (zh) * | 2022-01-27 | 2022-05-03 | 云启智慧科技有限公司 | 一种数据处理的方法、装置、电子设备及存储介质 |
| CN114428822B (zh) * | 2022-01-27 | 2022-07-29 | 云启智慧科技有限公司 | 一种数据处理的方法、装置、电子设备及存储介质 |
| CN116521663A (zh) * | 2023-05-06 | 2023-08-01 | 上海亿为科技有限公司 | 预制化数据中心系统管理方法及系统 |
| CN116521663B (zh) * | 2023-05-06 | 2025-12-23 | 上海亿为科技有限公司 | 预制化数据中心系统管理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110442498B (zh) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442498A (zh) | 异常数据节点的定位方法、装置、存储介质及计算机设备 | |
| CN114676862B (zh) | 一种数据中心的可视化运维管理方法及系统 | |
| CN113946499B (zh) | 一种微服务链路跟踪及性能分析方法、系统、设备及应用 | |
| CN109299064B (zh) | 数据库监控方法及终端设备 | |
| CN109120428B (zh) | 一种用于风控分析的方法及系统 | |
| CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
| CN113590372A (zh) | 基于日志的链路追踪方法、装置、计算机设备及存储介质 | |
| CN112100239A (zh) | 车辆检测设备画像生成方法、装置、服务器及可读存储介质 | |
| CN108711025B (zh) | 租车车辆库存查询方法、装置、电子设备、存储介质 | |
| CN109783258A (zh) | 一种消息处理方法、装置及服务器 | |
| CN110895472A (zh) | 一种识别业务变更的方法和装置 | |
| CN111475334B (zh) | TiDB数据库的维护方法、装置、计算机设备及存储介质 | |
| CN115794545A (zh) | 运维数据的自动化处理方法及其相关设备 | |
| CN114693070A (zh) | 面向第三方数据中心多租户的多层智能运维系统及方法 | |
| CN115190008B (zh) | 故障处理方法、故障处理装置、电子设备及存储介质 | |
| CN109254880A (zh) | 一种处理数据库宕机的方法及装置 | |
| CN112615909A (zh) | 在级联存储服务器集群中存储数据的方法及相关设备 | |
| CN115221171B (zh) | 异常数据智能监控方法、装置、电子设备及存储介质 | |
| CN113886780B (zh) | 客户信息校验方法、装置、介质及电子设备 | |
| CN117909111A (zh) | 监控数据处理方法、装置、设备及存储介质 | |
| CN108846455A (zh) | 一种基于二维码的继电保护装置维护的方法以及终端设备 | |
| CN117114618A (zh) | 待办项跟进方法、系统、计算机设备及存储介质 | |
| WO2024008130A1 (zh) | 故障硬件处理方法、装置和系统 | |
| CN117112612A (zh) | 面向城轨智能运控系统的回放实现方法、设备及介质 | |
| CN115878460A (zh) | 回归测试方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |