CN111580894A - 数据分析预警方法、装置、计算机系统及可读存储介质 - Google Patents

Abstract

本发明公开了数据分析预警方法、装置、计算机系统及可读存储介质，基于大数据，对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标；获得任一时间段的API指标形成API指标集，根据API指标集中各时间区间的API指标绘制得到折线图；在折线图中设置用于生成分析信息的控制线和中心线，根据折线图与控制线和中心线之间的位置关系生成分析信息；将与分析信息对应的时间段设为分析时间段，从预设的数据库中提取处于分析时间段的业务数据和系统数据，并将其发送用户端。本发明及时准确的识别了数据处理系统在处理业务请求时的隐患，并通过分析信息告知检测人员消除该隐患以保证数据处理系统的正常运行，提高了数据处理系统维护修复效率和效果。

Description

数据分析预警方法、装置、计算机系统及可读存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据分析预警方法、装置、计算机系统及可读存储介质。

背景技术

数据处理系统用于对业务请求进行任务处理，在任务处理过程中很容易因业务请求的内容不正确、或业务请求与数据处理系统不匹配、或处理业务请求时服务器的状态不佳等情况，造成数据处理系统无法正常运行。

为解决上述问题，目前市面上提供了一系列对数据处理系统的监控方法，其主要通过采集数据处理系统在处理业务请求时所生成的指标，并针对该指标设定阈值，一旦指标超过了该阈值将生成报警信号的方法，对数据处理系统的运行进行监控，以保证检测人员能够数据处理系统在无法运行之前对其进行维护及修复。

然而，上述指标在超过阈值之前，可能因业务请求的内容不正确、或业务请求与数据处理系统不匹配、或处理业务请求时服务器的状态不佳等情况，已经在数据处理系统中埋下了隐患；但由于目前的监控手段仍停留在阈值管理阶段，因此只能在隐患已成危害之时才对数据处理系统进行维护修复，而无法在埋下隐患之时，及时发现并消除隐患。

发明内容

本发明的目的是提供一种数据分析预警方法、装置、计算机系统及可读存储介质，用于解决现有技术存在的由于目前的监控手段仍停留在阈值管理阶段，因此只能在隐患已成危害之时才对数据处理系统进行维护修复，而无法在埋下隐患之时，及时发现并消除隐患的问题。

为实现上述目的，本发明提供一种数据分析预警方法，包括以下步骤：

对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标，所述API指标是描述所述调用接口响应时间均值、响应成功率和高度重合失败率的特征数据；

获取任一时间段的API指标形成API指标集，根据API指标集中各时间区间的各API指标绘制得到折线图；

在所述折线图中设置用于生成分析信息的控制线和中心线，根据所述折线图与控制线和中心线之间的位置关系生成分析信息；

将与所述分析信息对应的时间段设为分析时间段，从预设的数据库中提取处于所述分析时间段的业务数据和系统数据，并将其发送用户端。

上述方案中，所述对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标的步骤，包括：

创建API数据库并设立API埋点策略；

根据所述API埋点策略对所述调用接口进行埋点以获得API数据，并将所述API数据储存至所述API数据库；

按照预设的时间区间提取并汇总API数据形成API集合，计算所述API集合中API数据的均值、成功率及失败率获得API指标。

上述方案中，所述计算所述API集合中API数据的均值、成功率及失败率获得API指标的步骤，包括：

将所述API集合中API数据的响应时间相加求和获得API集合总时间，将所述API集合总时间与所述API集合中API数据的数量相除获得响应时间均值；

将所述API集合中响应成功的响应结果，与该集合中响应结果的总数相除获得响应成功率；

将API集合中重合度最高的错误原因的数量，与该集合中错误原因的总数量相除获得高度重合失败率；

汇总所述响应时间均值、响应成功率和高度重合失败率形成API指标，并将其储存至API数据库中。

上述方案中，所述根据API指标集中各时间区间的各API指标绘制得到折线图的步骤，包括：

将API指标集中API指标的时间区间作为横坐标，分别将API指标集中API指标的响应时间均值、响应成功率和高度重合失败率作为纵坐标，在坐标图上标注坐标点，及通过直线依次连接所述坐标点获得折线图。

上述方案中，根据所述折线图与控制线和中心线之间的位置关系生成分析信息的步骤，包括：

提取所述折线图上各顶点的位置，并将其依次与所述控制线和中心线进行比对；

若所述折线图具有超过所述控制线的顶点，或所述折线图中位于中心线上方的顶点数量大于或等于预设的中心预警数，或所述折线图中负斜率线段的数量大于或等于预设的控制预警数，则生成分析信息。

上述方案中，所述预设的数据库通过以下步骤获得：

创建业务数据库和系统数据库并设立业务埋点策略和系统埋点策略；

根据所述业务埋点策略对数据处理系统的业务端口进行埋点以获取业务数据，根据所述系统埋点策略对运行数据处理系统的系统程序进行埋点以获取系统数据；

将获得业务数据的时间设为业务时间并将其与所述业务数据关联，及将所述业务数据储存至所述业务数据库；将获得系统数据的时间设为系统时间并将其与所述系统数据关联，及将所述系统数据储存至所述系统数据库。

上述方案中，所述从预设的数据库中提取处于所述分析时间段的业务数据和系统数据的步骤，包括：

获取处于所述分析时间段的业务时间和系统时间，并将其设为业务分析时间和系统分析时间；

从业务数据库中提取与所述业务分析时间关联的业务数据，从系统数据库中提取与所述系统分析时间关联的系统数据。

为实现上述目的，本发明还提供一种数据分析预警装置，包括：

指标生成模块，用于对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标，所述API指标是描述所述调用接口响应时间均值、响应成功率和高度重合失败率的特征数据；

折线图生成模块，用于获得任一时间段的API指标形成API指标集，根据API指标集中各时间区间的各API指标绘制得到折线图；

预警模块，用于在所述折线图中设置用于生成分析信息的控制线和中心线，根据所述折线图与控制线和中心线之间的位置关系生成分析信息；

数据发送模块，用于将与所述分析信息对应的时间段设为分析时间段，从预设的数据库中提取处于所述分析时间段的业务数据和系统数据，并将其发送用户端。

为实现上述目的，本发明还提供一种计算机系统，其包括多个计算机设备，各计算机设备包括存储器.处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述多个计算机设备的处理器执行所述计算机程序时共同实现上述数据分析预警方法的步骤。

为实现上述目的，本发明还提供一种计算机可读存储介质，其包括多个存储介质，各存储介质上存储有计算机程序，所述多个存储介质存储的所述计算机程序被处理器执行时共同实现上述数据分析预警方法的步骤。

本发明提供的数据分析预警方法、装置、计算机系统及可读存储介质，通过对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标，汇总任一时间段的API指标形成API指标集，根据API指标集中各时间区间的API指标得到折线图；在所述折线图中设置用于生成分析信息的控制线和中心线，根据所述折线图与控制线和中心线之间的位置关系生成分析信息；以及时准确的识别数据处理系统在处理业务请求时的隐患，并通过分析信息告知检测人员消除该隐患以保证数据处理系统的正常运行；将与所述分析信息对应的时间段设为分析时间段，从预设的数据库中提取处于所述分析时间段的业务数据和系统数据，并将其发送用户端；通过将业务数据和系统数据发送用户端，以帮助检测人员识别数据处理系统处理业务请求时的隐患来源和隐患原因，进一步的提高了数据处理系统维护修复效率和效果。

附图说明

图1为本发明数据分析预警方法实施例一的流程图；

图2为本发明数据分析预警方法实施例一的数据分析预警方法的环境应用示意图；

图3为本发明数据分析预警方法实施例一的S1中获得预设的时间区间内的API指标的流程图；

图4为本发明数据分析预警方法实施例一的S103中获得API指标的流程图；

图5为本发明数据分析预警方法实施例一的S3中生成分析信息的流程图；

图6为本发明数据分析预警方法实施例一的S4中获得预设的数据库的流程图；

图7为本发明数据分析预警方法实施例一的S4中提取处于所述分析时间段的业务数据和系统数据的流程图；

图8为本发明数据分析预警装置实施例二的程序模块示意图；

图9为本发明计算机系统实施例三中计算机设备的硬件结构示意图。

附图标记：

1、数据分析预警装置2、服务器3、网络4、用户端

5、计算机设备11、指标生成模块12、折线图生成模块

13、预警模块14、数据发送模块51、存储器52、处理器

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的一种数据分析预警方法、装置、计算机系统及可读存储介质，适用于计算机领域，为提供一种基于指标生成模块、折线图生成模块、预警模块、数据发送模块的数据分析预警法。本发明通过对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标；获得任一时间段的API指标形成API指标集，根据API指标集中各时间区间的API指标得到折线图；在所述折线图中设置用于生成分析信息的控制线和中心线，根据所述折线图与控制线和中心线之间的位置关系生成分析信息；将与所述分析信息对应的时间段设为分析时间段，从预设的数据库中提取处于所述分析时间段的业务数据和系统数据，并将其发送用户端。

实施例一

请参阅图1，本实施例的一种数据分析预警方法，包括以下步骤：

S1：对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标，所述API指标是描述所述调用接口响应时间均值、响应成功率和高度重合失败率的特征数据；

S2：获取任一时间段的API指标形成API指标集，根据API指标集中各时间区间的各API指标绘制得到折线图；

S3：在所述折线图中设置用于生成分析信息的控制线和中心线，根据所述折线图与控制线和中心线之间的位置关系生成分析信息；

S4：将与所述分析信息对应的时间段设为分析时间段，从预设的数据库中提取处于所述分析时间段的业务数据和系统数据，并将其发送用户端。

本申请中所述数据处理系统运行在服务器中，所述调用接口是所述数据处理系统中用于调用预设的函数、和/或规则、和/或方法的接口；所述API指标通过API数据生成的，一个API数据包含了API端口的编号，业务端口在接收到业务请求时，将从API端口调用相应的程序以完成该业务请求所对应的任务，因此API端口将记录所述业务请求从请求发起到请求结束所使用的响应时间、生成对该业务请求的响应结果以及在响应失败时所生成的用于描述失败情况的错误原因；计算预设的时间区间内的各API数据的响应时间、响应结果和错误原因，分别获得响应时间均值、响应成功率和高度重合失败率，汇总所述响应时间均值、响应成功率和高度重合失败率形成API指标，并将其储存至预设的API数据库。

计算预设的时间段的API数据，以获得由均值趋势线、成功趋势线和失败趋势线组成的折线图；通过设置均值控制线、均值中心线，成功控制线、成功中心线、失败控制线和失败中心线生成分析信息；其中，一旦某一时间段所对应的折线图，因均值控制线和均值中心线，或成功控制线和成功中心线，或失败控制线和失败中心线生成分析信息；所述分析信息说明该时间段内的业务请求的业务数据是有风险的，或不符合API端口协议的，或是该时间段内服务器所运行的系统出现了问题。例如：将12月7日9点到12点的时间段的API指标形成API指标集，根据API指标集中各时间区间的API指标绘制折线图；在所述折线图中设置用于生成分析信息的控制线和中心线，根据所述折线图与控制线和中心线之间的位置关系生成分析信息；

提取所述分析信息对应的折线图的分析时间段；从业务数据库中获取处于所述分析时间段的业务数据，及从系统数据库中提取处于所述分析时间段的系统数据；由于业务数据关联有用于表达API端口接收到业务请求的时间点的业务时间，因此，提取业务时间处于该时间段的业务数据并将其输出至用户端，使用户可检查处于该时间段内所有业务数据的异常情况；同时，利用时钟周期定期通过系统ETL工具从所述服务器的运行系统中的埋点采集系统数据，使得所述系统数据中具有用于表达采集系统数据的时间点的系统时间，因此，提取系统时间处于该时间段的系统数据并将其输出至用户端，使用户可检查处于该时间段内所有系统数据的异常情况。

本申请的数据分析预警方法可运行在具有数据处理系统的服务器中；也可运行在另一服务器中，并将该服务器与具有数据处理系统的服务器通信连接。

图2示意性示出了根据本申请实施例一的数据分析预警方法的环境应用示意图。

在示例性的实施例中，数据分析预警方法运行在服务器2中，服务器2通过网络3与至少一个用户端4连接，服务器2可以通过一个或多个网络3提供服务，网络3可以包括各种网络设备，例如路由器，交换机，多路复用器，集线器，调制解调器，网桥，中继器，防火墙，代理设备和/或等等。网络3可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，它们的组合和/或类似物。网络3可以包括无线链路，例如蜂窝链路，卫星链路，Wi-Fi链路和/或类似物。

服务器2可以由单个或多个计算机设备(如，服务器)组成。该单个或多个计算设备可以包括虚拟化计算实例。虚拟化计算实例可以包括虚拟机，诸如计算机系统的仿真，操作系统，服务器等。计算设备可以基于定义用于仿真的特定软件(例如，操作系统，专用应用程序，服务器)的虚拟映像和/或其他数据来加载虚拟机。随着对不同类型的处理服务的需求改变，可以在一个或多个计算设备上加载和/或终止不同的虚拟机。可以实现管理程序以管理同一计算设备上的不同虚拟机的使用。

在一个优选的实施例中，请参阅图3，所述S1中对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标的步骤，包括：

S101：创建API数据库并设立API埋点策略。

本步骤中，建立与所述API数据库连接的API数据源。

S102：根据所述API埋点策略对所述调用接口进行埋点以获得API数据，并将所述API数据储存至所述API数据库。

本步骤中，采用端口ETL工具从所述API端口中的埋点获取API数据，并将所述API数据输出至API数据库。

需要说明的是，埋点是数据采集领域的术语，指的是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程；埋点策略是指定义埋点的事件ID、事件名称、事件说明以及功能模块的信息，其用于规定埋点在特定模块采集特定ID、名称及说明的事件，例如：

事件ID	事件名称	事件说明	功能模块
				activityDetail	活动详情	活动详情页面	活动模块
playMusic	音乐播放	音乐播放器详情页面	音乐模块
				videoDetail	视频详情	视频播放详情页面	视频模块

进一步地，本实施例采用的是通过端口ETL工具对数据运行系统进行埋点并获取数据，所述端口ETL工具是一种应用于系统的接口或端口，用于将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的计算机模块，本实施例可通过Kettle，Datastage，Informatica等ETL工具从所述API端口中的埋点获取API数据，并将所述API数据输出至API数据库。

具体的，所述API数据包括API编号、响应时间、响应结果、错误原因；其中，API编号为API端口的编号，所述响应时间是指从请求发起到请求结束所使用的时间，响应结果为响应成功或响应失败，当响应结果为响应成功时，错误原因为空，当响应结果为失败时，错误原因为根据所述业务请求在通过API端口输出至服务器时，所产生的错误代码。

进一步的，本申请与运行数据处理系统的服务器约定响应成功的标准，例如响应报文里code为0时为响应成功，响应报文里的code不为0时为响应失败。

S103：按照预设的时间区间提取并汇总API数据形成API集合，计算所述API集合中API数据的均值、成功率及失败率获得API指标。

本步骤中，所述API指标包括响应时间均值、响应成功率和高度重合失败率，所述时间区间可以是小时、日、周、月，因此，所述API指标则用于表达在单位时间内(如：小时、日、周、月)内，所有业务请求的响应时间均值、响应成功率和高度重合失败率。

由于单一API数据的响应时间、响应结果和错误原因是无法真实的展示数据处理系统中API端口、业务端口以及系统程序的运行正常与否的，因此通过获得业务请求的响应时间均值方可真实描述某一时间区间内响应时间的情况，以消除某一业务请求的响应时间过短或过长所形成的数据干扰；

计算机和通信系统的运行环境是比较复杂的，因此业务请求调用API接口响应失败的情况并非一定是异常情况；通过业务请求的响应成功率以描述某一时间区间内业务请求整体调用响应情况，更加真实的反应了数据处理系统及其服务器处理业务请求的可靠性；

由于计算机和通信系统的复杂性，因此，响应业务请求在某一时刻出现错误在所难免，而有的错误会因业务请求的再次请求或运行环境的改变而自行消除，如果将这类错误原因也纳入到检测人员的检查修复工作范畴内，将导致检测人员的工作量急剧增加，维护修复工作效率以及工作效果大幅降低；因此，通过高度重合失败率反映了某一时间区间内业务请求发生频次对多的错误，既准确的识别了真正需要检测人员维护修复的工作对象，又避免了因某些偶发性、可自修复的错误的出现，导致检测人员维护修复工作激增的情况，同时保证了数据处理系统及其服务器的可靠性和检测人员的工作效率。

在一个优选的实施例中，请参阅图4，S103中的计算所述API集合中API数据的均值、成功率及失败率获得API指标的步骤，包括：

S103-1：将所述API集合中API数据的响应时间相加求和获得API集合总时间，将所述API集合总时间与所述API集合中API数据的数量相除获得响应时间均值。

S103-2：将所述API集合中响应成功的响应结果，与该集合中响应结果的总数相除获得响应成功率。

示例性地，获取各所述业务数据的响应结果的个数，作为响应总数；依次获取内容为响应成功的响应结果，并获取所述响应结果的个数，作为成功数量；将所述成功数量与响应总数相除获得响应成功率；

S103-3：将API集合中重合度最高的错误原因的数量，与该集合中错误原因的总数量相除获得高度重合失败率。

示例性地，获取内容为响应失败的响应结果，并获取所述响应结果的个数以作为失败数量；将各错误原因进行对比，选择重合度最高的错误原因作为高度重合原因；获取所述高度重合原因所对应的响应结果，并获取所述响应结果的个数作为高度重合数量；将所述高度重合数量与所述失败数量相除获得高度重合失败率。

S103-4：汇总所述响应时间均值、响应成功率和高度重合失败率形成API指标，并将其储存至API数据库中。

于本实施例中，所述S2中的时间段可以是日、周、月、年。

在一个优选的实施例中，所述S2中根据API指标集中各时间区间的各API指标绘制得到折线图的步骤，包括：

将API指标集中API指标的时间区间作为横坐标，分别将API指标集中API指标的响应时间均值、响应成功率和高度重合失败率作为纵坐标，在坐标图上标注坐标点，及通过直线依次连接所述坐标点获得折线图。

示例性地，以API指标的时间区间作为横坐标，API指标的响应时间均值作为纵坐标，将API指标集中各API指标以坐标点的形式标注在坐标图上，并通过直线依次连接坐标图上各坐标点形成均值趋势线；其中，时间区间随着横坐标的延伸方向递增，响应时间随着纵坐标的延伸方向递增。以API指标的时间区间作为横坐标、API指标的响应成功率作为纵坐标，将API指标集中各API指标标注在坐标图上，并通过直线依次连接坐标图上各API指标形成成功趋势线；其中，时间区间随着横坐标的延伸方向递增，响应成功率随着纵坐标的延伸方向递减。以API指标的时间区间作为横坐标，API指标的高度重合失败率作为纵坐标，将API指标集中各API指标标注在坐标图上，并通过直线依次连接坐标图上各API指标形成失败趋势线，其中，时间区间随着横坐标的延伸方向递增，高度重合失败率随着纵坐标的延伸方向递增。将所述均值趋势线、成功趋势线和失败趋势线在坐标图内合成为折线图。

因此，将不同时间区间的API指标通过坐标图和直线关联起来，获得由均值趋势线、成功趋势线和失败趋势线在坐标图内合成为折线图，获得各API指标之间的数据关系，以直观反映出在时间段内各时间区间的API指标的增长下降情况。

在示例性的实施例中，S3中在所述折线图中设置用于生成分析信息的控制线和中心线的步骤，包括：

S301：将所述折线图各顶点的纵坐标之和与所述顶点的数量相除获得中心纵坐标，根据所述中心纵坐标平行于坐标图的横轴划线获得中心线；所述中心线用于表达折线图的均值。

示例性地，所述中心线包括均值中心线、成功中心线和失败中心线。

将所述均值趋势线各顶点的纵坐标之和与各顶点数量相除以获得均值中心纵坐标，根据所述均值中心纵坐标在坐标图中平行于所述坐标图的横轴划线获得均值中心线。

将所述成功趋势线各顶点的纵坐标之和与各顶点数量相除以获得成功中心纵坐标，根据所述成功中心纵坐标在坐标图中平行于所述坐标图的横轴划线获得成功中心线。

将所述失败趋势线各顶点的纵坐标之和与各顶点数量相除以获得失败中心纵坐标，根据所述失败中心纵坐标在坐标图中平行于所述坐标图的横轴划线获得失败中心线。

S302：在所述中心线上下两侧分别设置与中心线平行的控制线；其中，在坐标图中位于两个所述控制线之间的区域为控制区，在坐标图中位于所述控制区以外的区域为非控制区。

示例性地，所述控制线包括均值控制线、成功控制线和失败控制线。

在所述均值中心线上下两侧，分别设置与所述均值中心线平行的均值控制线，所述两个均值控制线以均值中心线为对称线；在坐标图中位于两个所述均值控制线之间的区域为均值控制区，在坐标图中位于所述均值控制区以外的区域为非均值控制区；其中，位于均值中心线上侧均值控制线的纵坐标，为位于均值中心线下侧均值控制线的纵坐标的整数倍。

在所述成功中心线上下两侧，分别设置与所述成功中心线平行的成功控制线，所述两个成功控制线以成功中心线为对称线；在坐标图中位于两个所述成功控制线之间的区域为成功控制区，在坐标图中位于所述成功控制区以外的区域为非成功控制区；其中，位于成功中心线上侧成功控制线的纵坐标，为位于成功中心线下侧成功控制线的纵坐标的整数倍。

在所述失败中心线上下两侧，分别设置与所述失败中心线平行的失败控制线，所述两个失败控制线以失败中心线为对称线；在坐标图中位于两个所述失败控制线之间的区域为失败控制区，在坐标图中位于所述失败控制区以外的区域为非失败控制区；其中，位于失败中心线上侧失败控制线的纵坐标，为位于失败中心线下侧失败控制线的纵坐标的整数倍。

在一个优选的实施例中，请参阅图5，S3中根据所述折线图与控制线和中心线之间的位置关系生成分析信息的步骤，包括：

S311：提取所述折线图上各顶点的位置，并将其依次与所述控制线和中心线进行比对。

S312：若所述折线图具有超过所述控制线的顶点，或所述折线图中位于中心线上方的顶点数量大于或等于预设的中心预警数，或所述折线图中负斜率线段的数量大于或等于预设的控制预警数，则生成分析信息。

其中，所述分析信息包括均值预警信号或均值成功信号，及成功预警信号或成功正常信号，以及失败预警信号或失败正常信号。

示例性地，判断所述均值趋势线的顶点是否位于非均值控制区；若所述均值趋势线的某一顶点位于所述非均值控制区内，则生成均值预警信号；若所述均值趋势线中所有顶点均位于所述均值控制区内，则判断所述均值趋势线中位于均值中心线上方的顶点数量，是否大于或等于预设的均值中心预警数；若大于或等于所述均值中心预警数，则生成均值预警信号；若小于所述均值中心预警数，则以均值趋势线的顶点为分割点分割所述均值趋势线获得多个均值线段，及计算各所述均值线段的斜率获得均值线段斜率，并汇总各均值线段斜率获得均值斜率集；以均值转折点为分隔符分隔所述均值斜率集，形成至少一个子均值斜率集，其中，所述均值转折点是指均值斜率集中，相邻且正负号相反的两个均值斜率之间的位置；识别均值斜率数量最多，且，均值斜率的值为负的子均值斜率集，并判断其均值斜率的数量是否大于或等于预设的均值连续预警数；若大于或等于所述均值连续预警数，则生成均值预警信号；若小于所述均值连续预警数，则生成均值正常信号；其中，所述元素数量是指子均值斜率集中均值斜率的数量。

判断所述成功趋势线的顶点是否位于非成功控制区；若所述成功趋势线的某一顶点位于所述非成功控制区内，则生成成功预警信号；若所述成功趋势线中所有顶点均位于所述成功控制区内，则判断所述成功趋势线中位于成功中心线上方的顶点数量，是否大于或等于预设的成功中心预警数；若大于或等于所述成功中心预警数，则生成成功预警信号；若小于所述成功中心预警数，则以成功趋势线的顶点为分割点分割所述成功趋势线获得多个成功线段，及计算各所述成功线段的斜率获得成功线段斜率，并汇总各成功线段斜率获得成功斜率集；以成功转折点为分隔符分隔所述成功斜率集，形成至少一个子成功斜率集，其中，所述成功转折点是指成功斜率集中，相邻且正负号相反的两个成功斜率之间的位置；识别元素数量最多的子成功斜率集，并判断其元素数量是否大于或等于预设的成功连续预警数；若大于或等于所述成功连续预警数，则生成成功预警信号；若小于所述成功连续预警数，则生成成功正常信号；其中，所述元素数量是指子成功斜率集中成功斜率的数量。

判断所述失败趋势线的顶点是否位于非失败控制区；若所述失败趋势线的某一顶点位于所述非失败控制区内，则生成失败预警信号；若所述失败趋势线中所有顶点均位于所述失败控制区内，则判断所述失败趋势线中位于失败中心线上方的顶点数量，是否大于或等于预设的失败中心预警数；若大于或等于所述失败中心预警数，则生成失败预警信号；若小于所述失败中心预警数，则以失败趋势线的顶点为分割点分割所述失败趋势线获得多个失败线段，及计算各所述失败线段的斜率获得失败线段斜率，并汇总各失败线段斜率获得失败斜率集；以失败转折点为分隔符分隔所述失败斜率集，形成至少一个子失败斜率集，其中，所述失败转折点是指失败斜率集中，相邻且正负号相反的两个失败斜率之间的位置；识别元素数量最多的子失败斜率集，并判断其元素数量是否大于或等于预设的失败连续预警数；若大于或等于所述失败连续预警数，则生成失败预警信号；若小于所述失败连续预警数，则生成失败正常信号；其中，所述元素数量是指子失败斜率集中失败斜率的数量。

于本实施例中，生成分析信息之后，还包括：

将所述分析信息发送用户端，其中，可通过邮件、和/或电话、和/或短信、和/或微信的方式将分析信息发送用户端。

中心线表达折线图的均值，如果位于中心线一侧的顶点过多，那么位于中心线另一侧的顶点将十分远离中心线，因此就说明该折线图的波动非常大，总所周知，计算机系统的运行讲求的是平稳性，如果指标出现较大波动将预示着服务器处理业务请求时十分不稳定，需要进行预警；

如果折线图出现连续上升或连续下降的情况，则表示服务器在处理业务请求时，出现了递增的失败情况或响应时间，或递减的成功率，说明了服务器中某一环节的风险在逐步增强，因此需要预警；

控制线表达折线图的阈值，一旦折线图中有顶点落入非控制区域，就说明服务器中有环节处于失控状态，因此需要进行预警。

综上，由于识别出了服务器在处理业务请求时所有的风险，并实现了预警，为检测人员提供了有效且准确的分析信息，有助于提高检测人员维护修复的工作效率和工作效果。

在一个优选的实施例中，请参阅图6，S4中的预设的数据库通过以下步骤获得：

S401：创建业务数据库和系统数据库并设立业务埋点策略和系统埋点策略。

S402：根据所述业务埋点策略对数据处理系统的业务端口进行埋点以获取业务数据，根据所述系统埋点策略对运行数据处理系统的系统程序进行埋点以获取系统数据。

本步骤中，采用端口ETL工具从所述业务端口和系统程序获取业务数据和系统数据；其中，所述业务数据为所述业务请求的内容，所述系统数据为服务器的运行系统的参数。

需要说明的是，埋点是数据采集领域的术语，指的是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程；埋点策略是指定义埋点的事件ID、事件名称、事件说明以及功能模块的信息，其用于规定埋点在特定模块采集特定ID、名称及说明的事件。

例如：所述业务埋点策略为获取贷款信息，则从贷款信息的每日进件量和进件金额，每日审批通过量和拒绝量，每日放款量和放款金额等维度采集数据；主要根据订单明细统计出各个业务数据：每日进件量即每日申请贷款笔数(例如1000笔)，每日进件金额即每日申请金额总和(例如100万)。所述系统埋点策略为通过系统监控的方式从系统程序中，获取运行所述数据处理系统的服务器的参数数据；对于系统监控，可按照不同采样频率(按日或按T小时一次)，从CPU利用率(例如70％),内存使用量(例如30％)，磁盘读写吞吐量等维度采集数据，并通过系统命令获取相关数据。进一步地，本实施例采用的是通过ETL工具对业务端口和系统程序进行埋点并获取业务数据和系统数据。

S403：将获得业务数据的时间设为业务时间并将其与所述业务数据关联，及将所述业务数据储存至所述业务数据库；将获得系统数据的时间设为系统时间并将其与所述系统数据关联，及将所述系统数据储存至所述系统数据库。

在一个优选的实施例中，请参阅图7，所述S4中从预设的数据库中提取处于所述分析时间段的业务数据和系统数据的步骤，包括：

S411：获取处于所述分析时间段的业务时间和系统时间，并将其设为业务分析时间和系统分析时间。

S412：从业务数据库中提取与所述业务分析时间关联的业务数据，从系统数据库中提取与所述系统分析时间关联的系统数据。

由于服务器在处理业务请求所出现的问题，一般很少出现在API端口，通常是业务请求的内容不正确、业务请求与数据处理系统不匹配以及处理业务请求时服务器的状态不佳等情况，因此根据分析信息向用户端发送业务数据和系统数据，以便于检测人员获知服务器因何种业务请求发生错误或响应时间过长，以及在处理该业务请求时服务器处于何种状态(如，CPU占用率，内存占用率等)，使检测人员可根据业务数据和系统数据优化业务端口、系统程序、业务请求的内容以及数据处理系统，使业务请求能够适应数据处理系统的运行方式，进而提高数据处理系统的适应性和稳定性。

于本实施例中，所述S4中将业务数据和系统数据发送用户端的方式可为邮件、和/或电话、和/或短信、和/或微信的方式。

实施例二

请参阅图8，本实施例的一种数据分析预警装置1，包括：

指标生成模块11，用于对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标，所述API指标是描述所述调用接口响应时间均值、响应成功率和高度重合失败率的特征数据；

折线图生成模块12，用于获得任一时间段的API指标形成API指标集，根据API指标集中各时间区间的各API指标绘制得到折线图；

预警模块13，用于在所述折线图中设置用于生成分析信息的控制线和中心线，根据所述折线图与控制线和中心线之间的位置关系生成分析信息；

数据发送模块14，用于将与所述分析信息对应的时间段设为分析时间段，从预设的数据库中提取处于所述分析时间段的业务数据和系统数据，并将其发送用户端。

本技术方案基于大数据的数据采集技术，采用埋点追踪的方法通过代码埋点对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标，汇总任一时间段的API指标形成API指标集，根据API指标集中各时间区间的API指标得到折线图，在所述折线图中设置用于生成分析信息的控制线和中心线，根据所述折线图与控制线和中心线之间的位置关系生成分析信息，将与所述分析信息对应的时间段设为分析时间段，从预设的数据库中提取处于所述分析时间段的业务数据和系统数据，并将其发送用户端。

实施例三：

为实现上述目的，本发明还提供一种计算机系统，该计算机系统包括多个计算机设备5，实施例二的数据分析预警装置1的组成部分可分散于不同的计算机设备中，计算机设备可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器51、处理器52，如图9所示。需要指出的是，图9仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器51(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器51可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器51也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器51还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器51通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例一的数据分析预警装置的程序代码等。此外，存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器52在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器52通常用于控制计算机设备的总体操作。本实施例中，处理器52用于运行存储器51中存储的程序代码或者处理数据，例如运行数据分析预警装置，以实现实施例一的数据分析预警方法。

实施例四：

为实现上述目的，本发明还提供一种计算机可读存储系统，其包括多个存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器52执行时实现相应功能。本实施例的计算机可读存储介质用于存储数据分析预警装置，被处理器52执行时实现实施例一的数据分析预警方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据分析预警方法，其特征在于，包括以下步骤：

对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标，所述API指标是描述所述调用接口响应时间均值、响应成功率和高度重合失败率的特征数据；

获取任一时间段的API指标形成API指标集，根据API指标集中各时间区间的各API指标绘制得到折线图；

在所述折线图中设置用于生成分析信息的控制线和中心线，根据所述折线图与控制线和中心线之间的位置关系生成分析信息；

将与所述分析信息对应的时间段设为分析时间段，从预设的数据库中提取处于所述分析时间段的业务数据和系统数据，并将其发送用户端。

2.根据权利要求1所述的数据分析预警方法，其特征在于，所述对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标的步骤，包括：

创建API数据库并设立API埋点策略；

根据所述API埋点策略对所述调用接口进行埋点以获得API数据，并将所述API数据储存至所述API数据库；

按照预设的时间区间提取并汇总API数据形成API集合，计算所述API集合中API数据的均值、成功率及失败率获得API指标。

3.根据权利要求2所述的数据分析预警方法，其特征在于，所述计算所述API集合中API数据的均值、成功率及失败率获得API指标的步骤，包括：

将所述API集合中API数据的响应时间相加求和获得API集合总时间，将所述API集合总时间与所述API集合中API数据的数量相除获得响应时间均值；

将所述API集合中响应成功的响应结果，与该集合中响应结果的总数相除获得响应成功率；

将API集合中重合度最高的错误原因的数量，与该集合中错误原因的总数量相除获得高度重合失败率；

汇总所述响应时间均值、响应成功率和高度重合失败率形成API指标，并将其储存至API数据库中。

4.根据权利要求1所述的数据分析预警方法，其特征在于，所述根据API指标集中各时间区间的各API指标绘制得到折线图的步骤，包括：

将API指标集中API指标的时间区间作为横坐标，分别将API指标集中API指标的响应时间均值、响应成功率和高度重合失败率作为纵坐标，在坐标图上标注坐标点，及通过直线依次连接所述坐标点获得折线图。

5.根据权利要求1所述的数据分析预警方法，其特征在于，根据所述折线图与控制线和中心线之间的位置关系生成分析信息的步骤，包括：

提取所述折线图上各顶点的位置，并将其依次与所述控制线和中心线进行比对；

若所述折线图具有超过所述控制线的顶点，或所述折线图中位于中心线上方的顶点数量大于或等于预设的中心预警数，或所述折线图中负斜率线段的数量大于或等于预设的控制预警数，则生成分析信息。

6.根据权利要求1所述的数据分析预警方法，其特征在于，所述预设的数据库通过以下步骤获得：

创建业务数据库和系统数据库并设立业务埋点策略和系统埋点策略；

根据所述业务埋点策略对数据处理系统的业务端口进行埋点以获取业务数据，根据所述系统埋点策略对运行数据处理系统的系统程序进行埋点以获取系统数据；

将获得业务数据的时间设为业务时间并将其与所述业务数据关联，及将所述业务数据储存至所述业务数据库；将获得系统数据的时间设为系统时间并将其与所述系统数据关联，及将所述系统数据储存至所述系统数据库。

7.根据权利要求1所述的数据分析预警方法，其特征在于，所述从预设的数据库中提取处于所述分析时间段的业务数据和系统数据的步骤，包括：

获取处于所述分析时间段的业务时间和系统时间，并将其设为业务分析时间和系统分析时间；

从业务数据库中提取与所述业务分析时间关联的业务数据，从系统数据库中提取与所述系统分析时间关联的系统数据。

8.一种数据分析预警装置，其特征在于，包括：

指标生成模块，用于对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标，所述API指标是描述所述调用接口响应时间均值、响应成功率和高度重合失败率的特征数据；

折线图生成模块，用于获得任一时间段的API指标形成API指标集，根据API指标集中各时间区间的各API指标绘制得到折线图；

预警模块，用于在所述折线图中设置用于生成分析信息的控制线和中心线，根据所述折线图与控制线和中心线之间的位置关系生成分析信息；

数据发送模块，用于将与所述分析信息对应的时间段设为分析时间段，从预设的数据库中提取处于所述分析时间段的业务数据和系统数据，并将其发送用户端。

9.一种计算机系统，其包括多个计算机设备，各计算机设备包括存储器.处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述多个计算机设备的处理器执行所述计算机程序时共同实现权利要求1至7任一项所述数据分析预警方法的步骤。

10.一种计算机可读存储介质，其包括多个存储介质，各存储介质上存储有计算机程序，其特征在于，所述多个存储介质存储的所述计算机程序被处理器执行时共同实现权利要求1至7任一项所述数据分析预警方法的步骤。

Images