CN111212038B - 基于大数据人工智能的开放数据api网关系统 - Google Patents

Abstract

本发明公开一种基于大数据人工智能的开放数据API网关系统，主要由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成。本发明监控分析服务与网关核心相互独立，在智能管理下，可以不直接干预网关运作情况下，通过对网关的日志进行实时分析和离线分析，得到智能分析结果，从而间接的再对网关进行智能管控，其不仅能够保证网关的准确性，健壮性和安全性，而且即使服务宕机网关仍可正常使用。

Description

基于大数据人工智能的开放数据API网关系统

技术领域

本发明涉及API网关技术领域，具体涉及一种基于大数据人工智能的开放数据API网关系统。

背景技术

网关的监控运维是网关系统的重要组成部分，其作用在于实时获悉系统状态，记录日志定位问题、提供7*24的守护。运维人员通过分析监控系统产生的统计报表，对服务进行更合理的资源分配和权重调整，并且在手动配置相关预警阈值之后能够实现自动报警，推送消息给运维人员。伴随着服务的持续介入，必须提高网关的准确性(确保平台能够提供稳定准确的数据资源内容)、健壮性(平台能够支撑住各类突发事件，并智能协调资源处理)、安全性(深层次的挖掘出一些潜在性的安全隐患，及各类攻击行为)，同时解决网关监控运维系统中存在的人工规则不可靠、异常定位困难、告警响应不及时等问题。

通过对开放数据API(Application Programming Interface，应用程序接口)网关日志分析，可以配置告警指标来监控日志数据，进行异常检测、预测告与警，提升开放数据API网关的智能化水平。然而在传统的日志分析平台中，通常采用一些人工经验和业务规则的方法去进行分析监控，这种分析监控存在以下不足：(1)大量的工作不仅费时费力，而且很难实现对网关运行状况的实时监控和预测；(2)缺少对攻击行为处理的相关功能，攻击行为处理(异常方位行为分析)是发现用户攻击行为时，才会进行抵御攻击并发送告警消息；(3)缺少用户行为分析模型，对于不同的行为，特征也不尽相同需要同过综合分析才能定性用户行为是否是攻击行为。

发明内容

本发明所要解决的是现有开放数据API采用人工经验和业务规则的方法去进行分析监控而很难实现对网关运行状况的实时监控和预测的问题，提供一种基于大数据人工智能的开放数据API网关系统。

为解决上述问题，本发明是通过以下技术方案实现的：

基于大数据人工智能的开放数据API网关系统，由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成。

API网关，通过Nignx插件收集日志数据，将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中。

KafKa分布式发布订阅消息单元，将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算。

Hbase分布式存储单元，利用Logstash接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取日志数据并对其进行处理和固化。

离线分析服务单元，利用Spark计算引擎获取Hbase分布式存储单元中存放的历史日志数据，确定各个服务关键性能指标的正常范围阈值，并生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表，并将上述正常阈值范围和流量预测模型、突发事件分类模型、用户行为分析模型和统计报表作为离线统计分析结果。

实时分析服务单元，利用SparkStreaming流计算引擎接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取实时日志数据并进行流式计算，同时结合离线分析服务单元的离线统计分析结果，实现突发事件识别、异常访问行为分析和攻击行为检测，并将上述突发事件识别、异常访问行为分析和攻击行为检测作为实时分析结果。

监控管理平台，接收离线分析服务单元送来的离线统计分析结果和实时分析服务单元送来的实时分析结果，并根据离线统计分析结果和实时分析结果发出对应的告警消息。

上述方案中，服务关键性能指标包括时间段内请求总流量和次数、时间段内响应总流量、请求成功数、请求失败数、请求总数、请求准确率、平均响应时间、接入应用数和访问服务数。

上述方案中，离线分析服务单元计算各个服务关键性能指标的正常范围常阈值的过程如下：首先通过历史日志数据获取服务关键性能指标项历史数据；其次按照服务状态分类，根据提炼的业务指标，分别进行异常阈值计算；接着采用数据探索的方法，统计正常状态和异常状态下的各类服务关键性能指标平均值，标准差，方差，离散系数和相关系数；然后利用离群点分析法，剔除噪点数据；之后利用有效果数据进行值域分布分析，计算出正态分布情况；最后根据业务场景以及正太分析结果，计算阈值边界，返回推荐阈值上下限。

与现有技术相比，本发明监控分析服务与网关核心相互独立，在智能管理下，可以不直接干预网关运作情况下，通过对网关的日志进行实时分析和离线分析，得到智能分析结果，从而间接的再对网关进行智能管控，其不仅能够保证网关的准确性，健壮性和安全性，而且即使服务宕机网关仍可正常使用。

附图说明

图1为一种基于大数据人工智能的开放数据API网关系统的整体构架图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

基于大数据人工智能的开放数据API网关系统，如图1所示，主要由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成。

(1)API网关

API网关采用Nignx插件收集日志数据(如表1所示)，同时将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中。

表1

(2)KafKa分布式发布订阅消息单元

KafKa分布式发布订阅消息单元将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算。

(3)Hbase分布式存储单元

利用Logstash接收Kafka流，Hbase分布式存储单元获取日志记录处理并固化。

(4)离线分析服务单元

利用Spark计算引擎获取Hbase分布式存储单元中存放的历史日志数据，确定各个服务关键性能指标的正常范围阈值，并生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表，并将上述正常阈值范围和流量预测模型、突发事件分类模型、用户行为分析模型和统计报表作为离线统计分析结果送入监控管理平台。

离线分析中的正常范围阈值的计算过程具体如下：获取服务关键性能指标项历史数据(日志数据采集)；按照服务状态分类(根据提炼的业务指标，分别进行异常阈值计算)；采用数据探索的方法，统计正常状态和异常状态下的各类指标平均值，标准差，方差，离散系数，相关系数；利用离群点分析法，剔除噪点数据；利用有效果数据进行值域分布分析，计算出正态分布情况；根据业务场景以及正太分析结果，计算阈值边界，返回推荐阈值上下限。

实时分析服务单元主要生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表。

1)流量预测模型(参见表3)：

采用回归预测模型，以预测未来时间段流量值为例。

表3

2)突发事件分类模型(参见表4)：

智能运维中的核心模型，用于检测异常，并对异常进行分类。拟采用随机森林模型作为测试模型。

表4

3)用户行为分析模型(参见表5)：

大数据分析模型，通常是多种模型的综合使用，一般情况会根据实际场景需求去下钻行为特征数据，分析特征建立对应模型。

表5

4)统计报表(参见表6)：

数据结果的统计分析和展示，形成统计分析报表

表6

(5)实时分析服务单元

利用SparkStreaming流计算引擎接收Kafka流，获取实时日志消息数据流进行流式计算，并结合服务关键性能指标项的异常阈值，对当前时间窗口的日志数据计算各个指标数据，并与指标项的异常阈值比较，获取实时分析结果，同时将实时分析的结果存入预警库中。对于当前时间窗口中的指标，如果出现超出正常阈值范围的结果，将该指标的结果推送到系统的监控管理平台，做出实时告警处理。

为了方便进行深度的分析，本发明还会在采集的基础日志数据的基础上，增加一些计算指标，如表7所示。表7中指标均为时序特征，以时间段(5s、10s、1m、5m)为单位进行划分，将采集的基础日志数据通过Spark Streaming流式计算，形成关键指标，以时间序列窗口的方式监控实时指标。

指标名称	获取规则
		时间段内请求总流量/次数	指定时间段内请求流量求和/次数累计
时间段内响应总流量	指定时间段内响应流量求和
		请求成功数	成功请求求和
请求失败数	统计失败求和
		请求总数	请求成功数+请求失败数
请求准确率	请求成功数/请求总数
		平均响应时间	请求成功的响应耗时之和/请求成功数
接入应用数	请求服务的不同应用求和
		访问服务数	应用访问的不同服务求和

表7

指标计算方法，以请求准确率为例：为实现服务准确性的实时监控，先由离线分析计算出异常阈值，作为判定标准，再由实时计算引擎监控，一旦指标达到异常阈值，则记录到异常结果表中。

实时分析服务单元主要实现突发事件识别、异常访问行为分析和攻击行为检测功能。

1)突发事件识别(参见表8)：

表82)异常访问行为分析(无监督方法)(参见表9)：

表9

3)攻击行为检测(有监督方法)(参见表10)：

采用监督性学习的方法，人工先对采集数据中的攻击行为特征进行标注，采用机器学习模型训练并识别攻击行为特征。

表10

(6)监控管理平台

健壮性体现在面对规格外的突发事件的处理能力，比如瞬时高流量、响应时间突然变慢，能够即时响应并做出合理处理，维护网关的正常运行。实时统计服务流量和响应时间等数据，作为突发事件模型的输入，分析突发事件类型，并推送相关信息和告警指令，管理平台获取消息做相应处理，比如瞬时高流量的处理方式是将主动将服务载入缓存，减少后端实际请求数，响应时间慢，则降低响应较慢的业务集群权重，优先从响应较快的业务集群获取结果。另外，可以利用历史的数据进行预测分析，分析出未来的可能流量情况，从而可以提前布置相应的服务资源，以保障应用的顺利进行。对于当前时间窗口中的指标，如果出现超出正常阈值范围的结果，将该指标的结果推送到系统的监控管理平台，做出实时告警处理。监控管理平台及时捕获突发异常情况，发送告警信息，让相关人员第一时间进行处理，以保障系统的稳定运行。

下面对本发明所设计的基于大数据人工智能的开放数据API网关系统的性能进行分析：

1、预测模型的分析

对于数据预测来说，是基于历史数据的对未来的一个期望，所以在一个稳定的系统下，数据预测是能够很好的帮助我们去了解这个系统的规律以及辅助我们去解决一些系统相关的问题。但是对于外部突发性的干扰，使得系统稳定性被打破，那此时的预测准确度会大大的降低。所以我们在使用数据预测的时候，也要兼顾的考虑到外部影响。

收集访问日志2019.3.3-2019.4.15间的数据，为了评估模型准确性，我们将五天数据输入预测接口，返回第六天的预测值，按70％精度与实际值做比较，记录每种预测方法的准确率。

算法挑选：(1)线性回归：线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，也是比较简单易用的预测方式。(2)多项式回归：多项式回归，回归函数是回归变量多项式的回归。多项式回归模型是线性回归模型的一种，此时回归函数关于回归系数是线性的。(3)岭回归：岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。(4)lasso回归：LASSO是由1996年Robert Tibshirani首次提出。该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些回归系数，即强制系数绝对值之和小于某个固定值；同时设定一些回归系数为零。因此保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。(5)kernel ridge回归：Kernel ridge regression(KRR)(内核岭回归)是使用内核方法的(岭回归)所组成。因此，它所学习到的在空间中不同的线性函数是由不同的内核和数据所导致的。对于非线性的内核，它与原始空间中的非线性函数相对应。由KernelRidge学习的模型的形式与支持向量回归(SVR)是一样的。

将多套算法，结合数据的多个指标进行交叉验证，如表11所示：

表11

可以看见，针对五种回归分析，lasso分析表现较好，但是五项回归分析准确率都很低，全部在30％以下。预测效果差，大致原因有以下几个：1)访问次数，请求流量，响应流量和响应时间相关性很强，其中某项的指标预测概率较低，也意味着其他几项预测概率同样会很低。2)数据质量较差，可用数据较少，数据断层较多，缺失某天数据，影响后续分析。3)系统周期时间非5天(这个需要数据验证)。4)将lasso预测访问次数数据与实际数据放一起观察，由于2019.3.28的数据异常，导致lasso的预测值滞后，从而导致预测精度下降，外部影响使得系统稳定性被破坏从而导致预测精度下降。

综上所述，虽然由于数据较少，预览过程中存在一定的波动，但是整体已经体现出了可预测性。

2、响应时间阈值分析

收集访问日志2019.3.3-2019.4.15间的数据。

首先统计所有历史日志中响应时间的分布情况，剔除响应时间中数值过大的离群点。以现有历史日志信息为数据源，最大响应时间是599995毫秒；而通过计算，如表12：

整体数据集覆盖率	响应毫秒
		99.7％的数据	26913
99.5％的数据	4415
		99.2％的数据	2373

表12

整体数据中99.5％的响应时间数值在4415毫秒以内，所以将大于4415毫秒的记录作为异常值剔除，将剩下的数据作为新的数据集进行分析。

2.1、整体值域分析

对于去除异常值后的新数据集，其响应时间的数值分布趋近于正态分布的右侧(由于响应时间始终大于0，所以没有左侧形态)。同时根据正态分布的特性，计算出涵盖新数据集特定概率的响应时间与超过此响应时间的次数，如表13：

涵盖数据集的概率	响应时间(毫秒)	超过此响应时间的请求次数
			99.9％	3312	16
99.8％	3054	32
			99.7％	2377	48
99.5％	2000	80
			99％	1531	159

表13

由此可知，对于一个正常请求，有99.9％的概率其响应时间在3312毫秒以内。我们可以将99.9％作为所有API的响应时间的概率阈值(即假设每个API在各种情况下的响应时间，有99.9％都是正常响应时间)，并以此计算每个API的异常响应时间阈值(即计算一个阈值，该API的正常响应时间有99.9％的概率小于等于这个阈值)。超过这个阈值的响应时间将被视为异常响应，并进行预警。

2.2单个API分析

下面分别计算两个API的异常响应时间阈值：办事环节对接平台查询对接获取接口访问令牌接口，经过计算，其异常响应时间阈值为：156毫秒。外网统一认证获取token，经过计算，其异常响应时间阈值为：87毫秒。

综上所述，利用值域分析出的结果可以看出，计算出的单个API设定的阈值，是比较合理的，利用该阈值可以应用到实际过程中进行预警。

本发明所设计的基于大数据人工智能的开放数据API网关系统的任务包括：

1.服务器性能指标实时监控和预测，监控nginx服务，机器性能，关联机房的资源需求。结合机器学习算法对服务资源要求进行实时预测，动态调整服务资源，节约资源。

2.服务流量异常检测，服务器系统安全分析，数据泄露检测，可疑请求检测。

3.对指定分析指标进行历史异常值的检测。通过配置分析指标，对指标进行历史异常值的检测，并给出每个异常点的详细信息。异常值包括突变的数据、超出波动范围的数据、周期波动的数据等，通过研究这些异常数据，及时发现业务请求数、拒绝数、响应时间、流水和订单等数据的异常波动，保证业务的稳定性。

4.全链路追踪，结合数据资源和应用场景，分析数据资源和请求链路。

5.日志文本分析，分析日志主题，日志聚类分析，对日志信息自动归类，自动提取日志告警和监控信息，形成自动化日志分析报告。

6.服务性能极值和抖动分析，服务日志DDos分析，网络攻击检测，实时动态的发现网络中的攻击行为。

7.数据资源热度分析，基于数据资源请求的日志记录，分析用户的请求行为，了解数据资源热度和用户数据需求。基于机器学习算法和推荐算法，对用户数据做数据喜好分析和数据推荐。

8.日志分类分析，基于日志请求记录和用户偏好数据对请求日志数据和资源类型进行自动分类，分析并归纳出通用的日志类型，自动标记重要日志请求信息。

9.根据用户请求行为和日志记录，结合画像系统进行用户数据画像，分析用户行为习惯和标签特征，了解用户数据偏好，形成数据驱动的日志分析系统。基于协同过滤算法和风险分析模型，分析黑客行为和黑客特征，挖掘网络攻击行为。

智能管理主要是指不直接干预API网关运作的情况下，利用采集的日志，利用人工智能分析技术，进行挖掘，输出一些智能分析结果，从而间接的再对网关进行管控，实现智能管控，也是实现网关准确性、健壮性、安全性的关键。通过机器学习算法、深度学习算法，对历史时序数据自学习、自动为用户选择最优算法进行异常检测、预测与告警的分析产品，用户通过使用异常检测与预测得到的分析结果来指导自身的业务。系统自动为用户选择的指标选择最优算法分析，用户无需任何算法相关知识即可完成异常检测与预测，得到分析结果，极大地降低了使用门槛。提供诸如聚类、回归、神经网络等机器学习及深度学习算法，进行精准的异常检测与预测，准确度比传统机器学习算法高出很多。通过对底层的算法进行封装，提供可视化的操作环境，用户通过页面可视化配置任务指标即可创建异常检测任务，无需编程语言，降低了用户的学习成本，让数据挖掘变成一件简单的事情。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (2)

1.基于大数据人工智能的开放数据API网关系统，其特征是，由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成；

API网关，通过Nignx插件收集日志数据，将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中；

KafKa分布式发布订阅消息单元，将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算；

Hbase分布式存储单元，利用Logstash接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取日志数据并对其进行处理和固化；

离线分析服务单元，利用Spark计算引擎获取Hbase分布式存储单元中存放的历史日志数据，确定各个服务关键性能指标的正常范围阈值，并生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表，并将上述正常范围阈值和流量预测模型、突发事件分类模型、用户行为分析模型和统计报表作为离线统计分析结果；其中离线分析服务单元计算各个服务关键性能指标的正常范围阈值的过程如下：首先通过历史日志数据获取服务关键性能指标项历史数据；其次按照服务状态分类，根据提炼的业务指标，分别进行异常阈值计算；接着采用数据探索的方法，统计正常状态和异常状态下的各类服务关键性能指标平均值，标准差，方差，离散系数和相关系数；然后利用离群点分析法，剔除噪点数据；之后利用有效果数据进行值域分布分析，计算出正态分布情况；最后根据业务场景以及正太分析结果，计算阈值边界，返回推荐阈值上下限；

实时分析服务单元，利用SparkStreaming流计算引擎接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取实时日志数据并进行流式计算，同时结合离线分析服务单元的离线统计分析结果，实现突发事件识别、异常访问行为分析和攻击行为检测，并将上述突发事件识别、异常访问行为分析和攻击行为检测作为实时分析结果；

监控管理平台，接收离线分析服务单元送来的离线统计分析结果和实时分析服务单元送来的实时分析结果，并根据离线统计分析结果和实时分析结果发出对应的告警消息。

2.根据权利要求1所述的基于大数据人工智能的开放数据API网关系统，其特征是，服务关键性能指标包括时间段内请求总流量和次数、时间段内响应总流量、请求成功数、请求失败数、请求总数、请求准确率、平均响应时间、接入应用数和访问服务数。

Images