CN109639526A

CN109639526A - 网络数据监控方法、装置、设备及介质

Info

Publication number: CN109639526A
Application number: CN201811531785.XA
Authority: CN
Inventors: 王希
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Group Fujian Co Ltd
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Group Fujian Co Ltd
Priority date: 2018-12-14
Filing date: 2018-12-14
Publication date: 2019-04-16

Abstract

本发明实施例提供了一种网络数据监控方法、装置、设备及介质，包括：获取至少一种网络参数的原始数据，并按照数据生成时间，得到原始数据对应的状态序列，状态序列用于表征网络参数在不同时刻的状态属性；利用历史网络数据训练的检测模型和状态序列，得到网络参数在特定时刻处于设定状态的观测序列概率值，检测模型用于表征网络参数的初始状态概率、状态转移概率与观测概率之间的关系；根据观测序列概率值，监控所述网络参数对应的原始数据是否发生异常。利用序列化的训练算法学习网络参数的原始数据之间的状态转移概率矩阵和观测概率矩阵，通过状态转移概率矩阵和观测概率矩阵对网络数据进行监控，能够有效提升监控的精确性。

Description

网络数据监控方法、装置、设备及介质

技术领域

本发明涉及无线通信技术领域，尤其涉及一种网络数据监控方法、装置、设备及介质。

背景技术

随着网络技术的发展，移动互联网技术给人们的生产生活带来了极大的便利。为了保证网络服务质量，运营商需要对移动互联网产生的网络数据进行实时监控，以便于及时处理移动互联网发生的网络故障。

在实际应用中，常见的网络数据监控包括日志分析、网络数据检查、大数据文件检验等。由于通过移动互联网进行交互和/或业务处理将产生大量的数据，那么针对这些数据可以产生日志文件。运营商的网络管理人员可以通过定期对这些日志文件进行分析，判断日志文件中记载的数据是否发生错误或者导致业务处理失败等情况。

再如，网络平台可以按照时间粒度和空间粒度来划分数据文件，定期对数据文件的大小进行统计，进而根据文件大小判断数据是否缺失。

综上所述，目前对网络数据监控存在监控精确度低的问题。

发明内容

本发明实施例提供了一种网络数据监控方法，用于提升网络数据监控的精确度。

第一方面，本发明实施例提供了一种网络数据监控方法，方法包括：

获取至少一种网络参数的原始数据，并按照数据生成时间，得到所述原始数据对应的状态序列，所述状态序列用于表征所述网络参数在不同时刻的状态属性；

利用历史网络数据训练的检测模型和所述状态序列，得到所述网络参数在特定时刻处于设定状态的观测序列概率值，所述检测模型用于表征网络参数的初始状态概率、状态转移概率与观测概率之间的关系；

根据所述观测序列概率值，监控所述网络参数对应的原始数据是否发生异常。

第二方面，本发明实施例提供了一种网络数据监控装置，装置包括：

获取单元，用于获取至少一种网络参数的原始数据，并按照数据生成时间，得到所述原始数据对应的状态序列，所述状态序列用于表征所述网络参数在不同时刻的状态属性；

监测单元，用于利用历史网络数据训练的检测模型和所述状态序列，得到所述网络参数在特定时刻处于设定状态的前向概率值，所述检测模型用于表征网络参数的初始状态概率、状态转移概率与观测概率之间的关系；

判断单元，用于根据所述前向概率值，监控所述网络参数对应的原始数据是否发生异常。

第三方面，本发明实施例提供了一种网络数据监控设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

本发明实施例提供的网络数据监控方法、装置、设备及介质，通过获取至少一种网络参数的原始数据，并按照数据生成时间，得到所述原始数据对应的状态序列，所述状态序列用于表征所述网络参数在不同时刻的状态属性；利用历史网络数据训练的检测模型和所述状态序列，得到所述网络参数在特定时刻处于设定状态的观测序列概率值，所述检测模型用于表征网络参数的初始状态概率、状态转移概率与观测概率之间的关系；根据所述观测序列概率值，监控所述网络参数对应的原始数据是否发生异常。本发明提供的技术方案利用序列化的训练算法学习网络参数的原始数据之间的状态转移概率矩阵和观测概率矩阵，该状态转移概率矩阵反映原始数据之间的依赖关系，该观测概率矩阵反映原始数据的记录时间之间的时间依赖关系，通过状态转移概率矩阵和观测概率矩阵对网络数据进行监控，能够有效提升监控的精确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明一些实施例提供的网络数据监控方法的流程示意图；

图2示出了状态序列与观测序列之间的对应关系示意图；

图3示出了根据本发明一些实施例提供的网络数据监控装置的结构示意图；

图4示出了根据本发明一些实施例提供的网络数据监控设备的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1为本发明实施例提供的一种网络数据监控方法的流程示意图。所述方法可以如下所示。

步骤101：获取至少一种网络参数的原始数据，并按照数据生成时间，得到所述原始数据对应的状态序列，所述状态序列用于表征所述网络参数在不同时刻的状态属性。

在本发明实施例中，可以从网络数据平台中获取不同网络参数的原始数据，这里以一种网络参数为例进行说明。该网络参数在不同时间产生的原始数据可能相同可能不同，因此，可以按照原始数据的生成时间，对获取的原始数据进行排序，得到的序列在本发明实施例中可以称之为状态序列。

例如：上行利用率参数，对于同一个服务小区，早上、中午以及晚上产生的上行利用率数据存在差异，那么可以按照时间顺序获取不同时间产生的上行利用率数据。假设每一个时刻产生的上行利用率数据用s_T表示，那么得到的状态序列可以表示为S＝{s₁、s₂、……、s_T}，T表示状态序列的长度。

在本发明提供的实施例中，每个状态生成一个观测，那么状态序列将对应一个观测序列。仍以上行利用率为例。由于上行利用率不仅和上行流量之间存在强相关性,而且上行利用率还能够反应上行流量的变化,且小区的上行利用率本身有极强的时序性。那么在得到上行利用率的状态序列时，可以确定与其对应的观测序列，即上行流量对应的序列O＝(o₁，o₂，...，o_T)。如图2所示，为状态序列与观测序列之间的对应关系示意图。

步骤102：利用历史网络数据训练的检测模型和所述状态序列，得到所述网络参数在特定时刻处于设定状态的观测序列概率值，所述检测模型用于表征网络参数的初始状态概率、状态转移概率与观测概率之间的关系。

在本发明实施例中，在确定历史网络数据训练的检测模型和所述状态序列的情况下，通过以下方式得到所述网络参数在特定时刻处于设定状态的观测序列概率值：

其中，P为观测序列概率值，a_T(i)表示时刻T部分观测序列O为o₁，o₂，...，o_t且状态为q_i的概率为前向概率。

具体地，在本发明提供的实施例中国，使用前向计算算法计算P(O|λ)。

首先,假设前向概率的定义为给定模型λ，定义到时刻t部分观测序列为o₁，o₂，...，o_t且状态为q_i的概率为前向概率，记作

a_t(i)＝P(o₁，o₂，...，o_t，i_t＝q_i|λ) (2)。

其次，可以递推地求得前向概率a_t(i)及观测序列概率P(O|λ)。计算序列概率的前向算法过程如下:

第一步：初始化前向概率,即初始时刻的状态i₁＝q_i和观测o₁的联合概率：a₁(i)＝π_ib_i(o₁)，i＝1，2，...，N (3)。

第二步：前向概率的递推公式,计算到时刻t+1部分观测序列为o₁，o₂，...，o_t，o_t+1且在时刻t+1处于状态q_i的前向概率。即递推地对t＝1，2，...，T-1，分别计算

最后：得到

下面详细说明如何得到给定模型λ。这里的给定模型λ可以称之为检测模型。

具体地，假设Q是状态集合,V是观测集合:

Q＝{q₁，q₂，...，q_N}，V＝{v₁，v₂，...，v_M} (5)

其中,N是状态数,M是观测数。

I是长度为T的状态序列,O是对应的观测序列：

I＝{i₁，i₂，...，i_T}，O＝{o₁，o₂，...，o_T} (6)

那么通过以下方式训练检测模型：

λ＝(A，B，π) (7)

其中，λ为检测模型，A为状态转移概率矩阵，A＝[a_ij]_N×N，a_ij＝P(i_t+1＝q_j|i_t＝q_i)，i＝1，2，...，N；j＝1，2，...，N，表征在时刻t处于状态q_i的条件下在时刻t+1转移到状态q_j的概率；

B为观测概率矩阵，B＝[b_j(k)]_N×M，b_j(k)＝P(o_t＝v_k|i_t＝q_j)，k＝1，2，...，M；j＝1，2，...，N，表征在时刻t处于状态q_j的条件下生成观测v_k的概率；

π为初始状态概率向量。

由初试状态概率向量π，状态转移概率矩阵A和观测概率矩阵B决定。π和A决定状态序列，B决定观测序列，因此模型λ可以用三元符号表示,即

λ＝(A，B，π)。

具体地，通过以下方式训练得到状态转移概率a_ij：

获取网络参数的训练数据，所述训练数据中包含S个长度相似的观测序列和对应的状态序列{O₁，S₁}，{O₁，I₂}，...，{O_S，I_S}；

基于极大似然估计方式，计算得到状态转移概率a_ij：

其中，t表示时刻，i表示状态，A_ij表示时刻t处于状态i，而时刻t+1转移到状态j的频数。

具体地，通过以下方式训练得到观测概率b_j(k)：

基于极大似然估计方式，计算得到观测概率b_j(k)：

其中，t表示时刻，i表示状态，B_jk为状态为j并观测为k的频数。

步骤103：根据所述观测序列概率值，监控所述网络参数对应的原始数据是否发生异常。

在本发明实施例中，在所述观测序列概率值小于设定阈值的情况下，确定所述网络参数对应的原始数据发生异常。

需要说明的是，由于观测序列的长度不断增长,计算出的条件概率P(O|λ)会越来越小,这样很难直接判断数据是否存在异常。较优地，在本发明实施例中，还可以对观测序列进行分割。例如：设定分割长度K，利用该设定分割长度对观测序列进行分割，分别对每个短序列计算观测序列概率。另外，为了突出概率之间的差别，还可以使用ln P(O|λ)作为度量是否存在数据异常判断指标。

将每个短序列的概率取对数与预设的阈值∈进行比较,并将小于∈的短序列标记为异常。然后统计若干连续的的短序列的异常度:

其中，C_a为标记为异常的短序列数量，C为连续短序列的总数。将此异常度与另一个预设的阈值δ_k进行比较，若异常度大于δ_k，则认定数据存在明显的异常,需要重点关注。

通过本发明实施例提供的技术方案，获取至少一种网络参数的原始数据，并按照数据生成时间，得到所述原始数据对应的状态序列，所述状态序列用于表征所述网络参数在不同时刻的状态属性；利用历史网络数据训练的检测模型和所述状态序列，得到所述网络参数在特定时刻处于设定状态的观测序列概率值，所述检测模型用于表征网络参数的初始状态概率、状态转移概率与观测概率之间的关系；根据所述观测序列概率值，监控所述网络参数对应的原始数据是否发生异常。本发明提供的技术方案利用序列化的训练算法学习网络参数的原始数据之间的状态转移概率矩阵和观测概率矩阵，该状态转移概率矩阵反映原始数据之间的依赖关系，该观测概率矩阵反映原始数据的记录时间之间的时间依赖关系，通过状态转移概率矩阵和观测概率矩阵对网络数据进行监控，能够有效提升监控的精确性。

图3为本发明实施例提供的一种网络数据监控装置的结构示意图。所述网络数据监控装置包括：获取单元301、监测单元302和判断单元303，其中：

获取单元301，用于获取至少一种网络参数的原始数据，并按照数据生成时间，得到所述原始数据对应的状态序列，所述状态序列用于表征所述网络参数在不同时刻的状态属性；

监测单元302，用于利用历史网络数据训练的检测模型和所述状态序列，得到所述网络参数在特定时刻处于设定状态的前向概率值，所述检测模型用于表征网络参数的初始状态概率、状态转移概率与观测概率之间的关系；

判断单元303，用于根据所述前向概率值，监控所述网络参数对应的原始数据是否发生异常。

在本发明的另一个实施例中，所述监测单元302通过以下方式训练检测模型：

λ＝(A，B，π)；

π为初始状态概率向量。

在本发明的另一个实施例中，所述监测单元302每一个状态对应一个观测。

在本发明的另一个实施例中，所述监测单元302通过以下方式训练得到状态转移概率a_ij：

获取网络参数的训练数据，所述训练数据中包含S个长度相似的观测序列和对应的状态序列{O₁，S₁}，{O₁，I₂}，…，{O_S，I_S}；

基于极大似然估计方式，计算得到状态转移概率a_ij：

在本发明的另一个实施例中，所述监测单元302通过以下方式训练得到观测概率b_j(k)：

基于极大似然估计方式，计算得到观测概率bj₍k)：

在本发明的另一个实施例中，所述监测单元302利用历史网络数据训练的检测模型和所述状态序列，得到所述网络参数在特定时刻处于设定状态的观测序列概率值，包括：

在本发明的另一个实施例中，所述判断单元303根据所述观测序列概率值，监控所述网络参数对应的原始数据是否发生异常，包括：

在所述观测序列概率值小于设定阈值的情况下，确定所述网络参数对应的原始数据发生异常。

需要说明的是，本发明实施例提供的网络数据监控装置可以通过软件方式实现，也可以通过硬件方式实现，这里不做具体限定。网络数据监控装置利用序列化的训练算法学习网络参数的原始数据之间的状态转移概率矩阵和观测概率矩阵，该状态转移概率矩阵反映原始数据之间的依赖关系，该观测概率矩阵反映原始数据的记录时间之间的时间依赖关系，通过状态转移概率矩阵和观测概率矩阵对网络数据进行监控，能够有效提升监控的精确性。

另外，结合图3描述的本发明实施例的网络数据监测方法可以由网络数据监测设备来实现。图4示出了本发明实施例提供的网络数据监测设备的硬件结构示意图。

网络数据监测设备可以包括处理器401以及存储有计算机程序指令的存储器402。

具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种网络数据监测方法。

在一个示例中，网络数据监测设备还可包括通信接口403和总线410。其中，如图4所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。

通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线410包括硬件、软件或两者，将网络数据监测设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的网络数据监测方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种网络数据监测方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims

1.一种网络数据监控方法，其特征在于，所述方法包括：

2.根据权利要求1所述的网络数据监控方法，其特征在于，通过以下方式训练检测模型：

λ＝(A，B，π)；

其中，λ为检测模型，A为状态转移概率矩阵，A＝[a_ij]_N×N，a_ij＝P(i_t+1＝q_j|i_t＝q_i)，i＝1，2，...，N；j＝1，2，...，N，表征在时刻t处于状态q_j的条件下在时刻t+1转移到状态q_j的概率；

B为观测概率矩阵，B＝[b_j(k)]_N×M，

b_j(k)＝P(o_t＝v_k|i_t＝q_j)，k＝1，2，...，M；j＝1，2，...，N，表征在时刻t处于状态q_j的条件下生成观测v_k的概率；

π为初始状态概率向量。

3.根据权利要求2所述的网络数据监控方法，其特征在于，每一个状态对应一个观测。

4.根据权利要求2所述的网络数据监控方法，其特征在于，通过以下方式训练得到状态转移概率a_ij：

基于极大似然估计方式，计算得到状态转移概率a_ij：

5.根据权利要求2所述的网络数据监控方法，其特征在于，通过以下方式训练得到观测概率b_j(k)：

基于极大似然估计方式，计算得到观测概率b_j(k)：

6.根据权利要求1至5任一项所述的网络数据监控方法，其特征在于，利用历史网络数据训练的检测模型和所述状态序列，得到所述网络参数在特定时刻处于设定状态的观测序列概率值，包括：

7.根据权利要求1所述的网络数据监控方法，其特征在于，根据所述观测序列概率值，监控所述网络参数对应的原始数据是否发生异常，包括：

8.一种网络数据监控装置，其特征在于，所述装置包括：

9.一种网络数据监控设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。