发明内容
本发明实施例的目的在于提供一种网络故障处理模型的构建方法、故障处理方法及系统,基于光网络中源领域的深度神经网络模型,通过跨领域迁移学习,得到目标领域的网络故障处理模型。
第一方面,本发明实施例提供一种网络故障处理模型的构建方法,其包括:
基于所述网络中源领域的样本集,获取或者建立源领域的深度神经网络模型;
建立所述网络中目标领域的样本集,目标领域与源领域的样本集具有交集,且均包括经过量化处理的告警数据、故障数据和配置数据;
当目标领域与源领域的样本集的重合率达到设定的阈值时,基于源领域的深度神经网络模型,构建目标领域的网络故障处理模型。
结合第一方面,在第一种可选的实现方式中,将所述源领域的深度神经网络模型作为所述目标领域的网络故障处理模型;或者,
从所述交集中提取第一输入向量及对应的第一输出向量,重新训练所述源领域的深度神经网络模型,得到所述目标领域的网络故障处理模型。
结合第一方面,在第二种可选的实现方式中,求取所述目标领域的样本集与源领域的样本集的差集,基于所述差集优化所述目标领域的网络故障处理模型。
在第二种可选的实现方式中,从所述差集中提取第二输入向量及对应的第二输出向量,重新训练所述目标领域的网络故障处理模型。
在第二种可选的实现方式中,从所述差集中提取第三输入向量,输入所述目标领域的网络故障处理模型并得到第三输出向量;
根据专家评估反馈结果对第三输入向量和第三输出向量进行修正后,重新训练所述目标领域的网络故障处理模型。
在第二种可选的实现方式中,基于所述差集对所述目标领域的网络故障处理模型的神经元函数的权重系数进行修正,得到优化的所述目标领域的网络故障处理模型。
结合第一方面,在第三种可选的实现方式中,所述源领域的深度神经网络模型的输入向量包括所述经过量化处理的告警数据和故障数据,且输出向量为所述经过量化处理的配置数据。
第二方面,本发明实施例提供一种网络故障处理方法,其包括:
获取目标网络的告警数据和故障数据,经过量化处理后输入网络故障处理模型,所述网络故障处理模型是使用第一方面所述的网络故障处理模型的构建方法得到的;
所述网络故障处理模型的输出向量下发到目标网络的相关设备。
第三方面,本发明实施例提供一种网络故障处理模型的构建系统,其包括:
获取模块,其用于基于所述网络中源领域的样本集,获取或者建立源领域的深度神经网络模型;
处理模块,其用于建立所述网络中目标领域的样本集,目标领域与源领域的样本集具有交集,且均包括经过量化处理的告警数据、故障数据和配置数据;以及计算目标领域与源领域的样本集的重合率;
构建模块,其用于当目标领域与源领域的样本集的重合率达到设定的阈值时,基于源领域的深度神经网络模型,构建目标领域的网络故障处理模型。
结合第三方面,在第一种可选的实现方式中,所述构建模块用于将所述源领域的深度神经网络模型作为所述目标领域的网络故障处理模型;还用于从所述交集中提取第一输入向量及对应的第一输出向量,重新训练所述源领域的深度神经网络模型,得到所述目标领域的网络故障处理模型。
结合第三方面,在第二种可选的实现方式中,所述处理模块还用于求取所述目标领域的样本集与源领域的样本集的差集;
所述构建模块还用于基于所述差集优化所述目标领域的网络故障处理模型。
在第二种可选的实现方式中,所述构建模块用于从所述差集中提取第二输入向量及对应的第二输出向量,重新训练所述目标领域的网络故障处理模型。
在第二种可选的实现方式中,所述构建模块用于从所述差集中提取第三输入向量,输入所述目标领域的网络故障处理模型得到第三输出向量;还用于根据专家评估反馈结果对第三输入向量和第三输出向量进行修正后,重新训练所述目标领域的网络故障处理模型。
在第二种可选的实现方式中,所述构建模块用于基于所述差集对所述目标领域的网络故障处理模型的神经元函数的权重系数进行修正,得到优化的所述目标领域的网络故障处理模型。
结合第三方面,在第三种可选的实现方式中,所述源领域的深度神经网络模型的输入向量包括所述经过量化处理的告警数据和故障数据,且输出向量为所述经过量化处理的配置数据。
第四方面,本发明实施例提供一种网络故障处理系统,其包括:
输入控制模块,其用于获取目标网络的告警数据和故障数据,并进行量化处理;
模型处理模块,其用于存储由第三方面所述的网络故障处理模型的构建系统构建的网络故障处理模型,并将量化处理后的告警数据和故障数据输入所述网络故障处理模型,得到所述网络故障处理模型的输出向量;
输出控制模块,其用于将所述网络故障处理模型的输出向量下发到目标网络的相关设备。
相对于现有技术,本发明实施例通过一种网络故障处理模型的构建方法,基于网络中源领域的样本集,获取或者建立源领域的深度神经网络模型;建立网络中目标领域的样本集,目标领域与源领域的样本集均包括经过量化处理的告警数据、故障数据和配置数据,且具有交集;当目标领域与源领域的样本集的重合率达到设定的阈值时,基于源领域的深度神经网络模型,构建目标领域的网络故障处理模型。基于光网络中源领域的深度神经网络模型,通过跨领域迁移学习,得到目标领域的网络故障处理模型。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例涉及的网络既可以是(Optical Transport Network,OTN)、分组传送网(Packet Transport Network,PTN)和分组光传送网络(Packet Optical TransportNetwork,POTN)等传统的光传送网,还可以是云化网络。
作为一个示例,图1是一种云化网络架构示意图,图1左下部分是云化网络基站,包括有源天线单元(Active Antenna Unit,AAU)、集中单元(Centralized Unit,CU)和分布式单元(Distributed Unit,DU),其中,CU支持非实时无线高层协议以及部分核心网下沉功能和边缘应用功能,DU支持物理层功能和实时功能。图1下部是云化网络接入环、汇聚环和核心环,这些环形网络中的网络设备的告警数据、故障数据和配置数据通过网络管理平台或者控制器平台分别上报至图1上部的边缘数据中心、区域数据中心和核心数据中心,基站和边缘应用的告警数据、故障数据和配置数据通过本地网上报至边缘数据中心。5G核心网络的核心网功能分为用户面(User Plane,UP)功能与控制面(Control Plane,CP)功能。这些数据中心一方面承担着云化网络的管理、编排和控制等功能,另一方面部署云化网络的智能化平台,基于海量网络数据和强大的计算能力,构建云化网络运维管理知识库,担任云化网络的大脑。
因为海量的光网络告警数据、故障数据和配置数据中包含大量重复冗余、不完备和不一致的数据,数据中心首先对数据进行清洗,去除重复冗余、低质量数据,得到高质量的告警数据集、故障数据集和配置数据集,并分别保存在数据库中。
在本发明实施例中,以图1为例,源领域可以定义为接入网,目标领域定义为汇聚网,或者源领域定义为核心网,目标领域定义为数据中心网络,不作限定。云化网络不同网络的设备可能有各自的专业网管或专用控制平台。在其他的实施例中,源领域和目标领域还可以分别是传统光网络(OTN、PTN和POTN)中的接入网、汇聚网和核心网。
网络设备将告警数据和相关的故障数据上报网络管理平台,由网络管理平台提交至数据中心。网络设备产生的告警包括根源告警和衍生告警,根源告警和衍生告警之间相关联。网络设备出现故障时,同时产生告警数据和故障数据并上报,并需要通过下发的配置数据对故障进行修复。
本发明实施例基于网络中源领域的深度神经网络模型,通过跨领域迁移学习,得到目标领域的网络故障处理模型。因此,当目标领域出现告警或故障时,目标领域的网络故障处理模型自动生成配置数据,并通过管理控制平台下发目标领域的设备,完成目标领域设备恢复、导换、调参和重路由等操作,从而实现目标领域的网络故障自愈。
本发明实施例解决了网络中不同领域建立网络故障处理模型时重复学习,以及某些目标领域存在样本数据不完备而难以建立有效的机器学习模型的问题,而且有利于对网络中不同领域进行统一管理。
图2所示为本发明实施例网络故障处理模型的构建方法流程图,网络包括源领域和目标领域,网络故障处理模型的构建方法包括:
S110获取源领域的样本集及其深度神经网络模型。
S120建立目标领域的样本集,目标领域与源领域的样本集具有交集,且均包括经过量化处理的告警数据、故障数据和配置数据。
S130当目标领域与源领域的样本集的重合率达到设定的阈值时,基于源领域的深度神经网络模型,构建目标领域的网络故障处理模型。
在步骤S110中,源领域的深度神经网络模型是基于源领域的样本集预先创建的。常见的深度神经网络模型包括栈式自编码器(Stacked Auto-Encoder)、卷积神经网络(Convolutional Neural Network,CNN)和深度置信网络(Deep Belief Network)等。
源领域的样本集包括经过量化处理的告警数据、故障数据和配置数据,参见步骤S120中的具体说明。
源领域的深度神经网络模型的输入和输出样本数据通常采用向量形式,即样本集包括根据源领域的告警数据、故障数据和配置数据,分别得到的告警数据向量组、故障数据向量组以及配置数据向量组。
作为一个示例,源领域的深度神经网络模型的输入向量包括经过量化处理的告警数据和故障数据,且输出向量为经过量化处理的配置数据。
采用人工智能深度学习方法,将经过量化处理的告警数据和故障数据作为输入,经过量化处理的配置数据作为输出,生成深度神经网络模型并进行训练,通过大规模高质量样本数据的训练,让深度神经网络模型学习到源领域的故障智能自愈知识,相关知识以抽象的形式保存在该深度神经网络的一系列神经元中。通过源领域的深度神经网络模型,挖掘光网络衍生告警与根源告警之间的关联规则,生成根源告警与故障发生位置的精确关联关系,能够根据告警和故障信息给出网络配置方案,对接网管和控制器平台,实现光网源领域故障的自动修复。
在步骤S120中,从目标领域的数据库中获取多个时间点的告警数据、故障数据和配置数据,经过量化处理后得到目标领域的样本集。其中,为了获得目标领域与源领域的样本集的交集,源领域和目标领域的告警数据、故障数据和配置数据的字段定义相同,但是排序并不要求必须相同。
基于告警数据、故障数据和配置数据在产生的时间上具有相关性,可以从数据库中获取设定的时间段内目标领域的所有告警数据、故障数据和配置数据,也可以按天、周或者月等周期性地从数据库中获取目标领域的所有告警数据、故障数据和配置数据。设定的时间段或者周期内包括多个时间点的告警数据,多个时间点的故障数据以及多个时间点的配置数据。
告警数据、故障数据和配置数据不仅是异构数据,而且这些数据包括各种类型的字段,而且不同的字段有不同的量纲。因此,量化处理包括对不同量纲的异构数据的向量化表示,包括:
S121每条告警数据、故障数据或者配置数据都被转换为一个基础向量Vb,基础向量Vb的每个元素为每条告警数据、故障数据或者配置数据中一个字段的数值。
例如,获取的所有告警数据所构成的样本集有Ma条告警数据,其中,在一个时间点上产生的告警数据可以是一条或者多条,每条告警数据有Na个字段。
作为一个示例,图3中所示的一条告警数据包括八个字段,分别是:告警数据的序列号Seq.No.、地址Addr.、线路号Line、告警类型AlarmType、告警开始时间BeginTime、告警结束时间EndTime、板类型BoardType和网元类型NetType,其中,告警开始时间BeginTime和告警结束时间EndTime精确到秒,地址Addr.和告警类型AlarmType为字符号,网元类型NetType为整型值。
将图3所示告警数据的所有字段的值转换为实数,从而表示为向量的元素。在告警数据的向量化过程中,这些字段的整型值作为元素值表示在向量中。可以将所有告警开始时间BeginTime和告警结束时间EndTime中的最小值对应为数值1,其他时间与最小时间相差的秒数加到数值1上,分别得到告警开始时间BeginTime和告警结束时间EndTime的对应值。例如,告警开始时间BeginTime比最小时间多10秒,则告警开始时间BeginTime对应数值11,将这两个字段按字典序进行排列,然后从1进行编号,将字符串转换为数值后作为向量的元素。
S122对基础向量V
b进行量纲转换,转换得到的向量V为基础向量V
b与量纲扩展向量V
s的hadamard积,即
量纲扩展向量V
s的元素为基础向量V
b的相应元素的扩大或者缩小倍数,例如将带宽单位兆M扩大为千兆G,则量纲扩展向量V
s的元素为1024。
根据机器学习模型训练的要求,可以将基础向量与量纲扩展向量的对应元素相乘,生成适合训练要求的样本数据。同理,图3左下部分的配置数据和故障数据也转换为相应的向量,配置数据包括Num_CPUs:4,即CPU的内核数量,作为示例,图3下部的向量组显示了两个向量,分别由告警数据和配置数据转换得到。
对于光网络中保存在半结构化XML文档中的故障数据和配置数据,同样可以利用上述方法构建数据基础向量和量纲扩展向量,XML中键值对(Key/Value)的个数对应向量的维度,向量元素的值对应XML文档中的Value值。
为目标领域构建三对向量组,分别为告警数据基础向量组与量纲扩展向量组、故障数据基础向量组与量纲扩展向量组、以及配置数据基础向量组与量纲扩展向量组,得到的告警数据向量组包括由Ma条告警数据转换得到的Ma个告警数据向量,每个告警数据向量具有Na个元素;故障数据向量组包括由Mf条故障数据转换得到的Mf个故障数据向量,每个故障数据向量具有Nf个元素;配置数据向量组包括由Mc条配置数据转换得到的Mc个配置数据向量,每个配置数据向量具有Nc个元素。
进一步的,还可以对告警数据向量组、故障数据向量组和配置数据向量组进行矩阵化表示,例如,告警数据向量组以行向量的方式存入一个二维的空矩阵中,形成告警矩阵,例如图3右下部分的二维矩阵,假如有Ma=7000条告警数据,则形成7000行8列的告警矩阵。同样的,可以构建出故障矩阵和配置矩阵。
S123求取目标领域与源领域的样本集的交集。
具体的,根据目标领域与源领域的告警数据向量组、故障数据向量组以及配置数据向量组中向量元素,求取目标领域与源领域的样本集的交集。
在步骤S130中,当源领域的样本集与目标领域的样本集的重合率达到设定的阈值时,构建目标领域的网络故障处理模型可以采用不同的实施方式,例如可以采用以下的实施方式之一:
实施方式一:将源领域的深度神经网络模型作为目标领域的网络故障处理模型。
实施方式二:从交集中提取第一输入向量及对应的第一输出向量,重新训练源领域的深度神经网络模型,得到目标领域的网络故障处理模型,目标领域的网络故障处理模型是与源领域的深度神经网络模型相似的深度神经网络模型。
由源领域的深度神经网络模型得到源领域故障自愈的知识库以后,求取源领域和目标领域的样本数据的交集,由于交集的故障自愈知识已经包含在源领域故障自愈的知识库中,因此,基于源领域和目标领域的样本数据的交集,将源领域故障自愈的知识库迁移到目标领域中,实现跨领域迁移学习。迁移学习过程中,如果源领域和目标领域的样本数据的交集比较大(即重合率较高),迁移学习效果就会比较好。
在实际应用中,阈值的大小可根据具体场景进行调整,阈值是一个百分比数值,例如,源领域与目标领域的数据交集的重合率在0%至100%之间。例如,重合率60%表示源领域与目标领域的样本数据有60%相同,40%不相同。
如果阈值较小,则源领域故障自愈的知识库的迁移过程较快,而后续权重参数的修正和优化过程较长。反之,如果阈值较大,则源领域故障自愈的知识库的迁移过程较慢,但后续权重参数的修正和优化过程较短。
如果重合率低于设定的阈值,则需要在目标领域的样本集中增加新的数据,也可以再次挑选一批数据样本,分别补充源领域和目标领域的交集数据,直至重合率超过设定的阈值。
在本实施例中,步骤S110和S120依序执行,而在本发明另一实施例中,步骤S110和S120也可以采用其他执行方式,例如,分别获取源领域和目标领域的告警数据、故障数据和配置数据,经过量化处理后分别建立源领域和目标领域的样本集,然后构建源领域的深度神经网络模型。
图4所示为本发明另一实施例网络故障处理模型的构建方法流程图,网络故障处理模型的构建方法包括:
S200数据采集与预处理。其具体包括:
S201源领域的数据采集与预处理。
S202目标领域的数据采集与预处理。
源领域和目标领域的数据采集与预处理过程基本相同。
光网络的告警数据、故障数据和配置数据由网络管理平台或者控制器平台上传至三类数据中心。因为海量的光网络的告警数据、故障数据和配置数据中包含大量重复冗余、不完备、不一致的数据,三类数据中心会首先对数据进行清洗,去除重复冗余低质量数据,求得高质量的告警、故障、配置数据集,并分别保存在源领域数据库和目标领域数据库中。
S210构建源领域的深度神经网络模型。
源领域的深度神经网络模型的构建方法不作限定,例如,常见的深度神经网络模型包括栈式自编码器(Stacked Auto-Encoder)、卷积神经网络(Convolutional NeuralNetwork,CNN)和深度置信网络(Deep Belief Network)等。
S220当源领域的样本集与目标领域的样本集的重合率达到设定的阈值时,基于源领域的深度神经网络模型,构建目标领域的网络故障处理模型。
步骤S220具体包括:
S221源领域的样本集和目标领域的样本集的统一表示。
具体的,构建多层高维空间,实现源领域和目标领域的告警数据、故障数据和配置数据的统一表示。
依次采用不同量纲异构数据的向量化和矩阵化表示方法,将源领域和目标领域的告警数据、故障数据和配置数据分别转换为一维向量,然后分别表示成对应的二维矩阵。其具体包括:一维向量的构建过程,以及二维矩阵的构建过程。
具体的,根据源领域的告警数据、故障数据和配置数据分别构建二维的告警矩阵、故障矩阵和配置矩阵,根据目标领域的告警数据、故障数据和配置数据分别构建二维的告警矩阵、故障矩阵和配置矩阵,一维向量和二维矩阵的构建方法与前述实施例相似,此处不再赘述。
作为一个示例,假如源领域和目标领域的告警数据、故障数据和配置数据在矩阵化表示后得到的二维矩阵的行数和列数可能不同,如下表1:
表1源领域和目标领域的二维矩阵的行数和列数示例
| 矩阵类型 |
告警矩阵的行列数 |
故障矩阵的行列数 |
配置矩阵的行列数 |
| 源领域 |
5000×12 |
7000×18 |
3000×32 |
| 目标领域 |
3000×8 |
5000×12 |
2000×35 |
求取所有告警矩阵、故障矩阵和配置矩阵的最大行数和最大列数,将最大行数和最大列数作为多层高维空间的每层二维矩阵的行数和列数。以表一为例,则多层高维空间的每层二维矩阵的行数和列数分别为7000和35。其中,行数7000是指六个矩阵中最大的行数是源领域故障矩阵的行数,列数35是指六个矩阵中最大的列数是目标领域配置矩阵的列数。
求得最大行数7000和最大列数35后,基于上述表一中的六个矩阵构建一个6层的高维空间表示模型,生成6个7000行和35列的空矩阵,并将这6个矩阵中的数据复制至新生成的空矩阵中,没有存储数据的矩阵元素用零元素填充。
具体的,为源领域和目标领域构建的多层高维空间如图5所示,六层的多层高维空间D=R(K1,K2,K3),第一层至第三层为源领域的告警数据层、故障数据层和配置数据层,分别对应源领域的告警矩阵、故障矩阵和配置矩阵,第四层至第六层为目标领域的告警数据层、故障数据层和配置数据层,分别对应目标领域的告警矩阵、故障矩阵和配置矩阵。其中,源领域的三层高维空间还可以表示为Ds=R(I1,I2,I3),目标领域的三层高维空间还可以表示为Dt=R(J1,J2,J3)。
采用以上实施例中的方法,还可以为多个领域构建一个多层高维空间,例如接入网、汇聚网、核心网和数据中心网络,不作限定。
通过本发明实施例,对不同量纲的异构数据的向量化和矩阵化表示方法,能够将不同量纲的结构化、半结构化的光网络数据转换为向量和矩阵,因为有大量零元素填充,多层高维空间是稀疏矩阵,在保存过程中,可以采用经典的稀疏矩阵存储方法进行数据保存,以便节省存储空间。同时,构建多层高维空间不但实现源领域和目的领域的样本数据的统一表示,而且能够实现异厂商的跨域样本数据的互通和共享,为后续机器学习扫除信息孤岛障碍。
源领域的样本集可以是源领域的三层高维空间Ds=R(I1,I2,I3),也可以是Ds=R(I1,I2,I3)的一个子空间。同样地,目标领域的样本集可以是目标领域的三层高维空间Dt=R(J1,J2,J3),也可以是Dt=R(J1,J2,J3)的一个子空间。
子空间包括告警数据层、故障数据层和配置数据层中的至少一个子矩阵。子矩阵可以是多层高维空间的一层中的一个子矩阵;子矩阵也可以是多层高维空间的二层或以上,其中,子矩阵的每层为多层高维空间的一层的一个子矩阵。
作为一个示例,图6中的矩阵S和矩阵T分别表示迁移学习过程中源领域的样本集和目标领域的样本集,这两个矩阵都是3行3列的矩阵。
S222求取目标领域与源领域的样本集的交集。
具体的,该交集也是多层高维空间的子空间,子空间包括告警数据层、故障数据层和配置数据层中的至少一个子矩阵。
子矩阵可以是多层高维空间的一层中的一个子矩阵;子矩阵也可以是多层高维空间的二层或以上,其中,子矩阵的每层为多层高维空间的一层的一个子矩阵。
还是以图6中的矩阵S和矩阵T为例,矩阵S和矩阵T分别表示迁移学习过程中源领域的样本集和目标领域的样本集,这两个矩阵都是3行3列的矩阵。求取矩阵S和T的数据交集,得到交集矩阵I,得到一个2行3列的矩阵,即图6中矩阵S的第一个行向量和矩阵T的第一个行向量相等,即S11=T11,S12=T12,S13=T13,并且矩阵S的第二个行向量和矩阵T的第二个行向量相等,即S21=T21,S22=T22,S23=T23,则说明矩阵S和矩阵T的前两个行向量相等,将这两个相等的行向量取出来得到交集I。
S223构建目标领域的深度神经网络模型。
步骤S223与前述实施例中步骤S130基本相同。
具体的,源领域的样本集与目标领域的样本集的重合部分即交集,可以直接将源领域的深度神经网络模型作为目标领域的网络故障处理模型,或者从交集中提取第一输入向量及对应的第一输出向量,重新训练源领域的深度神经网络模型,得到目标领域的网络故障处理模型,从而将源领域的故障处理知识库迁移至目标领域的故障处理知识库。
还是以图6示出的例子进行说明,图6中矩阵S和T为9个元素的矩阵,交集矩阵I是6个元素的矩阵,如果设定的阈值为60%,交集数据占比超过设定的阈值60%,可以直接将源领域的深度神经网络模型作为目标领域的网络故障处理模型,或者,从交集中提取第一输入向量及对应的第一输出向量,重新训练源领域的深度神经网络模型,得到目标领域的网络故障处理模型。
参见图4所示,网络故障处理模型的构建方法还包括:S300求取目标领域的样本集与源领域的样本集的差集,基于差集优化目标领域的网络故障处理模型。
在一个实施方式中,可以从差集中提取第二输入向量及对应的第二输出向量,重新训练目标领域的网络故障处理模型。
在另一个实施方式中,也可以从差集中提取第三输入向量,输入目标领域的网络故障处理模型得到第三输出向量;根据专家评估反馈结果对第三输入向量和第三输出向量进行修正后,重新训练目标领域的网络故障处理模型。
其中,重新训练目标领域的网络故障处理模型包括:基于差集对目标领域的网络故障处理模型的神经元函数的权重系数进行修正,得到优化的目标领域的网络故障处理模型。
图6中交集矩阵I用于直接生成目标领域的深度神经网络模型中的拟合函数权重参数,图6中下部是源领域和目标领域的差集矩阵D,差集矩阵D是一个2行3列的矩阵,差集矩阵D用于优化目标领域的深度神经网络模型中的拟合函数权重参数。
以图6为例,以说明通过差集数据x22和y22修正神经元函数f22的权重系数w22的过程。这个示例选取告警时间、告警类别和故障类别,并经过量化表示后构建输入向量,配置数据即配置方案量化表示数据构建输出向量。本实施例中,配置方案量化表示数值1表示采用第1号配置方案,数置-1表示采用第2号配置方案。表1序号1这行数据对应输入向量x=(2,5,7),输出y=1,表示告警时间、告警类别和故障类别的量化表示数值分别为2、5和7时,配置方案量化表示值为1,这个输入向量和输出向量由深度学习神经网络模型神经元函数f22通过公式y=f(x)=sgn(wxT)进行拟合。
作为一个示例,通过大量的类似于表2中序号1和序号2这样的样本数据,求得目标领域的深度神经网络模型的神经元函数的权重系数w。表2中交集数据表示交集中的样本数据,差集数据表示差集中的样本数据。表2中序号3对应的权重系数w=(1,0,1),满足sgn[(1,0,1)*(2,5,7)T]=sgn(9)=1,sgn[(1,0,1)*(3,2,8)T]=sgn(11)=1。表2中序号4和序号5对应差集数据,基于差集数据构建输入向量(5,7,3)和(8,3,7),输出y的值都是-1。将差集数据构建的输入向量和输出向量注入目标领域的深度神经网络模型,重新调整目标领域的深度神经网络模型的神经元函数的权重,得到表2中序号6对应的修正后的神经元函数的权重系数w=(1,-1,-1),这个权重系数满足sgn[(1,-1,-1)*(5,7,3)T]=sgn(-5)=-1,sgn[[(1,-1,-1)*(8,3,7)T]=sgn(-2)=-1。
表2为基于差集修正神经元的权重系数的示例
基于差集数据不断修正优化目标领域的深度神经网络模型的神经元函数的权重参数,最后得到优化的目标领域的深度神经网络模型,实现光网络故障的自动愈和以及自动排除。修正优化后的神经元函数的权重参数保存在目标领域的深度神经网络模型的各神经元节点中,如图6右部分所示。
在上述描述中,步骤S300在前述实施例的步骤S200至S220的基础上,基于差集进一步优化目标领域的网络故障处理模型。
与上述过程相似,步骤S300也可以在前述实施例的步骤S110至S130的基础上,基于差集进一步优化目标领域的网络故障处理模型,在此不再赘述。
本发明实施例还提供一种网络故障处理方法,在前述的各实施例的基础上,网络故障处理方法包括:
S410获取目标网络的告警数据和故障数据,经过量化处理后输入网络故障处理模型,网络故障处理模型是使用前述的网络故障处理模型的构建方法得到的。
S420网络故障处理模型的输出向量下发到目标网络的相关设备。
本发明实施例基于光网络中源领域的深度神经网络模型,通过跨领域迁移学习,得到目标领域的网络故障处理模型,当目标领域出现告警或故障时,网络故障处理模型自动生成配置数据,并通过管理控制平台下发目标领域的设备,完成目标领域中设备恢复、导换、调参和重路由等操作,从而实现目标领域的网络故障自愈。
参见图7所示,本发明实施例还提供一种网络故障处理模型的构建系统,用于实现前述实施例网络故障处理模型的构建方法,网络故障处理模型的构建系统包括获取模块100、处理模块200和构建模块300。
获取模块100用于基于网络中源领域的样本集102,获取或者建立源领域的深度神经网络模型。
在一种可能的实施方式中,获取模块100包括获取的源领域样本集102,以及基于源领域样本集102建立的源领域的深度神经网络模型。
在另一种可能的实施方式中,获取模块100包括源领域数据采集单元101、源领域样本集102和源领域的深度神经网络模型构建单元103。
源领域数据采集单元101采集样本数据,并保存在源领域样本集102中,源领域的深度神经网络模型是源领域的深度神经网络模型构建单元103基于源领域样本集102构建的。
处理模块200用于建立网络中目标领域的样本集202,目标领域与源领域的样本集具有交集203,且均包括经过量化处理的告警数据、故障数据和配置数据。其中,处理模块200中的目标领域数据采集单元201采集样本数据,并保存在目标领域样本集202中。处理模块200还用于计算目标领域与源领域的样本集的重合率。
构建模块300用于当目标领域与源领域的样本集的重合率达到设定的阈值时,基于源领域的深度神经网络模型,构建目标领域的网络故障处理模型。
进一步的,构建模块300用于将源领域的深度神经网络模型作为目标领域的网络故障处理模型;还用于从交集中提取第一输入向量及对应的第一输出向量,重新训练源领域的深度神经网络模型,得到目标领域的网络故障处理模型。
进一步的,处理模块200还用于求取目标领域的样本集与源领域的样本集的差集204。构建模块300用于基于差集204优化目标领域的网络故障处理模型。
进一步的,构建模块300还用于从差集204中提取第二输入向量及对应的第二输出向量,重新训练目标领域的网络故障处理模型。
进一步的,构建模块300还用于从差集204中提取第三输入向量,输入源领域的深度神经网络模型得到第三输出向量;还用于根据专家评估反馈结果对第三输入向量和第三输出向量进行修正后,重新训练目标领域的网络故障处理模型。
具体的,构建模块300用于基于差集204对目标领域的网络故障处理模型的神经元函数的权重系数进行修正,得到优化的目标领域的网络故障处理模型。
具体的,源领域的深度神经网络模型的输入向量包括经过量化处理的告警数据和故障数据,且输出向量为经过量化处理的配置数据。
参见图8所示,本发明实施例提供一种网络故障处理系统,其包括输入控制模块400、模型处理模块500和输出控制模块600。
输入控制模块400用于获取目标网络的告警数据和故障数据,并进行量化处理。
模型处理模块500用于存储前述的网络故障处理模型的构建系统构建的网络故障处理模型,并将量化处理后的告警数据和故障数据输入网络故障处理模型,得到网络故障处理模型的输出向量。
输出控制模块600用于将网络故障处理模型的输出向量下发到目标网络的相关设备。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够读取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(Digital Video Disc,DVD))或者半导体介质(例如,固态硬盘(Solid State Disk,SSD))等。
本发明不局限于上述实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。