CN116701716A - 基于图计算的大型数据集群系统重要性定级方法 - Google Patents
基于图计算的大型数据集群系统重要性定级方法 Download PDFInfo
- Publication number
- CN116701716A CN116701716A CN202310729410.9A CN202310729410A CN116701716A CN 116701716 A CN116701716 A CN 116701716A CN 202310729410 A CN202310729410 A CN 202310729410A CN 116701716 A CN116701716 A CN 116701716A
- Authority
- CN
- China
- Prior art keywords
- field
- centrality
- importance
- level
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于图计算的大型数据集群系统重要性定级方法,包括根据已有的字段级数据进行血缘分析,构建系统级字段流向图;根据业务中的历史经验,确定字段级权重数值;根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性;将所述各个系统的半局部中心性作为指标,计算出各个系统的加权特征向量中心性;根据所述系统的历史故障情况,计算出各个系统的故障影响指标;根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值。可见,本发明在数据血缘中引入了图计算的思路,有助于进一步研究数据血缘关系图本身所具有的信息。
Description
技术领域
本发明涉及云计算大数据边缘计算领域,具体而言,涉及基于图计算的大型数据集群系统重要性定级方法。
背景技术
在目前的大数据背景下,很多企业开始构建自己的数据仓库与数据传输体系,且支撑业务的数据具有数据量增大、数据来源增多、数据涉及系统增多、数据传输流程复杂化的趋势。在数据传输流程的保障中,一种常见的方式是基于数据的血缘关系,来快速溯源定位问题发生的位置并进行修正,或是评估对下游业务的影响以提前告警。数据血缘关系,按照对象层级可分为系统级、表级、字段级血缘,一般以表级别的血缘关系较为常用。但随着计算机运算能力的提升,字段级血缘的运用也更加广泛。
但目前仍缺乏对于数据传输流程中各个系统节点的重要性评估方式,导致保障工作资源难以灵活分配,这为保障数据传输全流程带来了更大的压力。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了基于图计算的大型数据集群系统重要性定级方法,以通过确定大型数据集群系统的重要性等级来优化数据治理保障工作。
本发明实施例第一方面提供了基于图计算的大型数据集群系统重要性定级方法。该方法包括:
根据已有的字段级数据进行血缘分析,构建系统级字段流向图;
根据业务中的历史经验,确定字段级权重数值;
根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性;
将所述各个系统的半局部中心性作为指标,计算出各个系统的加权特征向量中心性;
根据所述系统的历史故障情况,计算出各个系统的故障影响指标;
根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值。
在一种实现方式中,所述根据业务中的历史经验,确定字段级权重数值,包括:
将所述所有字段默认权重为某定值,再根据业务中的使用经验和历史经验,对字段权重进行提高或者降低;
通过对字段权重进行提高或者降低,进而确定数据流程中各个数据字段的权重数值。
在一种实现方式中,所述根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性,包括:
所述系统的半局部中心性计算公式为:
其中,SLC(i)为节点vi的半局部中心性,Γ(j)表示节点vj的一阶邻居节点集合,Γ(i)表示节点vi的一阶邻居节点集合,N(w)为节点vw的两层邻居度,即从vw出发两步以内可到的邻居数。
在一种实现方式中,所述将所述各个系统的半局部中心性作为指标,计算出所述各个系统的加权特征向量中心性,包括:
所述系统的特征向量中心性计算公式为:
Ek=cAS
其中,Ek为第k个系统的特征向量中心性,S为半局部中心性,c为比例常数,A为整个系统级的字段流向图的加权邻接矩阵。
在一种实现方式中,所述A为整个系统级的字段流向图的加权邻接矩阵,包括:
A=[aij]ixj
其中,aij为从节点vi指向节点vj的有向边,表现为从系统i流向系统j的有向数据流,aij为从系统i流向系统j的字段权重的和值,其中,bh为从系统i流向系统j的字段h的权重值。
在一种实现方式中,根据所述系统的历史故障情况,计算出各个系统的故障影响指标,包括:
所述系统的故障影响指标计算公式为:
假设对于系统k,该系统平均年故障次数为xk,单次故障平均恢复时间为tk;
根据已建立的流向图,以及各字段的需求频率,可估计系统k时均字段出入度为v,根据该系统k的处理资源情况,可估计正常情况下平均每小时处理的数据表个数,进而得出平均每小时处理字段个数为w;
其中fk为关于ai、bj的函数,即取决于经过系统k的字段的权重,其中gk为关于故障时间t的函数,c1、c2为常数系数
在一种实现方式中,所述根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值,包括:
基于加权特征向量中心性以及系统故障影响指标,得出二元数组
<Ek,Pk>作为该系统k的重要性指标;
根据不同系统的重要性指标大小来确定保障重要性等级,或者作为参考指标用于进一步的计算模型。
本发明实施例第二方面提供了基于图计算的大型数据集群系统重要性定级装置,包括:
构建单元,用于根据已有的字段级数据进行血缘分析,构建系统级字段流向图;
确定单元,用于根据业务中的历史经验,确定字段级权重数值;
第一计算单元,用于根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性;
第二计算单元,用于将所述各个系统的半局部中心性作为指标,计算出各个系统的加权特征向量中心性;
第三计算单元,用于根据所述系统的历史故障情况,计算出各个系统的故障影响指标;
获取单元,用于根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值。
本发明实施例第三方面提供了一种计算设备,所述计算设备包括:至少一个处理器、存储器和输入输出单元;其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中存储的计算机程序来执行上述基于图计算的大型数据集群系统重要性定级方法。
本发明实施例第四方面提供了一种计算机可读存储介质,其包括指令,当其在计算机上运行时,使得计算机执行上述基于图计算的大型数据集群系统重要性定级方法。
在本发明实施例中,可以基于字段级血缘关系,构建系统级的数据字段流向图,并基于业务反馈情况调整字段权重,根据流向图和各字段权重,使用图计算方法计算各系统中心性,并结合系统的故障影响指标,得到各个系统的重要性指标作为系统保障的参考数值;能够在系统层级利用字段级数据血缘关系,并将系统的重要性量化为具体可解释的指标,同时,由于数据血缘关系不会频繁变动,因此各个系统的重要性指标也能保持较长的时效性,不需要频繁进行计算;该方法在数据血缘中引入了图计算的思路,有助于进一步研究数据血缘关系图本身所具有的信息。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例基于图计算的大型数据集群系统重要性定级方法的流程图;
图2是根据本发明实施例基于图计算的大型数据集群系统重要性定级方法的系统级的数据字段流向图;
图3是根据本发明实施例基于图计算的大型数据集群系统重要性定级装置的框架图;
图4示意性地示出了本发明实施例的一种介质的结构示意图;
图5示意性地示出了本发明实施例的一种计算设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供了基于图计算的大型数据集群系统重要性定级方法,通过确定大型数据集群系统的重要性等级,从而优化数据治理保障工作。以下分别进行详细说明。
图1是本发明实施例提供的基于图计算的大型数据集群系统重要性定级方法的流程图,该方法包括:
步骤S101、根据已有的字段级数据进行血缘分析,构建系统级字段流向。
本发明实施例中,流向图指的是以数据流程中各个系统作为节点,以系统间传输的数据字段作为边的有向图。
步骤S102、根据业务中的历史经验,确定字段级权重数值。
本发明实施例中,在根据业务中的历史经验,确定字段级权重数值,可以将所有字段默认权重为某定值,根据业务使用反馈和先验经验,适当进行提高或降低。例如,根据前期的经验,某数据表中的某个字段经常作为主键使用,或是作为校验数据波动程度的关键指标,则该字段的权重可以适当提高。
步骤S103、根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性。
本发明实施例中,在根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性,半局部中心性是用于刻画节点中心性的一个度量指标,是用邻接节点数来衡量该节点的重要性,该半局部中心性涵盖了节点的四阶邻居信息,可从较宽泛的业务范围来评估该系统的重要性;同时,该中心性指标为局部指标,计算复杂度较介数中心性等全局指标更低。
步骤S104、将所述各个系统的半局部中心性作为指标,计算出各个系统的加权特征向量中心性。
本发明实施例中,在将所述各个系统的半局部中心性作为指标,计算出各个系统的加权特征向量中心性,特征向量中心性同样为刻画节点中心性的一个度量指标,但采用的角度不同,特征向量中心性的理念是,和更重要的节点相连接的节点有更高的重要性。
步骤S105、根据所述系统的历史故障情况,计算出各个系统的故障影响指标。
本发明实施例中,根据系统历史的故障情况,计算该系统在发生故障的情况下对数据带来的损失的可能大小,该故障影响指标除了取决于流经该系统的字段权重,还涉及该系统本身的处理能力和日常故障频率。
步骤S106、根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值。
作为一种可选的实施方式,根据业务中的历史经验,确定字段级权重数值,包括:
将所述所有字段默认权重为某定值,再根据业务中的使用经验和历史经验,对字段权重进行提高或者降低;
通过对字段权重进行提高或者降低,进而确定数据流程中各个数据字段的权重数值。
作为一种可选的实施方式,根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性,包括:
所述系统的半局部中心性计算公式为:
其中,SLC(i)为节点vi的半局部中心性,Γ(j)表示节点vj的一阶邻居节点集合,Γ(i)表示节点vi的一阶邻居节点集合,N(w)为节点vw的两层邻居度,即从vw出发两步以内可到的邻居数。
作为一种可选的实施方式,计算整个系统级的字段流向图的加权邻接矩阵,包括:
A=[aij]ixj
其中,aij为从节点vi指向节点vj的有向边,表现为从系统i流向系统j的有向数据流,aij为从系统i流向系统j的字段权重的和值,其中,bh为从系统i流向系统j的字段h的权重值。
作为一种可选的实施方式,将所述各个系统的半局部中心性作为指标,计算出所述各个系统的加权特征向量中心性,包括:
所述系统的特征向量中心性计算公式为:
Ek=cAS
其中,Ek为第k个系统的特征向量中心性,S为半局部中心性,c为比例常数,A为整个系统级的字段流向图的加权邻接矩阵。
作为一种可选的实施方式,根据所述系统的历史故障情况,计算出各个系统的故障影响指标,包括:
所述系统的故障影响指标计算公式为:
假设对于系统k,该系统平均年故障次数为xk,单次故障平均恢复时间为tk;
根据已建立的流向图,以及各字段的需求频率,可估计系统k时均字段出入度为v,根据该系统k的处理资源情况,可估计正常情况下平均每小时处理的数据表个数,进而得出平均每小时处理字段个数为w;
其中fk为关于ai、bj的函数,即取决于经过系统k的字段的权重,其中gk为关于故障时间t的函数,c1、c2为常数系数。
作为一种可选的实施方式,根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值,还包括:
基于加权特征向量中心性以及系统故障影响指标,得出二元数组
<Ek,Pk>作为该系统k的重要性指标;
根据不同系统的重要性指标大小来确定保障重要性等级,或者作为参考指标用于进一步的计算模型。
在本发明实施例中,可以基于字段级血缘关系,构建系统级的数据字段流向图,并基于业务反馈情况调整字段权重,根据流向图和各字段权重,使用图计算方法计算各系统中心性,并结合系统的故障影响指标,得到各个系统的重要性指标作为系统保障的参考数值;能够在系统层级利用字段级数据血缘关系,并将系统的重要性量化为具体可解释的指标,同时,由于数据血缘关系不会频繁变动,因此各个系统的重要性指标也能保持较长的时效性,不需要频繁进行计算;该方法在数据血缘中引入了图计算的思路,有助于进一步研究数据血缘关系图本身所具有的信息。
请参阅图2,图2是本发明实施例公开的基于图计算的大型数据集群系统重要性定级方法的系统级的数据字段流向图。如图2所示,该流向图包括:
将系统A作为数据源端,提供了数据字段a1、a2、a3;其中字段a1提供给系统B,字段a2、a3提供给系统C;系统C中对字段a2、a3进行了数据加工,分别得到子字段c21、c22和子字段c31,其中字段c31提供给系统D;系统D中对字段c31进行数据加工,得到子字段d311,并提供给系统A。
需要注意的是,可能存在同一系统中存在多个处理环节,例如多个数据字段输入同一个系统后,经过多重数据处理再进行输出;这种情况下,仅考虑整个系统的流入和流出,不计算系统内部的处理过程;例如图2中,在系统C内,字段a2、a3经过加工后,得到了子字段c21、c22、c31,其中仅有字段c31流出该系统提供给系统D;此时计算字段流向的时候,仅考虑流入系统C的字段a2、a3,和流出系统C的字段c31,而字段a2、a3与子字段c21、c22、c31之间的字段流向关系不做考虑。
以图2的流向图为例,设字段的权重值均为1,则该流向图的邻接矩阵为:
S为整个系统级的字段流向图的半局部中心性向量,即:
其中K为整个系统级的字段流向图中涉及的系统的总个数。
图3示出了根据本公开的实施例的基于图计算的大型数据集群系统重要性定级装置的框架图,该装置包括:
构建单元301,用于根据已有的字段级数据进行血缘分析,构建系统级字段流向图;
确定单元302,用于根据业务中的历史经验,确定字段级权重数值;
第一计算单元303,用于根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性;
第二计算单元304,用于将所述各个系统的半局部中心性作为指标,计算出各个系统的加权特征向量中心性;
第三计算单元305,用于根据所述系统的历史故障情况,计算出各个系统的故障影响指标;
获取单元306,用于根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值。
在介绍了本发明示例性实施方式的方法和装置之后,接下来,参考图4对本发明示例性实施方式的计算机可读存储介质进行说明,请参考图4,其示出的计算机可读存储介质为光盘40,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会实现上述方法实施方式中所记载的各步骤,例如,根据已有的字段级数据进行血缘分析,构建系统级字段流向图;根据业务中的历史经验,确定字段级权重数值;根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性;根据所述系统的历史故障情况,计算出各个系统的故障影响指标;根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值;各步骤的具体实现方式在此不再重复说明。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
在介绍了本发明示例性实施方式的方法、介质和装置之后,接下来,参考图5对本发明示例性实施方式的基于图计算的大型数据集群系统重要性定级方法的计算设备。
图5示出了适于用来实现本发明实施方式的示例性计算设备50的框图,该计算设备50可以是计算机系统或服务器。图5显示的计算设备50仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算设备50的组件可以包括但不限于:一个或者多个处理器或者处理单元501,系统存储器502,连接不同系统组件(包括系统存储器502和处理单元501)的总线503。
计算设备50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备50访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器502可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)5021和/或高速缓存存储器5022。计算设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,ROM5023可以用于读写不可移动的、非易失性磁介质(图5中未显示,通常称为“硬盘驱动器”)。尽管未在图5中示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线503相连。系统存储器502中可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块5024的程序/实用工具5025,可以存储在例如系统存储器502中,且这样的程序模块5024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块5024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备50也可以与一个或多个外部设备504(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口505进行。并且,计算设备50还可以通过网络适配器506与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图5所示,网络适配器506通过总线503与计算设备50的其它模块(如处理单元501等)通信。应当明白,尽管图5中未示出,可以结合计算设备50使用其它硬件和/或软件模块。
处理单元501通过运行存储在系统存储器502中的程序,从而执行各种功能应用以及数据处理,例如,根据已有的字段级数据进行血缘分析,构建系统级字段流向图;根据业务中的历史经验,确定字段级权重数值;根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性;根据所述系统的历史故障情况,计算出各个系统的故障影响指标;根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值。各步骤的具体实现方式在此不再重复说明。应当注意,尽管在上文详细描述中提及了基于图计算的大型数据集群系统重要性定级方法的若干单元/模块或子单元/子模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
Claims (10)
1.基于图计算的大型数据集群系统重要性定级方法,其特征在于,包括:
根据已有的字段级数据进行血缘分析,构建系统级字段流向图;
根据业务中的历史经验,确定字段级权重数值;
根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性;
将所述各个系统的半局部中心性作为指标,计算出各个系统的加权特征向量中心性;
根据所述系统的历史故障情况,计算出各个系统的故障影响指标;
根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值。
2.根据权利要求1所述基于图计算的大型数据集群系统重要性定级方法,其特征在于,所述根据业务中的历史经验,确定字段级权重数值,包括:
将所述所有字段默认权重为某定值,再根据业务中的使用经验和历史经验,对字段权重进行提高或者降低;
通过对字段权重进行提高或者降低,进而确定数据流程中各个数据字段的权重数值。
3.根据权利要求1所述基于图计算的大型数据集群系统重要性定级方法,其特征在于,所述根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性,包括:
所述系统的半局部中心性计算公式为:
其中,SLC(i)为节点vi的半局部中心性,Γ(j)表示节点vj的一阶邻居节点集合,Γ(i)表示节点vi的一阶邻居节点集合,N(w)为节点vw的两层邻居度,即从vw出发两步以内可到的邻居数。
4.根据权利要求1所述基于图计算的大型数据集群系统重要性定级方法,其特征在于,所述将所述各个系统的半局部中心性作为指标,计算出所述各个系统的加权特征向量中心性,包括:
所述系统的特征向量中心性计算公式为:
Ek=cAS
其中,Ek为第k个系统的特征向量中心性,S为半局部中心性,c为比例常数,A为整个系统级的字段流向图的加权邻接矩阵。
5.根据权利要求4所述基于图计算的大型数据集群系统重要性定级方法,其特征在于,所述计算整个系统级的字段流向图的加权邻接矩阵,包括:
A=[aij]ixj
其中,aij为从节点vi指向节点vj的有向边,表现为从系统i流向系统j的有向数据流,aij为从系统i流向系统j的字段权重的和值,其中,bh为从系统i流向系统j的字段h的权重值。
6.根据权利要求1所述基于图计算的大型数据集群系统重要性定级方法,其特征在于,所述根据所述系统的历史故障情况,计算出各个系统的故障影响指标,包括:
所述系统的故障影响指标计算公式为:
假设对于系统k,该系统平均年故障次数为xk,单次故障平均恢复时间为tk;
根据已建立的流向图,以及各字段的需求频率,可估计系统k时均字段出入度为v,根据该系统k的处理资源情况,可估计正常情况下平均每小时处理的数据表个数,进而得出平均每小时处理字段个数为w;
其中fk为关于ai、bj的函数,即取决于经过系统k的字段的权重,其中gk为关于故障时间t的函数,c1、c2为常数系数。
7.根据权利要求1所述基于图计算的大型数据集群系统重要性定级方法,其特征在于,所述根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值,包括:
基于加权特征向量中心性以及系统故障影响指标,得出二元数组<Ek,Pk>作为该系统k的重要性指标;
根据不同系统的重要性指标大小来确定保障重要性等级,或者作为参考指标用于进一步的计算模型。
8.一种基于图计算的大型数据集群系统重要性定级装置,包括:
构建单元,用于根据已有的字段级数据进行血缘分析,构建系统级字段流向图;
确定单元,用于根据业务中的历史经验,确定字段级权重数值;
第一计算单元,用于根据所述字段流向图和所述字段级权重数值,计算出各个系统的半局部中心性;
第二计算单元,用于将所述各个系统的半局部中心性作为指标,计算出各个系统的加权特征向量中心性;
第三计算单元,用于根据所述系统的历史故障情况,计算出各个系统的故障影响指标;
获取单元,用于根据所述加权特征向量中心性以及系统故障影响指标,得出各系统的权重数值。
9.一种计算设备,所述计算设备包括:
至少一个处理器、存储器和输入输出单元;
其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1~7中任一项所述的方法。
10.一种计算机可读存储介质,其包括指令,当其在计算机上运行时,使得计算机执行如权利要求1~7中的任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310729410.9A CN116701716A (zh) | 2023-06-16 | 2023-06-16 | 基于图计算的大型数据集群系统重要性定级方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310729410.9A CN116701716A (zh) | 2023-06-16 | 2023-06-16 | 基于图计算的大型数据集群系统重要性定级方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116701716A true CN116701716A (zh) | 2023-09-05 |
Family
ID=87830931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310729410.9A Withdrawn CN116701716A (zh) | 2023-06-16 | 2023-06-16 | 基于图计算的大型数据集群系统重要性定级方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116701716A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118093196A (zh) * | 2024-03-19 | 2024-05-28 | 西藏医典健康数据管理有限公司 | 一种用于医联体平台的医典和医疗数据的管理方法和系统 |
-
2023
- 2023-06-16 CN CN202310729410.9A patent/CN116701716A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118093196A (zh) * | 2024-03-19 | 2024-05-28 | 西藏医典健康数据管理有限公司 | 一种用于医联体平台的医典和医疗数据的管理方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zheng et al. | Service-generated big data and big data-as-a-service: an overview | |
| US11386507B2 (en) | Tensor-based predictions from analysis of time-varying graphs | |
| US11061904B2 (en) | Resource condition correction using intelligently configured dashboard widgets | |
| CN104796270A (zh) | 在云应用的问题诊断中推荐可疑组件的方法及装置 | |
| US9280409B2 (en) | Method and system for single point of failure analysis and remediation | |
| JP7590087B2 (ja) | データ品質問題の動的発見及び修正 | |
| CN103513983A (zh) | 用于预测性警报阈值确定工具的方法和系统 | |
| US11212162B2 (en) | Bayesian-based event grouping | |
| US20230289252A1 (en) | Intelligent grouping of events in computing system event and computing system incident management domains | |
| CN104516730A (zh) | 一种数据处理方法和装置 | |
| WO2023077989A1 (en) | Incremental machine learning for a parametric machine learning model | |
| US20230021563A1 (en) | Federated data standardization using data privacy techniques | |
| US10656934B2 (en) | Efficient software testing | |
| US20120072456A1 (en) | Adaptive resource allocation for multiple correlated sub-queries in streaming systems | |
| CN105302536A (zh) | MapReduce应用的相关参数的配置方法和装置 | |
| CN113516246A (zh) | 参数优化方法、量子芯片的控制方法及装置 | |
| US20200348975A1 (en) | Determine a load balancing mechanism for shared resources in a storage system by training a machine learning module | |
| CN116806337A (zh) | 使用子图的信息匹配 | |
| CN116701716A (zh) | 基于图计算的大型数据集群系统重要性定级方法 | |
| US11175958B2 (en) | Determine a load balancing mechanism for allocation of shared resources in a storage system using a machine learning module based on number of I/O operations | |
| CN116777205A (zh) | 供应链风险预判方法、电子设备及存储介质 | |
| US20230004750A1 (en) | Abnormal log event detection and prediction | |
| KR102344992B1 (ko) | 서버 초기화 정보의 중앙 집중화를 위한 시스템 및 방법 | |
| CN114238302A (zh) | 基于动态日志清理策略的日志清理方法和装置 | |
| US11868167B2 (en) | Automatically provisioned tag schema for hybrid multicloud cost and chargeback analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230905 |