基于自监督解缠绕超图注意力的网络故障预测方法及装置转让专利

申请号 : CN202210661675.5

文献号 : CN115174421B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 高榕陶玉合邵雄凯

申请人 : 湖北工业大学

摘要 :

本发明公开了一种基于自监督解缠绕超图注意力的网络故障预测方法及装置,其中预测方法首先将网络故障数据进行预处理,将其转化为时间序列数据;接着构建自监督解缠绕超图注意力神经网络模型,所述神经网络模型包括嵌入模块、表示学习模块(解缠绕超图注意力子模块、对偶图卷积子模块)、自监督对比学习模块以及预测模块,将所述时间序列数据输入所述基于自监督解缠绕超图注意力神经网络模型,所述基于自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。本发明通过构建基于自监督解缠绕超图注意力神经网络的网络故障预测方法,可以挖掘故障数据直接的复杂关联关系,提高网络故障预测的准确性。

权利要求 :

1.基于自监督解缠绕超图注意力的网络故障预测方法,其特征在于,包括:获取网络故障数据,对获取的网络故障数据进行预处理;

构建自监督解缠绕超图注意力神经网络模型,所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块,其中,嵌入模块用于将输入网络故障数据转化为嵌入向量,表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块,其中,解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系,并采用解缠绕的方法获取网络故障背后的潜在原因,对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系,自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次,通过自监督对比学习对比两个子模块学习的两组网络嵌入表示,预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率,从而对网络故障进行预测;

利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。

2.如权利要求1所述的基于自监督解缠绕超图注意力的网络故障预测方法,其特征在于,所述网络故障数据包括故障类型、网络节点设备信息和时间节点信息,步骤S1的预处理包括:将故障发生的时间节点和时间序列数据基准转化为时间序列样本,得到故障时间序列,表示当前设备随时间变化发生的所有故障类型,故障类型包括但不限于端口故障、网卡故障、路由器故障、断网、断电、网线故障。

3.如权利要求1所述的基于自监督解缠绕超图注意力的网络故障预测方法,其特征在于,步骤S2中嵌入模块的处理过程包括:以网络设备的故障时间序列为输入,将输入的故障时间序列转化为嵌入向量s,同时以每个故障时间序列作为超边,故障时间序列共有节点作为超图顶点构建超图G=(V,E),并以超图的超边为顶点构建对偶图G'=(V',E'),其中,V和E分别表示超图的顶点和边,V'和E'分别表示对偶图的顶点和边。

4.如权利要求1所述的基于自监督解缠绕超图注意力的网络故障预测方法,其特征在于,解缠绕超图注意力子模块的处理过程包括:(1)利用GCN迭代地执行超图卷积的基本思想,通过节点信息在超图上的传播和聚合来学习节点的表示:其中,i和j表示特定的节点,N和M分别表示节点的总数和边的总数,Hiε和Hjε分别表示节点i和节点j是否包含在边ε上, 表示节点i在超图卷积的第l+1层上的嵌入表示, 表示节点j在超图卷积的第l层上的嵌入表示,关联矩阵 表示超图结构,若超边ε∈E包含一个顶点vi∈V则Hiε=1,否则Hiε=0,超边权重Wεε统一分配权值为1,式(1)的矩阵形式为:(l+1) T (l)

X =HWHX

其中, 和 分别为第(l)和第(l+1)层的输入数据的矩阵形

T (l+1)

式,H和H为关联矩阵和其转置表示,W为权重,对X 进行归一化后表示为:(l+1) ‑1 ‑1 T (l)

X =D HWB HX

(0)

其中,对角矩阵D和B分别表示顶点和超边的度矩阵,将初始输入数据X 经过L层超图卷积层后,最终的节点嵌入表示Xh为:其中, 表示超图卷积层中第l层的嵌入表示,L表示超图卷积层的网络总层数;

(2)提取网络故障的潜在独立因素,同时找出这些因素相互影响的关,具体为:将输入序列节点特征投影到划分的K个不同的子空间中,每一个子空间对应一个影响因子,存在K个潜在因子,其中,潜在因子zi,k为节点i在因素k上的表示, 和 是可学习的参数,xi是节点ii的表示,σ(·)是非线性激活函数, 是每个因子的维数;节点通过解缠绕将节点表示划分为K个分量,节点表示由K个子空间组成,每个子空间传输对应的节点表示信息,对于序列中的单个节点,从它的历史交互节点 聚合信息,因子k从历史交互节点影响ii的影响程度:其中,i和j表示特定的节点,zj,k和zj,k'为节点j在因素k、k'上的潜在因子表示, 表示节点ii和ij在因子k上的相似程度和从ij到ii的信息转换程度, 根据节点ii相邻历史交互节点子空间的概率进行信息累积,并更新节点表示,获得节点i在因素k上的最终表示其中, 和bk分别表示在因子k上的权重和偏置,xj为节点j的嵌入表示,使用L2归一化,公式如下所示:通过将节点表示投射到不同的子空间中,从不同意图角度聚合节点的信息,整个序列的节点表示zi表示为K个子空间的组合:为归一化后的节点i在因素1上的最终表示, 为归一化后的节点i在因素k上的最终表示;

(3)采用均值池化生成序列的解缠绕表示,该表示由K个潜在因素组成,将zi重塑为向量形式 zi压成如下形式:其中 表示实体的序列节点表征;序列中的时间信息采用一个可学习的位置矩阵Pr=[p1,p2,p3,…,pm]表示,其中m是当前序列的长度,将位置嵌入融入到序列嵌入中保持其时间性:其中,i表示特定节点,Pm‑i‑1表示位置矩阵, 表示考虑了时间特性后的第t个节点嵌入表示,W1表示可学习权重参数,Ct表示当前序列s内的第t个节点嵌入表示,b为可学习参数;

(4)引入自注意力机制学习序列中节点之间的相关性,表示为:

h

其中, 为自注意力计算过后新的输出数据,X是初始输入数据,即时间序列数据,dkh Q h K h V Q K V为键向量的维度,Q=X W是查询矩阵,K=X W是键矩阵,V=X W是值矩阵,W ,W ,W是权重矩阵,softmax(·)是激活函数,聚合节点嵌入表示过程如下:其中,Xm表示第m个输入数据, 表示序列s的嵌入表示,αt表示第t个节点的注意力分数,c表示偏置, 表示序列s的第t个节点嵌入表示,θh表示解缠绕超图卷积子模块最终学习到的节点嵌入表示。

5.如权利要求1所述的基于自监督解缠绕超图注意力的网络故障预测方法,其特征在于,对偶图卷积子模块的处理过程包括:对偶图在每次卷积操作中,当前序列从邻居序列中传播和收集信息,学习的表示θ能够捕获到网络间的特征信息,其中,对偶图的卷积操作表示为:(l) (l+1)

其中,θ 、θ 分别表示对偶图卷积第l层和第l+1层的嵌入表示, 表示度矩阵, 表示邻接矩阵;

其中,对偶图卷积子模块中,对每层获得的序列表征表示使用均值池化获得最终的网络设备间的嵌入表示θd:L'表示对偶卷积层的总层数。

6.如权利要求1所述的基于自监督解缠绕超图注意力的网络故障预测方法,其特征在于,自监督对比学习模块的处理过程包括:采用Info‑NCE作为学习目标,其具有来自正样本和负样本之间的标准二进制交叉熵损失,计算方式为:其中,i表示特定节点, 通过对θh进行行变换和列变换得到的负样本, 是通过对θdh d进行行变换和列变换得到的负样本,判别器函数为 fD(θi ,θi)用以判h d别样本θi和θi之间的差异性, 用以判别样本 和 之间的差异性。

7.如权利要求6所述的基于自监督解缠绕超图注意力的网络故障预测方法,其特征在于,预测模块的处理过程包括:在给定序列s的情况下,通过在从超图中学习的节点嵌入Xi和序列嵌入sg之间进行内积,计算所有候选节点i∈I的预测分数Z,其中,节点i的预测分数Zi的计算方式为:采用softmax函数预测节点成为下一个故障的概率

表示任意一个节点的预测分数,

采用交叉熵损失函数Lr学习优化目标:

其中,N表示节点数量、yi和 分别表示节点i的真实值和预测值,y是正热编码向量,采用Adam最小化Lr,最终的学习目标L定义为:L=Lr+βLs

其中,β是控制自监督对比学习任务的可变控制因子。

8.基于自监督解缠绕超图注意力的网络故障预测装置,其特征在于,包括:预处理模块,用于获取网络故障数据,对获取的网络故障数据进行预处理;

模型构建模块,用于构建自监督解缠绕超图注意力神经网络模型,所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块,其中,嵌入模块用于将输入网络故障数据转化为嵌入向量,表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块,其中,解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系,并采用解缠绕的方法获取网络故障背后的潜在原因,对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系,自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次,通过自监督对比学习对比两个子模块学习的两组网络嵌入表示,预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率,从而对网络故障进行预测;

故障预测模块,用于利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7中任一项权利要求所述的方法。

10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项权利要求所述的方法。

说明书 :

基于自监督解缠绕超图注意力的网络故障预测方法及装置

技术领域

[0001] 本发明涉及人工智能技术领域,尤其涉及一种基于自监督解缠绕超图注意力的网络故障预测方法及装置。

背景技术

[0002] 随着信息时代的高速发展,电子设备普及率加速上升,与此同时带来的是宽带网络质量要求的不断提高。然而,网络故障的不断发生依然是一个重要的问题,其受到各大运营商广泛地关注。这些网络故障主要包括服务中断,网络速率低以及网络过程中的噪声等等。此外,网络故障的复杂性以及随机性导致很难利用传统方法对网络故障做出有效预测。
[0003] 如何快速有效地预测网络故障的发生并且产生一定程度的预警具有重大的意义。不断发展的人工智能为网络故障的预测带来了可能。基于传统的统计方法只能在一定阈值下判断网络是否出现故障,这在随时间不断变化的动态网络中显得心有余而力不足。近年来随着深度学习的发展,使用深度学习的方法进行网络故障预测已经成为了一种趋势。利用神经网络的自主学习过程来学习训练并预测网络故障的发生显得更加具有说服力。但是大部分方法无法充分考虑到网络节点的高阶结构关系,仅仅将其建模为简单图,导致在真实的网络故障数据集上故障预测效果较差,且没有充分挖掘故障背后的潜在原因从而缺乏可解释性。

发明内容

[0004] 本发明的目的是提供一种基于自监督解缠绕超图注意力神经网络的网络故障预测方法,旨在解决传统的预测方法因网络故障的复杂性以及网络故障本身存在的随机性,不能预测不同网络故障对其他故障的影响的问题,从而不能对故障进行有效预测的问题。
[0005] 为了解决上述技术问题,本发明提供了一种基于自监督解缠绕超图注意力的网络故障预测方法,包括:
[0006] 获取网络故障数据,对获取的网络故障数据进行预处理;
[0007] 构建自监督解缠绕超图注意力神经网络模型,所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块,其中,嵌入模块用于将输入网络故障数据转化为嵌入向量,表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块,其中,解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系,并采用解缠绕的方法获取网络故障背后的潜在原因,对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系,自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次,通过自监督对比学习对比两个子模块学习的两组网络嵌入表示,预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率,从而对网络故障进行预测;
[0008] 利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。
[0009] 在一种实施方式中,所述网络故障数据包括故障类型、网络节点设备信息和时间节点信息,步骤S1的预处理包括:将故障发生的时间节点和时间序列数据基准转化为时间序列样本,得到故障时间序列,表示当前设备随时间变化发生的所有故障类型,故障类型包括但不限于端口故障、网卡故障、路由器故障、断网、断电、网线故障。
[0010] 在一种实施方式中,步骤S2中嵌入模块的处理过程包括:
[0011] 以网络设备的故障时间序列为输入,将输入的故障时间序列转化为嵌入向量s,同时以每个故障时间序列作为超边,故障时间序列共有节点作为超图顶点构建超图G=(V,E),并以超图的超边为顶点构建对偶图G'=(V',E'),其中,V和E分别表示超图的顶点和边,V'和E'分别表示对偶图的顶点和边。
[0012] 在一种实施方式中,解缠绕超图注意力子模块的处理过程包括:
[0013] (1)利用GCN迭代地执行超图卷积的基本思想,通过节点信息在超图上的传播和聚合来学习节点的表示:
[0014]
[0015] 其中,i和j表示特定的节点,N和M分别表示节点的总数和边的总数,Hiε和Hjε分别表示节点i和节点j是否包含在边ε上, 表示节点i在超图卷积的第l+1层上的嵌入表示,表示节点j在超图卷积的第l层上的嵌入表示,关联矩阵 表示超图结构,若超边ε∈E包含一个顶点vi∈V则Hiε=1,否则Hiε=0,超边权重Wεε统一分配权值为1,式(1)的矩阵形式为:
[0016] X(l+1)=HWHTX(l)
[0017] 其中, 和 分别为第(l)和第(l+1)层的输入数据的矩阵T (l+1)
形式,H和H为关联矩阵和其转置表示,W为权重,对X 进行归一化后表示为:
[0018] X(l+1)=D‑1HWB‑1HTX(l)
[0019] 其中,对角矩阵D和B分别表示顶点和超边的度矩阵,将初始输入数据X(0)经过L层超图卷积层后,最终的节点嵌入表示Xh为:
[0020]
[0021] 其中, 表示超图卷积层中第l层的嵌入表示,L表示超图卷积层的网络总层数;
[0022] (2)提取网络故障的潜在独立因素,同时找出这些因素相互影响的关,具体为:将输入序列节点特征投影到划分的K个不同的子空间中,每一个子空间对应一个影响因子,存在K个潜在因子,
[0023]
[0024] 其中,潜在因子zi,k为节点i在因素k上的表示, 和 是可学习的参数,xi是节点ii的表示,σ(·)是非线性激活函数, 是每个因子的维数;节点通过解缠绕将节点表示划分为K个分量,节点表示由K个子空间组成,每个子空间传输对应的节点表示信息,对于序列中的单个节点,从它的历史交互节点 聚合信息,因子k从历史交互节点影响ii的影响程度:
[0025]
[0026] 其中,i和j表示特定的节点,zj,k和zj,k'为节点j在因素k、k'上的潜在因子表示,表示节点ii和ij在因子k上的相似程度和从ij到ii的信息转换程度, 根据节点ii相邻历史交互节点子空间的概率进行信息累积,并更新节点表示,获得节点i在因素k上的最终表示
[0027]
[0028] 其中, 和bk分别表示在因子k上的权重和偏置,xj为节点j的嵌入表示,使用L2归一化,公式如下所示:
[0029]
[0030] 通过将节点表示投射到不同的子空间中,从不同意图角度聚合节点的信息,整个序列的节点表示zi表示为K个子空间的组合:
[0031]
[0032] 为归一化后的节点i在因素1上的最终表示, 为归一化后的节点i在因素k上的最终表示;
[0033] (3)采用均值池化生成序列的解缠绕表示,该表示由K个潜在因素组成,将zi重塑为向量形式 zi压成如下形式:
[0034]
[0035] 其中 表示实体的序列节点表征;序列中的时间信息采用一个可学习的位置矩阵Pr=[p1,p2,p3,…,pm]表示,其中m是当前序列的长度,将位置嵌入融入到序列嵌入中保持其时间性:
[0036]
[0037] 其中,i表示特定节点,Pm‑i‑1表示位置矩阵, 表示考虑了时间特性后的第t个节点嵌入表示,W1表示可学习权重参数,Ct表示当前序列s内的第t个节点嵌入表示,b为可学习参数;
[0038] (4)引入自注意力机制学习序列中节点之间的相关性,表示为:
[0039]h
[0040] 其中, 为自注意力计算过后新的输出数据,X是初始输入数据,即时间序列数h Q h K h V Q K V据,dk为键向量的维度,Q=XW是查询矩阵,K=XW是键矩阵,V=XW是值矩阵,W ,W ,W 是权重矩阵,softmax(·)是激活函数,聚合节点嵌入表示过程如下:
[0041]
[0042]
[0043]
[0044] 其中,Xm表示第m个输入数据, 表示序列s的嵌入表示,αt表示第t个节点的注意力分数,c表示偏置, 表示序列s的第t个节点嵌入表示,θh表示解缠绕超图卷积子模块最终学习到的节点嵌入表示。
[0045] 在一种实施方式中,对偶图卷积子模块的处理过程包括:
[0046] 对偶图在每次卷积操作中,当前序列从邻居序列中传播和收集信息,学习的表示θ能够捕获到网络间的特征信息,其中,对偶图的卷积操作表示为:
[0047](l) (l+1)
[0048] 其中,θ 、θ 分别表示对偶图卷积第l层和第l+1层的嵌入表示, 表示度矩阵,表示邻接矩阵;
[0049] 其中,对偶图卷积子模块中,对每层获得的序列表征表示使用均值池化获得最终的网络设备间的嵌入表示θd:
[0050]
[0051] L'表示对偶卷积层的总层数。
[0052] 在一种实施方式中,自监督对比学习模块的处理过程包括:
[0053] 采用Info‑NCE作为学习目标,其具有来自正样本和负样本之间的标准二进制交叉熵损失,计算方式为:
[0054]
[0055] 其中,i表示特定节点, 通过对θh进行行变换和列变换得到的负样本, 是通过对θd进行行变换和列变换得到的负样本,判别器函数为fD(·): 用以判别样本 和 之间的差异性, 用以判别样本 和 之间的差异性。
[0056] 在一种实施方式中,预测模块的处理过程包括:
[0057] 在给定序列s的情况下,通过在从超图中学习的节点嵌入Xi和序列嵌入sg之间进行内积,计算所有候选节点i∈I的预测分数Z,其中,节点i的预测分数Zi的计算方式为:
[0058]
[0059] 采用softmax函数预测节点成为下一个故障的概率
[0060]
[0061] 表示任意一个节点的预测分数,
[0062] 采用交叉熵损失函数Lr学习优化目标:
[0063]
[0064] 其中,N表示节点数量、yi和 分别表示节点i的真实值和预测值,y是正热编码向量,采用Adam最小化Lr,最终的学习目标L定义为:
[0065] L=Lr+βLs
[0066] 其中,β是控制自监督对比学习任务的可变控制因子。
[0067] 基于同样的发明构思,本发明第二方面提供了基于自监督解缠绕超图注意力的网络故障预测装置,包括:
[0068] 预处理模块,用于获取网络故障数据,对获取的网络故障数据进行预处理;
[0069] 模型构建模块,用于构建自监督解缠绕超图注意力神经网络模型,所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块,其中,嵌入模块用于将输入网络故障数据转化为嵌入向量,表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块,其中,解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系,并采用解缠绕的方法获取网络故障背后的潜在原因,对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系,自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次,通过自监督对比学习对比两个子模块学习的两组网络嵌入表示,预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率,从而对网络故障进行预测;
[0070] 故障预测模块,用于利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。
[0071] 基于同样的发明构思,本发明第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的方法。
[0072] 基于同样的发明构思,本发明第四方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的方法。
[0073] 相对于现有技术,本发明的优点和有益的技术效果如下:
[0074] 本发明提供的方法对网络故障数据进行预处理后,构建了基于自监督解缠绕超图注意力神经网络模型,其包括嵌入模块、解缠绕超图注意力子模块、对偶图卷积子模块、自监督对比学习模块以及预测模块;利用解缠绕超图注意力网络可以挖掘网络内故障之间的复杂关系,并采用解缠绕的方法细粒度获取网络故障背后的潜在原因,同时采用对偶图卷积来获取网络设备节点间故障发生的关联关系。并通过自监督对比学习模块,将表示学习模块的两个子模块视为描述网络的不同层次,通过自监督对比学习对比两个子模块学习的两组网络嵌入表示,最后通过预测模块根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率,从而对网络故障进行预测;可以在网络故障发生之前就进行精准预测,能够完成网络故障原因及其复杂相关性的精准分析,改善了预测效果。

附图说明

[0075] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0076] 图1为本发明实施例基于自监督解缠绕超图注意力神经网络模型的框架图。
[0077] 图2为本发明实施例的流程示意图。

具体实施方式

[0078] 本申请发明人通过大量的研究与实践发现:
[0079] 但是大部分方法无法充分考虑到网络节点的高阶结构关系,仅仅将其建模为简单图,导致在真实的网络故障数据集上故障预测效果较差,且没有充分挖掘故障背后的潜在原因因而缺乏可解释性。
[0080] 基于此,本发明提供了一种基于自监督解缠绕超图注意力的网络故障预测方法及装置,其中预测方法首先将网络故障数据进行预处理,将其转化为时间序列数据,所述网络故障数据包括故障类型、网络节点设备信息和时间节点信息,每个时间序列数据表示当前设备随时间变化发生的所有故障类型;然后将产生故障的网络节点设备的反馈数据转化为序列样本数据;接着构建自监督解缠绕超图注意力神经网络模型,所述神经网络模型包括嵌入模块、表示学习模块(解缠绕超图注意力子模块、对偶图卷积子模块)、自监督对比学习模块以及预测模块,将所述时间序列数据输入所述基于自监督解缠绕超图注意力神经网络模型,所述基于自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。本发明通过构建基于自监督解缠绕超图注意力神经网络的网络故障预测方法,可以挖掘故障数据直接的复杂关联关系,提高网络故障预测的准确性。
[0081] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0082] 实施例一
[0083] 本发明实施例提供了一种基于自监督解缠绕超图注意力的网络故障预测方法,包括:
[0084] 获取网络故障数据,对获取的网络故障数据进行预处理;
[0085] 构建自监督解缠绕超图注意力神经网络模型,所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块,其中,嵌入模块用于将输入网络故障数据转化为嵌入向量,表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块,其中,解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系,并采用解缠绕的方法获取网络故障背后的潜在原因,对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系,自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次,通过自监督对比学习对比两个子模块学习的两组网络嵌入表示,预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率,从而对网络故障进行预测;
[0086] 利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。
[0087] 具体来说,对获取的网络故障数据进行预处理,处理成时间序列数据,作为模型的输入,用于模型的训练和测试。表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块,解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系,得到节点的最终嵌入表示,对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系,得到网络设备间的嵌入表示,即序列嵌入。
[0088] 在一种实施方式中,所述网络故障数据包括故障类型、网络节点设备信息和时间节点信息,步骤S1的预处理包括:将故障发生的时间节点和时间序列数据基准转化为时间序列样本,得到故障时间序列,表示当前设备随时间变化发生的所有故障类型,故障类型包括但不限于端口故障、网卡故障、路由器故障、断网、断电、网线故障。
[0089] 故障时间序列即时间序列上的所有故障类型的数据序列。
[0090] 在一种实施方式中,步骤S2中嵌入模块的处理过程包括:
[0091] 以网络设备的故障时间序列为输入,将输入的故障时间序列转化为嵌入向量s,同时以每个故障时间序列作为超边,故障时间序列共有节点作为超图顶点构建超图G=(V,E),并以超图的超边为顶点构建对偶图G'=(V',E'),其中,V和E分别表示超图的顶点和边,V'和E'分别表示对偶图的顶点(故障时间序列)和边(不同故障时间序列的联系),对偶图非常自然地建模了不同的故障时间序列之间的联系,挖掘其相互之间的影响。
[0092] 在一种实施方式中,解缠绕超图注意力子模块的处理过程包括:
[0093] (1)利用GCN迭代地执行超图卷积的基本思想,通过节点信息在超图上的传播和聚合来学习节点的表示:
[0094]
[0095] 其中,i和j表示特定的节点,N和M分别表示节点的总数和边的总数,Hiε和Hjε分别表示节点i和节点j是否包含在边ε上, 表示节点i在超图卷积的第l+1层上的嵌入表示,表示节点j在超图卷积的第l层上的嵌入表示,关联矩阵 表示超图结构,若超边ε∈E包含一个顶点vi∈V则Hiε=1,否则Hiε=0,超边权重Wεε统一分配权值为1,[0096] 式(1)的矩阵形式为:
[0097] X(l+1)=HWHTX(l)
[0098] 其中, 和 分别为第(l)和第(l+1)层的输入数据的矩阵T (l+1)
形式,H和H为关联矩阵和其转置表示,W为权重,对X 进行归一化后表示为:
[0099] X(l+1)=D‑1HWB‑1HTX(l)
[0100] 其中,对角矩阵D和B分别表示顶点和超边的度矩阵,将初始输入数据X(0)经过L层超图卷积层后,最终的节点嵌入表示Xh为:
[0101]
[0102] 其中, 表示超图卷积层中第l层的嵌入表示,L表示超图卷积层的网络总层数;
[0103] (2)提取网络故障的潜在独立因素,同时找出这些因素相互影响的关,具体为:将输入序列节点特征投影到划分的K个不同的子空间中,每一个子空间对应一个影响因子,存在K个潜在因子,
[0104]
[0105] 其中,潜在因子zi,k为节点i在因素k上的表示, 和 是可学习的参数,xi是节点ii的表示,σ(·)是非线性激活函数, 是每个因子的维数;节点通过解缠绕将节点表示划分为K个分量,节点表示由K个子空间组成,每个子空间传输对应的节点表示信息,对于序列中的单个节点,从它的历史交互节点 聚合信息,因子k从历史交互节点影响ii的影响程度:
[0106]
[0107] 其中,i和j表示特定的节点,zj,k和zj,k'为潜在因子表示, 表示节点ii和ij在因子k上的相似程度和从ij到ii的信息转换程度, 根据节点ii相邻历史交互节点子空间的概率进行信息累积,并更新节点表示,获得节点i在因素k上的最终表示[0108]
[0109] 其中, 和bk分别表示在因子k上的权重和偏置,xj为节点j的嵌入表示,使用L2归一化,公式如下所示:
[0110]
[0111] 通过将节点表示投射到不同的子空间中,从不同意图角度聚合节点的信息,整个序列的节点表示zi表示为K个子空间的组合:
[0112]
[0113] 为归一化后的节点i在因素1上的最终表示, 为归一化后的节点i在因素k上的最终表示;
[0114] (3)采用均值池化生成序列的解缠绕表示,该表示由K个潜在因素组成,将zi重塑为向量形式 zi压成如下形式:
[0115]
[0116] 其中 表示实体的序列节点表征;序列中的时间信息采用一个可学习的位置矩阵Pr=[p1,p2,p3,…,pm]表示,其中m是当前序列的长度,将位置嵌入融入到序列嵌入中保持其时间性:
[0117]
[0118] 其中,i表示特定节点,Pm‑i‑1表示位置矩阵, 表示考虑了时间特性后的第t个节点嵌入表示,W1表示可学习权重参数,Ct表示当前序列s内的第t个节点嵌入表示,b为可学习参数;
[0119] (4)引入自注意力机制学习序列中节点之间的相关性,表示为:
[0120]
[0121] 其中, 为自注意力计算过后新的输出数据,Xh是初始输入数据,即时间序列数h Q h K h V Q K V据,dk为键向量的维度,Q=XW是查询矩阵,K=XW是键矩阵,V=XW是值矩阵,W ,W ,W 是权重矩阵,softmax(·)是激活函数,聚合节点嵌入表示过程如下:
[0122]
[0123]
[0124]
[0125] 其中,Xm表示第m个输入数据, 表示序列s的嵌入表示,αt表示第t个节点的注意力分数,c表示偏置, 表示序列s的第t个节点嵌入表示,θh表示解缠绕超图卷积子模块最终学习到的节点嵌入表示。
[0126] 具体来说,解缠绕超图注意力子模块首先利用多层超图卷积获得节点的高阶信息特征(步骤(1)),然后将节点表示划分为K个因子表示,并将其分别投射到不同的子空间中,以便于细粒度地区分不同因素(步骤(2));随后进行解缠绕表示学习,充分解开混杂的因子(步骤(3));最后采用注意力机制有区分的加权融合因子表示,获得最终的节点表征(步骤(4))。
[0127] 在一种实施方式中,对偶图卷积子模块的处理过程包括:
[0128] 对偶图在每次卷积操作中,当前序列从邻居序列中传播和收集信息,学习的表示θ能够捕获到网络间的特征信息,其中,对偶图的卷积操作表示为:
[0129]
[0130] 其中,θ(l)、θ(l+1)分别表示对偶图卷积第l层和第l+1层的嵌入表示, 表示度矩阵,表示邻接矩阵;
[0131] 其中,对偶图卷积子模块中,对每层获得的序列表征表示使用均值池化获得最终的网络设备间的嵌入表示θd:
[0132]
[0133] L'表示对偶卷积层的总层数。
[0134] 在一种实施方式中,自监督对比学习模块的处理过程包括:
[0135] 采用Info‑NCE作为学习目标,其具有来自正样本和负样本之间的标准二进制交叉熵损失,计算方式为:
[0136]
[0137] 其中,i表示特定节点, 通过对θh进行行变换和列变换得到的负样本, 是通过对θd进行行变换和列变换得到的负样本,判别器函数为fD(·): 即和 判别相互之间的差异性。
[0138] 具体来说,Info‑NCE的全称为Noise Contrastive Estimation,即噪声对比估计。
[0139] 在一种实施方式中,预测模块的处理过程包括:
[0140] 在给定序列s的情况下,通过在从超图中学习的节点嵌入Xi和序列嵌入sg之间进行内积,计算所有候选节点i∈I的预测分数Z,其中,节点i的预测分数Zi的计算方式为:
[0141]
[0142] 采用softmax函数预测节点成为下一个故障的概率
[0143]
[0144] 表示任意一个节点的预测分数,
[0145] 采用交叉熵损失函数Lr学习优化目标:
[0146]
[0147] 其中,N表示节点数量、yi和 分别表示节点i的真实值和预测值,y是正热编码向量,采用Adam最小化Lr,最终的学习目标L定义为:
[0148] L=Lr+βLs
[0149] 其中,β是控制自监督对比学习任务的可变控制因子。
[0150] 请参见图1,为本发明实施例基于自监督解缠绕超图注意力神经网络模型的框架图,请参见图2,为本发明实施例的流程示意图。
[0151] 具体的,本实施例是上述方法实施例对应的系统实施例,具体效果参见上述方法实施例,在此不再一一赘述。网络故障数据进行收集,将故障信息加入时间戳,通过预处理(去掉故障数量过小数据或缺失值)转化为样本数据;构建自监督解缠绕超图注意力网络框架;根据解缠绕超图注意力得到故障的影响程度和发生故障的原因;采用对偶图卷积挖掘设备间的影响,利用自监督对比学习来获取序列中最终的故障特征信息,最后得到预测结果。
[0152] 本发明实施例采用以上技术方案与现有技术相比,具有以下的有益效果:对网络故障数据进行预处理,构建基于自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测,通过解缠绕超图注意力网络及自监督对比学习的方法,实现在网络故障发生之前就进行精准预测,能够完成网络故障原因及其复杂相关性的精准分析。因此,本发明实施例的故障预测可以实现网络故障的精准预测,提高网络故障预测的准确性。
[0153] 实施例二
[0154] 基于同样的发明构思,本实施例提供了一种基于自监督解缠绕超图注意力的网络故障预测装置,包括:
[0155] 预处理模块,用于获取网络故障数据,对获取的网络故障数据进行预处理;
[0156] 模型构建模块,用于构建自监督解缠绕超图注意力神经网络模型,所述神经网络模型包括嵌入模块、表示学习模块、自监督对比学习模块以及预测模块,其中,嵌入模块用于将输入网络故障数据转化为嵌入向量,表示学习模块包括解缠绕超图注意力子模块和对偶图卷积子模块,其中,解缠绕超图注意力子模块用于挖掘网络内故障之间的复杂关系,并采用解缠绕的方法获取网络故障背后的潜在原因,对偶图卷积子模块用于采用对偶图卷积来获取网络设备节点间故障发生的关联关系,自监督对比学习模块用于将表示学习模块的两个子模块视为描述网络的不同层次,通过自监督对比学习对比两个子模块学习的两组网络嵌入表示,预测模块用于根据学习到的节点嵌入和序列嵌入预测节点成为下一个故障的概率,从而对网络故障进行预测;
[0157] 故障预测模块,用于利用自监督解缠绕超图注意力神经网络模型对网络故障数据中的故障进行预测。
[0158] 由于本发明实施例二所介绍的装置为实施本发明实施例一中基于自监督解缠绕超图注意力的网络故障预测方法所采用的装置,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该装置的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的装置都属于本发明所欲保护的范围。
[0159] 实施例三
[0160] 基于同一发明构思,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现如实施例一中所述的方法。
[0161] 由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于自监督解缠绕超图注意力的网络故障预测方法所采用的计算机可读存储介质,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机可读存储介质的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
[0162] 实施例四
[0163] 基于同一发明构思,本申请还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述程序时实现实施例一中的方法。
[0164] 由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中基于自监督解缠绕超图注意力的网络故障预测方法所采用的计算机设备,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机设备的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
[0165] 本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。
[0166] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0167] 尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0168] 显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。