具有故障预测的智能网络设备管理系统及方法转让专利
申请号 : CN202110687885.7
文献号 : CN113395182B
文献日 : 2022-03-18
发明人 : 姜朝露 , 杨明培
申请人 : 山东八五信息技术有限公司
摘要 :
权利要求 :
1.具有故障预测的智能网络设备管理系统,其特征在于,所述系统包括:历史故障数据分析单元,配置用于获取网络设备的历史故障数据,对历史故障数据进行数据统计分析,按照网络设备的故障发生频率的高低,进行排序;
设备分层单元,配置用于基于故障发生频率的排序结果,对网络设备进行分层;所述分层过程包括:构建一个树形网络结构,按照故障发生频率从高到低,将对应的网络设备的标识存储在树形网络结构的节点中,其中,故障发生频率最高的网络设备的标识存储在树形网络结构的根节点;
故障链构建单元,配置用于获取网络设备的历史故障数据,对历史故障数据进行相关性分析,找到网络设备之间故障发生的关联,若多个网络设备之间发生故障存在关联性,则在树形网络结构中,将这些网络设备标识进行连接,形成关联树形网络结构;
故障排查单元,配置用于基于关联树形网络结构,从根节点开始,获取网络设备的标识,依次对标识对应的网络设备进行故障排查,若排查发现某网络设备出现故障,则从关联树形网络结构中获取与该网络设备关联的所有网络设备的标识,并对这些关联的网络设备的标识对应的网络设备进行故障排查;
故障预测单元,配置用于获取网络设备的历史故障数据,将历史故障数据作为训练数据,建立故障预测模型;再实时获取网络设备的当前运行数据,基于当前运行数据,使用故障预测模型,预测网络设备是否会发生故障;
所述故障预测单元包括:训练单元,配置用于获取网络设备的历史故障数据,将历史故障数据作为训练数据;模型建立单元,配置用于基于训练数据建立故障预测模型;预测单元,配置用于实时获取网络设备的当前运行数据,基于当前运行数据,使用故障预测模型,预测网络设备是否会发生故障;
所述训练单元在获取网络设备的历史故障数据后,还将对历史故障数据进行数据预处理,所述数据预处理的过程包括:去除唯一属性、处理缺失值和异常值检测及处理。
2.如权利要求1所述的系统,其特征在于,所述故障链构建单元找到网络设备之间故障发生的关联的方法包括:步骤1.1:对获取的网络设备的历史故障数据进行归一化和离散化处理,生成用于相关性分析的网络设备的历史故障数据集;步骤1.2:取得故障的描述并设定最小故障值;所述故障的描述包括:故障本身描述和该故障对应的网络设备的标识;所述最小故障值为设定的频次值,只有当某个故障发生的频次超过最小故障值时,该故障才会呈现显性状态;根据所述故障的描述和所述最小故障值构造出网络设备的历史故障数据集的故障描述和故障值约束树,在所述故障值约束树中,当某个故障超过设定的最小故障值,每个故障的描述将会加入到故障值描述树中;最后在故障描述和故障值约束树上挖掘出约束模式;步骤1.3:设定置信区间,根据所述置信区间和所述约束模式,挖掘出描述网络设备的历史故障数据的特征与故障描述之间相关性的关联规则;步骤1.4:根据步骤1.3中得到的关联规则,将相同的每个网络设备的历史故障数据的特征的故障描述在故障值约束树中进行关联。
3.如权利要求2所述的系统,其特征在于,所述步骤1.2中挖掘出约束模式的方法包括:利用一阶谓词逻辑描述故障,并设定衡量关联规则重要程度的最小故障值;扫描网络设备的历史故障数据集,判断网络设备的历史故障数据集中的每一条故障数据是否满足所述故障,从而将原数据集中的故障数据,分解为两个不相交的故障数据子集,并采用满足故障的故障数据子集和设定的最小故障值,构造网络设备的历史故障数据集的故障描述和故障值约束树;利用设定的最小故障值和故障描述和故障值约束树,挖掘出网络设备的历史故障数据的约束模式。
4.如权利要求1所述的系统,其特征在于,所述模型建立单元基于训练数据建立故障预测模型的方法包括:基于训练数据,使用有监督的神经网络创建预测故障预测模型。
5.如权利要求4所述的系统,其特征在于,所述故障预测模型使用如下公式进行表示:其中,η为计算出的故
障判别值,η1为网络设备的历史故障数据的平均故障发生率,η2为网络设备的历史故障数据的故障发生率的中位数,mod为取模运算,i为网络设备的历史故障数据的数据个数,Mb为运行数据的个数,T为设定值,取值范围为:50~250;根据计算出的故障判别值与设定的阈值进行比较,以预测是否会发生故障。
6.一种基于权利要求1至5之一所述系统的具有故障预测的智能网络设备管理方法,其特征在于,所述方法执行以下步骤:
步骤1:获取网络设备的历史故障数据,对历史故障数据进行数据统计分析,按照网络设备的故障发生频率的高低,进行排序;
步骤2:基于故障发生频率的排序结果,对网络设备进行分层;所述分层过程包括:构建一个树形网络结构,按照故障发生频率从高到底,将对应的网络设备的标识存储在树形网络结构的节点中,其中,故障发生频率最高的网络设备的标识存储在树形网络结构的根节点;
步骤3:获取网络设备的历史故障数据,对历史故障数据进行相关性分析,找到网络设备之间故障发生的关联,若多个网络设备之间发生故障存在关联性,则在树形网络结构中,将这些网络设备标识进行连接,形成关联树形网络结构;
步骤4:基于关联树形网络结构,从根节点开始,获取网络设备的标识,依次对标识对应的网络设备进行故障排查,若排查发现某网络设备出现故障,则从关联树形网络结构中获取与该网络设备关联的所有网络设备的标识,并对这些关联的网络设备的标识对应的网络设备进行故障排查;
步骤5:获取网络设备的历史故障数据,将历史故障数据作为训练数据,建立故障预测模型;再实时获取网络设备的当前运行数据,基于当前运行数据,使用故障预测模型,预测网络设备是否会发生故障;
所述步骤5包括:获取网络设备的历史故障数据,将历史故障数据作为训练数据;基于训练数据建立故障预测模型;实时获取网络设备的当前运行数据,基于当前运行数据,使用故障预测模型,预测网络设备是否会发生故障;
在获取网络设备的历史故障数据后,还将对历史故障数据进行数据预处理,所述数据预处理的过程包括:去除唯一属性、处理缺失值和异常值检测及处理。
7.如权利要求6所述的方法,其特征在于,所步骤3包括:步骤1.1:对获取的网络设备的历史故障数据进行归一化和离散化处理,生成用于相关性分析的网络设备的历史故障数据集;步骤1.2:取得故障的描述并设定最小故障值;所述故障的描述包括:故障本身描述和该故障对应的网络设备的标识;所述最小故障值为设定的频次值,只有当某个故障发生的频次超过最小故障值时,该故障才会呈现显性状态;根据所述故障的描述和所述最小故障值构造出网络设备的历史故障数据集的故障描述和故障值约束树,在所述故障值约束树中,当某个故障超过设定的最小故障值,每个故障的描述将会加入到故障值描述树中;最后在故障描述和故障值约束树上挖掘出约束模式;步骤1.3:设定置信区间,根据所述置信区间和所述约束模式,挖掘出描述网络设备的历史故障数据的特征与故障描述之间相关性的关联规则;步骤1.4:根据步骤1.3中得到的关联规则,将相同的每个网络设备的历史故障数据的特征的故障描述在故障值约束树中进行关联。
8.如权利要求7所述的方法,其特征在于,所述步骤1.2中挖掘出约束模式的方法包括:利用一阶谓词逻辑描述故障,并设定衡量关联规则重要程度的最小故障值;扫描网络设备的历史故障数据集,判断网络设备的历史故障数据集中的每一条故障数据是否满足所述故障,从而将原数据集中的故障数据,分解为两个不相交的故障数据子集,并采用满足故障的故障数据子集和设定的最小故障值,构造网络设备的历史故障数据集的故障描述和故障值约束树;利用设定的最小故障值和故障描述和故障值约束树,挖掘出网络设备的历史故障数据的约束模式。
说明书 :
具有故障预测的智能网络设备管理系统及方法
技术领域
背景技术
理”的概念。
计、生产、经销、运行、使用、维修保养、直到回收再用处置的全生命周期中的信息与过程。
步确定故障所在大致部位的过程是故障定位。故障检测和故障定位同属网络生存性范畴。
要求把故障定位到实施修理时可更换的产品层次(可更换单位)的过程称为故障隔离。故障
诊断就是指故障检测和故障隔离的过程。
帧,判断系统是否产生故障;故障类型判断就是系统在检测出故障之后,通过分析原因,判
断出系统故障的类型;故障定位是在前两部的基础之上,细化故障种类,诊断出系统具体故
障部位和故障原因,为故障恢复做准备;故障恢复是整个故障诊断过程中最后也是最重要
的一个环节,需要根据故障原因,采取不同的措施,对系统故障进行恢复。
般通过如下手段检测网络设备是否出现故障:首先获取网络设备各个物理端口的报文的流
量,之后将当前物理端口的报文的流量与该端口的历史报文流量进行对比,如果当前的报
文流量出现明显的上升或下降,则初步判定网络设备出现故障,继而需要运维人员排查网
络,进一步定位故障、隔离故障。
应时长之内,始终未接收到响应信息,查找与目标网络设备位于同一探测路径中,并且为目
标网络设备上一跳的第一网络设备;若第一网络设备是检测终端,确定目标网络设备发生
故障,若第一网络设备不是检测终端,向第一网络设备发送Ping命令;在向第一网络设备发
送Ping命令之后,若在等待响应时长之内,接收到第一网络设备产生的响应信息,确定目标
网络设备发生故障,若在等待响应时长之内,始终未接收到响应信息,确定目标网络设备未
发生故障。
的方式进行检测,检测效率很低,且智能化程度低,需要消耗大量的系统资源。
发明内容
够一次性发现所有可能发生故障的设备,以提升故障检测的效率;同时,利用网络设备的历
史故障数据建立故障预测模型,进行故障预测,提升网络设备管理的智能化,降低故障发生
率。
的标识存储在树形网络结构的节点中,其中,故障发生频率最高的网络设备的标识存储在
树形网络结构的根节点;
性,则在树形网络结构中,将这些网络设备标识进行连接,形成关联树形网络结构;
联树形网络结构中获取与该网络设备关联的所有网络设备的标识,并对这些关联的网络设
备的标识对应的网络设备进行故障排查;
用故障预测模型,预测网络设备是否会发生故障。
析的网络设备的历史故障数据集;步骤1.2:取得故障的描述并设定最小故障值;所述故障
的描述包括:故障本身描述和该故障对应的网络设备的标识;所述最小故障值为设定的频
次值,只有当某个故障发生的频次超过最小故障值时,该故障才会呈现显性状态;根据所述
故障的描述和所述最小故障值构造出网络设备的历史故障数据集的故障描述和故障值约
束树,在所述故障值约束树中,当某个故障超过设定的最小故障值,每个故障的描述将会加
入到故障值描述树中;最后在故障描述和故障值约束树上挖掘出约束模式;步骤1.3:设定
置信区间,根据所述置信区间和所述约束模式,挖掘出描述网络设备的历史故障数据的特
征与故障描述之间相关性的关联规则;步骤1.4:根据步骤1.3中得到的关联规则,将相同的
每个网络设备的历史故障数据的特征的故障描述在故障值约束树中进行关联。
络设备的历史故障数据集中的每一条故障数据是否满足所述故障,从而将原数据集中的故
障数据,分解为两个不相交的故障数据子集,并采用满足故障的故障数据子集和设定的最
小故障值,构造网络设备的历史故障数据集的故障描述和故障值约束树;利用设定的最小
故障值和故障描述和故障值约束树,挖掘出网络设备的历史故障数据的约束模式。
模型;预测单元,配置用于实时获取网络设备的当前运行数据,基于当前运行数据,使用故
障预测模型,预测网络设备是否会发生故障。
及处理。
设备的历史故障数据的平均故障发生率,η2为网络设备的历史故障数据的故障发生率的中
位数,mod为取模运算,i为网络设备的历史故障数据的数据个数,Mb为运行数据的个数,T为
设定值,取值范围为:50~250;根据计算出的故障判别值与设定的阈值进行比较,以预测是
否会发生故障。
形网络结构的节点中,其中,故障发生频率最高的网络设备的标识存储在树形网络结构的
根节点;
构中,将这些网络设备标识进行连接,形成关联树形网络结构;
中获取与该网络设备关联的所有网络设备的标识,并对这些关联的网络设备的标识对应的
网络设备进行故障排查;
预测网络设备是否会发生故障。
描述并设定最小故障值;所述故障的描述包括:故障本身描述和该故障对应的网络设备的
标识;所述最小故障值为设定的频次值,只有当某个故障发生的频次超过最小故障值时,该
故障才会呈现显性状态;根据所述故障的描述和所述最小故障值构造出网络设备的历史故
障数据集的故障描述和故障值约束树,在所述故障值约束树中,当某个故障超过设定的最
小故障值,每个故障的描述将会加入到故障值描述树中;最后在故障描述和故障值约束树
上挖掘出约束模式;步骤1.3:设定置信区间,根据所述置信区间和所述约束模式,挖掘出描
述网络设备的历史故障数据的特征与故障描述之间相关性的关联规则;步骤1.4:根据步骤
1.3中得到的关联规则,将相同的每个网络设备的历史故障数据的特征的故障描述在故障
值约束树中进行关联。
络设备的历史故障数据集中的每一条故障数据是否满足所述故障,从而将原数据集中的故
障数据,分解为两个不相交的故障数据子集,并采用满足故障的故障数据子集和设定的最
小故障值,构造网络设备的历史故障数据集的故障描述和故障值约束树;利用设定的最小
故障值和故障描述和故障值约束树,挖掘出网络设备的历史故障数据的约束模式。
故障的设备,以提升故障检测的效率;同时,利用网络设备的历史故障数据建立故障预测模
型,进行故障预测,提升网络设备管理的智能化,降低故障发生率。主要通过以下过程实现:
1.故障链的构建:本发明对历史故障数据进行相关性分析,找到网络设备之间故障发生的
关联,若多个网络设备之间发生故障存在关联性,则在树形网络结构中,将这些网络设备标
识进行连接,形成关联树形网络结构;通过该过程,在某个故障出现后,不仅可以直接发现
出现故障的网络设备,还可以根据故障链找到相关的网络设备,因为在网络运行过程中,发
生故障的往往会不止一个设备,如果单纯的进行逐一检测,将十分浪费资源,降低效率,而
故障连可以一次性发现所有可能会发生故障的设备,显著提升了故障检测的效率;2.故障
排查的方法:本发明在进行故障排查时,从根节点开始,获取网络设备的标识,依次对标识
对应的网络设备进行故障排查,若排查发现某网络设备出现故障,则从关联树形网络结构
中获取与该网络设备关联的所有网络设备的标识,并对这些关联的网络设备的标识对应的
网络设备进行故障排查;通过该过程进行故障排查,可以从故障发生率较高的设备开始进
行排查,而不是按照常规的网络设备的顺序进行排查,这样,又从另一方面提升了故障检测
的效率;3.故障预测功能:本发明通过建立故障预测模型进行故障预测,该故障预测模型基
于神经网络实现,但模型算法则进行了调整,以适应网络设备的故障预测,通过该过程,降
低了网络设备的故障发生率,同时提升了故障预测的准确性。
附图说明
具体实施方式
的标识存储在树形网络结构的节点中,其中,故障发生频率最高的网络设备的标识存储在
树形网络结构的根节点;
性,则在树形网络结构中,将这些网络设备标识进行连接,形成关联树形网络结构;
联树形网络结构中获取与该网络设备关联的所有网络设备的标识,并对这些关联的网络设
备的标识对应的网络设备进行故障排查;
用故障预测模型,预测网络设备是否会发生故障。
效率;同时,利用网络设备的历史故障数据建立故障预测模型,进行故障预测,提升网络设
备管理的智能化,降低故障发生率。主要通过以下过程实现:1.故障链的构建:本发明对历
史故障数据进行相关性分析,找到网络设备之间故障发生的关联,若多个网络设备之间发
生故障存在关联性,则在树形网络结构中,将这些网络设备标识进行连接,形成关联树形网
络结构;通过该过程,在某个故障出现后,不仅可以直接发现出现故障的网络设备,还可以
根据故障链找到相关的网络设备,因为在网络运行过程中,发生故障的往往会不止一个设
备,如果单纯的进行逐一检测,将十分浪费资源,降低效率,而故障连可以一次性发现所有
可能会发生故障的设备,显著提升了故障检测的效率;2.故障排查的方法:本发明在进行故
障排查时,从根节点开始,获取网络设备的标识,依次对标识对应的网络设备进行故障排
查,若排查发现某网络设备出现故障,则从关联树形网络结构中获取与该网络设备关联的
所有网络设备的标识,并对这些关联的网络设备的标识对应的网络设备进行故障排查;通
过该过程进行故障排查,可以从故障发生率较高的设备开始进行排查,而不是按照常规的
网络设备的顺序进行排查,这样,又从另一方面提升了故障检测的效率;3.故障预测功能:
本发明通过建立故障预测模型进行故障预测,该故障预测模型基于神经网络实现,但模型
算法则进行了调整,以适应网络设备的故障预测,通过该过程,降低了网络设备的故障发生
率,同时提升了故障预测的准确性。
用于相关性分析的网络设备的历史故障数据集;步骤1.2:取得故障的描述并设定最小故障
值;所述故障的描述包括:故障本身描述和该故障对应的网络设备的标识;所述最小故障值
为设定的频次值,只有当某个故障发生的频次超过最小故障值时,该故障才会呈现显性状
态;根据所述故障的描述和所述最小故障值构造出网络设备的历史故障数据集的故障描述
和故障值约束树,在所述故障值约束树中,当某个故障超过设定的最小故障值,每个故障的
描述将会加入到故障值描述树中;最后在故障描述和故障值约束树上挖掘出约束模式;步
骤1.3:设定置信区间,根据所述置信区间和所述约束模式,挖掘出描述网络设备的历史故
障数据的特征与故障描述之间相关性的关联规则;步骤1.4:根据步骤1.3中得到的关联规
则,将相同的每个网络设备的历史故障数据的特征的故障描述在故障值约束树中进行关
联。
应用需求。云计算、物联网这样的新型网络技术的渐渐得到了应用和普及,计算机网络的规
模和结构也日趋庞大和复杂。由于网络中接入的设备越来越多,故障便不可避免的出现。
器或路由器故障、主机物理故障等;而软件故障则包含路由器逻辑故障如配置有误、重要进
程或端口被关闭、主机逻辑故障如缺少网卡驱动程序等。当然还包括其他类型的故障。这些
软硬件故障的出现严重影响了网络系统的可靠性,给人们的日常生活和工作带来很多不
便。而在某些特殊环境下,网络系统的可靠性显得尤为重要,如交通管理系统、飞机导航系
统、军工武器系统等。在关键任务的执行过程中,一个轻微的网络故障可能造成极大的损
失,如重要信息的丢失甚至任务的失败。因此,如何在一定程度上减轻此类网络故障对系统
可靠性造成的影响已经成为当务之急。
判断设备的故障级别,提前掌握设备故障的发展趋势,为提早预防和修复故障提供依据,具
有重要的理论研究价值和工程实践意义。
数据集,判断网络设备的历史故障数据集中的每一条故障数据是否满足所述故障,从而将
原数据集中的故障数据,分解为两个不相交的故障数据子集,并采用满足故障的故障数据
子集和设定的最小故障值,构造网络设备的历史故障数据集的故障描述和故障值约束树;
利用设定的最小故障值和故障描述和故障值约束树,挖掘出网络设备的历史故障数据的约
束模式。
测、噪声监测、性能趋势分析和无损探伤等为其主要的诊断技术方式。系统故障诊断是对系
统运行状态和异常情况作出判断,并根据诊断作出判断,为系统故障恢复提供依据。要对系
统进行故障诊断,首先必须对其进行检测,在发生系统故障时,对故障类型、故障部位及原
因进行诊断,最终给出解决方案,实现故障恢复。
建立故障预测模型;预测单元,配置用于实时获取网络设备的当前运行数据,基于当前运行
数据,使用故障预测模型,预测网络设备是否会发生故障。
和异常值检测及处理。
示方面,神经网络采取隐式表示,并将某一问题的若干知识表示在同一网络中,通用性高、
便于实现知识的总动获取和并行联想推理。在知识推理方面,神经网络通过神经元之间的
相互作用来实现推理。
是一些分布权重,而不是类似领域专家逻辑思维的产生式规则,因此诊断推理过程不能够
解释,缺乏透明度
障判别值,η1为网络设备的历史故障数据的平均故障发生率,η2为网络设备的历史故障数据
的故障发生率的中位数,mod为取模运算,i为网络设备的历史故障数据的数据个数,Mb为运
行数据的个数,T为设定值,取值范围为:50~250;根据计算出的故障判别值与设定的阈值
进行比较,以预测是否会发生故障。
形网络结构的节点中,其中,故障发生频率最高的网络设备的标识存储在树形网络结构的
根节点;
构中,将这些网络设备标识进行连接,形成关联树形网络结构;
中获取与该网络设备关联的所有网络设备的标识,并对这些关联的网络设备的标识对应的
网络设备进行故障排查;
预测网络设备是否会发生故障。
1.2:取得故障的描述并设定最小故障值;所述故障的描述包括:故障本身描述和该故障对
应的网络设备的标识;所述最小故障值为设定的频次值,只有当某个故障发生的频次超过
最小故障值时,该故障才会呈现显性状态;根据所述故障的描述和所述最小故障值构造出
网络设备的历史故障数据集的故障描述和故障值约束树,在所述故障值约束树中,当某个
故障超过设定的最小故障值,每个故障的描述将会加入到故障值描述树中;最后在故障描
述和故障值约束树上挖掘出约束模式;步骤1.3:设定置信区间,根据所述置信区间和所述
约束模式,挖掘出描述网络设备的历史故障数据的特征与故障描述之间相关性的关联规
则;步骤1.4:根据步骤1.3中得到的关联规则,将相同的每个网络设备的历史故障数据的特
征的故障描述在故障值约束树中进行关联。
数据集,判断网络设备的历史故障数据集中的每一条故障数据是否满足所述故障,从而将
原数据集中的故障数据,分解为两个不相交的故障数据子集,并采用满足故障的故障数据
子集和设定的最小故障值,构造网络设备的历史故障数据集的故障描述和故障值约束树;
利用设定的最小故障值和故障描述和故障值约束树,挖掘出网络设备的历史故障数据的约
束模式。
实施例中的单元或者步骤再分解或者组合,例如,上述实施例的单元可以合并为一个单元,
也可以进一步拆分成多个子单元,以完成以上描述的全部或者单元功能。对于本发明实施
例中涉及的单元、步骤的名称,仅仅是为了区分各个单元或者步骤,不视为对本发明的不当
限定。
在此不再赘述。
应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编
程ROM、寄存器、硬盘、可移动磁盘、CD‑ROM、或技术领域内所公知的任意其它形式的存储介
质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地
描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术
方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法
来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
其它要素,或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
发明的原理的前提下,本领域技术人员可以对相关技术标记作出等同的更改或替换,这些
更改或替换之后的技术方案都将落入本发明的保护范围之内。