一种系统监控方法、装置、设备及存储介质转让专利
申请号 : CN202110134560.6
文献号 : CN112445682B
文献日 : 2021-05-11
发明人 : 陈鑫亚 , 王化楠 , 王愚
申请人 : 连连(杭州)信息技术有限公司
摘要 :
权利要求 :
1.一种系统监控方法,其特征在于,所述方法包括:获取预设决策树路由表和目标系统中任意数量个目标对象的第一监控数据,所述第一监控数据包括任意数量个目标对象和所述任意数量个目标对象各自对应的第一时间序列,所述第一时间序列包括第一预设时间段内的历史时间序列和第二预设时间段对应的第一实时时间序列,每个目标对象对应的第一时间序列包括平稳序列或非平稳序列;
根据所述预设决策树路由表确定所述任意数量个目标对象各自对应的预设时间序列预测模型;
基于所述任意数量个目标对象各自对应的预设时间序列预测模型,分别对所述任意数量个目标对象各自对应的第一时间序列进行预测分析,得到所述任意数量个目标对象各自对应的第一目标时间序列;
在预设时间间隔之后,获取所述任意数量个目标对象各自对应的第二实时时间序列,所述第二实时时间序列包括所述第二预设时间段对应的实时时间序列;
基于所述任意数量个目标对象各自对应的第一目标时间序列和所述第二实时时间序列,对所述目标系统进行监控。
2.根据权利要求1所述的方法,其特征在于,所述根据所述任意数量个目标对象各自对应的第一目标时间序列和所述第二实时时间序列,对所述目标系统进行监控包括:利用预设系统评估模型确定所述任意数量个目标对象各自对应的第一目标时间序列和所述第二实时时间序列的误差值;
当所述误差值小于第一预设误差阈值时,确定所述目标系统的监控结果为运行正常。
3.根据权利要求1所述的方法,其特征在于,所述根据所述任意数量个目标对象各自对应的第一目标时间序列和所述第二实时时间序列,对所述目标系统进行监控之后,所述方法还包括:
根据所述预设决策树路由表确定所述任意数量个目标对象各自对应的预设时间序列预测模型;
基于所述任意数量个目标对象各自对应的预设时间序列预测模型,分别对所述任意数量个目标对象各自对应的第二时间序列进行预测分析,得到所述任意数量个目标对象各自对应的第二目标时间序列,所述第二时间序列包括所述第一预设时间段内的历史时间序列和所述第二预设时间段对应的第二实时时间序列;
在所述预设时间间隔之后,获取所述任意数量个目标对象各自对应的第三实时时间序列,所述第三实时时间序列包括所述第二预设时间段对应的实时时间序列;
根据所述任意数量个目标对象各自对应的第二目标时间序列和所述第三实时时间序列,对所述目标系统进行监控。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:基于第二监控数据,对所述预设决策树路由表进行更新,得到更新后的决策树路由表,其中,所述第二监控数据包括所述任意数量个目标对象和所述任意数量个目标对象各自对应的第二时间序列,所述第二时间序列包括所述第一预设时间段内的历史时间序列和第二预设时间段对应的第二实时时间序列;
所述根据所述预设决策树路由表确定所述任意数量个目标对象各自对应的预设时间序列预测模型包括:
根据所述更新后的决策树路由表确定所述任意数量个目标对象各自对应的目标时间序列预测模型;
相应的,所述方法还包括:
基于所述任意数量个目标对象各自对应的目标时间序列预测模型,分别对所述任意数量个目标对象各自对应的第二时间序列进行预测分析,得到所述任意数量个目标对象各自对应的第二目标时间序列;
在所述预设时间间隔之后,获取所述任意数量个目标对象各自对应的第三实时时间序列;
根据所述任意数量个目标对象各自对应的第二目标时间序列和所述第三实时时间序列,对所述目标系统进行监控。
5.根据权利要求1所述的方法,其特征在于,所述根据所述任意数量个目标对象各自对应的第一目标时间序列和所述第二实时时间序列,对所述目标系统进行监控之后,所述方法还包括:
按照预设周期获取第三监控数据,所述第三监控数据包括所述任意数量个目标对象和所述任意数量个目标对象各自对应的第三时间序列,所述第三时间序列包括所述第一预设时间段内的历史时间序列和第二预设时间段对应的第四实时时间序列;
根据所述第三监控数据对所述预设决策树路由表进行周期性更新,得到更新后的决策树路由表,其中更新周期为所述预设周期;
根据所述更新后的决策树路由表确定所述任意数量个目标对象各自对应的目标时间序列预测模型;
基于所述任意数量个目标对象各自对应的目标时间序列预测模型,分别对所述任意数量个目标对象各自对应的第三时间序列进行预测分析,得到所述任意数量个目标对象各自对应的第三目标时间序列;
在所述预设时间间隔之后,获取所述任意数量个目标对象各自对应的第五实时时间序列,所述第五实时时间序列是指,在所述第四实时时间序列的所述预设时间间隔之后获取得到的时间序列;
根据所述任意数量个目标对象各自对应的第三目标时间序列和所述第五实时时间序列,对所述目标系统进行监控。
6.根据权利要求2所述的方法,其特征在于,所述利用预设系统评估模型确定所述任意数量个目标对象各自对应的第一目标时间序列和所述第二实时时间序列的误差值之后,所述方法还包括:
当所述误差值大于第二预设误差阈值时,确定所述目标系统运行异常;
当所述目标系统运行异常时,基于第二时间序列,对所述预设决策树路由表进行更新,得到更新后的决策树路由表,所述第二时间序列包括所述第一预设时间段内的历史时间序列和所述第二预设时间段对应的第二实时时间序列;
根据所述更新后的决策树路由表确定所述任意数量个目标对象各自对应的目标时间序列预测模型;
利用所述任意数量个目标对象各自对应的目标时间序列预测模型,分别对所述任意数量个目标对象各自对应的第二时间序列进行预测分析,得到所述任意数量个目标对象各自对应的第二目标时间序列;
在所述预设时间间隔之后,获取所述任意数量个目标对象各自对应的第三实时时间序列;
根据所述任意数量个目标对象各自对应的第二目标时间序列和所述第三实时时间序列,对所述目标系统进行监控。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:预先获取所述任意数量个目标对象各自对应的样本时间序列数据集,以及所述任意数量个目标对象各自对应的测试时间序列数据集,所述测试时间序列数据集包括第一测试时间序列数据集和第二测试时间序列数据集;
利用每个目标对象对应的样本时间序列数据集,训练每个目标对象对应的多个时间序列预测模型;
利用每个目标对象对应的多个时间序列预测模型,对每个目标对象对应的第一测试时间序列数据集进行预测分析,得到多个时间序列预测模型对应的多个预测结果;
将每个预测结果和所述第二测试时间序列数据集中对应的第二测试时间序列数据进行误差分析,确定每个目标对象对应的目标时间序列预测模型,将所述每个目标对象对应的目标时间序列预测模型作为所述每个目标对象对应的预设时间序列预测模型;
由所述任意数量个目标对象和所述每个目标对象对应的预设时间序列预测模型,确定所述预设决策树路由表。
8.一种系统监控装置,其特征在于,所述装置包括:第一数据获取模块,用于获取预设决策树路由表和目标系统中任意数量个目标对象的第一监控数据,所述第一监控数据包括任意数量个目标对象和所述任意数量个目标对象各自对应的第一时间序列,所述第一时间序列包括第一预设时间段内的历史时间序列和第二预设时间段对应的第一实时时间序列,每个目标对象对应的第一时间序列包括平稳序列或非平稳序列;
模型确定模块,用于根据所述预设决策树路由表确定所述任意数量个目标对象各自对应的预设时间序列预测模型;
预测模块,用于基于所述任意数量个目标对象各自对应的预设时间序列预测模型,分别对所述任意数量个目标对象各自对应的第一时间序列进行预测分析,得到所述任意数量个目标对象各自对应的第一目标时间序列;
第二数据获取模块,用于在预设时间间隔之后,获取所述任意数量个目标对象各自对应的第二实时时间序列,所述第二实时时间序列包括所述第二预设时间段对应的实时时间序列;
监控模块,用于根据所述任意数量个目标对象各自对应的第一目标时间序列和所述第二实时时间序列,对所述目标系统进行监控。
9.一种系统监控设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任意一项所述的系统监控方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至7任意一项所述的系统监控方法。
说明书 :
一种系统监控方法、装置、设备及存储介质
技术领域
背景技术
同,时间序列中的时间可以是年份、季度、月份或其他任何时间形式。时间序列是按照时间
排序的一组随机变量,它通常是在相等间隔的时间段内依照给定的采样率对某种潜在过程
进行观测的结果。时间序列数据本质上反映的是某个或者某些随机变量随时间不断变化的
趋势。
预测前需要对观测值序列进行平稳性检测,利用差分运算将非平稳序列转化成平稳序列。
但是转化过程中设计到的模型参数在业务场景中难以调优,且依赖较强的统计假设,对于
受到营销、故障等多种业务因素影响的时间序列,往往没有趋势,非平稳,预测效果不佳。
发明内容
整个服务的计算成本。
序列,所述第一时间序列包括第一预设时间段内的历史时间序列和第二预设时间段对应的
第一实时时间序列;
各自对应的第一目标时间序列;
象各自对应的第一时间序列,所述第一时间序列包括第一预设时间段内的历史时间序列和
第二预设时间段对应的第一实时时间序列;
意数量个目标对象各自对应的第一目标时间序列;
时间序列;
所述处理器加载并执行以实现上述的系统监控方法。
的系统监控方法。
型;基于任意数量个目标对象各自对应的预设时间序列预测模型,分别对任意数量个目标
对象各自对应的第一时间序列进行预测分析,得到任意数量个目标对象各自对应的第一目
标时间序列;在预设时间间隔之后,获取任意数量个目标对象各自对应的第二实时时间序
列;根据任意数量个目标对象各自对应的第一目标时间序列和第二实时时间序列,对目标
系统进行监控,可以基于预测时间序列难度的个性化模型匹配,实现持续可靠的时间序列
预测分析,提升系统监控的可靠性和稳定性,同时还能平衡整个服务的计算成本。
附图说明
于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其
它附图。
具体实施方式
例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通
技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护
的范围。
的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆
盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限
于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产
品或设备固有的其它步骤或单元。
该服务请求可以是由不同客户端、不同企业用户或不同个人用户等提出,通过对不同标识
的服务请求进行预测分析,基于预测结果与对应的实时结果对系统进行监控。
于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序
仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。具体的,如图1所示,该方
法可以包括:
包括第一预设时间段内的历史时间序列和第二预设时间段内的第一实时时间序列,第一预
设时间段大于第二预设时间段。
万条用户访问目标系统的时间序列。第一监控数据具体表现为十万个用户的标识信息,也
即十万条时间序列的标识信息,以及十万个用户访问目标系统的时间序列,每条时间序列
可以包括半年以内的历史时间序列和今日实时采集的一天内的时间序列。
XGBoost(eXtreme Gradient Boosting,极端梯度提升)模型、LightGBM(Light Gradient
Boosting Machine,基于树学习的梯度提升模型)模型、随机森林集成树等模型。在部署实
施例时,可以对任意数量个目标对象进行标识,得到任意数量个目标对象的标识数据,预设
决策树路由表可以通过存储任意数量个目标对象的标识数据和对应的预设时间序列预测
模型,来反映任意数量个目标对象与各自预设时间序列预测模型的映射关系,通过任意数
量个目标对象对的标识数据,可以从预设决策树路由表中确定任意数量个目标对象各自对
应的预设时间序列预测模型。
应的第一目标时间序列。
个时刻发生;每个目标对象对应的第一时间序列也可以是非平稳序列,例如,目标系统为商
品交易系统,第一时间序列为多个用户发送交易服务请求的时间序列,用户发送交易服务
请求的行为是随机的,因此,第一时间序列是非平稳序列。将任意数量个目标对象各自对应
的第一时间序列输入每个目标对象对应的预设时间序列预测模型中,可以得到任意数量个
目标对象各自对应的第一目标时间序列,例如,将半年以内包含1月1日时间序列的时间序
列输入预设时间序列预测模型,得到预测的1月2日的时间序列,其中,半年以内包含1月1日
时间序列的时间序列即为第一时间序列,预测的1月2日的时间序列即为第一目标时间序
列。
时间序列的时间长度相同,例如,预设时间间隔为一天,第一目标时间序列的时间长度也为
一天。当第一目标时间序列为预测的1月2日的时间序列时,在1月2日当天,获取1月2日任意
数量个目标对象各自对应的时间序列,将1月2日任意数量个目标对象各自对应的时间序列
作为任意数量个目标对象各自对应的第二实时时间序列。
列的起始时间和终止时间相同。
模型;基于任意数量个目标对象各自对应的预设时间序列预测模型,分别对任意数量个目
标对象各自对应的第一时间序列进行预测分析,得到任意数量个目标对象各自对应的第一
目标时间序列;在预设时间间隔之后,获取任意数量个目标对象各自对应的第二实时时间
序列;根据任意数量个目标对象各自对应的第一目标时间序列和第二实时时间序列,对目
标系统进行监控,可以基于预测时间序列难度的个性化模型匹配,实现持续可靠的时间序
列预测分析,提升系统监控的可靠性和稳定性,同时还能平衡整个服务的计算成本。
Absolute Percentage Error,平均绝对百分比误差)模型、MSE(Mean Square Error,均方
误差)模型、RMSE(Root Mean Square Error,均方根误差)模型、MAE(Mean Absolute
Error,平均绝对误差)模型、SMAPE(Symmetric Mean Absolute Percentage Error,对称平
均绝对百分比误差)模型。具体以MAPE模型为例,MAPE模型用于计算任意数量个目标对象各
自对应的第一目标时间序列和第二实时时间序列的平均绝对百分比误差,公式如下:
第一目标时间序列和第二实时时间序列的误差值时,可以设置第一预设误差阈值为0.5,当
MAPE值小于0.5时,确定目标系统的监控结果为运行正常。
标系统的监控结果为运行正常,可以实现对目标系统运行状态的监控。
应的第二目标时间序列。
一目标时间序列和实际获取的1月2日的实时时间序列,对目标系统进行监控之后,以包含1
月2日当天的第二实时时间序列且时间跨度为半年的时间序列作为第二时间序列,基于任
意数量个目标对象各自对应的预设时间序列预测模型,分别对任意数量个目标对象各自对
应的第二时间序列进行预测分析,可以得到任意数量个目标对象各自对应的第二目标时间
序列,该第二目标时间序列是预测的1月3日的目标时间序列。
象各自对应的预测的1月2日的第一目标时间序列和实际获取的1月2日的实时时间序列,对
目标系统进行监控之后,1月3日,再获取当日任意数量个目标对象各自对应的时间序列,将
1月3日任意数量个目标对象各自对应的时间序列作为任意数量个目标对象各自对应的第
三实时时间序列。
设时间段对应的第二实时时间序列。基于第二监控数据,对预设决策树路由表进行更新,是
指将第二监控数据中任意数量个目标对象各自对应的第二时间序列作为样本数据,对第二
监控数据中任意数量个目标对象所对应的预设时间序列预测模型进行更新训练以及测试。
测试时可以利用预设系统评估模型进行评估,例如,利用MAPE模型对更新后的预设时间序
列预测模型进行计算,确定MAPE值,当MAPE值小于预设的第一误差值0.5时,确定该目标对
象对应的预设时间序列预测模型不变;当MAPE值大于等于预设的第一误差值0.5,小于等于
预设的第二误差值1时,对该目标对象对应的预设时间序列预测模型进行参数变更,至利用
变更后的时间序列预测模型进行预测分析,得到的预测时间序列与实际的实时时间序列的
MAPE值满足需求,将变更后的时间序列预测模型作为目标对象对应的目标时间序列预测模
型,该目标时间序列预测模型中的参数也在决策树路由表中进行更新;当MAPE值大于1时,
采用另外类型的时间序列预测模型进行预测分析,确定预测时间序列与实际的实时时间序
列的MAPE值是否满足需求,将满足需求的时间序列预测模型作为目标对象的目标时间序列
预测模型。将预设时间序列预测模型更新后的参数更新至决策树路由表,并且模型类型发
生改变的目标对象,将该目标对象对应的时间序列预测模型更新到决策树路由表中。
应的第二目标时间序列。
路由表进行自适应迭代,满足时间序列不断发展的趋势。
间序列可以包括第一预设时间段内的历史时间序列和第二预设时间段对应的第四实时时
间序列。
例如,利用决策树路由表中的时间序列预测模型对时间序列每24小时进行一次预测,而对
预设决策树路由表进行周期性更新可以是每周进行一次更新,得到更新后的决策树路由
表。
据,相应的,更新后的决策树路由表将在相同的一定时间后变成预设决策树路由表。
应的第三目标时间序列。
日的实时时间序列后,对决策树路由表进行了更新,第五实时时间序列是1月2日当天实时
获取的时间序列。
足时间序列不断发展的趋势的同时,可以合理安排更新时间,节省大量计算量。
误差值时,可以设置第二预设误差阈值为1,当MAPE值大于1时,确定目标系统运行异常,发
出告警。误差值大于第二预设误差阈值的情况可能有多种,例如,当预设决策树路由表中相
应的时间序列预测模型不相匹配时,
应的第二目标时间序列。
列,将第二目标时间序列与获取的第三实时时间序列进行误差分析,对目标系统进行监控,
满足时间序列不断发展的趋势的同时,可以合理安排更新时间,节省大量计算量。
括多个目标对象各自半年内(包括1月1日实时采集的时间序列)的时间序列数据,第二测试
时间可包括1月2日实时采集的时间序列数据。
果。
作为每个目标对象对应的预设时间序列预测模型。
据集进行预测分析,得到多个时间序列预测模型对应的多个预测结果,基于多个预测结果
分别和第二测试时间序列数据集进行误差分析,确定每个目标对象对应的目标时间序列预
测模型,将每个目标对象对应的目标时间序列预测模型作为每个目标对象对应的预设时间
序列预测模型,由任意数量个目标对象和每个目标对象对应的预设时间序列预测模型,确
定预设决策树路由表。
括使用统一的时间格式、补齐时间序列,对缺失数据使用零值进行填充等。
自对应的第一时间序列,第一时间序列包括第一预设时间段内的历史时间序列和第二预设
时间段对应的第一实时时间序列。
对象各自对应的第一目标时间序列。
间序列进行预测分析,得到所述任意数量个目标对象各自对应的第二目标时间序列。
实时时间序列。
标对象各自对应的第二时间序列,第二时间序列包括第一预设时间段内的历史时间序列和
第二预设时间段对应的第二实时时间序列。
任意数量个目标对象各自对应的第二目标时间序列。
第一预设时间段内的历史时间序列和第二预设时间段对应的第四实时时间序列。
任意数量个目标对象各自对应的第三目标时间序列。
象各自对应的第二目标时间序列。
多个预测结果。
时间序列预测模型作为每个目标对象对应的预设时间序列预测模型。
加载并执行以实现上述任一实施例所述的系统监控方法。
一实施例所述的系统监控方法。
的预设时间序列预测模型;基于任意数量个目标对象各自对应的预设时间序列预测模型,
分别对任意数量个目标对象各自对应的第一时间序列进行预测分析,得到任意数量个目标
对象各自对应的第一目标时间序列;在预设时间间隔之后,获取任意数量个目标对象各自
对应的第二实时时间序列;根据任意数量个目标对象各自对应的第一目标时间序列和第二
实时时间序列,对目标系统进行监控,可以实现持续可靠的时间序列预测分析,提升系统监
控的可靠性和稳定性,同时还能平衡整个服务的计算成本。
和技术,以便不模糊对本说明书的理解。
例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保
护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如本发
明的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因
此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求
本身都作为本发明的单独实施例。
元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或
子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何
组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任
何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权
利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代
替。
之内并且形成不同的实施例。例如,在本发明的权利要求书中,所要求保护的实施例的任意
之一都可以以任意的组合方式来使用。
可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下
载得到,也可以在载体信号上提供,或者以任何其他形式提供。
中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存
在未列在权利要求中的元件或者步骤等。位于元件之前的单词“一”或“一个”不排除存在多
个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算
机来实现。在列举了若干系统的单元权利要求中,这些系统中的若干个可以是通过同一个
硬件项来具体体现。单词第一、第二以及第三等的使用不表示任何顺序,可将这些单词解释
为名称。