数据异常告警处理方法、装置、计算机设备和存储介质转让专利

申请号 : CN202110958114.7

文献号 : CN113407422B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 彭俊廖春生王祥

申请人 : 太平金融科技服务(上海)有限公司深圳分公司

摘要 :

本申请涉及计算机技术领域,特别是涉及一种数据异常告警处理方法、装置、计算机设备和存储介质。所述方法包括:接收待告警业务的告警处理请求,告警处理请求中携带有待告警时间周期;基于预先训练的业务数据预测模型,生成对应待告警时间周期的预测数据;对预测数据进行误差预测,得到对应的预测误差;根据预测误差以及预测数据,得到对应的目标预测数据;对目标预测数据进行异常分类,并在确定目标预测数据异常时,对待告警业务进行告警处理。采用本方法能够提升业务系统告警处理准确性。

权利要求 :

1.一种数据异常告警处理方法,其特征在于,所述方法包括:接收待告警业务的告警处理请求,所述告警处理请求中携带有待告警时间周期;

基于预先训练的业务数据预测模型,生成对应所述待告警时间周期的预测数据;

对所述预测数据进行误差预测,得到对应的预测误差,包括:对所述预测数据进行拆分,生成对应各采样周期的采样预测数据,各所述采样周期连续;获取对应第一采样周期的第一采样数据以及第二采样数据,并基于所述第一采样数据和所述第二采样数据得到第一数据组,所述第一采样数据为所述第一采样周期内采集的数据,所述第二采样数据为时间顺序位于所述第一采样周期之后的连续预设数量个采样周期内采集的数据;将时间顺序位于所述第一采样周期之后的第二采样周期作为第一采样周期,并继续获取对应的第一采样数据以及第二采样数据,得到第二数据组;遍历所述预测数据拆分后所对应的各采样周期,得到对应所述预测数据的多个数据组,各所述数据组包括多个连续采样周期的多个采样预测数据;对各所述数据组进行误差预测,得到对应的预测误差;

根据所述预测误差以及所述预测数据,得到对应的目标预测数据;

对所述目标预测数据进行异常分类,并在确定所述目标预测数据异常时,对所述待告警业务进行告警处理。

2.根据权利要求1所述的方法,其特征在于,所述对所述目标预测数据进行异常分类,并在确定所述目标预测数据异常时,对所述待告警业务进行告警处理,包括:基于所述目标预测数据,确定对应各数据组的目标数据组;

对各所述目标数据组进行异常分类,判断各所述目标数据组是否异常;

当至少一个所述目标数据组异常时,则对所述待告警业务进行告警处理。

3.根据权利要求1所述的方法,其特征在于,所述对各所述数据组进行误差预测,得到对应的预测误差,包括:

根据各所述数据组,获取对应的时间数据;

基于各所述时间数据以及对应的数据组,得到对应的各误差预测数据;

对各所述误差预测数据进行误差预测,生成对应的预测误差。

4.根据权利要求1所述的方法,其特征在于,所述告警处理请求中携带有所述待告警时间周期为活动日或非活动日的参数数据;

所述基于预先训练的业务数据预测模型,生成对应所述待告警时间周期的预测数据,包括:

根据所述参数数据,对所述预先训练的业务数据预测模型的活动日参数进行调整,得到活动日参数调整后的业务数据预测模型;

基于所述活动日参数调整后的业务数据预测模型进行业务数据预测,生成对应所述待告警时间周期的预测数据。

5.一种数据异常告警处理装置,其特征在于,所述装置包括:告警处理请求接收模块,用于接收待告警业务的告警处理请求,所述告警处理请求中携带有待告警时间周期;

预测数据生成模块,用于基于预先训练的业务数据预测模型,生成对应所述待告警时间周期的预测数据;

预测误差确定模块,用于对所述预测数据进行误差预测,得到对应的预测误差,包括:对所述预测数据进行拆分,生成对应各采样周期的采样预测数据,各所述采样周期连续;获取对应第一采样周期的第一采样数据以及第二采样数据,并基于所述第一采样数据和所述第二采样数据得到第一数据组,所述第一采样数据为所述第一采样周期内采集的数据,所述第二采样数据为时间顺序位于所述第一采样周期之后的连续预设数量个采样周期内采集的数据;将时间顺序位于所述第一采样周期之后的第二采样周期作为第一采样周期,并继续获取对应的第一采样数据以及第二采样数据,得到第二数据组;遍历所述预测数据拆分后所对应的各采样周期,得到对应所述预测数据的多个数据组,各所述数据组包括多个连续采样周期的多个采样预测数据;对各所述数据组进行误差预测,得到对应的预测误差;

目标预测数据确定模块,用于根据所述预测误差以及所述预测数据,得到对应的目标预测数据;

告警处理模块,用于对所述目标预测数据进行异常分类,并在确定所述目标预测数据异常时,对所述待告警业务进行告警处理。

6.根据权利要求5所述的装置,其特征在于,所述告警处理模块,包括:目标数据组确定子模块,用于基于所述目标预测数据,确定对应各数据组的目标数据组;

判断子模块,用于对各所述目标数据组进行异常分类,判断各所述目标数据组是否异常;

告警处理子模块,用于当至少一个所述目标数据组异常时,则对所述待告警业务进行告警处理。

7.根据权利要求5所述的装置,其特征在于,所述预测误差确定模块用于根据各所述数据组,获取对应的时间数据;基于各所述时间数据以及对应的数据组,得到对应的各误差预测数据;对各所述误差预测数据进行误差预测,生成对应的预测误差。

8.根据权利要求5所述的装置,其特征在于,所述告警处理请求中携带有所述待告警时间周期为活动日或非活动日的参数数据;所述预测数据生成模块,包括:模型调整子模块,用于根据所述参数数据,对所述预先训练的业务数据预测模型的活动日参数进行调整,得到活动日参数调整后的业务数据预测模型;

预测数据生成子模块,用于基于所述活动日参数调整后的业务数据预测模型进行业务数据预测,生成对应所述待告警时间周期的预测数据。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。

说明书 :

数据异常告警处理方法、装置、计算机设备和存储介质

技术领域

[0001] 本申请涉及计算机技术领域,特别是涉及一种数据异常告警处理方法、装置、计算机设备和存储介质。

背景技术

[0002] 随着互联网技术的高速发展,监控系统在保证应用系统安全、高可用性、高性能方面起着至关重要的作用。对于应用系统中的关键性指标,不仅需要实时监控,还需确定监控
数据是否符合预测,对于偏离预测的指标做异常告警。
[0003] 在传统方式中,系统异常告警只能通过预测函数进行线性短期预测,只能预测短期内的数据,不能满足预测真实业务的非线性数据的预测需求,进而使得业务系统告警准
确性不高。

发明内容

[0004] 基于此,有必要针对上述技术问题,提供一种能够提升业务系统告警处理准确性的数据异常告警处理方法、装置、计算机设备和存储介质。
[0005] 一种数据异常告警处理方法,所述方法包括:
[0006] 接收待告警业务的告警处理请求,告警处理请求中携带有待告警时间周期;
[0007] 基于预先训练的业务数据预测模型,生成对应待告警时间周期的预测数据;
[0008] 对预测数据进行误差预测,得到对应的预测误差;
[0009] 根据预测误差以及预测数据,得到对应的目标预测数据;
[0010] 对目标预测数据进行异常分类,并在确定目标预测数据异常时,对待告警业务进行告警处理。
[0011] 在其中一个实施例中,对预测数据进行误差预测,得到对应的预测误差,包括:
[0012] 对预测数据进行拆分,生成对应各采样周期的采样预测数据,各采样周期连续;
[0013] 按照各采样周期的时间顺序,生成对应预测数据的多个数据组,各数据组包括多个连续采样周期的多个采样预测数据;
[0014] 对各数据组进行误差预测,得到对应的预测误差。
[0015] 在其中一个实施例中,对目标预测数据进行异常分类,并在确定目标预测数据异常时,对待告警业务进行告警处理,包括:
[0016] 基于目标预测数据,确定对应各数据组的目标数据组;
[0017] 对各目标数据组进行异常分类,判断各目标数据组是否异常;
[0018] 当至少一个目标数据组异常时,则对待告警业务进行告警处理。
[0019] 在其中一个实施例中,按照各采样周期的时间顺序,生成对应预测数据的多个数据组,包括:
[0020] 获取对应第一采样周期的第一采样数据以及第二采样数据,并基于第一采样数据和第二采样数据得到第一数据组,第一采样数据为第一采样周期内采集的数据,第二采样
数据为时间顺序位于第一采样周期之后的连续预设数量个采样周期内采集的数据;
[0021] 将时间顺序位于第一采样周期之后的第二采样周期作为第一采样周期,并继续获取对应的第一采样数据以及第二采样数据,得到第二数据组;
[0022] 遍历预测数据拆分后所对应的各采样周期,得到对应预测数据的多个数据组。
[0023] 在其中一个实施例中,对各数据组进行误差预测,得到对应的预测误差,包括:
[0024] 根据各数据组,获取对应的时间数据;
[0025] 基于各时间数据以及对应的数据组,得到对应的各误差预测数据;
[0026] 对各误差预测数据进行误差预测,生成对应的预测误差。
[0027] 在其中一个实施例中,告警处理请求中携带有待告警时间周期为活动日或非活动日的参数数据;
[0028] 基于预先训练的业务数据预测模型,生成对应待告警时间周期的预测数据,包括:
[0029] 根据参数数据,对预先训练的业务数据预测模型的活动日参数进行调整,得到活动日参数调整后的业务数据预测模型;
[0030] 基于活动日参数调整后的业务数据预测模型进行业务数据预测,生成对应待告警时间周期的预测数据。
[0031] 一种数据异常告警处理装置,所述装置包括:
[0032] 告警处理请求接收模块,用于接收待告警业务的告警处理请求,告警处理请求中携带有待告警时间周期;
[0033] 预测数据生成模块,用于基于预先训练的业务数据预测模型,生成对应待告警时间周期的预测数据;
[0034] 预测误差确定模块,用于对预测数据进行误差预测,得到对应的预测误差;
[0035] 目标预测数据确定模块,用于根据预测误差以及预测数据,得到对应的目标预测数据;
[0036] 告警处理模块,用于对目标预测数据进行异常分类,并在确定目标预测数据异常时,对待告警业务进行告警处理。
[0037] 在其中一个实施例中,预测误差确定模块,包括:
[0038] 拆分子模块,用于对预测数据进行拆分,生成对应各采样周期的采样预测数据,各采样周期连续;
[0039] 数据组确定子模块,用于按照各采样周期的时间顺序,生成对应预测数据的多个数据组,各数据组包括多个连续采样周期的多个采样预测数据;
[0040] 误差预测子模块,用于对各数据组进行误差预测,得到对应的预测误差。
[0041] 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。
[0042] 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。
[0043] 上述数据异常告警处理方法、装置、计算机设备和存储介质,通过接收待告警业务的告警处理请求,告警处理请求中携带有待告警时间周期,然后基于预先训练的业务数据
预测模型,生成对应待告警时间周期的预测数据,并对预测数据进行误差预测,得到对应的
预测误差,进一步,根据预测误差以及预测数据,得到对应的目标预测数据,并对目标预测
数据进行异常分类,并在确定目标预测数据异常时,对待告警业务进行告警处理。从而,在
进行业务系统告警处理的时候,可以基于业务数据预测模型,对任意时间区间的数据进行
预存,并进行误差处理以及异常分类,使得预测处理可以针对任意时间区间,提升告警处理
的智能化水平。并且,用于进行异常分类的目标预测数据集合了预测误差,可以使得得到的
目标预测数据更加准确,可以提升异常分类的准确性,进而可以提升后续告警处理的准确
性。

附图说明

[0044] 图1为一个实施例中数据异常告警处理方法的应用场景图;
[0045] 图2为一个实施例中数据异常告警处理方法的流程示意图;
[0046] 图3为一个实施例中数据异常告警处理装置的结构框图;
[0047] 图4为一个实施例中计算机设备的内部结构图。

具体实施方式

[0048] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不
用于限定本申请。
[0049] 本申请提供的数据异常告警处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。具体地,终端102可以基于用户的触发,生成告
警处理请求,并发送至服务器104,告警处理请求中携带有待告警时间周期。服务器104在接
收到待告警业务的告警处理请求之后,可以基于预先训练的业务数据预测模型,生成对应
待告警时间周期的预测数据。后服务器104可以对预测数据进行误差预测,得到对应的预测
误差,并根据预测误差以及预测数据,得到对应的目标预测数据。进一步,服务器104可以对
目标预测数据进行异常分类,并在确定目标预测数据异常时,对待告警业务进行告警处理。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式
可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0050] 在一个实施例中,如图2所示,提供了一种数据异常告警处理方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
[0051] 步骤S202,接收待告警业务的告警处理请求,告警处理请求中携带有待告警时间周期。
[0052] 其中,待告警业务是指监控系统进行监控并进行告警的业务,例如,可以是某个系统中用户的登入量等。
[0053] 告警处理请求是指请求对待告警业务进行告警处理的请求,告警处理请求中可以携带有待告警时间周期。
[0054] 待告警时间周期是指对待告警业务进行业务数据预测与告警的时间周期,例如,可以是当前时间的下一天(即明天),或者是下一周,或者是往后的某一时间周期等,本申请
对此不作限制。
[0055] 在本实施例中,终端可以基于用户的指示,生成告警处理请求,并发送至服务器,使得服务器进行后续的处理。
[0056] 步骤S204,基于预先训练的业务数据预测模型,生成对应待告警时间周期的预测数据。
[0057] 其中,业务数据预测模型是指预先训练的,用于对待告警业务的业务数据进行预测的模型,其具体可以是基于深度学习的神经网络模型等。对于不同的待告警业务,其对应
的业务数据预测模型可以相同也可以不同,本申请对此不作限制。
[0058] 在本实施例中,服务器可以将待告警时间周期所对应的预测时间输入预先训练的业务数据预测模型中,基于业务数据预测模型进行预测处理,得到对应的预测数据。
[0059] 具体地,服务器可以按照预定义的输入标准,输入待告警时间周期,例如,输入的待告警时间周期可以是20210716000000 20210716235959,或者,也可以是
~
2021.07.16.000000 2021.07.16.235959等。
~
[0060] 在本实施例中,服务器可以通过历史数据进行业务数据预测模型的训练,以得到预先训练的业务数据预测模型。
[0061] 具体地,服务器可以根据待告警业务的特性,对获取到的历史数据进行分类,并用于进行模型的训练,例如,服务器可以按照工作日与非工作日,对历史数据进行分类,并用
于模型训练。
[0062] 在本实施例中,服务器可以构建初始业务数据预测模型,例如,构建的初始业务数据预测模型可以是ARIMA模型,同时结合业务特性引入活动参数,模型表达式可以如下公式
(1)所示
[0063] (1)
[0064] 其中,yt是当前值,μ是常数项,p和q是模型阶数,γi是AR模型的回归系数,εt是随机扰动,θj是MA模型的回归系数,α是活动参数,vt是活动日数据,具体是历史活动日对应数
据相对正常工作日平均差异值。
[0065] 在本实施例中,服务器在获取经过处理后的历史数据之后,可以先对获取到的历史数据进行平稳性检验,例如,可以通过时间序列单位根检验(augmented Dickey‑Fuller,
ADF)方法等进行检测,若不能通过平稳性检测,则进行差分处理,直至通过平稳性检验。
[0066] 进一步,服务器可以通过自相关函数(Autocorrelation Function,ACF)和偏自相关函数(PACF)分别绘制平稳数据的自相关系数图和偏自相关系数图,从而基于自相关系数
图和偏自相关系数图确定ARIMA模型中参数p和参数q的选取范围。
[0067] 进一步,服务器可以通过贝叶斯信息准则(BIC),从确定的选取范围内选取最优的参数p和参数q的参数值。
[0068] 进一步,服务器可以将上述确定好的参数p、参数d以及参数q的值作为模型中参数p、参数d以及参数q的值,并进行模型的训练。
[0069] 具体地,服务器对模型中参数p、参数d以及参数q配置完成后,可以根据历史数据,对模型进行训练,从而确定模型中的常数项μ以及回归系数γi和θj。
[0070] 在本实施例中,服务器可以将获取到的历史数据分为训练数据以及测试数据,并通过预存数据进行模型的训练,然后基于测试数据进行测试。
[0071] 具体地,服务器可以基于用户的指示,预先对各历史数据进行分组并进行标注,以得到标注以及分组后的训练数据以及测试数据。探后基于标注后的训练数据进行训练,以
及基于标注后的测试数据进行测试。
[0072] 在本实施例中,服务器可以预先设置训练与测试的参数,如迭代次数,损失函数,通过率等,然后在进行模型的训练以及测试的时候,基于设置的训练与测试参数进行,以保
障模型训练的准确性。
[0073] 在本实施例中,服务器可以从历史数据中筛选出活动日数据以及非活动日数据,并进行活动日数据vt的计算。
[0074] 在其中一个实施例中,服务器可以获取最近一年的活动日数据和最近一周的非活动工作日数据,对活动日对应数据相对正常工作日的平均差异值进行计算。具体计算公式
可以参见如下公式(2)所示。
[0075] (2)
[0076] 其中,H为最近一年的活动日的集合,n为对应集合H的元素个数(活动日总数);W为对应每个活动日前一周的非活动工作日的集合,m为对应集合W的元素个数(非活动日总
数)。
[0077] 步骤S206,对预测数据进行误差预测,得到对应的预测误差。
[0078] 在本实施例中,服务器在得到预测数据之后,可以基于预测数据进行误差预测,以得到对应业务数据预测模型所预测得到的预测数据的预测误差。
[0079] 具体地,服务器可以通过误差预测模型,对得到的预测数据进行误差预测。
[0080] 在本实施例中,误差预测模型可以是XGBOOST模型,服务器可以预先通过训练数据,对构建的初始误差预测模型进行训练,以得到预测数据的预测误差。
[0081] 具体地,服务器通过前文所述的历史数据,对业务数据预测模型进行训练的时候,可以基于历史数据以及业务数据预测模型基于历史数据输出的训练预测数据作为误差预
测模型的误差训练数据,并用于进行误差预测模型的训练。
[0082] 在本实施例中,服务器可以根据历史数据以及业务数据预测模型基于历史数据输出的训练预测数据,得到误差值。然后训练预测数据作为误差训练数据输入误差预测模型
中,输出对应的训练误差。进一步,基于训练误差以及对应的误差值,对误差预测模型进行
损失值的计算,以及进行误差预测模型的迭代更新,以得到训练完成的误差预测模型。
[0083] 在其中一个实施例中,服务器在获取到历史数据以及业务数据预测模型基于历史数据输出的训练预测数据之后,可以对获取到的历史数据以及业务数据预测模型基于历史
数据输出的训练预测数据进行预处理,从历史数据以及训练预测数据中提取出时间和数据
特征,以得到包含时间特征的训练数据,例如,以天为周期,将时间分为早、上午、午休、下
午、晚和休息六种时间类型,具体对应时间划分见下表一所示。
[0084] 表一
[0085]
[0086] 进一步,服务器可以将包含时间特征的训练数据输入XGBOOST模型中,通过进行训练,以得到训练完成的误差预测模型。
[0087] 步骤S208,根据预测误差以及预测数据,得到对应的目标预测数据。
[0088] 在本实施例中,服务器可以对根据预测得到的预测数据与得到的误差数据进行叠加,以得到对应的目标预测数据。即,服务器可以通过如下公式(3)确定目标预测数据。
[0089] (3)
[0090] 其中,Yt为目标预测数据,yt为预测数据,△t为预测误差。
[0091] 步骤S210,对预测数据进行异常分类,并在确定预测数据异常时,对待告警业务进行告警处理。
[0092] 在本实施例中,服务器在得到预测数据之后,可以基于获取到的预测数据进行异常判定处理,即对预测数据进行异常分类,判定待告警业务是否异常。
[0093] 在本实施例中,以前文所述的系统用户的登入量业务为例,服务器可以基于预测数据,确定在待预测时间周期内登入量激增或者是明显递减等情况时,确定数据异常,则服
务器可以进行预先告警处理,例如,可以通过邮件、短信等方式进行告警。
[0094] 或者,在其他实施例中,服务器也可以根据用户的登入量波动情况等进行数据异常检测,并在确定数据异常时,进行告警处理。
[0095] 上述数据异常告警处理方法中,通过接收待告警业务的告警处理请求,告警处理请求中携带有待告警时间周期,然后基于预先训练的业务数据预测模型,生成对应待告警
时间周期的预测数据,并对预测数据进行误差预测,得到对应的预测误差,进一步,根据预
测误差以及预测数据,得到对应的目标预测数据,并对目标预测数据进行异常分类,并在确
定目标预测数据异常时,对待告警业务进行告警处理。从而,在进行业务系统告警处理的时
候,可以基于业务数据预测模型,对任意时间区间的数据进行预存,并进行误差处理以及异
常分类,使得预测处理可以针对任意时间区间,提升告警处理的智能化水平。并且,用于进
行异常分类的目标预测数据集合了预测误差,可以使得得到的目标预测数据更加准确,可
以提升异常分类的准确性,进而可以提升后续告警处理的准确性。
[0096] 在其中一个实施例中,对预测数据进行误差预测,得到对应的预测误差,可以包括:对预测数据进行拆分,生成对应各采样周期的采样预测数据,各采样周期连续;按照各
采样周期的时间顺序,生成对应预测数据的多个数据组,各数据组包括多个连续采样周期
的多个采样预测数据;对各数据组进行误差预测,得到对应的预测误差。
[0097] 具体地,服务器在获取到对应的预测数据之后,可以按照采样周期,对得到的预测数据进行拆分,例如,采样周期为5分钟,服务器可以将得到的预测数据按照5分钟为一个采
样周期进行拆分,得到对应的采样预测数据。
[0098] 在本实施例中,服务器可以遍历待告警时间周期的预测数据,得到对应的多个采样预测数据。
[0099] 进一步,服务器可以按照时间顺序,将得到的采样预测数据进行分组处理,以得到对应预测数据的多个数据组。
[0100] 在本实施例中,各数据组中采样预测数据的数量可以基于业务数据预测模型确定,例如,可以根据业务数据预测模型的模型参数p,确定2p个采样预测数据组成一个数据
组。
[0101] 进一步,服务器可以通过前文所述的误差预测模型对各数据组进行误差预测处理,以得到对应预测数据的误差数据。
[0102] 在本实施例中,服务器可以分别得到对应各采样预测数据的误差数据,从而以得到对应预测数据的误差数据。
[0103] 在其中一个实施例中,按照各采样周期的时间顺序,生成对应预测数据的多个数据组,可以包括:获取对应第一采样周期的第一采样数据以及第二采样数据,并基于第一采
样数据和第二采样数据得到第一数据组,第一采样数据为第一采样周期内采集的数据,第
二采样数据为时间顺序位于第一采样周期之后的连续预设数量个采样周期内采集的数据;
将时间顺序位于第一采样周期之后的第二采样周期作为第一采样周期,并继续获取对应的
第一采样数据以及第二采样数据,得到第二数据组;遍历预测数据拆分后所对应的各采样
周期,得到对应预测数据的多个数据组。
[0104] 其中,第一采样周期可以是指待告警时间周期中的第一个采样周期,即时间先后顺序中的第一个采样周期。例如,一天24小时,每五分钟为一个采样周期,以8点为时间起始
点,则第一采样周期指的是从八点 八点五分所对应的采样周期,以此类推,第二采样周期
~
为从八点五分 八点十分所对应的采样周期。在各采样周期内,服务器仅采集一个数据。
~
[0105] 在本实施例中,服务器可以获取第一采样周期的第一采样数据,以及时间顺序位于第一采样周期之后的连续的预设数量个采样周期的第二采样数据,得到第一数据组。例
如,服务器获取的第一采样数据可以为八点 八点五分所对应的数据,数据组中数据量基于
~
前文所述的模型阶数p确定,即2p个数据,预设数量则为2p‑1,即服务器可以获取第一采样
周期的第一采样数据,以及第一采样周期后连续的2p‑1个采样周期的第二采样数据,以得
到第一数据组。
[0106] 在其中一个实施例中,p为5,则第一数据组中可以包括从八点 八点五十分的10个~
采样数据。
[0107] 进一步,服务器可以将时间顺序位于第一采样周期之后的第二采样周期作为第一采样周期,并继续获取对应的第一采样数据以及第二采样数据,得到第二数据组。即,服务
器可以获取第二采样周期所对应的第一采样数据,以及获取第二采样周期后连续的2p‑1个
采样周期的第二采样数据,以得到第二数据组。
[0108] 在本实施例中,服务器可以遍历预测数据拆分后所对应的各采样周期的各数据,得到对应预测数据的多个数据组。
[0109] 在其中一个实施例中,对各数据组进行误差预测,得到对应的预测误差,可以包括:根据各数据组,获取对应的时间数据;基于各时间数据以及对应的数据组,得到对应的
各误差预测数据;对各误差预测数据进行误差预测,生成对应的预测误差。
[0110] 在本实施例中,服务器在进行误差预测的时候,可以基于各数据组,确定其对应的时间数据,例如,服务器可以按照前文所述的表一,确定对应各数据组的时间数据,如早、上
午、中午、下午、晚、休息等。
[0111] 在本实施例中,服务器可以将各数据组与对应的时间数据进行组合,以得到对应的误差预测数据。
[0112] 进一步,服务器可以将误差预测数据输入预先构建并训练的XGBOOST模型中,以进行误差预测,生成对应的预测误差。
[0113] 在其中一个实施例中,服务器在进行误差预测的时候,也可以是分别对各采样周期的采样数据进行预测,以得到对应各采样数据的误差数据,并进行后续的处理,例如,分
别对八点 八点五分的采样数据进行预测,得到对应的误差数据,对八点五分 八点十分的
~ ~
采样数据进行预测,得到对应的误差数据等。
[0114] 在其中一个实施例中,对目标预测数据进行异常分类,并在确定目标预测数据异常时,对待告警业务进行告警处理,可以包括:基于目标预测数据,确定对应各数据组的目
标数据组;对各目标数据组进行异常分类,判断各目标数据组是否异常;当至少一个目标数
据组异常时,则对待告警业务进行告警处理。
[0115] 具体地,服务器在基于误差数据以及预测数据,得到对应的目标预测数据之后,可以按照与采样数据同样的拆分方式,对所述目标预测数据进行拆分,并进行分组处理,得到
对应的各数据组的目标数据组。
[0116] 在其中一个实施例中,服务器也可以直接基于各数据组以及对应各数据组的误差数据,得到对应的各目标数据组,本申请对此不作限制。
[0117] 在本实施例中,服务器在得到各目标数据组之后,可以分别对各目标数据组进行异常分类处理,以判断各目标数据组是否异常。
[0118] 在本实施例中,当服务器确定至少一个目标数据组异常时,则服务器可以告警处理。
[0119] 在其中一个实施例中,服务器对预测数据进行异常分类时,可以通过告警模型,例如,XGBOOST算法,结合预测数据和历史数据进行智能告警。
[0120] 具体地,服务器首先对得到的目标预存数据进行特征提取,得到对应的特征数据。然后将得到的特征数据输入告警模型中,基于告警模型进行告警预判。
[0121] 在其中一个实施例中,告警处理请求中携带有待告警时间周期为活动日或非活动日的参数数据。
[0122] 其中,活动日可以是指周年庆、节假日等日期。
[0123] 在本实施例中,服务器获取到的告警数据请求中可以携带有待告警时间周期为活动日或非活动日的参数数据,例如,可以是非活动日为0,活动日为1。
[0124] 在本实施例中,基于预先训练的业务数据预测模型,生成对应待告警时间周期的预测数据,可以包括:根据参数数据,对预先训练的业务数据预测模型的活动日参数进行调
整,得到活动日参数调整后的业务数据预测模型;基于活动日参数调整后的业务数据预测
模型进行业务数据预测,生成对应待告警时间周期的预测数据。
[0125] 如前文所述,业务数据预测模型的表达式如公式(1)所示。服务器可以根据参数数据,对预先训练的业务数据预测模型的活动日参数进行调整,即对公式中(1)中的活动日参
数α进行调整,即,当待告警时间周期为活动日时,则设置业务数据预测模型的活动日参数α
为1,当待告警时间周期为非活动日时,设置业务数据预测模型的活动日参数α为0。
[0126] 进一步,服务器可以基于活动日参数调整后的业务数据预测模型进行业务数据预测,生成对应待告警时间周期的预测数据。
[0127] 应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的
执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分
步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行
完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,
而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0128] 在一个实施例中,如图3所示,提供了一种数据异常告警处理装置,包括:告警处理请求接收模块100、预测数据生成模块200、预测误差确定模块300、目标预测数据确定模块
400以及告警处理模块500,其中:
[0129] 告警处理请求接收模块100,用于接收待告警业务的告警处理请求,告警处理请求中携带有待告警时间周期。
[0130] 预测数据生成模块200,用于基于预先训练的业务数据预测模型,生成对应待告警时间周期的预测数据。
[0131] 预测误差确定模块300,用于对预测数据进行误差预测,得到对应的预测误差。
[0132] 目标预测数据确定模块400,用于根据预测误差以及预测数据,得到对应的目标预测数据。
[0133] 告警处理模块500,用于对目标预测数据进行异常分类,并在确定目标预测数据异常时,对待告警业务进行告警处理。
[0134] 在其中一个实施例中,预测误差确定模块300,可以包括:
[0135] 拆分子模块,用于对预测数据进行拆分,生成对应各采样周期的采样预测数据,各采样周期连续。
[0136] 数据组确定子模块,用于按照各采样周期的时间顺序,生成对应预测数据的多个数据组,各数据组包括多个连续采样周期的多个采样预测数据。
[0137] 误差预测子模块,用于对各数据组进行误差预测,得到对应的预测误差。
[0138] 在其中一个实施例中,告警处理模块500,可以包括:
[0139] 目标数据组确定子模块,用于基于目标预测数据,确定对应各数据组的目标数据组。
[0140] 判断子模块,用于对各目标数据组进行异常分类,判断各目标数据组是否异常。
[0141] 告警处理子模块,用于当至少一个目标数据组异常时,则对待告警业务进行告警处理。
[0142] 在其中一个实施例中,数据组确定子模块,可以包括:
[0143] 第一数据组确定单元,用于获取对应第一采样周期的第一采样数据以及第二采样数据,并基于第一采样数据和第二采样数据得到第一数据组,第一采样数据为第一采样周
期内采集的数据,第二采样数据为时间顺序位于第一采样周期之后的连续预设数量个采样
周期内采集的数据。
[0144] 第二数据组确定单元,用于将时间顺序位于第一采样周期之后的第二采样周期作为第一采样周期,并继续获取对应的第一采样数据以及第二采样数据,得到第二数据组。
[0145] 循环单元,用于遍历预测数据拆分后所对应的各采样周期,得到对应预测数据的多个数据组。
[0146] 在其中一个实施例中,误差预测子模块,可以包括:
[0147] 时间数据获取单元,用于根据各数据组,获取对应的时间数据。
[0148] 误差预测数据生成单元,用于基于各时间数据以及对应的数据组,得到对应的各误差预测数据。
[0149] 预测误差生成单元,用于对各误差预测数据进行误差预测,生成对应的预测误差。
[0150] 在其中一个实施例中,告警处理请求中可以携带有待告警时间周期为活动日或非活动日的参数数据。
[0151] 在本实施例中,预测数据生成模块200,可以包括:
[0152] 模型调整子模块,用于根据参数数据,对预先训练的业务数据预测模型的活动日参数进行调整,得到活动日参数调整后的业务数据预测模型。
[0153] 预测数据生成子模块,用于基于活动日参数调整后的业务数据预测模型进行业务数据预测,生成对应待告警时间周期的预测数据。
[0154] 关于数据异常告警处理装置的具体限定可以参见上文中对于数据异常告警处理方法的限定,在此不再赘述。上述数据异常告警处理装置中的各个模块可全部或部分通过
软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处
理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上
各个模块对应的操作。
[0155] 在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和
数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包
括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据
库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算
机设备的数据库用于存储告警处理请求、预测数据、预测误差以及目标预测数据等数据。该
计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行
时以实现一种数据异常告警处理方法。
[0156] 本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备
可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0157] 在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收待告警业务的告警处理请求,
告警处理请求中携带有待告警时间周期;基于预先训练的业务数据预测模型,生成对应待
告警时间周期的预测数据;对预测数据进行误差预测,得到对应的预测误差;根据预测误差
以及预测数据,得到对应的目标预测数据;对目标预测数据进行异常分类,并在确定目标预
测数据异常时,对待告警业务进行告警处理。
[0158] 在其中一个实施例中,处理器执行计算机程序时实现对预测数据进行误差预测,得到对应的预测误差,可以包括:对预测数据进行拆分,生成对应各采样周期的采样预测数
据,各采样周期连续;按照各采样周期的时间顺序,生成对应预测数据的多个数据组,各数
据组包括多个连续采样周期的多个采样预测数据;对各数据组进行误差预测,得到对应的
预测误差。
[0159] 在其中一个实施例中,处理器执行计算机程序时实现对目标预测数据进行异常分类,并在确定目标预测数据异常时,对待告警业务进行告警处理,可以包括:基于目标预测
数据,确定对应各数据组的目标数据组;对各目标数据组进行异常分类,判断各目标数据组
是否异常;当至少一个目标数据组异常时,则对待告警业务进行告警处理。
[0160] 在其中一个实施例中,处理器执行计算机程序时实现按照各采样周期的时间顺序,生成对应预测数据的多个数据组,可以包括:获取对应第一采样周期的第一采样数据以
及第二采样数据,并基于第一采样数据和第二采样数据得到第一数据组,第一采样数据为
第一采样周期内采集的数据,第二采样数据为时间顺序位于第一采样周期之后的连续预设
数量个采样周期内采集的数据;将时间顺序位于第一采样周期之后的第二采样周期作为第
一采样周期,并继续获取对应的第一采样数据以及第二采样数据,得到第二数据组;遍历预
测数据拆分后所对应的各采样周期,得到对应预测数据的多个数据组。
[0161] 在其中一个实施例中处理器执行计算机程序时实现对各数据组进行误差预测,得到对应的预测误差,可以包括:根据各数据组,获取对应的时间数据;基于各时间数据以及
对应的数据组,得到对应的各误差预测数据;对各误差预测数据进行误差预测,生成对应的
预测误差。
[0162] 在其中一个实施例中,告警处理请求中携带有待告警时间周期为活动日或非活动日的参数数据。
[0163] 在本实施例中,处理器执行计算机程序时实现基于预先训练的业务数据预测模型,生成对应待告警时间周期的预测数据,可以包括:根据参数数据,对预先训练的业务数
据预测模型的活动日参数进行调整,得到活动日参数调整后的业务数据预测模型;基于活
动日参数调整后的业务数据预测模型进行业务数据预测,生成对应待告警时间周期的预测
数据。
[0164] 在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收待告警业务的告警处理请求,告警处理请求中
携带有待告警时间周期;基于预先训练的业务数据预测模型,生成对应待告警时间周期的
预测数据;对预测数据进行误差预测,得到对应的预测误差;根据预测误差以及预测数据,
得到对应的目标预测数据;对目标预测数据进行异常分类,并在确定目标预测数据异常时,
对待告警业务进行告警处理。
[0165] 在其中一个实施例中,计算机程序被处理器执行时实现对预测数据进行误差预测,得到对应的预测误差,可以包括:对预测数据进行拆分,生成对应各采样周期的采样预
测数据,各采样周期连续;按照各采样周期的时间顺序,生成对应预测数据的多个数据组,
各数据组包括多个连续采样周期的多个采样预测数据;对各数据组进行误差预测,得到对
应的预测误差。
[0166] 在其中一个实施例中,处理器执行计算机程序时计算机程序被处理器执行时实现对目标预测数据进行异常分类,并在确定目标预测数据异常时,对待告警业务进行告警处
理,可以包括:基于目标预测数据,确定对应各数据组的目标数据组;对各目标数据组进行
异常分类,判断各目标数据组是否异常;当至少一个目标数据组异常时,则对待告警业务进
行告警处理。
[0167] 在其中一个实施例中,计算机程序被处理器执行时实现按照各采样周期的时间顺序,生成对应预测数据的多个数据组,可以包括:获取对应第一采样周期的第一采样数据以
及第二采样数据,并基于第一采样数据和第二采样数据得到第一数据组,第一采样数据为
第一采样周期内采集的数据,第二采样数据为时间顺序位于第一采样周期之后的连续预设
数量个采样周期内采集的数据;将时间顺序位于第一采样周期之后的第二采样周期作为第
一采样周期,并继续获取对应的第一采样数据以及第二采样数据,得到第二数据组;遍历预
测数据拆分后所对应的各采样周期,得到对应预测数据的多个数据组。
[0168] 在其中一个实施例中,计算机程序被处理器执行时实现对各数据组进行误差预测,得到对应的预测误差,可以包括:根据各数据组,获取对应的时间数据;基于各时间数据
以及对应的数据组,得到对应的各误差预测数据;对各误差预测数据进行误差预测,生成对
应的预测误差。
[0169] 在其中一个实施例中,告警处理请求中携带有待告警时间周期为活动日或非活动日的参数数据。
[0170] 在本实施例中,计算机程序被处理器执行时实现基于预先训练的业务数据预测模型,生成对应待告警时间周期的预测数据,可以包括:根据参数数据,对预先训练的业务数
据预测模型的活动日参数进行调整,得到活动日参数调整后的业务数据预测模型;基于活
动日参数调整后的业务数据预测模型进行业务数据预测,生成对应待告警时间周期的预测
数据。
[0171] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,
诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强
型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0172] 以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛
盾,都应当认为是本说明书记载的范围。
[0173] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。