一种一维时间序列异常检测方法、装置及计算机设备转让专利
申请号 : CN202110821949.8
文献号 : CN113268372B
文献日 : 2021-09-24
发明人 : 蔡志平 , 王承禹 , 周桐庆 , 余广
申请人 : 中国人民解放军国防科技大学
摘要 :
权利要求 :
1.一种一维时间序列异常检测方法,其特征在于,所述方法包括:从一维时间序列中提取样本点;所述一维时间序列包括多个时间点的采样值;所述样本点对应一个时间点的采样值和标签值;
针对每一个所述样本点,通过滑动窗口提取所述样本点的样本上下文信息;所述样本上下文信息为所述样本点前面的连续多个采样值;
采用编码器对所述样本上下文信息进行降维,得到样本低维嵌入数据;
将样本点的所述样本上下文信息和所述标签值输入基检测器序列,根据基检测器序列的输出结果,得到样本性能向量;所述基检测器序列由多个基检测器组成;
根据所述样本低维嵌入数据和所述样本性能向量的一一对应关系,建立检测集合;
从一维时间序列中提取待预测点,通过滑动窗口提取所述待预测点的待预测上下文信息;所述待预测点的待预测上下文信息为待预测点前面的连续多个采样值;
采用编码器对所述待预测上下文信息进行降维,得到待预测低维嵌入数据;
在所述检测集合中查询所述待预测低维嵌入数据的多个邻居数据;所述邻居数据为所述待预测低维嵌入数据最邻近的数据;
根据所述邻居数据的样本性能向量,得到基检测器序列正确检测所述一维时间序列的概率;
根据所述基检测器序列正确检测所述一维时间序列的概率,得到检测性能最高的基检测器;
根据所述检测性能最高的基检测器,对所述一维时间序列进行异常检测。
2.根据权利要求1所述的方法,其特征在于,还包括:采用解码器对所述待预测低维嵌入数据进行重构,得到重构数据;
根据所述待预测上下文信息和所述重构数据,得到重构误差;
若所述重构误差大于阈值,通过人机交互界面接收所述待预测上下文信息对应的真实标签,并采用预先设置的标准基检测器对所述待预测上下文信息的待预测低维嵌入数据进行预测。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:将所述真实标签和所述待预测低维嵌入数据进行一一对应后,存储至所述检测集合。
4.根据权利要求2所述的方法,其特征在于,所述根据所述待预测上下文信息和所述重构数据,得到重构误差,包括:
根据所述待预测上下文信息和所述重构数据的均方根误差,得到重构误差为:其中, 表示均方根误差,表示待预测上下文信息, 表示重构数据, 表示范数。
5.根据权利要求1所述的方法,其特征在于,根据所述样本低维嵌入数据和所述样本性能向量的一一对应关系,建立检测集合,包括:根据所述样本低维嵌入数据和所述样本性能向量的一一对应关系,采用KD‑Tree算法将所述样本低维嵌入数据和所述样本性能向量进行存储,得到检测集合。
6.根据权利要求1所述的方法,其特征在于,根据所述邻居数据的样本性能向量,得到基检测器序列正确检测所述一维时间序列的概率,包括:根据所述邻居数据的样本性能向量,使用如下条件概率公式计算基检测器序列正确检测所述一维时间序列的概率:
其中,d表示基检测器序列的个数,表示待预测上下文信息, 表示第d个基检测器正确检测待预测点的概率, 表示性能向量 中第d位的值,K表示所述邻居数据的个数,j是所述性能向量的编号。
7.根据权利要求6所述的方法,其特征在于,根据所述基检测器序列正确检测所述一维时间序列的概率,得到检测性能最高的基检测器,包括:根据所述基检测器序列正确检测所述一维时间序列的概率,使用如下公式选择基检测器中正确检测所述一维时间序列的概率最高基检测器,其中,表示检测概率最高的基检测器, 表示基检测器序列,M表示所述基检测器的总个数,表示所述基检测器的个数。
8.根据权利要求2至4任一项所述的方法,其特征在于,所述编码器和所述解码器通过变分自编码器实现。
9.一种一维时间序列异常检测装置,其特征在于,所述装置包括:样本低维嵌入数据获取模块,用于从一维时间序列中提取样本点;所述一维时间序列包括多个时间点的采样值;所述样本点对应一个时间点的采样值和标签值;针对每一个所述样本点,通过滑动窗口提取所述样本点的样本上下文信息;采用编码器对所述样本上下文信息进行降维,得到样本低维嵌入数据;所述样本上下文信息为所述样本点前面的连续多个采样值;
检测集合获取模块,用于将样本点的所述样本上下文信息和所述标签值输入基检测器序列,根据基检测器序列的输出结果,得到样本性能向量;所述基检测器序列由多个基检测器组成;根据所述样本低维嵌入数据和所述样本性能向量的一一对应关系,建立检测集合;
编码器降维模块,用于从一维时间序列中提取待预测点,通过滑动窗口提取所述待预测点的待预测上下文信息;采用编码器对所述待预测上下文信息进行降维,得到待预测低维嵌入数据;所述待预测点的待预测上下文信息为待预测点前面的连续多个采样值;
异常检测模块,用于在所述检测集合中查询所述待预测低维嵌入数据的多个邻居数据;所述邻居数据为所述待预测低维嵌入数据最邻近的数据;根据所述邻居数据的样本性能向量,得到基检测器序列正确检测所述一维时间序列的概率;根据所述基检测器序列正确检测所述一维时间序列的概率,得到检测性能最高的基检测器;根据所述检测性能最高的基检测器,对所述一维时间序列进行异常检测。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
说明书 :
一种一维时间序列异常检测方法、装置及计算机设备
技术领域
背景技术
常以时间序列的形式收集和存储。为了确保业务运营的顺利进行,这些公司通常会开发能
够准确检测时间序列异常并及时排除故障的异常检测系统。
单一模型对时间序列数据异常检测的准确率不高。
发明内容
机交互界面接收待预测上下文信息对应的真实标签,并采用预先设置的标准基检测器对待
预测上下文信息的待预测低维嵌入数据进行预测。
的个数,j是所述性能向量的编号。
本点,通过滑动窗口提取样本点的样本上下文信息;采用编码器对样本上下文信息进行降
维,得到样本低维嵌入数据;
成;根据样本低维嵌入数据和样本性能向量的一一对应关系,建立检测集合;
入数据;
测器序列正确检测一维时间序列的概率,得到检测性能最高的基检测器;根据检测性能最
高的基检测器,对一维时间序列进行异常检测。
上下文信息;采用编码器对样本上下文信息进行降维,得到样本低维嵌入数据;将样本点的
样本上下文信息和标签值输入基检测器序列,根据基检测器序列的输出结果,得到样本性
能向量;基检测器序列由多个基检测器组成;根据样本低维嵌入数据和样本性能向量的一
一对应关系,建立检测集合;从一维时间序列中提取待预测点,通过滑动窗口提取待预测点
的待预测上下文信息;采用编码器对待预测上下文信息进行降维,得到待预测低维嵌入数
据;在检测集合中查询待预测低维嵌入数据的多个邻居数据;根据邻居数据的样本性能向
量,得到基检测器序列正确检测一维时间序列的概率;根据基检测器序列正确检测一维时
间序列的概率,得到检测性能最高的基检测器;根据检测性能最高的基检测器,对一维时间
序列进行异常检测。
上下文信息;采用编码器对样本上下文信息进行降维,得到样本低维嵌入数据;将样本点的
样本上下文信息和标签值输入基检测器序列,根据基检测器序列的输出结果,得到样本性
能向量;基检测器序列由多个基检测器组成;根据样本低维嵌入数据和样本性能向量的一
一对应关系,建立检测集合;从一维时间序列中提取待预测点,通过滑动窗口提取待预测点
的待预测上下文信息;采用编码器对待预测上下文信息进行降维,得到待预测低维嵌入数
据;在检测集合中查询待预测低维嵌入数据的多个邻居数据;根据邻居数据的样本性能向
量,得到基检测器序列正确检测一维时间序列的概率;根据基检测器序列正确检测一维时
间序列的概率,得到检测性能最高的基检测器;根据检测性能最高的基检测器,对一维时间
序列进行异常检测。
签值;针对每一个样本点,通过滑动窗口提取样本点的样本上下文信息,从而采用上下文信
息来表示样本点,适应于实时检测;采用编码器对样本上下文信息进行降维,得到样本低维
嵌入数据;将样本点的样本上下文信息和标签值输入基检测器序列,根据基检测器序列的
输出结果,得到样本性能向量;基检测器序列由多个基检测器组成;根据样本低维嵌入数据
和样本性能向量的一一对应关系,建立检测集合;然后,从一维时间序列中提取待预测点,
通过滑动窗口提取待预测点的待预测上下文信息;采用编码器对待预测上下文信息进行降
维,得到待预测低维嵌入数据;在检测集合中查询待预测低维嵌入数据的多个邻居数据;根
据邻居数据的样本性能向量,得到基检测器序列正确检测一维时间序列的概率,从而在实
时检测时可以实时获取检测性能最高的基检测器;根据基检测器序列正确检测一维时间序
列的概率,得到检测性能最高的基检测器;根据检测性能最高的基检测器,对一维时间序列
进行异常检测。因此,本发明实施例可以通过单一模型,对不同类型的一维时间序列进行准
确的异常检测。
附图说明
具体实施方式
用于限定本申请。
据。
厂状态检测系统,那么时间序列可以是传感器采集的状态数据。一维时间序列包含多个时
间点的采样值,从一维时间序列中提取的样本点对应一个时间点的采样值和标签值。样本
的上下文信息是指样本前面的连续多个样本值,实质上是一个连续子序列。编码器使用证
据下界(Evidence Lower Bound,ELBO)作为损失函数,并最大化该损失函数来进行训练,训
练好的编码器将样本上下文信息编码到低维嵌入空间,以低维嵌入数据的形式存储在其
中。
关系,建立检测集合。
个向量(0表示错误,1表示正确),称为性能向量。根据样本低维嵌入数据和样本性能向量的
一一对应关系,将两者进行存储得到检测集合。
确检测一维时间序列的概率,得到检测性能最高的基检测器;根据检测性能最高的基检测
器,对一维时间序列进行异常检测。
向量作为基检测器序列正确检测一维时间序列的概率的输入,得到基检测器序列正确检测
一维时间序列的概率,选择概率最高的基检测器作为待预测点的基检测器对一维时间序列
进行异常检测,得到该一维时间序列异常检测的结果。
签值;针对每一个样本点,通过滑动窗口提取样本点的样本上下文信息,从而采用上下文信
息来表示样本点,适应于实时检测;采用编码器对样本上下文信息进行降维,得到样本低维
嵌入数据;将样本点的样本上下文信息和标签值输入基检测器序列,根据基检测器序列的
输出结果,得到样本性能向量;基检测器序列由多个基检测器组成;根据样本低维嵌入数据
和样本性能向量的一一对应关系,建立检测集合;然后,从一维时间序列中提取待预测点,
通过滑动窗口提取待预测点的待预测上下文信息;采用编码器对待预测上下文信息进行降
维,得到待预测低维嵌入数据;在检测集合中查询待预测低维嵌入数据的多个邻居数据;根
据邻居数据的样本性能向量,得到基检测器序列正确检测一维时间序列的概率,从而在实
时检测时可以实时获取检测性能最高的基检测器;根据基检测器序列正确检测一维时间序
列的概率,得到检测性能最高的基检测器;根据检测性能最高的基检测器,对一维时间序列
进行异常检测。因此,本发明实施例可以通过单一模型,对不同类型的一维时间序列进行准
确的异常检测。
机交互界面接收待预测上下文信息对应的真实标签,并采用预先设置的标准基检测器对待
预测上下文信息的待预测低维嵌入数据进行预测。
接口会产生一个标记待预测上下文信息的指令,标记待预测上下文信息后得到待预测上下
文信息对应的真实标签,通过人机交互界面接收待预测上下文信息对应的真实标签,减少
了标记数据的人工成本。同时采用预先设置的标准基检测器对待预测上下文信息的待预测
低维嵌入数据进行预测,在遇到重构误差较大的待预测上下文信息时,以保证一维时间序
列异常检测的下限。
本实施例进行异常检测的准确率会越来越高。
的带标签的数据量,减少了标记数据的人工成本。
待预测上下文信息的指令来对待预测上下文信息进行标记。
j是性能向量的编号。
序列的概率最高的基检测器。
行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步
骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完
成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而
是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
508,其中:
样本点,通过滑动窗口提取样本点的样本上下文信息;采用编码器对样本上下文信息进行
降维,得到样本低维嵌入数据;
成;根据样本低维嵌入数据和样本性能向量的一一对应关系,建立检测集合;
嵌入数据;
检测器序列正确检测一维时间序列的概率,得到检测性能最高的基检测器;根据检测性能
最高的基检测器,对一维时间序列进行异常检测。
存储,得到检测集合。
数,j是性能向量的编号。
率最高基检测器,
得到重构误差;若重构误差大于阈值,通过人机交互界面接收待预测上下文信息对应的真
实标签,并采用预先设置的标准基检测器对待预测上下文信息的待预测低维嵌入数据进行
预测。
模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独
立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便
于处理器调用执行以上各个模块对应的操作。
屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存
储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程
序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算
机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以
实现一种一维时间序列异常检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子
墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设
备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,
诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强
型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
盾,都应当认为是本说明书记载的范围。
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。