一种传感器数据的异常处理方法、装置、电子设备及介质转让专利

申请号 : CN202110445193.1

文献号 : CN112862127B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 不公告发明人

申请人 : 北京瑞莱智慧科技有限公司

摘要 :

本申请提供了一种传感器数据的异常处理方法、装置、电子设备及介质:从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;从多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;根据有值传感器数据,确定针对预测模型的调整参数;根据调整参数对预测模型的初始参数进行调整,得到预测模型在对应的损失函数最小时的目标参数;根据目标参数,处理多个目标传感器中的异常传感器数据;根据每个传感器和与每个传感器相关性高的关联传感器分别采集的传感器数据对每个传感器中的异常传感器数据进行处理,提高了异常传感器数据处理后的准确性。

权利要求 :

1.一种传感器数据的异常处理方法,其特征在于,所述异常处理方法包括:从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,所述第一传感器关系网中包括多个传感器以及所述多个传感器之间的关联关系;所述第一传感器集合中包括的多个目标传感器之间具有关联关系;

从所述多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;

根据所述有值传感器数据,确定针对预测模型的调整参数;

根据所述调整参数对预测模型的初始参数进行调整,得到所述预测模型在对应的损失函数最小时的目标参数;

根据所述目标参数,处理所述多个目标传感器中的异常传感器数据;

从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合;

将所述第二传感器集合作为新的第一传感器集合,返回从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合的步骤,直至所述第一传感器关系网中不存在剩余传感器集合。

2.根据权利要求1所述的传感器数据的异常处理方法,其特征在于,所述从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合,包括:

从所述第一传感器关系网中剔除第一传感器集合,得到第二传感器关系网;

将所述第二传感器关系网作为新的第一传感器关系网,并从中获取包括的传感器数量最多的第二传感器集合。

3.根据权利要求1所述的传感器数据的异常处理方法,其特征在于,通过如下方式构建所述第一传感器关系网:

针对每一传感器,确定该传感器采集的传感器数据要传输的目的传感器;

根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网。

4.根据权利要求3所述的传感器数据的异常处理方法,其特征在于,所述根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网,包括:

针对每一传感器,根据该传感器采集的传感器数据,计算该传感器与该传感器对应的目的传感器的相关性;

从该传感器对应的目的传感器中,选取对应的相关性大于预设阈值的目标目的传感器;

根据每个传感器和该传感器对应的目标目的传感器,构建所述第一传感器关系网;其中,所述第一传感器关系网中,每个传感器和该传感器对应的目标目的传感器之间具有一连线。

5.根据权利要求1所述的传感器数据的异常处理方法,其特征在于,所述根据所述目标参数,处理所述多个目标传感器中的异常传感器数据,包括;

根据所述目标参数确定所述多个目标传感器中的异常传感器数据对应的预测值;

根据预测值处理所述异常传感器数据。

6.根据权利要求1所述的传感器数据的异常处理方法,其特征在于,在根据所述目标参数,处理所述多个目标传感器中的异常传感器数据之后,所述异常处理方法还包括:获取所述第一传感器关系网经过异常处理后的各个传感器分别对应的更新传感器数据;所述第一传感器关系网中的各个传感器为目标工程设备使用的传感器;

根据所述更新传感器数据,确定所述目标工程设备的评估结果。

7.一种传感器数据的异常处理装置,其特征在于,所述装置包括:获取模块,用于从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,所述第一传感器关系网中包括多个传感器以及所述多个传感器之间的关联关系;

所述第一传感器集合中包括的多个目标传感器之间具有关联关系;

检测模块,用于从所述多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;

计算模块,用于根据所述有值传感器数据,确定针对预测模型的调整参数;

调整模块,用于根据所述调整参数对预测模型的初始参数进行调整,得到所述预测模型在对应的损失函数最小时的目标参数;

处理模块,用于根据所述目标参数,处理所述多个目标传感器中的异常传感器数据;

选取模块,用于从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合;

将所述第二传感器集合作为新的第一传感器集合,返回从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合的步骤,直至所述第一传感器关系网中不存在剩余传感器集合。

8.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的传感器数据的异常处理方法的步骤。

9.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至6任一所述的传感器数据的异常处理方法的步骤。

说明书 :

一种传感器数据的异常处理方法、装置、电子设备及介质

技术领域

[0001] 本发明涉及数据处理技术领域,具体而言,涉及一种传感器数据的异常处理方法、装置、电子设备及介质。

背景技术

[0002] 在工程设备中通常需要安装大量的传感器,通过对这些传感器数据的实时分析可以监控工程设备的各项指标并评估工程设备的运作状况。
[0003] 在实际生产过程中,传感器会因为种种原因出现传感器数据异常的情况,如停电导致的停机、传感器失灵、工作人员疏忽等,而基于带有异常的数据评估工程设备运作状
况,会导致对工程设备的运转状况的误判,也即,传感器数据的异常会对评估设备运作状况
的准确程度带来严重的影响。

发明内容

[0004] 有鉴于此,本发明的目的在于提供一种传感器数据的异常处理方法、装置、设备及存储介质,根据每个传感器和与每个传感器相关性高的关联传感器分别采集的传感器数据
对每个传感器中的异常传感器数据进行处理,提高了异常传感器数据处理后的准确性。
[0005] 第一方面,本申请实施例提供了一种传感器数据的异常处理方法,所述异常处理方法包括:
[0006] 从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,所述第一传感器关系网中包括多个传感器以及所述多个传感器之间的关联关系;所述第一传
感器集合中包括的多个目标传感器之间具有关联关系;
[0007] 从所述多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
[0008] 根据所述有值传感器数据,确定针对预测模型的调整参数;
[0009] 根据所述调整参数对预测模型的初始参数进行调整,得到所述预测模型在对应的损失函数最小时的目标参数;
[0010] 根据所述目标参数,处理所述多个目标传感器中的异常传感器数据。
[0011] 在本发明较佳的技术方案中,上述根据所述目标参数,处理所述多个目标传感器中的异常传感器数据之后,所述异常处理方法还包括:
[0012] 从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合;
[0013] 将所述第二传感器集合作为新的第一传感器集合,返回从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合的步骤,直至所述第一传感器关系网中不存
在剩余传感器集合。
[0014] 在本发明较佳的技术方案中,上述从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合,包括:
[0015] 从所述第一传感器关系网中剔除第一传感器集合,得到第二传感器关系网;
[0016] 将所述第二传感器关系网作为新的第一传感器关系网,并从中获取包括的传感器数量最多的第二传感器集合。
[0017] 在本发明较佳的技术方案中,上述异常处理方法通过如下方式构建所述第一传感器关系网:
[0018] 针对每一传感器,确定该传感器采集的传感器数据要传输的目的传感器;
[0019] 根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网。
[0020] 在本发明较佳的技术方案中,上述根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网,包括:
[0021] 针对每一传感器,根据该传感器采集的传感器数据,计算该传感器与该传感器对应的目的传感器的相关性;
[0022] 从该传感器对应的目的传感器中,选取对应的相关性大于预设阈值的目标目的传感器;
[0023] 根据每个传感器和该传感器对应的目标目的传感器,构建所述第一传感器关系网;其中,所述第一传感器关系网中,每个传感器和该传感器对应的目标目的传感器之间具
有一连线。
[0024] 在本发明较佳的技术方案中,上述根据所述目标参数,处理所述多个目标传感器中的异常传感器数据,包括;
[0025] 根据所述目标参数确定所述多个目标传感器中的异常传感器数据对应的预测值;
[0026] 根据预测值处理所述异常传感器数据。
[0027] 在本发明较佳的技术方案中,上述在根据所述目标参数,处理所述多个目标传感器中的异常传感器数据之后,所述异常处理方法还包括:
[0028] 获取所述第一传感器关系网经过异常处理后的各个传感器分别对应的更新传感器数据;所述第一传感器关系网中的各个传感器为目标工程设备使用的传感器;
[0029] 根据所述更新传感器数据,确定所述目标工程设备的评估结果。
[0030] 第二方面,本申请实施例提供了一种传感器数据的异常处理装置,所述装置包括:
[0031] 获取模块,用于从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,所述第一传感器关系网中包括多个传感器以及所述多个传感器之间的关联
关系;所述第一传感器集合中包括的多个目标传感器之间具有关联关系;
[0032] 检测模块,用于从所述多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
[0033] 计算模块,用于根据所述有值传感器数据,确定针对预测模型的调整参数;
[0034] 调整模块,用于根据所述调整参数对预测模型的初始参数进行调整,得到所述预测模型在对应的损失函数最小时的目标参数;
[0035] 处理模块,用于根据所述目标参数,处理所述多个目标传感器中的异常传感器数据。
[0036] 第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实
现上述的传感器数据的异常处理方法的步骤。
[0037] 第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的传感器数据的异常
处理方法的步骤。
[0038] 本申请的实施例提供一种传感器数据的异常处理方法,通过从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,第一传感器关系网中包括多个传
感器以及多个传感器之间的关联关系;第一传感器集合中包括的多个目标传感器之间具有
关联关系;从多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺
失传感器数据;根据有值传感器数据,确定针对预测模型的调整参数;根据调整参数对预测
模型的初始参数进行调整,得到预测模型在对应的损失函数最小时的目标参数;根据目标
参数,处理多个目标传感器中的异常传感器数据:通过本申请的方式,根据每个传感器和与
每个传感器相关性高的关联传感器分别采集的传感器数据对每个传感器中的异常传感器
数据进行处理,提高了异常传感器数据处理后的准确性。
[0039] 为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

[0040]  为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍, 应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作
是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根
据这些附图获得其他相关的附图。
[0041] 图1示出了本申请实施例所提供的一种传感器数据的异常处理方法的流程示意图;
[0042] 图2示出了本申请实施例所提供的一种传感器数据的异常处理方法的第一传感器关系网示意图;
[0043] 图3示出了本申请实施例所提供的一种传感器数据的异常处理装置示意图;
[0044] 图4示出了本申请实施例所提供的一种计算机设备的结构示意图。

具体实施方式

[0045] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅
是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实
施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的
实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实
施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所
有其他实施例,都属于本发明保护的范围。
[0046] 目前,通常工程设备中传感器采集的传感器数据实时监控工程设备的各项指标,并通过各项指标评估工程设备的运作状况。但实际中,传感器会因为种种原因出现传感器
数据异常的情况,如停电导致的停机原因、传感器故障原因等,而基于异常数据评估工程设
备的运作状况,会导致工程设备的运转状况评估不准确,也即,传感器数据的缺失会对评估
设备运作状况的准确程度带来严重的影响。
[0047] 相关技术包括两种异常数据的处理方法,具体如下:
[0048] 第一类是基于目标传感器自身的历史数据统计量;
[0049] 此类方法将超过平均值一定程度的数据当作异常值处理,使用传感器数据的历史平均值、中位数或众数作为异常数据的替代值。这样处理异常值存在很多问题:使用此种替
代值,会更改原始数据的统计分布,使得数据的统计量可靠度降低;使用此种替代值无法真
实反映出缺失数据的变化细节;由于传感器会不断采集新的数据,采集到的新数据会影响
数据统计量,所以此种替代值会因为不断采集新的数而发生改变;此种替代值可信度比较
低,具有有限的参考价值。
[0050] 第一类处理方法,仅仅使用的是目标传感器的历史数据为参量进行处理,本申请与该类处理方法相比,本申请根据每个传感器和与每个传感器相关性高的关联传感器分别
采集的传感器数据对每个传感器中的异常传感器数据进行处理,因为,基于传感器数据的
流向性,考虑到了传感器之间的相关性,所以,本申请提高了异常传感器数据处理后的准确
性。
[0051] 第二类是利用周围传感器数据;
[0052] 基于线性回归方法,选择目标传感器周围的一个传感器数据为特征,利用线性变换的方法去预测目标传感器数据。这种方法计算参数少,但若选取的已有的传感器数据本
身存在异常时,则进行线性计算得到的值必定存在较大误差,甚至无法根据此传感器数据
进行补全或修正。在这种情况下,以此传感器数据为参量去处理目标传感器采集到的传感
器数据没有可信度。
[0053] 本申请与基于线性回归的方法相比,本申请根据相关性高的多个关联传感器分别采集的传感器数据对每个传感器中的缺失传感器数据进行处理。因为,考虑到了传感器之
间的相关性,使用与目标传感器所有相关传感器的传感器数据作为参量,所以,本申请提高
了异常传感器数据处理后的准确性。
[0054] 利用神经网络补全方法,此方法准确度相对较高,但是当传感器和传感器数据的数量增加时,需要计算的未知参数量会指数级增加,导致计算量巨大,模型的训练时间很
长。另外,由于每个传感器相关特征不同,导致需要针对每个传感器单独花费大量的计算资
源和时间训练一个独属模型。除此之外,神经网络需要海量的数据进行训练以提高预测准
确程度,当数据出现大量缺失值或者数据量本来就很少时,可能无法满足神经网络训练的
要求。
[0055] 本申请与利用神经网络补全方法相比,利用神经网络补全方法,需要训练大量的模型,需要花费大量的时间,与此类方法相比,本申请一次性补全多个传感器数据,不需要
针对每个传感器单独建立模型,相对而言计算更加快捷需要优化的未知参数量少,计算成
本、计算时间都会比使用神经网络要少。
[0056] 由于环境的相似,相同类型的传感器之间具有一定的相关性,甚至在物理约束的作用下,不同类型传感器之间也存在很强的相关性。这里的相关性是指影响程度,例如一个
传感器数据变化会影响另一个传感器数据变化。从而,利用已有的传感器数据去补全缺失
或修正异常传感器数据是一种理想的选择。
[0057] 基于此,本申请实施例提供了一种传感器数据的异常处理方法、装置、设备及存储介质,根据每个传感器和与每个传感器相关性高的关联传感器分别采集的传感器数据对每
个传感器中的异常传感器数据进行处理,提高了异常传感器数据处理后的准确性。
[0058] 本发明实施例提供了一种传感器数据的异常处理方法、装置、设备及存储介质,下面通过实施例进行描述。
[0059] 图1示出了本申请实施例所提供的一种传感器数据的异常处理方法的流程示意图,其中,该方法包括步骤S101‑S105;具体的:
[0060] S101、从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,第一传感器关系网中包括多个传感器以及多个传感器之间的关联关系;第一传感器集
合中包括的多个目标传感器之间具有关联关系;
[0061] S102、从多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
[0062] S103、根据有值传感器数据,确定针对预测模型的调整参数;
[0063] S104、根据调整参数对预测模型的初始参数进行调整,得到预测模型在对应的损失函数最小时的目标参数;
[0064] S105、根据目标参数,处理多个目标传感器中的异常传感器数据。
[0065] 本申请根据每个传感器和与每个传感器相关性高的关联传感器分别采集的传感器数据对每个传感器中的异常传感器数据进行处理,提高了异常传感器数据处理后的准确
性。
[0066] 根据上述的实施例,下面进行详细的解释。
[0067]  S101、从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,第一传感器关系网中包括多个传感器以及多个传感器之间的关联关系;第一传感器
集合中包括的多个目标传感器之间具有关联关系;
[0068] 步骤S101中,第一传感器关系网包括多个传感器以及多个传感器之间的关联关系,关联关系即相关性表示传感器之间的相互影响关系,也即一个传感器数据变化会引起
其他传感器数据的变化。第一传感器关系网中包括多个传感器,这些传感器中有些传感器
之间存在关联关系,有些传感器之间不存在关联关系。存在关联关系的传感器作为一个集
合,最多关联关系的传感器为第一传感器集合。也就是说第一传感器集合中可以有一个传
感器也可以有多个传感器。
[0069] 在第一传感器关系网中,选取存在关联关系的最多的传感器。
[0070] 具体的,用无向图(边没有方向的图称)为例表示第一传感器关系网,绘制全体传感器的一个无向图G,G的顶点代表一个传感器。通过Bron‑Kerbosch算法在无向图G中找到
最大团。Bron‑Kerbosch算法相当于遍历了无向图的所有子图,在其中寻找最大的那个子
图。其维护了三个列表R、P、V。R代表已确定的极大团顶点的集合,P代表未处理并且与所有R
中顶点相连接的顶点集,R代表已搜过的并且属于某个极大团的顶点集合。当遍历无向图中
所有顶点时,出现P和R为空集时P即代表极大团,所有极大团中最大的那个便是最大团。
[0071]  S102、从多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
[0072] 步骤S102中,目标传感器为第一传感器集合中的传感器,目标传感器处于工作状态,也就是说目标传感器在不同时刻均会采集传感器数据,由于一些原因导致有些采集到
的数据出现错误或者缺失,错误传感器数据或者缺失传感器数据为异常传感器数据。准确
无误的传感器数据为正常传感器数据。有值传感器数据是指目标传感器采集到的数据,即
有值传感器数据包括采集到的正常传感器数据和采集到的错误传感器数据;缺失传感器数
据是指传感器未能采集到的数据。在目标传感器所有的传感器数据中,区分出有值传感器
数据和缺失传感器数据。
[0073] 本申请中的第一传感器集合中多个目标传感器在不同时刻采集的传感器数据作为一个整体进行相关处理操作,在进行相关处理操作时,使用第一传感器集合中多个目标
传感器在不同时刻采集的传感器数据对异常传感器数据进行预测,准确度更高。
[0074] 具体的,将无向图G中传感器数据按照预设顺序拼接成一个数据矩阵Mr×n,其中r是传感器的总数,n是时间序列数据的长度。预设顺序可以为传感器编号或传感器类别等。在
无向图G中取出最大团,最大团中有m(m集到的数据可以用矩阵Xm×n表示。以矩阵Xm×n表示多个目标传感器在不同时刻采集传感器
数据。其中矩阵的行向量为传感器数据,矩阵的列向量为传感器的数量。
[0075] 区分目标传感器的缺失传感器数据时,以矩阵Xm×n表示多个目标传感器在不同时刻采集传感器数据。其中矩阵的行向量为传感器数据,矩阵的列向量为传感器的数量。
[0076] 对矩阵Xm×n每个行向量(也就是针对每个传感器的数据)做标准滑窗3‑sigma异常检测并记录缺失传感器数据位置。
[0077] 标准滑窗是指首选选取固定的窗口大小如50个数据长度,在3‑sigma缺失检测的时候数据的均值 和标准差 只看这个窗口内的所有数据,与其它数据无关,窗口从数据
的开头一直滑动到结尾,每移动一个数据位置就做一次3‑sigma检测。
[0078] 3‑sigma检测标准是对一维数据(行向量)判定的:先计算出一维数据的均值   和标准差 ,利用公式将数值在 ±3× 之外的数据标记为缺失传感器数据,利用公式
将数值在 ±3× 之间的数据标记为有值传感器数据。
[0079] S103、根据有值传感器数据,确定针对预测模型的调整参数;
[0080] 步骤S103中为了提高处理结果的准确性,本申请不直接使用有值传感器数据,而是对有值传感器数据分别进行标准化处理之后作为调整参数,调整参数用于调整初始参
数,初始参数为预设参数。
[0081] 具体的,对上述矩阵Xm×n排除异常值后对每个行向量数据单独做标准化处理得到新的矩阵X m×n=[[x11, x12, …, x1n], [x21, x22, …, x2n], [xm1, xm2, …, xmn]]。
[0082] 标准化处理的步骤是:先计算出数据的均值 和标准差 ,利用公式x =(x‑ )/ 将原有一维数据x(行向量)转换成新的一维数据x (行向量)。
[0083] S104、根据调整参数对预测模型的初始参数进行调整,得到预测模型在对应的损失函数最小时的目标参数;
[0084] 步骤S104中初始参数为预测模型预先设置好的参数。预测模型用于根据调整参数对初始参数进行调整,使得初始参数与异常传感器数据误差更小,直到满足预测条件即预
测模型对应的损失函数最小,即认为此时的目标参数与异常传感器数据误差最小。
[0085] 具体的,预设初始参数是两组向量Am,Bn。其中Am为列向量,Bn为行向量。当两个向量相乘时会产生一个新的矩阵:Ym×n=Am×Bn,其中Ym×n=[[y11, y12, …, y1n], [y21, y22, 
…, y2n], [ym1, ym2, …, ymn]]。
[0086] 向量参数Am和Bn的初始值设定成随机非零值,采用梯度下降法得到Am和Bn的最优* *
解Am和Bn。
[0087] 梯度下降法为:向量参数Am和Bn中的任意一个参数 可以通过下面这个公式进行迭代更新, =  +  Loss( ),其中 为人工设定的学习率, Loss( )为损失
函数Loss对参数 的偏导。当 和 的值非常接近时停止迭代(即,当 | ‑ |<  或 
Loss( )≈0 时停止迭代, 人工设定)。
[0088] 损失函数设置为Loss=∑|xij‑yij|2 (0≦i≦m, 0≦j≦n, tij≠0),Loss函数的具体计算过程可以通过以下步骤完成:
[0089]
[0090] 其中Tm×n为X m×n的Mask矩阵Tm×n,其中Mask矩阵的大小和矩阵X m×n一样为m×n。Mask矩阵其中的元素tij和X m×n的元素xij一一对应,当X m×n中的元素xij为异常值时Mask矩
阵里对应元素tij为0,当X m×n中的元素xij为正常值时Mask矩阵里对应元素tij为1。⊙符号是
两个相同尺寸矩阵对应元素相乘形成同尺寸矩阵的乘法操作, 符号同样是对应位置元素
相减。||M||F代表矩阵M的Frobenius范数,其意义是矩阵M的每个元素的平方和的平方根,
* *
矩阵X m×n的预测值可以认为是Ym×n=Am×Bn。
[0091] S105、根据目标参数,处理多个目标传感器中的异常传感器数据。
[0092] 步骤S105中处理多个目标传感器中的异常传感器数据方式如下:
[0093] 根据目标参数,确定多个目标传感器中的异常传感器数据对应的预测值;
[0094] 根据预测值处理异常传感器数据。
[0095] 其中,根据预测值处理异常传感器数据,包括:
[0096] 根据预测值,对缺失传感器数据进行替换;
[0097] 根据预测值,对错误传感器数据进行修正。
[0098] 因为上述方法中,使用的是标准化处理后的有值传感器数据,所以得到的预测值也是与标准化处理后的有值传感器数据对应。此时需要对预测值进行反标准化处理,得到
与原始有值传感器数据对应的原始预测值。
[0099] 对缺失传感器数据进行替换时,具体的,X m×n中的异常值可以使用Ym×n中的对应值填充,即xij=yij (0≦i≦m, 0≦j≦n, tij=0)。填充的具体步骤可以同公式表示:
  ,其中Tm×n是之前提及的Mask矩阵,~Tm×n是取反操作
(Tm×n中的元素0变成1,1变成0),⊙符号是两个相同尺寸矩阵对应元素相乘形成同尺寸矩阵
的乘法操作,+符号同样是对应位置元素相加。
[0100] 将填充后的矩阵X m×n利用反标准化公式 x=x / + 还原成原始数据,并替换数据矩阵Mr×n对应位置数据。
[0101] 对错误传感器数据进行修正时,人工或自动设定阈值α,当有值传感器数据与预测传感器对应位置的数据的残差超过阈值α时,将有值传感器数据标记为错误传感器数据,并
用预测传感器数据替换错误传感器数据,替换步骤上述缺失传感器数据类似。
[0102] 对第一传感器集合中传感器的传感器数据处理结束后,本方法还包括处理第一传感器关系网中除第一传感器集合的其他传感器的传感器数据,步骤如下:
[0103] 从除第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合;
[0104] 将第二传感器集合作为新的第一传感器集合,返回从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合的步骤,直至第一传感器关系网中不存在剩余传
感器集合。
[0105] 具体实现从除第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合时还可以:
[0106] 从第一传感器关系网中剔除第一传感器集合,得到第二传感器关系网;
[0107] 将第二传感器关系网作为新的第一传感器关系网,并从中获取包括的传感器数量最多的第二传感器集合。
[0108] 具体的,从无向图G中除去已补全的传感器顶点后,得到新的无向图G 。针对新的无向图G 从S101开始重复进行直至无向图无顶点存在。此时,全部数据都完成补全,得到补
全后的数据矩阵Mr×n。
[0109] 上述方法中第一传感器关系网可通过以下方式构建:
[0110] 针对每一传感器,确定该传感器采集的传感器数据要传输的目的传感器;
[0111] 根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建第一传感器关系网。
[0112] 其中,根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建第一传感器关系网包括:
[0113] 获取的传感器数据,判断某一个传感器采集到的传感器数据与其他传感器采集到的传感器数据是否有相关性,根据传感器数据之间的相关性,构建第一传感器关系网。
[0114] 针对每一传感器,根据该传感器采集的传感器数据,计算该传感器与该传感器对应的目的传感器的相关性;
[0115] 从该传感器对应的目的传感器中,选取对应的相关性大于预设阈值的目标目的传感器;
[0116] 根据每个传感器和该传感器对应的目标目的传感器,构建所述第一传感器关系网;其中,所述第一传感器关系网中,每个传感器和该传感器对应的目标目的传感器之间具
有一连线。
[0117] 具体的,构建第一传感器关系网时,设置一个传感器数据相关性阈值,这个阈值可以根据实际的需求进行更改。将任意两个传感器同一时刻采集到的传感器数据带入相关性
计算公式,得到这两个传感器数据相关性的计算值,如果计算值大于阈值的话就用线段将
采集这两个传感器数据对应的传感器连接起来,如果计算值不大于阈值的话,则不进行连
接,由此得到第一传感器关系网。在第一传感器关系网中,连接起来的传感器具有关联关
系,没有连接起来在一起的就认为没有关联关系。
[0118] 具有关联关系的传感器可以是两个、三个或者多个,也可能存在没有关联关系的传感器。传感器数量越多传感器数据发生异常的可能性就越大,所以我们首先选取包括的
传感器数量最多的第一传感器集合。第一传感器集合中可以有一个传感器也可以有多个传
感器。
[0119] 具体的,绘制全体传感器的一个无向图G,G的顶点代表一个传感器,根据各个传感器对应传感器数据的相关性进行连接。将无向图G中传感器数据按照一定顺序拼接成一个
数据矩阵Mr×n,其中r是传感器的总数,n是时间序列数据的长度。
[0120] 在连接时,手动设定一个判定相关性大小的阈值β(默认值为0.8,可以根据实际需求更改)。然后,任意两个传感器数据相关性大小利用相关系数r表征,计算公式如下:
[0121]
[0122] 其中,xi 和 yi 分别是两个传感器对应的一对数据, 和  分别是两个传感器数据的平均值。r 值的大小在 [‑1, 1] 之间。
[0123] 如果计算得到的r大于阈值β则将与x、y对应的传感器用线段连接起来,否则,不连接。即可得到如图2所示的无向图G。
[0124] 上述方法完成了异常传感器处理之后,本申请还包括:
[0125] 获取第一传感器关系网经过异常处理后的各个传感器分别对应的更新传感器数据;第一传感器关系网中的各个传感器为目标工程设备使用的传感器;
[0126] 根据更新传感器数据,确定目标工程设备的评估结果。
[0127] 本申请,处理完第一传感器关系网中所有有异常的传感器数据之后,即目标工程设备中使用的传感器在各个时刻采集到的数据均没有异常之后,根据更新传感器数据,确
定目标工程设备的评估结果。
[0128] 图3示出了本申请实施例所提供的一种传感器数据的异常处理装置的结构示意图,装置包括:
[0129] 获取模块,用于从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合;其中,传感器关系网中包括多个传感器以及多个传感器之间的关联关系;第一传感
器集合中包括的多个目标传感器之间具有关联关系;
[0130] 检测模块,用于从多个目标传感器在不同时刻采集的传感器数据中,确定有值传感器数据和缺失传感器数据;
[0131] 计算模块,用于根据正常传感器数据,确定针对预测模型的调整参数;
[0132] 调整模块,用于根据调整参数和正常传感器数据,对预测模型的初始参数进行调整,得到预测模型在对应的损失函数最小时的目标参数;
[0133] 处理模块,用于根据目标参数,处理多个目标传感器中的异常传感器数据。
[0134] 上述装置还包括:
[0135] 选取模块,用于从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合;
[0136] 将所述第二传感器集合作为新的第一传感器集合,返回从第一传感器关系网中,选取包括的传感器数量最多的第一传感器集合的步骤,直至所述第一传感器关系网中不存
在剩余传感器集合。
[0137] 选取模块在用于从除所述第一传感器集合之外的第一传感器关系网中选取包括的传感器数量最多的第二传感器集合,包括:
[0138] 从所述第一传感器关系网中剔除第一传感器集合,得到第二传感器关系网;
[0139] 将所述第二传感器关系网作为新的第一传感器关系网,并从中获取包括的传感器数量最多的第二传感器集合。
[0140] 构建模块,用于针对每一传感器,确定该传感器采集的传感器数据要传输的目的传感器;
[0141] 根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网。
[0142] 构建模块,在用于根据每个传感器以及该传感器采集的传感器数据要传输的目的传感器,构建所述第一传感器关系网时,包括:
[0143] 针对每一传感器,根据该传感器采集的传感器数据,计算该传感器与该传感器对应的目的传感器的相关性;
[0144] 从该传感器对应的目的传感器中,选取对应的相关性大于预设阈值的目标目的传感器;
[0145] 根据每个传感器和该传感器对应的目标目的传感器,构建所述第一传感器关系网;其中,所述第一传感器关系网中,每个传感器和该传感器对应的目标目的传感器之间具
有一连线。
[0146] 处理模块,在用于根据目标参数,处理多个目标传感器中的异常传感器数据时,包括:
[0147] 根据所述目标参数确定所述多个目标传感器中的异常传感器数据对应的预测值;
[0148] 根据预测值处理所述异常传感器数据。
[0149] 如图4所示,本申请实施例提供了一种计算机设备,用于执行本申请中的传感器数据的异常处理方法,该设备包括存储器、处理器及存储在该存储器上并可在该处理器上运
行的计算机程序,其中,上述处理器执行上述计算机程序时实现上述的传感器数据的异常
处理方法的步骤。
[0150] 具体地,上述存储器和处理器可以为通用的存储器和处理器,这里不做具体限定,当处理器运行存储器存储的计算机程序时,能够执行上述的传感器数据的异常处理方法。
[0151] 对应于本申请中的传感器数据的异常处理方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运
行时执行上述的传感器数据的异常处理方法的步骤。
[0152] 具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述的传感器数据的异常处理方法。
[0153] 在本申请所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻
辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可
以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间
的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连
接,可以是电性,机械或其它的形式。
[0154] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
[0155] 另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0156]  所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者
说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该
计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是
个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述异常处理方法的全部或
部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read‑Only Memory, ROM)、
随机存取存储器(Random Access Memory ,RAM)、磁碟或者光盘等各种可以存储程序代码
的介质。
[0157] 应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第
一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
[0158] 最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申
请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员
在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使
相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护
范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。