针对多模态工业过程异常状态的检测方法、系统、设备

摘要

本发明属于过程监测领域，具体涉及一种针对多模态工业过程异常状态的检测方法、系统、设备，旨在解决在复杂工业生产过程中，由被监测的多维变量的异常变化趋势所反映的异常生产状态的检测精度不足的问题。本方法包括获取状态监测数据；对状态监测数据进行预处理，得到预处理数据；对预处理数据进行分割，并构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；基于矩阵之间的误差，计算在设定的异常指标set、sbt下的检测结果；对获取的检测结果进行滤波处理；若滤波后的检测结果对应的值大于预获取的两个报警阈值中的任一个，则进行预警。本发明提高了多模态工业过程中异常状态检测的检测精度。

权利要求

1.一种针对多模态工业过程异常状态的检测方法，其特征在于，该方法包括以下步骤：S10，通过多组传感器采集生产线在生产过程中的状态监测数据；

S20，对所述状态监测数据进行预处理，得到预处理数据；

S30，采用滑动窗口策略，通过自定义窗口大小n和滑动步长ns，将所述预处理数据分割成多个待检测数据；分割后，利用t‑n+1时刻至t时刻的状态检测数据构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；

S40，利用训练好的自编码器模型重构第一矩阵，作为第二矩阵，并利用自编码器模型重构第一矩阵与第二矩阵之间的残差；将所述第二矩阵与所述残差求和，作为最终的重建结果，并计算所述重建结果与第一矩阵数据间的重建误差，进而基于该重建误差计算预处理数据在设定的异常指标set、sbt下的检测结果；

S50，结合历史检测结果，对S40中获取的检测结果进行滤波处理；若滤波后的检测结果对应的值大于预获取的两个报警阈值中的任一个，则进行预警；

其中，所述自编码器模型基于基础重建模块、残差重建模块以及重建误差预测模块三个子模块组成；

所述基础重建模块与所述残差重建模块均基于自编码网络构建；所述基础重建模块用于重构第一矩阵，得到第二矩阵；所述残差重建模块用于重构第一矩阵与第二矩阵之间的残差；所述重建误差预测模块基于前馈网络构建，用于估计自编码器模型的重建误差。

2.根据权利要求1所述的针对多模态工业过程异常状态的检测方法，其特征在于，“对所述状态监测数据进行预处理”，其方法为：对状态监测数据进行清洗：依据传感器的设定的正常工作范围设置传感器信号的上下阈值，将超出阈值上限的传感器数据，即状态监测数据，限制为阈值上限，将低于阈值下限的状态监测数据限制为阈值下限；

将清洗后的状态监测数据进行归一化处理，归一化处理过程为：

xn＝S(x‑Ll)/(Lh‑Ll)

其中，x为原始传感器信号，即未经归一化处理的状态监测数据，Lh与Ll分别是状态监测数据的阈值上限与阈值下限，S为一个缩放因子，取值在[0,1]之间，xn为经过归一化处理后的状态监测数据。

3.根据权利要求1所述的针对多模态工业过程异常状态的检测方法，其特征在于，所述自编码器模型，其训练方法为：A10，通过多组监测传感器采集生产线在生产过程中的历史状态监测数据，作为训练数据；

A20，对所述训练数据进行预处理，得到预处理数据；

A30，采用滑动窗口策略，通过自定义窗口大小n和滑动步长ns，将所述预处理数据分割成多个待检测数据；分割后，利用t‑n+1时刻至t时刻的状态检测数据构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；

A40，通过所述自编码器模型的基础重建模块重构第一矩阵，作为第二矩阵，并通过残差重建模块重构第一矩阵与第二矩阵之间的残差；将所述第二矩阵与所述残差求和，作为最终的重建结果，并通过重建误差预测模块计算所述重建结果与第一矩阵数据间的重建误差；

A50，基于所述第一矩阵中的历史状态监测数据，结合第二矩阵中的历史状态监测数据、第一矩阵与第二矩阵之间的残差的重构结果、自编码器模型的重建误差，通过预构建的损失函数计算基础重建模块、残差重建模块以及重建误差预测模块对应的损失值，并进行参数更新；

A60，循环执行步骤A10‑A50，直至得到训练好的自编码器模型。

4.根据权利要求3所述的针对多模态工业过程异常状态的检测方法，其特征在于，所述基础重建模块、所述残差重建模块以及所述重建误差预测模块，在训练的过程中对应的损失函数为：其中，LB，LR以及IP分别是基础重建模块，残差重建模块以及重建误差预测模块的损失函数，n为数据样本的长度，即每个增广矩阵中包含m个传感器在连续n个采样时刻数据，为基础重建模块对时刻i的历史状态监测数据Xi的重构结果， 为残差重建模块对时刻i的Xi与 的残差 的重构结果，ePi是重建误差预测模块对Xi的最终重建误差的估计结果，

5.根据权利要求4所述的针对多模态工业过程异常状态的检测方法，其特征在于，所述设定的异常指标set、sbt，其计算方法为：其中，eet与ebt分别代表自编码器模型对t时刻历史状态监测数据的重构序列与输入数据间的统计误差以及统计偏移， 是模型对t‑i时刻数据Xt‑i的重构结果， 是重建误差预测模块预测的相应重建误差，set与sbt为设定的一维的异常指标，分别代表重构的矩阵的统计误差与统计偏移，μ1，Σ1以及μ2，Σ2是eet及ebt所对应的均值向量以及协方差矩阵。

6.根据权利要求1所述的针对多模态工业过程异常状态的检测方法，其特征在于，两种异常指标下的报警阈值Te和Tb，均采用核密度估计法计算得到，计算方法为：其中，si代表第i个样本的异常得分，N为参与计算的样本总数，h为带宽，K(·)为核函数，采用高斯核函数，s表示异常得分，p(s)表示异常得分s对应的概率密度，α表示置信度，Ts(α)为置信度设为α时的报警阈值。

7.一种针对多模态工业过程异常状态的检测系统，其特征在于，该系统包括：数据获取模块、预处理模块、矩阵构建模块、状态检测模块、触发报警模块；

所述数据获取模块，配置为通过多组传感器采集生产线在生产过程中的状态监测数据；

所述预处理模块，配置为对所述状态监测数据进行预处理，得到预处理数据；

所述矩阵构建模块，配置为采用滑动窗口策略，通过自定义窗口大小n和滑动步长ns，对所述预处理数据进行分割；分割后，利用t‑n+1时刻至t时刻的预处理数据构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；

所述状态检测模块，配置为利用训练好的自编码器模型重构第一矩阵，作为第二矩阵，并利用自编码器模型重构第一矩阵与第二矩阵之间的残差；将所述第二矩阵与所述残差求和，作为最终的重建结果，并计算所述重建结果与第一矩阵数据间的重建误差，进而基于该重建误差计算预处理数据在设定的异常指标set、sbt下的检测结果；

所述触发警报模块，配置为结合历史检测结果，对状态检测模块中获取的检测结果进行滤波处理；若滤波后的检测结果对应的值大于预获取的两个报警阈值中的任一个，则进行预警；

其中，所述自编码器模型基于基础重建模块、残差重建模块以及重建误差预测模块三个子模块组成；

所述基础重建模块与所述残差重建模块均基于自编码网络构建；所述基础重建模块用于重构第一矩阵，得到第二矩阵；所述残差重建模块用于重建第一矩阵与第二矩阵之间的残差；所述重建误差预测模块基于前馈网络构建，用于估计自编码器模型的重建误差。

8.一种针对多模态工业过程异常状态的检测设备，其特征在于，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1‑6任一项所述的针对多模态工业过程异常状态的检测方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1‑6任一项所述的针对多模态工业过程异常状态的检测方法。

说明书

针对多模态工业过程异常状态的检测方法、系统、设备

技术领域

[0001] 本发明属于过程监测领域，具体涉及一种针对多模态工业过程异常状态的检测方法、系统、设备。

背景技术

[0002] 现代化工业生产线日益复杂，生产过程中的异常现象如果不能及时地被发现，诊断以及排除，可能会导致设备的损坏、产品质量的下降、甚至导致严重的生产事故及人员伤亡。现如今，已有大量的传感器被用于生产过程的监测，可从生产过程中采集到充足的监测数据。利用这些数据可以构建基于数据驱动的模型，实现生产过程的实时监测以及异常状态的自动化检测。相关研究有较大的研究意义以及应用价值。

[0003] 现有的过程监测算法大多针对单模态生产过程。单模态生产过程的操作模式单一，其数据分布也相对简单，通常可表示单峰值的数据分布。高斯分布是其中一种最为典型代表。然而，从现实生产过程中采集的数据往往不能满足以上假设。受市场需求影响，生产过程会在多组参数设定之间切换；生产过程也会根据工艺要求在不同的工序间切换，这使得监测数据呈多峰分布。此时，基于单峰分布假设以及独立样本假设的单模态过程异常检测算法往往已经难以满足任务需求。因此，有必要构建多模态过程的异常检测方法。

[0004] 尽管近年来已有许多关于多模态异常检测的方法被提出。但大多数方法所分析对象的数据形式相对单一。其生产过程中，每个操作模态往往对应着一组固定的参数设定，采集到的数据具有显著的统计特征。目前大多数基于独立样本假设，并基于数据统计特征的异常检测算法可以检测这些具有异常数据分布的异常状态。然而实际生产过程往往是连续过程，大多数统计模型不能有效反映时序上的异常变化趋势。此外，现实生产过程除了在多组操作模式间切换，单一操作模态内的监测变量也可能是时变的。由于工业生产过程会在多个工序之间循环切换，同一操作模式下的监测数据可能呈现多种变化趋势。然而仅采用统计模型很难有效地对这些特征进行建模。

[0005] 因此，本领域需要一种对具有多种时序特征的多模态工业过程的有效建模方法，并进一步实现对多模态过程中异常状态的检测。

发明内容

[0006] 为了解决现有技术中的上述问题，即为了解决在包含多种操作模态的复杂工业生产过程中，由被监测的多维变量的异常变化趋势所反映的异常生产状态的检测精度不足的问题，本发明第一方面，提出了一种针对多模态工业过程异常状态的检测方法，该方法包括：

[0007] S10，通过多组传感器采集生产线在生产过程中的状态监测数据；

[0008] S20，对所述状态监测数据进行预处理，得到预处理数据；

[0009] S30，采用滑动窗口策略，通过自定义窗口大小n和滑动步长ns，对所述预处理数据进行分割；分割后，利用t‑n+1时刻至t时刻的预处理数据构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；

[0010] S40，利用训练好的自编码器模型重构第一矩阵，作为第二矩阵，并利用自编码器模型重构第一矩阵与第二矩阵之间的残差；将所述第二矩阵与所述残差求和，作为最终的重建结果，并计算所述重建结果与第一矩阵数据间的重建误差，进而基于该重建误差计算预处理数据在设定的异常指标set、sbt下的检测结果；

[0011] S50，结合历史检测结果，对S40中获取的检测结果进行滤波处理；若滤波后的检测结果对应的值大于预获取的两个报警阈值中的任一个，则进行预警；

[0012] 其中，所述自编码器模型基于基础重建模块、残差重建模块以及重建误差预测模块三个子模块组成；

[0013] 所述基础重建模块与所述残差重建模块均基于自编码网络构建；所述基础重建模块用于重构第一矩阵，得到第二矩阵；所述残差重建模块用于重构第一矩阵与第二矩阵之间的残差；所述重建误差预测模块基于前馈网络构建，用于估计自编码器模型的重建误差。

[0014] 在一些优选的实施方式中，“对所述状态监测数据进行预处理”，其方法为：

[0015] 对状态监测数据进行清洗：依据传感器的设定的正常工作范围设置传感器信号的上下阈值，将超出阈值上限的传感器数据，即状态监测数据，限制为阈值上限，将低于阈值下限的状态监测数据限制为阈值下限；

[0016] 将清洗后的状态监测数据进行归一化处理，归一化处理过程为：

[0017] xn＝S(x‑Ll)/(Lh‑Ll)

[0018] 其中，x为原始传感器信号，即未经归一化处理的状态监测数据，Lh与Ll分别是状态监测数据的阈值上限与阈值下限，S为一个缩放因子，取值在[0，1]之间，xn为经过归一化处理后的状态监测数据。

[0019] 在一些优选的实施方式中，所述自编码器模型，其训练方法为：

[0020] A10，通过多组监测传感器采集生产线在生产过程中的历史状态监测数据，作为训练数据；

[0021] A20，对所述训练数据进行预处理，得到预处理数据；

[0022] A30，采用滑动窗口策略，通过自定义窗口大小n和滑动步长ns，将所述预处理数据分割成多个待检测数据；分割后，利用t‑n+1时刻至t时刻的状态检测数据构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；

[0023] A40，通过所述自编码器模型的基础重建模块重构第一矩阵，作为第二矩阵，并通过残差重建模块重构第一矩阵与第二矩阵之间的残差；将所述第二矩阵与所述残差求和，作为最终的重建结果，并通过重建误差预测模块计算所述重建结果与第一矩阵数据间的重建误差；

[0024] A50，基于所述第一矩阵中的历史状态监测数据，结合第二矩阵中的历史状态监测数据、第一矩阵与第二矩阵之间的残差的重构结果、自编码器模型的重建误差，通过预构建的损失函数计算基础重建模块、残差重建模块以及重建误差预测模块对应的损失值，并进行参数更新；

[0025] A60，循环执行步骤A10‑A50，直至得到训练好的自编码器模型。

[0026] 在一些优选的实施方式中，所述基础重建模块、所述残差重建模块以及所述重建误差预测模块，在训练的过程中对应的损失函数为：

[0027]

[0028]

[0029]

[0030] 其中，LB，LR以及LP分别是基础重建模块，残差重建模块以及重建误差预测模块的损失函数，n为数据样本的长度，即每个增广矩阵中包含m个传感器在连续n个采样时刻数据， 为基础重建模块对时刻i的历史状态监测数据Xi的重构结果， 为残差重建模块对时刻i的Xi与 的残差 的重构结果，ePi是重建误差预测模块对Xi的最终重建误差 的估计结果，

[0031] 在一些优选的实施方式中，所述设定的异常指标set、sbt，其计算方法为：

[0032]

[0033]

[0034]

[0035]

[0036] 其中，eet与ebt分别代表自编码器模型对t时刻历史状态监测数据的重构序列与输入数据间的统计误差以及统计偏移， 是模型对t‑i时刻数据Xt‑i的重构结果， 是重建误差预测模块预测的相应重建误差，set与sbt为设定的一维的异常指标，分别代表重构的矩阵的统计误差与统计偏移，μ1，∑1以及μ2，∑2是eet及ebt所对应的均值向量以及协方差矩阵。

[0037] 在一些优选的实施方式中，两种异常指标下的报警阈值Te和Tb，均采用核密度估计法计算得到，计算方法为：

[0038]

[0039]

[0040] 其中，si代表第i个样本的异常得分，N为参与计算的样本总数，h为带宽，K(·)为核函数，通常采用高斯核函数，s表示异常得分，p(s)表示异常得分s对应的概率密度，α表示置信度，Ts(α)为置信度设为α时的报警阈值。

[0041] 本发明的第二方面，提出了一种针对多模态工业过程异常状态的检测系统，该系统包括：数据获取模块、预处理模块、矩阵构建模块、状态检测模块、触发报警模块；

[0042] 所述数据获取模块，配置为通过多组传感器采集生产线在生产过程中的状态监测数据；

[0043] 所述预处理模块，配置为对所述状态监测数据进行预处理，得到预处理数据；

[0044] 所述矩阵构建模块，配置为采用滑动窗口策略，通过自定义窗口大小n和滑动步长ns，对所述预处理数据进行分割；分割后，利用t‑n+1时刻至t时刻的预处理数据构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；

[0045] 所述状态检测模块，配置为利用训练好的自编码器模型重构第一矩阵，作为第二矩阵，并利用自编码器模型重构第一矩阵与第二矩阵之间的残差；将所述第二矩阵与所述残差求和，作为最终的重建结果，并计算所述重建结果与第一矩阵数据间的重建误差，进而基于该重建误差计算预处理数据在设定的异常指标set、sbt下的检测结果；

[0046] 所述触发警报模块，配置为结合历史检测结果，对状态检测模块中获取的检测结果进行滤波处理；若滤波后的检测结果对应的值大于预获取的两个报警阈值中的任一个，则进行预警；

[0047] 其中，所述自编码器模型基于基础重建模块、残差重建模块以及重建误差预测模块三个子模块组成；

[0048] 所述基础重建模块与所述残差重建模块均基于自编码网络构建；所述基础重建模块用于重构第一矩阵，得到第二矩阵；所述残差重建模块用于重建第一矩阵与第二矩阵之间的残差；所述重建误差预测模块基于前馈网络构建，用于估计自编码器模型的重建误差。

[0049] 本发明的第三方面，提出了一种设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求上述的针对多模态工业过程异常状态的检测方法。

[0050] 本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求上述的针对多模态工业过程异常状态的检测方法。

[0051] 本发明的有益效果：

[0052] 本发明提高了多模态工业过程中的异常状态检测精度。

[0053] 1)本发明基于GRU双自编码网络结构，一个自编码网络学习到了装填监测数据的宏观趋势，另一个自编码网络在第一个自编码网络的基础上进一步学习到了锯齿状的细节特征，实现了多模态动态过程的建模，提升了自编码模型的整体建模精度，相较于单一的sequence‑to‑sequence网络结构，该模型能够以更小的网络规模实现更高的建模精度。

[0054] 2)本发明设计了两种异常指标，模型可基于这两种指标有效地检测多模态生产过程中的异常，相较于目前被广泛采用的马氏距离指标，这两个指标能够更有效地检测可能的异常趋势。随着现代化工业生产正朝着大规模、集成化方向发展，用于监测生产过程的传感器网络规模日益扩大，该方法能有效利用海量监测数据进行建模，实现对多路监测数据的自动化异常检测；同时随着工业生产智能化及个性化发展，生产过程也会变得更加复杂，该方法能够有效检测具有复杂过程动态的工业过程的异常状态，具有可观的应用前景。

附图说明

[0055] 通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。

[0056] 图1是本发明一种实施例的针对多模态工业过程异常状态的检测方法的流程示意图；

[0057] 图2是本发明一种实施例的针对多模态工业过程异常状态的检测系统的框架示意图；

[0058] 图3是本发明一种实施例的无菌灌装生产线平衡罐CIP过程在正常工作条件下的历史状态检测数据的变化趋势示意图；

[0059] 图4是本发明一种实施例的自编码模型的基本结构图；

[0060] 图5是本发明一种实施例的自编码模型的基础重建模块、残差重建模块的结构图；

[0061] 图6是本发明一种实施例的部分正常状态检测数据的重建结果；

[0062] 图7是本发明一种实施例的不同网络规模下自编码模型对过程数据拟合精度对比结果；

[0063] 图8是本发明一种实施例的对两种异常状态的检测结果的示意图；

[0064] 图8(a)：异常动态变化过程的记录(归一化值)；

[0065] 图8(b)：模型对图8(a)所描述数据的检测结果(Se)，图中的点状数据代表实际检测结果；

[0066] 图8c)：模型对图8(a)所描述数据的检测结果(Sb)；

[0067] 图8(d)：异常数据偏移以及异常动态过程的记录(归一化值)；

[0068] 图8(e)：模型对图8(b)所描述数据的检测结果(Se)；

[0069] 图8(f)：模型对图8(b)所描述数据的检测结果(Sb)；

[0070] 图9是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

[0071] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0072] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

[0073] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

[0074] 本发明的一种针对多模态工业过程异常状态的检测方法，该方法包括：

[0075] S10，通过多组传感器采集生产线在生产过程中的状态监测数据；

[0076] S20，对所述状态监测数据进行预处理，得到预处理数据；

[0077] S30，采用滑动窗口策略，通过自定义窗口大小n和滑动步长ns，对所述预处理数据进行分割；分割后，利用t‑n+1时刻至t时刻的预处理数据构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；

[0078] S40，利用训练好的自编码器模型重构第一矩阵，作为第二矩阵，并利用自编码器模型重构第一矩阵与第二矩阵之间的残差；将所述第二矩阵与所述残差求和，作为最终的重建结果，并计算所述重建结果与第一矩阵数据间的重建误差，进而基于该重建误差计算预处理数据在设定的异常指标set、sbt下的检测结果；

[0079] S50，结合历史检测结果，对S40中获取的检测结果进行滤波处理；若滤波后的检测结果对应的值大于预获取的两个报警阈值中的任一个，则进行预警；

[0080] 其中，所述自编码器模型基于基础重建模块、残差重建模块以及重建误差预测模块三个子模块组成；

[0081] 所述基础重建模块与所述残差重建模块均基于自编码网络构建；所述基础重建模块用于重构第一矩阵，得到第二矩阵；所述残差重建模块用于重构第一矩阵与第二矩阵之间的残差；所述重建误差预测模块基于前馈网络构建，用于估计自编码器模型的重建误差。

[0082] 为了更清晰地对本发明针对多模态工业过程异常状态的检测方法进行说明，下面结合附图1对本发明方法一种实施例中各步骤进行展开详述。

[0083] 在下述实施例中先对自编码器模型的训练过程进行阐述，再对针对多模态工业过程异常状态的检测方法获取多模态工业过程异常状态的检测结果的过程进行详述。

[0084] 1、自编码器模型的训练过程

[0085] A10，通过多组监测传感器采集生产线在生产过程中的历史状态监测数据，作为训练数据；

[0086] 在本实施例中，采集生产线正常工作条件下的历史状态监测数据。由于本发明是一种数据驱动的异常检测方法，方法需要对正常的生产过程建模；线上应用时，以状态监测数据与生产线正常工作状态的偏离程度衡量生产线当前的异常状态。因此，采集的历史状态监测数据需要尽可能地涵盖所有正常状态。图3是无菌灌装生产线平衡罐CIP过程在正常工作条件下的历史状态监测数据，涉及4路传感器数据。图中，该过程共涉及三个种清洗过程：“水洗”，“碱洗”，“酸洗”，分别对应取值范围不同的三种记录。

[0087] A20，对所述训练数据进行预处理，得到预处理数据；

[0088] 在本实施例中，预处理包括对历史状态监测数据进行清洗以及归一化处理，具体如下：

[0089] A21，对状态监测数据进行清洗：受传感器扰动等影响，传感器采集的数据(状态监测数据)有时会明显偏离正常范围，需要对这些数据进行矫正。利用传感器设定的正常工作范围设置各路传感器信号的上下阈值。将超出阈值上限的数据限制为阈值上限；同理，将低于阈值下限的数值限制为阈值下限。

[0090] A22，将清洗后的状态监测数据进行归一化处理，归一化处理过程为：

[0091] xn＝S(x‑Ll)/(Lh‑Ll)       (1)

[0092] 其中，x为原始传感器信号，即未经归一化处理的状态监测数据，Lh与Ll分别是传感器数据的阈值上限与阈值下限，S为一个缩放因子，取值在[0，1]之间，在本发明中优选设置为0.8，xn为经过归一化处理后的历史状态监测数据。

[0093] A30，采用滑动窗口策略，通过自定义窗口大小n和滑动步长ns，将所述预处理数据分割成多个待检测数据；分割后，利用t‑n+1时刻至t时刻的状态检测数据构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；

[0094] 从工业现场采集的状态检测数据时常伴随不同程度的扰动。受噪声影响，传感器网络在当前时刻采集的数据存在偏离实际生产状态的可能。基于此，在本实施例中，采用滑动窗口策略对A20中获取的预处理数据进行数据分割：设备在t时刻的状态监测数据为Xt(Xt＝[xt1，xt2，...，xtm]，xt1到xtm代表m个传感器在t时刻采集到的状态监测数据)。采用滑动窗口策略，以窗口长度为n的滑动窗口截取数据片段。用t‑n+1时刻到t时刻构建的增广矩阵Stm×n＝[Xt‑n+1，Xt‑n+2，...，Xt](St∈R )描述t时刻生产过程的状态。

[0095] 相邻数据样本St，St+s的时间间隔s(对应滑动步长ns)可依据实际需求设置，在本实施例中，ns设为3。

[0096] A40，通过所述自编码器模型的基础重建模块重构第一矩阵，作为第二矩阵，并通过残差重建模块重构第一矩阵与第二矩阵之间的残差；将所述第二矩阵与所述残差求和，作为最终的重建结果，并通过重建误差预测模块计算所述重建结果与第一矩阵数据间的重建误差；

[0097] 在本实施例中，自编码器模型基于基础重建模块、残差重建模块以及重建误差预测模块三个子模块组成，图4为该模型的整体结构。基础重建模块、残差重建模块均为自编码网络，基础重建模块用于重建第一矩阵St，得到第二矩阵 残差重建模块用于重建第一矩阵St与基础重建模块输出的第二矩阵 之间的残差。最终自编码模型的重建结果 为基础重建模块的输出 与残差重建模块的输出的残差 之和。重建误差预测模块为前馈网络，用于估计模型对每个采样时刻数据Xt的重构误差

[0098] 不同模态下的数据分布可能存在较大差异，建模时，采用单一的自编码模型同时兼顾数据分布及变化范围差异较大的特征相对较困难。图4所述自编码模型将建模任务分散至两个网络模块：基础重建模块用于对数据的宏观数据特征进行建模；减去宏观特征后，原先相对宏观特征而言，取值范围小且不明显的局部特征能够被更加明显地记录在残差序列 之中，残差重建模块因而能够相对容易地对这些局部特征建模。相较于单一的自编码网络，图4所示结构能够达成以更小的网络规模实现更加精确的建模的效果。图6是自编码模型对部分正常数据的重建结果。由图可见，基础重建模块学习到了数据的宏观趋势，残差重建模块在基础重建模块数据的基础上进一步学习到了锯齿状的细节特征，提升了模型的整体建模精度。图7是不同网络规模下(具体表现为不同的隐含层规模)基础重建模块与整体模型对过程数据的重建精度，由对比结果可得，相较于单一的网络结构，本发明所采用的模型能够以更小的网络规模实现更高精度的建模。这对有限的计算资源下，对复杂的工业过程建模具有积极意义。重建误差预测模块用于预测最终的重建误差。通过减去不同模态下的预测误差，缓解模型对不同模态的数据建模精度差异对异常检测的干扰问题。自编码模型的隐含层维度应小于输入增广矩阵的规模(即n×m)。

[0099] 由于模型需要对过程的动态特征进行建模，优选地，基础重建模块与残差重建模块均采用了sequence‑to‑sequence GRU网络。图5为该网络的工作原理示意图。为更加直观地解释该模块的工作原理，图5依照时间先后将单个数据样本中相邻n时刻数据的计算流程依次展开。图中“G”模块同为一个GRU网络(编码网络)；“D”模块同为另一个GRU网络(解码网络)。编码网络正向计算输入序列[Xt‑n+1，Xt‑n+2，...，Xt]每一时刻i的状态hi，解码网络利用t时刻的状态ht逐步逆向推导St。图中Wh+b为单层前馈网络，其作用是将i时刻解码网络逆向推导的过程状态 映射为重构数据

[0100] 模型各模块的输入输出描述如下：基础重建模块的编码器部分输入为St，初始状态输入为0，解码器的初始状态为编码器在最后一个时刻t的状态 第一个重构数据由前馈网络依据 直接计算获取。后续推导中，解码网络从t时刻到t‑n+1时刻逐次利用状态 及重构结果 推导i时刻的状态与重建结果。残差重建模块的编码网络输入为解码网络在第i时刻的输入为 及 ([·]代表数据在特征维度的拼接)，其余部分设置与基础重建模块相同。重建误差预测模块的输入为

[0101] 在优选实施例中，分析对象为4路温度信号，数据样本的长度为40，模型的输入维度为4，网络层数为2，隐含层维度为72。

[0102] A50，基于所述第一矩阵中的历史状态监测数据，结合第二矩阵中的历史状态监测数据、第一矩阵与第二矩阵之间的残差的重构结果、自编码器模型的重建误差，通过预构建的损失函数计算基础重建模块、残差重建模块以及重建误差预测模块对应的损失值，并进行参数更新；

[0103] 在本实施例中，将经过步骤S20处理的生产线正常工作条件下的历史记录划分为训练集以及验证集两部分：训练集用于模型训练；验证集数据用于验证模型效果，防止模型过拟合。三个子模块训练均采用均方根误差(MSE)，具体损失函数如下：

[0104]

[0105]

[0106]

[0107] 其中，LB，LR以及LP分别是基础重建模块，残差重建模块以及重建误差预测模块的损失函数，n为数据样本的长度，即每个增广矩阵中包含m个传感器在连续n个采样时刻数据， 为基础重建模块对时刻i的历史状态监测数据Xi的重构结果， 为残差重建模块对时刻i的Xi与 的残差 的重构结果，ePi是重建误差预测模块对Xi的最终重建误差 的估计结果。

[0108] A60，循环执行步骤A10‑A50，直至得到训练好的自编码器模型。

[0109] 在本实施例中，循环对自编码器模型进行训练，直至达到预设的训练精度或达到设定的训练次数，得到自编码器模型。

[0110] 另外，在训练完自编码模型后，依据重构误差计算验证集数据在两种异常指标set和sbt下的数值，即检测结果，具体为：

[0111]

[0112]

[0113]

[0114]

[0115] 其中，eet与ebt分别代表自编码器模型对t时刻历史状态监测数据的重构序列与输入数据间的统计误差以及统计偏移， 是模型对t‑i时刻数据Xt‑i的重构结果， 是重建误差预测模块预测的相应重建误差，set与sbt为设定的一维的异常指标，分别代表重构的矩阵的统计误差与统计偏移，μ1，∑1以及μ2，∑2是eet及ebt所对应的均值向量以及协方差矩阵。

[0116] 由于采用单个模型重构多模态数据时，模型对不同模态数据的重建误差存在差异，这种差异会影响后续的报警阈值估计以及异常检测流程，因此在计算eet时，通过减去估计误差ep抑制这种差异。

[0117] 经过上述流程后，检测结果的分布基本属于单峰分布，可采用统计方法估计对应的报警阈值。考虑到数据不一定服诸如高斯分布等常见分布，采用核密度估计法分别计算两种指标下的报警阈值Te和Tb。具体计算公式如下：

[0118]

[0119]

[0120] 其中，si代表第i个样本的异常得分，N为参与计算的样本总数，h为带宽，K(·)为核函数，通常采用高斯核函数，s表示异常得分，p(s)表示异常得分s对应的概率密度，α表示置信度。Ts(α)为置信度设为α时的报警阈值。具体计算时，分别将训练数据中的set、sbt带入si，计算置信度达到α时的阈值s，对应Te和Tb。在本发明中α优选设置为0.99。

[0121] 2、针对多模态工业过程异常状态的检测方法

[0122] S10，通过多组传感器采集生产线在生产过程中的状态监测数据；

[0123] 在本实施例中，获取生产线在生产过程中的状态监测数据，作为输入数据。

[0124] S20，对所述状态监测数据进行预处理，得到预处理数据；

[0125] S30，采用滑动窗口策略，通过自定义窗口大小n和滑动步长ns，将所述预处理数据分割成多个待检测数据；分割后，利用t‑n+1时刻至t时刻的状态检测数据构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；

[0126] 在本实施例中，对状态监测数据进行预处理，得到预处理数据，对预处理数据进行分割，构件用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵，预处理以及预处理数据分割的过程可参考步骤A20、A30中的方法，此处不再一一阐述。

[0127] S40，利用训练好的自编码器模型重构第一矩阵，作为第二矩阵，并利用自编码器模型重构第一矩阵与第二矩阵之间的残差；将所述第二矩阵与所述残差求和，作为最终的重建结果，并计算所述重建结果与第一矩阵数据间的重建误差，进而基于该重建误差计算预处理数据在设定的异常指标set、sbt下的检测结果；

[0128] 在本实施例中，通过上述训练好的自编码模型重构第一矩阵，并计算重构前后第一矩阵的残差；而后采用自编码器模型重构前述残差矩阵。组合两部重建结果，得到最终的重建数据，并计算最终的重建数据与原始数据的误差。基于上述误差，计算装填监测数据在设定的异常指标下的检测结果。

[0129] S50，结合历史检测结果，对S40中获取的检测结果进行滤波处理；若滤波后的检测结果对应的值大于预获取的两个报警阈值中的任一个，则进行预警；

[0130] 由于现场采集的数据存在不同程度的噪声，为提供更加稳定的检测结果。在本实施例中，采用了滤波策略，依据当前检测结果与相邻l个历史检测结果，采用滤波算法计算更加稳定的检测结果。具体计算公式如下：

[0131]

[0132]

[0133] 其中， 为最终的异常得分，l为滤波器窗口的长度，c为衰减常数，优选地，取值范围为[0，1]。

[0134] 异常判断，当 以及 中任意一个指标超出了对应的阈值( 或Sb＞pTb)，则触发报警。

[0135] 其中，p为大于1的灵敏度常数，可依据实际需求调节具体数据值。模型的灵敏度随着p的增大而减小，但相应指示结果更加可靠。在本发明中，l优选设置为20，c优选设置为0.9，p优选设置为1.0。

[0136] 图8是本方法对两种包含了异常记录的检测结果。图8(a)描述了第一次“水洗”到“碱洗”异常的过渡过程，图8(b)，(c)为对应检测结果，图中的点代表着实际的检测结果；图8(d)即包含了“碱洗”阶段的异常变化趋势以及“碱洗”结束后数据不正常的下降以及变化趋势，图8(e)，(f)为对应检测结果。由图可得，结合Se以及Sb指标下的检测结果，这些异常状态能够很好地被指出。

[0137] 通过上述描述和结果图可以看出，在本发明的优选技术方案中，本发明的多模态动态过程的异常检测方法主要包括线下建模以及线上监测两个主要环节：(1)线下建模：采集正常生产过程的历史监测数据；进行数据清洗以及数据归一化；采用滑动窗口策略截取增广矩阵，以包含当前时刻数据在内相邻数据片段表征当前状态；训练正常生产过程的描述模型，并根据模型对正常数据的重构结果分别计算两个异常指标所对应的报警阈值。线上部署时：以当前时刻数据以及相邻历史记录构建增广矩阵描述当前状态；利用训练好的模型重构该增广矩阵，依据重构误差计算在两个异常指标下的检测值；若检测值超出了相应报警阈值，则发出预警。

[0138] 本发明第二实施例的一种针对多模态工业过程异常状态的检测系统，如图2所示，具体包括以：数据获取模块100、预处理模块200、矩阵构建模块300、状态检测模块400、触发报警模块500；

[0139] 所述数据获取模块100，配置为通过多组传感器采集生产线在生产过程中的状态监测数据；

[0140] 所述预处理模块200，配置为对所述状态监测数据进行预处理，得到预处理数据；

[0141] 所述矩阵构建模块300，配置为采用滑动窗口策略，通过自定义窗口大小n和滑动步长ns，对所述预处理数据进行分割；分割后，利用t‑n+1时刻至t时刻的预处理数据构建用于描述t时刻生产过程的状态的增广矩阵，作为第一矩阵；

[0142] 所述状态检测模块400，配置为利用训练好的自编码器模型重构第一矩阵，作为第二矩阵，并利用自编码器模型重构第一矩阵与第二矩阵之间的残差；将所述第二矩阵与所述残差求和，作为最终的重建结果，并计算所述重建结果与第一矩阵数据间的重建误差，进而基于该重建误差计算预处理数据在设定的异常指标set、sbt下的检测结果；

[0143] 所述触发警报模块500，配置为结合历史检测结果，对状态检测模块中获取的检测结果进行滤波处理；若滤波后的检测结果对应的值大于预获取的两个报警阈值中的任一个，则进行预警；

[0144] 其中，所述自编码器模型基于基础重建模块、残差重建模块以及重建误差预测模块三个子模块组成；

[0145] 所述基础重建模块与所述残差重建模块均基于自编码网络构建；所述基础重建模块用于重构第一矩阵，得到第二矩阵；所述残差重建模块用于重建第一矩阵与第二矩阵之间的残差；所述重建误差预测模块基于前馈网络构建，用于估计自编码器模型的重建误差。

[0146] 所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0147] 需要说明的是，上述实施例提供的针对多模态工业过程异常状态的检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

[0148] 本发明第三实施例的一种设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求上述的针对多模态工业过程异常状态的检测方法。

[0149] 本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求上述的针对多模态工业过程异常状态的检测方法。

[0150] 所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的设备、计算机可读存储介质的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。

[0151] 下面参考图9，其示出了适于用来实现本申请系统、方法、设备实施例的服务器的计算机系统的结构示意图。图9示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

[0152] 如图9所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)901，其可以根据存储在只读存储器(ROM，Read Only Memory)902中的程序或者从存储部分908加载到随机访问存储器(RAM，Random Access Memory)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有系统操作所需的各种程序和数据。CPU901、ROM 902以及RAM903通过总线904彼此相连。输入/输出(I/O，Input/Output)接口905也连接至总线904。

[0153] 以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管、液晶显示器等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如局域网卡、调制解调器等的网络接口卡的通讯部分909。通讯部分909经由诸如因特网的网络执行通讯处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

[0154] 特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被CPU901执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆等等，或者上述的任意合适的组合。

[0155] 可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网或广域网连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

[0156] 附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0157] 术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

[0158] 术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

[0159] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。