基于加权特征对齐自编码器的半监督故障分类方法

摘要

本发明公开了一种基于加权特征对齐自编码器的半监督故障分类方法，该方法首先使用有标签数据对堆叠自编码器进行重构预训练，并估计重构误差的概率密度分布。然后，根据训练数据重构误差的概率密度函数，计算无标签样本的权重。进一步，利用有标签样本集、无标签样本集以及对应权重，构建基于加权特征对齐自编码器的半监督分类模型。加权特征对齐自编码器分类模型设计了基于加权Sinkhorn距离的交叉熵训练损失函数，该函数使得模型在微调阶段同时使用有标签数据和无标签数据，不仅可以实现数据信息的深度挖掘，还可以提高网络模型的泛化能力。同时，由于加权策略的引入，模型的鲁棒性显著提升。

权利要求

1.一种基于加权特征对齐自编码器的半监督故障分类方法，其特征在于，该方法包括以下步骤：步骤一：收集工业过程的正常工况数据以及各种故障数据，得到建模用的训练数据集：有标签样本集 和无标签样本集 其中，x代表输入样本，y代表样本标签，m表示有标签样本个数，n表示无标签样本个数；

步骤二：构建用于重构的堆叠自编码器模型，并利用有标签样本集对堆叠自编码器模型进行训练；

步骤三：估计训练数据重构误差的概率密度分布，计算无标签样本的权重，并进一步构建加权特征对齐自编码器分类模型；

所述步骤三具体分为如下的子步骤：

2

(3.1)计算有标签样本的重构误差El服从χ分布 的分布参数g和hg·h＝mean(El)

2

2g·h＝variance(El)

(3.2)计算无标签样本的重构误差 单个样本的重构误差计算公式如下：其中，表示模型对输入的重构；

(3.3)计算无标签样本的重构误差Eu在分布El下发生的概率 对Pu进行归一化，得到无标签样本的权重(3.4)构建加权特征对齐自编码器分类模型，采用有标签样本集、无标签样本集以及对应权重，对所述加权特征对齐自编码器分类模型进行训练；训练过程分为：无监督预训练和有监督微调；在无监督预训练阶段，采用有标签样本和无标签样本一起训练一个堆叠自编码器；所述有监督微调是在无监督预训练获得的堆叠自编码器上增加一层全连接神经网络层并将其作为类别的输出构成，从而得到有标签样本的深层提取特征和类别标签，以及无标签样本的深层提取特征和预测的类别标签输出，具体计算公式如下：其中， 代表第i个有标签样本的深层提取特征， 代表预测的第i个有标签样本的类别标签，{wc，bc}表示全连接神经网络层的权重向量和偏差向量； 代表无标签样本的深层提取特征， 代表预测的类别标签输出；

(3.5)类别数目为F，获得对应于每一类别f∈F的有标签样本和无标签样本的深层提取特征 和 以及无标签样本的权重(3.6)采用下式计算加权特征对齐自编码器分类模型的训练损失函数：其中，crossentropy代表交叉熵损失函数， 代表加权Sinkhorn距离函数，用于度量属于同一类别的有标签数据特征分布和无标签数据特征分布的距离，同时实现了对重构误差较大的异常无标签样本进行降权；α为Sinkhorn距离的权重， 为网络参数的L2正则化惩罚项，β是它的权重，pij代表对应于类别f的有标签样本i的特征 到无标签样本j的特征 的转移概率，dij代表对应于类别f的有标签样本i的特征 到无标签样本j的特征 的距离， 代表对应于类别f的无标签样本j的权重，mf和nf分别代表对应于类别f的有标签样本和无标签样本的数量；

步骤四：采集现场工作数据并输入所述加权特征对齐自编码器分类模型，输出对应的故障类别。

2.根据权利要求1所述的基于加权特征对齐自编码器的半监督故障分类方法，其特征在于，所述步骤二具体分为如下的子步骤：(2.1)构建用于重构的堆叠自编码器模型，包含多层编码器和解码器，模型输出是对输入的重构，计算公式如下：其中，x表示输入，zk代表提取的第k层特征，k表示堆叠自编码器的第k层， 和分别表示编码器和解码器的权重向量和偏差向量，代表模型对输入的重构；

(2.2)采用步骤一构建的有标签样本，采用随机梯度下降算法对所述堆叠自编码器模型进行训练，其模型训练损失函数定义为对输入的重构误差，重构误差由下式表示：其中， 代表第i个有标签输入样本， 代表堆叠自编码器对它的重构；

(2.3)利用训练好的堆叠自编码器模型，计算有标签样本的重构误差 其中，单个样本的重构误差参照如下公式计算：

说明书

基于加权特征对齐自编码器的半监督故障分类方法

技术领域

[0001] 本发明属于工业过程控制领域，特别涉及一种基于加权特征对齐自编码器的半监督故障分类方法。

背景技术

[0002] 现代工业过程正朝着大规模、复杂化的方向发展。如何保证生产过程安全是工业过程控制领域重点关注和需要解决的关键问题之一。故障诊断是保障工业过程安全运行的关键技术，对提高产品质量和生产效率具有重要意义。故障分类属于故障诊断中的一个环节，通过从历史的故障信息中学习，实现故障类型的自动识别与判断，从而帮助生产人员快速地定位、修复故障，避免故障造成进一步的损失。随着现代测量手段的不断发展和进步，工业生产过程积累了大量的数据。数据描述了制造各生产阶段的真实情况，为读懂、分析和优化制造过程提供了宝贵的数据资源，是实现智能制造的智能来源。因此，如何合理地利用制造过程积累的数据信息，建立数据驱动的智能分析模型，以更好的为制造过程的智能决策与质量控制服务，是工业界较为关注的热点问题。数据驱动的故障分类方法利用机器学习、深度学习等智能分析技术，对工业数据深入挖掘、建模和分析，为用户和工业提供数据驱动的故障诊断模式。现有的数据驱动的故障分类方法大部分属于有监督学习的方法，在能获取充足有标签数据时，模型可以获得出色的性能。然而，在某些工业场景下很难获取大量、充足的有标签数据。因此，往往具有大量的无标签数据和少量的有标签数据。为了有效地利用无标签数据以提高模型的分类性能，基于半监督学习的故障分类方法逐渐受到了关注。然而，大部分现有的半监督故障分类方法大都依赖于某些数据假设，例如基于统计学习的半监督学习方法、基于图的半监督学习方法、以及基于协同训练、自训练等其他给无标签数据打标签的方法，这些方法都依赖一个假设，即：有标签样本与无标签样本属于同一分布。然而，这一假设存在其局限性，工业过程采集到的数据经常包含大量噪声和异常点，并且有可能会发生工况的飘移，有标签数据往往是经过过程领域的专家人工筛选、标注过的，而无标签样本则没有经过筛选，因此，无标签数据中很有可能会出现与有标签数据分布不一样的异常数据。当无标签数据与有标签数据分布不一致时，半监督算法会出现性能的下降，甚至低于只使用有标签数据进行训练的有监督算法。因此，亟需提供一种鲁棒的半监督学习方法，使得模型能够在有标签数据以及无标签数据存在分布不一致现象时仍然能够准确实施故障分类。

发明内容

[0003] 本发明的目的在于针对现有技术的不足，提供一种基于加权特征对齐自编码器的半监督故障分类方法，该方法包括如下步骤：

[0004] 一种基于加权特征对齐自编码器的半监督故障分类方法，该方法包括以下步骤：

[0005] 步骤一：收集工业过程的正常工况数据以及各种故障数据，得到建模用的训练数据集：有标签样本集 和无标签样本集 其中，x代表输入样本，y代表样本标签，m表示有标签样本个数，n表示无标签样本个数；

[0006] 步骤二：构建用于重构的堆叠自编码器模型，并利用有标签样本集对堆叠自编码器模型进行训练；

[0007] 步骤三：估计训练数据重构误差的概率密度分布，计算无标签样本的权重，并进一步构建加权特征对齐自编码器分类模型；

[0008] 步骤四：采集现场工作数据并输入所述加权特征对齐自编码器分类模型，输出对应的故障类别。

[0009] 进一步地，所述步骤二具体分为如下的子步骤：

[0010] (2.1)构建用于重构的堆叠自编码器模型，包含多层编码器和解码器，模型输出是对输入的重构，计算公式如下：

[0011]

[0012]

[0013] 其中，x表示输入，zk代表提取的第k层特征，k表示堆叠自编码器的第k层，和 分别表示编码器和解码器的权重向量和偏差向量，代表模型对输入的重构；

[0014] (2.2)采用步骤一构建的有标签样本，采用随机梯度下降算法对所述堆叠自编码器模型进行训练，其模型训练损失函数定义为对输入的重构误差，重构误差由下式表示：

[0015]

[0016] 其中， 代表第i个有标签输入样本， 代表堆叠自编码器对它的重构；

[0017] (2.3)利用训练好的堆叠自编码器模型，计算有标签样本的重构误差其中，单个样本的重构误差参照如下公式计算：

[0018]

[0019] 进一步地，所述步骤三具体分为如下的子步骤：

[0020] (3.1)计算有标签样本的重构误差El服从χ2分布 的分布参数g和h[0021] g·h＝mean(El)                         (5)

[0022] 2g2·h＝variance(El)                      (6)

[0023] (3.2)计算无标签样本的重构误差 单个样本的重构误差计算公式和公式(4)相同；

[0024] (3.3)计算无标签样本的重构误差Eu在分布El下发生的概率 对Pu进行归一化，得到无标签样本的权重

[0025] (3.4)构建加权特征对齐自编码器分类模型，采用有标签样本集、无标签样本集以及对应权重，对所述加权特征对齐自编码器分类模型进行训练。训练过程分为：无监督预训练和有监督微调。在无监督预训练阶段，采用有标签样本和无标签样本一起训练一个堆叠自编码器。无监督预训练方法与步骤(2.1)～(2.3)相同。所述有监督微调是在无监督预训练获得的堆叠自编码器上增加一层全连接神经网络层并将其作为类别的输出构成，从而得到有标签样本的深层提取特征和类别标签，以及无标签样本的深层提取特征和预测的类别标签输出，具体计算公式如下：

[0026]

[0027]

[0028]

[0029]

[0030] 其中， 代表第i个有标签样本的深层提取特征， 代表预测的第i个有标签样本的类别标签，{wc，bc}表示全连接神经网络层的权重向量和偏差向量； 代表无标签样本的深层提取特征， 代表预测的类别标签输出；

[0031] (3.7)假设类别数目为F，获得对应于每一类别f∈F的有标签样本和无标签样本的深层提取特征 和 以及无标签样本的权重

[0032] (3.8)采用下式计算加权特征对齐自编码器分类模型的训练损失函数：

[0033]

[0034]

[0035]

[0036] 其中，crossentropy代表交叉熵损失函数， 代表加权Sinkhorn距离函数，用于度量属于同一类别的有标签数据特征分布和无标签数据特征分布的距离，同时实现了对重构误差较大的异常无标签样本进行降权；α为Sinkhorn距离的权重， 为网络参数的L2正则化惩罚项，β是它的权重，pij代表对应于类别f的有标签样本i的特征 到无标签样本j的特征 的转移概率，dij代表对应于类别f的有标签样本i的特征 到无标签样本j的特征 的距离， 代表对应于类别f的无标签样本j的权重，mf和nf分别代表对应于类别f的有标签样本和无标签样本的数量。

[0037] 本发明的有益效果如下：

[0038] 本发明针对传统半监督分类模型在有标签数据与无标签数据分布不一致时性能下降的问题，提出一种鲁棒的基于加权特征对齐自编码器的半监督故障分类方法。该方法设计了基于加权和特征对齐策略的模型训练损失函数。加权策略的引入提升了半监督分类模型的鲁棒性，减少了样本分布不一致造成的分类模型性能下降问题。而特征对齐策略的引入使得模型在微调阶段同时使用有标签数据和无标签数据，不仅可以实现数据信息的深度挖掘，还可以提高网络模型的泛化能力和分类性能。

附图说明

[0039] 图1为堆叠自编码器示意图；

[0040] 图2为TE过程流程图；

[0041] 图3为数据对数重构误差的示意图；

[0042] 图4不同算法的分类准确率的示意图。

具体实施方式

[0043] 下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0044] 本发明的基于加权特征对齐自编码器的半监督故障分类方法，首先使用有标签数据对堆叠自编码器进行重构预训练，并估计重构误差的概率密度分布。然后，根据训练数据重构误差的概率密度函数，计算无标签样本的权重。进一步，利用有标签样本集、无标签样本集以及对应权重，构建基于加权特征对齐自编码器的半监督分类模型。加权特征对齐自编码器分类模型设计了基于加权Sinkhorn距离的交叉熵训练损失函数，该函数使得模型在微调阶段同时使用有标签数据和无标签数据，不仅可以实现数据信息的深度挖掘，还可以提高网络模型的泛化能力。同时，由于加权策略的引入，模型的鲁棒性显著提升。

[0045] 本发明的方法具体步骤如下：

[0046] 步骤一：收集工业过程的正常工况数据以及各种故障数据，得到建模用的训练数据集：有标签样本集 和无标签样本集 其中，x代表输入样本，y代表样本标签，m表示有标签样本个数，n表示无标签样本个数；

[0047] 步骤二：构建用于重构的堆叠自编码器模型，并利用有标签样本集对堆叠自编码器模型进行训练；具体分为如下的子步骤：

[0048] (2.1)构建用于重构的堆叠自编码器模型，包含多层编码器和解码器，模型输出是对输入的重构，计算公式如下：

[0049]

[0050]

[0051] 其中，x表示输入，zk代表提取的第k层特征，k表示堆叠自编码器的第k层，和 分别表示编码器和解码器的权重向量和偏差向量， 代表模型对输入的重构；

[0052] (2.2)采用步骤一构建的有标签样本集，采用随机梯度下降算法对所述堆叠自编码器模型进行训练，其模型训练损失函数定义为对输入的重构误差，重构误差由下式表示：

[0053]

[0054] 其中， 代表第i个有标签输入样本， 代表堆叠自编码器对它的重构；

[0055] (2.3)利用训练好的堆叠自编码器模型，计算有标签样本的重构误差其中，单个样本的重构误差参照如下公式计算：

[0056]

[0057] 步骤三：估计训练数据重构误差的概率密度分布，计算无标签样本的权重，并进一步构建加权特征对齐自编码器分类模型；

[0058] 所述步骤三具体分为如下的子步骤：

[0059] (3.1)计算有标签样本的重构误差El服从χ2分布 的分布参数g和h[0060] g·h＝mean(El)                         (5)

[0061] 2g2·h＝variance(El)                      (6)

[0062] (3.2)计算无标签样本的重构误差 单个样本的重构误差计算公式和公式(4)相同；

[0063] (3.3)计算无标签样本的重构误差Eu在分布El下发生的概率 对Pu进行归一化，得到无标签样本的权重

[0064] (3.4)构建加权特征对齐自编码器分类模型，采用有标签样本集、无标签样本集以及对应权重，对所述加权特征对齐自编码器分类模型进行训练。训练过程可分为：无监督预训练和有监督微调。

[0065] 在无监督预训练阶段，采用有标签样本和无标签样本一起训练一个堆叠自编码器。无监督预训练方法与步骤(2.1)～(2.3)相同，即先构建一个用于重构的堆叠自编码器模型，然后用有标签样本和无标签样本一起训练该堆叠自编码器；

[0066] 所述有监督微调是在无监督预训练获得的堆叠自编码器上增加一层全连接神经网络层并将其作为类别的输出构成，从而得到有标签样本的深层提取特征和类别标签，以及无标签样本的深层提取特征和预测的类别标签输出，具体计算公式如下：

[0067]

[0068]

[0069]

[0070]

[0071] 其中， 代表第i个有标签样本的深层提取特征， 代表预测的第i个有标签样本的类别标签，{wc，bc}表示全连接神经网络层的权重向量和偏差向量； 代表无标签样本的深层提取特征， 代表预测的类别标签输出；

[0072] (3.7)假设类别数目为F，根据下式获得对应于每一类别f∈F的有标签样本和无标签样本的深层提取特征 和 以及无标签样本的权重

[0073] (3.8)采用下式计算加权特征对齐自编码器分类模型的训练损失函数：

[0074]

[0075]

[0076]

[0077] 其中，crossentropy代表交叉熵损失函数， 代表加权Sinkhorn距离函数，α为Sinkhorn距离的权重， 为网络参数的L2正则化惩罚项，β是它的权重，pij代表对应于类别f的有标签样本i的特征 到无标签样本j的特征 的转移概率，dij代表对应于类别f的有标签样本i的特征 到无标签样本j的特征 的距离， 代表对应于类别f的无标签样本j的权重，mf和nf分别代表对应于类别f的有标签样本和无标签样本的数量。新设计的基于加权Sinkhorn距离的训练损失函数主要目的有两个。一个是在微调阶段对属于同一类别的有标签数据和无标签数据通过堆叠自编码器提取的特征对齐，使它们的分布接近。另一个是通过该带无标签样本权重的加权Sinkhorn特征距离，实现了对重构误差较大的异常无标签样本进行降权。

[0078] 步骤四：采集现场工作数据并输入所述加权特征对齐自编码器分类模型，输出对应的故障类别。

[0079] 下面以一个具体工业过程实例验证本发明的方法的有效性。所有的数据采集于美国田纳西‑伊斯曼(Tennessee Eastman,TE)化工实验仿真平台，该平台作为典型的化工过程研究对象广泛应用于故障诊断与故障分类领域。TE过程的流程图如图2所示，其主要设备包括一个连续搅拌式反应釜，一个气液分离塔，一个离心式压缩机，一个分凝器和一个再沸器。建模过程数据包含16个过程变量和10个故障类别，详细的过程变量和故障信息描述分别见表1和表2。

[0080] 表1

[0081]

[0082]

[0083] 表2

[0084]故障编号 描述 故障类型
1 A/C描述进料流量比变化(流4) 阶跃
5 冷凝器冷却水入口温度变化 阶跃
7 物料C压力损失(流4) 阶跃
10 物料C的温度变化(流4) 随机变量
14 反应器冷却水阀门 粘滞

[0085] 采集到的数据一共包含3600个样本，其来自于6个类别，每个类别各采集600个样本。采集的数据被划分为训练数据(包含300个有标签数据和3000个无标签数据)和测试数据(包含300个有标签数据)。为了模拟无标签数据出现与有标签数据分布不一致的情况，我们按照一定的比例对原始的无标签数据中加入高斯噪声。

[0086] 图3给出了有标签数据，正常的无标签数据以及与有标签数据分布不一致的异常无标签数据在堆叠自编码器重构模型下的对数重构误差。从图3中可以明显看出，有标签数据和正常无标签数据的重构误差比较接近，而异常无标签数据的重构误差明显大于有标签数据和正常无标签数据的重构误差。这是基于加权特征对齐自编码器检测异常分布无标签数据的基础。

[0087] 图4展示了不同有标签无标签数据分布不一致比例下，三种算法的分类准确率。其中，MLP方法为有监督神经网络分类模型，Tri‑traing方法为基于协同训练获得的神经网络分类模型，Weighted FA‑SAE方法为本发明所提出的基于加权特征对齐自编码器分类模型。Tri‑traing和Weighted FA‑SAE属于半监督深度学习网络模型。从图中可以看出，大部分半监督学习算法的分类性能优于有监督算法；另外，随着有标签数据和无标签数据分布不一致比例的逐渐扩大，半监督算法的性能都出现了下降，其中当分布不一致率达到90％时，Tri‑traing方法的分类精度甚至低于有监督的MLP方法。相比之下，本发明所提出的Weighted FA‑SAE方法，在不同程度的分布不一致率下，分类性能优于MLP和Tri‑traing方法。

[0088] 本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。