基于自编码器多样性生成机制的集成学习软测量建模方法转让专利
申请号 : CN202110436544.2
文献号 : CN112989635B
文献日 : 2022-05-06
发明人 : 金怀平 , 王建军
申请人 : 昆明理工大学
摘要 :
权利要求 :
1.一种基于自编码器多样性生成机制的集成学习软测量建模方法，其特征在于，包括以下步骤：
步骤(1)利用集散控制系统或离线检测的方法，收集工业过程数据，并确定关键质量变d
量y和辅助变量x，x＝[x1，x2，...，xd]∈R ，xd代表样本的第d个特征，x为d个辅助变量构成的向量；
步骤(2)基于Z‑Score归一化方法，对数据集进行归一化预处理，得到均值为0，方差为1的数据集，并划分为训练集Dtrn、测试集Dtest和验证集Dval；
步骤(3)构建多样性的自编码器AE，通过对神经网络设置不同层次结构和参数的组合，构建一组多样的深度自编码网络，用于提取原始数据的隐层特征表示；
所述步骤(3)中多样性自编码器生成机制的建立过程为：通过设置隐层节点数、稀疏性参数、稀疏惩罚项以及堆栈的自编码器个数等不同的参数组合，生成多样性的自编码器，以提取原始数据的隐变量；
T d T h
1)对于自编码器AE，假设x＝[x1，x2，...，xd]∈R和h＝[x1，x2，...，xh]∈R分别表示AE的原始输入和隐层，d和h分别为输入和输出的维度； 是输出层的重构输入变量向量；利用编码器，x通过非线性激活函数f转换为隐藏特征h：h＝f(Wx+b) (1)
h×d h
其中，W∈R 和b∈R 分别为输入层和隐含层间权重矩阵和偏置项，然后，输入向量 通过解码器的输出层对隐变量向量h进行重构获得：和 分别为隐藏层和输出层之间的权重矩阵和偏置向量，给定N个训练样本，有样本矩阵X＝{x1，x2，...，xN}，对应的隐层特征矩阵是H∈{h1，h2，...，hN}，输入数据T d
重构矩阵是 对于第i个样本xi＝[x1，x2，...，xd]∈R ，通过反向传递算法优化最小化其重构误差，误差函数如下：
2)堆栈自编码器SAE，采用的是两个AE进行叠加，第一个AE获得的隐层特征将作为第二T h1
个自编码器的输入，第一层自编码器的实现方式同上1)，假设h1＝[x1，x2，...，xh1]∈R 为样本通过第一个自编码器的提取的隐变量，对于第二个自编码器，以h1作为输入向量通过T h2
非线性激活函数f转换为隐藏特征h2＝[x1，x2，...，xh2]∈R ，根据式(1)有：h2＝f(W2f(W1x+b1)+b2) (4)h1×d d
其中，W1∈R 和b1∈R分别为第一个自编码器输入层和隐含层间的权重矩阵和偏置h2×h1 h1
项，W2∈R 和b2∈R 分别为第二个自编码器输入层和隐含层间的权重矩阵和偏置项，然后，输入向量 通过解码器的输出层对隐变量向量h2进行重构获得：和 分别为第二个自编码器的隐藏层和输出层之间的权重矩阵和偏置向量，给定N个训练样本，有样本矩阵X＝{x1，x2，...，xN}，对应第一层的隐层特征矩阵为H1＝{h1，1，h1，2，...，h1，N}，第二层的隐层特征矩阵为H2＝{h2，1，h2，2，...，h2，N}，输入数据的T d
重构矩阵是 对于第i个样本xi＝[x1，x2，...，xd]∈R ，SAE通过反向传递算法优化最小化其重构误差，误差函数如下：根据以上1)、2)两个步骤，将利用多样性条件的自编码器提取原始数据的多组隐变量特征集；
步骤(4)针对工业过程中呈现出的非线性和时变性，选择高斯过程回归GPR模型作为基模型，结合步骤(3)中生成的多样性自编码器构成AE‑GPR子模型；
步骤(5)利用验证集Dval，验证步骤(4)中生成的AE‑GPR子模型的性能，基于新生成AE‑GPR子模型较之在GPR模型上的验证性能不能恶化的假设，设定防止模型恶化阈值，选出一组兼顾模型复杂度和预测精度的基模型；
步骤(6)采用多目标进化优化算法，对步骤(5)中验证集Dval的预测结果进行优化估计，即对第一次集成模型修剪保留下来的基模型进行二次选择，最终获得Sselect个多样性充分、预测精度高的软测量AE‑GPR模型；
步骤(7)引入集成策略将获得的Sselect个AE‑GPR基模型进行融合，并利用测试样本进行测试，最终实现对关键质量变量的离线估计。
2.根据权利要求1所述的基于自编码器多样性生成机制的集成学习软测量建模方法，其特征在于，所述步骤(4)多样性AE‑GPR模型建立过程如下：假设有原始数据集为 经过步骤(3)的多样性自编码器数据预处理，将获得M个隐变量数据集，并由每个数据集训练和构建M个AE‑GPR子模型，Dm表示训练第m个AE‑GPR模型的隐变量数据集，N表示数据集的样本个数，xm，i表示第m个训练集的第i个样本，yi为对应的真实标签值，对于数据集Dm中的每个样本xm，i在高斯过程回归模型中的预测输出 服从高斯分布：式(7)中，E(.)和Var(.)分别表示均值和方差算子；
所述高斯过程回归模型可描述为：
T
式(8)中，km，i＝[C(xi，xm，1)，…，C(xi，xm，N))] ，C是一个由X中每个样本彼此之前作协方差组成的N×N阶对称正定矩阵， 和 分别为第m个AE‑GPR模型的预测均值与方差。
3.根据权利要求2所述的基于自编码器多样性生成机制的集成学习软测量建模方法，其特征在于，所述步骤(5)通过一级模型修剪获得验证预测性能无恶化基模型的实现过程如下：
1)首先，基于新生成的AE‑GPR子模型较之在高斯过程回归模型上的验证性能不能恶化，否则其在测试样本上预测性能也将恶化的假设，设置模型提升率阈值Rimprove＝0；
2)其次，利用原始训练数据集Dtrn训练GPR基模型，验证集Dval进行验证，Dval＝{Xval，yval}，验证集标签矩阵yval对应的预测结果为 验证误差为RMSEval：为第i个验证样本的预测值，yi为真实值；
3)再次，根据所述步骤(3)、(4)构建的多样性AE‑GPR子模型，利用训练集和验证集训练和验证每个模型，获得验证误差
4)根据2)、3)计算模型的性能提升率如下；
5)对于第m个AE‑GPR基模型，根据模型性能提升率，若 则表示模型鲁棒性高，则保留模型，通过一级模型修剪，将获得S个兼顾多样性和稳定性的基模型。
4.根据权利要求3所述的基于自编码器多样性生成机制的集成学习 软测量建模方法，其特征在于，所述步骤(6)基于进化优化算法的二级集成修剪建立过程如下：
1)在一级集成修剪的基础上，采用进化多目标优化算法，据步骤(5)获得的验证集的预测输出 将这N个预测输出作为待优化的决策变量，令目标优化函数f1及优化约束函数如下：式(12)中 为待优化的精度目标函数， 为待优化的决策变量，lb和ub分别为变量y的约束下限和约束上限，精度目标函数定义为基于验证数据的平均预测误差：其中，RMSEs，val为验证样本集在第s个模型上的预测均方根误差；
2)目标函数f2定义为基于验证数据的任意一个模型与任意一个模型相关系数和的平均值，即可将多样性目标函数f2的定义为如下：Sselect为最终选择的基模型数，式(14)中第α个AE‑GPR模型和第β个AE‑GPR模型的相关系数为r(eα，eβ)：
任意两个误差之间的协方差由Cov(*，*)、方差由Var(*)表示，所以目标函数设定为式(14)和(15)，根据目标函数最小化，模型精度和多样性最高，可将优化问题转化为如下：min[f1，f2]＝min[RMSEavg，val，ravg，val] (16)
3)设置的种群数、迭代次数和Pareto解个数范围分别为100‑300、50‑100和5‑20，通过迭代、优化、选择、并解码Pareto最优解集，获得二次修剪的Sselect个AE‑GPR集成基模型。
5.根据权利要求4所述的基于自编码器多样性生成机制的集成学习软测量建模方法，其特征在于，所述步骤(7)采用GPRStacking集成策略将最终获得的Sselect个模型进行融合，最终实现对工业过程中关键质量变量的监测：
1)利用测试集通过步骤(4)构建的多样性AE‑GPR模型得到测试样本的预测输出
2)根据GPRStacking集成的思想，通过步骤(6)选择的Sselect个子模型，获得每个验证样本对应的Sselect个预测值 和Sselect个测试样本的预测值 并将每个验证样本的Sselect预测值组合为一个新向量 作为新的训练样本，每个测试样本的Sselect个预测值 作为新的测试输入 验证样本的真实标签作为新训练样本集的真实标签，以此训练并测试AE‑GPR模型，获得最终的集成预测输出
说明书 :
基于自编码器多样性生成机制的集成学习软测量建模方法
技术领域
背景技术
率、减轻了环境污染压力。然而，受限于缺乏可用的硬传感器、传感器可靠性低、测量延迟
大、以及造价成本和购买成本昂贵等原因，产品质量的在线测量往往是困难的。因此，软测
量技术作为物理分析仪的有效替代品，通过建立主导变量与辅助变量的过程变量之间的数
学模型，可以提供高性能的软测量模型实现对主导变量的预测估计。
据样本的辅助变量和关键质量变量之间存在很强的非线性问题。因此，鉴于自编码深度网
络能够提取原始输入数据非线性特征的隐层特征，自编码器将成为解决上述问题的关键技
术手段。与此同时，广泛存在于流程工业当中的非线性、多时段、多模式、时变性、动态特性
的特点，采用常规的单一建模方法会导致模型预测性能不佳，而构建符合多样性条件的子
模型并引入合适的集成策略成为了有效可行的方案。本方法通过构建满足多样性条件的自
编码器，获取原始数据的隐层特征，并构建一组基模型，最终采用集成策略进行模型融合，
以降低问题的复杂度，提高模型鲁棒性、可解释性和预测精度。
化，为了规避这些问题，本发明通过预先设定验证阈值和引入一种自适应、随机、全局搜索
的启发式算法如进化多目标优化算法，为选择出一组满足多样性准则和预测精度高的基模
型提供了充足的技术支持。
发明内容
题，提出了一种基于自编码器多样性生成机制的集成学习软测量建模方法。该方法能充分
利用原始样本的有益信息，建立集成软测量模型，有效改善上述问题，实现工业过程中关键
质量变量的在线估计。
量变量y和辅助变量x，x＝[x1,x2,...,xd]∈R ,xd代表样本的第d个变量，x为d个辅助变量构
成的向量；
征；
子模型；
一组兼顾模型复杂度和预测精度的基模型；
测精度高的AE‑GPR基模型；
T d T h
x2，...，xd]∈R 和h＝[x1,x2,...,xh]∈R分别表示AE的原始输入和隐层，d和h分别为输入
和输出的维度； 是输出层的重构输入变量向量；利用编码器，x
通过非线性激活函数f转换为隐藏特征h：
T d
数据重构矩阵是 对于第i个样本xi＝[x1,x2,...,xd]∈R ，通过反向传递
算法优化最小化其重构误差，误差函数如下：
T h1
层自编码器的实现方式同上1)。假设h1＝[x1,x2,...,xh1]∈R 为样本通过第一个自编码器
的提取的隐变量，对于第二个自编码器，以h1作为输入向量通过非线性激活函数f转换为隐
T h2
藏特征h2＝[x1,x2,...,xh2]∈R ，根据式(1)有：
偏置项，W2∈R 和b2∈R 分别为第二个自编码器输入层和隐含层间的权重矩阵和偏置
项。然后，输入向量 通过解码器的输出层对隐变量向量h2进行重构获得：
矩阵为H1＝{h1,1,h1,2,...,h1,N}，第二层的隐层特征矩阵为H2＝{h2,1,h2,2,...,h2,N}，输入数
T d
据的重构矩阵是 对于第i个样本xi＝[x1,x2,...,xd] ∈R ，SAE通过反向
传递算法优化最小化其重构误差，误差函数如下：
Dm表示训练第m个AE‑GPR模型的隐变量数据集，N表示数据集的样本
个数，xm,i表示第m个训练集的第i个样本，yi为对应的真实标签值，对于数据集Dm中的每个样
本xm,i在高斯过程回归模型中的预测输出 服从高斯分布：
模型。
令 目标优化函数f1及优化约束函数如下：
示即隐变量以及数据采样过程造成的非线性问题，引入自编码器多样性生成机制提取隐变
量，结合传统的建模方法作为基模型，并设置模型提升率阈值和引入进化优化算法对基模
型组进行双重集成修剪，既有效保证了基模型的预测性能和多样性也降级了集成模型复杂
度。最终构建的高性能集成模型为过程检测提供了有效地途径。
附图说明
具体实施方式
量变量y和辅助变量x，x＝[x1，x2，…，xd]∈R ,xd代表样本的第d个特征，x的维度为d维。
T d T h
x2，...，xd]∈R 和h＝[x1,x2,...,xh]∈R分别表示AE的原始输入和隐层，d和h分别为输入
和输出的维度； 是输出层的重构输入变量向量；利用编码器，x
通过非线性激活函数f转换为隐藏特征h：
T d
数据重构矩阵是 对于第i个样本xi＝[x1,x2,...,xd]∈R ，通过反向传递
算法优化最小化其重构误差，误差函数如下：
T h1
一层自编码器的实现方式同上1)。假设h1＝[x1,x2,...,xh1]∈R 为样本通过第一个自编码
器的提取的隐变量，对于第二个自编码器，以h1作为输入向量通过非线性激活函数f转换为
T h2
隐藏特征h2＝[x1,x2,...,xh2]∈R ，根据式(1)有：
偏置项，W2∈R 和b2∈R 分别为第二个自编码器输入层和隐含层间的权重矩阵和偏置
项。然后，输入向量 通过解码器的输出层对隐变量向量h2进行重构获得：
矩阵为H1＝{h1,1,h1,2,...,h1,N}，第二层的隐层特征矩阵为H2＝{h2,1,h2,2,...,h2,N}，输入数
T d
据的重构矩阵是 对于第i个样本xi＝[x1,x2,...,xd]∈R ，SAE通过反向
传递算法优化最小化其重构误差，误差函数如下：
Dm表示训练第m个AE‑GPR模型的隐变量数据集，N表示数据集的
样本个数，xm,i表示第m个训练集的第i个样本，yi为对应的真实标签值，对于数据集Dm中的每
个样本xm,i在高斯过程回归模型中的预测输出 服从高斯分布：
策变量，令 目标优化函数f1及优化约束函数如下：
好，通过迭代、优化、选择、并解码Pareto解集，获得二次修剪的Sselect个AE‑GPR集成基模型。
练样本，测试样本的预测值向量 作为新的测试输入，原始的验证样本真实标签作
为新的训练样本的标签，训练传统的AE‑GPR模型，最终获得测试样本的预测结果并反归一
化，即为最终的集成预测输出
和丁烷。该过程主要由六个装置组成：塔顶冷凝器，热交换器，塔顶回流泵，底部再沸器，回
流蓄能器和液化石油气分离器的进料泵。为了进行工艺控制和产品质量监控，必须将底部
产品中丁烷的含量降至最低，因此有必要及时测量丁烷的含量。
的延迟变量加入训练集中，最终构造出总计49个输入变量的训练样本。本发明案例样本总
数为2094个，数据划分阶段，从第一个样本开始每隔2个样本选取，总计1194个样本作为训
练集；从第二个样本开始，每隔4个样本选取，总计597个样本作为验证集；从第四个样本开
始，每隔4个样本选取，总计597个样本作为测试集。
实值、测试样本真实值的均值，RMSE值越小且R值越大，说明模型预测性能越好。
隐层特征信息，还解决了关键质量变量和辅助变量间的非线性特性，结合双重集成修剪策
略，有效地降低了模型集成复杂度，同时兼顾了模型的多样性和预测精度，本发明充分体现
出了自身的优势。
为了解决工业过程数据中存在的非线性、过程动态特性及常规的单一模型预测性能不佳的
问题，而非针对某一个数值案例，更不是对本发明进行限制，在本发明的精神和权利要求保
护范围内，未对本发明做出的任何修改或改进，都将受到本发明的保护范围限制。