一种基于半监督增量高斯混合回归的自适应软测量方法转让专利
申请号 : CN202011614387.1
文献号 : CN112650063B
文献日 : 2022-04-29
发明人 : 宋执环 , 李德阳
申请人 : 浙江大学
摘要 :
权利要求 :
1.一种基于半监督增量高斯混合回归的自适应软测量方法,其特征在于,具体包括以下步骤:
(1)将工业过程中历史工况的有标签数据集 和无标签数据集组成初始训练数据集,其中,l表示标签的标记,i表示有标签数据集的索引,xi表示有标签数据集中第i个样本,yi表示标签,nl表示有标签数据集的样本数目,j表示无标签数据集的索引,u表示无标签的标记,xj表示无标签数据集中第j个样本,nu表示无标签数据集的样本数目;
(2)将步骤(1)收集到的初始训练数据集进行均值为0,方差为1的标准化,得到标准化数据集
(3)采用EM算法以迭代的方式进行半监督高斯混合回归模型参数Θ学习,所述半监督高斯混合回归模型参数Θ包括:半监督高斯混合回归模型中第k个组分的先验概率αk、半监督高斯混合回归模型中第k个组分的均值向量μk、半监督高斯混合回归模型中第k个组分的协方差矩阵∑k、半监督高斯混合回归模型中第k个组分的回归系数ωk、半监督高斯混合回归模型中第k个组分标签的回归系数 测量噪声方差 具体包括如下子步骤:(3.1)使用线性高斯操作,分别获得有标签样本的隐变量后验概率分布 和无标签样本的隐变量后验概率分布
其中,zi为第i个有标签样本的隐变量,zj为第j个无标签样本的隐变量,Rik表示半监督高斯混合回归模型中第k个组分在生成第i个有标签样本的后验概率,Rjk表示半监督高斯混合回归模型中第k个组分在生成第j个无标签样本的后验概率;P表示半监督高斯混合回归模型中第k个组分从0‑1的概率, 表示半监督高斯混合回归模型中第k个组分中有标签样本的均值向量, 表示半监督高斯混合回归模型中第k个组分中有标签样本的协方差矩阵, 表示半监督高斯混合回归模型中第k个组分中无标签的均值向量, 表示半监督高斯混合回归模型中第k个组分中无标签的协方差矩阵, 表示第k个基于均值向量和协方差矩阵的高斯分布;
(3.2)利用步骤(3.1)获得的隐变量后验概率分布 和 来计算相应的对数似然函数,所述对数似然函数 为:
其中,z表示样本的隐变量,XlXuYl针对每个半监督高斯混合回归模型参数最大化对数似然函数其中,β为拉格朗日乘子;
估计半监督高斯混合回归模型参数的更新值:其中, 为回归系数集合, 为有标签样本的隐变量后验概率分布的集合, 为有标签数据集的矩阵, I为取值为1、维度为nl的向量,
(3.3)根据步骤(3.2)估计半监督高斯混合回归模型参数的更新值计算标准化数据集的对数似然函数 重复步骤(3.1)‑(3.2),直至对数似然函数 收敛时,此时的半监督高斯混合回归模型参数为最终半监督高斯混合回归模型参数;
(4)利用最终半监督高斯混合回归模型参数进行质量变量的预测:其中,为给定带预测数据x的期望值,y为质量变量,Rxk表示待预测数据属于半监督高斯混合回归模型每个组分的概率值, 表示待预测数据x属于半监督高斯混合回归模型每个组分的概率均值,(5)收集同比例的新来有标签和无标签混合数据作为训练数据,根据步骤(2)‑(3)的过程训练为半监督增量高斯混合回归模型,将半监督增量高斯混合回归模型参数和训练数据个数存入历史数据库;
(6)将步骤(3)的半监督高斯混合回归模型中的每个组分和步骤(5)的半监督增量高斯混合回归模型中的每个组分,两两计算对称Kullback‑Leibler散度SKLD,判断SKLD值是否超过10,当SKLD值超过10,保持原来的均值向量和协方差不变,更新组分的混合权重;当SKLD值小于10则进行融合;所述SKLD值的计算过程为:其中,φ1半监督高斯混合回归模型中的某一个组分的参数集合,φ2为半监督增量高斯混合回归模型中的对应组分的参数集合,μ1为半监督高斯混合回归模型中的某一个组分的均值向量,μ2为半监督增量高斯混合回归模型中的对应组分的均值向量,∑1为半监督高斯混合回归模型中的某一个组分的协方差矩阵,∑2为半监督增量高斯混合回归模型中的对应组分的协方差矩阵,KLD为相对熵;
(7)随着待测数据的流入,不断重复步骤(5)‑(6),即可实现工业过程的自适应质量预报。
2.根据权利要求1所述基于半监督增量高斯混合回归的自适应软测量方法,其特征在于,步骤(6)的融合过程为:
其中,μ为融合后半监督增量高斯混合回归模型中组分的均值向量,∑为融合后半监督增量高斯混合回归模型中组分的协方差,为融合后半监督增量高斯混合回归模型中组分的混合权重,N表示原始样本数据总数,μj表示初始训练数据半监督高斯混合回归模型中第j个组分的均值向量, 表示初始训练数据样本半监督高斯混合回归模型中第j个组分的混合权重,∑j表示初始训练数据样本半监督高斯混合回归模型中第j个组分的协方差,Mk表示新来样本训练的半监督增量高斯混合回归模型中第k个组分的样本数量,μk和∑k分别是对应半监督增量高斯混合回归模型中第k个组分的均值向量和协方差矩阵。
3.根据权利要求1所述基于半监督增量高斯混合回归的自适应软测量方法,其特征在于,步骤(6)更新组分的混合权重的过程为:当剩余组分属于新来样本时:
当剩余组分属于初始训练数据样本时:
说明书 :
一种基于半监督增量高斯混合回归的自适应软测量方法
技术领域
背景技术
一种以这些变量为输入,关键过程变量为输出的数学模型,实现对关键过程变量的在线估
计,这便是工业过程中常用的软测量建模。
量变量的预测中。然而,软测量建模目前还存在一些问题。在大多数工业过程中,由于过程
环境的改变、平台仪器设备的老化、原材料进料变化以及催化剂活性退化等各种因素,过程
物理化学特性处在不断的变化之中,因而其运行工况经常发生变化,利用代表过程过去状
态和工况信息的建模样本进行建模时,软测量模型与已经发生了状态变化的当前过程无法
匹配,从而不能精确地预测输出变量值。为了正确跟踪过程状态,需要对软测量模型进行及
时自适应更新和校正。同时,数据驱动的软测量建模方法需要大量的工业数据,软测量建模
过程往往都假设采集得到的输入和输出样本是一一对应的。但是在实际的工业生产过程
中,由于受到生产环境与技术手段的限制,在现场存在一些关键产品质量变量无法直接测
量。因此实际采集得到的数据只有少量的有标签数据,而大部分样本是只含有辅助变量的
无标签样本。传统的软测量建模方法往往只能利用这一小部分有标签样本建模,舍弃掉大
量的无标签样本。用少量的有标签样本训练模型时,可能会造成模型参数训练不准确和模
型泛化能力较差的结果,导致预测效果难以保证,同时也会浪费无标签样本中包含的大量
有用信息。
发明内容
合回归模型,使模型不断地从有标签和无标签混合的新样本数据中学习新的知识,并且能
保存以前学习到的知识,在更新半监督增量高斯混合回归模型的时候将统计学上等价的组
分融合为一个组分,保持了模型的紧致性,避免过拟合。假设过程变量与质量变量存在线性
关系,通过期望最大化(EM)算法学习各组分的概率密度函数、回归关系系数和混合系数,利
用贝叶斯信息准则(BIC)进行模型选择,有效解决工业过程中的有标签样本稀少带来的模
型参数学习不准确问题。
xi表示有标签数据集中第i个样本,yi表示标签,nl表示有标签数据集的样本数目,j表示无
标签数据集的索引,u表示无标签的标记,xj表示无标签数据集中第j个样本,nu表示无标签
数据集的样本数目;
半监督高斯混合回归模型中第k个组分的均值向量μk、半监督高斯混合回归模型中第k个组
分的协方差矩阵∑k、半监督高斯混合回归模型中第k个组分的回归系数ωk、半监督高斯混
合回归模型中第k个组分标签的回归系数 测量噪声方差 具体包括如下子步骤:
斯混合回归模型中第k个组分在生成第j个无标签样本的后验概率;P表示半监督高斯混合
回归模型中第k个组分从0‑1的概率, 表示半监督高斯混合回归模型中第k个组分中有标
签样本的均值向量, 表示半监督高斯混合回归模型中第k个组分中有标签样本的协方差
矩阵, 表示半监督高斯混合回归模型中第k个组分中无标签的均值向量, 表示半监督高
斯混合回归模型中第k个组分中无标签的协方差矩阵, 表示第k个基于均值向量和协方
差矩阵的高斯分布;
nl的向量,
的半监督高斯混合回归模型参数为最终半监督高斯混合回归模型参数;
示待预测数据x属于半监督高斯混合回归模型每个组分的概率 均值,
数据个数存入历史数据库;
是否超过10,当SKLD值超过10,保持原来的均值向量和协方差不变,更新组分的混合权重;
当SKLD值小于10则进行融合;所述SKLD值的计算过程为:
分的均值向量,μ2为半监督增量高斯混合回归模型中的对应组分的均值向量,∑1为半监督
高斯混合回归模型中的某一个组分的协方差矩阵,∑2为半监督增量高斯混合回归模型中
的对应组分的协方差矩阵,KLD为相对熵;
组分的混合权重,N表示原始样本数据总数,μj表示初始训练数据半监督高斯混合回归模型
中第j个组分的均值向量, 表示初始训练数据样本半监督高斯混合回归模型中第j个组分
的混合权重,∑j表示初始训练数据样本半监督高斯混合回归模型中第j个组分的协方差,Mk
表示新来样本训练的半监督增量高斯混合回归模型中第k个组分的样本数量,μk和∑k分别
是对应半监督增量高斯混合回归模型中第k个组分的均值向量和协方差矩阵。
归。在半监督增量高斯混合回归中,假设过程变量与质量变量存在线性关系,同时利用有标
签和无标签数据参与模型学习。通过EM算法学习各组分的概率密度函数、回归关系系数和
混合系数,利用贝叶斯信息准则进行模型选择,从而有效解决了有标签数据稀少导致的模
型过拟合、参数学习不准确问题,进而提高模型的预测精度。在增量高斯混合回归模型的基
础上,解决了工业过程中的有标签样本稀少带来的模型参数学习不准确问题。相较于其他
的传统自适应软测量模型,本发明的优势主要体现在缓解了过拟合,降低了预测误差,并提
高了模型更新效率。
附图说明
具体实施方式
xi表示有标签数据集中第i个样本,yi表示标签,nl表示有标签数据集的样本数目,j表示无
标签数据集的索引,u表示无标签的标记,xj表示无标签数据集中第j个样本,nu表示无标签
数据集的样本数目;
数, 代表第k个高斯组分中质量变量y的测量噪声。
督高斯混合回归模型中第k个组分的均值向量μk、半监督高斯混合回归模型中第k个组分的
协方差矩阵∑k、半监督高斯混合回归模型中第k个组分的回归系数ωk、半监督高斯混合回
归模型中第k个组分标签的回归系数 测量噪声方差 具体包括如下子步骤:
斯混合回归模型中第k个组分在生成第j个无标签样本的后验概率;P表示半监督高斯混合
回归模型中第k个组分从0‑1的概率, 表示半监督高斯混合回归模型中第k个组分中有标
签样本的均值向量, 表示半监督高斯混合回归模型中第k个组分中有标签样本的协方差
矩阵, 表示半监督高斯混合回归模型中第k个组分中无标签的均值向量, 表示半监督高
斯混合回归模型中第k个组分中无标签的协方差矩阵, 表示第k个基于均值向量和协方
差矩阵的高斯分布。
nl的向量,
的半监督高斯混合回归模型参数为最终半监督高斯混合回归模型参数;
型每个组分的概率, 代表对应组分的均值;
时使用均方根误差(RMSE)对预测性能进行定量评价,表达式如下所示:
(3)的过程训练为半监督增量高斯混合回归模型,将半监督增量高斯混合回归模型参数和
训练数据个数存入历史数据库;
是否超过10,当SKLD值超过10,保持原来的均值向量和协方差不变,更新组分的混合权重;
当SKLD值小于10则进行融合;所述SKLD值的计算过程为:
分的均值向量,μ2为半监督增量高斯混合回归模型中的对应组分的均值向量,∑1为半监督
高斯混合回归模型中的某一个组分的协方差矩阵,∑2为半监督增量高斯混合回归模型中
的对应组分的协方差矩阵,KLD为相对熵;
组分的混合权重,N表示原始样本数据总数,μj表示初始训练数据半监督高斯混合回归模型
中第j个组分的均值向量, 表示初始训练数据样本半监督高斯混合回归模型中第j个组分
的混合权重,∑j表示初始训练数据样本半监督高斯混合回归模型中第j个组分的协方差,Mk
表示新来样本训练的半监督增量高斯混合回归模型中第k个组分的样本数量,μk和∑k分别
是对应半监督增量高斯混合回归模型中第k个组分的均值向量和协方差矩阵。
新公式:
行建模,以增量的方式更新半监督高斯混合回归模型,实现工业过程的自适应质量预报。简
而言之,更新过程丢弃历史数据,只需要保存历史数据个数和模型参数即可,从而极大减少
了储存空间的占用;另一方面利用历史数据建立的模型参数进行更新,显著地减少了后续
训练的时间;最后,同时利用有标签样本和无标签样本的数据进行参数学习,提高了模型参
数学习的准确度。
工艺中的主要原料,根据工艺流程设计,一段转化炉是进行转化反应的主要场所,其工艺流
程图如图2所示。根据反应机理,反应温度是保证一段转化炉中生产氢的关键因素,为了将
温度稳定在一定的水平,需要对燃烧状态进行实时监测,将炉内顶部的氧含量控制在设定
的范围内是有效的手段之一。在实际工业过程中,使用质谱仪测量氧浓度的成本是非常昂
贵的。所以为了提高一段转化炉的控制质量以及降低测量成本,需要对一段转化炉中氧气
含量建立一个自适应软测量模型。表1总结了13个辅助变量和1个质量变量的详细描述。
U2 燃料尾气流量
U3 E3出口燃料天然气压力
U4 PR出口炉膛烟气压力
U5 T E3出口燃料尾气温度
U6 PH出口燃料天然气温度
U7 PR入口工艺气温度
U8 PR顶部左侧炉膛烟气温度
U9 PR顶部右侧炉膛烟气温度
U10 PR顶部混合炉膛烟气温度
U11 PR出口转换气温度
U12 PR右侧出口转换气温度
U13 PR出口转换气温度
Y 炉内顶部氧气含量
2
为指标,用以衡量所提出的SIGMR和IGMR软测量模型的测量精度。
整体的预测精度RMSE呈现先减少后增大的趋势。产生变化的原因是,当样本更新步长过小
时,用新样本训练的模型难以较好的拟合数据而造成预测精度的降低;当步长达到合适的
数目时,精度也达到最佳;随着样本更新步长的继续增加,会导致模型更新不及时,当工况
转换的时候,模型难以适应新的数据,导致预测精度变差。随着数据集有标签样本比例的减
少,增量高斯混合回归模型的预测效果开始恶化,尤其是当有标签样本比例达到10%时,相
比之下,本发明的性能下降相对缓慢,仍能达到较好的预测效果。因此,可以认为本发明的
方法是在线预测氧含量的有效方法,有助于更好地控制反应温度,从而保证连续稳定产氢。