基于数据融合网络的设备健康指标构建及寿命预测方法转让专利
申请号 : CN202010054127.7
文献号 : CN111258297B
文献日 : 2021-06-04
发明人 : 李珍 , 吴建国
申请人 : 北京大学
摘要 :
本发明公布了一种基于数据融合网络的设备健康指标构建及寿命预测方法，在机器上加装多种用于检测机器工作状态的传感器，再利用收集到的传感器数据信号，构建机器设备健康指数模型；利用构建的机器设备健康指数模型对机器设备的剩余使用寿命进行预测。采用本发明方法，一方面可提供对机器设备退化过程的风险量化信息的具体表征和可视化；另一方面提高了设备健康状况预测的准确度。
权利要求 :
1.一种基于融合网络模型的机器健康指标获取及剩余寿命预测方法，通过在机器上加装多种用于检测机器工作状态的传感器，再利用收集到的传感器数据信号，构建机器设备健康指数模型；利用构建的机器设备健康指数模型对机器设备的剩余使用寿命进行预测；
包括以下步骤：
1)根据机器设备健康指数的特性构建设备健康指数约束项，获取健康指标的训练约束条件，包括单调性、方差和凸性约束项；
其中，单调性约束的惩罚项表示为式(3)：或式(4)：
其中，[x]+＝max(0，x)，λ1是权重参数；当惩罚违反单调性时，惩罚随着差值h(t‑1)‑h(t)线性增加；或使用指数罚最大max(0，exp[h(t‑1)‑h(t)]‑1)或双曲正切罚最大max(0，tanh[h(t‑1)‑h(t)])；
凸性约束惩罚项表示为式(5)：其中λ2为权重调节参数；
2)建立数据融合的神经网络模型，得到设备运作时的健康指标模型；
设定某机器设备在时间t由S个进行工作过程状态监测的传感器收集到的各传感器检测数据为(x1，t，x2，t，…，xS，t)，则该设备的基本健康状况表示为健康指标H(x1，t，x2，t，…，xS，t)，H(·)为融合方程；
采用人工神经网络模型对融合函数H(·)进行建模；利用建立的神经数据融合模型为设备生成健康指标曲线，选择双曲线正切函数tanh(·)作为输入层和隐藏层之间的激活函数；在网络模型最后一个隐藏层和输出层之间，使用Relu函数进行激活；
采用无监督学习方法，损失函数采用共同最大化单调性和凸性并在故障时最小化方差；根据方差定义采用式(1)的损失函数：其中，故障发生时各机器健康状况的均值通过在最后一个隐藏层中调整偏置，将均值 设置为1，通过式(2)进行转换：最小化式(1)等效于最小化式(2)；
并在神经网络的损失函数中引入惩罚项，构建总损失函数；
3)采用自适应矩估计算法Adam最小化损失函数，进行模型参数估计；
将δ(x)表示为：
其中，δ(x)为约束条件中的一阶次梯度；x为约束条件中的自变量；
然后得出样本n的损失函数Ln(H，D，θ)的梯度或一个次梯度，表示为：在迭代过程中，通过反向传播算法计算梯度或次梯度gn；
4)进行贝叶斯线性建模和RUL预测；
包括两个阶段：使用混合效应模型对历史数据进行离线建模，以及针对RUL预测对单个机器进行贝叶斯模型在线更新；
在离线建模状态下，混合效果模型表示为式(8)：yt＝ztβ+εt (8)
2 q
其中，zt＝(1，t，t ，...，t)是(q+1)维的多项式方程的基向量，β是遵循多元正态分布
2 2 2
的维度q+1的回归参数；指定联合分布为σ～IG(a1，a2)，β|σ～N(μ0，σ∑0)，其中IG表示逆伽玛分布；通过最大似然估计方法估计超参数(a1，a2，μ0，∑0)；
在在线阶段对单个模型进行更新以进行RUL预测：限定：假设直到时间t的实时测得的退化数据为y1：t＝(y1，y2，...，yt)，则：其中
μt＝∑tMt，
在给定观测值到当前时间的情况下，未来观测值yt+1：t+L的预测分布遵循多元t分布，表示为式(10)：
其中，MT表示多元t分布，其中三个参数分别代表自由度，均值和形状矩阵；利用预测分布可有效地预测退化路径的演变以及退化信号达到故障阈值的时间；
通过上述过程得到预测模型参数，即得到训练好的设备剩余寿命预测模型；
5)将待预测的传感器收集到的设备工作状况的检测数据(x1，t，x2，t，…，xS，t)输入训练好的设备剩余寿命预测模型，模型输出该设备的健康指标H(x1，t，x2，t，…，xS，t)，即当前机器的健康状态的具体量化表征；
再通过设置机器健康指标阈值，当该健康指标超过设定阈值后，表示该机器失效；
通过上述步骤，即可实现基于融合网络模型的机器健康指标获取及剩余寿命预测，得到机器的失效时间。
2.如权利要求1所述基于融合网络模型的机器健康指标获取及剩余寿命预测方法，其特征是，若施加严格的单调性约束，使用[hn(t‑1)‑hn(t)+c]+，其中c是一个正常数。
3.如权利要求1所述基于融合网络模型的机器健康指标获取及剩余寿命预测方法，其特征是，将式(3)‑(5)中的罚分平均为每个机器的项数，以减少由不同机器寿命差异引起的罚分不平衡。
4.如权利要求3所述基于融合网络模型的机器健康指标获取及剩余寿命预测方法，其特征是，具体采用指数惩罚函数，令dn，t＝hn(t‑1)‑hn(t)，将总损失函数表示为式(6)：式(6)中，L(H，D，θ)表示总损失函数。
说明书 :
基于数据融合网络的设备健康指标构建及寿命预测方法
技术领域
[0001] 本发明涉及生产设备剩余使用寿命的在线预测技术，具体涉及一种通过贝叶斯推断以及形状受限神经数据融合网络技术，对设备的多源传感器信号进行融合，进行健康指
标的构建，从而对发动机剩余寿命进行在线预测的模型方法。
标的构建，从而对发动机剩余寿命进行在线预测的模型方法。
背景技术
[0002] 本质上，在使用机器，工具，设备或系统进行生产时，退化过程往往是不可避免的并且是不可逆的。由于退化而导致的机器意外故障可能会导致严重后果，例如生产过程中
的意外停产，发生安全隐患，经济损失和交货延迟等。因此，监控健康状况并预测剩余使用
寿命至关重要为了防止意外故障并确保系统/过程的可靠性，通常有两种类型的预测方法：
基于物理的方法和基于数据的方法。基于物理的方法需要对设备基本的退化机制有充分的
了解，由于系统复杂性高，且各种生产过程存在异质性，对于各个生产系统均建立物理退化
方法可能不现实。另一方面，数据驱动方法不需要故障过程的知识，因此随着数据获取变得
越来越方便而获得了广泛的普及。对生产设备加装传感器，用以检测生产过程中的机器物
理性能表征方面的过程数据，使用收集到的传感器信号，可以使用各种拟合的退化模型(例
如随机过程模型和通用路径模型)很好地表征退化过程。
的意外停产，发生安全隐患，经济损失和交货延迟等。因此，监控健康状况并预测剩余使用
寿命至关重要为了防止意外故障并确保系统/过程的可靠性，通常有两种类型的预测方法：
基于物理的方法和基于数据的方法。基于物理的方法需要对设备基本的退化机制有充分的
了解，由于系统复杂性高，且各种生产过程存在异质性，对于各个生产系统均建立物理退化
方法可能不现实。另一方面，数据驱动方法不需要故障过程的知识，因此随着数据获取变得
越来越方便而获得了广泛的普及。对生产设备加装传感器，用以检测生产过程中的机器物
理性能表征方面的过程数据，使用收集到的传感器信号，可以使用各种拟合的退化模型(例
如随机过程模型和通用路径模型)很好地表征退化过程。
[0003] 现有的大多数研究都集中在基于单个传感器信号的退化建模上。基本假设是单个传感器足以捕获退化过程。但是，随着机器或工程系统变得越来越复杂，单个传感器可能无
法准确地描述健康状况。随着传感器技术的飞速发展，多传感器信号现已可用于健康状况
监测和剩余寿命预测，具有从各种物理方面捕获有关退化过程的多通道信息的优势。因此，
使用多个传感器来监视生产设备在多方面的过程数据从而推断工作机器的健康状况已经
成为主流方法。
法准确地描述健康状况。随着传感器技术的飞速发展，多传感器信号现已可用于健康状况
监测和剩余寿命预测，具有从各种物理方面捕获有关退化过程的多通道信息的优势。因此，
使用多个传感器来监视生产设备在多方面的过程数据从而推断工作机器的健康状况已经
成为主流方法。
[0004] 尽管多传感器系统已广泛应用于健康状况监测中，但是如何充分利用多传感器信号来更好地捕获健康状况并预测剩余使用寿命(residual useful lifetime，RUL)却是非
常具有挑战性的。通常，每个传感器通常不可能具有相同的捕获退化过程的能力。一些信号
可能相比其他信号与潜在的退化过程具有更强的关系。由于每个信号仅包含部分信息，并
且多传感器信号可能彼此相关，因此，对多传感器进行适当合理的数据融合可以产生更精
确，更可靠的健康状况估计和RUL预测。
常具有挑战性的。通常，每个传感器通常不可能具有相同的捕获退化过程的能力。一些信号
可能相比其他信号与潜在的退化过程具有更强的关系。由于每个信号仅包含部分信息，并
且多传感器信号可能彼此相关，因此，对多传感器进行适当合理的数据融合可以产生更精
确，更可靠的健康状况估计和RUL预测。
发明内容
[0005] 为了克服上述现有技术的不足，本发明提供一种基于神经网络模型的设备健康指标构建及剩余寿命预测的方法，利用一种新的非线性数据融合方法进行设备健康状况估计
和RUL预测，即采用一种用于设备健康指标构建的形状约束神经数据融合网络模型。具体
地，采用基于神经网络的函数结构，并通过同时考虑构造的设备健康指标的单调性和曲率
及其在失效时的方差来制定新的损失函数，用以约束神经网络的训练过程，通过无监督的
学习过程构建出普适的健康指标泳来进行工作机器健康状况的具体量化表征。为了更好的
进行神经网络模型参数估计，提出了一种自适应的自适应矩估计算法(Adam)。在信号收集
阶段，提出贝叶斯在线更新方法获得对观测信号的预测，从而作为模型的输入。通过本发明
方法进行健康指标的系统构建，一方面可以提供对退化过程的风险量化信息的具体表征，
具有可视化性；另一方面，采用贝叶斯在线更新方法使得参数随信号数据量的增加而更接
近真实值，由此也提高了设备健康状况预测的准确度。
和RUL预测，即采用一种用于设备健康指标构建的形状约束神经数据融合网络模型。具体
地，采用基于神经网络的函数结构，并通过同时考虑构造的设备健康指标的单调性和曲率
及其在失效时的方差来制定新的损失函数，用以约束神经网络的训练过程，通过无监督的
学习过程构建出普适的健康指标泳来进行工作机器健康状况的具体量化表征。为了更好的
进行神经网络模型参数估计，提出了一种自适应的自适应矩估计算法(Adam)。在信号收集
阶段，提出贝叶斯在线更新方法获得对观测信号的预测，从而作为模型的输入。通过本发明
方法进行健康指标的系统构建，一方面可以提供对退化过程的风险量化信息的具体表征，
具有可视化性；另一方面，采用贝叶斯在线更新方法使得参数随信号数据量的增加而更接
近真实值，由此也提高了设备健康状况预测的准确度。
[0006] 本发明的技术方案是：
[0007] 基于融合网络模型的机器设备健康指标获取及剩余寿命预测方法，包括：在机器加装多种传感器，用以检测机器的工作状态，如包括发动机的温度、发动机的转速、涡轮的
转速等数据，利用收集到的设备的传感器数据信号进行对设备健康指数的模型构建；利用
构建的设备健康指数模型对机器设备的剩余使用寿命进行预测。本发明具体包含以下几个
步骤：
转速等数据，利用收集到的设备的传感器数据信号进行对设备健康指数的模型构建；利用
构建的设备健康指数模型对机器设备的剩余使用寿命进行预测。本发明具体包含以下几个
步骤：
[0008] 1)根据健康指数的特性构建设备健康指数约束项，获取设备健康指数值；
[0009] 2)建立神经数据融合模型，作为设备剩余使用寿命预测模型；
[0010] 设定某个设备单位在时间t由S个传感器进行工作过程状态监测，收集到的各传感器检测数据为(x1，t，x2，t，…，xS，t)，H()为融合方程，则该设备的基本健康状况可由健康指
标H(x1，t，x2，t，…，xS，t)表征，采用人工神经网络对融合函数H(·)进行建模。建立的神经数
据融合模型为每个单位生成健康指标曲线，选择双曲线正切函数tanh(·)作为输入层和隐
藏层之间的激活函数。在网络模型最后一个隐藏层和输出层之间，使用Relu函数进行激活。
标H(x1，t，x2，t，…，xS，t)表征，采用人工神经网络对融合函数H(·)进行建模。建立的神经数
据融合模型为每个单位生成健康指标曲线，选择双曲线正切函数tanh(·)作为输入层和隐
藏层之间的激活函数。在网络模型最后一个隐藏层和输出层之间，使用Relu函数进行激活。
[0011] 本发明采用无监督学习方法，损失函数即采用共同最大化单调性和凸性并在故障时最小化方差。为了使方差最小，根据方差定义使用以下损失函数：
[0012]
[0013] 其中，故障发生时各机器健康状况的均值 本发明将均值设置为1，即软失效中的失效阈值设置为1，这是由于通过式(2)的转换可以得到二者优化目标等
价，且将阈值设置为1避免了在不同的应用场景中需要人为过滤噪音从而得到失效阈值的
麻烦。
价，且将阈值设置为1避免了在不同的应用场景中需要人为过滤噪音从而得到失效阈值的
麻烦。
[0014]
[0015] 因此，通过在最后一个隐藏层中调整偏置，即可使得 因此最小化式(1)实际上等效于最小化式(2)。
[0016] 为了施加单调性和凸性约束，我们在神经网络的损失函数中引入惩罚项。单调性约束的惩罚项表示为式(3)：
[0017]
[0018] 或等同于
[0019]
[0020] 其中，[x]+＝max(0，x)，而λ1是权重参数。当惩罚违反单调性时，惩罚随着差值h(t‑1)‑h(t)线性增加。或者，可以使用指数罚最大max(0，exp[h(t‑1)‑h(t)]‑1)或双曲正切罚
最大max(0，tanh[h(t‑1)‑h(t)])。若要施加严格的单调性约束，可以使用[hn(t‑1)‑hn(t)+
c]+代替，其中c是一个正常数。
最大max(0，tanh[h(t‑1)‑h(t)])。若要施加严格的单调性约束，可以使用[hn(t‑1)‑hn(t)+
c]+代替，其中c是一个正常数。
[0021] 对于凸性约束，可以以相同的方式提出惩罚项。具体地，如果利用指数惩罚函数，则惩罚项可以表示为式(5)：
[0022]
[0023] 其中λ2为权重调节参数。
[0024] 为了减少由不同机器寿命差异引起的罚分不平衡，本发明将式(3)‑(5)中的罚分平均为每个机器的项数。以采用指数惩罚函数为例，令dn，t＝hn(t‑1)‑hn(t)，则三个关键特
性的总损失函数可以表示为式(6)：
性的总损失函数可以表示为式(6)：
[0025]
[0026] 3)进行自适应矩估计算法(Adam)的模型参数估计；
[0027] 本发明采用带有反向传播算法的随机梯度下降法(SGD)使人工神经网络的损失函数最小化。对于收集到的各个机器的多传感器时序信号数据构成的训练样本，在每次迭代
中，SGD仅使用训练样本的随机子集(小批量)来评估梯度，可以显著降低计算成本。自适应
矩估计算法(Adam)是SGD的扩展，是一种基于低阶矩的自适应估计的，基于一阶梯度的随机
目标函数优化算法。本发明采用了Adam算法以最小化损失函数。
中，SGD仅使用训练样本的随机子集(小批量)来评估梯度，可以显著降低计算成本。自适应
矩估计算法(Adam)是SGD的扩展，是一种基于低阶矩的自适应估计的，基于一阶梯度的随机
目标函数优化算法。本发明采用了Adam算法以最小化损失函数。
[0028] SGD或Adam的关键步骤是在每次迭代时计算梯度。但是，式(6)中的损失函数并非到处都是可微的。要应用Adam，我们设置在那些不可微的点处使用次梯度。将δ(x)表示为
[0029]
[0030] 其中，δ(x)为约束条件中的一阶次梯度；x为约束条件中的自变量；
[0031] 然后可以得出样本n的损失函数Ln(H，D，θ)的梯度或一个次梯度，具体表示为：
[0032]
[0033] 在迭代过程中，可以通过反向传播算法有效地计算梯度或次梯度gn。
[0034] 4)贝叶斯线性建模和RUL预测
[0035] 贝叶斯建模和在线更新方法利用先验分布形式的历史数据和工作机器现场测量的退化信号来预测剩余寿命。包括两个阶段：使用混合效应模型对历史数据进行离线建模，
以及针对RUL预测对单个机器进行贝叶斯模型在线更新。
以及针对RUL预测对单个机器进行贝叶斯模型在线更新。
[0036] 在离线建模状态下，对工作机器观测到的传感器时序信号数据进行多项式建模，可以表示为式(8)：
[0037] yt＝ztβ+εt， (8)
[0038] 其中zt＝(1，t，t2，...，tq)是(q+1)维的多项式方程的基向量，β是遵循多元正态分2
布的维度q+1的回归系数。为了使模型更灵活地捕获噪声方差异质性，还可以假定σ为随机
2 2 2
量。为了便于在线贝叶斯推理，通常指定联合分布，即σ～IG(a1，a2)，β|σ～N(μ0，σ∑0)，其
中IG表示逆伽玛分布。通过最大似然估计方法来估计超参数(a1，a2，μ0，∑0)。
布的维度q+1的回归系数。为了使模型更灵活地捕获噪声方差异质性，还可以假定σ为随机
2 2 2
量。为了便于在线贝叶斯推理，通常指定联合分布，即σ～IG(a1，a2)，β|σ～N(μ0，σ∑0)，其
中IG表示逆伽玛分布。通过最大似然估计方法来估计超参数(a1，a2，μ0，∑0)。
[0039] 在在线阶段，将对单个模型进行更新以进行RUL预测。限定
[0040]
[0041] Z1，t为所有工作机器的多项式方程的基向量矩阵；
[0042] 假设直到时间t的实时测得的退化数据为y1：t＝(y1，y2，...，yt)，那么可以证明在2
收集到1‑时间t的退化数据后，对于观测噪音σ以及回归系数β的后验分布更新为：
收集到1‑时间t的退化数据后，对于观测噪音σ以及回归系数β的后验分布更新为：
[0043]
[0044] 其中
[0045]
[0046] 基于式(9)，我们可以进一步证明在给定观测值到当前时间的情况下，未来观测值yt+1：t+L的预测分布遵循多元t分布：
[0047]
[0048] 其中MT表示多元t分布，其中三个参数2a1+t，Zt+1，t+Lμt和分别代表自由度，均值和形状矩阵。利用得到的预测分布，我们可以有效
地预测退化路径的演变以及退化信号达到故障阈值的时间。
地预测退化路径的演变以及退化信号达到故障阈值的时间。
[0049] 通过上述过程得到预测模型参数，即得到训练好的设备剩余寿命预测模型的输入信号；
[0050] 5)将待预测的传感器收集到的设备工作状况的观测数据(x1，t，x2，t，…，xS，t)输入训练好的设备剩余寿命预测模型，模型输出该设备的健康指标H(x1，t，x2，t，…，xS，t)，即当前
机器的健康状态的具体量化表征。利用工业界中采用的软失效设定的方法，机器的健康状
况一旦达到预定义的阈值，该机器即被视为故障或失效。因此，通过设置机器健康指标阈
值，当该健康指标超过设定阈值后，即可判断该机器失效，从而得到机器的失效时间。
机器的健康状态的具体量化表征。利用工业界中采用的软失效设定的方法，机器的健康状
况一旦达到预定义的阈值，该机器即被视为故障或失效。因此，通过设置机器健康指标阈
值，当该健康指标超过设定阈值后，即可判断该机器失效，从而得到机器的失效时间。
[0051] 与现有技术相比，本发明的有益效果是：
[0052] 本发明提供一种基于贝叶斯推断和神经网络的健康指数构建及剩余寿命在线预测的方法，采用形状约束神经数据融合网络模型构建设备健康指标构。具体采用基于神经
网络的函数结构，并通过同时考虑构造的设备健康指标的单调性和曲率及其在失效时的方
差来制定新的损失函数，提出了一种自适应的自适应矩估计算法(Adam)用于模型参数估
计。在信号收集阶段，提出贝叶斯在线更新方法获得对观测信号的预测，从而作为模型的输
入。本发明一方面提供对退化过程的风险量化信息，具有可视化性；另一方面，采用贝叶斯
方法使得参数随信号数据量的增加而更接近真实值，能够提高设备健康状况预测的准确
度。
网络的函数结构，并通过同时考虑构造的设备健康指标的单调性和曲率及其在失效时的方
差来制定新的损失函数，提出了一种自适应的自适应矩估计算法(Adam)用于模型参数估
计。在信号收集阶段，提出贝叶斯在线更新方法获得对观测信号的预测，从而作为模型的输
入。本发明一方面提供对退化过程的风险量化信息，具有可视化性；另一方面，采用贝叶斯
方法使得参数随信号数据量的增加而更接近真实值，能够提高设备健康状况预测的准确
度。
附图说明
[0053] 图1为本发明提供的模型方法的流程示意图。
[0054] 图2是凸性不同的健康指数在预测性能方面的差别示意图；
[0055] 其中，HI1，HI2为两种不同的健康指标曲线，HI2的凸性大于HI1的凸性。
[0056] 图3是本发明采用的神经网络的结构示意图；
[0057] 其中，(x1，t，x2，t，…，xs，t)代表传感器1，2，…，S在时刻t的观测信号。
[0058] 图4是本发明实施例中基于相关性系数的聚类结果示意图。
[0059] 图5是本发明实施例中筛选信号的变化趋势和拟合效果示意图。
[0060] 图6是本发明实施例中三种不同的函数作为惩罚项随自变量的变化趋势。
[0061] 图7是本发明实施例中调节单调性和凸性的权重后得到的不同的健康指数的不同效果示意图。
[0062] 图8是本发明实施例中使用三种不同的惩罚函数的预测误差示意图。
具体实施方式
[0063] 下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
[0064] 本发明提供一种基于贝叶斯推断和神经网络的设备健康指数构建及剩余寿命在线预测的方法。通过神经网络对收集到的传感器信号进行非线性融合，得到综合性的健康
状况的表征，并基于此健康指数，利用贝叶斯推断的方法，对于机器的剩余使用寿命进行预
测。图1为本发明提供的模型方法的流程示意图。
状况的表征，并基于此健康指数，利用贝叶斯推断的方法，对于机器的剩余使用寿命进行预
测。图1为本发明提供的模型方法的流程示意图。
[0065] 本发明方法主要包括两个阶段，利用收集到的设备的传感器数据信号进行对健康指数的构建；利用构建的健康指数对机器设备的剩余使用寿命进行预测。本发明具体包含
以下几个步骤：
以下几个步骤：
[0066] 1)根据健康指数的特性构建设备健康指数约束项，包括单调性，方差以及凸性，获取设备健康指数值；
[0067] 设备健康指数的关键特性
[0068] 为了提升设备健康评估和RUL预测效果，我们将提出适宜的健康指数应满足的必需性质。具体所需性质的详细信息如下：
[0069] 性质1.健康指数在被监测单位退化开始后应该是单调的。
[0070] 特性2.在相同的环境条件和故障模式下，不同设备在故障时的健康指数变化应该最小。
[0071] 特性3.健康指数在单调递增时应该是凸的，而在单调递减时应该是凹的。
[0072] 2)建立神经数据融合模型，作为设备运作时的健康指标模型；
[0073] 在本发明中，某个设备单位在时间t的基本健康状况由健康指标H(x1，t，x2，t，…，xS，t)表征。由于神经网络具有能够逼近任何非线性函数的能力，因此我们采用人工神经网
络对融合函数H(·)进行对融合函数的建模。与传统的神经网络不同，在传统的神经网络
中，每个实例的输出仅为单个值，所提出的神经数据融合模型为每个单位生成健康指标曲
线或配置文件。图3为神经数据融合模型的说明性示例。选择双曲线正切函数tanh(·)作为
输入层和隐藏层之间的激活函数，这是因为它在克服消失梯度问题方面优于S型函数。在最
后一个隐藏层和输出层之间，不再使用激活函数。
络对融合函数H(·)进行对融合函数的建模。与传统的神经网络不同，在传统的神经网络
中，每个实例的输出仅为单个值，所提出的神经数据融合模型为每个单位生成健康指标曲
线或配置文件。图3为神经数据融合模型的说明性示例。选择双曲线正切函数tanh(·)作为
输入层和隐藏层之间的激活函数，这是因为它在克服消失梯度问题方面优于S型函数。在最
后一个隐藏层和输出层之间，不再使用激活函数。
[0074] 在损失函数公式中，由于无法获得真实的健康指标，因此我们建议采用无监督学习方法，即共同最大化单调性和凸性并在故障时最小化方差。为了使方差最小，我们可以根
据方差的定义使用以下损失函数：
据方差的定义使用以下损失函数：
[0075]
[0076] 其中机器族在故障时的健康状况的均值 在本发明中，我们将均值 设置为1，并选择最小化式(2)，这是由于式(2)可以通过变换后得到：
[0077]
[0078] 因此，通过在最后一个隐藏层中调整或移动偏置参数，即可使得 也就是说，最小化(1)实际上等效于最小化(2)。为了强加单调性和凸性约束，通常引入惩罚项。单调性
约束最常用的惩罚项是
约束最常用的惩罚项是
[0079]
[0080] 或等同于
[0081]
[0082] 其中[x]+＝max(0，x)，，而λ1是调整参数。在该惩罚函数中，当惩罚违反单调性时，惩罚随着差值h(t‑1)‑h(t)线性增加。或者，我们可以使用指数罚最大max(0，exp[h(t‑1)‑h
(t)]‑1)或双曲正切罚最大max(0，tanh[h(t‑1)‑h(t)])。值得注意的一点，要施加严格的单
调性约束，可以使用[hn(t‑1)‑hn(t)+c]+代替，其中c是一个正常数。
(t)]‑1)或双曲正切罚最大max(0，tanh[h(t‑1)‑h(t)])。值得注意的一点，要施加严格的单
调性约束，可以使用[hn(t‑1)‑hn(t)+c]+代替，其中c是一个正常数。
[0083] 对于凸性约束，可以以相同的方式提出惩罚项。具体地，如果利用指数惩罚函数，则惩罚项可以表示为：
[0084]
[0085] 其中λ2为权重调节参数。
[0086] 在实际应用中，总的使用寿命通常在不同的机器之间有很大的不同。为了减少由寿命差异引起的罚分不平衡，本发明将式(3)‑(5)中的罚分平均为每个机器的项数。假设采
用指数惩罚函数。令dn，t＝hn(t‑1)‑hn(t)，那么考虑这三个关键特性的总损失函数可以表示
为：
用指数惩罚函数。令dn，t＝hn(t‑1)‑hn(t)，那么考虑这三个关键特性的总损失函数可以表示
为：
[0087]
[0088] 3)进行自适应矩估计算法(Adam)的模型拟合；
[0089] 带有反向传播算法的随机梯度下降法(SGD)是使人工神经网络的损失函数最小化的一种通用优化方法。对于手机到的各机器的多传感器观测时序数据，在每次迭代中，SGD
仅使用训练样本的随机子集(小批量)来评估梯度，这可以显著降低计算成本。自适应矩估
计算法(Adam)是SGD的扩展，最近已广泛用于深度学习应用程序中的模型训练。它是一种基
于低阶矩的自适应估计的，基于一阶梯度的随机目标函数优化算法。由于与传统SGD方法相
比，它具有许多优势(例如，易于实现，计算效率高，几乎没有内存需求)，因此本发明采用了
Adam算法以最小化损失函数。
仅使用训练样本的随机子集(小批量)来评估梯度，这可以显著降低计算成本。自适应矩估
计算法(Adam)是SGD的扩展，最近已广泛用于深度学习应用程序中的模型训练。它是一种基
于低阶矩的自适应估计的，基于一阶梯度的随机目标函数优化算法。由于与传统SGD方法相
比，它具有许多优势(例如，易于实现，计算效率高，几乎没有内存需求)，因此本发明采用了
Adam算法以最小化损失函数。
[0090] SGD或Adam的关键步骤是在每次迭代时计算梯度。但是，式(6)中的损失函数并非到处都是可微的。要应用Adam，可以在那些不可微的点上使用次梯度。将δ(x)表示为
[0091]
[0092] 然后可以得出样本n的Ln(H，D，θ)的梯度或一个子梯度，表示为：
[0093]
[0094] 在迭代过程中，可以通过反向传播算法有效地计算梯度或次梯度gn。
[0095] 在算法1中提供了用于模型拟合的详细Adam算法，其中 表示元素方平方。本发明‑8
在训练过程中将算法1中的超参数设置为α＝0.001，β1＝0.9，β2＝0.999和∈＝10 。
在训练过程中将算法1中的超参数设置为α＝0.001，β1＝0.9，β2＝0.999和∈＝10 。
[0096]
[0097] 4)贝叶斯线性建模和RUL预测
[0098] 贝叶斯建模和在线更新方法已被广泛用于基于单个退化信号或健康指数的RUL预测。它利用先验分布形式的历史数据和在役机器现场测量的退化信号来预测剩余寿命。因
此，它能够捕获人口退化轨迹和单位异质性。通常有两个阶段：使用混合效应模型对历史数
据进行离线建模，以及针对RUL预测对单个机器进行在线贝叶斯模型更新。
此，它能够捕获人口退化轨迹和单位异质性。通常有两个阶段：使用混合效应模型对历史数
据进行离线建模，以及针对RUL预测对单个机器进行在线贝叶斯模型更新。
[0099] 在离线建模状态下，对工作机器观测到的传感器时序信号数据进行多项式建模，可以表示为式(8)：
[0100] yt＝ztβ+εt， (8)
[0101] 其中zt＝(1，t，t2，...，tq)是(q+1)维的多项式方程的基向量，β是遵循多元正态分2
布的维度q+1的回归系数。为了使模型更灵活地捕获噪声方差异质性，还可以假定σ为随机
2 2 2
量。为了便于在线贝叶斯推理，通常指定联合分布，即σ～IG(a1，a2)，β|σ～N(μ0，σ∑0)，其
中IG表示逆伽玛分布。通过最大似然估计方法来估计超参数(a1，a2，μ0，∑0)。
布的维度q+1的回归系数。为了使模型更灵活地捕获噪声方差异质性，还可以假定σ为随机
2 2 2
量。为了便于在线贝叶斯推理，通常指定联合分布，即σ～IG(a1，a2)，β|σ～N(μ0，σ∑0)，其
中IG表示逆伽玛分布。通过最大似然估计方法来估计超参数(a1，a2，μ0，∑0)。
[0102] 在在线阶段，将对单个模型进行更新以进行RUL预测。限定
[0103]
[0104] Z1，t为所有工作机器的多项式方程的基向量矩阵；
[0105] 假设直到时间t的实时测得的退化数据为y1：t＝(y1，y2，...，yt)，那么可以证明在2
收集到1‑时间t的退化数据后，对于观测噪音σ以及回归系数β的后验分布更新为：
收集到1‑时间t的退化数据后，对于观测噪音σ以及回归系数β的后验分布更新为：
[0106]
[0107] 其中
[0108]
[0109] 基于(9)，我们可以进一步证明在给定观测值到当前时间的情况下，未来观测值yt+1：t+L的预测分布遵循多元t分布：
[0110]
[0111] 其中MT表示多元t分布，其中三个参数分别代表自由度，均值和形状矩阵。利用这种预测分布，我们可以有效地预测退化路径的演变以及退化信号达到故障阈值的时间。
[0112] 以下详细叙述将本发明提供的模型方法应用到发动机剩余寿命预测的实例。我们利用C‑MAPSS数据集做为基准测试集，该数据集已广泛用作预测和健康管理(PHM)领域的基
准问题。C‑MAPSS是由NASA(美国国家航空航天局)开发的仿真工具，用于对大型商用涡扇发
动机进行仿真，如图1所示，该发动机的运行状况由多个嵌入式传感器连续时间监控。
准问题。C‑MAPSS是由NASA(美国国家航空航天局)开发的仿真工具，用于对大型商用涡扇发
动机进行仿真，如图1所示，该发动机的运行状况由多个嵌入式传感器连续时间监控。
[0113] 在C‑MAPSS仿真中，开发了推力级为90，0001b的发动机模型，并针对各种高度(从0到40，000ft)，马赫数(从0到0.90)和节气门旋转变压器的运行进行了仿真。角度(TRA，从20
到100)。用户可以自由调整这三个性质(飞机高度，马赫数和节气门旋转角)，以模拟各种环
境条件。C‑MAPSS具有14个输入变量，以模拟模拟发动机的五个旋转组件的各种退化情况。
输出包括58个不同的变量，形式为传感器响应面和可操作性裕度，其中总共21个变量用于
健康状况监测，如表1所示。
到100)。用户可以自由调整这三个性质(飞机高度，马赫数和节气门旋转角)，以模拟各种环
境条件。C‑MAPSS具有14个输入变量，以模拟模拟发动机的五个旋转组件的各种退化情况。
输出包括58个不同的变量，形式为传感器响应面和可操作性裕度，其中总共21个变量用于
健康状况监测，如表1所示。
[0114] 表1 21个输出信号介绍
[0115]
[0116]
[0117] 为了模拟机器间的异质性，在仿真中将初始退化水平，退化轨迹参数和过程噪声设置为随机。定义了隐藏健康状况阈值，一旦健康状况指标超过故障阈值，就认为该机器发
生故障。测试总共有四个数据集，每个数据集对应于某个故障模式和操作设置。在本发明
中，我们仅在案例研究中考虑第一故障模式和操作设置的数据集。所考虑的数据集由100个
训练机器和100个测试机器组成。在训练数据集中，每个机器的运行直到失败为止，而在测
试数据集中，每个机器的运行在系统故障之前的某个随机时间结束。还包括100个测试机器
的实际剩余寿命文件。从每个机器的每个观测时期收集来自21个输出的传感器数据。具体
的问题表述为，
生故障。测试总共有四个数据集，每个数据集对应于某个故障模式和操作设置。在本发明
中，我们仅在案例研究中考虑第一故障模式和操作设置的数据集。所考虑的数据集由100个
训练机器和100个测试机器组成。在训练数据集中，每个机器的运行直到失败为止，而在测
试数据集中，每个机器的运行在系统故障之前的某个随机时间结束。还包括100个测试机器
的实际剩余寿命文件。从每个机器的每个观测时期收集来自21个输出的传感器数据。具体
的问题表述为，
[0118] N表示历史单位总数，例如训练单位，而T＝(T1，...，TN)表示这N个单位的总生命周期。假设对应的多传感器数据用D＝{Xn，n＝1，...，N}表示，其中Xn是单位为n的大小为Tn×S
的多传感器数据，给出为：
的多传感器数据，给出为：
[0119]
[0120] 是机器n的第s个的传感器时序数据，xn，s，t是机器n的传感器s在时间t，t是传感器总数。在不失一般性的前提下，我们假设所有测量在时间上均等间
隔为间隔1。
隔为间隔1。
[0121] 本发明利用一个非线性数据融合函数H(·)，以将单位i的多传感器信号组合为健康指标hi(t)：
[0122] hi(t)＝H(xi，1，t，xi，2，t，…，xi，S，t). (12)
[0123] 为了保证所得的健康指数具有用于健康状况监视和RUL预测的理想性质，需要为非线性函数学习制定适当的融合函数和损失函数。假设公式化的损失函数为L(H，D，θ)，其
中θ为模型参数，H为选定的融合函数，然后将学习过程公式化为以下优化问题：
中θ为模型参数，H为选定的融合函数，然后将学习过程公式化为以下优化问题：
[0124]
[0125] 在以下部分中，将提供有关非线性函数和适当损失函数的选择的技术细节，包括基于贝叶斯在线更新方案的退化和RUL预测。
[0126] 考虑到一个合适的损失函数，应当能起到约束输出值的作用，我们首先对于训练健康指数所必需的三个特性进行说明。性质1表明，尽管原始传感器数据可能掺杂有非单调
噪声样本，但健康指数应具有更清晰的单调趋势。此特性非常自然，因为在大多数情况下，
机体的损坏程度会累积，在操作和使用过程中退化会不可逆地或单调地增长。另一方面，性
质2确保在相同故障模式下，不同机器之间的故障时刻的健康指标应当保持一致。尽管由于
机器间的异质性，不同机器之间的退化过程可能会显着不同，但是在其失效时间的退化值
应彼此接近。此要求与软失效的假设一致，即一旦退化值达到预定义的阈值，该机器即被视
为故障或失效。因此，必须纳入最小方差性质以确保预后准确性。性质3表示健康指数应越
来越快地增加或减少，或者等效地，退化速率随操作时间而单调递增。这种加速退化的现象
发生在各种各样的工程系统和退化过程中，例如轴承，电池，陀螺仪以及飞机结构和其他机
械零件的裂纹发展过程。考虑到此性质可以丰富退化路径的先验知识，从而提高健康指标
的质量。包含此性质的另一个理由是，当服务机器接近其使用寿命时，它可以进一步提高健
康指数的单调性，从而可以提升预测的准确性。接下来我们通过图2进行退化率的单调性对
预测精度的影响说明，如图2所示，为在时间T失效的同一机器设置了两种健康指数HI1和HI2
的构建方式，其中HI2比HI1具有更凸的趋势，即其导数的单调性或HI2的退化速率比HI1高，
如果在真实故障时间T对于健康指标的预测误差相同，则从图中可以看出使用HI2进行RUL
估计比使用HI1的结果更准确。
噪声样本，但健康指数应具有更清晰的单调趋势。此特性非常自然，因为在大多数情况下，
机体的损坏程度会累积，在操作和使用过程中退化会不可逆地或单调地增长。另一方面，性
质2确保在相同故障模式下，不同机器之间的故障时刻的健康指标应当保持一致。尽管由于
机器间的异质性，不同机器之间的退化过程可能会显着不同，但是在其失效时间的退化值
应彼此接近。此要求与软失效的假设一致，即一旦退化值达到预定义的阈值，该机器即被视
为故障或失效。因此，必须纳入最小方差性质以确保预后准确性。性质3表示健康指数应越
来越快地增加或减少，或者等效地，退化速率随操作时间而单调递增。这种加速退化的现象
发生在各种各样的工程系统和退化过程中，例如轴承，电池，陀螺仪以及飞机结构和其他机
械零件的裂纹发展过程。考虑到此性质可以丰富退化路径的先验知识，从而提高健康指标
的质量。包含此性质的另一个理由是，当服务机器接近其使用寿命时，它可以进一步提高健
康指数的单调性，从而可以提升预测的准确性。接下来我们通过图2进行退化率的单调性对
预测精度的影响说明，如图2所示，为在时间T失效的同一机器设置了两种健康指数HI1和HI2
的构建方式，其中HI2比HI1具有更凸的趋势，即其导数的单调性或HI2的退化速率比HI1高，
如果在真实故障时间T对于健康指标的预测误差相同，则从图中可以看出使用HI2进行RUL
估计比使用HI1的结果更准确。
[0127] 本方法中涉及到的形状约束的神经数据融合网络结构如图3所示，将收集到的传感器信号作为输入，利用上述构建的损失函数进行训练时的约束，输出为隐藏的健康指数。
利用一种改进的Adam算法，用于神经数据融合模型的参数估计。
利用一种改进的Adam算法，用于神经数据融合模型的参数估计。
[0128] 在不失一般性的前提下，我们假设健康指数单调递增，在这种情况下，性质3只是对健康指数的凸形约束。由于假定所有机器都在相同的失效模式和运行条件下失效，因此
本发明构建一种综合健康指数，该指数在退化过程中对所有机器均表现出一致的模式，即
通过同时最大化单调性，凸性以及最小化故障时健康指标的方差来实现。当前用于健康指
数开发的大多数方法都基于线性融合方法，局限性很强，无法适用于真正的生产过程中复
杂的退化机理。因此，本发明考虑了健康指标构建的上述三个关键特性，提出了一种创新的
神经数据融合模型，其中，对于关于三个关键特性的约束项，我们使用了三种类型的函数
exp，tanh，linear进行放缩，具体的函数形式如图4所示。不同于linear中惩罚呈现简单的
线性趋势，对于指数惩罚，惩罚随违反单调性的量呈指数增长，而对于双曲正切惩罚，惩罚
逐渐饱和。直观上，与其他两个函数相比，指数惩罚更有可能消除健康指数中的不单调项。
在实际的案例研究中，我们发现就预测准确性而言，指数惩罚优于其他两个函数。本发明还
基于退化信号提供了贝叶斯建模及在线更新方法用于RUL预测。
本发明构建一种综合健康指数，该指数在退化过程中对所有机器均表现出一致的模式，即
通过同时最大化单调性，凸性以及最小化故障时健康指标的方差来实现。当前用于健康指
数开发的大多数方法都基于线性融合方法，局限性很强，无法适用于真正的生产过程中复
杂的退化机理。因此，本发明考虑了健康指标构建的上述三个关键特性，提出了一种创新的
神经数据融合模型，其中，对于关于三个关键特性的约束项，我们使用了三种类型的函数
exp，tanh，linear进行放缩，具体的函数形式如图4所示。不同于linear中惩罚呈现简单的
线性趋势，对于指数惩罚，惩罚随违反单调性的量呈指数增长，而对于双曲正切惩罚，惩罚
逐渐饱和。直观上，与其他两个函数相比，指数惩罚更有可能消除健康指数中的不单调项。
在实际的案例研究中，我们发现就预测准确性而言，指数惩罚优于其他两个函数。本发明还
基于退化信号提供了贝叶斯建模及在线更新方法用于RUL预测。
[0129] 本发明对基准C‑MAPSS数据集进行数值实验，以评估所提出的数据融合方法的性能。
[0130] 具体实施时，首先进行数据预处理和变量选择。在21个收集到机器工作状态的传感器检测信号数据中，只有14种传感器信号数据的退化轨迹明显增加或减少。其他的信号
在整个生命周期中几乎没有变化。因此，筛选出这14个时变退化信号以供进一步选择。通过
相关分析，我们发现其中一些信号是高度相关的，相关系数ρ高达0.96。为了减少信息冗余
并同时使退化信号多样化以捕获退化过程的各个方面，我们设置了成对相关阈值，例如
0.75，在该阈值之上仅保留一个退化信号。具体来说，我们使用分层聚类算法进行变量选
择，其中将1‑ρ(相关系数)用作距离或相异性度量。图4显示了聚类树状图。总共识别出五个
聚类，其相关阈值设置为0.75。在每个聚类中，我们任意选择一个退化信号。本发明实施例
中，我们选择发动机的核心速度(Nc)，LPC出口总温度(T24)，旁路比率(BPR)，焓(htBleed)
和HPC出口总温度(T30)来作为构建健康指数的输入信号。
在整个生命周期中几乎没有变化。因此，筛选出这14个时变退化信号以供进一步选择。通过
相关分析，我们发现其中一些信号是高度相关的，相关系数ρ高达0.96。为了减少信息冗余
并同时使退化信号多样化以捕获退化过程的各个方面，我们设置了成对相关阈值，例如
0.75，在该阈值之上仅保留一个退化信号。具体来说，我们使用分层聚类算法进行变量选
择，其中将1‑ρ(相关系数)用作距离或相异性度量。图4显示了聚类树状图。总共识别出五个
聚类，其相关阈值设置为0.75。在每个聚类中，我们任意选择一个退化信号。本发明实施例
中，我们选择发动机的核心速度(Nc)，LPC出口总温度(T24)，旁路比率(BPR)，焓(htBleed)
和HPC出口总温度(T30)来作为构建健康指数的输入信号。
[0131] 图5展示了用指数函数的代表性原始测量值和拟合曲线。具体地，显示了一组代表性的所选退化信号，所有这些信号都显示了退化路径的指数增长趋势。我们使用对数转换
2
对数据进行预处理，并应用二次形式的多项式线性模型，即zt＝(1，t，t)来建模退化路径。
为了便于模型训练，将转换后的数据归一化为间隔[0，1]。
2
对数据进行预处理，并应用二次形式的多项式线性模型，即zt＝(1，t，t)来建模退化路径。
为了便于模型训练，将转换后的数据归一化为间隔[0，1]。
[0132] 图6展示了三种不同的损失函数关于自变量的变化趋势。
[0133] 在模型训练过程中，我们需要选择合适的网络结构和惩罚系数λ1和λ2。通常使用K折交叉验证方法来实现此目标。在这里，我们对100个训练机器使用通常采用的5折交叉验
证。由于最终目标是准确估计剩余寿命，因此我们将整个生命周期一半的预测误差用作验
证误差。具体而言，将绝对百分比误差的平均值用作性能指标，其定义为：
证。由于最终目标是准确估计剩余寿命，因此我们将整个生命周期一半的预测误差用作验
证误差。具体而言，将绝对百分比误差的平均值用作性能指标，其定义为：
[0134]
[0135] 其中， 是预测时的预测剩余寿命，Rn是真实的剩余寿命，Tn是从开始到故障时间的总寿命，N是预测的单位总数。在预测中，使用贝叶斯在线更新方法来预测每个选定的退
化信号，并将健康指数超过所设置阈值(如数值1)的时间视为预测的故障时间。在设备寿命
的早期阶段，由于较小的设备退化率和测量噪声，预测的设备退化路径可能会暂时减少，这
可能会在预测未来的退化水平时引起巨大的误差。为了避免这种情况，将多项式中二次项
的系数限制为正数，即后验分布被截断为0。从而可确保得到的传感器数据信号的基本走势
为单调上升，确保了与机器的真实退化过程相一致。
化信号，并将健康指数超过所设置阈值(如数值1)的时间视为预测的故障时间。在设备寿命
的早期阶段，由于较小的设备退化率和测量噪声，预测的设备退化路径可能会暂时减少，这
可能会在预测未来的退化水平时引起巨大的误差。为了避免这种情况，将多项式中二次项
的系数限制为正数，即后验分布被截断为0。从而可确保得到的传感器数据信号的基本走势
为单调上升，确保了与机器的真实退化过程相一致。
[0136] 为了说明形状约束对构造的健康指数的影响，我们使用指数惩罚函数并选择具有不同惩罚系数组合的模型结构。图7展示了单调性和凸性形状约束对构建的健康指数的影
响，：(a)将单调性惩罚权重从λ1＝5增加到λ1＝10；(b)将凸性惩罚权重从λ2＝10增加到λ2＝
15。垂直和水平虚线表示真实的故障时间和故障阈值。曲线上的虚线是预测的健康指数。显
然，增加图7(a)中单调性约束的惩罚权重可以有效降低噪声并获得平滑且单调的健康指
数。另外，如图7(b)所示，增加凸性惩罚权重可以进一步增加退化加速和从初始状态到故障
时间的健康指标范围。值得注意的是，健康指数的范围是评估已构建健康指数质量的非常
重要的特征。它具有信噪比低和提供更准确的剩余寿命预测的优势。有了模型训练中的凸
性约束，我们可以获得不仅具有更精确形状(例如凸性)而且具有较大信号范围的健康指
数，这有利于提升预测精度。
响，：(a)将单调性惩罚权重从λ1＝5增加到λ1＝10；(b)将凸性惩罚权重从λ2＝10增加到λ2＝
15。垂直和水平虚线表示真实的故障时间和故障阈值。曲线上的虚线是预测的健康指数。显
然，增加图7(a)中单调性约束的惩罚权重可以有效降低噪声并获得平滑且单调的健康指
数。另外，如图7(b)所示，增加凸性惩罚权重可以进一步增加退化加速和从初始状态到故障
时间的健康指标范围。值得注意的是，健康指数的范围是评估已构建健康指数质量的非常
重要的特征。它具有信噪比低和提供更准确的剩余寿命预测的优势。有了模型训练中的凸
性约束，我们可以获得不仅具有更精确形状(例如凸性)而且具有较大信号范围的健康指
数，这有利于提升预测精度。
[0137] 图8展示了三个惩罚函数的性能，即exp，tanh和linear。图8显示了使用不同惩罚函数的约束方法在实际RUL的不同级别上的RUL预测的平均绝对百分比误差。X轴标签“ALL”
表示所有100个测试机器，而“T‑N”表示剩余寿命不超过N天的测试机器。我们可以看到，对
于所有三个惩罚函数，随着实际RUL的减少，其预测精度会提高，这是由于在获得了更多的
观察结果用以推断退化路径，以及所需预测的长度(即预测失效所需的周期数)降低了。比
较这三个惩罚函数，指数函数在实际RUL的预测表现都优于其他两个。双曲正切罚函数通常
具有最低的性能。
表示所有100个测试机器，而“T‑N”表示剩余寿命不超过N天的测试机器。我们可以看到，对
于所有三个惩罚函数，随着实际RUL的减少，其预测精度会提高，这是由于在获得了更多的
观察结果用以推断退化路径，以及所需预测的长度(即预测失效所需的周期数)降低了。比
较这三个惩罚函数，指数函数在实际RUL的预测表现都优于其他两个。双曲正切罚函数通常
具有最低的性能。
[0138] 需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是
可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求
书界定的范围为准。
可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求
书界定的范围为准。