一种主仪器向从仪器光谱模型传递的光谱检测优化方法

摘要

本发明公开了一种主仪器向从仪器光谱模型传递的光谱检测优化方法。使用主仪器采集样品的光谱数据和预测值输入到该卷积神经网络模型，通过梯度优化算法训练得到卷积神经网络模型的权重参数，优化超参数，多轮训练后获得预训练模型；用从仪器采集样品的光谱数据和预测值输入预训练模型，对预训练模型进行第二次训练以进行调整，更新权重参数，获得权重更新后的模型作为最终模型；将未知预测值的样品光谱数据输入到最终模型，输出预测结果。本发明不需要在不同仪器上同时采集光谱的标准化样品，为不同仪器所采集的光谱数据提供更高的定量预测精度，保留了两个仪器通用特征，并适用于从仪器数据具体特征，提供更好的模型精度和不同仪器间的泛化能力。

权利要求

1.一种主仪器向从仪器光谱模型传递的光谱检测优化方法，其特征在于方法包含如下步骤：

步骤1)：构建一维卷积神经网络模型，使用主仪器采集样品的更多光谱数据及其通过化学方法测得的对应已知预测值输入到该卷积神经网络模型，通过梯度优化算法训练得到卷积神经网络模型的权重参数，并且对卷积神经网络模型的超参数进行优化，经过多轮训练后得到一个最优模型，获得预训练模型；

所述的步骤1)中，具体为：

1.1)卷积神经网络模型主要由1个输入层、若干个卷积层、若干个池化层，1个拉伸层、若干个全连接层和1个输出层依次连接构成，拉伸层是将最后一个池化层的输出结果按序排列连接，输入层为原始的光谱曲线，输出层为定量分析的预测值；

1.2)向卷积神经网络模型输入主仪器所采集的光谱数据及其对应的已知预测值进行训练，模型训练时的目标函数由模型的预测值和真实值之间的均方误差及正则化函数构成，通过若干轮训练获得卷积神经网络模型的权重参数；

1.3)最后采用随机网格搜索方法在预先设定的超参数空间内搜索网络模型的超参数；

步骤2)：使用从仪器采集样品的更少光谱数据及其通过化学方法测得的对应已知预测值输入预训练模型，对预训练模型进行第二次训练以进行调整，将预训练模型的权重参数进行更新，获得权重更新后的模型作为最终模型；

步骤3)：将未知预测值的从仪器样品的光谱数据输入到最终模型，获得最终模型输出的预测值结果，作为从仪器样品的光谱数据对应的预测结果。

2.根据权利要求1所述的一种主仪器向从仪器光谱模型传递的光谱检测优化方法，其特征在于：所述的步骤2)中，对预训练模型再次训练中，模型的超参数保持不变，对模型的权重参数进行更新。

3.根据权利要求1所述的一种主仪器向从仪器光谱模型传递的光谱检测优化方法，其特征在于：所述的主仪器和从仪器为同一功能，具有不同的特性的光谱检测仪器，主仪器为采集获得了更多样品的光谱数据的光谱检测仪器，从仪器为采集获得了更少样品的光谱数据的检测仪器。

4.根据权利要求1所述的一种主仪器向从仪器光谱模型传递的光谱检测优化方法，其特征在于：所述的主仪器是采集了更大量光谱数据的光谱检测仪器，从仪器为采集了更少量数据的光谱检测仪器。

说明书

一种主仪器向从仪器光谱模型传递的光谱检测优化方法

技术领域

[0001] 本发明属于光谱分析领域，具体涉及了一种主仪器向从仪器光谱模型传递的光谱检测优化方法。

背景技术

[0002] 化学计量学的发展促进了振动光谱技术在农产品、药品、石油化工、土壤等行业的质量和安全检测应用。近年来，便携式光谱仪快速发展，现场检测和决策的需求日益增长。由于不同的光谱仪器之间具有未知的伪影噪声，导致已经开发的模型不能在仪器之间通用。长期使用某类型仪器采集的数据，无法为其他仪器的使用提供参考价值。大量的光谱预处理和特征选择方法被开发出来以应对不同仪器的伪影噪声，但是通常需要结合先验知识和人为因素，会引入未知的干扰，并且容易导致过拟合现象。因此，开发有效的定量光谱模型传递方法，实现不同仪器间的模型传递是必要的。

[0003] 作为一种数据驱动的建模方法，卷积神经网络可以从原始光谱中挖掘多层次的线性和非线性特征，提供更好的模型精度和鲁棒性。

[0004] 现有技术存在虽然使用不同地区的土壤光谱数据提高局部的土壤成分含量的预测精度，但是没有解决不同类型仪器之间的模型传递问题。

发明内容

[0005] 为了解决不同仪器之间光谱模型难以通用的问题，本发明提出了一种主仪器向从仪器光谱模型传递的光谱检测优化方法，解决了从仪器在受检测环境、样品光谱数据量、仪器内部的响应函数、伪影和噪声等影响下无法实现准确检测的技术问题，对模型方法精度带来了提升效果。

[0006] 如图2所示，本发明所采用的技术方案是：

[0007] 步骤1)：构建一维卷积神经网络模型，使用主仪器采集样品的更多光谱数据及其通过化学方法测得的对应已知预测值输入到该卷积神经网络模型，通过梯度优化算法训练得到卷积神经网络模型的权重参数，并且对卷积神经网络模型的超参数进行优化，经过多轮训练后得到一个最优模型，获得预训练模型；

[0008] 权重参数是指卷积神经网络模型层与层之间神经元的连接权重，超参数是指决定模型结构和权重数量的参数。

[0009] 预测值为样品的化学机理参数或者指标。

[0010] 步骤2)：使用从仪器采集样品的更少光谱数据通过化学方法测得的对应已知预测值输入预训练模型，对预训练模型进行第二次训练以进行调整，将预训练模型的权重参数进行更新，获得权重更新后的模型作为最终模型；

[0011] 步骤3)：将未知预测值的从仪器样品的光谱数据输入到最终模型，获得最终模型输出的预测值结果，作为从仪器样品的光谱数据对应的预测结果。该模型通过两次训练，保留了两仪器间通用的数据特征，并适用于从仪器的具体特征，从而实现和提高了从仪器光谱数据预测检测的精度。

[0012] 所述的步骤1)中，具体为：

[0013] 1.1)卷积神经网络模型主要由1个输入层、若干个卷积层、若干个池化层，1个拉伸层、若干个全连接层和1个输出层依次连接构成，拉伸层是将最后一个池化层的输出结果按序排列连接，输入层为原始的光谱曲线，输出层为定量分析的预测值；

[0014] 具体实施中，定量分析的预测值通常为目标物质的某种化学指标浓度，如糖酸度含量等。

[0015] 1.2)向卷积神经网络模型输入主仪器所采集的光谱数据及其对应的已知预测值进行训练，模型训练时的目标函数由模型的预测值和真实值之间的均方误差及正则化函数构成，通过若干轮训练获得卷积神经网络模型的权重参数；

[0016] 具体实施中，权重参数包括卷积层之间连接的卷积核参数，以及全连接层之间的连接权重。

[0017] 1.3)最后采用随机网格搜索方法在预先设定的超参数空间内搜索网络模型的超参数。

[0018] 超参数包括卷积层和全连接层的数量，卷积核的数量、大小和步长，全连接神经元的数量，网络训练的学习率、激活函数、批大小、训练轮数等。

[0019] 所述的步骤2)中，对预训练模型再次训练中，模型的超参数保持不变，对模型的权重参数进行更新。更新调整后的最终模型保留了主、从仪器光谱数据的通用特征，同时适用于从仪器的光谱数据，能够获得数据分析检测结果。

[0020] 所述的主仪器和从仪器为同一功能，具有不同的特性的光谱检测仪器，主仪器为采集获得了更多样品的光谱数据的光谱检测仪器，从仪器为采集获得了更少样品的光谱数据的检测仪器。主仪器和从仪器可能是不同的品牌、不同的波谱成像方式(如光栅色散与傅立叶变换成像等)等，可以具备不同的特性。

[0021] 具体实施中，所述的主仪器是采集了更大量光谱数据的光谱检测仪器，为实验室的固定式仪器，从仪器为采集了更少量数据的光谱检测仪器，一般为便携式的仪器。

[0022] 由于受不同仪器的响应函数、样本的检测环境、光照条件、伪影和噪声、光谱数据量、等影响，主仪器和从仪器所实施的光谱采集存在差异，模型的预测结果不同、，存在偏差，导致了检测结果并不准确。本发明解决了上述技术问题。

[0023] 本发明方法是一种数据驱动的模型传递方法，不需要在不同仪器上采集光谱的标准化样品，通过预训练和微调卷积神经网络实现，使用主仪器光谱数据对卷积神经网络的参数进行预训练，使其学习主仪器(源域)光谱数据的一般表示，然后使用从仪器光谱数据对卷积神经网络的参数进行微调，使其适用于从仪器数据的具体特征，从而提供更好的模型精度和不同仪器间的泛化能力。

[0024] 本发明的有益效果是：

[0025] 本发明使用主仪器样本的光谱数据和已知的预测值，预训练卷积神经网络模型，使用少量从仪器样本的光谱数据和已知的预测值对模型进行微调，使模型学习到不同仪器光谱数据的一般表示和从仪器光谱数据的具体特征。

[0026] 本发明不需要在不同仪器下均采集光谱的标准化样品，实现仪器间光谱模型数据的传递，为不同仪器所采集的光谱数据提供更高的定量预测精度，提高了预测精度和泛化能力。

[0027] 本发明适用于卷积神经网络模型在不同仪器的光谱分析中的应用。

附图说明

[0028] 图1为本发明的卷积神经网络模型图；

[0029] 图2为实现模型传递的流程图；

[0030] 图3为卷积神经网络预训练和微调的示意图。

具体实施方式

[0031] 为更好理解本发明，下面结合实施例对本发明做进一步详细说明，但本发明要求保护的范围并不局限于实施例表示的范围。以下进行的实施例，在Python软件上运行。下面结合附图和实施例对本发明做进一步说明。

[0032] 实施例：

[0033] 本实施例应用于近红外光谱的定量分析，预测玉米的蛋白质含量。所选取的数据集为玉米的公开数据集。该数据集包含80个玉米样本，在3台不同的Foss NIR Systems近红外光谱仪器(m5，mp5，mp6)上分别测试光谱。本实施例的目标是实现m5和mp5两台仪器之间的模型传递，以mp5作为主仪器，m5作为从仪器。光谱数据的波段范围是1100到2498nm，光谱分辨率为2nm，共有700个变量。

[0034] 所研究的定量目标是蛋白质含量，所有玉米样本的最大蛋白质含量是9.71％，最小蛋白质含量是7.65％，平均蛋白质含量是8.67％，标准差是0.50％。将80个样本按照Kennard-Stone采样算法按照3:1:1的比例，划分为训练、验证和测试集，随机抽取训练集中的10个，20个，30个样本用于模型传递。

[0035] 如图2所示步骤，上述实施例过程具体如下：

[0036] 1)构建卷积神经网络模型，如图1，该模型包括1个输入层，1个卷积层，1个拉伸层，1个全联接层，和1个输出层。

[0037] 2)将主仪器mp5的训练集光谱数据和已知的预测值，输入到模型中。

[0038] 3)使用随机梯度下降算法训练模型的权重参数，权重参数为模型层与层之间连接的权重，并且优化神经网络模型的超参数，卷积层中的卷积核大小为7，步长为1，全连接层的神经元个数为32，随机失活率为0.15。网络训练中的超参数优化结果为，批大小为16，学习率为0.01，正则化系数为0.001，模型训练轮数为3000轮。

[0039] 4)将该卷积神经网络模型训练好的最优权重参数保存，称为预训练模型，如图3。

[0040] 5)随机抽取从仪器m5的训练集光谱数据和已知的预测值，输入到预训练模型中。

[0041] 6)使用随机梯度下降算法再次训练模型的权重参数，这个过程称为微调，微调过程的批大小为8，训练轮数为400轮，保存最优的微调模型，如图3。

[0042] 7)将从仪器m5的测试集样本光谱数据输入微调后的模型，输出预测的蛋白含量值。

[0043] 8)通过本发明提出的方法实现不同仪器光谱定量模型的传递，选择10个，20个，30个样本用于模型传递时，RMSEP分别为0.126，0.098，0.088。使用传统的分段直接标准化(PDS)结合PLS实现模型传递时，RMSEP分别为0.412，0.442，0.425。使用典型相关分析(CCA)结合PLS模型进行模型传递时，RMSEP分别为0.131，0.148，0.117。

[0044] 通过比较看出，该方法在不同仪器的光谱定量模型传递中效果优于传统的PDS和CCA方法，可以提高光谱定量预测的精度。此外，PDS和CCA方法需要相同样本在不同仪器上测得的光谱数据用于模型传递，而通过预训练和微调卷积神经网络实现，不需要标准化样本，有更加广泛的应用前景。