基于深度语义字典零次学习的高光谱湿地图像分类方法

摘要

本发明公开了基于深度语义字典零次学习的高光谱湿地图像分类方法，涉及图像分类领域，包括以下步骤：收集高光谱遥感图像，使用鲁棒非负张量分解模型获得降维后的张量特征；使用降维后的张量特征进行对抗训练，得到扩充的图像张量特征和语义特征；构建深度语义字典学习模型，将扩充的图像张量特征和语义特征映射到同一特征空间得到语义特征字典；优化其目标函数，获得语义字典张量和语义嵌入张量，计算未知高光谱遥感图像的语义张量表示；确定未知高光谱遥感图像的类别，本方法解决了高光谱数据在标签信息缺失情况下无监督分类性能差的(56)对比文件Behnood Rasti 等.Image Processing andMachine Learning for HyperspectralUnmixing: An Overview and the HySUPPPython Package《.JOURNAL OF LATE X CLASSFILES》.2023,第14卷(第8期),1-29.DAT TRAN-ANH 等.Integrative Few-ShotClassification and Segmentation forLandslide Detection《.IEEE Access》.2022,第10卷120200-120212.

权利要求

1.基于深度语义字典零次学习的高光谱湿地图像分类方法，其特征在于，包括以下步骤：S1、收集高光谱遥感图像，使用鲁棒非负张量分解模型将高光谱遥感图像转换为张量表示并降维，得到降维后的张量特征；

S2、构建特征生成模型，使用降维后的张量特征对特征生成模型进行对抗训练，得到扩充的图像张量特征和语义特征；

S3、构建深度语义字典学习模型，使用深度语义字典学习模型将扩充的图像张量特征和语义特征映射到同一特征空间进行特征的融合，生成融合语义与光谱信息的特征作为语义特征字典；

S4、构建并优化语义特征字典的目标函数，获得语义字典张量和语义嵌入张量，通过语义字典张量和语义嵌入张量计算未知高光谱遥感图像的语义张量表示；

S5、通过语义张量表示确定未知高光谱遥感图像的类别，完成分类。

2.根据权利要求1所述的基于深度语义字典零次学习的高光谱湿地图像分类方法，其特征在于，所述步骤S1中，鲁棒非负张量分解模型的表达式为：其中，min 表示最小化优化方向，rank(.)表示低秩约束，L为低秩张量，S为稀疏张量，N为非结构噪声， 和 均为权重参数， 表示1范数约束， 表示F范数约束，X为多高光谱图像的张量表示， 为系数矩阵分量， 为核张量，R表示矩阵分量的数量，Ii为输入张量x的i模维度， 表示核张量维度，、 和 均表示张量与矩阵分量之间作乘，下标1、2、3分别表示不同的矩阵分量。

3.根据权利要求2所述的基于深度语义字典零次学习的高光谱湿地图像分类方法，其特征在于，所述步骤S1中，对多高光谱图像的张量表示进行降维的公式为：其中， 为降维后的张量特征， 为投影矩阵，p为降维后的维度。

4.根据权利要求1所述的基于深度语义字典零次学习的高光谱湿地图像分类方法，其特征在于，所述步骤S2包括以下分步骤：S21、构建特征生成模型，整理未标记类的高光谱遥感图像，并根据未标记类的高光谱遥感图像生成描述场景的语义特征；

S22、将描述场景的语义特征作为条件输入到特征生成模型中，并使用降维后的张量特征进行对抗训练，得到扩充的图像张量特征和语义特征。

5.根据权利要求4所述的基于深度语义字典零次学习的高光谱湿地图像分类方法，其特征在于，所述步骤S21中所述的特征生成模型基于胶囊网络理论构建，其包括一个真假鉴别器、一个源判别器和若干生成器；所述特征生成模型使用动态路由协议令数据信息以张量形式在特征生成模型中的神经元之间传递，其表达式为：其中， 为预测张量， 为深层网络中前一层的输入张量， 为仿射变换矩阵， 为深层网络中后一层的输入张量，为耦合系数。

6.根据权利要求4所述的基于深度语义字典零次学习的高光谱湿地图像分类方法，其特征在于，所述特征生成模型的目标函数为：其中，LG为特征生成模型的损失函数， 表示对真实样本真假判断的期望运算，表示生成样本真假判断的期望运算， 表示对生成样本来源自哪个生成器判断的期望运算，K为生成器数量， 表示源判别器判断样本X来自生成器Gk的概率，表示鉴别器对样本 X 真假判断的概率，为超参数。

7.根据权利要求6所述的基于深度语义字典零次学习的高光谱湿地图像分类方法，其特征在于，所述步骤S4中语义特征字典的目标函数的表达式为：其中，LC为语义特征字典的损失函数，A为张量表示系数，为平衡参数，T为语义字典张量，F为语义嵌入张量。

8.根据权利要求7所述的基于深度语义字典零次学习的高光谱湿地图像分类方法，其特征在于，所述步骤S4中计算未知高光谱遥感图像的语义张量的公式为：其中，au为未知高光谱遥感图像的语义张量表示， 为未知高光谱遥感图像的张量特征， 为预设参数。

说明书

基于深度语义字典零次学习的高光谱湿地图像分类方法

技术领域

[0001] 本发明涉及图像分类领域，特别是涉及基于深度语义字典零次学习的高光谱湿地图像分类方法。

背景技术

[0002] 高光谱遥感图像（HSI）是由高光谱成像光谱仪获取包含地物特征信息的几十数百个连续的光谱波段堆叠而成，覆盖了从可见光谱、近红外、中红外到远红外的光谱范围。高光谱图像分类技术是指根据高光谱图像数据中不同地物具有不同的光谱信息，对其中每个像元所代表的地物进行类别属性的确定和标注。HSI不仅包含丰富的光谱信息，而且具有良好的空间特性，呈现图谱合一的特征，对分离/鉴别不同的地物目标提供了良好的数据基础。因此，过去几十年中HSI已经被广泛地应用于农业管理、环境监测、地质勘探、军事侦察等领域，且在大多数这些应用中，HSI分类发挥了重要作用。近年来，随着一系列对地观测卫星如高分一号、二号、六号、七号等的发射成功，为我国的科研与应用提供了大量有价值的遥感数据，其中包括海洋、农业、林业、湿地、草原、城市等高光谱遥感图像，为高光谱图像分类技术的研究与应用提供了良好契机。

[0003] 鉴于湿地环境复杂，其相应的遥感图像数据标记样本难度较大，经常会出现样本获取不足、类标记不全等问题，从而导致基于遥感图像的湿地植被分类精度不高，难以推广到实际应用中。虽然主动学习、对抗生成网络等方法能够通过样本扩充解决小样本问题，但是对于未标记类的样本分类也是无能为力。与此同时，高光谱图像也存在维度高、信息冗余大、噪声干扰多等问题，相关完善的高光谱图像特征分类技术仍然缺乏，致使采集到的数据信息得不到充分挖掘，这也成为制约高光谱遥感技术推广应用的瓶颈。随着高光谱图像特征分类技术应用的日益广泛，如何快速、准确地获取低维度、少噪声、高判别性的特征及实现无/少标签数据分类，是高光谱遥感技术亟需解决的核心问题。

发明内容

[0004] 针对现有技术中的上述不足，本发明提供的基于深度语义字典零次学习的高光谱湿地图像分类方法解决了高光谱数据在标签信息完全/部分缺失情况下监督分类技术不可用、无监督分类性能差的问题。

[0005] 为了达到上述发明目的，本发明采用的技术方案为：基于深度语义字典零次学习的高光谱湿地图像分类方法，包括以下步骤：

[0006] S1、收集高光谱遥感图像，使用鲁棒非负张量分解模型将高光谱遥感图像转换为张量表示并降维，得到降维后的张量特征；

[0007] S2、构建特征生成模型，使用降维后的张量特征对特征生成模型进行对抗训练，得到扩充的图像张量特征和语义特征；

[0008] S3、构建深度语义字典学习模型，使用深度语义字典学习模型将扩充的图像张量特征和语义特征映射到同一特征空间进行特征的融合，生成融合语义与光谱信息的特征作为语义特征字典；

[0009] S4、构建并优化语义特征字典的目标函数，获得语义字典张量和语义嵌入张量，通过语义字典张量和语义嵌入张量计算未知高光谱遥感图像的语义张量表示；

[0010] S5、通过语义张量表示确定未知高光谱遥感图像的类别，完成分类。

[0011] 进一步地：所述步骤S1中，鲁棒非负张量分解模型的表达式为：

[0012]

[0013] 其中，min 表示最小化优化方向，rank(.)表示低秩约束，L为低秩张量，S为稀疏张量，N为非结构噪声， 和 均为权重参数， 表示1范数约束， 表示F范数约束，X为多高光谱图像的张量表示， 为系数矩阵分量， 为核张量，R表示矩阵分量的数量，Ii为输入张量x的i模维度， 表示核张量维度，、 和 均表示张量与矩阵分量之间作乘，下标1、2、3分别表示不同的矩阵分量。

[0014] 进一步地：所述步骤S1中，对多高光谱图像的张量表示进行降维的公式为：

[0015]

[0016] 其中， 为降维后的张量特征， 为投影矩阵，p为降维后的维度。

[0017] 进一步地：所述步骤S2包括以下分步骤：

[0018] S21、构建特征生成模型，整理未标记类的高光谱遥感图像，并根据未标记类的高光谱遥感图像生成描述场景的语义特征；

[0019] S22、将描述场景的语义特征作为条件输入到特征生成模型中，并使用降维后的张量特征进行对抗训练，得到扩充的图像张量特征和语义特征。

[0020] 进一步地：所述步骤S21中所述的特征生成模型基于胶囊网络理论构建，其包括一个真假鉴别器、一个源判别器和若干生成器；所述特征生成模型使用动态路由协议令数据信息以张量形式在深层网络中的神经元之间传递，其表达式为：

[0021]

[0022] 其中， 为预测张量， 为深层网络中前一层的输入张量， 为仿射变换矩阵，为深层网络中后一层的输入张量，为耦合系数。

[0023] 进一步地：所述特征生成模型的目标函数为：

[0024]

[0025] 其中，LG为特征生成模型的损失函数， 表示对真实样本真假判断的期望运算， 表示生成样本真假判断的期望运算， 表示对生成样本来源自哪个生成器判断的期望运算，K为生成器数量， 表示源判别器判断样本X来自生成器Gk的概率，表示鉴别器对样本X真假判断的概率，为超参数。

[0026] 进一步地：所述步骤S4中语义特征字典的目标函数的表达式为：

[0027]

[0028] 其中，LC为语义特征字典的损失函数，A为张量表示系数，为平衡参数，T为语义字典张量，F为语义嵌入张量。

[0029] 进一步地：所述步骤S4中计算未知高光谱遥感图像的语义张量的公式为：

[0030]

[0031] 其中，au为未知高光谱遥感图像的语义张量表示， 为未知高光谱遥感图像的张量特征， 为预设参数。

[0032] 本发明的有益效果为：本发明将以跨模态数据的联合特征学习为核心，针对湿地生态系统存在环境复杂、噪声干扰多、现场探测难度大、样本获取不足、种类标记不全等问题，从样本类别缺失以及小样本角度出发，提出基于零次学习的深度语义字典学习分类方法，在提取低维度、少噪声、高判别性的特征的同时，尝试构建一条涵盖语义特征和视觉特征空间的平滑路径，来覆盖无标记的数据，以获取不同数据、不同语义的跨模态联合表示，结合无标签样本的语义信息，实现无/少标签数据有效分类，解决了高光谱数据在标签信息完全/部分缺失情况下监督分类技术不可用、无监督分类性能差的问题。

附图说明

[0033] 图1为基于深度语义字典零次学习的高光谱湿地图像分类方法流程图。

具体实施方式

[0034] 下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

[0035] 如图1所示，在本发明的一个实施例中，提供基于深度语义字典零次学习的高光谱湿地图像分类方法，包括以下步骤：

[0036] S1、收集高光谱遥感图像，使用鲁棒非负张量分解模型将高光谱遥感图像转换为张量表示并降维，得到降维后的张量特征；

[0037] S2、构建特征生成模型，使用降维后的张量特征对特征生成模型进行对抗训练，得到扩充的图像张量特征和语义特征；

[0038] S3、构建深度语义字典学习模型，使用深度语义字典学习模型将扩充的图像张量特征和语义特征映射到同一特征空间进行特征的融合，生成融合语义与光谱信息的特征作为语义特征字典；

[0039] S4、构建并优化语义特征字典的目标函数，获得语义字典张量和语义嵌入张量，通过语义字典张量和语义嵌入张量计算未知高光谱遥感图像的语义张量表示；

[0040] S5、通过语义张量表示确定未知高光谱遥感图像的类别，完成分类。

[0041] 在本实施例中，步骤S1中收集的高光谱遥感图像包括有类别标签的图像数据和缺失类别标签的图像数据；

[0042] 在本实施例中，所述步骤S1中，鲁棒非负张量分解模型的表达式为：

[0043]

[0044] 其中，min 表示最小化优化方向，rank(.)表示低秩约束，L为低秩张量，S为稀疏张量，N为非结构噪声， 和 均为权重参数， 表示1范数约束， 表示F范数（Frobenius范数）约束，X为多高光谱图像的张量表示， 为系数矩阵分量，是不同维度上的因子矩阵，这些矩阵通常被认为是不同维度上的主成分， 为核张量，它的元素代表不同因子矩阵之间相互作用的水平，通过张量低秩近似重构，实现张量数据噪声抑制；R表示矩阵分量的数量，Ii为输入张量x的i模维度， 表示核张量维度，、 和 均表示张量与矩阵分量之间作乘，下标1、2、3分别表示不同的矩阵分量。

[0045] 用张量表示复杂高维数据时不需要改变数据的初始形式，不会破坏数据的内在空间结构，可以最大程度保持数据的内在信息。高光谱遥感图像具有丰富的光谱和空间结构信息，利用张量结构能有效地保留光谱连续性和空间相关性信息，同时挖掘数据的内部联系；

[0046] 考虑到张量秩最小化是一个非凸优化问题，通过松弛策略将模型转化为凸优化问题后，再采用增广Lagrange乘子法或者其它优化理论求解，基于此，为消除高光谱遥感图像数据中噪声和信息冗余对检测性能的影响，并充分利用数据在深层结构下的辨别性，结合非负张量Tucker分解，通过张量分别将高光谱湿地图像中的噪声剔除，得到干净的高光谱湿地图像数据。

[0047] 在本实施例中，所述步骤S1中，对多高光谱图像的张量表示进行降维的公式为：

[0048]

[0049] 其中， 为降维后的张量特征， 为投影矩阵，p为降维后的维度，该参数根据数据集自定义。

[0050] 在本实施例中，所述步骤S2包括以下分步骤：

[0051] S21、构建特征生成模型，整理未标记类的高光谱遥感图像，并根据未标记类的高光谱遥感图像生成描述场景的语义特征；

[0052] 所述描述场景的语义特征如：干燥/湿润的草地，干净/污染的水，植被颜色/形状规则；

[0053] S22、将描述场景的语义特征作为条件输入到特征生成模型中，并使用降维后的张量特征进行对抗训练，得到扩充的图像张量特征和语义特征。

[0054] 在本实施例中，所述步骤S21中所述的特征生成模型基于胶囊网络理论构建，其包括一个真假鉴别器、一个源判别器和若干生成器；胶囊网络能够处理张量形式的数据，能够充分利用分解获取的低秩张量特征，并使用动态路由协议令数据信息以张量形式在深层网络中的神经元之间传递，使得网络具备强大的拟合能力和表达能力，从而解决多模态联合表示学习下特征动态对齐的问题；

[0055] 所述特征生成模型使用动态路由协议令数据信息以张量形式在深层网络中的神经元之间传递，其表达式为：

[0056]

[0057] 其中， 为预测张量， 为深层网络中前一层的输入张量， 是对降维后的张量特征 进行张量输入构造产生的， 为仿射变换矩阵， 为深层网络中后一层的输入张量，为耦合系数。

[0058] 在本实施例中，所述特征生成模型的目标函数为：

[0059]

[0060] 其中，LG为特征生成模型的损失函数， 表示对真实样本真假判断的期望运算， 表示生成样本真假判断的期望运算， 表示对生成样本来源自哪个生成器判断的期望运算，K为生成器数量， 表示源判别器判断样本X来自生成器Gk的概率，表示鉴别器对样本X真假判断的概率，为超参数。

[0061] 目标函数中，前两项通过多个生成器和鉴别器之间的博弈使得生成样本的混合分布逼近原样本分布。第三项代表了生成器和源判别器之间的博弈，通过最大化源判别器的信息熵来鼓励每个生成器与其他生成器之间存在模式差异，提高生成特征多样性，进一步避免模式崩溃问题。

[0062] 在本实施例中，所述步骤S4中语义特征字典的目标函数的表达式为：

[0063]

[0064] 其中，LC为语义特征字典的损失函数，A为张量表示系数，为平衡参数，T为语义字典张量，F为语义嵌入张量，

[0065] 在本实施例中，所述步骤S4中计算未知高光谱遥感图像的语义张量的公式为：

[0066]

[0067] 其中，au为未知高光谱遥感图像的语义张量表示， 为未知高光谱遥感图像的张量特征， 为预设参数。

[0068] 在本实施例中，利用分步迭代策略来分别对语义词典和语义嵌入进行优化学习，从而优化目标函数且提高算法收敛性，最终学习全部种类样本的语义字典张量和语义嵌入张量。对高光谱数据中未知类别样本分类时则，将未知样本的文本描述通过语义嵌入张量转化为语义特征，进而与语义特征字典进行级联，最后通过语义张量表示从而确定未知样本的类别。

[0069] 在本发明的一个实施例中，由于，随着网络层数的增加，非凸的目标函数越来越复杂，局部最小值点成倍增长，利用有限数据训练的深层网络，易产生过拟合和梯度消失现象，限制了深度学习算法用于实际应用为了消除步骤S2中的特征生成模型会随着层数加深而产生消除梯度消失和退化问题的影响，并将各层表示为学习残差函数，通过在原始层中附加一个恒等层H（x），将原始优化问题转化为从残差f（x）的角度考虑的优化问题，从而解决了梯度消失和退化问题，并使得其前馈式/反向传播算法能够非常顺利进行，极大程度上会优化了深层网络模型，使整个网络具备强大的拟合能力和表达能力；

[0070] 同时，通过加强网络对于输入扰动的稳定进而提升网络的泛化能力和抗扰性，即指在输入发生轻微扰动变化时，输出不会产生较大的差异，其表达式为：

[0071]

[0072] 其中，M为f（x）的Lipschitz常数，其最小值为Lipschitz连续条件，即当M越小则其对输入扰动越不敏感，泛化能力越好，非线性的引入是借助非线性激活函数。

[0073] 本实施例中采用ReLU非线性激活函数，输入扰动发生在x的较小邻域中，对于单层神经网络（未经激活函数）有以下关系：

[0074]

[0075] 其中， 表示x在小邻域范围内的扰动（或微小变化）值， 为该层的权重矩阵，为该层的偏置， 是其相应的谱范数，而通常深度网络中采用L2正则项约束来满足Lipschitz条件来提高模型的泛化性能，而简单通过柯西不等式公式则可得到Frobenius范数是一个更粗糙的条件，由上述公式可知更准确的范数则为谱范数。因此，这里我们使用了谱标准化限制了网络中的权重矩阵谱归一化，在不引入任何超参数调节的条件下就限制了Lipschitz常数，阻止了参数幅度和异常梯度的增大，从而提高模型泛化能力使其能够满足应用于实际的需求。