一种基于多源遥感数据的湿地分类方法和电子设备

摘要

本申请涉及图像处理技术领域，提供一种基于多源遥感数据的湿地分类方法和电子设备，其中，分类方法包括：获取湿地的高光谱图像数据、多光谱图像数据和预训练的分类网络模型；将高光谱图像数据输入第一特征提取网络分别提取光谱特征和空间特征，得到高光谱特征；将多光谱图像数据输入第二特征提取网络，提取多尺度空间特征，得到多光谱特征；将高光谱特征和多光谱特征输入深度交叉注意模块进行特征融合；利用全连接层和损失函数，得到湿地分类结果。将双分支特征提取模块对深度交叉注意模块的特征提取部分进行改进，深度交叉注意模块能够更充分利用两种不同遥感数据的特点，分类性能更优，在总体准确度和Kappa系数方面均有较大的提升。

权利要求

1.一种基于多源遥感数据的湿地分类方法，其特征在于，包括：

获取湿地的高光谱图像数据、多光谱图像数据和预训练的分类网络模型，其中，所述分类网络模型包括特征提取网络和深度交叉注意模块，其中，所述特征提取网络包括具有双隧道的第一特征提取网络和具有级联块的第二特征提取网络；

将所述高光谱图像数据输入所述第一特征提取网络分别提取光谱特征和空间特征，得到高光谱特征；

所述第一特征提取网络包括：光谱特征提取网络和空间特征提取网络；高光谱数据被输入光谱特征提取网络，进行一维运算；首先数据被输入卷积层，卷积核大小为1×1，图像输入卷积层前后大小不变；其次输入批标准化层进行批标准化；进一步输入激活层，以LeakyReLU函数进行激活；然后数据再次被输入卷积层，卷积核大小为卷积核大小为1×1，图像输入卷积层前后大小不变，并使用LeakyReLU激活层进行二次激活；最后，使用池化大小为2×2的最大池化层对特征图进行池化；

相同的高光谱数据被输入空间特征提取网络，进行二维运算；首先数据被输入卷积层，卷积核大小为3×3，且填充参数为1，在进行批标准化操作后，使用LeakyReLU激活层进行激活；然后再输入进卷积核大小为1×1的卷积层，并使用LeakyReLU激活层进行二次激活，最后用池化大小为2×2的最大池化层对特征图进行池化；

将所述多光谱图像数据输入所述第二特征提取网络，提取多尺度空间特征，得到多光谱特征；

所述第二特征提取网络包括：1个卷积层、1个激活层、1个最大池化层和2个级联块，所述级联块由4个卷积层、2个激活层、1个批标准化层和2个矩阵加法操作，其中两个矩阵加法操作分别用来为第1、3个卷积层之前和2个激活层之前的特征图做加法操作；

将所述高光谱特征和所述多光谱特征输入深度交叉注意模块进行特征融合，得到融合特征；

利用全连接层和损失函数，将融合特征映射到标签空间，得到湿地分类结果。

2.如权利要求1所述的基于多源遥感数据的湿地分类方法，其特征在于，所述第一特征提取网络包括：光谱特征提取网络和空间特征提取网络；

所述将所述高光谱图像数据输入所述第一特征提取网络分别提取和空间特征得到高光谱特征包括：利用所述光谱特征提取网络提取光谱的每个像素的特征，得到所述光谱特征；

利用所述空间特征提取网络根据每个像素以及每个像素的邻域像素的信息对空间信息进行学习，提取空间特征。

3.如权利要求2所述的基于多源遥感数据的湿地分类方法，其特征在于，所述光谱特征提取网络和所述空间特征提取网络的网络结构相同。

4.如权利要求1所述的基于多源遥感数据的湿地分类方法，其特征在于，所述将所述高光谱特征和所述多光谱特征输入深度交叉注意模块进行特征融合，得到融合特征包括：基于所述高光谱特征和所述多光谱特征在对应像素上的相关性分别利用注意力机制和互卷积操作两次特征融合得到所述融合特征。

5.如权利要求4所述的基于多源遥感数据的湿地分类方法，其特征在于，所述深度交叉注意模块包括相关层、注意层和深度相关层，在所述相关层基于所述高光谱特征和所述多光谱特征在对应像素上的相关性得到语义相关性矩阵；

在注意层中计算所述语义相关性矩阵对应的交叉注意矩阵；

利用注意层对所述交叉注意矩阵进行学习得到多光谱图像数据对高光谱图像数据的第一非互斥关系以及高光谱图像数据对多光谱图像数据的第二非互斥关系；

利用注意机制将所述高光谱特征与所述第一非互斥关系进行融合，得出所述高光谱图像数据的第一包含关系特征图；

利用注意机制将所述多光谱特征与所述第二非互斥关系进行融合，得出所述多光谱图像数据的第二包含关系特征图；

在深度相关层中，对所述第一包含关系特征图和所述第二包含关系特征图运用互相卷积操作进行特征融合，得出所述融合特征。

6.如权利要求1所述的基于多源遥感数据的湿地分类方法，其特征在于，获取湿地的高光谱图像数据和多光谱图像数据之后还包括：对所述高光谱图像数据和所述多光谱图像数据进行地理信息配准。

7.如权利要求1或6所述的基于多源遥感数据的湿地分类方法，其特征在于，还包括：对所述高光谱图像数据进行上采样操作。

8.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，其特征在于，所述存储器，用于存储计算机程序；

所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至7中任一项所述的基于多源遥感数据的湿地分类方法。

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的基于多源遥感数据的湿地分类方法。

说明书

一种基于多源遥感数据的湿地分类方法和电子设备

技术领域

[0001] 本发明涉及图像处理技术领域，具体涉及一种基于多源遥感数据的湿地分类方法和电子设备。

背景技术

[0002] 目前的湿地精细分类方法大致分为两种：一种是仅利用单个种类的图像数据，基于机器学习方法进行分类的方法，另一种是将多种图像所拥有的信息进行融合，基于卷积神经网络进行分类的方法。

[0003] 部分现有技术对该分类方法进行了改进，如：双分支的卷积神经网络（Convolutional Neural Networks, CNN）分类模型对高光谱图像(Hyperspectral Image，HSI)和激光雷达图像分别使用两个子网络对其中的地物元素进行分类，然后用全连接层将两个子网络进行连接，取得最终结果；深度特征交互网络分类模型将高光谱图像和多光谱图像（Multispectral Image，MSI）两种图像所提取的特征进行多次特征融合，提高模型分类精度。

[0004] 随着研究不断深入，人们发现高光谱图像存在“同谱异物”和“同物异谱”现象，不利于空间特征的提取。然而，尽管目前所提出的深度学习方法以及信息融合方法一定程度上提升了模型的分类精度，对于不同种类的数据仍然存在特征表示的不平衡问题，导致分类性能无法进一步提升。

[0005] 因此，如何进行提升湿地地物分类的精度成为亟待解决的技术问题。

发明内容

[0006] 为解决上述背景技术中阐述的现有技术中如何进行提升湿地地物分类的精度的技术问题，本申请提出了一种基于多源遥感数据的湿地分类方法和电子设备。

[0007] 根据第一方面本申请实施例提供了一种基于多源遥感数据的湿地分类方法，包括：获取湿地的高光谱图像数据、多光谱图像数据和预训练的分类网络模型，其中，所述分类网络模型包括特征提取网络和深度交叉注意模块，其中，所述特征提取网络包括具有双隧道的第一特征提取网络和具有级联块的第二特征提取网络；将所述高光谱图像数据输入所述第一特征提取网络分别提取光谱特征和空间特征，得到高光谱特征；将所述多光谱图像数据输入所述第二特征提取网络，提取多尺度空间特征，得到多光谱特征；将所述高光谱特征和所述多光谱特征输入所述深度交叉注意模块进行特征融合，得到融合特征；利用全连接层和损失函数，将融合特征映射到标签空间，得到湿地分类结果。

[0008] 可选地，所述第一特征提取网络包括：光谱特征提取网络和空间特征提取网络；所述将所述高光谱图像数据输入所述第一特征提取网络分别提取和空间特征得到高光谱特征包括：利用所述光谱特征提取网络提取所述光谱的每个像素的特征，得到所述光谱特征；利用所述空间特征提取网络根据每个像素以及每个像素的邻域像素的信息对空间信息进行学习，提取空间特征。

[0009] 可选地，所述光谱特征提取网络和所述空间特征提取网络的网络结构相同。

[0010] 可选地，第二特征提取网络包括至少两个级联块的卷积神经网络；所述将所述多光谱图像数据输入所述第二特征提取网络，提取多尺度空间特征，得到多光谱特征包括：对不同卷积层的卷积结果进行第一特征重用操作；对不同激活层的激活结果进行第二特征重用操作，得到所述多光谱特征。

[0011] 可选地，所述将所述高光谱特征和所述多光谱特征输入所述深度交叉注意模块进行特征融合，得到融合特征包括：基于所述高光谱特征和所述多光谱特征在对应像素上的相关性分别利用注意力机制和互卷积操作两次特征融合得到所述融合特征。

[0012] 可选地，所述深度交叉注意模块包括相关层、注意层和深度相关层，在注意层中计算所述语义相关性矩阵对应的交叉注意矩阵；利用注意层对所述交叉注意矩阵进行学习得到，多光谱图像数据对高光谱图像数据的第一非互斥关系以及高光谱图像数据对多光谱图像数据的第二非互斥关系；利用注意机制将所述高光谱特征与所述第一非互斥关系进行融合，得出所述高光谱图像数据的第一包含关系特征图；利用注意机制将所述多光谱特征与所述第二非互斥关系进行融合，得出所述多光谱图像数据的第二包含关系特征图；在深度相关层中，对所述第一包含关系特征图和所述第二包含关系特征图运用互相卷积操作进行特征融合，得出所述融合特征。

[0013] 可选地，所述获取湿地的高光谱图像数据和多光谱图像数据之后还包括：对所述高光谱图像数据和所述多光谱图像数据进行地理信息配准。

[0014] 可选地，还包括：对所述高光谱图像数据进行上采样操作。

[0015] 根据第二方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器，用于存储计算机程序；所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行第一方面中任一项所述的基于多源遥感数据的湿地分类方法。

[0016] 根据第三方面，本申请实施例提供了一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行第一方面中任一项所述的基于多源遥感数据的湿地分类方法。

[0017] 本申请利用双分支特征提取模块对高光谱图像数据利用具有双隧道的第一特征提取网络分别提取光谱特征和空间特征得到高光谱特征，利用具有级联块的第二特征提取网络提取多光谱图像数据的多尺度空间特征，对于两种不同遥感图像数据提取不同角度特征，从而最大化考虑了两种图像的特点，将双分支特征提取模块对深度交叉注意模块的特征提取部分进行改进，其中深度交叉注意模块能够更充分利用两种不同遥感数据的特点，使得分类性能更优，在总体准确度和Kappa系数方面均有较大的提升。

附图说明

[0018] 此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

[0019] 图1为本申请一种实施例中基于多源遥感数据的湿地分类方法的硬件环境的示意图；

[0020] 图2为本申请一种实施例中基于多源遥感数据的湿地分类方法的流程示意图；

[0021] 图3为本申请一种实施例中分类网络模型结构的示意图；

[0022] 图4为本申请一种实施例中第一特征提取网络结构的示意图；

[0023] 图5为本申请一种实施例中第二特征提取网络结构的示意图；

[0024] 图6为本申请一种实施例中第二特征提取网络中级联块结构示意图；

[0025] 图7为本申请一种实施例中深度交叉注意模块结构示意图；

[0026] 图8为本申请一种实施例中的电子设备示意图。

具体实施方式

[0027] 为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示结构相同或结构相似但功能相同的部件。

[0028] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

[0029] 在以下的描述中，将描述本发明的多个不同的方面，然而对于本领域内的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其他情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。

[0030] 基于此，本申请提出了一种基于多源遥感数据的湿地分类方法，上述基于多源遥感数据的湿地分类方法可以应用于如图1所示的由终端102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端102进行连接，可用于为终端或终端上安装的客户端提供服务，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，还可以用于处理云服务，上述网络包括但不限于：广域网、城域网或局域网，终端102并不限定于个人计算机 (personal computer，PC)、手机、平板电脑等。本申请实施例的基于多源遥感数据的湿地分类方法可以由服务器104来执行，也可以由终端102来执行，还可以是由服务器104和终端102共同执行。其中，终端102执行本申请实施例的基于多源遥感数据的湿地分类方法也可以是由安装在其上的客户端来执行。

[0031] 以由终端102和/或服务器104来执行本实施例中的基于多源遥感数据的湿地分类方法为例，图2是根据本申请实施例的一种可选的基于多源遥感数据的湿地分类方法程示意图，如图2所示，该方法的流程可以包括以下步骤：

[0032] S201.获取湿地的高光谱图像数据、多光谱图像数据和预训练的分类网络模型，其中，所述分类网络模型包括特征提取网络和深度交叉注意模块，其中，所述特征提取网络包括具有双隧道的第一特征提取网络和具有级联块的第二特征提取网络。

[0033] 作为示例性的实施例，湿地可以包括多种地物，例如互花米草、泥滩、油田、海洋、潮间带芦苇、生物水库、盐地碱蓬、盐田等。获取卫星采集的湿地的高光谱图像数据、多光谱图像数据（Multispectral image，MSI），示例性的，高光谱图像数据例如可以由第一型号卫星于20XX 年11月1日拍摄而成，大小为1185×1342像素，隧道数为285，第一型号卫星的空间分辨率为30m。多光谱图像数据例如可以由第二卫星于20XX年11月3日拍摄而成，大小为3555×4026，隧道数为47，选择的空间分辨率为10m，高光谱和多光谱图像可以为同一年的不同天，也可以不同年的不同天。

[0034] 在本实施例中，通常高光谱图像数据和多光谱图像数据的时间、空间分辨率等不同，因此，需要对高光谱图像数据和多光谱图像数据进行预处理，在本实施例中，可以对所述高光谱图像数据和所述多光谱图像数据进行地理信息配准。例如，对图像进行空间配准、大气校正等，弥补两图片时间差异对分类所带来的损失。由于高光谱图像数据和多光谱图像数据的分辨率不同，大小不同，因此，需要对所述高光谱图像数据进行上采样操作。示例性的，对高光谱图像数据进行上采样3倍，使得其大小与多光谱图像数据相同。

[0035] 在本实施例中，预训练的分类网络模型可以为预先构建并训练完成的分类网络模型，在一个示例性的实施例中，可以采用Python语言实现所述分类网络模型，通过真实湿地遥感图像对其进行训练。当然，采用其他语言实现分类网络模型在本实施例中并不限制。具体的训练过程包括：首先对模型的所有参数进行随机初始化，然后输入训练数据，对数据进行地理信息配准等预处理操作后，输入到所述分类网络模型进行正向传播，并取得输出；然后，分别利用构建的判别损失函数和分类损失函数来计算此时模型的损失；通过反向传播更新模型参数，并测试当前模型的精度。在一定的训练轮数当中，不断通过反向传播更新模型参数，并在每次突破当前最佳精度时保存模型，就能取得最终训练出的网络模型。

[0036] 在可选地实施例中，训练参数的设置如下：训练轮次为200，学习率为0.005，以随机梯度下降为优化函数。

[0037] 参见图3所示，所述分类网络模型包括特征提取网络和深度交叉注意模块，其中，所述特征提取网络可以为双分支特征提取模块，包括具有双隧道的第一特征提取网络和具有级联块的第二特征提取网络，在本实施例中，双分支特征提取模块可以采用双分支CNN网络，由于HSI数据包含光谱维和空间维，可以采用双隧道CNN网络即第一特征提取网络提取其光谱和空间特征；MSI数据主要包含空间信息，可以采用带有级联块的CNN网络即第二特征提取网络提取其多尺度空间特征。双分支特征提取模块对于两种不同遥感图像数据提取不同角度特征，从而最大化考虑了两种图像的特点。

[0038] S202. 将所述高光谱图像数据输入所述第一特征提取网络分别提取光谱特征和空间特征得到高光谱特征。作为示例性的实施例，首先对高光谱图像F0h和多光谱图像F0m进spec行信息配准，分别得到初步特征图F1h和F1m；然后用双隧道CNN对F1h提取光谱特征Fh 和空spat
间特征Fh 。将两种特征进行融合，可得到高光谱图像的特征图Fh。

[0039] S203.将所述多光谱图像数据输入所述第二特征提取网络，提取多尺度空间特征，得到多光谱特征。在本实施例中，第二特征提取网络采用带有级联块的CNN网络对多光谱图像初步特征图F1m的空间特征进行特征提取，得到MSI空间的特征图Fm。其中级联块通过使距离输入较近的层与距离输出较近的层之间有较短连接，来提升网络的准确性，并使得网络更容易训练。

[0040] S204. 将所述高光谱特征和所述多光谱特征输入所述深度交叉注意模块进行特征融合，得到融合特征。根据多源特征在对应像素上的相关性，形成注意图，从而强调两种数据当中相关性强的特征；设计了深度相关模块，专门用来集成多源特征，而不是简单地进行串联、求和；运用注意机制和互卷积操作，多次对HSI和MSI特征进行融合。

[0041] S205. 利用全连接层和损失函数，将融合特征映射到标签空间，得到湿地分类结果。在本实施例中，损失函数分为分类损失和判别性损失。其中，分类损失为真实标签与预测标签之间的交叉熵损失函数。判别性损失使得模型在训练的过程中，对于同类数据提取的特征趋于相似，对于不同类数据提取的特征趋于不相似，起到了特征提取过程的优化作用。

[0042] 本发明利用双分支特征提取模块对高光谱图像数据利用具有双隧道的第一特征提取网络分别提取光谱特征和空间特征得到高光谱特征，利用具有级联块的第二特征提取网络提取多光谱图像数据的多尺度空间特征，对于两种不同遥感图像数据提取不同角度特征，从而最大化考虑了两种图像的特点，将双分支特征提取模块对深度交叉注意模块的特征提取部分进行改进，使深度交叉注意模块能够更充分利用两种不同遥感图像数据的特点，使得分类性能更优，使得在总体准确度和Kappa系数均有较大的提升。

[0043] 作为示例性的实施例，首先，对高光谱图像F0h和多光谱图像F0m进行地理信息配spec准，得到初步特征图F1h和F1m；进而用双隧道 CNN 提取 HSI 的光谱特征Fh 和空间特征spat spec spat
Fh ；将光谱特征Fh 和空间特征Fh 融合，得到 HSI 特征图 Fh。

[0044] 用级联块 CNN 网络在初步特征图F1m中提取 MSI 的空间特征，得到MSI的空间特征Fm。

[0045] 利用相关层得到 HSI 特征和 MSI 特征的相关性矩 Ch和 Cm；利用注意层和 Softmax 函数对 Ch和 Cm 进行学习，得到多光谱图像数据对高光谱图像数据的第一非互斥关系Vh以及高光谱图像数据对多光谱图像数据的第二非互斥关系Vm，其中，Vh为注意层最终提取的包含HSI和MSI在每个对应像素上的关系的HSI的特征；Vm为注意层最终提取的包含MSI和HSI在每个对应像素上的关系的MSI特征。

[0046] 利用注意机制将高光谱图像的特征图Fh与 Vh进行结合，并将以及 MSI空间的特征图Fm 与 Vm，得到融合后的包含关系的特征图F’h 和F’m。

[0047] 将F’h 和F’m利用互卷积操作再次进行特征融合，得到互卷积后的特征；将互卷积后的特进行连接操作，得到最终的特征图F。对 F利用全连接层和 Softmax 函数得到分类标签ŷ。

[0048] 作为示例性的实施例，参见图4所示，第一特征提取网络为双隧道CNN网络，包括光谱特征提取网络和空间特征提取网络，利用所述光谱特征提取网络提取所述光谱的每个像素的特征，得到所述光谱特征；利用所述空间特征提取网络根据每个像素以及每个像素的邻域像素的信息对空间信息进行学习，提取空间特征。

[0049] 作为示例性的实施例，其中光谱特征提取网络包括2个卷积层、2个激活层、1个批标准化层和1个最大池化层，采用一维操作，提取每个像素的特征；空间特征提取网络包括2个卷积层、2个激活层、1个批标准化层和1个最大池化层，采用二维操作，提取每个像素及其邻域的空间特征。

[0050] 在进行特征提取时，HSI数据被输入光谱特征提取网络，进行一维运算。首先数据被输入卷积层，卷积核大小为1×1，图像输入卷积层前后大小不变；其次输入批标准化层进行批标准化；进一步输入激活层，以LeakyReLU函数进行激活；然后数据再次被输入卷积层，卷积核大小为卷积核大小为1×1，图像输入卷积层前后大小不变，并使用LeakyReLU激活层进行二次激活；最后，使用池化大小为2×2的最大池化层对特征图进行池化。

[0051] 示例性的，在光谱特征提取网络当中，HSI 数据以像素为单位被输入网络，因此以一维卷积和激活操作来提取特征。该分支包含两个串接的一维卷积层，以及一个采用最大池化的池化层。输入的 HSI 图像在经过卷积层后，以 LeakyReLU函数进行激活。

[0052] 优选的，在第一个卷积层当中，还使用了批标准化操作，以加强激活函数的处理效果，加速模型的收敛，并防止了梯度消失现象的出现。

[0053] 相同的HSI数据被输入空间特征提取网络，进行二维运算。首先数据被输入卷积层，卷积核大小为3×3，且填充参数为1，在进行批标准化操作后，使用LeakyReLU激活层进行激活；然后再输入进卷积核大小为1×1的卷积层，并使用LeakyReLU激活层进行二次激活，最后用池化大小为2×2的最大池化层对特征图进行池化。

[0054] 示例性的，在空间特征提取网络中，HSI数据以每个像素为中心，半径为r的区域为单位被输入网络，其中r为超参数。因此，对其进行的卷积操作以及激活操作都是二维的。这样，通过考察各个像素及其邻域像素当中的信息，使网络对 HSI 数据所包含的空间信息进行学习。

[0055] HSI的光谱特征和空间特征都提取完毕后，将其用连接操作连接，得到高光谱特征。

[0056] 其中，光谱特征提取网络和所述空间特征提取网络的网络结构相同，能够保证提取的特征的一致性，以避免特征融合时产生较多的损失。

[0057] 作为示例性的实施例，参见图5所示，第二特征提取网络包括至少两个级联块的卷积神经网络；所述将所述多光谱图像数据输入所述第二特征提取网络，提取多尺度空间特征，得到多光谱特征包括：对不同卷积层的卷积结果进行第一特征重用操作；对不同激活层的激活结果进行第二特征重用操作，得到所述多光谱特征。

[0058] 参见图5，MSI特征提取网络为带有级联块的CNN网络，其网络结构包括1个卷积层、1个激活层、1个最大池化层和2个级联块。级联块的设计有利于模型对MSI的多尺度空间特征的提取。

[0059] 参见图6所示，级联块由4个卷积层、2个激活层、1个批标准化层和2个矩阵加法操作，其中两个矩阵加法操作分别用来为第1、3个卷积层之前和2个激活层之前的特征图做加法操作。

[0060] 基于图5和图6，多光谱图像数据的多光谱特征提取包括：首先，多光谱图像数据首先被送入卷积层，并被 LeakyReLU 激活函数所激活。该卷积层具有大小为F(F≠1)的卷积核，其感受野保证了每个像素周围特征的提取。然后，取得的特征图将通过级联块和最大池化进一步提取特征，得到所提取的MSI特征。

[0061] 示例性的，MSI数据将首先以卷积核大小为3×3，填充参数为1的卷积层进行卷积，然后被LeakyReLU函数所激活。进一步，特征图将被输入级联块提取多尺度特征。

[0062] MSI特征图进入级联块的处理过程如下：输入的特征图将经过两次卷积操作并进行激活。示例性的，MSI特征图进入级联块后，先进行第一次卷积，该卷积将特征图隧道数翻倍，卷积核大小为3×3，填充数为1；然后进行第二次卷积，该卷积层将隧道数缩小为原来的一半，卷积核大小为1×1，无填充；然后用第一个LeakyReLU激活层进行激活；再进行第三次卷积，将隧道数翻倍，卷积核大小为3×3，填充数为1。

[0063] 在第三次卷积时，可以进行一次特征重用操作，网络不同层的特征通过相加进行结合，能提升模型对特征的学习效果。示例性的，将会使卷积的结果与第一次卷积的结果相加。让第一次卷积前的特征图单独进行一次卷积，该卷积使特征图的隧道数翻倍，但大小不变，然后和第三次卷积的结果进行矩阵加法，可得到一个中间结果；将中间结果利用批标准化操作进行处理，方便后续激活函数激活。

[0064] 对取得的特征图进行批标准化操作后，再经过最后一个卷积层和激活层。在最后的激活层，特征图与第一次激活后的特征图相加，再使用了一次特征重用。示例性的，进行第四次卷积，隧道数减半，卷积核大小为3×3，填充数为1；然后将第二次和第四次卷积的结果相加，再次提取多尺度特征。

[0065] 优选的，级联块的级联操作可用如下公式表示：

[0066] ym=gm(x1,{Wi})+x1                   （1）；

[0067] y=gs(xs,{Wj})+xs                     （2）；

[0068] 其中，ym和y分别表示级联块的第一个矩阵加法和第二个矩阵加法的输出，gm(x1,{Wi})和gs(xs,{Wj})分别表示两个加法路径之间的函数映射，x1和xs分别表示级联块中第一个卷积层和第一个激活层的输出。

[0069] 作为示例性的实施例，所述将所述高光谱特征和所述多光谱特征输入所述深度交叉注意模块进行特征融合，得到融合特征包括：基于所述高光谱特征和所述多光谱特征在对应像素上的相关性分别利用注意力机制和互卷积操作两次特征融合得到所述融合特征。

[0070] 示例性的，参见图7所示，深度交叉注意模块包括相关层、注意层和深度相关层，根据多源特征在对应像素上的相关性，形成注意图，从而强调两种数据当中相关性强的特征；设计了深度相关模块，专门用来集成多源特征，而不是简单地进行串联、求和，在一定程度上由于“同谱异物”和“同物异谱”现象导致的特征提取不准确的问题；运用注意机制和互卷积操作，多次对HSI和MSI特征进行融合。

[0071] 具体的，将高光谱特征和所述多光谱特征输入到深度交叉注意模块中时，一次输入的样本数为，每个样本内特征大小为h×w，隧道数为c。对于每个输入样本，其大小为c×h×w。示例性的，样本数量可以选择64、128或256中的任意值。

[0072] 进入相关层之前，首先将输入数据降维，变为c×n的二维矩阵，其中n=h×w。此时，HSI的特征图可表示为Fh=[h1,h2,…，hn]，MSI的特征图可表示为Fm=[m1,m2,…，mn]。

[0073] 在所述相关层基于所述高光谱特征和所述多光谱特征在对应像素上的相关性得到语义相关性矩阵。

[0074] MSI对HSI以及HSI对MSI的非互斥关系，并利用非互斥关系对两特征进行融合。最终，在深度相关层利用相互卷积的操作，使两特征再次进行融合：卷积时，两特征中选择其中一个作为原特征图，另一个作为卷积核，无填充地进行卷积。

[0075] Fh和Fm被送入相关层后，将被计算语义相关性矩阵Ch和Cm，其中Ch计算公式为：

[0076] （3）；

[0077] 其中，||·||2为L2范式，其中，hi为Fh=[h1,h2,…，hn]中第i个元素，mj为Fm=[m1,m2,…，mn]中第j个元素。

[0078] 将式（3）中所有Fh和Fm的元和素表征符号“h”和“m”交换位置，即可得到计算Cm的公式。其中，Ch和Cm均为n×h×w的矩阵。

[0079] 在注意层中对所述语义相关性矩阵计算对应的交叉注意矩阵和非互斥关系，并运用注意机制分别得出所述高光谱图像数据的第一包含关系特征图和所述多光谱图像数据的第二包含关系特征图。

[0080] Ch和Cm将分别被送入注意层进行进一步处理，并进行相同的运算。以Cm为例，在注意层首先使用全局最大池化技术，来提取Cm在每个像素上的特征Cg，Cg的大小为n×1。然后，将Cg送入两个卷积层，进行二维卷积，进而得到n×1的矩阵K。形成矩阵K的卷积层所做的运算由式（4）所示：

[0081] K=Wσ2 r(W1Cg)                    （4）；

[0082] 其中，

[0083] σr(x)=max(0,x)                     （5）；

[0084] 其中，公式（5）为ReLU激活函数，x为被激活特征，W1表示第一个卷积层的权重矩阵，大小为（n/γ）×n，W2表示第二个卷积层的权重矩阵，大小为n×（n/γ），其中，γ是为了减少卷积层参数数量而设置的超参数。优选的，设置γ的值可以为9。其中，矩阵K为MSI对HSI的交叉注意矩阵。

[0085] 学习MSI对HIS的非互斥关系以及HSI对MSI的非互斥关系，并利用非互斥关系对两特征进行融合。

[0086] 示例性的，在注意层的最后，使用式（6）使网络学习MSI与HSI的非互斥关系：

[0087] Vm=σso(KTCm)                    （6）；

[0088] 其中，σso为函数，Vm为大小为h×w的矩阵，表示注意层最终提取的MSI特征，该特征包含MSI和 HSI 在每个对应像素上的关系。

[0089] 优选的，经过注意层后，由式（7）通过剩余注意机制计算得到第一包含关系特征图，即 MSI 数据的包含关系的特征图F’ｍ为：

[0090] F’m＝Fm·Vm+Fm                      （7）;

[0091] 同理可得出第二包含关系特征图，即HSI包含关系的特征图F’h。

[0092] 再得到第一包含关系特征图和所述第二包含关系特征图之后，在深度相关层利用相互卷积的操作，使两特征再次进行融合。卷积时，两特征中选择其中一个作为原特征图，另一个作为卷积核，无填充地进行卷积。

[0093] 示例性的，在深度相关层中，对所述第一包含关系特征图和所述第二包含关系特征图运用互相卷积操作进行特征融合，得出所述融合特征。两特征图F’h和F’m将被送入深度相关层，通过特征融合的思想来提取最终特征F。

[0094] 示例性的，在深度相关层当中，将F’h的每批每隧道特征图作为原特征图，将F’m的每批每隧道特征图作为卷积核进行卷积操作，卷积的结果即为b×c的矩阵F，示例性的，在进行卷积操作后，得到互卷积后的特征，将互卷积后的特征进行融合，得到最终特征F。

[0095] 作为示例性的实施例，最终的分类标签ŷ由特征图F利用全连接层和Softmax函数得出。

[0096] 根据本发明的一些具体实施方式，如图3所示，所述湿地精细分类模型的损失函数可表示为：

[0097] L=λL1+L2                       （8）;

[0098] 其中，L1为判别性损失，其定义如下：

[0099] (9);

[0100] 其中，N是一批数据的数量，假设vi,uj为两个不同样本中提取出的特征，则Θij=1/2cos(vi,uj)为两特征的余弦相似度，而δij=1(vi,uj)为逻辑斯蒂函数，若vi,uj两特征向量表示了同一种类，则函数值为1，否则为0。

[0101] 而L2为分类损失，其定义如下：

[0102] （10）;

[0103] 其中，yi表示第i个数据的标签， 表示如果第i个数据的标签等于c，则 =1，否则 =0。 表示模型预测第i个数据的标签为c的概率。

[0104] λ为超参数，在本实施例中，可设置λ为0.01。

[0105] 分类损失为真实标签与预测标签之间的交叉熵损失函数。判别性损失使得模型在训练的过程中，对于同类数据提取的特征趋于相似，对于不同类数据提取的特征趋于不相似，起到了特征提取过程的优化作用。

[0106] 下面以某地区湿地数据集上进行地物分类任务为例进行说明：

[0107] 采集湿地遥感图像，根据具体实施方式所述的地理信息配准方法对HSI和MSI数据进行配准。例如，该实施例中，HSI数据由第一型号卫星于20XX 年11月1日拍摄而成，大小为1185×1342像素，隧道数为285，第一型号卫星的空间分辨率为30m。MSI数据由第二型号卫星于20XX年11月3日拍摄而成，大小为3555×4026，隧道数为47，选择的空间分辨率为10m。
对此，除了需要进行图片校正，还需要对HSI数据进行上采样3倍，使其像素个数变为3555×
4026，与MSI相同。

[0108] 利用第一特征提取网络分别提取光谱特征和空间特征，然后通过连接操作合并两种特征得到高光谱特征。利用第二特征提取网络提取MSI的空间特征，利用级联块，提取并融合了MSI的多尺度特征，能够提升模型的分类性能。

[0109] 将高光谱特征和所述多光谱特征输入所述深度交叉注意模块进行特征融合，在相关层和注意层，通过学习两特征之间的语义相关性矩阵和非互斥关系，并利用注意机制，将两个特征之间的相关性融入原特征当中；在深度相关层，利用了互卷积操作对两特征进行深度交互的同时，产生了最终用于分类的特征图。该模块主要使用了以下两点来充分考虑HSI和MSI数据的特征交互与融合：（1）利用注意机制来学习HSI和MSI数据当中比较重要的特征关系。在对应像素点，多源数据关系较强的被重点学习，关系较弱的则被抑制；（2）在深度相关层，利用卷积操作来融合HSI和MSI 的特征。

[0110] 构建包括判别性损失和分类损失两个部分的损失函数，加载数据集训练湿地精细分类模型，不断通过反向传播更新参数来优化所述模型；其中训练轮次为200，学习率为0.005，以随机梯度下降函数为优化函数。

[0111] 基于的湿地分类网络模型，与深度特征交互网络相比，在深度特征交互网络当中，只通过三个卷积层来分别提取HSI和MSI的特征，而采用了双分支特征网络结构后，对于HSI数据，用双隧道网络结构来分别提取HSI的光谱和空间特征，用带有级联块的网络结构来提取MSI的空间特征，这两个结构优化了两种特征的提取效果。

[0112] 将本申请与现有技术中的深度特征交互网络、支持向量机、上下文CNN、双分支CNN进行对比，其分类精度的对比如下表1所示：

[0113] 表1 不同识别方法在该地区湿地数据集上的实验结果：

[0114]模型 整体准确度（%） 平均准确度（%） Kappa系数
深度特征交互网络 94.54 93.22 0.9422
支持向量机 84.69 85.56 0.8380
上下文CNN 93.00 93.11 0.9260
双分支CNN 93.54 93.78 0.9316
本申请 95.36 93.01 0.9509

[0115] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM（Read‑Only Memory，只读存储器）/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。

[0116] 根据本申请实施例的又一个方面，还提供了一种用于实施上述基于多源遥感数据的湿地分类方法的电子设备，该电子设备可以是服务器、终端、或者其组合。

[0117] 图8是根据本申请实施例的一种可选的电子设备的结构框图，如图8所示，包括处理器802、通信接口804、存储器806和通信总线808，其中，处理器802、通信接口804和存储器806通过通信总线808完成相互间的通信，其中，

[0118] 存储器806，用于存储计算机程序；

[0119] 处理器802，用于执行存储器806上所存放的计算机程序时，实现如下步骤：

[0120] 获取湿地的高光谱图像数据、多光谱图像数据和预训练的分类网络模型，其中，所述分类网络模型包括特征提取网络和深度交叉注意模块，其中，所述特征提取网络包括具有双隧道的第一特征提取网络和具有级联块的第二特征提取网络；

[0121] 将所述高光谱图像数据输入所述第一特征提取网络分别提取光谱特征和空间特征，得到高光谱特征；

[0122] 将所述多光谱图像数据输入所述第二特征提取网络，提取多尺度空间特征，得到多光谱特征；

[0123] 将所述高光谱特征和所述多光谱特征输入所述深度交叉注意模块进行特征融合，得到融合特征；

[0124] 利用全连接层和损失函数，将融合特征映射到标签空间，得到湿地分类结果。

[0125] 可选地，在本实施例中，上述的通信总线可以是PCI (Peripheral Component Interconnect，外设部件互连标准)总线、或EISA  (Extended Industry Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

[0126] 通信接口用于上述电子设备与其他设备之间的通信。

[0127] 存储器可以包括RAM，也可以包括非易失性存储器(non‑volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

[0128] 上述处理器可以是通用处理器，可以包含但不限于：CPU (Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP (Digital Signal Processing，数字信号处理器)、ASIC (Application Specific Integrated Circuit，专用集成电路)、FPGA (Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

[0129] 可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

[0130] 本领域普通技术人员可以理解，图8所示的结构仅为示意，实施上述基于多源遥感数据的湿地分类方法的设备可以是终端设备，该终端设备可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）等终端设备。图8其并不对上述电子装置的结构造成限定。例如，终端设备还可包括比图8中所示更多或者更少的组件（如网络接口、显示装置等），或者具有与图8所示的不同的配置。

[0131] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。

[0132] 根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行基于多源遥感数据的湿地分类方法的程序代码。

[0133] 可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。

[0134] 可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：

[0135] 基于多源遥感数据的湿地分类方法

[0136] 可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。

[0137] 可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

[0138] 上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

[0139] 上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。

[0140] 在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

[0141] 在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

[0142] 所述作为分离组件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的组件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。

[0143] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0144] 以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。