本发明公开了一种基于多尺度注意力特征融合的SAR与光学图像分类方法，包括步骤：将配准好的SAR图像和光学图像作为数据集；构建卷积神经网络，并进行训练；将各卷积层的输出作为空间/光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强融合特征；将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接；将两部分多层卷积网络提取出的SAR和光学图像特征进行融合，通过全连接层进行分类，获取遥感图像的分类结果。本发明的方法有效的融合了SAR图像和光学图像的特征，而且能够提取SAR和光学图像各自的有效细节特征，去除无效特征，极大的提高了分类的精度。
1.一种基于多尺度注意力特征融合的SAR与光学图像分类方法，其特征在于，包括以下步骤：
步骤一、将配准好的SAR图像和光学图像作为数据集，并划分训练集、测试集和验证集；
步骤二、构建卷积神经网络，利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练；
所述步骤二、构建卷积神经网络，利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练；
步骤201、构建卷积神经网络作为基础网络，共包含两部分多层卷积网络，分别为光学和SAR图像特征提取的卷积层，其中SAR图像特征提取的卷积层包括Conv1_S、Conv2_S、Conv3_S、Conv4_S,光学图像特征提取的卷积层包括Conv1_O、Conv2_O、Conv3_O、Conv4_O，以实现特征降维；
步骤202、SAR图像经过Conv1_S、Conv2_S、Conv3_S、Conv4_S四个卷积层进行特征提取，输出降维后的特征图C1_S、C2_S、C3_S、C4_S；
步骤203、光学图像经过Conv1_O、Conv2_O、Conv3_O、Conv4_O四个卷积层进行特征提取，输出降维后的特征图C1_O、C2_O、C3_O、C4_O；
步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强特征；
所述步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强特征，具体包括如下步骤：步骤301、SAR图像使用C1×H×W的原特征通过卷积层后得到的特征计算空间自注意力，将由SAR图像得到的C1×H×W的特征C1_S输入到三个卷积层中， ，其中C1为通道数，H×W为像素点数， 表示张量的维度为C1×H×W，分别得到三个新的特征图Qs1、Ks1和Vs1，这三个特征图均保留SAR图像原始空间和光谱特征信息，，将维度转化为 ，其中N=H×W是像素数，H为图像像素高度，W为图像像素宽度；
步骤302、在Ks1和Qs1的转置之间进行矩阵乘法，再通过一个Softmax层计算空间注意力特征S1， ，然后在S1和Vs1的转置之间进行矩阵乘法得到SAR图像的空间自注意力Fs1，将结果转化为 ；
其中S1中的每个特征 测量位置i对位置j的影响，两者的位置特征表现越相似，关联性就越大；
步骤303、光学图像直接使用C1×H×W的原始特征C1_O来计算光谱自注意力，，C1_O经过维度转换得到Qo1、Ko1和Vo1， ，其中N=H×W是像素数，然后在Qo1和Ko1的转置之间进行矩阵乘法，再通过一个softmax层计算光谱注意力特征O1， ，然后在O1和Vo1之间进行矩阵乘法得到光学图像的自注意力Fo1，将结果转化为 ；
其中，O1中每个特征 测量位置i对位置j的影响，两者的位置特征表现越相似，关联性就越大；
步骤304、将由光学图像得到的光谱注意力特征O1与由SAR图像卷积得到的特征图Vs1进行矩阵乘法，结果既保留SAR图像的原始特征，又增添光学图像的通道特征，得到SAR图像和光学图像的互注意力Fs2，将结果转化为 ；
步骤305、将由SAR图像得到的空间注意力特征S1与由光学图像转换维度得到的Vo1的转置之间进行矩阵乘法，结果既保留光学图像的原始特征，又增添SAR的空间特征，得到光学图像与SAR图像的互注意力Fo2，将结果转化为 ；
步骤306、将SAR图像的自注意力Fs1与互注意力Fs2进行逐元素相加，即可得到具有空间和光谱注意力的增强特征 ；将光学图像的自注意力Fo1与互注意力Fo2进行逐元素相加，即可得到具有空间和光谱注意力的增强特征C1_c；
步骤307、将Conv2_S、Conv3_S两个卷积层提取的SAR图像特征C2_S、C3_S和Conv2_O、Conv3_O两个卷积层提取的光学图像特征C2_O、C3_O分别进行步骤301到步骤307的操作，逐层递进，分别得到具有SAR图像和光学图像注意力模块增强特征的特征图 、 和C2_c、C3_c；
步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接；
步骤五、将卷积神经网络提取出的SAR图像和光学图像特征进行特征融合，并通过全连接层进行分类，以获取遥感图像的分类结果。
2.根据权利要求1所述的一种基于多尺度注意力特征融合的SAR与光学图像分类方法，其特征在于，所述步骤一、将配准好的SAR图像和光学图像作为数据集，并划分训练集、测试集和验证集，具体包括如下步骤：
步骤101、将配准好的SAR图像和光学图像的像素点划分为L×L大小的像素块大小作为输入，在利用中心点特征信息的同时，利用中心点周围的像素点信息；
步骤102、将获取的遥感图像分别按照预定比例分为训练集、测试集和验证集，输入到多尺度注意力特征融合模型。
3.根据权利要求1所述的一种基于多尺度注意力特征融合的SAR与光学图像分类方法，其特征在于，所述步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接，具体包括如下步骤：步骤401、将由注意力模块得到的增强特征作为原始特征的加权，将 与SAR图像经过Conv1_S直接提取出的特征C1_S相加，得到融合特征C1_S'，该特征既保留SAR图像的原始信息又包含了融合SAR图像和光学图像的空间和光谱特征；
步骤402、将由注意力模块得到的增强特征作为原始特征的加权，将C1_c与光学图像经过Conv1_O直接提取出的特征C1_O相加，得到融合特征C1_O'，该特征既保留光学图像的原始信息又包含了融合光学图像和SAR图像的空间和光谱特征；
步骤403、将具有SAR图像和光学图像特征增强的特征图 、 和C2_c、C3_c，分别作为卷积层Conv2_S、Conv3_S和Conv2_O、Conv3_O的输出的特征C2_S、C3_S和C2_O、C3_O的加权，进行跳跃连接，即重复步骤401和步骤402，得到融合特征C2_S'、C3_S'和C2_O'、C3_O'；
步骤404、将融合特征C1_S'作为卷积层Conv2_S的输入，融合特征C1_O'作为卷积层Conv2_O的输入，以此类推，SAR图像和光学图像分别经过四个卷积层和三次空间和光谱注意力模块的加权后，得到多次融合后的增强特征C4_S和C4_O。
4.根据权利要求3所述的一种基于多尺度注意力特征融合的SAR与光学图像分类方法，其特征在于，所述步骤五、将卷积神经网络提取出的SAR图像和光学图像特征进行特征融合，并通过全连接层进行分类，以获取遥感图像的分类结果，具体包括如下步骤：步骤501、将Conv4_S的输出C4_S与Conv4_O的输出C4_O相加，得到SAR图像和光学图像融合后的特征Fs，其中 ；
步骤502、展开层用来将多维的输入一维化，使用展开层将SAR图像和光学图像融合后的特征Fs，转化为1×(C1×H×W)的二维矩阵；
步骤503、再将步骤502中得到的二维矩阵输入到全连接层进行分类，将全连接层的通道数设置为与遥感图像分类类别M相等，由此即可得到图像属于各个类别的得分，得分最高的类别即为预测的结果。
基于多尺度注意力特征融合的SAR与光学图像分类方法
技术领域
[0001] 本发明属于遥感图像分类应用领域，尤其涉及一种基于多尺度注意力特征融合的SAR图像与光学图像分类方法。
背景技术
[0002] 遥感图像分类是通过分析各种类型特征的光谱特征来选择特征参数，将特征空间划分为非重叠子空间，然后将图像中的图像元素划分为子空间以实现分类。
[0003] 一般来说，分类任务包括两个步骤：特征提取和标签分类。分类方法根据提取的特征可分为两类：基于手工特征的方法和基于语义特征的方法。基于手工特征的方法对图像
处理的专业知识要求较高，在具有复杂空间分布的场景中，手工特征的表达能力会受到限
制；随着深度学习的迅速发展，基于语义特征的方法(如卷积神经网络，CNN)在性能上显示
出了传统方法无法比拟的优越性，它能够有效地提取与图像类别高度相关的高层抽象语义
信息。
[0004] 在遥感场景分类任务中，鉴别特征的提取至关重要。鉴别特征是指图像中可以判断一幅图像所属正确类别的特征。相对于自然图像而言，遥感影像的背景更加复杂。同一类
别的图像中，除了相似的鉴别特征以外，还包含不同类别不同分布的地物背景，增加了分类
判断的难度。网络中的多级别特征对于提高分类精度具有很大的潜力。
[0005] 根据分析基元尺度的大小，遥感影像的地物分类方法可分为像元级分类法与对象级分类法。基于像元的遥感影像分类方法存在以下公认的不足：（1）无法避免“同物异谱、同
谱异物”等光谱信息局限性导致的问题；（2）监督分类和非监督分类都缺乏人类知识和专家
经验参与；（3）分类结果普遍存在“椒盐效应”现象。
[0006] 由于存在上述问题，针对遥感图像分类依据提出一些算法，但是效果仍没有达到最佳，性能提升空间很大，因此遥感图像分类问题依然有很大的研究价值。
发明内容
[0007] 针对上述技术问题，本发明提供一种基于多尺度注意力特征融合的SAR与光学图像分类方法。首先将配准好的SAR图像和光学图像作为数据集，并划分训练集、测试集和验
证集；构建卷积神经网络，利用有标注的SAR图像和光学图像数据集对网络模型进行训练；
将各卷积层的输出作为空间和光谱注意力模块的输入，再经过注意力机制的加权操作，得
到具有空间和光谱特性的增强特征；将卷积神经网络输出的特征图与空间和光谱注意力模
块得到的增强特征进行跳跃连接；将两部分多层卷积网络提取出的SAR图像和光学图像特
征进行特征融合，并通过全连接层进行分类，以获取遥感图像的分类结果。
[0008] 本发明提出的多尺度注意力特征融和方法，不仅有效的融合了SAR图像和光学图像的特征，而且通过空间和光谱注意力模块，使各个图像关注重点特征抑制非必要特征，进
一步增强特征的表达能力，再与原特征融合，综合所有特征对遥感图像进行分类，提高了分
类的能力。
[0009] 本发明采用的技术方案是：一种基于多尺度注意力特征融合的SAR图像和光学图像分类方法，包括以下步骤：
[0010] 步骤一、将配准好的SAR图像和光学图像作为数据集，并划分训练集、测试集和验证集：
[0011] 步骤101、将已知的SAR图像和光学图像的像素点划分为L×L大小的像素块大小作为输入，在利用中心点特征信息的同时，利用中心点周围的像素点信息；
[0012] 步骤102、将获取的遥感图像分别按照预定比例分为训练集、测试集和验证集，输入到多尺度注意力特征融合模型。
[0013] 步骤二、构建卷积神经网络，利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练；
[0014] 步骤201、构建卷积神经网络作为基础网络，共包含两部分多层卷积网络，分别为光学和SAR图像特征提取的卷积层，其中SAR图像特征提取的卷积层包括Conv1_S、Conv2_S、
Conv3_S、Conv4_S,光学图像特征提取的卷积层包括Conv1_O、Conv2_O、Conv3_O、Conv4_O，
卷积核的大小均为3×3，步幅为1，以实现特征降维；
[0015] 步骤202、SAR图像经过Conv1_S、Conv2_S、Conv3_S、Conv4_S四个卷积层进行特征提取，输出降维后的特征图C1_S、C2_S、C3_S、C4_S，由深到浅特征图尺寸分别为13×13、11×
11、9×9、7×7，其中，浅层特征图包含更多的细节纹理信息，但是不具备高级语义；深层特
征图包含更多抽象的高级语义信息，但是分辨率会降低，造成细节损失；
[0016] 步骤203、光学图像经过Conv1_O、Conv2_O、Conv3_O、Conv4_O四个卷积层进行特征提取，输出降维后的特征图C1_O、C2_O、C3_O、C4_O， 尺寸分别为13×13、11×11、9×9、7×7。
[0017] 步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强特征：
[0018] 步骤301、SAR图像使用C1×H×W的原特征通过卷积层后得到的特征计算空间自注意力，将由SAR图像得到的C1×H×W的特征C1_S输入到三个卷积层中， ，其
中C1为通道数，H×W为像素点数， 表示张量的维度为C1×H×W，分别得到三个新的
特征图Qs1、Ks1和Vs1， ，这三个特征图均保留SAR图像原始空间和
光谱特征信息，将维度转化为 ，其中N=H×W是像素数，H为图像像素高度，W为图像像
素宽度，C1为通道数；
[0019] 步骤302、在Ks1和Qs1的转置之间进行矩阵乘法，再通过一个Softmax层计算空间注意力特征S1， ，然后在S1和Vs1的转置之间进行矩阵乘法得到SAR图像的空间自注
意力Fs1，将结果转化为 ；
[0020]
[0021] 其中，S1中的每个特征 测量位置i对位置j的影响，两者的位置特征表现越相似，关联性就越大；
[0022] Fs1=Vs1S1
[0023] 步骤303、与SAR图像的自注意力不同，光学图像直接使用C1×H×W的原始特征C1_O来计算光谱自注意力， ，C1_O经过维度转换可得到Qo1、Ko1和Vo1，
，其中N=H×W是像素数，然后在Qo1和Ko1的转置之间进行矩阵乘
法，再通过一个softmax层计算光谱注意力特征O1， ，然后在O1和Vo1之间进行矩
阵乘法得到光学图像的自注意力Fo1，将结果转化为 ；
[0024]
[0025] 其中，O1中每个特征 测量位置i对位置j的影响，两者的位置特征表现越相似，关联性就越大；
[0026] Fo1=O1Vo1
[0027] 步骤304、将由光学图像得到的光谱注意力特征O1与由SAR图像卷积得到的特征图Vs1进行矩阵乘法，结果既保留SAR图像的原始特征，又增添光学图像的通道特征，得到SAR图
像和光学图像的互注意力Fs2，将结果转化为 ；
[0028] Fs2=O1Vs1
[0029] 步骤305、将由SAR图像得到的空间注意力特征S1与由光学图像转换维度得到的Vo1的转置之间进行矩阵乘法，结果既保留光学图像的原始特征，又增添SAR的空间特征，得到
光学图像与SAR图像的互注意力Fo2，将结果转化为 ；
[0030] Fo2=Vo1S1
[0031] 步骤306、将SAR图像的自注意力Fs1与互注意力Fs2进行逐元素相加，即可得到具有空间和光谱注意力的增强特征 ；将光学图像的自注意力Fo1与互注意力Fo2进行逐元素
相加，即可得到具有空间和光谱注意力的增强特征C1_c；
[0032] 步骤307、将Conv2_S、Conv3_S两个卷积层提取的SAR图像特征C2_S、C3_S和Conv2_O、Conv3_O两个卷积层提取的光学图像特征C2_O、C3_O分别进行步骤301到步骤307的操作，
逐层递进，分别得到具有SAR图像和光学图像注意力模块增强特征的特征图 、 和
C2_c、C3_c。
[0033] 步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接：
[0034] 步骤401、将由注意力模块得到的增强特征作为原始特征的加权，将 与SAR图像经过Conv1_S直接提取出的特征C1_S相加，得到融合特征C1_S'，该特征既保留SAR图像的
原始信息又包含了融合SAR图像和光学图像的空间和光谱特征；
[0035] 步骤402、将由注意力模块得到的增强特征作为原始特征的加权，将C1_c与光学图像经过Conv1_O直接提取出的特征C1_O相加，得到融合特征C1_O'，该特征既保留光学图像的
原始信息又包含了融合光学图像和SAR图像的空间和光谱特征；
[0036] 步骤403、将具有SAR图像和光学图像特征增强的特征图 、 和C2_c、C3_c，分别作为卷积层Conv2_S、Conv3_S和Conv2_O、Conv3_O的输出的特征C2_S、C3_S和C2_O、
C3_O的加权，进行跳跃连接，即重复步骤401和步骤402，可得到融合特征C2_S'、C3_S'和C2_
O'、C3_O'；
[0037] 步骤404、将融合特征C1_S'作为卷积层Conv2_S的输入，融合特征C1_O'作为卷积层Conv2_O的输入，以此类推，SAR图像和光学图像分别经过四个卷积层和三次空间和光谱注
意力模块的加权后，得到多次融合后的增强特征C4_S和C4_O。
[0038] 步骤五、将两部分多层卷积网络提取出的SAR图像和光学图像特征进行特征融合，并通过全连接层进行分类，以获取遥感图像的分类结果：
[0039] 步骤501、将Conv4_S的输出C4_S与Conv4_O的输出C4_O相加，得到SAR图像和光学图像融合后的特征Fs，其中 ，其中C1为通道数，H为图像像素高
度，W为图像像素宽度；
[0040] 步骤502、展开层用来将多维的输入一维化，使用展开层将SAR图像和光学图像融合后的特征Fs，转化为1×(C1×H×W)的二维矩阵；
[0041] 步骤503、再将步骤502中得到的二维矩阵输入到全连接层进行分类，将全连接层的通道数设置为与遥感图像分类类别M相等，由此即可得到图像属于各个类别的得分，得分
最高的类别即为预测的结果。
[0042] 与现有技术相比，本发明具有以下特点：
[0043] 本发明适用于遥感图像分类，与已有方法相比，本发明提供了一种多尺度注意力模块加权的方法，通过卷积层的特征提取和注意力模块的特征加权，使得融合的特征既包
含浅层特征图的细节纹理特征，又包含深层特征图抽象的高级语义信息，从而增强了特征
的表达能力。
[0044] 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0045] 图1为本发明的方法流程图；
[0046] 图2为本发明的空间和光谱注意力模块结构示意图。
具体实施方式
[0047] 下面结合附图及本发明的实施对本发明的方法作进一步的详细的说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，
本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发
明保护的范围。
[0048] 图1表示的是一种基于多尺度注意力特征融合的SAR图像和光学图像分类方法流程图，图2表示空间和光谱注意力模块的结构示意图。
[0049] 本发明使用python语言基于Pytorch深度学习框架实现，本发明具体选取的是具有红、绿、蓝三个波段的SAR图像和光学图像。
[0050] 如图1所示，以SAR图像和光学图像数据集作为输入，说明本发明的合理性与有效性，包含具体步骤如下：
[0051] 步骤一、将配准好的SAR图像和光学图像作为数据集，并划分训练集、测试集和验证集：
[0052] 步骤101、将配准好的SAR图像和光学图像的像素点划分为15×15的像素块大小作为输入，在利用中心点特征信息的同时，利用中心点周围的像素点信息；
[0053] 步骤102、将获取的遥感图像分别按照7:2:1的比例分为训练集、测试集和验证集，输入到多尺度注意力特征融合模型。
[0054] 步骤二、构建卷积神经网络，利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练；
[0055] 步骤201、构建卷积神经网络作为基础网络，共包含两部分多层卷积网络，分别为光学和SAR图像特征提取的卷积层，其中SAR图像特征提取的卷积层包括Conv1_S、Conv2_S、
Conv3_S、Conv4_S,光学图像特征提取的卷积层包括Conv1_O、Conv2_O、Conv3_O、Conv4_O，
卷积核的大小均为3×3，步幅为1，以实现特征降维；
[0056] 步骤202、SAR图像经过Conv1_S、Conv2_S、Conv3_S、Conv4_S四个卷积层进行特征提取，输出降维后的特征图C1_S、C2_S、C3_S、C4_S，由深到浅特征图尺寸分别为13×13、11×
11、9×9、7×7，其中，浅层特征图包含更多的细节纹理信息，但是不具备高级语义；深层特
征图包含更多抽象的高级语义信息，但是分辨率会降低，造成细节损失；
[0057] 步骤203、光学图像经过Conv1_O、Conv2_O、Conv3_O、Conv4_O四个卷积层进行特征提取，输出降维后的特征图C1_O、C2_O、C3_O、C4_O，尺寸分别为13×13、11×11、9×9、7×7。
[0058] 步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强特征：
[0059] 步骤301、SAR图像使用C1×H×W的原特征通过卷积层后得到的特征计算空间自注意力，将由SAR图像得到的C1×H×W的特征C1_S输入到三个卷积层中， ，其
中C1为通道数，H×W为像素点数， 表示张量的维度为C1×H×W分别得到三个新的特
征图Qs1、Ks1和Vs1，这三个特征图均保留SAR图像原始空间和光谱特征信息，
，将维度转化为 ，其中N=H×W是像素数，H为图像像素高度，
W为图像像素宽度，C1为通道数；
[0060] 步骤302、在Ks1和Qs1的转置之间进行矩阵乘法，再通过一个Softmax层计算空间注意力特征S1， ，然后在S1和Vs1的转置之间进行矩阵乘法得到SAR图像的空间自注
意力Fs1，将结果转化为 ；
[0061]
[0062] 其中，S1中的每个特征 测量位置i对位置j的影响，两者的位置特征表现越相似关联性就越大；
[0063] Fs1=Vs1S1
[0064] 步骤303、与SAR图像的自注意力不同，光学图像直接使用C1×H×W的原始特征C1_O来计算光谱自注意力， ，C1_O经过维度转换可得到Qo1、Ko1和Vo1，
，其中N=H×W是像素数，然后在Qo1和Ko1的转置之间进行矩阵乘
法，再通过一个softmax层计算光谱注意力特征O1， ，然后在O1和Vo1之间进行矩
阵乘法得到光学图像的自注意力Fo1，将结果转化为 ；
[0065]
[0066] 其中，O1中每个特征 测量位置i对位置j的影响，两者的位置特征表现越相似，关联性就越大；
[0067] Fo1=O1Vo1
[0068] 步骤304、将由光学图像得到的光谱注意力特征O1与由SAR图像卷积得到的特征图Vs1进行矩阵乘法，结果既保留SAR图像的原始特征，又增添光学图像的通道特征，得到SAR图
像和光学图像的互注意力Fs2，将结果转化为 ；
[0069] Fs2=O1Vs1
[0070] 步骤305、将由SAR图像得到的空间注意力特征S1与由光学图像转换维度得到的Vo1的转置之间进行矩阵乘法，结果既保留光学图像的原始特征，又增添SAR的空间特征，得到
光学图像与SAR图像的互注意力Fo2，将结果转化为 ；
[0071] Fo2=Vo1S1
[0072] 步骤306、将SAR图像的自注意力Fs1与互注意力Fs2进行逐元素相加，即可得到具有空间和光谱注意力的增强特征 ；将光学图像的自注意力Fo1与互注意力Fo2进行逐元素
相加，即可得到具有空间和光谱注意力的增强特征C1_c；
[0073] 步骤307、将Conv2_S、Conv3_S两个卷积层提取的SAR图像特征C2_S、C3_S和Conv2_O、Conv3_O两个卷积层提取的光学图像特征C2_O、C3_O分别进行步骤301到步骤307的操作，
逐层递进，分别得到具有SAR图像和光学图像注意力模块增强特征的特征图 、 和
C2_c、C3_c。
[0074] 步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接：
[0075] 步骤401、将由注意力模块得到的增强特征作为原始特征的加权，将 与SAR图像经过Conv1_S直接提取出的特征C1_S相加，得到融合特征C1_S'，该特征既保留SAR图像的
原始信息又包含了融合SAR图像和光学图像的空间和光谱特征；
[0076] 步骤402、将由注意力模块得到的增强特征作为原始特征的加权，将C1_c与光学图像经过Conv1_O直接提取出的特征C1_O相加，得到融合特征C1_O'，该特征既保留光学图像的
原始信息又包含了融合光学图像和SAR图像的空间和光谱特征；
[0077] 步骤403、将具有SAR图像和光学图像特征增强的特征图 、 和C2_c、C3_c，分别作为卷积层Conv2_S、Conv3_S和Conv2_O、Conv3_O的输出的特征C2_S、C3_S和C2_O、
C3_O的加权，进行跳跃连接，即重复步骤401和步骤402，可得到融合特征C2_S'、C3_S'和C2_
O'、C3_O'；
[0078] 步骤404、将融合特征C1_S'作为卷积层Conv2_S的输入，融合特征C1_O'作为卷积层Conv2_O的输入，以此类推，SAR图像和光学图像分别经过四个卷积层和三次空间和光谱注
意力模块的加权后，得到多次融合后的增强特征C4_S和C4_O。
[0079] 步骤五、将卷积神经网络提取出的SAR图像和光学图像特征进行特征融合，并通过全连接层进行分类，以获取遥感图像的分类结果：
[0080] 步骤501、将Conv4_S的输出C4_S与Conv4_O的输出C4_O相加，得到SAR图像和光学图像融合后的特征Fs，其中 ，其中C1为通道数，H为图像像素高
度，W为图像像素宽度；
[0081] 步骤502、展开层用来将多维的输入一维化，使用展开层将SAR图像和光学图像融合后的特征Fs，转化为1×(C1×H×W)的二维矩阵；
[0082] 步骤503、再将步骤502中得到的二维矩阵输入到全连接层进行分类，将全连接层的通道数设置为与遥感图像分类类别M相等，由此即可得到图像属于各个类别的得分，得分
最高的类别即为预测的结果。
[0083] 尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技
术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些
变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
