本发明公开了一种适用于退化方式不定的遥感图像超分重建方法，属于数字图像处理技术领域，用于遥感图像超分重建，具体包括：将遥感图像进行预处理和数据扩增；将对比学习和注意力机制融合表示遥感图像退化不定的特征，构建处理多样化退化方式的遥感图像超分辨率重建模型。采用双三次下采样将高分辨率遥感图像转换为低分辨率遥感图像，使用MoCo对比学习框架和对比损失进行无监督图像退化表示学习，提取退化特征，采用多层光谱空间注意力模块加强光谱信息和空间信息之间的联系，有效提取空谱联合特征，将退化特征和空谱联合特征融合，通过上采样重建高分辨率遥感图像。本发明能够对退化方式多样化的实际遥感图像，有效超分辨率重建。
1.一种适用于退化方式不定的遥感图像超分重建方法，其特征在于，包括：S1.将遥感图像进行预处理和数据扩增，将数据集每张图像分割以得到小尺寸的遥感图像；
S2.将对比学习与注意力机制融合，构建能够处理退化方式多样化的遥感图像超分辨率重建网络模型；
S3.采用双三次下采样将高分辨率遥感图像转换为低分辨率遥感图像；
S4.采用对比学习进行无监督图像退化表示学习，提取退化特征；
S5.采用光谱空间注意力模块加强光谱信息和空间信息之间的联系，有效提取空谱联合特征；
S6.将退化特征和空谱联合特征融合，通过上采样层重建高分辨率遥感图像；
所述遥感图像超分辨率重建网络模型包括下采样模块、图像退化模块、光谱空间注意力模块和上采样重建模块；所述图像退化模块以MoCo对比学习框架为基础，学习各种退化方式的潜在差异特征，解决单一退化方式条件下的超分重建问题；所述光谱空间注意力模块共有三层，每层均为残差结构，但权重不同，每层光谱空间注意力模块包含两层光谱空间注意力卷积模块和两个 卷积，光谱空间注意力模块学习预测卷积核和基于退化表示的调制系数，利用退化信息来适应特定的退化。
2.根据权利要求1所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，所述图像退化模块包含六层卷积网络和两层多层感知机，查询像素块得出的退化表示特征与正样本的退化表示特征相似，与负样本的退化表示特征不同。
3.根据权利要求2所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，所述光谱空间注意力卷积模块包含并联的光谱注意力模块和空间注意力模块。
4.根据权利要求3所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，光谱空间注意力卷积模块的特征提取包括：B1.将低分辨率遥感图像经过 卷积提取初步特征，将退化表示特征经过两层全连接层后再进行变形处理，作为光谱空间注意力模块的输入；
B2.将初步特征和退化表示特征矩阵相乘，得出输入特征，再通过并联的光谱注意力模块和空间注意力模块得到加强后的光谱特征和空间特征；
B3.将光谱特征和空间特征融合得到光谱空间注意力特征；
5.根据权利要求4所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，光谱空间注意力模块的输入特征为 为：为图像特征， 为退化表示特征， 为卷积核大小为 ，步长为2的卷积操作。
6.根据权利要求5所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，光谱注意力模块中输入特征中不同光谱的特征矩阵为：为卷积核为 的卷积操作，sigmoid为激活函数，avg为全局平均池化。
7.根据权利要求6所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，空间注意力模块中输入特征不同空间的特征矩阵为：。
8.根据权利要求7所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，光谱空间注意力卷积模块中输入特征不同空间与不同光谱信息融合特征矩阵为：SSA为光谱空间注意力模块注意力卷积操作。
9.根据权利要求8所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，光谱空间注意力模块的光谱空间特征矩阵为：为光谱空间注意力卷积模块输出的特征矩阵。
10.根据权利要求9所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，光谱空间注意力模块采用均方根误差损失函数来计算损失，优化训练过程，损失如下：为输入的低分辨率图像， 为光谱空间注意力网络。
一种适用于退化方式不定的遥感图像超分重建方法
技术领域
[0001] 本发明公开了一种适用于退化方式不定的遥感图像超分重建方法，属于数字图像处理技术领域。
背景技术
[0002] 图像超分辨率重建技术是将低分辨率图像重建为高分辨率图像的一项技术。随着数字图像处理和传输技术的飞速发展，遥感图像已经广泛应用于军事和民用领域，在农林检测、军事侦察、城市规划等方向起着重要作用。高分辨率遥感图像可以更好地来获取特定地区的地理信息。然而，由于高分辨率传感器的研发难度大、费用昂贵等问题，使得高分辨率遥感图像的仅被用于某些特定领域。能够公开的大都是空间分辨率较低的遥感影像，难以满足科研工作者利用遥感图像进行小目标精准监测的应用需求，遥感图像超分辨率重建技术的出现为这种需求提供了一种新的途径。
[0003] 传统重建算法模型的表达能力弱，无法有效地提取遥感图像中的特征信息，重建后的图像质量不足以为高分辨率，且纹理细节恢复较差。近年来，深度学习在计算机视觉领域的应用已经越来越广泛。基于卷积神经网络的超分辨率重建（Super Resolution Convolutional Neural Network，SRCNN）算法首先将卷积神经网络引入图像超分辨率重建领域，仅使用三层网络，就取得了优越的重建结果。随后，各种基于深度学习的模型，被用于图像超分辨率重建领域，主要分为以下两个方向：一种是追求细节的恢复，以峰值信噪比和结构衡量指标等为评价标准的算法，其中以SRCNN模型为代表；另外一种是以降低感知损失为目标，不注重细节，看重大局观，以基于生成对抗网络的超分辨率重建模型（Super Resolution Generative Adversarial Network，SRGAN）为代表的一系列算法。但是，遥感图像因在实际应用中受诸多因素的影响，图像的退化方式多样化，导致目前基于深度学习的遥感图像超分辨率重建方法仅针对所训练的单一图像退化方式有效，在实际应用中的效果和泛化能力仍然有很大的提升空间。
发明内容
[0004] 本发明公开了一种适用于退化方式不定的遥感图像超分重建方法，以解决现有技术中，基于深度学习的遥感图像超分辨率重建方法在实际应用中的效果和泛化能力差的问题。
[0005] 适用于退化方式不定的遥感图像超分重建方法，包括：
[0006] S1.将遥感图像进行预处理和数据扩增，将数据集每张图像分割以得到小尺寸的遥感图像；
[0007] S2.将对比学习与注意力机制融合，构建能够处理退化方式多样化的遥感图像超分辨率重建网络模型；
[0008] S3.采用双三次下采样将高分辨率遥感图像转换为低分辨率遥感图像；
[0009] S4.采用对比学习进行无监督图像退化表示学习，提取退化特征；
[0010] S5.采用光谱空间注意力模块加强光谱信息和空间信息之间的联系，有效提取空谱联合特征；
[0011] S6.将退化特征和空谱联合特征融合，通过上采样层重建高分辨率遥感图像；
[0012] 所述遥感图像超分辨率重建网络模型包括下采样模块、图像退化模块、光谱空间注意力模块和上采样重建模块；所述图像退化模块以MoCo对比学习框架为基础，学习各种退化方式的潜在差异特征，解决单一退化方式条件下的超分重建问题；所述光谱空间注意力模块共有三层，每层均为残差结构，但权重不同，每层光谱空间注意力模块包含两层光谱空间注意力卷积模块和两个 卷积，光谱空间注意力模块学习预测卷积核和基于退化表示的调制系数，利用退化信息来适应特定的退化。
[0013] 优选地，所述图像退化模块包含六层卷积网络和两层多层感知机，查询像素块得出的退化表示特征与正样本的退化表示特征相似，与负样本的退化表示特征不同。
[0014] 优选地，所述光谱空间注意力卷积模块包含并联的光谱注意力模块和空间注意力模块。
[0015] 优选地，光谱空间注意力卷积模块的特征提取包括：
[0016] B1.将低分辨率遥感图像经过 卷积提取初步特征，将退化表示特征经过两层全连接层后再进行变形处理，作为光谱空间注意力模块的输入；
[0017] B2.将初步特征和退化表示特征矩阵相乘，得出输入特征，再通过并联的光谱注意力模块和空间注意力模块得到加强后的光谱特征和空间特征；
[0018] B3.将光谱特征和空间特征融合得到光谱空间注意力特征；
[0019] B4.将光谱空间注意力特征与初步特征进行融合。
[0020] 优选地，光谱空间注意力模块的输入特征为 为：
[0021]
[0022] 为图像特征， 为退化表示特征， 为卷积核大小为，步长为2的卷积操作。
[0023] 优选地，光谱注意力模块中输入特征中不同光谱的特征矩阵为：
[0024]
[0025] 为卷积核为 的卷积操作，sigmoid为激活函数，avg为全局平均池化。
[0026] 优选地，空间注意力模块中输入特征不同空间的特征矩阵为：
[0027] 。
[0028] 优选地，光谱空间注意力卷积模块中输入特征不同空间与不同光谱信息融合特征矩阵为：
[0029]
[0030] SSA为光谱空间注意力模块注意力卷积操作。
[0031] 优选地，光谱空间注意力模块的光谱空间特征矩阵为：
[0032]
[0033] 为光谱空间注意力卷积模块输出的特征矩阵。
[0034] 优选地，光谱空间注意力模块采用均方根误差损失函数来计算损失，优化训练过程，损失如下：
[0035]
[0036] 为输入的低分辨率图像， 为光谱空间注意力网络。
[0037] 与现有技术相比，本发明的有益效果在于，引入对比学习，通过对比图像数据的正负样本对，使用对比损失进行无监督图像退化表示学习，更适合于具有遥感图像未知退化的实际应用。融合的光谱空间注意力模块，加强了光谱信息和空间信息之间的联系。将输入的遥感图像进行下采样，通过图像退化模块提取退化信息，将退化信息和图像特征信息进行融合，然后通过光谱空间注意力模块，加权了遥感图像的特征信息，从而提升重建效果。
附图说明
[0038] 图1是本发明的技术流程图；
[0039] 图2是本发明中对比学习和注意力结合的网络结构图；
[0040] 图3是本发明中的图像退化模块结构图。
具体实施方式
[0041] 下面结合具体实施方式对本发明作进一步详细说明：
[0042] 适用于退化方式不定的遥感图像超分重建方法，如图1所示，包括：
[0043] S1.将遥感图像数据集按比例分为训练集和测试集，所述的遥感图像数据集来自Potsdam数据集和Vaihingen数据集，将遥感图像进行预处理和数据扩增，将数据集每张图像分割以得到小尺寸的遥感图像；
[0044] S2.将对比学习与注意力机制融合，构建能够处理退化方式多样化的遥感图像超分辨率重建网络模型如图2；
[0045] S3.采用双三次下采样将高分辨率遥感图像转换为低分辨率遥感图像；
[0046] S4.采用对比学习进行无监督图像退化表示学习，提取退化特征；
[0047] S5.采用光谱空间注意力模块加强光谱信息和空间信息之间的联系，有效提取空谱联合特征；
[0048] S6.将退化特征和空谱联合特征融合，通过上采样层重建高分辨率遥感图像；
[0049] 所述遥感图像超分辨率重建网络模型包括下采样模块、图像退化模块、光谱空间注意力模块和上采样重建模块；所述图像退化模块以MoCo对比学习框架为基础，学习各种退化方式的潜在差异特征，解决单一退化方式条件下的超分重建问题；所述光谱空间注意力模块共有三层，每层均为残差结构，但权重不同，每层光谱空间注意力模块包含两层光谱空间注意力卷积模块和两个 卷积，光谱空间注意力模块学习预测卷积核和基于退化表示的调制系数，利用退化信息来适应特定的退化。
[0050] 如图3，所述图像退化模块包含六层卷积网络和两层多层感知机，在训练过程中，首先随机选取x个低分辨率遥感图像，即x种不同的退化，然后从每幅图像中随机裁剪两个像素块。然后使用图像退化模块将2x个像素块编码为 ，然后查询像素块得出的退化表示特征与正样本的退化表示特征相似，与负样本的退化表示特征不同。其中是第i幅图像中的第一个像素块的嵌入。对于第i个图像，将 和 作为查询样本和正样本。
[0051] 图像退化模块对比损失如下：
[0052]
[0053] 为查询像素块退化特征， 为正样本退化特征， 为负样本退化特征，为temperature超参数。
[0054] 所述光谱空间注意力卷积模块包含并联的光谱注意力模块和空间注意力模块。
[0055] 光谱空间注意力卷积模块的特征提取包括：
[0056] B1.将低分辨率遥感图像经过 卷积提取初步特征，将退化表示特征经过两层全连接层后再进行变形处理，作为光谱空间注意力模块的输入；
[0057] B2.将初步特征和退化表示特征矩阵相乘，得出输入特征 ，再通过并联的光谱注意力模块和空间注意力模块得到加强后的光谱特征和空间特征；
[0058] B3.将光谱特征和空间特征融合得到光谱空间注意力特征；
[0059] B4.将光谱空间注意力特征与初步特征进行融合。
[0060] 所述图像退化模块以MoCo对比学习框架为基础，设定一个图像的像素块作为查询像素块，从同一遥感图像中提取的其他像素块视为正样本，来自其他遥感图像的像素块被视为负样本。
[0061] 光谱注意力模块结构：将 经过全局平均池化层，将遥感图像的初步特征的全局信息进行压缩，然后通过 的卷积层、RELU层、 的卷积层和sigmoid激活函数得到不同光谱信息的特征矩阵 。
[0062] 空间注意力模块结构：将 经过全局平均池化层，将遥感图像的初步特征的全局信息进行压缩，然后通过 的卷积层和sigmoid激活函数得到不同空间信息的特征矩阵 。
[0063] 将光谱特征和空间特征融合得到光谱空间注意力特征，经过3层光谱空间注意力模块，加权退化特征与光谱空间注意力特征之间的联系；
[0064] 将光谱空间注意力特征与初步特征进行融合，进行上采样获取重建后的高分辨率遥感图像。
[0065] 光谱空间注意力模块的输入特征为 为：
[0066]
[0067] 为图像特征， 为退化表示特征， 为卷积核大小为，步长为2的卷积操作。
[0068] 光谱注意力模块中输入特征中不同光谱的特征矩阵为：
[0069]
[0070] 为卷积核为 的卷积操作，sigmoid为激活函数，avg为全局平均池化。
[0071] 空间注意力模块中输入特征不同空间的特征矩阵为：
[0072] 。
[0073] 光谱空间注意力卷积模块中输入特征不同空间与不同光谱信息融合特征矩阵为：
[0074]
[0075] SSA为光谱空间注意力模块注意力卷积操作。
[0076] 光谱空间注意力模块的光谱空间特征矩阵为：
[0077]
[0078] 为光谱空间注意力卷积模块输出的特征矩阵。
[0079] 光谱空间注意力模块采用均方根误差损失函数来计算损失，优化训练过程，损失如下：
[0080]
[0081] 为输入的低分辨率图像， 为光谱空间注意力网络。
[0082] 遥感图像的退化模型可以表示为：
[0083]
[0084] 为输入遥感图像，为模糊核， 为卷积运算， 为尺度因子 的下采样运算。
[0085] 本发明利用均方根误差损失函数作为损失函数。基于这种方法，能够实现自监督遥感图像超分辨率重建。面对信息复杂和退化方式不同的低分辨率遥感图像，通过本发明的遥感图像超分辨率重建网络进行训练，学习图像的退化信息和内部空间信息，能够有效地获得超分辨率遥感图像。
[0086] 当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
