一种基于双分支网络模型的云检测方法

摘要

本申请涉及遥感图像处理技术领域，提出了一种基于双分支网络模型的云检测方法，包括以下步骤：构建云检测数据集并设计TransDiffNet云检测模型；基于TransDiffNet云检测模型预测，输入遥感影像表观反射率和差异特征，获得遥感影像云检测结果，本方案弥补纯卷积神经网络（Convolutional Neural Network,CNN）结构获取全局信息的缺失和纯Transformer结构捕获空间细节特征的不足，减少云与明亮地表特征的混淆以及薄云遗漏，提高云检测精度。

权利要求

1.一种基于双分支网络模型的云检测方法，其特征在于，包括以下步骤：构建云检测数据集并设计TransDiffNet云检测模型；

基于TransDiffNet云检测模型预测，输入遥感影像表观反射率和差异特征，获得遥感影像云检测结果；

所述设计TransDiffNet云检测模型包括采用编码器进行编码和采用解码器进行解码，所述编码器为CNN‑Transformer模块和差异特征增强模块的双分支结构；

其中所述CNN‑Transformer模块对表观反射率数据进行特征编码，所述差异特征增强模块对差异特征进行特征编码；

所述CNN‑Transformer模块包括CNN编码模块和Transformer编码模块，其中所述CNN编码模块采用ResNet50结构对输入图像进行若干次下采样生成浅层特征图，将所述CNN编码模块生成的浅层特征图进行图像序列化处理得到Transformer编码模块的输入序列，其中CNN编码模块输出的特征被分为若干个图像切片，采用如下公式对图像切片空间位置信息进行编码学习特定的位置嵌入，并将其添加到图像切片中以保留位置信息：其中E为图像切片嵌入投影，表示 位置嵌入， 表示一维序列和位置；

所述Transformer编码模块根据输入序列捕获上下文信息和全局关系，所述Transformer编码模块从卷积神经网络中提取网络对特征图的标记图像块进行编码，包括一个归一化层、一个多层感知器和一个多头自注意力，其中所述归一化层在多头自注意力和多层感知器之前；

所述多头自注意力和多层感知器的输出采用如下公式：

其中LN表示层归一化算子， 表示编码图像；

所述差异特征增强模块包括卷积池化单元和通道空间注意力模块，差异特征首先进入卷积池化单元，经过卷积池化单元后的输出特征进入通道空间注意力模块；

对输入到通道空间注意力模块中的特征层进行通道注意力操作和空间注意力操作，在空间和通道两个维度上完成对特征图的重新标定。

2.根据权利要求1所述的一种基于双分支网络模型的云检测方法，其特征在于，所述构建云检测数据集包括：选取遥感影像有云影像以及对应的无云影像，对所选遥感影像进行辐射定标处理获得有云影像和无云影像的表观反射率数据；

对有云影像和无云影像进行差异运算，获得差异影像；

将差异影像与有云影像的表观反射率数据进行波段融合，获得融合影像；

标注获得有云影像的真实云掩模，将整景遥感影像和对应云掩模裁剪成图像块，获得最终云检测训练数据集。

3.根据权利要求2所述的一种基于双分支网络模型的云检测方法，其特征在于，进行所述差异运算采用如下公式：其中 表示差异影像， 表示有云影像表观反射率， 表示无云影像表观反射率，k表示波段，i和j表示第i行，第j列。

4.根据权利要求1所述的一种基于双分支网络模型的云检测方法，其特征在于，所述解码器包括上采样单元和跳跃连接，所述解码器首先对Transformer模块的输出进行整形，使用三个所述上采样单元和三个跳跃连接来恢复特征信息。

5.根据权利要求1所述的一种基于双分支网络模型的云检测方法，其特征在于，反射率特征被输入到所述CNN‑Transformer模块中，差分特征被输入到差异特征增强模块中，采用均方根传播优化来优化模型参数。

说明书

一种基于双分支网络模型的云检测方法

技术领域

[0001] 本发明涉及遥感图像处理技术领域，特别涉及一种基于双分支网络模型的云检测方法。

背景技术

[0002] 云是大气系统的重要组成成分，也是卫星对地监测的重要影响因素。遥感影像中云的存在直接影响了地表信息的获取，降低了数据的利用率，并且造成了后续定量遥感参数估计得偏差，因此云检测是遥感影像处理中的重要步骤。

[0003]  针对遥感影像云检测，研究学者们已经开展了大量研究。目前，云检测方法主要分为：基于物理规则的方法、基于多时相的方法和基于机器学习的方法。近年来，深度学习，作为机器学习的延伸，已经在目标检测、图像分类和语义分割等任务中取得了突破性进展。凭借深度特征挖掘和强大的特征表示能力，深度学习在遥感影像云检测研究中也取得了出色表现。基于深度学习的云检测方法通常利用卷积神经网络结构进行云和非云特征的学习和模型训练。RS‑Net, SegCloud, SAGAN, DABNet, and WDCDNet等网络被设计用于云检测（RS‑Net, SegCloud, SAGAN, DABNet, and WDCDNet是基于深度学习的云检测方法）。由于卷积运算中感受野的限制，纯卷积网络结构只能提取图像的局部特征，无法充分利用影像上下文信息进行特征捕获，因此在建模全局上下文方面仍然受到限制。为了缓解全局信息的损失，注意力机制被引入云检测研究以提高云检测精度。Transformer 结构（ransformer是一种自注意力机制结构），完全依赖注意力机制来绘制输入和输出之间的全局依赖关系，被应用于图像分割等领域。纯粹的Transformer结构将输入视为一维序列，并专注于在所有阶段对全局上下文进行建模，因而缺乏详细定位信息的低分辨率特征，并且这些信息不能通过直接上采样到完整分辨率来有效地恢复，因此会生成粗略的分割结果。CNN 架构提供了一种提取低级视觉线索的途径，可以很好地弥补这些精细的空间细节。

[0004] 因此，结合CNN和Transformer的混合网络可以弥补二者的缺点，提升云检测精度。明亮地表环境中云的准确识别是遥感影像云检测领域不断探索的难点。颜色、高反射率属性是云检测的主要依据，而高亮地表特征具有与云相似的亮白色和高反射率，是云与明亮特征难以区分的主要原因。单纯的利用深度神经网络提取光谱和空间特征难以有效区分复杂场景中的云与明亮地表，比如大范围冰雪覆盖区域、城镇区域以及山体滑坡灾害区域。由于单一时相卫星影像提供的信息相对有限，缺乏准确的地表信息阻碍了云和复杂地表之间的有效区分。在一定的时间范围内，地表的变化是相对平稳的，而由云覆盖引起的地表反射率变化是突变的。多时相影像信息差异对准确识别影像中云和地表具有重要作用，特别是云与明亮地表。差异信息和深度学习的结合将从光谱、空间和时间信息为遥感影像云检测的提供一种有前景的方法。

[0005] 为了解决上述问题，提出一种基于双分支网络模型的云检测方法。

发明内容

[0006] 本发明实施例提供了一种基于双分支网络模型的云检测方法，弥补纯CNN网络结构获取全局信息的缺失和纯Transformer结构捕获空间细节特征的不足；减少云与明亮地表特征的混淆以及薄云遗漏，提高云检测精度。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

[0007] 本发明提供一种基于双分支网络模型的云检测方法，包括以下步骤：构建云检测数据集并设计TransDiffNet云检测模型（TransDiffNet是指基于双分支网络模型的云检测方法）；基于TransDiffNet云检测模型预测，输入遥感影像表观反射率和差异特征，获得遥感影像云检测结果。

[0008] 作为一种优选的实施方式，构建云检测数据集包括：选取遥感影像有云影像以及对应的无云影像，对所选遥感影像进行辐射定标处理获得有云影像和无云影像的表观反射率数据；对有云影像和无云影像进行差异运算，获得差异影像；将差异影像与有云影像的表观反射率数据进行波段融合，获得融合影像；标注获得有云影像的真实云掩模，将整景遥感影像和对应云掩模裁剪成图像块，获得最终云检测训练数据集。

[0009] 作为一种优选的实施方式，进行差异运算采用如下公式：

[0010]

[0011] 其中 表示差异影像， 表示有云影像表观反射率， 表示无云影像表观反射率，k表示波段，i和j表示第i行，第j列。

[0012] 作为一种优选的实施方式，设计TransDiffNet云检测模型包括采用编码器进行编码和采用解码器进行解码，编码器为CNN‑Transformer模块和差异特征增强模块的双分支结构；其中CNN‑Transformer模块对表观反射率数据进行特征编码，差异特征增强模块对差异特征进行特征编码。

[0013] 作为一种优选的实施方式，CNN‑Transformer模块包括CNN编码模块和Transformer编码模块，其中CNN编码模块采用ResNet50（ResNet50是一种卷积神经网络结构）结构对输入图像进行若干次下采样生成浅层特征图，将CNN编码模块生成的浅层特征图进行图像序列化处理得到Transformer编码模块的输入序列，

[0014] 其中CNN编码模块输出的特征被分为若干个图像切片，采用如下公式对图像切片空间位置信息进行编码学习特定的位置嵌入，并将其添加到图像切片中以保留位置信息：

[0015]   ,

[0016] 其中E为图像切片嵌入投影，表示 位置嵌入。 表示一维序列和位置。

[0017] 作为一种优选的实施方式，Transformer编码模块根据输入序列捕获上下文信息和全局关系，Transformer编码模块从卷积神经网络中提取网络对特征图的标记图像块进行编码，包括一个归一化层、一个多层感知器和一个多头自注意力，

[0018] 其中归一化层在多头自注意力和多层感知器之前；

[0019] 多头自注意力和多层感知器的输出采用如下公式：

[0020]

[0021]

[0022]

[0023] 其中LN表示层归一化算子， 表示编码图像。

[0024] 作为一种优选的实施方式，差异特征增强模块包括卷积池化单元和通道空间注意力模块，差异特征首先进入卷积池化单元，经过卷积池化单元后的输出特征进入通道空间注意力模块；

[0025] 对输入到通道空间注意力模块中的特征层进行通道注意力操作和空间注意力操作，在空间和通道两个维度上完成对特征图的重新标定。

[0026] 作为一种优选的实施方式，解码器包括上采样单元和跳跃连接，解码器首先对Transformer模块的输出进行整形，使用三个上采样单元和三个跳跃连接来恢复特征信息。

[0027] 作为一种优选的实施方式，反射率特征被输入到CNN‑Transformer模块中，差分特征被输入到差异特征增强模块中，采用均方根传播优化来优化模型参数。

[0028] 本发明实施例提供的技术方案可以包括以下有益效果：

[0029] （1）获得了更全面的云与下垫面区分特征。TransDiffNet结合了CNN和Transformer结构的优势，捕获了低级特征、高级特征和长距离依赖关系。多尺度特征的融合促进云与下垫面的有效区分。

[0030]  （2）减少了云与明亮地表特征的误判和薄云的遗漏。差异特征和注意机制模块增强了图像中云的信息，弱化了未发生变化的明亮区域。

[0031]  （3）提升了云检测结果。TransDiffNet利用CNN‑Transformer和差异增强模块，整体上提升了云检测结果，减少了薄云遗漏和云与明亮地表的误判，获得了与真实云掩模高度一致的云检测结果。

[0032] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

[0033] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

[0034] 图1为本发明TransDiffNet方法的总体结构图；

[0035] 图2为Landsat 8表观反射率影像与差异影像示例，其中，（a）和（c）为表观反射率影像，（b）和（d）为差异特征影像；

[0036] 图3为本发明TransDiffNet网络中模块结构图，其中，（a）为Transformer结构图，（b）为卷积池化单元结构图；

[0037] 图4为CSAM模块结构图；

[0038] 图5为云检测结果对比图，其中，（a）为真彩色图像，（b）为云掩模，（c）为Deeplabv3+方法云检测结果，（d）为RS‑Net方法云检测结果，（e）为TransDiffNet方法云检测结果。

具体实施方式

[0039] 请参照图1‑图4，本实施例提供一种基于双分支网络模型的云检测方法，其特征在于，包括以下步骤：构建云检测数据集并设计TransDiffNet云检测模型；基于TransDiffNet云检测模型预测，输入遥感影像表观反射率和差异特征，获得遥感影像云检测结果。

[0040] 构建云检测数据集包括：选取遥感影像有云影像以及对应的无云影像，对所选遥感影像进行辐射定标处理获得有云影像和无云影像的表观反射率数据；对有云影像和无云影像进行差异运算，获得差异影像；将差异影像与有云影像的表观反射率数据进行波段融合，获得融合影像；标注获得有云影像的真实云掩模，将整景遥感影像和对应云掩模裁剪成图像块，获得最终云检测训练数据集。

[0041]  进行差异运算采用如下公式：

[0042] （1）

[0043] 其中 表示差异影像， 表示有云影像表观反射率， 表示无云影像表观反射率，k表示波段，i和j表示第i行，第j列。

[0044]  根据影像中云的覆盖量和不同的下垫面，选择60景Landsat 8（Landsat 8 是美国陆地卫星计划的第八颗卫星）影像和手工云掩模用于数据集的构建，根据所选择影像的时间和经纬度信息获取对应的无云影像。首先，对无云影像和有云影像进行辐射定标处理获得相应的表观反射率数据。其次，将同一区域辐射定标后的有云影像和无云影像进行差异运算以获得差异影像，差异运算如公式（1）。

[0045]  差异运算后，将差异影像与有云影像的表观反射率数据进行波段融合获得8波段的融合影像，其中1‑4波段为表观反射率数据，5‑8波段为差异特征。表观反射率影像和差异影像如图2所示，图 2 （a）和图 2 （c）为表观反射率影像，图 2 （b）和图 2 （d）为差异特征影像。考虑到网络的输入和计算资源的限制，将整景Landsat 8影像裁剪为512×512图像块，最终获得20903张训练图像和对应标签。

[0046] 设计TransDiffNet云检测模型包括采用编码器进行编码和采用解码器进行解码，编码器为CNN‑Transformer模块和差异特征增强模块的双分支结构；本发明中的云检测网络为编码器‑解码器结构，其中编码器为双分支结构。CNN和Transformer混合模块作为一条分支对表观反射率数据进行特征编码，卷积池化单元和注意力机制结合的差异特征增强模块作为另一条分支对差异特征进行特征编码。

[0047] 其中CNN‑Transformer模块对表观反射率数据进行特征编码，差异特征增强模块对差异特征进行特征编码。

[0048]  CNN‑Transformer编码模块包括CNN编码和Transformer编码模块。卷积操作提取浅层特征，然后通过线性嵌入操作和位置编码张量对它们进行标记。这些图像块被输入到连续的 Transformer 结构。因此，编码器架构在卷积期间捕获局部空间细节，然后由Transformer 捕获全局上下文。从图像序列中捕获全局上下文后，生成的张量被重新整形以匹配来自CNN块的张量的大小。

[0049]  CNN部分采用ResNet50结构对输入图像进行3 次下采样生成浅层特征图，得到的特征尺寸分别为(512×64×64, 256×128×128, 64×256×256)。Transformer的输入为序列，因此CNN提取的特征再送入Transformer前需要进行图像序列化处理。CNN输出的特征被分为N个P×P像素的图像切片，其中N=H×W/(P×P)，然后，矢量化的图像切片进行线性投影。为了对图像切片空间位置信息进行编码学习特定的位置嵌入，并将其添加到图像切片中以保留位置信息，如公式（2）所示。

[0050]  CNN‑Transformer模块包括CNN编码模块和Transformer编码模块，其中CNN编码模块采用ResNet50结构对输入图像进行若干次下采样生成浅层特征图，将CNN编码模块生成的浅层特征图进行图像序列化处理得到Transformer编码模块的输入序列，其中CNN编码模块输出的特征被分为若干个图像切片，采用如下公式对图像切片空间位置信息进行编码学习特定的位置嵌入，并将其添加到图像切片中以保留位置信息：

[0051] （2）

[0052] 其中E为图像切片嵌入投影，表示 位置嵌入。 表示一维序列和位置。

[0053]  Transformer编码模块根据输入序列捕获上下文信息和全局关系，Transformer编码模块从卷积神经网络中提取网络对特征图的标记图像块进行编码，包括一个归一化层、一个多层感知器和一个多头自注意力，其中归一化层在多头自注意力和多层感知器之前；多头自注意力和多层感知器的输出采用如下公式：

[0054]

[0055]        (3)

[0056]

[0057] 其中LN表示层归一化算子， 是编码图像表示，作为Transformer层的输入。获得深度特征序列后，使用Transformer编码器捕获上下文信息和全局关系。Transformer具有全局语义关系的高效时空建模能力，能够生成上下文丰富的特征表示。本方案中使用 12 层 Transformer 结构从卷积神经网络中提取网络对特征图的标记图像块进行编码，其中包括一个归一化层、一个多层感知器和一个多头自注意力，并提取全局上下文的输入序列，其结构如图3所示。归一化层在多头自注意力（MSA）和多层感知器（MLP）之前，以确保输入值不会太大而无法处理。MSA模块用于提供一种有效的建模方法来捕获全局上下文信息。MLP模型处理来自不同位置的不同表示子空间的信息。MLP模块为变压器增加了非线性变换能力。通过激活功能，变压器增强了表达特征的能力。

[0058]  差异特征增强模块包括卷积池化单元和通道空间注意力模块，差异特征增强模块由4个卷积池化单元和一个通道空间注意力模块（Channel and Spatial Attention Mechanism, CSAM，CSAM是通道空间注意力机制的英文简称）组成。CSAM模块可以通过学习差异图像的注意力特征图来区分深度特征中的变化对象和背景，差异特征首先进入卷积池化单元，经过卷积池化单元后的输出特征进入通道空间注意力模块；对输入到通道空间注意力模块中的特征层进行通道注意力操作和空间注意力操作，在空间和通道两个维度上完成对特征图的重新标定。

[0059]  差异特征首先进入4个卷积池化单元，卷积池化单元结构如图3中的（b）所示。经过卷积池化单元后的输出特征为512×32×32。接着，卷积池化单元的输出特征进入通道空间注意力模块，CSAM模块的操作分为两步：通道注意力和空间注意力。通道注意力操作中，对输入进来的特征层进行全局平均池化和全局最大池化，之后对平均池化和最大池化的结果利用共享的全连接层进行处理。全连接处理后的两个结果进行相加，然后利用sigmoid（Sigmoid是一种激活函数）函数获得输入特征层每一个通道的归一化权值（0‑1之间）。在获得这个权值后，将这个权值乘上原输入特征层即为通道注意力模块的输出。为了获得空间维度的注意力特征，经通道注意力输出的特征图进行全局最大池化和全局平均池化，将特征维度由 转变成 ，接着经过卷积核为 的卷积和 Relu 激活函数后降低特征图的维度，然后再经过一次卷积后提升为原来的维度，最后利用sigmoid函数获得输入特征层每一个特征点的权值（0‑1之间）。在获得这个权值后，将这个权值乘上空间注意力模块原输入特征层即为最终的输出，从而在空间和通道两个维度上完成对特征图的重新标定，如公式（4）（5）所示。

[0060]   （4）

[0061] （5）

[0062] 在空间注意力模块中，全局平均池化和最大池化获得了空间注意力特征，通过两个卷积建立了空间特征间的相关性，同时保持了输入输出维度的不变。通过卷积核为 7×７的卷积操作，极大地减少了参数和计算量，有利于建立高维度的空间特征相关性。经过 CSAM 后，新的特征图将得到通道和空间维度上的注意力权重，大大提高了各个特征在通道和空间上的联系，更有利于提取区分云和地表的有效特征。

[0063] 解码器包括上采样单元和跳跃连接，解码器首先对Transformer模块的输出进行整形，使用三个上采样单元和三个跳跃连接来恢复特征信息。

[0064]  上采样操作可以产生良好的分割结果，然而，来自Transformer模块的特征仅依赖于简单的上采样可能导致诸如形状和边缘之类的详细信息的丢失。因此，解码器包括上采样单元和跳跃连接，以连接来自CNN模块的不同分辨率特征。在解码器部分，首先对Transformer模块的输出进行整形。随后，使用三个上采样单元和三个跳过连接来恢复特征信息。特征级联结合 CNN 底层特征图和 Transformer 的高级特征，解码出分割掩码的隐藏特征，最终实现对云区域的准确定位和分割。

[0065]  在训练阶段，表观反射率（Top of Atmosphere, TOA）特征被输入到CNN‑Transformer模块中，而差分特征被输入到差异特征增强（Differential Feature Enhancement, DFE）模块中。采用均方根传播优化来优化模型参数，初始学习率为0.001。输入批量大小设置为2，训练次数为100。为了减少样本不平衡的影响并约束模型，采用结合了Dice 损失函数和加权二进制交叉熵损失函数的损失函数。该损失函数结合了加权二进制交叉熵损失和Dice损失的优点来约束模型，使模型的收敛更加稳定。

[0066]  利用训练好的云检测模型对Landsat 8验证数据进行云检测，获得云检测结果，如图5所示。为了定量评估TransDiffNet方法的性能，引入了总体精度（OA）、云像素精度（CP）、云像素召回率（CR）和云像素F1得分（CF）。表1展示了不同方法的评估结果。从表格中可以看出，TransDiffNet的整体准确性最高，提高了云检测的结果。TransDiffNet的云精度（CP）达到了92.16%，高于RS‑Net和Deeplabv+3模型的CP（RS‑Net是指一种深度学习云检测方法，Deeplabv3+是一种语义分割网络模型），表明TransDiffNet的云检测结果具有更少的云遗漏和误检。TransDiffNet在CR和CF方面分别比RS‑Net模型高1.09%和1.38。

[0067] 表1云检测结果定量评估对比

[0068] ，

[0069] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储静态信息和动态信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述方法实施例中的步骤。

[0070]  本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read‑Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。