自监督深度学习与模型方法相结合的云层去除方法及装置

摘要

本申请公开了一种自监督深度学习与模型方法相结合的云层去除方法及装置，该方法包括：获取待处理的多时相遥感图像，将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像。本方案通过预设低秩结构稀疏分解框架模型有效地探索了无云图像分量和云层分量的内在物理特性，提高了后续进行云层去除的准确性；另外，通过将基于自监督深度学习的预设引导式深度解码器网络模型捕捉到的深度先验集集成到预设低秩结构稀疏分解框架模型中，由于预设引导式深度解码器网络模型不需要外部训练数据，并采用自监督方法来优化网络参数，提高了进行云层去除的灵活性。

权利要求

1.一种自监督深度学习与模型方法相结合的云层去除方法，其特征在于，所述方法包括：获取待处理的多时相遥感图像；其中，所述多时相遥感图像中包括无云图像分量及云层分量；

将所述待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与所述待处理的多时相遥感图像对应的目标多时相遥感图像；其中，所述目标多时相遥感图像中仅包括所述无云图像分量，所述预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的，所述预设低秩结构稀疏分解框架模型是基于所述无云图像分量的第一物理特性及所述云层分量的第二物理特性得到的，所述第一物理特性用于表征所述无云图像分量呈下降趋势的奇异值特性，所述第二物理特性用于表征所述云层分量沿光谱维度的结构稀疏特性。

2.根据权利要求1所述的方法，其特征在于，所述将所述待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与所述待处理的多时相遥感图像对应的目标多时相遥感图像，包括：将所述待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，通过预设辅助变量对所述预设低秩正则化自监督网络模型进行解耦处理，得到解耦模型；

通过半二次分裂算法对所述解耦模型进行优化处理，生成所述目标多时相遥感图像。

3.根据权利要求2所述的方法，其特征在于，所述通过半二次分裂算法对所述解耦模型进行优化处理，生成所述目标多时相遥感图像，包括：通过半二次分裂算法对所述解耦模型中的所述预设辅助变量、云层分量、预设二进制云层掩码及所述预设引导式深度解码器网络模型的网络参数进行优化处理，生成所述目标多时相遥感图像。

4.根据权利要求1‑3任一项所述的方法，其特征在于，所述预设低秩正则化自监督网络模型的构建过程，包括：获取所述预设低秩结构稀疏分解框架模型及所述预设引导式深度解码器网络模型；

将所述预设引导式深度解码器网络模型的输出结果融合至所述预设低秩结构稀疏分解框架模型中，生成所述预设低秩正则化自监督网络模型。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取预设的云层去除退化模型；

采用最大后验概率算法对所述预设的云层去除退化模型进行转换处理，得到优化函数；其中，所述优化函数中包括描述所述第一物理特性的第一正则化器、及描述所述第二物理特征的第二正则化器；

基于所述优化函数，生成所述预设低秩结构稀疏分解框架模型。

6.根据权利要求5所述的方法，其特征在于，所述第一正则化器为

，其中， 表示第一正则化器， 表示核范数， 表示所述无

云图像分量，  表示整形算子， 表示 的第 i 个奇异值；所述第二正则化器为 ，其中， 表示第二正则化器，表示云层分量，表示2,1范数，m表示空间分辨率的长度，n表示空间分辨率的宽度，t表示时间节点数，表示2范数。

7.根据权利要求4所述的方法，其特征在于，所述预设引导式深度解码器网络模型的输出结果为 ，其中， 表示所述无云图像分量，表示所述预设引导式深度解码器网络模型， 表示所述预设引导式深度解码器网络模型的网络参数，表示输入到所述预设引导式深度解码器网络模型中的随机张量。

8.一种自监督深度学习与模型方法相结合的云层去除装置，其特征在于，所述装置包括：获取模块，用于获取待处理的多时相遥感图像；其中，所述多时相遥感图像中包括无云图像分量及云层分量；

生成模块，用于将所述待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与所述待处理的多时相遥感图像对应的目标多时相遥感图像；其中，所述目标多时相遥感图像中仅包括所述无云图像分量，所述预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的，所述预设低秩结构稀疏分解框架模型是基于所述无云图像分量的第一物理特性及所述云层分量的第二物理特性得到的，所述第一物理特性用于表征所述无云图像分量呈下降趋势的奇异值特性，所述第二物理特性用于表征所述云层分量沿光谱维度的结构稀疏特性。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1‑7任一项所述的自监督深度学习与模型方法相结合的云层去除方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1‑7任一项所述的自监督深度学习与模型方法相结合的云层去除方法。

说明书

自监督深度学习与模型方法相结合的云层去除方法及装置

技术领域

[0001] 本申请涉及图像处理技术领域，尤其涉及自监督深度学习与模型方法相结合的云层去除方法及装置。

背景技术

[0002] 随着遥感技术和硬件设备的发展，如今我们可以获得具有更高空间、光谱和时间分辨率的光学遥感图像（Remote Sensing Image，简称RSI）。由于其丰富的空间、光谱和时间信息，RSI已被广泛应用于地球观测应用，如土地覆盖分类、目标检测和环境监测等。然而，受到成像设备和外部环境的影响，收集到的RSI不可避免地受到厚云的影响，这严重影响了下游应用，这使得获取高质量的RSI变得具有挑战性。因此，云去除成为光学遥感成像领域的紧迫问题。

[0003] 传统地，在进行云层去除时，通常是采用传统的深度学习方法来学习云层的多尺度特征，并且，只有在具有足够合适的训练数据的情况下，才能够有效地去除云层。因此，现有的云层去除方法存在灵活性较差的问题。

发明内容

[0004] 本申请旨在至少解决现有技术中存在的技术问题，为此，本申请第一方面提出一种自监督深度学习与模型方法相结合的云层去除方法，该方法包括：

[0005] 获取待处理的多时相遥感图像；其中，多时相遥感图像中包括无云图像分量及云层分量；

[0006] 将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像；其中，目标多时相遥感图像中仅包括无云图像分量，预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的，预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的，第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性，第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。

[0007] 在一种可能的实施方式中，将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像，包括：

[0008] 将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，通过预设辅助变量对预设低秩正则化自监督网络模型进行解耦处理，得到解耦模型；

[0009] 通过半二次分裂算法对解耦模型进行优化处理，生成目标多时相遥感图像。

[0010] 在一种可能的实施方式中，通过半二次分裂算法对解耦模型进行优化处理，生成目标多时相遥感图像，包括：

[0011] 通过半二次分裂算法对解耦模型中的预设辅助变量、云层分量、预设二进制云层掩码及预设引导式深度解码器网络模型的网络参数进行优化处理，生成目标多时相遥感图像。

[0012] 在一种可能的实施方式中，预设低秩正则化自监督网络模型的构建过程，包括：

[0013] 获取预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型；

[0014] 将预设引导式深度解码器网络模型的输出结果融合至预设低秩结构稀疏分解框架模型中，生成预设低秩正则化自监督网络模型。

[0015] 在一种可能的实施方式中，该方法还包括：

[0016] 获取预设的云层去除退化模型；

[0017] 采用最大后验概率算法对预设的云层去除退化模型进行转换处理，得到优化函数；其中，优化函数中包括描述第一物理特性的第一正则化器、及描述第二物理特征的第二正则化器；

[0018] 基于优化函数，生成预设低秩结构稀疏分解框架模型。

[0019] 在一种可能的实施方式中，第一正则化器为 ，其中，表示第一正则化器， 表示核范数，表示无云图像分量， 表示整形算子，
表示 的第 i 个奇异值；第二正则化器为 ，其中，
表示第二正则化器，表示云层分量， 表示2,1范数，m表示空间分辨率的长度，n表示空间分辨率的宽度，t表示时间节点数， 表示2范数。

[0020] 在一种可能的实施方式中，预设引导式深度解码器网络模型的输出结果为，其中， 表示无云图像分量，表示预设引导式深度解码器网络模型， 表示预设引导式深度解码器网络模型的网络参数，表示输入到预设引导式深度解码器网络模型中的随机张量。

[0021] 本申请第二方面提出一种自监督深度学习与模型方法相结合的云层去除装置，该装置包括：

[0022] 获取模块，用于获取待处理的多时相遥感图像；其中，多时相遥感图像中包括无云图像分量及云层分量；

[0023] 生成模块，用于将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像；其中，目标多时相遥感图像中仅包括无云图像分量，预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的，预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的，第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性，第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。

[0024] 在一种可能的实施方式中，上述生成模块具体用于：

[0025] 将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，通过预设辅助变量对预设低秩正则化自监督网络模型进行解耦处理，得到解耦模型；

[0026] 通过半二次分裂算法对解耦模型进行优化处理，生成目标多时相遥感图像。

[0027] 在一种可能的实施方式中，上述生成模块还用于：

[0028] 通过半二次分裂算法对解耦模型中的预设辅助变量、云层分量、预设二进制云层掩码及预设引导式深度解码器网络模型的网络参数进行优化处理，生成目标多时相遥感图像。

[0029] 在一种可能的实施方式中，上述自监督深度学习与模型方法相结合的云层去除装置还用于：

[0030] 获取预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型；

[0031] 将预设引导式深度解码器网络模型的输出结果融合至预设低秩结构稀疏分解框架模型中，生成预设低秩正则化自监督网络模型。

[0032] 在一种可能的实施方式中，上述自监督深度学习与模型方法相结合的云层去除装置还用于：

[0033] 获取预设的云层去除退化模型；

[0034] 采用最大后验概率算法对预设的云层去除退化模型进行转换处理，得到优化函数；其中，优化函数中包括描述第一物理特性的第一正则化器、及描述第二物理特征的第二正则化器；

[0035] 基于优化函数，生成预设低秩结构稀疏分解框架模型。

[0036] 在一种可能的实施方式中，第一正则化器为 ，其中，表示第一正则化器， 表示核范数，表示无云图像分量， 表示整形算子，
表示 的第 i 个奇异值；第二正则化器为 ，其中，
表示第二正则化器，表示云层分量， 表示2,1范数，m表示空间分辨率的长度，n表示空间分辨率的宽度，t表示时间节点数， 表示2范数。

[0037] 在一种可能的实施方式中，预设引导式深度解码器网络模型的输出结果为，其中， 表示无云图像分量，表示预设引导式深度解码器网络模型， 表示预设引导式深度解码器网络模型的网络参数，表示输入到预设引导式深度解码器网络模型中的随机张量。

[0038] 本申请第三方面提出一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的自监督深度学习与模型方法相结合的云层去除方法。

[0039] 本申请第四方面提出一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的自监督深度学习与模型方法相结合的云层去除方法。

[0040] 本申请实施例具有以下有益效果：

[0041] 本申请实施例提供的自监督深度学习与模型方法相结合的云层去除方法，该方法包括：获取待处理的多时相遥感图像，将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像，其中，目标多时相遥感图像中仅包括无云图像分量，预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的，预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的，第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性，第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。本方案通过预设低秩结构稀疏分解框架模型有效地探索了无云图像分量和云层分量的内在物理特性，提高了后续进行云层去除的准确性；另外，通过将基于自监督深度学习的预设引导式深度解码器网络模型捕捉到的深度先验集集成到预设低秩结构稀疏分解框架模型中，由于预设引导式深度解码器网络模型不需要外部训练数据，并采用自监督方法来优化网络参数，提高了进行云层去除的灵活性。

附图说明

[0042] 图1为本申请实施例提供的一种计算机设备的框图；

[0043] 图2为本申请实施例提供的一种自监督深度学习与模型方法相结合的云层去除方法的步骤流程图；

[0044] 图3为本申请实施例提供的一种构建预设低秩正则化自监督网络模型的步骤流程图；

[0045] 图4为本申请实施例提供的一种构建预设低秩结构稀疏分解框架模型的步骤流程图；

[0046] 图5为本申请实施例提供的一种无云图像分量在频谱‑时间维度上的奇异值分布的示意图；

[0047] 图6为本申请实施例提供的一种云层分量沿光谱维度展开后结构稀疏特性的示意图；

[0048] 图7为本申请实施例提供的一种生成目标多时相遥感图像的步骤流程图；

[0049] 图8为本申请实施例提供的一种自监督深度学习与模型方法相结合的云层去除方法的整体框架图；

[0050] 图9为本申请实施例提供的一种不同形状和覆盖范围的预设二进制云层掩码示意图；

[0051] 图10为本申请实施例提供的一种山地数据集上不同厚云去除方法的恢复结果示意图；

[0052] 图11为本申请实施例提供的一种城市数据集上不同厚云去除方法的恢复结果示意图；

[0053] 图12为本申请实施例提供的一种农场数据集上不同厚云去除方法的恢复结果示意图；

[0054] 图13为本申请实施例提供的一种在真实数据集上不同厚云去除方法的恢复结果示意图；

[0055] 图14为本申请实施例提供的自监督深度学习与模型方法相结合的云层去除装置的结构框图。

具体实施方式

[0056] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0057] 在进行云层去除时，迄今为止，已经提出了许多用于厚云去除的方法，它们可以大致分为两类：传统方法和深度学习方法。传统方法通过多步骤的过程或基于模型的优化模型来实现厚云去除，这些方法根据它们如何使用额外信息类型，分为空间方法、光谱方法和时间方法。空间方法主要用于单一遥感图像中的厚云去除，他们将厚云去除任务转化为图像修复。通过利用同一图像中相邻的无云层区域的空间细节，来重建云层覆盖区域的信息。

[0058] 神经网络的强大非线性拟合能力使深度学习成为图像处理领域的强大工具。因此，基于深度学习的方法广泛用于厚云去除，学习厚云遮挡图像与无云图像之间的非线性端到端映射。卷积神经网络（Convolutional Neural Network，简称CNN）通常被设计用于重建厚云层遮挡的区域。为了提高CNN的性能，生成对抗网络（Generative Adversarial Networks，GAN）被设计用于厚云去除。

[0059] 由于基于深度学习的方法能够有效学习云层的多尺度特征，因此在具有足够配对训练数据的情况下，它们可以实现比传统方法更好的效果。然而，现有的深度学习方法主要关注单一或多光谱图像的厚云去除，忽略了厚云含有多时序内在特征。此外，云层遮挡的精确探测对于结果具有重要影响，因此云层检测是一个关键的预处理步骤。此外，这些网络通常是为特定的数据和云层条件而设计的，这意味着它们可能不适用于分辨率、光谱波段数量或时间节点数量与训练数据不同的测试数据。

[0060] 因此，现有技术主要存在以下问题：1）忽视了遥感图像的物理特性；2）需要具有或不具有云层的成对图像或额外辅助图像，例如，合成孔径雷达；3）需要使用已知的云层掩码，但是现有技术识别云层掩码的准确性又较低。

[0061] 有鉴于此，本申请提出了一种自监督深度学习与模型方法相结合的云层去除方法及装置，通过预设低秩结构稀疏分解框架模型有效地探索了无云图像分量和云层分量的内在物理特性，提高了后续进行云层去除的准确性；另外，通过将基于自监督深度学习的预设引导式深度解码器网络模型捕捉到的深度先验集集成到预设低秩结构稀疏分解框架模型中，由于预设引导式深度解码器网络模型不需要外部训练数据，并采用自监督方法来优化网络参数，提高了进行云层去除的灵活性；同时，也不需要使用已知的云层掩码。

[0062] 以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。

[0063] 本申请提供的自监督深度学习与模型方法相结合的云层去除方法可以应用于计算机设备（电子设备）中，计算机设备可以是服务器，也可以是终端，其中，服务器可以为一台服务器也可以为由多台服务器组成的服务器集群，本申请实施例对此不作具体限定，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

[0064] 以计算机设备是服务器为例，图1示出了一种服务器的框图，如图1所示，服务器可以包括通过系统总线连接的处理器和存储器。其中，该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序以及数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种自监督深度学习与模型方法相结合的云层去除方法。

[0065] 本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，可选地服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0066] 需要说明的是，本申请实施例的执行主体可以是计算机设备，也可以是自监督深度学习与模型方法相结合的云层去除装置，下述方法实施例中就以计算机设备为执行主体进行说明。

[0067] 图2为本申请实施例提供的一种自监督深度学习与模型方法相结合的云层去除方法的步骤流程图。如图2所示，该方法包括以下步骤：

[0068] 步骤202、获取待处理的多时相遥感图像。

[0069] 其中，多时相遥感图像MRSI即为在不同时间获取到的同一区域的遥感图像，多时相遥感图像中可以包括无云图像分量及云层分量，获取到的多时相遥感图像可以为至少一张图像。

[0070] 另外，需要说明的是，这里的待处理的多时相遥感图像为预先通过卫星、雷达等设备采集并存储好的图像，从而在需要对采集到图像进行云层去除处理时，即可以直接获取到该待处理的多时相遥感图像。

[0071] 步骤204、将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像。

[0072] 其中，对待处理的多时相遥感图像进行云层去除处理后，可以得到目标多时相遥感图像，目标多时相遥感图像中仅包括无云图像分量。

[0073] 上述预设低秩正则化自监督网络模型（Low‑Rank Regularized Self‑Supervised Networ，简称LRRSSN）是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的，预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的。第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性，第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。

[0074] 在一些可选地实施例中，在构建预设低秩正则化自监督网络模型时，如图3所示，图3为本申请实施例提供的一种构建预设低秩正则化自监督网络模型的步骤流程图，包括：

[0075] 步骤302、获取预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型。

[0076] 步骤304、将预设引导式深度解码器网络模型的输出结果融合至预设低秩结构稀疏分解框架模型中，生成预设低秩正则化自监督网络模型。

[0077] 其中，预设低秩结构稀疏分解框架模型是一种数学模型，也需要预先构建。可选地，如图4所示，图4为本申请实施例提供的一种构建预设低秩结构稀疏分解框架模型的步骤流程图，包括：

[0078] 步骤402、获取预设的云层去除退化模型。

[0079] 步骤404、采用最大后验概率算法对预设的云层去除退化模型进行转换处理，得到优化函数。

[0080] 步骤406、基于优化函数，生成预设低秩结构稀疏分解框架模型。

[0081] 其中，在云层去除任务中，预设的云层去除退化模型可以由公式（1）表示。

[0082] （1）

[0083] 其中， 表示待处理的多时相遥感图像；m表示空间分辨率的长度；n表示空间分辨率的宽度；b表示光谱波段数；t表示时间节点数； 表示无云图像
分量； 表示云层分量； 表示预设二进制云层掩码，其中，0表示
厚云遮挡区域，1表示无云区域，  ⊙ 表示Hadamard乘积。

[0084] 从厚云遮挡的待处理的多时相遥感图像y中得到清晰图像即无云图像分量 的问题是一个不适定的问题。因此，需要合适的先验知识来对其进行正则化，以获得稳定的解决方案。可选地，可以先根据最大后验概率（Maximum a Posteriori，简称MAP）的原理，厚云去除问题可以转化为最小化以下优化函数。也即可以采用最大后验概率算法对预设的云层去除退化模型进行转换处理，得到如公式（2）所示的优化函数。

[0085] （2）

[0086] 其中，第一项表示数据保真项；λ1 和 λ2 分别表示正则化参数； 表示描述第一物理特性的第一正则化器； 表示描述第二物理特征的第二正则化器。

[0087] 上述第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性，由于待处理的多时相遥感图像是在不同时间节点从同一区域采集的，假设该区域内的地面物体特征在短时间内的变化很小，因此，无云图像分量在频谱‑时间维度上存在明显的高度相关性。为了证明这一特征，通过对 MRSI 中的无云图像成分的统计分布进行了定量分析，从而可以先对无云图像分量进行维度转化处理，从而便于后续分析，即可以把 重塑为。

[0088] 如图5所示，图5为本申请实施例提供的一种无云图像分量在频谱‑时间维度上的奇异值分布的示意图，其中的干净图像分量也即为无云图像分量，可以清楚地观察到图像分量的奇异值呈下降趋势，即具有低秩性，这表明无云图像分量具有很强的相关性。为了有效捕捉这种相关性，可以引入模型驱动的低秩先验来正则化图像分量，从而第一正则化器可以被设计为如公式（3）所示的形式。

[0089] （3）

[0090] 其中， 表示第一正则化器； 表示核范数； 表示无云图像分量； 表示整形算子，即可以把 重塑为 ； 表示 的第 i 个奇异值。

[0091] 上述第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性，通常情况下，成像区域内的云层会随着时间而变化。可以假设某个特定区域在某些时间节点被厚云遮盖，而在其他时间节点则没有云层遮挡。因此，厚云层仅遮挡待处理的多时相遥感图像中的部分区域，这意味着云层分量中大多数像素值为零或接近零，只有少数非零像素代表浓密云。从而可以引入稀疏先验来描述云层分量的特点。然而，稀疏性只考虑了稀疏元素的随机分布，忽略了光谱波段之间的内在结构。假设待处理的多时相遥感图像中的第 t 个时间节点受到浓密云层污染，那么厚云在该时间节点的同一位置遮挡了所有波段。因此，云层分量在每个时间节点沿光谱维度具有特殊的稀疏结构，为更好地理解这一特点，如图6所示，图6为本申请实施例提供的一种云层分量沿光谱维度展开后结构稀疏特性的示意图。

[0092] 很明显，展开矩阵具有显著的结构特征，每列的元素几乎都趋向于全为零或全为非零，具体地，请继续参考图6，云层分量沿光谱维度展开后的图像中看上去是由多条竖线组成的，每一条竖线也即每一列的像素值取值接近，每列的元素要么都趋近于零，要么都为非零。由于云区域的比例远小于无云区域，零列的数量远大于非零列的数量。特别是，类似条纹的列的位置就是浓密云的位置。受到这一观察的启发，引入了 范数来描述云组分沿光谱维度的结构稀疏特性，从而第二正则化器 可以被设计为如公式（4）所示的形式。

[0093] （4）

[0094] 其中， 表示第二正则化器；表示云层分量； 表示2,1范数； 表示2范数。

[0095] 从而，基于上述公式（2）至公式（4），可以得到预设低秩结构稀疏分解框架模型如公式（5）所示。

[0096] （5）

[0097] 由于云层分量和无云分量这两个物理特性，均是在大量的数据观察中统计出来的，但是它们只能反映数据的部分特点，就像是两个侧面，虽然这两个侧面在大多数情况下是有效的，但在某些情况下可能失效。比如当云层覆盖范围越大时，云层分量的稀疏性变弱，仅采用这两个特性构建的预设低秩结构稀疏分解框架模型，也即传统数学模型依然具有局限性。为了缓解上述问题，在传统数学模型的基础上引入深度网络，深度网络的作用在于从更抽象的层次上挖掘图像的特性，这种图像特性不是由我们手工来设计，我们更希望它能看到我们观察不到的侧面，从而使得该方法不完全依赖于图像的两个物理特性，能够适应更复杂的云层去除任务。

[0098] 换言之，上述预设低秩结构稀疏分解框架模型有效地探索了无云图像分量和云层分量的内在物理特性，并将解决空间限制在合理范围内，但是由于待处理的多时相遥感图像中的特征较为复杂，从而可以引入预设引导式深度解码器网络模型（Guided Deep Decode，简称GDD），由于GDD可以从引导图像中学习多尺度特征，然后将这些多尺度特征结合到深度解码器网络中，以指导图像重建。此外，GDD也不需要外部训练数据，并采用自监督方法来优化网络参数。

[0099] 受GDD的卓越性能和多时相遥感图像的物理特性的启发，从而可以利用GDD来学习无云图像分量的隐式深度先验，并且隐式深度先验假定无云图像分量为预设引导式深度解码器网络模型的输出结果，如公式（6）所示。另外，预设引导式深度解码器网络模型可以包括引导图像及随机张量两部分输入，引导图像通常为该预设引导式深度解码器网络模型上一次的输出结果，在第一次输入数据时，即输入的是待处理的多时相遥感图像；随机张量即为随机噪声图像。

[0100] （6）

[0101] 其中，表示无云图像分量，表示预设引导式深度解码器网络模型， 表示预设引导式深度解码器网络模型的网络参数，表示输入到预设引导式深度解码器网络模型中的随机张量。

[0102] 从而，可以将预设引导式深度解码器网络模型的输出结果融合至预设低秩结构稀疏分解框架模型中，即结合公式（5）和公式（6），可以得到预设低秩正则化自监督网络模型如公式（7）所示。

[0103] （7）

[0104] 在一些可选地实施例中，在构建完成预设低秩正则化自监督网络模型后，就可以将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像。可选地，如图7所示，图7为本申请实施例提供的一种生成目标多时相遥感图像的步骤流程图，包括：

[0105] 步骤702、将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，通过预设辅助变量对预设低秩正则化自监督网络模型进行解耦处理，得到解耦模型。

[0106] 步骤704、通过半二次分裂算法对解耦模型进行优化处理，生成目标多时相遥感图像。

[0107] 其中，为了便于求解公式（7），可以先引入预设辅助变量 ，从而求解公式（7）的问题可以被重写，即通过预设辅助变量对预设低秩正则化自监督网络模型进行解耦处理，得到解耦模型，如公式（8）所示。

[0108] （8）

[0109] 接着，可选地，可以通过半二次分裂算法（Half Quadratic Splitting，简称HQS）对解耦模型进行优化处理，生成目标多时相遥感图像。半二次分裂算法是一种用于解决无约束优化问题的优化算法，是一种常用的数值计算方法，主要用于求解非线性方程组，该算法的基本思想是将一个大问题分解为若干个小问题，从而更好地处理。也可以通过其他算法求解解耦模型，本申请实施例对此不作具体限定。

[0110] 可选地，可以通过半二次分裂算法对解耦模型中的预设辅助变量、云层分量、预设二进制云层掩码及预设引导式深度解码器网络模型的网络参数进行优化处理，生成目标多时相遥感图像。

[0111] 其中，基于半二次分裂算法，公式（8）的二次惩罚函数可以表示为公式（9）所示。

[0112] （9）

[0113] 其中，是惩罚参数。

[0114] 进而，可以将公式（9）的优化分解为多个子问题，即可以分别更新预设辅助变量、云层分量、预设二进制云层掩码及预设引导式深度解码器网络模型的网络参数。

[0115] 其中，在更新预设辅助变量 时， 的子问题可以表示为公式（10）。

[0116] （10）

[0117] 的闭式解可以通过奇异值阈值算子得到，即为公式（11）所示。

[0118] （11）

[0119] 其中， ； 。

[0120] 在更新云层分量 时，的子问题可以表示为公式（12）。

[0121] （12）

[0122] 该子问题可以通过软阈值算法解决，即可以通过公式（13）得到云层分量 。

[0123] （13）

[0124] 在更新预设二进制云层掩码 时，由于厚云的位置在云成分中具有相对较大的值，从而从待处理的多时相遥感图像中提取云层成分时，可使用简单的阈值方法来估算 。因此，预设二进制云层掩码 可以由以下阈值算子生成，如公式（14）所示。

[0125] （14）

[0126] 其中， 表示给定的阈值。

[0127] 在更新预设引导式深度解码器网络模型的网络参数 时， 的子问题可以表示为公式（15）。

[0128] （15）

[0129] 其中， 的子问题是一个二次最小化问题，可以采用多种梯度下降方法来解决，可选地，为了有效优化子问题，可以采用 Adam 算法作为优化器，基于该算法的具体优化过程可以参考现有技术，在此不再赘述。

[0130] 从而，可以得到预设引导式深度解码器网络模型的输入数据中的引导图像如公式（16）所示。

[0131] （16）

[0132] 其中， 表示第q个时间节点的权重，可以根据经验将无云时间节点的权重设置为1，有云时间节点的权重设置为0.1。

[0133] 经过上述优化处理后，可以得到一个近似于无云图像分量的参数，即为 ，从而为了保留待处理的多时相遥感图像中的无云区域的信息，基于该参数可以通过公式（17）得到仅包括无云图像分量的目标多时相遥感图像，这里的 取值为0。需要说明的是，在上述优化处理的过程中， 不断进行更新，从而对应有云区域上的值被更新为0，无云区域上的值保持为1，最终 可以较好的标记出云层出现的位置。

[0134] （17）

[0135] 本申请实施例中，通过将厚云去除问题视为图像分解问题，引入基于数学模型的预设低秩结构稀疏分解框架模型来捕捉无云图像分量的呈下降趋势的奇异值特性，同时云层分量利用基于数学模型的结构稀疏特性进行约束，在这一框架下，待处理的多时相遥感图像被分解成无云图像分量及云层分量，这两个分量被平等对待并完全解耦；另外，通过将基于自监督深度学习的预设引导式深度解码器网络模型捕捉到的深度先验集集成到预设低秩结构稀疏分解框架模型中，以提高数据表示能力；同时，通过半二次分裂算法框架，设计了一个高效的算法来优化多种参数，从而无云图像分量和云层分量可以交替迭代更新，这种迭代估计策略协同增强了两种分量，并且还设计了一个简单的阈值方法，基于迭代过程中提取的云层分量来估计预设二进制云层掩码，并且保留了无云区域的信息，以避免在最终重建图像中丢失信息。

[0136] 在一些实施例中，如图8所示，图8为本申请实施例提供的一种自监督深度学习与模型方法相结合的云层去除方法的整体框架图。其中，观测的多时相遥感图像即为待处理的多时相遥感图像，模型驱动的低秩性即为无云图像分量呈下降趋势的奇异值特性，模型驱动的结构稀疏性即为云层分量沿光谱维度的结构稀疏特性，数据驱动的自监督网络即为GDD网络，云层掩码估计即为估算预设二进制云层掩码 ，干净图像分量即为仅包括无云图像分量的目标多时相遥感图像。其中，在干净图像分量中，通过半二次分裂算法对解耦模型中的预设辅助变量、云层分量、预设二进制云层掩码及预设引导式深度解码器网络模型的网络参数进行交替更新。

[0137] 在一些实施例中，本申请还针对所构建的预设低秩正则化自监督网络模型在不同数据集下的表现进行了验证，即为了证明本申请提供的方法的灵活性，考虑了不同因素对厚云去除结果的影响，其中，在实验中设计了云覆盖率、时间节点数、光谱带数三种影响因素。

[0138] 其中，分别采用了山地数据集、城市数据集以及农场数据集。对于山地数据集，进行了不同的云覆盖来评估不同方法的性能，实验中考虑了三种不同的云覆盖率，包括15%～30%、30%～45%和45%～60%。由于真实场景中会存在无云时间节点，因此选择前三个时间段添加厚云，其余时间节点均为无云数据，并采用图9所示的不同云层覆盖率的掩码来生成厚云的污染图像，如图9所示，图9为本申请实施例提供的一种不同形状和覆盖范围的预设二进制云层掩码示意图。其中，A和B分别表示厚云位置和无云位置；掩码 1：云覆盖范围为 
15% 至 30%； 掩码 2‑(1‑3)：云覆盖范围为 30% 至 45%； 掩码3：云覆盖范围为 45% 至 
60%。

[0139] 在山地数据集上的实验结果如表1所示，表1为不同方法在山地数据集不同云层覆盖率条件下的定量比较结果，其中，最后一列为本申请所提供的方法对应的实验结果，观测图像为观测的多时相遥感图像，也即待处理的多时相遥感图像，对比的其他方法分别为高精度低秩张量补全方法（High accuracy Low Rank Tensor Completion，简称HaLRTC）、不精确近端梯度增广拉格朗日方法（Augmented Lagrangian Methodwith Inexact Proximal Gradients ，简称ALM‑IPG）、基于云/阴影检测引导的TV正则化低秩稀疏分解方法（TV regularized low‑rank sparsity decomposition，简称TVLRDC）、鲁棒的厚云/阴影去除方法（Robust Thick Cloud/shadow Removal，简称RTCR）、多时相方法（Multi‑Temporal，简称MT）以及马赛克方法Mosaicing。并且，表1中包括三种评估指标，分别为信噪比峰值（Peak Signal‑to‑Noise Ratio，简称PSNR）、结构相似性（Structural Similarity Index Measure，简称SSIM）和均方根误差（Root Mean Squared Error,简称RMSE）。

[0140] 可以看出，在所有评估指标中，本申请所提供的方法优于其他对比方法。由于所有厚云去除方法的质量都随着云覆盖的增加而下降，这表明大范围的云层遮挡情况下的恢复难度相对更大，本申请所提供的方法与RTCR相比显着改善，表明数据驱动的自监督网络的有效性。同时也优于自监督学习MT方法，这主要归功于模型驱动和数据驱动方法的结合。

[0141] 表1 不同方法在山地数据集不同云层覆盖率条件下的定量比较结果

[0142]

[0143] 为了进一步说明不同方法的重建质量，绘制了云层覆盖率为 30%   45% 条件下~山地数据集上不同厚云去除方法的恢复结果，如图10所示，图10为本申请实施例提供的一种山地数据集上不同厚云去除方法的恢复结果示意图，其中，图10中的（a）为观测的多时相遥感图像，（b）为参考恢复结果，（c）至（i）分别为HaLRTC、ALM‑IPG、TVLRDC、RTCR、MT、Mosaicing以及本申请的LRRSSN模型对应的一组恢复结果，且针对每一组恢复结果，从上至下依次为时间节点1、2、3对应的恢复结果。另外，为便于突出不同结果之间的差异，放大了图像中的小矩形框中区域，放大后的部分如图中大矩形框中所框出来的部分，这样便于从视觉上更好的对比不同方法的恢复效果差异。

[0144] 可以看到TVLRDC模糊了图像细节，而HaLRTC、ALM‑IPG、RTCR和MT在第一个时间节点存在光谱失真问题，其中，光谱失真指的是恢复的颜色不准确。 Mosaicing 方法会产生伪影，伪影指的是细节恢复不到位，例如，对于地面整齐排列的房屋，在恢复结果中变得歪斜。相比之下，所提出的LRRSSN能有效地去除厚云，同时重建精细的图像结构和细节。

[0145] 另外，在城市数据集中检查了时间节点数量的影响。通过改变 N = {3, 6, 9, 12} 集合中的时间节点，并添加 30% 到 45% 范围内的云覆盖率。为了模拟不同的云层遮挡图像，可以选择2N/3个时间节点，并从掩码 2（包括掩码 2‑1、掩码 2‑2、掩码 2‑3）中选择相应数量的掩码来添加厚云。例如，N=6时，选择的时间节点2N/3为4，此时也需要选择4个掩码来添加厚云，这4个掩码可以为掩码 2‑1中的三个掩码以及掩码 2‑2中的最上面的一个掩码。

[0146] 在城市数据集上的实验结果如表2所示，表2为不同方法在城市数据集上不同时间节点下不同方法的定量比较结果，其中，随着时间节点的增加，使用低秩正则化方法的结果逐渐改善，因为额外信息增加导致光谱‑时间相关性增强。其中，这里的额外信息指的是时间节点增加后，新增的图像信息。随着时间节点的增加，对于无云图像分量有更多沿时间维度的相似信息，使无云图像分量沿时间维度的低秩性加强。基于这种低秩特点的方法，恢复效果会随时间节点增加变得更好。然而，自监督式深度学习方法的定量结果在额外信息增加时并未改善，这表明缺乏模型驱动先验使它们未能充分利用额外信息。从表2中，可以看到我们的LRRSSN模型在不同情况下表现出色，进一步表明了耦合模型驱动和数据驱动方法的优势。

[0147] 表2不同方法在城市数据集上不同时间节点下不同方法的定量比较结果

[0148]

[0149] 为了进一步说明不同方法的重建质量，在城市数据集的N=6的时间节点上不同厚云去除方法的恢复结果，如图11所示，图11为本申请实施例提供的一种城市数据集上不同厚云去除方法的恢复结果示意图，其中，图11中的（a）为观测的多时相遥感图像，（b）为参考恢复结果，（c）至（i）分别为HaLRTC、ALM‑IPG、TVLRDC、RTCR、MT、Mosaicing以及本申请的LRRSSN模型对应的一组恢复结果，且针对每一组恢复结果，从上至下依次为时间节点1、2、3、4对应的恢复结果。这是由于N=6时，所选择的2N/3个时间节点即为前四个时间节点。另外，为便于突出不同结果之间的差异，放大了图像中的部分区域，如图中大矩形框中框出来的部分。

[0150] 对于农场数据集，验证了所提出的方法对于农田数据集上每个时间节点的不同数量的光谱带的鲁棒性，这些实验是在云覆盖率30% 45%的条件下进行的光谱带的数量从4到~10递增，步长为2。选择前3个时间节点添加厚云，并采用掩码 2‑1作为掩码。

[0151] 农场数据集的实验结果如表3所示，表3为在农场数据集上不同光谱波段数量下不同方法的定量比较结果。随着光谱波段数量逐渐增加，每种方法的性能并没有显示出显著的提升。这是因为浓厚的云层遮挡了所有光谱波段，增加光谱波段的数量会导致更大比例的云成分。可以观察到，本申请的LRRSSN模型在所有情况下均获得比所有对比方法更好的定量结果。此外，本申请的LRRSSN模型的结果几乎比TVLRDC高出5 dB，说明了自监督深度网络的优势。

[0152] 表3 在农场数据集上不同光谱波段数量下不同方法的定量比较结果

[0153]

[0154] 为了进一步说明不同方法的重建质量，在农场数据集上不同光谱波段数量下不同厚云去除方法的恢复结果，如图12所示，图12为本申请实施例提供的一种农场数据集上不同厚云去除方法的恢复结果示意图，其中，图12中的（a）为观测的多时相遥感图像，（b）为参考恢复结果，（c）至（i）分别为HaLRTC、ALM‑IPG、TVLRDC、RTCR、MT、Mosaicing以及本申请的LRRSSN模型对应的一组恢复结果，且针对每一组恢复结果，从上至下依次为时间节点1、2、3对应的恢复结果。另外，为便于突出不同结果之间的差异，放大了图像中的部分区域，如图中大矩形框中框出来的部分。

[0155] 上述实验过程均为模拟实验得到的结果，为了进一步展示本申请所提出方法的性能，还进行了真实厚云去除实验。真实数据集来源于SEM12MS‑CR‑TS数据集中的第112个ROI区域，该数据的尺寸为256×256×13×5，其中有四个时间节点受厚云和阴影的严重污染，如图13所示，图13为本申请实施例提供的一种在真实数据集上不同厚云去除方法的恢复结果示意图。其中，图13中的（a）为观测的多时相遥感图像，（b）为参考恢复结果，（c）至（i）分别为HaLRTC、ALM‑IPG、TVLRDC、RTCR、MT、Mosaicing以及本申请的LRRSSN模型对应的一组恢复结果，且针对每一组恢复结果，从上至下依次为时间节点1、2、3、4对应的恢复结果。

[0156] 可以看出，TVLRDC能够减小云层的厚度，但无法完全去除厚云并恢复原始图像。MT可以处理小尺寸的厚云，但难以解决大面积云层覆盖的时间节点。Mosaicing主要利用无云时间节点的信息来去除厚云。在提供准确掩码的情况下，HaLRTC、ALM‑IPG和RTCR可以实现厚云去除效果，但厚云与无云区域之间的边界呈现明显的伪影。相比之下，本申请所提出的LRRSSN模型不仅能恢复图像的精细细节，还能有效消除视觉伪影；此外，还能够在厚云区域与无云区域衔接处的亮度是一致的，使重建效果更加合理。

[0157] 本申请实施例提供的自监督深度学习与模型方法相结合的云层去除方法，该方法包括：获取待处理的多时相遥感图像，将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像，其中，目标多时相遥感图像中仅包括无云图像分量，预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的，预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的，第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性，第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。本方案通过预设低秩结构稀疏分解框架模型有效地探索了无云图像分量和云层分量的内在物理特性，提高了后续进行云层去除的准确性；另外，通过将基于自监督深度学习的预设引导式深度解码器网络模型捕捉到的深度先验集集成到预设低秩结构稀疏分解框架模型中，由于预设引导式深度解码器网络模型不需要外部训练数据，并采用自监督方法来优化网络参数，提高了进行云层去除的灵活性。

[0158] 应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

[0159] 图14为本申请实施例提供的一种自监督深度学习与模型方法相结合的云层去除装置的结构框图。

[0160] 如图14所示，该自监督深度学习与模型方法相结合的云层去除装置1400包括：

[0161] 获取模块1402，用于获取待处理的多时相遥感图像；其中，多时相遥感图像中包括无云图像分量及云层分量。

[0162] 生成模块1404，用于将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像；其中，目标多时相遥感图像中仅包括无云图像分量，预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的，预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的，第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性，第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。

[0163] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。上述自监督深度学习与模型方法相结合的云层去除装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块的操作。

[0164] 在本申请的一个实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

[0165] 获取待处理的多时相遥感图像；其中，多时相遥感图像中包括无云图像分量及云层分量；

[0166] 将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像；其中，目标多时相遥感图像中仅包括无云图像分量，预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的，预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的，第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性，第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。

[0167] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：

[0168] 将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，通过预设辅助变量对预设低秩正则化自监督网络模型进行解耦处理，得到解耦模型；

[0169] 通过半二次分裂算法对解耦模型进行优化处理，生成目标多时相遥感图像。

[0170] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：

[0171] 通过半二次分裂算法对解耦模型中的预设辅助变量、云层分量、预设二进制云层掩码及预设引导式深度解码器网络模型的网络参数进行优化处理，生成目标多时相遥感图像。

[0172] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：

[0173] 获取预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型；

[0174] 将预设引导式深度解码器网络模型的输出结果融合至预设低秩结构稀疏分解框架模型中，生成预设低秩正则化自监督网络模型。

[0175] 在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：

[0176] 获取预设的云层去除退化模型；

[0177] 采用最大后验概率算法对预设的云层去除退化模型进行转换处理，得到优化函数；其中，优化函数中包括描述第一物理特性的第一正则化器、及描述第二物理特征的第二正则化器；

[0178] 基于优化函数，生成预设低秩结构稀疏分解框架模型。

[0179] 在本申请的一个实施例中，第一正则化器为 ，其中，表示第一正则化器， 表示核范数，表示无云图像分量， 表示整形算子，
表示 的第 i 个奇异值；第二正则化器为 ，其中，
表示第二正则化器，表示云层分量， 表示2,1范数，m表示空间分辨率的长度，n表示空间分辨率的宽度，t表示时间节点数， 表示2范数。

[0180] 在本申请的一个实施例中，预设引导式深度解码器网络模型的输出结果为，其中， 表示无云图像分量，表示预设引导式深度解码器网络模型， 表示预设引导式深度解码器网络模型的网络参数，表示输入到预设引导式深度解码器网络模型中的随机张量。

[0181] 本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

[0182] 在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

[0183] 获取待处理的多时相遥感图像；其中，多时相遥感图像中包括无云图像分量及云层分量；

[0184] 将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，生成与待处理的多时相遥感图像对应的目标多时相遥感图像；其中，目标多时相遥感图像中仅包括无云图像分量，预设低秩正则化自监督网络模型是通过预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型得到的，预设低秩结构稀疏分解框架模型是基于无云图像分量的第一物理特性及云层分量的第二物理特性得到的，第一物理特性用于表征无云图像分量呈下降趋势的奇异值特性，第二物理特性用于表征云层分量沿光谱维度的结构稀疏特性。

[0185] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：

[0186] 将待处理的多时相遥感图像输入至预设低秩正则化自监督网络模型中进行处理，通过预设辅助变量对预设低秩正则化自监督网络模型进行解耦处理，得到解耦模型；

[0187] 通过半二次分裂算法对解耦模型进行优化处理，生成目标多时相遥感图像。

[0188] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：

[0189] 通过半二次分裂算法对解耦模型中的预设辅助变量、云层分量、预设二进制云层掩码及预设引导式深度解码器网络模型的网络参数进行优化处理，生成目标多时相遥感图像。

[0190] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：

[0191] 获取预设低秩结构稀疏分解框架模型及预设引导式深度解码器网络模型；

[0192] 将预设引导式深度解码器网络模型的输出结果融合至预设低秩结构稀疏分解框架模型中，生成预设低秩正则化自监督网络模型。

[0193] 在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：

[0194] 获取预设的云层去除退化模型；

[0195] 采用最大后验概率算法对预设的云层去除退化模型进行转换处理，得到优化函数；其中，优化函数中包括描述第一物理特性的第一正则化器、及描述第二物理特征的第二正则化器；

[0196] 基于优化函数，生成预设低秩结构稀疏分解框架模型。

[0197] 在本申请的一个实施例中，第一正则化器为 ，其中，表示第一正则化器， 表示核范数，表示无云图像分量， 表示整形算子，
表示 的第 i 个奇异值；第二正则化器为 ，其中，
表示第二正则化器，表示云层分量， 表示2,1范数，m表示空间分辨率的长度，n表示空间分辨率的宽度，t表示时间节点数， 表示2范数。

[0198] 在本申请的一个实施例中，预设引导式深度解码器网络模型的输出结果为，其中， 表示无云图像分量，表示预设引导式深度解码器网络模型， 表示预设引导式深度解码器网络模型的网络参数，表示输入到预设引导式深度解码器网络模型中的随机张量。

[0199] 本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

[0200] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM (PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

[0201] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

[0202] 应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。