本发明公开了一种基于动态关联学习网络的图像去雨方法、系统及设备，包括雨水条纹移除和背景纹理重建的联合表达和优化，动态关联学习，双路径特征选择融合表达。在雨水条纹移除和背景纹理重建的联合表达和优化过程中，利用两阶段网络实现雨水建模和背景纹理重建。在动态关联学习过程中，利用预测的雨水分布作为先验知识辅助精确的背景纹理表达。在双路径特征选择融合表达过程中，利用原始分辨率分支和编解码分支分别学习全局结构和纹理，同时利用选择融合模块进行尺度间特征融合，实现高精度雨水去除和背景纹理重建。本发明有效利用潜在的雨水分布作为先验特征，动态地学习雨水移除和背景纹理修复之间的关联性，实现更高质量的背景纹理修复。
1.一种基于动态关联学习网络的图像去雨方法，其特征在于，包括以下步骤：
步骤1：利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
步骤2：将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用所述双路径特征选择融合网络的U‑型编解码分支来建模上下文的多尺度上下文特征；
步骤3：将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
步骤4：将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
步骤5：将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
所述动态关联学习网络，将预测的子空间雨水分布图像 和采样子空间去雨图像，以及原始带雨图像IRain输入到所述动态关联学习网络中，强化特征表达；首先，利用两个3×3卷积将 和 映射到特征空间，同时采用一个步长卷积对IRain进行采样，得到对应的初始化特征表达 ， 和 ；利用Softmax函数对雨水分布特征 进行归一化，使得每一个像素的全局融合权重矩阵的值都在0‑1之间，即 ；将获得的全局融合权重矩阵 与 进行矩阵乘法，提取背景图像纹理特征fti；随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息fti和采样子空间去雨图像的嵌入表达进行融合，得到增强后的背景纹理特征ffusion；
步骤6：将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
步骤7：将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
2.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤1中，通过线性采样算子对原始带雨图像进行多尺度采样，得到原始带雨图像的采样子图像，具体利用算式：；
其中，Linear(•)表示线性采样算子，IRain表示原始带雨图像，IRain,S表示用采样因子为n的线性采样算子获得的带雨采样子图像。
3.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤2中，所述双路径特征选择融合网络，由原始分辨率分支、U‑型编解码分支和特征选择融合模块SFB组成；
所述原始分辨率分支，包括若干残差通道注意力单元RCAB，通过残差级联的方式进行组合，用于分别渐进的提取全局空间结构特征；所述残差通道注意力单元RCAB包括两个3×
3的卷积强化特征表达层，两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达；
所述U‑型编解码分支，由六个stage模块组成，前三个stage模块用于编码，后三个stage模块用于解码；六个所述stage模块，均由采样层、残差通道注意单元RCAB和特征选择融合模块SFB组成；
所述特征选择融合模块SFB，包括深度分离卷积和注意力层，注意力层包括两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重。
4.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤3中，所述特征选择融合模块SFB，首先将两个特征通过级联融合，然后利用深度可分离卷积强化对空间局部特征纹理的学习，最后利用一个注意力单元进一步学习不同通道间的特征关联，强化特征融合。
5.根据权利要求4所述的基于动态关联学习网络的图像去雨方法，其特征在于：所述利用一个注意力单元进一步学习不同通道间的特征关联，具体实现过程是：首先，利用两个1×1卷积进行特征的映射嵌入表达，具体利用算式：
分别表示原始分支和编解码分支的雨水输出特征，将两个特征通过级联融合，利用深度可分离卷积 强化对空间局部特征纹理的学习，得到强化后的特征表达 ；
随后，利用Sigmoid函数对嵌入特征进行归一化，得到对应通道的全局描述子，将全局描述子映射到0‑1之间，得到对应的通道融合权重，具体利用算式：；
其中，x为嵌入特征，等同于 ， 表示通道融合权重；通过sigmoid函
数，对学习得到的通道融合权重进行放缩，使得每一个通道的融合权重值的值都在0‑1之间，即 ；
最后，将学习的融合权重作用于 特征，通过权重融合得到新的特征，并与原始的特征进行融合，获得强化后的特征表达zR，具体利用算式：。
6.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤4中，所述雨水分布重建层网络，利用3×3卷积将增强后的雨水全局融合特征zR映射回图像空间，得到子空间雨水分布图像 。
7.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤7中，所述背景纹理重建层，利用3×3的亚像素卷积将增强后特征zB映射回图像空间，并放缩到原始分辨率，加上采样子空间去雨图像的上采样版本 ，得到最终干净的无雨图像。
8.根据权利要求1‑7任意一项所述的基于动态关联学习网络的图像去雨方法，其特征在于：所述动态关联学习网络，是训练好的动态关联学习网络；具体训练过程包括以下步骤：（1）收集构建成对的雨水图像数据集，包括训练数据和测试数据；选取部分雨水图像数据Y，裁剪得到N×N大小的图像块，作为训练样本；其中，N为预设值；
（2）利用双线性采样对训练样本进行下采样，获得原始带雨图像的对应带雨采样子图像；将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用所述双路径特征选择融合网络的U‑型编解码分支来建模上下文的多尺度上下文特征；
（3）将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
（4）将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
（5）将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
（6）将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
（7）将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像；
（8）通过最小化步骤7中输出的无雨图像和原始干净图像，以及步骤4中输出的子空间无雨图像和原始干净子空间图像的余弦距离，优化提出的动态关联学习网络，获得训练好的动态关联学习网络；
其中，使用基于Charbonnier损失函数来约束子空间无雨图像尽可能逼近干净的下采样图像，同时也约束重建的原始分辨率无雨图像和原始干净样本图像保持一致的统计分布，实现动态关联学习的单张图像雨去除方法的优化；
其中， 和θ分别表示优化目标方程和参数，t表示生成的无雨图像与干净的样本图像的残差，y表示生成子空间的无雨图像与干净的图像的残差，其中补偿因子 。
9.一种基于动态关联学习网络的图像去雨系统，其特征在于，包括以下模块：
模块1，用于利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
模块2，用于将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用所述双路径特征选择融合网络的U‑型编解码分支来建模上下文的多尺度上下文特征；
模块3，用于将模块2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
模块4，用于将模块3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从模块1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
模块5，用于将模块4中预测的采样子空间雨水分布图像和得到的子空间去雨图像，以及模块1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
所述动态关联学习网络，将预测的子空间雨水分布图像 和采样子空间去雨图像，以及原始带雨图像IRain输入到所述动态关联学习网络中，强化特征表达；首先，利用两个3×3卷积将 和 映射到特征空间，同时采用一个步长卷积对IRain进行采样，得到对应的初始化特征表达 ， 和 ；利用Softmax函数对雨水分布特征 进行归一化，使得每一个像素的全局融合权重矩阵的值都在0‑1之间，即 ；将获得的全局融合权重矩阵 与 进行矩阵乘法，提取背景图像纹理特征fti；随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息fti和采样子空间去雨图像的嵌入表达进行融合，得到增强后的背景纹理特征ffusion；
模块6，用于将模块5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复模块2和模块3的操作，获得强化后的背景纹理全局融合特征；
模块7，用于将模块6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
10.一种基于动态关联学习网络的图像去雨设备，其特征在于，包括：
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的基于动态关联学习网络的图像去雨方法。
一种基于动态关联学习网络的图像去雨方法、系统及设备
技术领域
[0001] 本发明属于人工智能技术领域，涉及一种图像去雨方法、系统及设备，具体涉及一种基于动态关联学习网络的图像去雨方法、系统及设备。
背景技术
[0002] 雨天场景下图像质量会受到不同程度的干扰，包括图像内容遮挡，亮度变化，对比度失真等，极大影响图像内容的可读性和辨识度，给人们的日常生活以及下游高层次视觉任务带来了极大的障碍。因此，单张图像雨条纹移除是一项改善图像视觉体验的基本处理，也是许多计算机视觉任务（如分割、检测、跟踪、识别、分类等等）的重要预处理过程。
[0003] 由于深度卷积神经网络（CNN）在图像处理领域取得了较好的成果，近年来，基于深度学习的图像去雨方法被相继提出并得到了迅速发展。2017年，Fu等最先构建一个三层的CNN来同时评估雨条纹和进行图像去雨。2018年，Zhang等通过考虑雨条纹的密度信息，提出了一个多任务的深度神经网络实现雨条纹密度的评估和移除。2019年，Yang等人提出了多阶段的循环神经网络，通过阶段性的去雨实现图像复原，降低了去雨难度。
[0004] 现有基于深度学习的单张图像去雨模型利用卷积神经网络，直接建模雨水图像中的雨水分布，通过从原始输入中减去雨水分布，得到对应的去雨图像。这种方式虽然可以去除大部分的雨条纹，但依然存在明显的雨水残留；更重要地是，由于没有考虑雨水扰动对背景内容的影响，导致结果图像出现纹理缺失、亮度变化和对比度失真等缺陷，无法维护背景纹理内容的保真度。
发明内容
[0005] 为了解决上述技术问题，本发明提供了一种基于动态关联学习网络的图像去雨方法、系统及设备。
[0006] 本发明的方法所采用的技术方案是：一种基于动态关联学习网络的图像去雨方法，包括以下步骤：
[0007] 步骤1：利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
[0008] 步骤2：将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用所述双路径特征选择融合网络的U‑型编解码分支来建模上下文的多尺度上下文特征；
[0009] 步骤3：将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
[0010] 步骤4：将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
[0011] 步骤5：将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
[0012] 所述动态关联学习网络，将预测的子空间雨水分布图像 和采样子空间去雨图像 ，以及原始带雨图像IRain输入到所述动态关联学习网络中，强化特征表达；首先，利用两个3×3卷积将 和 映射到特征空间，同时采用一个步长卷积对IRain进行采样，具体利用算式：
[0013] ；
[0014] 其中，WR,S和WB,S表示3×3卷积核参数，WRain表示步长卷积的参数，得到对应的初始化特征表达 ， 和 ；利用Softmax函数对雨水分布特征 进行归一化，将全局融合权重值映射到0‑1之间，具体利用算式：
[0015] ；
[0016] 其中，C(x)为归一化函数， 表示全局融合权重矩阵；通过Softmax函数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值都在0‑1之间，即 ；
[0017] 将获得的全局融合权重矩阵 与 进行矩阵乘法，提取背景图像纹理特征，具体利用算式：
[0018] ；
[0019] 随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息fti和采样子空间去雨图像的嵌入表达 进行融合，得到增强后的背景纹理特征ffusion；
[0020] 步骤6：将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
[0021] 步骤7：将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
[0022] 本发明的系统所采用的技术方案是：一种基于动态关联学习网络的图像去雨系统，包括以下模块：
[0023] 模块1，用于利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
[0024] 模块2，用于将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用所述双路径特征选择融合网络的U‑型编解码分支来建模上下文的多尺度上下文特征；
[0025] 模块3，用于将模块2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
[0026] 模块4，用于将模块3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从模块1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
[0027] 模块5，用于将模块4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及模块1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入雨水图像原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
[0028] 所述动态关联学习网络，将预测的子空间雨水分布图像 和采样子空间去雨图像 ，以及原始带雨图像IRain输入到所述动态关联学习网络中，强化特征表达；首先，利用两个3×3卷积将 和 映射到特征空间，同时采用一个步长卷积对IRain进行采样，具体利用算式：
[0029] ；
[0030] 其中，WR,S和WB,S表示3×3卷积核参数，WRain表示步长卷积的参数，得到对应的初始化特征表达 ， 和 ；利用Softmax函数对雨水分布特征 进行归一化，将全局融合权重值映射到0‑1之间，具体利用算式：
[0031] ；
[0032] 其中，C(x)为归一化函数， 表示全局融合权重矩阵；通过Softmax函数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值都在0‑1之间，即 ；
[0033] 将获得的全局融合权重矩阵 与 进行矩阵乘法，提取背景图像纹理特征，具体利用算式：
[0034] ；
[0035] 随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息fti和子空间去雨图像的嵌入表达 进行融合，得到增强后的背景纹理特征ffusion；
[0036] 模块6，用于将模块5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复模块2和模块3的操作，获得强化后的背景纹理全局融合特征；
[0037] 模块7，用于将模块6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
[0038] 本发明的设备所采用的技术方案是：一种基于动态关联学习网络的图像去雨设备，包括：
[0039] 一个或多个处理器；
[0040] 存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于动态关联学习网络的图像去雨方法。
[0041] 本发明公开了一种动态关联学习的图像去雨方法，包括雨水条纹移除和背景纹理重建的联合表达和优化，雨水条纹和背景纹理的动态关联学习，双路径特征选择融合表达。本发明通过联合雨水去除和背景纹理重建，利用预测的雨水分布作为辅助先验信息，提供图像降质区域的位置和强度，因而可以实现精度更高的背景纹理修复。
附图说明
[0042] 图1本发明实施例的框架图。
[0043] 图2本发明实施例构建的双路径特征融合网络结构图。
[0044] 图3本发明实施例构建的关联学习模块结构图。
具体实施方式
[0045] 为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
[0046] 请见图1，本发明提供的一种基于动态关联学习网络的图像去雨方法，包括以下步骤：
[0047] 步骤1：利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
[0048] 本实施例中，通过线性采样算子对带雨图像块进行多尺度采样，得到原始带雨图像的采样子图像，具体利用算式：
[0049] ；
[0050] 其中，Linear(•)表示线性采样算子，IRain表示原始带雨图像，IRain,S表示用采样因子为n的线性采样算子获得的带雨采样子图像。
[0051] 步骤2：将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用双路径特征选择融合网络的U‑型编解码分支来建模上下文的多尺度上下文特征关联；
[0052] 请见图2，本实施例的双路径特征选择融合网络，由原始分辨率分支、U‑型编解码分支和特征选择融合模块SFB组成；
[0053] 原始分辨率分支，包括若干残差通道注意力单元RCAB，通过残差级联的方式进行组合，用于分别渐进的提取全局空间结构特征；所述残差通道注意力单元RCAB包括两个3×3的卷积强化特征表达层，两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达；
[0054] U‑型编解码分支，由六个stage模块组成，前三个stage模块用于编码，后三个stage模块用于解码；六个stage模块，均由采样层、残差通道注意单元RCAB和选择融合模块SFB组成；
[0055] 特征选择融合模块SFB，包括深度分离卷积和注意力层，注意力层包括两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重。
[0056] 本实施例中，首先利用1个1×1卷积将输入带雨子图像从图像空间映射到特征空间，得到对应的初始特征fR,S，随后采用一个原始分辨率分支从fR,S中提取空间结构特征和一个编解码分支提取上下文尺度特征，具体利用算式：
[0057] ；
[0058] 其中， 分别表示利用原始分辨率分支网络 和编解码分支网络从原始输入特征中提取的空间和上下文尺度特征，具体的网络结构可参考附图2。
[0059] 请见图2，本实施例构建的双路径特征选择融合网络，主要作用包含三部分，原始分辨率分支实现空间结构表达，编解码分支实现上下文尺度特征学习和特征的选择融合；第一部分是将初始化特征输入到原始分辨率分支中，其中有多个（5个）残差通道注意力单元(RCAB(residual channel attention block))分别渐进的提取空间结构特征，具体来讲，一个基础的残差通道注意力模块包括两个3×3的卷积强化特征表达，另外应用两个1×
1的卷积来调整通道数，并通过全局池化层和Sigmoid函数学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达。第二部分利用U‑型的编解码结构学习上下文尺度纹理特征关联。编解码结构总共包含六个阶段，前三个阶段构成编码器，剩下的三个阶段表示解码器部分。每个阶段采用类似的架构，包括采样层、残差通道注意单元和选择融合模块(SFB(selective fusion block))。不同于其他方法使用步长或转置卷积来重新缩放特征的空间分辨率，本方法采用双线性插值采样，然后应用1×1卷积层来减少棋盘效应和模型参数，上述具体的计算和操作过程可参考步骤3和4。第三部分主要是包括对全局结构特征和上下文尺度特征的选择融合；为了强化输入信息的空间维度融合，引入深度分离卷积强化对局部纹理的特征表达，同时引入通道注意力单元自适应地实现通道间特征融合，实现对输入特征空间、通道渐进融合表达，并输出增强后的纹理特征；
[0060] 步骤3：将步骤2中得到的全局空间结构特征和多尺度上下文特征输入特征选择融合网络，获得强化后的雨水全局融合特征；
[0061] 本实施例的特征选择融合模块SFB，首先将两个特征通过级联融合，然后利用深度可分离卷积强化对空间局部特征纹理的学习，最后利用一个注意力单元进一步学习不同通道间的特征关联，强化特征融合。
[0062] 本实施例，首先将两个特征通过级联融合，利用深度可分离卷积 强化对空间局部特征纹理的学习，得到强化后的特征表达 ，具体利用算式：
[0063] ；
[0064] 其中， 分别表示原始分支和编解码分支的雨水输出特征。随后，利用一个通道注意力单元进一步学习不同通道间的特征关联，进一步强化特征融合。首先，利用两个1×1卷积进行特征的映射嵌入表达，具体利用算式：
[0065] ；
[0066] 其中， 和 表示1×1卷积核参数； ；其中，分别表示原始分支和编解码分支的雨水输出特征，将两个特征通过级联融合，利用深度可分离卷积 强化对空间局部特征纹理的学习，得到强化后的特征表达；
[0067] 接着，利用Sigmoid函数对嵌入特征进行归一化，得到对应通道的全局描述子，将全局描述子映射到0‑1之间，得到对应的通道融合权重，具体利用算式：
[0068] ；
[0069] 其中，x为嵌入特征，等同于 ， 表示通道融合权重；通过sigmoid函数，对学习得到的通道融合权重进行放缩，使得每一个通道的融合权重值的值都在0‑1之间，即 ；
[0070] 最后，将学习的融合权重作用于 特征，通过权重融合得到新的特征，并与原始的 特征进行融合，获得强化后的特征表达zR，具体利用算式：
[0071] 。
[0072] 步骤4：将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
[0073] 本实施例中，利用3×3卷积将增强后特征zR映射回图像空间，得到子空间雨水分布图象 ，同时从原始带雨图像的采样子图像 中减去 ，得到对应的子空间去雨图像 ，具体利用算式：
[0074] 。
[0075] 步骤5：将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
[0076] 请见图3，本实施例构建的动态关联学习网络，主要作用包含三部分，特征初始化，降质掩膜生成，背景纹理信息提取和融合；第一部分是利用3×3卷积对 和 进行特征嵌入表达，得到初始化特征，同时采用3×3步长为2卷积对原始带雨图像进行特征提取和空间采样。第二部分，通过Softmax归一化函数对雨水分布特征进行归一化处理，从 中学习全局的雨水分布掩膜。具体来讲，它由一个初始卷积层和一个瓶颈单元组成，用于将预测的雨水分布映射得到掩膜矩阵。紧跟着一个Softmax算子，将掩膜矩阵归一化到[0，1.0]之间，便可以得到雨水图像的降质分布权重掩膜图，表示为输入雨水图像中的降质位置和强度。第三部分，利用第二部分的雨水先验知识（包括雨条纹的位置和密度），通过像素点乘的方法可以从原始带雨图像IRain的嵌入表示中提取无雨区域的纹理信息fti，并通过一个选择融合模块和子空间背景纹理的初始化特征 进行融合，实现高精度的背景纹理重建过程。
[0077] 本实施例的动态关联学习网络，将预测的子空间雨水分布图像 和采样子空间去雨图像 ，以及原始带雨图像IRain输入到动态关联学习网络中，强化特征表达；首先，利用两个3×3卷积将 和 映射到特征空间，同时采用一个步长卷积对IRain进行采样，具体利用算式：
[0078] ；
[0079] 其中，WR,S和WB,S表示3×3卷积核参数，WRain表示步长卷积的参数，得到对应的初始化特征表达 ， 和 ；利用Softmax函数对雨水分布特征 进行归一化，将全局融合权重值映射到0‑1之间，具体利用算式：
[0080] ；
[0081] 其中，C(x)为归一化函数， 表示全局融合权重矩阵；通过Softmax函数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值都在0‑1之间，即 ；
[0082] 将获得的全局融合权重矩阵 与 进行矩阵乘法，提取背景图像纹理特征，具体利用算式：
[0083] ；
[0084] 随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息fti和采样子空间去雨图像的嵌入表达 进行融合，具体细节等同于步骤4，得到增强后的背景纹理特征ffusion；
[0085] 步骤6：将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
[0086] 本实施例中，第二阶段将获得的增强后的背景纹理特征ffusion输入到一个双路径选择融合网络，获得强化后的背景纹理全局融合特征。首先。采用一个原始分辨率分支从ffusion中提取空间结构特征和一个编解码分支提取上下文尺度特征，具体利用算式：
[0087] ；
[0088] 其中， 和 分别表示利用原始分辨率分支网络 和编解码分支网络从增强后的背景纹理特征中提取的空间和上下文尺度特征，具体的网络结构可参考附图2。
[0089] 将 和 两个特征通过级联融合，利用深度可分离卷积强化对空间局部特征纹理的学习，具体利用算式：
[0090] ；
[0091] 随后，利用一个通道注意力单元进一步学习不同通道间的特征关联，强化特征融合。首先，利用两个1×1卷积进行特征的映射嵌入表达，具体利用算式：
[0092] ；
[0093] 其中， 和 表示1×1卷积核参数。
[0094] 随后，利用Sigmoid函数对嵌入特征进行归一化，得到对应通道的全局描述子，将全局描述子映射到0‑1之间，得到对应的通道融合权重，具体利用算式：
[0095] ；
[0096] 其中，x为嵌入特征，等同于 ， 表示通道融合权重；通过sigmoid函数，对学习得到的通道融合权重进行放缩，使得每一个通道的融合权重值的值都在0‑1之间，即 ；
[0097] 最后，将学习的融合权重作用于 特征，通过权重引导特征融合得到新的特征，并与原始的 特征进行融合，获得强化后的特征表达zR，具体利用算式：
[0098] 。
[0099] 步骤7：将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
[0100] 本实施例中，利用3×3的亚像素卷积将增强后特征zB映射回图像空间，并放缩到原始分辨率，加上采样子空间去雨图像的上采样版本 ，得到最终干净的无雨图像 ，具体利用算式：
[0101] 。
[0102] 本实施例采用的动态关联学习网络，是训练好的动态关联学习网络；具体训练过程包括以下步骤：
[0103] （1）收集构建成对的雨水图像数据集，包括训练数据和测试数据；选取部分雨水图像数据Y，裁剪得到N×N大小的图像块，作为训练样本；其中，N为预设值；
[0104] （2）利用双线性采样对训练样本进行下采样，获得原始带雨图像的对应带雨采样子图像；将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用双路径特征选择融合网络的U‑型编解码分支来建模上下文的多尺度上下文特征；
[0105] （3）将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
[0106] （4）将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
[0107] （5）将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
[0108] （6）将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
[0109] （7）将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像；
[0110] （8）通过最小化步骤7中输出的无雨图像和原始干净图像，以及步骤4中输出的子空间无雨图像和原始干净子空间图像的余弦距离，优化提出的动态关联学习网络，获得训练好的动态关联学习网络；
[0111] 本实施例中，使用基于Charbonnier损失函数来约束第一阶段网络生成的子空间无雨图像尽可能逼近干净的下采样图像，同时也约束第二阶段重建的原始分辨率无雨图像和原始干净图像保持一致的统计分布，实现动态关联学习的单张图像雨去除方法的优化；Charbonnier损失函数作为L1范数的一个变体，通过加入了补偿项使训练过程更加稳定，同时避免生成的结果过于平滑；
[0112] ；
[0113] 其中， 和θ分别表示优化目标方程和参数，t表示生成的无雨图像与干净的样本图像的残差，y表示生成子空间的无雨图像与干净的图像的残差，其中补偿因子 。
[0114] 与早期基于深度学习和加性模型的去雨方法相比，该方法重新将图像去雨任务定义为雨水移除和背景纹理修复的组合问题，提出两者的联合表达和优化；同时利用预测雨水分布作为先验知识，提出雨水移除和背景纹理修复的关联学习机制，实现两者的动态联合表达，以取得高精度和高质量的背景修复效果。
[0115] 应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
