一种基于优化算法结合残差网络的单幅图像除雨方法，属于计算机视觉应用技术领域。本方法使用交替方向乘子法ADMM求解雨天图像成像模型，并将残差网络和降噪算法嵌入ADMM框架中作为背景先验和雨先验进行迭代，将雨天拍摄的图像分成无雨清晰背景部分和雨迹部分。其中在残差网络中，使用合成雨图/清晰背景图像对作为训练集进行训练，用来描述图像背景先验。通过实验验证，使用嵌入残差网络的ADMM算法除雨结果的PSNR值高于其他除雨算法。另外，本发明也将其他已有的除雨算法嵌入ADMM除雨算法中作为背景先验迭代，得到的除雨效果也优于原算法本身的效果。
1.一种基于优化算法结合残差网络的单幅图像除雨方法，其特征在于，所述的方法使用ADMM算法求解图像除雨模型，并分别嵌入残差网络和降噪算法来替代图像背景先验和雨先验，迭代后将雨天拍摄的图像分成无雨清晰背景部分和雨迹部分；图像除雨模型求解的具体步骤如下：步骤一、将图像除雨问题建模为如下优化问题：
其中， 表示优化后的背景； 表示优化后的雨迹；O表示观察到的有雨图像，B表示待求的无雨清晰图像，R表示O与B的残差，即雨迹， 表示背景先验，Ψ(R)表示雨先验，F表示F-范数；
步骤二、引入两个临时变量P和Q，将公式(1)的无约束优化问题转变成如公式(2)的有约束优化问题：其中，表示优化后的临时变量P；表示优化后的临时变量Q；
其中，S，T表示对偶变量；ρB、ρR表示惩罚因子；
Sk+1＝Sk+(Bk+1-Pk+1) (7)Tk+1＝Tk+(Rk+1-Qk+1) (8)其中，k表示迭代的次数， 表示优化后的对偶变量；公式(4)表示去雨模型的迭代求解过程；公式(5)表示背景先验，背景先验描述雨天气图像中的清晰背景，结合残差网络具有描述特征的能力，可以通过训练一个从O到B的神经网络来代替公式(5)的迭代；公式(6)表示雨先验，雨迹本身非常稀疏，是接近0的，描述为 而 是一个包含部分背景噪声的雨图，所以公式(6)被当作一个降噪步骤；所以公式(5)和(6)分别被替换成如下公式：其中，H表示残差网络，Dσ表示基于导向滤波的降噪算法。
2.根据权利要求1所述的方法，其特征在于，所述步骤三中，通过神经网络得到背景先验，该网络的输入是有雨图像X，输出是清晰图像Y，目标函数定义为：其中，L表示神经网络的目标函数，N是训练图像的数目，i表示训练图像的编号，h(·)是残差网络，W和b是神经网络的权重和偏置项，基础的神经网络结构表达为：X1＝σ(BN(W1*X0+b1)),
X2m＝σ(BN(W2m*X2m-1+b2m)),
X2m+1＝σ(BN(W2m+1*X2m+b2m+1))+X2m-1,Yapprox＝BN(Wm*Xm-1+bm) (12)其中，m表示神经网络的每一层， 这里的M是神经网络的总层数；*表示卷积操作，BN(·)表示缓解内部协变量偏移的批量标准化函数，σ(·)表示ReLu函数，Yapprox表示标准化后的值；
对神经网络的第一层，使用大小为c×s1×s1×a1的滤波器来产生a1个特征图，s表示滤波器的尺寸，c表示图像的颜色通道，彩色图的颜色通道是3，灰度图的颜色通道是1；从第二层到第M-1层，滤波器的尺寸为a1×s2×s2×a2，对于网络的最后一层，使用大小为a2×s3×s3×c的滤波器来复原负残差。
一种基于优化算法结合残差网络的单幅图像除雨方法
技术领域
[0001] 本发明涉及计算机视觉领域，涉及一种基于优化算法结合残差网络的单幅图像除雨方法。
背景技术
[0002] 在雨天，雨迹对于图像和视频的影响往往是不希望看见的，雨迹会严重影响很多室外计算机视觉应用的性能，譬如监控系统和自动驾驶系统。雨滴从摄像机镜头前掉落或者流下会对图像造成阻挡，畸变和模糊，远距离的雨滴持续性的从镜头前掉落也会降低能见度，它影响能见度的原理和雾对图像能见度影响的原理类似，光线被空气中的水散射出去，产生出带着面纱的效果。图像增强和追踪等很多计算机视觉应用都需要一个有效的图像除雨方法。然而，当图像背景中物体的结构和方向都和图像中雨迹相同时，就很难在除去雨迹的同时保留图像背景自身的物体结构。
[0003] 现在已经有人提出了很多种方法来提升在有雨条件下拍摄照片的能见度，这些方法总体来说可以被分成两类：基于视频的图像除雨方法和基于单幅图像的除雨方法。
[0004] 基于视频的图像除雨方法比较简单，由于视频在时间域上有许多像素点冗余，所以可以很简单的从视频中找到并去除雨的痕迹。早期的除雨方法都是一些视频片段的雨迹检测和去除的方法。这些检测方法都基于两个假设条件：第一，由于雨滴是动态的，他们在一小段连续帧间的像素值变化非常大。第二，由于画面中的其他物体也有可能是动态变化的，可以通过使用验证条状像素值变化是否和背景的像素值变化呈线性相关的方法将动态变换的物体和雨迹进行区分。第二条限制条件可以减少将视频帧中的其他动态变化物体误当作雨滴进行处理的情况。从视频帧中检测到雨滴之后，可以通过对视频帧前后连续帧中的相应位置像素值中取平均值来替代原来检测出为雨滴的点的像素值的方式来去除视频帧中的雨迹。
[0005] 还有一部分是基于图像的除雨方法，对于单幅图像的除雨，比较新提出的一种方法是将输入图像分成低频部分(结构层)和高频部分(细节层)两部分进行除雨的方式。高频部分包括了雨迹和物体的边缘信息。这个方法尝试使用利用HOG特征的基于字典学习的稀疏表示方法将雨迹从高频部分分离出来。将图像的低频部分和分离后的高频部分的相结合的方式获得输出除雨的图像。尽管分解的想法很简洁，但是其设计的网络结构十分复杂，而且效果也不是十分理想。这种方式产生的结果都会由于高频部分的缺失使背景变得模糊。这个问题在采用相似想法的方法中都有体现。还有部分方法假设椭圆形，垂直方向的痕迹为雨滴并使用非线性的均值滤波方式来去除雨迹。这种方式对于部分雨迹的例子是有效果的，但是并不是所有雨滴的角度，比例和密度都是一样的，所以他对一些特定的雨迹识别效果非常差。
发明内容
[0006] 本发明提出了一种基于优化算法结合残差网络的单幅图像除雨方法，消除了雨天拍摄图像在视觉上的影响。本算法使用交替方向乘子法(ADMM算法)求解雨天图像成像模型，并将残差网络和降噪算法嵌入ADMM框架中作为背景先验和雨先验进行迭代，将雨天拍摄的图像分成无雨清晰背景部分和雨迹部分。其中在残差网络中，使用合成雨图/清晰背景图像对作为训练集进行训练，用来描述图像背景先验。通过实验验证，使用嵌入残差网络的ADMM算法除雨结果的PSNR(Peak Signal to Noise Ratio，峰值信噪比)值高于其他除雨算法。另外，本研究也尝试将其他已有的除雨算法嵌入ADMM算法中作为背景先验迭代，得到的除雨效果也优于原算法本身的效果。
[0007] 本发明采用的技术方案：
[0008] 一种基于优化算法结合残差网络的单幅图像除雨方法，使用ADMM算法求解图像除雨模型，并分别嵌入残差网络和降噪算法来替代图像背景先验和雨先验，迭代后将雨天拍摄的图像分成无雨清晰背景部分和雨迹部分。
[0009] 图像除雨模型求解的具体步骤如下：
[0010] 步骤一、本发明将图像除雨问题建模为如下优化问题:
[0011]
[0012] 其中，
[0013] 表示优化后的背景； 表示优化后的雨迹；O表示观察到的有雨图像，B表示待求的无雨清晰图像，R表示O与B的残差，即雨迹， 表示背景先验，R为代表残差的变量，Ψ(R)表示雨先验，F表示F-范数；
[0014] 步骤二、和标准图像恢复问题相比，有未知量B和R，所以要引入两个临时变量P和Q，将公式(1)的无约束优化问题转变成有约束优化问题。
[0015]
[0016] 其中，表示优化后的临时变量P；表示优化后的临时变量Q；
[0017] 步骤三、用ADMM算法求解有约束优化问题：
[0018] 首先求解公式(2)的拉格朗日方程：
[0019]
[0020] 其中，S，T表示对偶变量；ρB，ρR表示惩罚因子；
[0021] 公式(3)的迭代求解过程为：
[0022]
[0023]
[0024]
[0025] Sk+1＝Sk+(Bk+1-Pk+1) (7)
[0026] Tk+1＝Tk+(Rk+1-Qk+1) (8)
[0027] 其中，k表示迭代的次数， 表示优化后的对偶变量；ADMM算法的一个很重要的特性就是它迭代求解的模块化结构。公式(4)表示去雨模型的迭代求解过程；公式(5)表示背景先验，背景先验描述雨天气图像中的清晰背景，结合残差网络具有的强大描述特征的能力，可以通过训练一个从O到B的神经网络来代替公式(5)的迭代；公式(6)表示雨先验，通过观察可以得知，雨迹本身非常稀疏，是非常接近0的，描述为 而 是一个包含部分背景噪声的雨图，所以公式(6)就可以被当作一个降噪步骤；所以公式(5)和(6)可以分别被替换成如下的步骤：
[0028]
[0029]
[0030] 这里的H表示残差网络，Dσ表示基于导向滤波的降噪算法。在最后实验部分将会介绍，本研究也试着将其他天气除雨算法嵌入到ADMM算法中，替换公式(5)的背景先验，也取得了比原算法更好的实验效果。
[0031] 背景先验是通过神经网络得到，该网络的输入是有雨图像X，输出是清晰图像Y，目标函数定义为：
[0032]
[0033] 其中，L表示神经网络的目标函数，N是训练图像的数目，i表示训练图像的编号，h(·)是残差网络，W和b是需要被学习的神经网络参数，基础的神经网络结构可以被表达为：
[0034] X1＝σ(BN(W1*X0+b1)),
[0035] X2m＝σ(BN(W2m*X2m-1+b2m)),
[0036] X2m+1＝σ(BN(W2m+1*X2m+b2m+1))+X2m-1,
[0037] Yapprox＝BN(Wm*Xm-1+bm) (12)
[0038] 这里的m表示神经网络的每一层， M是神经网络的总层数。*表示卷积操作，W和b是神经网络权重和偏置项。BN(·)表示缓解内部协变量偏移的批量标准化函数，σ(·)表示ReLu函数，为了保持图像的空间信息，所有的卷积操作都被删除了，Yapprox表示标准化后的值。
[0039] 对神经网络的第一层，本算法使用大小为c×s1×s1×a1的滤波器来产生a1个特征图，s表示滤波器的尺寸，c表示图像的颜色通道，例如彩色图的颜色通道是3，灰度图的颜色通道是1。从第二层到第M-1层，滤波器的尺寸为a1×s2×s2×a2，对于神经网络的最后一层，本算法使用大小为a2×s3×s3×c的滤波器来复原负残差。
[0040] 本发明的有益效果：使用本发明的方法嵌入残差网络的ADMM算法除雨结果的PSNR值高于其他除雨算法。另外，也将其他已有的除雨算法嵌入ADMM除雨算法中作为背景先验迭代，得到的除雨效果也优于原算法本身的效果。
附图说明
[0041] 图1是本发明的方法工作流程图。
[0042] 图2是除雨结果示意图。其中，(a)为场景一的有雨图像，(b)为场景一的除雨结果图像，(c)为场景二的有雨图像，(d)为场景二的除雨结果图像，(e)为场景三的有雨图像，(f)为场景三的除雨结果图像。
[0043] 图3是其他网络在admm算法中迭代求解的结果，其中，(a)、(c)、(e)依次是迭代1，3，6轮的结果，(b)、(d)、(f)分别是(a)、(c)、(e)的局部放大图。从大楼窗口的细节中可以看出，随着迭代的深入，窗户竖直线条的细节被补充上来。
具体实施方式
[0044] 为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，对本发明做进一步详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
[0045] 本发明提出了一种基于残差网络和admm算法的图像除雨方法，该方法具体实施步骤：首先是训练残差网络，本算法将卷积神经网络的深度设置为26，使用权重衰减(weight decay)为10-10，势(momentum)为0.9的SGD算法来进行训练，每个训练块(batch)的大小为30。学习率初始化为0.0001，每10000轮训练衰减0.1，一共训练了10万轮。本算法将滤波器的大小设置为s1＝s2＝s3＝3，a1＝a2＝16，它们都在技术方案小节中被介绍过。更大的滤波器可以获取更多的结构化信息，并且可能提升潜在的实验结果，但是会影响网络的运算速度。在实验中发现，3×3大小的滤波器可以在不影响网络的运算速度的情况下最大限度的使网络的除雨效果最优，另外，本研究使用彩色图进行实验，所以将在技术方案小节中提到的滤波器的通道数c设为3。本算法将ADMM算法中的ρB和ρR全部初始化为1，每一轮使用ρB＝γB*ρB和ρR＝γR*ρR的方式进行更新，γB和γR分别为0.95和1。
