基于图像去雨算法的视频编码方法

摘要

本发明公开了一种基于图像去雨算法的视频编码方法，包括：预先建立结合了对偶交叉和生成对抗卷积神经网络的去雨神经网络模型，并利用制作的有雨图像对去雨神经网络模型进行训练；对于新输入的原始有雨视频，利用训练好的去雨神经网络模型进行图像去雨操作，获得无雨视频及相应的雨滴方向和强度；由编码端对无雨视频进行编码，生成比特流，再将雨滴方向和强度作为边信息与比特流一同发送至解码端。该方法能够在保留背景图像的信息的基础上最大程度上地去除雨线，从而使得后续的视频压缩变得高效。

权利要求

1.一种基于图像去雨算法的视频编码方法，其特征在于，包括：

预先建立结合了对偶交叉和生成对抗卷积神经网络的去雨神经网络模型，并利用制作的有雨图像对去雨神经网络模型进行训练；

对于新输入的原始有雨视频，利用训练好的去雨神经网络模型对原始有雨视频中每一视频帧进行图像去雨操作，获得无雨视频及相应的雨滴方向和强度；

由编码端对无雨视频进行编码，生成比特流，再将雨滴方向和强度作为边信息与比特流一同发送至解码端。

2.根据权利要求1所述的一种基于图像去雨算法的视频编码方法，其特征在于，所述利用制作的有雨图像对去雨神经网络模型进行训练包括：通过对无雨图像添加有雨效果，形成相应的有雨图像，利用无雨图像及对应的有雨图像构建图像训练库，利用图像训练库对去雨神经网络模型进行训练；

训练时，从图像数据库中取一定尺寸大小的有雨及无雨图像块对作为一对训练样本对去雨神经网络模型进行训练，训练过程包括前向传导过程、反向传导过程和卷积核更新过程。

3.根据权利要求2所述的一种基于图像去雨算法的视频编码方法，其特征在于，训练过程中的前向传导过程包括：有雨及无雨图像块对中，无雨图像块作为标签，有雨图像块作为生成器的输入；

将有雨图像块输入至两个独立的生成器，即生成器-R、生成器-B之前，先进行信号分解，再分别同时输入到生成器-R、生成器-B；在这一阶段，生成器-B得到无雨图像 生成器-R得到雨线图之后，以一种交叉对偶的方式再输入到对应的生成器中，使其回归到与之前相反的结果，即：将输入的有雨图像块与生成器-R产生的雨线图 做一次减法，得到二者的残差图，再输入至生成器-B；将输入的有雨图像块与生成器-B产生的无雨图像 做一次减法，得到二者的残差图，再输入至生成器-R，通过两个生成器再次得到新的无雨图像 与新的雨线图 即在这一阶段生成器-B得到新的无雨图像 生成器-R得到新的雨线图其中的无雨图像 与 将被一同送入到判别器中，由判别器判断无雨图像 与 相对于无雨图像块的真伪程度，从而促进生成器的收敛，从而确定最终得到的去雨图像为无雨图像 或 或者二者融合结果。

4.根据权利要求1所述的一种基于图像去雨算法的视频编码方法，其特征在于，在测试阶段，新输入的原始有雨视频的每一视频帧将逐一输入至训练好的去雨神经网络模型中，最终得到无雨图像及相应的雨线图；同时，根据雨线图确定雨滴方向和强度。

5.根据权利要求1或4所述的一种基于图像去雨算法的视频编码方法，其特征在于，利用5个bit位来表示雨滴方向和强度：一个bit位表示雨滴强度；其余四个bit位表示雨滴方向，设定雨滴方向有11种，分别对应时钟15：30至20：30中相邻方向间隔30分钟的时针指向。

6.根据权利要求1所述的一种基于图像去雨算法的视频编码方法，其特征在于，由解码端结合接收到的比特流和相应的边信息，对解码获得的无雨视频进行加雨操作，从而恢复出原始有雨视频。

说明书

基于图像去雨算法的视频编码方法

技术领域

[0001] 本发明涉及视频编码、深度学习技术领域，尤其涉及一种基于图像去雨算法的视频编码方法。

背景技术

[0002] a)视频编码

[0003] 随着技术的发展，互联网的带宽在增大，单位时间能传输更多的数据。但另一方面，随着手持设备的普及和摄像头分辨率的增大，互联网上的图像数据以远超过带宽增大的速度增涨着。为了能高效地传输和存储图像，视频编码一直是一个非常重要的研究领域。

[0004] 由于视频中广泛存在雨天场景，特别是从监控摄像中获得的视频序列。当存在雨滴的视频帧被编码，雨滴强度剧烈变化以及不均匀会导致传统视频编码框架在运动估计时无法找到一个匹配良好的参考匹配块，会导致编码效率的急剧下降。

[0005] b)图像去雨算法

[0006] 现有的图像去雨方法，主要分为基于字典学习的方法(Kang L W,Lin C W,Fu Y H.Automatic single-image-based rain streaks removal via image decomposition[J].IEEE Transactions on Image Processing,2012,21(4):1742-1755.)和运用引导滤波等滤波器通过滤波的方法(He K,Sun J,Tang X.Guided image filtering[C]//European conference on computer vision.Springer,Berlin,Heidelberg,2010:1-14.)。

[0007] 基于字典学习的方法认为雨线及背景边缘是属于不同的结构，它们应该通过不同的字典进行表示，以此来区分该边缘是否属于雨线进行去雨。但在现实生活中，雨线与某些背景边缘的方向颜色等特性有时会产生重叠。该类方法随后在字典分离步骤中，虽然通过不断引入新的特征来增加字典分类的区分度，在一定程度上将准确率提高了，但同时算法的复杂度也相应地提高，实时性降低，耗时较长，很难应用于实际工程中。

[0008] 运用引导滤波等滤波器进行去雨，相当于将去雨问题回归到去噪问题。现在虽然已经有许多的保边滤波器，如常用的双边滤波器、引导滤波等。但是对于直接去雨这个任务来说，传统的滤波器都不能达到理想的效果。因为它们只能考虑到较小的局部邻域信息。而在较小的局部窗口内，雨线和边缘的结构区分度不够高，更容易相似，因此不能很好地区分它们，处理结果常在清晰度与去雨间折中，无法在去除雨线的同时很好地保留背景图像的信息。

发明内容

[0009] 本发明的目的是提供一种基于图像去雨算法的视频编码方法，能够在保留背景图像的信息的基础上最大程度上地去除雨线，从而使得后续的视频压缩变得高效。

[0010] 本发明的目的是通过以下技术方案实现的：

[0011] 一种基于图像去雨算法的视频编码方法，包括：

[0012] 预先建立结合了对偶交叉和生成对抗卷积神经网络的去雨神经网络模型，并利用制作的有雨图像对去雨神经网络模型进行训练；

[0013] 对于新输入的原始有雨视频，利用训练好的去雨神经网络模型对原始有雨视频中每一视频帧进行图像去雨操作，获得无雨视频及相应的雨滴方向和强度；

[0014] 由编码端对无雨视频进行编码，生成比特流，再将雨滴方向和强度作为边信息与比特流一同发送至解码端。

[0015] 由上述本发明提供的技术方案可以看出，利用训练好的模型对有雨视频帧进行去雨处理，然后再进行编码；实验显示了提出的基于视频去雨算法的视频编码框架方法在大大提升了编码效率的同时仍然保证了有竞争力的编码主观质量。

附图说明

[0016] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

[0017] 图1为本发明实施例提供的一种基于图像去雨算法的视频编码方法的流程图；

[0018] 图2为本发明实施例提供的去雨神经网络模型的结构示意图；

[0019] 图3为本发明实施例提供的去雨结果示意图；

[0020] 图4为本发明实施例提供的去雨结果示意图；

[0021] 图5为本发明实施例提供的编解码过程示意图；

[0022] 图6为本发明实施例提供的雨滴方向和强度信息示意图。

具体实施方式

[0023] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

[0024] 本发明实施例提供一种基于图像去雨算法的视频编码方法，由于传统的视频编码框架对存在下雨场景的视频存在极大的编码限制。与其不同，本发明实施例上述方法利用训练好的模型对有雨视频帧进行去雨处理后再进行编码，降低编码难度，极大节省了编码所需要的bit，并能在解码端最大程度上恢复出原始视频信息。

[0025] 如图1所示，上述方法主要包括如下步骤：

[0026] 步骤1、预先建立结合了对偶交叉和生成对抗卷积神经网络的去雨神经网络模型，并利用制作的有雨图像对去雨神经网络模型进行训练。

[0027] 本发明实施例所建立的去雨神经网络模型如图2所示，同时，还建立了图像构建图像训练库对去雨神经网络模型进行训练。

[0028] 本发明实施例中，通过对无雨图像添加有雨效果(例如，通过screen blend model对干净的清晰图像人工加雨)，形成相应的有雨图像，利用无雨图像及对应的有雨图像构建图像训练库。

[0029] 训练时，从图像数据库中取一定尺寸大小(例如32×32大小)的有雨及无雨图像块对作为一对训练样本对去雨神经网络模型进行训练，训练过程包括前向传导过程、反向传导过程和卷积核更新过程。

[0030] 如图2所示，前向传导过程如下：有雨及无雨图像块对中，无雨图像块作为label(标签)，有雨图像块作为生成器的输入，在将其输入至两个独立的生成器之前，还进行了信号分解；此时的信号分解是进行特征提取：先将有雨图像块送入一个简单的卷积神经网络(三层卷积)，得到一份提取出来的特征，然后将这份特征分别同时输入到生成器-R、生成器-B。

[0031] 在这一阶段(第一阶段)，输入给生成器-R和生成器-B的可以看作是背景+雨线的混合信号，是同一份数据。之后，紧随其后的生成器-R和生成器-B，因为最终回归的target/label不同(生成器B的target为背景，生成器R的target为雨线图)，会逐渐将输入进来的特征慢慢区分开来，可以理解为：生成器-B:(B+R)→B；生成器-R：(B+R)→R；也即，在这一阶段生成器-B得到无雨图像 生成器-R得到雨线图

[0032] 此后，还要以一种交叉对偶的方式再输入到对应的生成器中，使其回归到与之前相反的结果：将输入的有雨图像块与生成器-R产生的雨线图 做一次减法，得到二者的残差图，再输入至生成器-B；将输入的有雨图像块与生成器-B产生的无雨图像 做一次减法，得到二者的残差图，再输入至生成器-R，通过两个生成器再次得到新的无雨图像 与新的雨线图 即在这一阶段(第二阶段)生成器-B得到新的无雨图像 生成器-R得到新的雨线图

[0033] 其中的无雨图像 与 将被一同送入到判别器中，由判别器判断无雨图像 与相对于真实结果(即对应无雨图像块)的真伪程度，从而促进生成器的收敛，从而确定最终得到的去雨图像为无雨图像 或 或者二者融合结果(可以是融合比例任意)。

[0034] 判别器的目的是在训练过程中，约束两个生成器往最优的方向收敛。

[0035] 步骤2、对于新输入的原始有雨视频，利用训练好的去雨神经网络模型对原始有雨视频中每一视频帧进行图像去雨操作，获得无雨视频及相应的雨滴方向和强度。

[0036] 在测试阶段，原始有雨视频的每一视频帧将逐一输入至训练好的去雨神经网络模型中，最终得到无雨图像；其中主要的去雨过程与训练阶段类似，区别在于：一方面，此时去雨神经网络模型为训练好的去雨神经网络模型，因此可以确定最终输出的无雨视频图为第一阶段的无雨图像 或者第二阶段的无雨图像 或者二者融合结果；另一方面，由于本方案主要关注的是去雨操作，因此，第二个阶段也可以无需获取相应的雨线图 直接根据第一阶段获得的雨线图 确定雨滴方向和强度即可。

[0037] 本发明实施例中，训练好的去雨神经网络模型为全卷积网络，不存在pooling操作，能够对任意尺寸的图像进行去雨操作。

[0038] 如图2所示，其示例性的给出了测试阶段以无雨图像 及 的融合结果作为最终输出的无雨视频图。

[0039] 如图3～图4所示为去雨结果示意图。图3中左侧一列为原始有雨视频图，右侧一列为对应的雨线图；图4中左侧一列为原始有雨视频图，右侧一列为对应的无雨视频图。

[0040] 步骤3、由编码端对无雨视频进行编码，生成比特流，再将雨滴方向和强度作为边信息与比特流一同发送至解码端。

[0041] 本发明实施例中，步骤2是以视频帧为单位进行去雨操作，操作完成后通过常规技术可以将一系列视频帧重新合成新的视频，也即无雨视频，然后利用已有编码框架对无雨视频进行编码，生成比特流。如图5所示的编解码过程，可以利用H.264和HEVC编码框架对去雨后的视频进行编码，生成比特流。

[0042] 本发明实施例中，利用5个bit位来表示雨滴方向和强度：一个bit位表示雨滴强度(0表示小雨，1表示大雨)；其余四个bit位表示雨滴方向，设定雨滴方向有11种，分别对应时钟15：30至20：30中相邻方向间隔30分钟的时针指向。

[0043] 雨滴方向和强度将作为边信息(Side Information)传输给解码端，如图6所示，为雨滴方向和强度信息示意图。左右两个图像分别包含了雨滴方向和强度，左侧图像为小雨，方向19：00；右侧图像为大雨，方向17：00。

[0044] 步骤4、由解码端结合接收到的比特流和相应的边信息，对解码获得的无雨视频进行加雨操作，从而恢复出原始有雨视频。

[0045] 如图5所示的编解码过程，结合比特流和相应解码器进行解码，再配合相应的边信息对解码后的无雨视频进行加雨操作，能够尽可能地恢复出原始的有雨视频。

[0046] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

[0047] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。