一种基于递进蒸馏网络的轻量化图像超分辨率重建方法

摘要

本公开是关于一种基于递进蒸馏网络的轻量化图像超分辨率重建方法，涉及图像超分辨率重建技术领域，包括：对现有超分辨率卷积神经网络模型进行改进，包括：根据不同扩张率卷积核的感受野递进原理，利用两种不同的递进蒸馏连接组合代替原有的特征蒸馏连接，采用非对称扩展卷积残差块使得网络在极少参数的情况下能够充分提取图像的边缘和纹理特征信息；利用通道混洗结构改进蒸馏网络连接的层级特征，进一步改善通道间的特征共享性，从而提升图像超分辨率重建的精确度；并进一步采用多尺度空间注意力机制模块，可以自适应地重新校准融合特征的权重；后上采样重建部分为上采样‑基于三维像素注意力机制方法，进一步提高超分辨率图像重建的效率。

权利要求

1.一种基于递进蒸馏网络的轻量化图像超分辨率重建方法，其特征在于：通过设置递进蒸馏模块实现将通道分离机制并行解耦为1×1卷积和核心特征提取模块，其中，所述1×1卷积的输出通道为输入通道的一半，且产生的图像特征用于通道合并；

所述核心特征提取模块产生的图像特征则用来提炼上一层处理过的特征；循环迭代执行上述操作三次，并将3×3卷积层进入通道合并层，得到合并后的图像特征，对合并的图像特征采用通道混洗层操作，得到处理后的合并图像，核心特征提取模块包括带有扩张卷积的非对称卷积残差模块和非对称卷积残差模块，其中带有扩张卷积的非对称卷积残差模块由1×3DConv、3×1DConv、ReLU和恒等映射四个部分组成；非对称卷积残差模块，由1×3Conv、3×1Conv、ReLU和恒等映射四个部分组成；

通过设置注意力上采样模块重建出高分辨率图像；

通过对卷积神经网络进行训练，得到高分辨率图像；

根据训练后的卷积神经网络对图像的超分辨率进行重建，将需要超分的图像ILR 输入已经训练好的卷积神经网络，得到输出图像ISR ；

对图像ILR 进行双线性插值上采样，得到与ISR 相同尺寸的图像IBI ；

将IBI 与ISR 对应的像素点的像素值进行相加，得到超分辨率图像IF；

对处理后的合并图像采用多尺度空间注意力机制，得到输出特征图，包括：通过设置1×1卷积，实现通道数的减少；

通过设置跨步卷积和Maxpooling组合，实现注意力机制的感受视野的增大；

并且通过扩张卷积、上采样函数和1×1卷积进行设置调整：通过1×1卷积对通道关系建模，输出特征图；

所述通过扩张卷积、上采样函数和1×1卷积进行设置调整，包括：通过不同扩展率的扩张卷积，实现感受野的放大；

通过上采样函数和1×1卷积，实现恢复空间维度和通道维度；

于所述输入特征上应用可忽略参数的1×1卷积和depth‑wise卷积组合，实现特征的关键信息的权重的增强。

2.根据权利要求1所述的方法，其特征在于，所述注意力上采样模块采用三维像素注意力机制。

3.根据权利要求2所述的方法，其特征在于，所述通过设置注意力上采样模块重建出高分辨率图像，包括：

6个递进蒸馏模块，其中，前3个的核心提取模块采用不带有扩张卷积的非对称卷积残差模块，后3个的核心提取模块采用带有扩张卷积的非对称卷积残差模块。

4.根据权利要求1所述的方法，其特征在于，对所述处理后的合并图像采用多尺度空间注意力机制，得到输出特征图。

说明书

一种基于递进蒸馏网络的轻量化图像超分辨率重建方法

技术领域

[0001] 本公开涉及图像超分辨率重建技术领域，尤其涉及一种基于递进蒸馏网络的轻量化图像超分辨率重建方法。

背景技术

[0002] 随着各式图像显示设备、移动设备和网络建设的普及与快速发展，对图像、视频质量的要求不断提高，如何得到效果更好且更加经济适用的高分辨率图像或视频，变得越来越重要。然而，实际中数字图像的采集和处理会受到诸多因素影响，从而导致图像质量降低，在图像显示设备上往往得不到理想的图像。因此，如何获取经济有效的高质量图像成为了一个亟需解决的问题。

[0003] 单图像超分辨率是通过恒等映射函数从低分辨率图像重建成高分辨率图像的技术，但这是一个病态问题，因为一张低分辨率图像可以重建出多张高分辨率图像。为了解决这个问题，基于深度学习的图像超分辨率重建方法，是通过大量的外部数据来学习低分图像到高分图像之间的非线性映射关系，从而借助学习到的对应关系来直接获取高分图像。此类算法一般由训练和重建两个过程所构成，训练用于学习映射关系，重建用于得到最终结果。

发明内容

[0004] 为克服相关技术中存在的问题，一种基于递进蒸馏网络的轻量化图像超分辨率重建方法。

[0005] 根据本公开实施例的第一方面，提供一种基于递进蒸馏网络的轻量化图像超分辨率重建方法，包括；

[0006] 通过设置递进蒸馏模块实现将通道分离机制并行解耦为1×1卷积和核心特征提取模块；

[0007] 通过设置注意力上采样模块重建出高分辨率图像；

[0008] 通过对卷积神经网络进行训练，得到高分辨率图像；

[0009] 根据训练后的卷积神经网络对图像的超分辨率进行重建。

[0010] 可选地，在一种实现方式中，所述通过设置递进蒸馏模块实现将通道分离机制并行解耦为1×1卷积和核心特征提取模块，包括：

[0011] 所述1×1卷积的输出通道为输入通道的一半，且产生的图像特征用于通道合并；所述核心特征提取模块产生的图像特征则用来进一步提炼上一层处理过的特征；

[0012] 循环迭代执行上述操作三次，并将3×3卷积层进入通道合并层，得到合并后的图像特征。

[0013] 可选地，在一种实现方式中，所述注意力上采样模块采用三维像素注意力机制。

[0014] 可选地，在一种实现方式中，核心特征提取模块包括带有扩张卷积的非对称卷积残差模块和非对称卷积残差模块，其中：

[0015] 带有扩张卷积的非对称卷积残差模块由1×3DConv、3×1DConv、ReLU和恒等映射四个部分组成；

[0016] 非对称卷积残差模块，由1×3Conv、3×1Conv、ReLU和恒等映射四个部分组成。

[0017] 可选地，在一种实现方式中，所述通过设置注意力上采样模块重建出高分辨率图像，包括：

[0018] 6个递进蒸馏模块，其中，前3个的核心提取模块采用不带有扩张卷积的非对称卷积残差模块，后3个的核心提取模块采用带有扩张卷积的非对称卷积残差模块。

[0019] 可选地，在一种实现方式中，对合并的图像特征采用通道混洗层操作，得到处理后的合并图像。

[0020] 可选地，在一种实现方式中，对所述处理后的合并图像采用多尺度空间注意力机制，得到输出特征图。

[0021] 可选地，在一种实现方式中，所述对所述处理后的合并图像采用多尺度空间注意力机制，得到输出特征图，包括：

[0022] 通过设置1×1卷积，实现通道数的减少；

[0023] 通过设置跨步卷积和Maxpooling组合，实现注意力机制的感受视野的增大；

[0024] 并且通过扩张卷积、上采样函数和1×1卷积进行设置调整：

[0025] 通过1×1卷积对通道关系建模，输出特征图。

[0026] 可选地，在一种实现方式中，所述并且通过扩张卷积、上采样函数和1×1卷积进行设置调整，包括：

[0027] 通过不同扩展率的扩张卷积，实现感受野的进一步放大；

[0028] 通过上采样函数和1×1卷积，实现恢复空间维度和通道维度；

[0029] 于所述输入特征上应用可忽略参数的1×1卷积和depth‑wise卷积组合，实现特征的关键信息的权重的增强。

[0030] 可选地，在一种实现方式中，所述根据训练后的卷积神经网络对图像的超分辨率进行重建，包括：

[0031] 将需要超分的图像ILR输入已经训练好的卷积神经网络，得到输出图像ISR；

[0032] 对图像ILR进行双线性插值上采样，得到与ISR相同尺寸的图像IBI；

[0033] 将IBI与ISR对应的像素点的像素值进行相加，得到超分辨率图像IF。

[0034] 本公开的实施例提供的技术方案可以包括以下有益效果：本公开根据不同扩张率卷积核的感受野递进原理，利用非对称扩展卷积残差快作为蒸馏网络的核心提取特征模块，同时，我们利用通道混洗结构改进蒸馏网络连接的层级特征，进一步改善通道间的特征共享性，从而提升图像超分辨率重建的精确度，且本公开利用注意力机制原理，可以自适应地重新校准融合特征的权重。本公开方法能够在相对于传统网络，可以有效地提升超分重建后的图像质量，同时减少了网络参数且加快了计算速度，整体提高了超分辨率图像重建的效率。

[0035] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

[0036] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

[0037] 图1是根据一示例性实施例示出的一种基于递进蒸馏网络的轻量化图像超分辨率重建方法的流程图。

[0038] 图2是根据一示例性实施例示出的单个局部递进蒸馏网络模块结构图。

[0039] 图3是根据一示例性实施例示出的网络架构图。

[0040] 图4是根据一示例性实施例示出的不同模型对同一图像的超分辨率重建效果图。

[0041] 图5是根据一示例性实施例示出的与现有方法在2×,3×,4×超分辨率任务表格。

具体实施方式

[0042] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

[0043] 随着各式图像显示设备、移动设备和网络建设的普及与快速发展，对图像、视频质量的要求不断提高，如何得到效果更好且更加经济适用的高分辨率图像或视频，变得越来越重要。然而，实际中数字图像的采集和处理会受到诸多因素影响，从而导致图像质量降低，在图像显示设备上往往得不到理想的图像。因此，如何获取经济有效的高质量图像成为了一个亟需解决的问题。

[0044] 单图像超分辨率是通过恒等映射函数从低分辨率图像重建成高分辨率图像的技术，但这是一个病态问题，因为一张低分辨率图像可以重建出多张高分辨率图像。为了解决这个问题，基于深度学习的图像超分辨率重建方法，是通过大量的外部数据来学习低分图像到高分图像之间的非线性映射关系，从而借助学习到的对应关系来直接获取高分图像。此类算法一般由训练和重建两个过程所构成，训练用于学习映射关系，重建用于得到最终结果。

[0045] 随着网络的加深，超分的性能会越来越好，但这些网络都是依靠堆叠卷积块，或者增加卷积通道数以提取更多更有效的特征；然而，这样会使得网络参数过度的增加，消耗巨大的计算量，对计算机内存资源的需求过高，不适用于小型设备和现实场景。因此，有必要提出如何在保持超分辨率重建效果的同时，缩小网络规模，减少网络参数量和计算量的方法。

[0046] 基于上述问题，本公开提出来一种基于递进蒸馏网络的轻量化图像超分辨率重建方法，参见附图1至附图3，本公开实施提供的一种基于递进蒸馏网络的轻量化图像超分辨率重建方法具体包括以下步骤：

[0047] 步骤101、通过设置递进蒸馏模块实现将通道分离机制并行解耦为1×1卷积和核心特征提取模块；

[0048] 其中，用设计的递进蒸馏模块代替RFDN超分辨率重建模型的Feature distillation connection(特征蒸馏连接)，其中，递进蒸馏模块由1×1卷积层、核心特征提取层、通道合并层、通道混洗层和多尺度空间注意力机制层组成；

[0049] 递进蒸馏模块是将通道分离机制并行解耦为1×1卷积(产生提取特征)和核心特征提取模块(进一步提炼进行粗糙的特征)，1×1卷积的输出通道为输入通道的一半，来进一步减少网络参数，且产生的图像特征用于通道合并；而核心特征提取模块产生的图像特征则用来进一步提炼上一层处理过的特征；此过程共进行三个循环，且在第三个核心特征提取模块提炼产生的图像特征之后采用一个常规的3×3卷积层来平稳的进入通道合并层；因此，最后在通道合并层一共得到四部分合并的图像特征。

[0050] 蒸馏层操作是一个卷积核大小为1×1卷积，输入通道数为48，输出通道数为24的卷积层，对输入的48通道特征图蒸馏得到24个通道特征图，得到蒸馏特征；

[0051] 递进蒸馏模块的核心特征提取模块分为两种，一种是带有扩张卷积的非对称卷积残差模块由1×3DConv(扩张卷积)、3×1DConv(扩张卷积)、ReLU(激活函数)和恒等映射四个部分组成；另一种是非对称卷积残差模块，由1×3Conv、3×1Conv、ReLU(激活函数)和恒等映射四个部分组成；将普通的3×3卷积分解成为一组1×3卷积和3×1卷积，在保证不缩小卷积感受野的情况下，减少了33％的卷积计算量；但是在核心特征提取模块中，只有单个卷积对上层特征进行处理，依然会由于狭窄的感受野不能够充分地提取图像的纹理信息，因此采用不同扩张率的扩张卷积对卷积核的感受野进行不同程度的放大，能够提取图像的边缘和纹理特征信息；

[0052] 由于扩张卷积在卷积过程中像素单元之间插入孔洞，在提取特征时会丢失一些信息，特别是在底层网络中。因此，我们采用两种核心特征提取模块的组合使用来达到超分辨重建性能的最佳效果；在本公开中，共使用6个递进蒸馏模块，其中，前3个的核心提取模块采用不带有扩张卷积的非对称卷积残差模块，以免丢失重要的特征信息，后3个则采用带有扩张卷积的非对称卷积残差模块，来充分提取图像的边缘和纹理特征信息；

[0053] 通道合并层操作是调用Concatenate函数，对蒸馏得到了四部分图像特征进行合并，得到通道数为96的图像特征。

[0054] 通道混洗层操作是对对合并的通道数为96的图像特征采用通道混洗层操作，进一步改善通道间的特征共享性，确保合并的特征信息可以在不同组之间流转，从而提升图像超分辨率重建的精确度。

[0055] 在通道混洗层之后，采用多尺度空间注意力机制，可以自适应地重新校准融合特征的权重。首先，采用1×1卷积减少通道数来确保整个注意力机制的轻量化，然后使用跨步卷积和Maxpooling组合增大注意力机制的感受视野，接下来分别利用不同扩展率的扩张卷积进行感受野的进一步放大，且达到提取更加细致特征的效果，相对于前层，接下来分别采用上采样函数和1×1卷积恢复空间维度和通道维度；其次，我们将在输入特征上直接应用具有可忽略参数的1×1卷积和depth‑wise卷积组合，以增强特征的关键信息的权重；

[0056] 最后通过1×1卷积对通道关系建模，使得输出特征通道数等于输入特征通道数，输出特征图。

[0057] 步骤102、通过设置注意力上采样模块重建出高分辨率图像；

[0058] 需要说明的是，本公开采用了基于像素的注意力上采样模块，而不是大多数超分辨率重建方法中所采用sub‑pixel，基于像素的注意力上采样模块创新型地将三维像素注意力机制用于上采样部分，使得重建性能有明显提升。

[0059] 步骤103、通过对卷积神经网络进行训练，得到高分辨率图像；

[0060] 需要说明的是，具体训练流程为：

[0061] 本公开使用从低分辨率图像裁剪出大小为64×64的RGB图像块进行训练，并通过随机水平翻转和90°旋转来增广训练数据；

[0062] 选取Adam为优化器，并设置其参数β1＝0.9、β2＝0.999、ε＝10‑8；

[0063] 学习速率初始化设定为5×10‑4，并且以每2×105个最小批次进行减半，进行更细微的学习；

[0064] 将 原 图 像 集 与 输 出 图 像 集 作 为 L 1 损 失 函 数 的 输 入对网络参数进行更新，经过预设训练周期数，获得训练好的卷积神经网络；

[0065] 式子中，||*||1代表L1范数， 为第i个经过本公开的网络模型超分后的高分辨率图像， 为原始高分辨率真值图像

[0066] 参见附图4，步骤104、根据训练后的卷积神经网络对图像的超分辨率进行重建。

[0067] 需要说明的是，重建为：

[0068] 将需要超分的图像ILR输入已经训练好的卷积神经网络，得到输出图像ISR；

[0069] 对图像ILR进行双线性插值上采样，得到与ISR相同尺寸的图像IBI；

[0070] 将IBI与ISR对应的像素点的像素值进行相加，得到超分辨率图像IF。

[0071] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

[0072] 应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。