本发明属于图像处理领域，为了解决现有技术没有充分利用图像特征信息的问题，提出了一种基于双域特征采样的图像压缩感知重构方法及系统，将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值；将采样值进行卷积操作和第一像素混洗操作，得到初始重构图像；将初始重构图像经过深度重建子网络得到最终重构图像；深度重建子网络包括多个依次连接的更新模块和去噪模块，更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，去噪模块用于对更新模块的输出基于对不同分辨率特征分别去噪后融合输出。对原始图像双域特征提取，充分利用图像特征，提高后续图像重建质量。
1.一种基于双域特征采样的图像压缩感知重构方法，其特征在于，包括：将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值，采用三个卷积层对原始图像基于图像域和特征域进行特征提取，具体包括：第一卷积层的输入为原始图像像素域 ，第二卷积层的输入为原始图像像素域 和第一个卷积层输出的特征域，第三卷积层的输入为原始图像像素域 、第一个卷积层输出的特征域和第二个卷积层输出的特征域，具体表示为：其中， 、 、 分别表示第一个卷积层、第二个卷积层、第三个卷积层的执行结果；
表示第一个卷积层的卷积核大小为3×3， 表示第二个卷积层的卷积核大小为3×
3， 表示第三个卷积层的卷积核大小为3×3； 为第一卷积层的偏置， 为第二卷积层的偏置， 为第三卷积层的偏置，表示卷积操作；
将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像，具体为：将固定采样矩阵设置为可学习矩阵，利用卷积操作模拟固定采样矩阵乘法对原始图像所提取的特征进行采样，得到采样值；
将采样值对应的向量执行第一像素混洗操作，得到初始重建图像；
将初始重构图像经过深度重建子网络得到最终重构图像；
其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于不同分辨率特征分别去噪后融合输出。
2.如权利要求1所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，在所述更新模块中，具体操作包括：对更新模块的输入特征进行第一卷积操作，将第一卷积操作的结果、采样值进行第二像素混洗操作；
将第一卷积操作的结果与第二像素混洗操作的结果相加后再进行第二卷积操作；
将第二卷积操作的结果与更新模块的输入特征的差值执行残差卷积操作后并将残差卷积操作的结果与更新模块的输入特征相加，得到更新模块的输出。
3.如权利要求2所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，对更新模块的输入特征进行第一卷积操作，将第一卷积操作的结果、采样值进行第二像素混洗操作，具体为：将第一卷积操作的结果基于可学习矩阵利用卷积操作进行采样；
利用卷积操作对采样后的第一卷积操作的结果与所述采样值的差值执行上采样操作，得到上采样结果；
将上采样结果与第一卷积操作的结果执行第二像素混洗操作。
4.如权利要求1所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，在所述去噪模块中，具体操作包括：对所述更新模块的输出进行上采样和降通道操作，得到高分辨率图像特征；
对高分辨率图像特征依次进行残差卷积、下采样和卷积操作，使所得到的特征与原始图像的特征一致且与所述更新模块的输出特征的通道数一致；
利用多尺度残差块对所述更新模块的输出进行多尺度残差操作，得到多尺度融合特征；
将经过残差卷积、下采样和卷积操作的高分辨率图像特征与多尺度融合特征进行拼接，得到所述去噪模块的输出。
5.如权利要求2或4所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，利用残差卷积单元执行残差卷积操作，所述残差卷积单元包括依次连接的第四卷积层、激活函数层和第五卷积层，将第五卷积层的输出与四卷积层的输入进行相加。
6.如权利要求4所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，所述多尺度残差块由多尺度特征融合和局部残差学习构成；
所述多尺度特征融合包括6个支路，其中三个支路分别为3×3卷积层、5×5卷积层、7×
另外三个支路由3×3卷积层、5×5卷积层、7×7卷积层分别与并列的3×3卷积层、5×5卷积层、7×7卷积层进行连接所组成，用于提取深层图像特征。
7.如权利要求1所述的一种基于双域特征采样的图像压缩感知重构方法，其特征在于，对所述最终重构图像，设置损失函数进行反向传播，完成网络参数更新，所述损失函数包括重构图像与原始图像的差值、采样矩阵与单位矩阵正交约束。
8.一种基于双域特征采样的图像压缩感知重构系统，其特征在于，包括：获取采样值模块：将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值，采用三个卷积层对原始图像基于图像域和特征域进行特征提取，具体包括：第一卷积层的输入为原始图像像素域 ，第二卷积层的输入为原始图像像素域 和第一个卷积层输出的特征域，第三卷积层的输入为原始图像像素域 、第一个卷积层输出的特征域和第二个卷积层输出的特征域，具体表示为：其中， 、 、 分别表示第一个卷积层、第二个卷积层、第三个卷积层的执行结果；
表示第一个卷积层的卷积核大小为3×3， 表示第二个卷积层的卷积核大小为3×
3， 表示第三个卷积层的卷积核大小为3×3； 为第一卷积层的偏置， 为第二卷积层的偏置， 为第三卷积层的偏置，表示卷积操作；
初始重构模块：将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像，具体为：将固定采样矩阵设置为可学习矩阵，利用卷积操作模拟固定采样矩阵乘法对原始图像所提取的特征进行采样，得到采样值；
将采样值对应的向量执行第一像素混洗操作，得到初始重建图像；
最终重构模块：将初始重构图像经过深度重建子网络得到最终重构图像；其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于不同分辨率特征分别去噪后融合输出。
一种基于双域特征采样的图像压缩感知重构方法及系统
技术领域
[0001] 本发明属于图像处理技术领域，尤其涉及一种基于双域特征采样的图像压缩感知重构方法及系统。
背景技术
[0002] 本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
[0003] 压缩感知(Compressive Sensing，CS)为稀疏信号的采集和重建提供了新的样式。当原始信号 在某个域 是稀疏时，压缩感知保证原始信号 可以从线性投影中以高概率重构，其中 是采样矩阵且 。
[0004] 在压缩感知的不断发展中，不同的图像压缩感知优化方法相继被提出，例如贪婪算法和凸优化方法。然而，传统的优化方法耗费的计算资源较大，图像的重建质量较低。随着深度学习技术在各个领域的不断突破，越来越多的研究人员将深度学习应用到图像压缩感知中来提高图像的重建质量。
[0005] 基于深度神经网络的图像压缩感知在采样上，将固定矩阵 设置成可学习的采样矩阵与图像进行卷积操作。然而，这种直接在图像域上进行采样的方式，忽略了图像本身的特征信息。在图像重建上，可以分为普通神经网络和受优化启发的重构网络。对于普通的神经网络，它是利用优化网络结构来提高图像的重建质量和重建速度。然而，这种方法是在黑盒模式下进行的，不具备可解释性。对于受优化启发的神经网络，它结合了传统压缩感知算法的可解释性和深度压缩感知网络重建质量高、重建速度快的优点。然而，现有的优化启发网络的重建过程是在像素域完成的，没有充分利用图像特征的信息。
发明内容
[0006] 为克服上述现有技术的不足，本发明提供了一种基于双域特征采样的图像压缩感知重构方法及系统，通过对原始图像进行图像域和特征域的双域特征提取，对不同分辨率的特征进行去噪后融合，在保留图像更多信息的同时能够进行去噪，充分利用图像特征，提高后续图像重建质量。
[0007] 为实现上述目的，本发明的第一个方面提供一种基于双域特征采样的图像压缩感知重构方法，包括：
[0008] 将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值；
[0009] 将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像；
[0010] 将初始重构图像经过深度重建子网络得到最终重构图像；
[0011] 其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于对不同分辨率特征分别去噪后融合输出。
[0012] 本发明的第二个方面提供一种基于双域特征采样的图像压缩感知重构系统，包括：
[0013] 获取采样值模块：将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值；
[0014] 初始重构模块：将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像；
[0015] 最终重构模块：将初始重构图像经过深度重建子网络得到最终重构图像；
[0016] 其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于不同分辨率特征分别去噪后融合输出。
[0017] 以上一个或多个技术方案存在以下有益效果：
[0018] 在本发明中，通过对原始图像进行图像域和特征域的双域特征提取，充分利用图像特征，提高后续图像重建质量。
[0019] 在本发明中，深度重建网络中的更新模块在不同特征维度下约束结合，提高了信息更新的准确性。深度重建网络中的去噪模块对不同分辨率的特征进行去噪后融合，在去噪的同时能够保留图像更多信息。
[0020] 本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0021] 构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0022] 图1为本发明实施例一中基于双域特征采样的图像压缩感知重构网络结构示意图；
[0023] 图2为本发明实施例一中双域特征提取和分块采样流程图；
[0024] 图3为本发明实施例一中更新模块流程图；
[0025] 图4为本发明实施例一中去噪模块流程图；
[0026] 图5为本发明实施例一中残差卷积单元结构示意图；
[0027] 图6为本发明实施例一中多尺度残差块结构示意图。
具体实施方式
[0028] 应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0029] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
[0030] 在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0031] 实施例一
[0032] 本实施例公开了一种基于双域特征采样的图像压缩感知重构方法，包括：
[0033] 将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值；
[0034] 将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像；
[0035] 将初始重构图像经过深度重建子网络得到最终重构图像；
[0036] 其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于对不同分辨率特征分别去噪后融合输出。
[0037] 如图1所示，在本实施例中，一种基于双域特征采样的图像压缩感知重构方法具体包括以下步骤：
[0038] 步骤1：将原始图像按块进行拆分作为训练数据集，具体为：
[0039] 步骤1‑1：选用BSD500数据集中的200张训练集和200张测试集作为训练图像；
[0040] 步骤2‑2：将训练图像进行随机裁剪为大小为96×96的子图像，对子图像进行翻转和旋转以及灰度化处理。
[0041] 步骤2：如图2所示，对步骤1的训练数据集基于采样子网络进行双域特征提取和分块采样操作，获得压缩后的采样值，具体为：
[0042] 步骤2‑1：利用三个卷积对图像进行特征提取，第一个卷积的输入为经过步骤1处理后的原始图像像素域 ，第二个卷积层的输入为经过步骤1处理后的原始图像像素域和第一个卷积层输出的特征域，第三个卷积层的输入为经过步骤1处理后的原始图像像素域 、第一个卷积层输出的特征域和第二个卷积层输出的特征域，具体表示为：
[0043] （1）
[0044] （2）
[0045] （3）
[0046] 其中， 、 、 分别表示第一个卷积层、第二个卷积层、第三个卷积层的执行结果； 表示第一个卷积层的卷积核大小为3×3， 表示第二个卷积层的卷积核大小为3×3， 表示第三个卷积层的卷积核大小为3×3； 为第一卷积层的偏置， 为第二卷积层的偏置，为第三卷积层的偏置，表示卷积操作。
[0047] 步骤2‑2：将步骤2‑1中第三个卷积层的执行结果 分成 大小的不重叠块，传统分块采样过程是通过将每个图像块展开成向量 ，通过与固定采样矩阵执行矩阵乘法完成采样操作，当采样率为 时，固定采样矩阵为 ，其中 表示图像高度、表示图像宽度、 =32、 。
[0048] 需要说明的是， 为 带有图像特征高度 、图像宽度 的形式。
[0049] 在本实施例中，将固定采样矩阵 设置为可学习矩阵，利用卷积操作来模拟传统矩阵乘法实现采样，具体操作为：将 设置为 个 的卷积核，该卷积层的步长为 、填充为0、不含偏置项，该过程可表示为：
[0050] （4）
[0051] 其中， 表示 个 的卷积核，表示采样值， 为对执行结果 进行采样的采样函数， 为步骤2‑1中第三个卷积层的执行结果，表示卷积操作。
[0052] 步骤3：对步骤2得到的采样值 基于初始重建子网络执行卷积和PixelShuffle即第一像素混洗操作以获得初始重构图像，具体为：
[0053] 步骤3‑1：传统分块的压缩感知优化方法是利用 来获得图像块的向量表示，该过程可表示为：
[0054]
[0055] 其中， 表示原始图像 的第 个分块 的采样值的向量表示， 为固定采样矩阵 的伪逆矩阵。
[0056] 在本实施例中，使用卷积操作执行上采样代替传统分块的压缩感知优化方法，将重组为 个 的卷积核，该过程可表示为：
[0057] （5）
[0058] 其中， 表示 个 的卷积核，为采样值，表示卷积操作， 表示1×2
1×B的向量， 为固定采样矩阵 的伪逆矩阵。
[0059] 步骤3‑2：为了获得整幅图像的初始重建图像 ，添加PixelShuffle操作把步骤3‑1的结果进行重塑，该过程可表示为：
[0060] （6）
[0061] 其中， 表示初始重建图像， 表示对 执行像素混洗操作的函数，PixelShuffle为像素混洗操作。
[0062] 步骤4：对步骤3的初始重构图像执行卷积操作，具体为：
[0063] 对初始重建图像 设置一个卷积层，以获得更多的特征信息，该卷积层的具体参数为：输入通道数1、输出通道数16、卷积核大小3×3、有偏置设置。
[0064] 步骤5：对步骤4的输出结果基于深度重建子网络进行处理，设置 个优化阶段，每个阶段包括更新模块和去噪模块，具体为：
[0065] 该步骤为深度重建网络，深度重建具体包括两个模块：更新模块和去噪模块；深度重建网络优化阶段数 ，即将N个更新模块和去噪模块依次连接进行图像处理，模块设计原理依赖于近端梯度下降法，该下降法可表示为：
[0066] （7）
[0067] （8）
[0068] 其中，上标（k）、（k‑1）表示优化阶段数，为采样值， 为采样矩阵，变换 通常是人为定义的， 表示更新步长，是正则化参数，上标T表示转置， 为经步骤1处理后的原始图像， 表示近端投影， 为第k个优化阶段更新模块的输出。
[0069] 步骤5‑1：如图3所示，更新模块的具体操作为：
[0070] 步骤5‑1‑1：更新模块的输入为 ；对 执行第一卷积操作，将其通道数变为1，该卷积层的具体参数为：输入通道数16、输出通道数1、卷积核大小3×3、有偏置设置。
[0071] 需要说明的是，当k=1时，即第一个优化阶段时，更新模块的输入就是步骤4处理后的输出。
[0072] 步骤5‑1‑2：利用第二像素混洗 来模拟过程，其中， 与步骤2‑2中的 一致， 与步骤3‑1中的 一致，
为步骤5‑1‑1的输出，表示卷积操作， 表示更新步长，此处 设置为1。
[0073] 步骤5‑1‑3：将步骤5‑1‑2的输出与 相加并进行第二卷积操作得到 ，该过程可表示为：
[0074] （9）
[0075] 其中， 表示步骤5‑1‑3中卷积层的卷积核大小3×3；PixelShuffle表示像素混洗操作；表示卷积操作； 表示更新步长； 表示 个 的卷积核；为采样值； 表示 个 的卷积核， 为步骤5‑1‑1的输出结果，表示卷积操作。
[0076] 步骤5‑1‑4：对 与 的差值执行残差卷积单元Res的操作，并将其结果与 相加得到 ，该过程可表示为：
[0077] （10）
[0078] 其中， 表示残差卷积单元， 为第（k‑1）个优化阶段更新模块的输入，为步骤5‑1‑3的输出结果。
[0079] 其中，如图5所示，残差卷积单元包括依次连接的第四卷积层、激活函数和第五卷积层，将第五卷积层的输出与四卷积层的输入进行相加。
[0080] 在本实施例中，更新模块是在特征域完成的，充分发挥了卷积神经网络的表征学习能力，梯度 在一维特征和多维特征约束相结合下完成的，提高了信息更新的准确性，以及对整幅图像利用残差卷积单元有效实现对图像由于分块操作带来的伪影。
[0081] 步骤5‑2：如图4所示，本实施例中去噪模块的具体操作为：
[0082] 步骤5‑2‑1：去噪模块的输入为 ，对 执行上采样和降通道数操作获得高分辨率特征，通过上采样获得的高分辨率是经过步骤1处理后的原始图像一的2倍，然后，通过降通道获得的通道数是 通道数的 。
[0083] 步骤5‑2‑2：对步骤5‑2‑1的结果依次执行残差卷积单元、下采样和卷积操作，其中，通过下采样将残差卷积单元输出的高分辨率特征降到与经过步骤1处理后的原始图像一样，通过卷积操作将残差卷积单元输出的通道数升至与 一致。
[0084] 步骤5‑2‑3：设置一个多尺度残差块，对 执行多尺度残差操作，如图6所示，多尺度残差块含有6个分支，右边三个分支利用3×3、5×5、7×7的卷积层提取图像的浅层特征，直接进行最后特征的融合。左边三个分支使用3×3、5×5、7×7的卷积层学习图像的深层特征，每一个分支的输出分别与下一层的分支相连，其中下一层的分支有三个，分别是连接层和3×3卷积层、连接层和5×5卷积层、连接层和7×7卷积层。最后使用依次的连接层、1×1卷积层和1×1卷积层连接上面6个分支，除最后的两个1×1卷积层外，6个分支的网络中的卷积层后均跟有relu函数。将最后依次连接的连接层、1×1卷积层和1×1卷积层的输出S与去噪模块的输入 相加后得到多尺度残差块最终的输出结果。
[0085] 步骤5‑2‑4：将步骤5‑2‑3的输出结果和步骤5‑2‑2的输出结果用连接层进行拼接，因为此拼接操作会使其通道数变为 的2倍，随后设置卷积层进行降通道数，使其通道数与 一致，将步骤5‑2‑4的输出设为 ， 为第k个优化阶段去噪模块的输出结果。
[0086] 步骤6：将步骤5的结果作为最终重构图像，设置损失函数进行反向传播，完成网络参数更新，具体为：
[0087] 步骤5循环结束后的输出为最终的重构图像 ，损失函数Loss可表示为：
[0088] （11）
[0089] （12）
[0090] （13）
[0091] 其中， 表示原始图像 和最终重建图像 之间的损失， 表示正交约束， 为采样矩阵，表示单位矩阵， ，重构图像 与原始图像 、 与 之
间的距离采用 范数来约束， 为正则化参数。
[0092] 在本实施例中，去噪模块通过连接高分辨率和低分辨率图像，有效实现图像去噪功能，提高图像重建质量。
[0093] 表1、表2、表3和表4分别是本实施例方法与其他方法的对比情况，结果充分表明本实施例方法图像重构任务上的优越性。
[0094] 其它先进方法包括：一种应用于图像压缩感知的可伸缩卷积神经网络称为SCSNet、一种使用浮点值采样矩阵和基于残差学习深度重建网络的CSNet框架称为CSNet+、一种基于块的图像压缩感知的多通道深度神经网络称为BCSnet、用于图像压缩感知的基于去噪的深度展开网络称为AMP‑Net。
[0095] 表1在不同采样率的数据集Set5上，对不同代表性的CS算法进行了平均峰值信噪比即PSNR和结构相似性即SSIM比较。粗体表示最佳结果。
[0096] 表1
[0097]
[0098] 表2在不同采样率的数据集Set11上，对不同代表性的CS算法进行了平均峰值信噪比即PSNR和结构相似性即SSIM比较。粗体表示最佳结果。
[0099] 表2
[0100]
[0101] 表3在不同采样率的数据集BSD100上，对不同代表性的CS算法进行了平均峰值信噪比即PSNR和结构相似性即SSIM比较。粗体表示最佳结果。
[0102] 表3
[0103]
[0104] 表4在不同采样率的数据集Set14上，对不同代表性的CS算法进行了平均峰值信噪比即PSNR和结构相似性即SSIM比较。粗体表示最佳结果。
[0105] 表4
[0106]
[0107] 实施例二
[0108] 本实施例的目的是提供一种基于双域特征采样的图像压缩感知重构系统，包括：
[0109] 获取采样值模块：将原始图像基于图像域和特征域进行特征提取，并将所提取的特征进行分块采样得到采样值；
[0110] 初始重构模块：将所述采样值进行卷积操作和第一像素混洗操作，得到初始重构图像；
[0111] 最终重构模块：将初始重构图像经过深度重建子网络得到最终重构图像；
[0112] 其中，所述深度重建子网络包括多个依次连接的更新模块和去噪模块，所述更新模块用于对初始重建图像和采样值基于不同特征维度的约束结合，所述去噪模块用于对所述更新模块的输出基于对不同分辨率特征分别去噪后融合输出。
[0113] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
