多采样率复用重建网络方法、装置、设备及存储介质

摘要

本发明公开了一种多采样率复用重建网络方法、装置、设备及存储介质，所述方法通过获取采样矩阵所需的最大采样比率和输入图像块，根据最大采样比率和输入图像块确定最大采样矩阵；以输入图像块作为训练数据，根据最大采样矩阵对训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取最终重建图像与原始图像之间的图像误差，对图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率。

权利要求

1.一种多采样率复用重建网络方法，其特征在于，所述多采样率复用重建网络方法包括：

获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；

以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；

获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络；

其中，所述获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，包括：通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；

对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；

确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；

根据所述采样比例确定本轮采样矩阵 其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据对所述目标压缩数据进行初始重建，利用大小为 的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为将所述当前初始重建结果输入到预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。

2.如权利要求1所述的多采样率复用重建网络方法，其特征在于，所述获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵，包括：获取采样矩阵所需最大采样比率Kn和输入图像块 其中， 为实数集，向下取整，N*N为所述输入图像块的图像大小；

根据下述公式确定最大采样矩阵 其中K为采样比率，Φmax为最大采样

矩阵M＝[K*N*N]。

3.如权利要求2所述的多采样率复用重建网络方法，其特征在于，所述以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像，包括：以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据将所述压缩数据 进行初始重建，利用大小为 的矩阵进行运

算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像

4.如权利要求1所述的多采样率复用重建网络方法，其特征在于，所述输入图像块由训p

练数据集{x,x} 中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵。

5.如权利要求4所述的多采样率复用重建网络方法，其特征在于，预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵 为全零矩阵，通过 进行初始重建。

6.如权利要求5所述的多采样率复用重建网络方法，其特征在于，所述损失函数为:

2

其中，p为训练图像数目，N为原始图像大小，j为训练图像编号，i为所述本轮采样矩阵的轮次编号，Θ为预设重建网络参数。

7.一种多采样率复用重建网络装置，其特征在于，所述多采样率复用重建网络装置包括：

数据获取模块，用于获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；

压缩模块，用于以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；

网络重建模块，用于获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络；

所述网络重建模块，还用于通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；根据所述采样比例确定本轮采样矩阵 其中Mi＝[Ki*N*N]{i＝

0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据 对所述目标压缩数据进行初始重建，利用大小为 的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为 将所述当前初始重建结果输入到预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像 获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。

8.一种多采样率复用重建网络设备，其特征在于，所述多采样率复用重建网络设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多采样率复用重建网络程序，所述多采样率复用重建网络程序配置为实现如权利要求1至6中任一项所述的多采样率复用重建网络方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有多采样率复用重建网络程序，所述多采样率复用重建网络程序被处理器执行时实现如权利要求1至6中任一项所述的多采样率复用重建网络方法的步骤。

说明书

多采样率复用重建网络方法、装置、设备及存储介质

技术领域

[0001] 本发明涉及压缩感知和深度学习技术领域，尤其涉及一种多采样率复用重建网络方法、装置、设备及存储介质。

背景技术

[0002] 现代信号处理的一个关键基础是香农采样理论：一个信号可以无失真重建所要求的离散样本数不小于最高频率的两倍；但是香农采样定理是一个信号重建的充分非必要条件；在过去的十几年内，压缩感知作为一个新的采样理论，它可以在远小于香农采样率的条件下获取信号样本，保证信号的高效重建；压缩感知理论一经提出，就引起学术界和工业界的广泛关注，为医学成像系统、高速视频、单像素相机、通信系统、磁共振成像等新的成像技术提供了强大的技术支撑。

[0003] 压缩感知理论的核心思想主要包括两点，第一个是信号的稀疏结构，传统的香农信号表示方法只开发利用了最少的被采样信号的先验信息，即信号的带宽；但是，现实生活中很多广受关注的信号本身具有一些结构特点；相对于带宽信息的自由度，这些结构特点是由信号的更小的一部分自由度所决定；换句话说，在很少的信息损失情况下，这种信号可以用很少的数字编码表示；所以，在这种意义上，这种信号是稀疏信号(或者近似稀疏信号、可压缩信号)；另外一点是不相关特性，稀疏信号的有用信息的获取可以通过一个非自适应的采样方法将信号压缩成较小的样本数据来完成，理论证明压缩感知的采样方法只是一个简单的将信号与一组确定的波形进行相关的操作，这些波形要求是与信号所在的稀疏空间不相关的。

[0004] 压缩感知方法抛弃了当前信号采样中的冗余信息，它直接从连续时间信号变换得到压缩样本，然后在数字信号处理中采用优化方法处理压缩样本，这里恢复信号所需的优化算法常常是一个已知信号稀疏的欠定线性逆问题，然而欠定线性逆问题是难以直接求得解的，对此，人们一开始提出了许多压缩感知算法模型从已知信号出发，通过稀疏化约束从欠定采样样本中有效的恢复信号，传统的方法通常采用梯度域、小波域和离散余弦变换(Discrete Cosine Transform，DCT)域的稀疏正则化来恢复压缩感知测量图像，由于自然图像是非平稳的，这些方法的重建效果通常很差，特别是在低采样比的情况下，为了提高恢复效果，需要在压缩感知重建中增加先验知识，然而，这些图像压缩感知方法依赖于复杂的稀疏化，需要多次迭代，计算成本高，限制了压缩感知的应用。

[0005] 为了解决这一问题，一些新的方法将传统算法与深度神经网络相结合，利用网络直接学习高质量的重构过程从测量值到原始信号的映射，例如，在稀疏编码条件下，Gregor等人提出了一种快速确定稀疏编码最优近似的矩阵学习算法，称为可学习的迭代阈值收缩算法(LITSA)，基于LISTA，Zhang等人提出了进一步的扩展，将稀疏编码问题扩展到一般压缩感知图像重建，称为ISTA‑Net，此外，Yang等人提出了另一种将交替方向乘法器(Alternating Direction Method of Multipliers，ADMM)映射到压缩感知磁共振成像(CS‑MRI)神经网络的结构，实验证明了其在核磁共振和自然图像的压缩感知成像中的有效性，然而基于神经网络的重建方法虽然具有更好的重建效果以及出色的重建速度，但由于不同采样比例下的获取的信号量不同以及深度学习训练参数的相关性，重建网络难以针对不同的采样率进行重建，因此，通常只能运用在特定场景或消耗大量的内存空间进行多比率情况应用。

发明内容

[0006] 本发明的主要目的在于提供一种多采样率复用重建网络方法、装置、设备及存储介质，旨在解决现有技术中重建网络难以针对不同的采样率进行重建，只能运用在特定场景或消耗大量的内存空间进行多比率情况应用，重建效率低，空间占用率大，图像重建效果差的技术问题。

[0007] 第一方面，本发明提供一种多采样率复用重建网络方法，所述多采样率复用重建网络方法包括以下步骤：

[0008] 获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；

[0009] 以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；

[0010] 获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。

[0011] 可选地，所述获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵，包括：

[0012] 获取采样矩阵所需最大采样比率Kn和输入图像块 其中， 为实数集，向下取整，N*N为所述输入图像块的图像大小；

[0013] 根据下述公式确定最大采样矩阵 其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]。

[0014] 可选地，所述以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像，包括：

[0015] 以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据

[0016] 将所述压缩数据 进行初始重建，利用大小为 的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为

[0017] 将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像

[0018] 可选地，所述获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，包括：

[0019] 通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；

[0020] 对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；

[0021] 确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；

[0022] 根据所述采样比例确定本轮采样矩阵 其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据

[0023] 对所述目标压缩数据进行初始重建，利用大小为 的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为[0024] 将所述当前初始重建结果输入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像

[0025] 获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。

[0026] 可选地，所述输入图像块由训练数据集{x,x}p中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵。

[0027] 可选地，所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵 为全零矩阵，通过进行初始重建。

[0028] 可选地，所述损失函数为:

[0029]

[0030] 其中，p为训练图像数目，N2为原始图像大小，j为训练图像编号，i为所述本轮采样矩阵 的轮次编号，Θ为预设重建网络参数。

[0031] 第二方面，为实现上述目的，本发明还提出一种多采样率复用重建网络装置，所述多采样率复用重建网络装置包括：

[0032] 数据获取模块，用于获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；

[0033] 压缩模块，用于以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；

[0034] 网络重建模块，用于获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。

[0035] 第三方面，为实现上述目的，本发明还提出一种多采样率复用重建网络设备，所述多采样率复用重建网络设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多采样率复用重建网络程序，所述多采样率复用重建网络程序配置为实现如上文所述的多采样率复用重建网络方法的步骤。

[0036] 第四方面，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有多采样率复用重建网络程序，所述多采样率复用重建网络程序被处理器执行时实现如上文所述的多采样率复用重建网络方法的步骤。

[0037] 本发明提出的多采样率复用重建网络方法，通过获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率，适用于对于不同采样率有不同要求的场景，能在精确重建原始图像的基础上减少不同采样率对于内存空间占用率，在获得良好的图像重建质量的条件下很大程度上提高了空间利用率。

附图说明

[0038] 图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；

[0039] 图2为本发明多采样率复用重建网络方法第一实施例的流程示意图；

[0040] 图3为本发明多采样率复用重建网络方法的采样矩阵网络结构示意图；

[0041] 图4为本发明多采样率复用重建网络方法的重建网络结构示意图；

[0042] 图5为本发明多采样率复用重建网络装置第一实施例的功能模块图。

[0043] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

[0044] 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0045] 本发明实施例的解决方案主要是：通过获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率，适用于对于不同采样率有不同要求的场景，能在精确重建原始图像的基础上减少不同采样率对于内存空间占用率，在获得良好的图像重建质量的条件下很大程度上提高了空间利用率，解决了现有技术中重建网络难以针对不同的采样率进行重建，只能运用在特定场景或消耗大量的内存空间进行多比率情况应用，重建效率低，空间占用率大，图像重建效果差的技术问题。

[0046] 参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。

[0047] 如图1所示，该设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。
用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口
1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi‑Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(Non‑Volatile Memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器
1001的存储装置。

[0048] 本领域技术人员可以理解，图1中示出的设备结构并不构成对该设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

[0049] 如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多采样率复用重建网络程序。

[0050] 本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，并执行以下操作：

[0051] 获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；

[0052] 以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；

[0053] 获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。

[0054] 本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：

[0055] 获取采样矩阵所需最大采样比率Kn和输入图像块 其中， 为实数集，向下取整，N*N为所述输入图像块的图像大小；

[0056] 根据下述公式确定最大采样矩阵 其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]。

[0057] 本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：

[0058] 以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据

[0059] 将所述压缩数据 进行初始重建，利用大小为 的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为

[0060] 将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像

[0061] 本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：

[0062] 通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；

[0063] 对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；

[0064] 确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；

[0065] 根据所述采样比例确定本轮采样矩阵 其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据

[0066] 对所述目标压缩数据进行初始重建，利用大小为 的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为[0067] 将所述当前初始重建结果输入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像

[0068] 获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。

[0069] 本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：

[0070] 所述输入图像块由训练数据集{x,x}p中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵。

[0071] 本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：

[0072] 所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵 为全零矩阵，通过 进行初始重建。

[0073] 本发明设备通过处理器1001调用存储器1005中存储的多采样率复用重建网络程序，还执行以下操作：

[0074] 所述损失函数为:

[0075]

[0076] 其中，p为训练图像数目，N2为原始图像大小，j为训练图像编号，i为所述本轮采样矩阵 的轮次编号，Θ为预设重建网络参数。

[0077] 本实施例通过上述方案，通过获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率，适用于对于不同采样率有不同要求的场景，能在精确重建原始图像的基础上减少不同采样率对于内存空间占用率，在获得良好的图像重建质量的条件下很大程度上提高了空间利用率。

[0078] 基于上述硬件结构，提出本发明多采样率复用重建网络方法实施例。

[0079] 参照图2，图2为本发明多采样率复用重建网络方法第一实施例的流程示意图。

[0080] 在第一实施例中，所述多采样率复用重建网络方法包括以下步骤：

[0081] 步骤S10、获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵。

[0082] 需要说明的是，所述最大采样比率为采样矩阵所需的最大采样比率，输入图像块为自适应多采样率复用重建网络的输入值，根据所述最大采样比率和所述输入图像块确定最大采样矩阵。

[0083] 在具体实现中，为了更好的适用于不同场景，同时减少采样矩阵大小，一般采用块压缩的方案，将图像切割为大小相等的不重叠块，本方案中设置图像块的大小为33*33。

[0084] 进一步的，所述步骤S10具体包括以下步骤：

[0085] 获取采样矩阵所需最大采样比率Kn和输入图像块 其中， 为实数集，向下取整，N*N为所述输入图像块的图像大小；

[0086] 根据下述公式确定最大采样矩阵 其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]。

[0087] 在具体实现中，为采样矩阵Φ，设置一个最大采样比率，本方案中为50％；因此，深度学习网络结构中设置一个大小为545×1089的采样矩阵Φ，相对应的，有一个大小为1089×545的逆矩阵Ψ；将最大比率下的采样与初始重建过程结合整个重建网络进行训练；得到一个在50％采样率下重建效果较好的压缩感知网络；其中重建网络将滤波器分为不同层次，对应之后不同的采样率。

[0088] 步骤S20、以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像。

[0089] 可以理解的是，可以将所述输入图像块作为训练数据，进而通过最大采样矩阵对训练数据进行压缩，得到压缩后的压缩数据，对所述压缩数据进行初始重建和多次重建，获得神经网络训练的最终重建图像。

[0090] 进一步的，所述步骤S20具体包括以下步骤：

[0091] 以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据

[0092] 将所述压缩数据 进行初始重建，利用大小为 的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为

[0093] 将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像

[0094] 应当理解的是，将采样矩阵Φ中切割出最小比率的采样矩阵Φ0，本方案中最小采样率为1％，即Φ0大小为10*1089，同样的，有逆矩阵Ψ0以及重建网络中对应的滤波器W0，再将重建网络中的其它参数设置为不可学习，对网络进行训练，优化Φ0，Ψ0以及W0，对于1％采样率下得到的初始重建值x0具有良好的优化效果。

[0095] 步骤S30、获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。

[0096] 应当理解的是，通过损失函数计算可以获得所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，可以更新神经网络参数和本轮采样矩阵，重复上述步骤直至损失函数计算的误差达到期望值，结束本轮神经网络训练，通过多次训练直至达到预设的训练计划，可以获得最终神经网络参数和最终采样矩阵，进而可以更新最终神经网络参数和最终采样矩阵，从而重建神经网络。

[0097] 进一步的，所述步骤S30具体包括以下步骤：

[0098] 通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；

[0099] 对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；

[0100] 确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；

[0101] 根据所述采样比例确定本轮采样矩阵 其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据

[0102] 对所述目标压缩数据进行初始重建，利用大小为 的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为[0103] 将所述当前初始重建结果输入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像

[0104] 获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。

[0105] 应当理解的是，如图3所示，图3为本发明多采样率复用重建网络方法的采样矩阵网络结构示意图，参见图3，在1％采样率矩阵训练完成之后，将Φ0，Ψ0对应的采样矩阵与逆矩阵值设置为不可学习，并从矩阵Φ，Ψ中依据第二小的采样率切割出Φ1，Ψ1本方案中采样率为5％。将Φ1，Ψ1带入重建网络W1进行训练，并Φ0，Ψ0对应的矩阵值保持不变，得到该采样率下最优的重建效果。

[0106] 应当理解的是，重复上述步骤，可以训练出各个所需的采样率，直到再一次训练出最大采样率50％下的最优网络结构；进一步的，本方案中将采样矩阵Φ分段设置为Φ0，Φ1‑0，Φ2‑1，Φ3‑2，Φ4‑3，Φ5‑4，Φ6‑5六个矩阵，其中Φ0大小为10×1089，Φ1‑0大小为44×1089，Φ2‑1大小为55×1089，Φ3‑2，Φ4‑3，Φ5‑4，Φ6‑5大小为109×1089，这六个矩阵拼接为采样率为50％的矩阵Φ，矩阵Ψ同理。

[0107] 进一步的，所述输入图像块由训练数据集{x,x}p中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵；

[0108] 相应地，所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵 为全零矩阵，通过进行初始重建。

[0109] 相应地，所述损失函数为:

[0110]

[0111] 其中，p为训练图像数目，N2为原始图像大小，j为训练图像编号，i为所述本轮采样矩阵 的轮次编号，Θ为预设重建网络参数。

[0112] 可以理解的是，

[0113] 第一步训练：

[0114] 将矩阵Φ，Ψ与重建网络参数Θ一起训练至最优解。

[0115] 第二步训练：

[0116] 保持重建网络参数Θ不变，从矩阵Φ，Ψ中切割出Φ0，Ψ0，将Φ0，Ψ0与滤波器W0进行训练，得到在已有网络参数下的最优采样与重建矩阵。

[0117] 第三步训练：

[0118] 保持重建网络参数Θ，采样矩阵Φ0，逆矩阵Ψ0不变，从矩阵Φ，Ψ中切割出Φ1(由Φ0，Φ1‑0拼接成)，Ψ1(由Ψ0，Ψ1‑0拼接成)，将Φ1，Ψ1与W1进行训练，得到最优解，值得指出的是，神经网络中的其它滤波器参数虽然不参与学习，但仍然参与图像重建过程运算；

[0119] 以此类推训练Φ2，Ψ2等，直到训练出Φ6，Ψ6，W6，此时Φ6，Ψ6大小与Φ，Ψ相同，训练结束。

[0120] 上述重建网络的网络参数训练的输入值与输出标签都为原始图像 本p
身，训练数据集表示为{x,x} ,其中p为训练图像数目。

[0121] 对于损失函数，通过计算最终重建结果与原始图像之间的差距，用于网络重建质量的评估。

[0122] 在具体实现中，如图4所示，图4为本发明多采样率复用重建网络方法的重建网络结构示意图，参见图4，获取采样矩阵所需最大采样比率Kn和输入图像块 其中，为实数集，向下取整，N*N为所述输入图像块的图像大小；根据下述公式确定最大采样矩阵 其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]；以所述输入图像
块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据 将所述压缩数据 进行初始重建，利
用大小为 的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大
小，生成初始重建结果记为 将所述初始重建结果输入到预设神经重建网络中
进行结果优化，获得最终重建图像 通过预设损失函数计算获得所述最终重建图
像与原始图像之间的图像误差；对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝
0，1，2…}，其中K0为最小值；根据所述采样比例确定本轮采样矩阵 其中Mi＝
[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据 对所述目标压缩数据进行初
始重建，利用大小为 的重建矩阵进行运算，使所述目标压缩数据恢复到压缩
采样前图像块大小，生成当前初始重建结果记为 将所述当前初始重建结果输
入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像 获得所述本轮重建图像
与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，p
重建神经网络；所述输入图像块由训练数据集{x,x}中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵；所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵
为全零矩阵，通过 进行初始重建。

[0123] 可以理解的是，本发明的仿真实验是在Intel(R)Core(TM)i7‑4790 CPU@3.60GHz，Windows 10操作系统的仿真条件下运行的，仿真软件采用PyCh arm。在仿真实验中，实验对象分别为：

[0124] woman——图像大小344×228；

[0125] butterfly——图像大小256×256；

[0126] head——图像大小280×280；

[0127] bird——图像大小288×288；

[0128] baby——图像大小512×512。

[0129] 将本发明提出的展开迭代优化算法的深度压缩感知网络方法(FISTA‑CSNet:ADeep Compressed Sensing Network by Unrolling Iterative Optimization 
Algorithm)与基于组稀疏表示图像恢复算法(GSR：Group‑Based Sparse Representation for Image Restoration)、对压缩感知测量数据进行非迭代的图像重建方法(ReconNet:
Non‑Iterative Reconstruction  of Imag es from Compressively Sensed 
Measurements)以及基于可解释优化的深度网络用于图像压缩感知方法(ISTA‑Net:
Interpretable Optimization‑Inspired Deep Network for Image Compressive 
Sensing)进行比较。

[0130] 图像重建质量的评价指标为峰值信噪比(Peak Signal to Noise Ratio，PSNR):

[0131]

[0132] 其中 为均方误差：

[0133]

[0134] 将采样率设为0.2，对于五幅图像的重建过程采用默认参数，表1为各种重建方法在0.2倍采样率下重建图像的PSNR，粗体表示同一幅图像最大的PSNR值。可以看到，本发明的重建质量领先于其它重建方法，证明了本发明所提出的Multi‑CSNet网络结构相比于其它重建方法具有更良好的重建性能。表2为其它重建方法与本发明在如实施方案中所述的七种采样率下所需的元素个数，可以发现，本发明的神经网络元素个数降低至其它方法的30％，证明本发明所提出的Multi‑CSNet网络结构相比于其它重建方法具有更良好的空间利用率。

[0135] 下表为各方法重建图像的PSNR对比结果(dB)

[0136]

[0137] 表2其它方法与Multi‑CSNet所需元素数量对比

[0138]

[0139] 本实施例通过上述方案，通过获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率，适用于对于不同采样率有不同要求的场景，能在精确重建原始图像的基础上减少不同采样率对于内存空间占用率，在获得良好的图像重建质量的条件下很大程度上提高了空间利用率。

[0140] 相应地，本发明进一步提供一种多采样率复用重建网络装置。

[0141] 参照图5，图5为本发明多采样率复用重建网络装置第一实施例的功能模块图。

[0142] 本发明多采样率复用重建网络装置第一实施例中，该多采样率复用重建网络装置包括：

[0143] 数据获取模块10，用于获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵。

[0144] 压缩模块20，用于以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像。

[0145] 网络重建模块30，用于获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。

[0146] 其中，多采样率复用重建网络装置的各个功能模块实现的步骤可参照本发明多采样率复用重建网络方法的各个实施例，此处不再赘述。

[0147] 此外，本发明实施例还提出一种存储介质，所述存储介质上存储有多采样率复用重建网络程序，所述多采样率复用重建网络程序被处理器执行时实现如下操作：

[0148] 获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；

[0149] 以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；

[0150] 获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络。

[0151] 进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：

[0152] 获取采样矩阵所需最大采样比率Kn和输入图像块 其中， 为实数集，向下取整，N*N为所述输入图像块的图像大小；

[0153] 根据下述公式确定最大采样矩阵 其中K为采样比率，Φmax为最大采样矩阵M＝[K*N*N]。

[0154] 进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：

[0155] 以所述输入图像块x作为训练数据，根据预设图像压缩采样公式和所述最大采样矩阵Φmax对所述训练数据进行压缩，获得压缩后的压缩数据

[0156] 将所述压缩数据 进行初始重建，利用大小为 的矩阵进行运算，使所述压缩数据恢复到压缩采样前图像块大小，生成初始重建结果记为

[0157] 将所述初始重建结果输入到预设神经重建网络中进行结果优化，获得最终重建图像

[0158] 进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：

[0159] 通过预设损失函数计算获得所述最终重建图像与原始图像之间的图像误差；

[0160] 对所述图像误差进行反向传播，更新神经网络参数，重复计算所述图像误差，直至所述图像误差达到预设期望值，获得更新后的目标神经网络参数；

[0161] 确定所述目标神经网络参数不变，以从小到大的选择顺序选择新一轮采样的采样比例Ki{i＝0，1，2…}，其中K0为最小值；

[0162] 根据所述采样比例确定本轮采样矩阵 其中Mi＝[Ki*N*N]{i＝0，1，2…}，从所述最大采样矩阵中划分出所述本轮采样矩阵参与训练，并对训练数据进行压缩，获得压缩后的目标压缩数据

[0163] 对所述目标压缩数据进行初始重建，利用大小为 的重建矩阵进行运算，使所述目标压缩数据恢复到压缩采样前图像块大小，生成当前初始重建结果记为[0164] 将所述当前初始重建结果输入到所述预设神经重建网络中，根据预设采样率获取所述预设神经重建网络中对应的滤波器，根据所述滤波器进行结果优化，获得本轮重建图像

[0165] 获得所述本轮重建图像与原始图像之间的本轮图像误差，对所述本轮图像误差进行反向传播，更新本轮采样矩阵，直至所述本轮图像误差达到预设期望值，并且所述采样比例达到最大采样比例后，获得更新后的最终神经网络参数和最终采样矩阵，根据所述神经网络参数和所述最终采样矩阵，重建神经网络。

[0166] 进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：

[0167] 所述输入图像块由训练数据集{x,x}p中获取，其中p为训练图像总数，所述最大采样矩阵的初始值为预设正态高斯矩阵。

[0168] 进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：

[0169] 所述预设图像压缩采样公式为yi＝Φix，其中，所述输入图像块x由所述原始图像的二维数据转变成一维向量；所述重建矩阵 为全零矩阵，通过 进行初始重建。

[0170] 进一步地，所述多采样率复用重建网络程序被处理器执行时还实现如下操作：

[0171] 所述损失函数为:

[0172]

[0173] 其中，p为训练图像数目，N2为原始图像大小，j为训练图像编号，i为所述本轮采样矩阵 的轮次编号，Θ为预设重建网络参数。

[0174] 本实施例通过上述方案，通过获取采样矩阵所需的最大采样比率和输入图像块，根据所述最大采样比率和所述输入图像块确定最大采样矩阵；以所述输入图像块作为训练数据，根据所述最大采样矩阵对所述训练数据进行压缩，对压缩数据进行重建，获得最终重建图像；获取所述最终重建图像与原始图像之间的图像误差，对所述图像误差进行反向传播，更新神经网络参数和本轮采样矩阵，直至通过损失函数计算的误差达到预设期望值，更新最终神经网络参数和最终采样矩阵，重建神经网络，解决了不同采样率下训练模型具有单一性，无法普遍适用于不同场景的问题，可以有效重建压缩图像，具有良好的图像重建效果并很大程度上降低了空间占用率，适用于对于不同采样率有不同要求的场景，能在精确重建原始图像的基础上减少不同采样率对于内存空间占用率，在获得良好的图像重建质量的条件下很大程度上提高了空间利用率。

[0175] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

[0176] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

[0177] 以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。