基于特征迁移的三维磁共振平面间超分辨重建方法和系统

摘要

建不同的其他低分辨率磁共振图像时，具有更好本发明公开了一种基于特征迁移的三维磁 的泛化性能和重建质量，因而可以为临床应用和共振平面间超分辨重建方法和系统。首先，获取 研究提供大量高质量的数据，便于后续磁共振定高分辨率的磁共振数据和对应的低分辨率数据； 性定量分析。其次，将三维高分辨率数据转成二维标签数据，将三维低分辨率数据进行插值后转成二维初始数据，将三维低分辨率数据通过最近邻寻找的方法生成二维参考数据；然后设计基于特征迁移和平面间超分辨的深度学习网络完成二维低分辨(56)对比文件Liu, X等.Super Resolution of UnpairedMR Images Based on DomainMigration.Advances in IntelligentInformation Hiding and Multimedia SignalProcessing: Proceeding of the 18th IIH-MSP 2022 . Smart Innovation, Systems andTechnologies (339).2023,全文.邢晓羊;魏敏;符颖.基于特征损失的医学图像超分辨率重建.计算机工程与应用.2018,(第20期),全文.杨文瀚;刘家瑛;夏思烽;郭宗明.数据外补偿的深度网络超分辨率重建.软件学报.2017,(第04期),全文.

权利要求

1.一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，该方法包括以下步骤：(1)获取T1加权的三维高分辨率数据和对应的三维低分辨率数据；

(2)进行数据预处理并构建输入集，先将三维低分辨率数据进行插值，基于三维低分辨率数据构建二维初始数据并寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；二维初始数据获得过程具体为：使用三次样条插值方法对三维低分辨率数据进行插值，并沿着下采样方向将三维低分辨率数据展开成多张二维图像；剔除掉不满足要求的图像，保留的数据记作二维初始数据；二维参考数据获得过程具体为：在三维低分辨率数据中为二维初始数据通过最近邻的方式寻找到最相似的二维切片作为二维参考数据；

(3)构建基于特征迁移和平面间超分辨的深度学习网络；该网络包括编码模块，用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块，用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；二维初始数据LR和二维参考数据Ref经过第i级编码模块的特征输出分别为LRi，Refi，首先将特征LRi，Refi分别切分成多个图像块集合{qm}，{kn}，计算每两个图像块之间的相关性，如下：其中m，n分别表示利用滑动窗口的方法对LRi，Refi进行切分图像块后的索引编号，rm，n是每两个图像块qm和kn之间的相关系数；通过相关系数计算硬相关度和软相关度，具体如下：硬相关度表明{kn}中与qm最相关的图像块的位置为hm：

软相关度表示{kn}与qm所有相关性系数中最大的相关系数为sm：

随后，利用获得的相关系数将第i级特征LRi与Refi进行合并，得到新特征LR_Refi：LR_Refi＝LRi+S*R(LRi，Refi) (4)

其中，S＝{sm}为相关度矩阵，表示图像块融合的加权系数，R为特征迁移模块的图像块匹配算子，R(LRi，Refi)包含两个操作，首先是通过hm确定匹配的图像块位置，然后将LRi所有图像块{qm}按照匹配的位置替换成{kn}；

(4)设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；

(5)超分辨重建时，根据分辨率构建数据集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。

2.根据权利要求1所述的一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，步骤(1)中，利用相同的设备在相同环境下，通过设置不同的采样率来分别获得高分辨率的T1加权的三维磁共振数据和对应的三维低分辨率数据。

3.根据权利要求1所述的一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，步骤(1)中，获取高分辨率的T1加权的三维磁共振数据，然后对三维磁共振数据进行模拟平面间下采样，即沿着平面垂直的方向将多层切片进行数值平均，获得三维低分辨率数据，选取的层数等同于下采样率的倍数。

4.根据权利要求1所述的一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，步骤(3)中，第i级解码模块的特征输入 为：其中conv为神经网络中的卷积算子，concat为神经网络中的维度连接算子。

5.根据权利要求1所述的一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，步骤(4)中深度学习网络的损失函数L为均方误差函数：其中，N是训练集数目，j是二维图像索引，HRj是第j张磁共振的高分辨率图像，SRj是第j张磁共振的重建图像。

6.根据权利要求1所述的一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，步骤(5)中，将重建好的二维磁共振数据合成三维磁共振数据具体过程为：对于单个受试者三维数据，按照步骤(2)沿着采样方向依序展开成二维初始数据序列kLR 表示序列中第k个二维初始数据，M为序列中数据数量，经过深度学习网络重建k后得到同序列的 HR表示序列中第k个二维重建数据，沿着采样方向将二维重建数据序列叠加在一起构成对应的三维磁共振数据。

7.一种实现权利要求1‑6任一项所述方法的基于特征迁移的三维磁共振平面间超分辨重建系统，其特征在于，该系统包括数据获取模块、数据预处理模块和深度学习网络模块；

所述数据获取模块用于获取T1加权的三维高分辨率数据和对应的三维低分辨率数据；

所述数据预处理模块用于进行数据预处理并构建输入集，先将三维低分辨率数据进行插值，基于三维低分辨率数据构建二维初始数据并寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；

所述深度学习网络模块用于构建基于特征迁移和平面间超分辨的深度学习网络；并设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；

深度学习网络模块包括编码模块、特征迁移模块和解码模块；

所述编码模块用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块；

所述特征迁移模块用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；

所述解码模块用于超分辨重建，根据分辨率构建测试集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。

说明书

基于特征迁移的三维磁共振平面间超分辨重建方法和系统

技术领域

[0001] 本发明涉及磁共振医学影像领域和深度学习领域，尤其涉及一种基于特征迁移的三维磁共振平面间超分辨重建方法的方法和系统。

背景技术

[0002] 磁共振成像由于其非侵入式成像和丰富的软组织对比度信息成为了脑科学研究中的重要研究手段。然而由于成像系统以及设备本身的限制，临床上获取高质量的磁共振图像并不容易。此外，过长的扫描时间也会给患者带来不适，同时会引入运动噪声，进一步降低图像质量。超分辨重建方法是一种不需要升级硬件设备的图像后处理技术，具有广泛的潜在应用价值。

[0003] 目前比较成熟的磁共振超分辨图像技术主要是处理层面内的采样问题。而很多临床数据是采用的层面间的采样，不同的下采样模式对算法就有了不同的要求。此外，受限于三维磁共振数据的数据量以及高维神经网络的复杂度，大多数算法都是将三维磁共振数据切分成二维磁共振图像，采用单张图像超分辨模型来重建，损失了部分先验知识。事实上，层面间采样的磁共振图像在各个方向上都有空间约束关系，根据图像局部相似性原则判断，相邻层间的切片会比较相似，这意味着每层切片重建时，可以利用相邻层的特征信息。

发明内容

[0004] 针对现有大多数技术仅仅使用单张图像重建而没有充分利用三维磁共振数据本身的先验信息，本发明提出了基于特征迁移的三维磁共振平面间超分辨重建方法和系统。本发明将主要解决两个问题：首先，如何获得先验知识，由于层面内采样每一层切片从二维图像上看是高分辨的，且包含相邻数层切片的信息，因而可以作为超分辨重建的参考图像；
其次，如何在网络中将高分辨率图像特征迁移到低分辨率图像中，即如何对初始图像与参考图像进行相似度匹配，以及如何迁移参考图像的高分辨率特征。

[0005] 本发明的目的是通过以下技术方案来实现的：第一方面，本发明提供了一种基于特征迁移的三维磁共振平面间超分辨重建方法，该方法包括以下步骤：

[0006] （1）获取T1加权的三维高分辨率数据和对应的三维低分辨率数据；

[0007] （2）进行数据预处理并构建输入集，先将三维低分辨率数据进行插值，基于三维低分辨率数据构建二维初始数据并寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；

[0008] （3）构建基于特征迁移和平面间超分辨的深度学习网络；该网络包括编码模块，用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块，用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；

[0009] （4）设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；

[0010] （5）超分辨重建时，根据分辨率构建数据集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。

[0011] 进一步地，步骤（1）中，利用相同的设备在相同环境下，通过设置不同的采样率来分别获得高分辨率的T1加权的三维磁共振数据和对应的三维低分辨率数据。

[0012] 进一步地，步骤（1）中，获取高分辨率的T1加权的三维磁共振数据，然后对三维磁共振数据进行模拟平面间下采样，即沿着平面垂直的方向将多层切片进行数值平均，获得三维低分辨率数据，选取的层数等同于下采样率的倍数。

[0013] 进一步地，步骤（2）中，二维初始数据获得过程具体为：使用三次样条插值方法对三维低分辨率数据进行插值，并沿着下采样方向将三维低分辨率数据展开成多张二维图像；对二维图像灰度值归一化到0 1之间，对图像灰度值求和，然后剔除掉结果小于所设定~的阈值的图像，阈值的设定与图像大小相关，保留的数据记作二维初始数据。

[0014] 进一步地，步骤（2）中，二维参考数据获得过程具体为：在三维低分辨率数据中为二维初始数据通过最近邻的方式寻找到最相似的二维切片作为二维参考数据。

[0015] 进一步地，步骤（3）中，二维初始数据 和二维参考数据 经过第 级编码模块的特征输出分别为 ，经过特征迁移模块后输出 为：

[0016] ；

[0017] 其中R为特征迁移模块的图像块匹配算子，S为图像块融合的加权系数，R和S均由之间的相关性来定义。

[0018] 进一步地，步骤（3）中，第级解码模块的特征输入 为：

[0019] ；

[0020] 其中 为神经网络中的卷积算子， 为神经网络中的维度连接算子。

[0021] 进一步地，步骤（4）中深度学习网络的损失函数 为均方误差函数：

[0022] ；

[0023] 其中， 是训练集数目，是二维图像索引， 是第 张磁共振的高分辨率图像，是第 张磁共振的重建图像。

[0024] 进一步地，步骤（5）中，将重建好的二维磁共振数据合成三维磁共振数据具体过程为：

[0025] 对于单个受试者三维数据，按照步骤（2）沿着采样方向依序展开成二维初始数据序列 ， 表示序列中第k个二维初始数据，M为序列中数据数量，经过深度学习网络重建后得到同序列的 ， 表示序列中第k个二维重建数据，沿着采样方向将二维重建数据序列叠加在一起构成对应的三维磁共振数据。

[0026] 另一方面，本发明还提供了一种基于特征迁移的三维磁共振平面间超分辨重建系统，该系统包括数据获取模块、数据预处理模块和深度学习网络模块；

[0027] 所述数据获取模块用于获取T1加权的三维高分辨率数据和对应的三维低分辨率数据；

[0028] 所述数据预处理模块用于进行数据预处理并构建输入集，先将三维低分辨率数据进行插值，基于三维低分辨率数据构建二维初始数据并寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；

[0029] 所述深度学习网络模块用于构建基于特征迁移和平面间超分辨的深度学习网络；并设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；深度学习网络模块包括编码模块、特征迁移模块和解码模块；

[0030] 所述编码模块用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块；

[0031] 所述特征迁移模块用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；

[0032] 所述解码模块用于超分辨重建，根据分辨率构建测试集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。

[0033] 本发明的有益效果是，本发明通过将三维磁共振数据切分成多张二维磁共振图像，将三维超分辨重建问题转换成二维超分辨重建问题，增加了可训练的数据量，同时降低了训练复杂度；此外为了避免三维数据转二维的信息损失，本发明借助特征迁移的思想，设计了多级特征迁移模块，结合编码网络和解码网络，融合了参考图像的特征信息，进一步提升了图像重建质量。进一步地，由于有相当一部分特征来自参考图像，本发明网络还能有效处理其他不同分辨率的磁共振数据，相比于其他的超分辨图像重建算法有着更高的泛化能力，为临床医学中磁共振图像分割、诊断、治疗提供了一种有效的后处理途径，丰富了医生从图像中获取信息的途径，这对于医学多中心数据融合，医学影像互认有着极为重要的意义。

附图说明

[0034] 图 1是本发明提供的一种基于特征迁移的三维磁共振平面间超分辨重建方法的流程示意图。

[0035] 图2是本发明提供的一种基于特征迁移的三维磁共振平面间超分辨重建网络示意图。

[0036] 图3是本发明实施实例中，在4mm层面间低分辨率数据和1mm高分辨率数据下，分别使用三次样条插值（Spline），三种神经网络（VDSR,RDN,UNET），以及提出的算法（TT‑Unet）的重建算法的比较结果示意图。

[0037] 图 4是本发明实施实例中，4mm层面间低分辨率数据的重建结果示意图。从上到下依次为高分辨率数据，低分辨率数据插值后图像，重建的磁共振数据。

[0038] 图5是本发明提供的一种基于特征迁移的三维磁共振平面间超分辨重建装置示意图。

具体实施方式

[0039] 以下结合附图对本发明具体实施方式作进一步详细说明。

[0040] 本发明将三维低分辨率数据插值，然后切分成多张初始图像，特别地，切分截面与下采样方向正交；接着为每张初始图像选取参考图像时，应尽量使得参考图像与初始图像在空间位置上比较接近，以充分利用相邻图像相似性信息。本发明将初始图像和参考图像经过编码网络提取不同层级的特征，将特征使用滑动窗口的方法提取图像块，计算每两个图像块的相关性，依据相关系数将高清特征块与低清特征块融合。具体而言，如图1所示，本发明提供了一种基于特征迁移的三维磁共振平面间超分辨重建方法，步骤包括：在获取磁共振数据时，需同时获取同一受试者在相同设备条件下的高分辨率数据和低分辨率数据；数据预处理和构建训练集合；构建编码模块、特征迁移模块和解码模块，并实现高分辨率输出。具体步骤为：

[0041] 步骤（1）：数据获取。一般而言，本实施例需要包含同一受试者的两种不同分辨率数据 ，利用相同的设备在相同环境下，通过设置不同的采样率来分别获得高分辨率的T1加权的三维磁共振数据和对应的三维低分辨率数据。其中 表示受试者编号， 表示低分辨率和高分辨率数据， 表示受试者数量，但由于临床数据中同时包含这两种数据的情况比较少，另一中生成数据的方案是，单独获取高分辨数据后，对其进行模拟平面间下采样，即沿着平面垂直的方向将多层切片进行数值平均，获得三维低分辨率数据，选取的层数等同于下采样率的倍数。针对本实例，使用3T西门子磁共振设备扫描获得的T1加权1mm的磁共振三维图像112例 ，选用前57例作为训练集，5例作为验证集，剩下50例作为测试集。首先将 归一化到0 1之间，然后沿着 的轴状面方向模拟4倍下采样获得对应的 ，接~着对 模拟4倍上采样得到初始数据 。

[0042] 步骤（2）构成训练集。假定高分辨率的三维数据 垂直于轴状面方向有M层，将三维数据 沿着该方向切分获得二维切片集 ，同样初始数据表示为 ，低分辨率的三维数据 ，其中 。 是插值获得的，因此每一层切片比较模糊，
而 虽然切片层数较少，但是每一层都是比较清晰的，因此可以将 中的清晰纹理通过网络训练的方式迁移到 中。特别地，假定磁共振数据相邻切片的图像特征非常相似，可以将的每一层二维切片作为二维初始数据 ，具体过程为：使用三次样条插值方法对三维低分辨率数据进行插值，并沿着下采样方向将三维低分辨率数据展开成多张二维图像；对二维图像灰度值归一化到0 1之间，对图像灰度值求和，然后剔除掉结果小于所设定的阈值的~
图像，阈值的设定与图像大小相关，保留的数据记作二维初始数据。在三维低分辨率数据中为二维初始数据 通过最近邻的方式寻找到最相似的高清的切片 作为二维参考数据，即构成训练集 ，其中 表示 中与 最邻近的切片索引，同时在三维高
分辨率数据中为二维初始数据寻找对应位置的高分辨率二维图像作为二维标签数据。针对本实例， ，经过去除背景后，训练集约10000张二维切片。

[0043] 步骤（3）：构建基于特征迁移和平面间超分辨的深度学习网络。如图2中的（a）所示，多级编码层（编码模块）包括左边和底部的三个池化层和四个卷积层；如图2中的（a）和图2中的（b）所示，特征迁移层（特征迁移模块）一共有三个，每个包括自定义的特征块生成模块、特征块匹配模块、特征块迁移和融合模块，其中QKV表示三个输入，；如图2中的（a）所示，解码层（解码模块）包括三级特征解码模块，对应于特征块迁移和融合模块的输入，每一级包括一个解卷积层和两个卷积层。这里卷积层的卷积核为 ，步长为1；池化层步长为2。网络损失函数设置为均方误差损失函数 ，
是训练集数目，是二维图像索引， 是第 张磁共振的高分辨率图像， 是第 张磁共振的重建图像。学习率为0.0001，迭代周期最大为100，batch为8，并使用Adam优化器进行训练。

[0044] 步骤（4）：自定义特征迁移层。假定二维初始数据 和二维参考数据 经过第 级编码模块的特征输出为 ，首先将特征 分别切分成多个图像块集合，计算每两个图像块之间的相关性，如下：

[0045] (1)

[0046] 其中 分别表示利用滑动窗口的方法对 进行切分图像块后的索引编号，一般而言，采用大小为 ，步长为1的滑动窗口； 是每两个图像块 和 之间的相关系数；通过相关系数计算硬相关度和软相关度，具体如下：

[0047] 硬相关度表明 中与 最相关的图像块的位置为 ：

[0048] (2)

[0049] 软相关度表示 与 所有相关性系数中最大的相关系数为 ：

[0050] (3)

[0051] 随后，利用获得的相关系数将第级特征 与 进行合并，得到新特征 ：

[0052] (4)

[0053] 其中， 为相关度矩阵，表示图像块融合的加权系数，R为特征迁移模块的图像块匹配算子， 包含两个操作，首先是通过 确定匹配的图像块位置，然后将 所有图像块 按照匹配的位置替换成 ；

[0054] 使用网络实现上述公式时，首先利用滑动窗口的方法将特征 ，切分成 特征块大小，步长设置为1，为特征的边界填充一层0。接着，将特征块展平，这样对于的特征，经过上述处理后得到 的特征块，表示特征的通道数， 表示特征尺寸。对 进行同样的操作得到 的特征。然后对特征块计算相关
度得到维度为 相关度矩阵R，按照公式(2)和公式(3)分别计算硬相关度和
软相关度。特征转移时，根据硬相关度，将来自 的图像块特征替入到来自 的特征中。
完成替换后，将迁移之后的特征块恢复成图像特征，然后采用公式(4)进行特征融合。

[0055] 特征融合时，考虑到高阶的特征迁移更有利于图像重建，第一级编码层直接使用，对于第2 4级编码层则采用公式(1) (4)得到的融合特征。~ ~

[0056] 最后，第级解码模块的特征输入 为：

[0057]

[0058] 其中 为神经网络中的卷积算子， 为神经网络中的维度连接算子。特别地，对于最后一层 ，输出 为：

[0059]

[0060] 超分辨重建时，根据分辨率构建测试集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据，对于单个受试者三维数据，按照步骤（2）沿着采样方向依序展开成二维初始数据序列 ， 表示序列中第k个二维初始数据，M为序列中数据数量，经过深度学习网络重建后得到同序列的 ，表示序列中第k个二维重建数据，沿着采样方向将二维重建数据序列叠加在一起构成对应的三维磁共振数据。

[0061] 步骤（5）：在上述应用实例中，本发明使用了T1加权的磁共振数据集，一共来自112例健康的受试者，图像大小为 ，图像分辨率为 ，经过步骤（1）的模拟下采样获得对应的低分辨率数据。如图3所示，分别使用样条插值算法Spline，深度网络超分辨重建算法VDSR、RDN和UNET，以及所提出的算法TT‑UNET在50例测试集上进行了重建，分别统计峰值信噪比PSNR，对应的平均值分别为31.67 dB，33.35 dB，33.95 dB，
34.12 dB和34.93 dB. 本发明的结果显著高于其他算法，具有更好的重建性能。

[0062] 此外，本发明选取了一例测试数据进行了三个平面方向的可视化展示，包括矢状面，冠状面和轴状面，如图4所示。第一行为原高分辨率数据，第二行是先进行4倍模拟下采样后使用样条插值重建的结果，可以发现在冠状面和轴状面上表现非常模糊，存在明显的下采样伪影；第三行是使用所提出的算法进行重建的结果，可以发现在冠状面和轴状面上，细节得到一定程度的恢复，更加接近于原高分辨率数据。因而本发明所提出的算法对于低分辨率的三维磁共振图像具有较好的可视化重建效果。

[0063] 本发明充分利用了磁共振数据的层面间切片的空间相似性，专门用于重建层间下采样的三维磁共振数据，相比于其他前沿算法具有更好的重建质量。不仅如此，对于其他低分辨率的数据，仍然具有较好的泛化性能。

[0064] 另一方面，本发明还提供了一种基于特征迁移的三维磁共振平面间超分辨重建系统，该系统包括数据获取模块、数据预处理模块和深度学习网络模块；

[0065] 所述数据获取模块用于获取T1加权的三维高分辨率数据和对应的三维低分辨率数据；将Dicom或者Nifiti格式的磁共振数据读入到内存中，并将内存中数据写入到Dicom或者Nifiti格式的文件中。

[0066] 所述数据预处理模块用于进行数据预处理并构建输入集，对数据矩阵大小和数组进行归一化，先将三维低分辨率数据进行插值，并沿着下采样方向将三维低分辨率数据展开成多张二维图像构建二维初始数据，并在三维低分辨率数据中通过最近邻的方式寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；

[0067] 所述深度学习网络模块用于构建基于特征迁移和平面间超分辨的深度学习网络；并设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；深度学习网络模块包括编码模块、特征迁移模块和解码模块；

[0068] 所述编码模块用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块；

[0069] 所述特征迁移模块用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；

[0070] 所述解码模块用于超分辨重建，根据分辨率构建测试集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。

[0071] 与前述基于特征迁移的三维磁共振平面间超分辨重建方法的实施例相对应，本发明还提供了对应的基于特征迁移的三维磁共振平面间超分辨重建装置的实施例。

[0072] 参见图5，本发明实施例提供的一种基于特征迁移的三维磁共振平面间超分辨重建的装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的一种基于特征迁移的三维磁共振平面间超分辨重建方法。

[0073] 本发明基于一种基于特征迁移的三维磁共振平面间超分辨重建装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明一种基于特征迁移的三维磁共振平面间超分辨重建装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

[0074] 上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

[0075] 对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

[0076] 本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于特征迁移的三维磁共振平面间超分辨重建方法。

[0077] 所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。

[0078] 上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。