本发明公开了基于图卷积Transformer的医学图像配准方法，应用于医学图像处理技术领域。包括：对3D脑部磁共振数据集进行数据预处理，从中随机选取一对图像作为浮动图像和固定图像进行拼接与处理；利用邻接矩阵屏蔽特征图中的假连接，使用切比雪夫卷积处理，解码得到配准变形场；将浮动图像与配准变形场输入空间变换网络,得到配准图像；对固定图像和配准图像进行相似性测度，并对配准变形场中的折叠点优化；使用配准网络进行迭代训练，得到最优权重参数网络模型；输入待配准图像至最优权重参数网络模型，得到配准结果。通过邻接矩阵屏蔽假连接、切尔雪夫卷积处理扩大感受野、折叠点优化促进配准变形场的可逆一致性，有效提高了配准的精准性和真实性。
1.基于图卷积Transformer的医学图像配准方法，其特征在于，包括：步骤(1)：获取3D脑部磁共振数据集，对所述3D脑部磁共振数据集进行数据预处理；
步骤(2):在所述3D脑部磁共振数据集中随机选取一对图像作为浮动图像和固定图像，进行拼接与处理，并利用邻接矩阵屏蔽特征图中的假连接，同时使用切比雪夫卷积处理进行特征提取，得到最优特征提取图，解码所述最优特征提取图得到配准变形场；
步骤(3)：将所述浮动图像与所述配准变形场输入空间变换网络,得到配准图像；
步骤(4)：对固定图像和配准图像进行相似性测度，并对所述配准变形场中的折叠点进行优化；
步骤(5)：使用配准网络进行迭代训练，得到最优权重参数的网络模型；
步骤(6)：输入待配准图像至所述最优权重参数的网络模型，得到配准结果；
步骤(2)中，使用步长卷积搭建U型特征提取网络的编码器，对所述浮动图像和所述固定图像进行拼接，随后输入至所述U型特征提取网络的编码器进行下采样处理；
步骤(2)中，搭建图卷积Transformer特征提取模块，输入经过所述下采样处理后的拼接图像，输出第一特征图；搭建所述切比雪夫卷积模块，输入所述第一特征图，输出第二特征图；以所述第一特征图与所述第二特征图之和作为最优提取特征图；通过反卷积层搭建的解码器恢复最优提取特征图尺寸；同时在所述U型特征提取网络的对应层之间使用跳跃连接将编码阶段的特征传入解码阶段，保持网络的底层特征，加速网络收敛，得到所述配准变形场；
所述图卷积Transformer特征提取模块定义如下：l‑1
其中，MHGA表示多头图注意力，FFN表示前向传播网络，Z 和 分别表示所述图卷积Transformer模块的输入和输出， 和 分别表示FFN的输入和输出，LN表示层归一化；
其中，I表示对角阵，A表示邻接矩阵，L表示拉普拉斯矩阵， 表示邻接矩阵的度矩阵，Tk表示所述切比雪夫多项式， 表示重采样的拉普拉斯矩阵 λmax是Ll
的最大特征值，θk是可训练参数， 和Z分别是所述切比雪夫多项式的输入和输出；
其中，Z表示所述最优提取特征图的输出， 表示所述图卷积Transformer特征提取模块的输出， 表示所述切比雪夫卷积多项式的输出。
2.根据权利要求1所述的基于图卷积Transformer的医学图像配准方法，其特征在于，步骤(1)中，所述数据预处理为：归一化、仿射对齐、尺寸裁剪。
3.根据权利要求1所述的基于图卷积Transformer的医学图像配准方法，其特征在于，步骤(3)中，应用三线性插值将所述浮动图像和所述配准变形场输入至所述空间变换网络进行变换，得到所述配准图像；所述三线性插值定义如下：其中，IM和 分别表示所述浮动图像和所述配准图像，x表示IM中的体素，y表示8像素立方体邻域x+φ(y)中的体素，d∈{i，j，k}表示图像的三个维度，φ表示所述配准变形场。
4.根据权利要求1所述的基于图卷积Transformer的医学图像配准方法，其特征在于，步骤(4)中，相似性测度设计为：其中， 表示所述相似性测度的目标函数， 表示所述固定图像IF和所述配准图像 之间的相似性度量，λ表示反折叠正则化项超参数；
所述固定图像IF和所述配准图像 之间的局部互相关为 定义如下：其中，IF和 被定义为n维空间Ω上的两个图像体； 和 分别表示图像IF3
和 的局部平均强度；Pi表示在n 的立方体P上迭代的点，其中立方体的大小设置为n＝9；
其中， 和 分别代表变形场φ的一阶导数和二阶导数。
5.根据权利要求1所述的基于图卷积Transformer的医学图像配准方法，其特征在于，步骤(5)中，对配准网络进行迭代训练，使用端到端的训练方式对训练数据进行两两配准，使用Adam优化器驱动设计的目标函数进行优化；网络进行1000个周期的迭代训练，初始学习率设置为2e‑4，按照如下公式进行衰减：其中，power＝0.9为衰减指数，epoch为当前迭代的周期数，max_epoch＝1000为所使用的迭代周期。
6.根据权利要求1所述的基于图卷积Transformer的医学图像配准方法，其特征在于，步骤(6)中还包括应用重合度系数和平均表面距离对所述配准结果进行评价；
其中，F和M分别表示两幅图像；重合度DSC越接近1，表示图像的解剖结构对齐越精准；
其中， 是点x到传播面Rs的表面距离，ASD越低表示配准精度越高。
基于图卷积Transformer的医学图像配准方法
技术领域
[0001] 本发明涉及医学图像处理技术领域，特别涉及基于图卷积Transformer的医学图像配准方法。
背景技术
[0002] 脑是人体最重要的器官之一，脑部健康对人体健康产生重要的影响。磁共振成像作为一种对软组织成像良好的非侵入式辅助诊断工具，在脑部疾病筛查、诊断、治疗引导和评估中发挥着重要作用。配准后的脑部磁共振图像融合了两幅图像之间的信息，能够为医生判断病情提供更多的可靠信息，在病灶定位、手术导航和预后评估等方面发挥重要作用。目前，医院多使用传统迭代配准算法来完成配准任务，虽然这种配准方式能实现较好的配准精度，但是每次迭代需要耗费大量的配准时间，不能满足临床治疗的需求。随着卷积神经网络(Convolutional Neural Network,CNN)的出现和计算机硬件的飞速发展，基于深度学习的医学影像配准算法逐渐出现并且成为当下的研究热点。2015年，Ronneberger等人基于全卷积网络(Full Convolutional Network,FCN)提出了U‑Net模型。2018年，Balakrishnan等人基于U‑Net和空间转换网络(Spatial Transformer Network,STN)提出快速配准模型VoxelMorph，通过学习同一数据集的内在分布，使得配准速度相比传统配准方式大幅提升。
然而，由于脑部图像内容较为复杂和数据之间存在较大变形的问题导致当前基于深度学习的脑部图像配准算法难以达到临床应用级别的要求。
[0003] 现有基于Transformer的图像配准网络通过提取数据中的长距离依赖从而扩大网络的感受野，进而提升感兴趣区域(Region of Interest,ROI)的匹配精度。然而提取到的长距离依赖中存在的假连接极大的影响了配准网络的精度。此外，配准变形场中存在的交叉折叠现象极大的影响了配准结果的真实性。
[0004] 为此，如何提供一种能够有效提高配准精度和真实性的医学图像配准方法是本领域技术人员亟需解决的问题。
发明内容
[0005] 有鉴于此，本发明提出了一种基于图卷积Transformer模块的医学图像配准方法。通过在网络中引入图卷积Transformer，利用图卷积处理来屏蔽特征图中的假连接对网络提取特征的干扰，从而帮助网络提取到高质量的长距离依赖特征，进而提升网络的配准精度；通过在配准网络的目标函数中增加反折叠优化正则项来增强配准变形场的可逆一致性，从而消除配准变形场的折叠现象，极大的提高了配准结果的真实性。
[0006] 为了实现上述目的，本发明采用如下技术方案：
[0007] 基于图卷积Transformer的医学图像配准方法，包括：
[0008] 步骤(1)：获取3D脑部磁共振数据集，对3D脑部磁共振数据集进行数据预处理；
[0009] 步骤(2):在3D脑部磁共振数据集中随机选取一对图像作为浮动图像和固定图像，进行拼接与处理，并利用邻接矩阵屏蔽特征图中的假连接，同时使用切比雪夫卷积处理进行特征提取，得到最优特征提取图，解码最优特征提取图得到配准变形场；
[0010] 步骤(3)：将浮动图像与配准变形场输入空间变换网络,得到配准图像；
[0011] 步骤(4)：对固定图像和配准图像进行相似性测度，并对配准变形场中的折叠点进行优化；
[0012] 步骤(5)：使用配准网络进行迭代训练，得到最优权重参数的网络模型；
[0013] 步骤(6)：输入待配准图像至最优权重参数的网络模型，得到配准结果。
[0014] 可选的，步骤(1)中，数据预处理为：归一化、仿射对齐、尺寸裁剪；通过归一化处理，将数据的像素值变换到0‑1的范围内有利于网络从数据中提取特征；并将实验数据仿射对齐到相同的MNI152空间下；数据的尺寸大小被裁剪为16的倍数，供U型特征提取网络的编码器进行四次下采样。
[0015] 可选的，步骤(2)中，使用步长卷积搭建U型特征提取网络的编码器，对浮动图像和固定图像进行拼接，随后输入至U型特征提取网络的编码器进行四次下采样处理，特征图尺寸为未被下采样处理前大小的
[0016] 可选的，步骤(2)中，搭建图卷积Transformer特征提取模块，输入经过下采样处理后的拼接图像，输出第一特征图，帮助网络提取数据中的高质量长距离特征依赖，从而增大网络的感受野；搭建切尔雪夫卷积模块，输入第一特征图，输出第二特征图，进一步扩大网络的感受野；以第一特征图与第二特征图之和作为最优提取特征图，有效提高了配准网络的精准性；堆叠8层图卷积Transformer模块从而获得最优高质量长距离依赖特征；之后通过反卷积层搭建的解码器恢复最优提取特征图尺寸；同时在U型特征提取网络的对应层之间使用跳跃连接将编码阶段的特征传入解码阶段，保持网络的底层特征，加速网络收敛，得到配准变形场；
[0017] 图卷积Transformer特征提取模块定义如下：
[0018]
[0019]l‑1
[0020] 其中，MHGA表示多头图注意力，FFN表示前向传播网络，Z 和 分别表示图卷积Transformer模块的输入和输出， 和 分别表示FFN的输入和输出，LN表示层归一化；
[0021] 切尔雪夫卷积模块定义如下：
[0022]
[0023] Tk(X)＝2XTk‑1(X)‑Tk‑2(X)
[0024]
[0025] 其中，I表示对角阵，A表示邻接矩阵，L表示拉普拉斯矩阵， 表示邻接矩阵的度矩阵，Tk表示切比雪夫多项式， 表示重采样的拉普拉斯矩阵 λmax是L的最l大特征值，θk是可训练参数， 和Z分别是切比雪夫多项式的输入和输出；
[0026] 最优提取特征图定义如下：
[0027]l
[0028] 其中，Z 表示最优提取特征图的输出， 表示图卷积Transformer特征提取模块的输出， 表示切尔雪夫卷积多项式的输出。
[0029] 可选的，步骤(3)中，应用三线性插值将浮动图像和配准变形场输入至空间变换网络进行变换，得到配准图像；三线性插值定义如下：
[0030]
[0031] 其中，IM和 分别表示浮动图像和配准图像，x表示IM中的体素，y表示8像素立方体邻域x+φ(y)中的体素，d∈{i,j,k}表示图像的三个维度，φ表示配准变形场。
[0032] 可选的，步骤(4)中，相似性测度设计为：
[0033]
[0034] 其中， 表示相似性测度的目标函数， 表示固定图像IF和配准图像之间的相似性度量或局部互相关，λ表示反折叠正则化项超参数；
[0035] 固定图像IF和配准图像 之间的局部互相关为 定义如下：
[0036]
[0037]
[0038]
[0039] 其中，IF和 被定义为n维空间Ω上的两个图像体； 和 分别表示图像3
IF和 的局部平均强度；Pi表示在n的立方体P上迭代的点，其中立方体的大小设置为n＝9；
[0040] 使用 对配准变形场中的折叠点进行优化，从而提升配准结果的有效性， 定义如下：
[0041]
[0042]
[0043]
[0044] 其中， 和 分别代表变形场φ的一阶导数和二阶导数，通过设计一种具有反折叠优化正则项的目标函数，促进配准变形场的可逆一致性，进而提升配准变形场的平滑度和真实性，从而降低配准结果中不真实的折叠现象。
[0045] 可选的，步骤(5)中，对配准网络进行迭代训练，使用端到端的训练方式对训练数据进行两两配准，使用Adam优化器驱动设计的目标函数进行优化；网络进行1000个周期的迭代训练，初始学习率设置为2e‑4，按照如下公式进行衰减：
[0046]
[0047] 其中，power＝0.9为衰减指数，epoch为当前迭代的周期数，max_epoch＝1000为所使用的迭代周期。
[0048] 可选的，步骤(6)中还包括应用重合度系数和平均表面距离对配准结果进行评价；
[0049] 重合度系数定义如下：
[0050]
[0051] 其中，F和M分别表示两幅图像；重合度DSC越接近1，表示图像的解剖结构对齐越精准；
[0052] 平均表面距离定义如下：
[0053]
[0054] 其中， 是点x到传播面Rs的表面距离，ASD越低表示配准精度越高。
[0055] 可选的，步骤(6)中还包括应用折叠率和配准时间对配准结果进行评价。
[0056] 经由上述的技术方案可知，与现有技术相比，本发明公开的基于图卷积Transformer的医学图像配准方法，该方法通过将图卷积Transformer模块级联在U‑Net网络的底层，使用邻接矩阵屏蔽特征图中的假连接，从而帮助网络提取到高质量的长距离特征依赖，进而提升网络的配准精度；在特征提取网络中引入切比雪夫卷积，通过使用切比雪夫卷积处理进一步扩大网络的感受野，从而使得网络能够提取到更加丰富的全局特征；在目标函数中引入雅可比反折叠优化正则项：通过使用雅可比反折叠优化正则项来优化变形场中的折叠点，从而有效的惩罚变形场中的折叠点，促进配准变形场的可逆一致性，进而提升配准结果的真实性。
附图说明
[0057] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0058] 图1为本发明的流程示意图。
[0059] 图2为本发明的模型示意图。
[0060] 图3为本发明的图卷积Transformer模块构造示意图。
具体实施方式
[0061] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0062] 本发明公开了基于图卷积Transformer的医学图像配准方法：
[0063] 步骤(1)：获取3D脑部磁共振数据集，对3D脑部磁共振数据集进行归一化、仿射对齐、尺寸裁剪；通过归一化处理，将每个分布在0‑255的像素点灰度值压缩到0‑1的范围内，有利于网络从数据中提取特征；并将实验数据仿射对齐到相同的MNI152空间下，从而使得数据分布在相同的坐标下，利于网络收敛；数据的尺寸大小被裁剪为16的倍数，供U型特征提取网络的编码器进行四次下采样。
[0064] 步骤(2):在3D脑部磁共振数据集中随机选取一对图像作为浮动图像和固定图像，使用步长卷积搭建U型特征提取网络的编码器，对浮动图像和固定图像进行拼接，随后输入至U型特征提取网络的编码器进行四次下采样处理，特征图尺寸为未被下采样处理前大小的
[0065] 并在特征提取网络中引入图卷积Transformer结构，如图2所示，通过将图卷积Transformer模块级联在U‑Net网络的底层，使用邻接矩阵屏蔽特征图中的假连接，从而帮助网络提取到高质量的长距离特征依赖，进而提升网络的配准精度：搭建图卷积Transformer特征提取模块，输入经过下采样处理后的拼接图像，输出第一特征图，图卷积Transformer特征提取模块定义如下：
[0066]
[0067]l‑1
[0068] 其中，MHGA表示多头图注意力，FFN表示前向传播网络，Z 和 分别表示图卷积Transformer模块的输入和输出， 和 分别表示FFN的输入和输出，LN表示层归一化；
[0069] 同时，在特征提取网络中引入切比雪夫卷积：如图3所示，通过使用切比雪夫卷积处理进一步扩大网络的感受野，从而使得网络能够提取到更加丰富的全局特征：搭建切尔雪夫卷积模块，使用切比雪夫卷积模块进行特征提取，输入第一特征图，输出第二特征图；以第一特征图与第二特征图之和作为最优提取特征图；堆叠8层图卷积Transformer模块从而获得最优高质量长距离依赖特征；之后通过反卷积层搭建的解码器恢复最优提取特征图尺寸；同时在U型特征提取网络的对应层之间使用跳跃连接将编码阶段的特征传入解码阶段，保持网络的底层特征，加速网络收敛，得到配准变形场；
[0070] 切尔雪夫卷积模块定义如下：
[0071]
[0072] Tk(X)＝2XTk‑1(X)‑Tk‑2(X)
[0073]
[0074] 其中，I表示对角阵，A表示邻接矩阵，L表示拉普拉斯矩阵， 表示邻接矩阵的度矩阵，Tk表示切比雪夫多项式， 表示重采样的拉普拉斯矩阵 λmax是L的最l大特征值，θk是可训练参数， 和Z分别是切比雪夫多项式的输入和输出；
[0075] 最优提取特征图定义如下：
[0076]l
[0077] 其中，Z 表示最优提取特征图的输出， 表示图卷积Transformer特征提取模块的输出， 表示切尔雪夫卷积多项式的输出。
[0078] 步骤(3)：将浮动图像与配准变形场输入空间变换网络,得到配准图像；应用三线性插值将浮动图像和配准变形场输入至空间变换网络进行变换，得到配准图像；三线性插值定义如下：
[0079]
[0080] 其中，IM和 分别表示浮动图像和配准图像，x表示IM中的体素，y表示8像素立方体邻域x+φ(y)中的体素，d∈{i,j,k}表示图像的三个维度，φ表示配准变形场。
[0081] 步骤(4)：对固定图像和配准图像进行相似性测度，并对配准变形场中的折叠点进行优化；相似性测度设计为：
[0082]
[0083] 其中， 表示相似性测度的目标函数， 表示固定图像IF和配准图像之间的相似性度量或局部互相关，λ表示反折叠正则化项超参数；
[0084] 固定图像IF和配准图像 之间的局部互相关为 定义如下：
[0085]
[0086]
[0087]
[0088] 其中，IF和 被定义为n维空间Ω上的两个图像体； 和 分别表示图像3
IF和 的局部平均强度；Pi表示在n的立方体P上迭代的点，其中立方体的大小设置为n＝9；
[0089] 使用 对配准变形场中的折叠点进行优化，从而提升配准结果的有效性， 定义如下：
[0090]
[0091]
[0092]
[0093] 其中， 和 分别代表变形场φ的一阶导数和二阶导数，通过设计一种具有反折叠优化正则项的目标函数，促进配准变形场的可逆一致性，进而提升配准变形场的平滑度和真实性，从而降低配准结果中不真实的折叠现象。
[0094] 步骤(5)：使用配准网络进行迭代训练，得到最优权重参数的网络模型：对配准网络进行迭代训练，使用端到端的训练方式对训练数据进行两两配准，使用Adam优化器驱动设计的目标函数进行优化；初始学习率设置为2e‑4，批大小设置为1；网络进行1000个周期的迭代训练，每周期迭代100次，总共100000次的迭代训练，最终得到最优权重模型，按照如下公式进行衰减：
[0095]
[0096] 其中，power＝0.9为衰减指数，epoch为当前迭代的周期数，max_epoch＝1000为所使用的迭代周期。
[0097] 步骤(6)：输入待配准图像至最优权重参数的网络模型，得到配准结果；应用重合度系数和平均表面距离对配准结果进行评价；
[0098] 重合度系数定义如下：
[0099]
[0100] 其中，F和M分别表示两幅图像；重合度DSC越接近1，表示图像的解剖结构对齐越精准；
[0101] 平均表面距离定义如下：
[0102]
[0103] 其中， 是点x到传播面Rs的表面距离，ASD越低表示配准精度越高；
[0104] 还包括应用折叠率和配准时间对配准结果进行评价。
[0105] 本发明公开的基于图卷积Transformer的医学图像配准方法，该方法通过将图卷积Transformer模块级联在U‑Net网络的底层，使用邻接矩阵屏蔽特征图中的假连接，从而帮助网络提取到高质量的长距离特征依赖，进而提升网络的配准精度；在特征提取网络中引入切比雪夫卷积，通过使用切比雪夫卷积处理进一步扩大网络的感受野，从而使得网络能够提取到更加丰富的全局特征；在目标函数中引入雅可比反折叠优化正则项：通过使用雅可比反折叠优化正则项来优化变形场中的折叠点，从而有效的惩罚变形场中的折叠点，促进配准变形场的可逆一致性，进而提升配准结果的真实性。通过图卷积Transformer模块、切尔雪夫卷积和雅可比反折叠优化正则项的共同应用，有效提高了配准的精准性和真实性。
[0106] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0107] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
