一种多模态图像合成的深度学习神经网络模型系统

摘要

本发明涉及一种多模态图像合成的深度学习神经网络模型系统，包括由残差深度神经网络(RDNN)与多分辨率优化策略相结合形成的多分辨率残差深度神经网络；RDNN包括A个卷积层，B个脱落层,C个批归一化(Batch Normalization)层和D个长期残差连接；其中，卷积层用于图像特征的提取；脱落层用于避免网络过拟合；批归一化层用于对对应卷积核的输入进行标准化；长期残差连接用于保留输入图像中的结构信息；每个脱落层的两侧均设置有卷积层，每个脱落层与两侧相邻的卷积层均连接；每个脱落层和批归一化层之间均设置有一个卷积层；脱落层、卷积层和批归一化层之间依次连接；每个长期残差连接的一端连接在卷积层与批归一化层之间；另一端连接在另一组卷积层与批归一化层之间。

权利要求

1.一种多模态图像合成的深度学习神经网络模型系统，其特征在于，所述的多模态图像合成的深度学习神经网络模型系统包括由与多分辨率优化策略相结合形成的多分辨率残差深度神经网络；首先利用低分辨率图像对残差深度神经网络进行训练，之后，利用中等分辨率及高分辨率图像对残差深度神经网络进行细调，使得网络不断的学习图像中的细节信息，直到合成高HU准确性及结构保真度的sCT图像；所述的残差深度神经网络包括A个卷积层，B个脱落层, C个批归一化层和D个长期残差连接；其中，所述的卷积层用于图像特征的提取；所述的脱落层用于避免网络过拟合；所述的批归一化层用于对对应卷积核的输入进行标准化，从而稳定网络训练过程及提高学习效率；所述的长期残差连接用于保留输入图像中的结构信息；

每个所述的脱落层的两侧均设置有所述的卷积层，每个所述的脱落层与两侧相邻的所述卷积层均连接；卷积层将提取的图像特征输入到相邻的脱落层中；

每个所述的脱落层和所述的批归一化层之间均设置有一个卷积层；脱落层、卷积层和批归一化层之间依次连接；

每个所述的长期残差连接的一端连接在卷积层与批归一化层之间；每个所述的长期残差连接的另一端连接在另一组卷积层与批归一化层之间。

2.根据权利要求1所述的多模态图像合成的深度学习神经网络模型系统，其特征在于，所述的残差深度神经网络包括15个卷积层。

3.根据权利要求1所述的多模态图像合成的深度学习神经网络模型系统，其特征在于，所述残差深度神经网络中的脱落率为20%。

4.根据权利要求1所述的多模态图像合成的深度学习神经网络模型系统，其特征在于，所述的脱落层设置有7个。

5.根据权利要求1所述的多模态图像合成的深度学习神经网络模型系统，其特征在于，所述的批归一化层设置有7个。

6.根据权利要求1所述的多模态图像合成的深度学习神经网络模型系统，其特征在于，所述的长期残差连接设置有3个。

7.根据权利要求1所述的多模态图像合成的深度学习神经网络模型系统，其特征在于，所述的残差深度神经网络中不使用池化层，以避免导致图像中结构信息的丢失。

说明书

一种多模态图像合成的深度学习神经网络模型系统

技术领域

[0001] 本发明涉及医学图像处理及引导治疗技术领域，具体涉及一种多模态图像合成的深度学习神经网络模型系统。

背景技术

[0002] 基于CBCT图像的自适应放疗(Adaptive Radio Therapy, ART)技术可以提高射线对肿瘤的照射，同时，保护肿瘤附近的危及器官。然而，现有技术中CBCT图像HU准确性低、软
组织分辨率低并且存在严重的伪影。因此，为实现自适应放疗（ART），首先需要基于CBCT图
像产生高HU准确性及结构保真度的合成 CT(sCT)图像。

[0003] U‑Net及其他一些深度学习网络已广泛应用于sCT图像产生的任务中。研究表明，产生的sCT图像的HU准确性得到了显著提高，并可基于sCT图像进行剂量计算。然而，这些
sCT图像对于CBCT图像中存在的结构的保真度不高，且产生的图像模糊。

[0004] 产生上述sCT图像结构保真度不高的一个重要原因是，由于医学数据的不易获得，之前的研究没有基于特定部位对网络进行优化。例如，在训练头部sCT图像产生的网络过程
中，一些研究利用头、腹、盆等部位的数据对其进行训练。二是，上述网络缺乏提高sCT图像
结构保真度的约束。

发明内容

[0005] 本发明旨在提供一种多模态图像合成的深度学习神经网络模型系统，所要解决的技术问题包括如何使得产生的sCT图像不仅具有很高的HU准确性，而且对CBCT图像中的结
构信息有很好的保真度。

[0006] 本发明的目的是解决现有技术的不足，提供一种多模态图像合成的深度学习神经网络模型系统，包括由残差深度学习网络（RDNN）与多分辨（multi‑resolution）率优化策略
相结合形成的多分辨率残差深度学习网络（multi‑resolution RDNN）；所述的残差深度学
习网络包括A个卷积层，B个脱落层(dropout),C个批归一化(Batch Normalization)层和D
个长期残差连接(long‑term residual connections)；其中，所述的卷积层用于图像特征
的提取；所述的脱落层用于避免网络过拟合；所述的批归一化层用于对对应卷积核的输入
进行标准化，从而稳定网络训练过程及提高学习效率；所述的长期残差连接用于保留深入
图像中的结构信息；每个所述的脱落层的两侧均设置有所述的卷积层，每个所述的脱落层
与两侧相邻的所述卷积层均连接；卷积层将提取的图像特征输入到相邻的脱落层中；

[0007] 每个所述的脱落层和所述的批归一化层之间均设置有一个卷积层；脱落层、卷积层和批归一化层之间依次连接；

[0008] 每个所述的长期残差连接的一端连接在卷积层与批归一化层之间；每个所述的长期残差连接的另一端连接在另一组卷积层与批归一化层之间；

[0009] 所述的多分辨率优化策略是指由低到高在不同的分辨率模式下对优化过程进行序贯优化；在低分辨率下，优化过程仅专注于整个图像的概貌而不需拘泥于图像中的局部
细节；图像中的细节信息在更高分辨率模式下学习得到。

[0010] 优选地，所述的残差深度学习网络包括15个卷积层。

[0011] 每个所述的卷积层可以表示为(k´k)卷积层, n的形式，其中，k表示卷积核的大小，n表示卷积核的个数，使用的激活函数为elu。

[0012] 优选地，所述残差深度学习网络中的脱落率（Dropout Rate）为20%。

[0013] 优选地，所述的脱落层设置有7个。

[0014] 优选地，所述的批归一化层设置有7个。

[0015] 优选地，所述的长期残差连接设置有3个。

[0016] 优选地，所述的残差深度学习网络中不使用池化层(pooling)，以避免导致图像中结构信息的丢失。

[0017] 有益效果

[0018] 与现有技术相比，本发明的有益效果是：

[0019] 本发明所述的多模态图像合成的深度学习神经网络模型系统利用患者特定部位的图像对专门设计的多分辨率残差深度神经网络进行优化及测试，将本发明提出的残差深
度神经网络与多分辨率优化策略相结合形成了多分辨率残差深度神经网络（见图2)。该网
络综合了二者的优势，可以使得产生的sCT图像不仅具有很高的HU准确性，而且对CBCT图像
中的结构信息有很好地保真度。

附图说明

[0020] 附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的具体实施方式一起用于解释本发明的技术方案，并不构成对本发明技术方案的限
制。

[0021] 图1是本发明所述的残差深度神经网络的结构示意图。

[0022] 图2是本发明所述的多分辨率残差深度神经网络的结构示意图。

具体实施方式

[0023] 在下文中更详细地描述了本发明以有助于对本发明的理解。

[0024] 如图1和图2所示，本发明所述的多模态图像合成的深度学习神经网络模型系统包括由残差深度神经网络（RDNN）与多分辨率优化策略相结合形成的多分辨率残差深度神经
网络；所述的残差深度神经网络包括了15个卷积层，每个卷积层可以表示为(k´k) conv, n
的形式，其中，k表示卷积核的大小，n表示卷积核的个数。为避免网络过拟合
（overfitting），7个脱落层被添加至残差深度神经网络中(脱落率为20%)；7个批归一化层
被用来对对应卷积核的输入进行标准化，从而，稳定网络训练过程及提高学习效率。为更好
的保留CBCT图像中的结构信息，我们添加了三个长期残差连接。由于池化层会导致图像中
结构信息的丢失，在本网络中我们没有使用池化层。每个所述的脱落层的两侧均设置有所
述的卷积层，每个所述的脱落层与两侧相邻的所述卷积层均连接；卷积层将提取的图像特
征输入到相邻的脱落层中；每个所述的脱落层和所述的批归一化层之间均设置有一个卷积
层；脱落层、卷积层和批归一化层之间依次连接；每个所述的长期残差连接的一端连接在卷
积层与批归一化层之间；每个所述的长期残差连接的另一端连接在另一组卷积层与批归一
化层之间。

[0025] 多分辨率优化过程与人类视觉系统观察事物时的方式类似。该机制由低到高在不同的分辨率模式下对优化过程进行序贯优化。在低分辨率下，优化过程可以仅仅专注于整
个图像的概貌而不需拘泥于图像中的局部细节。图像中的细节信息在更高分辨率模式下学
习得到。

[0026] 在本申请中，我们将首先利用低分辨率图像对残差深度神经网络进行训练，之后，利用中等分辨率及高分辨率图像对残差深度神经网络进行细调，使得网络不断的学习图像
中的细节信息，直到合成高HU准确性及结构保真度的sCT图像。

[0027] 申请人分别针对现有技术和本申请所述的多模态图像合成的深度学习神经网络模型系统做了对比试验，由于试验结果涉及的sCT图像的HU准确性和对CBCT图像中的结构
信息的保真度不像物理试验和化学试验那样具有准确的量化指标，更多的需要取决于医生
的主观判断，因此试验过程中申请人组织了50名具有5年以上肿瘤临床经验的医生，对5个
不同病人的sCT图像和CBCT图像进行了测试，测试结果如下：（该试验中脱落层设置有7个、
批归一化层设置有7个、长期残差连接设置有3个）。

[0028] 针对病人1的sCT图像HU，认为现有技术产生的sCT图像具有的HU准确性高的医生为0人，认为本申请产生的sCT图像具有的HU准确性高的医生为50人。

[0029] 针对病人1的CBCT图像中的结构信息的保真度，认为现有技术对CBCT图像中的结构信息具有更好地保真度的医生为0人，认为本申请对CBCT图像中的结构信息具有更好地
保真度的医生为49人，认为二者相差不大的医生为1人。

[0030] 针对病人2的sCT图像HU，认为现有技术产生的sCT图像具有的HU准确性高的医生为0人，认为本申请产生的sCT图像具有的HU准确性高的医生为48人，认为二者相差不大的
医生为2人。

[0031] 针对病人2的CBCT图像中的结构信息的保真度，认为现有技术对CBCT图像中的结构信息具有更好地保真度的医生为0人，认为本申请对CBCT图像中的结构信息具有更好地
保真度的医生为50人。

[0032] 针对病人3的sCT图像HU，认为现有技术产生的sCT图像具有的HU准确性高的医生为0人，认为本申请产生的sCT图像具有的HU准确性高的医生为50人。

[0033] 针对病人3的CBCT图像中的结构信息的保真度，认为现有技术对CBCT图像中的结构信息具有更好地保真度的医生为0人，认为本申请对CBCT图像中的结构信息具有更好地
保真度的医生为47人，认为二者相差不大的医生为3人。

[0034] 针对病人4的sCT图像HU，认为现有技术产生的sCT图像具有的HU准确性高的医生为0人，认为本申请产生的sCT图像具有的HU准确性高的医生为50人。

[0035] 针对病人4的CBCT图像中的结构信息的保真度，认为现有技术对CBCT图像中的结构信息具有更好地保真度的医生为0人，认为本申请对CBCT图像中的结构信息具有更好地
保真度的医生为49人，认为二者相差不大的医生为1人。

[0036] 针对病人5的sCT图像HU，认为现有技术产生的sCT图像具有的HU准确性高的医生为0人，认为本申请产生的sCT图像具有的HU准确性高的医生为50人。

[0037] 针对病人5的CBCT图像中的结构信息的保真度，认为现有技术对CBCT图像中的结构信息具有更好地保真度的医生为0人，认为本申请对CBCT图像中的结构信息具有更好地
保真度的医生为45人，认为二者相差不大的医生为5人。

[0038] 以上实验数据表明，与现有技术相比，本申请使得产生的sCT图像具有更高的HU准确性，而且对CBCT图像中的结构信息有更好地保真度。

[0039] 以上描述了本发明优选实施方式，然其并非用以限定本发明。本领域技术人员对在此公开的实施方案可进行并不偏离本发明范畴和精神的改进和变化。