基于深度神经网络的前列腺增生目标区域自动生成方法

摘要

本发明公开了一种基于深度神经网络的前列腺增生目标区域自动生成方法，包括如下步骤：1)在术前获取良性前列腺增生病人的核磁共振图像，并进行切片和数据预处理；2)获得切片在水平面的中间带和周边带的生理轮廓分图像；3)完成前列腺生理轮廓的三维分割，同时生成前列腺生理结构的三维点云模型；4)基于前列腺中央带切片建立虚拟人工势场，并对关键方向进行加强保护，得到安全系数在切片上的分布，进而得到合理的目标区域；5)对包含目标区域轮廓的前列腺切片进行三维重建，最终得到三维的良性前列腺增生手术目标模型。本发明方法可以实现对前列腺和BPH目标区域的三维重建，提高BPH手术的安全性和效率具有推动作用。

权利要求

1.一种基于深度神经网络的前列腺增生目标区域自动生成方法，其特征在于：包括如下步骤：

1)在术前获取良性前列腺增生病人的核磁共振图像，并进行切片和数据预处理；

2)将核磁共振图像的切片输入预先训练好的卷积神经网络，获得切片在水平面的中间带和周边带的生理轮廓分图像；

3)将中间带和周边带的生理轮廓分图像输入前列腺统计学模型，基于精阜判别准则得到精阜所在的切片位置，完成前列腺生理轮廓的三维分割，同时生成前列腺生理结构的三维点云模型；

4)基于前列腺中央带切片建立虚拟人工势场，并对关键方向进行加强保护，得到安全系数在切片上的分布，进而得到合理的目标区域；

5)对包含目标区域轮廓的前列腺切片进行三维重建，最终得到三维的良性前列腺增生手术目标模型；

其中，所述步骤4)中，虚拟人工势场基于目前前列腺切片周边带和中间带的点云轮廓建立，吸引势Uatt的公式如下：式中， 为目前前列腺切片重心位置到中间带边缘轮廓的距离，r为计算点到重心位置的距离；

排斥势Urep的公式如下：

式中，n为计算点感兴趣区域内的前列腺边界点云的总数目，ρ(i)为计算点到边界计算点i的距离；k(i)为所在计算点i的权重系数；k为权重因子；i为当前的边界计算点。

2.根据权利要求1所述的基于深度神经网络的前列腺增生目标区域自动生成方法，其特征在于：所述步骤1)中，在术前获取良性前列腺增生病人的核磁共振图像为T2权重MRI图像，切片为水平面切面，层间距≤4mm；数据预处理包括读入三维图像矩阵、调整分辨率以及图像灰度值归一化处理。

3.根据权利要求1所述的基于深度神经网络的前列腺增生目标区域自动生成方法，其特征在于：所述步骤2)中，所述卷积神经网络为全卷积网络，所述全卷积网络具有收缩部分的左侧和扩展部分的右侧；所述收缩部分为卷积神经网络体系结构，具有卷积层、激活功能单元和下采样池化层；所述扩展部分使用向上卷积来组合来自收缩路径的特征和空间信息。

4.根据权利要求1所述的基于深度神经网络的前列腺增生目标区域自动生成方法，其特征在于：所述步骤2)中，采用的卷积神经网络的最后一层使用softmax函数来保持多重分类的效果；切片图像被馈送到网络，通过路径传播，获得输出的分割图像，其损失函数为多分类的Dice损失函数，如下所示：式中，X(i)为切片上第i类生理结构的预测的区域轮廓，Y(i)为人工标注的第i类生理结构的真值轮廓，n为结构分类的总数目。

5.根据权利要求1所述的基于深度神经网络的前列腺增生目标区域自动生成方法，其特征在于：所述步骤3)中，精阜位置判别函数P(v)为：式中，S(v)为切片中的中间带的面积；S(v+k)是下一个切片中的中间带的面积；v为当前切片所在的无量纲位置；k为目前切片和下一切片之间的无量纲距离；D(v)为统计学模型得到的精阜可能性分布函数。

6.根据权利要求1所述的基于深度神经网络的前列腺增生目标区域自动生成方法，其特征在于：所述步骤4)中，总势能Uart的计算公式如下：Uart＝Uatt+Urep

式中，Uatt为吸引势，Urep为排斥势。

7.根据权利要求1所述的基于深度神经网络的前列腺增生目标区域自动生成方法，其特征在于：所述步骤4)中，对关键方向进行加强保护，加强保护为对权重因子k的调节：式中，k(θ)为加强保护之后的安全权重系数；函数h(·)为阶跃函数；β为用于调整影响距离的参数，θ为计算点所在的方向；k为初始设置的权重系数。

8.根据权利要求1所述的基于深度神经网络的前列腺增生目标区域自动生成方法，其特征在于：所述步骤5)中，对前列腺切片进行三维重建采用抛物线拟合方法。

9.根据权利要求8所述的基于深度神经网络的前列腺增生目标区域自动生成方法，其特征在于：所述步骤5)中，重建得到的三维良性前列腺增生手术目标模型的坐标系的原点在前列腺的中心点，x轴为冠状轴，y轴为矢状轴，z轴为垂直轴。

说明书

基于深度神经网络的前列腺增生目标区域自动生成方法

技术领域

[0001] 本发明涉及医学图像处理的技术领域，具体涉及一种基于深度神经网络的前列腺增生目标区域自动生成方法。

背景技术

[0002] 良性前列腺前列腺(BPH)是中老年男性最常见的症状性疾病之一。随着年龄的增长，前列腺的中央带腺体将缓慢增殖，这将限制尿流的流速并阻塞尿道。BPH可以引起下尿路症状(LUTS)，包括排尿不畅，排尿频繁，后遗症运球，排尿夜尿不完全等症状，严重影响了老年人的正常生活。随着人类社会的老龄化，BPH和LUTS的发生率和患病率迅速增加。BPH在30多岁的男性中占8％，在50多岁的男性中占50％，随着男性达到80岁以上，这一数字将增加到大于80％。治疗BPH的最有效方法是进行手术，以去除多余的中央腺体组织。经尿道前列腺电切术(TURP)是BPH(金标准)的标准手术范例，这是通过使用医用标准内窥镜通过尿道完成的，并且通过锋利的解剖或电灼术将前列腺组织切成碎片。尽管TURP的手术范例具有微创性，但它可能导致大量组织出血和较长的导管插入时间。BPH越来越多地采用切割和凝血的结合，经尿道激光前列腺切除术(TULP)越来越多。TULP是一种新的外科手术方法，它使用大功率激光作用于前列腺组织，以直接蒸发包含目标发色团的腺体组织。

[0003] 但是，BPH对临床医生是极具挑战性的。由于内窥镜在到达前列腺之前必须穿过许多尿道软组织，因此外科医生的可操作性受到极大限制。同时，手术的安全性一直是一个令人担忧的问题。因为医生只能通过连接到内窥镜的摄像头查看前列腺内部，所以医生的视野和感知受到很大限制。感知匮乏使外科医生难以判断手术的当前状态和区分手术区域的边界，这极大地增加了手术培训的成本。即使是训练有素的临床医生也需要依靠自己的经验来判断手术的安全性，这很容易损坏附近的组织并给患者带来相关的并发症。位于尿道深处、视野有限，缺乏感知手段和较长的手术时间已成为BPH手术的主要挑战。随着计算机技术和人工智能技术的发展，使用基于深度学习的手术导航技术来对手术进行建模，对手术边界进行相应的保护，扩大医生的视野，提高手术的效率和安全性，并提高手术的自动化程度，是BPH手术发展的大势所趋。

[0004] 核磁共振成像(MRI)是目前最精确，最清晰的前列腺医学成像方法。目前，有许多方法可以在MRI图像下自动分割前列腺。从分割的目的出发，MRI下前列腺的分割方法可分为全前列腺分割和前列腺分区分割两种。整个前列腺分割是指从相应的MRI切片识别整个前列腺的轮廓。有数字图像处理分割方法，如基于边缘的，基于区域的，基于聚类的或混合方法。随着人工智能的发展，基于深度学习的分割方法由于其鲁棒性和易用性已成为分割的主流。已经提出了一系列经典的医学图像分割方法，例如FCN，U‑net等。后来，改进了基于FCN和U‑net的方法和基于生成对抗网络的方法使得分割的结果越来越好。与整个前列腺分割相比，前列腺分区分割是一个相对较小的研究领域。它不仅可以识别前列腺，还可以识别前列腺中的不同解剖结构。与整个前列腺分割相似，它也可以分为经典的数字图像处理方法和基于深度学习的方法。尽管目前有很多方法，但是这些方法仅限于识别前列腺的轮廓，而没有对BPH手术区域进行分割。对于BPH手术，必须考虑一些必要的安全限制，因此手术量与前列腺状况不同。同时，由于深度学习方法的准确性和鲁棒性比医生的经验差，因此外科手术区域需要由外科医生轻松修改。截至目前，尚没有方法可以在MRI图像下自动重建BPH的目标区域。

发明内容

[0005] 本发明的目的在于克服上述背景技术的不足，提供一种基于深度神经网络的前列腺增生目标区域自动生成方法，该方法可以实现对前列腺和BPH目标区域的三维重建，有利于对BPH手术导航的发展，提高BPH手术的安全性和效率具有推动作用。

[0006] 为实现上述目的，本发明所设计的一种基于深度神经网络的前列腺增生目标区域自动生成方法，包括如下步骤：

[0007] 1)在术前获取良性前列腺增生病人的核磁共振图像，并进行切片和数据预处理；

[0008] 2)将核磁共振图像的切片输入预先训练好的卷积神经网络，获得切片在水平面的中间带和周边带的生理轮廓分图像；

[0009] 3)将中间带和周边带的生理轮廓分图像输入前列腺统计学模型，基于精阜判别准则得到精阜所在的切片位置，完成前列腺生理轮廓的三维分割，同时生成前列腺生理结构的三维点云模型；

[0010] 4)基于前列腺中央带切片建立虚拟人工势场，并对关键方向进行加强保护，得到安全系数在切片上的分布，进而得到合理的目标区域；

[0011] 5)对包含目标区域轮廓的前列腺切片进行三维重建，最终得到三维的良性前列腺增生手术目标模型。

[0012] 进一步地，所述步骤1)中，在术前获取良性前列腺增生病人的核磁共振图像为T2权重MRI图像，切片为水平面切面，层间距≤4mm；数据预处理包括读入三维图像矩阵、调整分辨率以及图像灰度值归一化处理。

[0013] 进一步地，所述步骤2)中，所述卷积神经网络为全卷积网络，所述全卷积网络具有收缩部分的左侧和扩展部分的右侧；所述收缩部分为卷积神经网络体系结构，具有卷积层(3×3内核)、激活功能单元(ReLU)和下采样池化层(2×2最大池化，步幅＝2)；每次下采样操作后，功能通道的数量将增加一倍。扩展部分的右侧几乎与左侧对称，所述扩展部分使用向上卷积来组合来自收缩路径的特征和空间信息。

[0014] 进一步地，所述步骤2)中，采用的卷积神经网络的最后一层使用softmax函数来保持多重分类的效果；切片图像被馈送到网络，通过路径传播，获得输出的分割图像，其损失函数为多分类的Dice损失函数，如下所示：

[0015]

[0016] 式中，X(i)为切片上第i类生理结构的预测的区域轮廓，Y(i)为人工标注的第i类生理结构的真值轮廓，n为结构分类的总数目。

[0017] 进一步地，所述步骤3)中，精阜位置判别函数P(v)为：

[0018]

[0019] 式中，S(v)为切片中的中间带的面积；S(v+k)是下一个切片中的中间带的面积；v为当前切片所在的无量纲位置；k为目前切片和下一切片之间的无量纲距离；D(v)为统计学模型得到的精阜可能性分布函数。精阜位置判别函数为当前切片精阜可能性分布函数的值与中间带面积相对变化率的乘积。

[0020] 进一步地，所述步骤4)中，虚拟人工势场基于目前前列腺切片周边带和中间带的点云轮廓建立，吸引势Uatt的公式如下：

[0021]

[0022] 式中， 为目前前列腺切片重心位置到中间带边缘轮廓的距离，r为计算点到重心位置的距离；

[0023] 排斥势Urep的公式如下：

[0024]

[0025] 式中，n为计算点感兴趣区域内的前列腺边界点云的总数目，ρ(i)为计算点到边界计算点i的距离；k(i)为所在计算点i的权重系数；i为当前的边界计算点。

[0026] 进一步地，所述步骤4)中，总势能Uart的计算公式如下：

[0027] Uart＝Uatt+Urep

[0028] 式中，Uatt为吸引势，Urep为排斥势。

[0029] 进一步地，所述步骤4)中，对关键方向进行加强保护，加强保护为对权重因子k的调节：

[0030]

[0031] 式中，k(θ)为加强保护之后的安全权重系数；函数h(·)为阶跃函数；β为用于调整影响距离的参数，θ为计算点所在的方向；k为初始设置的权重系数。

[0032] 进一步地，关键方向为在前列腺中部轴向剖面中5‑7点和11‑1点方向，尿道为环形腔道结构，在前列腺中部轴向剖面中，5‑7点指圆环正下方及两旁约1cm构成的弧形区域，11‑1点指圆环正上方及两旁约1cm构成弧形区域。

[0033] 再进一步地，所述步骤5)中，对前列腺切片进行三维重建采用抛物线拟合方法，以减少层与层之间的不连续性。

[0034] 更进一步地，所述步骤5)中，重建得到的三维良性前列腺增生手术目标模型的坐标系的原点在前列腺的中心点，x轴为冠状轴，y轴为矢状轴，z轴为垂直轴。

[0035] 与现有技术相比，本发明具有如下优点：

[0036] 其一，本发明将深度神经网络和前列腺生理统计学模型相结合，可以对前列腺进行分区的三维的分割，得到前列腺的不同生理结构的三维模型。

[0037] 其二，本发明通过引入设计的虚拟人工势场，可以实现前列腺切片的安全评价，并实现对特殊方向的保护作用，得到合适的良性前列腺增生手术区域。

[0038] 其三，本发明可实现对前列腺和BPH手术区域的三维重建，对BPH手术导航的发展，提高BPH手术的安全性和效率具有推动作用。

附图说明

[0039] 图1为本发明的方法流程图；

[0040] 图2(a)前列腺MRI图像水平面切片，(b)前列腺中央带和外周带标签；

[0041] 图3为本发明的卷积神经网络结构图；

[0042] 图4为本发明的虚拟人工势场构建示意图。

具体实施方式

[0043] 下面结合实施案例详细说明本发明的实施情况，但它们并不构成对本发明的限定，仅作举例而已。同时通过说明本发明的优点将变得更加清楚和容易理解。

[0044] 本发明公开了一种基于深度神经网络的核磁共振图像良性前列腺增生手术区域自动生成方法。包括数据获取阶段，神经网络推理阶段，人工势场建立阶段以及手术区域三维重建阶段。数据获取阶段包括数据的获取和预处理等。网络推理阶段包括网络结构设计和损失函数选择，人工势场建立包括人工势场的建立和特殊区域保护，手术区域三维重建阶段使用层间抛物线插值方法对手术区域进行整体的三维模型重建。

[0045] 本发明所设计的一种基于深度神经网络的前列腺增生目标区域自动生成方法，包括如下步骤：

[0046] 1)在术前获取良性前列腺增生病人的核磁共振图像，并进行切片和数据预处理；本发明实施例采用Python平台基于Keras库和Matlab平台实现，调用医学图像读取函数，输入前列腺MRI图像文件名和该图像对应的分割图文件名，分别读入大小为H×W×D的矩阵X和Y中，矩阵X中各元素为前列腺MRI图像的像素值，矩阵Y中各元素为该元素对应的类别，H为前列腺MRI图像的长，W为前列腺MRI图像的宽，D为前列腺MRI图像的切片数，为了方便模型训练，我们对图像切片进行了预处理，将所有切片的大小调整为256像素×256像素，同时将图像灰度都归一化到0‑255之间。

[0047] 2)将核磁图像切片输入预先训练好的卷积神经网络，获得切片在水平面的中间带和周边带的生理轮廓分图像。所述卷积神经网络为全卷积网络，该网络具有收缩部分的左侧和扩展部分的右侧。收缩部分是典型的卷积神经网络体系结构，具有卷积层(3×3内核)，激活功能单元(ReLU)，然后是下采样池化层(2×2最大池化，步幅＝2)。每次下采样操作后，功能通道的数量将增加一倍。扩展的右侧几乎与左侧对称，使用向上卷积来组合来自收缩路径的特征和空间信息。网络的最后一层使用softmax函数来保持多重分类的效果。切片图像被馈送到网络，通过路径传播，获得输出的分割图像。其损失函数为多分类的Dice损失函数，如下所示：

[0048]

[0049] 式中，X(i)为切片上第i类生理结构的预测的区域轮廓，Y(i)为人工标注的第i类生理结构的真值轮廓，n为结构分类的总数目。在本实施例中，总类数有背景、中央带、周边带三类。

[0050] 本实施例中，步骤2)的具体操作为将前列腺MRI图像矩阵X的每一片切片H×W输入到训练好的神经网络(如图2所示)里面，最终得到预测的前列腺切片轮廓矩阵H’×W’。此时的前列腺切片轮廓矩阵尚未进行轴线方向的分割。

[0051] 3)将中间带和周边带的生理轮廓分图像输入前列腺统计学模型，基于精阜判别准则得到精阜所在的切片位置，完成前列腺生理轮廓的三维分割，同时生成前列腺生理结构的三维点云模型。

[0052] 本实施例中，步骤3)的具体操作为将前列腺的每一片切片按照原来的顺序排序，送入精阜位置判别函数中，所用到的精阜统计学模型由前列腺的生理结构和实际病人的调查情况得出。精阜位置判别函数P(v)为：

[0053]

[0054] 其中，S(v)为切片中的中间带的面积，S(v+k)为下一个切片中的中间带的面积，v为当前切片所在的无量纲位置；k为目前切片和下一切片之间的无量纲距离。D(v)为统计学模型得到的精阜可能性分布函数。精阜位置判别函数为当前切片精阜可能性分布函数的值与中间带面积相对变化率的乘积。由上述函数判断精阜的精确位置，至此完成前列腺的三维分割。

[0055] 4)基于前列腺中央带切片建立虚拟人工势场，并对关键方向(5‑7点，11‑1点)进行加强保护，尿道为环形腔道结构，在前列腺中部轴向剖面中，5‑7点指圆环正下方及两旁约1cm构成的弧形区域，11‑1点指圆环正上方及两旁约1cm构成弧形区域，得到安全系数在切片上的分布，进而得到合理的目标区域。虚拟人工势场基于目前前列腺切片周边带和中间带的点云轮廓建立。吸引势Uatt的公式如下：

[0056]

[0057] 式中， 为目前前列腺切片重心位置到中间带边缘轮廓的距离，r为计算点到重心位置的距离；

[0058] 排斥势Urep的公式如下：

[0059]

[0060] 式中，n为计算点感兴趣区域内的前列腺边界点云的总数目，ρ(i)为计算点到边界计算点i的距离；k(i)为所在计算点i的权重系数；；i为当前的边界计算点。

[0061] 总势能Uart的计算公式如下：

[0062] Uart＝Uatt+Urep

[0063] 式中，Uatt为吸引势，Urep为排斥势。

[0064] 对关键方向进行加强保护，关键方向为(5‑7点，11‑1点)，加强保护为对权重因子k的调节：

[0065]

[0066] 式中，k(θ)为加强保护之后的安全权重系数；函数h(·)为阶跃函数；β为用于调整影响距离的参数，θ为计算点所在的方向；k为初始设置的权重系数。

[0067] 本实施例中，步骤4)的具体操作为，使用步骤2)和步骤3)确立的包含中间带的MRI切片的预测轮廓矩阵H’×W’作为输入，进行该切片的虚拟势场的构建，虚拟势场输出得到切片的安全系数的分布，医生通过选择安全系数的阈值可以得到手术的区域矩阵I×J。

[0068] 5)对包含手术区域轮廓的前列腺切片进行三维重建，最终得到三维的良性前列腺增生手术目标模型。重建得到的三维良性前列腺增生手术目标模型的坐标系的原点在前列腺的中心点，x轴为冠状轴，y轴为矢状轴，z轴为垂直轴。

[0069] 本实施例中，步骤5)的具体操作为，将包含手术区域矩阵I×J的切片按照步骤2)中得到的序列进行三维排序，得到三维手术区域矩阵I×J×K，其中I为矩阵的高度，J为矩阵的宽度，K的矩阵的切片数。最终基于抛物线拟合对层间的矩阵进行拟合，得到密集的三维良性前列腺增生手术矩阵I×J×K’。

[0070] 具体实施时，可采用软件方式实现流程的自动运行。运行流程的装置也应当在本发明的保护范围内。

[0071] 以下通过试验来验证本发明的有益效果：

[0072] 本试验采用的数据集为Promise 12数据集的一部分，Promise 12数据集有50份前腺MRI图像作训练集，30份前列腺MRI图像作测试集，本次实验使用了其中的30例作为训练集，10例作为测试集，这些前列腺MRI图像采集于不同的医院、不同的设备、使用了不同的协议，图像的长宽有512×512、384×384、320×320、256×256四个类别，切片数从17到54不等，体素间距从0.27×0.27×2.2(mm)到0.75×0.75×4(mm)不等，包含了各种情况下产生的前列腺MRI图像。

[0073] BPH手术区域分割方法评价指标采用Dice系数(DSC)和平均边界距离(ABD)来表述。Dice系数是一种集合相似度度量函数，用于衡量预测的分割图和真实的分割图之间的重叠度，其范围为0‑1，0表示预测的分割图和真实的分割图之间完全没有重叠，1表示预测的分割图和真实的分割图完全重叠。ABD表示两个表面轮廓之间的平均距离，单位为mm。目标区域的真值由专业的手术医生给出。实验的结果如下表1所示：

[0074] 表1

[0075]

[0076] 从上表中可以看出，本发明提出的方法对目标区域分割精度可以达到0.867，可以取得良好的分割结果，同时，和医生分割表面的平均边界距离为1.229mm，说明了本方法的有效性。

[0077] 以上，仅为本发明的具体实施方式，应当指出，任何熟悉本领域的技术人员在本发明所揭示的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，其余未详细说明的为现有技术。