基于深度学习网络的三维影像的管状结构分割图断裂修复方法及系统

摘要

本发明实施例提供一种基于深度学习网络的三维影像的管状结构分割图断裂修复方法及系统，该方法包括以下步骤：步骤S1：采集三维影像数据，并进行预处理；步骤S2：对预处理后的三维影像数据进行重采样，生成多个候选的感兴趣区域的三维数据；步骤S3：将所有候选感区域的三维数据输入目标分割深度学习网络，得到每一个感兴趣区域内的目标器官分割图；步骤S4：将目标器官分割图进行距离变换得到距离变换图，将目标器官分割图与距离变换图一起输入断裂修复深度学习网络，得到每一个感兴趣区域的断裂修复图，将所有的断裂修复图拼接组合在一起的到完整的目标器官分割结果。该方法及系统能够实现自动断裂修复，简单而有效，提高了分割效果。

权利要求

1.一种基于深度学习网络的三维影像的管状结构分割图断裂修复方法，其特征在于，包括以下步骤：步骤S1：采集三维影像数据，并进行预处理；

步骤S2：对预处理后的三维影像数据进行重采样，生成多个候选的感兴趣区域的三维数据；

步骤S3：将所有候选感区域的三维数据输入目标分割深度学习网络，得到每一个感兴趣区域内的目标器官分割图；所述目标分割深度学习网络利用卷积残差块和降采样交替进行4次，提取高维特征，然后再通过卷积残差块和上采样交替进行4次，恢复到原来输入图像的分辨率；所述目标分割深度学习网络在上采样后的特征图与低层次同分辨率的特征图进行融合；所述目标分割深度学习网络将不同深度的目标器官特征图利用上采样进行特征融合；

步骤S4：将目标器官分割图进行距离变换得到距离变换图，将目标器官分割图与距离变换图一起输入断裂修复深度学习网络，得到每一个感兴趣区域的断裂修复图，将所有的断裂修复图拼接组合在一起的到完整的目标器官分割结果；所述断裂修复深度学习网络利用卷积残差块和降采样交替进行1次，提取高维特征，然后再通过卷积残差块和上采样交替进行1次，恢复原来输入图像的分辨率。

2.根据权利要求1所述的基于深度学习网络的三维影像的管状结构分割图断裂修复方法，其特征在于，所述步骤S1中对三维图像数据的预处理包括以下步骤：像素值规范化和插值。

3.根据权利要求2所述的基于深度学习网络的三维影像的管状结构分割图断裂修复方法，其特征在于，所述像素值规范化的方法为：min＝c-w/2

max＝c+w/2

if x

if x>max then x＝1

其中c为窗位，w为窗宽，x为像素值。

4.根据权利要求3所述的基于深度学习网络的三维影像的管状结构分割图断裂修复方法，其特征在于，所述插值的方法为：先解析原始三维图像，获取图像Spacing属性(z0,y0,x0)；其中，目标图像Spacing为(z1,y1,x1)，计算各个方向的缩放因子(z0/z1,y0/y1,x0/x1)，再根据各方向的缩放因子，利用双线性插值，得到插值后的三维数据。

5.根据权利要求4所述的基于深度学习网络的三维影像的管状结构分割图断裂修复方法，其特征在于，所述步骤S2中的重采样的方法为：将插值后的三维数据，按照步长为32×

48×48，提取大小为64×96×96且有相互重叠的局部片块三维图像。

说明书

基于深度学习网络的三维影像的管状结构分割图断裂修复方

法及系统

技术领域

[0001] 本发明涉及医疗图像领域，尤其涉及一种基于深度学习网络的三维影像的管状结构分割图断裂修复方法。

背景技术

[0002] 在正常人体解剖结构里，存在很多管状结构的器官，例如动脉、静脉、支气管、神经等等。在疾病的诊断与治疗过程中，这些器官重建非常重要，具有重要的临床价值。

[0003] 目前针对不同的管状器官，在自动重建后的分割图像中，会出现噪声、断裂等异常情况，严重影响疾病的诊断与治疗。

[0004] 公开于该背景技术部分的信息仅仅旨在增加对本实用新型的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

[0005] 针对现有技术存在的问题，本发明实施例提供一种基于深度学习网络的三维影像的管状结构分割图断裂修复方法。

[0006] 第一方面，本发明实施例提供一种基于深度学习网络的三维影像的管状结构分割图断裂修复方法，包括以下步骤：

[0007] 步骤S1：采集三维影像数据，并进行预处理；

[0008] 步骤S2：对预处理后的三维影像数据进行重采样，生成多个候选的感兴趣区域的三维数据；

[0009] 步骤S3：将所有候选感区域的三维数据输入目标分割深度学习网络，得到每一个感兴趣区域内的目标器官分割图；

[0010] 步骤S4：将目标器官分割图进行距离变换得到距离变换图，将目标器官分割图与距离变换图一起输入断裂修复深度学习网络，得到每一个感兴趣区域的断裂修复图，将所有的断裂修复图拼接组合在一起的到完整的目标器官分割结果。

[0011] 进一步地，步骤S1中对三维图像数据的预处理包括以下步骤：像素值规范化和插值。

[0012] 进一步地，像素值规范化的方法为：

[0013] min＝c-w/2

[0014] max＝c+w/2

[0015] if x

[0016] if x>max then x＝1

[0017]

[0018] 其中c为窗位，w为窗宽，x为像素值。

[0019] 进一步地，插值的方法为：先解析原始三维图像，获取图像Spacing属性(z0,y0,x0)；其中，目标图像Spacing为(z1,y1,x1)，计算各个方向的缩放因子(z0/z1,y0/y1,x0/x1)，再根据各方向的缩放因子，利用双线性插值，得到插值后的三维数据。

[0020] 进一步地，步骤S2中的重采样的方法为：将插值后的三维数据，按照步长为32×48×48，提取大小为64×96×96且有相互重叠的局部片块三维图像。

[0021] 进一步地，目标分割深度学习网络利用卷积残差块和降采样交替进行4 次，提取高维特征，然后再通过卷积残差块和上采样交替进行4次，恢复到原来输入图像的分辨率。

[0022] 进一步地，目标分割深度学习网络在上采样后的特征图与低层次同分辨率的特征图进行融合。

[0023] 进一步地，目标分割深度学习网络将不同深度的目标器官特征图利用上采样进行特征融合。

[0024] 进一步地，断裂修复深度学习网络利用卷积残差块和降采样交替进行1 次，提取高维特征，然后再通过卷积残差块和上采样交替进行1次，恢复原来输入图像的分辨率。

[0025] 第二方面，本发明实施例提供一种基于深度学习网络的三维影像的管状结构分割图断裂修复系统，包括：

[0026] 预处理模块：用于对三维图像数据进行预处理；

[0027] 图像重采样模块：用于对预处理后的三维影像数据进行重采样，生成多个候选的感兴趣区域的三维数据；

[0028] 目标器官提取模块：用于将所有候选感区域的三维数据输入目标分割深度学习网络，得到每一个感兴趣区域内的目标器官分割图；

[0029] 断裂修复模块：用于将目标器官分割图进行距离变换得到距离变换图，将目标器官分割图与距离变换图一起输入断裂修复深度学习网络，得到每一个感兴趣区域的断裂修复图，将所有的断裂修复图拼接组合在一起的到完整的目标器官分割结果。

[0030] 本发明实施例提供的一种基于深度学习网络的三维影像的管状结构分割图断裂修复方法及系统具有如下优点：该三维影像的管状结构分割图断裂修复方法及系统利用断裂处的距离变换信息作为断裂位置识别信息，无需事先检测断裂位置，即可实现自动断裂修复，简单而有效，提高了分割效果。

附图说明

[0031] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0032] 图1为本发明实施例提供的基于深度学习网络的三维影像的管状结构分割图断裂修复方法流程图；

[0033] 图2为本发明实施例提供的方法中目标分割深度学习网络结构示意图；

[0034] 图3为本发明实施例提供的方法中断裂修复深度学习网络结构示意图；

[0035] 图4本发明实施例提供的基于深度学习网络的三维影像的管状结构分割图断裂修复系统的原理图。

具体实施方式

[0036] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0037] 除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

[0038] 图1为本发明实施例提供的一种基于深度学习网络的三维影像的管状结构分割图断裂修复方法流程图，如图1所示，本发明提出的一种基于深度学习网络的三维影像的管状结构分割图断裂修复方法，包括下述步骤：

[0039] 步骤S1：采集三维影像数据，并进行预处理；

[0040] 本发明实施例的步骤S1中，对三维图像数据的预处理包括以下步骤：像素值规范化和插值。

[0041] 其中，像素值规范化的方法为：

[0042] min＝c-w/2

[0043] max＝c+w/2

[0044] if x

[0045] if x>max then x＝1

[0046]

[0047] 其中c为窗位，w为窗宽，x为像素值。

[0048] 插值的方法为：先解析原始三维图像，获取图像Spacing属性(z0,y0,x0)；其中，目标图像Spacing为(z1,y1,x1)，计算各个方向的缩放因子(z0/z1,y0/y1,x0/x1)，再根据各方向的缩放因子，利用双线性插值，得到插值后的三维数据。

[0049] 步骤S2：对预处理后的三维影像数据进行重采样，生成多个候选的感兴趣区域的三维数据；

[0050] 本发明实施例的步骤S2中，重采样方法为：将插值后的三维数据，按照步长为32×48×48，提取大小为64×96×96且有相互重叠的局部片块三维图像。

[0051] 步骤S3：将所有候选感区域的三维数据输入目标分割深度学习网络，得到每一个感兴趣区域内的目标器官分割图；

[0052] 步骤S4：将目标器官分割图进行距离变换得到距离变换图，将目标器官分割图与距离变换图一起输入断裂修复深度学习网络，得到每一个感兴趣区域的断裂修复图，将所有的断裂修复图拼接组合在一起的到完整的目标器官分割结果。

[0053] 该三维影像动静脉分割方法的深度学习网络采用了目标分割深度学习网络与断裂修复深度学习网络的两阶段的识别，即先用目标分割深度学习网络进目标器官提取，得到目标器官分割图，再将目标器官分割图进行距离变换得到距离变换图，将目标器官分割图与距离变换图一起输入断裂修复深度学习网络进行断裂修复。

[0054] 其中，目标分割深度学习网络与断裂修复深度学习网络都是输出概率图。

[0055] 其中，如图2所示，目标分割深度学习网络利用卷积残差块和降采样交替进行4次，提取高维特征，然后再通过卷积残差块和上采样交替进行4次，恢复到原来输入图像的分辨率。

[0056] 其中，为了能够补充低层次的与位置相关的信息，目标分割深度学习网络在上采样后的特征图与低层次同分辨率的特征图进行融合。

[0057] 其中，为了加强不同尺寸的目标器官的关注，目标分割深度学习网络将不同深度的目标器官特征图利用上采样进行特征融合。

[0058] 如图3所示，断裂修复深度学习网络利用卷积残差块和降采样交替进行 1次，提取高维特征，然后再通过卷积残差块和上采样交替进行1次，恢复原来输入图像的分辨率。

[0059] 其中，为了扩大感受野并捕抓多尺度特征，断裂修复深度学习网络在第 4、5、6、7、8的残差块里，使用了dilated卷积；并利用skip connection，补充低层次的细节信息。

[0060] 基于上述任一实施例，图4为本发明实施例提供的一种基于深度学习网络的三维影像的管状结构分割图断裂修复系统的结构示意图，该系统包括：

[0061] 预处理模块：用于对三维图像数据进行预处理；

[0062] 图像重采样模块：用于对预处理后的三维影像数据进行重采样，生成多个候选的感兴趣区域的三维数据；

[0063] 目标器官提取模块：用于将所有候选感区域的三维数据输入目标分割深度学习网络，得到每一个感兴趣区域内的目标器官分割图；

[0064] 断裂修复模块：用于将目标器官分割图进行距离变换得到距离变换图，将目标器官分割图与距离变换图一起输入断裂修复深度学习网络，得到每一个感兴趣区域的断裂修复图，将所有的断裂修复图拼接组合在一起的到完整的目标器官分割结果。

[0065] 综上所述，本发明实施例提供的基于深度学习网络的三维影像的管状结构分割图断裂修复方法及系统利用断裂处的距离变换信息作为断裂位置识别信息，无需事先检测断裂位置，即可实现自动断裂修复，简单而有效，提高了分割效果。

[0066] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

[0067] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

[0068] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。