一种冠状动脉分割方法、系统及存储介质转让专利
申请号 : CN202110509998.8
文献号 : CN112991365B
文献日 : 2021-07-20
发明人 : 曾安 , 吴春彪 , 潘丹 , 徐小维 , 刘淇乐 , 陈宇琛
申请人 : 广东工业大学
摘要 :
权利要求 :
1.一种冠状动脉分割方法,其特征在于,包括以下步骤:S1:获取待分割冠状动脉原图像,并对原图像进行放缩处理;
S2:使用3D U‑net对放缩处理后的图像进行粗分割,获取低分辨率下的预测标签并映射回原图像空间,得到粗分割结果;
S3:使用3D U‑net对放缩处理后的图像进行先验区域提取,获取冠状动脉标签并映射回原图像空间;
S4:对冠状动脉标签进行形态学处理,抽取出骨架点并以骨架点为中心获取体素块;
S5:使用3D U‑net++对体素块进行分割,得到体素块分割结果;
S6:将粗分割结果与体素块分割结果进行投票集成,获取最后的分割结果;
其中,在所述步骤S4中,所述形态学处理过程具体为:根据冠状动脉标签得到原图像空间冠状动脉的位置,根据其血管表面的形状采用半径为R的球形结构进行膨胀;为了获得冠状动脉周围的局部信息并减少冗余,根据医学先验知识,在冠状动脉存在左和右冠状动脉的基础上,通过连通域分析提取其中最大的两个连通域并对其抽取出骨架点并以骨架点为中心获取体素块。
2.根据权利要求1所述的一种冠状动脉分割方法,其特征在于,在所述步骤S2中,所述粗分割使用一般的相似度系数作为损失函数 ,具体表示为:其中, 分别属于预测概率以及真实的图像标签,其中网络的输入为低分辨率下图像,输出为低分辨率下预测标签。
3.根据权利要求1所述的一种冠状动脉分割方法,其特征在于,在所述步骤S3中,通过
3D U‑net进行先验区域提取的网络采用带权重的相似度系数作为损失函数 ,具体表示为:
其中, 分别属于预测概率以及真实的图像标签,权重系数 ,从损失函数得知该权重系数调整了目标与背景的生成,权重系数小于0.5会偏重于冠状动脉的生成;该网络的输入为低分辨率下图像,输出为冠状动脉标签。
4.根据权利要求1所述的一种冠状动脉分割方法,其特征在于,在所述步骤S6中,假设粗分割结果与体素块分割结果组成相同大小的具有 张图像,第 张图像表示为 ,;其中, 中有 个像素点, 表示第i个像素点,其中, , ;
设定阈值 ,有 ;如果 时,则这个像素点上的位置为正标签1;若,则这个像素点上的位置为背景标签0;
通过该计算准则计算 张图像中第i个像素点的正标签的个数并结合阈值 ,得到最后的集成图像,即得到最后的分割结果。
5.一种冠状动脉分割系统,其特征在于,包括放缩模块、粗分割模块、先验提取模块、映射模块、形态学处理模块、体素块分割模块和投票集成模块;其中:所述放缩模块用于对待分割冠状动脉原图进行放缩处理;
所述粗分割模块使用3D U‑net对放缩处理后的图像进行粗分割,获取低分辨率下的预测标签并由映射模块映射回原图像空间,得到粗分割结果;
所述先验提取模块使用3D U‑net对放缩处理后的图像进行先验区域提取,获取冠状动脉标签并由映射模块映射回原图像空间;
所述形态学处理模块用于对冠状动脉标签进行形态学处理,抽取出骨架点并以骨架点为中心获取体素块;
所述体素块分割模块用于使用3D U‑net++对体素块进行分割,得到体素块分割结果;
所述投票集成模块用于对粗分割结果与体素块分割结果进行投票集成,获取最后的分割结果;
其中,在所述形态学处理模块中,先根据冠状动脉标签得到原图像空间冠状动脉的位置,再根据其血管表面的形状采用半径为R的球形结构进行膨胀;在冠状动脉存在左和右冠状动脉的基础上,通过连通域分析提取其中最大的两个连通域并对其抽取出骨架点并以骨架点为中心获取体素块。
6.根据权利要求5所述的一种冠状动脉分割系统,其特征在于,在所述粗分割模块中,所述3D U‑net结构呈U型,先是两个3D Conv+BN+ReLu加上3D Maxpooling的组合以及两个
3D Conv+BN+ReLu加上Upsampling层,和由浅层到深层特征的拼接层;其使用一般的相似度系数作为损失函数 ,具体表示为:其中, 分别属于预测概率以及真实的图像标签,其中网络的输入为低分辨率下图像,输出为低分辨率下预测标签。
7.根据权利要求5所述的一种冠状动脉分割系统,其特征在于,在所述先验提取模块,通过采用带权重的相似度系数作为损失函数 的3D U‑net进行先验区域提取,其损失函数具体表示为:
其中, 分别属于预测概率以及真实的图像标签,权重系数 ,从损失函数得知该权重系数调整了目标与背景的生成,权重系数小于0.5会偏重于冠状动脉的生成;该网络的输入为低分辨率下图像,输出为冠状动脉标签。
8.一种冠状动脉分割存储介质,其特征在于,所述存储介质中存储有计算机程序;所述计算机程序由处理器加载并执行如权利要求5 7任一项所述的一种冠状动脉分割系统,以~
实现如权利要求1 4任一项所述的一种冠状动脉分割方法。
~
说明书 :
一种冠状动脉分割方法、系统及存储介质
技术领域
背景技术
域进行分割,多数属于半自动的方法。而基于深度学习的分割方法则基于2D切片分割或基
于3D体素图像分割,由于使用二维图像进行分割会使其丧失三维空间信息,产生冠状动脉
的分割图像损失三维连续性。但如果直接使用三维卷积神经网络直接对图像直接分割,则
会消耗大量的计算资源,增加计算复杂性。因此,现有技术所述的冠状动脉分割中的缺少空
间连续性、需人工干预、分割精度不高、计算消耗资源过高的问题不能同时兼顾的技术缺
陷。
廓初步分割,利用LBF在低对比度图像目标分割中的优势,结合窄带约束,获得初步外轮廓,
最后提出基于上下文窄带约束的分割方法实现外轮廓精细分割。该方法虽然利用CTA图像
序列的空间连续性,将精确分割结果用于相邻切层初步分割时水平集初始化,但其并未实
现全自动分割,需要手动标记大致位置作为初始轮廓,并且人为设置参数去提取特征,相比
于神经网络自动提取征该方法在调整参数上更加复杂。
管增强处理,使冠状动脉图像得到明显增强程;通过对血管增强处理后的图像进行种子体
素自动检测,检测出种子体素集,解决了传统的区域分割法需要人工干预的问题,最后通过
一致性判断分割出冠状动脉。然而该方法需要通过对心脏配准、血管增强处理以及检测种
子点等,相比于深度学习分割冠状动脉此方法需要调整较多的参数,在特征提取以及特征
交互方面也不如本文的深度学习方法。而且在原图像中,部分冠状动脉中的体素值因为CT
中成像问题而与领域的体素值相差较小致使边缘模糊,该方法基于海森矩阵和邻域分割冠
状动脉可能会有较大的影响。
图像;分割模块,用动脉瘤分割网络在CTA图像中采样的三维图像块执行动脉瘤分割;重采
样模块,用于通过分割模块分割出的动脉瘤区域进行合并,并基于连通域重采样三维图像
块;以及检测模块,用动脉瘤分类网络对所述重采样的三维图像块进行分类,判定是否存在
动脉瘤。该方法主要通过检测CTA图像中的动脉瘤区域,同样的在patch级别上分割动脉瘤,
然而在心脏附近的区域,除了冠状动脉还存在着毛细血管等相似区域的干扰,容易影响分
割的准确度。
发明内容
局信息与局部信息进行了有效的结合,有效地提高了分割精度,建立了CTA图像上准确的全
自动分割模型,提高了预测的效率和精度,为后续的临床诊断和治疗提供了帮助。
该网络架构有效地实现了浅层特征以及深层特征的拼接以及融合操作,接受了同等分辨率
下的特征有助于生成同等大小的标签,同时也通过深层的特征来增加感受野来生成标签。
的生成;该网络的输入为低分辨率下图像,输出为冠状动脉标签。
这个标签比粗分割的标签要多。先验区域的提取目的是包含冠状动脉的标签,这样先验区
域会尽可能覆盖原来的标签图像,增强预测标签的连通性。
验知识,在冠状动脉存在左和右冠状动脉的基础上,通过连通域分析提取其中最大的两个
连通域并对其抽取出骨架点并以骨架点为中心获取体素块。
在这里根据血管表面的形状采用了半径为R的球形结构来膨胀,这样可以尽减少生成中动
脉之间的不连通的区域。为了获得冠状动脉周围的局部信息并且减少冗余,根据医学先验
知识冠状动脉,在左和右冠状动脉的基础上,通过连通域分析提取其中最大的两个连通域
然后对其提取骨架点,以骨架点为中心来获取正方体体素块。每当获取一个正方体体素块,
即将体素块中的所有骨架点从中去除,通过遍历中心点提取体素块。通过不断地选择骨架
点作为中心点来获得体素块,直至将中心点从骨架的图像上完全去除,最后得到完全覆盖
骨架点的体素块集合。
i个像素点,其中,
取以及高效的分割,而对于其他深度学习方法本方法更能有效地结合全局信息和局部信
息,实现了模型在CTA图像上的准确的全自动分割模型,提高了预测的效率和精度,为后续
的临床诊断和治疗提供了帮助。
特征的拼接层;其使用一般的相似度系数作为损失函数 ,具体表示为:
生成;该网络的输入为低分辨率下图像,输出为冠状动脉标签。
右冠状动脉的基础上,通过连通域分析提取其中最大的两个连通域并对其抽取出骨架点并
以骨架点为中心获取体素块。
法实现了更好的特征提取以及高效的分割,而相对于其他深度学习方法,本方案更能有效
地结合全局信息和局部信息,实现了模型在CTA图像上的准确的全自动分割模型,提高了预
测的效率和精度,为后续的临床诊断和治疗提供了帮助。
附图说明
具体实施方式
行分割,将全局信息与局部信息进行了有效的结合,有效地提高了分割精度,建立了CTA图
像上准确的全自动分割模型,提高了预测的效率和精度,为后续的临床诊断和治疗提供了
帮助。
果,以为该网络架构有效地实现了浅层特征以及深层特征的拼接以及融合操作,接受了同
等分辨率下的特征有助于生成同等大小的标签,同时也通过深层的特征来增加感受野来生
成标签。
生成;该网络的输入为低分辨率下图像,输出为冠状动脉标签。
验区域这个标签比粗分割的标签要多。先验区域的提取目的是包含冠状动脉的标签,这样
先验区域会尽可能覆盖原来的标签图像,增强预测标签的连通性。
验知识,在冠状动脉存在左和右冠状动脉的基础上,通过连通域分析提取其中最大的两个
连通域并对其抽取出骨架点并以骨架点为中心获取体素块。
其扩大。在这里根据血管表面的形状采用了半径为R的球形结构来膨胀,这样可以尽减少生
成中动脉之间的不连通的区域。为了获得冠状动脉周围的局部信息并且减少冗余,根据医
学先验知识冠状动脉,在左和右冠状动脉的基础上,通过连通域分析提取其中最大的两个
连通域然后对其提取骨架点,以骨架点为中心来获取正方体体素块。每当获取一个正方体
体素块,即将体素块中的所有骨架点从中去除,通过遍历中心点提取体素块。通过不断地选
择骨架点作为中心点来获得体素块,直至将中心点从骨架的图像上完全去除,最后得到完
全覆盖骨架点的体素块集合。
表示第i个像素点,其中, ;
特征提取以及高效的分割,而对于其他深度学习方法本方法更能有效地结合全局信息和局
部信息,实现了模型在CTA图像上的准确的全自动分割模型,提高了预测的效率和精度,为
后续的临床诊断和治疗提供了帮助。
块和投票集成模块;其中:
一种高效的冠状动脉全自动分割方法,与传统方法相比,提高了分割效率,减轻了医生手动
分割的负担,为后续的临床诊断和治疗提供了帮助。
深层特征的拼接层;其使用一般的相似度系数作为损失函数 ,具体表示为:
的生成;该网络的输入为低分辨率下图像,输出为冠状动脉标签。
左和右冠状动脉的基础上,通过连通域分析提取其中最大的两个连通域并对其抽取出骨架
点并以骨架点为中心获取体素块。
回原图像空间;(2)在低分辨率下提取冠状动脉图像的先验,经过形态学处理得到体素块的
先验区域;(3)使用3D U‑net++对体素块分割;(4)得到粗分割与体素块分割的集成结果。
取会占用大量的显存导致无法进行计算,在低分辨率上进行分割可以使占用的显存大幅减
小。在地分辨下分割后进行映射是需要在原图得到冠状动脉标签,因为在映射插值的过程
使用插值算法,在插值过程中并不会关注原图像的信息而导致其原图标签粗糙不平滑,而
且从全局上分割导致局部的信息不够细腻,故将其称为粗分割。因此,在此处首先将3D CTA
图像从 统一插值下采样至 ,分别使用3D U‑net完成
粗分割的任务。在粗分割中使用了一般的相似度系数作为损失函数:
学图像分割上有着十分好的效果,以为该网络架构有效地实现了浅层特征以及深层特征的
拼接以及融合操作,接受了同等分辨率下的特征有助于生成同等大小的标签,同时也通过
深层的特征来增加感受野来生成标签。该网络的结构如图5所示,大体的结果呈U型,由以下
几个模块的组成构成,首先是两个3D Conv+BN+ReLu加上3D Maxpooling的组合以及两个3D
Conv+BN+ReLu加上Upsampling层,和由浅层到深层特征的拼接层。在本申请中,由图4所示,
输入的为低分辨率下的CT图像,输出为低分辨率下的预测标签。
化的标签图像,不过对于粗分割的标签,先验区域这个标签比粗分割的标签要多。先验区域
的提取目的是包含冠状动脉的标签,这样先验区域会尽可能覆盖原来的标签图像,增强预
测标签的连通性,同时通过上采样映射回原空间再通过大小为R球体膨胀、连通域分析以及
骨架提取等操作得到了比正常中心线较长的中心线。根据这条中心线的点为中心提取不同
尺度下的正方体体素块(3D patch),在本方案中考虑到了计算问题,以及冠状动脉的半径
大小采用了边长为16,32,64的体素块。
在这里为了得到包裹冠状动脉的mask,将 设置为0.01,偏向于冠状动脉标签的生成。其
中两个网络的输入为低分辨率下图像 ,输出为低分辨率下标签 。
这里根据血管表面的形状采用了半径为R的球形结构来膨胀,这样可以尽减少生成中动脉
之间的不连通的区域。为了获得冠状动脉周围的局部信息并且减少冗余,根据医学先验知
识,在冠状动脉存在左和右冠状动脉的基础上,通过连通域分析提取中最大的两个连通域
然后对其提取骨架,以骨架点为中心来获取正方体体素块。每当获取一个正方体体素块,即
将体素块中的所有骨架点从中去除,通过遍历中心点提取体素块。通过不断地选择骨架点
作为中心点来获得体素块,直至将中心点从骨架的图像上完全去除,最后得到完全覆盖骨
架点的体素块集合。
码器通过重新设计跳接以相同的分辨率密集连接,而且具有多个解码器的。在这里,因为需
要构建3D patch的分割模型,所以对原始的U‑net++进行3D化,与U‑net模块基本一样,具体
的组成由上采样,下采样,跳接操作以及卷积模块组成,其中卷积模块包含了2×3D
Convolution‑BatchNormalize‑Relu的模块。在本申请中将得到的不同尺度的patch集合分
别送入到3D U‑net++中,通过训练3D U‑net++来获取每一个patch上的分割标签,再根据映
射关系得到最后的结果。训练的损失函数与步骤A的一样也是相似度系数损失函数。
成得到了最后的分割结果。对于图像集成分割与投票集成分类类似,假设有分割结果为相
同大小的 张图像,第k张图像 , ,其中 中有
个像素点, 表示第i个像素点。设定阈值 , ,如果 ,则在这个
像素点上的位置为正标签1。如果 ,则在这个像素点上的位置为背景标签0。通过该
计算准则计算 张图像中的每一个i得到最后的集成图像。
远远优于直接全局的粗分割,而在不同尺度上的体素块分割集成又相对于其他的体素块分
割又有一定的提升。
的细致分割的集成学习,相比于传统的冠状动脉分割方法实现了更好的特征提取以及高效
的分割,而对于其他深度学习方法本方法更能有效地结合全局信息和局部信息,实现了模
型在CTA图像上的准确的全自动分割模型,提高了预测的效率和精度,为后续的临床诊断和
治疗提供了帮助。
以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本
发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求
的保护范围之内。