一种基于深度神经网络的脑动脉自动勾画方法转让专利
申请号 : CN202111310166.X
文献号 : CN113744272B
文献日 : 2022-01-28
发明人 : 张蕾 , 徐建国 , 章毅 , 王利团 , 陈超越 , 花语 , 舒鑫 , 王梓舟 , 黄伟 , 李佳怡 , 谭硕 , 余怡洁 , 王凌度
申请人 : 四川大学
摘要 :
权利要求 :
1.一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,包括如下步骤:步骤1、输入患者MRI扫描影像数据,每例MRI影像文件对应一例影像科专业医生标注的六类脑动脉像素级分割标签文件;
步骤2、六类脑动脉分割模型的构建,六类脑动脉分割模型包括定位模型resnet50和分割模型backbone,定位模型resnet50定位出脑动脉区域最小外接立方体,采用最小外接立方体在原始输入患者MRI扫描影像上裁剪出脑部动脉区域的图像,裁剪出的图像输入分割模型backbone得到脑部动脉勾画图;
所述分割模型backbone采用V‑Net网络模型,在V‑Net网络模型中添加约束血管连续性与形状的多个针对脑动脉分割的连续性与形状信息保持模块,连续性与形状信息保持模块的跳连接的具体连接方式如下:步骤1a、在平面内采用convolution取得空间领域信息,c表示卷积核数量,K表示卷积核尺寸,u,v表示卷积核内的坐标,i,j表示特征图内的坐标,X表示某体素点的值,Y表示某体素点上convolution得到的值,则步骤1b、在空间上采用involution取得连续性信息,G表示特征分组,此时Y表示某体素involution得到的值,则
步骤1c、采用拼接并采用1*1卷积融合平面领域信息与空间连续信息,Yi,j,k=conv1_1(concact(Yconvolution,Yinvolution));
连续性与形状信息保持模块的中心线的约束方式如下:新增的约束连续性的中心线的改进,包括如下步骤:步骤1A、从分割标签中提取骨架线,Centralinegt=skimage.morphology.skeletonize_3d(Ground_Truth)步骤1B、从网络最后一层提取骨架线,I表示每一层的输入,即为上次迭代的输出,迭代下式k次,S表示提取到的结果:
I′←maxpool(mimpool(I))S←S+(1‑S)∪ReLu(I‑I′)步骤1C、计算步骤1A的骨架线与步骤1B的骨架线的一致性损失,Vg表示基准的分割图,Vp表示预测的分割图,Sg表示步骤1A中从基准分割图计算得到的骨架线,Sp表示从步骤1B中预测分割图计算得到的骨架线,Tprec表示精确度,Tsens表示敏感度:步骤1D,一致性约束;
连续性与形状信息保持模块的表面形状约束方式为:加入表面损失函数约束预测值与真实值之间的对称表面距离和豪斯多夫距离,其中表面损失函数为:其中,Ω表示整张预测图像的所有体素集合,g(p)表示某一体素点在基准标签中是否属于该类,1表示属于该类,0表示不属于,sθ(p)表示网络预测属于某一类的概率值,DG(p),表示从基准标签计算出的DTM,该计算方式采用scipy中ndimage库的distance_transform_edt函数计算得到,在物体内部的体素值为负,距离边界越远越小,物体外部的体素值为正,距离边界越远越大;DS(p)表示网络最后一层的激活函数替换为tanh后得到的值,该值可以模拟DTM;β为超参数,设置为2;
步骤3、模型训练和测试;
步骤4、将患者MRI扫描影像输入六类脑动脉分割模型,得到勾画结果。
2.根据权利要求1所述的一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,步骤1中患者MRI扫描影像数据来自脑部MRI影像文件,数据在横、矢、冠三个维度的大小均为100‑350mm,并重采样到112*112*80mm的体素规格。
3.根据权利要求1所述的一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,分割模型backbone在V‑Net网络模型中添加多个针对脑动脉分割的连续性与形状信息保持模块,用于约束血管的连续性与形状。
4.根据权利要求3所述的一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,定位模型resnet50,在标签上计算出动脉区域最小外接立方体再构造计算回归任务所用到的八个顶点的坐标,作为第一阶段粗略定位的基准值,二倍下采样原始图像,定位模型以resnet50作为backbone,最后添加一层线性回归层,预测八个点,即对应脑动脉区域最小外接立方体的八个顶点;
采用最小外接立方体在原始输入患者MRI扫描影像上裁剪得到112*112*80mm新的图像;
分割模型backbone,将此图像作为输入,在前向传播后送入分类器,通过softmax输出脑部动脉勾画图。
5.根据权利要求1所述的一种基于深度神经网络的脑动脉自动勾画方法,其特征在于,步骤3中模型的训练方式为:分为两个阶段,第一阶段粗略定位,训练回归网络预测脑部动脉的最小外接立方体;第二阶段精细分割,用第一阶段预测值对患者MRI扫描影像进行裁剪后作为第二阶段模型的输入,先训练定位网络直至网络收敛,再训练分割网络直至收敛,分割网络的整体损失函数包括分割损失,连续性约束损失和形状约束损失,连续性约束损失和形状约束损失权重采用sigmoid warmup方式逐渐升高;
步骤3中模型的测试方式为:按照五折交叉验证,将一折上的训练模型在其余四折数据上进行验证,同时测定四个指标,Dice值,平均交并比,对称表面距离和豪斯多夫距离,最后通过算术平均的方式集成各折模型。
说明书 :
一种基于深度神经网络的脑动脉自动勾画方法
技术领域
背景技术
影术(MRA)等技术手段,在术前阶段预先判断切除区域然后指定手术方案。核磁共振各扫描
序列横、矢,冠三个视角的切片总和共计可达600张之多,脑部动脉与其他组织区域占比(信
噪比)在1:500左右,且脑部动脉区域在核磁共振图像中的灰度级(HU值)接近一些其他组
织,尤其是穿越颅内软骨的基底动脉基本无法通过肉眼将其与骨组织区分出来。在脑部动
脉涉及影像切片数量多,占比区域极少,对比度极低的技术难点下,从核磁共振影响中自动
勾画脑部动脉的需求十分迫切,脑部动脉自动勾画技术对术前方案指定,术中引导,术后评
估都有十分重要的意义。
大脑中动脉,大脑前动脉,颈内动脉),然后通过联合冠状位视角(Coronal view)、矢状位视
角(Sagital view)进行最大密度投影(MIP)体绘制重建出3D视图。基于深度学习的自动勾
画方法主要有:1.采用2DUnet在横断位视角预测后重建。2.采用图卷积神经网络(Graph
Convolutional Network)在全序列构建节点和边,从而搭建用于整体预测的网络模型,最
后进行重建。
训练的模型预测的效果不佳,具体表现为:1.三维重建视图中明显缺乏连续性。2.预测结果
重切片显示在冠状位和横断位两个视角时效果不佳,假阳性与假阴性的预测体素点在这两
个视角非常明显。另一种深度学习的方法采用图卷积神经网络进行建模,引自Kipf T N,
Welling M. Semi‑supervised classification with graph convolutional networks
[J]. arXiv preprint arXiv:1609.02907, 2016.。这种方式虽然在一定程度上提高了预
测的精度,但是在构建网络时十分复杂,具体表现为:1.全图产生的特征数量总和十分庞
大,难以挑选合适的特征作为图网络的节点,难以计算节点之间的边权将网络连接为一个
整体,网络模型消耗显存巨大。2.图网络训练中损失的反向传播与推理速度在特征量级大
大增加的情况下,计算速度明显减慢。
发明内容
问题。
模型backbone,定位模型resnet50定位出脑动脉区域最小外接立方体,采用最小外接立方
体在原始输入患者MRI扫描影像上裁剪出脑部动脉区域的图像,裁剪出的图像输入分割模
型backbone得到脑部动脉勾画图;
模块,在标签上计算出动脉区域最小外接立方体再构造计算回归任务所用到的八个顶点的
坐标,作为第一阶段粗略定位的基准值,第二阶段精细分割模块,使用标签直接作为第二阶
段精细分割的基准值,将粗略定位获得的定位分割图用在患者MRI扫描影像数据上裁剪得
到112*112*80mm新的图像,将此图像作为第二阶段模型的输入,并经过精细设计的分割模
型预测勾画出六类脑部动脉。本发明提出了一种3D级联的新型网络模型,并采用连续帧,血
管中心线等特异性的人工特征约束网络训练,不仅节约了计算资源更能快速且精准的预测
并勾画出脑动脉;整个模型在训练完成之后可以完全自动的进行预测,并输出一张与原始
MRI输出尺寸一致的7类标签(背景占一类)的ROI图像。
近不同患者之间的数据分布,并重采样到112*112*80mm的体素规格。
割模型backbone,最后添加一层线性回归层,预测八个点,即对应脑动脉区域最小外接立方
体的八个顶点;
involution保持冠状面与矢状面的信息,即连续性信息,连续性与形状信息保持模块的跳
连接的具体连接方式如下:
表示某体素点上convolution得到的值,则
最后一层添加中心线提取模块,该模块每一层都采用最小最大池化模拟形态学先侵蚀后膨
胀(开运算)的操作,然后通过激活函数 提供非线性能力,提取图像中关键的连接节
点,堆叠多层后将每一层的输出求并集获得网络预测的血管骨架线,将此骨架线与skimage
从标签中提取的骨架线做一致性约束,连续性与形状信息保持模块的中心线的约束方式如
下:
第二部中预测分割图计算得到的骨架线, 表示精确度, 表示敏感度:
块的表面形状约束方式为:加入表面损失函数约束预测值与真实值之间的对称表面距离和
豪斯多夫距离,其中表面损失函数为:
,表示从基准标签计算出的DTM(distance transform map),该计算方式采用scipy中
ndimage库的distance_transform_edt函数计算得到,在物体内部的体素值为负,距离边界
越远越小,物体内部的体素值为正,距离边界越远越大; 表示网络最后一层的激活函
数替换为tanh后得到的值,该值可以模拟DTM; 为超参数,设置为2,表示距离计算方法为
欧式距离。
扫描影像进行裁剪后作为第二阶段模型的输入,先训练定位网络直至网络收敛,再训练分
割网络直至收敛,分割网络的整体损失函数包括分割损失,连续性约束损失和形状约束损
失,连续性约束损失和形状约束损失权重采用sigmoid warmup方式逐渐升高;
最后通过算术平均的方式集成各折模型。
会出现因损失函数缺少一致性约束而导致的血管预测断裂,血管呈球状或者片状,且不会
出现误将类似血管的细长组织预测为血管的失误;
相对位置,本发明提供一种基于深度神经网络的脑动脉自动勾画方法,只需要核磁共振检
测的图像就可以清楚的找到六类脑动脉,一定程度上代替了传统血管造影术检测,减少了
患者的医疗开支,且自动勾画的方法帮助医生自动完成了大量重复性的工作,在临床术前、
术中、术后的辅助诊疗中都存在实际应用价值;
脉;整个模型在训练完成之后可以完全自动的进行预测,并输出一张与原始MRI输出尺寸一
致的7类标签(背景占一类)的ROI图像;
法约束管状结构的形状特点,导致血管区域预测呈现球状或者片状,考虑到连续性与形状
特异性两个先验性息,本发明对这两部分进行精细设计且取得了良好的效果。
附图说明
具体实施方式
用于限定本发明。
实施例
件(华西神经外科提供),数据在横、矢、冠三个维度的大小均为100‑350mm,为了保持数据的
各向同性,拉近不同患者之间的数据分布,并重采样到112*112*80mm的体素规格;
模型backbone,定位模型resnet50定位出脑动脉区域最小外接立方体,采用最小外接立方
体在原始输入患者MRI扫描影像上裁剪出脑部动脉区域的图像,裁剪出的图像输入分割模
型backbone得到脑部动脉勾画图。
约束血管的连续性与形状;
割模型backbone,最后添加一层线性回归层,预测八个点,即对应脑动脉区域最小外接立方
体的八个顶点;
动,随机翻转,随机旋转等增广,而采用随机裁剪,高斯噪声,针对血管容易受压迫的特点,
使用随机弹性形变;
割模型backbone,最后添加一层线性回归层,预测八个点,即对应脑动脉区域最小外接立方
体的八个顶点,以此作二类掩码,前景为1背景为0,二倍上采样得到该定位分割图;
背景区域loss以前景区域整体loss代替,避免类别不均衡导致难以训练)与交叉熵损失作
为分割整体损失反向传播优化网络。
面与矢状面的信息,即连续性信息,连续性与形状信息保持模块的跳连接的具体连接方式
如下:
特征图内的坐标, 表示某体素点的值,表示某体素点上convolution得到的值,则
内的坐标, 表示某体素点的值, 表示特征分组,此时 表示某体素involution得到的
值,则
最后一层添加中心线提取模块,该模块每一层都采用最小最大池化模拟形态学先侵蚀后膨
胀(开运算)的操作,然后通过激活函数 提供非线性能力,提取图像中关键的连接节
点,堆叠多层后将每一层的输出求并集获得网络预测的血管骨架线,将此骨架线与skimage
从标签中提取的骨架线做一致性约束,连续性与形状信息保持模块的中心线的约束方式如
下:
第二部中预测分割图计算得到的骨架线, 表示精确度, 表示敏感度:
块的表面形状约束方式为:加入表面损失函数约束预测值与真实值之间的对称表面距离和
豪斯多夫距离,其中表面损失函数为:
,表示从基准标签计算出的DTM(distance transform map),该计算方式采用scipy中
ndimage库的distance_transform_edt函数计算得到,在物体内部的体素值为负,距离边界
越远越小,物体内部的体素值为正,距离边界越远越大; 表示网络最后一层的激活函
数替换为tanh后得到的值,该值可以模拟DTM; 为超参数,一般设置为2,表示距离计算方
法为欧式距离;
行裁剪后作为第二阶段模型的输入,先训练定位网络直至网络收敛,再训练分割网络直至
收敛,分割网络的整体损失函数包括分割损失,连续性约束损失和形状约束损失,连续性约
束损失和形状约束损失权重采用sigmoid warmup方式逐渐升高;
过算术平均的方式集成各折模型;
for volumetric medical image segmentation)的预测的效果,采用性能指标Dice衡量六
类血管预测的准确度,六类血管的Dice指标均高于V‑Net。
预测效果,A3,B3和C3为医生勾画的基准分割标签,对比可以发现本申请的方法预测过程中
产生的假阴性点较少,而且血管形态较为圆润平滑,连续性较好,更加接近医生勾画的像素
级基准分割标签。