一种基于解剖先验知识的头颈部危及器官的分割方法转让专利
申请号 : CN202011424075.4
文献号 : CN112419338B
文献日 : 2021-12-07
发明人 : 黄炳升 , 蔡宗佑 , 黄斌 , 叶裕丰 , 钟张楠 , 吴绮婷 , 何艳 , 邹国荣 , 陈汉威 , 刘凌湘 , 曾伟华
申请人 : 深圳大学
摘要 :
权利要求 :
1.一种基于解剖先验知识的头颈部危及器官的分割方法,其特征在于,所述方法包括:基于预设的模板图像以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像;
基于所述OAR图像确定所述待分割图像对应的若干ROI区域;
根据若干ROI区域确定所述待分割图像对应的分割图像,其中,所述分割图像标注有各危及器官区域;
所述模板图像的确定过程包括:
获取若干头颈部图像;
对于每个头颈部图像,将若干头颈部图像中的除该头颈部图像外的各头颈部图像分别与该头颈部图像配准;
确定该头颈部图像与各配准后的头颈部图像的相似性,以得到该头颈部图像对应的相似度;
基于各头颈部图像各自对应的相似度确定模板图像,其中,所述模板图像包含于所述若干头颈部图像;
所述分割方法应用于经过训练的头颈部分割网络模型;所述头颈部分割网络模型包括配准网络模型;所述基于预设的模板图像以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像具体包括:所述配准网络模型基于所述模板图像以及待分割图像,确定待分割图像对应的形变场;
所述配准网络模型基于所述形变场以及所述OAR模板图像,确定所述待分割图像对应的OAR图像;
所述配准网络模型包括3个编码块、3个解码块和1个三维空间形变层,每个所述编码块后面都连接1个下采样层,每个所述解码块后都连接1个上采样层,所述三维空间形变层用于根据所述形变场中的偏移量计算每个体素点变换后的位置;
所述分割方法应用于经过训练的头颈部分割网络模型;所述头颈部分割网络模型包括ROI分割层;所述基于所述OAR图像确定所述待分割图像对应的若干ROI区域具体包括:所述ROI分割层根据预设的若干ROI类别,确定所述OAR图像对应的若干ROI重心,其中,若干ROI重心与若干ROI类别一一对应;
对于若干ROI类别中的每个ROI类别,所述ROI分割层根据该ROI类别对应的区域尺寸以及该ROI类别对应的ROI重心,确定该ROI类别对应的ROI区域,以得到若干ROI区域;
所述获取若干头颈部图像具体包括:获取若干候选头颈部图像;
对于每个候选头颈部图像,基于该候选头颈部图像的横断面积变化曲线确定所述候选头颈部图像中的头部区域,并将该头部区域作为头颈部图像,以得到若干头颈部图像;
所述配准网络模型为经过训练的网络模型,并且所述配准网络模型在训练过程中所采用的总损失包括MSE损失函数、Dice损失函数和重心距离损失函数;
所述分割方法应用于经过训练的头颈部分割网络模型;所述分割网络模型的输入项基于定位结果裁剪后的所述ROI图像;所述头颈部分割网络模型包括分割网络模型,所述根据若干ROI区域确定所述待分割图像对应的分割图像具体包括:对于每个ROI区域,所述分割网络模型获取该ROI区域的三维图像特征和二维横断面特征;
所述分割网络模型基于所述三维图像特征和二维横断面特征,确定该ROI区域对应的特征图;
所述分割网络模型基于所述特征图,确定该ROI区域对应的危及器官区域,以得到候选分割图像;
将所述候选分割图像与待分割图像输入分割网络模型,通过所述分割网络模型得到所述待分割图像对应的分割图像,其中,所述候选分割图像为作为上下文信息。
2.根据权利要求1或所述基于解剖先验知识的头颈部危及器官的分割方法,其特征在于,所述根据若干ROI区域确定所述待分割图像对应的分割图像之后,所述方法还包括:分别将所述分割图像中的视交叉和视神经以及OAR模板图像的视交叉和视神经进行重力方向投影,以得到分割图像对应的第一投影图像和OAR模板图像对应的第二投影图像;
以所述第一投影图像为配准图像,将所述第二投影图像与所述第二投影图像配准,并将配准后的第一投影图像;
基于配置后的第一投影图像对所述第二投影图像进行修正,以得到修正所述分割图像。
3.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1‑2任意一项所述的基于解剖先验知识的头颈部危及器官的分割方法中的步骤。
4.一种终端设备,其特征在于,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如权利要求1‑2任意一项所述的基于解剖先验知识的头颈部危及器官的分割方法中的步骤。
说明书 :
一种基于解剖先验知识的头颈部危及器官的分割方法
技术领域
背景技术
皮恶性肿瘤几乎都是头颈部的鳞状细胞癌。由于头颈部癌症对放射线较敏感,所以放射治
疗是目前最有效的治疗手段。头颈部的重要器官较多,高剂量的放射线会损伤重要器官,导
致患者放疗后的生活质量降低。目前,临床上常用图像引导的放射治疗(image guided
radiation therapy,IGRT)进行头颈部癌症的治疗,IGRT包括调强放射治疗和容积旋转调
强治疗。IGRT根据医生制定的放疗计划对靶区进行精确的放射线治疗,在对肿瘤进行高剂
量辐射的同时,尽可能减少重要器官所受到的辐射,能够很好地保护重要器官。
~
30分钟。此外,不同的医生勾画同一个患者的OAR区域可以也可能存在差异,且长时间的连
续工作可能因疲劳导致勾画误差。
发明内容
于预设的模板图像以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像具
体包括:
失函数、Dice损失函数和重心距离损失函数。
述OAR图像确定所述待分割图像对应的若干ROI区域具体包括:
据若干ROI区域确定所述待分割图像对应的分割图像具体包括:
像;
实现如上任一所述的基于解剖先验知识的头颈部危及器官的分割方法中的步骤。
确定待分割图像对应的OAR图像;基于所述OAR图像确定所述待分割图像对应的若干ROI区
域;根据若干ROI区域确定所述待分割图像对应的分割图像。本申请利用头颈部OAR的解剖
结构信息和上下文信息,基于轻量化的网络模型,可以快速、准确对头颈部OAR进行三维分
割以得到分割图像,这样可以提高头颈部OAR的勾画速度,并减少医生在颈部OAR的勾画所
花费的时间和精力。
附图说明
本领域普通技术人员而言,在不符创造性劳动的前提下,还可以根据这些附图获得其他的
附图。
具体实施方式
明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加
一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元
件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在
中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措
辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的
意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义
来解释。
皮恶性肿瘤,这些上皮恶性肿瘤几乎都是头颈部的鳞状细胞癌。由于头颈部癌症对放射线
较敏感,所以放射治疗是目前最有效的治疗手段。头颈部的重要器官较多,高剂量的放射线
会损伤重要器官,导致患者放疗后的生活质量降低。目前,临床上常用图像引导的放射治疗
(image guided radiation therapy,IGRT)进行头颈部癌症的治疗,IGRT包括调强放射治
疗和容积旋转调强治疗。IGRT根据医生制定的放疗计划对靶区进行精确的放射线治疗,在
对肿瘤进行高剂量辐射的同时,尽可能减少重要器官所受到的辐射,能够很好地保护重要
器官。
区。放疗靶区包括4个部分,分别为:大体肿瘤区(gross tumor volume,GTV)、危及器官
(organ‑at‑risk,OAR)、临床靶区(clinical target volume,CTV)和计划靶区(planning
target volume,PTV)。其中,GTV为肿瘤病灶区,是需要进行高剂量放射以杀死肿瘤细胞的
区域;OAR为被保护的重要器官,需要尽可能减少该区域受到的放射剂量;CTV包括GTV以及
肿瘤可能侵犯的区域,是需要接受高剂量放射的区域;PTV为实际放疗的靶区,为了避免放
疗的实际摆位与计划摆位存在差异导致边缘的癌细胞未受到高剂量辐射或OAR暴露在高剂
量放射线下,物理师将CTV外扩3‑5mm作为PTV,如靠近OAR则只外扩1mm。
法。下面从传统图像处理方法、传统机器学习方法和深度学习方法方面介绍头颈部OAR分割
的研究现状。
用基于图谱的方法实现了脑干、左右腮腺、下颌骨、脊髓和淋巴结的自动分割,在7个患者的
数据集中的平均Dice相关系数(Dice similarity coefficient,DSC)为0.8。Isambert等对
基于图谱法分割得到的头颈部OAR进行了评估,以判断该方法得到的OAR能否用于放射治疗
计划制定,作者在11个患者的T1加权MR图像上应用图谱法得到眼球、视神经、视交叉、腮腺、
脑干和小脑的自动分割图像,大体积结构的平均DSC超过0.8,小体积结构的平均DSC低于
0.41,分割一个患者的OAR需要约7‑8分钟。Commowick等利用图谱法实现了脑干、脊髓、下颌
骨和淋巴结的自动分割,平均误差、敏感度和特异度分别为0.25、0.82和0.86。Leavens等基
于图谱法实现了头颈部OAR自动分割,分割图像与金标准的均方差距离为9.5±0.6mm。Han
等提出了一种基于阶级式图谱配准的方法,实现了头颈部CT图像中7种组织和淋巴结的自
动分割,该方法的平均Dice系数为0.65,实现一个OAR的分割大约需要7分钟。Levendag等和
Sims等对基于图谱法得到的部分头颈部OAR的分割图像进行了评估,结果表明临床医生虽
然对下颌骨的分割图像表示认可,但是腮腺或脑干等软组织的分割性能仍需提高。
淋巴结区域自动分割,该方法的平均DSC比单纯用图谱法高0.107。Voet等应用图谱法实现
了颈部腺体的分割。Qazi等结合形变配准模型和形状统计表达的方法,实现了部分OAR和淋
巴结的准确分割,10个患者的平均DSC为0.81,完成1例患者5种器官的分割大约需10分钟。
Fortunati等结合图割法和图谱法实现了11种OAR的自动分割,平均DSC为0.70。Fritscher
等结合多图谱法、统计学表示模型和测地线主动轮廓法实现了脑干和左右腮腺的自动分
割,在18个患者的留一验证中的平均DSC为0.836。Duc等将图谱法得到的6种OAR的自动分割
图像和临床医生勾画的结果进行对比,结果表明自动分割图像与临床医生勾画的结果的差
异不具有统计学意义。Wachinger等基于轮廓驱动的图谱法实现了腮腺的自动分割,平均
DSC约为0.82。Fortunati等在MR图像上利用位置权重融合的强度模型实现了头颈部OAR的
自动分割。Mannion‑Haworth等设计了一个主动外观模型,主动外观模型通过形变适应不同
的目标实现了OAR分割,该方法在2015年国际医学图像计算和计算机辅助介入大会
(International Conference on Medical Image Computing and Computer Assisted
Intervention,MICCAI)的头颈部自动分割挑战数据集中的平均DSC为0.73。
能很大程度上由图谱的构建质量和配准性能决定,构建图谱的数据质量差或者配准误差
大,都可能会导致分割图像不准确;因图谱是已固定的OAR,不能很好地解决不同患者的器
官差异;传统配准算法耗时较长,分割一个患者需要约7‑10分钟。
的分割方法,应用了一个新的可学习机制来定位复杂的顶点,再用一个可迭代的随机森林
框架将顶点进行连接,实现了脑干、下颌骨和左右腮腺的自动分割。该方法将形状知识与学
习模型进行结合提高了算法的鲁棒性,平均DSC为0.89,但是需要的计算时间较长,完成一
个脑干的分割需时36分钟。Tam等基于方向直方图和医生勾画的金标准提取形状特征,并利
用多个输出的支持向量回归实现了OAR的自动分割,平均DSC为0.826,分割一个器官大约需
要2.75分钟。Wu等描述了自动器官识别(automatic anatomy recognition,AAR)的整个流
程,主要包括模型构建、目标识别和目标勾画三个步骤,作者在模型的构建中加入了边界关
系、纹理和强度作为特征,并在目标识别步骤中对先验的解剖信息进行编码,最后经过目标
勾画阶段实现了OAR的自动分割,其平均Dice系数约为0.80。Tong等应用层次模型进行目标
定位,实现了OAR的自动分割,该方法主要针对AAR中的目标识别进行了改进,作者在AAR中
引进了纹理和强度特征,利用最佳生成树实现层次的识别,以减少误差,该方法在298例患
者数据集中的位置误差小于4 mm。
性甚至不如传统图谱法,同时基于机器学习的方法需要复杂的数据处理步骤,算法运算也
相对较长。
自动分割,作者结合了横断面、矢状面和冠状面二维块的信息提高分割性能。该方法在2015
年MICCAI头颈部分割挑战赛数据集中的平均DSC为0.65。Ibragimov等基于CNN和马尔科夫
随机场提出了一种半自动的方法实现了OAR的分割,该方法首先手动定位各个器官的位置,
再基于各个器官的感兴趣区(region of interest,ROI)训练了13个CNN,实现了多个OAR的
分割,该方法的平均DSC大约为0.75,完成一例患者的分割大约需要4分钟。
器官进行自动分割,作者首先利用多图谱法定位出各个器官的ROI,再基于不同器官的ROI
训练多个交错式的CNN以避免类别不均衡问题,该方法在2015年MICCAI头颈部分割挑战赛
数据集中,视交叉和视神经的平均DSC分别为0.58和0.71。Hansch等对比了二维U‑Net、二维
集成U‑Net和三维U‑Net在头颈部CT图像上分割腮腺的性能,最终实验结果表明二维集成U‑
Net的分割图像最好,在2015年MICCAI头颈部分割挑战赛数据集中,腮腺分割的平均DSC为
0.86。Tong等结合CNN和形状表示模型,作者利用形状表示模型学习形状信息,再利用深度
CNN实现了OAR的自动分割,该方法在2015年MICCAI头颈部分割挑战赛数据集上的平均DSC
为0.77,完成一个患者的9种OAR分割需要约9.5秒。Liang等利用一个检测网络对各个器官
进行定位,再基于所检测的ROI实现了头颈部OAR的自动分割,该方法的平均DSC为0.86。
OAR的分割,该网络能够直接输入整个三维CT图,为了提高小体积器官的分割性能,作者减
少了网络的下采样次数并设计了focal dice损失。该网络在2015年MICCAI头颈部分割挑战
赛公共数据集中的平均DSC为0.75,分割一个患者只需要0.12秒。
有技术中的基于深度学习技术所设计的方法都没有利用头颈部OAR自身的解剖先验知识,
解剖先验知识的缺少导致模型的可解释性降低,分割图像可能与正确的解剖结构差异较
大,导致临床医生对深度学习方法的可信度表示质疑。
对应的若干ROI区域;根据若干ROI区域确定所述待分割图像对应的分割图像。本申请利用
头颈部OAR的解剖结构信息,可以快速、准确对头颈部OAR进行三维分割以得到分割图像,这
样可以提高头颈部OAR的勾画速度,并减少医生在颈部OAR的勾画所花费的时间和精力。
助理等之类的智能终端上。参见图1、图2和图3所示,本实施例提供的基于解剖先验知识的
头颈部危及器官的分割方法具体包括:
是存储于终端设备本地的。所述待分割图像为头颈部图像,例如,所述待分割图像为头颈部
CT图像。本实施例的应用场景可以为:通过CT设备采集患者的头颈部CT图像,并将采集到头
颈部CT图像发送给配置有该基于解剖先验知识的头颈部危及器官的分割方法的终端设备,
以得到该终端设备可以获取到待分割图像。
板图像为所述模板图像对应的OAR金标图像,所述OAR模板图像中的图像内容与所述模板图
像的图像内容相同,所述OAR模板图像与所述模板图像的区别在于所述OAR模板图像中携带
有OAR区域的标注信息,例如,OAR模板图像中的标注有OAR区域框等。
示,若干头颈部图像来自广州市番禺区中心医院的95例鼻咽癌患者的95张头颈部CT图像,
其中,每张头颈部CT图像对应一个鼻咽癌患者,并且每张头颈部CT图像的成像视野均为从
3
胸部到头顶,若干头颈部CT图像中每张头颈部CT图像的分辨率均包含于0.85×0.85×3mm
3
到1.19×1.19×3mm之间。每张头颈部CT图像对应的OAR金标图像可以为临床医生手动勾
画的用于制定放疗计划的OAR,包括左右下颌骨、左右腮腺、垂体、左右颞叶、左右视神经、视
交叉、左右眼球、左右晶状体、脑干、脊髓、左右内耳、左右中耳以及左右颞下颌关节,共22种
器官。再如,如图6和图7所示,若干头颈部CT图像可以为2015年MICCAI的头颈部自动分割挑
战赛公共数据集,简称为MICCAI 2015数据集,该数据集包括48例头颈部CT图像,每张头颈
部CT图像的成像视野从胸部到头顶,若干头颈部CT图像中每张头颈部CT图像的分辨率均包
3 3
含于0.76×0.76×1.25mm到1.25×1.25×3mm之间。每张头颈部CT图像对应的OAR金标图
像可以为临床医生手动勾画,包括左右腮腺、视交叉、左右视神经、脑干、下颌骨和左右颌下
腺,共9种器官。
中的各头颈部图像的分辨率相同。在对若干头颈部图像进行重采样的过程具体可以包括:
获取各头颈部图像的分辨率,按照分辨率将若干头颈部图像进行分组,以得到若干头颈部
图像组,其中,若干头颈部图像组中的每组头颈部图像组中的各头颈部图像的分辨率相同;
获取各头颈部图像组包括的头颈部头像的数量,选取数量最大的头颈部图像组中的头颈部
图像的分辨率作为目标分辨率;将若干头颈部图像中的候选头颈部图像的分辨率重采样值
至该目标分辨率,其中,候选头颈部图像的分辨率与目标分辨率不相同,这样可以减少重采
样头颈部图像的数量。此外,在对头颈部图像进行重采样后,对头颈部图像对应的OAR金标
图像进行重采样,以使得OAR金标图像的分辨率与头颈部图像的分辨率相同。在本实施例的
一个具体实现方式中,头颈部图像可以采用三线性插值方法,而为了保证金标准不会出现0
和1以外的值,所以金标准采用最近邻插值。
颈部图像具体包括:
可以在横断面积变化曲线中最小面积对应的横断面层以确定颈部位置,并选取颈部位置以
上的区域作为头部区域,以得到候选头颈部图像中的头部区域。在获取到头部区域后,将头
部区域作为头颈部图像,以得到若干头颈部图像。
标头颈部图像为基准,将每张头颈部图像A与该目标头颈部图像进行配准。可以理解的是,
假设若干头颈部图像的数量为P,那么对于每张头颈部图像,均会进行P‑1次配准,从而若干
头颈部图像会进行 次配准。此外,所述将每张头颈部图像A与该头颈部图像进行配
准的配准方法可以采用单模态配准算法,该单模态配准算法采用均方差(mean square
error,MSE)作为代价函数,以规则的逐步梯度下降法作为优化器,学习率为1.0。在本实施
‑4
例中,为了减少配准时间,将最大迭代次数设置为30次,最小步长为1×10 ,变换方式采用
三维相似性变换。此外,在对头颈部图像进行配准后,需要对头颈部对应的OAR金标图像进
行配准,两例患者的CT图像经过配准算法得到形变场后,利用相同的形变场对OAR金标图像
进行配准,其中CT图像采用三线性插值,OAR金标图像采用最近邻插值。
为(1‑DSC)+0.5×MSE,相似性指标为非负数,越接近0说明两数据的相似程度越高,其中,
MSE(mean square error,均方差)的权重相对DSC(Dice similarity coefficient,平均
Dice相关系数)较低,主要原因是定位任务中器官的重叠程度更重要。此外,所述MSE为目标
头颈部图像与头颈部图像A对应的配置后的头颈部图像的MSE,DSC为基于配准后的OAR金标
图像计算头颈部图像A对应的配置后的头颈部图像与目标头颈部图像同一器官的DSC,其
中,目标头颈部图像和头颈部图像A对应的配置后的头颈部图像均为经过Z变换标准化后的
图像,两患者数据间的DSC越高,MSE越低,说明配准效果越好。
标图像为OAR模板图像。
以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像具体包括:
输入图像提取特征以及降低图像分辨率,编码块包括2个卷积核为3×3×3的三维卷积块,1
个卷积核为1×1×1的三维卷积层,1个压缩和激励块(squeeze and excitation,SE)构成。
其中,三维卷积块包含1个3×3×3的卷积核,1个可切换归一化层(switchable
normalization,SN)和1个带泄露线性激活单元(leaky rectified linear unit,leaky
ReLU)层,卷积过程中会在图像周边进行零填充以保证卷积前后的特征图大小不变。SN层能
够自适应的根据数据特征调整归一化的方式,通常SN层会自动分配批归一化、实例归一化
(instance normalization,IN)的归一化权重。在本实施例中,SN层只分配IN和层归一化的
权重。leaky ReLU激活层能够避免特征图中的负数导致梯度消失,有助于网络收敛。SE块能
够降低冗余特征的权重,导致有效特征的权重相对增加。所述编码块的工作过程可以为:特
征图被输入编码块后,首先经过两层三维卷积块进行特征提取,再通过SE块给不同的通道
的特征图赋予不同的权重,并利用残差连接将新产生的特征图与输入的特征图相加,最后
经过1个卷积核为1×1×1的三维卷积层增加特征维度,并输出新的特征图。
码块可以包括1个卷积核为3×3×3的三维卷积块和1个卷积核为1×1×1的三维卷积层。解
码块输入的特征图结合了高低层次的特征,是前一层特征图与编码块相应大小的特征图在
通道维级联而成的,特征图经过简单的三维卷积块和残差连接结构后,直接通过1×1×1的
三维卷积层进行特征降维,最后输出新的特征图。
的三个通道的窗宽窗位互不相同,第一个通道为原始窗宽窗位,第二个通道突出骨骼信息
(窗宽1500HU,窗位300HU),第三个通道突出软组织信息(窗宽500HU,窗位50HU),并且待分
割图像的标准化方式为分通道的Z变换。此外,模板图像的三个通道的窗宽窗与待分割图像
的三个通道的窗宽窗位相匹配。
度级联,构成六通道的输入图像,输入图像经过1个分组卷积(其中,分组卷积的组数设置为
2)输出2个特征图,分组卷积能够使卷积核在提取特征时能够分别提取目标图像的特征和
模板图像的特征。分组卷积的输出项将作为最前的编码块的输入项依次通过三个编码块和
三个下采样层,经过三个编码块和三次下采样后特征图再经过卷积块得到编码特征图;编
码特征图经过三个解码块和三次上采样,得到图像尺寸与输入图像的图像尺寸相同,以实
现体素点级别的精确配准。
解码块采用跳跃连接,有助于梯度的传递,以及高低层次特征的融合。此外,最后的解码块
输出的特征图经过1×1×1的卷积层,将通道数降维至3以得到形变场,其中,3个通道分别
代表x、y、z三个坐标轴的坐标偏移量。
体现在形变场的不同通道上。
距离损失函数。其中,MSE损失能够保证整体配准效果;Dice损失使网络能够针对不同器官
进行准确的配准;重心距离损失是配准后OAR重心与金标准OAR重心的距离,该损失能够保
证OAR器官不会偏离正确的位置,有助于提高OAR的定位准确度。
重叠度较高,所以Dice损失权重设置为1;整体配准性能的重要性相对较低,所以MSE损失仅
作为辅助损失,权重设置为0.5;重心距离损失因本身数值较大的原因,权重设置为0.1。所
述MSE损失函数、Dice损失函数、重心距离损失函以及所述配准网络模型在训练过程中所采
用的总损失分别可以表示为:
图像;label_OAR表示待分割图像对应的OAR金标图像;predict_center表示配准网络模型
输出的OAR模板图像的重心;label_center表示待分割图像对应的OAR金标图像的重心;N表
示需要定位的器官的种类数;epsilon设置为1×10‑7,防止除零错误。
的位置与器官间的相关程度确定。在本实施例中,若干ROI类别包括8个类别,8个类别中的
一个类别为下颌骨区域类别,下颌骨区域类别包括下颌骨和颞下颌关节,这是由于下颌骨
与颞下颌关节紧密相连;8个类别中的一个类别为神经垂体区域类别,神经垂体区域类别包
括左右视神经、视交叉和垂体,这样由于这些器官都为软组织,体积较小,且都处于一个邻
近的区域;8个类别中的一个类别为眼球区域类别,眼球区域类别包括眼球和晶状体,这是
由于晶状体在眼球的边缘;8个类别中的一个类别为耳区类别,耳区类别包括中耳和内耳;8
个类别中的一个类别为颞叶类别;8个类别中的一个类别为腮腺类别;8个类别中的一个类
别为脑干类别;8个类别中的一个类别为颌下腺类别,这样由于颞叶、腮腺、脑干以及颌下腺
的位置相对其他器官独立且体积较大,所以分别独自作为一个ROI类别。
待分割图像对应的若干ROI区域具体包括:
其中,ROI区域的区域边框为长方体形状。例如,耳区类别对应的ROR重心为耳和内耳的共同
重心,耳区类别对应的ROI区域的区域边框能够同时包含中耳和内耳两种器官。
器官的共同重心,并确定包含所有器官的边界框的x、y和z坐标,在确定共同重心与边界框
后,计算共同重心在x、y、z三个坐标轴方向上到边界框的距离(例如,如图13所示,可以得到
6个数值‑x,+x,‑y,+y,‑z,+z),根据该距离确定该ROI类别在该头颈部图像中的候选ROI区
域尺寸,以得到该ROI类别在各头颈部图像中的候选ROI区域尺寸。在获取到该ROI类别在各
头颈部图像中的候选ROI区域尺寸后,分别计算该ROI类别在各头颈部图像中的候选ROI区
域尺寸中的‑x,+x,‑y,+y,‑z以及+z的平均值和标准差,以确定该ROI类别对应的ROI区域尺
寸,其计算公式可以为:
差。这样将ROI进行了外扩,可以使得ROI的大小能够包括器官的周边信息用于分割,以及避
免不同患者OAR的误差。
信息指的OAR区域包括的各器官各自对应的标注信息,例如,分割图像中的标注有OAR区域
包括的各器官各自对应的标注框等。
定所述待分割图像对应的分割图像具体包括:
块的模型结构基本相同,分割网络模型的解码块的模型结构与配准网络模型的解码块的模
型结构基础相同,所述分割网络模型的编码块与配准网络模型的编码块的区别在于以下几
点;
3×3的卷积用于提取三维图像特征,3×3×1的卷积核用于针对图像的二维横断面提取二
维横断面特征,卷积过程同样在图像周围进行零填充以保证卷积前和卷积后的特征图大小
不变,在获取到三维图像特征和二维横断面特征后,将三维图像特征和二维横断面特征相
加得到该ROI区域对应的特征图。
显存的占用,且能够保证分割的精度。分割网络模型中的跳跃连接能够在解码阶段利用编
码阶段的高分辨率信息,有利于提高分割精度,同时有助于避免梯度消失。由于该分割网络
需要对多种不同大小的ROI分割多种器官,不同类别的ROI所包含的器官类别也不同,又因
为所设计网络参数量较少,直接用单个网络实现多种器官的分割性能较差。为了提高网络
分割多类器官的分割精度,在网络中增加了一个ROI分类支路,对输入的ROI进行分类,以提
高不同ROI间的特征辨识度,使网络能够根据ROI所包含的内容针对性地分割相应的器官。
此外,将编码结构的最后一层经过一个全局平均池化、全连接层和Softmax激活函数输出相
应器官的分类结果,对ROI区域的类别进行分类。
式使网络能够结合不同的图像信息进行OAR分割。网络对输入进行了编码解码操作后,经过
Sigmoid激活函数输出N通道的分割概率图,通道数N根据分割器官类别决定。同时,网络根
据编码层最后一层的特征输出分类结果,进行ROI区域的分类。训练中,分割任务的损失函
数为Dice损失函数,相对于交叉熵损失,Dice损失对器官大小不敏感,不会因器官太小而导
致损失较小,有助于提高小器官的分割精度。分类支路的损失函数采用经典分类任务常用
的交叉熵损失。
似,将分割网络的分割图像作为当前状态,将分割图像以额外通道与原图同时输入分割网
络,得到一个新的分割图像,新的分割图像再作为当前状态与原图再次输入分割网络。在此
过程中,新的分割图像将作为新的配准结果,以减少定位偏差。通过此过程,分割图像能够
修正配准定位的结果,同时给网络提供上下文信息以提高分割精度,且不会增加网络的数
量以及网络的参数量。
像;
对位置),根据视交叉的形状先验知识勾画一个×的形状。虽然勾画精确度不高,但是放疗
靶区最重要的是保护器官,所以只要能包括视交叉区域即可。与临床医生利用先验知识进
行分割不同,分割网络模型基于图像灰度信息进行像素级别的分割,对于边缘信息不明显
的软组织(如视交叉),难以提取到足够的边缘信息。
视交叉和视神经在z轴方向进行投影,可得到第二投影图。然后,第二投影图像利用相似性
变换配准至第一投影图像上,所用代价函数为MSE。
状相似度。其中,Hu矩有7个特征值,由归一化中心距的不同的线性组合计算得到,能够表示
图像的形状信息,且具有旋转不变性、平移不变性、缩放不变性、镜像不变性等性质,用于进
行形状的对比。矩的本质是数学期望,在二维图像中常用像素值的求和表示,二维图像矩的
计算公式如下:
受目标大小的影响对图像灰度分布进行描述。归一化中心距的计算公式如下:
异值大于1时,说明分割图像的视交叉与OAR模板图像的视交叉形状差异非常大,且出现严
重的漏分割,可直接用配准后的OAR模板图像的视交叉替换掉分割图像的视交叉,替换掉分
割图像的视交叉面积最大的一层,删除其余面积较小的层;2)当DSC大于60.0%,形状差异值
大于1时,说明分割图像与OAR模板图像的重叠性满足要求,但是形状差异为满足要求,将利
用OAR模板图像的视交叉乘以分割图像视交叉进行形状修正;3)其余情况说明分割图像的
视交叉乘与模板视交叉的形状较相似,可不对分割图像进行修改。
够平滑边缘,同时一定程度上去除较小的离散点。对于体积较小的器官如视交叉、视神经和
垂体,因为像素点较少容易在滤波过程中删去正确的分割图像,所以不进行滤波处理。
后处理前后的DSC和95%HD,并对结果进行统计学分析,说明后处理对分割图像的作用。
HD为4.2 mm。配对Wilcoxon符号秩和检验的P值为0.041,说明差异具有统计学意义。这表明
配准结果的偏差可能会影响分割网络的分割精度。
0.003,表明差异具有统计学意义。此外,经过上下文信息对配准定位结果的修正,所有OAR
的定位敏感度提高至100.0%±0.0%,表明所有OAR都能完全包括在相应的ROI内。以上结果
表明,上下文信息能够有效地提高分割精度,降低定位误差。
0.005,说明差异具有统计学意义。图15为进行形状修正前后的视交叉示例图,由图中可以
看出,虽然修正后的视交叉与金标准仍存在差异,但是形状已与金标准基本相似,形状已符
合正确的解剖结构。此外,测试集中视交叉的平均DSC由61.7%提高至64.3%。结果表明,所提
出的后处理算法能够提高分割性能。
为3.5 mm。
例患者的OAR分割。同时,经验较少的医生基于所提出方法的分割结果勾画MICCAI 2015数
据集的9种头颈部OAR,只需约3分钟即可完成1例患者9种OAR的勾画,完全人工勾画9种OAR
需要约20‑30分钟,表明所提出方法能够辅助医生提高勾画OAR的速度。
数实现快速、准确、全自动的头颈部OAR三维分割,能够辅助医生提高头颈部OAR的勾画速
度。本文所提出的分割方法首先需要通过模板配准的方法定位出图像中的OAR大致位置,基
于定位结果裁出各个OAR的ROI,将ROI输入到分割网络进行OAR分割,最后再对分割结果进
行后处理。
颈部图像的OAR相似性最高,并通过实验验证该方法选择的模板是较为合适的。此外,为确
保所确定的ROI大小能包括整个器官,统计了不同OAR的大小,基于统计结果确定各个ROI的
大小。为利用若干头颈部图像进行OAR的定位,采用了三维配准网络将若OAR模板图像配准
至需要进行分割的待分割图像,以此实现待分割图像的OAR的定位。此外,还引入了重心距
离损失以提高定位的精确度,并通过实验验证了重心距离损失能够提高定位的精度。
高了分割精度。在本方法中横断面信息相对于冠状面和矢状面信息更能提高分割性能,图
像的三维信息比二维信息更有助于提高分割精度。此外,为利用单个模型实现多类OAR的分
割,减少训练模型的时间和资源,在三维多视角分割网络中加入了ROI分类支路以提高不同
ROI的特征辨识度。
作为辅助信息再次输入分割网络以提高分割精度,并利用分割结果修正配准结果,以避免
定位偏差。为进一步提高分割结果的准确度,我们应用模板的形状信息对分割结果中的视
交叉进行了修正,并通过空洞填充算法填充了分割结果中的空洞,中值滤波算法去除了部
分离散点和平滑分割边缘。与文献中的方法对比表明,本文所提出的分割方法利用最少的
模型参数量与最少的模型数量实现了最快的头颈部OAR准确分割,并通过实验验证我们的
分割结果能够辅助医生提高OAR的勾画速度。
多个程序可被一个或者多个处理器执行,以实现如上述实施例所述的基于解剖先验知识的
头颈部危及器官的分割方法中的步骤。
(memory)22,还可以包括通信接口(Communications Interface)23和总线24。其中,处理器
20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为
显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用
存储器22中的逻辑指令,以执行上述实施例中的方法。
22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方
法。
外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动
硬盘、只读存储器(Read‑Only Memory,ROM)、随机存取存储器(Random Access Memory,
RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;
而这些修改或者替换,并不使相应技术方案的·本质脱离本申请各实施例技术方案的精神
和范围。