基于双模态CT的甲状旁腺术前定位方法和装置转让专利

申请号 : CN202310655914.0

文献号 : CN116369959B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王晓梅张耀张仕侨

申请人 : 杭州医策科技有限公司

摘要 :

本发明涉及甲状旁腺术前定位技术,公开了基于双模态CT的甲状旁腺术前定位方法和装置,其包括甲状旁腺原始图像IMG原始的获取,甲状旁腺掩码图像IMG掩码的获取,甲状旁腺高斯热图IMG热图的获取,甲状旁腺术前定位模型的训练,损失函数L的计算,甲状旁腺模型IMG预测的预测,通过上述训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;不同的甲状旁腺图像IMG输出的输出。本发明基于平扫CT和增强CT双模态数据,利用3D语义分割算法,实现甲状旁腺的术前定位及可视化,辅助医生更好地识别甲状旁腺,预测结果以二维或三维图像展示有利于医生观察确认。

权利要求 :

1.基于双模态CT的甲状旁腺术前定位方法,其方法包括:甲状旁腺原始图像IMG原始的获取,基于双模态CT获取甲状旁腺原始图像IMG原始;

甲状旁腺掩码图像IMG掩码的获取,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;

甲状旁腺高斯热图IMG热图的获取,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;

甲状旁腺术前定位模型的训练,基于甲状旁腺原始图像IMG原始、甲状旁腺掩码图像IMG掩码及甲状旁腺高斯热图IMG热图,使用梯度下降算法依据损失函数L迭代更新3D语义分割模型的参数,直至模型收敛,从而得到甲状旁腺术前定位模型;

损失函数L的计算,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及3D语义分割模型的输出,计算Dice损失Ldice、交叉熵损失Lce和热力图损失Lh,进而得到总的损失L;并依据计算得到的损失L,通过梯度下降算法进行反向传播,迭代更新模型参数;

损失函数L的计算包括:

Dice损失Ldice:

其中,yi为像素i的标签值, 为像素i的预测值,N为像素点个数;

交叉熵损失Lce:

其中,N为像素点个数,yi为像素i的label,正类为1,负类为0;pi为像素点i预测为正类的概率;

热力图损失Lh采用的是MSE损失:

其中,N为样本数量,yi为像素i的标签值, 为像素i的预测值;

图像语义分割损失Ls:

Ls=αLdice+(1‑α)Lce,

损失函数L:

L=γLs+(1‑γ)Lh,

其中,α、γ为根据试验结果择优确定的常数;

甲状旁腺模型IMG预测的预测,通过训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;

不同的甲状旁腺图像IMG输出的输出,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。

2.根据权利要求1所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,还包括甲状旁腺输出图像IMG输出的可视化显示,通过二维图像或三维图像对甲状旁腺输出图像IMG输出进行可视化显示。

3.根据权利要求1所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,还包括甲状旁腺输出图像IMG输出的误差对比分析,通过差异化图对比模型预测得到的甲状旁腺输出图像IMG输出与人工标注的甲状旁腺图像进行误差分析。

4.根据权利要求1所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,甲状旁腺高斯热图IMG热图作为模型训练的学习标签,具体包括:对甲状旁腺掩码图像IMG掩码的CT层面图像上,获取每个甲状旁腺轮廓C的质心O,并获取每个甲状旁腺轮廓的点到质心最大距离R;

以甲状旁腺轮廓质心0的位置(xi,yi)作为圆心,圆心处的置信度为1;则以0为圆心对应的目标热图为H,热图上任一点(x,y)上的值hi(x,y)为:其中,σ取R;

去除超出标注每个甲状旁腺轮廓C的区域,将热图H与医生标注的甲状旁腺轮廓C求交集,获得甲状旁腺高斯热图IMG热图。

5.根据权利要求1所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,甲状旁腺模型IMG预测的预测,通过3D语义分割算法实现,具体包括:甲状旁腺原始图像IMG原始经3D语义分割模型,获得模型输出矩阵M;

对模型输出矩阵M执行softmax操作,获得每个像素i分别属于前景的概率Pi和背景的概率1‑Pi;

当像素i前景的概率Pi高于阈值T,则此位置设为1,否则为0,从而获得模型预测的甲状旁腺掩码图像IMG预测。

6.根据权利要求3所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,甲状旁腺输出图像IMG输出的误差对比分析包括:甲状旁腺掩码图像IMG掩码为矩阵Gd×w×h,甲状旁腺模型IMG预测为矩阵Pd×w×h,两者的差异化图矩阵D d×w×h,其中,d为图像深度,w为图像宽度,h为图像高度,且IMG掩码和IMG预测中的1代表前景,即甲状旁腺;0代表背景;

初始化差异化图矩阵D d×w×h;

甲状旁腺掩码图像IMG掩码矩阵Gd×w×h与甲状旁腺模型IMG预测矩阵Pd×w×h进行逻辑与运算,获得交集掩码M1、漏检掩码M2和误检掩码M3;

其中,模型漏检掩码M2:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h为1,甲状旁腺模型IMG预测矩阵Pd×w×h为0时的布尔掩码;误检掩码M3:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h为0,甲状旁腺模型IMG预测矩阵Pd×w×h为1时的布尔掩码。

7.根据权利要求6所述的基于双模态CT的甲状旁腺术前定位方法,其特征在于,还包括差异化图矩阵D d×w×h的可视化,通过SimpleITK将差异化图矩阵D d×w×h保存成NIfTI格式的文件,使用Python软件包Mayavi对差异化图矩阵D d×w×h的NIfTI文件进行可视化展示。

8.基于双模态CT的甲状旁腺术前定位装置,其特征在于,包括:甲状旁腺原始图像IMG原始的获取模块,基于双模态CT获取甲状旁腺原始图像IMG原始;

甲状旁腺掩码图像IMG掩码的获取模块,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;

甲状旁腺高斯热图IMG热图的获取模块,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;

甲状旁腺术前定位模型的训练模块,基于甲状旁腺原始图像IMG原始、甲状旁腺掩码图像IMG掩码及甲状旁腺高斯热图IMG热图,使用梯度下降算法依据损失函数L迭代更新3D语义分割模型的参数,直至模型收敛,从而得到甲状旁腺术前定位模型;

损失函数L的计算模块,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及3D语义分割模型的输出,计算Dice损失Ldice、交叉熵损失Lce和热力图损失Lh,进而得到总的损失L;并依据计算得到的损失L,通过梯度下降算法进行反向传播,迭代更新模型参数;

损失函数L的计算包括:

Dice损失Ldice:

其中,yi为像素i的标签值, 为像素i的预测值,N为像素点个数;

交叉熵损失Lce:

其中,N为像素点个数,yi为像素i的label,正类为1,负类为0;pi为像素点i预测为正类的概率;

热力图损失Lh采用的是MSE损失:

其中,N为样本数量,yi为像素i的标签值, 为像素i的预测值;

图像语义分割损失Ls:

Ls=αLdice+(1‑α)Lce,

损失函数L:

L=γLs+(1‑γ)Lh,

其中,α、γ为根据试验结果择优确定的常数;

甲状旁腺模型IMG预测的预测模块,通过训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;

不同的甲状旁腺图像IMG输出的输出模块,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。

说明书 :

基于双模态CT的甲状旁腺术前定位方法和装置

技术领域

[0001] 本发明涉及甲状旁腺术前定位技术,尤其涉及了基于双模态CT的甲状旁腺术前定位方法和装置。

背景技术

[0002] 甲状旁腺术前定位对于继发性甲状旁腺功能亢进症的治疗非常重要,可减少手术时间和手术风险。目前,常用的甲状旁腺术前定位技术包括超声、CT、MRI、核素显像等。尽管核素显像的准确性较高,但设备昂贵,且需要注射放射性同位素,存在一定的安全风险。
[0003] 临床医生通过上述常用的检测手段,甲状旁腺术前定位的灵敏度较低,且依赖个人经验。此外,尽管存在其他甲状旁腺识别技术(如: 近红外自体荧光成像技术、内窥镜,光纤探针系统等),这些技术大多用于甲状旁腺的术中识别,并且有效性和安全性仍有待验证。
[0004] 因此,综合考虑设备成本、操作便利性、易得性、安全性、敏感性等因素,CT是比较理想的技术模态,而CT在临床实践中存在平扫CT和增强CT两种成像模态,且两者具有较强的互相性,医生结合两种模态的CT数据,可提高甲状旁腺的识别灵敏度。
[0005] 当前,利用AI技术基于医学影像算法潜在地学习专家知识,辅助甲状旁腺的定位,提高医生甲状旁腺的识别灵敏度,缩短学习曲线,从而提高工作效能。
[0006] 现有的可用于甲状旁腺定位的AI算法主要分两类:目标检测算法(前者)和语义分割算法(后者)。前者经典算法有 Faster R‑CNN, YOLO,EfficientDet 等,这些算法一般以目标矩形框作为学习的标签,会掺杂无关的信息;一般需要预训练模型,且对标注数据量要求比较大;后者经典算法有 FCN,U‑Net,Mask R‑CNN,DeepLabv3等,该类算法相对于目标检测检测算法,可实现像素级别的目标分割。
[0007] 此外,无论使用目标检测算法还是语义分割算法,对于三维图像来说,使用常规的二维卷积无法充分利用三维数据的上下文信息,并且为了得到最终简洁的预测结果,会涉及较为复杂的后处理过程。
[0008] 如现有技术文件1,专利申请号,CN201911016165.7,专利名称为基于近红外自体荧光的术中实时甲状旁腺识别方法;其公开了包括如下步骤:可疑甲状旁腺进行成像;获得可疑甲状旁腺及周围组织荧光光谱数据;判断光谱图中是否为甲状旁腺;进行大数据分析;训练智能模型。
[0009] 如现有技术文件2,专利申请号,CN202110499036.9,专利名称为一种基于图像融合技术的甲状旁腺识别方法;其公开了利用训练得到的甲状旁腺识别模型对待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像进行特征提取和融合以识别甲状旁腺,利用在实景图像上淋巴结、脂肪等组织容易辨别的特点,采用深度学习图像融合技术对荧光显影图像和实景图像的特征进行融合用于识别甲状旁腺。
[0010] 对于现有技术中需要预训练模型,且对标注数据量要求比较大设备昂贵,且需要注射放射性同位素,存在一定的安全风险。

发明内容

[0011] 本发明针对现有技术中对于甲状旁腺定位需要预训练模型,且对标注数据量要求比较大设备昂贵,且需要注射放射性同位素,存在一定的安全风险的问题,提供了基于双模态CT的甲状旁腺术前定位方法和装置。
[0012] 为了解决上述技术问题,本发明通过下述技术方案得以解决:
[0013] 基于双模态CT的甲状旁腺术前定位方法,其方法包括:
[0014] 甲状旁腺原始图像IMG原始的获取,基于双模态CT获取甲状旁腺原始图像IMG原始;
[0015] 甲状旁腺掩码图像IMG掩码的获取,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;
[0016] 甲状旁腺高斯热图IMG热图的获取,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;
[0017] 甲状旁腺术前定位模型的训练,基于甲状旁腺原始图像IMG原始、甲状旁腺掩码图像IMG掩码及甲状旁腺高斯热图IMG热图,使用梯度下降算法依据损失函数 L迭代更新3D 语义分割模型的参数,直至模型收敛,从而得到甲状旁腺术前定位模型;
[0018] 损失函数L的计算,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及3D语义分割模型的输出,计算Dice 损失 、交叉熵损失 和热力图损失 ,进而得到总的损失L;并依据计算得到的损失 L,通过梯度下降算法进行反向传播,迭代更新模型参数;
[0019] 甲状旁腺模型IMG预测的预测,通过训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;
[0020] 不同的甲状旁腺图像IMG输出的输出,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。
[0021] 作为优选,还包括甲状旁腺输出图像IMG输出的可视化显示,通过二维图像或三维图像对甲状旁腺输出图像IMG输出进行可视化显示。
[0022] 作为优选,还包括甲状旁腺输出图像IMG输出的误差对比分析,通过差异化图对比模型预测得到的甲状旁腺输出图像IMG输出与人工标注的甲状旁腺图像进行对比分析。
[0023] 作为优选,新增甲状旁腺高斯热图IMG热图作为模型训练的学习标签,具体包括:
[0024] 对于甲状旁腺掩码图像IMG掩码的CT层面图像上,获取每个甲状旁腺轮廓C的质心O,并获取每个甲状旁腺轮廓的点到质心最大距离R;
[0025] 以甲状旁腺轮廓质心0的位置 作为圆心,圆心处的置信度为1;则以0为圆心对应的目标热图为 H,热图上某一点  上的值 为:
[0026]  ,
[0027] 其中,取R;
[0028] 去除超出标注每个甲状旁腺轮廓 C的区域,将热图H与医生标注的甲状旁腺轮廓C求交集,获得甲状旁腺高斯热图IMG热图。
[0029] 作为优选,甲状旁腺模型IMG预测的预测,通过3D 语义分割算法实现,具体包括:
[0030] 甲状旁腺原始图像IMG原始经 3D 语义分割模型,获得模型输出矩阵 M;
[0031] 对模型输出矩阵 M执行 softmax 操作,获得每个像素 i 分别属于前景的概率Pi和背景的概率 ;
[0032] 当像素 i 前景的概率Pi高于阈值 T,则此位置处设为1,否则设为0,从而获得模型预测的甲状旁腺掩码图像IMG预测。
[0033] 作为优选,损失函数L的计算包括:
[0034] Dice 损失 :
[0035] ,
[0036] 其中, 为像素i的标签值, 为像素i的预测值,N为像素点个数;
[0037] 交叉熵损失 :
[0038] ,
[0039] 其中,N为像素点个数, 为像素i的label,正类为1,负类为0;为像素点i预测为正类的概率;
[0040] 热力图损失  采用的是 MSE 损失:
[0041] ,
[0042] 其中,N为样本数量, 为像素i的标签值, 为像素i的预测值;
[0043] 图像语义分割损失 :
[0044] ,
[0045] 损失函数 :
[0046] ,
[0047] 其中, 为根据试验结果择优确定的常数。
[0048] 作为优选,甲状旁腺输出图像IMG输出的误差对比分析包括:
[0049] 甲状旁腺掩码图像IMG掩码为矩阵Gd×w×h,甲状旁腺模型IMG预测为矩阵Pd×w×h,两者的差异化图矩阵Dd×w×h,其中,d为图像深度,w为图像宽度,h为图像高度,且IMG掩码和IMG预测中的1代表前景,即甲状旁腺;0代表背景;
[0050] 初始化差异化图矩阵Dd×w×h;
[0051] 甲状旁腺掩码图像IMG掩码矩阵Gd×w×h 与甲状旁腺模型IMG预测矩阵Pd×w×h进行逻辑与运算,获得交集掩码M1、漏检掩码M2和误检掩码M3;
[0052] 其中,模型漏检掩码M2:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h为1,甲状旁腺模型IMG预测矩阵Pd×w×h为0时的布尔掩码;误检掩码M3:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h 为0, 甲状旁腺模型IMG预测矩阵Pd×w×h为1时的布尔掩码。
[0053] 作为优选,还包括差异化图矩阵D d×w×h的可视化,通过SimpleITK将差异化图矩阵D d×w×h保存成NIfTI格式的文件,使用 Python 软件包Mayavi对差异化图矩阵Dd×w×h 的NIfTI文件进行可视化展示。
[0054] 为了解决上述技术问题,本发明还提供了基于双模态CT的甲状旁腺术前定位装置,其包括:
[0055] 甲状旁腺原始图像IMG原始的获取模块,基于双模态CT获取甲状旁腺原始图像IMG原始;
[0056] 甲状旁腺掩码图像IMG掩码的获取模块,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;
[0057] 甲状旁腺高斯热图IMG热图的获取模块,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;
[0058] 损失函数L的计算模块,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图 及 3D语义分割模型的输出,计算Dice 损失 、交叉熵损失 和热力图损失  ,进而计算得到总的损失L。依据计算得到的损失L,使用梯度下降算法进行反向传播,迭代更新模型参数;
[0059] 甲状旁腺模型IMG预测的预测模块,通过已训练好的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;
[0060] 不同的甲状旁腺图像IMG输出的输出模块,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。
[0061] 本发明由于采用了以上技术方案,具有显著的技术效果:
[0062] 本发明基于平扫CT和增强CT双模态数据,利用3D语义分割算法,实现甲状旁腺的术前定位及可视化,辅助医生更好地识别甲状旁腺。
[0063] 本发明的3D语义分割算法,可以更好地捕捉CT数据片层之间的上下文信息,后处理简单。
[0064] 本发明的预测结果以二维或三维图像展示均可,有利于医生观察确认。

附图说明

[0065] 图1是本发明的流程图。
[0066] 图2‑1是本发明的标注的甲状旁腺示意图;
[0067] 图2‑2是本发明的高斯热图的示意图;
[0068] 图2‑3是本发明的高斯热图的效果图。
[0069] 图3‑1是本发明的平扫CT图像;
[0070] 图3‑2是本发明的平扫CT图像的二维图像预测结果;
[0071] 图3‑3是本发明的平扫CT图像的三维图像预测结果。
[0072] 图4‑1是本发明的增强CT图像;
[0073] 图4‑2是本发明的增强CT图像的二维图像预测结果;
[0074] 图4‑3是本发明的增强CT图像的三维图像预测结果。
[0075] 图5是本发明的误差分析可视化效果图。

具体实施方式

[0076] 下面结合附图与实施例对本发明作进一步详细描述。
[0077] 实施例1
[0078] 基于双模态CT的甲状旁腺术前定位方法,其方法包括:
[0079] 甲状旁腺原始图像IMG原始的获取,基于双模态CT获取甲状旁腺原始图像IMG原始;
[0080] 对于甲状旁腺图像IMG原始的获取,使用SimpleITK  或其他软件亦可如: dicom2nifti;将原始DICOM 格式甲状旁腺图像的数据转换成NIfTI格式的数据;对于转换格式后的甲状旁腺图像进行窗宽窗位调整,通常使用医生拍摄CT时设置的窗宽窗位值对数据进行转换,获得对比度较高的图像数据,则该数据为甲状旁腺原始图像IMG原始的数据;
[0081] 甲状旁腺掩码图像IMG掩码的获取,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;
[0082] 通过ITK‑SNAP软件对甲状旁腺原始图像IMG原始的平扫CT和甲状旁腺原始图像IMG原始的增强CT逐层标注出甲状旁腺的区域;甲状旁腺区域的每个像素点的前景用1表示;非甲状旁腺区域的背景用0编码表示,从而获得二值化编码的掩码图像,即甲状旁腺掩码图像IMG掩码;
[0083] 甲状旁腺高斯热图IMG热图的获取,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;
[0084] 由于甲状旁腺在不同模态CT下的成像清晰度不同及标注的人为主观性,即使是亲手做手术的医生标注的甲状旁腺区域,其轮廓与真实情况也存在一定偏差,越接近轮廓质心位置,其置信度越高。
[0085] 在每个CT层面slice图像上,求出每个甲状旁腺轮廓C;每个甲状旁腺的质心O,求出轮廓上的点到质心最大距离R。如图2‑1所示,其中多边形代表医生标注的甲状旁腺C,O为轮廓的质心;
[0086] 以甲状旁腺轮廓质心O的位置 作为圆心,此处置信度为1,目标热图是以O为中心的正态分布的采样。以O为圆心对应的目标热图为H,热图上某一点 上的值为:
[0087] ,
[0088] 其中, 取 R。由此可见,距离轮廓质心O越远的位置,其置信度越低,如图2‑2所示,子图中的具体数字仅作为示意使用。
[0089] 去除超出标注轮廓C的区域: 将热图 H 与医生标注的甲状旁腺轮廓C 求交集,即可获得最终使用的高斯热图GHM。如图2‑3所示,多边形轮廓内的热图区域即为GHM,其作为后续语义分割模型的学习目标之一。热图中中心点位置处的值为1,越远离中心点,其值越低;热图中背景区域的值为0。
[0090] 甲状旁腺术前定位模型的训练,基于甲状旁腺原始图像IMG原始、甲状旁腺掩码图像IMG掩码及甲状旁腺高斯热图IMG热图,使用梯度下降算法依据损失函数 L迭代更新3D 语义分割模型的参数,直至模型收敛,从而得到甲状旁腺术前定位模型;
[0091] 损失函数L的计算,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及3D语义分割模型的输出,计算Dice 损失 、交叉熵损失 和热力图损失 ,进而计算得到总的损失L。依据计算得到的损失 L,使用梯度下降算法进行反向传播,迭代更新模型参数;
[0092] 甲状旁腺模型IMG预测的预测,通过上述训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;
[0093] 不同的甲状旁腺图像IMG输出的输出,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。
[0094] 上述预测的二值化掩码图像B,进行连通域分析,获得最终预测的不同的甲状旁腺。具体实现可采用 Python 软件包 connected‑components‑3d 从二值化掩码图像B中获得多标签连接部件标签(CCL)3D图像,使用的函数为connected_components,参数 connectivity取26,即26 邻域;CCL 3D 图像中,不同的甲状旁腺用不同的掩码值表示,如1, 2, 3, 4分别代表四个不同的甲状旁腺,因此可以根据 CCL 3D 图像中的不同掩码值,提取不同的甲状旁腺所在区域,其他软件实现亦可。
[0095] 损失函数L的计算包括:
[0096] Dice 损失 :
[0097] ,
[0098] 其中, 为像素i的标签值, 为像素i的预测值,N为像素点个数;
[0099] 交叉熵损失 :
[0100] ;
[0101] 其中,N为像素点个数, 为像素i的label,正类为1,负类为0;为像素点i预测为正类的概率;
[0102] 热力图损失  采用的是MSE损失:
[0103] ;
[0104] 其中,N为样本数量,为像素i的标签值,为像素i的预测值;
[0105] 图像语义分割损失 :
[0106] ;
[0107] 损失函数 :
[0108] ;
[0109] 其中, 为根据试验结果择优确定的常数。
[0110] 甲状旁腺模型IMG预测的预测,通过3D语义分割算法实现,具体包括:
[0111] 甲状旁腺原始图像IMG原始经3D语义分割模型,获得模型输出矩阵M;
[0112] 对模型输出矩阵 M执行softmax操作,获得每个像素 i 分别属于前景的概率Pi和背景的概率1‑Pi;其中前景的概率与背景的概率之和为1。
[0113] 当像素 i 前景的概率Pi高于阈值 T,则此位置处设为1,否则设为0,从而获得模型预测的甲状旁腺掩码图像IMG预测。
[0114] 实施例2
[0115] 在实施例1基础上,本实施例还包括甲状旁腺输出图像IMG输出的可视化显示,通过二维图像或三维图像对甲状旁腺输出图像IMG输出进行可视化显示。图3‑1和图4‑1 分别是平扫CTslice 图像和增强 CTslice图像。
[0116] 二维图像:二值化掩码图像 B 中,逐片层进行检查,若某片层存在1的掩码值,即此片层存在潜在的甲状旁腺区域,将其可视化。图3‑2 和图4‑2中的白色轮廓内的区域分别是模型从上述图 3‑1 和图 4‑1预测出的甲状旁腺区域。
[0117] 三维图像: 具体实现步骤为采用Python软件包Mayavi对上述 CCL3D 图像进行可视化,不同的甲状旁腺用不同颜色进行标识。此处仅为实现示例,其他实现方式亦可,如 ITK‑SNAP, Matplotlib 软件。图 3‑3 和图4‑3分别是模型从上述图 3‑1 和图 4‑1来源的整张CT片子中预测出的甲状旁腺3D效果图,不同颜色的3D实体代表不同的甲状旁腺。
[0118] 实施例3
[0119] 在上述实施例基础上,本实施例还包括甲状旁腺输出图像IMG输出的误差对比分析,通过差异化图对比模型预测得到的甲状旁腺输出图像IMG输出与人工标注的甲状旁腺图像进行对比分析。
[0120] 甲状旁腺输出图像IMG输出的误差对比分析包括:
[0121] 甲状旁腺掩码图像IMG掩码为矩阵Gd×w×h,甲状旁腺模型IMG预测为 矩阵Pd×w×h,两者的差异化图矩阵 Dd×w×h,其中, d为图像深度,w为图像宽度,h为图像高度,且IMG掩码和IMG预测中的1代表前景,即甲状旁腺;0代表背景;
[0122] 初始化差异化图矩阵Dd×w×h;
[0123] 甲状旁腺掩码图像IMG掩码矩阵Gd×w×h 与甲状旁腺模型IMG预测矩阵Pd×w×h进行逻辑与运算,获得交集掩码M1、漏检掩码M2和误检掩码M3;
[0124] 其中,模型漏检掩码 M2:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h为1,甲状旁腺模型IMG预测矩阵Pd×w×h为0时的布尔掩码;误检掩码M3:甲状旁腺掩码图像IMG掩码矩阵Gd×w×h 为0, 甲状旁腺模型IMG预测矩阵Pd×w×h为1时的布尔掩码。
[0125] 将D中 M1 掩码为真处的值置为1;D中 M2 掩码为真处的值置为2;D中 M3 掩码为真处的值置为3。需要指出的是,此处具体赋值仅为示例,只要三种掩码为真处的赋值不同即可,便于后可视化时,交集、漏检和误检以不同颜色标识出来。
[0126] 实施例4
[0127] 在实施例3基础上,本实施例还包括差异化图矩阵Dd×w×h的可视化,通过 SimpleITK 将差异化图矩阵D d×w×h保存成 NIfTI格式的文件,使用Python软件包 Mayavi对差异化图矩阵Dd×w×h 的NIfTI文件进行可视化展示。具体效果图如图5所示模型与GT的交集区域,模型漏检区域及模型误检区域。
[0128] 实施例5
[0129] 在上述实施例基础上,本实施例为基于双模态CT的甲状旁腺术前定位装置,其包括:甲状旁腺原始图像IMG原始的获取模块,基于双模态CT获取甲状旁腺原始图像IMG原始;甲状旁腺掩码图像IMG掩码的获取模块,通过对甲状旁腺原始图像IMG原始进行标注及编码,从而获取甲状旁腺掩码图像IMG掩码;
[0130] 甲状旁腺高斯热图IMG热图的获取模块,针对甲状旁腺掩码图像IMG掩码通过高斯算法获取甲状旁腺高斯热图IMG热图;
[0131] 甲状旁腺术前定位模型的训练模块,基于甲状旁腺原始图像IMG原始、甲状旁腺掩码图像IMG掩码及甲状旁腺高斯热图IMG热图,使用梯度下降算法依据损失函数 L迭代更新3D 语义分割模型的参数,直至模型收敛,从而得到甲状旁腺术前定位模型;
[0132] 损失函数L的计算模块,通过甲状旁腺掩码图像IMG掩码、甲状旁腺高斯热图IMG热图及3D语义分割模型的输出,计算Dice 损失 、交叉熵损失 和热力图损失 ,进而得到总的损失L;并依据计算得到的损失 L,通过梯度下降算法进行反向传播,迭代更新模型参数;
[0133] 甲状旁腺模型IMG预测的预测模块,通过训练得到的3D语义分割模型对甲状旁腺原始图像IMG原始进行处理,获得甲状旁腺模型IMG预测的预测;
[0134] 不同的甲状旁腺图像IMG输出的输出模块,针对甲状旁腺模型IMG预测通过连通域分析从而获取不同的甲状旁腺图像IMG输出。