基于深度学习的甲状腺细胞病理切片恶性区域的检测方法转让专利
申请号 : CN202011243793.1
文献号 : CN112508850B
文献日 : 2021-07-20
发明人 : 钱东东 , 何一凡 , 魏军
申请人 : 广州柏视医疗科技有限公司
摘要 :
权利要求 :
1.一种基于深度学习的甲状腺细胞病理切片恶性区域的检测方法,其特征在于,包括下列步骤:
切片步骤:对甲状腺细胞进行病理切片;
预处理步骤:将病理切片在显微镜上的图像经过数字化处理后使用不同的染色剂进行涂抹以得到彩色的病理切片;
图像采样步骤:将完整的病理切片裁剪出合适大小的切块作为深度神经网络模型的输入;
切块初步筛查步骤:筛除掉病理切片部分无效的切块;
良恶性分类步骤:采用弱监督的学习方法对切块初步筛查后的病理切片进行良恶性分类,所述良恶性分类步骤包括采用弱监督的学习方法,充分利用未做标签的数据参与到训练中,训练具体流程包括:
第一阶段训练包括:
在140张诊断为甲状腺乳头状癌的切片上,由甲状腺细胞病理医生标记1203张恶性的PTC切块图像作为正类,在120张正常的切片上随机裁剪1203张切块,作为负类;
按照4:1:1的比例分配训练集测试集和验证集,参与到模型1的训练中,其中模型1的训练方法选择的为resnet18;
对模型迭代训练,更新模型的权重,得到在测试集上性能最优的模型;以所述性能最优的模型对无标签的甲状腺的细胞病理切片的切块进行预测,对预测概率大于给定阈值的切块的标签设定为正例标签;
对预测概率小于给定阈值的切块标签设定为负例标签;及将所述正例标签和所述负例标签的标记的数据加入到训练集中;以及第二阶段训练包括:
选择resnet34模型作为第二阶段训练模型2,对模型2进行迭代训练,对权重进行更新,得到模型2在测试集上最优的模型,并采用与第一阶段相同的方法对无标签的切块设定伪标签,扩充训练集;
其中,所述第一阶段训练和所述第二阶段训练均分别以resnet50、resnet101、resnet152构建模型3、模型4、模型5逐步扩充数据,以进一步提高模型的性能;
其中,对模型1、模型2、模型3、模型4、模型5在验证集上的准确率分别为0.78,0.80,
0.83,0.87,0.95;
可疑区域的后处理步骤:利用去假阳的方案构建一个基于随机森林的机器学习方法对良恶性分类的预测结果进行假阳的去除;
病理切片的高危区域显示步骤:将每个切块的恶性预测的概率归一化并映射到原图中,将灰度图转化成彩色图像且生成热力图。
2.如权利要求1所述的检测方法,其特征在于,所述切片步骤包括将彩色的病理切片图像由RGB空间转到灰度空间以及采用高斯滤波的方法对图像进行平滑处理。
3.如权利要求1所述的检测方法,其特征在于,所述图像采样步骤中采用基于重叠面积为50%的重叠采样方法将完整的病理切片裁剪出合适大小的切块,所述切块的分辨率为
512x512像素。
4.如权利要求1所述的检测方法,其特征在于,所述切块初步筛查步骤中无效的切块为分辨率达不到要求的区域或未包含足够的甲状腺细胞的区域。
5.如权利要求4所述的检测方法,其特征在于,所述切块初步筛查步骤中采用轻量化的resnet18的分类网络在imagenet训练得到的初始权重作为初始权重进行切块初步筛查,在resnet18的预测概率低于阈值的切块将被筛除。
6.如权利要求1所述的检测方法,其特征在于,在模型1 模型5的预测阶段,使用极大抑~
制技术将重叠的区域剔除掉,在相交的切块里,选择恶性概率最大的切块作为输出。
7.如权利要求1所述的检测方法,其特征在于,所述可疑区域的后处理步骤中进行假阳去除的模型输入包括:
图像模块的模型5预测的切块的概率;
模型5倒数第二层提取的特征;
基于局部二值模式提取的甲状腺细胞病理切块的图像特征;以及切块的中心点在图像中的坐标信息。
8.如权利要求1所述的检测方法,其特征在于,所述病理切片的高危区域显示步骤中的每个切块的恶性预测的概率归一化到0 255。
~
9.一种基于深度学习的甲状腺细胞病理切片恶性区域的检测系统,其应用于,如权利要求1至8任一项的检测方法,其特征在于,所述检测系统包括设备部分、硬件部分以及软件部分;所述设备部分包括提供图像来源的显微镜;所述硬件部分包括GPU及CPU;所述软件部分包括Keras、Pytorch、tensorflow、Caffe或Paddle。
说明书 :
基于深度学习的甲状腺细胞病理切片恶性区域的检测方法
技术领域
背景技术
速诊断的优点,已经在许多三甲医院进行了普及。但是目前由于细胞病理筛查起步较晚,病
理医生相对比较少,有经验的医生更是稀缺,从而造成了需要诊断的病例的积压。同时,细
胞病理切片诊断中,经常存在的问题是获取不到目标细胞或者目标细胞过少,导致无法诊
断。
降低了误诊率,提高了病理医生的工作效率,从而使病理医生可以将精力集中到更加复杂
的病例上。
发明内容
恶性分类,通过去除假阳进一步提高检测的准确率。
恶性分类步骤、可疑区域的后处理步骤以及病理切片的高危区域显示步骤;切片步骤:对甲
状腺细胞进行病理切片;预处理步骤:将病理切片在显微镜上的图像经过数字化处理后使
用不同的染色剂进行涂抹以得到彩色的病理切片;图像采样步骤:将完整的病理切片裁剪
出合适大小的切块作为深度神经网络模型的输入;切块初步筛查步骤:筛除掉病理切片部
分无效的切块;良恶性分类步骤:采用弱监督的学习方法对切块初步筛查后的病理切片进
行良恶性分类;可疑区域的后处理步骤:利用去假阳的方案构建一个基于随机森林的机器
学习方法对良恶性分类的预测结果进行假阳的去除;以及病理切片的高危区域显示步骤:
将每个切块的恶性预测的概率归一化并映射到原图中,将灰度图转化成彩色图像且生成热
力图。
低于阈值的切块将被筛除。
阶段训练包括:在140张诊断为甲状腺乳头状癌的切片上,由甲状腺细胞病理医生标记1203
张恶性的PTC切块图像作为正类,在120张正常的切片上随机裁剪1203张切块,作为负类;按
照4:1:1的比例分配训练集测试集和验证集,参与到模型1的训练中,本文选择resnet18构
建模型1;对模型迭代训练,更新模型的权重,得到在测试集上性能最优的模型;以性能最优
的模型对无标签的甲状腺的细胞病理切片的切块上进行预测,对预测概率大于给定阈值的
切块的标签设定为正例标签;对预测概率小于给定阈值的切块标签设定为负例标签;及将
正例标签和负例标签的标记的数据加入到训练集中;第二阶段训练包括:选择resnet34模
型作为第二阶段训练模型2,对模型2进行迭代训练,对权重进行更新,得到模型2在测试集
上最优的模型,并采用与第一阶段相同的方法对无标签的切块设定伪标签,扩充训练集;其
中,第一阶段训练和第二阶段训练均分别以resnet50、resnet101、resnet152构建模型3、模
型4、模型5逐步扩充数据,以进一步提高模型的性能;其中,对模型1、模型2、模型3、模型4、
模型5在验证集上的准确率分别为0.78,0.80,0.83,0.87,0.95。
提取的甲状腺细胞病理切块的图像特征;以及切块的中心点在图像中的坐标信息。
分;设备部分主要包括提供图像来源的显微镜等;硬件部分主要包括GPU及CPU等;软件部分
主要包括Keras、Pytorch、tensorflow、Caffe或Paddle等。
有效的切块进良恶性分类,通过去除假阳进一步提高检测的准确率。在病理切片上预提取
高风险的恶性细胞区域,协助医生进行诊断,做出决策,通过此流程,在大幅减少病理医生
的工作量的同时,也降低了误诊率,提高了病理医生的工作效率,从而使病理医生可以将精
力集中到更加复杂的病例上。
附图说明
具体实施方式
件或其它组成部分。
步骤、良恶性分类步骤、可疑区域的后处理步骤以及病理切片的高危区域显示步骤等。
不同的染色方法,以及操作人员的手法会带来不同的切片的染色差异,对使用机器学习和
深度学习方法进行诊断分析带来干扰。为减少这种影响,在图像预处理阶段,首先将图像由
RGB空间转到灰度空间;同时由于玻片上存在污渍之类给细胞病理切片上引入了噪点,因
此,同时采用高斯滤波的方法对图像进行了平滑处理,降低噪声的影响。
的重叠采样方法(采用重叠采样的方法,可以保证所有可能的位置都采集到,同时也保证了
至少有一个可疑的区域能够完整的呈现),裁剪出合适大小的块(在本实施例中选取的是
512×512的分辨率大小的切块),作为深度神经网络模型的输入。
出来,因此本实施例训练了一个轻量化的resnet18的分类网络(具体的模型训练方法:人工
标注1000例分辨率不足和没有足够甲状腺细胞的区块作为负类,视野清晰和视野中的甲状
腺细胞满足下一个工作流的区块作为正例,基于resnet18在imagenet训练得到的初始权重
作为初始权重进行迁移训练,选择在验证集上效果最优的模型作为切块初步筛查模型,在
预测阶段,将resnet18的预测概率低于阈值(本实施例中设定的为0.2)的切块剔除掉),筛
除掉部分无效的切块,将剩下的切块送到良恶性分类模块,进行进一步检测。
便病理医生进行诊断。
良恶性分类模块,本实施例采用了一种弱监督的学习方法,充分利用未做标签的数据参与
到训练中来,具体流程为:
类。按照4:1:1的比例分配训练集测试集和验证集,参与到模型(Model)1的训练中(模型
(Model)1选择为Resnet18)。对模型迭代训练,更新模型的权重,得到在测试集上性能最优
的模型。以该模型对无标签的甲状腺的细胞病理切片的切块上进行预测,对预测概率大于
给定阈值的切块的标签设定为正例标签(在本实施例中该阈值设定为0.9)。对预测概率小
于给定阈值的切块标签设定为负例标签。将这些标记的数据加入到训练集中。(在本实施例
中,以原始数据量的0.25倍扩充正例和负例的数量)。
最优的模型。使用和第一阶段相同的方法对无标签的切块设定伪标签,扩充训练集。
的提升良恶性细胞的分类性能。
部分:图像模块的模型(Model)5预测的切块的概率;模型(Model)5倒数第二层提取的特征;
基于局部二值模式(Local Binary Pattern(LBP))提取的甲状腺细胞病理切块的图像特
征;以及切块的中心点在图像中的坐标信息(归一化到[0,1])。对随机森林模型进行训练。
模型将概率低于一定的阈值(本实施例的阈值设定为0.2)的切块剔除掉,进一步减轻病理
医生的工作。本实施例中这个阈值是可以动态调节的,如果病理医生想了解更多的恶性细
胞病理切片的切块,做进一步的评估,可以手动将阈值调节的更低一点。
生一个可视化的建议:哪部分的区域是需要重点关注的。本实施例的方法可以将从经验丰
富的病理医生中学习到的经验迁移到年轻的医生中,帮助年轻的医生成长。
可疑恶性区域按照概率由高到低排序显示输出。如果医生想要更精确的结果,可以将医生
基于阈值选择的结果(本实施例选择的是0.5),基于模块5的预测概率按由高到低的显示输
出。
备部分主要包括提供图像来源的显微镜等;硬件部分主要包括GPU及CPU等;软件部分主要
包括Keras、Pytorch、tensorflow、Caffe或Paddle等。
Paddle都可以应用于本发明的开发系统中。
GeForce RTX 2080ti,GeForce P6000.(更多显卡可查看英伟达官网)。
切块进良恶性分类,通过去除假阳进一步提高检测的准确率。在病理切片上预提取高风险
的恶性细胞区域,协助医生进行诊断,作出决策,通过此流程,在大幅减少病理医生的工作
量的同时,也降低了误诊率,提高了病理医生的工作效率,从而使病理医生可以将精力集中
到更加复杂的病例上。
和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应
用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及
各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。