一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法转让专利
申请号 : CN202011333447.2
文献号 : CN112446862B
文献日 : 2021-08-10
发明人 : 马璐 , 王东 , 王立威 , 张文涛 , 王子腾 , 张佳琦 , 丁佳 , 胡阳 , 吕晨翀
申请人 : 北京医准智能科技有限公司 , 广西医准智能科技有限公司
摘要 :
权利要求 :
1.一种基于AI的动态乳腺超声视频处理方法,其特征在于:所述方法至少包含如下步骤:(1)系统鲁棒性设计、(2)数据预处理、(3)数据扩增、(4)病灶检测以及(5)病灶分割;
所述(1)系统鲁棒性设计包括:1)按照1:1比例对不同主流超声机型产生的数据进行采集;2)正常和异常的数据按照1:1的比例进行采集;3)异常数据中各类型数据按照1:1的比例进行采集,所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化;
所述(2)数据预处理包括有效区域分割和数据归一化步骤;所述有效区域分割模块通过读取视频影像,对每一帧影像按照对应的有效区域范围,将图像分割出来;所述数据归一化模块采用Max/Min归一化方法;
所述(4)病灶检测是利用超声视频影像进行检测和分割的faster rcnn模型训练,所述病灶检测步骤包括:
1)利用递归特征金字塔RFP网络进行特征提取;
2)利用Deformable convolutional network学习特征偏移;
3)利用LSTM网络提取时间维度信息;
4)加入注意力机制提高检测精度;
所述(5)病灶分割步骤包括:
1)依据bounding box的尺寸将病灶从原图像剪切下来;
2)对剪切下来的图像,利用空洞卷积ResNet网络来提取特征图,得到大小为原图1/8的特征图;
3)采用深度为4的金字塔池化模块来获取特征图的语境信息,其池化核大小分别为图像的全部、一半和小部分,通过一个1*1卷积层将特征维度缩减为原来的1/4,将这些金字塔特征直接上采样到与输入特征相同尺寸,然后和输入特征做concat操作得到最终输出的全局特征图,将融合得到的全局特征与原始特征图连接起来;
4)通过一层卷积层生成最终的分割图;
5)根据形态学方法获得病灶的长短径。
2.根据权利要求1所述的方法,其特征在于,所述Max/Min归一化方法步骤包括:1)读取视频影像,对每一帧影像进行归一化;2)对单帧影像遍历整幅图,找到灰度值的最大值xmax以及最小值xmin;3)根据公式 对每一个像素的灰度值计算获得其归一化之后的值。
3.根据权利要求1‑2任一所述的方法,其特征在于,所述(3)数据扩增步骤包括:1)按顺序读取视频;2)为当前视频随机选择是否反转;3)若当前视频选择反转,继续随机选择反转方法。
4.一种基于AI的动态乳腺超声视频全病灶实时检测和分割系统或装置,所述系统或装置中至少包含(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块以及(5)病灶分割模块;所述(1)系统鲁棒性设计模块:1)针对不同参数按照1:1比例对主流超声机型产生的数据进行采集;2)正常和异常的数据按照1:1的比例进行采集;3)异常数据中各类型数据按照1:1的比例进行采集,所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化;
所述(2)数据预处理模块包括有效区域分割模块和数据归一化模块;所述有效区域分割模块通过读取视频影像,对每一帧影像按照对应的有效区域范围,将图像分割出来;所述数据归一化模块采用Max/Min归一化方法;
所述(4)病灶检测是利用超声视频影像进行检测和分割的faster rcnn模型训练,所述病灶检测步骤包括:
1)利用递归特征金字塔RFP网络进行特征提取;
2)利用Deformable convolutional network学习特征偏移;
3)利用LSTM网络提取时间维度信息;
4)加入注意力机制提高检测精度;
所述(5)病灶分割步骤包括:
1)依据bounding box的尺寸将病灶从原图像剪切下来;
2)对剪切下来的图像,利用空洞卷积ResNet网络来提取特征图,得到大小为原图1/8的特征图;
3)采用深度为4的金字塔池化模块来获取特征图的语境信息,其池化核大小分别为图像的全部、一半和小部分,通过一个1*1卷积层将特征维度缩减为原来的1/4,将这些金字塔特征直接上采样到与输入特征相同尺寸,然后和输入特征做concat操作得到最终输出的全局特征图,将融合得到的全局特征与原始特征图连接起来;
4)通过一层卷积层生成最终的分割图;
5)根据形态学方法获得病灶的长短径。
5.根据权利要求4所述的系统或装置,其特征在于,所述Max/Min归一化方法步骤包括:
1)读取视频影像,对每一帧影像进行归一化;2)对单帧影像遍历整幅图,找到灰度值的最大值xmax以及最小值xmin;3)根据公式 对每一个像素的灰度值计算获得其归一化之后的值。
6.根据权利要求4‑5任一所述的系统或装置,其特征在于,所述数据扩增模块执行步骤包括:1)按顺序读取视频;2)为当前视频随机选择是否反转;3)若当前视频选择反转,继续随机选择反转方法。
7.一种基于AI的动态乳腺超声视频全病灶实时检测和分割系统,包含超声机和AI服务器;优选的,还包括超声机显示器和AI显示器;其中,所述AI服务器中设置有权利要求4‑6任一项所述的基于AI的动态乳腺超声视频检测和分割系统或装置。
8.一种利用权利要求7所述的基于AI的动态乳腺超声视频全病灶实时检测和分割系统进行医学影像处理的方法,所述方法的步骤包括:
1)通过超声机采集超声影像;
2)超声影像通过超声机的视频输出端口输入AI服务器;
3)输入AI服务器的超声影像依次经过AI服务器中设定的系统鲁棒性设计模块、数据预处理模块、数据扩增模块、病灶检测模块、病灶分割模块进行处理,生成病灶分析结果;
4)将AI服务器生成的病灶分析结果显示于AI显示器。
9.一种计算机可读介质,其存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1‑3中任一项所述方法,或实现权利要求4‑6中任一项所述系统或装置进行医学影像处理的方法。
10.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器上存储一条或多条可读指令,所述一条或多条可读指令被所述处理器执行时,实现权利要求1‑3中任一项所述方法,或实现权利要求4‑6中任一项所述系统或装置进行医学影像处理的方法。
说明书 :
一种基于人工智能的动态乳腺超声视频全病灶实时检测和分
割装置、系统及图像处理方法
技术领域
背景技术
Engl J Med》上撰文指出:早期精确诊断可使乳腺癌患者5年生存率从25%提高到99%。
妊娠及哺乳期女性的乳腺检查。对X线照射有困难的部位(如乳腺边缘),可以作为弥补检
查,而且能较好地显示肿块的位置、形态、结构等。对较致密乳腺,即使有肿块也难以分辨
时,超声可利用声波界面反射的差别,清晰显示病灶的轮廓和形态。
读具有差异性;二是我国超声医生资源严重紧缺,卫计委统计年鉴显示,超声注册医生至少
有10万人的缺口。目前,乳腺超声影像诊断的高需求和现实供给之间的不平衡,已经成为临
床实践中亟待解决的主要问题之一。
CAD)系统。CAD是一种通过综合运用计算机、数学、统计学、图像处理与分析方法,由人工从
医学影像上进行特征提取、标注可疑病变位置、对病灶区域进行良恶性判断的AI技术。这种
训练方法易于理解,因为其结果是依据输入的特征运算的,可以有效提高训练的效率和准
确率,降低运算的复杂度。但传统CAD功能单一、性能不足,病灶检出假阳性率过高,在性能
上很快到达瓶颈,其临床价值没有得到充分肯定。
习可以不依据人工提取的特征进行后续的图像处理。有学者指出,深度神经网络提取的特
征有时比人类设计的特征更有效。大量超声CAD模型的成果构建和优秀的诊断能力也证明
了这一点。例如liu以及Shi等人将有监督的深度学习技术应用到了乳腺超声影像中,将S‑
DPN网络应用于两个小的乳腺超声数据集中,在加入了一些后处理方法如SVM之后最高分类
准确率达到了92.4%;Han S等人利用深度卷积网络GoogLeNet CNN对5151个病人的7408张
超声影像进行了乳腺超声影像的分类,实现了端对端的学习,分类准确率达到了90%,超过
了人类医生。
给服务器进行检测,而临床扫描超声的过程中,图像是在不断的变化的,所以这种检测方式
不仅会打破医生的诊断流程,增加操作负担,而且医生也不可能图像变化一次就截图一次,
完全无法应用于临床;二是,大多研究都仅着眼于结节的辅助检测,其他类型病灶还是需要
完全靠医生,并不能有效的帮助医生提高信心及效率;三是,二维图病灶信息并不充分,超
声图像经常会有某些切面的一些脂肪或血管等看起来与病灶无异,必须结合前后的影像综
合判断,所以基于二维图的准确性存在天然的瓶颈,通常会有很高的假阳性。
获得,即使获得了视频数据,数据的标注难度也是极大的,AI的学习是依赖于大量经过高质
量标注的数据的,而视频以每秒30帧来计算,每个人检查大约十分钟,所以每个病人就要标
注10*60*30=18000张图像,且都需要具有丰富经验的高年资超声医生来完成,通常超声医
生的工作强度非常高,要完成如此大量的标注是极为困难的,而没有高质量的大量数据,基
于视频的AI就是不可能实现的;其次在技术上,从二维图像为2D的模型到视频图像为4D模
型难度是飞跃式的,二维模型只需要考虑准确率,所以模型可以尽可能的复杂,提取尽可能
多维度的空间特征以实现较高的准确率,通常会以更多的时间消耗为代价,而基于视频的
4D技术不仅要考虑模型的准确率,同时要实现模型的实时性,这就注定了其不能通过采用
复杂的模型来提高准确率,且基于视频的4D技术需要将时间维度信息加入模型,对模型本
身提出了极高的要求,且目前并没有成熟的相关模型和算法参考,需要创新性的去重新设
计模型。
发明内容
床易用性较差,如假阳性高,无法实现实时检测等,为有效解决已有方法临床易用性较差,
对临床帮助严重不足的现状,本发明提出了基于AI的动态乳腺超声视频全病灶实时检测和
分割的装置、系统及检测方法,以解决临床由于视觉疲劳以及视觉敏感度不足导致的漏诊
问题,提高医生诊断效率。
据扩增、(4)病灶检测以及(5)病灶分割;
图像分割出来;所述数据归一化模块采用Max/Min归一化方法;优选的步骤包括:
字塔特征直接上采样到与输入特征相同尺寸,然后和输入特征做concat操作得到最终输出
的全局特征图,将融合得到的全局特征与原始特征图连接起来;
其中,超声机设备提供视频输出端口,超声机视频输出线通过视频输出端口与AI服务器相
连接。AI服务器中设置有基于AI的动态乳腺超声视频检测和分割的系统或装置,该系统或
装置至少包含:(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶
检测模块、以及(5)病灶分割模块。
病灶检测模块、以及(5)病灶分割模块。
类型的病灶。本发明针对性的设计了数据集,要求:
块和数据归一化模块。
度、提高模型的精度。具体步骤可以包括:
框架基础上进行了改进。具体步骤可以包括:
字塔特征直接上采样到与输入特征相同尺寸,然后和输入特征做concat操作得到最终输出
的全局特征图,将融合得到的全局特征与原始特征图连接起来;
现上述系统或装置进行医学影像处理的方法。
到每秒计算50次的计算效率,节约医生操作超声机进行测量病灶的时间,提高效率,完全满
足实时需求;
测量,在提高效率和准确率的同时,能够有效的帮助医生减少漏诊。
附图说明
具体实施方式
例及实施例中的特征可以相互组合。
技术,包括那些对本领域技术人员显而易见的技术的变化或等效技术的替换。虽然相信以
下术语对于本领域技术人员很好理解,但仍然阐述以下定义以更好地解释本发明。
骤。
适当的环境下可互换,并且本发明描述的实施方案能以不同于本发明描述或举例说明的其
它顺序实施。
器。其中,基于AI的动态乳腺超声视频检测和分割装置部署在AI服务器中。超声机设备提供
视频输出端口,超声机视频输出线通过视频输出端口与AI服务器相连接,AI服务器就可以
实时接收超声动态视频信号,进行实时分析,最后将分析结果通过AI显示器实时展示给医
生。
合理的高质量数据集能够大大提升模型的表现,为了提高本发明的准确率以及对不同机
型、不同参数导致的不同质量超声影像的鲁棒性,提升后续检出和分割的效率和准确率,本
发明针对性的设计了数据集,具体要求如下:
超声影像设计的所有类型病灶。
明设计了有效区域分割模块,具体为:
型收敛的速度、提高模型的精度。具体做法如下:
下对于基于大数据的深度学习来说,通过数据扩增的方式来增加训练集样本,可以大大缓
解由于数据量不足导致的模型过拟合的问题,具体方法如下:
变得更灵活且易于扩展,它能够在单个或多个GPU服务器上提供更快速的训练速度,目前包
含了大量业内最具代表性的目标检测、图像分割、关键点检测算法。
发明在公开的框架上进行了很多创新性的改动,最终使得模型能够在乳腺超声视频影像的
检测任务中达到实时的高精度检测的效果,其具体步骤如下:
语义信息比较少,但是目标位置准确,对小目标更敏感,高层的特征语义信息比较丰富,但
是目标位置比较粗略,对大目标更敏感,通过利用不同尺度的特征同步检测,可以大大提高
模型的尺度的鲁棒性;其次RFP在FPN的基础上,将FPN层中的额外反馈连接加入到自下而上
的主干层中,增加了网络对图片的关注次数,可以提高检出率。具体操作如下:
down特征对应元素相加,得到新的feature map;
体做法如下(参见图4):
3*3的卷积,获得偏移map offsets;
是否为病灶。因此,本发明加入了LSTM去提取时间维度的前后帧信息,如果在原图上直接进
行LSTM会导致运算速度慢,达不到实时效果,所以本发明对提取后的feature map进行LSTM
网络提取时间维度信息,具体做法如下(参见图5):
多幅图像的proposal feature map通过权重累加生成最终的feature map,得到病灶的分
类以及框的回归(参见图6)。
Negative(TN)被模型预测为负的负样本;False Positive(FP)被模型预测为正的负样本;
False Negative(FN)被模型预测为负的正样本)
字塔特征直接上采样到与输入特征相同尺寸,然后和输入特征做concat操作得到最终输出
的全局特征图。将融合得到的全局特征与原始特征图连接起来。