一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法转让专利
申请号 : CN202011333447.2
文献号 : CN112446862B
文献日 : 2021-08-10
发明人 : 马璐 , 王东 , 王立威 , 张文涛 , 王子腾 , 张佳琦 , 丁佳 , 胡阳 , 吕晨翀
申请人 : 北京医准智能科技有限公司 , 广西医准智能科技有限公司
摘要 :
本发明公开了一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割系统。该系统至少包含该系统至少包含一台超声机、和AI服务器。其中AI服务器中设置有基于AI的动态乳腺超声视频检测和分割装置，该装置至少包含(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块、以及(5)病灶分割模块。本发明的系统可以在不改动超声机以及现有诊断流程的前提下，实现对动态乳腺超声视频影像涉及的所有病灶进行自动实时检测，并对检测出的病灶进行智能分割和测量，在提高效率和准确率的同时，能够有效的帮助医生减少漏诊。
权利要求 :
1.一种基于AI的动态乳腺超声视频处理方法，其特征在于：所述方法至少包含如下步骤：(1)系统鲁棒性设计、(2)数据预处理、(3)数据扩增、(4)病灶检测以及(5)病灶分割；
所述(1)系统鲁棒性设计包括：1)按照1：1比例对不同主流超声机型产生的数据进行采集；2)正常和异常的数据按照1：1的比例进行采集；3)异常数据中各类型数据按照1：1的比例进行采集，所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化；
所述(2)数据预处理包括有效区域分割和数据归一化步骤；所述有效区域分割模块通过读取视频影像，对每一帧影像按照对应的有效区域范围，将图像分割出来；所述数据归一化模块采用Max/Min归一化方法；
所述(4)病灶检测是利用超声视频影像进行检测和分割的faster rcnn模型训练，所述病灶检测步骤包括：
1)利用递归特征金字塔RFP网络进行特征提取；
2)利用Deformable convolutional network学习特征偏移；
3)利用LSTM网络提取时间维度信息；
4)加入注意力机制提高检测精度；
所述(5)病灶分割步骤包括：
1)依据bounding box的尺寸将病灶从原图像剪切下来；
2)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
3)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出的全局特征图，将融合得到的全局特征与原始特征图连接起来；
4)通过一层卷积层生成最终的分割图；
5)根据形态学方法获得病灶的长短径。
2.根据权利要求1所述的方法，其特征在于，所述Max/Min归一化方法步骤包括：1)读取视频影像，对每一帧影像进行归一化；2)对单帧影像遍历整幅图，找到灰度值的最大值xmax以及最小值xmin；3)根据公式 对每一个像素的灰度值计算获得其归一化之后的值。
3.根据权利要求1‑2任一所述的方法，其特征在于，所述(3)数据扩增步骤包括：1)按顺序读取视频；2)为当前视频随机选择是否反转；3)若当前视频选择反转，继续随机选择反转方法。
4.一种基于AI的动态乳腺超声视频全病灶实时检测和分割系统或装置，所述系统或装置中至少包含(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块以及(5)病灶分割模块；所述(1)系统鲁棒性设计模块：1)针对不同参数按照1：1比例对主流超声机型产生的数据进行采集；2)正常和异常的数据按照1：1的比例进行采集；3)异常数据中各类型数据按照1：1的比例进行采集，所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化；
所述(2)数据预处理模块包括有效区域分割模块和数据归一化模块；所述有效区域分割模块通过读取视频影像，对每一帧影像按照对应的有效区域范围，将图像分割出来；所述数据归一化模块采用Max/Min归一化方法；
所述(4)病灶检测是利用超声视频影像进行检测和分割的faster rcnn模型训练，所述病灶检测步骤包括：
1)利用递归特征金字塔RFP网络进行特征提取；
2)利用Deformable convolutional network学习特征偏移；
3)利用LSTM网络提取时间维度信息；
4)加入注意力机制提高检测精度；
所述(5)病灶分割步骤包括：
1)依据bounding box的尺寸将病灶从原图像剪切下来；
2)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
3)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出的全局特征图，将融合得到的全局特征与原始特征图连接起来；
4)通过一层卷积层生成最终的分割图；
5)根据形态学方法获得病灶的长短径。
5.根据权利要求4所述的系统或装置，其特征在于，所述Max/Min归一化方法步骤包括：
1)读取视频影像，对每一帧影像进行归一化；2)对单帧影像遍历整幅图，找到灰度值的最大值xmax以及最小值xmin；3)根据公式 对每一个像素的灰度值计算获得其归一化之后的值。
6.根据权利要求4‑5任一所述的系统或装置，其特征在于，所述数据扩增模块执行步骤包括：1)按顺序读取视频；2)为当前视频随机选择是否反转；3)若当前视频选择反转，继续随机选择反转方法。
7.一种基于AI的动态乳腺超声视频全病灶实时检测和分割系统，包含超声机和AI服务器；优选的，还包括超声机显示器和AI显示器；其中，所述AI服务器中设置有权利要求4‑6任一项所述的基于AI的动态乳腺超声视频检测和分割系统或装置。
8.一种利用权利要求7所述的基于AI的动态乳腺超声视频全病灶实时检测和分割系统进行医学影像处理的方法，所述方法的步骤包括：
1)通过超声机采集超声影像；
2)超声影像通过超声机的视频输出端口输入AI服务器；
3)输入AI服务器的超声影像依次经过AI服务器中设定的系统鲁棒性设计模块、数据预处理模块、数据扩增模块、病灶检测模块、病灶分割模块进行处理，生成病灶分析结果；
4)将AI服务器生成的病灶分析结果显示于AI显示器。
9.一种计算机可读介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1‑3中任一项所述方法，或实现权利要求4‑6中任一项所述系统或装置进行医学影像处理的方法。
10.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储一条或多条可读指令，所述一条或多条可读指令被所述处理器执行时，实现权利要求1‑3中任一项所述方法，或实现权利要求4‑6中任一项所述系统或装置进行医学影像处理的方法。
说明书 :
一种基于人工智能的动态乳腺超声视频全病灶实时检测和分
割装置、系统及图像处理方法
技术领域
[0001] 本发明涉及医学图像领域，特别涉及一种基于人工智能(AI)的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法。
背景技术
[0002] 乳腺癌即乳腺恶性肿瘤，根据国家癌症中心公布的数据显示，乳腺癌位居我国女性恶性肿瘤发病第1位，严重威胁女性健康。美国弗吉尼亚大学Hillman教授2010年在《N
Engl J Med》上撰文指出：早期精确诊断可使乳腺癌患者5年生存率从25％提高到99％。
Engl J Med》上撰文指出：早期精确诊断可使乳腺癌患者5年生存率从25％提高到99％。
[0003] 乳腺超声技术具有无创、快捷、重复性强等优点，能清楚地显示乳腺各层软组织及其中肿块的形态、内部结构及相邻组织的改变。由于无放射性，可适用于任何年龄，尤其是
妊娠及哺乳期女性的乳腺检查。对X线照射有困难的部位(如乳腺边缘)，可以作为弥补检
查，而且能较好地显示肿块的位置、形态、结构等。对较致密乳腺，即使有肿块也难以分辨
时，超声可利用声波界面反射的差别，清晰显示病灶的轮廓和形态。
妊娠及哺乳期女性的乳腺检查。对X线照射有困难的部位(如乳腺边缘)，可以作为弥补检
查，而且能较好地显示肿块的位置、形态、结构等。对较致密乳腺，即使有肿块也难以分辨
时，超声可利用声波界面反射的差别，清晰显示病灶的轮廓和形态。
[0004] 但我国的超声检查却面临两大难题：一是超声医生培养难，医生在能够正确解读超声图像之前，需要经过大量的培训，且学习周期长、学习难度大，不同操作者对图像的解
读具有差异性；二是我国超声医生资源严重紧缺，卫计委统计年鉴显示，超声注册医生至少
有10万人的缺口。目前，乳腺超声影像诊断的高需求和现实供给之间的不平衡，已经成为临
床实践中亟待解决的主要问题之一。
读具有差异性；二是我国超声医生资源严重紧缺，卫计委统计年鉴显示，超声注册医生至少
有10万人的缺口。目前，乳腺超声影像诊断的高需求和现实供给之间的不平衡，已经成为临
床实践中亟待解决的主要问题之一。
[0005] 医学影像的全面数字化和计算机技术的发展，为从技术层面解决这一问题带来了希望。最先发展起来的是计算机辅助检测/诊断(computer aided detection/diagnosis，
CAD)系统。CAD是一种通过综合运用计算机、数学、统计学、图像处理与分析方法，由人工从
医学影像上进行特征提取、标注可疑病变位置、对病灶区域进行良恶性判断的AI技术。这种
训练方法易于理解，因为其结果是依据输入的特征运算的，可以有效提高训练的效率和准
确率，降低运算的复杂度。但传统CAD功能单一、性能不足，病灶检出假阳性率过高，在性能
上很快到达瓶颈，其临床价值没有得到充分肯定。
CAD)系统。CAD是一种通过综合运用计算机、数学、统计学、图像处理与分析方法，由人工从
医学影像上进行特征提取、标注可疑病变位置、对病灶区域进行良恶性判断的AI技术。这种
训练方法易于理解，因为其结果是依据输入的特征运算的，可以有效提高训练的效率和准
确率，降低运算的复杂度。但传统CAD功能单一、性能不足，病灶检出假阳性率过高，在性能
上很快到达瓶颈，其临床价值没有得到充分肯定。
[0006] 近几年，随着深度学习算法的出现和成熟，AI技术在医学影像中的应用逐步走向了更高的层面，为突破传统CAD系统的准确性瓶颈带来了可能。与传统CAD不同的是，深度学
习可以不依据人工提取的特征进行后续的图像处理。有学者指出，深度神经网络提取的特
征有时比人类设计的特征更有效。大量超声CAD模型的成果构建和优秀的诊断能力也证明
了这一点。例如liu以及Shi等人将有监督的深度学习技术应用到了乳腺超声影像中，将S‑
DPN网络应用于两个小的乳腺超声数据集中，在加入了一些后处理方法如SVM之后最高分类
准确率达到了92.4％；Han S等人利用深度卷积网络GoogLeNet CNN对5151个病人的7408张
超声影像进行了乳腺超声影像的分类，实现了端对端的学习，分类准确率达到了90％，超过
了人类医生。
习可以不依据人工提取的特征进行后续的图像处理。有学者指出，深度神经网络提取的特
征有时比人类设计的特征更有效。大量超声CAD模型的成果构建和优秀的诊断能力也证明
了这一点。例如liu以及Shi等人将有监督的深度学习技术应用到了乳腺超声影像中，将S‑
DPN网络应用于两个小的乳腺超声数据集中，在加入了一些后处理方法如SVM之后最高分类
准确率达到了92.4％；Han S等人利用深度卷积网络GoogLeNet CNN对5151个病人的7408张
超声影像进行了乳腺超声影像的分类，实现了端对端的学习，分类准确率达到了90％，超过
了人类医生。
[0007] 但目前这些探索大多都还着眼于二维影像的结节，对于临床实际应用场景来讲，一是基于二维图的辅助检测对临床的帮助非常有限，通常需要医生手动截图，再将图像传
给服务器进行检测，而临床扫描超声的过程中，图像是在不断的变化的，所以这种检测方式
不仅会打破医生的诊断流程，增加操作负担，而且医生也不可能图像变化一次就截图一次，
完全无法应用于临床；二是，大多研究都仅着眼于结节的辅助检测，其他类型病灶还是需要
完全靠医生，并不能有效的帮助医生提高信心及效率；三是，二维图病灶信息并不充分，超
声图像经常会有某些切面的一些脂肪或血管等看起来与病灶无异，必须结合前后的影像综
合判断，所以基于二维图的准确性存在天然的瓶颈，通常会有很高的假阳性。
给服务器进行检测，而临床扫描超声的过程中，图像是在不断的变化的，所以这种检测方式
不仅会打破医生的诊断流程，增加操作负担，而且医生也不可能图像变化一次就截图一次，
完全无法应用于临床；二是，大多研究都仅着眼于结节的辅助检测，其他类型病灶还是需要
完全靠医生，并不能有效的帮助医生提高信心及效率；三是，二维图病灶信息并不充分，超
声图像经常会有某些切面的一些脂肪或血管等看起来与病灶无异，必须结合前后的影像综
合判断，所以基于二维图的准确性存在天然的瓶颈，通常会有很高的假阳性。
[0008] 关于为什么目前极少有关于乳腺超声动态视频的探索？首先是视频数据缺乏，通常的超声检查只会保留个别二维图，而不会保存视频影像，所以乳腺超声的视频数据很难
获得，即使获得了视频数据，数据的标注难度也是极大的，AI的学习是依赖于大量经过高质
量标注的数据的，而视频以每秒30帧来计算，每个人检查大约十分钟，所以每个病人就要标
注10*60*30＝18000张图像，且都需要具有丰富经验的高年资超声医生来完成，通常超声医
生的工作强度非常高，要完成如此大量的标注是极为困难的，而没有高质量的大量数据，基
于视频的AI就是不可能实现的；其次在技术上，从二维图像为2D的模型到视频图像为4D模
型难度是飞跃式的，二维模型只需要考虑准确率，所以模型可以尽可能的复杂，提取尽可能
多维度的空间特征以实现较高的准确率，通常会以更多的时间消耗为代价，而基于视频的
4D技术不仅要考虑模型的准确率，同时要实现模型的实时性，这就注定了其不能通过采用
复杂的模型来提高准确率，且基于视频的4D技术需要将时间维度信息加入模型，对模型本
身提出了极高的要求，且目前并没有成熟的相关模型和算法参考，需要创新性的去重新设
计模型。
获得，即使获得了视频数据，数据的标注难度也是极大的，AI的学习是依赖于大量经过高质
量标注的数据的，而视频以每秒30帧来计算，每个人检查大约十分钟，所以每个病人就要标
注10*60*30＝18000张图像，且都需要具有丰富经验的高年资超声医生来完成，通常超声医
生的工作强度非常高，要完成如此大量的标注是极为困难的，而没有高质量的大量数据，基
于视频的AI就是不可能实现的；其次在技术上，从二维图像为2D的模型到视频图像为4D模
型难度是飞跃式的，二维模型只需要考虑准确率，所以模型可以尽可能的复杂，提取尽可能
多维度的空间特征以实现较高的准确率，通常会以更多的时间消耗为代价，而基于视频的
4D技术不仅要考虑模型的准确率，同时要实现模型的实时性，这就注定了其不能通过采用
复杂的模型来提高准确率，且基于视频的4D技术需要将时间维度信息加入模型，对模型本
身提出了极高的要求，且目前并没有成熟的相关模型和算法参考，需要创新性的去重新设
计模型。
[0009] 有鉴于此，提出本发明。
发明内容
[0010] 针对现有乳腺超声的检测和分割研究大多只着眼于肿块，且多为基于二维影像的研究，而临床诊断通常需要结合前后帧的信息综合判断，所以基于二维影像的人工智能临
床易用性较差，如假阳性高，无法实现实时检测等，为有效解决已有方法临床易用性较差，
对临床帮助严重不足的现状，本发明提出了基于AI的动态乳腺超声视频全病灶实时检测和
分割的装置、系统及检测方法，以解决临床由于视觉疲劳以及视觉敏感度不足导致的漏诊
问题，提高医生诊断效率。
床易用性较差，如假阳性高，无法实现实时检测等，为有效解决已有方法临床易用性较差，
对临床帮助严重不足的现状，本发明提出了基于AI的动态乳腺超声视频全病灶实时检测和
分割的装置、系统及检测方法，以解决临床由于视觉疲劳以及视觉敏感度不足导致的漏诊
问题，提高医生诊断效率。
[0011] 为实现上述目的，本发明第一方面提供了一种基于AI的动态乳腺超声视频处理方法，其特征在于：所述方法至少包含如下步骤：(1)系统鲁棒性设计、(2)数据预处理、(3)数
据扩增、(4)病灶检测以及(5)病灶分割；
据扩增、(4)病灶检测以及(5)病灶分割；
[0012] 在一些方式中，所述(1)系统鲁棒性设计包括：
[0013] 1)按照1：1比例对主流超声机型产生的数据进行采集；
[0014] 2)正常和异常的数据按照1：1的比例进行采集；
[0015] 3)异常数据中各类型数据按照1：1的比例进行采集，所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化。
[0016] 在一些方式中，所述(2)数据预处理包括有效区域分割和数据归一化步骤；优选的，所述有效区域分割模块通过读取视频影像，对每一帧影像按照对应的有效区域范围，将
图像分割出来；所述数据归一化模块采用Max/Min归一化方法；优选的步骤包括：
图像分割出来；所述数据归一化模块采用Max/Min归一化方法；优选的步骤包括：
[0017] 1)读取视频影像，对每一帧影像进行归一化；
[0018] 2)对单帧影像遍历整幅图，找到灰度值的最大值xmax以及最小值xmin；
[0019] 3)根据公式 对每一个像素的灰度值计算获得其归一化之后的值。
[0020] 在一些方式中，所述(3)数据扩增步骤包括：
[0021] 1)按顺序读取视频；
[0022] 2)为当前视频随机选择是否反转；
[0023] 3)若当前视频选择反转，继续随机选择反转方法。
[0024] 在一些方式中，所述(4)病灶检测是利用超声视频影像进行检测和分割的faster rcnn模型训练；优选的，所述病灶检测步骤包括：
[0025] 1)利用递归特征金字塔RFP网络进行特征提取；
[0026] 2)利用Deformable convolutional network学习特征偏移；
[0027] 3)利用LSTM网络提取时间维度信息；
[0028] 4)加入注意力机制提高检测精度。
[0029] 在一些方式中，所述(4)病灶分割步骤包括：
[0030] 1)依据bounding box的尺寸将病灶从原图像剪切下来；
[0031] 2)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
[0032] 3)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金
字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出
的全局特征图，将融合得到的全局特征与原始特征图连接起来；
字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出
的全局特征图，将融合得到的全局特征与原始特征图连接起来；
[0033] 4)通过一层卷积层生成最终的分割图；
[0034] 5)根据形态学方法获得病灶的长短径。
[0035] 本发明另一方面提供了一种基于AI的动态乳腺超声视频全病灶实时检测和分割系统，该系统至少包含一台超声机和AI服务器；优选的，还包括超声机显示器和AI显示器。
其中，超声机设备提供视频输出端口，超声机视频输出线通过视频输出端口与AI服务器相
连接。AI服务器中设置有基于AI的动态乳腺超声视频检测和分割的系统或装置，该系统或
装置至少包含：(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶
检测模块、以及(5)病灶分割模块。
其中，超声机设备提供视频输出端口，超声机视频输出线通过视频输出端口与AI服务器相
连接。AI服务器中设置有基于AI的动态乳腺超声视频检测和分割的系统或装置，该系统或
装置至少包含：(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶
检测模块、以及(5)病灶分割模块。
[0036] 本发明第二方面提供了基于AI的动态乳腺超声视频检测和分割系统或装置，该系统或装置至少包含：(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)
病灶检测模块、以及(5)病灶分割模块。
病灶检测模块、以及(5)病灶分割模块。
[0037] 在一些方式中，所述系统鲁棒性设计模块可以使系统自动适应不同机型、不同参数设置下的超声影像，同时提升后续检出和分割的效率和准确性，还可以使系统涵盖所有
类型的病灶。本发明针对性的设计了数据集，要求：
类型的病灶。本发明针对性的设计了数据集，要求：
[0038] 1)不同参数按照1：1的比例对主流超声机型产生的数据进行采集；
[0039] 2)正常和异常(包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化)的数据按照1：1的比例进行采集；
[0040] 3)异常数据中各类型(包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化)数据按照1：1的比例进行采集。
[0041] 在一些方式中，所述数据预处理模块主要用于提高计算效率、减少计算耗时，加快模型收敛速度，节约训练时间，同时提高模型精度。数据处理模块主要包括有效区域分割模
块和数据归一化模块。
块和数据归一化模块。
[0042] 在一些方式中，所述有效区域分割模块可以根据不同机型设定有效区域范围，通过读取视频影像，对每一帧影响按照对应的有效区域范围，将图像分割出来。
[0043] 在一些方式中，所述数据归一化模块优选可以通过采用Max/Min归一化方法，将数据映射到指定的范围，缩小由于不同参数带来的差异，还可以简化计算、加快模型收敛的速
度、提高模型的精度。具体步骤可以包括：
度、提高模型的精度。具体步骤可以包括：
[0044] 4)读取视频影像，对每一帧影像进行归一化；
[0045] 5)对单帧影像遍历整幅图，找到灰度值的最大值xmax以及最小值xmin；
[0046] 6)根据公式 对每一个像素的灰度值计算获得其归一化之后的值。
[0047] 在一些方式中，所述数据扩增模块可以增加训练集样本，大大缓解由于数据量不足导致的模型过拟合的问题。具体步骤可以包括：
[0048] 3)按顺序读取视频；
[0049] 4)为当前视频随机选择是否反转；
[0050] 3)若当前视频选择反转，继续随机选择反转方法(包括左右反转和上下反转)。
[0051] 在一些方式中，所述病灶检测模块主要是利用病人的超声视频影像进行检测和分割的模型训练。该模块主要基于Detectron2平台和二阶段检测框架FasterRCNN，并在现有
框架基础上进行了改进。具体步骤可以包括：
框架基础上进行了改进。具体步骤可以包括：
[0052] 5)利用递归特征金字塔RFP(Recursive Feature Pyramid)网络进行特征提取；
[0053] 6)利用Deformable convolutional network学习特征偏移；
[0054] 7)利用LSTM网络提取时间维度信息；
[0055] 8)加入注意力机制提高检测精度。
[0056] 在一些方式中，所述病灶分割模块主要是将病灶检测模块声称的病灶的框bounding box进行病灶分割，具体步骤可以包括：
[0057] 6)依据bounding box的尺寸将病灶从原图像剪切下来；
[0058] 7)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
[0059] 8)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金
字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出
的全局特征图，将融合得到的全局特征与原始特征图连接起来；
字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出
的全局特征图，将融合得到的全局特征与原始特征图连接起来；
[0060] 9)通过一层卷积层生成最终的分割图；
[0061] 10)根据形态学方法获得病灶的长短径。
[0062] 本发明第四方面还提供了基于AI的动态乳腺超声视频全病灶实时检测和分割系统的医学影像处理方法，其主要步骤包括：
[0063] 1)通过超声机采集超声影像；
[0064] 2)超声影像通过超声机的视频输出端口输入AI服务器；
[0065] 3)输入AI服务器的超声影像依次经过AI服务器中设定的系统鲁棒性设计模块、数据预处理模块、数据扩增模块、病灶检测模块、病灶分割模块进行处理，生成病灶分析结果；
[0066] 4)将AI服务器生成的病灶分析结果显示于AI显示器。
[0067] 本发明第四方面还提供了一种计算机可读介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述系统或装置进行医学影像处理的方法。
[0068] 本发明第五方面还提供了一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储一条或多条可读指令，所述一条或多条可读指令被所述处理器执行时，实
现上述系统或装置进行医学影像处理的方法。
现上述系统或装置进行医学影像处理的方法。
[0069] 本发明提出的基于AI的动态乳腺超声视频全病灶实时检测和分割装置、系统具有如下突出的技术效果：
[0070] 1.本发明无需改动超声机，无需改变医生现有诊断流程，即可提供实时的辅助检测分割结果；
[0071] 2.本发明可一站式解决乳腺超声影像所能涉及到的所有病灶，包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化等；
[0072] 3.本发明基于动态乳腺超声视频的智能检测和分割系统，可以在扫描病人的同时自动实时检测病灶，并对检测的病灶进行自动智能分割，可以在保证高准确率的情况下，达
到每秒计算50次的计算效率，节约医生操作超声机进行测量病灶的时间，提高效率，完全满
足实时需求；
到每秒计算50次的计算效率，节约医生操作超声机进行测量病灶的时间，提高效率，完全满
足实时需求；
[0073] 4.采用速度和精度兼顾的faster rcnn网络，在达到实时效果的同时，获得良好的精度效果；
[0074] 5.通过数据扩增的方式，解决由于医学数据量过小导致的过拟合问题；
[0075] 6.在充分观察学习医生检测病灶的流程和方法的基础上，引入了LSTM模块进行时间维度信息的提取，有效地利用前后帧信息，大大降低了检测的假阳性；
[0076] 7.通过引入注意力机制，提高检出率的同时，降低假阳性；
[0077] 8.通过对数据集分布的控制以及乳腺超声影像的预处理，可以适应不同机型、不同参数设置导致的超声影像质量层次不齐的情况，鲁棒性好表现稳定。
[0078] 总体来讲，本发明可以在不改动超声机以及现有诊断流程的前提下，实现对动态乳腺超声视频影像涉及的所有病灶进行自动实时检测，并对检测出的病灶进行智能分割和
测量，在提高效率和准确率的同时，能够有效的帮助医生减少漏诊。
测量，在提高效率和准确率的同时，能够有效的帮助医生减少漏诊。
附图说明
[0079] 图1示出了本发明基于人工智能的动态乳腺超声视频全病灶实时检测和分割的系统
[0080] 图2示出了Faster RCNN的网络结构
[0081] 图3示出了利用递归特征金字塔RFP网络进行特征提取
[0082] 图4示出了利用Deformable convolutional network学习特征偏移
[0083] 图5示出了利用LSTM网络提取时间维度信息
[0084] 图6示出了利用注意力机制获得病灶的分类以及框的回归
[0085] 图7示出了将病灶的框bounding box进行病灶分割的流程图
[0086] 图8是对超声图像进行有效区域分割的结果图
[0087] 图9是对超声图像进行数据归一化处理的结果图
[0088] 图10是对超声突变进行左右反转和上下反转的效果图
[0089] 图11是本发明检测的FROC图
[0090] 图12‑图17是对超声图像进行检测分割的效果图
具体实施方式
[0091] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施
例及实施例中的特征可以相互组合。
例及实施例中的特征可以相互组合。
[0092] 定义
[0093] 除非在下文中另有定义，本文中所用的所有技术术语和科学术语的含义意图与本领域技术人员通常所理解的相同。提及本文中使用的技术意图指在本领域中通常所理解的
技术，包括那些对本领域技术人员显而易见的技术的变化或等效技术的替换。虽然相信以
下术语对于本领域技术人员很好理解，但仍然阐述以下定义以更好地解释本发明。
技术，包括那些对本领域技术人员显而易见的技术的变化或等效技术的替换。虽然相信以
下术语对于本领域技术人员很好理解，但仍然阐述以下定义以更好地解释本发明。
[0094] 如本文中所使用，术语“包括”、“包含”、“具有”、“含有”或“涉及”及其在本文中的其它变体形式为包含性的(inclusive)或开放式的，且不排除其它未列举的元素或方法步
骤。
骤。
[0095] 在提及单数形式名词时使用的不定冠词或定冠词例如“一个”或“一种”，“所述”，包括该名词的复数形式。
[0096] 本发明中的术语“大约”、“大体”表示本领域技术人员能够理解的仍可保证论及特征的技术效果的准确度区间。该术语通常表示偏离指示数值的±10％，优选±5％。
[0097] 此外，说明书和权利要求书中的术语第一、第二、第三、(a)、(b)、(c)以及诸如此类，是用于区分相似的元素，不是描述顺序或时间次序必须的。应理解，如此应用的术语在
适当的环境下可互换，并且本发明描述的实施方案能以不同于本发明描述或举例说明的其
它顺序实施。
适当的环境下可互换，并且本发明描述的实施方案能以不同于本发明描述或举例说明的其
它顺序实施。
[0098] 本发明实施例中，提供了一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割的系统。如图1所示，该系统至少包含一台超声机、超声机显示器、AI服务器、AI显示
器。其中，基于AI的动态乳腺超声视频检测和分割装置部署在AI服务器中。超声机设备提供
视频输出端口，超声机视频输出线通过视频输出端口与AI服务器相连接，AI服务器就可以
实时接收超声动态视频信号，进行实时分析，最后将分析结果通过AI显示器实时展示给医
生。
器。其中，基于AI的动态乳腺超声视频检测和分割装置部署在AI服务器中。超声机设备提供
视频输出端口，超声机视频输出线通过视频输出端口与AI服务器相连接，AI服务器就可以
实时接收超声动态视频信号，进行实时分析，最后将分析结果通过AI显示器实时展示给医
生。
[0099] 基于AI的动态乳腺超声视频检测和分割装置至少包含：(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块、以及(5)病灶分割模块。
[0100] (1)系统鲁棒性设计模块
[0101] 深度学习是基于大数据的，但一直以来，人们更重视模型架构的设计，而对数据的重视程度不足，越来越多的研究证明，数据的质量和数量对模型最终的表现至关重要，分布
合理的高质量数据集能够大大提升模型的表现，为了提高本发明的准确率以及对不同机
型、不同参数导致的不同质量超声影像的鲁棒性，提升后续检出和分割的效率和准确率，本
发明针对性的设计了数据集，具体要求如下：
合理的高质量数据集能够大大提升模型的表现，为了提高本发明的准确率以及对不同机
型、不同参数导致的不同质量超声影像的鲁棒性，提升后续检出和分割的效率和准确率，本
发明针对性的设计了数据集，具体要求如下：
[0102] 1)不同机型不同参数的数据按照1：1的比例进行采集。
[0103] 2)正常和异常(包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化)的数据按照1：1的比例进行采集。
[0104] 3)异常数据中各类型(包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化)数据按照1：1的比例进行采集。
[0105] 此模块的设计目的：一是为了使系统能够自动适应不同机型、不同参数设置下的不同质量的超声影像，同时提升后续检出和分割的效率和准确率；二是为了使本产品涵盖
超声影像设计的所有类型病灶。
超声影像设计的所有类型病灶。
[0106] (2)数据预处理模块
[0107] 为了提高计算效率、减少计算耗时，加快模型收敛速度，节约训练时间，同时提高模型精度，本发明设计了数据预处理模块，主要包括：
[0108] 2.1有效区域分割模块
[0109] 采集的超声视频影像中除了包含真正有意义的超声图像还有很多对诊断病灶无意义的部分，而这些对诊断病灶无意义的图像部分会增加计算量降低计算效率，所以本发
明设计了有效区域分割模块，具体为：
明设计了有效区域分割模块，具体为：
[0110] 1)根据不同机型设定有效区域范围；
[0111] 2)读取视频影像，对每一帧影像，按照对应的有效区域范围，将图像分割出来，用于参与后续处理与训练。
[0112] 图8为对超声图像进行有效区域分割的结果图。
[0113] 2.2数据归一化模块
[0114] 不同的超声机参数，可能会导致图像明暗度差异较大，本发明采用Max/Min归一化方法，将数据映射到指定的范围，缩小由于不同参数带来的差异，还可以简化计算、加快模
型收敛的速度、提高模型的精度。具体做法如下：
型收敛的速度、提高模型的精度。具体做法如下：
[0115] 5)读取视频影像，对每一帧影像进行归一化；
[0116] 6)对单帧影像遍历整幅图，找到灰度值的最大值xmax以及最小值xmin；
[0117] 根据公式 对每一个像素的灰度值计算获得其归一化之后的值。
[0118] 图9为对超声图像进行数据归一化处理的结果图。
[0119] (3)数据扩增模块
[0120] 由于医疗数据的特殊性，其获取、标注不仅难度大而且成本特别高，所以医疗影像的数据量往往很难像自然图像一样达到百万或者几十万，甚至过万都特别艰难，这种情况
下对于基于大数据的深度学习来说，通过数据扩增的方式来增加训练集样本，可以大大缓
解由于数据量不足导致的模型过拟合的问题，具体方法如下：
下对于基于大数据的深度学习来说，通过数据扩增的方式来增加训练集样本，可以大大缓
解由于数据量不足导致的模型过拟合的问题，具体方法如下：
[0121] 1)按顺序读取视频
[0122] 2)为当前视频随机选择是否反转
[0123] 3)若当前视频选择反转，继续随机选择反转方法(包括左右反转和上下反转)
[0124] 图10为对超声突变进行左右反转和上下反转的效果图。
[0125] (4)病灶检测模块
[0126] 这一阶段主要是利用病人的超声视频影像进行检测和分割的模型训练，主要包括以下几部分：
[0127] i.平台
[0128] 本发明基于Detectron2平台，Detectron2是FAIR在2018年初公开的目标检测平台，基于PyTorch实现，以maskrcnn基准测试作为起点。通过全新的模块化设计，Detectron2
变得更灵活且易于扩展，它能够在单个或多个GPU服务器上提供更快速的训练速度，目前包
含了大量业内最具代表性的目标检测、图像分割、关键点检测算法。
变得更灵活且易于扩展，它能够在单个或多个GPU服务器上提供更快速的训练速度，目前包
含了大量业内最具代表性的目标检测、图像分割、关键点检测算法。
[0129] ii.框架
[0130] 为了提高计算速度同时达到比较理想的计算精度，本发明采用了在速度和精度上表现都很出色的二阶段检测框架FasterRCNN(图2所示)。
[0131] iii.模型改进
[0132] 因为超声视频影像的特殊性，它不同于一般的静态医疗影像如CT、MR等，也不同于普通的自然视频影像，所以目前公开的框架并不能达到实时的高精度的检测效果，因此本
发明在公开的框架上进行了很多创新性的改动，最终使得模型能够在乳腺超声视频影像的
检测任务中达到实时的高精度检测的效果，其具体步骤如下：
发明在公开的框架上进行了很多创新性的改动，最终使得模型能够在乳腺超声视频影像的
检测任务中达到实时的高精度检测的效果，其具体步骤如下：
[0133] 1)利用递归特征金字塔RFP(Recursive Feature Pyramid)网络进行特征提取
[0134] 将连续的多幅超声影像分别输入递归特征金字塔RFP网络，进行特征提取，生成FeatureMap，这样做可以增加模型对尺度的鲁棒性并提高模型精度，首先因为低层的特征
语义信息比较少，但是目标位置准确，对小目标更敏感，高层的特征语义信息比较丰富，但
是目标位置比较粗略，对大目标更敏感，通过利用不同尺度的特征同步检测，可以大大提高
模型的尺度的鲁棒性；其次RFP在FPN的基础上，将FPN层中的额外反馈连接加入到自下而上
的主干层中，增加了网络对图片的关注次数，可以提高检出率。具体操作如下：
语义信息比较少，但是目标位置准确，对小目标更敏感，高层的特征语义信息比较丰富，但
是目标位置比较粗略，对大目标更敏感，通过利用不同尺度的特征同步检测，可以大大提高
模型的尺度的鲁棒性；其次RFP在FPN的基础上，将FPN层中的额外反馈连接加入到自下而上
的主干层中，增加了网络对图片的关注次数，可以提高检出率。具体操作如下：
[0135] a.bottom‑up网络:对单帧影像，首先将输入图像进行自下而上的特征卷积，如下图RFP部分的左侧，对输入图像采用3*3的卷积核进行卷积操作，得到feature map；
[0136] b.Top‑down网络:对高层特征逐个进行2倍上采样，将与采样后的高层特征同尺度的bottom‑up特征进行1*1卷积降低维度，将降低维度后的bottom‑up特征与同尺度的top‑
down特征对应元素相加，得到新的feature map；
down特征对应元素相加，得到新的feature map；
[0137] c.将top‑down中的额外反馈连接加入到bottom‑up网络中(如图3中的虚线部分)。
[0138] 本阶段完成后，每一个输入图像input 1……n，都会得到对应的feature map f1，f2......fn。
[0139] 2)利用Deformable convolutional network学习特征偏移
[0140] Deformable convolutional network通过学习偏移，打破了传统框只能是矩形的限制，可以提升当前CNN网络对不规则物体的空间信息建模能力，从而提高检测的精度。具
体做法如下(参见图4)：
体做法如下(参见图4)：
[0141] a.对于每一个feature map fi上的每个位置学习偏移offset，选择kernel为3*3，考虑xy方向都可能存在偏移，所以channel为2*3*3＝18，即对原始feature map fi通过18*
3*3的卷积，获得偏移map offsets；
3*3的卷积，获得偏移map offsets；
[0142] b.对原始feature map fi做deformable conv，并且传入offsets，获得新的feature map f‘i，参考公式如下：
[0143]
[0144] 其中P0是中心点，R为3x3大小的卷积核采样网格点：{(‑1，‑1)，(‑1，0)，...，(0，1)，(1，1)}，Pn为属于R的3x3的kernel的9个位置，ΔPn为偏移量。
[0145] 本阶段完成后每一个feature map f1，f2......fn会生成一个新的feature map f1′，f2′......fn′。
[0146] 3)利用LSTM网络提取时间维度信息
[0147] 根据大量观察、学习医生的诊断逻辑后，发现仅仅凭借单幅超声影像来判断是否是病灶会造成非常多的假阳性，医生通常要观察前后帧信息之后，综合前后帧信息去判断
是否为病灶。因此，本发明加入了LSTM去提取时间维度的前后帧信息，如果在原图上直接进
行LSTM会导致运算速度慢，达不到实时效果，所以本发明对提取后的feature map进行LSTM
网络提取时间维度信息，具体做法如下(参见图5)：
是否为病灶。因此，本发明加入了LSTM去提取时间维度的前后帧信息，如果在原图上直接进
行LSTM会导致运算速度慢，达不到实时效果，所以本发明对提取后的feature map进行LSTM
网络提取时间维度信息，具体做法如下(参见图5)：
[0148] 将上一阶段获得的连续的feature map f1′，f2′......fn′作为LSTM网络的输入，得到新的feature map f1″，f2″......fn″。
[0149] 4)加入注意力机制提高检测精度
[0150] 接下来利用上一阶段的feature map，输入faster rcnn网络的rpn网络生成proposal，然后通过ROIpooling生成统一尺寸的proposal feature map，然后将前后连续
多幅图像的proposal feature map通过权重累加生成最终的feature map，得到病灶的分
类以及框的回归(参见图6)。
多幅图像的proposal feature map通过权重累加生成最终的feature map，得到病灶的分
类以及框的回归(参见图6)。
[0151] 图11为本发明检测的FROC图，横轴为假阳性率，即：FPR＝FP/(FP+TN)；纵轴为敏感度，即：recall＝TP/(TP+FN)。(True Positive(TP)被模型预测为正的正样本；True
Negative(TN)被模型预测为负的负样本；False Positive(FP)被模型预测为正的负样本；
False Negative(FN)被模型预测为负的正样本)
Negative(TN)被模型预测为负的负样本；False Positive(FP)被模型预测为正的负样本；
False Negative(FN)被模型预测为负的正样本)
[0152] (5)病灶分割模块
[0153] 利用第四阶段生成的病灶的框bounding box进行病灶分割，具体方法如下(参见图7)：
[0154] 1)依据bounding box的尺寸将病灶从原图像剪切下来；
[0155] 2)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
[0156] 3)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金
字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出
的全局特征图。将融合得到的全局特征与原始特征图连接起来。
字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出
的全局特征图。将融合得到的全局特征与原始特征图连接起来。
[0157] 4)通过一层卷积层生成最终的分割图。
[0158] 5)根据形态学方法获得病灶的长短径。
[0159] 图12‑图17为本发明第四和第五阶段的检测分割效果图，如图所示，不管是大病灶还是小病灶，良性病灶还是恶性病灶，本发明都能达到非常好的检出以及分割效果。