一种颅内动脉狭窄检测方法及系统转让专利

申请号 : CN202210318143.1

文献号 : CN114764788B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李子孝刘涛张栗源王拥军濮月华荆京程健刘子阳吴振洲张喆朱万琳

申请人 : 首都医科大学附属北京天坛医院北京航空航天大学

摘要 :

本发明涉及一种本发明提供的颅内动脉狭窄检测方法和系统,属于图像处理技术领域。本发明通过采用基于自适应三重注意力模块的检测模型,基于预处理医学图像得到的第一MIP图像和第二MIP图像得到动脉狭窄检测结果后,依据动脉狭窄检测结果中的目标类别信息生成辅助报告和可视化结果,以能够解决现有人工判读方法易受医生主观经验影响和费时费力的问题,进而提高颅内动脉狭窄检测的准确性和效率。并且,本发明通过在YOLOv4的主干网络中插入自适应三重注意力模块,能够实现对高维特征重点区域的关注,降低无关特征的关注,提供检测模型的表征能力。

权利要求 :

1.一种颅内动脉狭窄检测方法,其特征在于,包括:对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像;

将所述第一MIP图像和所述第二MIP图像均输入至检测模型,得到动脉狭窄检测结果;

所述检测模型为训练好的YOLOvessel模型;所述YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型;所述动脉狭窄检测结果包括:目标类别信息、目标位置信息和置信度分数;

基于预设的键值对信息,根据所述目标类别信息生成辅助报告;

对所述动脉狭窄检测结果进行可视化处理,得到可视化结果;

所述对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像,具体包括:对所述颅内动脉的医学图像进行格式转换,得到格式转换图像;

采用SimpleITK工具包,对所述格式转换图像进行重采样处理得到采样图像;

采用dcm2nii工具包,对所述采样图像进行重定向处理得到LSP空间图像;

按预设角度旋转所述LSP空间图像得到旋转图像;

采用最大密度投影算法处理所述LSP空间图像得到第一初始MIP图像;

采用最大密度投影算法处理所述旋转图像得到第二初始MIP图像;

采用自适应阈值算法对所述第一初始MIP图像和所述第二初始MIP图像执行图像二值化,得到第一二值化图像和第二二值化图像;

分别获取所述第一二值化图像的边界点的坐标和第二二值化图像的边界点的坐标,并确定所述第一二值化图像的中心点坐标和所述第二二值化图像的中心点坐标;

基于所述第一二值化图像的中心点坐标对所述第一初始MIP图像进行裁剪得到所述第一MIP图像;

基于所述第二二值化图像的中心点坐标对所述第二初始MIP图像进行裁剪得到所述第二MIP图像;

所述自适应三重注意力模块包括:第一分支单元、第二分支单元、第三分支单元和加权单元;

所述第一分支单元的输入、所述第二分支单元的输入和所述第三分支单元的输入均为跨阶段残差模块的输出;所述加权单元的输入为所述第一分支单元的输出、所述第二分支单元的输出和所述第三分支单元的输出;

所述加权单元的输出特征为T:T=1/3*(a1*T1+a2*T2+a3*T3);

其中,a1为第一权重系数,T1为第一分支单元的输出特征,a2为第二权重系数,T2为第二分支单元的输出特征,a3为第三权重系数,T3为第三分支单元的输出特征。

2.根据权利要求1所述的颅内动脉狭窄检测方法,其特征在于,所述预设角度为135度。

3.根据权利要求1所述的颅内动脉狭窄检测方法,其特征在于,所述第一分支单元的数据处理过程为:对维度为C*H*W的输入特征进行维度变换,得到维度为H*C*W的特征;

对所述维度为H*C*W的特征进行Z池化处理,得到维度为2*C*W的特征;

对所述维度为2*C*W的特征进行3*3空洞卷积和BatchNorm处理,得到维度为1*C*W的特征;

采用Sigmoid激活函数基于所述维度为1*C*W的特征得到第一注意力权重;

将所述第一注意力权重与所述维度为H*C*W的特征相乘后,进行维度转换得到第一输出特征;所述第一输出特征的维度为C*H*W。

4.根据权利要求1所述的颅内动脉狭窄检测方法,其特征在于,所述第二分支单元的数据处理过程为:对维度为C*H*W的输入特征进行维度交换,得到维度为W*H*C的特征;

对所述维度为W*H*C的特征进行Z池化处理,得到维度为2*H*C的特征;

对所述维度为2*H*C的特征进行3*3空洞卷积和BatchNorm处理,得到维度为1*H*C的特征;

采用Sigmoid激活函数基于所述维度为1*H*C的特征得到第二注意力权重;

将所述第二注意力权重与所述维度为W*H*C的特征相乘后,进行维度转换得到第二输出特征;所述第二输出特征的维度为C*H*W。

5.根据权利要求1所述的颅内动脉狭窄检测方法,其特征在于,所述第三分支单元的数据处理过程为:对维度为C*H*W的输入特征进行Z池化处理,得到维度为2*H*W的特征;

对所述维度为2*H*W的特征进行3*3空洞卷积和BatchNorm处理,得到维度为1*H*W的特征;

采用Sigmoid激活函数基于所述维度为1*H*W的特征得到第三注意力权重;

将所述第三注意力权重与所述维度为C*H*W的输入特征相乘,得到第三输出特征。

6.根据权利要求1所述的颅内动脉狭窄检测方法,其特征在于,所述对所述动脉狭窄检测结果进行可视化处理,得到可视化结果,具体包括:根据所述动脉狭窄检测结果在所述第一MIP图像和所述第二MIP图像上绘制边界框;

在所述边界框上标注目标类别名称和置信度分数。

7.一种颅内动脉狭窄检测系统,其特征在于,包括:预处理子系统,用于对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像;

动脉狭窄检测子系统,用于将所述第一MIP图像和所述第二MIP图像均输入至检测模型,得到动脉狭窄检测结果;所述检测模型为训练好的YOLOvessel模型;所述YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型;所述动脉狭窄检测结果包括:目标类别信息、目标位置信息和置信度分数;

信息解析子系统,用于基于预设的键值对信息,根据所述目标类别信息生成辅助报告;

可视化子系统,用于对所述动脉狭窄检测结果进行可视化处理,得到可视化结果;

所述对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像,具体包括:对所述颅内动脉的医学图像进行格式转换,得到格式转换图像;

采用SimpleITK工具包,对所述格式转换图像进行重采样处理得到采样图像;

采用dcm2nii工具包,对所述采样图像进行重定向处理得到LSP空间图像;

按预设角度旋转所述LSP空间图像得到旋转图像;

采用最大密度投影算法处理所述LSP空间图像得到第一初始MIP图像;

采用最大密度投影算法处理所述旋转图像得到第二初始MIP图像;

采用自适应阈值算法对所述第一初始MIP图像和所述第二初始MIP图像执行图像二值化,得到第一二值化图像和第二二值化图像;

分别获取所述第一二值化图像的边界点的坐标和第二二值化图像的边界点的坐标,并确定所述第一二值化图像的中心点坐标和所述第二二值化图像的中心点坐标;

基于所述第一二值化图像的中心点坐标对所述第一初始MIP图像进行裁剪得到所述第一MIP图像;

基于所述第二二值化图像的中心点坐标对所述第二初始MIP图像进行裁剪得到所述第二MIP图像;

所述自适应三重注意力模块包括:第一分支单元、第二分支单元、第三分支单元和加权单元;

所述第一分支单元的输入、所述第二分支单元的输入和所述第三分支单元的输入均为跨阶段残差模块的输出;所述加权单元的输入为所述第一分支单元的输出、所述第二分支单元的输出和所述第三分支单元的输出;

所述加权单元的输出特征为T:T=1/3*(a1*T1+a2*T2+a3*T3);

其中,a1为第一权重系数,T1为第一分支单元的输出特征,a2为第二权重系数,T2为第二分支单元的输出特征,a3为第三权重系数,T3为第三分支单元的输出特征。

说明书 :

一种颅内动脉狭窄检测方法及系统

技术领域

[0001] 本发明涉及图像处理技术领域,特别是涉及一种颅内动脉狭窄检测方法及系统。

背景技术

[0002] 目前市面上针对颅内动脉对象的软件主要包括RapidAI和ICafe两款软件。由RapidAI公司开发的RapidLVO软件,软件功能主要是用于识别颅内动脉大动脉闭塞,不能提供狭窄的检测和识别。iCafe软件的主要功能是用于对颅内动脉进行特征提取,将提取到的特征作为生物标记物进行后续的分析,因此不能提供动脉狭窄制动检测的功能。
[0003] 现在临床上基于TOF‑MRA影像的颅内动脉狭窄筛查和识别仍以人工判读方法为主。然而,颅内动脉狭窄的筛查工作量繁重,同时人工判读严重依赖医生的主观判断和临床经验。基于此,本领域亟需提供一种能够对动脉狭窄进行精确检测的检测方法或系统。

发明内容

[0004] 本发明的目的是提供一种颅内动脉狭窄检测方法及系统,以提供动脉狭窄检测的精确性,进而弥补现有技术的空白。
[0005] 为实现上述目的,本发明提供了如下方案:
[0006] 一种颅内动脉狭窄检测方法,包括:
[0007] 对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像;
[0008] 将所述第一MIP图像和所述第二MIP图像均输入至检测模型,得到动脉狭窄检测结果;所述检测模型为训练好的YOLOvessel模型;所述YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型;所述动脉狭窄检测结果包括:目标类别信息、目标位置信息和置信度分数;
[0009] 基于预设的键值对信息,根据所述目标类别信息生成辅助报告;
[0010] 对所述动脉狭窄检测结果进行可视化处理,得到可视化结果。
[0011] 优选地,所述对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像,具体包括:
[0012] 对所述颅内动脉的医学图像进行格式转换,得到格式转换图像;
[0013] 采用SimpleITK工具包,对所述格式转换图像进行重采样处理得到采样图像;
[0014] 采用dcm2nii工具包,对所述采样图像进行重定向处理得到LSP空间图像;
[0015] 按预设角度旋转所述LSP空间图像得到旋转图像;
[0016] 采用最大密度投影算法处理所述LSP空间图像得到第一初始MIP图像;
[0017] 采用最大密度投影算法处理所述旋转图像得到第二初始MIP图像;
[0018] 采用自适应阈值算法对所述第一初始MIP图像和所述第二初始MIP图像执行图像二值化,得到第一二值化图像和第二二值化图像;
[0019] 分别获取所述第一二值化图像的边界点的坐标和第二二值化图像的边界点的坐标,并确定所述第一二值化图像的中心点坐标和所述第二二值化图像的中心点坐标;
[0020] 基于所述第一二值化图像的中心点坐标对所述第一初始MIP图像进行裁剪得到所述第一MIP图像;
[0021] 基于所述第二二值化图像的中心点坐标对所述第二初始MIP图像进行裁剪得到所述第二MIP图像。
[0022] 优选地,所述预设角度为135度。
[0023] 优选地,所述自适应三重注意力模块包括:第一分支单元、第二分支单元、第三分支单元和加权单元;
[0024] 所述第一分支单元的输入、所述第二分支单元的输入和所述第三分支单元的输入均为跨阶段残差模块的输出;所述加权单元的输入为所述第一分支单元的输出、所述第二分支单元的输出和所述第三分支单元的输出。
[0025] 优选地,所述第一分支单元的数据处理过程为:
[0026] 对维度为C*H*W的输入特征进行维度变换,得到维度为H*C*W的特征;
[0027] 对所述维度为H*C*W的特征进行Z池化处理,得到维度为2*C*W的特征;
[0028] 对所述维度为2*C*W的特征进行3*3空洞卷积和BatchNorm处理,得到维度为1*C*W的特征;
[0029] 采用Sigmoid激活函数基于所述维度为1*C*W的特征得到第一注意力权重;
[0030] 将所述第一注意力权重与所述维度为H*C*W的特征相乘后,进行维度转换得到第一输出特征;所述第一输出特征的维度为C*H*W。
[0031] 优选地,所述第二分支单元的数据处理过程为:
[0032] 对维度为C*H*W的输入特征进行维度交换,得到维度为W*H*C的特征;
[0033] 对所述维度为W*H*C的特征进行Z池化处理,得到维度为2*H*C的特征;
[0034] 对所述维度为2*H*C的特征进行3*3空洞卷积和BatchNorm处理,得到维度为1*H*C的特征;
[0035] 采用Sigmoid激活函数基于所述维度为1*H*C的特征得到第二注意力权重;
[0036] 将所述第二注意力权重与所述维度为W*H*C的特征相乘后,进行维度转换得到第二输出特征;所述第二输出特征的维度为C*H*W。
[0037] 优选地,所述第三分支单元的数据处理过程为:
[0038] 对维度为C*H*W的输入特征进行Z池化处理,得到维度为2*H*W的特征;
[0039] 对所述维度为2*H*W的特征进行3*3空洞卷积和BatchNorm处理,得到维度为1*H*W的特征;
[0040] 采用Sigmoid激活函数基于所述维度为1*H*W的特征得到第三注意力权重;
[0041] 将所述第三注意力权重与所述维度为C*H*W的输入特征相乘,得到第三输出特征。
[0042] 优选地,所述加权单元的输出特征为T:T=1/3*(a1*T1+a2*T2+a3*T3);
[0043] 其中,a1为第一权重系数,T1为第一分支单元的输出特征,a2为第二权重系数,T2为第二分支单元的输出特征,a3为第三权重系数,T3为第三分支单元的输出特征。
[0044] 优选地,所述对所述动脉狭窄检测结果进行可视化处理,得到可视化结果,具体包括:
[0045] 根据所述动脉狭窄检测结果在所述第一MIP图像和所述第二MIP图像上绘制边界框;
[0046] 在所述边界框上标注目标类别名称和置信度分数。
[0047] 根据本发明提供的具体实施例,本发明公开了以下技术效果:
[0048] 本发明提供的颅内动脉狭窄检测方法,通过采用基于自适应三重注意力模块的检测模型,基于预处理医学图像得到的第一MIP图像和第二MIP图像得到动脉狭窄检测结果后,依据动脉狭窄检测结果中的目标类别信息生成辅助报告和可视化结果,以能够解决现有人工判读方法易受医生主观经验影响和费时费力的问题,进而提高颅内动脉狭窄检测的准确性和效率。并且,本发明通过在YOLOv4的主干网络中插入自适应三重注意力模块,能够实现对高维特征重点区域的关注,降低无关特征的关注,提供检测模型的表征能力。
[0049] 对应于上述提供的颅内动脉狭窄检测方法,本发明还提供了一种颅内动脉狭窄检测系统,该系统包括:
[0050] 预处理子系统,用于对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像;
[0051] 动脉狭窄检测子系统,用于将所述第一MIP图像和所述第二MIP图像均输入至检测模型,得到动脉狭窄检测结果;所述检测模型为训练好的YOLOvessel模型;所述YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型;所述动脉狭窄检测结果包括:目标类别信息、目标位置信息和置信度分数;
[0052] 信息解析子系统,用于基于预设的键值对信息,根据所述目标类别信息生成辅助报告;
[0053] 可视化子系统,用于对所述动脉狭窄检测结果进行可视化处理,得到可视化结果。
[0054] 因本发明提供的颅内动脉狭窄检测系统实现的技术效果与上述提供的颅内动脉狭窄检测方法实现的技术效果相同,故在此不再进行赘述。

附图说明

[0055] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0056] 图1为本发明提供的颅内动脉狭窄检测方法的流程图;
[0057] 图2为本发明实施例提供的图像旋转示意图;
[0058] 图3为本发明实施例提供的自适应三重注意力模块的结构示意图;
[0059] 图4为本发明实施例提供的颅内动脉狭窄检测系统的结构示意图。

具体实施方式

[0060] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0061] 本发明的目的是提供一种颅内动脉狭窄检测方法及系统,以提供动脉狭窄检测的精确性,进而弥补现有技术的空白。
[0062] 为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0063] 如图1所示,本发明提供的颅内动脉狭窄检测方法,包括:
[0064] 步骤100:对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像。颅内动脉的医学图像可以是3D TOF‑MRA影像数据。该步骤在实施过程中,可以包括:
[0065] 步骤1000:对颅内动脉的医学图像进行格式转换,得到格式转换图像。进行格式转换之后,统一输出格式为NIfTI格式,文件后缀.nii或.nii.gz。
[0066] 步骤1001:采用SimpleITK工具包,对格式转换图像进行重采样处理得到采样图像。
[0067] 步骤1002:采用dcm2nii工具包,对采样图像进行重定向处理得到LSP空间图像。例如,得到的LSP空间图像的空间分辨率可以是0.3mm*0.3mm*0.3mm。
[0068] 步骤1003:按预设角度旋转LSP空间图像得到旋转图像。例如,预设角度选择135度时,旋转过程如图2所示,图2中黑点为数据的三维空间中心点,旋转轴为经过该点且平行于上下表面的直线。
[0069] 步骤1004:采用最大密度投影算法处理LSP空间图像得到第一初始MIP图像。
[0070] 步骤1005:采用最大密度投影算法处理旋转图像得到第二初始MIP图像。
[0071] 步骤1006:采用自适应阈值算法对第一初始MIP图像和第二初始MIP图像执行图像二值化,得到第一二值化图像和第二二值化图像。
[0072] 步骤1007:分别获取第一二值化图像的边界点的坐标和第二二值化图像的边界点的坐标,并确定第一二值化图像的中心点坐标和第二二值化图像的中心点坐标。在确定边界点坐标时,可以只确定上、下、左、右四个边界点的坐标。
[0073] 步骤1008:基于第一二值化图像的中心点坐标对第一初始MIP图像进行裁剪得到第一MIP图像。
[0074] 步骤1009:基于第二二值化图像的中心点坐标对第二初始MIP图像进行裁剪得到第二MIP图像。裁剪得到的第一MIP图像和第二MIP图像的尺寸大小可以为416*416像素。
[0075] 步骤101:将第一MIP图像和第二MIP图像均输入至检测模型,得到动脉狭窄检测结果。检测模型为训练好的YOLOvessel模型。YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型。动脉狭窄检测结果包括:目标类别信息、目标位置信息和置信度分数。
[0076] 步骤102:基于预设的键值对信息,根据目标类别信息生成辅助报告。具体的,输入两张MIP图像,通过检测模型执行预测,得到目标类别信息。将得到的两个目标类别信息的结果合并,然后去重。通过人工标注时预设的键值对信息(编号、类别名称),将目标类别信息的编号,对应为文字版辅助报告信息。
[0077] 步骤103:对动脉狭窄检测结果进行可视化处理,得到可视化结果。具体的,根据动脉狭窄检测结果在第一MIP图像和第二MIP图像上绘制边界框。在边界框上标注目标类别名称和置信度分数。
[0078] 进一步,传统的三重注意力模块,在三个分支中采用了7*7大小的卷积核,在融合三个分支特征时,仅通过简单的取平均的方法,将三个分支的通道的权重默认为1:1:1,使得输出的结果存在精确度低和数据处理效率低的问题。为了解决这一问题,本发明在构建自适应三重注意力模块时,引入3个可学习参数权重,对三个分支的输出特征进行加权平均,使模型更关注更有价值的信息编码。具体的,如图3所示,本发明采用的自适应三重注意力模块包括:第一分支单元、第二分支单元、第三分支单元和加权单元。
[0079] 第一分支单元的输入、第二分支单元的输入和第三分支单元的输入均为跨阶段残差模块的输出。加权单元的输入为第一分支单元的输出、第二分支单元的输出和第三分支单元的输出。
[0080] 其中,A、第一分支单元的数据处理过程为:
[0081] 对维度为C*H*W的输入特征进行维度变换,得到维度为H*C*W的特征。
[0082] 对维度为H*C*W的特征进行Z池化处理,得到维度为2*C*W的特征。
[0083] 对维度为2*C*W的特征进行3*3空洞卷积和BatchNorm处理,得到维度为1*C*W的特征。
[0084] 采用Sigmoid激活函数基于维度为1*C*W的特征得到第一注意力权重。
[0085] 将第一注意力权重与维度为H*C*W的特征相乘后,进行维度转换得到第一输出特征。第一输出特征的维度为C*H*W。
[0086] B、第二分支单元的数据处理过程为:
[0087] 对维度为C*H*W的输入特征进行维度交换,得到维度为W*H*C的特征。
[0088] 对维度为W*H*C的特征进行Z池化处理,得到维度为2*H*C的特征。
[0089] 对维度为2*H*C的特征进行3*3空洞卷积和BatchNorm处理,得到维度为1*H*C的特征。
[0090] 采用Sigmoid激活函数基于维度为1*H*C的特征得到第二注意力权重。
[0091] 将第二注意力权重与维度为W*H*C的特征相乘后,进行维度转换得到第二输出特征。第二输出特征的维度为C*H*W。
[0092] C、第三分支单元的数据处理过程为:
[0093] 对维度为C*H*W的输入特征进行Z池化处理,得到维度为2*H*W的特征。
[0094] 对维度为2*H*W的特征进行3*3空洞卷积和BatchNorm处理,得到维度为1*H*W的特征。
[0095] 采用Sigmoid激活函数基于维度为1*H*W的特征得到第三注意力权重。
[0096] 将第三注意力权重与维度为C*H*W的输入特征相乘,得到第三输出特征。
[0097] 基于上述处理过程,加权单元的输出特征为T:T=1/3*(a1*T1+a2*T2+a3*T3)。其中,a1为第一权重系数,T1为第一分支单元的输出特征,a2为第二权重系数,T2为第二分支单元的输出特征,a3为第三权重系数,T3为第三分支单元的输出特征。
[0098] 显然,在YOLOv4的主干网络中插入自适应三重注意力模块,能够实现对高维特征重点区域的关注、降低无关特征的关注,进而提高了模型的表征能力和在颅内动脉狭窄检测任务上的准确率。
[0099] 进一步,为了提高检测准确性,本发明还对YOLOvessel模型进行训练得到检测模型的过程进行了优化,具体如下:
[0100] S1:准备3D TOF‑MRA的原始影像数据。
[0101] S2:通过图像预处理过程,得到MIP样本图像。
[0102] S3:通过数据增强方法,基于MIP样本图像生成新的训练样本。数据增强方法包括图像旋转和图像水平镜像。
[0103] 在生成训练样本过程中,通过图像标注软件LabelImg对MIP样本图像进行数据标注,生成于标注图片文件同名的txt文件。
[0104] 具体的,在MIP图像上的标注目标(键值对信息)包括:0(颈内动脉颅内段,狭窄率0‑49%)、1(颈内动脉颅内段,狭窄率50%‑99%)、2(颈内动脉颅内段,狭窄率100%)、3(大脑中动脉M1段,狭窄率0‑49%)、4(大脑中动脉M1段,狭窄率50%‑99%)、5(大脑中动脉M1段,狭窄率100%)、6(大脑中动脉M2段,狭窄率0‑49%)、7(大脑中动脉M2段,狭窄率50%‑
99%)、8(大脑中动脉M2段,狭窄率100%)、9(大脑前动脉A1段,狭窄率0‑49%)、10(大脑前动脉A1段,狭窄率50%‑99%)、11(大脑前动脉A1段,狭窄率100%)、12(大脑前动脉A2段,狭窄率0‑49%)、13(大脑前动脉A2段,狭窄率50%‑99%)、14(大脑前动脉A2段,狭窄率
100%)、15(大脑后动脉P1段,狭窄率0‑49%)、16(大脑后动脉P1段,狭窄率50%‑99%)、17(大脑后动脉P1段,狭窄率100%)、18(大脑后动脉P2段,狭窄率0‑49%)、19(大脑后动脉P2段,狭窄率50%‑99%)、20(大脑后动脉P2段,狭窄率100%)、20(大脑后动脉P2段,狭窄率
100%)、21(基底动脉,狭窄率0‑49%)、22(基底动脉,狭窄率50‑99%)、23(基底动脉,狭窄率100%)、24(椎动脉V4段,狭窄率0‑49%)、25(椎动脉V4段,狭窄率50‑99%)、26(椎动脉V4段,狭窄率100%),共27类狭窄目标。基于这一标注内容,本发明可以实现颅内动脉9段动脉(颈内动脉颅内段、大脑中动脉M1段、大脑中动脉M2段、大脑前动脉A1段、大脑前动脉A2段、大脑后动脉P1段、大脑后动脉P2段、基底动脉、椎动脉V4段)的狭窄检测。实现三种不同严重程度的分级,轻度(0‑49%狭窄率)、中度(50%‑69%)、重度(70%‑99%)。
[0105] 通过得到的样本数据,利用YOLOvessel算法进行训练,通过YOLO的CNN网络将输入的MIP图片划分成S*S个网格,S涉及三种不同的尺寸,生成检测模型。具体的,[0106] S4:按照7:3的比例通过随机划分的方法将训练样本划分为训练集和验证集,训练集用于训练YOLOvessel模型,验证集用于保存效果最好的YOLOvessel模型。
[0107] S5:通过修改学习率和迭代次数参数,用训练集进行模型训练,利用损失函数并通过反向传播算法不断优化。损失函数包括位置损失函数、类别损失函数以及置信度损失函数。具体的,位置损失函数采用CIoU损失函数,类别损失函数采用交叉熵损失函数,置信度损失函数采用交叉熵损失函数。
[0108] 基于上述得到的检测模型,在上述可视化过程中,边界框的绘制过程为:
[0109] S1:输入一张任意大小的图片(第一MIP图像或第二MIP图像),固定图片的长宽比缩放至固定尺寸,满足边长是32的倍数,形成归一化图像输入网络。
[0110] S2:通过YOLO的CNN网络将图片划分成S*S个网格,对于边界框中心点落在该网格内的目标,预测得到b个边界框,每个边界框对应(cn+5)个值,其中,cn表示检测目标的类别数,5个值分别对应x偏移量、y偏移量、宽度缩放系数和边界框的高度缩放系数以及检测目标的置信度分数。
[0111] S3:对预测得到的b个边界框进行解码。将每个网格点加上对应的x偏移量和y偏移量得到预测框的中心,然后利用先验框和宽度高度缩放因子计算预测框的宽和高,确定目标的位置信息。其中,先验框通过对数据集标签中的边界框长和宽信息聚类获得。目标类别信息通过获取网络输出的类别信息(包括cn个数值)的最大值索引来确定。
[0112] S4:通过预设的置信度分数阈值,筛选出置信度分数在阈值以上的边界框,反之舍弃。
[0113] S5:通过非极大值抑制(NMS)算法,对于同一个目标的多个预测边界框,筛选出置信度最高的边界框,然后将其他结果和该边界框计算IoU值,当IoU值大于预设的IoU阈值时删除该边界框,反之保留。
[0114] S6:通过目标位置信息的中心点坐标、边界框宽度和高度,计算出边界框左上角坐标(x1,y1)和右下角坐标信息(x2,y2)。
[0115] S7:通过OpenCV工具包,利用得到的左上角坐标和右上角坐标信息,在图片相应位置绘制矩形框,并在框上写明目标类别信息和置信度分数。
[0116] 此外,对应于上述提供的颅内动脉狭窄检测方法,本发明还提供了一种颅内动脉狭窄检测系统,如图4所示,该系统包括:
[0117] 预处理子系统400,用于对颅内动脉的医学图像进行预处理得到第一MIP图像和第二MIP图像。
[0118] 动脉狭窄检测子系统401,用于将第一MIP图像和第二MIP图像均输入至检测模型,得到动脉狭窄检测结果。检测模型为训练好的YOLOvessel模型。YOLOvessel模型为在YOLOv4网络模型的主干网络的每一跨阶段残差模块后插入自适应三重注意力模块而得到的网络模型。动脉狭窄检测结果包括:目标类别信息、目标位置信息和置信度分数。
[0119] 信息解析子系统402,用于基于预设的键值对信息,根据目标类别信息生成辅助报告。
[0120] 可视化子系统403,用于对动脉狭窄检测结果进行可视化处理,得到可视化结果。
[0121] 下面通过一个实施例,对本发明上述提供的颅内动脉狭窄检测系统的实施过程进行说明。
[0122] S01:生成训练样本:将准备好的MRA数据作为训练样本,每个样本通过预处理子系统生成两个视角的MIP图像。
[0123] S02:构造自适应三重注意力模块:将特征输入三个不同的分支分别对通道维度和空间维度的注意力建模,然后,通过引入一个可学习参数对三个分支的特征进行聚合,得到自适应三重注意力模块。
[0124] S03:以YOLOv4算法为基础,在主干网络CSPDarknet53的每个跨阶段残差模块后面插入自适应三重注意力,得到YOLOvessel网络。
[0125] S04:生成检测模型:通过步骤S01得到的训练样本,利用YOLOvessel算法进行训练,通过YOLO的CNN网络将输入的MIP图片划分成S*S个网格,S涉及三种不同的尺寸,生成检测模型。
[0126] S05:将临床采集到的3D TOF‑MRA影像数据,通过步骤S01的预处理子系统生成MIP图像M1和M2。
[0127] S06:动脉狭窄检测子系统调用步骤S04中生成的检测模型文件,对步骤S05中的M1图像执行检测,获得M1图像中的目标类别信息、目标位置信息和置信度分数。然后,动脉狭窄检测子系统调用步骤S04中生成的检测模型,对步骤S05中的M2执行检测,获得M2图像中的目标类别信息、目标位置信息和置信度分数。
[0128] S07:通过信息解析子系统,输入的步骤S06中的目标类别信息,根据预设的键值对信息,得到辅助报告信息。
[0129] S08:通过可视化子系统,输入的步骤S06中的目标类别信息、目标位置信息和置信度信息,在步骤S05中的M1图像和M2图像上绘制边界框,并写明目标类别名称及置信度分数,得到可视化结果。
[0130] 本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
[0131] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。