一种基于深度学习的倾斜定位框定位方法

摘要

本发明提供了医学成像定位技术领域的一种基于深度学习的倾斜定位框定位方法，包括如下步骤：步骤S10、获取大量倾斜定位框的DICOM图像；步骤S20、对DICOM图像进行预处理；步骤S30、将预处理后的DICOM图像输入深度学习网络进行训练；步骤S40、对训练完成的深度学习网络的泛化能力进行验证；步骤S50、基于验证通过后的深度学习网络对倾斜定位框进行定位。本发明的优点在于：提高了定位框的定位精度。

权利要求

1.一种基于深度学习的倾斜定位框定位方法，其特征在于：所述方法包括如下步骤：步骤S10、获取大量倾斜定位框的DICOM图像；

步骤S20、对DICOM图像进行预处理；

步骤S30、将预处理后的DICOM图像输入深度学习网络进行训练；

步骤S40、对训练完成的深度学习网络的泛化能力进行验证；

步骤S50、基于验证通过后的深度学习网络对倾斜定位框进行定位；

所述步骤S10具体为：

获取大量倾斜定位框的DICOM图像作为训练的数据集，并将所述数据集随机划分为训练集T、验证集V以及测试集U；

所述步骤S20具体包括：

步骤S21、将各DICOM图像格式转换为深度学习网络支持的图像格式；

步骤S22、对格式转换后的图像进行参数标注；所述参数包括倾斜定位框的中心坐标(x,y)、长度h、宽度w、与水平线的夹角θ以及类别信息；

步骤S23、对标注后的参数进行归一化处理；

所述步骤S30具体包括：

步骤S31、构建深度学习的深度学习网络，设定一波动率，把训练集T和验证集V分别作为所述深度学习网络的输入，将标注后的参数作为所述深度学习网络的训练标记，对所述网络模型进行训练，分别得到训练集损失函数曲线和验证集损失函数曲线；训练过程中，在训练集T和验证集V中挑选出与真实定位框的IOUangle值大于预设值的倾斜定位框作为正事例备选；

其中IOUangle表示训练集T和验证集V中的倾斜定位框相对于真实定位框的准确度；A'、A以及B均表示倾斜定位框，A'表示与A有相同的x,y,w,h以及与B有相同θ的倾斜定位框； 表示A'与B的IOU； 表示与θ相关的系数项，使得输出结果关于θ单调变化；θA表示倾斜定位框A与水平线的夹角；θB表示倾斜定位框B与水平线的夹角；

步骤S32、判断训练集损失函数曲线的波动率是否小于设定的波动率，是，则进入步骤S33，否，则进入步骤S31；

步骤S33、判断验证集损失函数曲线是否开始增大，是，则停止训练，获取训练参数，并进入步骤S34；否，则进入步骤S31；

步骤S34、在测试集U上用训练参数运行所述深度学习网络，得到倾斜定位框的参数，根据医学成像设备重建参数的需求，对得到的参数进行微调，完成深度学习。

2.如权利要求1所述的一种基于深度学习的倾斜定位框定位方法，其特征在于：所述步骤S40具体为：设定一相似度，对比微调后的参数以及训练标记进行泛化能力的检测，若微调后的参数与训练标记的相似度大于设定的相似度，则进入步骤S50；若微调后的参数与训练标记的相似度小于或者等于设定的相似度，则新增斜定位框的DICOM图像，并进入步骤S20。

说明书

一种基于深度学习的倾斜定位框定位方法

技术领域

[0001] 本发明涉及医学成像定位技术领域，特别指一种基于深度学习的倾斜定位框定位方法。

背景技术

[0002] 医学成像是现代医学极其重要的一个分支，通过医学成像设备发射信号与患者身体组织的作用等物理机制，展示患者身体内部各器官结构的影像，揭示各器官有无病变，并及时对病变区域进行定性和定量的分析，从而有力地辅助医生进行病情诊断。医学成像以X射线计算机断层成像(CT)，正电子发射成像(PET)，核磁共振成像(MR)等为代表，在现代医学成像技术中发展最快，取得成就也最令人瞩目，目前三级甲等医院已普遍拥有这些医学成像设备。

[0003] 由于不同患者的体型、所躺着的位置以及待扫描的部位不尽相同，医生不可能准确预知需要扫描的具体坐标值，因此需要事先通过定位框进行一次大致体位的扫描，通过定位框的扫描结果，医生进行手动选择定位框合适的大小和范围，再将这些参数输入医学成像设备，医学成像设备就以这些定位框的的参数确定后续扫描的长宽，角度，层厚等工作参数。因此，定位框的选择对于后续医学成像设备的扫描检查而言十分重要。

[0004] 目前的目标检测网络主要分两类，一类是R-CNN系算法，它需要先使用启发式方法或者区域推荐网络(Region Proposal Network,RPN)生成候选区域，在候选区域上通过深度学习网络提取出区域特征信息，再根据这些特征信息来判别区域所述的类别，最后进行候选区域的精细修正；另一类如Yolo,SSD等算法，相比于R-CNN系算法，得益于良好的CNN输出的设计思路，最终全连接层的输出是基于图像位置信息+置信度+图像内容类别的混合特征向量，这样就能把检测目标位置与类别放在同一个CNN网络中，可以加快网络训练的速度，甚至可以达到实时检测的速度，并且在检测的准确度上只是略逊于R-CNN系算法，很适合需要快速检测，并且目标物很明确的定位框图像。上述两类目标检测算法都可以实现目标的定位和识别，但是他们输出的定位框都是矩形框，没有角度信息，不具备普适性，对于头部，椎间盘，骨关节等一些角度倾斜的身体部位需要的定位框为平行四边形，无法实现较好的目标识别任务。

[0005] 因此，如何提供一种基于深度学习的倾斜定位框定位方法，实现提高定位框的定位精度，成为一个亟待解决的问题。

发明内容

[0006] 本发明要解决的技术问题，在于提供一种基于深度学习的倾斜定位框定位方法，实现提高定位框的定位精度。

[0007] 本发明是这样实现的：一种基于深度学习的倾斜定位框定位方法，所述方法包括如下步骤：

[0008] 步骤S10、获取大量倾斜定位框的DICOM图像；

[0009] 步骤S20、对DICOM图像进行预处理；

[0010] 步骤S30、将预处理后的DICOM图像输入深度学习网络进行训练；

[0011] 步骤S40、对训练完成的深度学习网络的泛化能力进行验证；

[0012] 步骤S50、基于验证通过后的深度学习网络对倾斜定位框进行定位。

[0013] 进一步地，所述步骤S10具体为：

[0014] 获取大量倾斜定位框的DICOM图像作为训练的数据集，并将所述数据集随机划分为训练集T、验证集V以及测试集U。

[0015] 进一步地，所述步骤S20具体包括：

[0016] 步骤S21、将各DICOM图像格式转换为深度学习网络支持的图像格式；

[0017] 步骤S22、对格式转换后的图像进行参数标注；

[0018] 步骤S23、对标注后的参数进行归一化处理。

[0019] 进一步地，所述步骤S22中，所述参数包括倾斜定位框的中心坐标(x,y)、长度h、宽度w、与水平线的夹角θ以及类别信息。

[0020] 进一步地，所述步骤S30具体包括：

[0021] 步骤S31、构建深度学习的深度学习网络，设定一波动率，把训练集T和验证集V分别作为所述深度学习网络的输入，将标注后的参数作为所述深度学习网络的训练标记，对所述网络模型进行训练，分别得到训练集损失函数曲线和验证集损失函数曲线；

[0022] 步骤S32、判断训练集损失函数曲线的波动率是否小于设定的波动率，是，则进入步骤S33，否，则进入步骤S31；

[0023] 步骤S33、判断验证集损失函数曲线是否开始增大，是，则停止训练，获取训练参数，并进入步骤S34；否，则进入步骤S31；

[0024] 步骤S34、在测试集U上用训练参数运行所述深度学习网络，得到倾斜定位框的参数，根据医学成像设备重建参数的需求，对得到的参数进行微调，完成深度学习。

[0025] 进一步地，所述步骤S40具体为：

[0026] 设定一相似度，对比微调后的参数以及训练标记进行泛化能力的检测，若微调后的参数与训练标记的相似度大于设定的相似度，则进入步骤S50；若微调后的参数与训练标记的相似度小于或者等于设定的相似度，则新增斜定位框的DICOM图像，并进入步骤S20。

[0027] 本发明的优点在于：

[0028] 1、考虑到矩形的定位框在倾斜一定的角度时，医学成像设备扫描出的定位框为倾斜的，即为平行四边形，通过将倾斜定位框输入深度学习网络进行训练，极大的提高了定位框的定位精度。

[0029] 2、通过将倾斜定位框输入深度学习网络进行训练，极大的提高了定位框的定位精度，医生仅需对定位框进行微调，极大的提高了医生的工作效率，且尽可能避免了由于医生的经验水平、临床发挥情况、情绪状况以及身体疲劳程度的影响。

附图说明

[0030] 下面参照附图结合实施例对本发明作进一步的说明。

[0031] 图1是本发明一种基于深度学习的倾斜定位框定位方法的流程图。

[0032] 图2是本发明倾斜定位框示意图。

[0033] 图3是本发明深度学习网络的结构图。

[0034] 图4是本发明输出层的数据结构图。

具体实施方式

[0035] 请参照图1至图4所示，本发明一种基于深度学习的倾斜定位框定位方法的较佳实施例，包括如下步骤：

[0036] 步骤S10、获取大量倾斜定位框的DICOM图像；各倾斜定位框之间的中心坐标(x,y)、长度h、宽度w或者与水平线的夹角θ不同；DICOM即医学数字成像和通信，是医学图像和相关信息的国际标准，定义了质量能满足临床需要的可用于数据交换的医学图像格式。

[0037] 步骤S20、对DICOM图像进行预处理；

[0038] 步骤S30、将预处理后的DICOM图像输入深度学习网络进行训练；

[0039] 步骤S40、对训练完成的深度学习网络的泛化能力进行验证；泛化能力即推广应用的能力，推广后精度是否还能满足要求；

[0040] 步骤S50、基于验证通过后的深度学习网络对倾斜定位框进行定位。

[0041] 考虑到矩形的定位框在倾斜一定的角度时，医学成像设备扫描出的定位框为倾斜的，即为平行四边形，通过将倾斜定位框输入深度学习网络进行训练，极大的提高了定位框的定位精度。

[0042] 所述步骤S10具体为：

[0043] 获取大量倾斜定位框的DICOM图像作为训练的数据集，并将所述数据集随机划分为训练集T、验证集V以及测试集U。

[0044] 所述步骤S20具体包括：

[0045] 步骤S21、将各DICOM图像格式转换为深度学习网络支持的图像格式，如JPEG格式的图像；

[0046] 步骤S22、对格式转换后的图像进行人工参数标注；

[0047] 步骤S23、对标注后的参数进行归一化处理。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为标量。

[0048] 所述步骤S22中，所述参数包括倾斜定位框的中心坐标(x,y)、长度h、宽度w、与水平线的夹角θ以及类别信息。所述类别信息为倾斜定位框对应的器官，如心脏、颅脑、椎间盘等。

[0049] 所述步骤S30具体包括：

[0050] 步骤S31、构建深度学习的深度学习网络，设定一波动率，把训练集T和验证集V分别作为所述深度学习网络的输入，将标注后的参数作为所述深度学习网络的训练标记，对所述网络模型进行训练，分别得到训练集损失函数曲线和验证集损失函数曲线；损失函数(loss function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。

[0051] 步骤S32、判断训练集损失函数曲线的波动率是否小于设定的波动率，是，则进入步骤S33，否，则进入步骤S31；

[0052] 步骤S33、判断验证集损失函数曲线是否开始增大，是，则停止训练，获取训练参数，并进入步骤S34；否，则进入步骤S31；

[0053] 步骤S34、在测试集U上用训练参数运行所述深度学习网络，得到倾斜定位框的参数，根据医学成像设备重建参数的需求，对得到的参数进行微调，完成深度学习。

[0054] 通过将倾斜定位框输入深度学习网络进行训练，极大的提高了定位框的定位精度，医生仅需对定位框进行微调，极大的提高了医生的工作效率，且尽可能避免了由于医生的经验水平、临床发挥情况、情绪状况以及身体疲劳程度的影响。

[0055] 本发明的深度学习网络通过卷积单元和残差单元组成网络主体结构，卷积单元是由卷积层(Convolution Layer)，批量归一层(Batch Normalization Layer)，激励层(Active Layer)所组成，残差单元是由经过两个卷积单元前后结果相加所组成。网络输入图像经过若干卷积单元和残差单元，提取图像特征，并且通过上采样层和叠加层得到图像在不同尺度下的特征，形成若干个输出层，深度学习网络的结构如图3所示。

[0056] 输出层的数据结构为w×h×(Ns×Na)×(5+1+C)，其中w,h表示输出层的尺寸，表示图像分成w×h个网格；Ns,Na分别是指中心点落在该网格中的不同长宽比和不同角度的预测定位框的数量；(5+1+C)表示每个锚预测框需要x,y,w,h,θ的坐标信息、object包含物体的概率以及classes类别概率。

[0057] 要表示预测定位框相对于真实定位框的准确度，需要定义两者之间的距离标准，一般用IOU(Intersection over Union)来表示。在训练过程中，挑选出与真实定位框IOU较大的预测定位框作为正事例备选。然而，引入了与水平线的夹角θ之后，两个倾斜定位框之间的IOU对于夹角θ并不是单调变化的，如果直接应用原先的IOU的定义，可能会选取到与真实定位框角度差异较大但IOU依然较大的伪正事例，这会造成训练过程损失函数值的震荡甚至发散，因此需要定义一个新的IOU标准，使得输出结果与在各自的定义域内都是单调的，使得选取的正事例均较为合理，例如：

[0058] 其中A'表示与A有相同的x,y,w,h以及与B有相同θ的倾斜定位框(平行四边形) ； 表示A '与B的IOU；可选地，
表示与θ相关的系数项，使得输出结果关于θ单调变化，coef(θA-
θB)也可为使得输出结果关于θ单调变化的别的函数。

[0059] 训练时，需要为每一个预测定位框相关的参数设计边界回归方程，为参数设计的边界回归方程与一般目标检测网络中的方法类似，θ参数也需要设计其回归方程：可选地，tθ＝φ(θtruth-θanchor)＝tan(θtruth-θanchor)，其中φ(θtruth-θanchor)表示θ的回归方程，使得预测θ在接近真实θ时满足或接近满足线性变换的条件，θ的回归方程也可以表示为别的形式。

[0060] 所述步骤S40具体为：

[0061] 设定一相似度，对比微调后的参数以及训练标记进行泛化能力的检测，若微调后的参数与训练标记的相似度大于设定的相似度，则进入步骤S50；若微调后的参数与训练标记的相似度小于或者等于设定的相似度，则新增斜定位框的DICOM图像，并进入步骤S20。

[0062] 综上所述，本发明的优点在于：

[0063] 1、考虑到矩形的定位框在倾斜一定的角度时，医学成像设备扫描出的定位框为倾斜的，即为平行四边形，通过将倾斜定位框输入深度学习网络进行训练，极大的提高了定位框的定位精度。

[0064] 2、通过将倾斜定位框输入深度学习网络进行训练，极大的提高了定位框的定位精度，医生仅需对定位框进行微调，极大的提高了医生的工作效率，且尽可能避免了由于医生的经验水平、临床发挥情况、情绪状况以及身体疲劳程度的影响。

[0065] 虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。