本发明提供一种高效医学图像分割方法及系统、终端、介质，包括：获取医学图像训练集，训练第一分割网络，用于医学图像预分割，得到分割特征图；优化所述第一分割网络的网络参数和所述分割特征图，获得第二分割网络；基于医学图像训练集迭代更新所述第二分割网络的网络参数至收敛，得到最终医学图像分割网络；将医学图像输入所述最终医学图像分割网络，得到分割结果。本发明由于网络参数和分割特征图均为精度低，计算简单，可以快速给出的医学图像分割结果，适合应用在各类医学设备上辅助诊断。
获取医学图像训练集，训练第一分割网络，采用所述第一分割网络进行医学图像预分割，得到分割特征图；
优化所述第一分割网络的网络参数和所述分割特征图，获得第二分割网络；
基于所述医学图像训练集迭代更新所述第二分割网络的网络参数至收敛，得到最终医学图像分割网络；
将医学图像输入所述最终医学图像分割网络，得到分割结果；
优化所述第一分割网络的网络参数和所述分割特征图，获得第二分割网络，包括：根据所述第一分割网络经过调整后的特征图，计算网络参数变化对于特征图的影响程度，用来评估网络参数的重要性，不断选择重要性最低的网络层，迭代调整该层参数的精度，直到整个网络的模型复杂度达到指定阈值，获得第二分割网络；
所述网络参数变化对于特征图影响程度，是基于链式求导法则，计算得到的第一分割网络各层特征图相对这一层参数的Hessian矩阵；
所述网络参数的重要性，是各层网络参数变化量在对应Hessian矩阵下的内积；
所述网络参数的精度调整，是选择重要性最低的网络层，降低该网络层参数的精度，并采用梯度下降方法迭代调整网络参数。
2.根据权利要求1所述的高效医学图像分割方法，其特征在于，所述获取医学图像训练集，训练第一分割网络，包括：在所述医学图像训练集上训练得到全精度U‑net作为第一分割网络，其中网络参数为
32比特浮点数，将医学图像通过所述第一分割网络获得各层特征图，各层特征图也均为32比特浮点数；
在所述第一分割网络得到的各层特征图中，统计特征的最大值和最小值，将该最大值和最小值构成的区间均匀分为N‑1段，N为2的幂次方，将每个特征调整至最近的段边界点。
3.根据权利要求1所述的高效医学图像分割方法，其特征在于，所述计算得到的第一分割网络各层特征图相对这一层参数的Hessian矩阵，是计算各参数wi对应的Hessian矩阵对角线元素值Hii，即第一分割网络对于医学图像的各层输入特征图f中，与每个参数wi进行卷积的输入特征的均方和；
所述网络参数的重要性，是对第一分割网络参数wi精度调整引入的变化量T在该层Hessian矩阵H下的内积zHz/M，这里z是z1,…,zM构成的向量，M是该层网络参数量；
所述网络参数的精度调整，是通过求解优化问题 实现的，这n
里{G}是网络参数容许值集合，当精度为n时集合元素数量为2 ，Q(w,G)将参数w映射为集合G中与w绝对误差最小的元素。
4.根据权利要求1所述的高效医学图像分割方法，其特征在于，所述基于所述医学图像训练集迭代更新所述第二分割网络的网络参数至收敛，包括：将所述第二分割网络各层参数按照精度从低到高排序，基于分割结果与标签信息的交并比，依次更新各层参数，直至收敛。
图像获取模块，该模块获取医学图像训练集，训练第一分割网络；
医学图像预分割模块，该模块采用所述第一分割网络进行医学图像预分割，得到分割特征图；
第一分割网络优化模块，该模块优化所述第一分割网络的网络参数和所述分割特征图，获得第二分割网络；
第二分割网络训练模块，该模块基于所述医学图像训练集迭代更新所述第二分割网络的网络参数至收敛，得到最终医学图像分割网络；
医学图像分割模块，将医学图像输入所述最终医学图像分割网络，得到分割结果；
根据所述第一分割网络经过调整后的特征图，计算网络参数变化对于特征图的影响程度，用来评估网络参数的重要性，不断选择重要性最低的网络层，迭代调整该层参数的精度，直到整个网络的模型复杂度达到指定阈值，获得第二分割网络；
所述网络参数变化对于特征图影响程度，是基于链式求导法则，计算得到的第一分割网络各层特征图相对这一层参数的Hessian矩阵；
所述网络参数的重要性，是各层网络参数变化量在对应Hessian矩阵下的内积；
所述网络参数的精度调整，是选择重要性最低的网络层，降低该网络层参数的精度，并采用梯度下降方法迭代调整网络参数。
6.根据权利要求5所述的医学图像的分割系统，其特征在于，所述医学图像预分割模块还包括特征图调整模块，所述特征图调整模块统计各层分割特征图的最大值和最小值，将该最大值和最小值构成的区间进行均匀划分，将每个特征调整至最近的边界点。
7.根据权利要求5所述的医学图像的分割系统，其特征在于，所述第二分割网络训练模块，将所述第二分割网络各层参数按照精度从低到高排序，基于分割结果与标签信息的交并比，依次更新各层参数，直至收敛。
8.一种医学图像的分割终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于执行权利要求1‑4任一项所述的医学图像分割方法或权利要求5‑7任一项所述医学图像分割系统。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时用于执行权利要求1‑4任一项所述的医学图像分割方法或权利要求5‑7任一项所述医学图像分割系统。
一种高效医学图像分割方法及系统、终端、介质
技术领域
[0001] 本发明涉及医疗图像处理技术领域，具体地说，涉及的是一种高效医学图像分割方法及系统、终端、介质。
背景技术
[0002] 基于深度学习的图像分割技术，在神经网络的不断发展中，已经成为图像分割的重要组成方法，并且随着计算机辅助医疗的发展，医疗图像分割在实际应用中也有着极其重要的作用，它经常用于对于关键病灶区域或组织的识别和划分。常用的医疗图像如CT或MRI等，在医学诊断时会用分割来识别器官或者病变的像素点，来提取或者显示这些器官或者组织的形状和体积等关键信息，这也是医学图像分析最具有挑战性的任务之一。
[0003] 近几年来，在U‑net网络结构被提出后，因为其简单高效的结构和性质，被广泛用于针对医疗影像数据的处理。其采用的编码器(下采样)‑解码器(上采样)的结构和跳跃连接是一种非常有效的设计方法。之后许多网络在U‑net基础上加以扩展或融合其他一些设计理念，但本质上他们仍是延续了U‑net的结构和核心思想。但在实际使用的场景下，尽管U‑net相对于传统的机器学习方法有着更卓越的效果，但是却常常受限于其极高的存储和运算复杂度，在资源受限的设备上部署困难。为了得到一种更高效的医学图像分割方法，需要对原有的U‑net结构进行轻量化。
[0004] U‑Net由于是全图重建而导致其内存使用率很高。所有编码的特征都必须保留在内存中，然后在重建最终输出时使用。这种方法可能要求很高，尤其是对于高分辨率或3D图像。降低参数和特征占用的内存消耗可以降低模型计算复杂度，从而完成对更高的分辨率或更大的3D医学图像的分割。在传统的U‑net结构中，基于32bit浮点数计算的卷积一般存在较大的冗余，而降低网络参数和特征精度不仅可以对模型进行压缩，同时加速了推断速度，其运算时的内存占用也获得了显著的降低。
发明内容
[0005] 本发明针对上述现有技术中存在的问题，提出一种基于人工智能的医学影像处理方法，用于医学图像分割，减少浮点运算量，降低处理复杂度，减少存储开销。
[0006] 本发明的第一方面，提供一种高效医学图像分割方法，包括：
[0007] 获取医学图像训练集，训练第一分割网络，采用所述第一分割网络进行医学图像预分割，得到分割特征图；
[0008] 优化所述第一分割网络的网络参数和所述分割特征图，获得第二分割网络；
[0009] 基于所述医学图像训练集迭代更新所述第二分割网络的网络参数至收敛，得到最终医学图像分割网络；
[0010] 将医学图像输入所述最终医学图像分割网络，得到分割结果。
[0011] 可选地，所述获取医学图像训练集，训练第一分割网络，包括：
[0012] 在所述医学图像训练集上训练得到全精度U‑net作为第一分割网络，其中网络参数为32比特浮点数，将医学图像通过所述第一分割网络获得各层特征图，各层特征图也均为32比特浮点数；
[0013] 在所述第一分割网络得到的各层特征图中，统计特征的最大值和最小值，将该最大值和最小值构成的区间均匀分为N‑1段，N为2的幂次方，将每个特征调整至最近的段边界点。
[0014] 可选地，优化所述第一分割网络的网络参数和所述分割特征图，获得第二分割网络，包括：
[0015] 根据所述第一分割网络经过调整后的特征图，计算网络参数变化对于特征图的影响程度，用来评估网络参数的重要性，不断选择重要性最低的网络层，迭代调整该层参数的精度，直到整个网络的模型复杂度达到指定阈值，获得第二分割网络。
[0016] 可选地，所述的优化第一分割网络，包括：
[0017] 所述网络参数变化对于特征图影响程度，是基于链式求导法则，计算得到的第一分割网络各层特征图相对这一层参数的Hessian矩阵；
[0018] 所述网络参数的重要性，是各层网络参数变化量在对应Hessian矩阵下的内积；
[0019] 所述网络参数的精度调整，是选择重要性最低的网络层，降低该网络层参数的精度，并采用梯度下降方法迭代调整网络参数。
[0020] 可选地，所述计算得到的第一分割网络各层特征图相对这一层参数的Hessian矩阵，是计算各参数wi对应的Hessian矩阵对角线元素值Hii，即第一分割网络对于医学图像的各层输入特征图f中，与每个参数wi进行卷积的输入特征的均方和；
[0021] 所述网络参数的重要性，是对第一分割网络参数wi精度调整引入的变化量T在该层Hessian矩阵H下的内积zHz/M，这里z是z1,…,zM构成的向量，M是该层网络参数量；
[0022] 所述网络参数的精度调整，是通过求解优化问题 实现n
的，这里{G}是网络参数容许值集合，当精度为n时集合元素数量为2 ，Q(w,G)将参数w映射为集合G中与w绝对误差最小的元素。
[0023] 可选地，所述基于所述医学图像训练集迭代更新所述第二分割网络的网络参数至收敛，包括：
[0024] 将所述第二分割网络各层参数按照精度从低到高排序，基于分割结果与标签信息的交并比，依次更新各层参数，直至收敛。
[0025] 本发明的第二方面，提供一种医学图像的分割系统，包括：
[0026] 图像获取模块，该模块获取医学图像训练集，训练第一分割网络；
[0027] 医学图像预分割模块，该模块采用所述第一分割网络进行医学图像预分割，得到分割特征图；
[0028] 第一分割网络优化模块，该模块优化所述第一分割网络的网络参数和所述分割特征图，获得第二分割网络；
[0029] 第二分割网络训练模块，该模块基于所述医学图像训练集迭代更新所述第二分割网络的网络参数至收敛，得到最终医学图像分割网络；
[0030] 医学图像分割模块，将医学图像输入所述最终医学图像分割网络，得到分割结果。
[0031] 可选地，所述医学图像预分割模块还包括特征图调整模块，所述特征图调整模块统计各层分割特征图的最大值和最小值，将该区间进行均匀划分，将每个特征调整至最近的边界点。
[0032] 可选地，所述第一分割网络优化模块，根据所述第一分割网络经过调整后的特征图，计算网络参数变化对于特征图的影响程度，用来评估网络参数的重要性，不断选择重要性最低的网络层，迭代调整该层参数的精度，直到整个网络的模型复杂度达到指定阈值，获得第二分割网络。
[0033] 可选地，所述第二分割网络训练模块，将所述第二分割网络各层参数按照精度从低到高排序，基于分割结果与标签信息的交并比，依次更新各层参数，直至收敛。
[0034] 本发明的第三方面，提供一种医学图像的分割终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于实现上述的医学图像分割方法或医学图像分割系统。
[0035] 本发明的第四方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行上述的医学图像分割方法或实现上述医学图像分割系统。
[0036] 相较于现有技术，本发明实施例具有以下至少一种优点：
[0037] (1)本发明提供的医学图像分割方法、系统，可以在小型终端或医学设备完成医学图像的快速分割，准确给出病灶区域，辅助医生进行疾病诊断，同时，能减少浮点运算量，降低处理复杂度，减少存储开销。
[0038] (2)本发明提供的医学图像分割方法适用于具有不同计算能力和资源条件的电子设备，选择合适的医学图像分割网络进行图像分割。
附图说明
[0039] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0040] 图1为本发明一实施例的基于训练集和第一分割网络获得第二分割网络的流程图；
[0041] 图2为本发明一实施例的第一分割网络的优化流程图；
[0042] 图3为本发明一较优实施例中使用的U‑net结构示意图；
[0043] 图4为本发明一较优实施例中医学图像训练集示意图；
[0044] 图5为本发明一较优实施例的分割结果图。
具体实施方式
[0045] 下面结合具体实施例和附图，对本发明进行详细说明。以下实例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0046] 图1为本发明一实施例的高效的医学图像分割的处理方法流程图。参照图1所示，本实施例中的高效的医学图像分割的处理方法，包括：
[0047] S1,获取医学图像，获取用于分割的医学图像训练集。医学图像训练集包括医学图像以及标注的实际分割结果。
[0048] 本实施例中，主要应用在如下三个数据集：脊髓灰质分割GM(the Spinal Cord Gray Matter Segmentation)数据集,ISBI电子显微镜中神经元结构分割EM(neuronal structures in Electron Microscopic)数据集，美国国立卫生研究院(NIH)用于腹部CT扫描中的胰腺分割的数据集。
[0049] 由于医学图像与一般图片格式不同，需要对医学数据图像源文件如nii格式的CT扫描图进行预处理，将三维CT的图像切层为二维灰度图；为了避免原始数据图像存在像素不一致问题，将输入图片进行裁剪为统一格式作为输入的图像数据集，如图4所示，为实施例中医学图像训练集示意图，其中，所示为脊髓灰质分割的CT数据经过预处理后的图片，上部分为一个batch的CT切片图，下部分为对应的标注数据，分割标签的格式为黑白的灰度图，白色部分代表分割区域。
[0050] S2,医学图像预分割，用于之后的量化的原始参数和计算相关参数的输入，主要包含计算Hessian矩阵，每层卷积的输出特征图等。
[0051] 本实施例，上述的分割网络主要采用了一个基于U‑net的框架的深度神经网络，主要包含了一个四层的U‑net结构，其中，网络结构图如图3所示，具体包括：
[0052] 1)包含三个下采样的编码器部分；
[0053] 2)三个上采样的译码器部分；
[0054] 3)每个块内的两个卷积层；
[0055] 4)对应前三层的三个跳跃连接。
[0056] 在如上结构的U‑net网络中，将获取的医学图像分割训练集作为该网络的训练数据，经过GPU训练得到一个全精度的网络模型，作为第一分割网络，其中医学图像在各层生成的特征图和网络参数均为32比特的全精度浮点数。
[0057] S3,在上述全精度的特征图中，统计每一层特征的最大值和最小值，选定特征图的精度为4，也就是将该最大值和最小值构成的区间均匀分为15段，并将每个特征调整至最近的段边界点；应当理解的是，这仅仅是本实施例中的参数选择，在其他实施例中，也可以选择其他的精度或区间段。
[0058] 在对特征图进行轻量化调整时，因为U‑net网络的跳跃连接的存在，可以利用跳跃连接，将编码器下采样前的卷积输出的特征图直接通过跳跃连接来送入对应解码器，并与解码器的上采样的特征图进行组合得到新的特征图，进行一次统一调整。
[0059] S4，之后优化第一分割网络中的参数，不断降低参数精度，得到更为高效的网络模型。根据各层输出特征图，基于链式求导法则，计算U‑net各层输出特征图相对这一层参数的Hessian矩阵。
[0060] 利用上述各层参数的Hessian矩阵H，基于第一分割网络对于训练集的样本在各层输入特征图f，计算与每个参数wi进行卷积的输入特征的均方和，作为Hessian矩阵中该参数对应的对角线元素值Hii，对角线元素Hii可以设置为在训练集的所有样本下求得的平均值。
[0061] 根据设备和传输需求，拟定一个合适的目标压缩率r0。
[0062] 在得到如上的基本数据和全精度网络模型后，进行如下步骤来不断迭代优化，直至可以达到目标压缩率r0，迭代流程如图2所示：
[0063] a)定义参数精度的下降顺序P，为(32，8，6，4，3，2，1)；
[0064] b)根据当前参数的精度，计算得到当前网络的压缩率r，判断是否达到目标压缩率r0，如果达到则终止迭代；
[0065] c)从P中为每一层参数选择下一个精度值，获得当前网络的重要性，重要性的计算方法是各层网络参数变化量在对应Hessian矩阵下的内积，对于拥有M个参数的网络层，参T数wi由于精度下降引入的变化量 则在该层Hessian矩阵H下的内积为zHz/M，这里z是z1,…,zM构成的向量；
[0066] d)选择重要性最低的网络层，利用P中下一个精度值n进行调整，并采用梯度下降n方法迭代得到参数值，所述参数值的容许集合为{G}，集合元素数量为2 ，通过求解优化问题 得到最优的参数值，其中Q(w,G)为量化函数，将参数w映射为
集合G中与w绝对误差最小的元素；
[0067] e)重复b)到d)步骤至迭代终止；
[0068] f)在上述步骤完成后，将未参与网络调整的统计量进行微调；
[0069] S5，在达到最终的压缩率后，不同网络层的参数精度并不相同，由于高精度的网络层相对于低精度拥有更强的表示能力，在训练第二分割网络时优先更新低精度网络参数，逐步微调至高精度的参数，方法如下：
[0070] 将各层参数按照已分配的精度排序，得到精度由低到高的有序队列，不断计算训练集图像的分割结果与标签信息的交并比对于各层参数的梯度，将梯度更新在最低精度参数至收敛，然后扩展到较高精度的参数，直至全部参数得到更新。
[0071] 在此实例中，尝试了如下三个数据集，分别是脊髓灰质分割GM(the Spinal Cord Gray Matter Segmentation)数据集,ISBI电子显微镜中神经元结构分割EM(neuronal structures in Electron Microscopic)数据集，美国国立卫生研究院(NIH)用于腹部CT扫描中的胰腺分割的数据集，结果如下表所示。表1和表2对比了相同精度的方法和本实施例的方法，在三个数据集上本实施例的分割效果均优于相同精度的方法，且计算效率也显著提升。
[0072] 表1相同精度性能
[0073]
[0074] 表2混合精度性能
[0075]
[0076] S6，将EM数据集中验证样例通过训练好的第二分割网络，得到分割结果如下图，输入为电子显微镜中神经元结构，左边为原始待分割图片，右侧为其分割的结果。
[0077] 在本发明另一实施例中，还提供一种医学图像的分割系统，包括：
[0078] 图像获取模块，该模块获取医学图像训练集，训练第一分割网络；
[0079] 医学图像预分割模块，该模块采用所述第一分割网络进行医学图像预分割，得到分割特征图；
[0080] 第一分割网络优化模块，该模块优化所述第一分割网络的网络参数和所述分割特征图，获得第二分割网络；
[0081] 第二分割网络训练模块，该模块基于所述医学图像训练集迭代更新所述第二分割网络的网络参数至收敛，得到最终医学图像分割网络；
[0082] 医学图像分割模块，将医学图像输入所述最终医学图像分割网络，得到分割结果。
[0083] 可选地，所述医学图像预分割模块还包括特征图调整模块，所述特征图调整模块统计各层分割特征图的最大值和最小值，将该区间进行均匀划分，将每个特征调整至最近的边界点。
[0084] 较优地，所述第一分割网络优化模块，根据所述第一分割网络经过调整后的特征图，计算网络参数变化对于特征图的影响程度，用来评估网络参数的重要性，不断选择重要性最低的网络层，迭代调整该层参数的精度，直到整个网络的模型复杂度达到指定阈值，获得第二分割网络。
[0085] 较优地，第二分割网络训练模块，将所述第二分割网络各层参数按照精度从低到高排序，基于分割结果与标签信息的交并比，依次更新各层参数，直至收敛。
[0086] 在本发明另一实施例中，本发明还提供一种医学图像的分割终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于实现上述的医学图像分割方法或医学图像分割系统。
[0087] 在本发明另一实施例中，本发明还提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行上述的医学图像分割方法或实现上述医学图像分割系统。
[0088] 本发明上述实施例的方法和系统，由于网络参数和分割特征图均为低比特，计算复杂度低，可以快速给出的医学图像分割结果，适合应用在各类医学设备上辅助诊断。
[0089] 本发明上述实施例的方法和系统，可以在小型终端或医学设备完成医学图像的快速分割，准确给出病灶区域，辅助医生进行疾病诊断，同时，能减少浮点运算量，降低处理复杂度，减少存储开销。
[0090] 需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
[0091] 本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0092] 以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。
