一种基于增量学习的多场景下的危及器官分割方法及设备

摘要

本发明公开了一种基于增量学习的多场景下的危及器官分割方法及设备，本方法中通过增量学习的方法使模型能够将旧的任务上学习到的特征有效的迁移到新的任务上，提升新任务的分割效果，同时在也能保持在旧的场景下的器官的分割性能，用单个模型有效的解决了不同场景下多器官的分割问题。

权利要求

1.一种基于增量学习的多场景下的危及器官分割方法，其特征在于，包括以下步骤：选取若干个不同场景下的数据集，所述数据集之间至少具有不同场景下的同一待分割器官，每一所述数据集均包括含有相应场景下的若干待分割器官的若干阳性切片以及不含待分割器官的若干阴性切片，从每一数据集中均划分出与每一待分割器官一一对应的若干数据子集，每一所述数据子集均含有相应场景下的待分割器官的若干阳性切片以及不含所述待分割器官的若干阴性切片，且每一所述数据子集中的阳性切片的数量大于阴性切片的数量，对每一所述数据子集的阳性切片进行预处理；

构建基于U‑Net的分割模型，选取任意一个所述数据集，以其中一个数据子集进行训练，得到相应待分割器官对应于该数据集的最优分割模型Model0，基于Model0，以所述数据集的下一个数据子集进行训练，得到相应待分割器官对应于该数据集的最优分割模型Model1，依次迭代训练，直至完成所述数据集中所有i个数据子集的训练，得到的最优分割模型Modeli；基于Modeli，采用同样的方法对下一个数据集的每个数据子集依次进行迭代训练，直至完成所有所述数据集中每个数据子集的训练，得到最优分割模型Modelk。

2.根据权利要求1所述的基于增量学习的多场景下的危及器官分割方法，其特征在于，基于前一个最优分割模型，通过相应数据子集训练出后一个最优分割模型的过程中，还包括步骤：

基于训练出所述前一个最优分割模型的相应数据子集，得到所述前一个最优分割模型与所述后一个最优分割模型在训练过程中的K‑L散度，所述后一个最优分割模型的训练过程中通过所述K‑L散度作用权重的更新。

3.根据权利要求1所述的基于增量学习的多场景下的危及器官分割方法，其特征在于，基于前一个最优分割模型，通过相应数据子集进行训练之前，还包括步骤：将相应数据子集中的所有切片分为两部分子集，将第一部分子集中的所有切片执行灰度域的图像变换；

基于第二部分子集和执行完灰度域的图像变换的第一部分子集对所述前一个最优分割模型进行训练，以第一部分子集和第二部分子集之间的K‑L散度作用所述前一个最优分割模型的损失函数，直至训练得到相应的后一个最优分割模型。

4.根据权利要求3所述的基于增量学习的多场景下的危及器官分割方法，其特征在于，相应数据子集在输入模型之前，还包括步骤：将相应数据子集中所有阳性切片的对应器官区域进行裁剪。

5.根据权利要求1所述的基于增量学习的多场景下的危及器官分割方法，其特征在于，所述对每一所述数据子集的阳性切片进行预处理，包括步骤：标注每个切片body的mask，将切片body外的灰度置0；

基于灰度空间，对切片执行对比度，gamma调节，和clahe增强；

对切片执行平移、旋转、翻转和网格扭曲处理；

对切片进行基于灰度直方图均衡化，将切片归一化到固定尺寸。

6.一种基于增量学习的多场景下的危及器官分割设备，其特征在于，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至5任一项所述的基于增量学习的多场景下的危及器官分割方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的基于增量学习的多场景下的危及器官分割方法。

说明书

一种基于增量学习的多场景下的危及器官分割方法及设备

技术领域

[0001] 本发明涉及医学信息处理技术领域，特别涉及一种基于增量学习的多场景下的危及器官分割方法及设备。

背景技术

[0002] 随着大数据兴起和计算能力的提升，深度学习在视觉领域取得了巨大的成功，每年都有新的模型和方法被提出来，图像检测和分割的精度也在不断的提高。同时深度学习
的应用领域也由传统的自然图像领域扩展到了医学图像领域，但是相比自然图像领域，深
度学习在医学图像领域的应用面临着更大的挑战：数据少、数据标注成本高，场景更加复
杂。

[0003] 在医学图像领域经常要面临的一类任务是多场景下器官的分割问题，每一个场景对应一系列分割任务，由于每一个场景的数据存在较大的差异，若将每一个场景下的数据
不加处理直接放到一个模型中训练，则模型很难收敛，最终的分割性能也会很差；若每一个
场景任务下，都训练一个深度学习模型对数据进行建模，会带来成本的巨大上升，同时也无
法利用不同场景间数据的关系进行迁移学习。

发明内容

[0004] 本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于增量学习的多场景下的危及器官分割方法及设备。

[0005] 本发明的第一方面，提供了一种基于增量学习的多场景下的危及器官分割方法，包括以下步骤：

[0006] 选取若干个数据集，每一所述数据集均包括含有若干待分割器官的若干阳性切片以及不含待分割器官的若干阴性切片，从每一数据集中均划分出与每一待分割器官一一对
应的若干数据子集，每一所述数据子集均含有相应待分割器官的若干阳性切片以及不含所
述待分割器官的若干阴性切片，且每一所述数据子集中的阳性切片的数量大于阴性切片的
数量，对每一所述数据子集的阳性切片进行预处理；

[0007] 构建基于U‑Net的分割模型，选取任意一个所述数据集，以其中一个数据子集进行训练，得到相应待分割器官对应于该数据集的最优分割模型Model0，基于Model0，以所述数
据集的下一个数据子集进行训练，得到相应待分割器官对应于该数据集的最优分割模型
Model1，依次迭代训练，直至完成所述数据集中所有i个数据子集的训练，得到的最优分割
模型Modeli；基于Modeli，采用同样的方法对下一个数据集的每个数据子集依次进行迭代
训练，直至完成所有所述数据集中每个数据子集的训练，得到最优分割模型Modelk。

[0008] 根据本发明的实施例，至少具有如下技术效果：

[0009] 本方法利用增量学习的方法能够将旧的任务上学习到的特征有效的迁移到新的任务上，提升新任务的分割效果，同时在也能保持在旧的场景下的器官的分割性能，用单个
模型有效的解决了不同场景下多器官的分割问题。

[0010] 根据本发明的一些实施例，基于前一个最优分割模型，通过相应数据子集训练出后一个最优分割模型的过程中，还包括步骤：

[0011] 基于训练出所述前一个最优分割模型的相应数据子集，得到所述前一个最优分割模型与所述后一个最优分割模型在训练过程中的K‑L散度，所述后一个最优分割模型的训
练过程中通过所述K‑L散度作用权重的更新。

[0012] 根据本发明的一些实施例，基于前一个最优分割模型，通过相应数据子集进行训练之前，还包括步骤：

[0013] 将相应数据子集中的所有切片分为两部分子集，将第一部分子集中的所有切片执行灰度域的图像变换；

[0014] 基于第二部分子集和执行完灰度域的图像变换的第一部分子集对所述前一个最优分割模型进行训练，以第一部分子集和第二部分子集之间的K‑L散度作用所述前一个最
优分割模型的损失函数，直至训练得到相应的后一个最优分割模型。

[0015] 根据本发明的一些实施例，相应数据子集在输入模型之前，还包括步骤：将相应数据子集中所有阳性切片的对应器官区域进行裁剪。

[0016] 根据本发明的一些实施例，所述对每一所述数据子集的阳性切片进行预处理，包括步骤：

[0017] 标注每个切片body的mask，将切片body外的灰度置0；

[0018] 基于灰度空间，对切片执行对比度，gamma调节，和clahe增强；

[0019] 对切片执行平移、旋转、翻转和网格扭曲处理；

[0020] 对切片进行基于灰度直方图均衡化，将切片归一化到固定尺寸。

[0021] 本发明的第二方面，提供了一种基于增量学习的多场景下的危及器官分割设备，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存
储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理
器执行，以使所述至少一个控制处理器能够执行如本发明第一方面所述的基于增量学习的
多场景下的危及器官分割方法。

[0022] 本发明的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明第一方面所
述的基于增量学习的多场景下的危及器官分割方法。

[0023] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

[0024] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

[0025] 图1为本发明实施例提供的基于增量学习的多场景下的危及器官分割方法的流程示意图；

[0026] 图2为本发明实施例提供的模型Modle的结构示意图；

[0027] 图3为本发明实施例提供的各数据子集内器官的分割训练策略示意图；

[0028] 图4为本发明实施例提供的基于外照射数据集和后装数据集训练得到的最终的最优分割模型的预测结果图；

[0029] 图5为本发明实施例提供的基于增量学习的多场景下的危及器官分割设备的结构示意图。

具体实施方式

[0030] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

[0031] 参照图1至图3，本发明的一个实施例，提供了一种基于增量学习的多场景下的危及器官分割方法，包括以下步骤：

[0032] S100、选取若干个数据集，每一数据集均包括含有若干待分割器官的若干阳性切片以及不含待分割器官的若干阴性切片，从每一数据集中均划分出与每一待分割器官一一
对应的若干数据子集，每一数据子集均含有相应待分割器官的若干阳性切片以及不含待分
割器官的若干阴性切片，且每一数据子集中的阳性切片的数量大于阴性切片的数量，对每
一数据子集的阳性切片进行预处理。

[0033] 在本步骤中，各个数据集之间满足以下关系：数据集都是CT序列的图像；不同模态的同一部位的图像（MR或CT的腹部图像）；或者不同场景下的同一部位（如后装数据集和前
装数据集，后装数据集为宫颈癌后装放疗时体外拍摄的MR图像，后装数据集为宫颈癌照射
放疗时阴道的内窥镜拍摄到的MR图像）。

[0034] 阳性切片是指包含有对应分割器官的切片；阴性切片是指不包含有对应分割器官的切片。每个数据子集中包含对应器官的阳性切片的数量大于阴性切片的数量，能够使当
前模型更加关注当前的任务，使模型具有关注点，保证其收敛性；同时每个数据子集中加入
一定量阴性切片的样本，是为了保证模型训练时，也同时有一定的泛化能力。

[0035] 作为一种可选的实施方式，为了增加模型的泛化能力，对每一数据子集中的阳性切片进行预处理，预处理步骤包括：

[0036] 标注每个切片body的mask，将切片body外的灰度置0；用以防止body外的信息对模型学习待分割器官(因为待分割器官不可能出现在body的mask的区域外，引导网络学习集
中在body内的器官的特征)的干扰；

[0037] 基于灰度空间，对切片执行对比度，gamma调节，和clahe增强；

[0038] 对切片执行平移、旋转、翻转和网格扭曲处理；

[0039] 对切片进行基于灰度直方图均衡化，将切片归一化到固定尺寸。

[0040] S200、构建基于U‑Net的分割模型，选取任意一个数据集，以其中一个数据子集进行训练，得到相应待分割器官对应于该数据集的最优分割模型Model0，基于Model0，以数据
集的下一个数据子集进行训练，得到相应待分割器官对应于该数据集的最优分割模型
Model1，依次迭代训练，直至完成数据集中所有i个数据子集的训练，得到的最优分割模型
Modeli；基于Modeli，采用同样的方法对下一个数据集的每个数据子集依次进行迭代训练，
直至完成所有数据集中每个数据子集的训练，得到最优分割模型Modelk。

[0041] 为了方便理解，可选的，以外照射数据集和后装数据集两个不同场景下的数据集为例，外照射数据集主要包括阴性切片和Rectum（直肠）、Sigmoid（乙状结肠）的阳性切片；
后装数据集主要包括阴性切片和Rectum（直肠）、Bladder（膀胱）、Sigmoid（乙状结肠）的阳
性切片。将后装数据集划分为三个数据子集S0（对应直肠）、S1（对应膀胱）和S2（对应乙状结
肠）；外照射数据集划分为两个数据子集S3（对应直肠）和S4（对应乙状结肠）；每个数据子集
上的总切片数量选择200个（以200为例，但不仅限于200）；本实施例考虑当前任务和模型泛
化的一个平衡比例，将每个数据子集对应待分割器官的阳性切片数量占每个数据子集的
90%（以90%为例，但不仅限于90%）。

[0042] （1）首先构建基于U‑Net的模型Model，模型Model的结构如图2所示。

[0043] （2）通过数据子集S0训练模型Model，得到该待分割器官下分割性能最优（即当前损失函数最小值时）的模型Model0，其中，模型Model 0的结构与模型Model的结构相同。

[0044] （3）基于Model0，通过数据子集S1进行训练，得到该待分割器官下分割性能最优的模型Model 1。其中，Model 1的结构与Model0的结构相同。

[0045] 同理，将数据子集S2至S4按照上述步骤（2）至（3）相同方法的处理，直到得到最终的最优分割模型，用于器官的分割。

[0046] 本方法利用增量学习的方法能够将旧的任务上学习到的特征有效的迁移到新的任务上，提升新任务的分割效果，同时在也能保持在旧的场景下的器官的分割性能，用单个
模型有效的解决了不同场景下多器官的分割问题。

[0047] 作为一种可选的实施方式，基于前一个最优分割模型，通过相应数据子集训练出后一个最优分割模型的过程中，还包括步骤：

[0048] 基于训练出前一个最优分割模型的相应数据子集，得到前一个最优分割模型与后一个最优分割模型在训练过程中的K‑L散度，后一个最优分割模型的训练过程中通过K‑L散
度作用权重的更新。

[0049] 为了方便理解，以Model0和Model为例：

[0050] 在最优分割模型Model1的生成过程中，分成两个部分，一部分是利用数字子集S1的数据对模型的训练，模型基于Model0的权重进行初始化训练；另一部分是利用S0的数据
输入计算模型和Model0输出的KL散度，得到的两个输出的KL散度（其对应损失函数可参考
后文的 ）。利用这两部分的输出对模型的权重进行调整（可参考后文损失函数中的
式（7）），直至训练得到最优分割模型Model1（这两部分的数据是混在一起的，在网络同一个
批次的输入里，存在这两部分的数据，模型根据这两部分的数据训练，对权重进行调整，最
终得到Model1）。

[0051] 同理，其它每个模型也按照上述方法进行处理，最终使得后一个最优分割模型能够保持对用于训练前一个最优分割模型的数据子集的预测性能。

[0052] 作为一种可选的实施方式，基于前一个最优分割模型，通过相应数据子集进行训练之前，还包括步骤：

[0053] 将相应数据子集中的所有切片分为两部分子集，将第一部分子集中的所有切片执行灰度域的图像变换；

[0054] 基于第二部分子集和执行完灰度域的图像变换的第一部分子集对前一个最优分割模型进行训练，以第一部分子集和第二部分子集之间的K‑L散度作用该前一个最优分割
模型的损失函数，直至训练得到相应的后一个最优分割模型。

[0055] 为了方便理解，例如数据子集S1，将S1划分为两部分子集，第一部分子集执行灰度域的图像变换得到模型输入A，第二部分子集不执行该操作得到输入B，同时将模型输入A和
B同时输入至模型中，模型在进行训练的过程中，将输入A和B之间的K‑L散度作用于当前的
损失函数（可参考后文损失函数中的式（7）、（8）），使得基于Model0，用S1训练成的Modle1能
够最大程度的聚焦到图像上的核心特征，提高模型Modle1的抗噪能力和Modle1的鲁棒性和
泛化性。

[0056] 作为一种可选的实施方式，相应数据子集在输入模型之前，还包括步骤：将相应数据子集中所有阳性切片的对应器官区域进行裁剪。引导训练完成相应最优分割模型更加关
注到相应待分割器官的局部信息。

[0057] 本方法实施例中模型所使用的损失函数如下所示：

[0058] 基于Focal Loss的损失函数：

[0059] （1）

[0060] （2）

[0061] 表示预测样本属于1的概率， 表示切片上为待分割器官内部的像素点，， 表示共享权重， 表示focusing parameter（聚焦参数），在本实施例中
， 分别设定为0.25，2。

[0062] 基于各个器官加权的Dice损失函数：

[0063] Dice的损失函数定义如下：

[0064] （3）

[0065] Smooth在本实施例中设定为1，防止在阴性切片上，计算DSC分母为0的异常的情形。

[0066] channel_dice的损失函数定义如下：

[0067] （4）

[0068] 其中， 表示对每个输出通道的器官依式（3）计算Dice， 的计算方法为：

[0069] （5）

[0070] 基于K‑L散度的损失函数定义如下：

[0071] （6）

[0072] 在器官迭代训练时， 为参考图像在对应的像素点 预测的概率值，为匹配的图像在对应的像素点 的预测概率值。

[0073] 综上，模型在训练过程所使用的损失函数为：

[0074] （7）

[0075] 其中， 表示式（6）中定义的模型间的基于前一个数据子集的。 定义为：

[0076] （8）

[0077] 表示同一个数据子集的不同变换下的K‑L损失函数。本实施例设定为0.5， ， 分别为0.1，0.2。

[0078] 基于上述外照射数据集和后装数据集，得到最终的最优分割模型的预测结果如图4所示，图中红，蓝，绿（深色）为医生标注的金标，浅色的为模型预测结果。

[0079] 参照图5，基于上述系统实施例和方法实施例，本发明提供了一种基于增量学习的多场景下的危及器官分割设备，该设备包括：一个或多个控制处理器和存储器，图5中以一
个控制处理器为例。控制处理器和存储器可以通过总线或者其他方式连接，图5中以通过总
线连接为例。

[0080] 存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的基于增量学习的多场景下的危及器
官分割设备对应的程序指令/模块。控制处理器通过运行存储在存储器中的非暂态软件程
序、指令以及模块，从而执行上述方法实施例所述的基于增量学习的多场景下的危及器官
分割方法。

[0081] 存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储器可以包括高速随机存取存储器，还可以包括非暂态
存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施
方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过
网络连接至该基于增量学习的多场景下的危及器官分割设备。上述网络的实例包括但不限
于互联网、企业内部网、局域网、移动通信网及其组合。

[0082] 所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述方法实施例中的基于增量学习的多场景下的危及器官分割方法。

[0083] 本发明的一个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，被
图5中的一个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中
的基于增量学习的多场景下的危及器官分割方法。

[0084] 通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的
全部或部分流程是可以通过计算机程序来指令相关的硬件来完成的程序可存储于计算机
可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存
储介质可为磁碟、光盘、只读存储记忆体（Read Only Memory ，ROM）或随机存储记忆体
（Random Access Memory，RAM）等。

[0085] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结
构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的
示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特
点可以在任何的一个或多个实施例或示例中以合适的方式结合。

[0086] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本
发明的范围由权利要求及其等同物限定。