类别语义一致性表示的半监督分割模型生成方法及系统

摘要

本发明公开了一种类别语义一致性表示的半监督分割模型生成方法、系统、计算机设备及存储介质，在训练阶段通过类别语义感知分割模块可控地监督了多尺度的类别语义感知查询的生成，并同时生成了有标注图像的多尺度语义感知分割图，用于后续能更好地约束类别语义引导分割模块的生成。而类别语义引导分割模块，则利用多尺度的类别语义感知查询，引导无标注图像数据生成多尺度语义引导分割图，后续与分割网络最终输出的预测分割图做一致性约束学习，起到使用大量无标注图像数据参与训练整个分割网络的目的。且训练数据仅包含少量的标注医疗图像。在实际训练中可以仅利用少量的有标注图像数据，实现对医疗图像中各个器官的精确分割。

权利要求

1.一种类别语义一致性表示的半监督分割模型生成方法，其特征在于，所述方法，包括：获取待训练图像数据集，所述待训练图像数据集包括有标注图像数据以及无标注图像数据，所述有标注图像数据的数量小于所述无标注图像数据的数量；

将所述有标注图像数据以及无标注图像数据输入至预设的层级式分割网络中进行分割处理，以生成多尺度中间特征以及预测分割图；

将所述多尺度中间特征以及原始语义感知查询输入至预设类别语义感知分割模块中进行注意力操作，以生成多尺度语义感知查询；

将所述多尺度语义感知查询与各个尺度无标注图像中间特征输入至预设类别语义引导分割模块中进行注意力操作，以生成多尺度语义引导分割图；

通过第一预设损失函数对所述多尺度语义引导分割图以及所述预测分割图进行一致性约束，以生成半监督分割模型；

其中，所述多尺度语义感知查询通过如下方式获取：

分别对每个尺度的有标注图像数据中间特征以及无标注图像数据中间特征进行补丁令牌化处理，以生成多尺度补丁令牌特征表示；

在第一尺度上，根据第一多头注意力模块，对所述原始语义感知查询以及第一尺度的补丁令牌特征表示进行注意力交互操作，以生成第一尺度语义感知查询；在第n尺度上，根据第n多头注意力模块，分别对n‑1尺度生成的语义感知查询以及第n尺度的补丁令牌特征表示进行注意力交互操作，以生成第n尺度语义感知查询，所述n≥2。

2.如权利要求1所述的类别语义一致性表示的半监督分割模型生成方法，其特征在于，所述预设类别语义感知分割模块还用于生成多尺度语义感知分割图，所述多尺度语义感知分割图包括无标注图像数据的多尺度语义感知分割图以及有标注图像数据的多尺度语义感知分割图，所述通过第一预设损失函数对所述多尺度语义引导分割图以及所述预测分割图进行一致性约束之前，包括：通过第二预设损失函数对所述有标注图像数据的多尺度语义感知分割图以及多尺度语义引导分割图进行一致性约束。

3.如权利要求2所述的类别语义一致性表示的半监督分割模型生成方法，其特征在于，所述多尺度语义感知分割图通过如下方式获取：在不同尺度上，分别对输入的补丁令牌特征进行注意力操作，以生成多尺度类别语义感知特征图；

分别将所述多尺度类别语义感知特征图的维度转换为预设维度；

分别将转换为预设维度的多尺度类别语义感知特征图的第二维度去掉，并进行上采样处理，以生成所述多尺度语义感知分割图。

4.如权利要求3所述的类别语义一致性表示的半监督分割模型生成方法，其特征在于，所述生成所述多尺度语义感知分割图之后，包括：通过所述有标注图像数据的多尺度语义感知分割图监督所述半监督分割模型的训练。

5.如权利要求1所述的类别语义一致性表示的半监督分割模型生成方法，其特征在于，所述多尺度语义引导分割图通过如下方式获取：将所述多尺度语义感知查询，分别与对应尺度的无标注图像数据中间特征进行注意力交互操作；

分别对每一尺度下进行注意力交互操作后的特征图进行卷积处理，并去掉第二维度，以生成所述多尺度语义引导分割图。

6.如权利要求1‑5任意一项所述的类别语义一致性表示的半监督分割模型生成方法，其特征在于，所述通过第一预设损失函数对所述多尺度语义引导分割图以及所述预测分割图进行一致性约束，包括：分别对所述多尺度语义引导分割图以及所述预测分割图进行归一化处理；

通过所述第一预设损失函数对归一化处理后多尺度语义引导分割图以及预测分割图进行一致性约束。

7.一种类别语义一致性表示的半监督分割模型生成系统，其特征在于，所述系统，包括：待训练图像数据集获取单元，用于获取待训练图像数据集，所述待训练图像数据集包括有标注图像数据以及无标注图像数据，所述有标注图像数据的数量小于所述无标注图像数据的数量；

分割处理单元，用于将所述有标注图像数据以及无标注图像数据输入至预设的层级式分割网络中进行分割处理，以生成多尺度中间特征以及预测分割图；

多尺度语义感知查询生成单元，用于将所述多尺度中间特征以及原始语义感知查询输入至预设类别语义感知分割模块中进行注意力操作，以生成多尺度语义感知查询；

多尺度语义引导分割图生成单元，用于将所述多尺度语义感知查询与各个尺度无标注图像数据中间特征输入至预设类别语义引导分割模块中进行注意力操作，以生成多尺度语义引导分割图；

半监督分割模型生成单元，用于通过第一预设损失函数对所述多尺度语义引导分割图以及所述预测分割图进行一致性约束，以生成半监督分割模型；

所述多尺度语义感知查询单元，还用于：

分别对每个尺度的有标注图像数据中间特征以及无标注图像数据中间特征进行补丁令牌化处理，以生成多尺度补丁令牌特征表示；

在第一尺度上，根据第一多头注意力模块，对所述原始语义感知查询以及第一尺度的补丁令牌特征表示进行注意力交互操作，以生成第一尺度语义感知查询；在第n尺度上，根据第n多头注意力模块，分别对n‑1尺度生成的语义感知查询以及第n尺度的补丁令牌特征表示进行注意力交互操作，以生成第n尺度语义感知查询，所述n≥2。

8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至6任意一项所述类别语义一致性表示的半监督分割模型生成方法的步骤。

9.一种可读存储介质，所述可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至6任意一项所述类别语义一致性表示的半监督分割模型生成方法的步骤。

说明书

类别语义一致性表示的半监督分割模型生成方法及系统

技术领域

[0001] 本发明涉及深度学习技术领域，尤其涉及一种类别语义一致性表示的半监督分割模型生成方法、系统、计算机设备及存储介质。

背景技术

[0002] 目前，基于深度学习的大部分方法仍然依赖于大量精细有标注图像数据，然而获取海量的人工有标注图像数据成本高，对于医疗图像的有标注图像数据来说更是如此。

[0003] 在现有的一些研究中，提出了一种基于自训练方式，目的是在利用少量标注学习一个分类器，后续迭代式用在无标注图像数据中生成伪标签。或者提出了一种协同训练方式和一致性正则化训练方式，前者利用多视图数据的“相容互补性”，即假设每个视图都包含足以产生最优学习器的信息，使得每个视图的分类器都能提供自己最有把握的伪标签给其他分类器，从而相互协同促进模型整体的训练；后者假设对一个无标注样本加入扰动，其预测结果也不会发生显著变化，具有输出一致性，能提高模型的泛化能力。然而，以上的方法却很少从丰富的类别语义信息去挖掘其在半监督学习的有效性，并限制了模型在处理更多无标注图像数据的泛化能力。

发明内容

[0004] 基于此，有必要针对上述技术问题，提供一种类别语义一致性表示的半监督分割模型生成方法、系统、计算机设备及存储介质，以解决现有技术中存在的至少一个问题。

[0005] 第一方面，提供了一种类别语义一致性表示的半监督分割模型生成方法，包括：获取待训练图像数据集，所述待训练图像数据集包括有标注图像数据以及无标注图像数据，所述有标注图像数据的数量小于所述无标注图像数据的数量；

[0006] 将所述有标注图像数据以及无标注图像数据输入至预设的层级式分割网络中进行分割处理，以生成多尺度中间特征以及预测分割图；

[0007] 将所述多尺度中间特征以及原始语义感知查询输入至预设类别语义感知分割模块中进行注意力操作，以生成多尺度语义感知查询；

[0008] 将所述多尺度语义感知查询与各个尺度无标注图像中间特征输入至预设类别语义引导分割模块中进行注意力操作，以生成多尺度语义引导分割图；

[0009] 通过第一预设损失函数对所述多尺度语义引导分割图以及所述预测分割图进行一致性约束，以生成半监督分割模型。

[0010] 在一实施例中，所述多尺度语义感知查询通过如下方式获取：

[0011] 分别对每个尺度的有标注图像数据中间特征以及无标注图像数据中间特征进行补丁令牌化处理，以生成多尺度补丁令牌特征表示；

[0012] 在第一尺度上，根据第一多头注意力模块，对所述原始语义感知查询以及第一尺度的补丁令牌特征表示进行注意力交互操作，以生成第一尺度语义感知查询；在第n尺度上，根据第n多头注意力模块，分别对n‑1尺度生成的语义感知查询以及第n尺度的补丁令牌特征表示进行注意力交互操作，以生成第n尺度语义感知查询，所述n≥2。

[0013] 在一实施例中，所述预设类别语义感知分割模块还用于生成多尺度语义感知分割图，所述多尺度语义感知分割图包括无标注图像数据的多尺度语义感知分割图以及有标注图像数据的多尺度语义感知分割图，所述通过预设损失函数对所述多尺度语义引导分割图以及所述预测分割图进行一致性约束之前，包括：

[0014] 通过第二预设损失函数对所述有标注图像数据的多尺度语义感知分割图以及多尺度语义引导分割图进行一致性约束。

[0015] 在一实施例中，所述多尺度语义感知分割图通过如下方式获取：

[0016] 在不同尺度上，分别对输入的补丁令牌特征进行注意力操作，以生成多尺度类别语义感知特征图；

[0017] 分别将所述多尺度类别语义感知特征图的维度转换为预设维度；

[0018] 分别将转换为预设维度的多尺度类别语义感知特征图的第二维度去掉，并进行上采样处理，以生成所述多尺度语义感知分割图。

[0019] 在一实施例中，所述生成所述多尺度语义感知分割图之后，包括：

[0020] 通过所述有标准图像数据的多尺度语义感知分割图监督所述半监督分割模型的训练。

[0021] 在一实施例中，所述多尺度语义引导分割图通过如下方式获取：

[0022] 将所述多尺度语义感知查询，分别与对应尺度的无标注图像数据中间特征进行注意力交互操作；

[0023] 分别对每一尺度下进行注意力交互操作后的特征图进行卷积处理，并去掉第二维度，以生成所述多尺度语义引导分割图。

[0024] 在一实施例中，所述通过第一预设损失函数对所述多尺度语义引导分割图以及所述预测分割图进行一致性约束，包括：

[0025] 分别对所述多尺度语义引导分割图以及所述预测分割图进行归一化处理；

[0026] 通过所述第一预设损失函数对归一化处理后多尺度语义引导分割图以及预测分割图进行一致性约束。

[0027] 第二方面，提供了一种类别语义一致性表示的半监督分割模型生成系统，包括：待训练图像数据集获取单元，用于获取待训练图像数据集，所述待训练图像数据集包括有标注图像数据以及无标注图像数据，所述有标注图像数据的数量小于所述无标注图像数据的数量；

[0028] 分割处理单元，用于将所述有标注图像数据以及无标注图像数据输入至预设的层级式分割网络中进行分割处理，以生成多尺度中间特征以及预测分割图；

[0029] 多尺度语义感知查询生成单元，用于将所述多尺度中间特征以及原始语义感知查询输入至预设类别语义感知分割模块中进行注意力操作，以生成多尺度语义感知查询；

[0030] 多尺度语义引导分割图生成单元，用于将所述多尺度语义感知查询与各个尺度无标注图像数据中间特征输入至预设类别语义引导分割模块中进行注意力操作，以生成多尺度语义引导分割图；

[0031] 半监督分割模型生成单元，用于通过第一预设损失函数对所述多尺度语义引导分割图以及所述预测分割图进行一致性约束，以生成半监督分割模型。

[0032] 第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述所述类别语义一致性表示的半监督分割模型生成方法的步骤。

[0033] 第四方面，提供了一种可读存储介质，所述可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述类别语义一致性表示的半监督分割模型生成方法的步骤。

[0034] 上述类别语义一致性表示的半监督分割模型生成方法、系统、计算机设备及存储介质，其方法实现包括：获取待训练图像数据集，所述待训练图像数据集包括有标注图像数据以及无标注图像数据，所述有标注图像数据的数量小于所述无标注图像数据的数量；将所述有标注图像数据以及无标注图像数据输入至预设的层级式分割网络中进行分割处理，以生成多尺度中间特征以及预测分割图；将所述多尺度中间特征以及原始语义感知查询输入至预设类别语义感知分割模块中进行注意力操作，以生成多尺度语义感知查询；将所述多尺度语义感知查询与各个尺度无标注图像中间特征输入至预设类别语义引导分割模块中进行注意力操作，以生成多尺度语义引导分割图；通过第一预设损失函数对所述多尺度语义引导分割图以及所述预测分割图进行一致性约束，以生成半监督分割模型。本申请中，在训练阶段过类别语义感知分割模块可控地监督了多尺度的类别语义感知查询的生成，并同时生成了有标注图像的多尺度语义感知分割图，用于后续能更好地约束类别语义引导分割模块的生成。而类别语义引导分割模块，则是利用多尺度的类别语义感知查询，引导无标注图像数据生成多尺度语义引导分割图，后续与分割网络最终输出的预测分割图做一致性约束学习，起到使用大量无标注图像数据参与训练整个分割网络的目的。并且训练数据仅包含少量的标注医疗图像和大量无标注医疗图像。在实际训练中可以减少对大量有标注图像数据的医疗，仅利用少量的有标注图像数据，实现对医疗图像中各个器官的精确分割。

附图说明

[0035] 为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0036] 图1是本发明一实施例中基于类别语义一致性的半监督分割模型生成的一网络架构示意图；

[0037] 图2是本发明一实施例中类别语义一致性表示的半监督分割模型生成方法的一流程示意图；

[0038] 图3是本发明一实施例中预设类别语义感知分割模块的结构示意图；

[0039] 图4是本发明一实施例中预设类别语义引导分割模块的结构示意图；

[0040] 图5是本发明一实施例类别语义一致性表示的半监督分割模型生成系统的一结构示意图；

[0041] 图6是本发明一实施例中计算机设备的一示意图。

具体实施方式

[0042] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

[0043] 基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0044] 本实施例提供的一种类别语义一致性表示的半监督分割模型生成方法，可应用在如图1的整体网络架构中，其中，预设的层级式分割网络包括编码器以及解码器，该预设的层级式分割网络包括多个处理阶段，每一阶段均设置有一解码器，图中以4个阶段为例，前3个阶段依次对编码器处理后图像数据进行上采样处理，并通过最后一个阶段的预测层输出预测结果。

[0045] 其中，该预设的层级式分割网络可为基于Transformer网络，也可为基于CNN网络等，半监督分割模型既可以是处理二维输入的网络，也可以是处理三维输入的网络。可以理解为，任意一个层级化的分割模型都可以使用本方法挖掘有标注图像数据和无标注图像数据之间的类别语义一致性，从而利用大量的无标注图像数据信息，使得该分割模型性能有接近于全监督训练的分割模型性能，实现对医疗图像中各个器官的精确分割。

[0046] 在一实施例中，如图2所示，提供了一种类别语义一致性表示的半监督分割模型生成方法，包括如下步骤：

[0047] 在步骤S110中，获取待训练图像数据集，所述待训练图像数据集包括有标注图像数据以及无标注图像数据，所述有标注图像数据的数量小于所述无标注图像数据的数量；

[0048] 在本申请实施例中，该待训练图像数据集可包括大量的无标注图像数据，和少量的无标注图像数据，该图像数据可为医疗图像数据，该有标注图像数据上携带有为人工标注的标签。

[0049] 进一步，参见图1，该有标注图像数据表示为{Xl}和无标注图像数据表示为{Xu}，其标签表示为{Yl}，经过预处理后输入至预设的层级式分割网络中，其中，l、u分别表示数据来源于有标注和无标注的图像数据。该有标注图像数据和无标注图像数据可为非配对医学图像。

[0050] 其中，该有标注图像数据和无标注图像数据可为二维图像数据，或者三维图像数据。

[0051] 在步骤S120中，将所述有标注图像数据以及无标注图像数据输入至预设的层级式分割网络中进行分割处理，以生成多尺度中间特征以及预测分割图；

[0052] 在本申请实施例中，预设的层级式分割网络可包括编码器以及解码器，该编码器与解码器并不局限于一种，即，其可以是Transformer网络，也可以是基于CNN网络。该有标注图像数据以及无标注图像数据首先进行图像增强等预处理后，输入至编码器中，该编码器可包括多个阶段，该图像数据可依次通过多个阶段的编码器处理后，输入至解码器中，该解码器也可包括多个阶段，例如i个阶段，则在前i‑1个阶段中，均可包括一个解码器和一个上采样模块，该有标注图像数据以及无标注图像数据依次通过每个阶段时，通过解码器和上采样模块处理后，每一阶段均可生成有标注图像数据中间特征和无标注图像数据中间特征，从而形成多尺度中间特征。

[0053] 其中，多尺度中间特征是指多个不同尺度的中间特征。可以理解为编码器在前i‑1中的每个阶段生成的一个尺度的中间特征。

[0054] 在解码器中，前三个阶段中的上采样模块用于逐级恢复更高分辨率，并通过跳跃连接融合对应于不同编码器阶段的多尺度特征表示。而最后一个阶段中则设置解码器以及预测层，通过该预测层用来实现来自有、无标注的医学图像的逐像素预测，从而生成最终的分割预测图。

[0055] 在步骤S130中，将所述多个不同尺度的中间特征以及原始语义感知查询输入至预设类别语义感知分割模块中进行注意力操作，以生成多尺度语义感知查询；

[0056] 在本申请实施例中，预设类别语义感知分割模块可以理解为外部注意力模块，同时，为了挖掘不同数据之间的类别语义一致性，引入了可学习的语义感知查询，该语义感知查询旨在学习全局的类别语义表示。该预设类别语义感知分割模块可使得可学习的语义感知查询和多尺度、补丁令牌化后的特征表示进行注意力交互操作。

[0057] 其中，该原始语义感知查询可为预设的分割网络中的网络参数。

[0058] 在本申请一实施例中，多尺度语义感知查询可通过如下方式获取：

[0059] 分别对每一个尺度的有标注图像数据中间特征以及无标注图像数据中间特征进行补丁令牌化处理，以生成多尺度补丁令牌特征表示；

[0060] 在第一尺度上，根据第一多头注意力模块，对所述原始语义感知查询以及第一尺度的补丁令牌特征表示进行注意力交互操作，以生成第一尺度语义感知查询；

[0061] 在第n尺度上，根据第n多头注意力模块，分别对n‑1尺度生成的语义感知查询以及第n尺度的补丁令牌特征表示进行注意力交互操作，以生成第n尺度语义感知查询，所述n≥2。

[0062] 可以理解为，在第一尺度上，根据第一多头注意力模块，对所述原始语义感知查询以及第一尺度的补丁令牌特征表示进行注意力交互操作，以生成第一尺度语义感知查询；在第二尺度上，则根据该第一尺度更新后的第一尺度语义感知查询与第二尺度的补丁令牌特征表示进行注意力交互操作，以生成第二尺度语义感知查询，该第二尺度语义感知查询可作为下一尺度参与注意力交互操作的语义感知查询，直到依次计算至解码器的倒数第二个阶段为止。

[0063] 其中，n≥2，优选地，该n可取值为2和3，则该解码器可包括4个阶段。

[0064] 具体的，参见图1，将语义感知查询表示为Q∈RZ×4C，其中Z代表了类别数量，这里的Q可以对应于图1中六边形。将Q和来自解码器中第一阶段输出的中间特征同时输入到外部Z×4C的类别语义感知分割模块，从而执行多头注意力机制，来生成Q′1∈R 。为了继续与下一阶段的样本特征进行注意力交互操作，通过在Q′1上用一层1×1的一维卷积层，得到了下一Z×2C
个阶段的Q2∈R 。为了递归处理多尺度补丁令牌表示，Qλ在来自解码器中第(λ+1)阶段输出的样本特征输入到外部注意力模块，以获得Q′λ和Qλ+1，其中Qλ是来自第λ阶段的语义感知查询，Q′λ是第λ阶段的更新后的语义感知查询，Qλ+1是准备输送到下一阶段的语义感知查询。在图一中，输出的多尺度语义感知查询表示为 λ∈{1,2,3}。

[0065] 在训练阶段，可控地监督了多尺度语义感知查询的生成。具体的，可学习的语义感知查询和多尺度、补丁令牌化后的特征表示进行注意力交互操作后，除了得到每个阶段更新的语义感知查询，同时还得到了每个阶段输出的注意力系数图 通过给各个注意力系数图添加一个对应的2×2卷积层，将注意力系数图转化为可被监督的多尺度语义感知分割图 这些不同尺度的预测图上采样可得到标注真值的形状
大小，则可以显式地用标注真值来进行监督，从而间接地有效地监督了多尺度类别语义感知查询的生成。

[0066] 其中，多尺度类别语义感知查询是指多个不同尺度的类别语义感知查询，该多尺度语义感知分割图可包括无标注图像数据的多尺度语义感知分割图以及有标注图像数据的多尺度语义感知分割图。

[0067] 上述多尺度语义感知分割图，可通过如下方式获取：

[0068] 在不同尺度上，分别对输入的补丁令牌特征进行注意力操作，以生成多尺度类别语义感知特征图；

[0069] 分别将所述多尺度类别语义感知特征图的维度转换为预设维度；

[0070] 分别将转换为预设维度的多尺度类别语义感知特征图的第二维度去掉，并进行上采样处理，以生成所述多尺度语义感知分割图。

[0071] 参见图3，上述箭头A所指的是有标注图像数据传输过程，而箭头B则是指无标注图像数据的传输过程。以解码器具有4个阶段为例，则前3个阶段的有、无标注图像数据的中间特征都会输入到类别语义感知分割模块中，并先进行补丁令牌化得到使得输入满足注意力模块的输入要求。这个模块
中，多尺度的有、无标注中间特征所经历的操作和最终输出是一样的，但输出的具体用法不相同。因此，为了便于理解，从第一尺度的有标注图像数据的角度进行展开说明：

[0072] 假设输入的特征维度为 是解码器中第一阶段的输出结果，对Fl进行Z×4C
线性投影，以计算外部注意力操作的键和值，则外部注意操作的查询可由Q∈R 来计算：

[0073] q＝QWQ,k＝FWK,v＝FWV,

[0074]

[0075] 其中，WQ,WKWV∈R4C×4C′分别是线性投影的参数矩阵。EA是单头外部注意力操作。dk是q和k的特征维度。softmax(·)表示沿着空间维度的Softmax函数，即 表示在单头外部注意机制下，从第一尺度的输入补丁令牌特征中所提取出的语义感知注意力图。进一步，多头外部注意力机制(MEA)是级联N个独立EA操作并进行投影输出：

[0076] MEA(Q,F)＝Contact(EA1(Q,F),...,EAN(Q,F))Wo

[0077] 其中Contact(·)是级联操作。WO∈R4C×4C′是可学习的参数矩阵， 因此，Q可以通过多头外部注意力机制进行更新：

[0078]

[0079]

[0080] 其中， MLP(·)是多层感知器的缩写。此时保存更新后的类别语义感知查询 此外，为了提取来自下一个尺度的高分辨率补丁令牌语义表示，进一步采用1×1卷积操作将上述 的维度降低到Z×2C从而获得下一个注意力模块的类别语义感知查询输入。通过多头注意力机制从第一尺度的输入补丁令牌特征中所提取得到的类别语义感知特征图，可以表示为 其中，Z是类别数目。为了进一步得到可用于监督多尺度语义感知分割图，可采用2×2卷积操作将上述的A1的维度转换到了
最后再将第二维度去掉，即，将 转换为 并上采样处理后，可得到
1×H×W
标注真值的形状，从而得到了最终的多尺度语义感知分割图Ml1∈R 。

[0081] 在本申请一实施例中，通过所述有标准图像数据的多尺度语义感知分割图监督所述半监督分割模型的训练。即，标注真值可用于对模型进行监督训练，具体如下所示：

[0082]

[0083] 其中，Y表示标注真值：CE表示交叉熵损失函数：DICE表示DICE损失函数。

[0084] 同理，无标注图像数据中间特征输入至类别语义感知分割模块后，也可通过上述注意力操作过程计算得到无标注图像的多尺度类别语义感知特征图

[0085]

[0086] 在步骤S140中，将所述多尺度语义感知查询与各个尺度无标注图像数据中间特征输入至预设类别语义引导分割模块中进行注意力操作，以生成多尺度语义引导分割图；

[0087] 在本申请实施例中，该预设类别语义引导分割模块可为外部注意力模块。其中，多尺度的类别语义感知查询可以和对应尺度的无标注图像数据中间特征进行注意力交互操作，从而使得的相关语义区域得到响应。

[0088] 通过将预设类别语义感知分割模块传递的多尺度的类别语义感知查询作为引导，输入到预设类别语义引导分割模块中与无标注图像数据进行交互，也能得到不同尺度的注意力系数图 给多尺度的注意力系数图Auλ加上对应的2×2卷积层，使其转化成多尺度的类别语义引导分割图 后续可用于一致性正则化训
练，以此方法高效地来利用大量无标注图像数据的类别语义信息。此外，对于分割网络中解Z×H×W
码器的预测层的最终输出{Pl，Pu}∈R ，对有标注图像数据的预测输出来说，显式地用标注真值进行监督训练，具体如下所示：

[0089]

[0090] 其中，Y表示标注真值：CE表示交叉熵损失函数：DICE表示DICE损失函数。

[0091] 具体的，所述多尺度语义引导分割图通过如下方式获取：

[0092] 将所述多尺度语义感知查询，分别与对应尺度的无标注图像数据中间特征进行注意力交互操作；

[0093] 分别对每一尺度下进行注意力交互操作后的特征图进行卷积处理，并去掉第二维度，以生成所述多尺度语义引导分割图。

[0094] 参见图4，该类别语义引导分割模块与类别语义感知分割模块不相同的是，从该模块中传递的多尺度类别语义感知查询与各个尺度无标注图像数据中间特征分别做注意力操作，而不是递归式地更新语义感知查询。其中的注意力机制具体操作与上述类别语义感知分割模块中的操作相同，具体可参考上述注意力操作流程，再此不在赘述。

[0095] 在该类别语义引导分割模块中，多尺度类别语义感知查询用于引导类别语义分割，通过注意力操作使得无标注图像数据中间特征的相关语义区域得到响应，进而可以通过相同的2×2卷积操作、去掉第二维度，则可得到了多尺度语义引导分割图

[0096] 在本申请一实施例中，所述通过预设损失函数对所述多尺度语义引导分割图以及所述层级式分割网络输出的预测分割图进行一致性约束之前，包括：

[0097] 通过第二预设损失函数对所述有标注图像数据多尺度语义感知分割图以及多尺度语义引导分割图进行一致性约束。

[0098] 具体的，类别语义感知分割模块可根据输入的无标注图像，生成无标注图像数据的多尺度类别语义感知特征图 将Muλ的梯度从整个计算图中脱离，并与该M′uλ，通过均方误差MSE进行一致性约束学习，以帮助类别语义引导分割模块能够更充分地利用有标注的数据信息，该一致性约束学习，具体可通过如下公式执行：

[0099]

[0100] 其中，该第二预设损失函数可为均方误差MSE，也可采用其他损失函数。

[0101] 在步骤S150中，通过第一预设损失函数对所述多尺度语义引导分割图以及所述层级式分割网络输出的预测分割图进行一致性约束，以生成半监督分割模型。

[0102] 在本申请实施例中，解码器的最后一个阶段包括预测层，即无标注图像数据以及有标注图像数据经过编码器以及解码器的各个阶段依次处理后，可在解码器的最后一个阶段的预测层中进行分割预测，并输出预测分割图Pu。

[0103] 在获取到预测分割图之后，可进一步执行如下步骤：

[0104] 分别对所述多尺度语义引导分割图以及所述预测分割图进行归一化处理；

[0105] 第一预设损失函数对归一化处理后多尺度语义引导分割图以及层级式分割网络输出的预测分割图进行一致性约束。

[0106] 即，在获取到预测分割图Pu以及多尺度引导分割图M′uλ之后，为了减少半监督模型在训练时过于自信地预测标签的问题，可对预测分割图Pu以及多尺度引导分割图M′uλ进行softmax操作σ(·)，然后在通过第一预设损失函数对多尺度语义引导分割图M′uλ进行一致性约束学习，具体如下所示：

[0107]

[0108] 其中，该第一预设损失函数可为均方误差MSE，也可采用其他损失函数。可通过该一致性约束，对该层级式分割网络进行迭代训练，直到符合分割准确度达到预设值时，例如，90％，则生成半监督分割模块。

[0109] 在本申请实施例中，利用无标注图像在分割网络的最终预测输出，达到了使用大Z×H×W量无标注图像数据参与训练的目的。可以理解为，将所述预测分割图中Pu∈R 的参数梯度从计算图中脱离；通过上采样操作，将所述多尺度语义引导分割图的形状转换为Z×H×Z×H×W
W。该计算图是指参与梯度计算的所有预测分割图，将预测分割图中Pu∈R 的参数梯度Z×H×W
从计算图中脱离是指，该Pu∈R 的参数梯度不参与计算，同时，通过上采样操作将M′uλ的形状都转换成Z×H×W。

[0110] 本申请实施例中，在训练阶段过类别语义感知分割模块可控地监督了多尺度的类别语义感知查询的生成，并同时生成了有标注图像的多尺度语义感知分割图，用于后续能更好地约束类别语义引导分割模块的生成。而类别语义引导分割模块，则是利用多尺度的类别语义感知查询，引导无标注图像数据生成多尺度语义引导分割图，后续与分割网络最终输出的预测分割图做一致性约束学习，起到使用大量无标注图像数据参与训练整个分割网络的目的。并且训练数据仅包含少量的标注医疗图像和大量无标注医疗图像。在实际训练中可以减少对大量有标注图像数据的医疗，仅利用少量的有标注图像数据，实现对医疗图像中各个器官的精确分割。

[0111] 应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

[0112] 在一实施例中，提供一种类别语义一致性表示的半监督分割模型生成系统，该类别语义一致性表示的半监督分割模型生成系统与上述实施例中类别语义一致性表示的半监督分割模型生成方法一一对应。如图5所示，该类别语义一致性表示的半监督分割模型生成系统包括待训练图像数据集获取单元10、分割处理单元20、多尺度语义感知查询生成单元30、多尺度语义引导分割图生成单元40和半监督分割模型生成单元50。各功能模块详细说明如下：

[0113] 待训练图像数据集获取单元10，用于获取待训练图像数据集，所述待训练图像数据集包括有标注图像数据以及无标注图像数据，所述有标注图像数据的数量小于所述无标注图像数据的数量；

[0114] 分割处理单元20，用于将所述有标注图像数据以及无标注图像数据输入至预设的层级式分割网络中进行分割处理，以生成多尺度中间特征以及预测分割图；

[0115] 多尺度语义感知查询生成单元30，用于将所述多尺度中间特征以及原始语义感知查询输入至预设类别语义感知分割模块中进行注意力操作，以生成多尺度语义感知查询；

[0116] 多尺度语义引导分割图生成单元40，用于将所述多尺度语义感知查询与各个尺度无标注图像数据中间特征输入至预设类别语义引导分割模块中进行注意力操作，以生成多尺度语义引导分割图；

[0117] 半监督分割模型生成单元50，用于通过第一预设损失函数对所述多尺度语义引导分割图以及所述预测分割图进行一致性约束，以生成半监督分割模型。

[0118] 在一实施例中，所述多尺度语义感知查询生成单元30，还用于：

[0119] 分别对每一个尺度的有标注图像数据中间特征以及无标注图像数据中间特征进行补丁令牌化处理，以生成多尺度补丁令牌特征表示；

[0120] 在第一尺度上，根据第一多头注意力模块，对所述原始语义感知查询以及第一尺度的补丁令牌特征表示进行注意力交互操作，以生成第一尺度语义感知查询；

[0121] 在第n尺度上，根据第n多头注意力模块，分别对n‑1尺度生成的语义感知查询以及第n尺度的补丁令牌特征表示进行注意力交互操作，以生成第n尺度语义感知查询，所述n≥2。

[0122] 在一实施例中，所述预设类别语义感知分割模块还用于生成多尺度语义感知分割图，所述多尺度语义感知分割图包括无标注图像数据的多尺度语义感知分割图以及有标注图像数据的多尺度语义感知分割图，所述系统还包括：一致性约束单元，用于[0123] 通过第二预设损失函数对所述有标注图像数据的多尺度语义感知分割图以及多尺度语义引导分割图进行一致性约束。

[0124] 在一实施例中，所述多尺度语义感知查询生成单元30，还用于：

[0125] 在不同尺度上，分别对输入的补丁令牌特征进行注意力操作，以生成多尺度类别语义感知特征图；

[0126] 分别将所述多尺度类别语义感知特征图的维度转换为预设维度；

[0127] 分别将转换为预设维度的多尺度类别语义感知特征图的第二维度去掉，并进行上采样处理，以生成所述多尺度语义感知分割图。

[0128] 在于实施例中，所述多尺度语义引导分割图生成单元40，还用于：

[0129] 将各尺度语义感知查询，分别与对应尺度无标注图像数据中间特征进行注意力交互操作；

[0130] 分别对每一尺度下进行注意力交互操作后的特征图进行卷积处理，并去掉第二维度，以生成所述多尺度语义引导分割图。

[0131] 在一实施例中，所述所述多尺度语义引导分割图生成单元40，还用于：

[0132] 通过所述有标准图像数据的多尺度语义感知分割图监督所述半监督分割模型的训练。

[0133] 在一实施例中，所述半监督分割模型生成单元50，还用于：

[0134] 将所述多尺度语义感知查询，分别与对应尺度的无标注图像数据中间特征进行注意力交互操作；

[0135] 分别对每一尺度下进行注意力交互操作后的特征图进行卷积处理，并去掉第二维度，以生成所述多尺度语义引导分割图。

[0136] 本申请实施例中，在训练阶段过类别语义感知分割模块可控地监督了多尺度的类别语义感知查询的生成，并同时生成了无标注图像的多尺度语义感知分割图，用于后续能更好地约束类别语义引导分割模块的生成。而类别语义引导分割模块，则是利用多尺度的类别语义感知查询，引导无标注图像数据生成多尺度语义引导分割图，后续与分割网络最终输出的预测分割图做一致性约束学习，起到使用大量无标注图像数据参与训练整个分割网络的目的。并且训练数据仅包含少量的标注医疗图像和大量无标注医疗图像。在实际训练中可以减少对大量有标注图像数据的医疗，仅利用少量的有标注图像数据，实现对医疗图像中各个器官的精确分割。

[0137] 关于类别语义一致性表示的半监督分割模型生成系统的具体限定可以参见上文中对于类别语义一致性表示的半监督分割模型生成方法的限定，在此不再赘述。上述类别语义一致性表示的半监督分割模型生成系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0138] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质。该可读存储介质存储有计算机可读指令。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种类别语义一致性表示的半监督分割模型生成方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。

[0139] 在一实施例中，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述所述类别语义一致性表示的半监督分割模型生成方法的步骤。

[0140] 在一实施例中，提供了一种可读存储介质，所述可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述类别语义一致性表示的半监督分割模型生成方法的步骤。

[0141] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。

[0142] 作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

[0143] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

[0144] 以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。