基于关键点与尺寸回归的细胞分割方法和装置

摘要

本发明提供一种基于关键点与尺寸回归的细胞分割方法和装置，其中方法包括：对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图；基于所述特征图进行关键点检测与尺寸回归分析，得到关键点信息和所述关键点信息关联的细胞尺寸信息，并基于所述关键点信息和所述关键点信息关联的细胞尺寸信息，确定细胞检测框；其中，任一关键点信息包括对应细胞检测框的关键点的位置信息；基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果。本发明提升了不规则细胞在密集场景下的细胞分割性能。

权利要求

1.一种基于关键点与尺寸回归的细胞分割方法，其特征在于，包括：

对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息；其中，任一关键点信息包括对应细胞检测框的关键点的位置信息和类型；所述细胞尺寸信息表征了关联的关键点信息对应的细胞检测框的尺寸信息；

分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息；其中，任一中心点信息的搜索范围是基于所述任一中心点信息关联的细胞尺寸信息确定得到的；

基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框；

基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果；

所述对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息，具体包括：对待分割细胞图像进行多尺度特征提取，得到各个尺度下的特征图；

将上一尺度的上采样模块输出的上采样特征图与所述上一尺度下的特征图叠加后，输入至当前尺度的上采样模块，得到所述当前尺度的上采样模块输出的上采样特征图；其中，首个上采样模块的输入为最高阶尺度下的特征图；

基于各个尺度的上采样模块输出的上采样特征图进行关键点检测和细胞尺寸回归，得到各个尺度下的关键点信息和所述关键点信息关联的细胞尺寸信息。

2.根据权利要求1所述的基于关键点与尺寸回归的细胞分割方法，其特征在于，所述分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息，具体包括：基于任一中心点信息和所述任一中心点信息关联的细胞尺寸信息，确定所述任一中心点信息的初始搜索框；其中，所述初始搜索框是以所述任一中心点信息为中心、大小与所述任一中心点信息关联的细胞尺寸信息相适应的矩形框；

以所述任一中心点信息的初始搜索框的角点为搜索中心、预设阈值为搜索半径，确定所述任一中心点信息的搜索范围；

在所述任一中心点信息的搜索范围内，基于各个关键点信息的类型，搜索所述任一中心点信息对应的角点信息。

3.根据权利要求1所述的基于关键点与尺寸回归的细胞分割方法，其特征在于，所述基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框，具体包括：基于各个尺度下的各个中心点信息以及所述各个中心点信息对应的角点信息，生成所述各个尺度下的候选检测框；

采用加权的非极大值抑制方法对所述各个尺度下的候选检测框进行融合，得到所述各个尺度下的细胞检测框；其中，越高阶尺度下的候选检测框的权重越大，且置信度越高的候选检测框的权重越大。

4.根据权利要求1所述的基于关键点与尺寸回归的细胞分割方法，其特征在于，所述基于各个尺度的上采样模块输出的上采样特征图进行关键点检测，具体包括：利用关键点预测模块的关键点热图获取分支，对所述各个尺度的上采样模块输出的上采样特征图分别进行关键点检测，得到所述各个尺度下的关键点热图；

利用所述关键点预测模块的偏移量预测分支，基于所述各个尺度的上采样模块输出的上采样特征图，确定所述各个尺度下的关键点偏移量；其中，任一尺度下的关键点偏移量表征所述任一尺度下各个关键点从所述任一尺度下的关键点热图中映射到所述待分割细胞图像时的坐标偏移量；

基于所述各个尺度下的关键点热图和关键点偏移量，确定所述各个尺度下的关键点信息。

5.根据权利要求4所述的基于关键点与尺寸回归的细胞分割方法，其特征在于，所述关键点预测模块在训练时的损失函数包括关键点热图损失和偏移量损失；

其中，所述关键点热图损失表征样本关键点热图的激活结果与基于样本细胞图像的标注结果确定的样本关键点之间的差异；所述样本关键点热图中包含所述偏移量预测分支预测得到的所述样本细胞图像中的关键点；

所述偏移量损失表征所述偏移量预测分支预测得到的样本关键点偏移量的误差。

6.根据权利要求1所述的基于关键点与尺寸回归的细胞分割方法，其特征在于，所述基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果，具体包括：基于任一细胞检测框，对所述各个尺度下的特征图分别进行截取，得到所述各个尺度下的截取特征；

将当前截取融合特征上采样后与对应尺度下的截取特征融合，得到下一截取融合特征；其中，首个截取融合特征为最高阶尺度下的截取特征；

基于最后一个截取融合特征进行细胞掩膜预测，得到所述任一细胞检测框对应的细胞掩膜预测结果；

基于各个细胞检测框对应的细胞掩膜预测结果，确定所述细胞分割结果。

7.根据权利要求6所述的基于关键点与尺寸回归的细胞分割方法，其特征在于，所述细胞分割由细胞分割模块实现；

其中，所述细胞分割模块在训练时的损失函数包括掩膜损失和边缘损失；所述掩膜损失表征所述细胞分割模块预测得到的样本细胞掩膜预测结果与细胞掩膜标注结果之间的差异；所述边缘损失表征样本细胞边缘预测结果与细胞边缘标注结果之间的差异；所述样本细胞边缘预测结果是基于所述样本细胞掩膜预测结果确定的，所述细胞边缘标注结果是基于所述细胞掩膜标注结果确定的。

8.一种基于关键点与尺寸回归的细胞分割装置，其特征在于，包括：

关键点回归单元，用于对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息；其中，任一关键点信息包括对应细胞检测框的关键点的位置信息和类型；

所述细胞尺寸信息表征了关联的关键点信息对应的细胞检测框的尺寸信息；

角点搜索单元，用于分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息；其中，任一中心点信息的搜索范围是基于所述任一中心点信息关联的细胞尺寸信息确定得到的；

检测框生成单元，用于基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框；

细胞分割单元，用于基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果；

所述对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息，具体包括：对待分割细胞图像进行多尺度特征提取，得到各个尺度下的特征图；

将上一尺度的上采样模块输出的上采样特征图与所述上一尺度下的特征图叠加后，输入至当前尺度的上采样模块，得到所述当前尺度的上采样模块输出的上采样特征图；其中，首个上采样模块的输入为最高阶尺度下的特征图；

基于各个尺度的上采样模块输出的上采样特征图进行关键点检测和细胞尺寸回归，得到各个尺度下的关键点信息和所述关键点信息关联的细胞尺寸信息。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于关键点与尺寸回归的细胞分割方法的步骤。

说明书

基于关键点与尺寸回归的细胞分割方法和装置

技术领域

[0001] 本发明涉及图像分割领域，尤其涉及一种基于关键点与尺寸回归的细胞分割方法和装置。

背景技术

[0002] 在医学细胞图像分析中，细胞图像的检测与图像分割是极为重要的一个环节，同时也是对细胞图像进行识别等研究的基本前提。然而，真实细胞图像具有多样性和复杂性，部分情况下细胞图像中会存在多个密集细胞形成的细胞团，而针对密集细胞的细胞图像分割任务会面对更大的困难，容易导致细胞分割结果出现误差。因此，需要一种能够适应密集细胞场景的细胞图像分割方法。

[0003] 目前，针对细胞图像的分割任务中多采用传统的基于锚框（anchor box）的实例分割模型，例如Mask‑RCNN、Pointrend等模型。上述基于锚框的细胞实例分割模型在进行细胞分割时，通常需要预先穷举出潜在目标位置并在对应位置生成锚框，从而基于上述锚框预测目标边界框。然而，当存在大量细胞聚集时，多个细胞之间相互重叠或挤压，而预先穷举出的锚框可能会遗漏细胞团中的部分细胞，导致细胞分割结果中缺失部分细胞。此外，现有的部分anchor‑free的实例分割模型中虽然降低了锚框带来的性能下降，但对于细胞检测框的预测仍然存在不精确的问题，从而导致后期对于细胞检测框的遴选存在困难以及后续针对细胞检测框的细胞分割任务效果欠佳。因此，亟需一种更精确的目标检测框预测方法以应对密集细胞场景下的细胞分割问题。

发明内容

[0004] 本发明提供一种基于关键点与尺寸回归的细胞分割方法和装置，用以解决现有技术中细胞检测框预测准确性欠佳的缺陷。

[0005] 本发明提供一种基于关键点与尺寸回归的细胞分割方法，包括：

[0006] 对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息；其中，任一关键点信息包括对应细胞检测框的关键点的位置信息和类型；所述细胞尺寸信息表征了关联的关键点信息对应的细胞检测框的尺寸信息；

[0007] 分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息；其中，任一中心点信息的搜索范围是基于所述任一中心点信息关联的细胞尺寸信息确定得到的；

[0008] 基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框；

[0009] 基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果。

[0010] 根据本发明提供的一种基于关键点与尺寸回归的细胞分割方法，所述分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息，具体包括：

[0011] 基于任一中心点信息和所述任一中心点信息关联的细胞尺寸信息，确定所述任一中心点信息的初始搜索框；其中，所述初始搜索框是以所述任一中心点信息为中心、大小与所述任一中心点信息关联的细胞尺寸信息相适应的矩形框；

[0012] 以所述任一中心点信息的初始搜索框的角点为搜索中心、预设阈值为搜索半径，确定所述任一中心点信息的搜索范围；

[0013] 在所述任一中心点信息的搜索范围内，基于各个关键点信息的类型，搜索所述任一中心点信息对应的角点信息。

[0014] 根据本发明提供的一种基于关键点与尺寸回归的细胞分割方法，所述对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息，具体包括：

[0015] 对待分割细胞图像进行多尺度特征提取，得到各个尺度下的特征图；

[0016] 将上一尺度的上采样模块输出的上采样特征图与所述上一尺度下的特征图叠加后，输入至当前尺度的上采样模块，得到所述当前尺度的上采样模块输出的上采样特征图；其中，首个上采样模块的输入为最高阶尺度下的特征图；

[0017] 基于各个尺度的上采样模块输出的上采样特征图进行关键点检测和细胞尺寸回归，得到各个尺度下的关键点信息和所述关键点信息关联的细胞尺寸信息。

[0018] 根据本发明提供的一种基于关键点与尺寸回归的细胞分割方法，所述基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框，具体包括：

[0019] 基于各个尺度下的各个中心点信息以及所述各个中心点信息对应的角点信息，生成所述各个尺度下的候选检测框；

[0020] 采用加权的非极大值抑制方法对所述各个尺度下的候选检测框进行融合，得到所述各个尺度下的细胞检测框；其中，越高阶尺度下的候选检测框的权重越大，且置信度越高的候选检测框的权重越大。

[0021] 根据本发明提供的一种基于关键点与尺寸回归的细胞分割方法，所述基于各个尺度的上采样模块输出的上采样特征图进行关键点检测，具体包括：

[0022] 利用关键点预测模块的关键点热图获取分支，对所述各个尺度的上采样模块输出的上采样特征图分别进行关键点检测，得到所述各个尺度下的关键点热图；

[0023] 利用所述关键点预测模块的偏移量预测分支，基于所述各个尺度的上采样模块输出的上采样特征图，确定所述各个尺度下的关键点偏移量；其中，任一尺度下的关键点偏移量表征所述任一尺度下的各个关键点从所述任一尺度下的关键点热图中映射到所述待分割细胞图像时的坐标偏移量；

[0024] 基于所述各个尺度下的关键点热图和关键点偏移量，确定所述各个尺度下的关键点信息。

[0025] 根据本发明提供的一种基于关键点与尺寸回归的细胞分割方法，所述关键点预测模块在训练时的损失函数包括关键点热图损失和偏移量损失；

[0026] 其中，所述关键点热图损失表征样本关键点热图的激活结果与基于样本细胞图像的标注结果确定的样本关键点之间的差异；所述样本关键点热图中包含所述偏移量预测分支预测得到的所述样本细胞图像中的关键点；

[0027] 所述偏移量损失表征所述偏移量预测分支预测得到的样本关键点偏移量的误差。

[0028] 根据本发明提供的一种基于关键点与尺寸回归的细胞分割方法，所述基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果，具体包括：

[0029] 基于任一细胞检测框，对所述各个尺度下的特征图分别进行截取，得到所述各个尺度下的截取特征；

[0030] 将当前截取融合特征上采样后与对应尺度下的截取特征融合，得到下一截取融合特征；其中，首个截取融合特征为最高阶尺度下的截取特征；

[0031] 基于最后一个截取融合特征进行细胞掩膜预测，得到所述任一细胞检测框对应的细胞掩膜预测结果；

[0032] 基于各个细胞检测框对应的细胞掩膜预测结果，确定所述细胞分割结果。

[0033] 根据本发明提供的一种基于关键点与尺寸回归的细胞分割方法，所述细胞分割由细胞分割模块实现；

[0034] 其中，所述细胞分割模块在训练时的损失函数包括掩膜损失和边缘损失；所述掩膜损失表征所述细胞分割模块预测得到的样本细胞掩膜预测结果与细胞掩膜标注结果之间的差异；所述边缘损失表征样本细胞边缘预测结果与细胞边缘标注结果之间的差异；所述样本细胞边缘预测结果是基于所述样本细胞掩膜预测结果确定的，所述细胞边缘标注结果是基于所述细胞掩膜标注结果确定的。

[0035] 本发明还提供一种基于关键点与尺寸回归的细胞分割装置，包括：

[0036] 关键点回归单元，用于对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息；其中，任一关键点信息包括对应细胞检测框的关键点的位置信息和类型；所述细胞尺寸信息表征了关联的关键点信息对应的细胞检测框的尺寸信息；

[0037] 角点搜索单元，用于分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息；其中，任一中心点信息的搜索范围是基于所述任一中心点信息关联的细胞尺寸信息确定得到的；

[0038] 检测框生成单元，用于基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框；

[0039] 细胞分割单元，用于基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果。

[0040] 本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于关键点与尺寸回归的细胞分割方法的步骤。

[0041] 本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于关键点与尺寸回归的细胞分割方法的步骤。

[0042] 本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于关键点与尺寸回归的细胞分割方法的步骤。

[0043] 本发明提供的基于关键点与尺寸回归的细胞分割方法和装置，基于特征图进行关键点检测，得到各个关键点信息和所述关键点信息关联的细胞尺寸信息，再综合利用各个关键点信息和关键点信息关联的细胞尺寸信息，搜索各个中心点信息的角点信息，从而基于中心点信息及其角点信息生成确定相应的细胞检测框，通过细胞尺寸信息，可以对细胞检测框的尺寸进行约束，在约束范围内寻找同属一个细胞检测框的关键点信息，避免在细胞密集时将不同细胞的细胞检测框的关键点混淆造成细胞分割失败，从而提高了细胞检测框预测的准确性，进而根据各个细胞检测框进行细胞分割，提升了密集场景下不规则细胞的细胞分割性能。

附图说明

[0044] 为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0045] 图1是本发明提供的基于关键点与尺寸回归的细胞分割方法的流程示意图；

[0046] 图2是本发明提供的角点搜索方法的示意图；

[0047] 图3是本发明提供的多尺度特征提取方法的示意图；

[0048] 图4是本发明提供的CBAM模块的结构示意图；

[0049] 图5是本发明提供的多尺度关键点回归方法的示意图；

[0050] 图6是本发明提供的细胞分割分支的示意图；

[0051] 图7是本发明提供的分割模型构建方法的流程示意图；

[0052] 图8是本发明提供的分割模型的整体框架示意图；

[0053] 图9是本发明提供的模型效果对比示意图；

[0054] 图10是本发明提供的基于关键点与尺寸回归的细胞分割装置的结构示意图；

[0055] 图11是本发明提供的电子设备的结构示意图。

具体实施方式

[0056] 为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0057] 图1为本发明实施例提供的基于关键点与尺寸回归的细胞分割方法的流程示意图，如图1所示，该方法包括：

[0058] 步骤110，对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息；其中，任一关键点信息包括对应细胞检测框的关键点的位置信息和类型；所述细胞尺寸信息表征了关联的关键点信息对应的细胞检测框的尺寸信息。

[0059] 此处，可以利用图像特征提取网络进行特征提取，获取待分割细胞图像中各细胞的语义信息，得到待分割细胞图像对应的特征图。例如，可以利用卷积神经网络对待分割细胞图像进行多次降采样，并将最后一次降采样输出的最高层特征图作为该图像对应的特征图。此外，在细胞尺寸不一的场景下，还可以采用多尺度特征提取的方式，逐步提取待分割细胞图像中各个尺度下的特征图，以精确提取不同尺寸大小的细胞的语义信息。

[0060] 随后，基于上述特征图进行关键点检测，得到待分割细胞图像中的关键点信息和各关键点信息关联的细胞尺寸信息。其中，任一关键点信息包括对应细胞检测框的关键点的位置信息和类型，此处的关键点包括细胞检测框的中心点和/或角点，关键点具体是中心点还是角点可以通过关键点信息中关键点的类型确定得到。

[0061] 此外，若提取了待分割细胞图像各个尺度下的特征图，还可以分别利用各个尺度下的特征图进行关键点预测，得到各个尺度下的关键点信息。具体而言，可以从最高阶尺度下的特征图开始，逐步融合下一尺度对应的特征图，并在每次特征图融合后基于融合得到的融合特征图进行关键点预测，依次得到由高阶尺度到低阶尺度下的关键点信息。其中，任意一次特征图融合时，可以将从最高阶尺度至当前尺度下的各个特征图中的图像语义信息进行综合，得到当前尺度下的融合特征图，再基于当前尺度下的融合特征图中的图像语义信息进行关键点预测，得到当前尺度下的关键点信息。此处，每一次进行关键点预测时均利用了当前尺度以及之前各尺度下的特征图中的图像语义信息，因此可以适应不同尺寸大小的细胞以及发生形变的细胞的关键点预测，提高了密集细胞场景下关键点预测的准确性和全面性。

[0062] 需要说明的是，可以根据实际应用场景确定是否采用上述多尺度特征提取和多尺度关键点预测方式，本发明实施例对此不作具体限定。若实际应用场景中细胞尺寸相差不大，则可以采用特征提取网络输出的最高层特征图作为待分割细胞图像的特征图，并在该特征图基础上进行关键点预测；若实际应用场景中细胞尺寸相差较大，则可以获取特征提取网络每次降采样得到的各个尺度下的特征图，并分别根据各个尺度下的特征图进行关键点预测，得到各个尺度下的关键点信息。

[0063] 在进行关键点预测时，还可以根据上述特征图进行细胞尺寸回归，确定各个关键点信息关联的细胞尺寸信息，或是根据当前应用场景中细胞的平均尺寸预先设置细胞尺寸信息。其中，细胞尺寸信息反映了其所关联的关键点信息对应的细胞检测框的尺寸。

[0064] 步骤120，分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息；其中，任一中心点信息的搜索范围是基于所述任一中心点信息关联的细胞尺寸信息确定得到的。

[0065] 此处，可以先根据实际应用场景下可能的细胞数量，从各个关键点信息中选取置信度（即为细胞检测框关键点的可能性）较高的若干个关键点信息，作为后续确定细胞检测框的依据。随后，可以利用上述步骤中获得的细胞尺寸信息对细胞检测框进行约束，从而确定同属一个细胞检测框的关键点信息，使得该细胞检测框的尺寸与相应细胞尺寸信息相适应，以提高密集细胞场景下获取的细胞检测框的准确性。具体而言，基于任一关键点信息的类型，确定其中的中心点信息。根据该中心点信息以及该中心点信息关联的细胞尺寸信息，确定该中心点信息的搜索范围，以在该搜索范围内搜索与该中心点同属一个细胞检测框的其他关键点信息。其中，利用该中心点信息关联的细胞尺寸信息划定搜索范围，可以较大限度地将最有可能与该中心点信息同属一个细胞检测框的角点信息囊括在内，并尽可能将属于其他细胞的细胞检测框的角点信息排除在外。

[0066] 随后，分别在各个中心点信息的搜索范围内，以各个中心点信息以外的关键点信息为搜索对象，搜索各个中心点信息对应的角点信息。对于任一中心点信息，可以将其他关键点信息为搜索对象，在该中心点信息的搜索范围内搜寻类型为角点（例如左上关键点和右下关键点）的关键点信息。若搜寻到其他角点信息且同一类型的角点信息大于1个（例如在该搜索范围内搜寻到两个左上关键点），则还可以根据该中心点信息关联的细胞尺寸信息对搜寻到的角点信息进行筛选，得到该中心点信息对应的角点信息。随后，将该中心点信息及其对应的角点信息组合为一个关键点集合，并利用该关键点集合生成对应的细胞检测框。其中，若采用了多尺度的关键点预测方式，在搜索角点时，可以基于任一中心点信息，以该中心点信息对应尺度下的其他关键点信息为搜索对象，搜索该中心点信息的角点信息。

[0067] 此外，也可以直接根据关键点信息中的中心点信息和该中心点信息关联的细胞尺寸信息确定细胞检测框，以提高细胞检测框的获取效率。

[0068] 步骤130，基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框。

[0069] 此处，可以分别基于各个中心点信息和各个中心点信息对应的角点信息，生成一个以各个中心点信息的角点信息（例如左上关键点信息和右下关键点信息）为角点的矩形框，作为各个中心点信息对应的细胞检测框。

[0070] 步骤140，基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果。

[0071] 此处，为避免细胞间的相互干扰，可以分别基于上述各个细胞检测框，在各个细胞检测框的范围内对待分割细胞图像的特征图进行分割，得到各个细胞检测框中的细胞区域，作为待分割细胞图像的细胞分割结果。此外，若采用了多尺度特征提取方案，在进行细胞分割时，还可以采用遍历分割方式，利用各个尺度下的特征图逐一对每个细胞检测框下的潜在细胞区域进行二值化分割，得到待分割细胞图像的细胞分割结果。

[0072] 本发明实施例提供的方法，基于特征图进行关键点检测，得到各个关键点信息和所述关键点信息关联的细胞尺寸信息，再综合利用各个关键点信息和关键点信息关联的细胞尺寸信息，搜索各个中心点信息的角点信息，从而基于中心点信息及其角点信息生成确定相应的细胞检测框，通过细胞尺寸信息，可以对细胞检测框的尺寸进行约束，在约束范围内寻找同属一个细胞检测框的关键点信息，避免在细胞密集时将不同细胞的细胞检测框的关键点混淆造成细胞分割失败，从而提高了细胞检测框预测的准确性，进而根据各个细胞检测框进行细胞分割，提升了密集场景下不规则细胞的细胞分割性能。

[0073] 基于上述实施例，所述分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息，具体包括：

[0074] 基于任一中心点信息和所述任一中心点信息关联的细胞尺寸信息，确定所述任一中心点信息的初始搜索框；其中，所述初始搜索框是以所述任一中心点信息为中心、大小与所述任一中心点信息关联的细胞尺寸信息相适应的矩形框；

[0075] 以所述任一中心点信息的初始搜索框的角点为搜索中心、预设阈值为搜索半径，确定所述任一中心点信息的搜索范围；

[0076] 在所述任一中心点信息的搜索范围内，基于各个关键点信息的类型，搜索所述任一中心点信息对应的角点信息。

[0077] 具体地，如图2所示，针对任一中心点信息，可以基于该中心点信息及其关联的细胞尺寸信息，划定以该中心点信息为中心的初始搜索框（如图2中虚线框所示，该中心点信息为虚线框的中心点），该初始搜索框的大小与该中心点信息关联的细胞尺寸信息相适应。通常情况下，该中心点信息对应的角点信息应当在该初始搜索框角点处或该初始搜索框角点附近。因此，可以以该中心点信息的初始搜索框的角点为搜索中心、以预设阈值为搜索半径，确定该中心点信息的搜索范围（如图2中左上角和右下角的实线框）。此处，搜索半径的大小可以依据细胞密集程度设定，细胞越密集，该搜索半径可以设置得越小，以避免将过多其他细胞的细胞检测框的角点囊括到搜索范围内。

[0078] 随后，在该中心点信息的搜索范围内，基于其他关键点信息的类型，搜索该中心点信息对应的角点信息。具体而言，对于该中心点信息的任一搜索范围，可以在该搜索范围内，以其他关键点信息为搜索对象，根据其他关键点信息的类型，搜索与该搜索范围的中心点类型相同（例如都为左上角点或右下角点）且与该搜索范围的中心点距离最近的角点信息，从而提高据此获得的细胞检测框的精确性，尤其是在密集细胞场景下，可以获取各个细胞对应的最合适的细胞检测框。如图2所示，假设关键点信息中包含类型为左上角点的 和，以及类型为右下角点的 和 。以右下角的搜索范围为例，由于该搜索范围的中心点为初始搜索框的右下角点，因此可以在同一尺度对应的关键点信息中搜寻位于该搜索范围内且距离该搜索范围中心点最近的右下角点，即 。

[0079] 基于上述任一实施例，所述对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息，具体包括：

[0080] 对待分割细胞图像进行多尺度特征提取，得到各个尺度下的特征图；

[0081] 将上一尺度的上采样模块输出的上采样特征图与所述上一尺度下的特征图叠加后，输入至当前尺度的上采样模块，得到所述当前尺度的上采样模块输出的上采样特征图；其中，首个上采样模块的输入为最高阶尺度下的特征图；

[0082] 基于各个尺度的上采样模块输出的上采样特征图进行关键点检测和细胞尺寸回归，得到各个尺度下的关键点信息和所述关键点信息关联的细胞尺寸信息。

[0083] 具体地，可以构建多尺度特征提取网络实现针对待分割细胞图像的多尺度特征提取。其中，多尺度特征提取网络可以通过多种骨干网络实现，例如包括Unet的基本编码器、Resnet、DLAnet、Densenet、Imagenet和Efficientnet等。如图3所示，多尺度特征提取网络通过3‑5级的降采样过程，逐步获取不同尺度下的特征图。不同尺度下的特征图中包含有不同程度的图像语义信息，越高阶尺度对应的特征图中具有越丰富的高级语义信息，例如类别信息，而越低阶尺度对应的特征图中具有越丰富的低级语义信息，例如位置信息。

[0084] 因此，可以利用多个尺度对应的特征图进行后续的关键点预测操作和细胞分割操作，以综合上述不同尺度对应的特征图中包含的信息，从而更精确地捕获不同尺寸的细胞并进行分割。此外，在上述骨干网络中可以融合CBAM注意力机制，例如，可以在每个Resnet Block中集成的CBAM（Convolutional Block Attention Module，卷积模块的注意力机制模块）模块，以提升特征提取的准确性。其中，每个Resnet Block中集成的CBAM模块如图4所示。

[0085] 如图5所示，将多尺度特征提取网络最后一层输出的最高阶尺度对应的特征图（1024*64*64）输入至首个上采样模块（即最高阶尺度的上采样模块），首个上采样模块对该特征图进行上采样，将该特征图扩大一倍后，输出上采样特征图，再将该上采样特征图与相同尺度下的特征图（512*128*128）叠加，将叠加结果作为下一尺度的上采样模块的输入，以获得下一较低尺度的上采样模块输出的上采样特征图。以此类推，可以依次获得各个尺度的上采样模块输出的上采样特征图。

[0086] 针对每个尺度的上采样模块输出的上采样特征图，可以将其输入至关键点预测模块，利用多个回归头进行细胞检测框的关键点检测以及细胞尺寸回归，从而得到各个尺度下的关键点信息和各关键点信息关联的细胞尺寸信息。

[0087] 此处，由于细胞图像中细胞大小不会完全一致，尤其是密集细胞场景下，存在细胞之间相互挤压、细胞会发生形变等问题，因此各个细胞的尺寸会有所差异。考虑到细胞尺寸信息是确定细胞检测框的关键信息，因此可以通过对各个尺度下的关键点信息进行回归计算，确定各个关键点信息关联的细胞尺寸信息，使得细胞尺寸信息能够更精确地反映各个关键点信息对应的细胞的尺寸大小，从而提高据此确定的细胞检测框的准确性。根据上述获得的各个尺度下的关键点信息和关键点信息关联的细胞尺寸信息，可以通过基于细胞尺寸信息确定的距离规则将同一尺度下的多个关键点信息（包括但不限于中心点，左上角点和右下角点等）组合成多个关键点集合，并通过各个关键点集合分别生成对应的细胞检测框。

[0088] 基于上述任一实施例，所述基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框，具体包括：

[0089] 基于各个尺度下的各个中心点信息以及所述各个中心点信息对应的角点信息，生成所述各个尺度下的候选检测框；

[0090] 采用加权的非极大值抑制方法对所述各个尺度下的候选检测框进行融合，得到所述各个尺度下的细胞检测框；其中，越高阶尺度下的候选检测框的权重越大，且置信度越高的候选检测框的权重越大。

[0091] 具体地，由于利用上述搜索方式获得的不同尺度下的细胞检测框之间可能存在重叠，对此，可以根据上述各个尺度下的各个中心点信息以及各个中心点信息对应的角点信息的配对，生成各个尺度下各个中心点信息对应的候选检测框，然后对上述候选检测框进行筛选。此处，可以采用非极大值抑制（Non‑maximum Suppression, NMS）方法对各个尺度下的候选检测框进行筛选。为了进一步提高筛选出的细胞检测框的准确性，还可以采用一种加权的NMS方法来进行候选检测框的融合和筛选，以得到更精确的细胞检测框。具体而言，在非极大值抑制方法中，可以对各个候选检测框设置相应的权重，任一细胞检测框的权重越大，该细胞检测框被选中留下的可能性越高，相反地，任一细胞检测框的权重越小，该细胞检测框越有可能被滤除。

[0092] 此处，在为各个候选检测框设置权重时，越高阶尺度的候选检测框的权重可以设置得越大，但是也可以将各个尺度下的候选检测框的权重设为一致。其中，基于越高阶尺度的上采样特征图确定的关键点信息和细胞尺寸信息，并基于该关键点信息和细胞尺寸信息进行焦点搜索从而确定的候选检测框中运用的图像语义信息更高级、更丰富，因此其准确性可能更高，权值也可以相应设置得更大。另外，置信度越高的候选检测框的权重越大。其中，候选检测框的置信度可以基于该候选检测框内关键点热图的能量值确定得到。例如，可采用如下公式从候选检测框中筛选细胞检测框：

[0093]

[0094] 其中，bi是指对于同一个对象所形成的多个候选检测框（包括不同尺度）各自的热图均值，wi是指每一个候选检测框所对应的权重，bpre则是取wi*bi最大值对应的候选检测框作为该对象的细胞检测框。

[0095] 基于上述任一实施例，所述基于各个尺度的上采样模块输出的上采样特征图进行关键点检测，具体包括：

[0096] 利用关键点预测模块的关键点热图获取分支，对所述各个尺度的上采样模块输出的上采样特征图分别进行关键点检测，得到所述各个尺度下的关键点热图；

[0097] 利用所述关键点预测模块的偏移量预测分支，基于所述各个尺度的上采样模块输出的上采样特征图，确定所述各个尺度下的关键点偏移量；其中，任一尺度下的关键点偏移量表征所述任一尺度下的各个关键点从所述任一尺度下的关键点热图中映射到所述待分割细胞图像时的坐标偏移量；

[0098] 基于所述各个尺度下的关键点热图和关键点偏移量，确定所述各个尺度下的关键点信息。

[0099] 具体地，可以将关键点检测任务分为两个分支进行，即关键点热图获取分支和偏移量预测分支。其中，关键点热图获取分支用于对上述各个尺度的上采样模块输出的上采样特征图分别进行关键点检测，得到上述各个尺度下的关键点热图。其中，关键点热图中可以根据关键点类型分通道存储各个关键点，例如可以将中心点、左上角点和右上角点分通道存储，以便于后续操作中识别各个关键点的类型。

[0100] 另外，偏移量预测分支用于基于上述各个尺度的上采样模块输出的上采样特征图，确定上述各个尺度下的关键点偏移量；其中，任一尺度下的关键点偏移量表征该尺度下各个关键点从该尺度下的关键点热图中映射到待分割细胞图像时的坐标偏移量。基于上述各个尺度下的关键点热图和关键点偏移量，即可计算得到各个尺度下的关键点在待分割细胞图像中的位置，得到上述各个尺度下的关键点信息。

[0101] 基于上述任一实施例，所述关键点预测模块在训练时的损失函数包括关键点热图损失和偏移量损失；

[0102] 其中，所述关键点热图损失表征样本关键点热图的激活结果与基于样本细胞图像的标注结果确定的样本关键点之间的差异；所述样本关键点热图中包含所述偏移量预测分支预测得到的所述样本细胞图像中的关键点；

[0103] 所述偏移量损失表征所述偏移量预测分支预测得到的样本关键点偏移量的误差。

[0104] 具体地，为了约束关键点的形成，在训练关键点预测模块时，可以采用关键点热图损失和偏移量损失分别对关键点热图获取分支和偏移量预测分支进行约束。其中，关键点热图损失表征样本关键点热图的激活结果与基于样本细胞图像的标注结果确定的样本关键点之间的差异。例如，关键点热图损失可以采用BCE loss，按照如下公式将预测的关键点热图经Sigmoid激活后的结果和GroundTruth进行约束：

[0105]

[0106] 其中，yi是指像素点i的Ground Truth（GT），ŷi是指像素点i的预测值。这里GT的生成是基于细胞标注首先形成GT Bbox，从而形成三个关键点坐标，基于坐标进一步生成直径为r的圆，以该圆在不同尺度下的重采样作为为各尺度下的关键点热图获取分支的GT。

[0107] 偏移量损失表征所述偏移量预测分支预测得到的样本关键点偏移量的误差，可以用于消除离散化带来的误差。偏移量损失可以采用如下公式计算得到：

[0108]

[0109] 其中，偏移量损失仅把关键点所在位置的偏移量误差算入，而不计算其他位置的偏移量误差。N为细胞数量，p为关键点的绝对位置， 为关键点在不同尺度下的量化位置，为偏移量预测值，该loss实质上可以是L1 loss。

[0110] 对于细胞尺寸信息的约束（细胞的尺寸可以是细胞的长和宽），同样可以采用L1 loss类型构建，通过GT的Bbox计算出的细胞的长宽尺寸作为每个细胞的尺寸，从而约束回归出来的细胞尺寸信息 :

[0111]

[0112] 其中，sk为第k个细胞的细胞实际尺寸； 为第k个细胞的最大横坐标， 为第k个细胞的最小横坐标， 为第k个细胞的长； 为第k个细胞的最大纵坐标， 为第k个细胞的最小纵坐标， 为第k个细胞的宽；lsize为回归出的细胞尺寸信息与细胞实际尺寸之间差异的平均值。

[0113] 基于上述任一实施例，所述基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果，具体包括：

[0114] 基于任一细胞检测框，对所述各个尺度下的特征图分别进行截取，得到所述各个尺度下的截取特征；

[0115] 将当前截取融合特征上采样后与对应尺度下的截取特征融合，得到下一截取融合特征；其中，首个截取融合特征为最高阶尺度下的截取特征；

[0116] 基于最后一个截取融合特征进行细胞掩膜预测，得到所述任一细胞检测框对应的细胞掩膜预测结果；

[0117] 基于各个细胞检测框对应的细胞掩膜预测结果，确定所述细胞分割结果。

[0118] 具体地，为避免细胞间的相互干扰，可以基于上述各个细胞检测框对各个尺度下的特征图进行细胞分割。如图6所示，可以根据任一细胞检测框（Cell Bbox）来对各个尺度下的特征图（F0 F4）分别进行特征截取，得到各个尺度下的截取特征。从最高阶尺度下的特~征图（F4）的截取特征开始，将该截取特征上采样后与对应尺度下的截取特征融合，得到首个截取融合特征。再将该首个截取融合特征上采样后与对应尺度下的截取特征融合，得到下一个截取融合特征。以此类推，直至与最后一个尺度对应的截取特征融合，得到最后一个截取融合特征。

[0119] 例如，可以将最高阶尺度下的特征图（F4）的截取特征进行一个卷积核为3*3的反卷积，并通过上采样将层数从1024降为512，进而和次高阶尺度下的特征图（F3）的截取向量拼接后通过卷积核为1*1的二维卷积获取新的截取融合向量（512*X2*Y2）；依次进行上述操作，直到将最低阶尺度对应的特征图（F0）的截取特征进行拼接后，通过一个3*3卷积核的整理，获取最终的截取融合特征。

[0120] 基于最终的截取融合特征进行细胞掩膜预测，可以得到该细胞检测框对应的细胞掩膜预测结果。例如，可以利用Sigmoid函数对最终的截取融合特征进行激活，获取该细胞检测框对应的细胞掩膜预测结果。

[0121] 基于上述任一实施例，所述细胞分割由细胞分割模块实现；

[0122] 其中，所述细胞分割模块在训练时的损失函数包括掩膜损失和边缘损失；所述掩膜损失表征所述细胞分割模块预测得到的样本细胞掩膜预测结果与细胞掩膜标注结果之间的差异；所述边缘损失表征样本细胞边缘预测结果与细胞边缘标注结果之间的差异；所述样本细胞边缘预测结果是基于所述样本细胞掩膜预测结果确定的，所述细胞边缘标注结果是基于所述细胞掩膜标注结果确定的。

[0123] 具体地，上述细胞分割操作可由细胞分割模块来实现。该细胞分割模块在训练时的损失函数包括掩膜损失和边缘损失。其中，掩膜损失表征细胞分割模块预测得到的样本细胞掩膜预测结果与细胞掩膜标注结果之间的差异。该损失可以通过细胞分割模块预测的样本细胞掩膜预测结果与GroundTruth来形成对细胞区域的约束。例如，可以通过基于BCE loss和Dice loss对细胞的掩膜进行约束。

[0124] 对于边缘较为重要的场景，还可以进一步采用边缘关注（Edge‑aware）分割，通过对样本细胞掩膜预测结果与细胞掩膜标注结果分别进行边缘提取后(例如通过sobel算子、梯度算子等进行边缘提取)，通过边缘损失（例如Housdorff loss）对边缘进行进一步约束。其中，边缘损失表征样本细胞边缘预测结果与细胞边缘标注结果之间的差异，可以用于优化细胞分割模块对细胞边缘的分割效果，提升边缘敏感场景下的细胞分割效果。

[0125] 基于上述任一实施例，基于关键点与尺寸回归的细胞分割方法可以由基于多尺度关键点回归的分割模型实现，如图7所示，该模型的构建过程包括：

[0126] S1.数据收集、清理与标注

[0127] 包括数据的收集、清理和标注。数据收集过程中可采集200例数据，每例数据包含大约100张视野，每个视野下有15层显微图像。清理主要是对于图像质量的把控，确保图像完整，清晰度达标，可以通过人为参考具体的质控标准进行遴选。标注需要实现细胞像素级标注，可以基于Labelme框架实现。此外，还可将数据集划分为训练集、测试集和验证集，从图像数量上按照8:1:1的比例来进行。

[0128] S2.数据前处理与标准化

[0129] 数据前处理主要包括图像直方图均衡化，重采样（从2048降采样到1024）和标准化。如果视野尺寸更大的话，将采用滑窗分割模式来进行。

[0130] S3.模型构建

[0131] 模型构建环境采用了Python 3.7, Pytorch 1.2框架，主要软件包涉及Numpy，Pandas，Skimage等。硬件环境为DGX station，采用了4块Nvidia GTX 1080 Ti。模型整体框架如图8所示，包括：

[0132] 1.多尺度特征提取网络构建，可以通过多种骨干网络来获取不同尺度下的特征图(E1、E2、E3和E4)。

[0133] 2.多尺度关键点回归网络构建，结合同尺度特征图通过多个层级的上采样卷积模块，得到各尺度下的上采样特征图（D1、D2、D3和D4）并预测多尺度下多个关键点热图（包括但不限于中心点），同时通过两个回归头（regression heads）分别获取各关键点的预测偏移量和相应细胞的尺寸。

[0134] 3.候选检测框Bbox生成

[0135] 采用两阶段的Bbox生成机制，第一阶段，各尺度下分别根据关键点的预测值进行排名后选取一定的数量（如，KP1下选取前150个关键点，该数量由场景下细胞的可能数量决定）；第二阶段，通过遍历的方式形成三关键点的配对，这里首先确定当前的中心点，而后根据该中心点回归出的细胞尺寸确定左上和右下点位置，最后，根据该细胞尺寸自适应的确定搜索范围，在搜索范围内如果存在左上和右下关键点，则给予保留，并形成一个三关键点配对。最终根据三关键配对，生成最终的Bbox。

[0136] 4.基于加权NMS的多尺度下Bbox的遴选

[0137] 这里可以采用加权的NMS方法，其中尺度越高的特征图中选择的Bbox的权重越高，特征图的置信度越高的Bbox的权重越高。

[0138] 5.细胞分割模块构建

[0139] 细胞分割模块根据前面所获取的任一细胞检测框来对各尺度下的特征图分别进行特征截取，得到各尺度下的截取特征（C1、C2、C3和C4）；从最高阶尺度下的截取特征（C4、S4）开始，首先将该特征向量进行一个卷积核为3*3的反卷积，并将层数从1024降为512，进而和次高阶尺度下的截取特征（C3）进行并接后通过卷积核为1*1的二维卷积获取新的截取融合特征（S3）；依次进行上述操作，直到将最低阶尺度下的截取特征（C1）进行并接后，通过一个3*3卷积核的整理，获取最终的截取融合特征（S1）并经过Sigmoid函数激活后，获取该细胞检测框对应的细胞掩膜预测结果。

[0140] 6.模型构建完成后，在进行大规模数据训练之前，可以采用一个较小的数据集来进行模型的预训练，确保模型的各模块尺寸和场景相符合，并对于各超参数有个初步的设置，确保模型能够收敛。

[0141] S4.模型调优训练与模型选择

[0142] 模型构建完成后，需要通过训练来使得模型中的各参数获取一个场景下的最优值。在训练时，在一个epoch内，分为两步，第一步是根据细胞的掩膜信息提取的bbox和中心点以及各对应关键点信息对关键点分支进行约束，第二步是将细胞的掩膜信息和其提取的bbox做为细胞分割分支的输入以训练分割分支。

[0143] 训练时，需要对于各超参数进行选择和调优，如优化器，学习率曲线，以及图像的尺寸和batch的大小等，以确保模型的训练过程避免出现过拟合和欠拟合。为了避免过拟合，可以对数据集进行了动态的图像增广。为避免欠拟合，可以采用更复杂的骨架网络。除此之外，也要考虑本地的计算资源，是否采用多GPU并行计算，以及原始图像是否过大，是否需要采用分割滑窗训练等。

[0144] 建立模型的评价指标，可以采用mAP和mIoU做为评价指标。例如，可以采用boundary IoU做为细胞边缘精细分割的评价指标。通过不断检测在测试集上的指标表现，可以实现在一定的训练次数后，选择指标表现最好的那个模型做为最终应用模型。优选的，为提升模型的泛化能力，可以考虑采用多倍交叉验证，可以把数据集的训练集进一步划分成若干个训练与调优集，最终通过模型合并（model assembling）获取一个更为鲁棒和泛化的模型。

[0145] 以上模型训练过程可在Pytorch框架下实现。

[0146] S5.模型应用与细胞分割

[0147] 模型在应用时和训练时不同，分为三步来完成模型的推断，第一步首先通过多尺度关键点回归网络获取Bbox列表，第二步通过加权NMS完成Bbox的合并与提取形成最终的细胞检测框，第三步则是基于最终的细胞检测框通过细胞分割模块完成细胞的实例分割，形成最终的输出。

[0148] 为确保模型在应用时的性能，完成部署后，在实际应用中需要确保网络输入图像和训练时采用的图像前处理相同，最终完成实际场景中各个图像的细胞分割。

[0149] 采用测试数据集（174例）进行评估，本发明实施例提供的模型与Mask‑RCNN实例分割网络的效果对比如图9所示，本模型（图9右侧）的表现要优于Mask‑RCNN实例分割网络（图9左侧），二者的主要指标对比如表1所示：

[0150] 表1 主要指标对比

[0151]Mask‑ RCNN Ours
mIoU 0.86389 0.8929
Boundary_mIoU 0.29082 0.40291

[0152] 基于上述任一实施例，图10为本发明实施例提供的基于关键点与尺寸回归的细胞分割装置的结构示意图，如图10所示，该装置包括：关键点回归单元1010、角点搜索单元1020、检测框生成单元1030和细胞分割单元1040。

[0153] 关键点回归单元，用于对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息；其中，任一关键点信息包括对应细胞检测框的关键点的位置信息和类型；所述细胞尺寸信息表征了关联的关键点信息对应的细胞检测框的尺寸信息；

[0154] 角点搜索单元，用于分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息；其中，任一中心点信息的搜索范围是基于所述任一中心点信息关联的细胞尺寸信息确定得到的；

[0155] 检测框生成单元，用于基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框；

[0156] 细胞分割单元，用于基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果。

[0157] 本发明实施例提供的装置，基于特征图进行关键点检测，得到各个关键点信息和所述关键点信息关联的细胞尺寸信息，再综合利用各个关键点信息和关键点信息关联的细胞尺寸信息，搜索各个中心点信息的角点信息，从而基于中心点信息及其角点信息生成确定相应的细胞检测框，通过细胞尺寸信息，可以对细胞检测框的尺寸进行约束，在约束范围内寻找同属一个细胞检测框的关键点信息，避免在细胞密集时将不同细胞的细胞检测框的关键点混淆造成细胞分割失败，从而提高了细胞检测框预测的准确性，进而根据各个细胞检测框进行细胞分割，提升了密集场景下不规则细胞的细胞分割性能。

[0158] 基于上述任一实施例，所述分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息，具体包括：

[0159] 基于任一中心点信息和所述任一中心点信息关联的细胞尺寸信息，确定所述任一中心点信息的初始搜索框；其中，所述初始搜索框是以所述任一中心点信息为中心、大小与所述任一中心点信息关联的细胞尺寸信息相适应的矩形框；

[0160] 以所述任一中心点信息的初始搜索框的角点为搜索中心、预设阈值为搜索半径，确定所述任一中心点信息的搜索范围；

[0161] 在所述任一中心点信息的搜索范围内，基于各个关键点信息的类型，搜索所述任一中心点信息对应的角点信息。

[0162] 基于上述任一实施例，所述对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息，具体包括：

[0163] 对待分割细胞图像进行多尺度特征提取，得到各个尺度下的特征图；

[0164] 将上一尺度的上采样模块输出的上采样特征图与所述上一尺度下的特征图叠加后，输入至当前尺度的上采样模块，得到所述当前尺度的上采样模块输出的上采样特征图；其中，首个上采样模块的输入为最高阶尺度下的特征图；

[0165] 基于各个尺度的上采样模块输出的上采样特征图进行关键点检测和细胞尺寸回归，得到各个尺度下的关键点信息和所述关键点信息关联的细胞尺寸信息。

[0166] 基于上述任一实施例，所述基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框，具体包括：

[0167] 基于各个尺度下的各个中心点信息以及所述各个中心点信息对应的角点信息，生成所述各个尺度下的候选检测框；

[0168] 采用加权的非极大值抑制方法对所述各个尺度下的候选检测框进行融合，得到所述各个尺度下的细胞检测框；其中，越高阶尺度下的候选检测框的权重越大，且置信度越高的候选检测框的权重越大。

[0169] 基于上述任一实施例，所述基于各个尺度的上采样模块输出的上采样特征图进行关键点检测，得到各个尺度对应的关键点信息，具体包括：

[0170] 利用关键点预测模块的关键点热图获取分支，对所述各个尺度的上采样模块输出的上采样特征图分别进行关键点检测，得到所述各个尺度下的关键点热图；

[0171] 利用所述关键点预测模块的偏移量预测分支，基于所述各个尺度的上采样模块输出的上采样特征图，确定所述各个尺度下的关键点偏移量；其中，任一尺度下的关键点偏移量表征所述任一尺度下各个关键点从所述任一尺度下的关键点热图中映射到所述待分割细胞图像时的坐标偏移量；

[0172] 基于所述各个尺度下的关键点热图和关键点偏移量，确定所述各个尺度下的关键点信息。

[0173] 基于上述任一实施例，所述关键点预测模块在训练时的损失函数包括关键点热图损失和偏移量损失；

[0174] 其中，所述关键点热图损失表征样本关键点热图的激活结果与基于样本细胞图像的标注结果确定的样本关键点之间的差异；所述样本关键点热图中包含所述偏移量预测分支预测得到的所述样本细胞图像中的关键点；

[0175] 所述偏移量损失表征所述偏移量预测分支预测得到的样本关键点偏移量的误差。

[0176] 基于上述任一实施例，所述基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果，具体包括：

[0177] 基于任一细胞检测框，对所述各个尺度下的特征图分别进行截取，得到所述各个尺度下的截取特征；

[0178] 将当前截取融合特征上采样后与对应尺度下的截取特征融合，得到下一截取融合特征；其中，首个截取融合特征为最高阶尺度下的截取特征；

[0179] 基于最后一个截取融合特征进行细胞掩膜预测，得到所述任一细胞检测框对应的细胞掩膜预测结果；

[0180] 基于各个细胞检测框对应的细胞掩膜预测结果，确定所述细胞分割结果。

[0181] 基于上述任一实施例，所述细胞分割由细胞分割模块实现；

[0182] 其中，所述细胞分割模块在训练时的损失函数包括掩膜损失和边缘损失；所述掩膜损失表征所述细胞分割模块预测得到的样本细胞掩膜预测结果与细胞掩膜标注结果之间的差异；所述边缘损失表征样本细胞边缘预测结果与细胞边缘标注结果之间的差异；所述样本细胞边缘预测结果是基于所述样本细胞掩膜预测结果确定的，所述细胞边缘标注结果是基于所述细胞掩膜标注结果确定的。

[0183] 图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)
1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行基于关键点与尺寸回归的细胞分割方法，该方法包括：对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息；其中，任一关键点信息包括对应细胞检测框的关键点的位置信息和类型；所述细胞尺寸信息表征了关联的关键点信息对应的细胞检测框的尺寸信息；分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息；其中，任一中心点信息的搜索范围是基于所述任一中心点信息关联的细胞尺寸信息确定得到的；基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框；基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果。

[0184] 此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read‑Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

[0185] 另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于关键点与尺寸回归的细胞分割方法，该方法包括：对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息；其中，任一关键点信息包括对应细胞检测框的关键点的位置信息和类型；所述细胞尺寸信息表征了关联的关键点信息对应的细胞检测框的尺寸信息；分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息；其中，任一中心点信息的搜索范围是基于所述任一中心点信息关联的细胞尺寸信息确定得到的；基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框；基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果。

[0186] 又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于关键点与尺寸回归的细胞分割方法，该方法包括：对待分割细胞图像进行特征提取，得到所述待分割细胞图像对应的特征图，并基于所述特征图进行关键点检测，得到关键点信息和所述关键点信息关联的细胞尺寸信息；其中，任一关键点信息包括对应细胞检测框的关键点的位置信息和类型；所述细胞尺寸信息表征了关联的关键点信息对应的细胞检测框的尺寸信息；分别在所述关键点信息中各个中心点信息的搜索范围内，以所述中心点以外的关键点信息为搜索对象，搜索所述各个中心点信息对应的角点信息；其中，任一中心点信息的搜索范围是基于所述任一中心点信息关联的细胞尺寸信息确定得到的；基于所述各个中心点信息以及所述各个中心点信息对应的角点信息，生成细胞检测框；基于所述细胞检测框，对所述特征图进行细胞分割，得到所述待分割细胞图像的细胞分割结果。

[0187] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

[0188] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

[0189] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。