图像标注的方法、基于病理图像的标注展示方法及装置

摘要

本申请公开了一种基于人工智能的图像标注方法，该方法应用于智能医疗领域，该方法包括：获取待标注图像，待标注图像为待标注的病理图像；从已标注图像集合中获取已标注图像，已标注图像为已经标注的病理图像；将待标注图像与已标注图像进行匹配，得到仿射变换矩阵；根据仿射变换矩阵以及已标注图像生成待标注图像的标注信息。本申请公开了一种基于人工智能的的病理图像标注展示方法及装置。本申请可以将不同倍率下的图像所对应的标注进行迁移，比如可以将低倍率图像的标注迁移到高倍率图像上，从而减少了人工标注量，避免重复标注的情况，进而提升标注效率，降低人工成本。

权利要求

1.一种图像标注的方法，其特征在于，包括：获取待标注图像，其中，所述待标注图像对应于第一放大倍率，所述待标注图像为待标注的病理图像；

从已标注图像集合中获取已标注图像，其中，所述已标注图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注图像集合包括至少一个已经标注的图像，所述已标注图像为已经标注的病理图像；

将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵；

根据所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息；所述将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵，包括：根据所述待标注图像获取模板区域；

根据所述已标注图像获取搜索区域，其中，所述搜索区域的尺寸大于所述模板区域的尺寸；

将所述模板区域与所述搜索区域进行匹配，得到特征点匹配结果；

根据所述匹配结果计算得到所述仿射变换矩阵。

2.根据权利要求1所述的方法，其特征在于，所述从已标注图像集合中获取已标注图像，包括：从所述已标注图像集合中获取第一已标注图像以及第二已标注图像；

所述将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵，包括：将所述待标注图像与所述第一已标注图像进行匹配，得到第一仿射变换矩阵；

将所述待标注图像与所述第二已标注图像进行匹配，得到第二仿射变换矩阵；

所述根据所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息，包括：根据所述第一仿射变换矩阵以及所述第一已标注图像，生成所述待标注图像的第一标注信息；

根据所述第二仿射变换矩阵以及所述第二已标注图像，生成所述待标注图像的第二标注信息；

根据所述第一标注信息以及所述第二标注信息，生成所述待标注图像的标注信息。

3.根据权利要求1所述的方法，其特征在于，所述从已标注图像集合中获取已标注图像，包括：从所述已标注图像集合中获取多个已标注图像，其中，所述多个已标注图像具有重叠部分；

所述将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵，包括：对所述多个已标注图像进行拼接处理，得到待匹配图像；

将所述待标注图像与所述待匹配图像进行匹配，得到所述仿射变换矩阵；

所述根据所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息，包括：根据所述仿射变换矩阵以及所述待匹配图像生成所述待标注图像的标注信息。

4.根据权利要求1所述的方法，其特征在于，所述从已标注图像集合中获取已标注图像之前，所述方法还包括：获取目标标注区域；

根据所述目标标注区域获取多个待处理图像，其中，所述多个待处理图像包括所述待标注图像以及M个可标注图像，所述M为大于或等于1的整数；

接收所述M个可标注图像中每个可标注图像所对应的标注信息；

根据所述每个可标注图像所对应的标注信息，生成所述已标注图像集合，其中，所述所述已标注图像集合包括M个已经标注的图像。

5.根据权利要求4所述的方法，其特征在于，所述接收所述M个可标注图像中每个可标注图像所对应的标注信息，包括：接收图像标注指令，其中，所述图像标注指令携带可标注图像的标识；

根据所述图像标注指令对所述可标注图像进行标注，得到所述可标注图像所对应的标注信息。

6.根据权利要求1所述的方法，其特征在于，所述将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵，包括：获取所述待标注图像的第一特征点集合，其中，所述第一特征点集合包括多个特征点；

获取所述已标注图像的第二特征点集合，其中，所述第二特征点集合包括多个特征点；

对所述第一特征点集合以及所述第二特征点集合进行匹配，得到匹配结果；

根据所述匹配结果计算得到所述仿射变换矩阵。

7.根据权利要求6所述的方法，其特征在于，所述对所述第一特征点集合以及所述第二特征点集合进行匹配，得到匹配结果，包括：从所述第二特征点集合中确定待匹配特征点；

根据所述待匹配特征点，从所述第一特征点集合中确定第一特征点和第二特征点；

根据所述第一特征点与所述待匹配特征点确定第一距离，根据所述第二特征点与所述待匹配特征点确定第二距离，其中，所述第一距离小于所述第二距离；

若所述第一距离与所述第二距离的比率小于比率阈值，则确定所述第一特征点与所述待匹配特征点匹配成功。

8.根据权利要求1所述的方法，其特征在于，所述将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵，包括：通过图像匹配网络模型确定所述待标注图像与所述已标注图像的匹配结果；

若所述匹配结果为匹配成功，则根据所述待标注图像以及所述已标注图像，计算得到所述仿射变换矩阵。

9.一种基于病理图像的标注展示方法，其特征在于，包括：获取待标注病理图像，其中，所述待标注病理图像对应于第一放大倍率；

从已标注病理图像集合中获取已标注病理图像，其中，所述已标注病理图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注病理图像集合包括至少一个已经标注的病理图像；

将所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵；

根据所述仿射变换矩阵以及所述已标注病理图像生成所述待标注病理图像的病理标注信息；

展示所述待标注病理图像的所述病理标注信息；

所述将所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵，包括：根据所述待标注病理图像获取模板区域；

根据所述已标注病理图像获取搜索区域，其中，所述搜索区域的尺寸大于所述模板区域的尺寸；

将所述模板区域与所述搜索区域进行匹配，得到特征点匹配结果；

根据所述匹配结果计算得到所述仿射变换矩阵。

10.一种图像标注装置，其特征在于，包括：获取模块，用于获取待标注图像，其中，所述待标注图像对应于第一放大倍率，所述待标注图像为待标注的病理图像；

所述获取模块，还用于从已标注图像集合中获取已标注图像，其中，所述已标注图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注图像集合包括至少一个已经标注的图像，所述已标注图像为已经标注的病理图像；

匹配模块，用于将所述获取模块获取的所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵；

标注模块，用于根据所述匹配模块匹配得到的所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息；

所述匹配模块，具体用于根据所述待标注图像获取模板区域；

根据所述已标注图像获取搜索区域，其中，所述搜索区域的尺寸大于所述模板区域的尺寸；

将所述模板区域与所述搜索区域进行匹配，得到特征点匹配结果；

根据所述匹配结果计算得到所述仿射变换矩阵。

11.一种标注展示装置，其特征在于，包括：获取模块，用于获取待标注病理图像，其中，所述待标注病理图像对应于第一放大倍率；

所述获取模块，还用于从已标注病理图像集合中获取已标注病理图像，其中，所述已标注病理图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注病理图像集合包括至少一个已经标注的病理图像；

匹配模块，用于将所述获取模块获取的所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵；

标注模块，用于根据所述匹配模块匹配得到的所述仿射变换矩阵以及所述已标注病理图像生成所述待标注病理图像的病理标注信息；

展示模块，用于展示所述标注模块标注得到的所述待标注病理图像的所述病理标注信息；

所述匹配模块，具体用于根据所述待标注病理图像获取模板区域；

根据所述已标注病理图像获取搜索区域，其中，所述搜索区域的尺寸大于所述模板区域的尺寸；

将所述模板区域与所述搜索区域进行匹配，得到特征点匹配结果；

根据所述匹配结果计算得到所述仿射变换矩阵。

12.一种终端设备，其特征在于，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：获取待标注图像，其中，所述待标注图像对应于第一放大倍率，所述待标注图像为待标注的病理图像；

从已标注图像集合中获取已标注图像，其中，所述已标注图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注图像集合包括至少一个已经标注的图像，所述已标注图像为已经标注的病理图像；

将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵；

根据所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息；

所述将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵，包括：根据所述待标注图像获取模板区域；

根据所述已标注图像获取搜索区域，其中，所述搜索区域的尺寸大于所述模板区域的尺寸；

将所述模板区域与所述搜索区域进行匹配，得到特征点匹配结果；

根据所述匹配结果计算得到所述仿射变换矩阵；所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

13.一种终端设备，其特征在于，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：获取待标注病理图像，其中，所述待标注病理图像对应于第一放大倍率；

从已标注病理图像集合中获取已标注病理图像，其中，所述已标注病理图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注病理图像集合包括至少一个已经标注的病理图像；

将所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵；

根据所述仿射变换矩阵以及所述已标注病理图像生成所述待标注病理图像的病理标注信息；

展示所述待标注病理图像的所述病理标注信息；

所述将所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵，包括：根据所述待标注病理图像获取模板区域；

根据所述已标注病理图像获取搜索区域，其中，所述搜索区域的尺寸大于所述模板区域的尺寸；

将所述模板区域与所述搜索区域进行匹配，得到特征点匹配结果；

根据所述匹配结果计算得到所述仿射变换矩阵；所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

14.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至8中任一项所述的方法，或执行如权利要求9所述的方法。

说明书

图像标注的方法、基于病理图像的标注展示方法及装置

[0001] 本申请为2019年5月29日提交中国专利局、申请号为201910458139.3、发明名称为“图像标注的方法、基于病理图像的标注展示方法及装置”的中国专利申请的分案申请技术领域

[0002] 本申请涉及人工智能领域，尤其涉及图像标注的方法、基于病理图像的标注展示方法及装置。

背景技术

[0003] 随着机器学习和深度学习等人工智能技术的发展，医疗已经成为人工智能行业重要的研究和应用领域。智能医疗涉及到医学影像、病理诊断、新药研发以及智能辅助等多个重要领域。其中，病理诊断是疾病诊断的重要标准，病理切片分析为病理诊断提供了可靠的依据。

[0004] 目前，通常采用人工标注的方式对病理图像的标注，即获取待标注的病理图像之后，先进行人工标注，然后对标注结果进行审核，如果发现异常标注的情况，则返回修改，直至完成所有病理图像的标注。

[0005] 然而，由于人工标注需要考虑到经验知识，而且标注者可能因为疲劳等因素导致标注遗漏或者标注错误，因此，还需要专业的医生对标注好的病理图像进行审查，从而导致标注工作量较大，且造成人工成本过高。

发明内容

[0006] 本申请实施例提供了一种图像标注的方法、基于病理图像的标注展示方法及装置，可以将不同倍率下的图像所对应的标注进行迁移，比如可以将低倍率图像的标注迁移到高倍率图像上，从而减少了人工标注量，避免重复标注的情况，进而提升标注效率，降低人工成本。

[0007] 有鉴于此，本申请第一方面提供一种图像标注的方法，包括：

[0008] 获取待标注图像，其中，所述待标注图像对应于第一放大倍率，所述待标注图像为待标注的病理图像；

[0009] 从已标注图像集合中获取已标注图像，其中，所述已标注图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注图像集合包括至少一个已经标注的图像，所述已标注图像为已经标注的病理图像；

[0010] 将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵；

[0011] 根据所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息。

[0012] 本申请第二方面提供一种基于病理图像的标注展示方法，包括：

[0013] 获取待标注病理图像，其中，所述待标注病理图像对应于第一放大倍率；

[0014] 从已标注病理图像集合中获取已标注病理图像，其中，所述已标注病理图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注病理图像集合包括至少一个已经标注的病理图像；

[0015] 将所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵；

[0016] 根据所述仿射变换矩阵以及所述已标注病理图像生成所述待标注病理图像的病理标注信息；

[0017] 展示所述待标注病理图像的所述病理标注信息。

[0018] 本申请第三方面提供一种图像标注装置，包括：

[0019] 获取模块，用于获取待标注图像，其中，所述待标注图像对应于第一放大倍率，所述待标注图像为待标注的病理图像；

[0020] 所述获取模块，还用于从已标注图像集合中获取已标注图像，其中，所述已标注图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注图像集合包括至少一个已经标注的图像，所述已标注图像为已经标注的病理图像；

[0021] 匹配模块，用于将所述获取模块获取的所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵；

[0022] 标注模块，用于根据所述匹配模块匹配得到的所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息。

[0023] 在一种可能的设计中，所述获取模块，具体用于从所述已标注图像集合中获取第一已标注图像以及第二已标注图像；

[0024] 所述匹配模块，具体用于将所述待标注图像与所述第一已标注图像进行匹配，得到第一仿射变换矩阵；

[0025] 将所述待标注图像与所述第二已标注图像进行匹配，得到第二仿射变换矩阵；

[0026] 所述标注模块，具体用于根据所述第一仿射变换矩阵以及所述已标注图像第一已标注图像，生成所述待标注图像的第一标注信息；

[0027] 根据所述第二仿射变换矩阵以及所述已标注图像第二已标注图像，生成所述待标注图像的第二标注信息；

[0028] 根据所述第一标注信息以及所述第二标注信息，生成所述待标注图像的标注信息。

[0029] 在一种可能的设计中，所述获取模块，具体用于从所述已标注图像集合中获取多个已标注图像，其中，所述多个已标注图像具有重叠部分；

[0030] 所述匹配模块，具体用于对所述多个已标注图像进行拼接处理，得到待匹配图像；

[0031] 将所述待标注图像与所述待匹配图像进行匹配，得到所述仿射变换矩阵；

[0032] 所述标注模块，具体用于根据所述仿射变换矩阵以及所述待匹配图像生成所述待标注图像的标注信息。

[0033] 在一种可能的设计中，所述图像标注装置还包括接收模块以及生成模块；

[0034] 所述获取模块，还用于在从已标注图像集合中获取已标注图像之前，获取目标标注区域；

[0035] 所述获取模块，还用于根据所述目标标注区域获取多个待处理图像，其中，所述多个待处理图像包括所述待标注图像以及M个可标注图像，所述M为大于或等于1的整数；

[0036] 所述接收模块，用于接收所述M个可标注图像中每个可标注图像所对应的标注信息；

[0037] 所述生成模块，用于根据所述接收模块接收的所述每个可标注图像所对应的标注信息，生成所述已标注图像集合，其中，所述所述已标注图像集合包括M个已经标注的图像。

[0038] 在一种可能的设计中，所述接收模块，具体用于接收图像标注指令，其中，所述图像标注指令携带可标注图像的标识；

[0039] 根据所述图像标注指令对所述可标注图像进行标注，得到所述可标注图像所对应的标注信息。

[0040] 在一种可能的设计中，所述匹配模块，具体用于获取所述待标注图像的第一特征点集合，其中，所述第一特征点集合包括多个特征点；

[0041] 获取所述已标注图像的第二特征点集合，其中，所述第二特征点集合包括多个特征点；

[0042] 对所述第一特征点集合以及所述第二特征点集合进行匹配，得到匹配结果；

[0043] 根据所述匹配结果计算得到所述仿射变换矩阵。

[0044] 在一种可能的设计中，所述匹配模块，具体用于从所述第二特征点集合中确定待匹配特征点；

[0045] 根据所述待匹配特征点，从所述第一特征点集合中确定第一特征点和第二特征点；

[0046] 根据所述第一特征点与所述待匹配特征点确定第一距离，根据所述第二特征点与所述待匹配特征点确定第二距离，其中，所述第一距离小于所述第二距离；

[0047] 若所述第一距离与所述第二距离的比率小于比率阈值，则确定所述第一特征点与所述待匹配特征点匹配成功。

[0048] 在一种可能的设计中，所述匹配模块，具体用于根据所述待标注图像获取模板区域；

[0049] 根据所述已标注图像获取搜索区域，其中，所述搜索区域的尺寸大于所述模板区域的尺寸；

[0050] 将所述模板区域与所述搜索区域进行匹配，得到特征点匹配结果；

[0051] 根据所述匹配结果计算得到所述仿射变换矩阵。

[0052] 在一种可能的设计中，所述匹配模块，具体用于通过图像匹配网络模型确定所述待标注图像与所述已标注图像的匹配结果；

[0053] 若所述匹配结果为匹配成功，则根据所述待标注图像以及所述已标注图像，计算得到所述仿射变换矩阵。

[0054] 本申请第四方面提供一种标注展示装置，包括：

[0055] 获取模块，用于获取待标注病理图像，其中，所述待标注病理图像对应于第一放大倍率；

[0056] 所述获取模块，还用于从已标注病理图像集合中获取已标注病理图像，其中，所述已标注病理图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注病理图像集合包括至少一个已经标注的病理图像；

[0057] 匹配模块，用于将所述获取模块获取的所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵；

[0058] 标注模块，用于根据所述匹配模块匹配得到的所述仿射变换矩阵以及所述已标注病理图像生成所述待标注病理图像的病理标注信息；

[0059] 展示模块，用于展示所述标注模块标注得到的所述待标注病理图像的所述病理标注信息。

[0060] 本申请第五方面提供一种终端设备，包括：存储器、收发器、处理器以及总线系统；

[0061] 其中，所述存储器用于存储程序；

[0062] 所述处理器用于执行所述存储器中的程序，包括如下步骤：

[0063] 获取待标注图像，其中，所述待标注图像对应于第一放大倍率，所述待标注图像为待标注的病理图像；

[0064] 从已标注图像集合中获取已标注图像，其中，所述已标注图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注图像集合包括至少一个已经标注的图像，所述已标注图像为已经标注的病理图像；

[0065] 将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵；

[0066] 根据所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息；

[0067] 所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

[0068] 本申请第六方面提供一种终端设备，包括：存储器、收发器、处理器以及总线系统；

[0069] 其中，所述存储器用于存储程序；

[0070] 所述处理器用于执行所述存储器中的程序，包括如下步骤：

[0071] 获取待标注病理图像，其中，所述待标注病理图像对应于第一放大倍率；

[0072] 从已标注病理图像集合中获取已标注病理图像，其中，所述已标注病理图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注病理图像集合包括至少一个已经标注的病理图像；

[0073] 将所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵；

[0074] 根据所述仿射变换矩阵以及所述已标注病理图像生成所述待标注病理图像的病理标注信息；

[0075] 展示所述待标注病理图像的所述病理标注信息；

[0076] 所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

[0077] 本申请的第七方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

[0078] 从以上技术方案可以看出，本申请实施例具有以下优点：

[0079] 本申请实施例中，提供了一种图像标注的方法，首先获取待标注图像，其中，待标注图像对应于第一放大倍率，然后从已标注图像集合中获取已标注图像，其中，已标注图像对应于第二放大倍率，第二放大倍率与第一放大倍率不一致，已标注图像集合包括至少一个已经标注的图像，再将待标注图像与已标注图像进行匹配，得到仿射变换矩阵，最后根据仿射变换矩阵以及已标注图像生成待标注图像的标注信息。通过上述方式，可以将不同倍率下的图像所对应的标注进行迁移，比如可以将低倍率图像的标注迁移到高倍率图像上，从而减少了人工标注量，避免重复标注的情况，进而提升标注效率，降低人工成本。

附图说明

[0080] 图1为本申请实施例中图像标注系统的一个架构示意图；

[0081] 图2为本申请实施例中基于病理图像标注的一个流程示意图；

[0082] 图3为本申请实施例中图像标注的方法一个实施例示意图；

[0083] 图4为本申请实施例中对多个图像进行逐个匹配的一个实施例示意图；

[0084] 图5为本申请实施例中对多个图像进行拼接匹配的一个实施例示意图；

[0085] 图6为本申请实施例中对合并多个匹配结果的一个实施例示意图；

[0086] 图7为本申请实施例中基于特征匹配的一个流程示意图；

[0087] 图8为本申请实施例中基于病理图像的标注展示方法一个实施例示意图；

[0088] 图9为本申请实施例中展示病理标注信息的一个界面示意图；

[0089] 图10为本申请实施例中图像标注装置一个实施例示意图；

[0090] 图11为本申请实施例中图像标注装置另一个实施例示意图；

[0091] 图12为本申请实施例中标注展示装置一个实施例示意图；

[0092] 图13为本申请实施例中终端设备一个结构示意图；

[0093] 图14为本申请实施例中服务器一个结构示意图。

具体实施方式

[0094] 本申请实施例提供了一种图像标注的方法、基于病理图像的标注展示方法及装置，可以将不同倍率下的图像所对应的标注进行迁移，比如可以将低倍率图像的标注迁移到高倍率图像上，从而减少了人工标注量，避免重复标注的情况，进而提升标注效率，降低人工成本。

[0095] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0096] 应理解，本申请提供的图像标注的方法，以及基于病理图像的标注展示方法可应用于人工智能(Artificial Intelligence，AI)领域，具体可以应用于医学领域(对病理图像进行标注的场景)、语音识别领域(对语音信息进行标注的场景，比如A语音与B语音具有一段相同的语音)以及监控领域(对不同的人以及车辆等图像进行标注的场景)。其中，在图像预处理中，假设有十万张需要标注的图像，其中1000张图像采用人工标注的方式进行标注，而剩下的图像均为已标注图像在不同倍率下的图像，于是分别计算具有对应关系的图像之间的放射变化矩阵，根据该仿射变换矩阵将标注好的图像的标注信息迁移到未标注的图像上，这样就无需对所有的图像都进行标注。

[0097] 其中，基于AI的医学领域包括计算机视觉技术(Computer Vision,CV)，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(OpticalCharacter Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

[0098] 随着科技的快速发展，AI在医疗行业的应用也越来越广泛，在医学领域中最常见的医学影像包含但不仅限于血管摄影图像、心血管造影图像、电子计算机断层扫描(computerized tomography，CT)图像、B超图像以及病理图像。病理图像是对患者病变部位的组织进行切片，在显微镜下进行放大成像得到图像，由于病理图像直接反映出组织内部所发生的病变，是医生进行疾病诊断的重要依据，甚至是进行某些疾病诊断的最终依据，例如在癌症诊断中，通过对病灶的放射影像学图像进行观察，包括观察是否有阴影、斑块或者血管扩张情况等。

[0099] 随着病人数量的日益增加和对疾病准确诊断率的更高要求，病理检查特别是对显微镜图像的分析数量成倍增加，导致病理实验室专家的工作量增加，需要增加更多人员。一张病理切片通常包含数百万个细胞，这给医生带来很大的工作负担，而且会发生疲劳阅片。此外，医生的病理诊断往往带有强烈的主观性，对于经验不够丰富的病理医生还会产生误诊。这些因素使得发展基于AI的病理诊断显得尤为重要，病理切片的智能分析能够提高医师的诊断准确性和工作效率。然而，AI技术如机器学习和深度学习都需要数据量庞大的训练数据集，这成为制约AI技术在病理诊断和分析广泛应用的关键因素。对于数量庞大的病理显微镜图像，进行数据标注往往需要耗费巨大的人力和物力成本。此外，病理诊断往往需要在不同倍率下进行，这需要标注不同倍率的图片数据，无疑又增加工作量。

[0100] 本申请提出了一种基于多倍率图像配准的病理显微镜图片标注方法，只需要标注低倍率图片，就可以快速获得不同倍率下的图像标注，从而加快图像标注速度，推动AI技术在病理诊断的应用。为了便于理解，本申请提出了一种图像标注的方法，该方法应用于图1所示的图像标注系统，请参阅图1，图1为本申请实施例中图像标注系统的一个架构示意图，如图所示，图像标注系统可以包括图像采集设备以及终端设备，其中，图像采集设备可以是显微镜或者其他影像设备，将采集得到的图像发送至终端设备，医生在终端设备上对部分图像进行标注，终端设备将已标注图像的标注信息迁移至未标注的图像上。可选地，图像标注系统可以包括终端设备以及服务器，其中，服务器中存储大量图像，医生通过终端设备从服务器中获取部分图像进行标注，终端设备将标注后的图像发送至服务器，服务器将已标注图像的标注信息迁移至未标注的图像上。可选地，图像标注系统可以包括图像采集设备、终端设备以及服务器，其中，图像采集设备可以是显微镜或者其他影像设备，将采集得到的图像发送至终端设备，医生在终端设备上对部分图像进行标注，终端设备将标注后的图像发送至服务器，服务器将已标注图像的标注信息迁移至未标注的图像上。本申请提供的图像标注装置可应用于终端设备或者服务器上。

[0101] 需要说明的是，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personal computer，PC)，此处不做限定。

[0102] 为了便于介绍，请参阅图2，图2为本申请实施例中基于病理图像标注的一个流程示意图，如图所示，具体地，在步骤A1中，获取待处理图像，并对待处理图像中的低倍率图像进行人工标注。在步骤A2中，对人工标注的低倍率标注结果进行审核，如果审核出有标注错误的图像，则将该图像作为待返修图像，然后在步骤A3中，对待返修图像进行标注返修，从而得到修改的标注结果。在步骤A4中，将待处理图像中的高倍率图像与修改后的低倍率图像进行配准，基于配准结果将低倍率图像的标注迁移到高倍率图像上，从而得到高倍率标注结果。在步骤A5中，完整对待处理图像中所有图像的标注，由此得到最终的标注结果。

[0103] 由此可见，采用上述方式能够减少人工标注数据的工作量，避免标注发生修改时一部分重复标注，提升病理显微镜图片的标注效率，加快AI技术在病理诊断上的开发与应用。本申请所建立的图像标注方法可以应用在基于AI的病理诊断项目上，如乳腺癌淋巴转移预测以及有丝分裂检测等，可以更加快速和高效地获得标注的病理图片数据，满足AI病理诊断项目的数据需求，加快项目迭代速度。

[0104] 结合上述介绍，下面将对本申请中图像标注的方法进行介绍，请参阅图3，本申请实施例中图像标注的方法一个实施例包括：

[0105] 101、获取待标注图像，其中，待标注图像对应于第一放大倍率，待标注图像为待标注的病理图像；

[0106] 本实施例中，图像标注装置获取待标注图像，该待标注图像对应于第一放大倍率，第一放大倍率可以是100倍。

[0107] 102、从已标注图像集合中获取已标注图像，其中，已标注图像对应于第二放大倍率，第二放大倍率与第一放大倍率不一致，已标注图像集合包括至少一个已经标注的图像，已标注图像为已经标注的病理图像；

[0108] 本实施例中，图像标注装置从已标注图像集合中获取已标注图像，已标注图像集合包括至少一个已经标注的图像，已标注图像对应于第二放大倍率，第二放大倍率小于第一放大倍率，或者，第二放大倍率大于第一放大倍率。如果只标注了低倍率图像，然后将高倍率图像与低倍率图像进行配准，以得到高倍率图像的标注，那么第一放大倍率小于第二放大倍率。如果只标注了高倍率图像，然后将低倍率图像与高倍率图像进行配准，以得到低倍率图像的标注，那么第一放大倍率大于第二放大倍率。

[0109] 103、将待标注图像与已标注图像进行匹配，得到仿射变换矩阵；

[0110] 本实施例中，图像标注装置将待标注图像与已标注图像进行匹配，具体可以通过仿射变换(Affine Transformation)得到仿射变换矩阵。仿射变换是一种二维坐标到二维坐标之间的线性变换，保持二维图形的平直性(即变换后直线还是直线不会打弯，圆弧还是圆弧)和平行性(即保持二维图形间的相对位置关系不变，平行线还是平行线，相交直线的交角不变)。仿射变换可以通过一系列的原子变换的复合来实现，包括平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)和剪切(Shear)。因此，这五种变化由原图像转变到变换图像的过程，可以用仿射变换矩阵进行描述。

[0111] 当得到待标注图像与已标注图像的匹配点对后，可以计算出仿射变换矩阵，其可以实现原图像(已标注图像)到新图像(待标注图像)的变换，当获得放射变换矩阵后，可以对原图像(已标注图像)标注做同样的变换，获得该标注在新图像(待标注图像)的迁移标注。

[0112] 104、根据仿射变换矩阵以及已标注图像生成待标注图像的标注信息。

[0113] 本实施例中，图像标注装置根据仿射变换矩阵确定待标注图像与已标注图像之间的位置关系，假设已标注图像中包括区域A的标注，而根据仿射变换矩阵可以确定该区域A在待标注图像中也出现了，因此，将区域A的标注迁移到待标注图像上即可。

[0114] 本申请实施例中，提供了一种图像标注的方法，首先获取待标注图像，其中，待标注图像对应于第一放大倍率，然后从已标注图像集合中获取已标注图像，其中，已标注图像对应于第二放大倍率，第二放大倍率与第一放大倍率不一致，已标注图像集合包括至少一个已经标注的图像，再将待标注图像与已标注图像进行匹配，得到仿射变换矩阵，最后根据仿射变换矩阵以及已标注图像生成待标注图像的标注信息。通过上述方式，可以将不同倍率下的图像所对应的标注进行迁移，比如可以将低倍率图像的标注迁移到高倍率图像上，从而减少了人工标注量，避免重复标注的情况，进而提升标注效率，降低人工成本。

[0115] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像标注的方法一个可选实施例中，从已标注图像集合中获取已标注图像，可以包括：

[0116] 从已标注图像集合中获取第一已标注图像以及第二已标注图像；

[0117] 将待标注图像与已标注图像进行匹配，得到仿射变换矩阵，可以包括：

[0118] 将待标注图像与第一已标注图像进行匹配，得到第一仿射变换矩阵；

[0119] 将待标注图像与第二已标注图像进行匹配，得到第二仿射变换矩阵；

[0120] 根据仿射变换矩阵以及已标注图像生成待标注图像的标注信息，可以包括：

[0121] 根据第一仿射变换矩阵以及已标注图像第一已标注图像，生成待标注图像的第一标注信息；

[0122] 根据第二仿射变换矩阵以及已标注图像第二已标注图像，生成待标注图像的第二标注信息；

[0123] 根据第一标注信息以及第二标注信息，生成待标注图像的标注信息。

[0124] 本实施例中，介绍一种采用多个已标注图像进行图像标注的方法。首先从已标注图像集合中获取第一已标注图像，然后通过仿射变换获取第一已标注图像与待标注图像的第一仿射变换矩阵。根据第一仿射变换矩阵以及已标注图像第一已标注图像，生成待标注图像的第一标注信息，其中，第一标注信息可以是待标注图像中的部分标注信息。接下来，从已标注图像集合中获取第二已标注图像，然后通过仿射变换获取第二已标注图像与待标注图像的第二仿射变换矩阵。根据第二仿射变换矩阵以及已标注图像第二已标注图像，生成待标注图像的第二标注信息，其中，第二标注信息可以是待标注图像中的部分标注信息。

[0125] 具体地，为了便于理解，请参阅图4，图4为本申请实施例中对多个图像进行逐个匹配的一个实施例示意图，如图所示，假设已标注图像集合中包括3个已标注图像，分别已标注图像A、已标注图像B以及已标注图像C，将已标注图像A与待标注图像进行匹配，但未匹配成功。于是将已标注图像B与待标注图像进行匹配，经过仿射变换后确定两者具有匹配关系，并得到第一仿射变换矩阵，根据第一仿射变换矩阵可以确定待标注图像的第一标注信息。再将已标注图像C与待标注图像进行匹配，经过仿射变换后确定两者具有匹配关系，并得到第二仿射变换矩阵，根据第二仿射变换矩阵可以确定待标注图像的第二标注信息。最后取第一标注信息和第二标注信息的并集，即合并多个匹配结果，得到生成待标注图像的标注信息。

[0126] 关于匹配结果的合并，请参阅图6，图6为本申请实施例中对合并多个匹配结果的一个实施例示意图，如图所示，在实际采集图像时，一张高倍率图像的一部分可能出现在某个低倍率图像中，而该高倍率图像的另一部分出现在另一个低倍率图像中，此时就需要将该高倍率图像与多个低倍率图像进行匹配，才能得到完整的标注结果。即，将第一标注结果和第二标注信息进行合并，得到并集的标注信息。反之，如果一张低倍率图像的一部分出现在某个高倍率图像中，而该低倍率图像的另一部分出现在另一个高倍率图像中，需要将该低倍率图像与多个高倍率图像进行匹配，才能得到完整的标注结果。即，将第一标注结果和第二标注信息进行合并，得到并集的标注信息。

[0127] 当存在一个高倍率图像匹配多张低倍率图像时，如果采用逐个匹配的方法，可以取所有匹配结果的并集。考虑到由于低倍率图像视野更大一些，因此，同样的视野大小就需要采集多个高倍率图像进行匹配。

[0128] 其次，本申请实施例中，提供了一种多个已标注图像确定待标注图像的标注信息的方法，即先从已标注图像集合中获取第一已标注图像以及第二已标注图像，然后分别将两个不同的已标注图像与待标注图像进行匹配，得到不同的仿射变换矩阵。基于不同的仿射变换矩阵得到不同的标注结果，对所有的标注结果进行并集运算，得到最终的标注信息。通过上述方式，设计了一种基于多个已标注图像来标注一个待标注图像的方案，可以有效地提升了标注的准确性，加强了标注的适配能力，从而提升方案的可行性和灵活性。

[0129] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像标注的方法一个可选实施例中，从已标注图像集合中获取已标注图像，可以包括：

[0130] 从已标注图像集合中获取多个已标注图像，其中，多个已标注图像具有重叠部分；

[0131] 将待标注图像与已标注图像进行匹配，得到仿射变换矩阵，可以包括：

[0132] 对多个已标注图像进行拼接处理，得到待匹配图像；

[0133] 将待标注图像与待匹配图像进行匹配，得到仿射变换矩阵；

[0134] 根据仿射变换矩阵以及已标注图像生成待标注图像的标注信息，可以包括：

[0135] 根据仿射变换矩阵以及待匹配图像生成待标注图像的标注信息。

[0136] 本实施例中，介绍另一种采用多个已标注图像进行图像标注的方法。首先从已标注图像集合中获取多个已标注图像，然后对多个已标注图像进行拼接处理，得到待匹配图像，再通过仿射变换获取待匹配图像与待标注图像的仿射变换矩阵，根据仿射变换矩阵以及待匹配图像生成待标注图像的标注信息。

[0137] 具体地，为了便于理解，请参阅图5，图5为本申请实施例中对多个图像进行拼接匹配的一个实施例示意图，如图所示，假设已标注图像集合中包括多个已标注图像，分别已标注图像B以及已标注图像C，且已标注图像B与已标注图像C具有重叠的部分，将两个已标注图像进行拼接，得到待匹配图像，再将待匹配图像与待标注图像进行匹配，经过仿射变换后确定两者具有匹配关系，并得到仿射变换矩阵，根据仿射变换矩阵可以确定待标注图像的标注信息。

[0138] 可以理解的是，当存在三个或三个以上的已标注图像时，只要具有重叠部分，均可以实现图像的拼接，从而得到待匹配图像。

[0139] 本申请中的图像拼接是指的将多张有重叠的图像按照位置关联拼接成一张大图，拼接要求采集的图像之间要有一定的重叠，这样可以将它们进行匹配从而完成拼接。图像拼接是指在不同时间、不同视角维度或者不同的传感器等情况下拍摄所得的多幅图像拼成一幅连贯图像的方法。由于摄像机复杂的运动状态，其所成的平面图像也会有各种差别，待匹配的两幅图像之间往往存在着非常复杂的变换关系。不同图像间因为表述维度不同，需要通过一定的变换模型，将其转换至同一表述维度下才可实现拼接。

[0140] 其次，本申请实施例中，提供了另一种多个已标注图像确定待标注图像的标注信息的方法，即先从已标注图像集合中获取多个已标注图像，其中，多个已标注图像具有重叠部分，然后对多个已标注图像进行拼接处理，得到待匹配图像，再将待标注图像与待匹配图像进行匹配，得到仿射变换矩阵，最后根据仿射变换矩阵以及待匹配图像生成待标注图像的标注信息。通过上述方式，设计了另一种基于多个已标注图像来标注一个待标注图像的方案，可以有效地提升了标注的准确性，加强了标注的适配能力，从而提升方案的可行性和灵活性。

[0141] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像标注的方法一个可选实施例中，从已标注图像集合中获取已标注图像之前，还可以包括：

[0142] 获取目标标注区域；

[0143] 根据目标标注区域获取多个待处理图像，其中，多个待处理图像包括待标注图像以及M个可标注图像，M为大于或等于1的整数；

[0144] 接收M个可标注图像中每个可标注图像所对应的标注信息；

[0145] 根据每个可标注图像所对应的标注信息，生成已标注图像集合，其中，已标注图像集合包括M个已经标注的图像。

[0146] 本实施例中，介绍了一种人工预标注图像的方法。首先确定一个目标标注区域，比如肺部某个组织的细胞，针对该组织细胞的标注图像可以划分为一个小组，这样可以按照标注类型提升标注效率。接下来，通过显微镜或者其他的影像设备拍摄多个待处理图像，其中，多个待处理图像包括不同放大倍率下的图像，假设有20个待处理图像，其中4个待处理图像的放大倍率为40倍，剩余16个待处理图像的放大倍率为400倍，即多个待处理图像中包括16个待标注图像以及4(M＝4)个可标注图像。医生可以针对这M个可标注图像进行人工标注，也就是标注少量的图像，图像标注装置接收这M个可标注图像中每个可标注图像所对应的标注信息。最后，结合每个可标注图像所对应的标注信息，生成已标注图像集合，即已标注图像集合包括M个已经标注的图像。剩余的待标注图像可通过仿射变换矩阵，将已标注图像上的标签信息迁移至待标注图像上。

[0147] 可以理解的是，如果人工审核后发现标注不准确，还可以对标注进行返回修改，最终得到准确的标注结果。

[0148] 需要说明的是，在人工标注的时候包含但不仅限于点标注，线标注，区域标注，其中区域标注包含不仅限于多边形和自由曲线标注形式。

[0149] 其次，本申请实施例中，提供了一种人工标注图像的方式，即先获取目标标注区域，然后根据目标标注区域获取多个待处理图像，其中，多个待处理图像包括待标注图像以及M个可标注图像，然后接收M个可标注图像中每个可标注图像所对应的标注信息，最后根据每个可标注图像所对应的标注信息，生成已标注图像集合。通过上述方式，在进行人工标注时只需要对待处理图像中的部分图像进行标注即可，无需标注所有图像，从而降低了标注成本，提升标注效率。

[0150] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像标注的方法一个可选实施例中，接收M个可标注图像中每个可标注图像所对应的标注信息，可以包括：

[0151] 接收图像标注指令，其中，图像标注指令携带可标注图像的标识；

[0152] 根据图像标注指令对可标注图像进行标注，得到可标注图像所对应的标注信息。

[0153] 本实施例中，介绍一种人工标注图像的具体方式，用户可以通过终端设备对每个可标注图像进行标注。具体地，用户可以选择对图像进行批量标注，或者对图像进行逐个标注。假设M为100，即有100个可标注图像，在终端设备上可以一次显示10张可标注图像，用户通过点选区域和录入文字的方式，对这10张可标注图像进行标注，即触发图像标注指令，每个图像标注指令对应一个可标注图像的标识，从而使得图像标注装置确定可标注图像的标注信息。当一个页面上的可标注图像标注完毕时，即可对下一个页面上的可标注图像进行标注。

[0154] 类似地，在终端设备上可以一次只显示1张可标注图像，用户通过点选区域和录入文字的方式，对该张可标注图像进行标注，即触发图像标注指令，每个图像标注指令对应一个可标注图像的标识，从而使得图像标注装置确定可标注图像的标注信息。当该可标注图像标注完毕时，即可对下一个可标注图像进行标注。

[0155] 再次，本申请实施例中，提供了一种人工标注图像的具体方式，即首先接收图像标注指令，其中，图像标注指令携带可标注图像的标识，然后根据图像标注指令对可标注图像进行标注，得到可标注图像所对应的标注信息。通过上述方式，为方案的实现提供了具体可行的实现手段，从而有利于方案的可行性和操作性。

[0156] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像标注的方法一个可选实施例中，将待标注图像与已标注图像进行匹配，得到仿射变换矩阵，可以包括：

[0157] 获取待标注图像的第一特征点集合，其中，第一特征点集合包括多个特征点；

[0158] 获取已标注图像的第二特征点集合，其中，第二特征点集合包括多个特征点；

[0159] 对第一特征点集合以及第二特征点集合进行匹配，得到匹配结果；

[0160] 根据匹配结果计算得到仿射变换矩阵。

[0161] 本实施例中，介绍了一种基于特征点匹配的方式。具体地，从待标注图像中获取第一特征点集合，其中，第一特征点集合包括多个特征点，假设有200个特征点。类似地，从已标注图像中获取第二特征点集合，其中，第二特征点集合包括多个特征点，假设有190个特征点，于是将第一特征点集合中每个特征点与第二特征点集合中的特征点进行匹配，假设第一特征点集合中的A点与第二特征点集合中的B点匹配成功，则得到匹配结果为A点与B点为匹配点，基于各个匹配成功的匹配点确定仿射变换矩阵。其中仿射变换矩阵可以表示为：

[0162]

[0163] 其中，仿射变换矩阵将原坐标(x,y)变换为新坐标(x',y')，原坐标可以来源于第二特征点集合的特征点，新坐标标可以来源于第一特征点集合的特征点，

[0164] 可以理解的是，本申请使用的特征点类型包含但不仅限于尺度不变特征变换(Scale Invariant Feature Transform，SIFT)、加速稳健特征(Speeded Up Robust Features，Surf)以及方向梯度直方图(Histogram of Oriented Gradient，HOG)。下面将对SITF特征点进行介绍。

[0165] SITF是一种常用的侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度和旋转不变量。SIFT特征是图像的局部特征，其对旋转、尺度缩放和亮度变化保持不变性，所以可以用来做图像配准的特征点。SITF算法在各个开源库中都有实现，如OpenCV，算法主要包括以下过程：

[0166] (a)建立尺度空间，检测出尺度空间极值点；

[0167] (b)精确定位特征点，同时去除不稳定的特征点；

[0168] (c)为每个特征点指定主方向参数；

[0169] (d)统计特征点邻域信息生成特征描述符，即特征点。

[0170] 具体地，首先进行尺度空间的极值检测，即搜索所有尺度空间上的图像，通过高斯微分函数来识别潜在的对尺度和选择不变的兴趣点。然后进行特征点定位，即在每个候选的位置上，通过一个拟合精细模型来确定位置尺度，关键点的选取依据他们的稳定程度。接下来进行特征方向赋值，即基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，后续的所有操作都是对于关键点的方向、尺度和位置进行变换，从而提供这些特征的不变性。最后进行特征点描述，即在每个特征点周围的邻域内，在选定的尺度上测量图像的局部梯度，这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变换。

[0171] 其次，本申请实施例中，提供了一种计算得到仿射变换矩阵的方法，即获取待标注图像的第一特征点集合，其中，第一特征点集合包括多个特征点，并且获取已标注图像的第二特征点集合，其中，第二特征点集合包括多个特征点，再对第一特征点集合以及第二特征点集合进行匹配，得到匹配结果，最后根据匹配结果计算得到仿射变换矩阵。通过上述方式，利用特征点匹配的模式来确定两个图像之间的相似度，基于特征点之间的匹配关系生成仿射变换矩阵，考虑到图像的特征点较多，从而得到更加丰富的信息量，使得匹配的准确性更高。

[0172] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像标注的方法一个可选实施例中，对第一特征点集合以及第二特征点集合进行匹配，得到匹配结果，可以包括：

[0173] 从第二特征点集合中确定待匹配特征点；

[0174] 根据待匹配特征点，从第一特征点集合中确定第一特征点和第二特征点；

[0175] 根据第一特征点与待匹配特征点确定第一距离，根据第二特征点与待匹配特征点确定第二距离，其中，第一距离小于第二距离；

[0176] 若第一距离与第二距离的比率小于比率阈值，则确定第一特征点与待匹配特征点匹配成功。

[0177] 本实施例中，将介绍一种基于特征点匹配的方法，为了便于理解，请参阅图7，图7为本申请实施例中基于特征匹配的一个流程示意图，如图所示，具体地：

[0178] 步骤S1中，图像标注装置可以先获取输入的待标注图像以及已标注图像，假设待标注图像为高倍率图像，则已标注图像可以是需要配准的低倍率图像，可以理解的是，需要配准的低倍率图像可以包括多张；

[0179] 步骤S2中，基于特征匹配算法对待标注图像提取特征点，比如，采用基于SIFT算法计算高倍率图像的特征点；

[0180] 步骤S3中，判断是否存在未匹配的已标注图像，比如判断是否存在未匹配的低倍率图像，若存在，则进入步骤S4，反之，则跳转至步骤S7；

[0181] 步骤S4中，如果存在低倍率图像，则从已标注图像集合中选择一张已标注图像，比如，先选择一张低倍率图像，同样基于SIFT算法对低倍率图像提取特征点；

[0182] 步骤S5中，采用最近邻方法对待标注图像以及已标注图像的特征点进行匹配，并计算仿射变换矩阵，具体地，假设待标注图像为高倍率图像，已标注图像为低倍率图像，从从低倍率图像所对应的第二特征点集合中确定待匹配特征点，然后根据待匹配特征点，从高倍率图像所对应的第一特征点集合中确定第一特征点和第二特征点，再根据第一特征点与待匹配特征点确定第一距离，根据第二特征点与待匹配特征点确定第二距离，若第一距离与第二距离的比率小于比率阈值，则确定第一特征点与待匹配特征点匹配成功。基于上述方式可以计算得到仿射变换矩阵；

[0183] 步骤S6中，将仿射变换矩阵应用与已标注图像的标注上，从而获得迁移到待标注图像上的标注。比如，将低倍率图像的标注迁移到高倍率图像上；

[0184] 步骤S7中，重复步骤S3至步骤S6，直到完成待标注图像与所有已标注图像的配准和标注迁移，比如完成高倍率图像与所有低倍率图像的配准和标注迁移，如果已经不存在低倍率图像，则对所有迁移得到的标注进行并集运算；

[0185] 步骤S8中，从而获得待标注图像的最终标注结果。

[0186] 下面将介绍最近邻比率法，对于在特征匹配过程中已标注图像的待匹配特征点p，待匹配图像中搜索到与它距离最小的前两个特征点，即第一特征点q1和第二特征点q2，其中，待匹配特征点p与第一特征点q1两点的描述符相邻之间的距离为D1，待匹配特征点p与第二特征点q2两点的描述符相邻之间的距离为D2，其中，D1小于D2。如果最近的距离D1除以次近的距离D2的比率小于比率阈值T，则认为距离最近的第一特征点q1更可能是真实的匹配点，从而确定第一特征点与待匹配特征点匹配成功。最近邻比率法的匹配公式如下：

[0187]

[0188] 再次，本申请实施例中，提供了一种特征点之间进行匹配的方式，即从第二特征点集合中确定待匹配特征点，然后根据待匹配特征点，从第一特征点集合中确定第一特征点和第二特征点，根据第一特征点与待匹配特征点确定第一距离，根据第二特征点与待匹配特征点确定第二距离，第一距离小于第二距离，如果第一距离与第二距离的比率小于比率阈值，则确定第一特征点与待匹配特征点匹配成功。通过上述方式，在特征点匹配过程中，通过相似性度量准则及搜索策略可找到查询点的最近邻，但是两个点距离最近并不一定能够保证它们就是正确的对应匹配点对，为了降低后续处理过程中的误差，因此，需要在建立特征点的初始匹配的基础上，再进行误匹配点的去除，也被称为匹配对的提纯，由此，增加匹配的准确度。

[0189] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像标注的方法一个可选实施例中，将待标注图像与已标注图像进行匹配，得到仿射变换矩阵，可以包括：

[0190] 根据待标注图像获取模板区域；

[0191] 根据已标注图像获取搜索区域，其中，搜索区域的尺寸大于模板区域的尺寸；

[0192] 将模板区域与搜索区域进行匹配，得到特征点匹配结果；

[0193] 根据匹配结果计算得到仿射变换矩阵。

[0194] 本实施例中，介绍了一种基于图像灰度的匹配方法，灰度图像是指只含有亮度信息而不包括色彩信息的图像，通俗来讲就是黑白图。它的亮度是由明到暗连续变化的，每一个像素点的亮度都可以用一个范围在0至255的数值来表示，0表示像素点纯黑，255表示纯白，其他数值表示灰度。

[0195] 具体地，从待标注图像获取模板区域(尺寸为m×n)，并且从已标注图像获取搜索区域(尺寸为M×N)，其中，搜索区域的尺寸大于模板区域的尺寸，需要从搜索区域中找出与模板区域匹配的区域，若在已标注图像中取出M×N的搜索区域，从待标注图像中取出m×n的模板区域，则计算模板区域与搜索区域的相似度，通过遍历寻找的方法，把所有的可以取到的搜索区域与模板区域计算相似度，取与模板区域最相似(即与模板像素灰度差最小)的搜索区域作为最终的匹配结果，根据匹配结果计算得到仿射变换矩阵。

[0196] 其次，本申请实施例中，提供了一种基于图像灰度的匹配方法，即先根据待标注图像获取模板区域，然后根据已标注图像获取搜索区域，其中，搜索区域的尺寸大于模板区域的尺寸，再将模板区域与搜索区域进行匹配，得到特征点匹配结果。根据匹配结果计算得到仿射变换矩阵。通过上述方式，利用空间中一维或者二维的滑动模板实现图像的匹配，匹配率较高。根据选取模板和准则的不同，形成了不同的匹配算法。

[0197] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像标注的方法一个可选实施例中，将待标注图像与已标注图像进行匹配，得到仿射变换矩阵，可以包括：

[0198] 通过图像匹配网络模型确定待标注图像与已标注图像的匹配结果；

[0199] 若匹配结果为匹配成功，则根据待标注图像以及已标注图像，计算得到仿射变换矩阵。

[0200] 本实施例中，介绍了一种基于深度学习的匹配方法，将待标注图像与已标注图像输入至图像匹配网络模型，从而输出两者的匹配结果，若匹配成功，则说明可以进行仿射变换，即根据待标注图像与已标注图像，计算得到仿射变换矩阵。

[0201] 具体地，利用图像匹配网络模型可以提取待标注图像和已标注图像的特征点，图像标注装置对待标注图像的特征点与已标注图像的特征点进行匹配，从而计算出仿射变换矩阵，实现已标注图像到待标注图像的变换。

[0202] 可选地，利用图像匹配网络模型可以直接获取已标注图像与待标注图像的仿射变换矩阵，从而实现已标注图像到待标注图像的变换。

[0203] 其次，本申请实施例中，提供了一种基于深度学习的匹配方法。通过图像匹配网络模型确定待标注图像与已标注图像的匹配结果，若匹配结果为匹配成功，则根据待标注图像以及已标注图像，计算得到仿射变换矩阵。通过上述方式，基于深度学习的这类图像匹配方法不再依据研究者的观察和专业知识，而是依靠数据的训练，匹配精确度非常高。

[0204] 结合上述介绍，下面将对本申请中基于病理图像的标注展示方法进行介绍，请参阅图8，本申请实施例中基于病理图像的标注展示方法一个实施例包括：

[0205] 201、获取待标注病理图像，其中，待标注病理图像对应于第一放大倍率；

[0206] 本实施例中，标注展示装置获取待标注病理图像，该待标注病理图像对应于第一放大倍率，第一放大倍率可以是100倍。

[0207] 202、从已标注病理图像集合中获取已标注病理图像，其中，已标注病理图像对应于第二放大倍率，第二放大倍率与第一放大倍率不一致，已标注病理图像集合包括至少一个已经标注的病理图像；

[0208] 本实施例中，标注展示装置从已标注病理图像集合中获取已标注病理图像，已标注病理图像集合包括至少一个已经标注的病理图像，已标注病理图像对应于第二放大倍率，第二放大倍率小于第一放大倍率，或者，第二放大倍率大于第一放大倍率。如果只标注了低倍率病理图像，然后将高倍率病理图像与低倍率病理图像进行配准，以得到高倍率病理图像的标注，那么第一放大倍率小于第二放大倍率。如果只标注了高倍率病理图像，然后将低倍率病理图像与高倍率病理图像进行配准，以得到低倍率病理图像的标注，那么第一放大倍率大于第二放大倍率。

[0209] 203、将待标注病理图像与已标注病理图像进行匹配，得到仿射变换矩阵；

[0210] 本实施例中，标注展示装置将待病理标注图像与已标注病理图像进行匹配，具体可以通过仿射变换得到仿射变换矩阵。仿射变换是一种二维坐标到二维坐标之间的线性变换。

[0211] 当得到待标注病理图像与已标注病理图像的匹配点对后，可以计算出仿射变换矩阵，其可以实现原图像(已标注病理图像)到新图像(待标注病理图像)的变换，当获得放射变换矩阵后，可以对原图像(已标注病理图像)标注做同样的变换，获得该标注在新图像(待标注病理图像)的迁移标注。

[0212] 204、根据仿射变换矩阵以及已标注病理图像生成待标注病理图像的病理标注信息；

[0213] 本实施例中，标注展示装置根据仿射变换矩阵确定待标注病理图像与已标注病理图像之间的位置关系，假设已标注病理图像中包括区域A的标注，而根据仿射变换矩阵可以确定该区域A在待标注病理图像中也出现了，因此，将区域A的标注迁移到待标注病理图像上即可。

[0214] 205、展示待标注病理图像的病理标注信息。

[0215] 本实施例中，标注展示装置在生成待标注病理图像的病理标注信息之后，将展示该待标注病理图像的病理标注信息。具体地，请参阅图9，图9为本申请实施例中展示病理标注信息的一个界面示意图，如图所示，用户可以输入一张待标注病理图像，部署在终端设备上的标注展示装置可以利用预先标注好的其他病理图像，通过仿射变换将标注迁移至待标注病理图像上，从而在终端设备显示界面上展示该待标注病理图像属于癌变区域。

[0216] 本申请实施例中，提供了一种基于病理图像的标注展示方法，即首先获取待标注病理图像，其中，待标注图像对应于第一放大倍率，然后从已标注病理图像集合中获取已标注病理图像，已标注病理图像对应于第二放大倍率，第二放大倍率与第一放大倍率不一致，再将待标注病理图像与已标注病理图像进行匹配，得到仿射变换矩阵，根据仿射变换矩阵以及已标注病理图像生成待标注病理图像的病理标注信息，最后直接展示待标注病理图像的病理标注信息。通过上述方式，可以将不同倍率下的病理图像所对应的标注进行迁移，比如可以将低倍率病理图像的标注迁移到高倍率病理图像上，从而减少了人工标注量，避免重复标注的情况，进而提升标注效率，降低人工成本。此外，还可以之间将标注结果展示给医务人员，便于医务人员更加直观地确定病理图像所反映的信息。

[0217] 下面对本申请中的图像标注装置进行详细描述，请参阅图10，图10为本申请实施例中图像标注装置一个实施例示意图，图像标注装置30包括：

[0218] 获取模块301，用于获取待标注图像，其中，所述待标注图像对应于第一放大倍率，所述待标注图像为待标注的病理图像；

[0219] 所述获取模块301，还用于从已标注图像集合中获取已标注图像，其中，所述已标注图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注图像集合包括至少一个已经标注的图像，所述已标注图像为已经标注的病理图像；

[0220] 匹配模块302，用于将所述获取模块301获取的所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵；

[0221] 标注模块303，用于根据所述匹配模块302匹配得到的所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息。

[0222] 本实施例中，获取模块301获取待标注图像，其中，所述待标注图像对应于第一放大倍率，所述获取模块301从已标注图像集合中获取已标注图像，其中，所述已标注图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注图像集合包括至少一个已经标注的图像，匹配模块302将所述获取模块301获取的所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵，标注模块303根据所述匹配模块302匹配得到的所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息。

[0223] 本申请实施例中，提供了一种图像标注装置，首先获取待标注图像，其中，待标注图像对应于第一放大倍率，然后从已标注图像集合中获取已标注图像，其中，已标注图像对应于第二放大倍率，第二放大倍率与第一放大倍率不一致，已标注图像集合包括至少一个已经标注的图像，再将待标注图像与已标注图像进行匹配，得到仿射变换矩阵，最后根据仿射变换矩阵以及已标注图像生成待标注图像的标注信息。通过上述方式，可以将不同倍率下的图像所对应的标注进行迁移，比如可以将低倍率图像的标注迁移到高倍率图像上，从而减少了人工标注量，避免重复标注的情况，进而提升标注效率，降低人工成本。

[0224] 可选地，在上述图10所对应的实施例的基础上，本申请实施例提供的图像标注装置30的另一实施例中，

[0225] 所述获取模块301，具体用于从所述已标注图像集合中获取第一已标注图像以及第二已标注图像；

[0226] 所述匹配模块302，具体用于将所述待标注图像与所述第一已标注图像进行匹配，得到第一仿射变换矩阵；

[0227] 将所述待标注图像与所述第二已标注图像进行匹配，得到第二仿射变换矩阵；

[0228] 所述标注模块303，具体用于根据所述第一仿射变换矩阵以及所述已标注图像第一已标注图像，生成所述待标注图像的第一标注信息；

[0229] 根据所述第二仿射变换矩阵以及所述已标注图像第二已标注图像，生成所述待标注图像的第二标注信息；

[0230] 根据所述第一标注信息以及所述第二标注信息，生成所述待标注图像的标注信息。

[0231] 其次，本申请实施例中，提供了一种多个已标注图像确定待标注图像的标注信息的方法，即先从已标注图像集合中获取第一已标注图像以及第二已标注图像，然后分别将两个不同的已标注图像与待标注图像进行匹配，得到不同的仿射变换矩阵。基于不同的仿射变换矩阵得到不同的标注结果，对所有的标注结果进行并集运算，得到最终的标注信息。通过上述方式，设计了一种基于多个已标注图像来标注一个待标注图像的方案，可以有效地提升了标注的准确性，加强了标注的适配能力，从而提升方案的可行性和灵活性。

[0232] 可选地，在上述图10所对应的实施例的基础上，本申请实施例提供的图像标注装置30的另一实施例中，

[0233] 所述获取模块301，具体用于从所述已标注图像集合中获取多个已标注图像，其中，所述多个已标注图像具有重叠部分；

[0234] 所述匹配模块302，具体用于对所述多个已标注图像进行拼接处理，得到待匹配图像；

[0235] 将所述待标注图像与所述待匹配图像进行匹配，得到所述仿射变换矩阵；

[0236] 所述标注模块303，具体用于根据所述仿射变换矩阵以及所述待匹配图像生成所述待标注图像的标注信息。

[0237] 其次，本申请实施例中，提供了另一种多个已标注图像确定待标注图像的标注信息的方法，即先从已标注图像集合中获取多个已标注图像，其中，多个已标注图像具有重叠部分，然后对多个已标注图像进行拼接处理，得到待匹配图像，再将待标注图像与待匹配图像进行匹配，得到仿射变换矩阵，最后根据仿射变换矩阵以及待匹配图像生成待标注图像的标注信息。通过上述方式，设计了另一种基于多个已标注图像来标注一个待标注图像的方案，可以有效地提升了标注的准确性，加强了标注的适配能力，从而提升方案的可行性和灵活性。

[0238] 可选地，在上述图10所对应的实施例的基础上，请参阅图11，本申请实施例提供的图像标注装置30的另一实施例中，所述图像标注装置30还包括接收模块304以及生成模块305；

[0239] 所述获取模块301，还用于在从已标注图像集合中获取已标注图像之前，获取目标标注区域；

[0240] 所述获取模块301，还用于根据所述目标标注区域获取多个待处理图像，其中，所述多个待处理图像包括所述待标注图像以及M个可标注图像，所述M为大于或等于1的整数；

[0241] 所述接收模块304，用于接收所述M个可标注图像中每个可标注图像所对应的标注信息；

[0242] 所述生成模块305，用于根据所述接收模块304接收的所述每个可标注图像所对应的标注信息，生成所述已标注图像集合，其中，所述所述已标注图像集合包括M个已经标注的图像。

[0243] 其次，本申请实施例中，提供了一种人工标注图像的方式，即先获取目标标注区域，然后根据目标标注区域获取多个待处理图像，其中，多个待处理图像包括待标注图像以及M个可标注图像，然后接收M个可标注图像中每个可标注图像所对应的标注信息，最后根据每个可标注图像所对应的标注信息，生成已标注图像集合。通过上述方式，在进行人工标注时只需要对待处理图像中的部分图像进行标注即可，无需标注所有图像，从而降低了标注成本，提升标注效率。

[0244] 可选地，在上述图11所对应的实施例的基础上，本申请实施例提供的图像标注装置30的另一实施例中，

[0245] 所述接收模块304，具体用于接收图像标注指令，其中，所述图像标注指令携带可标注图像的标识；

[0246] 根据所述图像标注指令对所述可标注图像进行标注，得到所述可标注图像所对应的标注信息。

[0247] 再次，本申请实施例中，提供了一种人工标注图像的具体方式，即首先接收图像标注指令，其中，图像标注指令携带可标注图像的标识，然后根据图像标注指令对可标注图像进行标注，得到可标注图像所对应的标注信息。通过上述方式，为方案的实现提供了具体可行的实现手段，从而有利于方案的可行性和操作性。

[0248] 可选地，在上述图10或图11所对应的实施例的基础上，本申请实施例提供的图像标注装置30的另一实施例中，

[0249] 所述匹配模块302，具体用于获取所述待标注图像的第一特征点集合，其中，所述第一特征点集合包括多个特征点；

[0250] 获取所述已标注图像的第二特征点集合，其中，所述第二特征点集合包括多个特征点；

[0251] 对所述第一特征点集合以及所述第二特征点集合进行匹配，得到匹配结果；

[0252] 根据所述匹配结果计算得到所述仿射变换矩阵。

[0253] 其次，本申请实施例中，提供了一种计算得到仿射变换矩阵的方法，即获取待标注图像的第一特征点集合，其中，第一特征点集合包括多个特征点，并且获取已标注图像的第二特征点集合，其中，第二特征点集合包括多个特征点，再对第一特征点集合以及第二特征点集合进行匹配，得到匹配结果，最后根据匹配结果计算得到仿射变换矩阵。通过上述方式，利用特征点匹配的模式来确定两个图像之间的相似度，基于特征点之间的匹配关系生成仿射变换矩阵，考虑到图像的特征点较多，从而得到更加丰富的信息量，使得匹配的准确性更高。

[0254] 可选地，在上述图10或图11所对应的实施例的基础上，本申请实施例提供的图像标注装置30的另一实施例中，

[0255] 所述匹配模块302，具体用于从所述第二特征点集合中确定待匹配特征点；

[0256] 根据所述待匹配特征点，从所述第一特征点集合中确定第一特征点和第二特征点；

[0257] 根据所述第一特征点与所述待匹配特征点确定第一距离，根据所述第二特征点与所述待匹配特征点确定第二距离，其中，所述第一距离小于所述第二距离；

[0258] 若所述第一距离与所述第二距离的比率小于比率阈值，则确定所述第一特征点与所述待匹配特征点匹配成功。

[0259] 再次，本申请实施例中，提供了一种特征点之间进行匹配的方式，即从第二特征点集合中确定待匹配特征点，然后根据待匹配特征点，从第一特征点集合中确定第一特征点和第二特征点，根据第一特征点与待匹配特征点确定第一距离，根据第二特征点与待匹配特征点确定第二距离，第一距离小于第二距离，如果第一距离与第二距离的比率小于比率阈值，则确定第一特征点与待匹配特征点匹配成功。通过上述方式，在特征点匹配过程中，通过相似性度量准则及搜索策略可找到查询点的最近邻，但是两个点距离最近并不一定能够保证它们就是正确的对应匹配点对，为了降低后续处理过程中的误差，因此，需要在建立特征点的初始匹配的基础上，再进行误匹配点的去除，也被称为匹配对的提纯，由此，增加匹配的准确度。

[0260] 可选地，在上述图10或图11所对应的实施例的基础上，本申请实施例提供的图像标注装置30的另一实施例中，

[0261] 所述匹配模块302，具体用于根据所述待标注图像获取模板区域；

[0262] 根据所述已标注图像获取搜索区域，其中，所述搜索区域的尺寸大于所述模板区域的尺寸；

[0263] 将所述模板区域与所述搜索区域进行匹配，得到特征点匹配结果；

[0264] 根据所述匹配结果计算得到所述仿射变换矩阵。

[0265] 其次，本申请实施例中，提供了一种基于图像灰度的匹配方法，即先根据待标注图像获取模板区域，然后根据已标注图像获取搜索区域，其中，搜索区域的尺寸大于模板区域的尺寸，再将模板区域与搜索区域进行匹配，得到特征点匹配结果。根据匹配结果计算得到仿射变换矩阵。通过上述方式，利用空间中一维或者二维的滑动模板实现图像的匹配，匹配率较高。根据选取模板和准则的不同，形成了不同的匹配算法。

[0266] 可选地，在上述图10或图11所对应的实施例的基础上，本申请实施例提供的图像标注装置30的另一实施例中，

[0267] 所述匹配模块302，具体用于通过图像匹配网络模型确定所述待标注图像与所述已标注图像的匹配结果；

[0268] 若所述匹配结果为匹配成功，则根据所述待标注图像以及所述已标注图像，计算得到所述仿射变换矩阵。

[0269] 其次，本申请实施例中，提供了一种基于深度学习的匹配方法。通过图像匹配网络模型确定待标注图像与已标注图像的匹配结果，若匹配结果为匹配成功，则根据待标注图像以及已标注图像，计算得到仿射变换矩阵。通过上述方式，基于深度学习的这类图像匹配方法不再依据研究者的观察和专业知识，而是依靠数据的训练，匹配精确度非常高。

[0270] 下面对本申请中的标注展示装置进行详细描述，请参阅图12，图12为本申请实施例中标注展示装置一个实施例示意图，标注展示装置40包括：

[0271] 获取模块401，用于获取待标注病理图像，其中，所述待标注病理图像对应于第一放大倍率；

[0272] 所述获取模块401，还用于从已标注病理图像集合中获取已标注病理图像，其中，所述已标注病理图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注病理图像集合包括至少一个已经标注的病理图像；

[0273] 匹配模块402，用于将所述获取模块401获取的所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵；

[0274] 标注模块403，用于根据所述匹配模块402匹配得到的所述仿射变换矩阵以及所述已标注病理图像生成所述待标注病理图像的病理标注信息；

[0275] 展示模块404，用于展示所述标注模块403标注得到的所述待标注病理图像的所述病理标注信息。

[0276] 本实施例中，获取模块401获取待标注病理图像，其中，所述待标注病理图像对应于第一放大倍率，所述获取模块401从已标注病理图像集合中获取已标注病理图像，其中，所述已标注病理图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注病理图像集合包括至少一个已经标注的病理图像，匹配模块402将所述获取模块401获取的所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵，标注模块403根据所述匹配模块402匹配得到的所述仿射变换矩阵以及所述已标注病理图像生成所述待标注病理图像的病理标注信息，展示模块404展示所述标注模块403标注得到的所述待标注病理图像的所述病理标注信息。

[0277] 本申请实施例中，提供了一种基于病理图像的标注展示方法，即首先获取待标注病理图像，其中，待标注图像对应于第一放大倍率，然后从已标注病理图像集合中获取已标注病理图像，已标注病理图像对应于第二放大倍率，第二放大倍率与第一放大倍率不一致，再将待标注病理图像与已标注病理图像进行匹配，得到仿射变换矩阵，根据仿射变换矩阵以及已标注病理图像生成待标注病理图像的病理标注信息，最后直接展示待标注病理图像的病理标注信息。通过上述方式，可以将不同倍率下的病理图像所对应的标注进行迁移，比如可以将低倍率病理图像的标注迁移到高倍率病理图像上，从而减少了人工标注量，避免重复标注的情况，进而提升标注效率，降低人工成本。此外，还可以之间将标注结果展示给医务人员，便于医务人员更加直观地确定病理图像所反映的信息。

[0278] 本申请实施例还提供了另一种图像显示控制装置，如图13所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、销售终端设备(Point of Sales，POS)、车载电脑等任意终端设备，以终端设备为手机为例：

[0279] 图13示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图13，手机包括：射频(Radio Frequency，RF)电路510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、无线保真(wireless fidelity，WiFi)模块570、处理器580、以及电源590等部件。本领域技术人员可以理解，图13中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

[0280] 下面结合图13对手机的各个构成部件进行具体的介绍：

[0281] RF电路510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器580处理；另外，将设计上行的数据发送给基站。通常，RF电路510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

[0282] 存储器520可用于存储软件程序以及模块，处理器580通过运行存储在存储器520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

[0283] 输入单元530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元530可包括触控面板531以及其他输入设备532。触控面板531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器580，并能接收处理器580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531，输入单元530还可以包括其他输入设备532。具体地，其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

[0284] 显示单元540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元540可包括显示面板541，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板541。进一步的，触控面板531可覆盖显示面板541，当触控面板531检测到在其上或附近的触摸操作后，传送给处理器580以确定触摸事件的类型，随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图13中，触控面板531与显示面板541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板531与显示面板541集成而实现手机的输入和输出功能。

[0285] 手机还可包括至少一种传感器550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

[0286] 音频电路560、扬声器561，传声器562可提供用户与手机之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号，传输到扬声器561，由扬声器561转换为声音信号输出；另一方面，传声器562将收集的声音信号转换为电信号，由音频电路560接收后转换为音频数据，再将音频数据输出处理器580处理后，经RF电路510以发送给比如另一手机，或者将音频数据输出至存储器520以便进一步处理。

[0287] WiFi属于短距离无线传输技术，手机通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了WiFi模块570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

[0288] 处理器580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器580可包括一个或多个处理单元；可选的，处理器580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器580中。

[0289] 手机还包括给各个部件供电的电源590(比如电池)，可选的，电源可以通过电源管理系统与处理器580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

[0290] 尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

[0291] 在本申请实施例中，该终端设备所包括的处理器580还具有以下功能：

[0292] 获取待标注图像，其中，所述待标注图像对应于第一放大倍率，所述待标注图像为待标注的病理图像；

[0293] 从已标注图像集合中获取已标注图像，其中，所述已标注图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注图像集合包括至少一个已经标注的图像，所述已标注图像为已经标注的病理图像；

[0294] 将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵；

[0295] 根据所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息。

[0296] 可选地，处理器580具体用于执行如下步骤：

[0297] 从所述已标注图像集合中获取第一已标注图像以及第二已标注图像；

[0298] 将所述待标注图像与所述第一已标注图像进行匹配，得到第一仿射变换矩阵；

[0299] 将所述待标注图像与所述第二已标注图像进行匹配，得到第二仿射变换矩阵；

[0300] 根据所述第一仿射变换矩阵以及所述已标注图像第一已标注图像，生成所述待标注图像的第一标注信息；

[0301] 根据所述第二仿射变换矩阵以及所述已标注图像第二已标注图像，生成所述待标注图像的第二标注信息；

[0302] 根据所述第一标注信息以及所述第二标注信息，生成所述待标注图像的标注信息。

[0303] 可选地，处理器580具体用于执行如下步骤：

[0304] 从所述已标注图像集合中获取多个已标注图像，其中，所述多个已标注图像具有重叠部分；

[0305] 对所述多个已标注图像进行拼接处理，得到待匹配图像；

[0306] 将所述待标注图像与所述待匹配图像进行匹配，得到所述仿射变换矩阵；

[0307] 根据所述仿射变换矩阵以及所述待匹配图像生成所述待标注图像的标注信息。

[0308] 可选地，处理器580还用于执行如下步骤：

[0309] 获取目标标注区域；

[0310] 根据所述目标标注区域获取多个待处理图像，其中，所述多个待处理图像包括所述待标注图像以及M个可标注图像，所述M为大于或等于1的整数；

[0311] 接收所述M个可标注图像中每个可标注图像所对应的标注信息；

[0312] 根据所述每个可标注图像所对应的标注信息，生成所述已标注图像集合，其中，所述所述已标注图像集合包括M个已经标注的图像。

[0313] 可选地，处理器580具体用于执行如下步骤：

[0314] 接收图像标注指令，其中，所述图像标注指令携带可标注图像的标识；

[0315] 根据所述图像标注指令对所述可标注图像进行标注，得到所述可标注图像所对应的标注信息。

[0316] 可选地，处理器580具体用于执行如下步骤：

[0317] 获取所述待标注图像的第一特征点集合，其中，所述第一特征点集合包括多个特征点；

[0318] 获取所述已标注图像的第二特征点集合，其中，所述第二特征点集合包括多个特征点；

[0319] 对所述第一特征点集合以及所述第二特征点集合进行匹配，得到匹配结果；

[0320] 根据所述匹配结果计算得到所述仿射变换矩阵。

[0321] 可选地，处理器580具体用于执行如下步骤：

[0322] 从所述第二特征点集合中确定待匹配特征点；

[0323] 根据所述待匹配特征点，从所述第一特征点集合中确定第一特征点和第二特征点；

[0324] 根据所述第一特征点与所述待匹配特征点确定第一距离，根据所述第二特征点与所述待匹配特征点确定第二距离，其中，所述第一距离小于所述第二距离；

[0325] 若所述第一距离与所述第二距离的比率小于比率阈值，则确定所述第一特征点与所述待匹配特征点匹配成功。

[0326] 可选地，处理器580具体用于执行如下步骤：

[0327] 根据所述待标注图像获取模板区域；

[0328] 根据所述已标注图像获取搜索区域，其中，所述搜索区域的尺寸大于所述模板区域的尺寸；

[0329] 将所述模板区域与所述搜索区域进行匹配，得到特征点匹配结果；

[0330] 根据所述匹配结果计算得到所述仿射变换矩阵。

[0331] 可选地，处理器580具体用于执行如下步骤：

[0332] 通过图像匹配网络模型确定所述待标注图像与所述已标注图像的匹配结果；

[0333] 若所述匹配结果为匹配成功，则根据所述待标注图像以及所述已标注图像，计算得到所述仿射变换矩阵。

[0334] 在本申请实施例中，该终端设备所包括的处理器580还具有以下功能：

[0335] 获取待标注病理图像，其中，所述待标注病理图像对应于第一放大倍率；

[0336] 从已标注病理图像集合中获取已标注病理图像，其中，所述已标注病理图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注病理图像集合包括至少一个已经标注的病理图像；

[0337] 将所述待标注病理图像与所述已标注病理图像进行匹配，得到仿射变换矩阵；

[0338] 根据所述仿射变换矩阵以及所述已标注病理图像生成所述待标注病理图像的病理标注信息；

[0339] 展示所述待标注病理图像的所述病理标注信息。

[0340] 图14是本申请实施例提供的一种服务器结构示意图，该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在服务器600上执行存储介质630中的一系列指令操作。

[0341] 服务器600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

[0342] 上述实施例中由服务器所执行的步骤可以基于该图14所示的服务器结构。

[0343] 在本申请实施例中，该服务器所包括的CPU 622还具有以下功能：

[0344] 获取待标注图像，其中，所述待标注图像对应于第一放大倍率，所述待标注图像为待标注的病理图像；

[0345] 从已标注图像集合中获取已标注图像，其中，所述已标注图像对应于第二放大倍率，所述第二放大倍率与所述第一放大倍率不一致，所述已标注图像集合包括至少一个已经标注的图像，所述已标注图像为已经标注的病理图像；

[0346] 将所述待标注图像与所述已标注图像进行匹配，得到仿射变换矩阵；

[0347] 根据所述仿射变换矩阵以及所述已标注图像生成所述待标注图像的标注信息。

[0348] 随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

[0349] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0350] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0351] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0352] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0353] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0354] 以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。