面部图像的皮损标注方法、系统、计算机设备和存储介质

摘要

本申请涉及图像处理技术领域，公开了一种面部图像的皮损标注方法、系统、计算机设备和存储介质，所述方法包括：获取待标注的面部图像；将所述面部图像输入完成预训练的面部皮损标注模型中，获得初步皮损标注结果；对所述初步皮损标注结果进行多级人工修注，得到最终皮损标注结果。本申请解决了现有面部图像的皮损标注方法存在标注工作量大、效率低下的问题。

权利要求

1.面部图像的皮损标注方法，其特征在于，包括：

获取待标注的面部图像；

将所述面部图像输入完成预训练的面部皮损标注模型中，获得初步皮损标注结果；

对所述初步皮损标注结果进行多级人工修注，得到最终皮损标注结果；

其中，得到最终皮损标注结果之后，还包括对所述面部皮损标注模型进行更新，所述更新包括：将所述初步皮损标注结果、所述最终皮损标注结果分别与所述面部图像组合，构成初步标注样本和最终标注样本；

对所述初步标注样本和所述最终标注样本进行划分，获得所述初步标注样本划分形成的第一样本分块和所述最终标注样本划分形成的第二样本分块；

选取对应的第一样本分块和第二样本分块进行差异度评价，获得差异度评分；

将对应的第二样本分块和差异度评分进行组合作为待更新样本数据，加入待更新数据集中；

当所述待更新数据集中的待更新样本数据的数量达到预设阈值时，从待更新数据集和已使用数据集中选取更新训练样本数据，获得更新训练数据集；

基于所述更新训练数据集中的更新训练样本数据确定损失函数；

基于所述损失函数对所述面部皮损标注模型进行迭代训练，以对所述面部皮损标注模型的参数进行更新。

2.根据权利要求1所述的面部图像的皮损标注方法，其特征在于，所述损失函数具体为：其中，表示损失函数， 表示更新训练数据集中第i个更新训练样本数据的样本分块，表示 对应的差异度评分， 表示超参数。

3.根据权利要求1所述的面部图像的皮损标注方法，其特征在于，从待更新数据集和已使用数据集中选取更新训练样本数据，获得更新训练数据集包括：从所述已使用数据集中随机选取预设比例的已使用样本数据，获得第一样本集合；

将所述待更新数据集中的待更新样本数据进行数据增强操作后，获得第二样本集合；

将所述第一样本集合和所述第二样本集合进行组合，构成待训练数据集；

从所述待训练数据集中随机选取预设数量的待训练样本数据作为更新训练样本数据，获得更新训练数据集。

4.根据权利要求1所述的面部图像的皮损标注方法，其特征在于：对所述面部皮损标注模型的参数进行更新之后，将所述待更新数据集中的待更新样本数据加入所述已使用数据集中。

5.根据权利要求1所述的面部图像的皮损标注方法，其特征在于，还包括：将所述面部图像输入完成预训练的面部分区模型中，对所述面部图像的关键点进行定位，所述关键点包括双眼内眦和两侧口角；

基于所述关键点的连线对所述面部图像进行划分获得面部分区，所述面部分区包括额头区域、左脸区域、右脸区域和中部区域；

基于所述最终皮损标注结果对所述面部分区各个区域进行皮损等级标注，获得所述面部分区各个区域对应的区域皮损等级；

将所述面部分区各个区域对应的区域面积和区域皮损等级代入皮损分级函数中，获得面部皮损分级结果。

6.根据权利要求5所述的面部图像的皮损标注方法，其特征在于，所述皮损分级函数为：其中，S表示面部皮损分级结果，R表示区域皮损等级，RA表示区域面积，head、left、middle、right分别表示额头区域、左脸区域、中部区域和右脸区域，a、b、c、d表示权重。

7.面部图像的皮损标注系统，其特征在于，包括：

数据获取模块，所述数据获取模块用于获取待标注的面部图像；

智能标注模块，所述智能标注模块用于将所述面部图像输入完成预训练的面部皮损标注模型中，获得初步皮损标注结果；

图像修注模块，所述图像修注模块用于对所述初步皮损标注结果进行多级人工修注，得到最终皮损标注结果；

其中，得到最终皮损标注结果之后，还包括对所述面部皮损标注模型进行更新，所述更新包括：将所述初步皮损标注结果、所述最终皮损标注结果分别与所述面部图像组合，构成初步标注样本和最终标注样本；

对所述初步标注样本和所述最终标注样本进行划分，获得所述初步标注样本划分形成的第一样本分块和所述最终标注样本划分形成的第二样本分块；

选取对应的第一样本分块和第二样本分块进行差异度评价，获得差异度评分；

将对应的第二样本分块和差异度评分进行组合作为待更新样本数据，加入待更新数据集中；

当所述待更新数据集中的待更新样本数据的数量达到预设阈值时，从待更新数据集和已使用数据集中选取更新训练样本数据，获得更新训练数据集；

基于所述更新训练数据集中的更新训练样本数据确定损失函数；

基于所述损失函数对所述面部皮损标注模型进行迭代训练，以对所述面部皮损标注模型的参数进行更新。

8.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述面部图像的皮损标注方法的步骤。

9.一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述面部图像的皮损标注方法的步骤。

说明书

面部图像的皮损标注方法、系统、计算机设备和存储介质

技术领域

[0001] 本发明涉及图像处理技术领域，具体是指一种面部图像的皮损标注方法、系统、计算机设备和存储介质。

背景技术

[0002] 痤疮是毛囊皮脂腺单位的一种多因素疾病，临床表现从轻度的粉刺型痤疮到暴发型伴有系统性症状的痤疮。痤疮的主要表现形态有粉刺、丘疹、脓疱、结节、囊肿等等。痤疮是一种非常普遍的疾病，发病率高峰出现在青少年，约85%的12—24岁的青少年患此病。虽然痤疮常见于青少年，但12%的女性和3%的男性会持续到44岁。皮肤科医生在对面部痤疮进行诊断之前，首先需要对面部图像的皮损区域进行标注，以作为后续筛查的判断依据。现有面部图像的皮损标注通常是皮肤科医生手动进行，工作量巨大。其中，图像标注是指在原始图像数据上，通过一系列辅助标注工具，让标注者为图像添加额外说明信息的操作。

发明内容

[0003] 基于以上技术问题，本申请提供了一种面部图像的皮损标注方法、系统、计算机设备和存储介质，解决了现有面部图像的皮损标注方法存在标注工作量大、效率低下的问题。

[0004] 为解决以上技术问题，本申请采用的技术方案如下：

[0005] 一种面部图像的皮损标注方法，包括：

[0006] 获取待标注的面部图像；

[0007] 将所述面部图像输入完成预训练的面部皮损标注模型中，获得初步皮损标注结果；

[0008] 对所述初步皮损标注结果进行多级人工修注，得到最终皮损标注结果。

[0009] 一种面部图像的皮损标注系统，其特征在于，包括：

[0010] 数据获取模块，所述数据获取模块用于获取待标注的面部图像；

[0011] 智能标注模块，所述智能标注模块用于将所述面部图像输入完成预训练的面部皮损标注模型中，获得初步皮损标注结果；

[0012] 图像修注模块，所述图像修注模块用于对所述初步皮损标注结果进行多级人工修注，得到最终皮损标注结果。

[0013] 一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述面部图像的皮损标注方法的步骤。

[0014] 一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述面部图像的皮损标注方法的步骤。

[0015] 与现有技术相比，本申请的有益效果是：

[0016] 上述方法、系统、计算机设备和存储介质通过利用面部皮损标注模型对面部图像进行智能标注，可以节省标注人员大量的时间精力，提高面部图像的皮损标注效率。再通过人工修注的方式，可以在标注过程中逐级精修，得到高精度、高质量的最终皮损标注结果。

附图说明

[0017] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：

[0018] 图1为面部图像的皮损标注方法的流程示意图。

[0019] 图2为对面部皮损标注模型进行更新的流程示意图。

[0020] 图3为从待更新数据集和已使用数据集中选取更新训练样本数据，获得更新训练数据集的流程示意图。

[0021] 图4为面部图像的皮损等级标注方法的流程示意图。

[0022] 图5为面部图像的面部分区结果示意图。

[0023] 图6为面部图像的皮损标注系统的架构设计示意图。

具体实施方式

[0024] 为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

[0025] 应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

[0026] 如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

[0027] 本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

[0028] 参阅图1，在一些实施例中，面部图像的皮损标注方法，包括：

[0029] S101，获取待标注的面部图像；

[0030] 具体的，面部图像通过图像采集设备获得。

[0031] S102，将所述面部图像输入完成预训练的面部皮损标注模型中，获得初步皮损标注结果；

[0032] 优选的，面部皮损标注模型为基于PyTorch框架的神经网络目标检测模型Mask‑RCNN训练而成。

[0033] 具体的，对于Mask‑RCNN模型的预训练，具体包括以下步骤：

[0034] 第一步，标注训练集，考虑本任务需要输出患者面部的皮损检测结果，因此在模型训练之前，通过标注软件手动在训练用面部图像上标注由闭口粉刺、开口粉刺、丘疹、脓疱、结节、萎缩性瘢痕、增生性瘢痕、斑、色素痣、其他这10类皮损，生成的标注信息和脸部图像即为训练数据；

[0035] 第二步，预处理训练集，由于原始面部图像尺寸较大，通常为4300*3600左右，直接加载到显卡或造成显存溢出，所以无法直接载入显存进行训练。因此需要将原始面部图像划分为1024*1024大小的局部图像，同时对应地将原始面部图像的标注信息坐标换算到生成的局部图像坐标下；

[0036] 第三步，选择未训练的Mask R‑CNN模型；

[0037] 第四步，选择损失函数，损失函数包含2个部分： RPN网络候选框的前后景分类和位置回归损失函数，其具体损失函数分别选择BCE Loss和L1 Loss；RCNN检测框的多分类和位置回归损失函数，其具体损失函数分别选择CE Loss和L1 Loss；

[0038] 第五步，将训练集输入Mask R‑CNN模型中，基于损失函数对模型进行迭代训练，最终得到完成预训练的面部皮损标注模型。

[0039] S103，对所述初步皮损标注结果进行多级人工修注，得到最终皮损标注结果。

[0040] 本实施例中，由于面部痤疮具有分类较多，类别之间界限不明确，痤疮图像边界与正常图像的分界区域模糊等特点。因此，在现有标注过程中，需要具有相关领域医学知识的皮肤科专业医师手动来完成标注工作。但是，由于高年资医生资源紧缺，无法完成大批量的皮损标注任务，导致现有采用人工标注的方式对面部图像的皮损部位进行标注的效率极低。

[0041] 为解决上述问题，本申请首先通过面部皮损标注模型对面部图像进行标注，面部皮损标注模型可以自动识别面部图像的皮损部位并进行初步标注，后续再在面部皮损标注模型的标注基础上，通过人工标注的方式，对初步皮损标注结果进行修注，最终获得标注准确完整的最终皮损标注结果。其中，使用面部皮损标注模型可以快速完成大量皮损图像的初步标注，可以大幅地减少标注者的工作量，使得后续仅需部分微调工作即可快速获得准确完整的标注结果，有效地提高了面部图像的皮损标注效率。

[0042] 其中，对于多级人工修注，本申请中设置了由实习医师、低年资医师、高年资医师组成的三级人工修注架构。在此架构中，首先由数个实习医师借助面部皮损标注模型完成对面部皮损图像的初级标注。此阶段的目的是快速完成大量皮损图像的标注；其次是由一些低年资医师对上一阶段已初步标注完成的初步标注图像进行审查和精修，弥补在初步标注中由于实习医师经验不足以及疏忽造成的标注错误、遗漏、范围不准确等问题。最后在终审阶段，高年资医师会就已经修注的皮损图像中的疑点、难点痤疮区域进行讨论，确保最终生成的标注数据的准确性。

[0043] 参阅图2，在一些实施例中，得到最终皮损标注结果之后，还包括对所述面部皮损标注模型进行更新，所述更新包括：

[0044] S201，将所述初步皮损标注结果、所述最终皮损标注结果分别与所述面部图像组合，构成初步标注样本和最终标注样本；

[0045] S202，对所述初步标注样本和所述最终标注样本进行划分，获得所述初步标注样本划分形成的第一样本分块和所述最终标注样本划分形成的第二样本分块；

[0046] 具体的，令第一样本分块为 ，第二样本分块为 ，其中，i表示样本分块的编号。若将相应图像按4*5的分块进行分割，则i=1,2,3,…,20。

[0047] S203，选取对应的第一样本分块和第二样本分块进行差异度评价，获得差异度评分；

[0048] 具体的，差异度评分 ，其中， ，数值越大则表示差异度越大，其中 表示没有差异。

[0049] S204，将对应的第二样本分块和差异度评分进行组合作为待更新样本数据，加入待更新数据集中；

[0050] 其中，将第二样本分块 和其对应的差异度评分 组合作为待更新样本数据加入到待更新数据集 中。

[0051] S205，当所述待更新数据集中的待更新样本数据的数量达到预设阈值时，从待更新数据集和已使用数据集中选取更新训练样本数据，获得更新训练数据集；

[0052] 其中，预设阈值为触发面部皮损标注模型更新的条件值，若待更新数据集中样本分块的数量没有达到预设阈值时，则继续对下一面部图像的最终皮损标注结果进行S201~S304的操作，并将待更新样本数据继续储存在待更新数据集中。

[0053] 其中，已使用数据集指的是之前参与了面部皮损标注模型更新的样本数据集合，设为 。

[0054] 具体的，假设预设阈值设为200，若将图像按4*5的分块进行分割，则相当于每完成10张面部图像的最终皮损标注就会进行一次面部皮损标注模型更新。

[0055] S206，基于所述更新训练数据集中的更新训练样本数据确定损失函数；

[0056] 优选的，所述损失函数具体为：

[0057]

[0058] 其中，表示损失函数， 表示更新训练数据集中第i个更新训练样本数据的样本分块， 表示 对应的差异度评分，表示超参数。

[0059] S207，基于所述损失函数对所述面部皮损标注模型进行迭代训练，以对所述面部皮损标注模型的参数进行更新。

[0060] 本实施例中，为了完成待更新数据集 对已有模型的训练更新，以在面部皮损标注模型的基础之上进一步提升模型的性能，更好地完成智能标注任务。本申请创新性地结合了在线学习和困难样本挖掘的思想，提出了基于困难样本挖掘机制的在线学习方法。

[0061] 传统在线学习方法一般是应用于流式数据，例如视频、音频数据，并且所有数据都是按照逻辑顺序输入。对于痤疮标注任务，所有样本都是静态数据，且各个样本之间没有逻辑关系。因此，本申请引入了困难样本挖掘机制中的思想，应用于面部图像皮损标注任务。这种方案保证了在更新面部皮损标注模型时更加重视新增的样本数据，特别是那些差异度较大的样本分块。另一方面，旧的已使用数据的加入训练也保证了模型不会受到个别特殊的新增待更新数据的严重影响，保证了模型在逐步训练更新的过程中能够获得稳定的性能提升。

[0062] 优选的，对所述面部皮损标注模型的参数进行更新之后，将所述待更新数据集中的待更新样本数据加入所述已使用数据集中。

[0063] 其中，将待更新数据集中的待更新样本数据加入已使用数据集中，等待下一轮模型更新。

[0064] 参阅图3，优选的，从待更新数据集和已使用数据集中选取更新训练样本数据，获得更新训练数据集包括：

[0065] S301，从所述已使用数据集中随机选取预设比例的已使用样本数据，获得第一样本集合；

[0066] 具体的，基于预设比例 从已使用数据集中随机选取已使用样本数据。

[0067] S302，将所述待更新数据集中的待更新样本数据进行数据增强操作后，获得第二样本集合；

[0068] 具体的，数据增强具体是指通过剪切、旋转/反射/翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变换等一种或多种组合数据增强变换的方式来增加数据集的大小。数据增强的意义是通过对样本数据做一系列随机改变，来产生相似但又不同的样本数据，从而扩大样本数据集的规模，而且随机改变样本数据可以降低模型对某些属性的依赖，从而在后续模型更新训练过程中，提高模型的泛化能力。

[0069] S303，将所述第一样本集合和所述第二样本集合进行组合，构成待训练数据集；

[0070] 具体的，待训练数据集 具体为：

[0071]

[0072] 其中，aug()表示数据增强操作，rand()表示随机选取操作。

[0073] S304，从所述待训练数据集中随机选取预设数量的待训练样本数据作为更新训练样本数据，获得更新训练数据集。

[0074] 参阅图4，在一些实施例中，还包括：

[0075] S401，将所述面部图像输入完成预训练的面部分区模型中，对所述面部图像的关键点进行定位，所述关键点包括双眼内眦和两侧口角；

[0076] 优选的，面部分区模型采用UNet网络，UNet网络常用于医学图像的处理任务，尤其是像素级语义分割。UNet采用包含了上采样和下采样的网络结构，能够展现环境信息的同时还原细节信息，因此可以提取医学图像中细粒度的特征，进而提高语义分割的精度。

[0077] 具体的，对于UNet网络的预训练，具体包括以下步骤：

[0078] 第一步，标注训练集，考虑本任务需要输出患者面部的两个内眼角和外嘴角检测结果，因此将任务建模为语义分割任务，因此在模型训练之前，通过标注软件手动在训练用面部图像上标注由双眼内眦和两侧口角组成的区域，生成的标注信息和脸部图像即为训练数据；

[0079] 第二步，预处理训练集，由于原始面部图像尺寸较大，通常为4300*3600左右，直接加载到显卡或造成显存溢出，所以无法直接载入显存进行训练。因此首先将图像的大小缩小到224*224尺寸，再采用二次插值补足对应像素，同时对应地将原始面部图像的标注信息坐标换算到生成的局部图像坐标下；

[0080] 第三步，选择未训练的UNet网络；

[0081] 第四步，选择损失函数，其具体损失函数选择交叉熵损失函数；

[0082] 第五步，将训练集输入UNet网络中，基于损失函数对模型进行迭代训练，最终得到完成预训练的面部分区模型。

[0083] S402，基于所述关键点的连线对所述面部图像进行划分获得面部分区，所述面部分区包括额头区域、左脸区域、右脸区域和中部区域；

[0084] 具体的，关键点的连线为双眼内眦连线、位于左侧的左眼内眦和左侧口角的连线、位于右侧的右眼内眦和右侧口角的连线，从而通过这三条连线将面部图像分割为四个区域，分别为额头区域、左脸区域、右脸区域和中部区域。

[0085] 具体的，面部图像的分区结果如图5所示。

[0086] S403，基于所述最终皮损标注结果对所述面部分区各个区域进行皮损等级标注，获得所述面部分区各个区域对应的区域皮损等级；

[0087] S404，将所述面部分区各个区域对应的区域面积和区域皮损等级代入皮损分级函数中，获得面部皮损分级结果。

[0088] 优选的，所述皮损分级函数为：

[0089]

[0090] 其中，S表示面部皮损分级结果，R表示区域皮损等级，RA表示区域面积，head、left、middle、right分别表示额头区域、左脸区域、中部区域和右脸区域，a、b、c、d表示权重。

[0091] 其中，a、b、c、d用于表示不同区域的重要性程度，其总和为1。

[0092] 具体的，对于面部皮损分级结果，还可以根据皮损的具体情况进行分类，比如红斑、色沉等皮损状况结果的分别计算。

[0093] 以面部红斑举例，选择该面部图像各区域的红斑（erythema）等级（分为1‑5，五个等级），包括额头分级（ ）、左侧分级（ ）、中部分级（ ）、右侧分级（ ），与红斑区域面积（分为0‑10，11个等级），包括额头面积（ ）、左侧面积（ ）、中部面积（ ）、右侧面积（ ）。

[0094] 根据不同区域的红斑分级与面积比例生成的红斑严重程度数值 ，计算公式为：

[0095]

[0096] 其中， 的值域为[0,5]，显示时保留小数点后两位。

[0097] 以面部色沉举例，选择该幕布图像各区域的色沉（pigmentation）等级（分为1‑5，五个等级），包括额头分级（ ）、左侧分级（ ）、中部分级（ ）、右侧分级（ ），与色沉区域面积（分为0‑10，11个等级），包括额头面积（ ）、左侧面积（ ）、中部面积（ ）、右侧面积（ ）。

[0098] 根据不同区域的红斑分级与面积比例生成的红斑严重程度数值 ，计算公式为：

[0099]

[0100] 其中， 的值域为[0,5]，显示时保留小数点后两位。

[0101] 本实施例中，通过对面部图像进行分区，方便了对面部皮损等级的标注。通过对面部图像皮损等级的标注，有利于在皮损标注之后的医疗诊断阶段，方便医生对患者的面部状况进行判断。

[0102] 同时，对面部图像分区之后，在人工修注阶段，可以便于标注人员基于分区对面部图像上的标注情况进行审查和精修，在一定程度上可以提高标注效率。

[0103] 在一些实施例中，还公开了一种面部图像的皮损标注系统，包括：

[0104] 数据获取模块，所述数据获取模块用于获取待标注的面部图像；

[0105] 智能标注模块，所述智能标注模块用于将所述面部图像输入完成预训练的面部皮损标注模型中，获得初步皮损标注结果；

[0106] 图像修注模块，所述图像修注模块用于对所述初步皮损标注结果进行多级人工修注，得到最终皮损标注结果。

[0107] 本实施例中，对于面部图像的皮损标注系统，其作为一个线上运行的软件系统，参阅图6，具体的架构设计包括前端、后端、数据库、运行环境四个部分。

[0108] 其中，对于皮损标注系统的运行环境，具体运行于安装有Linux操作系统的服务器上，并构建了应用容器引擎Docker作为该标注系统及其依赖项的运行环境，HTTP和反向代理web服务器使用了Nginx，WSGI为Web服务器网关接口，系统代码的版本更新维护则使用了Git；

[0109] 其中，对于皮损标注系统的数据库，作为格式化储存所有数据的仓库，具体选用Mysql作为为本系统的数据库。数据表中的imageinfo储存了原始图像的相关信息，taskinfo储存了各个不同任务的相关信息，不同的图像可能被用于不同的标注任务，代表了imageinfo和taskinfo的数据之间存在多对多的对应关系，这种关系被储存在matchinfo中，这也是实现多任务标注功能时在数据层面的必要拆解。userinfo中储存了各个用户的数据，包括他们的标注角色。由于多级标注结构的存在，同一图像在同一任务中可以被多个用户进行标注，因此userinfo和matchinfo也存在多对多的对应关系，这种关系被储存在assigninfo中，assigninfo中也储存了对应的标注结果数据；

[0110] 其中，对于皮损标注系统的后端部分，具体使用了Django作为后端程序以实现各项系统功能的后端逻辑。例如，login接口实现了根据用户输入的用户名和密码判断是否允许用户登录以及登录到哪个账号，uploadimage接口实现了根据用户上传的文件格式进行标注格式转换，再将其中包含的数据写入到相应的数据库表单中，queryuser接口实现了查询数据库中存储的所有用户信息；

[0111] 其中，对于皮损标注系统的前端部分，前端是系统与用户进行直接交互的层级，具体采用了Vue框架，其中系统界面的各个UI组件主要使用了Element库，加载标注图像功能使用了cornerstone，cornerstonetools则是在标注图像上进行标注功能所需的各项标注工具的实现基础。

[0112] 具体的，对于图像修注模块，可以采用Labelme标注软件。Labelme是一个使用 Python 语言编写的，使用Qt图形界面的开源图像标注工具，有广泛的使用人员和知晓率，具备各种形状标注工具和格式转换功能。

[0113] 对于Labelme标注软件的使用，首先应准备好所要标注的数据文件，在本申请中是完成自动标注操作后的初步皮损标注结果，然后要使用Labelme打开指定的文件或文件夹。利用其主界面中间的图片显示窗口，标注者可以观察图片的特征。在左边的功能菜单可以选择CreatePolygons进入标注模式，之后在所要标注的目标周围不断点击后将形成首尾相连的线段，需确认已将多边形完全闭合。最后在跳出的菜单中输入该目标的标签，或者选择已有的标签。所有被标注完成的目标及其标签都会在右侧PolygonLabels中展示出来，右侧LabelList中展示了已有的标签名称，不同的标签及其所对应的目标具有不同的颜色。

[0114] 具体的，标注功能界面主要分为4个区域：

[0115] 待标注图像列表区，该区域主要显示分配给该标注员的图像列表，提供实时分页查询功能；

[0116] 标注工作区，主要显示当前标注图像，标注工作也在该界面开展；

[0117] 标注工具区，主要显示常用的几种标注操作：“重置视图”、“标注工具”、“保存草稿”、“删除标注”、“最终提交”等：

[0118] 重置视图：将图像大小重置为原始尺寸；

[0119] 标注工具：开始多边形标注。右键点击划动可以拖动图像；左键点击选点，也可以左键拖动选点；还可以点击之前已经选中的点进行拖动修改；

[0120] 保存草稿：保存当前已标注的信息；

[0121] 删除标注：开始删除标注。点击之前的标注边沿即可删除；

[0122] 最终提交：提交此次图像的标注；

[0123] 已标注标签区，主要显示已经标注的标注信息。

[0124] 优选的，由于面部皮损图像具有背景图像很大，但皮损区域较小的特点。针对这些特点，本系统还设计了如下解决措施：

[0125] 一是采用了待标注面部图像的预加载和缩略图技术，使得标注者即使在网络条件欠佳的计算机上也可以流畅加载出面部图像，从而保证标注的顺利进行；

[0126] 二是在标注功能界面设有一列标签编辑栏，可以更加方便地对某些尚未标注良好的皮损进行调整。

[0127] 此外，除了上述的主体功能模块，面部图像的皮损标注系统还包括登录模块、图像上传模块、标签管理模块、任务分配模块、任务标注模块、任务管理模块等子模块。

[0128] 结合上述模块，面部图像的皮损标注系统的使用流程如下，首先应为各个标注人员根据其角色分配个人账号，然后由管理员上传所需标注的图像数据，并设置标签内容，然后，为各等级的各个标注者分别分配一定数量的标注任务。在标注过程中，初标者应最先在任务标注界面借助部皮损标注模型的自动标注功能，完成自己分配到的标注任务；复核者可以获取到初标者的标注内容并在其基础上进行修改；终审者应在复核者的结果上进行进一步审查，特别是对于疑难点进行诊断。在三级标注完成之后，初标员、复核员可以在任务管理页面查看更高级的标注者与自己的标注的对比分析。最后，所有完成标注的图像及其标注信息会汇总到管理者的账号中，若有必要也可对标注进行修改。

[0129] 其中，在登录阶段，每位医师或管理员会分配一个账号密码，根据其所属的角色，会为其分配不同的任务。本系统存在以下四种角色：初标员、复核员、终审员、管理员。

[0130] 初标员: 主要使用系统在标注工作界面对图像进行第一次标注，可以在任务管理界面查看标注任务完成情况，查看复核员或终审员审核的标注质量详情。

[0131] 复核员: 主要使用系统在标注工作界面对图像进行第二次标注，可以在任务管理界面查看标注任务完成情况，查看终审员审核的标注质量详情。

[0132] 终审员: 主要使用系统在标注工作界面对图像进行第三次标注，可以在任务管理界面查看标注任务完成情况。

[0133] 管理员: 负责标注任务的上传、分配以及维护等方面，协助医师团队完成图像标注任务。可以对最终的系统标注进行修改、调整，可以对标注任务进行分配，可以将皮肤图像上传到系统中，可以将不同标注员使用Labelme工具标注的json文件导入到系统中。

[0134] 其中，在面部图像上传阶段，图像上传功能仅供系统管理员使用，系统管理员负责维护系统中所有人脸图像数据。系统管理员可以在图像上传界面将人脸皮肤图像文件上传到系统中，一次可以选择多个文件，可以查看搜索框查找已上传的文件。

[0135] 可以在图像上传界面将不同标注员使用Labelme工具标注的json文件上传到系统中，一次可以选择多个文件，可以设置标注员用户名将该图像文件的标注任务自动挂接到标注员上。

[0136] 其中，标签管理功能主要目的是维护标注结果格式的统一，建立结果标签id和中文名称的对应关系，方便后续修改标签名称的工作。在此界面，可以新增新的标签，或者删除、修改某个标签，可以搜索查找某个标签名字。

[0137] 其中，任务分配功能仅供系统管理员使用，系统管理员负责维护系统中所有图像数据的标注任务分配。系统管理员可以在任务分配界面查看系统用户信息，根据标注员角色为其分配一定数量的标注任务。

[0138] 待标注一栏显示了已存在于皮损图像库中，但尚未分配给初标医师的图像数量；待复核一栏显示了已分配了初标医师，但尚未分配复核医师的图像数量；待终审一栏显示了已分配了复核医师，但尚未分配终审医师的图像数量。点击刷新任务数可以更新现在的任务数量栏状态。在相应角色一行点击分配按钮可以为其分配任务。

[0139] 其中，标注功能通常仅供初标员、复核员、终审员使用，系统管理员只在后期标注调整时使用该功能进行标注修改。目前该系统有两个标注任务，分别是：图片分割标注、图片分级标注。根据用户的角色区分不同的标注任务。

[0140] 同时，对已完成复核/终审的图像，相应的初标/复核医师能够查看到更高级标注者对于标注修正。这使标注者可以得到及时的反馈、帮助其提升对皮损疾病的认知和标注水平。

[0141] 其中，任务管理功能通常仅供初标员、复核员、终审员使用。可以统计标注结果，对标注人员的标注质量进行评估。任务管理功能界面主要分为3个区域：

[0142] 已审核图像列表区，该区域主要显示该标注员已标注的图像中已经被审核的图像，提供实时分页查询功能。

[0143] 审核标注展示区，主要显示已标注已审核图像，可以查看自己标注的图像与上级标注员审核的图像有何区别。

[0144] 标注提示与操作区，其中上半部分显示不同颜色的标注有什么含义。下半部分主要显示常用的2种标注操作：“重置视图”、“获取标注”。重置视图：将图像大小重置为原始尺寸，获取标注：获取上级标注员审核的标注。

[0145] 为解决上述技术问题，本申请还公开了一种计算机设备，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述面部图像的皮损标注方法的步骤。

[0146] 其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

[0147] 所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述面部图像的皮损标注方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

[0148] 所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述面部图像的皮损标注方法的程序代码。

[0149] 为解决上述技术问题，本申请还公开了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述面部图像的皮损标注方法的步骤。

[0150] 其中，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的面部图像的皮损标注方法的步骤。

[0151] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。

[0152] 如上即为本申请的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述申请的验证过程，并非用以限制本申请的专利保护范围，本申请的专利保护范围仍然以其权利要求书为准，凡是运用本申请的说明书及附图内容所作的等同结构变化，同理均应包含在本申请的保护范围内。