图像分类方法、装置、计算机设备及介质

摘要

本申请实施例公开了一种图像分类方法、装置、计算机设备及介质，属于图像处理领域。方法包括：调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到目标图像的第一预测结果；调用分类模型中的第二分类子模型，对目标图像进行分类处理，得到目标图像的第二预测结果；调用分类模型中的第三分类子模型，对目标图像进行分类处理，得到目标图像的第三预测结果，第三分类子模型的训练样本数据包括样本图像和根据多个标注结果统计得到的结果；输出第三预测结果和目标图像的分类难度，分类难度根据第一预测结果和第二预测结果确定，通过分类难度可以指示模型输出结果的准确性，避免模型对用户的误导。

权利要求

1.一种图像分类方法，其特征在于，所述方法包括：

调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到所述目标图像的第一预测结果，所述第一分类子模型的训练样本数据包括样本图像和从所述样本图像的多个标注结果中选取的其中一个结果，所述多个标注结果中包括第一预设结果或第二预设结果的至少一种，所述多个标注结果中所述第一预设结果的选取可能性大于所述第二预设结果的选取可能性；

调用所述分类模型中的第二分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第二预测结果，所述第二分类子模型的训练样本数据包括所述样本图像和从所述多个标注结果中选取的其中一个结果，所述多个标注结果中所述第二预设结果的选取可能性大于所述第一预设结果的选取可能性；

调用所述分类模型中的第三分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第三预测结果，所述第三分类子模型的训练样本数据包括所述样本图像和根据所述多个标注结果统计得到的结果；

输出所述第三预测结果和所述目标图像的分类难度，所述分类难度根据所述第一预测结果和所述第二预测结果确定。

2.根据权利要求1所述的方法，其特征在于，所述输出所述第三预测结果和所述目标图像的分类难度，包括：根据所述第一预测结果、所述第二预测结果和第一关系数据，获取所述目标图像的分类难度，所述第一关系数据表示所述第一分类子模型对任一图像进行分类处理得到的预测结果、所述第二分类子模型对所述任一图像进行分类处理得到的预测结果和所述任一图像的分类难度之间的关系；

输出所述第三预测结果和所述分类难度。

3.根据权利要求1所述的方法，其特征在于，所述第一分类子模型包括第一特征提取层和第一分类层，所述调用所述分类模型中的第一分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第一预测结果，包括：调用所述第一特征提取层，对所述目标图像进行特征提取，得到所述目标图像的第一特征；调用所述第一分类层，对所述第一特征进行分类处理，得到所述第一预测结果；

所述第二分类子模型包括第二特征提取层和第二分类层，所述调用所述分类模型中的第二分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第二预测结果，包括：调用所述第二特征提取层，对所述目标图像进行特征提取，得到所述目标图像的第二特征；调用所述第二分类层，对所述第二特征进行分类处理，得到所述第二预测结果；

所述第三分类子模型包括第三特征提取层和第三分类层，所述调用所述分类模型中的第三分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第三预测结果，包括：调用所述第三特征提取层，对所述目标图像进行特征提取，得到所述目标图像的第三特征；调用所述第三分类层，对所述第三特征进行分类处理，得到所述第三预测结果。

4.根据权利要求3所述的方法，其特征在于，所述第三分类子模型还包括融合层，所述调用所述第三特征提取层，对所述目标图像进行特征提取，得到所述目标图像的第三特征之后，所述方法还包括：调用所述融合层，对所述第一特征、所述第二特征和所述第三特征进行融合处理，得到融合特征；

所述调用所述第三分类层，对所述第三特征进行分类处理，得到所述第三预测结果，包括：调用所述第三分类层，对所述融合特征进行分类处理，得到所述第三预测结果。

5.根据权利要求1所述的方法，其特征在于，所述分类模型还包括特征提取子模型，所述方法还包括：调用所述特征提取子模型，对所述目标图像进行特征提取，得到所述目标图像的第四特征；

所述调用分类模型中的第一分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第一预测结果，包括：调用所述第一分类子模型，对所述第四特征进行分类处理，得到所述第一预测结果；

所述调用所述分类模型中的第二分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第二预测结果，包括：调用所述第二分类子模型，对所述第四特征进行分类处理，得到所述第二预测结果；

所述调用所述分类模型中的第三分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第三预测结果，包括：调用所述第三分类子模型，对所述第四特征进行分类处理，得到所述第三预测结果。

6.根据权利要求1所述的方法，其特征在于，所述多个标注结果中所述第一预设结果的选取优先级大于所述第二预设结果的选取优先级，所述调用所述分类模型中的第一分类子模型，对所述目标图像进行分类处理，得到所述目标图像属于目标类别的第一预测结果之前，所述方法还包括：若所述样本图像的多个标注结果中包括所述第一预设结果，则选取所述第一预设结果作为第一样本结果；

若所述多个标注结果中未包括所述第一预设结果，则选取所述第二预设结果作为所述第一样本结果；

根据所述样本图像和所述第一样本结果，训练所述第一分类子模型。

7.根据权利要求1所述的方法，其特征在于，所述多个标注结果中所述第二预设结果的选取优先级大于所述第一预设结果的选取优先级，所述调用所述分类模型中的第二分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第二预测结果之前，所述方法还包括：若所述样本图像的多个标注结果中包括所述第二预设结果，则选取所述第二预设结果作为第二样本结果；

若所述多个标注结果中未包括所述第二预设结果，则选取所述第一预设结果作为所述第二样本结果；

根据所述样本图像和所述第二样本结果，训练所述第二分类子模型。

8.根据权利要求1所述的方法，其特征在于，所述调用所述分类模型中的第二分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第二预测结果之前，所述方法还包括：若所述样本图像的多个标注结果中包括所述第一预设结果和所述第二预设结果，则选取所述第一预设结果作为第一样本结果，选取所述第二预设结果作为第二样本结果；

若所述多个标注结果中仅包括所述第一预设结果，未包括所述第二预设结果，则选取所述第一预设结果作为所述第一样本结果和所述第二样本结果；

若所述多个标注结果中仅包括所述第二预设结果，未包括所述第一预设结果，则选取所述第二预设结果作为所述第一样本结果和所述第二样本结果；

根据所述第一样本结果、第四预测结果、所述多个标注结果的一致性数值、所述第二样本结果和第五预测结果，训练所述第一分类子模型和所述第二分类子模型；

其中，所述一致性数值用于指示所述多个标注结果是否一致，所述第四预测结果通过所述第一分类子模型对所述样本图像进行分类处理得到，所述第五预测结果通过所述第二分类子模型对所述样本图像进行分类处理得到。

9.根据权利要求8所述的方法，其特征在于，所述根据所述第一样本结果、第四预测结果、所述多个标注结果的一致性数值、所述第二样本结果和第五预测结果，训练所述第一分类子模型和所述第二分类子模型，包括：根据所述第一样本结果、所述第四预测结果和第二关系数据，获取所述第一分类子模型的第一分类损失值，所述第二关系数据指示任一分类模型对任一图像进行分类处理得到的预测结果、所述任一图像的样本结果和所述分类模型的分类损失值之间的关系；

根据所述第二样本结果、所述第五预测结果和所述第二关系数据，获取所述第二分类子模型的第二分类损失值；

根据所述多个标注结果的一致性数值、所述第四预测结果、所述第五预测结果和第三关系数据，获取所述第一分类子模型和所述第二分类子模型之间的一致性损失值，所述第三关系数据指示任一图像的多个标注结果的一致性数值、通过所述第一分类子模型和所述第二分类子模型对所述任一图像进行分类处理得到的两个预测结果、以及所述第一分类子模型和所述第二分类子模型之间的一致性损失值之间的关系；

根据所述第一分类损失值和所述一致性损失值，训练所述第一分类子模型；

根据所述第二分类损失值和所述一致性损失值，训练所述第二分类子模型。

10.根据权利要求1所述的方法，其特征在于，所述调用所述分类模型中的第一分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第一预测结果之前，所述方法还包括：若所述样本图像的多个标注结果中包括所述第一预设结果和所述第二预设结果，增加所述第一预设结果的数量，得到更新后的多个标注结果；

从所述更新后的多个标注结果中，随机选取一个结果作为第一样本结果；

根据所述样本图像和所述第一样本结果，训练所述第一分类子模型。

11.根据权利要求1所述的方法，其特征在于，所述调用分类模型中的第三分类子模型，对所述目标图像进行分类处理，得到所述目标图的第三预测结果之前，所述方法还包括：获取多个样本图像以及每个样本图像的第三样本结果，所述第三样本结果根据对应样本图像的多个标注结果统计得到；

获取所述第三分类子模型对所述每个样本图像进行分类处理后得到的第六预测结果；

根据所述每个样本图像的分类难度确定对应样本图像的权重；

根据所述每个样本图像的权重、所述每个样本图像的第六预测结果、以及所述每个样本图像的第三样本结果，对所述第三分类子模型进行训练。

12.根据权利要求1所述的方法，其特征在于，所述根据所述样本图像的多个标注结果统计得到的结果为第三样本结果，所述调用分类模型中的第三分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第三预测结果之前，所述方法还包括：获取所述样本图像以及所述样本图像的多个标注结果，将所述多个标注结果中出现频次最高的结果作为所述第三样本结果；或者，获取样本图像以及所述样本图像的多个标注结果，将所述多个标注结果进行均值处理得到的结果作为所述第三样本结果；或者，获取样本图像以及所述样本图像的多个标注结果，根据每个标注结果对应的标注用户的准确度，对所述多个标注结果进行加权处理，将加权处理后得到的结果作为所述第三样本结果。

13.一种图像分类装置，其特征在于，所述装置包括：

第一调用模块，用于调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到所述目标图像的第一预测结果，所述第一分类子模型的训练样本数据包括样本图像和从所述样本图像的多个标注结果中选取的其中一个结果，所述多个标注结果中包括第一预设结果或第二预设结果的至少一种，所述多个标注结果中所述第一预设结果的选取可能性大于所述第二预设结果的选取可能性；

第二调用模块，用于调用所述分类模型中的第二分类子模型，对所述目标图像进行分类处理，得到所述目标图像属于目标类别的第二预测结果，所述第二分类子模型的训练样本数据包括所述样本图像和从所述多个标注结果中选取的其中一个结果，所述多个标注结果中所述第二预设结果的选取可能性大于所述第一预设结果的选取可能性；

第三调用模块，用于调用所述分类模型中的第三分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第三预测结果，所述第三分类子模型的训练样本数据包括所述样本图像和根据所述多个标注结果统计得到的结果；

输出模块，输出所述第三预测结果和所述目标图像的分类难度，所述分类难度根据所述第一预测结果和所述第二预测结果确定。

14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现如权利要求1至12任一权利要求所述的图像分类方法中所执行的操作。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行，以实现如权利要求1至12任一权利要求所述的图像分类方法中所执行的操作。

说明书

图像分类方法、装置、计算机设备及介质

技术领域

[0001] 本申请涉及图像处理领域，特别涉及一种图像分类方法、装置、计算机设备及介质。

背景技术

[0002] 随着人工智能技术和图像处理技术的发展，目前图像的分类处理越来越多地基于分类模型进行。在训练分类模型之后，计算机设备可以调用分类模型对图像进行分类处理，得到该图像的分类结果，以确定该图像是否属于分类模型的目标类别。但是该分类模型仅能输出分类结果，如果分类结果也不够准确，可能会对用户造成误导。

发明内容

[0003] 本申请实施例提供了一种图像分类方法、装置、计算机设备及介质，可以减少分类模型对用户的误导。所述技术方案如下：

[0004] 一方面，提供一种图像分类方法，所述方法包括：

[0005] 调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到所述目标图像的第一预测结果，所述第一分类子模型的训练样本数据包括所述样本图像和从所述样本图像的多个标注结果中选取的其中一个结果，所述多个标注结果中包括第一预设结果或第二预设结果的至少一种，所述多个标注结果中所述第一预设结果的选取可能性大于所述第二预设结果的选取可能性；

[0006] 调用所述分类模型中的第二分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第二预测结果，所述第二分类子模型的训练样本数据包括所述样本图像和从所述多个标注结果中选取的其中一个结果，所述多个标注结果中所述第二预设结果的选取可能性大于所述第一预设结果的选取可能性；

[0007] 调用所述分类模型中的第三分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第三预测结果，所述第三分类子模型的训练样本数据包括所述样本图像和根据所述多个标注结果统计得到的结果；

[0008] 输出所述第三预测结果和所述目标图像的分类难度，所述分类难度根据所述第一预测结果和所述第二预测结果确定。

[0009] 再一方面，提供了一种图像分类装置，所述装置包括：

[0010] 第一调用模块，用于调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到所述目标图像的第一预测结果，所述第一分类子模型的训练样本数据包括所述样本图像和从所述样本图像的多个标注结果中选取的其中一个结果，所述多个标注结果中包括第一预设结果或第二预设结果的至少一种，所述多个标注结果中所述第一预设结果的选取可能性大于所述第二预设结果的选取可能性；

[0011] 第二调用模块，用于调用所述分类模型中的第二分类子模型，对所述目标图像进行分类处理，得到所述目标图像属于所述目标类别的第二预测结果，所述第二分类子模型的训练样本数据包括所述样本图像和从所述多个标注结果中选取的其中一个结果，所述多个标注结果中所述第二预设结果的选取可能性大于所述第一预设结果的选取可能性；

[0012] 第三调用模块，用于调用所述分类模型中的第三分类子模型，对所述目标图像进行分类处理，得到所述目标图像的第三预测结果，所述第三分类子模型的训练样本数据包括所述样本图像和根据所述多个标注结果统计得到的结果；

[0013] 输出模块，输出所述第三预测结果和所述目标图像的分类难度，所述分类难度根据所述第一预测结果和所述第二预测结果确定。

[0014] 可选地，所述输出模块，包括：

[0015] 获取单元，用于根据所述第一预测结果、所述第二预测结果和第一关系数据，获取所述目标图像的分类难度，所述第一关系数据表示所述第一分类子模型对任一图像进行分类处理得到的预测结果、所述第二分类子模型对所述任一图像进行分类处理得到的预测结果和所述任一图像的分类难度之间的关系；

[0016] 输出单元，用于输出所述第三预测结果和所述分类难度。

[0017] 可选地，所述第一分类子模型包括第一特征提取层和第一分类层，所述第一调用模块，包括：

[0018] 第一调用单元，用于调用所述第一特征提取层，对所述目标图像进行特征提取，得到所述目标图像的第一特征；

[0019] 第二调用单元，用于调用所述第一分类层，对所述第一特征进行分类处理，得到所述第一预测结果；

[0020] 所述第二分类子模型包括第二特征提取层和第二分类层，所述第二调用模块，包括：

[0021] 第三调用单元，用于调用所述第二特征提取层，对所述目标图像进行特征提取，得到所述目标图像的第二特征；

[0022] 第四调用单元，用于调用所述第二分类层，对所述第二特征进行分类处理，得到所述第二预测结果；

[0023] 所述第三分类子模型包括第三特征提取层和第三分类层，所述第三调用模块，包括：

[0024] 第五调用单元，用于调用所述第三特征提取层，对所述目标图像进行特征提取，得到所述目标图像的第三特征；

[0025] 第六调用单元，用于调用所述第三分类层，对所述第三特征进行分类处理，得到所述第三预测结果。

[0026] 可选地，所述第三分类子模型还包括融合层，所述第三调用模块，还包括：

[0027] 第七调用单元，用于调用所述融合层，对所述第一特征、所述第二特征和所述第三特征进行融合处理，得到融合特征；

[0028] 所述第六调用单元，还用于调用所述第三分类层，对所述融合特征进行分类处理，得到所述第三预测结果。

[0029] 可选地，所述分类模型还包括特征提取子模型，所述装置还包括：

[0030] 第四调用模块，用于调用所述特征提取子模型，对所述目标图像进行特征提取，得到所述目标图像的第四特征；

[0031] 所述第一调用模块，还用于调用所述第一分类子模型，对所述第四特征进行分类处理，得到所述第一预测结果；

[0032] 所述第二调用模块，还用于调用所述第二分类子模型，对所述第四特征进行分类处理，得到所述第二预测结果；

[0033] 所述第三调用模块，还用于调用所述第三分类子模型，对所述第四特征进行分类处理，得到所述第三预测结果。

[0034] 可选地，所述多个标注结果中所述第一预设结果的选取优先级大于所述第二预设结果的选取优先级，所述装置还包括：

[0035] 选取模块，用于若所述样本图像的多个标注结果中包括所述第一预设结果，则选取所述第一预设结果作为第一样本结果；

[0036] 所述选取模块，还用于若所述多个标注结果中未包括所述第一预设结果，则选取所述第二预设结果作为所述第一样本结果；

[0037] 训练模块，还根据所述样本图像和所述第一样本结果，训练所述第一分类子模型。

[0038] 可选地，所述多个标注结果中所述第二预设结果的选取优先级大于所述第一预设结果的选取优先级，所述装置还包括：

[0039] 选取模块，用于若所述样本图像的多个标注结果中包括所述第二预设结果，则选取所述第二预设结果作为第二样本结果；

[0040] 所述选取模块，还用于若所述多个标注结果中未包括所述第二预设结果，则选取所述第一预设结果作为所述第二样本结果；

[0041] 训练模块，用于根据所述样本图像和所述第二样本结果，训练所述第二分类子模型。

[0042] 可选地，所述装置还包括：

[0043] 选取模块，用于若所述样本图像的多个标注结果中包括所述第一预设结果和所述第二预设结果，则选取所述第一预设结果作为第一样本结果，选取所述第二预设结果作为第二样本结果；

[0044] 所述选取模块，还用于若所述多个标注结果中仅包括所述第一预设结果，未包括所述第二预设结果，则选取所述第一预设结果作为所述第一样本结果和所述第二样本结果；

[0045] 所述选取模块，还用于若所述多个标注结果中仅包括所述第二预设结果，未包括所述第一预设结果，则选取所述第二预设结果作为所述第一样本结果和所述第二样本结果；

[0046] 训练模块，用于根据所述第一样本结果、第四预测结果、所述多个标注结果的一致性数值、所述第二样本结果和第五预测结果，训练所述第一分类子模型和所述第二分类子模型；

[0047] 其中，所述一致性数值用于指示所述多个标注结果是否一致，所述第四预测结果通过所述第一分类子模型对所述样本图像进行分类处理得到，所述第五预测结果通过所述第二分类子模型对所述样本图像进行分类处理得到。

[0048] 可选地，所述训练模块，包括：

[0049] 第一损失值获取单元，用于根据所述第一样本结果、所述第四预测结果和第二关系数据，获取所述第一分类子模型的第一分类损失值，所述第二关系数据指示任一分类模型对任一图像进行分类处理得到的预测结果、所述任一图像的样本结果和所述分类模型的分类损失值之间的关系；

[0050] 第二损失值获取单元，用于根据所述第二样本结果、所述第五预测结果和所述第二关系数据，获取所述第二分类子模型的第二分类损失值；

[0051] 一致性损失值获取单元，用于根据所述多个标注结果的一致性数值、所述第四预测结果、所述第五预测结果和所述第三关系数据，获取所述第一分类子模型和所述第二分类子模型之间的一致性损失值，所述第三关系数据指示任一图像的多个标注结果的一致性数值、通过所述第一分类子模型和所述第二分类子模型对所述任一图像进行分类处理得到的两个预测结果、以及所述第一分类子模型和所述第二分类子模型之间的一致性损失值之间的关系；

[0052] 第一训练单元，用于根据所述第一分类损失值和所述一致性损失值，训练所述第一分类子模型；

[0053] 第二训练单元，用于根据所述第二分类损失值和所述一致性损失值，训练所述第二分类子模型。

[0054] 可选地，所述装置还包括：

[0055] 增加模块，用于若所述样本图像的多个标注结果中包括所述第一预设结果和所述第二预设结果，增加所述第一预设结果的数量，得到更新后的多个标注结果；

[0056] 选取模块，用于从所述更新后的多个标注结果中，随机选取一个结果作为第一样本结果；

[0057] 训练模块，用于根据所述样本图像和所述第一样本结果，训练所述第一分类子模型。

[0058] 可选地，所述装置还包括：

[0059] 样本获取模块，用于获取多个样本图像以及每个样本图像的第三样本结果，所述第三样本结果根据对应样本图像的多个标注结果统计得到；

[0060] 结果获取模块，用于获取所述第三分类子模型对所述每个样本图像进行分类处理后得到的第六预测结果；

[0061] 权重确定模块，用于根据所述每个样本图像的分类难度确定对应样本图像的权重；

[0062] 训练模块，用于根据所述每个样本图像的权重、所述每个样本图像的第三预测结果、以及所述每个样本图像的第三样本结果，对所述第三分类子模型进行训练。

[0063] 可选地，所述根据所述样本图像的多个标注结果统计得到的结果为第三样本结果，所述装置还包括：

[0064] 样本获取模块，用于获取所述样本图像以及所述样本图像的多个标注结果，将所述多个标注结果中出现频次最高的结果作为所述第三样本结果；或者，

[0065] 所述样本获取模块，用于获取样本图像以及所述样本图像的多个标注结果，将所述多个标注结果进行均值处理得到的结果作为所述第三样本结果；或者，

[0066] 所述样本获取模块，用于获取样本图像以及所述样本图像的多个标注结果，根据每个标注结果对应的标注用户的准确度，对所述多个标注结果进行加权处理，将加权处理后得到的结果作为所述第三样本结果。

[0067] 再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现上述方面所述的图像分类方法中所执行的操作。

[0068] 再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行，以实现如所述的图像分类方法中所执行的操作。

[0069] 本申请实施例提供的图像分类方法、装置、计算机设备及存储介质，会通过第一分类子模型、第二分类子模型和第三分类子模型分别对目标图像进行分类处理，得到目标图像属于目标类别的第一预测结果和第二预测结果，由于第一分类子模型的训练数据中第一预设结果的选取可能性大于第二预设结果的选取可能性，第二分类子模型的训练数据中第二预设结果的选取可能性大于第一预设结果的选取可能性，从而会导致第一分类子模型和第二分类子模型中一个分类子模型的输出结果更加偏向于目标图像属于目标类别，另一个分类子模型的输出结果更加偏向于目标图像不属于目标类别，如果目标图像是容易分类的图像，第一预测结果和第二预测结果会比较相近，如果目标图像是较难分类的图像，第一预测结果和第二预测结果之间的差异会比较大，从而可以根据第一预测结果和第二预测结果，获取目标图像的分类难度，根据该分类难度，可以确定分类模型输出结果的准确性。由于第三分类子模型的训练数据包括样本图像和多个标注结果统计得到的结果，因此，该第三分类子模型的输出结果更加符合实际结果，最后输出第三预测结果和目标图像的分类难度，可以辅助用户确定第三分类子模型的输出是否准确，也就是说，确定第三预测结果是否准确，减少了第三预测结果对用户的误导。

[0070] 另外，在训练第一分类子模型和第二分类子模型的过程中，不仅考虑了分类子模型的分类损失值，以使分类子模型输出的分类结果更加准确，还考虑了两个分类子模型的一致性损失值，以使第一分类子模型和第二分类子模型在多个标注结果一致时，输出一致的结果，在多个标注结果不一致时，输出不一致的结果，从而后续可以根据第一分类子模型为图像确定的第一预测结果和第二分类子模型为提醒确定的第二预测结果，来准确获取图像的分类难度。

附图说明

[0071] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0072] 图1是本申请实施例提供的一种分类模型的结构示意图；

[0073] 图2是本申请实施例提供的另一种分类模型的结构示意图；

[0074] 图3是本申请实施例提供的一种实施环境的的示意图；

[0075] 图4是本申请实施例提供的一种图像分类方法的流程图；

[0076] 图5是本申请实施例提供的一种分类模型训练方法的流程图；

[0077] 图6是本申请实施例提供的一种图像分类方法的流程图；

[0078] 图7是本申请实施例提供的一种图像分类方法的流程图；

[0079] 图8是本申请实施例提供的一种图像分类装置的结构示意图；

[0080] 图9是本申请实施例提供的另一种图像分类装置的结构示意图；

[0081] 图10是本申请实施例提供的一种终端的结构框图；

[0082] 图11是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

[0083] 为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

[0084] 可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一预测结果称为第二预测结果，且类似地，可将第二预测结果称为第一预测结果。

[0085] 本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或者两个以上，多个包括两个或者两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个，举例来说，多个标注结果包括3个标注结果，而每个是指这3个标注结果中的每一个标注结果，任一是指这3个标注结果中的任意一个，可以是第一个，也可以是第二个，还可以是第三个。

[0086] 人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

[0087] 人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向，其中，“/”为“或”的意思。

[0088] 计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

[0089] 机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

[0090] 本申请实施例提供的图像分类方法涉及人工智能的人工智能技术、计算机视觉技术等技术，通过下述实施例对图像分类方法进行说明。

[0091] 本申请实施例提供了一种分类模型，如图1所示，该分类模型100包括第一分类子模型101、第二分类子模型102和第三分类子模型103，其中，第一分类子模型101的训练样本数据包括所述样本图像和从样本图像的多个标注结果中选取的其中一个结果，其中，多个标注结果中第一预设结果的选取可能性大于第二预设结果的选取可能性。第二分类子模型102的训练样本数据包括样本图像和从多个标注结果中选取的其中一个结果，其中，多个标注结果中第二预设结果的选取可能性大于第一预设结果的选取可能性。该第三分类子模型
104的训练样本数据包括样本图像和根据样本图像的多个标注结果统计得到的结果。

[0092] 可选地，第一分类子模型101可以包括第一特征提取层1011和第一分类层1012，第一特征提取层1011和第一分类层1012连接，第一特征提取层1011用于对目标图像进行特征提取，得到目标图像的第一特征，第一分类层1012用于对第一特征进行分类处理，得到目标图像的第一预测结果。

[0093] 第二分类子模型可以包括第二特征提取层1021和第二分类层1022，第二特征提取层1021和第二分类层1022连接，第二特征提取层1021用于对目标图像进行特征提取，得到目标图像的第二特征，第二分类层1021用于对第二特征进行分类处理，得到目标图像的第二预测结果。

[0094] 可选地，该第三分类子模型103包括第三特征提取层1031和第三分类层1032，第三特征提取层1031用于对目标图像进行特征提取，得到目标图像的第三特征，第三分类层1032用于对第三特征进行分类处理，得到目标图像的第三预测结果。

[0095] 可选地，第三分类子模型103还包括融合层1033，其中，融合层1033分别与第一特征提取层1011、第二特征提取层1021、第三特征提取层1031和第三分类层1032连接，融合层1033用于对第一特征、第二特征和第三特征进行融合处理，得到融合特征，第三分类层1032用于对融合特征进行分类处理，得到目标图像的第三预测结果。

[0096] 可选地，该分类模型100还包括特征提取子模型104，其中，特征提取子模型104分别与第一分类子模型101、第二分类子模型102和第三分类子模型103连接，特征提取子模型104用于对目标图像进行特征提取，得到目标图像的第四特征，第一分类子模型101用于对第四特征进行分类处理，得到目标图像的第一预测结果；第二分类子模型102用于对第四特征进行分类处理，得到目标图像的第二预测结果，第三分类子模型103用于对第四特征进行分类处理，得到目标图像的第三预测结果。

[0097] 可选地，该特征提取子模型104包括多个特征提取层，该多个特征提取层中的部分特征提取层由第一分类子模型101、第二分类子模型102和第三分类子模型103共用，部分特征提取层由第一分类子模型101、第二分类子模型102和第三分类子模型103单独使用。其中，多个特征提取层由第一分类子模型101、第二分类子模型102和第三分类子模型103共用是指：该多个特征提取层的输出结果会输入至第一分类子模型101、第二分类子模型102和第三分类子模型中，该第一分类子模型101、第二分类子模型102和第三分类子模型103获取到的特征相同。部分特征提取层由第一分类子模型101、第二分类子模型102和第三分类子模型103单独使用是指：第一特征提取层的输出结果仅输入至第一分类子模型101中，不会输入至第二分类子模型102和第三分类子模型103中，则该第一特征提取层由第一分类子模型101单独使用；第二特征提取层的输出结果仅输入至第二分类子模型102中，不会输入至第一分类子模型101和第三分类子模型103中，则该第二特征提取层由第二分类子模型102单独使用；第三特征提取层的输出结果仅输入至第三分类子模型103中，不会输入至第一分类子模型101和第二分类子模型102中，则该第三特征提取层由第三分类子模型103单独使用。

[0098] 如图2所示，特征提取子模型104包括4个特征提取层，其中，前3个特征提取层由第一分类子模型101、第二分类子模型102和第三分类子模型104共用，将第4个特征提取层复制为三个，由第一分类子模型101、第二分类子模型102和第三分类子模型104单独使用，并且，在训练第一分类子模型101时，会根据训练样本数据，训练该第一分类子模型101单独使用的特征提取层，相应地，在训练第二分类子模型102和第三子模型103时，也会根据对应的训练样本数据，训练单独使用的特征提取层，由于训练样本数据的不同，后续训练得到的三个单独使用的特征提取层也会不同，从而三个单独使用的特征提取层提取的特征也会不同。

[0099] 本申请实施例提供了一种图像分类方法，执行主体为计算机设备。该计算机设备调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到该目标图像的第一预测结果，调用分类模型中的第二分类子模型，对目标图像进行分类处理，得到目标图像的第二预测结果，调用分类模型中的第三分类子模型，对目标图像进行分类处理，得到目标图像的第三预测结果，输出第三预测结果和目标图像的分类难度，该分类难度根据第一预测结果和第二预测结果确定。

[0100] 在一种可能实现方式中，该计算机设备为终端，终端可以为便携式、袖珍式、手持式等多种类型的终端，如智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。

[0101] 在另一种可能实现方式中，该计算机设备为服务器，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

[0102] 在另一种可能实现方式中，计算机设备包括终端和服务器。图3是本申请实施例提供的一种实施环境的示意图，参见图3，该实施环境包括：终端301和服务器302，该终端301和服务器302建立有通信连接。

[0103] 可选地，终端301可以获取目标图像，将目标图像上传至服务器302，服务器302调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到该目标图像的第一预测结果，调用分类模型中的第二分类子模型，对目标图像进行分类处理，得到该目标图像的第二预测结果，调用分类模型中的第三分类子模型，对目标图像进行分类处理，得到该目标图像的第三预测结果，根据第一预测结果和第二预测结果，获取目标图像的分类难度，将该分类难度和第三预测结果发送给终端301，终端301显示该分类难度和第三预测结果。

[0104] 可选地，终端301上可以安装有目标应用，该目标应用可以是具有图像处理功能的应用，或者与图像处理相关的应用，如该目标应用为用于对图像进行分类的应用，该服务器302可以是为该目标应用提供服务的服务器。

[0105] 本申请实施例提供的方法，可以应用于图像分类的场景中。

[0106] 例如，在眼底图像分类场景下，如果用户想要获知眼底图像中的眼睛是否具有青光眼特征，可以将眼底图像输入至计算机设备中，计算机设备在获取到眼底图像之后，可以采用本申请实施例提供的方法，得到该眼底图像的预测结果和该眼底图像的分类难度，根据该分类难度可以选择性参考该预测结果，减少预测结果对用户的误导。

[0107] 图4是本申请实施例提供的一种图像分类方法的流程图，本申请实施例的执行主体为计算机设备，参见图4，该方法包括：

[0108] 401、调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到目标图像的第一预测结果。

[0109] 其中，分类模型包括第一分类子模型，第一分类子模型是用于对图像进行分类的模型。第一分类子模型的训练样本数据包括样本图像和从样本图像的多个标注结果中选取的其中一个结果，其中，多个标注结果中包括第一预设结果或第二预设结果的至少一种，第一预设结果和第二预设结果的其中一个预设结果表示样本图像属于目标类别，另一个预设结果表示样本图像不属于目标类别。第一分类子模型的训练样本数据中，多个标注结果中第一预设结果的选取可能性大于第二预设结果的选取可能性。

[0110] 由于在选取结果时，多个标注结果中第一预设结果的选取可能性大于第二预设结果的选取可能性，因此，训练得到的第一分类子模型输出的结果更加偏向第一预设结果。

[0111] 402、调用分类模型中的第二分类子模型，对目标图像进行分类处理，得到目标图像的第二预测结果。

[0112] 分类模型还包括第二分类子模型，第二分类子模型也是用于对图像进行分类的模型，该第二分类子模型的训练样本数据包括样本图像和从多个标注结果中选取的其中一个结果，多个标注结果中第二预设结果的选取可能性大于第一预设结果的选取可能性。

[0113] 由于在选取结果时，多个标注结果中第二预设结果的选取可能性大于第一预设结果的选取可能性，因此，训练得到的第二分类子模型输出的结果更加偏向第二预设结果。

[0114] 403、调用分类模型中的第三分类子模型，对目标图像进行分类处理，得到目标图像的第三预测结果。

[0115] 分类模型还包括第三分类子模型，第三分类子模型也是用于对图像进行分类的模型，该第三分类子模型的训练样本数据包括样本图像和多个标注结果统计得到的结果。

[0116] 由于对多个标注结果进行统计得到的结果考虑到了多个标注结果中的每一个标注结果，因此，该统计得到的结果是比较准确的结果，训练得到的第三分类子模型输出的结果更加准确。

[0117] 404、输出第三预测结果和目标图像的分类难度，该分类难度根据第一预测结果和第二预测结果确定。

[0118] 由于第一预测结果会偏向于第一预设结果，第二预测结果会偏向于第二预设结果，则导致第一分类子模型和第二分类子模型中一个分类子模型偏向于样本图像属于目标类别，另一个分类子模型偏向于样本图像不属于目标类别。

[0119] 如果样本图像是容易分类的图像，第一分类子模型和第二分类子模型的输出结果会比较相似，如果样本图像是较难分类的图像，则第一分类子模型和第二分类子模型的输出结果会相差较大，从而可以根据第一预测结果和第二预测结果来获取目标图像的分类难度。

[0120] 由于第三预测结果是比较准确的结果，更加符合目标图像的真实结果，因此，可以输出第三预测结果和分类难度。如果目标图像的分类难度较高，可能会导致分类模型的不确定性较高，输出结果的准确率较低，如果目标图像的分类难度较低，该分类模型的不确定性也会较低，输出结果的准确率也会较高，因此，用户可以根据分类难度选择性地参考第三预测结果，减少第三预测结果对用户的误导。

[0121] 本申请实施例提供的图像分类方法，会通过第一分类子模型、第二分类子模型和第三分类子模型分别对目标图像进行分类处理，得到目标图像属于目标类别的第一预测结果和第二预测结果，由于第一分类子模型的训练数据中第一预设结果的选取可能性大于第二预设结果的选取可能性，第二分类子模型的训练数据中第二预设结果的选取可能性大于第一预设结果的选取可能性，从而会导致第一分类子模型和第二分类子模型中一个分类子模型的输出结果更加偏向于目标图像属于目标类别，另一个分类子模型的输出结果更加偏向于目标图像不属于目标类别，如果目标图像是容易分类的图像，第一预测结果和第二预测结果会比较相近，如果目标图像是较难分类的图像，第一预测结果和第二预测结果之间的差异会比较大，从而可以根据第一预测结果和第二预测结果，获取目标图像的分类难度，根据该分类难度，可以确定分类模型输出结果的准确性。由于第三分类子模型的训练数据包括样本图像和多个标注结果统计得到的结果，因此，该第三分类子模型的输出结果更加符合实际结果，最后输出第三预测结果和目标图像的分类难度，可以辅助用户确定第三分类子模型的输出是否准确，也就是说，确定第三预测结果是否准确，减少了第三预测结果对用户的误导。

[0122] 本申请实施例提供的图像分类方法，需要调用分类模型来进行分类处理，而在调用分类模型之前，需要先对分类模型进行训练，训练过程详见下述实施例。

[0123] 图5是本申请实施例提供的一种分类模型训练方法的流程图，本申请实施例的执行主体为计算机设备，参见图5，该方法包括：

[0124] 501、获取样本图像、样本图像的多个标注结果、第一样本结果、第二样本结果和第三样本结果。

[0125] 其中，样本图像为用于对分类模型进行训练的图像，每个样本图像可以对应多个标注结果，该多个标注结果为不同用户对该样本图像的标注结果，该多个标注结果中包括第一预设结果或第二预设结果的至少一种，第一预设结果和第二预设结果的其中一个预设结果表示样本图像属于目标类别，另一个预设结果表示样本图像不属于目标类别。例如，第一预设结果表示样本图像属于目标类别，第二预设结果表示样本图像不属于目标类别；或者，第一预设结果表示样本图像不属于目标类别，第二预设结果表示样本图像属于目标类别。

[0126] 对于同一样本图像，不同用户对该样本图像标注的结果可能是一致的，也可能是不一致的，如果样本图像是容易分类的图像，那么该样本图像的多个标注结果可能是一致的，如果样本图像是较难分类的图像，那么该样本图像的多个标注结果可能是不一致的，也就是说，一些标注结果指示样本图像属于目标类别，一些标注结果指示样本图像不属于目标类别。

[0127] 可选地，样本图像可以包括目标对象，样本图像属于目标类别实际上是样本图像中的目标对象属于目标类别，样本图像不属于目标类别实际上是样本图像中的目标对象不属于目标类别。

[0128] 例如，样本图像为眼底图像，目标对象为眼睛，目标类别为具有青光眼特征，如果样本图像中的眼睛具有晚期青光眼特征，由于晚期青光眼特征比较明显，则该眼底图像属于容易分类的图像，该眼底图像的多个标注结果也是一致的，均表示该眼底图像具有青光眼特征；如果样本图像中的眼睛具有早期青光眼特征，由于早期青光眼特征并不明显，则该眼底图像属于较难分类的图像，该眼底图像的多个标注结果可能并不一致，部分用户认为该眼底图像具有青光眼特征，部分用户认为该眼底图像不具有青光眼特征。

[0129] 另外，第一样本结果为从样本图像的多个标注结果中选取的其中一个结果，该多个标注结果中第一预设结果的选取可能性大于第二预设结果的选取可能性。

[0130] 在一种可能实现方式中，第一样本结果是从多个标注结果中随机选取的，为了保证多个标注结果中第一预设结果的选取可能性大于第二预设结果的选取可能性，可以增加第一预设结果的数量，可选地，获取第一样本结果，可以包括：若样本图像的多个标注结果中包括第一预设结果和第二预设结果，增加第一预设结果的数量，得到更新后的多个标注结果，从更新后的多个标注结果中，随机选取一个结果作为第一样本结果。由于第一预设结果的数量增大了，从而在多个标注结果中随机选取一个结果时，第一预设结果被选中的可能性也会增大，从而保证了第一预设结果的选取可能性大于第二预设结果的选取可能性。

[0131] 其中，增加第一预设结果的数量，可以是将第一预设结果进行加倍处理，例如，将多个标注结果中的全部第一预设结果复制一遍，也可以是增加一定数量的第一预设结果，例如，将第一预设结果的数量加3，加5等。本申请实施例对增加第一预设结果的数量的方式不做限定。

[0132] 可选地，若样本图像的多个标注结果中仅包括第一预设结果，未包括第二预设结果时，可以增加第一预设结果的数量，也可以保持第一预设结果的数量不变。本申请实施例对多个标注结果中未包括第二预设结果的情况不做限定。

[0133] 例如，多个标注结果中包括3个第一预设结果和2个第二预设结果，可以将第一预设结果进行加倍处理，得到6个第一预设结果和2个第二预设结果，从而在6个第一预设结果和2个第二预设结果中随机选取一个结果时，选取到第一预设结果的可能性较大。

[0134] 在一种可能实现方式中，多个标注结果中第一预设结果的选取优先级大于第二预设结果的选取优先级，则获取第一样本结果，可以包括：若样本图像的多个标注结果中包括第一预设结果，则选取第一预设结果作为第一样本结果；若多个标注结果中未包括第一预设结果，则选取第二预设结果作为所述第一样本结果。通过该种选取方式，最大限度地选择了第一预设结果作为第一样本结果，保证了第一预设结果的选取可能性大于第二预设结果的选取可能性，如果第一预设结果表示样本图像属于目标类别，则根据第一样本结果和样本图像训练得到的分类模型会更加关注图像中属于目标类别的特征，从而输出结果中图像属于目标类别的结果会偏高；如果第一预设结果表示样本图像不属于目标类别，则根据第一样本结果和样本图像训练得到的分类模型会更加关注图像中不属于目标类别的特征，从而输出结果中图像属于目标类别的结果会偏低。

[0135] 第二样本结果为从样本图像的多个标注结果中选取的其中一个结果，该多个标注结果中第二预设结果的选取可能性大于第一预设结果的选取可能性。

[0136] 在一种可能实现方式中，第二样本结果是从多个标注结果中随机选取的，为了保证多个标注结果中第二预设结果的选取可能性大于第一预设结果的选取可能性，可以增加第二预设结果的数量，可选地，获取第二样本结果，可以包括：若样本图像的多个标注结果中包括第一预设结果和第二预设结果，增加第二预设结果的数量，得到更新后的多个标注结果，从更新后的多个标注结果中，随机选取一个结果作为第二样本结果，由于第二预设结果的数量增大了，从而在多个标注结果中随机选取一个结果时，第二预设结果被选中的可能性也会增加，从而保证了第二预设结果的选取可能性大于第一预设结果的选取可能性。

[0137] 可选地，若样本图像的多个标注结果中仅包括第二预设结果，未包括第一预设结果时，可以增加第二预设结果的数量，也可以包括第二预设结果的数量不变。

[0138] 在一种可能实现方式中，多个标注结果中第二预设结果的选取优先级大于第一预设结果的选取优先级，获取第二样本结果，可以包括：若样本图像的多个标注结果中包括第二预设结果，则选取第二预设结果作为第二样本结果；若样本图像的多个标注结果中未包括第二预设结果，则选取第一预设结果作为第二样本结果。

[0139] 另外，需要说明的是，分类模型可以包括第一分类子模型和第二分类子模型，且第一分类子模型和第二分类子模型可以同时训练，从而可以同时选取第一样本结果和第二样本结果，根据样本图像和第一样本结果训练第一分类子模型，根据样本图像和第二样本结果训练第二分类子模型。

[0140] 在一种可能实现方式中，获取第一样本结果和第二样本结果，可以包括：若样本图像的多个标注结果中包括第一预设结果和第二预设结果，则选取第一预设结果作为第一样本结果，选取第二预设结果作为第二样本结果；若多个标注结果中仅包括第一预设结果，未包括第二预设结果，则选取第一预设结果作为第一样本结果和第二样本结果；若多个标注结果中仅包括第二预设结果，未包括第一预设结果，则选取第二预设结果作为第一样本结果和第二样本结果。

[0141] 其中，第三样本结果是根据样本图像的多个标注结果统计得到的结果，可以认为该第三样本结果为样本图像比较准确的结果。另外，由于多个标注结果是不同的用户对样本图像进行标注得到的，而用户仅是确定该样本图像是不是目标类别，可选地，可以用0或者1来表示样本图像是否为目标类别的样本图像，例如，第一预设结果为0，表示样本图像为非目标类别的样本图像，第二预设结果为1，表示样本图像为目标类别的样本图像；或者，第一预设结果为1，表示样本图像为目标类别的样本图像，第二预设结果为0，表示样本图像为非目标类别的样本图像。而第三样本结果是根据样本图像的多个标注结果统计得到的结果，因此，该第三样本结果可以是[0，1]之间的任一数值。

[0142] 在一种可能实现方式中，获取样本图像和样本图像的第三样本结果，可以包括：获取样本图像以及样本图像的多个标注结果，将多个标注结果中出现频次最高的结果作为第三样本结果。由于出现频次最高的结果可以认为是大部分用户认可的结果，从而可以将大部分用户认可的结果作为该样本图像的第三样本结果是比较准确的。

[0143] 例如，多个标注结果中第一预测结果出现了5次，第二预测结果出现了1次，则可以认为第一预测结果是准确的，可以直接选取第一预测结果作为第三样本结果。

[0144] 在另一种可能实现方式中，获取样本图像和样本图像的第三样本结果，可以包括：获取样本图像以及样本图像的多个标注结果，将多个标注结果进行均值处理得到的结果作为第三样本结果。由于该第三样本结果考虑到了样本图像对应的全部标注结果，因此该第三样本结果是比较准确的结果，保证了后续根据样本图像和第三样本结果训练的第三分类子模型的准确性。

[0145] 例如，多个标注结果分别为1、1、0、1和0，将该多个标注结果进行均值处理，得到0.6，将该0.6作为第三样本结果。

[0146] 由于不同标注用户的准确度不同，从而不同标注用户标注的标注结果的准确度也会不同，对于准确度较高的标注用户，可信度较高。在另一种可能实现方式中，获取样本图像和样本图像的第三样本结果，可以包括：获取样本图像以及样本图像的多个标注结果，根据每个标注结果对应的标注用户的准确度，对多个标注结果进行加权处理，将加权处理后得到的结果作为第三样本结果。由于准确度较高的标注用户可信度较高，对应标注结果的准确性也较高，因此，在根据多个标注结果获取第三样本结果时，可以更多地考虑准确度较高的标注用户，从而提高第三样本结果的准确性。

[0147] 其中，根据每个标注结果对应的标注用户的准确度，对多个标注结果进行加权处理，包括：将标注用户的准确度作为对应标注结果的权重，根据每个标注结果对应的权重，对多个标注结果进行均值处理，得到第三样本结果。

[0148] 例如，标注用户的准确度、多个标注结果以及第三样本结果满足以下关系：

[0149]

[0150] 其中，y为第三样本结果，m为多个标注结果的数量，wi为第i个标注用户的准确度，ri为第i个标注用户对应的标注结果，∑为求和函数。

[0151] 502、调用第一分类子模型对样本图像进行分类处理，得到样本图像的第四预测结果。

[0152] 其中，第一分类子模型为用于对图像进行分类的模型，例如，VGG Net(Visual Geometry Group Network，视觉几何组网络)模型、ResNet(Residual Network，残差网络)模型等，本申请实施例对第一分类子模型不做限定。

[0153] 第一分类子模型对样本图像进行分类处理后，可以得到样本图像的第四预测结果，该第四预测结果为区间[0，1]之间的任一数值，可选地，第四预测结果可以为样本图像属于目标类别的概率，或者，为样本图像不属于目标类别的概率。例如，第四预测结果为0.6，该0.6为样本图像属于目标类别的概率；或者，第四预测结果为0.4，该0.4为样本图像不属于目标类别的概率。

[0154] 可选地，第四预测结果包括样本图像属于目标类别的预测概率和不属于目标类别的预测概率，且两个预测概率的和值为1。

[0155] 例如，第一分类子模型对眼底图像进行分类处理后，得到该眼底图像具有青光眼特征的概率为0.6，该眼底图像不具有青光眼特征的概率为0.4，该第一分类子模型的输出结果为(0.6，0.4)。

[0156] 可选地，第一分类子模型包括第一特征提取层和第一分类层，该第一特征提取层与第一分类层连接，调用第一分类子模型对样本图像进行分类处理，得到样本图像的第四预测结果，可以包括：调用第一特征提取层，对样本图像进行特征提取，得到样本图像的第一特征，调用第一分类层，对第一特征进行分类处理，得到样本图像的第四预测结果。

[0157] 可选地，分类模型还包括特征提取子模型，该特征提取子模型与第一分类子模型连接，在调用第一分类子模型对该样本图像进行分类处理，得到样本图像的第四预测结果之前，可以调用特征提取子模型，对样本图像进行特征提取，得到样本图像的第四特征，之后，可以调用第一分类子模型，对第四特征进行分类处理，得到样本图像的第四预测结果。其中，特征提取子模型可以是ResNet(Residual Network，残差网络)模型等，本申请实施例对此不做限定。

[0158] 503、调用第二分类子模型对该样本图像进行分类处理，得到样本图像的第五预测结果。

[0159] 其中，第二分类子模型为用于对图像进行分类的模型，例如，VGG Net(Visual Geometry Group Network，视觉几何组网络)模型、ResNet(Residual Network，残差网络)模型等，本申请实施例对第二分类子模型不做限定。

[0160] 第二分类子模型对样本图像进行分类处理后，可以得到样本图像的第五预测结果，该第五预测结果为区间[0，1]之间的任一数值。可选地，第五预测结果可以为样本图像属于目标类别的概率，或者，为样本图像不属于目标类别的概率。

[0161] 可选地，第五预测结果包括样本图像属于目标类别的预测概率和不属于目标类别的预测概率，且两个预测概率的和值为1。

[0162] 可选地，第二分类子模型包括第二特征提取层和第二分类层，该第二特征提取层与第二分类层连接，调用第二分类子模型对该样本图像进行分类处理，得到样本图像的第五预测结果，包括：调用第二特征提取层，对样本图像进行特征提取，得到样本图像的第二特征，调用第二分类层，对第二特征进行分类处理，得到样本图像的第五预测结果。

[0163] 可选地，分类模型还包括特征提取子模型，该特征提取子模型与第二分类子模型连接，在调用第二分类子模型对该样本图像进行分类处理，得到样本图像属于目标类别的第五预测结果之前，可以调用特征提取子模型，对样本图像进行特征提取，得到样本图像的第四特征，之后，可以调用第二分类子模型，对第四特征进行分类处理，得到样本图像的第五预测结果。

[0164] 504、调用第三分类子模型对样本图像进行分类处理，得到样本图像的第六预测结果。

[0165] 其中，第三分类子模型为用于对图像进行分类的模型，例如，VGG Net(Visual Geometry Group Network，视觉几何组网络)模型、ResNet(Residual Network，残差网络)模型等，本申请实施例对第三分类子模型不做限定。

[0166] 第三分类子模型对样本图像进行分类处理后，可以得到样本图像的第六预测结果，该第六预测结果为区间[0，1]之间的任一数值。可选地，第六预测结果可以为样本图像属于目标类别的概率，或者，为样本图像不属于目标类别的概率。

[0167] 可选地，第六预测结果包括样本图像属于目标类别的预测概率和不属于目标类别的预测概率，且两个预测概率的和值为1。

[0168] 可选地，第三分类子模型包括第三特征提取层和第三分类层，该第三特征提取层与第三分类层连接，调用第三分类子模型对该样本图像进行分类处理，得到样本图像的第六预测结果，包括：调用第三特征提取层，对样本图像进行特征提取，得到样本图像的第三特征，调用第三分类层，对第三特征进行分类处理，得到样本图像的第六预测结果。

[0169] 可选地，该第三分类子模型还包括融合层，该融合层分别与第一特征提取层、第二特征提取层、第三特征提取层和第三分类层连接，其中，调用第三分类子模型对样本图像进行分类处理，得到样本图像的第六预测结果，可以包括：调用第三特征提取层，对样本图像进行特征提取，得到样本图像的第三特征，调用融合层，对第一特征、第二特征和第三特征进行融合处理，其中，第二特征通过第二特征提取层对样本图像进行特征提取得到，第三特征通过第三特征提取层对样本图像进行特征提取得到；调用第三分类层，对融合特征进行分类处理，得到样本图像的第六预测结果。

[0170] 由于第一分类子模型和第二分类子模型的训练数据中，第一预设结果和第二预设结果的选取可能性不同，导致第一分类子模型和第二分类子模型中一个子模型的输出结果更加偏向于图像属于目标类别，另一个子模型的输出结果更加偏向于图像不属于目标类别，因此，第一特征和第二特征中，一个特征为偏向于图像属于目标类别的特征，另一个特征为偏向于图像不属于目标类别的特征，而第三样本结果为比较准确的结果，因此，第三特征为能够比较准确代表图像的特征，将第一特征、第二特征和第三特征进行融合，会使得第三分类子模型考虑的特征更加全面，得到的结果更加准确。

[0171] 可选地，分类模型还包括特征提取子模型，该特征提取子模型与第三分类子模型连接，在调用第三分类子模型对该样本图像进行分类处理，得到样本图像的第六预测结果之前，可以调用特征提取子模型，对样本图像进行特征提取，得到样本图像的第四特征，之后，可以调用第三分类子模型，对第四特征进行分类处理，得到样本图像的第六预测结果。

[0172] 需要说明的是，上述步骤502至步骤504可以同时执行，也可以按照一定的先后顺序执行，本申请实施例对此不做限定。

[0173] 505、根据第一样本结果、第四预测结果、样本图像的多个标注结果的一致性数值、第二样本结果和第五预测结果，训练第一分类子模型和第二分类子模型。

[0174] 其中，一致性数值用于指示样本图像的多个标注结果是否一致，多个标注结果一致是指该多个标注结果仅包括第一预设结果或者仅包括第二预设结果；多个标注结果不一致是指该多个标注结果中包括第一预设结果和第二预设结果。可选地，一致性数值为1指示多个标注结果一致，一致性数值为0指示多个标注结果不一致。

[0175] 为了使第一分类子模型和第二分类子模型在多个标注结果一致时，输出一致的结果，在多个标注结果不一致时，输出不一致的结果，还可以通过一致性损失来约束第一分类子模型和第二分类子模型的输出结果。

[0176] 在一种可能实现方式中，根据第一样本结果、第四预测结果、样本图像的多个标注结果的一致性数值、第二样本结果和第五预测结果，训练第一分类子模型和第二分类子模型，包括以下步骤：

[0177] (1)根据第一样本结果、第四预测结果和第二关系数据，获取第二分类子模型的第一分类损失值，第二关系数据指示任一分类模型对任一图像进行分类处理得到的预测结果、任一图像的样本结果和分类模型的分类损失值之间的关系。

[0178] 可选地，第二关系数据可以如下：

[0179]

[0180] 其中，L1为第一分类损失值，ysei为样本图像对应的样本结果，该样本结果包括样本图像属于目标类别的概率和不属于目标类别的概率。可选地，i＝1时，ysei为样本图像属于目标类别的概率，i＝0时，ysei为样本图像不属于目标类别的概率；或者，i＝0时，ysei为样本图像属于目标类别的概率，i＝1时，ysei为样本图像不属于目标类别的概率。y′sei为样本图像对应的预测结果，该预测结果可以包括样本图像属于目标类别的概率和不属于目标类别的概率。可选地，i＝1时，ysei为样本图像属于目标类别的概率，i＝0时，ysei为样本图像不属于目标类别的概率；或者，i＝0时，ysei为样本图像属于目标类别的概率，i＝1时，ysei为样本图像不属于目标类别的概率。∑为求和函数，log为对数函数。

[0181] (2)根据第二样本结果、第五预测结果和第二关系数据，获取第三分类子模型的第二分类损失值。

[0182] 可选地，第二关系数据可以如下：

[0183]

[0184] 其中，L2为第二分类损失值，yspi为样本图像对应的样本结果，该样本结果包括样本图像属于目标类别的概率和不属于目标类别的概率。可选地，i＝1时，ysei为样本图像属于目标类别的概率，i＝0时，ysei为样本图像不属于目标类别的概率；或者，i＝0时，ysei为样本图像属于目标类别的概率，i＝1时，ysei为样本图像不属于目标类别的概率。y′spi为样本图像对应的预测结果，该预测结果可以包括样本图像属于目标类别的概率和不属于目标类别的概率。可选地，i＝1时，ysei为样本图像属于目标类别的概率，i＝0时，ysei为样本图像不属于目标类别的概率；或者，i＝0时，ysei为样本图像属于目标类别的概率，i＝1时，ysei为样本图像不属于目标类别的概率。∑为求和函数，log为对数函数。

[0185] (3)根据多个标注结果的一致性数值、第四预测结果、第五预测结果和第三关系数据，获取第一分类子模型和第二分类子模型之间的一致性损失值，第三关系数据指示任一图像的多个标注结果的一致性数值、通过第一分类子模型和第二分类子模型对任一图像进行分类处理得到的两个预测结果、以及第一分类子模型和第二分类子模型之间的一致性损失值之间的关系。

[0186] 可选地，第三关系数据可以如下所示：

[0187]

[0188] 其中，L3为一致性损失值，a为一致性数值，a＝1表示样本图像的多个标注结果一致，a＝0表示样本图像的多个标注结果不一致，y′se为第一分类子模型输出的预测结果，y′sp为第二分类子模型输出的预测结果。max为取最大值函数，||y′se‑y′sp||指示获取y′se和y′sp的差值之后，获取该差值各个分量的平方和，对该平方和进行开根号运算。

[0189] (4)根据第一分类损失值和一致性损失值，训练第一分类子模型；根据第二分类损失值和一致性损失值，训练第二分类子模型。

[0190] 其中，根据第一分类损失值和一致性损失值，训练第一分类子模型可以是对第一分类损失值和一致性损失值进行统计处理，根据统计处理后的损失值来训练第二分类子模型，也就是说，根据统计处理后的损失值调整第一分类子模型的模型参数，以使第一分类子模型统计处理后的损失值收敛。

[0191] 上述训练第一分类子模型和第二分类子模型的过程中，不仅考虑了分类子模型的分类损失值，以使分类子模型输出的分类结果更加准确，还考虑了两个分类子模型的一致性损失值，以使第一分类子模型和第二分类子模型在多个标注结果一致时，输出一致的结果，在多个标注结果不一致时，输出不一致的结果，从而后续可以根据第一分类子模型为图像确定的第一预测结果和第二分类子模型为提醒确定的第二预测结果，来准确获取图像的分类难度。

[0192] 另外，根据第二分类损失值和一致性损失值训练第二分类子模型可以是对第二分类损失值和和一致性损失值进行统计处理，根据统计处理后的损失值来训练第二分类子模型，也就是说，根据统计处理后的损失值调整第二分类子模型的模型参数，以使第二分类子模型统计处理后的损失值收敛。

[0193] 可选地，可以为第二分类损失值和一致性损失值分配不同的权重，根据第二分类损失值的权重和一致性损失值的权重，对第二分类损失值和一致性损失值进行加权处理。例如，第二分类损失值的权重为1，一致性损失值的权重为0.5。

[0194] 需要说明的是，在一种可能实现方式中，分类模型还包括特征提取子模型，该特征提取子模型可以包括多个特征提取层，该多个特征提取层中包括第一分类子模型单独使用的特征提取层和第二分类子模型单独使用的特征提取层，在训练第一分类子模型时，可以对第一分类子模型和第一分类子模型单独使用的特征提取层进行训练；在第二分类子模型时，可以对第二分类子模型和第二分类子模型单独使用的特征提取层进行训练。

[0195] 506、根据第四预测结果、第五预测结果和第一关系数据，获取样本图像的分类难度。

[0196] 由于在样本图像的多个标注结果不一致时，第一分类子模型和第二分类子模型的训练样本数据不同，从而导致第一分类子模型会更加关注图像中属于目标类别的特征，第二分类子模型会更加关注图像中不属于目标类别的特征；或者，第一分类子模型会更加关注图像中不属于目标类别的特征，第二分类子模型会更加关注图像中属于目标类别的特征。

[0197] 并且，由于上述第一分类子模型和第二分类子模型会根据一致性损失值进行训练，使得第一分类子模型对于容易分类的图像会输出比较相近的结果，而对于较难的分类的图像会输出相差较大的结果，因此，根据第四预测结果和第五预测结果，可以准确获取样本图像的分类难度，其中，第四预测结果和第五预测结果之间的差异越小，图像越容易分类，第四预测结果和第五预测结果之间的差异越大，图像越难分类。

[0198] 上述步骤506可以根据第四预测结果、第五预测结果和第一关系数据，获取样本图像的分类难度，其中，第一关系数据表示第一分类子模型对任一图像进行分类处理得到的预测结果、第二分类子模型对任一图像进行分类处理得到的预测结果和任一图像的分类难度之间的关系。

[0199] 可选地，第一关系数据可以如下所示：

[0200]

[0201] 其中，u为分类难度，y′se为第一分类子模型输出的预测结果，y′sp为第二分类子模型输出的预测结果，||y′se||表示y′se的范数，||y′sp||表示y′sp的范数。

[0202] 需要说明的是，由于可以根据第四预测结果和第五预测结果来确定图像的分类难度，因此，在训练第三分类子模型时，可以使第三分类子模型更加关注较难分类的样本图像，从而提高对较难分类的图像进行分类的准确率。

[0203] 为了使第三分类子模型可以更加关注较难分类的样本图像，可以在第一分类子模型、第二分类子模型和第三分类子模型对多个样本图像进行分类处理，得到多个样本图像的第四预测结果、第五预测结果和第六预测结果之后，根据第四预测结果和第五预测结果，确定对应样本图像的分类难度，根据每个样本图像的分类难度，为每个样本图像确定对应的权重，多个样本图像的第六预测结果、第三样本结果和每个样本图像的权重，对第三分类子模型进行训练。

[0204] 需要说明的是，第三分类子模型的训练时机可以是在对多个样本图像进行分类处理后，而第一分类子模型和第二分类子模型的训练时机可以是在对任一样本图像进行分类处理后。

[0205] 507、根据每个样本图像的分类难度确定对应样本图像的权重，根据每个样本图像的权重，每个样本图像的第六预测结果、以及每个样本图像的第三样本结果，对第三分类子模型进行训练。

[0206] 在执行上述步骤507之前，可以重复执行步骤501至步骤506多次，得到多个样本图像的第三样本结果、第六预测结果和每个样本图像的分类难度。

[0207] 其中，样本图像的分类难度与样本图像的权重呈正相关关系，样本图像的分类难度越高，对应样本图像的权重越高，样本图像的分类难度越低，对应样本图像的权重越低。这样，第三分类子模型可以更加关注分类难度较高的样本图像，从而提高了对于分类难度较高的图像进行分类的准确率。

[0208] 其中，根据每个样本图像的分类难度确定对应样本图像的权重，可以包括：将每个样本图像的分类难度作为对应样本图像的权重；或者，将每个样本图像的分类难度进行统计处理，得到对应样本图像的权重。例如，样本图像的分类难度为0.3，将样本图像的分类难度加1，得到该样本图像的权重。

[0209] 可选地，根据每个样本图像的分类难度确定对应样本图像的权重，根据每个样本图像的权重，每个样本图像的第六预测结果、以及每个样本图像的第三样本结果，对第三分类子模型进行训练，可以包括：根据每个样本图像的权重、每个样本图像的第六预测结果、每个样本图像的第三样本结果以及第四关系数据，获取第三分类子模型的第三分类损失值，第四关系数据指示分类模型对多个样本图像进行分类处理得到的多个预测结果、该多个样本图像的样本结果、多个样本图像中每个样本图像的权重和该分类模型的分类损失值之间的关系；根据第三分类损失值训练第三分类子模型，以使该第三分类子模型的损失值收敛。

[0210] 可选地，第四关系数据可以如下所示：

[0211]

[0212] 其中，L4为第一分类子模型的第三分类损失值，n为多个样本图像的数量，其中，n为大于等于2的任一整数，ui为第i个样本图像的分类难度，i为小于等于n的任一整数。y′ij为第i个样本图像对应的预测结果，该预测结果可以包括样本图像属于目标类别的概率和不属于目标类别的概率。可选地，i＝1时，y′ij为样本图像属于目标类别的概率，i＝0时，y′ij为样本图像不属于目标类别的概率；或者，i＝0时，y′ij为样本图像属于目标类别的概率，i＝1时，y′ij为样本图像不属于目标类别的概率。yij为第i个样本图像对应的样本结果。该样本结果包括样本图像属于目标类别的概率和不属于目标类别的概率。可选地，i＝1时，yij为样本图像属于目标类别的概率，i＝0时，yij为样本图像不属于目标类别的概率；或者，i＝0时，yij为样本图像属于目标类别的概率，i＝1时，yij为样本图像不属于目标类别的概率。∑为求和函数，log为对数函数。

[0213] 另外，根据第三分类损失值训练第三分类子模型，可以包括：根据第三分类损失值，调整第三分类子模型的模型参数，以使该第三分类模型的损失值逐渐缩小，直至收敛。

[0214] 需要说明的是，本申请实施例仅是以训练第一分类子模型、第二分类子模型和第三分类子模型为例对分类模型的训练过程进行示例性说明，而在一种可能实现方式中，分类模型还可以包括特征提取子模型，如图4所示，该特征提取子模型可以是预先训练的模型，也可以是未训练的模型，如果特征提取子模型是未训练的模型，可以在根据第三分类损失值调整第三分类子模型时，根据第三分类损失值调整特征提取模型。另外，在根据第三分类损失值调整特征提取子模型时，可以包括特征提取子模型中多个特征提取层的模型参数保持一致。例如，如图4所示，保持特征提取子模型中前3个特征提取层的模型参数保持一致。

[0215] 需要说明的是，分类模型可以是图2所示的结构，若分类模型为图2所示的结构，在训练特征提取子模型时，可以根据第三分类损失值训练特征提取层1041、特征提取层1042、特征提取层1043和特征提取层1045；根据第一分类损失值和一致性损失值，训练特征提取层1044；根据第二分类损失值和一致性损失值，训练特征提取层1046。

[0216] 需要说明的另一点是，本申请实施例仅是以同时训练第一分类子模型、第二分类子模型和第三分类子模型为例进行说明，而在另一实施例中，可以先训练第一分类子模型和第二分类子模型，在第一分类子模型和第二分类子模型训练完成之后，训练第三分类子模型。

[0217] 本申请实施例提供的图像分类模型训练方法，在训练第一分类子模型和第二分类子模型时，会从样本图像的多个标注结果中选取一个结果，将选取的结果和对应的样本图像作为训练数据，但是第一分类子模型和第二分类子模型采用的训练数据并不完全相同，第一分类子模型的训练数据中，第一预设结果的选取可能性会大于第二预设结果的选取可能性，第二分类子模型的训练数据中，第二预设结果的选取可能性会大于第一预设结果的选取可能性，从而如果多个标注结果是一致的，第一分类子模型和第二分类子模型的训练数据是一致的，输出的结果也应该是一致的，且由于多个标注结果一致时，图像的分类难度较低，因此，第一分类子模型和第二分类子模型的输出结果是一致时，图像的分类难度较低。而如果多个标注结果不是一致的，第一分类子模型和第二分类子模型的训练数据不是一致的，输出的结果也应该不是一致的，且由于多个标注结果不一致时，图像的分类难度较高，因此，第一分类子模型和第二分类子模型的输出结果不一致时，图像的分类难度较高。因此，通过上述方法训练出的第一分类子模型和第二分类子模型可以用于确定图像的分类难度。而在训练第三分类子模型时，可以获取样本图像比较准确的第三样本结果，根据样本图像和第三结果训练的第三分类子模型可以输出比较准确的结果，而根据图像的分类难度，还可以确定该第三分类子模型输出结果的准确性，从而减少了第三分类子模型对用户的误导。

[0218] 上述训练第一分类子模型和第二分类子模型的过程中，不仅考虑了分类子模型的分类损失值，以使分类子模型输出的分类结果更加准确，还考虑了两个分类子模型的一致性损失值，以使第一分类子模型和第二分类子模型在多个标注结果一致时，输出一致的预测结果，在多个标注结果不一致时，输出不一致的预测结果，从而后续可以根据第一分类子模型为图像确定的第一预测结果和第二分类子模型为提醒确定的第二预测结果，来准确获取图像的分类难度。

[0219] 在分类模型训练完成之后，本申请实施例提供的图像分类方法，可以调用训练的分类模型进行分类处理，该分类处理过程详见下述实施例。

[0220] 图6是本申请实施例提供的一种图像分类方法的流程图，本申请实施例的执行主体为计算机设备，参见图6，该方法包括：

[0221] 601、调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到目标图像的第一预测结果。

[0222] 其中，目标图像可以是计算机设备待处理的任一图像，该目标图像可以是计算机设备采集得到，也可以是其他设备采集得到。例如，该目标图像为医学设备采集得到的医学图像。

[0223] 可选地，该图像可以包括目标对象，对目标图像进行分类处理得到目标图像的第一结果就是指：对目标图像中的目标对象进行分类处理，得到该目标图像中的目标对象的第一预测结果。

[0224] 例如，目标图像为医学图像，目标对象可以是任一人体组织，例如，眼睛、心脏、血管、细胞等。

[0225] 其中，分类模型为用于对图像进行分类的模型，可选地，该分类模型可以是根据深度学习算法训练得到的。

[0226] 在一种可能实现方式中，第一分类子模型包括第一特征提取层和第一分类层，调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到目标图像的第一预测结果，可以包括：调用第一特征提取层，对目标图像进行特征提取，得到目标图像的第一特征；调用第一分类层，对第一特征进行分类处理，得到第一预测结果。

[0227] 在另一种可能实现方式中，分类模型还包括特征提取子模型，在执行上述步骤601之前，还可以调用特征提取子模型，对目标图像进行特征提取，得到目标图像的第四特征；执行上述步骤601可以包括：调用第一分类子模型，对第四特征进行分类处理，得到第一预测结果。

[0228] 602、调用分类模型中的第二分类子模型，对目标图像进行分类处理，得到目标图像的第二预测结果。

[0229] 在一种可能实现方式中，第二分类子模型包括第二特征提取层和第二分类层，上述步骤602可以包括：调用第二特征提取层，对目标图像进行特征提取，得到目标图像的第二特征；调用第二分类层，对第二特征进行分类处理，得到第二预测结果。

[0230] 603、调用分类模型中的第三分类子模型，对目标图像进行分类处理，得到目标图像的第三预测结果。

[0231] 在一种可能实现方式中，第三分类子模型包括第三特征提取层和第三分类层，上述步骤603可以包括：调用第三特征提取层，对目标图像进行特征提取，得到目标图像的第三特征；调用第三分类层，对第三特征进行分类处理，得到第三预测结果。

[0232] 在另一种可能实现方式中，第三分类子模型包括第三特征提取层、融合层和第三分类层，调用分类模型中的第三分类子模型，对目标图像进行分类处理，得到目标图像的第三预测结果，可以包括：调用第三特征提取层，对目标图像进行特征提取，得到目标图像的第三特征；调用融合层，对第一特征、第二特征和第三特征进行融合处理，得到融合特征；调用第三分类层，对融合特征进行分类处理，得到第三预测结果。

[0233] 由于第一分类子模型和第二分类子模型的训练数据中，第一预设结果和第二预设结果的选取可能性不同，导致第一分类子模型和第二分类子模型中一个子模型的输出结果更加偏向于图像属于目标类别，另一个子模型的输出结果更加偏向于图像不属于目标类别，因此，第一特征和第二特征中，一个特征为偏向于图像属于目标类别的特征，另一个特征为偏向于图像不属于目标类别的特征，而第三样本结果为比较准确的结果，因此，第三特征为能够比较准确代表图像的特征，将第一特征、第二特征和第三特征进行融合，会使得第三分类子模型考虑的特征更加全面，得到的结果更加准确。

[0234] 需要说明的是，分类模型对目标图像的处理过程与分类模型对样本图像的处理过程类似，在此不再一一赘述。

[0235] 604、输出第三预测结果和目标图像的分类难度，该目标如图像的分类难度根据第一预测结果和第二预测结果确定。

[0236] 其中，根据第一预测结果和第二预测结果，确定目标图像的分类难度可以包括：根据第一预测结果、第二预测结果和第一关系数据，获取目标图像的分类难度。

[0237] 需要说明的是，上述步骤604仅是以输出第三预测结果和目标图像的分类难度为例对计算机设备的输出进行示例性说明，而在另一实施例中，还可以输出第一预测结果或者第二预测结果中的至少一项。

[0238] 在一种可能实现方式中，可以根据应用场景的不同需求，输出不同的分类子模型确定的预测结果。

[0239] 例如，第一分类子模型是对青光眼特征敏感度较高的模型，也就是说，第一分类子模型更加关注眼底图像中的青光眼特征，第一预测结果更加偏向于指示眼底图像具有青光眼特征，第二分类子模型是对青光眼特征特异度较高的模型，也就是说，第二分类子模型更加关注眼底图像中的非青光眼特征，第二预测结果更加偏向于指示眼底图像不具有青光眼特征。

[0240] 从而在要求对眼底图像分类比较敏感的场景下，可以获取第一分类子模型输出的第一预测结果，输出该第一预测结果，如果第一预测结果指示该目标图像具有青光眼特征，可以指示用户存在青光眼风险，可以进一步进行检查。在要求对眼底图像分类比较准确的场景下，可以获取第三分类子模型输出的第三预测结果，输出该第三预测结果。

[0241] 另外，目标图像的分类难度可以指示输出结果的可信度，如果目标图像的分类难度较低，用户可以参考模型的输出结果，如果目标图像的分类难度较高，说明模型的不确定性较高，用户可以再获取其他数据，并结合该结果进行判断。

[0242] 本申请实施例提供的图像分类方法，会通过第一分类子模型、第二分类子模型和第三分类子模型分别对目标图像进行分类处理，得到目标图像属于目标类别的第一预测结果和第二预测结果，由于第一分类子模型的训练数据中第一预设结果的选取可能性大于第二预设结果的选取可能性，第二分类子模型的训练数据中第二预设结果的选取可能性大于第一预设结果的选取可能性，从而会导致第一分类子模型和第二分类子模型中一个分类子模型的输出结果更加偏向于目标图像属于目标类别，另一个分类子模型的输出结果更加偏向于目标图像不属于目标类别，如果目标图像是容易分类的图像，第一预测结果和第二预测结果会比较相近，如果目标图像是较难分类的图像，第一预测结果和第二预测结果之间的差异会比较大，从而可以根据第一预测结果和第二预测结果，获取目标图像的分类难度，根据该分类难度，可以确定分类模型输出结果的准确性。由于第三分类子模型的训练数据包括样本图像和多个标注结果统计得到的结果，因此，该第三分类子模型的输出结果更加符合实际结果，最后输出第三预测结果和目标图像的分类难度，可以辅助用户确定第三分类子模型的输出是否准确，也就是说，确定第三预测结果是否准确，减少了第三预测结果对用户的误导。

[0243] 由于第一分类子模型和第二分类子模型的训练数据中，第一预设结果和第二预设结果的选取可能性不同，导致第一分类子模型和第二分类子模型中一个子模型的输出结果更加偏向于图像属于目标类别，另一个子模型的输出结果更加偏向于图像不属于目标类别，因此，第一特征和第二特征中，一个特征为偏向于图像属于目标类别的特征，另一个特征为偏向于图像不属于目标类别的特征，而第三样本结果为比较准确的结果，因此，第三特征为能够比较准确代表图像的特征，将第一特征、第二特征和第三特征进行融合，会使得第三分类子模型考虑的特征更加全面，得到的结果更加准确。

[0244] 图7是本申请实施例提供的另一种图像分类方法的流程图，本申请实施例的执行主体为计算机设备，参见图7，该方法包括：

[0245] 701、获取眼底图像。

[0246] 其中，眼底图像可以是对眼底进行拍摄得到的图像，可选地，可以利用眼底照相机对眼底进行拍摄得到该眼底图像。

[0247] 其中，眼底图像中包括视杯和视盘，该视杯和视盘的大小比值可以用于确定眼底图像是否具有青光眼特征，该视杯和视盘的大小比值为视杯和视频的直径比例(CDR，Cup‑to‑Dish Ratio)，如果视杯和视盘的直径比例大于0.5或者0.6，则认为该眼底图像可能具有青光眼特征，并且视杯和视盘的直径比例越大，该眼底图像具有青光眼特征的可能性越高。

[0248] 702、调用分类模型中的特征提取子模型，对眼底图像进行特征提取，得到眼底图像的第四特征。

[0249] 该分类模型为图2所示的分类模型100，该特征提取子模型分别与第一分类子模型、第二分类子模型和第三分类子模型连接。

[0250] 703、调用分类模型中的第一分类子模型，对第四特征进行分类处理，得到眼底图像的第一预测结果。

[0251] 其中，第一预测结果指示眼底图像具有青光眼特征，或者不具有青光眼特征。可选地，第一预测结果包括眼底图像具有青光眼特征的概率和不具有青光眼特征的概率。

[0252] 704、调用分类模型中的第二分类子模型，对第四特征进行分类处理，得到眼底图像的第二预测结果。

[0253] 其中，第二预测结果指示眼底图像具有青光眼特征，或者不具有青光眼特征。可选地，第二预测结果包括眼底图像具有青光眼特征的概率和不具有青光眼特征的概率。

[0254] 705、调用分类模型中的第三分类子模型，对第四特征进行分类处理，得到眼底图像的第三预测结果。

[0255] 其中，第三预测结果指示眼底图像具有青光眼特征，或者不具有青光眼特征。可选地，第三预测结果包括眼底图像具有青光眼特征的概率和不具有青光眼特征的概率。

[0256] 706、根据第一预测结果、第二预测结果和第一关系数据，获取眼底图像的分类难度。

[0257] 707、输出第三预测结果和分类难度。

[0258] 需要说明的是，本申请实施例仅是以输出第三预测结果和分类难度为例，对计算机设备的输出进行示例性说明，而在另一实施例中，可以根据应用场景的不同需求，输出不同的分类子模型确定的预测结果。

[0259] 例如，第一分类子模型是对青光眼特征敏感度较高的模型，也就是说，第一分类子模型更加关注眼底图像中的青光眼特征，第一预测结果更加偏向于指示眼底图像具有青光眼特征，第二分类子模型是对青光眼特征特异度较高的模型，也就是说，第二分类子模型更加关注眼底图像中的非青光眼特征，第二预测结果更加偏向于指示眼底图像不具有青光眼特征。

[0260] 从而在要求对眼底图像分类比较敏感的场景下，可以获取第一分类子模型输出的第一预测结果，输出该第一预测结果，如果第一预测结果指示该目标图像具有青光眼特征，可以指示用户存在青光眼风险，可以进一步进行检查。例如，指示用户进一步获取其他生理数据，来判断眼底图像是否具有青光眼特征，尽可能地发现青光眼特征，并进行治疗，避免用户从早期青光眼发展为晚期青光眼。

[0261] 在要求对眼底图像分类比较准确的场景下，可以获取第三分类子模型输出的第三预测结果，输出该第三预测结果。

[0262] 另外，视杯和视盘的直径比值也可能是其他原因造成的，因此在检查是否是其他原因造成时，可以获取第二预测结果，来辅助用户进行判断。

[0263] 本申请实施例提供的图像分类方法，不仅可以确定眼底图像是否具有青光眼特征，还可以确定该眼底图像的分类难度，用户可以根据图像的分类难度，确定输出的结果是否准确，减少了分类模型对用户的误导。

[0264] 图8是本申请实施例提供的一种图像分类装置的结构示意图，如图8所示，该装置包括：第一调用模块801、第二调用模块802和输出模块803。

[0265] 第一调用模块801，用于调用分类模型中的第一分类子模型，对目标图像进行分类处理，得到该目标图像的第一预测结果，该第一分类子模型的训练样本数据包括该样本图像和从该样本图像的多个标注结果中选取的其中一个结果，该多个标注结果中包括第一预设结果或第二预设结果的至少一种，该多个标注结果中该第一预设结果的选取可能性大于该第二预设结果的选取可能性；

[0266] 第二调用模块802，用于调用该分类模型中的第二分类子模型，对该目标图像进行分类处理，得到该目标图像的第二预测结果，该第二分类子模型的训练样本数据包括该样本图像和从该多个标注结果中选取的其中一个结果，该多个标注结果中该第二预设结果的选取可能性大于该第一预设结果的选取可能性；

[0267] 第三调用模块803，用于调用该分类模型中的第三分类子模型，对该目标图像进行分类处理，得到该目标图像的第三预测结果，该第三分类子模型的训练样本数据包括该样本图像和根据该多个标注结果统计得到的结果；

[0268] 输出模块804，用于输出该第三预测结果和该目标图像的分类难度，该分类难度根据该第一预测结果和该第二预测结果确定。

[0269] 如图9所示，可选地，该输出模块804，包括：

[0270] 获取单元814，用于根据该第一结果、该第二结果和第一关系数据，获取该目标图像的分类难度，该第一关系数据表示该第一分类子模型对任一图像进行分类处理得到的结果、该第二分类子模型对该任一图像进行分类处理得到的结果和该任一图像的分类难度之间的关系；

[0271] 输出单元824，用于输出该第三预测结果和该分类难度。

[0272] 可选地，该第一分类子模型包括第一特征提取层和第一分类层，该第一调用模块801，包括：

[0273] 第一调用单元811，用于调用该第一特征提取层，对该目标图像进行特征提取，得到该目标图像的第一特征；

[0274] 第二调用单元821，用于调用该第一分类层，对该第一特征进行分类处理，得到该第一预测结果；

[0275] 该第二分类子模型包括第二特征提取层和第二分类层，该第二调用模块802，包括：

[0276] 第三调用单元812，用于调用该第二特征提取层，对该目标图像进行特征提取，得到该目标图像的第二特征；

[0277] 第四调用单元822，用于调用该第二分类层，对该第二特征进行分类处理，得到该第二预测结果；

[0278] 该第三分类子模型包括第三特征提取层和第三分类层，该第三调用模块803，包括：

[0279] 第五调用单元813，用于调用该第三特征提取层，对该目标图像进行特征提取，得到该目标图像的第三特征；

[0280] 第六调用单元823，用于调用该第三分类层，对该第三特征进行分类处理，得到该第三预测结果。

[0281] 可选地，该第三分类子模型还包括融合层，该第三调用模块803，包括：

[0282] 第七调用单元833，用于调用该融合层，对该第一特征、该第二特征和该第三特征进行融合处理，得到融合特征；

[0283] 第六调用单元823，用于调用该第三分类层，对该融合特征进行分类处理，得到该第三结果。

[0284] 可选地，该分类模型还包括特征提取子模型，该装置还包括：

[0285] 第四调用模块805，用于调用该特征提取子模型，对该目标图像进行特征提取，得到该目标图像的第四特征；

[0286] 该第一调用模块801，还用于调用该第一分类子模型，对该第四特征进行分类处理，得到该第一预测结果；

[0287] 该第二调用模块802，还用于调用该第二分类子模型，对该第四特征进行分类处理，得到该第二预测结果；

[0288] 该第三调用模块803，还用于调用第三分类子模型，对第四特征进行分类处理，得到第三预测结果。

[0289] 可选地，该多个标注结果中该第一预设结果的选取优先级大于该第二预设结果的选取优先级，该装置还包括：

[0290] 选取模块806，用于若该样本图像的多个标注结果中包括该第一预设结果，则选取该第一预设结果作为第一样本结果；

[0291] 该选取模块806，还用于若该多个标注结果中未包括该第一预设结果，则选取该第二预设结果作为该第一样本结果；

[0292] 训练模块807，还根据该样本图像和该第一样本结果，训练该第一分类子模型。

[0293] 可选地，该多个标注结果中该第二预设结果的选取优先级大于该第一结果的选取优先级，该装置还包括：

[0294] 选取模块806，用于若该样本图像的多个标注结果中包括该第二预设结果，则选取该第二预设结果作为第二样本结果；

[0295] 该选取模块806，还用于若该多个标注结果中未包括该第二预设结果，则选取该第一预设结果作为该第二样本结果；

[0296] 训练模块807，用于根据该样本图像和该第二样本结果，训练该第二分类子模型。

[0297] 可选地，该装置还包括：

[0298] 选取模块806，用于若该样本图像的多个标注结果中包括该第一预设结果和该第二预设结果，则选取该第一预设结果作为第一样本结果，选取该第二预设结果作为第二样本结果；

[0299] 该选取模块806，还用于若该多个标注结果中仅包括该第一预设结果，未包括该第二预设结果，则选取该第一预设结果作为该第一样本结果和该第二样本结果；

[0300] 该选取模块806，还用于若该多个标注结果中仅包括该第二预设结果，未包括该第一预设结果，则选取该第二预设结果作为该第一样本结果和该第二样本结果；

[0301] 训练模块807，用于根据该第一样本结果、第四预测结果、该多个标注结果的一致性数值、该第二样本结果和第五预测结果，训练该第一分类子模型和该第二分类子模型；

[0302] 其中，该一致性数值用于指示该多个标注结果是否一致，该第四预测结果通过该第一分类子模型对该样本图像进行分类处理得到，该第五预测结果通过该第二分类子模型对该样本图像进行分类处理得到。

[0303] 可选地，该训练模块807，包括：

[0304] 第一损失值获取单元817，用于根据该第一样本结果、该第四预测结果和第二关系数据，获取该第一分类子模型的第一分类损失值，该第二关系数据指示任一分类模型对任一图像进行分类处理得到的预测结果、该任一图像的样本结果和该分类模型的分类损失值之间的关系；

[0305] 第二损失值获取单元827，用于根据该第二样本结果、该第五预测结果和该第二关系数据，获取该第二分类子模型的第二分类损失值；

[0306] 一致性损失值获取单元837，用于根据该多个标注结果的一致性数值、该第四预测结果、该第五预测结果和该第三关系数据，获取该第二分类子模型和该第三分类子模型之间的一致性损失值，该第三关系数据指示任一图像的多个标注结果的一致性数值、通过该第一分类子模型和该第二分类子模型对该任一图像进行分类处理得到的两个预测结果、以及该第一分类子模型和该第二分类子模型之间的一致性损失值之间的关系；

[0307] 第一训练单元847，用于根据该第一分类损失值和该一致性损失值，训练该第一分类子模型；

[0308] 第二训练单元857，用于根据该第二分类损失值和该一致性损失值，训练该第二分类子模型。

[0309] 可选地，该装置还包括：

[0310] 增加模块808，用于若该样本图像的多个标注结果中包括该第一预设结果和该第二预设结果，增加该第一预设结果的数量，得到更新后的多个标注结果；

[0311] 选取模块806，用于从该更新后的多个标注结果中，随机选取一个结果作为第一样本结果；

[0312] 训练模块807，用于根据该样本图像和该第一样本结果，训练该第一分类子模型。

[0313] 可选地，该装置还包括：

[0314] 样本获取模块809，用于获取多个样本图像以及每个样本图像的第三样本结果，该第三样本结果根据对应样本图像的多个标注结果统计得到；

[0315] 结果获取模块808，用于获取该第三分类子模型对该每个样本图像进行分类处理后得到的第六预测结果；

[0316] 权重确定模块8011，用于根据该每个样本图像的分类难度确定对应样本图像的权重；

[0317] 训练模块807，用于根据该每个样本图像的权重、该每个样本图像的第六预测结果、以及该每个样本图像的第三样本结果，对该第三分类子模型进行训练。

[0318] 可选地，该根据该样本图像的多个标注结果统计得到的结果为第三样本结果，该装置还包括：

[0319] 样本获取模块809，用于获取该样本图像以及该样本图像的多个标注结果，将该多个标注结果中出现频次最高的结果作为该第三样本结果；或者，

[0320] 该样本获取模块809，用于获取样本图像以及该样本图像的多个标注结果，将该多个标注结果进行均值处理得到的结果作为该第三样本结果；或者，

[0321] 该样本获取模块809，用于获取样本图像以及该样本图像的多个标注结果，根据每个标注结果对应的标注用户的准确度，对该多个标注结果进行加权处理，将加权处理后得到的结果作为该第三样本结果。

[0322] 图10是本申请实施例提供的一种终端的结构框图。该终端1000用于执行上述实施例中终端执行的步骤，可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

[0323] 通常，终端1000包括有：处理器1001和存储器1002。

[0324] 处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA

[0325] (Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

[0326] 存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的图像分类方法。

[0327] 在一些实施例中，终端1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、触摸显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源
1009中的至少一种。

[0328] 外围设备接口1003可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不加以限定。

[0329] 显示屏1005用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置终端1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在终端1000的不同表面或呈折叠设计；在再一些实施例中，显示屏1005可以是柔性显示屏，设置在终端1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light‑Emitting Diode,有机发光二极管)等材质制备。

[0330] 摄像头组件1006用于采集图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

[0331] 本领域技术人员可以理解，图10中示出的结构并不构成对终端1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

[0332] 图11是本申请实施例提供的一种服务器的结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1101和一个或一个以上的存储器1102，其中，存储器1102中存储有至少一条指令，至少一条指令由处理器1101加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

[0333] 服务器1100可以用于执行上述图像分类方法中服务器所执行的步骤。

[0334] 本申请实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令，该至少一条指令由该处理器加载并执行，以实现上述实施例的图像分类方法中所执行的操作。

[0335] 本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令，该至少一条指令由处理器加载并执行，以实现上述实施例的图像分类方法中所执行的操作。

[0336] 本申请实施例还提供了一种计算机程序，该计算机程序中存储有至少一条指令，该至少一条指令由处理器加载并执行，以实现上述实施例的图像分类方法中所执行的操作。

[0337] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

[0338] 以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。