图像处理方法、电子设备及计算存储介质

摘要

本公开提供一种图像处理方法，包括：确定未标注图像集合中每张图像的特征表示性能参数和信息量参数；根据所述未标注图像集合中每张图像的特征表示性能参数和信息量参数从所述未标注图像集合中选取符合图像有效性需求的目标图像，对所述目标图像进行标注。能够兼顾图像在特征学习中的性能表现以及图像对于下游任务的信息量表现，自动地选取出高效的图像进行标注，降低标注代价且有助于提升图像分类模型的性能。本公开还提供一种电子设备及计算机存储介质。

权利要求

1.一种图像处理方法，其中，所述方法包括：确定未标注图像集合中每张图像的特征表示性能参数和信息量参数；

根据所述未标注图像集合中每张图像的特征表示性能参数和信息量参数从所述未标注图像集合中选取符合图像效用需求的目标图像；

对所述目标图像进行标注；

所述确定未标注图像集合中每张图像的特征表示性能参数包括：读取已标注图像集合；

将所述已标注图像集合和所述未标注图像集合进行训练得到第一模型；

根据所述第一模型确定所述未标注图像集合中每张图像的特征表示性能参数；

所述将所述已标注图像集合和所述未标注图像集合进行训练得到第一模型包括：分别将所述已标注图像集合中以及所述未标注图像集合中的每张图像均进行预设旋转角度地旋转；

根据旋转每张图像的预设旋转角度分别对旋转之后的每张图像进行标注，得到构造图像集合；

根据所述构造图像集合训练得到所述第一模型。

2.根据权利要求1所述的方法，其中，所述预设旋转角度共有多个类别；所述根据所述第一模型确定所述未标注图像集合中每张图像的特征表示性能参数包括：根据所述第一模型确定所述未标注图像集合中每张图像的预设旋转角度分别被预测为所述多个类别中每个类别的概率；

根据所述概率确定所述未标注图像集合中每张图像的特征表示性能参数。

3.根据权利要求1所述的方法，其中，在所述将已标注图像集合和所述未标注图像集合进行训练得到第一模型之后，所述方法还包括：根据所述已标注图像集合调整所述第一模型的参数得到第二模型；以及

所述确定所述未标注图像集合中每张图像的信息量参数包括：根据所述第二模型确定所述未标注图像集合中每张图像的信息量参数。

4.根据权利要求3所述的方法，其中，所述根据所述第二模型确定所述未标注图像集合中每张图像的信息量参数包括：根据所述第二模型确定所述未标注图像集合中每张图像被预测为预设图像分类任务中的各个类别的概率；

根据所述概率确定所述未标注图像集合中每张图像的信息量参数。

5.根据权利要求3所述的方法，其中，所述第一模型至少包括特征表示层和分类器层，所述特征表示层用于提取图像的特征表示信息，所述根据所述已标注图像集合调整所述第一模型的参数得到第二模型包括：根据所述已标注图像集合调整所述第一模型的分类器层的参数得到所述第二模型。

6.根据权利要求5所述的方法，其中，在所述根据所述已标注图像集合调整所述第一模型的分类器层的参数得到所述第二模型之前，所述方法还包括：根据预设图像分类任务中的类别数量调整所述分类器层的网络结构。

7.根据权利要求3所述的方法，其中，在所述对所述目标图像进行标注之后，所述方法还包括：

将已标注的所述目标图像从所述未标注图像集合中移动到所述已标注图像集合中；

继续执行所述根据所述已标注图像集合调整所述第一模型的参数得到第二模型的步骤。

8.根据权利要求1‑7中任意一项所述的方法，其中，所述根据所述未标注图像集合中每张图像的特征表示性能参数和信息量参数从所述未标注图像集合中选取符合图像效用需求的目标图像包括：

根据所述未标注图像集合中每张图像的特征表示性能参数和信息量参数以及所述未标注图像集合中的图像总数量确定平衡参数；

根据所述平衡参数以及所述未标注图像集合中每张图像的特征表示性能参数和信息量参数确定所述未标注图像集合中每张图像的效用得分；

从所述未标注图像集合中选取预设数量张效用得分最高的图像。

9.一种电子设备，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1‑8中任一项所述的图像处理方法；

一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

10.一种计算机存储介质，其上存储有计算机程序，其中，所述程序被执行时实现如权利要求1‑8中任一项所述的图像处理方法。

说明书

图像处理方法、电子设备及计算存储介质

技术领域

[0001] 本发明涉及人工智能技术领域，具体涉及一种图像处理方法、一种电子设备及一种计算机存储介质。

背景技术

[0002] 自监督学习是图像特征表示学习的重要技术，该技术在不使用任何人工标注的情况下从大规模的未标注图像中学习特征表述。在进行图像特征表示学习之后，图像分类模
型仍需在已标注图像上进行微调，以实现图像分类任务。目前，出于标注代价高昂、敏感性
等种种原因，已标注图像往往非常有限，进而导致图像分类模型的性能不佳。

发明内容

[0003] 本公开针对现有技术中存在的上述不足，提供一种图像处理方法、一种电子设备及一种计算机存储介质。

[0004] 第一方面，本公开实施例提供一种图像处理方法，所述方法包括：

[0005] 确定未标注图像集合中每张图像的特征表示性能参数和信息量参数；

[0006] 根据所述未标注图像集合中每张图像的特征表示性能参数和信息量参数从所述未标注图像集合中选取目标图像；

[0007] 对所述目标图像进行标注。

[0008] 第二方面，本公开实施例提供一种电子设备，包括：

[0009] 一个或多个处理器；

[0010] 存储装置，其上存储有一个或多个程序；

[0011] 当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前所述的图像处理方法。

[0012] 第三方面，本公开实施例提供一种计算机存储介质，其上存储有计算机程序，其中，所述程序被执行时实现如前所述的图像处理方法。

[0013] 通过本公开实施例提供的图像处理方法，确定未标注图像集合中每张图像的特征表示性能参数和信息量参数，综合考虑未标注图像的特征表示性能参数和信息量参数来选
取符合图像有效性需求的未标注图像进行标注，能够兼顾图像在特征学习中的性能表现以
及图像对于下游任务的信息量表现，自动地选取出高效的图像进行标注，降低标注代价且
有助于提升图像分类模型的性能。

附图说明

[0014] 图1是本公开实施例提供的图像处理方法的流程示意图一；

[0015] 图2是本公开实施例提供的图像处理方法的流程示意图二；

[0016] 图3是本公开实施例提供的图像处理方法的流程示意图三；

[0017] 图4是本公开实施例提供的图像处理方法的流程示意图四；

[0018] 图5是本公开实施例提供的图像处理方法的流程示意图五；

[0019] 图6是本公开实施例提供的图像处理方法的流程示意图六；

[0020] 图7是本公开实施例提供的图像处理方法的流程示意图七；

[0021] 图8是本公开实施例提供的图像处理方法的流程示意图八；

[0022] 图9是本公开实施例提供的图像处理方法的工作流程示意图；

[0023] 图10是本公开实施例提供的第一模型及第二模型的训练工作流程示意图；

[0024] 图11是本公开实施例提供的图像处理方法的另一工作流程图；

[0025] 图12是本公开实施例提供的模型训练方法的工作流程示意图；

[0026] 图13是本公开实施例提供的图像处理装置的模块示意图。

具体实施方式

[0027] 在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于
使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

[0028] 如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

[0029] 本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的
是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、
操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、
组件和/或其群组。

[0030] 本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实
施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属
性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

[0031] 除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应
当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具
有理想化或过度形式上的含义，除非本文明确如此限定。

[0032] 在实际应用中，图像的语义类别信息往往稀缺，影响图像分类模型的性能，因此往往需要对所有未标注图像的语义类别进行标注，利用已标注图像并加入训练集对图像分类
模型微调，然而图像分类模型需求庞大数量的已标注图像，加之往往由人工对未标注图像
进行标注，导致标记稀缺且代价高昂，严重影响图像分类模型的性能表现。为了提高已标注
图像的数量进而提升图像分类模型的性能，目前通常采用主动采样方法，即主动选取有效
性最高的部分图像进行标注。

[0033] 但是有鉴于此，本公开实施例发现，现有的主动采样方法在选取图像时往往仅考虑到图像对于下游任务（即图像分类任务）的信息量表现，而忽略了部分图像在自监督学习
中难以学得高效的特征表示，实际上这部分图像对于图像分类模型的帮助较小，甚至可能
会损害图像分类模型的性能，这将浪费标注成本、降低图像分类模型的性能。因此，在采用
主动采样方法选取图像进行标注时，不仅需要考虑图像对于下游任务的信息量贡献，还需
要考虑到图像在特征学习中的性能表现。

[0034] 相应的，如图1所示，本公开实施例提供一种图像处理方法，所述方法可以包括如下步骤：

[0035] 在步骤S1中，确定未标注图像集合中每张图像的特征表示性能参数和信息量参数。

[0036] 在步骤S2中，根据未标注图像集合中每张图像的特征表示性能参数和信息量参数从未标注图像集合中选取符合图像有效性需求的目标图像。

[0037] 在步骤S3中，对目标图像进行标注。

[0038] 其中，未标注图像集合为多张未标注图像的集合，特征表示性能参数用以衡量图像在特征学习中的性能表现，信息量参数则用以衡量图像对于下游任务的信息量表现，可
以根据每张图像的特征表示性能参数和信息量参数确定每张图像的有效性得分，符合图像
有效性需求的目标图像即未标注图像集合中有效性得分较高的部分图像，这部分图像用以
训练图像分类模型的有效性相对较高，例如可以是未标注图像集合中有效性得分最高的前
N张图像，但本公开实施例对N的具体取值并不做具体限定，只要大于0且小于未标注图像集
合中图像的总数量即可。

[0039] 通过本公开实施例提供的图像处理方法，确定未标注图像集合中每张图像的特征表示性能参数和信息量参数，综合考虑未标注图像的特征表示性能参数和信息量参数来选
取符合图像有效性需求的未标注图像进行标注，能够兼顾图像在特征学习中的性能表现以
及图像对于下游任务的信息量表现，自动地选取出高效的图像进行标注，降低标注代价且
有助于提升图像分类模型的性能。

[0040] 较为高效、快捷的方式是通过有效的辅助模型来衡量图像在特征学习中的性能表现，确定出图像的特征表示性能参数，那么在此之前首先需要有效地学习图像的特征表示
以训练得到模型，具体的，可以通过已标注图像和未标注图像来训练得到辅助模型，已标注
图像可以从中起到防止模型过拟合的作用。相应的，在一些实施例中，如图2所示，所述确定
未标注图像集合中每张图像的特征表示性能参数（即步骤S1中所述）可以包括如下步骤：

[0041] 在步骤S11中，读取已标注图像集合。

[0042] 在步骤S12中，将已标注图像集合和未标注图像集合进行训练得到第一模型。

[0043] 在步骤S13中，根据第一模型确定未标注图像集合中每张图像的特征表示性能参数。

[0044] 其中，已标注图像集合为多张已标注图像的集合，第一模型即为辅助模型。

[0045] 本公开实施例提出，第一模型作为自监督学习中的模型，是从已标注图像和未标注图像中学习得到，而后能够继续用于对未标注图像给出输出结果，这是一个类似检验的
过程，若对于某未标注图像第一模型无法得到较为准确的检验结果，也即若利用未标注图
像检验第一模型时不确定性较大，则意味着第一模型并未从该图像学习到高效的特征表
示，若选取这样的图像进行标注以用作图像分类模型的训练集，无疑会损害图像分类模型
的性能。因此，第一模型可以是能够对图像给出任意输出结果的模型，通过第一模型在对未
标注图像给出输出结果时的不确定性，就能够判断未标注图像是否具备高效的特征表示性
能。作为一种优选的实施方式，第一模型可以是能够对图像给出关于旋转角度的预测模型。
相应的，在一些实施例中，如图3所示，所述将已标注图像集合和所述未标注图像集合进行
训练得到第一模型（即步骤S12）可以包括如下步骤：

[0046] 在步骤S121中，分别将已标注图像集合中以及未标注图像集合中的每张图像均进行预设旋转角度地旋转。

[0047] 在步骤S122中，根据旋转每张图像的预设旋转角度分别对旋转之后的每张图像进行标注，得到构造图像集合。

[0048] 在步骤S123中，根据构造图像集合训练得到第一模型。

[0049] 其中，对于已标注图像集合中以及未标注图像集合中的任一图像，均将该图像旋转一次或多次，并为旋转之后得到的一张或多张图像进行预设旋转角度的相应标注。利用
旋转之后得到的所有图像及相应的标注构造一个数据集，本公开实施例中称为构造图像集
合。利用构造图像集合训练用以预测图像的旋转角度的第一模型。

[0050] 例如，可以将已标注图像集合L中以及未标注图像集合U中的每张图像随机旋转一次或多次，预设旋转角度可以为0°、90°、180°和270°中的任意一者。若分别将图像旋转0°、
90°、180°、270°，可以将旋转之后得到的图像分别标注“0”、“1”、“2”、“3”。当然本公开实施
例并不限于此，预设旋转角度也可以为45°、135°、225°等其他角度，标注内容也不限于“0”、
“1”、“2”和“3”，也可以是其他数字或字母，只要旋转角度与标注内容一一对应即可。

[0051] 第一模型能够对于未标注图像给出旋转角度的预测结果，即每张图像被预测为每个预设旋转角度的概率，根据每张图像被预测为每个预设旋转角度的概率可以计算得出每
张图像的预测结果的不确定性。相应的，在一些实施例中，所述预设旋转角度对应有多个类
别；如图4所示，所述根据所述第一模型确定所述未标注图像集合中每张图像的特征表示性
能参数（即步骤S13）可以包括如下步骤：

[0052] 在步骤S131中，根据第一模型确定未标注图像集合中每张图像的预设旋转角度分别被预测为多个类别中每个类别的概率。

[0053] 在步骤S132中，根据概率确定未标注图像集合中每张图像的特征表示性能参数。

[0054] 其中，预设旋转角度对应有多个类别，该类别即0°、90°、180°、270°等等，图像的预测结果的不确定性越大则特征表示性能参数越小。根据未标注图像集合中每张图像的预设
旋转角度分别被预测为多个类别中每个类别的概率，可以分别确定未标注图像集合中每张
图像的特征表示性能参数。

[0055] 若图像的预设旋转角度被预测为多个类别中每个类别的概率之间的差别不大，则说明图像的预测结果的不确定性较大，因此，作为一种优选的实施方式，可以采用如下公式
计算未标注图像集合中每张图像的特征表示性能参数 ：

[0056] （1）

[0057] 在公式（1）中，以 表示未标注图像集合中第 张图像 的预设旋转角度预测向量， 表示 的预设旋转角度被预测为第 个类别的概率，表示预设旋转角
度的类别总数量。可见， 越大且 之间的差值越小，则 越小。

[0058] 第一模型可以确定未标注图像集合中每张图像的预设旋转角度分别被预测为多个类别中每个类别的概率，本质上也为一个分类模型，那么基于第一模型进行微调是可以
得到初始的图像分类模型的，基于初始的图像分类模型可以衡量图像对于图像分类任务的
信息量表现，相应的，在一些实施例中，如图5所示，在所述将已标注图像集合和所述未标注
图像集合进行训练得到第一模型（即步骤S12）之后，所述方法还可以包括如下步骤：

[0059] 在步骤S14中，根据已标注图像集合调整第一模型的参数得到第二模型。

[0060] 相应的，所述确定未标注图像集合中每张图像的信息量参数（即步骤S1中所述）可以包括如下步骤：

[0061] 在步骤S15中，根据第二模型确定未标注图像集合中每张图像的信息量参数。

[0062] 其中，第二模型即为初始的图像分类模型。所述确定未标注图像集合中每张图像的特征表示性能参数和信息量参数（即步骤S1）可以包括步骤S11、S12、S13、S14和S15。

[0063] 第二模型能够对于未标注图像给出图像分类结果，即每张图像被划分为图像分类任务中每个类别的概率，根据每张图像被划分为图像分类任务中每个类别的概率可以计算
得出每张图像的图像分类结果的不确定性。相应的，在一些实施例中，如图6所示，所述根据
第二模型确定未标注图像集合中每张图像的信息量参数（即步骤S15）可以包括如下步骤：

[0064] 在步骤S151中，根据第二模型确定未标注图像集合中每张图像被预测为预设图像分类任务中的各个类别的概率。

[0065] 在步骤S152中，根据概率确定未标注图像集合中每张图像的信息量参数。

[0066] 其中，预设图像分类任务包括多个类别，该类别可以是“生物”、“非生物”、“动物”、“植物”、“猫”、“狗”、“人”等等，本公开实施例对此并不做具体限定。图像的图像分类结果的
不确定性越大则信息量参数越小。根据未标注图像集合中每张图像被预测为预设图像分类
任务中的各个类别的概率，可以分别确定未标注图像集合中每张图像的信息量参数。

[0067] 若图像被预测为预设图像分类任务中的各个类别的概率之间的差别不大，则说明图像的图像分类结果的不确定性较大，作为一种优选的实施方式，可以采用如下公式计算
未标注图像集合中每张图像的信息量参数 ：

[0068] （2）

[0069] 在公式（2）中，以 表示未标注图像集合中第张图像 的图像分类预测向量， 表示 被划分为图像分类任务中第 个类别的概率，表示图像分类任务中的
类别总数量。可见， 越大且 之间的差值越小，则 越小。

[0070] 第一模型需要从图像中学习特征表示，还需要对图像的旋转角度进行分类，因此第一模型至少包括特征表示层和分类器层。在基于第一模型进行微调得到第二模型的过程
中，调整特征表示层是不必要的，可以尽可能地保留特征表示层的性能，只需要对第一模型
的分类器层进行调整即可。相应的，在一些实施例中，所述第一模型至少包括特征表示层和
分类器层，所述特征表示层用于提取图像的特征表示信息，所述根据已标注图像集合调整
第一模型的参数得到第二模型可以包括如下步骤：根据已标注图像集合调整第一模型的分
类器层的参数得到第二模型。

[0071] 也就是说，固定第一模型的特征表示层的参数不变，仅根据已标注图像集合中的图像调整第一模型分类器层的参数。图像的特征表示信息可以包括颜色特征、形状特征、纹
理特征等等。所调整的分类器层的参数可以包括分类阈值、迭代次数、损失函数loss 
function（如交叉熵、梯度下降）等等。

[0072] 若图像分类任务中的类别总数量与预设旋转角度的类别总数量出入较大，则还需对第一模型分类器层的网络结构进行调整。相应的，在一些实施例中，在所述根据已标注图
像集合调整第一模型的分类器层的参数得到第二模型之前，所述方法还可以包括如下步
骤：根据预设图像分类任务中的类别数量调整分类器层的网络结构。

[0073] 例如，可以根据预设图像分类任务中的类别数量调整分类器层中分类器的个数、各分类器级联的顺序等等。

[0074] 从未标注图像集合中选取目标图像进行标注之后，标注得到的图像实际上已经成为已标注图像，此时可以将这些图像加入已标注图像集合中，即对已标注图像集合进行更
新，从而使用更新后的已标注图像训练得到图像分类模型。相应的，在一些实施例中，如图7
所示，在所述对目标图像进行标注（即步骤S3）之后，所述方法还可以包括如下步骤：

[0075] 在步骤S4中，将已标注的目标图像从未标注图像集合中移动到已标注图像集合中。

[0076] 执行所述根据已标注图像集合调整第一模型的参数得到第二模型的步骤（即步骤S14）。

[0077] 当根据步骤S4更新得到的已标注图像集合中图像数量已经达到预算时，可以直接使用更新后的已标注图像训练得到图像分类模型。但作为一种优选的实施方式，可以尽可
能多的从未标注图像集合中选取图像进行标注，由于在更新已标注图像集合之前已标注图
像是有限的，对于训练第一模型的作用也是有限的，接续影响其后第二模型的训练、确定图
像的特征表示性能参数和信息量参数等等，若只通过一次性选取数量较多的目标图像来进
行标注，则对于降低标注代价、提升图像分类模型的性能的作用略微较小，因此，在步骤S4
之后，还可以继续执行所述根据已标注图像集合调整第一模型的参数得到第二模型的步骤
（即步骤S14）。

[0078] 即在将已标注的目标图像从未标注图像集合中移动到已标注图像集合中后，得到更新后的已标注图像集合以及更新后的未标注图像集合，根据更新后的已标注图像集合调
整第一模型的参数得到更新后的第二模型（区别于此前步骤S14中得到的第二模型），根据
更新后的第二模型确定更新后的未标注图像集合中每张图像的信息量参数，根据更新后的
未标注图像集合中每张图像的特征表示性能参数和信息量参数从更新后的未标注图像集
合中选取目标图像进行标注。

[0079] 要兼顾考虑图像在特征学习中的性能表现以及图像对于下游任务的信息量表现，需对未标注图像集合中每张图像的特征表示性能参数和信息量参数进行综合计算，相应
的，如图8所示，在一些实施例中，所述根据所述未标注图像集合中每张图像的特征表示性
能参数和信息量参数从所述未标注图像集合中选取符合图像有效性需求的目标图像（即步
骤S2）可以包括如下步骤：

[0080] 在步骤S21中，根据未标注图像集合中每张图像的特征表示性能参数和信息量参数以及未标注图像集合中的图像总数量确定平衡参数。

[0081] 在步骤S22中，根据平衡参数以及未标注图像集合中每张图像的特征表示性能参数和信息量参数确定未标注图像集合中每张图像的有效性得分。

[0082] 在步骤S23中，有效性从未标注图像集合中选取预设数量张有效性得分最高的图像。

[0083] 其中，本公开实施例对预设数量并不做具体限定，预设数量小于未标注图像集合中的图像总数量均可，可以根据未标注图像集合中每张图像的有效性得分，从未标注图像
集合中选取有效性得分最高的预设数量个图像。

[0084] 作为一种优选的实施方式，可以采用如下公式计算平衡参数 ：

[0085] （3）

[0086] 在公式（3）中，N表示未标注图像集合中的图像总数量， 表示未标注图像集合中第张图像 的特征表示性能参数， 表示未标注图像集合中第张图像 的信息
量参数。

[0087] 作为一种优选的实施方式，可以采用如下公式计算图像的有效性得分：

[0088] （4）

[0089] 在公式（4）中，为平衡参数， 表示未标注图像集合中第 张图像 的特征表示性能参数， 表示未标注图像集合中第 张图像 的信息量参数， 为未标注图
像集合中第张图像 的有效性得分。

[0090] 从未标注图像集合中选取目标图像进行标注之后，标注得到的图像实际上已经成为已标注图像，因此，随即可以根据标注得到的图像训练得到图像分类模型。相应的，本公
开实施例还提供一种模型训练方法，所述方法可以包括如下步骤：根据如前实施例所述的
图像处理方法标注得到的图像训练得到图像分类模型。

[0091] 通过本公开实施例提供的模型训练方法，确定未标注图像集合中每张图像的特征表示性能参数和信息量参数，综合考虑未标注图像的特征表示性能参数和信息量参数来选
取未标注图像进行标注，能够兼顾图像在特征学习中的性能表现以及图像对于下游任务的
信息量表现，自动地选取出高效的图像进行标注，降低标注代价，显著提升已标注图像数
量，根据标注得到的图像训练得到图像分类模型，有助于提升图像分类模型的性能。

[0092] 在前述图像处理方法中，曾基于第一模型进行微调得到初始的图像分类模型，有鉴于此，本公开实施例提出，作为一种优选的实施方式，为了进一步提升图像分类模型的性
能以及提高模型训练效率，在根据如前实施例所述的图像处理方法标注得到图像后，可以
将这些图像加入已标注图像集合中，即对已标注图像集合进行更新，从而使用更新后的已
标注图像对第一模型的参数进行微调得到图像分类模型。相应的，在一些实施例中，所述根
据如前实施例所述的图像处理方法标注得到的图像训练得到图像分类模型可以包括如下
步骤：根据如前各实施例所述的图像处理方法标注得到的图像以及已标注图像集合调整第
一模型的参数得到图像分类模型。

[0093] 具体的，可以将标注的图像从未标注图像集合中移动到已标注图像集合中，得到更新后的已标注图像集合，使用更新后的已标注图像集合训练得到图像分类模型。

[0094] 通过本公开实施例提供的模型训练方法，确定未标注图像集合中每张图像的特征表示性能参数和信息量参数，综合考虑未标注图像的特征表示性能参数和信息量参数来选
取未标注图像进行标注，能够兼顾图像在特征学习中的性能表现以及图像对于下游任务的
信息量表现，自动地选取出高效的图像进行标注，降低标注代价，根据标注得到的图像以及
已标注图像集合调整第一模型的参数得到图像分类模型，有助于进一步提升图像分类模型
的性能以及提高模型训练效率。

[0095] 训练得到图像分类模型后，即可使用该图像分类模型处理图像分类任务。相应的，本公开实施例还提供一种图像分类方法，所述方法可以包括如下步骤：根据如前各实施例
所述的模型训练方法得到的图像分类模型对待处理图像进行图像分类。

[0096] 通过本公开实施例提供的图像分类方法，确定未标注图像集合中每张图像的特征表示性能参数和信息量参数，综合考虑未标注图像的特征表示性能参数和信息量参数来选
取未标注图像进行标注，能够兼顾图像在特征学习中的性能表现以及图像对于下游任务的
信息量表现，自动地选取出高效的图像进行标注，降低标注代价，根据标注得到的图像以及
已标注图像集合调整第一模型的参数得到图像分类模型，有助于提升图像分类模型的性
能，根据该图像分类模型对待处理图像进行图像分类，能够准确地对图像进行分类，提升图
像分类效率。

[0097] 以下参照图9、图10、图11、图12所示并结合几个具体实施例来对本公开实施例提供的图像处理方法及模型训练方法进行简要描述。

[0098] 如图9所示，为本公开实施例提供的图像处理方法的工作流程图，可以包括以下步骤：S31、确定出全部有标记与无标记图像（即已标注图像集合和未标注图像集合）；S32、根
据全部有标记与无标记图像训练得到预训练模型（即第一模型）；S33、读取少量标记图像；
S34、对第一模型在少量标记图像上微调模型得到第二模型；S35、利用第二模型对无标记图
像的图像分类任务类别进行预测；S36、根据无标记图像的特征表示性能参数和信息量参数
选取部分无标记图像向用户查询标记信息；S37、用户反馈标记信息后对选取的无标记图像
进行标注；S38、若已标注图像数量已达到预算，则执行S39，否则继续执行S36；S39、返回获
得的标记实例，结束流程。

[0099] 如图10所示，为本公开实施例提供的第一模型及第二模型的训练工作流程图，可以包括以下步骤：S41、构造完全标注的图像旋转角度数据集（即构造图像集合）；S42、输入
初始的第一模型；S43、计算图像旋转角度分类损失；S44、使用梯度下降更新模型参数；S45、
判断初始的模型是否收敛，若未收敛则继续执行S42，直至得到收敛的第一模型，若收敛则
执行S46；S46、读取少量已标注图像；S47、使用少量已标注图像微调第一模型得到初始的第
二模型；S48、计算图像分类损失；S49、使用梯度下降更新模型参数更新第二模型的参数；
S50、判断初始的第二模型是否收敛，若未收敛则继续执行S47，若收敛则输出第二模型，结
束流程。

[0100] 如图11所示，为本公开实施例提供的图像处理方法的另一工作流程图，可以包括以下步骤：S61、使用预训练模型f’（即第一模型）对图像旋转角度进行预测，得到图像的特
征表示性能参数；S62、使用当前模型f（即第二模型）对图像语义进行预测，得到图像的信息
量参数；S63、利用图像的特征表示性能参数和信息量参数根据评分函数计算每张图像的价
值评分；S64、将未标价图像按照分数进行排序，选取待查询图像，向用户查询待查询图像的
标记信息；S65、获取用户返回的待查询图像标记，根据待查询图像标记对待查询图像进行
标注，结束流程。

[0101] 如图12所示，为本公开实施例提供的模型训练方法的工作流程图，可以包括以下步骤：S71、将图像处理方法的反馈结果（即新标注的图像）加入标记集合；S72、读取已标记
图像；S73、将初始标记图像输入第一模型得到图像分类模型；S74、计算分类损失；S75、梯度
下降更新模型；S76、判断图像分类模型是否收敛，若未收敛则继续执行S72，若收敛则执行
S77;S77、输出图像分类模型，结束流程。

[0102] 基于相同的技术构思，本公开实施例还提供一种图像处理装置，如图13所示，所述装置可以包括：

[0103] 一个或多个处理器101；

[0104] 存储器102，其上存储有一个或多个程序；

[0105] 当所述一个或多个程序被所述一个或多个处理器101执行时，使得所述一个或多个处理器101实现如前各实施例所述的图像处理方法；

[0106] 一个或多个I/O接口103，连接在所述处理器101与存储器102之间，配置为实现所述处理器101与存储器102的信息交互。

[0107] 其中，所述处理器101可以包括：

[0108] 第一处理模块1011，用于确定未标注图像集合中每张图像的特征表示性能参数和信息量参数；

[0109] 第二处理模块1012，用于根据所述未标注图像集合中每张图像的特征表示性能参数和信息量参数从所述未标注图像集合中选取符合有效性需求的目标图像。

[0110] 标注模块1013，用于对所述目标图像进行标注。

[0111] 在一些实施例中，第一处理模块1011用于：

[0112] 读取已标注图像集合；

[0113] 将已标注图像集合和所述未标注图像集合进行训练得到第一模型；

[0114] 根据所述第一模型确定所述未标注图像集合中每张图像的特征表示性能参数。

[0115] 在一些实施例中，第一处理模块1011用于：

[0116] 分别将所述已标注图像集合中以及所述未标注图像集合中的每张图像均进行预设旋转角度地旋转；

[0117] 根据旋转每张图像的预设旋转角度分别对旋转之后的每张图像进行标注，得到构造图像集合；

[0118] 根据所述构造图像集合训练得到所述第一模型。

[0119] 在一些实施例中，所述预设旋转角度共有多个类别；第一处理模块1011用于：

[0120] 根据所述第一模型确定所述未标注图像集合中每张图像的预设旋转角度分别被预测为所述多个类别中每个类别的概率；

[0121] 根据所述概率确定所述未标注图像集合中每张图像的特征表示性能参数。

[0122] 在一些实施例中，第一处理模块1011用于：

[0123] 根据所述已标注图像集合调整所述第一模型的参数得到第二模型；

[0124] 根据所述第二模型确定所述未标注图像集合中每张图像的信息量参数。

[0125] 在一些实施例中，第一处理模块1011用于：

[0126] 根据所述第二模型确定所述未标注图像集合中每张图像被预测为图像分类任务中的各个类别的概率；

[0127] 根据所述概率确定所述未标注图像集合中每张图像的信息量参数。

[0128] 在一些实施例中，所述第一模型至少包括特征表示层和分类器层，所述特征表示层用于提取图像的特征表示信息，第一处理模块1011用于：根据所述已标注图像集合调整
所述第一模型的分类器层的参数得到所述第二模型。

[0129] 在一些实施例中，第一处理模块1011用于：根据预设图像分类任务中的类别数量调整所述分类器层的网络结构。

[0130] 在一些实施例中，第二处理模块1012用于：将已标注的所述目标图像从所述未标注图像集合中移动到所述已标注图像集合中。

[0131] 在一些实施例中，第二处理模块1012用于：

[0132] 根据所述未标注图像集合中每张图像的特征表示性能参数和信息量参数以及所述未标注图像集合中的图像总数量确定平衡参数；

[0133] 根据所述平衡参数以及所述未标注图像集合中每张图像的特征表示性能参数和信息量参数确定所述未标注图像集合中每张图像的有效性得分；

[0134] 有效性从所述未标注图像集合中选取预设数量张有效性得分最高的图像。

[0135] 基于相同的技术构思，本公开实施例还提供一种电子设备，可以包括：

[0136] 一个或多个处理器；

[0137] 存储器，其上存储有一个或多个程序；

[0138] 当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前各实施例所述的图像处理方法；

[0139] 一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

[0140] 基于相同的技术构思，本公开实施例还提供一种计算机存储介质，其上存储有计算机程序，其中，所述程序被执行时实现如前各实施例所述的图像处理方法。

[0141] 本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以
上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理
组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组
件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执
行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以
分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和
通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用
于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中
实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、
ROM、EEPROM、闪存或其他存储器技术、CD‑ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、
磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问
的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指
令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，
并且可包括任何信息递送介质。

[0142] 本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而
易见的是，除非另外明确指出，否则可单独使用与特定实施例相集合描述的特征、特性和/
或元素，或可与其他实施例相集合描述的特征、特性和/或元件组合使用。因此，本领域技术
人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式
和细节上的改变。