本发明公开了一种基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法，其包括如下步骤：获取源域、目标域图像集和源域低质量标注；初始化各项参数；搭建模型与损失函数；将源域和目标域图像集依次输入两个标记分类器；每次迭代训练前两个标记分类器分别为对方检测噪声，然后为噪声源域样本和目标域样本重新预测伪标记，并重平衡采样参与下一轮迭代训练；目标域伪标注集输入目标域特定网络训练；训练完成后，使用目标域特定分类器对目标域图像进行类别预测任务。本发明方法针对源域与目标域类别分布存在不一致的问题，采用重平衡的采样伪标记样本机制，使得源域和目标域每个类别的采样比例达到一致，提升了深度学习模型在目标域上的准确率。
1.基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法，其特征在于，包括以下步骤：
步骤1.获取源域原始数据集 和目标域数据集其中，Ds代表由通过网络平台获取的源域原始图像xsi以及其相对应的源域低质量标记组成的源域原始数据集，Ns表示源域原始数据集Ds中样本总数；
Dt代表仅由目标域原始图像xti组成的目标域数据集，Nt表示Dt中目标域样本的数量；
步骤2.初始化各项参数，包括迭代次数t＝0，第t轮伪标记阈值γt，预训练参数Nwarm；
步骤3.搭建深度学习模型与损失函数，包括特征提取器G，两个标记分类器C1、C2，目标域特定分类器Ct，交叉熵损失函数Lce以及一致性损失函数Lsp；
步骤4.将源域原始数据集Ds中的源域原始图像xsi输入特征提取器G中提取图像中的特征fsi＝G(xsi)，然后将其提取的源域特征fsi及对应源域原始图像的低质量标记 送入两个标记分类器C1、C2中进行Warm up训练，训练Nwarm轮；
步骤5.在检测阶段，使用两个标记分类器C1、C2依次分别对源域中的标记噪声进行检测，并互相为对方将源域原始数据集Ds划分为干净源域样本 和噪声源域样本所述步骤5具体为：
步骤5.2.将Ds中源域原始图像xsi输入特征提取器G提取特征得到fsi_t＝G(xsi)；
其中，fsi_t为第t轮自训练时，源域原始图像xsi输入特征提取器G后得到的特征；
步骤5.3.将步骤5.2中对所有源域原始图像xsi提取到的特征fsi_t依次全部输入到两个标记分类器C1、C2中，使用两个标记分类器C1、C2依次分别对每个源域原始图像xsi提取到的特征fsi_t进行类别预测，得到相应的类别预测结果C1(fsi_t)、C2(fsi_t)；
其中，C1(fsi_t)为C1对每个源域原始图像xsi提取到的特征fsi_t进行类别预测的结果；C2(fsi_t)为C2对每个源域原始图像xsi提取到的特征fsi_t进行类别预测的结果；
利用交叉熵损失函数Lce，分别计算类别预测结果C1(fsi_t)、C2(fsi_t)与源域原始图像xsiNs
对应的源域低质量标记 的交叉熵损失，得到交叉熵损失{li1,li2}i ；
其中，li1表示C1(fsi_t)与源域原始图像xsi对应的源域低质量标记 的交叉熵损失，li2表示C2(fsi_t)与源域原始图像xsi对应的源域低质量标记 的交叉熵损失；
步骤5.4.借助高斯混合模型分别对所有的源域原始图像xsi的交叉熵损失{li1,li2}i拟合一个高斯混合分布，得到高斯混合分布p(g|li1)、p(g|li2)；
每个高斯混合分布由两个高斯分布组成，分别代表损失较小的分布和损失较大的分布；
其中，p(g|li1)、p(g|li2)分别是两个标记分类器C1、C2对于每个源域原始图像xsi∈Ds进行类别预测后与其对应的源域低质量标记 计算交叉熵损失后属于损失较小的概率；
步骤5.5.将高斯混合分布p(g|li1)、p(g|li2)中大于噪声过滤阈值τ的源域原始图像，作为干净源域样本 剩余的源域原始图像作为噪声源域样本两个标记分类器C1、C2互相为对方划分干净源域样本 和噪声源域样本 即标记分类器C1的数据划分结果给C2使用，标记分类器C2的数据划分结果给C1使用；
步骤6.使用两个标记分类器C1、C2依次为噪声源域样本 和目标域数据集Dt中每个样本进行类别预测，并将预测类别作为 和Dt中每个样本的伪标记；
根据γt对步骤6中噪声源域样本 和目标域数据集Dt中每个伪标记的样本进行重平衡采样，每个类别样本采样比例为γt/K，得到伪标注集其中，K表示类别数量， 表示源域伪标注集， 表示目标域伪标注集；
步骤8.在训练阶段，将干净源域样本 和伪标注集D 的图像输入特征提取器G提取特征，然后将提取的特征同对应标记一起输入两个标记分类器C1、C2依次进行监督训练；
对于干净源域样本 优化交叉熵损失函数Lce，对于伪标注集D 优化一致性损失函数Lsp，来更新特征提取器G、以及两个标记分类器C1、C2；
步骤9.将目标域伪标注集 的图像输入特征提取器G提取特征，然后将提取的特征同对应的伪标记一起输入目标域特定分类网络Ct，优化交叉熵损失函数Lce来更新G、Ct；
步骤10.判断当前迭代次数t是否达到最大迭代次数T；
若当前迭代次数t未达到最大迭代次数T，则返回步骤5继续自训练，t＝t+1，并更新γt＝γ0+0.05*t；其中，γ0表示初始化的伪标记阈值；否则，转到步骤11；
步骤11.模型训练完成之后，执行分类预测任务，首先使用特征提取器G对目标域图像提取特征，然后将提取的特征输入Ct进行类别预测。
2.根据权利要求1所述的鲁棒领域自适应图像学习方法，其特征在于，所述步骤6中，生成伪标记的具体步骤如下：步骤6.1.噪声源域样本 和目标域样本Dt，组成无标记样本集其中，xb表示无标记样本集中的样本；
步骤6.2.将样本xb的强增强版本A(xb)和弱增强版本α(xb)，分别输入C1、C2；
其中，A(xb)是样本xb加入不同程度的变换和扰动，使图片严重失真得到的；
α(xb)是对样本xb经过垂直翻转和平移处理得到的；
步骤6.3.两个标记分类器C1、C2分别对弱增强版本α(xb)和强增强版本A(xb)进行分类预α α A A
测，得到四个预测结果，分别为p1、p2、p1、p2；
其中，p1 为标记分类器C1对弱增强版本α(xb)进行分类预测的预测结果；p2为标记分类器C2对弱增强版本α(xb)进行分类预测的预测结果；
p1为标记分类器C1对强增强版本A(xb)进行分类预测的预测结果；p2为标记分类器C2对强增强版本A(xb)进行分类预测的预测结果；
对预测结果p1、p2做集成，即概率预测向量相加，最终得到p；
对预测结果p1、p2做集成，即概率预测向量相加，最终得到p；
其中，p、p 分别表示两个标记分类器C1、C2对弱增强版本α(xb)、强增强版本A(xb)的综合预测类别结果，即在各个类别上的置信度；
步骤6.4.计算所有K类中最大概率预测类别：其中， 表示所有K类中最大概率预测类别；
表示两个标记分类器C1、C2对弱增强版本α(xb)进行综合预测的伪标记；
表示两个标记分类器C1、C2对强增强版本A(xb)进行综合预测的伪标记；
将 的预测伪标记，作为初步可靠的伪标记，并且在该预测类别上的预测概率，即置信度排名由大到小排名；按照置信度排名，从每个类别中，采样等量比例为γt/K数量的且置信度最高的伪标记样本，得到源域伪标注集 和目标域伪标注集
3.根据权利要求1所述的鲁棒领域自适应图像学习方法，其特征在于，所述特征提取器G是由深度卷积网络构成的特征提取器；两个标记分类器C1、C2以及目标域特定分类器Ct均是由三层全连接层及归一化层组成的分类器。
4.根据权利要求2所述的鲁棒领域自适应图像学习方法，其特征在于，在训练阶段，优化Lce、Lsp来更新两个标记分类器C1、C2；
更新两个标记分类器C1、C2时，对于干净源域样本 两个标记分类器C1、C2对干净源域样本中图像 的预测概率为 交叉熵损失函数Lce的具体形式为：其中，B表示每小批干净源域样本的数量，K表示类别总数；
每小批干净源域样本是指将干净源域样本 中所有样本均匀分成的每个具有相等大小的子集，然后依次选取每小批干净源域样本送入网络中进行训练；
表示干净源域样本中的源域原始图像， 表示干净源域样本中源域图像对应的标记；
两个标记分类器C1、C2为噪声源域样本和目标域样本，重新预测伪标记 并组成伪标记样本集 采用一致性损失函数Lsp优化模型，具体的形式为：其中，A(xb)为每个样本xb的强增强版本；
Pmodel(A(xb))表示标记分类器C1或C2对样本xb的强增强版本A(xb)的类别预测；
5.根据权利要求2所述的鲁棒领域自适应图像学习方法，其特征在于，在训练阶段，优化Lce来更新目标域特定分类器；
更新目标域特定分类器Ct时，仅使用目标域伪标记样本 来训练，目标域特定分类器Ct对图像 的预测概率为 则其交叉熵损失函数Lce具体形式为：其中， 表示目标域伪标注集 中目标域原始图像； 表示两个标记分类器C1、C2为加的伪标记，B表示每小批目标域伪标记样本数量，K表示类别总数；
每小批目标域伪标记样本是指将目标域伪标记样本 中所有样本均匀分成的每个具有相等大小的子集，依次选取每小批目标域伪标记样本送入网络中进行训练。
基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法
技术领域
[0001] 本发明涉及一种基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法。
背景技术
[0002] 传统的监督学习需要大量图像和准确的标注信息，然而，实际情况中收集到大量准确的标注需要极高的成本，所以标注中会含有大量的噪声。无监督领域自适应通过迁移
的方式，利用含有准确标注的数据集上训练模型从而应用到另一个拥有不同但是相似数据
分布的数据集上，含有准确标注的数据集为源域，不含标注的数据集为目标域。虽然传统的
领域自适应解决了目标域上监督信息缺乏的问题，然而，却忽略了源域标记获取仍需要极
大的成本的问题，因此，当源域中的标注信息存在噪声时，他们的性能就会严重下降。
发明内容
[0003] 本发明提出一种基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法，以进一步提升在面对标记噪声以及源域和目标域类别分布不一致(类别分布偏移)问题时领域
自适应方法在目标域上的准确率。
[0004] 本发明为了实现上述目的，采用如下技术方案：
[0005] 基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法，包括以下步骤：
[0006] 步骤1.获取源域原始数据集 和目标域数据集
[0007] 其中，Ds代表由通过网络平台获取的源域原始图像xsi以及其相对应的源域低质量标记 组成的源域原始数据集，Ns表示源域原始数据集Ds中样本总数；
[0008] Dt代表仅由目标域原始图像xti组成的目标域数据集，Nt表示Dt中目标域样本的数量；
[0009] 步骤2.初始化各项参数，包括迭代次数t＝0，第t轮伪标记阈值γt，预训练参数Nwarm；
[0010] 步骤3.搭建深度学习模型与损失函数，包括：特征提取器G，两个标记分类器C1、C2，目标域特定分类器Ct，交叉熵损失函数Lce以及一致性损失函数Lsp；
[0011] 步骤4.将源域原始数据集Ds中的源域原始图像xsi输入特征提取器G中提取图像中的特征fsi＝G(xsi)，然后将其提取的源域特征fsi以及对应源域原始图像的低质量标记
送入两个标记分类器C1、C2中进行Warm up训练，训练Nwarm轮；
[0012] 步骤5.在检测阶段，使用两个标记分类器C1、C2依次分别对源域中的标记噪声进行检测，并互相为对方将源域原始数据集Ds划分为干净源域样本 和噪声源域样本
[0013] 步骤6.使用两个标记分类器C1、C2依次为噪声源域样本 和目标域数据集Dt中每个样本进行类别预测，并将预测类别作为 和Dt中每个样本的伪标记；
[0014] 根据γt对步骤6中噪声源域样本 和目标域数据集Dt中每个伪标记的样本进行重平衡采样，每个类别样本采样比例为γt/K，得到伪标注集
[0015] 其中，K表示类别数量， 表示源域伪标注集， 表示目标域伪标注集；
[0016] 步骤7.如果是第一轮迭代训练，则 否则，sp
[0017] 步骤8.在训练阶段，将干净源域样本 和伪标注集D 的图像输入特征提取器G提取特征，然后将提取的特征同对应标记一起输入两个标记分类器C1、C2依次进行监督训练；
[0018] 对于干净源域样本 优化交叉熵损失函数Lce，对于伪标注集Dsp优化一致性损失函数Lsp，来更新特征提取器G、以及两个标记分类器C1、C2；
[0019] 步骤9.将目标域伪标注集 的图像输入特征提取器G提取特征，然后将提取的特征同对应的伪标记一起输入目标域特定分类网络Ct，优化交叉熵损失函数Lce来更新G、Ct；
[0020] 步骤10.判断当前迭代次数t是否达到最大迭代次数T；
[0021] 若当前迭代次数t未达到最大迭代次数T，则返回步骤5继续自训练，t＝t+1，并更新γt＝γ0+0.05*t；其中，γ0表示初始化的伪标记阈值；否则，转到步骤11；
[0022] 步骤11.模型训练完成之后，执行分类预测任务，首先使用特征提取器G对目标域图像提取特征，然后将提取的特征输入Ct进行类别预测。
[0023] 本发明具有如下优点：
[0024] 如上所述，本发明述及了一种自训练噪声标签纠正的鲁棒领域自适应图像学习方法，该方法是基于自训练的噪声检测及标记重平衡定义的鲁棒性领域自适应方法，其通过
设计一个标记网络和目标域特定网络进行交替训练，其中，标记网络针对源域中的标记噪
声通过标记网络能做到有效的过滤，对伪标注样本重平衡采样，以解决类别分布偏移
(label distribution shift)问题，利用这些目标域伪标记样本，去训练目标域特定网络，
从而获得在目标域上的分类能力，实现从源域到目标域的知识迁移，同时，本发明利用重平
衡伪标注采样解决源域和目标域类别分布不一致的问题，进一步提升在噪声条件下，领域
自适应方法的鲁棒性。
附图说明
[0025] 图1是本发明实施例中基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法的流程图；
[0026] 图2是本发明实施例中整体模型的结构示意图；
[0027] 图3是本发明实施例中过滤源域标记噪声的流程示意图；
[0028] 图4是本发明实施例中生成并重平衡采样伪标注的流程示意图。
具体实施方式
[0029] 名词解释：
[0030] 弱增强是指对一张图片进行简单的翻转和平移处理；强增强是指对一张图片随机加入两种比较强的不同程度的变换(平移、裁剪、旋转、翻转、压缩图像等)和扰动(过曝、增
强对比、锐化、黑白处理、色调分离、高斯模糊等)，使之严重失真。
[0031] 本发明的基本构思是：提出一种基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法，在噪声领域自适应中，源域的标记因为通过低成本标注平台获取，某些标注是存
在错误的，为了应对源域中的标记噪声问题，本发明利用深度神经网络优先拟合干净样本
后拟合噪声样本的特性，通过对每个损失分析，将损失小的样本认为干净样本，来达到将数
据集划分为干净源域样本和噪声源域样本的目的。为了应对在源域和目标域样本存在边缘
分布不一致(covariate shift)的问题，本发明借鉴自训练的思想，首先利用带有准确标记
的源域样本预训练一个模型，然后逐渐通过标记网络为目标域样本加入伪标记一同参与整
个模型的训练，此外，本发明额外训练一个只用目标域伪标记样本训练的目标域特定分类
器，来捕捉目标域特定的判别特征，最后逐渐实现知识从源域到目标域的迁移。另外，本发
明考虑到了标记分布偏移(label distribution shift)的问题，即源域和目标域的每个类
别的样本可能存在不同的数量，域内也会存在严重的类别不平衡，为此，本发明对伪标记样
本采用重平衡采样，以达到源域和目标域在各个类别上的训练保持一致，具体的，本发明构
造一个两个标记分类器来过滤源域中的标记噪声，利用深度神经网络优先拟合干净样本后
拟合噪声样本的特性，对样本损失大小进行聚类，干净样本产生的交叉熵损失较小，噪声样
本产生的交叉熵损失大，对所有样本损失可以拟合为由相对高损失分布和相对低损失分布
组成的高斯混合分布，则每个样本的损失属于低损失分布的概率即是该样本为干净样本的
概率，从而划分出干净样本和噪声样本，为了降低单个模型自身错误的不断累积，两个标记
分类器互相为对方划分干净和噪声样本，在每轮迭代中，将噪声源域样本同目标域样本一
起加以利用，通过判断强弱增强是否一致，为其挑选可靠的伪标注，构造伪标注数据集。针
对不同的域的类别分布不一致的问题，本发明对伪标注进行重平衡采样。通过以上方法，可
以有效地解决噪声领域自适应的问题和类别分布偏移(类别分布偏移体现为在每个域内各
个类别不平衡且源域和目标域样本在每个类别上的不平衡效果不一样)现象，进一步提升
在噪声条件下，领域自适应方法的鲁棒性。
[0032] 下面结合附图以及具体实施方式对本发明作进一步详细说明：
[0033] 如图1所示，基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法，包括以下步骤：
[0034] 步骤1.获取源域原始数据集 和目标域数据集
[0035] 其中，Ds代表由通过网络平台获取的源域原始图像xsi以及其相对应的源域低质量标记 组成的源域原始数据集，Ns表示源域原始数据集Ds中样本总数。
[0036] Dt代表仅由目标域原始图像xti组成的目标域数据集，Nt表示Dt中目标域样本的数量。
[0037] 源域和目标域图像可以通过互联网平台很容易获取一批高质量图像。
[0038] 源域图像集的标注可以通过网络公开标注平台获得，比如众包标注平台；通过这种低成本获取的标记并不完全是准确的，因此含有大量的噪声标记。
[0039] 当图像本身的真实标记存在着类别不平衡的问题时，所收集到的标注也是不平衡的，因此，源域类别分布与目标域类别分布可能存在不一致现象。
[0040] 在这样的情况下，实现源域到目标域的知识迁移是极具挑战的。
[0041] 步骤2.初始化各项参数，包括迭代次数t＝0，第t轮伪标记阈值γt，预训练参数Nwarm。其中，γt为人为设置的超参数，代表在每轮迭代训练中设置伪标记样本的数量上限。
[0042] 步骤3.搭建深度学习模型与损失函数，包括：特征提取器G，两个标记分类器C1、C2，目标域特定分类器Ct，交叉熵损失函数Lce以及一致性损失函数Lsp。
[0043] 如图2所示，整个框架包含四部分：深度卷积网络构成的特征提取器(编码器)G和由三层全连接层及BN(Batch Normalization，归一化)层组成的分类器C1、C2、Ct。
[0044] 其中，G是一个深度卷积神经网络，用于提取样本的特征，将图像映射到高维特征空间。 为干净源域样本， 和 分别为筛选后可用的源域和目标域伪标注集。
[0045] 本实施例中两个标记分类器C1、C2的作用如下：
[0046] 1.在检测阶段，主要对源域原始数据集Ds中的噪声标记进行检测过滤，将Ds划分为干净源域样本 和噪声源域样本 并为检测出的噪声源域样本 和目标域样本Dt预测
伪标记，经过重新平衡采样分别得到 参与下一轮自训练。
[0047] 2.在训练阶段，对于两个C1、C2，用 和 组成的混合数据来训练它们。
[0048] Ct为目标域特定分类器，只用目标域伪标注集 来训练获得目标域特有的特征而不受源域特征干扰，最终得到在目标域上有好的分类性能的Ct，实现知识从源域到目标
域的迁移。
[0049] 对于单张图片x，G首先会将其映射至高维深度特征空间中，然后C1、C2和Ct对映射后的特征进行的预测概率，映射到K维的概率向量Pmodel和 K为类别数量。
[0050] 步骤4.将源域原始数据集Ds中的源域原始图像xsi输入特征提取器G中提取图像中的特征fsi＝G(xsi)，然后将源域原始图像xsi被提取的源域特征fsi以及对应源域原始图像的
低质量标记 送入两个标记分类器C1、C2中进行Warm up训练，训练Nwarm轮。
[0051] Warm up训练指正式自训练之前，利用源域原始数据集Ds，通过优化交叉熵损失函数Lce来更新模型的简单预训练，根据深度神经网络优先拟合干净样本后拟合噪声样本的特
性，使得模型通过初期训练，作为以下自训练(步骤5～步骤10)的预训练，能够对干净标记
进行拟合，而不会对噪声标记拟合，起到对整个模型网络参数进行初始化的作用。
[0052] 步骤5.在检测阶段，使用两个标记分类器C1、C2依次分别对源域原始数据集中的标记噪声进行检测，并互相为对方将源域数据集Ds划分为干净源域样本和噪声源域样本。
[0053] 步骤5.1.初始化噪声过滤阈值τ＝0.6。
[0054] 其中，τ为人为设置的超参数，代表每次噪声检测时，判定是否为干净样本的界限。
[0055] 步骤5.2.将Ds中源域原始图像xsi输入特征提取器G提取特征得到fsi_t＝G(xsi)。
[0056] 其中，fsi_t为第t轮自训练时，源域原始图像xsi输入特征提取器G后得到的特征，自训练过程中每轮训练时提取到的特征fsi_t均不同。
[0057] 步骤5.3.将步骤5.2中对所有源域原始图像xsi提取到的特征fsi_t依次全部输入到两个标记分类器C1、C2中，使用两个标记分类器C1、C2依次分别对每个源域原始图像xsi提取
到的特征fsi_t进行类别预测，得到相应的类别预测结果C1(fsi_t)、C2(fsi_t)。
[0058] 其中，C1(fsi_t)为使用C1对每个源域原始图像xsi提取到的特征fsi_t进行类别预测的结果；C2(fsi_t)为使用C2对每个源域原始图像xsi提取到的特征fsi_t进行类别预测的结果。
[0059] 利用交叉熵损失函数Lce分别计算类别预测结果C1(fsi_t)、C2(fsi_t)与源域原始图像xsi对应的源域低质量标记 计算交叉熵损失，得到交叉熵损失
[0060] 其中，li1为C1(fsi_t)与源域原始图像xsi对应的源域低质量标记 的交叉熵损失，li2为C2(fsi_t)与源域原始图像xsi对应的源域低质量标记 的交叉熵损失。
[0061] 步骤5.4.借助高斯混合模型(Gaussian Mixture Model，GMM)分别对所有的源域原始图像的交叉熵损失 拟合一个高斯混合分布，得到高斯混合分布p(g|li1)、p(g|
li2)。
[0062] 每个高斯混合分布由两个高斯分布组成，分别代表损失较小的分布和损失较大的分布。
[0063] 其中，p(g|li1)、p(g|li2)分别是两个标记分类器C1、C2对于每个源域原始图像xsi∈Ds进行类别预测后与其对应的源域低质量标记 计算交叉熵损失后属于损失较小的概率。
[0064] 高斯混合分布的拟合原理：
[0065] 根据深度神经网络优先拟合干净样本后拟合噪声样本的特性，对样本损失大小进行聚类，干净样本产生的交叉熵损失较小，噪声样本产生的交叉熵损失大，对所有样本损失
可以拟合为由相对高损失分布和相对低损失分布组成的高斯混合分布。根据深度神经网络
优先拟合干净标记的特性，我们认为此损失较小的源域原始图像更有可能属于干净样本。
[0066] 步骤5.5.将高斯混合分布p(g|li1)、p(g|li2)大于噪声过滤阈值τ的源域原始图像作为干净源域样本，剩余的源域原始图像作为噪声源域样本。
[0067] 为了降低单个模型自身错误的不断累积，在下一轮自训练前，两个标记分类器C1、C2互相为对方划分干净源域样本 和噪声源域样本 即标记分类器C1的数据划分结果给
C2使用，标记分类器C2的数据划分结果给C1使用。
[0068] 图3示出了两个标记分类器C1、C2如何对源域中的标记噪声进行过滤。
[0069] 步骤6.使用两个标记分类器C1、C2依次为噪声源域样本 和目标域数据集Dt中每个样本进行类别预测，并把预测类别作为 和Dt每个样本的伪标记。
[0070] 为克服源域和目标域类别分布不一致的问题，根据γt对步骤6中 和Dt中的每个伪标记的样本进行重平衡采样，每个类别样本采样比例为γt/K，得到伪标注集
[0071] 其中，K表示类别数量， 表示源域伪标注集， 表示目标域伪标注集。
[0072] 图4是给出了本发明实施例中生成、并重平衡采样伪标注的流程示意图。
[0073] 步骤6.1.噪声源域样本 原来的标记不再信任，并同目标域样本Dt(本身为无标记样本)组成无标记样本集 其中，xb表示无标记样本集中的样本。
[0074] 步骤6.2.将样本xb的强增强版本A(xb)和弱增强版本α(xb)，分别输入两个标记分类器C1、C2。其中，A(xb)是对样本xb加入不同程度的变换和扰动，使图片严重失真得到的；α
(xb)是对样本xb经过垂直翻转和平移处理得到的。
[0075] 步骤6.3.两个标记分类器C1、C2分别对弱增强版本α(xb)和强增强版本A(xb)进行α α A A α
分类预测，得到四个预测结果，分别为p1 、p2、p1 、p2。其中，p1为标记分类器C1对弱增强版
α
本α(xb)进行分类预测的预测结果；p2为标记分类器C2对弱增强版本α(xb)进行分类预测的
A A
预测结果。p1为标记分类器C1对强增强版本A(xb)进行分类预测的预测结果；p2为标记分类
α α
器C2对强增强版本A(xb)进行分类预测的预测结果。对预测结果p1、p2做集成，即概率预测
α A A A
向量相加，最终得到p。对预测结果p1、p2做集成，即概率预测向量相加，最终得到p。其中，
α A
p、p分别表示两个标记分类器C1、C2对弱增强版本α(xb)、强增强版本A(xb)的综合预测类别
结果，即在各个类别上的置信度。
[0076] 步骤6.4.计算所有K类中最大概率预测类别：
[0077] 其中， 表示所有K类中最大概率预测类别。
[0078] 表示两个标记分类器C1、C2对弱增强版本α(xb)综合预测的伪标记； 表示两个标记分类器C1、C2对强增强版本A(xb)综合预测的伪标记。
[0079] 将 的预测伪标记，作为初步可靠的伪标记，并且在该预测类别上的预测概率，即置信度排名由大到小排名；按照置信度排名，从每个类别中，采样等量比例为γt/K数
量的且置信度最高的伪标记样本，得到源域伪标注集 和目标域伪标注集
[0080] 例如：对于所有的伪标记为k类的伪标记样本，本发明方法根据其在k类上的预测置信度进行由高到低排名，然后采样比例为γt/K个在k类上的伪标记样本。
[0081] 其中，pα、pA是标记网络对所有图像的预测概率向量，大小为N×K。
[0082] 对于单个无标注样本，选择预测概率最大的类别作为伪标注。
[0083] 步骤7.如果是第一轮迭代训练，则 否则，
[0084] 由于第一轮迭代训练模型尚未训练成熟，它不能给无标记样本预测准确的伪标记，所以本发明利用源域伪标注集 作为第一轮迭代训练目标域特定分类器Ct的伪标记
数据集。
sp
[0085] 步骤8.在训练阶段，将干净源域样本 和伪标注集D 的图像输入特征提取器G提取特征，然后将提取的特征同对应标记一起输入两个标记分类器C1、C2依次进行监督训练。
[0086] 其中，对于干净源域样本 优化交叉熵损失函数Lce，对于伪标注集Dsp优化一致性损失函数Lsp，来更新特征提取器G、两个标记分类器C1、C2。
[0087] 更新两个标记分类器C1、C2时，对于干净源域样本 两个标记分类器C1、C2对 的预测概率为 交叉熵损失函数Lce的具体形式为：
[0088]
[0089] 其中，B表示每小批干净源域样本数量。 表示干净源域样本中的源域原始图像，表示干净源域样本中源域图像对应的标记。
[0090] 每小批干净源域样本是指将干净源域样本 中所有样本均匀分成的每个具有相等大小的子集，依次选取每小批干净源域样本送入网络中进行训练。
[0091] 当数据量过大时，并不能一次性将全部数据送入网络中进行训练，而是在每轮迭代训练时，把所有样本分为一个一个相等大小子集，然后从中依次选取这些子集送入网络
中进行训练，因此每次迭代不是计算全部数据的损失函数，而是一小批的损失函数。
[0092] 这样可以加快模型训练的速度，还有模型收敛的速度。
[0093] 两个标记分类器C1、C2为噪声源域样本和目标域样本，重新预测伪标记 并组成伪标记样本集 采用一致性损失函数Lsp优化模型，具体的形式为：
[0094]
[0095] 其中，A(xb)为每个样本xb的强增强版本。Pmodel(A(xb))表示标记分类器C1或C2对样本xb的强增强版本A(xb)的类别预测。 为交叉熵，具体如下：
[0096]
[0097] 步骤9.将目标域伪标注集 的图像输入至特征提取器G提取特征，然后将提取的特征同对应的伪标记一起输入目标域特定分类网络Ct，优化交叉熵损失函数Lce来更新G、
Ct。
[0098] 在目标域特定分类器Ct训练阶段，本实施例所使用的损失函数为交叉熵损失Lce，优化Lce来更新目标域特定分类器Ct。
[0099] 更新目标域特定分类器Ct时，仅使用目标域伪标记样本 来训练，目标域特定分类器Ct对 的预测概率为 则其交叉熵损失函数Lce具体形式为：
[0100]
[0101] 其中， 表示目标域伪标注集 中目标域原始图像， 表示两个标记分类器C1、C2为 添加的伪标记，B表示每小批目标域伪标记样本数量。
[0102] 每小批目标域伪标记样本是指将目标域伪标记样本 中所有样本均匀分成的每个具有相等大小的子集，依次选取每小批目标域伪标记样本送入网络中进行训练。
[0103] 当数据量过大时，并不能一次性将全部数据送入网络中进行训练，而是在每轮迭代训练时，把所有样本分为一个一个相等大小子集，然后从中依次选取这些子集送入网络
中进行训练，因此每次迭代不是计算全部数据的损失函数，而是一小批的损失函数。
[0104] 这样可以加快模型训练的速度，还有模型收敛的速度。
[0105] 步骤10.判断当前迭代次数t是否达到最大迭代次数T；若t未达到最大迭代次数T，则返回步骤5继续自训练，t＝t+1，并更新γt＝γ0+0.05*t；否则，转到步骤11；
[0106] 其中，γ0表示初始化的伪标记阈值。
[0107] 步骤11.模型训练完成之后，获得了可以在目标域上提取可靠特征的特征提取器G以及能对目标域样本完成可靠分类性能的目标域特定分类器Ct。
[0108] 执行最终分类预测任务，本发明方法使用特征提取器G对目标域图像提取特征，然后将提取的特征输入目标域特定分类网络Ct，进行类别预测。
[0109] 当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明
显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。
