一种提升局部类别区分度的跨领域自适应图像分类方法转让专利

申请号 : CN201910190041.4

文献号 : CN110020674B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 宋士吉陈一鸣

申请人 : 清华大学

摘要 :

本发明涉及一种提升局部类别区分度的跨领域自适应图像分类方法,属于图像处理技术领域。本发明的跨领域自适应图像分类方法,当训练一个图像内容分类模型时,训练集和测试集的图像在色调、角度、清晰度等方面存在差异,表示图像信息的数据服从不同的概率分布。学习两个图像分布共享的特征,同时对每一张图像,在与其风格相似的其他图像中,挖掘与其内容相同的图像之间的共同点,以及内容不同的图像之间的差异性,使同类内容图像聚集性更强,而不同类内容图像之间相互干扰减少,从而提升图像数据集的局部类别区分度,进而提高图像分类的准确度。

权利要求 :

1.一种提升局部类别区分度的跨领域自适应图像分类方法,其特征在于,该方法包括以下步骤:(1)对多个图像进行逐行扫描,根据扫描顺序,将行扫描得到的像素依次排列为列向量,并将该列向量除以该列向量的欧几里得范数,得到多个欧几里得范数为1的图像列向量;

(2)将步骤(1)得到的多个图像列向量分为源域训练集{ZS,YS}和目标域测试集{ZT},其中,ZS是源域训练集中多个图像列向量的集合,YS是源域训练集中多个图像的内容分类标签的集合,nS为源域训练集中图像列向量的个数, 是ZS中第i个图像列向量,即源域训练集中的第i个图像样本, 是第i个图像的内容分类标签,即 表示图像描述的对象,维数为1; 其中,ZT是目标域测试集中多个图像列向量的集合,nT为目标域测试集中图像列向量的个数, 是ZT中第j个图像列向量,即目标域测试集中的第j个图像样本;

(3)分别计算步骤(2)的多个源域训练集样本 的 第一列向量

其中 K

(·,·)为在高斯核函数、双曲正切核函数或线性核函数中任意选定的一种核函数,上标T表示矩阵转置;分别用第一列向量 表示源域训练集中的多个图像,并将多个 依次按行排列,得到源域训练集矩阵XS;分别计算步骤(2)的多个目标域样本 的第二列向量其中 分别用第二列向量 表示目标域测试集中多个图像,并将多个 依次按行排列,得到目标域测试集矩阵XT;根据源域训练集矩阵XS和目标域测试集矩阵XT得到全体数据集矩阵X,X=[XS,XT];

(4)设定一个投影矩阵AT,用投影矩阵AT对步骤(3)得到的多个图像列向量进行线性映射,即对 和 分别线性映射,得到投影列向量 和(5)以步骤(4)中经过线性映射后得到的投影列向量作为图像数据点样本,建立一个跨领域自适应图像分类特征的优化模型,该优化模型目标函数包括:a、使源域训练集中图像样本的概率分布与目标域测试集中图像样本的概率分布之间的最大均值距离样本估计值的平方MMD2(S,T)为最小:其中,Tr表示矩阵的迹,即矩阵对角线元素之和,M为最大均值距离矩阵:其中,1表示全1矩阵;

b、根据步骤(2)中内容分类标签的种类,使每类图像样本在源域训练集中的样本概率分布与每类图像样本在目标域测试集中的样本概率分布之间的最大均值距离样本估计值的平方和 为最小:其中,C表示图像样本类别数, 表示在当前步骤暂时赋予数据点 的预测内容分类标签,维数为1, 表示源域训练集中内容分类标签为c的图像样本数, 表示目标域测试集中当前预测内容分类标签为c的图像样本数,Mc是内容分类标签为c的图像样本的最大均值距离矩阵:其中,eSc是长度为nS的由0和1组成的列向量,当源域训练集中的相应图像的内容分类标签为c时,eSc中的元素取值为1,当源域训练集中的相应图像的内容分类标签不为c时,eSc中的元素取值为0;eTc是长度为nT的由0和1组成的列向量,eTc中的元素取值为1表示目标域测试集中的相应图像在当前的预测内容分类标签为c,eTc中的元素取值为0表示目标域测试集中的相应图像在当前的预测内容分类标签不为c;

c、使源域训练集内部的每两个内容标签相同的图像样本的投影列向量之间的欧式距离与目标域测试集内部的每两个内容标签相同的图像样本的投影列向量之间的欧式距离的加权平方和为最小:上式第一行中, 和 分别为在源域训练集和目标域测试集内部每两个内容标签相同的图像样本之间的距离的权重系数, ηij=1表示,若图像样本 是图像样本 的同类K-近邻点,则使得ηij=1,若图像样本 不是图像样本 的同类K-近邻点,则使得ηij=0,K的取值根据图像处理的精度决定;αc是在源域训练集中与类别相关的正系数,αc的取值根据图像处理的精度决定; 若图像样本 是图像样本 的同类K-近邻点,则使得ηkl=1,若图像样本 不是图像样本 的同类K-近邻点,则使得ηkl=0;βc是在目标域测试集中与类别相关的正系数,βc的取值根据图像处理的精度决定;

上式第二行的第一项中,WS是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵中的对角元素为 RS是源域训练集的类内离散度矩阵, 上式第二行的第二项中,WT是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵中的对角元素为 RT是目标域的类内离散度矩阵,上式第三行中矩阵R的定义是:

其中0表示元素全为0的矩阵;

d、使源域训练集内部的每两个内容标签不同的图像样本的投影列向量之间的欧式距离与目标域测试集内部的每两个内容标签不同的图像样本的投影列向量之间的欧式距离的加权平方和为最大:上式第一行中, 和 分别为源域训练集和目标域测试集内部每两个内容标签不同的图像样本之间的距离的权重系数, 若图像样本 是图像样本 的不同类近邻点,则使得 若图像样本 不是图像样本 的不同类近邻点,则使得表示点 是点 的不同类近邻点, 表示点 不是点 的不同类

近邻点;

上式第二行的第一项中,US是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵S的对角元素为 P是源域训练集的类间离散度矩阵, 第二行的

第二项中,UT是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵的对角元素为TP是目标域测试集的类间离散度矩阵,

上式第三行中矩阵P的定义是:

e、使得步骤(4)中的投影矩阵AT的正则项为最小:

其中, 是矩阵A中所有元素的平方和,λ是正系数,λ取值根据图像分类精度取值,取值为1;

根据上述目标函数,得到跨领域自适应图像分类特征的优化模型如下:

(6)求解上述跨领域自适应图像分类特征的优化模型,在求解优化模型的第一次迭代中,初始化得到如下优化模型:其中I是单位矩阵,利用下式求解上述优化模型得到中间最优解A*:

其中Θ是对角矩阵,对角矩阵的对角元素是矩阵 相对于矩阵

的广义特征值,求解矩阵 相对于矩阵 的nS+nT个广义

特征值和与nS+nT个广义特征值相对应的nS+nT个广义特征列向量,从nS+nT个广义特征值中选取m个最小的广义特征值,并按照从小到大的顺序排列,将与选取得到的m个广义特征值分别对应的m个广义特征列向量按照与m个广义特征值相同的顺序依次按行排列,得到矩阵A*,A*是上述优化模型的第一中间最优解;

(7)根据步骤(6)中得到的中间最优解A*,对原图像列向量 和 进行线性映射,得到图像样本列向量 和 用列向量 做训练集,用最近

邻法对列向量 做图像内容标签预测,得到一组目标域测试集样本的预测内容标签(8)用步骤(7)中得到的预测内容标签,代入步骤(5)中的完整的优化模型,求解该优化模型,利用下式求解该优化模型的中间最优解A*:其中Θ是对角矩阵,对角矩阵的对角元素是矩阵 相对于矩阵

XPXT的广义特征值;求解矩阵 相对于矩阵XPXT的nS+nT个广义特征值和nS+nT个广义特征值相对应的nS+nT个广义特征列向量,从nS+nT个广义特征值中选取m个最小的广义特征值,并按照从小到大的顺序排列,将与选取得到的m个广义特征值分别对应的m个广义特征列向量按照与m个广义特征值相同的顺序依次按行排列,得到投影矩阵A*,A*是上述优化模型的第二中间最优解;

(9)用步骤(8)得到的第二中间最优解代替步骤(7)中的第一中间最优解,重复步骤(7)和(8),对N次循环得到的步骤(7)预测内容标签 进行判断,若最近N次循环中得到的预测内容标签 完全相同,则结束迭代,并将最后一次迭代中步骤(7)得到的预测内容标签 作为预测结果,即图像分类结果,实现提升局部类别区分度的跨领域自适应图像分类;若N次循环中得到的预测内容标签 不完全相同,则返回步骤(7),并用步骤(8)得到的第二中间最优解代替步骤(7)中的第一中间最优解,重复步骤(7)和(8),N的取值根据图像分类精度确定。

说明书 :

一种提升局部类别区分度的跨领域自适应图像分类方法

技术领域

[0001] 本发明涉及一种提升局部类别区分度的跨领域自适应图像分类方法,属于图像处理技术领域。

背景技术

[0002] 在一般的图像分类问题中,训练集和测试集图像通常呈现相同的风格。这些图像可能是在短时间内在相同的环境下由相同的器材集中拍摄或绘制得到,或者由收集者刻意地按照某个标准收集整理。在对图像做了数据化处理后,这些数据服从相同的概率分布。在这种情况下,借助训练集中已知的图像内容分类信息(即标签),训练分类器,可以对测试集中的图像内容做准确的辨识和分类。然而,在解决实际问题时,问题涉及的图像集合,即目标域数据集,往往因为标签制作成本等问题而没有足够的可以直接使用的内容标签。为应对这种情况,可以使用另一套与目标图像风格不完全相同的已标注过的图像集作为训练集,即源域数据集。源域和目标域的图像在数据化后服从不同的概率分布。在这种情况下,训练集(源域)的分类器不能直接用于测试集(目标域)数据的分类。跨领域图像分类问题的核心就是为了解决训练集与测试集图像风格不一致的问题。
[0003] 近年来,研究者们提出了多种实现跨领域图像分类的模型和算法。由于每个图像都由大量像素点构成,图像本身的维数经常高达1e6,所以比较常用的一类方法是寻找一个低维子空间,使得源域和目标域的图像在降维映射到该子空间后服从相同或相近的分布,其中有代表性的是Pan等人于2011年提出的迁移成分分析方法和Long等人于2013年提出的联合分布适应算法。其核心思想是搜索一个最优的低维映射,使低维空间上的样本概率分布差别最小。这两种方法用到的概率分布距离衡量方法是最大均值距离(以下简称MMD)。MMD的定义是两个分布在某个函数类映射下期望值的距离最大值。令低维子空间中的MMD最小化,即可得到最优的图像低维不变特征表示,消除源域和目标域图像在降维后的差别。
[0004] 最小化MMD虽然在分布对齐方面具有良好的效果,但根据MMD的数学定义,最小化MMD只能使两组不同的图像在数值上转化成相同的分布,而不能保留足够的图像本身的信息。这就使得在低维子空间中,部分有利于图像分类的信息被丢失,导致分类准确率下降。因此,在基于MMD优化的算法中,如何完善目标函数,在保证得到的特征的跨领域特性的同时,保护图像关键的内容信息,是一个重要的问题。
[0005] 在分类问题的相关算法中,已有大量关于提高数据分布的图像类别区分度的方法。典型方法如线性判别分析(以下简称LDA),以瑞利商的形式同时最大化数据类间离散度和最小化数据类内离散度,实现同类数据的聚集和不同类数据的分离。类似地,Yan等人于2007年提出了一种边缘Fisher分析(以下简称MFA)方法,将LDA在全局数据分布上的类别聚集操作,改进为在每个数据点的局部近邻中进行,即最大化每个数据点与其近邻中的异类点间的离散度,并最小化每个数据点与其近邻中的同类点的离散度。相比LDA,MFA不需要各类数据分布服从高斯分布的假设,也不需要分布的先验信息,其泛化能力更好,可以有效解决数据多峰分布的问题。但是,这种方法还没有应用在图像的跨领域自适应问题中。

发明内容

[0006] 本发明的目的是提出一种提升局部类别区分度的跨领域自适应图像分类方法,优化多个图像样本的局部离散度特性,增强图像在局部近邻范围内的内容区分度,以利于图像内容分类标签的预测。
[0007] 本发明提出的提升局部类别区分度的跨领域自适应图像分类方法,包括以下步骤:
[0008] (1)对多个图像进行逐行扫描,根据扫描顺序,将行扫描得到的像素依次排列为列向量,并将该列向量除以该列向量的欧几里得范数,得到多个欧几里得范数为1的图像列向量;
[0009] (2)将步骤(1)得到的多个图像列向量分为源域训练集{ZS,YS}和目标域测试集{ZT}, 其中,ZS是源域训练集中多个图像列向量的集合,YS是源域训练集中多个图像的内容分类标签的集合,nS为源域训练集中图像列向量的个数, 是ZS中第i个图像列向量,即源域训练集中的第i个图像样本, 是第i个图像的内容分类标签,即表示图像描述的对象,维数为1; 其中,ZT是目标域测试集中多个图像列向量的集合,nT为目标域测试集中图像列向量的个数, 是ZT中第j个图像列向量,即目标域测试集中的第j个图像样本;
[0010] (3),分别计算步骤(2)的多个源域训练集样本 的第一列向量其中 K
(·,·)为在高斯核函数、双曲正切核函数或线性核函数中任意选定的一种核函数,上标T表示矩阵转置;分别用第一列向量 表示源域训练集中的多个图像,并将多个 依次按行排列,得到源域训练集矩阵XS;分别计算步骤(2)的多个目标域样本 的第二列向量其中 分别用
第二列向量 表示目标域测试集中多个图像,并将多个 依次按行排列,得到目标域测试集矩阵XT;根据源域训练集矩阵XS和目标域测试集矩阵XT得到全体数据集矩阵X,X=[XS,XT];
[0011] (4)设定一个投影矩阵AT,用投影矩阵AT对步骤(3)得到的多个图像列向量进行线性映射,即对 和 分别线性映射,得到投影列向量 和
[0012] (5)以步骤(4)中经过线性映射后得到的投影列向量作为图像数据点样本,建立一个跨领域自适应图像分类特征的优化模型,该优化模型目标函数包括:
[0013] a、使源域训练集中图像样本的概率分布与目标域测试集中图像样本的概率分布之间的最大均值距离样本估计值的平方MMD2(S,T)为最小:
[0014]
[0015] 其中,Tr表示矩阵的迹,即矩阵对角线元素之和,M为最大均值距离矩阵:
[0016]
[0017] 其中,1表示全1矩阵;
[0018] b、根据步骤(2)中内容分类标签的种类,使每类图像样本在源域训练集中的样本概率分布与每类图像样本在目标域测试集中的样本概率分布之间的最大均值距离样本估计值的平方和 为最小:
[0019]
[0020] 其中,C表示图像样本类别数, 表示在当前步骤暂时赋予数据点 的预测内容分类标签,维数为1, 表示源域训练集中内容分类标签为c的图像样本数, 表示目标域测试集中当前预测内容分类标签为c的图像样本数,Mc是内容分类标签为c的图像样本的最大均值距离矩阵:
[0021]
[0022] 其中,eSc是长度为nS的由0和1组成的列向量,当源域训练集中的相应图像的内容分类标签为c时,eSc中的元素取值为1,当源域训练集中的相应图像的内容分类标签不为c时,eSc中的元素取值为0;eTc是长度为nT的由0和1组成的列向量,eTc中的元素取值为1表示目标域测试集中的相应图像在当前的预测内容分类标签为c,eTc中的元素取值为0表示目标域测试集中的相应图像在当前的预测内容分类标签不为c;
[0023] c、使源域训练集内部的每两个内容标签相同的图像样本的投影列向量之间的欧式距离与目标域测试集内部的每两个内容标签相同的图像样本的投影列向量之间的欧式距离的加权平方和为最小:
[0024]
[0025] 上式第一行中, 和 分别为在源域训练集和目标域测试集内部为每两个内容标签相同的图像样本之间的距离的权重系数, 表示,若图像样本是图像样本 的同类k-近邻点,则使得ηij=1,若图像样本 不是图像样本 的同类k-近邻点,则使得ηij=0,k的取值根据图像处理的精度决定;αc是在源域训练集中与类别相关的正系数,αc的取值根据图像处理的精度决定,本发明一个实施例中,αc的取值为0.01;
若图像样本 是图像样本 的同类k-近邻点,则使得ηkl=1,若图像样本
不是图像样本 的同类k-近邻点,则使得ηkl=0;βc是在目标域测试集中与类别相关的正系数,βc的取值根据图像处理的精度决定;
[0026] 上式第二行的第一项中,WS是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵中的对角元素为 RS是源域训练集的类内离散度矩阵,上式第二行的第二项中,WT是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵中的对角元素为 RT是目标域的类内离散度矩阵,
[0027] 上式第三行中矩阵R的定义是:
[0028]
[0029] 其中0表示元素全为0的矩阵;
[0030] d、使源域训练集内部的每两个内容标签不同的图像样本的投影列向量之间的欧式距离与目标域测试集内部的每两个内容标签不同的图像样本的投影列向量之间的欧式距离的加权平方和为最大:
[0031]
[0032] 上式第一行中, 和 分别为源域训练集和目标域测试集内部为每两个内容标签不同的图像样本之间的距离的权重系数, 若图像样本 是图像样本 的不同类近邻点,则使得 若图像样本 不是图像样本 的不同类近邻点,则使得表示点 是点 的不同类近邻点, 表示点 不是点的不同类近邻点;
[0033] 上式第二行的第一项中,US是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵的对角元素为 PS是源域训练集的类间离散度矩阵, 第二行的第二项中,UT是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵的对角元素为 PT是目标域测试集的类间离散度矩阵,
[0034] 上式第三行中矩阵P的定义是:
[0035]
[0036] e、使得步骤(4)中的投影矩阵AT的正则项为最小:
[0037]
[0038] 其中, 是矩阵A中所有元素的平方和,λ是正系数,λ取值根据图像分类精度取值,在本方法的一个实施例中,取值为1;
[0039] 根据上述目标函数,得到跨领域自适应图像分类特征的优化模型如下:
[0040]
[0041] (6)求解上述跨领域自适应图像分类特征的优化模型,在求解优化模型的第一次迭代中,初始化得到如下优化模型:
[0042]
[0043] 其中I是单位矩阵,利用下式求解上述优化模型得到中间最优解A*:
[0044]
[0045] 其中Θ是对角矩阵,对角矩阵的对角元素是矩阵 相对于矩阵 的广义特征值,求解矩阵 相对于矩阵 的nS+nT个广
义特征值和与nS+nT个广义特征值相对应的nS+nT个广义特征列向量,从nS+nT个广义特征值中选取m个最小的广义特征值,并按照从小到大的顺序排列,将与选取得到的m个广义特征值分别对应的m个广义特征列向量按照与m个广义特征值相同的顺序依次按行排列,得到矩阵A*,A*是上述优化模型的第一中间最优解;
[0046] (7)根据步骤(6)中得到的第一中间最优解A*,对原图像列向量 和 进行线性映射,得到图像样本列向量 和 用列向量 做训练集,用最近邻法对列向量 做图像内容标签预测,得到一组目标域测试集样本的预测内容标签
[0047] (8)用步骤(7)中得到的预测内容标签,代入步骤(5)中的完整的优化模型,求解该优化模型,利用下式求解该优化模型的中间最优解A*:
[0048]
[0049] 其中Θ是对角矩阵,对角矩阵的对角元素是矩阵 相对于矩阵XPXT的广义特征值;求解矩阵 相对于矩阵XPXT的nS+nT个
广义特征值和nS+nT个广义特征值相对应的nS+nT个广义特征列向量,从nS+nT个广义特征值中选取m个最小的广义特征值,并按照从小到大的顺序排列,将与选取得到的m个广义特征值分别对应的m个广义特征列向量按照与m个广义特征值相同的顺序依次按行排列,得到投* *
影矩阵A,A是上述优化模型的第二中间最优解;
[0050] (9)用步骤(8)得到的第二中间最优解代替步骤(7)中的第一中间最优解,重复步骤(7)和(8),对N次循环得到的步骤(7)预测内容标签 进行判断,若N次循环中得到的预测内容标签 完全相同,则结束迭代,并将最后一次迭代中步骤(7)得到的预测内容标签 作为预测结果,即图像分类结果,实现提升局部类别区分度的跨领域自适应图像分类;若N次循环中得到的预测内容标签 不完全相同,则返回步骤(7),并用步骤(8)得到的第二中间最优解代替步骤(7)中的第一中间最优解,重复步骤(7)和(8),N的取值根据图像分类精度确定,在本方法的一个实施例中,N取值为10。
[0051] 本发明提出的提升局部类别区分度的跨领域自适应图像分类方法,其特点和优点是:
[0052] 本发明的提升局部类别区分度的跨领域自适应图像分类方法,当训练一个图像内容分类模型时,训练集和测试集的图像在色调、角度、清晰度等方面存在差异,表示图像信息的数据服从不同的概率分布。学习两个图像分布共享的特征,同时对每一张图像,在与其风格相似的其他图像中,挖掘与其内容相同的图像之间的共同点,以及内容不同的图像之间的差异性,使同类内容图像聚集性更强,而不同类内容图像之间相互干扰减少,从而提升图像数据集的局部类别区分度,进而提高分类的准确度。
[0053] 综上所述,本发明的图像分类方法,可以优化多个图像样本的局部离散度特性,增强图像在局部近邻范围内的内容区分度,利于图像内容分类标签的预测;预测的图像内容标签迭代更新,提高了图像内容分类的准确率和可信度。

附图说明

[0054] 图1是本发明方法的流程图。

具体实施方式

[0055] 本发明提出的提升局部类别区分度的跨领域自适应图像分类方法,其流程图如图1所示,该方法包括以下步骤:
[0056] (1)对多个图像进行逐行扫描,根据扫描顺序,将行扫描得到的像素依次排列为列向量,并将该列向量除以该列向量的欧几里得范数,得到多个欧几里得范数为1的图像列向量;
[0057] (2)将步骤(1)得到的多个图像列向量分为源域训练集{ZS,YS}和目标域测试集{ZT}, 其中,ZS是源域训练集中多个图像列向量的集合,YS是源域训练集中多个图像的内容分类标签的集合,nS为源域训练集中图像列向量的个数, 是ZS中第i个图像列向量,即源域训练集中的第i个图像样本, 是第i个图像的内容分类标签,即表示图像描述的对象,维数为1; 其中,ZT是目标域测试集中多个图像列向量的集合,nT为目标域测试集中图像列向量的个数, 是ZT中第j个图像列向量,即目标域测试集中的第j个图像样本,目标域测试集中内容分类标签未知;
[0058] (3),分别计算步骤(2)的多个源域训练集样本 的第一列向量其中 K
(·,·)为在高斯核函数、双曲正切核函数或线性核函数中任意选定的一种核函数,上标T表示矩阵转置;分别用第一列向量 表示源域训练集中的多个图像,并将多个 依次按行排列,得到源域训练集矩阵XS;分别计算步骤(2)的多个目标域样本 的第二列向量其中 分别用
第二列向量 表示目标域测试集中多个图像,并将多个 依次按行排列,得到目标域测试集矩阵XT;根据源域训练集矩阵XS和目标域测试集矩阵XT得到全体数据集矩阵X,X=[XS,XT];
[0059] (4)设定一个投影矩阵AT,用投影矩阵AT对步骤(3)得到的多个图像列向量进行线性映射,即对 和 分别线性映射,得到投影列向量 和 矩阵AT数值未定;
[0060] (5)以步骤(4)中经过线性映射后得到的投影列向量作为图像数据点样本,建立一个跨领域自适应图像分类特征的优化模型,该优化模型目标函数包括:
[0061] a、使源域训练集中图像样本的概率分布与目标域测试集中图像样本的概率分布之间的最大均值距离样本估计值的平方MMD2(S,T)为最小:
[0062]
[0063] 其中,Tr表示矩阵的迹,即矩阵对角线元素之和,M为最大均值距离矩阵:
[0064]
[0065] 其中,1表示全1矩阵;
[0066] b、根据步骤(2)中内容分类标签的种类,使每类图像样本在源域训练集中的样本概率分布与每类图像样本在目标域测试集中的样本概率分布之间的最大均值距离样本估计值的平方和 为最小:
[0067]
[0068] 其中,C表示图像样本类别数, 表示在当前步骤暂时赋予数据点 的预测内容分类标签,维数为1, 表示源域训练集中内容分类标签为c的图像样本数, 表示目标域测试集中当前预测内容分类标签为c的图像样本数,Mc是内容分类标签为c的图像样本的最大均值距离矩阵:
[0069]
[0070] 其中,eSc是长度为nS的由0和1组成的列向量,当源域训练集中的相应图像的内容分类标签为c时,eSc中的元素取值为1,当源域训练集中的相应图像的内容分类标签不为c时,eSc中的元素取值为0;eTc是长度为nT的由0和1组成的列向量,eTc中的元素取值为1表示目标域测试集中的相应图像在当前的预测内容分类标签为c,eTc中的元素取值为0表示目标域测试集中的相应图像在当前的预测内容分类标签不为c;
[0071] c、使源域训练集内部的每两个内容标签相同的图像样本的投影列向量之间的欧式距离与目标域测试集内部的每两个内容标签相同的图像样本的投影列向量之间的欧式距离的加权平方和为最小:
[0072]
[0073] 上式第一行中, 和 分别为在源域训练集和目标域测试集内部为每两个内容标签相同的图像样本之间的距离的权重系数, 表示,若图像样本是图像样本 的同类k-近邻点,则使得ηij=1,若图像样本 不是图像样本 的同类k-近邻点,则使得ηij=0,k的取值根据图像处理的精度决定;αc是在源域训练集中与类别相关的正系数,αc的取值根据图像处理的精度决定,本发明一个实施例中,αc的取值为0.01;
若图像样本 是图像样本 的同类k-近邻点,则使得ηkl=1,若图像样本
不是图像样本 的同类k-近邻点,则使得ηkl=0;βc是在目标域测试集中与类别相关的正系数,βc的取值根据图像处理的精度决定,本发明的一个实施例中,βc的取值为0.01;
[0074] 上式第二行的第一项中,WS是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵中的对角元素为 RS是源域训练集的类内离散度矩阵,上式第二行的第二项中,WT是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵中的对角元素为 RT是目标域的类内离散度矩阵,
[0075] 上式第三行中矩阵R的定义是:
[0076]
[0077] 其中0表示元素全为0的矩阵;
[0078] d、使源域训练集内部的每两个内容标签不同的图像样本的投影列向量之间的欧式距离与目标域测试集内部的每两个内容标签不同的图像样本的投影列向量之间的欧式距离的加权平方和为最大:
[0079]
[0080] 上式第一行中, 和 分别为源域训练集和目标域测试集内部为每两个内容标签不同的图像样本之间的距离的权重系数, 若图像样本 是图像样本 的不同类近邻点,则使得 若图像样本 不是图像样本 的不同类近邻点,则使得表示点 是点 的不同类近邻点, 表示点 不是点的不同类近邻点;
[0081] 上式第二行的第一项中,US是由权重系数 构成的权重矩阵, 是对角矩阵,对角S矩阵的对角元素为 P是源域训练集的类间离散度矩阵, 第二
行的第二项中,UT是由权重系数 构成的权重矩阵, 是对角矩阵,对角矩阵的对角元素为 PT是目标域测试集的类间离散度矩阵,
[0082] 上式第三行中矩阵P的定义是:
[0083]
[0084] e、使得步骤(4)中的投影矩阵AT的正则项为最小:
[0085]
[0086] 其中, 是矩阵A中所有元素的平方和,λ是正系数,λ取值根据图像分类精度取值,在本方法的一个实施例中,取值为1;
[0087] 根据上述目标函数,得到跨领域自适应图像分类特征的优化模型如下:
[0088]
[0089] (6)求解上述跨领域自适应图像分类特征的优化模型,在求解优化模型的第一次迭代中,初始化得到如下优化模型:
[0090]
[0091] 其中I是单位矩阵,利用下式求解上述优化模型得到中间最优解A*:
[0092]
[0093] 其中Θ是对角矩阵,对角矩阵的对角元素是矩阵 相对于矩阵 的广义特征值,求解矩阵 相对于矩阵 的nS+nT个广
义特征值和与nS+nT个广义特征值相对应的nS+nT个广义特征列向量,从nS+nT个广义特征值中选取m个最小的广义特征值,并按照从小到大的顺序排列,将与选取得到的m个广义特征值分别对应的m个广义特征列向量按照与m个广义特征值相同的顺序依次按行排列,得到矩阵A*,A*是上述优化模型的第一中间最优解;
[0094] (7)根据步骤(6)中得到的第一中间最优解A*,对原图像列向量 和 进行线性映射,得到图像样本列向量 和 用列向量 做训练集,用最近邻法对列向量 做图像内容标签预测,得到一组目标域测试集样本的预测内容标签
[0095] (8)用步骤(7)中得到的预测内容标签,代入步骤(5)中的完整的优化模型,求解该优化模型,利用下式求解该优化模型的中间最优解A*:
[0096]
[0097] 其中Θ是对角矩阵,对角矩阵的对角元素是矩阵 相对于矩阵XPXT的广义特征值;求解矩阵 相对于矩阵XPXT的nS+nT个
广义特征值和nS+nT个广义特征值相对应的nS+nT个广义特征列向量,从nS+nT个广义特征值中选取m个最小的广义特征值,并按照从小到大的顺序排列,将与选取得到的m个广义特征值分别对应的m个广义特征列向量按照与m个广义特征值相同的顺序依次按行排列,得到投影矩阵A*,A*是上述优化模型的第二中间最优解;
[0098] (9)用步骤(8)得到的第二中间最优解代替步骤(7)中的第一中间最优解,重复步骤(7)和(8),对N次循环得到的步骤(7)预测内容标签 进行判断,若N次循环中得到的预测内容标签 完全相同,则结束迭代,并将最后一次迭代中步骤(7)得到的预测内容标签 作为预测结果,即图像分类结果,实现提升局部类别区分度的跨领域自适应图像分类;若N次循环中得到的预测内容标签 不完全相同,则返回步骤(7),并用步骤(8)得到的第二中间最优解代替步骤(7)中的第一中间最优解,重复步骤(7)和(8),N的取值根据图像分类精度确定,在本方法的一个实施例中,N取值为10。