一种结合直接度量和间接度量的行人再识别方法转让专利
申请号 : CN201711005741.9
文献号 : CN107944340B
文献日 : 2020-06-16
发明人 : 蒋桧慧 , 郭立君 , 张荣
申请人 : 宁波大学
摘要 :
权利要求 :
1.一种结合直接度量和间接度量的行人再识别方法,其特征在于包括以下步骤:
①选取一个包含训练集和测试集的行人图像库,训练集包含有针对多个不同行人的行
人图像,测试集也包含有针对多个不同行人的行人图像;其中,行人图像的尺寸大小为M×N像素;
设定训练集中包含的行人图像的总幅数为num;然后根据训练集中的num幅行人图像,将训练集分为第一待识别图像库和第一目标图像库,具体过程为:在训练集中,针对每个行人对应的多幅行人图像,从中任意挑选,以两幅行人图像作为一组组对,若每对行人图像来自不同摄像头,则将该对行人图像中的一幅行人图像归入第一待识别图像库、另一幅行人图像归入第一目标图像库;若该对行人图像来自同一摄像头,则丢弃该对行人图像;再设定第一待识别图像库中包含的行人图像的总幅数为total1,设定第一目标图像库中包含的行人图像的总幅数也为total1;其中,num和total1均为正整数,total1≥100,num≥2total1;
设定测试集中的第二待识别图像库中包含的行人图像的总幅数为total2,设定测试集中的第二目标图像库中包含的行人图像的总幅数为total2';其中,total2和total2'均为正整数,total2≥1,total2'≥10;
提取第一待识别图像库和第一目标图像库及第二待识别图像库和第二目标图像库各
自中的每幅行人图像的特征向量;其中,特征向量的维数为
符号 为向下取整符号;
②采用结构为 的BP神经网络将第一目标图像库中的所有行人
图像各自的特征向量和第一待识别图像库中的所有行人图像各自的特征向量映射到嵌入
空间中;然后采用内积法求解第一待识别图像库中的每幅行人图像在嵌入空间中的嵌入特征向量与第一目标图像库中的各幅行人图像在嵌入空间中的嵌入特征向量之间的相似性得分,并作为第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的直接相似性得分,将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的直接相似性得分记为Gdirect(Su,Tv),Gdirect(Su,Tv)=
③采用BP算法构建映射矩阵求解最优化模型,描述为:
然后采用梯度下降
法求解上述映射矩阵求解最优化模型,得到W和b各自的值;其中,min()为求最小值函数,||W||F为求W的F-范数,Th表示第一目标图像库中的第h幅行人图像的特征向量,h为正整数,1≤h≤total1,Gdirect(Su,Th)表示第一待识别图像库中的第u幅行人图像在嵌入空间中的嵌入特征向量f(Su)与第一目标图像库中的第h幅行人图像在嵌入空间中的嵌入特征向量f(Th)之间的相似性得分,也即表示第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的直接相似性得分, 表示Su对应的正样本集合,若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像为同一行人,则将第一目标图像库中的该幅行人图像的特征向量归入 中, 表示Su对应的负样本集合,若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像不为同一行人,则将第一目标图像库中的该幅行人图像的特征向量归入 中, 表示求 中的元素的总个数, 表示求 中的元素的总个数,[]+为铰链损失函数;
④计算第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之
间的间接相似性得分,将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的间接相似性得分记为Gindirect(Su,Tv),其中,k为正整数,R(Su,k)表示由第一待识别图像库中
的第u幅行人图像的k相互近邻组成的集合,R(Tv,k)表示由第一目标图像库中的第v幅行人图像的k相互近邻组成的集合,符号“∩”为集合交运算符号,符号“∪”为集合并运算符号,|R(Su,k)∩R(Tv,k)|表示求R(Su,k)∩R(Tv,k)中的元素的总个数,|R(Su,k)∪R(Tv,k)|表示求R(Su,k)∪R(Tv,k)中的元素的总个数;
⑤根据第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之
间的直接相似性得分和间接相似性得分,对第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的最终相似性得分进行描述,将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的最终相似性得分记为G(Su,Tv),描述为:G(Su,Tv)=βdirect×Gdirect(Su,Tv)+βindirect×Gindirect(Su,Tv),其中,βdirect为Gdirect(Su,Tv)的权值参数,βindirect为Gindirect(Su,Tv)的权值参数,βdirect+βindirect=1;
⑥根据第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之
间的最终相似性得分的描述,训练获取βdirect和βindirect的值;然后根据训练获取的βdirect和βindirect的值,得到最终相似性得分计算模型,描述为:G(S*,T*)=βdirect×Gdirect(S*,T*)+βindirect×Gindirect(S*,T*),其中,S*表示任意一幅待识别图像的特征向量,T*表示任意一幅目标图像的特征向量,Gdirect(S*,T*)表示任意一幅待识别图像与任意一幅目标图像之间的直接相似性得分,Gindirect(S*,T*)表示任意一幅待识别图像与任意一幅目标图像之间的间接相似性得分,G(S*,T*)表示任意一幅待识别图像与任意一幅目标图像之间的最终相似性得分;
⑦按照步骤②和步骤④的过程,以相同的操作,获取第二待识别图像库中的每幅行人
图像与第二目标图像库中的各幅行人图像之间的直接相似性得分和间接相似性得分,将第二待识别图像库中的第u'幅行人图像与第二目标图像库中的第v'幅行人图像之间的直接相似性得分和间接相似性得分对应记为 和 然后将第二待识别
图像库中的每幅行人图像与第二目标图像库中的各幅行人图像之间的直接相似性得分和
间接相似性得分输入G(S*,T*)=βdirect×Gdirect(S*,T*)+βindirect×Gindirect(S*,T*)中进行测试,得到第二待识别图像库中的每幅行人图像与第二目标图像库中的各幅行人图像之间的最终相似性得分,将第二待识别图像库中的第u'幅行人图像与第二目标图像库中的第v'幅行人图像之间的最终相似性得分记为再根据第二待识别图像库中的每
幅行人图像与第二目标图像库中的各幅行人图像之间的最终相似性得分,识别第二待识别图像库中的每幅行人图像;对于第二待识别图像库中的第u'幅行人图像,找出该幅行人图像与第二目标图像库中的所有行人图像之间的最终相似性得分中的最高得分,将该幅行人图像中的行人识别为最高得分所对应的第二目标图像库中的行人图像中的行人;其中,u'和v'均为正整数,1≤u'≤total2,1≤v'≤total2', 表示第二待识别图像库中的第u'幅行人图像的特征向量, 表示第二目标图像库中的第v'幅行人图像的特征向量。
2.根据权利要求1所述的一种结合直接度量和间接度量的行人再识别方法,其特征在
于所述的步骤①中,第一待识别图像库中的每幅行人图像的特征向量和第一目标图像库中的每幅行人图像的特征向量及第二待识别图像库中的每幅行人图像的特征向量和第二目标图像库中的每幅行人图像的特征向量的提取过程相同,将第一待识别图像库或第一目标图像库或第二待识别图像库或第二目标图像库作为待处理库,对于待处理库中的第t幅行人图像,作为当前图像,将当前图像的特征向量记为xt,其中,t为正整数,1≤t≤total*,total*表示待处理库中包含的行人图像的总幅数,xt的获取过程为:①_1、将当前图像划分成多个尺寸大小为10×10像素、步长为5像素的相互重叠的图像块;
①_2、提取当前图像中的每个图像块的HSV颜色特征、SILTP纹理特征以及SCNCD特征;
然后获取当前图像中的每个图像块的特征向量,对于当前图像中的第p个图像块,该图像块的特征向量为由该图像块的HSV颜色特征、SILTP纹理特征以及SCNCD特征按序组合而成的列向量;其中,p为正整数,1≤p≤P,P表示当前图像中包含的图像块的总个数,符号 为向下取整符号;
①_3、获取当前图像中的每个水平条的特征向量,对于当前图像中的第q个水平条,该
水平条的特征向量中的每个bin下的值为属于该水平条的所有图像块的特征向量中相对应的bin下的值中的最大值;其中,q为正整数,1≤q≤Q,Q表示当前图像中包含的水平条的总个数,①_4、将当前图像中的所有水平条的特征向量按序组成的列向量作为当前图像的特征
向量xt。
3.根据权利要求1或2所述的一种结合直接度量和间接度量的行人再识别方法,其特征
在于所述的步骤⑥中训练获取βdirect和βindirect的值的具体过程为:
⑥_1、构建权值参数求解最优化模型,描述为:
其中,min()为求最小值函数,β为βdirect和
βindirect组成的向量,β=[βdirect,βindirect],||β||F为求β的F-范数,ξu表示Su对应的松弛项,λ用于平衡正则项 和total1个松弛项之和 λ的取值为0.01,“s.t.”表示“受约束于……”,βT为β的转置,Y*={y*v,h|1≤v≤total1,1≤h≤total1}y*v,h=+1,Tv>Th,Y={yv,h|
1≤v≤total1,1≤h≤total1}, Tv>Th表示第一待识别图像库中的第u幅行人图像对应的正样本排在第一待识别图像库中的第u幅行人图像对应的负样本前面,Tv<Th表示第一待识别图像库中的第u幅行人图像对应的正样本排在第一待识别图像库中的第u幅行人图像对应的负样本后面,表示第一待识别图像库中的第u幅行人
图像对应的正样本集合,若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像为同一行人,则将第一目标图像库中的该幅行人图像归入 中, 表示第一待识别图像库中的第u幅行人图像对应的负样本集合,若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像不为同一行人,则将第一目标图像库中的该幅行人图像归入 中, 表示求 中的元素的总个数, 表示求 中的元素的总个数,G1(Su,Tv)为由Gdirect(Su,Tv)与Gindirect(Su,Tv)构成的相似性得分向量,G1(Su,Tv)=[Gdirect(Su,Tv),Gindirect(Su,Tv)],G1(Su,Th)为由第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的直接相似性得分Gdirect(Su,Th)与第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的间接相似性得分Gindirect(Su,Th)构成的相似性得分向量,Δ(Y*,Y)表示Y*与Y之间的AUC损失;
⑥_2、利用RankSVM求解上述权值参数求解最优化模型,得到β,即得到βdirect和βindirect。
说明书 :
一种结合直接度量和间接度量的行人再识别方法
技术领域
背景技术
constraints[C]//Computer Vision and Pattern Recognition(CVPR),2012:2288-2295.(马丁-克斯汀格,马丁-海瑞泽尔,保罗-沃海哈瑞特,等价约束中的大尺度度量学习[C].计算机视觉与模式识别大会,2012,2288-2295),其提出了保持最简单、最直接度量学习算法,其将两个高斯分布的对数似然比检验作为度量学习算法。Chen D,Yuan Z,Hua G,et
al.Similarity learning on an explicit polynomial kernel feature map for
person re-identification[C]//Conference on Computer Vision and Pattern
Recognition,2015:1565-1573(陈大鹏,袁泽建,华刚,基于多项式核特征映射的相似性学习的行人再识别[C].计算机视觉与模式识别大会,2015,1565-1573),其将内核特征图作为相似性度量学习算法,能够匹配行人图像中某个块与另一行人图像中所有块,也能度量相同位置块的相似性。Carr,Peter.Person re-identification using deformable patch metric learning[C]//IEEE Winter Conference on Applications of Computer
Vision,2016:1278-1287.(卡尔,彼得,基于弹性块度量学习的行人再识别[C].IEEE,计算机视觉的应用研讨会,2016,1278-1287),其提出弹性模型,在对探测图像与目标图像中的块进行匹配时,允许错位匹配,且块错位的范围可以调节,有效地解决了不同摄像机下行人图像的视角和姿态的变化问题。Zhang Y,Li B,Lu H,et al.Sample-specific svm
learning for person re-identification[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016:1278-1287(张影,李宝华,卢湖川,基于明确样本的SVM训练的行人再识别[C].计算机视觉与模式识别,2016,1278-1287),其考虑到已有度量学习都是计算探测图像与目标图像的相似性,而忽略了探测图像与目标图像自身的差异性,因此提出将图像自身的差异性也作为度量学习的一部分,学习得到的度量对于每幅图像都有较高的适应性。上述的度量学习算法,直接利用了探测图像与目标图像自身包含的判别信息来计算探测图像与目标图像之间的相似性,而忽略了与探测图像和目标图像相关的其它图像的判别信息对于计算两者之间相似性的重要性。
2012:31-44(李伟,赵瑞,王小刚,基于转移度量学习的行人再识别[C].计算机视觉亚洲会议,2012,31-44),其在转移框架下,利用目标图像的k近邻(k-Nearest Neighbor,KNN)及其ground truth下对应的探测图像来训练度量,减少了因摄像头变化导致的识别错误。Zhong Z,Zheng L,Cao D,et al.Re-ranking Person Re-identification with k-reciprocal
Encoding[J].Conference on Computer Vision and Pattern Recognition,2017(钟准,郑亮,曹东林,使用k相互编码的行人再识别重排序[C].计算机视觉与模式识别,2017),其将探测图像和目标图像各自的k相互近邻的重合数作为两者的相似性,充分利用近邻图像的判别信息来度量探测图像和目标图像的相似性。间接度量方式能够很好地利用与探测图像和目标图像相关的其它图像的识别信息来度量两者之间的相似性,但是却忽略了图像自身的识别信息,从而降低了识别效果。
发明内容
符号 为向下取整符号;
嵌入空间中;然后采用内积法求解第一待识别图像库中的每幅行人图像在嵌入空间中的嵌入特征向量与第一目标图像库中的各幅行人图像在嵌入空间中的嵌入特征向量之间的相
似性得分,并作为第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的直接相似性得分,将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的直接相似性得分记为Gdirect(Su,Tv),Gdirect(Su,Tv)=
人图像在嵌入空间中的嵌入特征向量,tanh()为BP神经网络的激活函数,WT为W的转置,W表示维数为d1×d2的映射矩阵,d1表示x的维数,d2表示f(x)的维数,b表示维数为d2的偏差向量,||tanh(WTx+b)||2表示求tanh(WTx+b)的2-范数,u和v均为正整数,1≤u≤total1,1≤v≤total1,Su表示第一待识别图像库中的第u幅行人图像的特征向量,Tv表示第一目标图像库中的第v幅行人图像的特征向量,符号“<>”为内积运算符号,(f(Su))T为f(Su)的转置,f(Su)表示Su映射到嵌入空间中后得到的嵌入特征向量,f(Tv)表示Tv映射到嵌入空间中后得到的嵌入特征向量;
法求解上述映射矩阵求解最优化模型,得到W和b各自的值;其中,min()为求最小值函数,||W||F为求W的F-范数,Th表示第一目标图像库中的第h幅行人图像的特征向量,h为正整数,1≤h≤total1,Gdirect(Su,Th)表示第一待识别图像库中的第u幅行人图像在嵌入空间中的嵌入特征向量f(Su)与第一目标图像库中的第h幅行人图像在嵌入空间中的嵌入特征向量f
(Th)之间的相似性得分,也即表示第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的直接相似性得分, 表示Su对应的正样本集合,若第一目标
图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像为同一行人,则将第一目标图像库中的该幅行人图像的特征向量归入 中, 表示Su对应的负样本集合,若第一
目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像不为同一行人,则将第一目标图像库中的该幅行人图像的特征向量归入 中, 表示求 中的元素的总
个数, 表示求 中的元素的总个数,[]+为铰链损失函数;
其中,k为正整数,R(Su,k)表示由第一待识别图像库中
的第u幅行人图像的k相互近邻组成的集合,R(Tv,k)表示由第一目标图像库中的第v幅行人图像的k相互近邻组成的集合,符号“∩”为集合交运算符号,符号“∪”为集合并运算符号,|R(Su,k)∩R(Tv,k)|表示求R(Su,k)∩R(Tv,k)中的元素的总个数,|R(Su,k)∪R(Tv,k)|表示求R(Su,k)∪R(Tv,k)中的元素的总个数;
识别图像库中的每幅行人图像与第二目标图像库中的各幅行人图像之间的直接相似性得
分和间接相似性得分输入G(S*,T*)=βdirect×Gdirect(S*,T*)+βindirect×Gindirect(S*,T*)中进行测试,得到第二待识别图像库中的每幅行人图像与第二目标图像库中的各幅行人图像之间的最终相似性得分,将第二待识别图像库中的第u'幅行人图像与第二目标图像库中的第v'幅行人图像之间的最终相似性得分记为
再根据第二待识别图像库中的每
幅行人图像与第二目标图像库中的各幅行人图像之间的最终相似性得分,识别第二待识别图像库中的每幅行人图像;对于第二待识别图像库中的第u'幅行人图像,找出该幅行人图像与第二目标图像库中的所有行人图像之间的最终相似性得分中的最高得分,将该幅行人图像中的行人识别为最高得分所对应的第二目标图像库中的行人图像中的行人;其中,u'和v'均为正整数,1≤u'≤total2,1≤v'≤total2', 表示第二待识别图像库中的第u'幅行人图像的特征向量, 表示第二目标图像库中的第v'幅行人图像的特征向量。
βindirect组成的向量,β=[βdirect,βindirect],||β||F为求β的F-范数,ξu表示Su对应的松弛项,λ用于平衡正则项 和total1个松弛项之和 λ的取值为0.01,“s.t.”表示“受约束
T
于……”,β为β的转置, , Y={yv,h|1≤
v≤total1,1≤h≤total1}, 表示第一待识别图像库中的第u幅行
人图像对应的正样本排在第一待识别图像库中的第u幅行人图像对应的负样本前面,
表示第一待识别图像库中的第u幅行人图像对应的正样本排在第一待识别图像库中
的第u幅行人图像对应的负样本后面,
表示第一待识别图像库中的第u幅行人
图像对应的正样本集合,若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像为同一行人,则将第一目标图像库中的该幅行人图像归入 中, 表示第一
待识别图像库中的第u幅行人图像对应的负样本集合,若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像不为同一行人,则将第一目标图像库中的该幅行人图像归入 中, 表示求 中的元素的总个数, 表示求 中的元素的总个数,
G1(Su,Tv)为由Gdirect(Su,Tv)与Gindirect(Su,Tv)构成的相似性得分向量,G1(Su,Tv)=[Gdirect(Su,Tv),Gindirect(Su,Tv)],G1(Su,Th)为由第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的直接相似性得分Gdirect(Su,Th)与第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的间接相似性得分Gindirect(Su,* *
Th)构成的相似性得分向量,Δ(Y ,Y)表示Y与Y之间的AUC损失;
附图说明
具体实施方式
符号 为向下取整符号。
图像的特征。对每个图像块提取8×8×8bin的HSV特征、两个尺度下的SILTP特征(
和 )、以及4个颜色模型下的SCNCD特征(每个模型下特征为16bin),每个尺度下的图
像划分得到的水平条的数目分别为24、11、5,最终得到的行人图像的特征向量的维度为(8×8×8+34×2+16×4)×(24+11+5)=29520。其中,HSV是Smith A R.Color gamut
transform pairs[J].ACM Siggraph Computer Graphics,1978,12(3):12-19.(史密斯-艾尔维-瑞,颜色域转化对[J].ACM Siggraph计算机图形,1978,第12期(3):12-19)提出的颜色特征提取方法,SILTP是Liao S,Zhao G,Kellokumpu V,et al.Modeling pixel process with scale invariant local patterns for background subtraction in complex
scenes[C]//Computer Vision and Pattern Recognition(CVPR),2010:1301-1306.(廖胜才,赵国英.复杂场景下背景消除的尺度不变局部模式的像素建模过程[C].计算机视觉与模式识别大会,2010:1301-1206)提出的纹理特征提取方法。
的所有行人图像各自的特征向量和第一待识别图像库中的所有行人图像各自的特征向量
映射到嵌入空间中;然后采用简单的内积法求解第一待识别图像库中的每幅行人图像在嵌入空间中的嵌入特征向量与第一目标图像库中的各幅行人图像在嵌入空间中的嵌入特征
向量之间的相似性得分,并作为第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的直接相似性得分,将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的直接相似性得分记为Gdirect(Su,Tv),Gdirect(Su,Tv)=T
的偏差向量,b未知需求解,||tanh(WTx+b)||2表示求tanh(WTx+b)的2-范数,u和v均为正整数,1≤u≤total1,1≤v≤total1,Su表示第一待识别图像库中的第u幅行人图像的特征向量,Tv表示第一目标图像库中的第v幅行人图像的特征向量,符号“<>”为内积运算符号,(f(Su))T为f(Su)的转置,f(Su)表示Su映射到嵌入空间中后得到的嵌入特征向量,f(Tv)表示Tv映射到嵌入空间中后得到的嵌入特征向量。
然后采用梯度下降
法求解上述映射矩阵求解最优化模型,得到W和b各自的值;其中,min()为求最小值函数,||W||F为求W的F-范数,Th表示第一目标图像库中的第h幅行人图像的特征向量,h为正整数,1≤h≤total1,Gdirect(Su,Th)表示第一待识别图像库中的第u幅行人图像在嵌入空间中的嵌入特征向量f(Su)与第一目标图像库中的第h幅行人图像在嵌入空间中的嵌入特征向量f
(Th)之间的相似性得分,也即表示第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的直接相似性得分, 表示Su对应的正样本集合,若第一目标
图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像为同一行人,则将第一目标图像库中的该幅行人图像的特征向量归入 中, 表示Su对应的负样本集合,若第一
目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像不为同一行人,则将第一目标图像库中的该幅行人图像的特征向量归入 中, 表示求 中的元素的总
个数, 表示求 中的元素的总个数,[]+为铰链损失函数。
其中,k为正整数,R(Su,k)表示由第一
待识别图像库中的第u幅行人图像的k相互近邻组成的集合,R(Tv,k)表示由第一目标图像库中的第v幅行人图像的k相互近邻组成的集合,符号“∩”为集合交运算符号,符号“∪”为集合并运算符号,|R(Su,k)∩R(Tv,k)|表示求R(Su,k)∩R(Tv,k)中的元素的总个数,|R(Su,k)∪R(Tv,k)|表示求R(Su,k)∪R(Tv,k)中的元素的总个数。
Vision and Pattern Recognition,2017(钟准,郑亮,曹东林,使用k相互编码的行人再识别重排序[C].计算机视觉与模式识别,2017)中提出。
相似性得分,对第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的最终相似性得分进行描述,将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的最终相似性得分记为G(Su,Tv),描述为:G(Su,Tv)=βdirect×Gdirect(Su,Tv)+βindirect×Gindirect(Su,Tv),其中,βdirect为Gdirect(Su,Tv)的权值参数,βindirect为Gindirect(Su,Tv)的权值参数,βdirect+βindirect=1。
的直接相似性得分,Gindirect(S ,T)表示任意一幅待识别图像与任意一幅目标图像之间的间接相似性得分,G(S*,T*)表示任意一幅待识别图像与任意一幅目标图像之间的最终相似性得分。
βindirect组成的向量,β=[βdirect,βindirect],||β||F为求β的F-范数,ξu表示Su对应的松弛项,λ用于平衡正则项 和total1个松弛项之和 λ的取值为0.01,“s.t.”表示“受约束
于……”,βT为β的转置, , Y={yv,h|1≤
v≤total1,1≤h≤total1}, 表示第一待识别图像库中的第u幅行
人图像对应的正样本排在第一待识别图像库中的第u幅行人图像对应的负样本前面,
表示第一待识别图像库中的第u幅行人图像对应的正样本排在第一待识别图像库中
的第u幅行人图像对应的负样本后面,
表示第一待识别图像库中的第u幅行人
图像对应的正样本集合,若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像为同一行人,则将第一目标图像库中的该幅行人图像归入 中, 表示第一
待识别图像库中的第u幅行人图像对应的负样本集合,若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像不为同一行人,则将第一目标图像库中的该幅行人图像归入 中, 表示求 中的元素的总个数, 表示求 中的元素的总个数,
G1(Su,Tv)为由Gdirect(Su,Tv)与Gindirect(Su,Tv)构成的相似性得分向量,G1(Su,Tv)=[Gdirect(Su,Tv),Gindirect(Su,Tv)],G1(Su,Th)为由第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的直接相似性得分Gdirect(Su,Th)与第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的间接相似性得分Gindirect(Su,Th)构成的相似性得分向量,Δ(Y*,Y)表示Y*与Y之间的AUC损失。
性得分和间接相似性得分,将第二待识别图像库中的第u'幅行人图像与第二目标图像库中的第v'幅行人图像之间的直接相似性得分和间接相似性得分对应记为 和
然后将第二待识别图像库中的每幅行人图像与第二目标图像库中的各幅行
人图像之间的直接相似性得分和间接相似性得分输入G(S*,T*)=βdirect×Gdirect(S*,T*)+βindirect×Gindirect(S*,T*)中进行测试,得到第二待识别图像库中的每幅行人图像与第二目标图像库中的各幅行人图像之间的最终相似性得分,将第二待识别图像库中的第u'幅行人图像与第二目标图像库中的第v'幅行人图像之间的最终相似性得分记为
再根据第二待识别图像库中的每
幅行人图像与第二目标图像库中的各幅行人图像之间的最终相似性得分,识别第二待识别图像库中的每幅行人图像;对于第二待识别图像库中的第u'幅行人图像,找出该幅行人图像与第二目标图像库中的所有行人图像之间的最终相似性得分中的最高得分,将该幅行人图像中的行人识别为最高得分所对应的第二目标图像库中的行人图像中的行人;其中,u'和v'均为正整数,1≤u'≤total2,1≤v'≤total2', 表示第二待识别图像库中的第u'幅行人图像的特征向量, 表示第二目标图像库中的第v'幅行人图像的特征向量。
CUHK03数据库提供了手动裁剪的图像集和使用目前效果最好的行人检测算法进行行人检
测的图像集,每个图像集均包含了1467个行人的行人图像,对于每个图像集,本发明从中选取767个行人的行人图像构成训练集;选取700个行人的行人图像构成测试集。
Vision.2015:1116-1124(郑亮,沈丽月,田璐,可扩展的行人再识别:一个基准[C].计算机视觉国际会议,2015,1116-1124)提出。
44.33%能被正确识别。
间接度量 44.09 25.35
本发明方法 44.33 25.52