一种行人重识别的方法和装置转让专利
申请号 : CN202011631561.3
文献号 : CN112613474B
文献日 : 2022-01-18
发明人 : 李大铭 , 邓练兵
申请人 : 珠海大横琴科技发展有限公司
摘要 :
权利要求 :
1.一种行人重识别的方法,其特征在于,所述方法包括:获取多个图像数据,并对所述多个图像数据进行行人信息标注,得到标注数据集,所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息,以及所述行人对象的人体属性信息;
从所述标注数据集中,确定训练数据集;
根据所述标注的行人信息,生成针对所述行人对象的人体掩码信息,并根据所述人体掩码信息,对所述训练数据集进行扩充;
采用所述扩充后的训练数据集进行深度学习,得到目标网络模型,以采用所述网络模型进行行人重识别;
其中,还包括:
从所述标注数据集中,确定验证数据集;
根据所述目标网络模型,生成所述验证数据集的人体属性预测结果;
根据所述验证数据集标注的行人信息,确定所述行人信息预测结果中各个行人信息的准确率;
按照所述准确率,对所述行人信息进行排序,得到最优行人信息集;
其中还包括:
采用以下算法来对训练样本Si进行数据增强:指定最小和最大的随机采样点数目分别为Point_Min和Point_Max,指定最大采样面积比AreaRatio_Max,初始化随机形状生成点集合RPoint={},随机形状面积SRandom为0;使用numpy库产生一个区间[Point_Min,Point_Max]上的整数随机数RPoint_Num,循环以下操作直至满足SRandom小于 首先使用numpy库产生区间[pxmin,pxmax]上的RPoint_Num个整数随机数接着使用numpy库产生区间[pymin,pymax]上的RPoint_Num个整数随机数通过两组随机数组合可得到RPoint_Num个随机点的集合记为最后利用常见算法Graham扫描法或Jarvis步进法求取RP集合的凸包conv(RP),对conv(RP)计算面积并赋值给SRandom,通过循环条件判断是否结束该循环,记上述循环结束时的凸包点集合为convbest(RP),利用convbest(RP)点围成的多边形作为遮挡Mask,对样本Si的遮挡Mask区域内的点的三通道设置为全黑,即每个点的RGB值为(0,0,0);
其中,所述采用所述网络模型进行行人重识别的步骤包括:第一步采用最优属性组过滤:依次比对测试查询样本和测试候选行人库中样本的预测属性,并计算属性对比分数,当分数大于等于阈值时进行下一步行人特征级比对,通过所述网络模型的行人特征嵌入分支获取行人特征,通过所述网络模型的行人属性分支获取行人属性特征,并将两者归一化之后进行拼接融合作为行人重识别的对比特征,采用余弦距离计算测试查询样本和其候选行人底库中样本的行人重识别的对比特征即可获得最终行人重识别相似性度量结果。
2.根据权利要求1所述的方法,其特征在于,还包括:从所述标注数据集中,确定测试数据集;其中,所述测试数据集包括测试查询数据集和测试候选数据集;
根据所述测试查询数据集、所述测试候选数据集,以及所述最优行人信息集,获得所述目标网络模型进行行人重识别的相似性测试结果。
3.根据权利要求1或2所述的方法,其特征在于,所述深度学习的方式包括以下任一项或多项:
针对所述身份标识的深度学习、针对所述人体解释信息的深度学习、针对所述人体属性信息的深度学习。
4.根据权利要求3所述的方法,其特征在于,每种深度学习的方式具有对应的损失函数。
5.一种行人重识别的装置,其特征在于,所述装置包括:数据标注模块,用于获取多个图像数据,并对所述多个图像数据进行行人信息标注,得到标注数据集,所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息,以及所述行人对象的人体属性信息;
训练数据集确定模块,用于从所述标注数据集中,确定训练数据集;
训练数据集扩充模块,用于根据所述标注的行人信息,生成针对所述行人对象的人体掩码信息,并根据所述人体掩码信息,对所述训练数据集进行扩充;
目标网络模型得到模块,用于采用所述扩充后的训练数据集进行深度学习,得到目标网络模型,以采用所述网络模型进行行人重识别;
其中,还包括:
验证数据集确定模块,用于从所述标注数据集中,确定验证数据集;
人体属性预测结果生成模块,用于根据所述目标网络模型,生成所述验证数据集的人体属性预测结果;
准确率确定模块,用于根据所述验证数据集标注的行人信息,确定所述行人信息预测结果中各个行人信息的准确率;
最优行人信息集得到模块,用于按照所述准确率,对所述行人信息进行排序,得到最优行人信息集;
其中还包括:
采用以下算法来对训练样本Si进行数据增强:指定最小和最大的随机采样点数目分别为Point_Min和Point_Max,指定最大采样面积比AreaRatio_Max,初始化随机形状生成点集合RPoint={},随机形状面积SRandom为0;使用numpy库产生一个区间[Point_Min,Point_Max]上的整数随机数RPoint_Num,循环以下操作直至满足SRandom小于 首先使用numpy库产生区间[pxmin,pxmax]上的RPoint_Num个整数随机数接着使用numpy库产生区间[pymin,pymax]上的RPoint_Num个整数随机数通过两组随机数组合可得到RPoint_Num个随机点的集合记为最后利用常见算法Graham扫描法或Jarvis步进法求取RP集合的凸包conv(RP),对conv(RP)计算面积并赋值给SRandom,通过循环条件判断是否结束该循环,记上述循环结束时的凸包点集合为convbest(RP),利用convbest(RP)点围成的多边形作为遮挡Mask,对样本Si的遮挡Mask区域内的点的三通道设置为全黑,即每个点的RGB值为(0,0,0);
其中,所述采用所述网络模型进行行人重识别的步骤包括:第一步采用最优属性组过滤:依次比对测试查询样本和测试候选行人库中样本的预测属性,并计算属性对比分数,当分数大于等于阈值时进行下一步行人特征级比对,通过所述网络模型的行人特征嵌入分支获取行人特征,通过所述网络模型的行人属性分支获取行人属性特征,并将两者归一化之后进行拼接融合作为行人重识别的对比特征,采用余弦距离计算测试查询样本和其候选行人底库中样本的行人重识别的对比特征即可获得最终行人重识别相似性度量结果。
6.根据权利要求5所述的装置,其特征在于,还包括:测试数据集确定模块,用于从所述标注数据集中,确定测试数据集;其中,所述测试数据集包括测试查询数据集和测试候选数据集;
相似性测试结果获得模块,用于根据所述测试查询数据集、所述测试候选数据集,以及所述最优行人信息集,获得所述目标网络模型进行行人重识别的相似性测试结果。
7.根据权利要求5或6所述的装置,其特征在于,所述深度学习的方式包括以下任一项或多项:
针对所述身份标识的深度学习、针对所述人体解释信息的深度学习、针对所述人体属性信息的深度学习。
8.根据权利要求7所述的装置,其特征在于,每种深度学习的方式具有对应的损失函数。
说明书 :
一种行人重识别的方法和装置
技术领域
背景技术
的图像或者视频,以此获得身份上的确认和统一。
经济价值。
人图像或者视频做预处理,接着对预处理结果提取特征表示,最后利用特征表示比对来得
到行人重识别结果。
相似度大于类间相似度,影响识别的准确性。
发明内容
信息,以及所述行人对象的人体属性信息;
行人对象的人体解释信息,以及所述行人对象的人体属性信息;
所述行人对象的人体解释信息,以及所述行人对象的人体属性信息;从所述标注数据集中,
确定训练数据集;根据所述标注的行人信息,生成针对所述行人对象的人体掩码信息,并根
据所述人体掩码信息,对所述训练数据集进行扩充;采用所述扩充后的训练数据集进行深
度学习,得到目标网络模型,以采用所述网络模型进行行人重识别,实现了对行人重识别的
优化,提升了识别的准确性。
附图说明
普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附
图。
具体实施方式
是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前
提下所获得的所有其他实施例,都属于本发明保护的范围。
主要方式是设计特定卷积神经网络结构提取行人特征表示,采用度量学习的方法来优化网
络参数。
果。因此,利用多线索多特征联合进行行人重识别成为提升识别准确率的有效途径。
面:
挡情况,本专利提出了一套可以生成任意形状的遮挡模板方法,且充分考虑到遮挡背景低
效无意义的操作,因此直接在人体区域内利用遮挡模板做遮挡操作,该方法能真实模拟现
实世界的人体遮挡情况来扩充样本训练样本数量。
识别的多特征融合方法时采用非端到端的方法如使用不同算法提取不同的特征然后进行
融合,同时还有专利考虑将人体切块来分别提取特征融合或者利用人体属性,人体关键点
等信息来辅助行人重识别,与现有方法本专利主要有三点区别:在先验假设层面,本专利并
未引入人体切块先验,即意味着本专利不局限于直立平拍视角的成像设定,可以适应画面
中任意姿势任意角度的人体,且本专利不认为不同摄像头的行人是属于不同域的特征,因
此方法设计更加简洁;在网络设计层面,本专利利用端到端的网络完成了三个与行人重识
别密切相关的任务:行人特征嵌入学习,行人属性学习以及行人人体解释学习,并通过行人
人体解释分支引入attention机制促进行人属性分支的学习,能较好的挖掘不同任务的相
互促进学习的能力;在特征构建和搜索层面,本专利采用人体属性标签分数做第一级过滤,
可以一定程度上缩小搜索空间,加快搜索速度,排除部分比对干扰,在第二级特征比对层面
采用了归一化特征拼接融合策略,较好的利用的不同特征的互补性,提升了行人重识别的
鲁棒性和精度。
的人体解释信息,以及所述行人对象的人体属性信息;
Labelme进行标注可得到三类标注信息:描述行人身份的ID信息(即身份标识),人体解释信
息以及人体属性信息。
多组多边形标注表示,即给出人体不同部分的Mask,记为Hi={hp1,hp2,…,hpM},M为选取的
人体解释的分割部分数目。描述行人样本Si的人体属性信息采用数值型向量表示记为Ai=
[x1,x2,…,xK],K为选择预测的人体属性总数目,Ai中每个元素表示样本Si是否出现对应的
人体属性,采用1表示出现该属性,0表示未出现该属性。
Ti,其中Vi∈{1,2,3,…,Z},Ci∈{1,2,3,…,U},其中Z为不同场景的总数目,U所有场景中最
大的摄像头数目。通过标注可获得样本Si标注信息Li=(Vi,Ci,Ti,IDi,Hi,Ai)。
2:2对行人ID进行划分得到训练集TD(即训练数据集)、验证集VD(即验证数据集)和测试集ED
(即标注数据集)。
(R∈{1,2,3,…,U})下的样本按照采集时间戳从小到大进行排序,取最后B张作为测试查询
集合,剩余样本作为测试候选行人库集合。
(即人体掩码信息)。
使用numpy库产生一个区间[Point_Min,Point_Max]上的整数随机数RPoint_Num;循环以下
操作直至满足SRandom小于 首先使用numpy库产生区间[pxmin,pxmax]上的
RPoint_Num个整数随机数 接着使用numpy库产生区间[pymin,
pymax]上的RPoint_Num个整数随机数 通过两组随机数组合可得到
RPoint_Num个随机点的集合记为
最后利用常见算法Graham扫描法或Jarvis步进法求取RP集合的凸包conv(RP),对conv(RP)
计算面积并赋值给SRandom,通过循环条件判断是否结束该循环。
为(0,0,0)。
度的摄像头采集图像情形下利用本专利提出的方法来实施完成行人重识别任务,本专利利
用深度学习技术学习人体相关信息的估计,主要采用卷积神经网络来完成该任务。网络的
输入选择常见的行人重识别输入数据采样方法,即每个批次采样随机Nid个ID,每个ID的行
人下随机采样Ksp个行人样本,故对于每个批次共有Nid·Ksp个行人样本。
网络之后为完成多任务学习增加三个分支,如图2,三个分支分别为人体特征嵌入学习分支
(即针对所述身份标识的深度学习)、人体解释学习分支(即针对所述人体解释信息的深度
学习)以及人体属性学习分支(即针对所述人体属性信息的深度学习)。
可以获得定长的人体特征嵌入向量FEB_Vec,在得到FEB_Vec后接一个全连接层记为FC_
FEB,FC_FEB层的参数记为WFC_FEB。
Conv1,接着再增加一个Padding为一个像素,核大小为3×3,步进为1的卷积层记为Conv_
HPB2,在Conv_HPB2后得到的的输出特征图记为HPB_Predict,HPB_Predict即为对人体各部
分的Mask预测结果,记HPB_Predict输出尺寸为Row×Col×M。
Conv1,将HPB_Conv1和HAB_Conv1按通道做连接操作得到输出Mix_HPBHAB,对Mix_HPBHAB使
用自适应池化技术后得到一个定长向量输出HAB_Vec,在得到HAB_Vec后接一个全连接层记
为FC_HAB,FC_HAB层的输出记为HA_Predict,HA_Predict为长度为K的向量,对应表示人体
的K个属性是否存在。
进行L2归一化后得到fnorm以及Wnorm,对fnorm和Wnorm做内积即可得到AMsoftmax损失函
数所需向量夹角,并用下式计算人体特征嵌入分支的损失LFEB:
使用Dice Loss提升分割质量来间接完成高质量人体特征嵌入的学习。
的第j个人体部分特征图的第k个像素点预测为前景的概率, 为第i个样本的第j个人体部
分特征图的第k个像素点的真实标签,前景则为1,背景则为0。
得到属性频率(f1,f2,…,fK),对属性频率如下变换函数得到损失加权系数:
学习分支,人体解析学习分支以及人体属性学习分支进行训练,该阶段不使用本专利提及
的数据增强方法。
述准确率,对所述行人信息进行排序,得到最优行人信息集。
果和验证集标注对比计算可以得到属性准确率集合Pre={pre1,pre2,…,preK},对Pre从大
到小排序,取大于90%的前π个属性作为最优属性组Abest,Abest中对应属性的准确率降序排
列集合可记为{pres1,pres2,…,presπ}。
低顺序,依次比对测试查询样本和测试候选行人库中样本的预测属性,并采用下式计算人
体属性比对分数:
人体属性对比分数ScoreHA使用阈值控制来判断是否进行下一步行人特征级比对,阈值控制
逻辑可用下式表示:
果,采用向量乘法以及判断等操作可判别对应查询样本和底库样本是否需要进一步进行行
人特征比对。利用人体属性比对过滤逻辑可以快速缩小查询样本比对范围来加速搜索,同
时利用语义层级信息过滤视觉层级信息容易混淆的查询样本和底库样本对来提高识别准
确率和召回率。
种处理策略:第一种策略可直接认定为该查询样本不存在于底库中返回比对失败结果,第
二种策略可认为该种情况下可进入下一步特征比对,且底库样本μ设定为全部底库样本。
式融合fnormFEB以及fnormHAB可以获得最终用于行人重识别的比对特征freid,freid可表达式
为:
所述行人对象的人体解释信息,以及所述行人对象的人体属性信息;从所述标注数据集中,
确定训练数据集;根据所述标注的行人信息,生成针对所述行人对象的人体掩码信息,并根
据所述人体掩码信息,对所述训练数据集进行扩充;采用所述扩充后的训练数据集进行深
度学习,得到目标网络模型,以采用所述网络模型进行行人重识别,实现了对行人重识别的
优化,提升了识别的准确性。
据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该
知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施
例所必须的。
述行人对象的人体解释信息,以及所述行人对象的人体属性信息;
别的方法。
的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代
码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计
算机程序产品的形式。
中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些
计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设
备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执
行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中
指定的功能的装置。
括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方
框或多个方框中指定的功能。
计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程
和/或方框图一个方框或多个方框中指定的功能的步骤。
包括优选实施例以及落入本发明实施例范围的所有变更和修改。
之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意
在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包
括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品
或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要
素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体
实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的
限制。