一种对象标签引导的自适应视频目标跟踪方法转让专利
申请号 : CN202010685128.1
文献号 : CN111915647B
文献日 : 2021-08-13
发明人 : 张焕龙 , 张杰 , 李林伟 , 聂国豪 , 陈志武 , 陈青华 , 杨光露 , 安小宇 , 陈宜滨 , 张建伟
申请人 : 郑州轻工业大学
摘要 :
权利要求 :
1.一种对象标签引导的自适应视频目标跟踪方法,其特征在于,其步骤如下:步骤一:利用人工标注的方式标注出视频序列中的第一帧图像的目标图像块,并利用VGG16深度网络提取目标图像块的深度特征,将目标图像块的深度特征作为目标模板;
步骤二:读取视频序列的下一帧图像作为当前帧图像,利用VGG16深度网络提取当前帧图像的深度特征,将当前帧图像的深度特征作为当前帧图像在特征空间的特征图;
步骤三:利用RPN网络将当前帧图像转化到图像空间上,得到图像空间下的全局对象信息集,并对全局对象信息集中的对象进行筛选得到当前帧图像在图像空间的对象信息集;
步骤四:根据当前帧图像在图像空间的对象信息集利用Wang‑Landau蒙特卡洛对特征空间的特征图进行采样,得到样本集;
S41、初始化特征空间下Wang‑landau蒙特卡洛的采样参数:设置初始采样次数k=1、最大采样次数iter、高斯方差为σ、修正因子f;将特征空间的特征图[m,n,G]均匀分成d个子区域,子区域的大小均为[x,y,G],建立各子区域的直方图 为子区域的索引值,并初始化每个子区域的态密度为1、子区域似然度为1/d、直方图为0,其中,m为特征图的宽度,n为特征图的高度,G为特征图的维度,x为子区域的宽度,y为子区域的高度;
S42、根据当前帧图像的上一帧图像的目标位置初始化当前帧图像在特征空间中第一个样本,并将第一个样本加入样本集;
S43、根据样本集中的新加入的一个样本的高斯分布在特征空间上采用大方差高斯分布生成当前帧图像的候选样本位置,候选样本位置满足如下方程:其中, 为横坐标方向的高斯分布的条件概率, 为纵坐标方向的高斯分布的条件概率,G(·)表示高斯分布函数, 为候选样本的横坐标, 为候选样本的纵坐标, 为上一个样本的横坐标, 为上一个样本的纵坐标, 为特征空间中横坐标方向的高斯分布的方差, 为特征空间中纵坐标方向的高斯分布的方差;
*
S44、将图像空间下对象信息集的对象信息r与特征空间一一对应,计算候选样本所属子区域的对象标签:
其中,Obj(Si’’)为候选样本所属子区域的对象标签,Zt为归一化系数,为候选样本, 为候选样本的横坐标, 为候选样本的纵坐标,V(Xt')为候选样本Xt'的对象得分,Si'为候选样本Xt'所处的子区域,τ为调节系数;
S45、利用子区域的对象标签对Wang‑landau蒙特卡洛的采样公式进行改进,得到接收函数:
其中,a为候选样本Xt'的接受概率,p(Bt,Xt')为当前帧图像下的目标模板Bt与候选样本Xt'之间的似然值,p(Bt,Xt)为当前帧图像下的目标模板Bt与上一个样本Xt之间的似然值,为上一个样本的横坐标, 为上一个样本的纵坐标,Obj(Si')为上一个样本所属子区域的对象标签,g(Si’’)为子区域Si’’的态密度值,g(Si')为子区域Si'的态密度值,Q(Xt;Xt'),Q(Xt';Xt)均为高斯分布的条件概率;
S46、判断候选样本Xt'的接受概率a是否大于一个在[0,1]范围内产生的随机数,若是,将候选样本Xt'添加入样本集中,执行步骤S47,否则,删除候选样本,执行步骤S48;
S47、对加入样本集后的样本所处子区域的态密度进行更新:g(Si')←g(Si')×f,
其中,修正因子f大于1;若本次采样使直方图h(Si)平坦,则通过 对修正因子进行调整,同时直方图被清零,若本次采样未使直方图平坦,则对直方图进行更新:h(Si')←h(Si')+1,其中,h(Si')为直方图;
S48、采样次数k=k+1,判断k是否达到最大采样次数iter,若是,结束采样,得到当前帧图像的样本集,否则,返回步骤S43;
步骤五:根据样本集中每个样本与目标模板之间的似然值对样本进行最大后验估计,得到当前帧图像在特征空间的目标;
步骤六:计算第2帧图像到当前帧图像的前一帧图像的目标对应的似然值的平均值M,并判断当前帧图像在特征空间的目标对应的似然值Mt是否大于0.8*M,若是,用当前帧图像在特征空间的目标更新目标模板,并将目标模板对应到图像空间中输出跟踪结果,否则,返回步骤二,直至遍历完视频序列。
2.根据权利要求1所述的对象标签引导的自适应视频目标跟踪方法,其特征在于,所述步骤三中对全局对象信息集中的对象进行筛选得到当前帧图像在图像空间的对象信息集的方法为:
S31、根据目标图像块的尺寸计算目标的面积:st=w×h,其中,st为目标图像块的面积,w为目标图像块的宽度,h为目标图像块的高度;
S32、计算全局对象信息集中所有对象的面积: 其中, 为第i个对象Di的面积,Di为第i个对象,wi为第i个对象的宽度,hi为第i个对象的高度,i=1,2,…,Q'为对象的索引值,Q'为全局对象信息集中对象的数量;
S33、构建对象的面积的约束条件,筛选满足约束条件的对象得到当前帧图像在图像空间的对象信息集。
3.根据权利要求2所述的对象标签引导的自适应视频目标跟踪方法,其特征在于,所述*
对象的面积的约束条件为: 其中,r是对象信息集的对象信息,η为面积下限的系数,γ为面积上限的系数。
4.根据权利要求3所述的对象标签引导的自适应视频目标跟踪方法,其特征在于,所述当前帧图像下的目标模板Bt与候选样本Xt'之间的似然值p(Bt,Xt')的计算方法为:其中,f(·)为特征值,★为互相关操作。
5.根据权利要求4所述的对象标签引导的自适应视频目标跟踪方法,其特征在于,所述根据样本集中每个样本与目标模板之间的似然值对样本进行最大后验估计,得到当前帧图像在特征空间的目标的方法为:计算每个样本与目标模板之间的似然值,利用最大后验估计筛选出当前帧图像在特征空间的目标:Pt=argmax(p(Bt,Xt')),其中,Pt为最大后验估计的样本似然值。
6.根据权利要求1所述的对象标签引导的自适应视频目标跟踪方法,其特征在于,所述利用当前帧图像在特征空间的目标更新目标模板的方法为:f(Bt+1)=f(Pt)·ξ+f(Bt)·(1‑ξ),其中,f(·)为特征值,ξ为更新速率,Pt为最大后验估计的样本似然值,Bt为t帧图像对应的目标模板,Bt+1为t+1帧图像对应的目标模板。
说明书 :
一种对象标签引导的自适应视频目标跟踪方法
技术领域
背景技术
通。这些应用主要依赖于对目标位置的可靠估计。然而,当目标位置在两帧之间发生快速变
化时,传统跟踪方法往往难以适应。同时对解决伴随位置变化的变形、模糊等具有挑战性的
因素仍然是一项艰巨的任务。
是有效的,特别是对于不确定的移动对象,如快速运动、相机切换和视野外。在这种情况下,
目标会随机出现在整个帧中的任何位置,导致跟踪失败。尽管如此,现有的跟踪器避免使用
更大的搜索半径的一个重要原因是来自背景的潜在干扰,这可能会降低跟踪精度。与此同
时,扩展的搜索半径可能会导致跟踪器更新和速度问题。在基于随机采样的方法中,粒子滤
波能够处理目标分布的非高斯性和多模态然,获得好的跟踪效果。然而当目标发生位移时,
扩大至全局的采样空间带来的计算效率问题导致粒子滤波在实际应用上受到限制。基于马
尔可夫链蒙特卡罗的跟踪方法能够以较为高效的方式在高维状态空间中进行采样,提高了
跟踪效率。然而普通的马尔可夫链蒙特卡罗方法在目标分布能量场较强的情况下,往往会
陷入局部最优解。为了使算法适应突变运动问题,自适应马尔可夫链蒙特卡罗方法、哈密顿
蒙特卡罗方法、Wang‑landau蒙特卡罗等被应用于鲁棒跟踪并获得了一定效果。然而,基于
随机采样的办法虽然表现出对目标的这种较大位移的适应性,但仍然存在较多问题。这类
方法通常基于目标的特征表示来预测目标位置,特征的好坏直接影响跟踪性能。传统方法
通常基于手工特征来表征目标外观,通常只能表达目标的一种特性,表征能力较弱。其次,
随机产生的样本缺乏先验知识的引导,导致新样本的质量不高,从而影响跟踪效率。
发明内容
方法,以提高目标跟踪的鲁棒性。
集;
图像在特征空间的目标更新目标模板,并将目标模板对应到图像空间中输出跟踪结果,否
则,返回步骤二,直至遍历完视频序列。
对象的索引值,Q'为全局对象信息集中对象的数量;
*
子区域,子区域的大小均为[x,y,G],建立各子区域的直方图 i'=1,2,…,d为子区域
的索引值,并初始化每个子区域的态密度为1、子区域似然度为1/d、直方图为0,其中,m为特
征图的宽度,n为特征图的高度,G为特征图的维度,x为子区域的宽度,y为子区域的高度;
选样本的纵坐标, 为上一个样本的横坐标, 为上一个样本的纵坐标, 为特征空间
中横坐标方向的高斯分布的方差, 为特征空间中纵坐标方向的高斯分布的方差;
区域,τ为调节系数;
然值, Obj(Si')为上一个样本所属子区域的对象标签,g(Si'')为子区域Si''
的态密度值,g(Si')为子区域Si'的态密度值,Q(Xt;Xt'),Q(Xt';Xt)均为高斯分布的条件概
率;
←h(Si')+1,其中,h(Si')为直方图;
用最大后验估计筛选出当前帧图像在特征空间的目标:Pt=argmax(p(Bt,Xt')),其中,Pt为
最大后验估计的样本似然值。
值,Bt为t帧图像对应的目标模板,Bt+1为t+1帧图像对应的目标模板。
光照变化等场景。
附图说明
发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的附图。
据集成功率图;
具体实施方式
本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
跟踪器的效率;3)通过区域建议网络获得当前帧的对象信息,并对冗余对象信息进行过滤
与选择;4)将对象信息转化为对象标签引导一个Wang‑langau蒙特卡洛抽样算法来预测目
标下一帧的位置;5)利用自适应更新的目标模板选择性的更新目标信息。图1为本发明的流
程图,将学习特征引入随机采样跟踪算法中,提出特征空间随机抽样方法,在提高外观模型
表征能力的同时维持效率;提出对象信息转化为对象标签方法,利用对象信息引导随机抽
样进行,增强跟踪方法的在全局的探索能力。同时,高质量的先验信息为采样提供了引导,
减少总体样本数量,保证了跟踪的效率;提出自适应模板更新机制,减少跟踪框架在面对目
标不确定运动时的更新误差,提高跟踪精度。
象标签引入跟踪器,增强跟踪器全局探索能力。(3)基于自适应模板更新,建立一种新的跟
踪算法框架,能够兼顾平滑和突变两种运动模式下的目标持续性跟踪。
visualtracking.net上获得。
视频序列预处理,特征提取神经网络及区域建议神经网络预训练。将视频序列按每秒25帧
处理成连续单帧图像,其中初始帧中目标位置由目标的横轴坐标、纵轴坐标、宽、高[x,y,w,
h]确定。特征提取网络使用VGG16网络第5层输出,区域建议网络由RPN网络构建,深度网络
均使用训练集离线训练获得。
n,G];初始化第一帧跟踪目标,对初始目标使用神经网络提取卷积特征作为目标模板。使用
特征提取网络提取初始帧深度特征,根据特征空间与图像空间位置对应关系,截取初始帧
中目标的深度特征作为目标初始模板。
集;对象信息被描述为空间中潜在对象的位置。根据对象位置由其左上角横、纵坐标、宽、高
及对象性得分分别为[x,y,w,h,o]的矩形包围框构成。为了避免冗余包围框影响跟踪,对全
局对象信息进行筛选。首先,根据对象性得分对产生的包围框进行非极大抑制,合并位置接
近的包围框并保留最高对象的分。使用得分最高的前300个对象Di作为有效建议。然后,为
了进一步减少图像中冗余对象信息,对有效建议进行目标上下文筛选。具体方法为:
为全局对象信息集中对象的数量;
*
其中,r是对象信息集的对象信息,η为面积下限的系数,γ为面积
上限的系数。
发明提取当前帧整幅图像的卷积特征作为采样特征空间。当前帧图像首先通过特征提取网
络获得特征空间表示,表述为宽、高、特征深度分别为[m,n,G]的三维矩阵。具体方法为:
子区域,子区域的大小均为[x,y,G],建立各子区域的直方图 i'=1,2,…,d为子区域
的索引值,并初始化每个子区域的态密度为1、子区域似然度为1/d、直方图为0,其中,m为特
征图的宽度,n为特征图的高度,G为特征图的维度,x为子区域的宽度,y为子区域的高度;
样本的纵坐标, 为上一个样本的横坐标, 为上一个样本的纵坐标, 为特征空间中
横坐标方向的高斯分布的方差, 为特征空间中纵坐标方向的高斯分布的方差;利用大方
差的高斯分布可以有效的将样本分布至全局,以覆盖目标的不确定运动。
导特征空间采样。对象标签大小与采样空间一致,其中r 包围框内区域根据下式设立对象
*
权重以提高采样器到达该区域的概率。将图像空间下对象信息集的对象信息r与特征空间
一一对应,计算候选样本所属子区域的对象标签:
议对象时该地区标签权重为零,Si'为候选样本Xt'所处的子区域,τ为调节系数,调节标签值
的大小范围;
然值, Obj(Si')为上一个样本所属子区域的对象标签,g(Si'')为子区域Si''
的态密度值,g(Si')为子区域Si'的态密度值,Q(Xt;Xt'),Q(Xt';Xt)为高斯分布的条件概率,
当分布为对称分布时两者可以抵消;
否大于一个在[0,1]范围内产生的随机数,若是,将候选样本Xt'添加入样本集中,执行步骤
S47,否则,删除候选样本,执行步骤S48;
坦,则对直方图进行更新:h(Si')←h(Si')+1,其中,h(Si')为直方图。
后验估计筛选出当前帧图像在特征空间的目标:Pt=argmax(p(Bt,Xt')),其中,Pt为最大后
验估计的样本似然值。
帧图像在特征空间的目标更新目标模板,并将目标模板对应至图像空间中输出跟踪结果,
否则,返回步骤二,直至遍历完视频序列。
帧图像对应的目标模板,Bt+1为t+1帧图像对应的目标模板。
Ironman、MotorRolling四个视频在部分帧内的跟踪效果图。其中,在Bird1出现目标在视野
内丢失后再出现,而DragonBaby、Ironman、MotorRolling序列中的目标都发生了超过35像
素的大范围位移,这些突变运动产生的帧间大位移使得其他算法表现出不适应,甚至跟踪
失败,而本发明提出的方法获得了好的跟踪效果。定量评价方式采用了OTB2013和OTB2015
两个通用的跟踪算法评价数据集,其分别包含50和100个序列,其采用中心误差率与重叠率
标定算法的跟踪效果。距离精度DP是指依据设定的阈值图像序列中能够成功跟踪目标的帧
数与总帧数的比值。其中,阈值是通过跟踪结果与真实结果的中心误差值确定的,本发明设
置阈值为0.5。中心误差是通过计算跟踪目标的中心位置和真实位置之间的欧氏距离,一般
其值越小说明跟踪结果比较优。目标重叠率OP是指跟踪结果与真实目标区域面积与操作和
并操作的比值,其值越大,说明跟踪结果越好。如图4(a)~(d)所示,本发明与ECO‑HC、HDT、
HCFT、CNN‑SVM、SRDCF等代表性跟踪方法的跟踪结果显示,本发明OURS获得了最优或次优的
成绩。综合图5结果表示,本发明提供的目标跟踪方法能够获得了较好地跟踪表现。