一种针对遮挡的相关滤波目标跟踪方法

摘要

本发明涉及一种针对遮挡的相关滤波目标跟踪方法，步骤1：对于一段跟踪的视频序列，给出第t帧的跟踪目标位置和大小，确定搜索区域，计算特征，计算出第t帧的权重图；步骤2：基于得到的第t帧的权重图，训练出第t帧的相关滤波器；步骤3：根据训练出的相关滤波器，计算出第t+1帧的目标响应图，计算第t+1帧目标位置；步骤4：基于第t+1帧目标位置，求得高置信度的APSR策略，决定第t帧的相关滤波器是否被更新。

权利要求

1.一种针对遮挡的相关滤波目标跟踪方法，其特征在于，步骤如下：步骤1：对于一段跟踪的视频序列，给出第t帧的跟踪目标位置和大小，确定搜索区域，提取特征，且计算出第t帧的权重图；

步骤2：基于得到的第t帧的权重图，训练出第t帧的相关滤波器；

步骤3：根据训练出的相关滤波器，计算出第t+1帧的目标响应图，计算第t+1帧目标位置；

步骤4：基于第t+1帧目标位置，求得高置信度的APSR策略，决定第t帧的相关滤波器是否被更新；

所述步骤1具体实现如下：

步骤1所提到的基于第t帧的权重图，是由目标相似权重图T和空间感知权重图P构成；

目标相似权重图T：

已知第t帧图像的目标位置和大小，构建颜色直方图 和 如下所示：其中γ为固定的更新率， 和 分别表示第t帧的目标和背景颜色直方图， 和为历史帧，即第1帧到第t-1帧的目标和背景颜色直方图，则得到基于颜色直方图的目标相似权重图T：其中 和 为先验概率，代表了第t帧的目标区域和背景区域的大小占整个搜索区域的比例；

所述空间感知权重图P,其权重值随着远离目标中心而衰减；对于目标框内的任意一个像素pi,其空间感知权重的数值记作P(pi),对目标框内每一个像素计算P(pi)，生成最终的P；

以上步骤得到了目标相似权重图T和空间感知权重图P，那么最终的第t帧的权重图Wt，由如下公式计算出：Wt＝T+P；

所述步骤2具体实现如下：

对第t帧的目标区域提取特征，记作x，y是符合高斯分布的标签，训练相关滤波器ft，优化函数如下所示：ε(f)＝||ft*x-y||2+λ||ft||2t t t

其中f＝f ⊙Wt，⊙代表点乘，当ε(f)最小时，训练出第t帧的相关滤波器f ，λ为正则化参数。

2.根据权利要求1所述的针对遮挡的相关滤波目标跟踪方法，其特征在于：所述步骤3具体实现如下：输入第t+1帧图像，需要在t+1帧搜索区域内寻找目标位置，以上一帧的目标位置为中心裁剪搜索区域，并提取其特征，表示为zt+1，然后根据步骤2得到的第t帧的相关滤波器ft：得到最终第t+1帧的响应图St+1：

其中 和 表示对ft和zt+1进行傅里叶变换，F-1代表逆傅里叶变换，St+1是第t+1帧目标响应图；

根据响应图St+1，计算出第t+1帧的目标位置。

3.根据权利要求1所述的针对遮挡的相关滤波目标跟踪方法，其特征在于：所述步骤4具体实现如下：针对步骤3得到的第t+1帧的目标响应图St+1，采用以下APSR策略，判断跟踪质量，其中APSR定义如下：其中Smax代表St+1的最大值，Smin代表St+1的最小值，μ1代表峰值附近区域Ω1的平均值，σ1为区域Ω1标准差，其中，St+1除了Ω1以外的其余区域记作Ω2，w和h表示St+1中像素的横坐标和纵坐标，Sw,h表示St+1中坐标(w,h)对应的数值，mean为求均值函数；

通过计算APSR的数值，评估跟踪质量，决定第t帧的相关滤波器是否被更新。

说明书

一种针对遮挡的相关滤波目标跟踪方法

技术领域

[0001] 本发明涉及一种针对遮挡的相关滤波目标跟踪方法，属于模式识别、计算机视觉领域。

背景技术

[0002] 随着计算机视觉的日益发展，视觉跟踪已经广泛应用于许多计算机视觉任务，例如视频监控，人机交互和无人感知系统。给出第一帧目标的真实位置，跟踪器就可以在整个视频序列中定位感兴趣的目标。虽然视觉跟踪方法取得了很大进展，但仍存在许多挑战，例如变形，遮挡，视野外，尺度变化，平面内旋转等[1]。

[0003] 近年来，判别类跟踪方法引起了极大的关注。判别方法将目标跟踪视为二分类，即目标和视频中的背景区域。很多判别类方法是基于机器学习方法，其中，相关滤波(KCF)[2]由于其具备高计算效率和出色的跟踪性能，最受欢迎。但是，标准的相关滤波受制于边界效应，会生成不真实的训练负样本，可能训练出过度拟合的过滤器，不能很好的应对变形遮挡等挑战，因此增加了跟踪失败的风险。目前有很多工作旨在改进相关滤波产生的边界效应，SRDCF[3](空间正则化判别相关滤波器)引入了一个空间正则化窗口，该窗口是目标的5倍大小，它惩罚目标矩形框范围之外的滤波器值，这使得许多背景样本被抑制，因此它比KCF有更强的跟踪能力。然而，SRDCF在跟踪过程中整个参数是固定的，因此该方法不能很好地适应目标的形状变化。除此之外，CSR-DCF[4]，它利用颜色直方图模型来构造二分类分割矩阵，赋予真实目标区域更多的权重，同时背景像素被抑制，这样训练出的相关滤波跟踪器就更多地关注在真实的目标区域。然而，通过颜色直方图得到的二分类分割矩阵不可能一直准确，特别是发生遮挡和光照变化时，此时低置信度的二值分割矩阵极大程度地干扰跟踪器，导致跟踪失败。

[0004] 文章[2]提出传统的KCF跟踪算法流程，利用到流行的tracking–by-detection[5]思想，KCF的总体思路为：对给定的一个训练正样本，利用周期矩阵的性质，生成大量的其余负样本并用于训练相关滤波器。根据循环矩阵的性质，DCF方法将耗时的空间相关转换为快速的傅里叶域中的元素操作。

[0005] 文章[6]提出HOG(Histogram of Oriented Gradient)描述子，HOG的生成方式是根据这样的思想：它通过计算和统计图像局部区域的梯度方向直方图来构成特征。目标的梯度或边缘的方向密度分布很好地描述目标的表象和形状，因此HOG特征被广泛地运用在目标检测和跟踪领域。

[0006] 文章[7]提出CN(Color Names)描述子，CN的生成方式是根据这样的思想：

[0007] 它把目标可能出现的颜色分为11类：黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄共11种。通过自适应算法，利用PCA(主成分分析)的思想，选择目标区域中每个像素比较显著的颜色，将11维的颜色特征降为2维度。

[0008] 文章[4]提出一种空间感知的相关滤波跟踪算法。它利用颜色直方图生成权重矩阵，判断跟踪目标区域内像素类别(目标或者背景)。算法首先对上一帧的跟踪结果(一般由矩形框)，提取目标特征和计算颜色直方图，然后将生成的权重矩阵融入传统的KCF跟踪算法中，然后得到训练好的滤波器，在当前帧的搜索区域中，定位到最合适的目标位置。

[0009] 综上所述，想要设计一种既满足实时性，又能应对各种外界干扰，跟踪效果还能满足实际需求的跟踪算法，依然有很大难度。目前尚没有相关文献报导。

[0010] [1]王世峰,戴祥,徐宁,and张鹏飞,"无人驾驶汽车环境感知技术综述,"长春理工大学学报(自然科学版),vol.40,no.01,pp.1-6,2017.

[0011] [2]J.F.Henriques,R.Caseiro,P.Martins,and J.Batista,"High-speed tracking with kernelized correlation filters,"IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.37,no.3,pp.583-596,2015.

[0012] [3]M.Danelljan,G.Hager,F.Shahbaz Khan,and M.Felsberg,"Learning spatially regularized correlation filters for visual tracking,"in Proceedings of the IEEE International Conference on Computer Vision,2015,pp.4310-4318.[0013] [4]A.Lukezic,T.Vojir,L.C.Zajc,J.Matas,and M.Kristan,"Discriminative Correlation Filter with Channel and Spatial Reliability,"in CVPR,2017,vol.1,no.2,p.3.

[0014] [5]Z.Kalal,K.Mikolajczyk,and J.Matas,"Tracking-learning-detection,"IEEE transactions on pattern analysis and machine intelligence,vol.34,no.7,p.1409,2012.

[0015] [6]N.Dalal and B.Triggs,"Histograms of oriented gradients for human detection,"in Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on,2005,vol.1,pp.886-893:IEEE.

[0016] [7]J.Van De Weijer,C.Schmid,J.Verbeek,and D.Larlus,"Learning color names for real-world applications,"IEEE Transactions on Image Processing,vol.18,no.7,pp.1512-1523,2009.

[0017] [8]S.Boyd,N.Parikh,E.Chu,B.Peleato,and J.Eckstein,"Distributed optimization and statistical learning via the alternating direction method of multipliers,"Foundations and in Machine learning,vol.3,no.1,pp.1-122,2011.

[0018] [9]Y.Wu,J.Lim,M.-H.Yang,Object tracking benchmark,IEEE Transactions on Pattern Analys is and Machine Intelligence,vol.37,no.9,pp.1834–1848,2015.发明内容

[0019] 本发明技术决问题：克服现有技术的不足，提出一种针对遮挡的相关滤波目标跟踪方法，跟踪精度高，鲁棒性好，跟踪速度满足实时需求，可解决目标遮挡和变形等问题。

[0020] 本发明的原理：本发明提出的基于颜色直方图的加权的相关滤波跟踪器，大致思想如下。

[0021] 一方面，具有高权重值的像素应该被视为目标；另一方面，具有低权重值的像素,更有可能被认为是背景，应该抑制这些像素，防止其干扰训练相关滤波器(KCF)。

[0022] 与上述提到的CSR-DCF和SRDCF相比，本发明提出了一个具有自适应权重图的新型空间感知相关滤波器。本发明的自适应权重图组和空间权重图与目标似然图(由颜色直方图得到)，反映搜索区域内每个像素属于目标的可能性大小。

[0023] 除此之外，目标在遭受遮挡时，目标区域会被背景像素污染，如果此时继续更新跟踪模型，那么跟踪器会被污染，一旦目标重新出现在视野中，此时跟踪器也无法重新锁定目标。为此，本发明提出了一个高置信度的自适应更新策略，用于判断跟踪器跟踪质量，决定当前帧训练得到的跟踪模型是否被更新。

[0024] 本发明的一种针对遮挡的相关滤波目标跟踪方法，步骤如下：

[0025] 步骤1：对于一段跟踪的视频序列，给出第t帧的跟踪目标位置和大小，确定搜索区域，提取特征，且计算出第t帧的权重图；

[0026] 步骤2：基于得到的第t帧的权重图，训练出第t帧的相关滤波器；

[0027] 步骤3：根据训练出的相关滤波器，计算出第t+1帧的目标响应图，计算第t+1帧目标位置；

[0028] 步骤4：基于第t+1帧目标位置，求得高置信度的APSR策略，决定第t帧的相关滤波器是否被更新。

[0029] 所述步骤1具体实现如下：

[0030] 步骤1所提到的基于第t帧的权重图，是由目标相似权重图T和空间感知权重图P构成；

[0031] 目标相似权重图T：

[0032] 已知第t帧图像的目标位置和大小，构建颜色直方图 和 如下所示：

[0033]

[0034]

[0035] 其中γ为固定的更新率， 和 分别表示第t帧的目标和背景颜色直方图，和 为历史帧，即第1帧到第t-1帧的目标和背景颜色直方图，则得到基于颜色直方图的目标相似权重图T：

[0036]

[0037] 其中 和 为先验概率，代表了第t帧的目标区域和背景区域的大小占整个搜索区域的比例；

[0038] 所述空间感知权重图P,其权重值随着远离目标中心而衰减。对于目标框内的任意一个像素pi,其空间感知权重的数值记作P(pi),对目标框内每一个像素计算P(pi)，生成最终的P；

[0039] 以上步骤得到了目标相似权重图T和空间感知权重图P，那么最终的第t帧的权重图Wt，由如下公式计算出：

[0040] Wt＝T+P。

[0041] 所述步骤2具体实现如下：

[0042] 对第t帧的目标区域提取特征，记作x，y是符合高斯分布的标签，训练相关滤波器ft，优化函数如下所示：

[0043] ε(f)＝||ft*x-y||2+λ||ft||2

[0044] 其中ft＝ft⊙Wt，⊙代表点乘，当ε(f)最小时，训练出第t帧的相关滤波器ft。

[0045] 所述步骤3具体实现如下：

[0046] 输入第t+1帧图像，需要在t+1帧搜索区域内寻找目标位置，以上一帧的目标位置为中心裁剪搜索区域，并提取其特征，表示为zt+1，然后根据步骤2得到的第t帧的相关滤波器ft：得到最终第t+1帧的响应图St+1：

[0047]

[0048] 其中 和 表示对ft和zt+1进行傅里叶变换，F-1代表逆傅里叶变换，St+1是第t+1帧目标响应图；

[0049] 根据响应图St+1，计算出第t+1帧的目标位置。

[0050] 所述步骤4具体实现如下：

[0051] 针对步骤3得到的第t+1帧的目标响应图St+1，采用以下APSR策略，判断跟踪质量，其中APSR定义如下：

[0052]

[0053] 其中Smax代表St+1的最大值，Smin代表St+1的最小值，μ1代表峰值附近区域Ω1的平均值，σ1为区域Ω1标准差，其中，St+1除了Ω1以外的其余区域记作Ω2，w和h表示St+1中像素的横坐标和纵坐标，Sw,h表示St+1中坐标(w,h)对应的数值，mean为求均值函数；

[0054] 通过计算APSR的数值，评估跟踪质量，决定第t帧的相关滤波器是否被更新。

[0055] 本发明与现有技术相比的优点和积极效果：

[0056] (1)本发明能有效处理目标被遮挡，变形等复杂场景下的跟踪

[0057] 针对实际场景下目标跟踪，利用空间感知自适应权重图来训练相关滤波器，这样得到的滤波器可有效辨识真正的目标像素，同时降低背景像素的干扰。这样学习到的滤波器具有记忆性，当目标短暂消失在视线内，跟踪器判断出目标消失在搜索区域内，会停止更新此时的训练模型(受背景像素污染)，这样等到目标重新出现在视线中，跟踪器依旧可以锁定跟踪目标。在OTB2015目标跟踪数据集[9]上，取得了84.7％的精度，相比于其他的跟踪器KCF[2]、SRDCF[3]和CSRDCF[4]跟踪方法，分别提高14.8％、5.3％和5％的精度。

[0058] (2)本发明的跟踪算法耗时少

[0059] 本发明的计算速度较快，一方面得益于KCF算法的优势，另外一方面本文摈弃了复杂的优化过程，采用循环迭代的方法，训练出理想的滤波器。实验表明，本发明的方法，每秒能处理30帧数据，完全能满足实时跟踪的要求。

附图说明

[0060] 图1为本发明方法实现流程图；

[0061] 图2为第t帧权重图的示意图；

[0062] 图3为高置信度更新策略的说明图；

[0063] 图4为实验结果验证图。

具体实施方式

[0064] 下面结合附图及实施例对本发明进行详细说明。

[0065] 如图1所示，本发明实施步骤如下：

[0066] 首选给定一段视频序列，给出第t帧的跟踪目标位置和大小，进而确定目标搜索区域，提取特征；

[0067] 接着在目标搜索区域内，分别计算空间感知权重图P和基于颜色直方图目标相似权重图T，得到第t帧的权重图Wt；

[0068] 基于得到的第t帧的权重图Wt，训练出第t帧的相关滤波器；

[0069] 根据训练出的第t帧的相关滤波器，计算出第t+1帧的目标响应图，计算第t+1帧目标位置。

[0070] 求高置信度的APSR策略，决定第t帧的相关滤波器是否被更新。

[0071] 具体过程下面进行详细说明。

[0072] 1.基于颜色直方图的目标相似权重图T

[0073] 第t帧图像为上一帧已经得到的跟踪结果，针对第t帧的目标位置和大小，确定搜索区域。正如前文所说，首先生成颜色直方图构建目标相似权重图T。

[0074] 将第t帧的目标区域定义Ot,目标周围背景定义为Bt，这样针对两个区域提取颜色直方图,记成 和 其中 和 分别表示第t帧的目标和背景颜色直方图。同时为了提高颜色直方图的可靠性，考虑历史帧(第1帧到第t-1帧)的目标和背景颜色直方图 和得到 和 如下所示：

[0075]

[0076]

[0077] γ为固定的更新率，本发明经过大量反复试验取γ＝0.04。

[0078] 然后得到基于颜色直方图的目标相似权重图T：

[0079]

[0080] 其中 和 为先验概率，代表了第t帧目标区域Ot和背景区域Bt的大小占整个搜索区域的比例。

[0081] 2.生成第t帧的权重图Wt

[0082] 一般而言，有一个先验认知。越靠近目标区域内的像素是目标的可能性越高，在目标区域矩形框边缘的像素越容易受到背景像素的干扰，而坐落在目标区域外的像素一般都是背景。本发明提出了一个空间感知权重图P，赋予靠近目标区域中心的像素更高的权重，目标矩形框以内的其余像素的权重值随着远离目标区域中心像素而逐渐衰减，目标区域以外的像素赋值为0.5，让其保留同样的可能性，选择成为目标区域或者背景。对于目标框内的任意一个像素pi,其空间感知权重的数值记作P(pi),对目标框内每一个像素计算P(pi)，生成最终的P；

[0083]

[0084] 其中，跟踪框是矩形，Ct为矩形框的中心像素坐标，Cx为矩形框内其余像素坐标，d(Ct-Cx)表示Ct到Cx的距离。

[0085] 以上步骤得到了目标相似权重图T和空间感知权重图P，那么最终的第t帧的权重图Wt，由如下公式计算出：

[0086] Wt＝T+P。

[0087] 最终得到的第t帧的空间权重图Wt，是结合像素空间位置和颜色信息生成，因此能够能好地区分目标和背景。效果如图2所示，(a)为第t帧搜索图，矩形框给出了上一帧的跟踪结果；(b)基于颜色直方图的目标相似权重图T；(c)为空间感知权重图P；(d)第t帧的空间权重图Wt。

[0088] 从图2可知，最终生成的第t帧的空间权重图Wt，目标区域的权重值较高，背景区域权重值较低。

[0089] 3.训练滤波器

[0090] 对第t帧得到的目标区域提取特征，记作x，特征算子使用背景技术中提及的HOG和CN特征，y是符合高斯分布的标签，本发明需要训练得到第t帧的相关滤波器ft，优化函数如下所示：

[0091] ε(f)＝||ft*x-y||2+λ||ft||2

[0092] 其中ft＝ft⊙Wt，⊙代表点乘。*为卷积操作。λ为正则化参数，取0.05。ε(f)为损失函数。Wt为步骤2中得到的第t帧的权重图。通过ADMM[8]迭代方法，使ε(f)最小，这样就学习出第t帧的相关滤波器ft。这样在Wt干预下，训练得到的相关滤波器ft只对目标像素起作用，极大地提高了跟踪准确度。

[0093] 4.跟踪目标

[0094] 第t+1帧的输入图像，需要在t+1帧寻找目标位置，在上一帧的目标位置为中心裁剪搜索区域，并提取其特征并表示为zt+1。然后根据步骤3中得到的第t帧的相关滤波器ft,第t+1帧的响应图St+1：

[0095]

[0096] 其中 和 表示对ft和zt+1进行傅里叶变换，F-1代表逆傅里叶变换。⊙代表点乘。响应图St+1的最大值位置，即第t+1帧的目标位置。

[0097] 5.高置信度更新策略

[0098] 大多数的跟踪方法是利用一个固定的更新率更新滤波器。但是，一旦目标被严重遮挡，甚至消失在视野中，如果此时仍然更新相关滤波器，可能会导致跟踪失败。在本发明中，引入了高置信度得分评判策略，即从响应图St+1中计算并确定相关滤波器是否应该被更新。引入的置信度得分主要来自响应图的峰值尖锐程度和波谷的平滑程度。正常的响应图，具备一个锐利峰值，和其他平坦的响应值，表明检测到可靠的跟踪目标。相反，当响应图有多个的峰值时，此时目标遭受遮挡。

[0099]

[0100] 其中Smax代表St+1的最大值，Smin代表St+1的最小值，μ1代表峰值附近区域Ω1的平均值，σ1为区域Ω1标准差，其中，St+1除了Ω1以外的其余区域记作Ω2，w和h表示St+1中像素的横坐标和纵坐标，Sw,h表示St+1中坐标(w,h)对应的数值，mean为求均值函数。

[0101] APSR可以评估的跟踪质量，进而判断第t帧的相关滤波器是否更新。

[0102] 从图3也看出，A跟踪矩形框是采取本发明的APSR策略的跟踪器，B跟踪矩形框为未采用APSR更新策略的跟踪器。第90帧，未发生遮挡时，此时A跟踪框和B跟踪框都准确地跟上目标。当跟踪目标在第113帧被遮挡的时候，APSR值从7.92下降到1.34，此时本发明的APSR策略判断目标遭受遮挡，停止更新遭受污染的相关滤波器。第135帧时候，目标重新出现在视野中，此时A跟踪框(采用APSR策略)成功找到之前跟丢的目标，而B矩形框(未采用APSR策略)彻底跟丢目标。因此，本发明使用的APSR策略，可以很好的应对遮挡问题。

[0103] 6.实验结果验证

[0104] 本发明在视频序列Girl2和Human3中测试本发明的跟踪效果。在图4中，A跟踪框为本发明中使用的跟踪器，B、C、D为其他已有的跟踪算法(分别为背景技术中提及的文章[2-4]提出的跟踪方法)。从图4中，可以看出在Girl2和Human3的场景序中，目标会被障碍物遮挡，当目标重新出现在视野内，只有本发明的跟踪方法能够成功检测到真实的目标，其余的跟踪方法都跟踪失败，这一定程度上证明了本发明的跟踪方法可以很好地应对遮挡的挑战。

[0105] 以上虽然描述了本发明的具体实施方法，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明原理和实现的前提下，可以对这些实施方案做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。