一种基于自适应子块筛选的多线索视觉跟踪方法

摘要

本发明属于视觉跟踪领域，具体涉及一种基于自适应子块筛选的多线索视觉跟踪方法，包括以下步骤：(1)将目标区域进行显著性检测，结合均匀分块得到候选子块集合；(2)对候选子块进行多尺度采样，确定频域响应较大的子块及相应的尺度，更新候选子块集合；(3)对候选子块集合中的子块进行运动估计，通过子块的多线索融合，确定跟踪目标的中心位置；(4)通过目标的当前位置，对每个子块位置对应的高斯核进行更新，将不满足要求的子块重新初始化。本发明的方法能够去除背景的干扰，充分利用中层特征的视觉限制性和高层语言的先验约束，使得目标的定位更加准确，还具有步骤简单、计算量小的优点，适合在具有遮挡的情况下进行视觉目标跟踪。

权利要求

1.一种基于自适应子块筛选的多线索视觉跟踪方法，其特征在于，具体包括以下步骤：S1.采集图像信息，将图像信息进行划分得到目标区域，对目标区域进行均匀分块，并将目标区域的图片进行显著性检测，根据视觉特征显著程度得到候选子块集合；

S2.对步骤S1中得到的候选子块集合中的候选子块进行多尺度采样，并对采样进行核相关滤波，保留候选子块集合中频域响应较大的子块，确定这些子块的尺度，更新候选子块集合；

S3.对候选子块集合中的子块进行运动估计，计算每个子块的表观线索aci、空间分布线索sci和运动轨迹线索mci，由此计算得到跟踪目标的当前位置；所述对候选子块集合中的子块进行运动估计的具体步骤如下：S3.1判断子块的运动，在候选子块集合中剔除在相邻帧图像中的位移过大或者在相邻图像帧中的运动方向相对平均位移方向偏移过大的子块；

S3.2计算每个子块的表观线索aci、空间分布线索sci和运动轨迹线索mci，公式如下：aci＝PSRi

其中，PSRi是经归一化后第i块的峰-旁瓣比值，M表示经过步骤S3.1后剩余子块的数目，(xi,yi)表示第i块的坐标，(xs,ys)表示所有块的中心位置，σs为距离标准差，(Δxi,Δyi)表示第i块的运动向量，(Δxm,Δym)表示所有块的平均运动向量，σm为运动标准差；

S3.3计算wi＝rciwr+sciws+mciwm，其中(wr,ws,wm)表示三种线索的权重；

S3.4令 即得到跟踪目标的当前位置；S4.通过步骤S3中得到的跟踪目标的当前位置，对当前目标区域中的每个子块位置对应的高斯核进行更新，将不满足空间内聚性或运动一致性的子块重新初始化。

2.如权利要求1所述的方法，其特征在于，在步骤S1中，对子块进行划分得到候选子块集合的过程具体包括以下步骤：S1.1采集一帧图像，得到目标区域,并对目标区域进行均匀分块；

S1.2将目标区域图片作为显著性检测算法输入，得到目标区域的显著性图；

S1.3对步骤S1.2中得到的显著性图进行高斯平滑去除噪声点；

S1.4取显著性图的最大值点位置(x,y)，根据步骤S1.1的子块划分确定最大值点位置(x,y)所在子块，将该子块加入候选子块集合；

S1.5将显著性图进行更新，去除步骤1.4中最大值点位置所在的子块，重复步骤S1.4，得到新子块，与候选子块集合中的子块进行重合度计算，如果均小于阈值τ，则将新子块加入候选子块集合；

3.如权利要求2所述的方法，其特征在于，在步骤S1.2中，所述显著性检测算法为FT算法。

4.如权利要求3所述的方法，其特征在于，在步骤2中，对采样后的候选子块进行尺度筛选时，具体包括以下步骤：S2.1确定候选子块集合中的子块的搜索区域范围和搜索区域模板尺寸；

S2.2根据搜索区域范围和搜索区域模板尺寸初始化高斯核；

S2.3将每个子块的频域样本按搜索区域模板尺寸进行缩放，并提取HOG特征，进行FFT变换得到子块的多尺度样本；

S2.4将子块的多尺度样本与相应的高斯核进行相关性滤波，得到频域响应，去除频域响应较低的子块，更新候选子块集合；

S2.5按照如下公式计算每个样本的PSR值，在每个尺度下对所有子块的PSR值求和，其中：其中，PSR是峰-旁瓣比,gmax为响应的峰值，s为响应的旁瓣区域，μs和σs分别为旁瓣区域的均值和标准差；

S2.6分析PSR值的求和值，将PSR值求和值最大的子块的尺度确定为最佳尺度。

说明书

一种基于自适应子块筛选的多线索视觉跟踪方法

技术领域

[0001] 本发明属于视觉跟踪领域，更具体地，涉及一种基于自适应子块筛选的多线索视觉跟踪方法。

背景技术

[0002] 实际应用场景中，跟踪对象往往因遮挡等原因导致表观发生部分改变，目标的表观模型需要体现目标表观的变化。为此，在目标表观建模时通常采用局部特征(如子块)。

[0003] 在中国发明专利《一种新型的基于自适应分块的视频跟踪方法》中公开了一种自适应分块方法，利用视频及图像的内容信息，根据跟踪的目标区域的特征而自动调整分块策略，提高视频跟踪效果。在中国发明专利《一种新型的基于分块策略的视频跟踪方法》中公开了一种子块的分块策略，根据小块的颜色直方图与其周围小块的颜色直方图之间的相似度来判断当前块及周围小块是否发生遮挡，被检测出发生遮挡的小块在后面的粒子滤波算法中计算块之间关系变化系数时，降低其所占的权重，从而减少遮挡现象对跟踪方法准确性的影响。在中国发明专利《一种实时的视频跟踪方法》中，将跟踪目标分割成子块的方式压缩图像特征，并通过构建多尺度的候选区域以适应跟踪目标的尺度变化以及快速移动，最后利用KCF(核化相关滤波器)算法计算特征向量之间的相关性以达到视频跟踪的目的。

[0004] 在这些方法中，均采用局部特征对表观建模以适应遮挡等情形，通过均匀分块的方法将目标划分成子块或小块，子块的数量和子块的空间位置一般是固定的。均匀划分得到的子块数量较多，在后续的跟踪流程中，无论是采用粒子滤波跟踪框架，还是KCF跟踪框架，都需要对每个子块进行处理，算法的计算量与子块的数量成正比。而在这些子块中，存在大量的信息冗余，而且会引入对跟踪结果产生干扰的背景信息，会引起视觉跟踪中的漂移问题，影响跟踪结果的准确性。

[0005] 由于存在上述缺陷和不足，本领域亟需做出进一步的完善和改进，设计一种视觉目标跟踪方法，使其能够克服现有技术中对跟踪目标区域进行固定方式分块方法的缺陷，以便满足复杂跟踪场景下的目标跟踪的需要。

发明内容

[0006] 针对现有技术的以上缺陷或改进需求，本发明提供了一种基于自适应子块筛选的多线索视觉跟踪方法，该方法为一种针对遮挡等复杂跟踪场景提高视觉跟踪算法性能的目标表观表示和目标定位方法，依据先验知识对子块进行划分和筛选，用更具视觉显著性和频域响应高的子块表示目标，融合表观、空域和时域信息对目标的运动进行估计，从而提高视觉跟踪的准确性和对不同场景的适应能力。该方法可用于交通流量或社会监控等系统中对目标人或车辆进行自动监控。

[0007] 为实现上述目的，按照本发明的一个方面，提供了一种基于自适应子块筛选的多线索视觉跟踪方法，其特征在于，具体包括以下步骤：

[0008] S1.采集图像信息，将图像信息进行划分得到目标区域，对目标区域进行均匀分块，并将目标区域的图片进行显著性检测，根据视觉特征显著程度得到候选子块集合；

[0009] S2.对步骤S1中得到的候选子块集合中的候选子块进行多尺度采样，并对采样进行核相关滤波，保留候选子块集合中频域响应较大的子块，确定这些子块的尺度，更新候选子块集合；

[0010] S3.将候选子块集合中的子块作为跟踪目标，对子块进行运动估计，计算每个子块的表观线索aci、空间分布线索sci和运动轨迹线索mci，由此计算得到跟踪目标的当前位置；

[0011] S4.通过步骤S3中得到的跟踪目标的当前位置，对当前目标区域中的每个子块位置对应的高斯核进行更新，将不满足空间内聚性或运动一致性的子块重新初始化。

[0012] 进一步优选地，在步骤S1中，对子块进行划分得到候选子块集合的过程具体包括以下步骤：

[0013] S1.1采集一帧图像，得到目标区域,并对目标区域进行均匀分块；

[0014] S1.2将目标区域图片作为显著性检测算法输入，得到目标区域的显著性图；

[0015] S1.3对步骤S1.2中得到的显著性图进行高斯平滑去除噪声点；

[0016] S1.4取显著性图的最大值点位置(x,y)，根据步骤S1.1的子块划分确定最大值点位置(x,y)所在子块，将其加入候选子块集合；

[0017] S1.5将显著性图进行更新，去除步骤1.4中最大值点位置所在的子块，重复步骤S1.4，得到新子块，与候选子块集合中的子块进行重合度计算，如果均小于阈值τ，则将新子块加入候选子块集合；

[0018] 优选地，在步骤S1.2中，所述显著性检测算法为FT算法。

[0019] 优选地，对采样后的候选子块进行尺度筛选时，具体包括以下步骤：

[0020] S2.1确定候选子块集合中的子块的搜索区域范围和搜索区域模板尺寸；

[0021] S2.2根据搜索区域范围和搜索区域模板尺寸初始化高斯核；

[0022] S2.3将每个子块的频域样本按搜索区域模板尺寸进行缩放，并提取HOG特征，进行FFT变换得到子块的多尺度样本；

[0023] S2.4将子块的多尺度样本与相应的高斯核进行相关性滤波，得到频域响应，去除频域响应较低的子块，更新候选子块集合；

[0024] S2.5按照如下公式计算每个样本的PSR值，在每个尺度下对所有子块的PSR值求和，其中：

[0025] 其中gmax为响应的峰值，s为响应的旁瓣区域，μs和σs分别为旁瓣区域的均值和标准差；

[0026] S2.6分析PSR值的求和值，将PSR值求和值最大的子块的尺度确定为最佳尺度。

[0027] 优选地，步骤S3中，对候选子块集合中的子块进行运动估计的具体步骤如下：

[0028] S3.1判断子块的运动，在候选子块集合中剔除在相邻帧图像中的位移过大或者在相邻图像帧中的运动方向相对平均位移方向偏移过大的子块；

[0029] S3.2计算每个子块的表观线索aci、空间分布线索sci和运动轨迹线索mci，公式如下：

[0030] aci＝PSRi

[0031]

[0032]

[0033] 其中PSRi是经归一化后第i块的PSR值，M表示经过步骤S3.1后剩余子块的数目，(xi,yi)表示第i块的坐标，(xs,ys)表示所有块的中心位置，σs为距离标准差，(Δxi,Δyi)表示第i块的运动向量，(Δxm,Δym)表示所有块的平均运动向量，σm为运动标准差；

[0034] S3.3计算wi＝rciwr+sciws+mciwm，其中(wr,ws,wm)表示三种线索的权重；

[0035] S3.4令 即得到跟踪目标的当前位置。

[0036] 具体地，视觉目标跟踪的流程一般分为表观建模、目标运动估计与定位、模型更新等几个阶段。本发明在视觉跟踪各个阶段所采用的技术方案如下：

[0037] 目标表观建模阶段。为使对目标表观进行表示的中层特征(即子块)更具表达能力，在视频第1帧对手工获得的目标区域首先进行显著性检测，得到的显著性图作为子块划分的先验知识。图像的显著性反映了图像不同部位视觉特征的重要程度，往往视觉上更突出的部分更容易被捕捉，更有利于目标的定位。显著性检测算法可采用现有的算法，本发明中以FT显著性检测算法为例进行说明。由FT算法得到的显著性图可能存在异常值，为去除噪声点，对显著性图进行高斯平滑。对目标区域进行快速的均匀分块，高斯平滑后显著性值最大的部分所对应的子块选为第1个候选子块。对去除第1个候选子块区域后的显著性图重复上述操作，得到第2个子块。为保证子块的多样性，避免子块集中于目标的某个局部小区域，计算第2个子块与第1个候选子块的重合度，如果重合度高于一定阈值，第2个子块会被选为候选子块。重复上述步骤，得到候选子块集。

[0038] 为适应实际应用中运动对象经常出现的由远及近或由近及远的尺度变化，对每个候选子块采用图像金字塔进行多尺度采样。接下来通过频域响应确定当前帧中最适合的子块尺度。对子块的多尺度样本，提取图像的HOG特征，进行FFT变换，得到频域的样本。频域的图像样本与对应位置的高斯核进行相关性滤波，求取响应进一步对子块进行筛选，并计算块的PSR值。对当前尺度下所有块的PSR值求和，值最大的尺度即为当前目标的尺度。

[0039] 通过这个阶段的筛选获得的子块，能突出目标的视觉显著性，并适应目标当前的尺度变化。子块的数量相比均匀分块有大幅的减少。

[0040] 目标运动估计与定位阶段。不同类型的线索包含了对象的不同属性，基于单一线索的视觉跟踪往往对跟踪场景的适应能力有限，对基于中层特征子块的视觉跟踪更是如此。为了目标表观建模阶段子块的筛选方法相匹配，本发明综合子块的表观线索、子块的空间分布线索和子块的运动轨迹线索来实现目标的运动估计。其中，子块的表观线索表明子块的视觉可靠性，子块的空间分布反映子块对目标中心位置的内聚程度，子块的运动轨迹线索约束各个子块的运动一致性。三种线索中以视觉可靠性为主，以空间分布和运动约束为辅，通过多线索加权的方式进行目标的最终定位。

[0041] 模型更新阶段。本发明中模型更新包括两个方面。一是通过运动估计得到目标的当前位置后，会对当前目标的每个子块位置对应的高斯核进行更新。二是对不满足空间内聚性或运动一致性的子块重新进行初始化。

[0042] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下优点和有益效果：

[0043] (1)本发明提供的子块划分和筛选方法，可以找到能更好表示目标的中层特征，去除背景的干扰；多线索的目标运动估计框架，能充分利用中层特征的视觉限制性和高层语言的先验约束，使得目标的定位更加准确。

[0044] (2)本发明的方法，经过多尺度样本筛选后，去除了大量无效子块，减少了信息冗余，能够减少算法的计算量，提高计算结果的准确性和速度。

[0045] (3)本发明的方法步骤简单且计算量小、跟踪结果准确，适合在具有遮挡的情况下进行视觉目标跟踪。

附图说明

[0046] 图1是本发明的子块划分示意图；

[0047] 图2是沿图1中所述子块划分后，利用图像金字塔和KCF跟踪进行子块及尺度筛选的示意图；

[0048] 图3是多线索目标运动估计与定位示意图；

[0049] 图4是本发明的多线索视觉跟踪方法的步骤流程图。

具体实施方式

[0050] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

[0051] 如图4所示的多线索视觉跟踪方法的步骤流程图，其中，步骤1和步骤2在目标建模阶段实施，步骤3在目标运动估计与定位阶段实施。

[0052] 步骤1子块划分，如图1所示。

[0053] 步骤1.1采集第1帧图像，手工得到目标区域。对目标区域进行均匀分块。

[0054] 步骤1.2将目标区域图片作为显著性检测算法(例如FT算法)输入，得到目标图片的显著性图。

[0055] 步骤1.3对显著性图进行高斯平滑去除噪声点。

[0056] 步骤1.4取显著性图最大值点位置(x,y)，确定(x,y)所在块，将其加入候选子块集合。显著性图更新。

[0057] 步骤1.5重复步骤1.4，得到新子块。与候选子块集合中的子块进行重合度计算，如果均小于阈值τ，则将新子块加入候选子块集合。

[0058] 步骤2子块尺度筛选，如图2所示。

[0059] 步骤2.1确定子块的搜索区域范围和搜索区域模板尺寸。

[0060] 步骤2.2根据搜索区域范围和搜索区域模板尺寸初始化高斯核。

[0061] 步骤2.3将每个子块的频域样本按搜索区域模板尺寸进行缩放，并提取HOG特征，进行FFT变换得到子块的多尺度样本。

[0062] 步骤2.4将子块的多尺度样本与相应的高斯核进行相关性滤波，得到频域响应，保留频域响应较大的子块，更新候选子块集合。

[0063] 步骤2.5按照如下公式计算每个样本的PSR(峰-旁瓣比，Peak-to-Sidelobe Ratio)值，在每个尺度下对所有子块的PSR值求和。 其中gmax为响应的峰值，s为响应的旁瓣区域，μs和σs分别为旁瓣区域的均值和标准差。

[0064] 步骤2.6确定最佳尺度，即使得PSR值求和值最大的尺度。

[0065] 步骤3多线索运动估计与目标定位，如图3所示。

[0066] 步骤3.1判断子块的运动。在候选子块集合中剔除在相邻帧中的位移过大或者在相邻帧中的运动方向相对平均位移方向偏移过大的子块。

[0067] 步骤3.2计算每个子块的表观线索aci、空间分布线索sci和运动轨迹线索mci，公式如下：

[0068] aci＝PSRi

[0069]

[0070]

[0071] 其中PSRi是经归一化后第i块的PSR值，M表示经过步骤3.1后剩余子块的数目，(xi,yi)表示第i块的坐标，(xs,ys)表示所有块的中心位置，σs为距离标准差，(Δxi,Δyi)表示第i块的运动向量，(Δxm,Δym)表示所有块的平均运动向量，σm为运动标准差。

[0072] 步骤3.3计算wi＝rciwr+sciws+mciwm，其中(wr,ws,wm)表示三种线索的权重，本实例中取(0.8,01,0.1)。

[0073] 步骤3.4令 即得到目标中心位置。

[0074] 步骤4模型更新

[0075] 步骤4.1根据步骤3.4得到的当前帧目标更新各对应子块位置的高斯核。

[0076] 步骤4.2不满足空间内聚性或运动一致性的子块重新初始化。

[0077] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。