一种基于双模板尺度自适应相关滤波目标跟踪方法及系统

摘要

本发明公开了一种基于双模板尺度自适应相关滤波目标跟踪方法及系统。其方法包括根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签、确定平移滤波器和尺度滤波器模板、判断小模板平移滤波器响应峰值是否满足需求、判断大模板平移滤波器响应峰值是否满足需求、根据平移滤波器预测目标中心在当前帧的位置、根据尺度滤波器更新尺度因子。本发明的方法及系统解决了目标快速运动和背景杂乱情况时，跟踪器性能不稳定的问题的技术问题。

权利要求

1.一种基于双模板尺度自适应相关滤波目标跟踪方法，其特征在于包括以下步骤：

根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big；

确定平移滤波器和尺度滤波器模板：在目标中心位置(xn,yn)，根据搜索框尺寸和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

创建N个尺度等级的尺度高斯标签ysf，其中N值事先设置，在目标中心位置(xn,yn)，根据尺度因子currentScaleFactor和N个尺度等级截取N个不同尺寸的图像块，记为patch_for_scale_train_i_n，其中i表示尺度等级，1≤i≤N；将N个不同尺寸的图像块缩放到搜索框尺寸window_sz_small或window_sz_big后，提取图像块特征得到尺度特征样本xsf_for_train_i_n，利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B；

判断小模板平移滤波器响应峰值是否满足需求：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入步骤：预测目标中心在当前帧的位置，否则判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求；

判断大模板平移滤波器响应峰值是否满足需求：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small；

根据平移滤波器预测目标中心在当前帧的位置：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)；

根据尺度滤波器更新尺度因子：在平移预测的目标中心位置(xn,yn)，根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块，记为patch_for_scale_det_i_n；提取图像块特征得到尺度特征样本xsf_for_det_i_n，根据图像块尺度特征样本xsf_for_det_i_n组成尺度特征样本矩阵Z，利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale，令尺度因子currentScaleFactor＝max_response_scale，返回步骤：确定平移滤波器和尺度滤波器模板。

2.根据权利要求1所述的基于双模板尺度自适应相关滤波目标跟踪方法，其特征在于，所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1

3.根据权利要求1所述的基于双模板尺度自适应相关滤波目标跟踪方法，其特征在于，所述平移滤波器模板 其中，α表示α_small或α_big， 表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是正则化参数， 是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本；所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式中的分子 和分母中 分别计算得到尺度滤波器模板A＝sf_den和B＝sf_num，其中，表示共轭，G表示尺度高斯标签的傅里叶变换，X表示尺度特性样本xsf的傅里叶变换，d表示图像块的特征通道数量，Hl表示第l通道的尺度滤波器，λ′表示正则化参数。

4.根据权利要求1所述的基于双模板尺度自适应相关滤波目标跟踪方法，其特征在于，所述 表示逆傅里叶变换，表示傅里

叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵；所述 表示逆傅里叶变换，表示傅里叶变换，

kxz表示样本x和待检测样本z的核矩阵的生成矩阵。

5.根据权利要求1所述的基于双模板尺度自适应相关滤波目标跟踪方法，其特征在于，所述 其中， 表示逆傅里叶变换，A和B分别

表示尺度滤波器模板A＝sf_den和B＝sf_num，Z表示尺度特征样本矩阵，d表示图像块的特征通道数量，l表示通道编号，λ′表示正则化参数。

6.一种基于双模板尺度自适应相关滤波目标跟踪系统，其特征在于包括：

视频序列；

计算机；

以及

一个或多个程序，其中所述一个或多个程序被存储在计算机的存储器中，并且被配置成由所述计算机的处理器执行，所述程序包括：

根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big；

确定平移滤波器和尺度滤波器模板模块：在目标中心位置(xn,yn)，根据搜索框尺寸和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

创建N个尺度等级的尺度高斯标签ysf，其中N值事先设置，在目标中心位置(xn,yn)，根据尺度因子currentScaleFactor和N个尺度等级截取N个不同尺寸的图像块，记为patch_for_scale_train_i_n，其中i表示尺度等级，1≤i≤N；将N个不同尺寸的图像块缩放到搜索框尺寸window_sz_small或window_sz_big后，提取图像块特征得到尺度特征样本xsf_for_train_i_n，利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B；

判断小模板平移滤波器响应峰值是否满足需求模块：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入预测目标中心在当前帧的位置模块，否则判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块；

判断大模板平移滤波器响应峰值是否满足需求模块：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small；

根据平移滤波器预测目标中心在当前帧的位置模块：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)；

根据尺度滤波器更新尺度因子模块：在平移预测的目标中心位置(xn,yn)，根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块，记为patch_for_scale_det_i_n；

提取图像块特征得到尺度特征样本xsf_for_det_i_n，根据图像块尺度特征样本xsf_for_det_i_n组成尺度特征样本矩阵Z，利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale，令尺度因子currentScaleFactor＝max_response_scale，返回确定平移滤波器和尺度滤波器模板模块。

7.根据权利要求6所述的基于双模板尺度自适应相关滤波目标跟踪系统，其特征在于，所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1

8.根据权利要求6所述的基于双模板尺度自适应相关滤波目标跟踪系统，其特征在于，所述平移滤波器模板 其中，α表示α_small或α_big， 表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是正则化参数， 是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本；所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式中的分子 和分母中 分别计算得到尺度滤波器模板A＝sf_den和B＝sf_num，其中，表示共轭，G表示尺度高斯标签的傅里叶变换，X表示尺度特性样本l

xsf的傅里叶变换，d表示图像块的特征通道数量，H表示第l通道的尺度滤波器，λ′表示正则化参数。

9.根据权利要求6所述的基于双模板尺度自适应相关滤波目标跟踪系统，其特征在于，所述 表示逆傅里叶变换，表示傅里

叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵；所述 表示逆傅里叶变换，表示傅里叶变换，

kxz表示样本x和待检测样本z的核矩阵的生成矩阵。

10.根据权利要求6所述的基于双模板尺度自适应相关滤波目标跟踪系统，其特征在于，所述 其中， 表示逆傅里叶变换，A和B分

别表示尺度滤波器模板A＝sf_den和B＝sf_num，Z表示尺度特征样本矩阵，d表示图像块的特征通道数量，l表示通道编号，λ′表示正则化参数。

说明书

一种基于双模板尺度自适应相关滤波目标跟踪方法及系统

技术领域

[0001] 本发明属于计算视觉目标跟踪领域，特别涉及一种基于双模板尺度自适应相关滤波目标跟踪方法及系统。

背景技术

[0002] 视觉跟踪是计算机视觉的一个重要分支，广泛运用在机器人、监督系统等方面。执行视觉跟踪任务时，通常是根据视频序列第一帧目标的位置与尺寸预测后续目标的状态，由于可能出现部分遮挡、快速运动、运动模糊、背景杂乱、照明变化等情况，导致跟踪出现漂移甚至丢失，因此需要采用跟踪算法。

[0003] 跟踪算法通常分为生成式跟踪方法和判别式跟踪方法。生成式跟踪方法是对前景目标进行建模，利用前景模型搜索后续帧中最相似的区域作为预测位置。判别式跟踪方法是将跟踪问题看作二分类问题，利用前景信息和背景信息训练模板判定最佳预测位置。

[0004] 其中，相关滤波跟踪方法是最常用的一种判别式跟踪方法，最早由Bolme提出MOSSE算法，在此基础上，Henriques先后提出CSK算法和KCF算法，在提高性能的同时保证了较高运行速度。但在遇到复杂的运动情况时，例如，当目标运动速度过快时，目标可能出现在搜索框边缘或搜索框外部，导致跟踪框漂移甚至丢失目标；当目标的尺度发生变化时，跟踪框无法适应目标的尺度变化，导致跟踪框中包含大量背景信息或仅包含目标的局部信息；当目标的形状发生变化时，此前提取的特征无法准确的描述目标，导致跟踪算法的判别能力严重下降。

[0005] 需要一种能够解决当目标快速运动和背景杂乱情况时跟踪器性能不稳定问题的技术方案，为此，提出一种双模板尺度自适应相关滤波实时跟踪方法及系统。

发明内容

[0006] 本发明所要解决的技术问题是目标快速运动和背景杂乱情况时，跟踪器性能不稳定的问题，提出一种基于双模板尺度自适应相关滤波目标跟踪方法及系统。

[0007] 事先建立用于表示图像像素位置的x-y坐标系，目标中心位置用(xn,yn)表示，其中n表示帧数。视频序列第一帧的目标中心位置(x1,y1)事先设置，目标尺寸(high,width)事先设置，尺度因子currentScaleFactor的初始值为1。

[0008] 本发明的基于双模板尺度自适应相关滤波目标跟踪方法，包括以下步骤：

[0009] 根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。

[0010] 所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1

[0011] 确定平移滤波器和尺度滤波器模板：在目标中心位置(xn,yn)，根据搜索框尺寸和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

[0012] 创建N个尺度等级的尺度高斯标签ysf，其中N值事先设置，在目标中心位置(xn,yn)，根据尺度因子currentScaleFactor截取N个不同尺寸的图像块，记为patch_for_scale_train_i_n，其中i表示尺度等级，1≤i≤N；将N个不同尺寸的图像块缩放到搜索框尺寸window_sz_small或window_sz_big后，提取图像块特征得到尺度特征样本xsf_for_train_i_n，利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B。

[0013] 所述根据搜索框尺寸和尺度因子currentScaleFactor截取的图像块大小为patch_sz＝window_sz×currentScaleFactor。

[0014] 所述平移滤波器模板 其中 ，α表示α_small或表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是
正则化参数， 是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。

[0015] 所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式 中的分子 和分母中 分别计算得到尺度滤波器模板A＝sf_den和B＝sf_num，其中，表示共轭，G表示尺度高斯标签的傅里叶变换，X表示尺度特性样本xsf的傅里叶变换，d表示图像块的特征通道数量，Hl表示第l通道的尺度滤波器，λ′表示正则化参数。

[0016] 判断小模板平移滤波器响应峰值是否满足需求：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入步骤：预测目标中心在当前帧的位置，否则判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求。

[0017] 所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。

[0018] 判断大模板平移滤波器响应峰值是否满足需求：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。

[0019] 所述 表示逆傅里叶变换，表示傅xz
里叶变换，⊙表示矩阵元素点乘运算符，k 表示样本x和待检测样本z的核矩阵的生成矩阵。

[0020] 根据平移滤波器预测目标中心在当前帧的位置：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)。

[0021] 根据尺度滤波器更新尺度因子：在平移预测的目标中心位置(xn,yn)，根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块，记为patch_for_scale_det_i_n；提取图像块特征得到尺度特征样本xsf_for_det_i_n，根据图像块尺度特征样本xsf_for_det_i_n组成待检测尺度特征样本矩阵Z，利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale，令尺度因子currentScaleFactor＝max_response_scale，返回步骤：确定平移滤波器和尺度滤波器模板。

[0022] 所述 其中， 表示逆傅里叶变换，尺度滤波器模板A＝sf_den和B＝sf_num，Z表示尺度特征样本矩阵，X表示尺度特性样本xsf的傅里叶变换，d表示图像块的特征通道数量，l(小写L)表示通道编号，λ′表示正则化参数。

[0023] 本发明的基于双模板尺度自适应相关滤波目标跟踪系统，包括：

[0024] 视频序列；

[0025] 计算机

[0026] 以及

[0027] 一个或多个程序，其中所述一个或多个程序被存储在计算机的存储器中，并且被配置成由所述计算机的处理器执行，所述程序包括：

[0028] 根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。

[0029] 所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1

[0030] 确定平移滤波器和尺度滤波器模板模块：在目标中心位置(xn,yn)，根据搜索框尺寸和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

[0031] 创建N个尺度等级的尺度高斯标签ysf，其中N值事先设置，在目标中心位置(xn,yn)，根据尺度因子currentScaleFactor截取N个不同尺寸的图像块，记为patch_for_scale_train_i_n，其中i表示尺度等级，1≤i≤N；将N个不同尺寸的图像块缩放到搜索框尺寸window_sz_small或window_sz_big后，提取图像块特征得到尺度特征样本xsf_for_train_i_n，利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B。

[0032] 所述根据搜索框尺寸和尺度因子currentScaleFactor截取的图像块大小为patch_sz＝window_sz×currentScaleFactor。

[0033] 所述平移滤波器模板 其中，α表示α_small或α_big，表示逆傅里叶变换，(·)*表示共轭， 表示高斯型标签的傅里叶变换，λ是正则化参数，是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。

[0034] 所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式 中的分子 和分母中 分别计算得到尺度滤波器模板A＝sf_den和B＝sf_num，其中，表示共轭，G表示尺度高斯标签的傅里叶变换，X表示尺度特性样本xsf的傅里叶变换，d表示图像块的特征通道数量，Hl表示第l(小写L)通道的尺度滤波器，λ′表示正则化参数。

[0035] 判断小模板平移滤波器响应峰值是否满足需求模块：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入预测目标中心在当前帧的位置模块，否则判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块。

[0036] 所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。

[0037] 判断大模板平移滤波器响应峰值是否满足需求模块：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。

[0038] 所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。

[0039] 根据平移滤波器预测目标中心在当前帧的位置模块：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)。

[0040] 根据尺度滤波器更新尺度因子模块：在平移预测的目标中心位置(xn,yn)，根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块，记为patch_for_scale_det_i_n；提取图像块特征得到尺度特征样本xsf_for_det_i_n，根据图像块尺度特征样本xsf_for_det_i_n组成待检测尺度特征样本矩阵Z，利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale，令尺度因子currentScaleFactor＝max_response_scale，返回步骤：确定平移滤波器和尺度滤波器模板模块。

[0041] 所述 其中， 表示逆傅里叶变换，尺度滤波器模板A＝sf_den和B＝sf_num，Z表示尺度特征样本矩阵，l(小写L)表示通道编号，X表示尺度特性样本xsf的傅里叶变换，d表示图像块的特征通道数量，λ′表示正则化参数。

[0042] 本发明具有的优点是：

[0043] (1)当搜索范围较小且目标运动速度较快时，小尺寸滤波器切换为大尺寸滤波器，扩大搜索范围，为快速准确预测目标位置提供依据；

[0044] (2)当面对杂乱背景的情况时，大尺寸滤波器切换为小尺寸滤波器，缩小搜索范围，减轻背景对响应输出的影响，为快速准确预测目标位置提供依据。

附图说明

[0045] 图1是本发明实施例的基于双模板尺度自适应相关滤波目标跟踪方法流程图；

[0046] 图2是本发明实施例的基于双模板尺度自适应相关滤波目标跟踪系统结构示意图。

具体实施方式

[0047] 下面对本发明优选实施例作详细说明。

[0048] 事先建立用于表示图像像素位置的x-y坐标系，目标中心位置用(xn,yn)表示，其中n表示帧数。视频序列第一帧的目标中心位置(x1,y1)事先设置，目标尺寸(high,width)事先设置，尺度因子currentScaleFactor的初始值为1。本实施例中，图像像素位置坐标系中，图像左上角像素点的位置为(1,1)，第一帧图像中给出目标中心位置(x1,y1)＝(47,55)，目标尺寸为10像素×10像素，即high＝10，width＝10。

[0049] 本发明的基于双模板尺度自适应相关滤波目标跟踪方法，包括以下步骤：

[0050] 根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。

[0051] 所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1

[0052] 确定平移滤波器和尺度滤波器模板：在目标中心位置(xn,yn)，根据搜索框尺寸和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

[0053] 创建N个尺度等级的尺度高斯标签ysf，其中N值事先设置，在目标中心位置(xn,yn)，根据尺度因子currentScaleFactor截取N个不同尺寸的图像块，记为patch_for_scale_train_i_n，其中i表示尺度等级，1≤i≤N；将N个不同尺寸的图像块缩放到搜索框尺寸window_sz_small或window_sz_big后，提取图像块特征得到尺度特征样本xsf_for_train_i_n，利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B。

[0054] 所述根据搜索框尺寸和尺度因子currentScaleFactor截取的图像块大小为patch_sz＝window_sz×currentScaleFactor。

[0055] 所述平移滤波器模板 其中， 表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是正则化参数， 是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。

[0056] 所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式 中的分子 和分母中 分别计算得到尺度滤波器模板A＝sf_den和B＝sf_num，其中，表示共轭，G表示尺度高斯标签的傅里叶变换，X表示尺度特性样本xsf的傅里叶变换，d表示图像块的特征通道数量，Hl表示第l通道的尺度滤波器，λ′表示正则化参数。本实施例中，在目标中心位置(47,55)，根据公式patch_size＝window_sz×currentScaleFactor截取图像块patch_small_for_train_1、patch_big_for_train_
1，其中patch_size表示图像块尺寸，window_size表示搜索框尺寸，currentScaleFactor表示尺度因子(尺度因子初始值为1)，然后将图像块都缩放到标准搜索框尺寸window_sz_small和window_sz_big，分别提取图像块特征，得到平移特征样本xf_small_for_train_1、xf_big_for_train_1，其尺寸分别为(20,20)，(30,30)，这里余弦窗相当于一个权重矩阵，赋予中心目标区域更大的权重，越靠近边缘权重越小，最终根据岭回归训练模型，利用特征样本和高斯型标签，依据公式 计算得到平移滤波器模板α_small、α_
big。

[0057] 事先设置的N＝33，根据第一帧给定的目标中心位置(47,55)和目标尺寸，创建33个尺度等级的尺度高斯标签ysf，在目标中心位置根据目标尺度因子(初始目标尺度因子为1)，截取33个不同尺寸的图像块patch_for_scale_train_1_1、patch_for_scale_train_2_
1、……、patch_for_scale_train_33_1，然后将图像块都缩放到标准搜索框尺寸(window_sz_small和window_sz_big)，分别提取图像块特征(二维矩阵)并将二维特征转换为一维特征(将二维矩阵序列化)得到图像块特征样本xsf_for_train_1_1、xsf_for_train_2_
1、……、xsf_for_train_33_1，将33个一维特征组成尺度特征样本xsf，最终利用尺度高斯标签和尺度特征样本，依据公式 中的分子 和分母中 分别计
算得到尺度滤波器模板A＝sf_den和B＝sf_num。

[0058] 判断小模板平移滤波器响应峰值是否满足需求：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入步骤：预测目标中心在当前帧的位置，否则判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求。

[0059] 所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，令n＝n+1＝2，读取视频序列第2帧，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_small和当前目标尺度因子(currentScaleFactor＝1)截取图像块patch_small_for_det_2，将图像块都缩放到标准搜索框尺寸(此处已经是标准搜索框尺寸，无需缩放)，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_
2，其尺寸为(20×20)，利用模板α_small，依据公式
计算得到响应输出矩阵response_small以及
响应峰值max_response_small＝0.5，事先设置的响应峰值阈值T＝0.6，max_response_small

[0060] 判断大模板平移滤波器响应峰值是否满足需求：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。

[0061] 所述 表示逆傅里叶变换，表示傅xz
里叶变换，k 表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_big和当前目标尺度因子
(currentScaleFactor＝1)截取图像块patch_big_for_det_2，将图像块都缩放到标准搜索框尺寸(此处已经是标准搜索框尺寸，无需缩放)，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_2，其尺寸为(30×30)，利用模板α_big，依据公式计算得到响应输出矩阵response_big以及响应峰值
max_response_big＝0.55，此时max_response_big>max_response_small，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big＝0.55。

[0062] 根据平移滤波器预测目标中心在当前帧的位置：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)。本实施例中，根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第2帧的位置(x2,y2)＝(50,55)。

[0063] 根据尺度滤波器更新尺度因子：在平移预测的目标中心位置(xn,yn)，根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块，记为patch_for_scale_det_i_n；提取图像块特征得到尺度特征样本xsf_for_det_i_n，根据图像块尺度特征样本xsf_for_det_i_n组成待检测尺度特征样本矩阵Z，利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale，令尺度因子currentScaleFactor＝max_response_scale，返回步骤：确定平移滤波器和尺度滤波器模板。

[0064] 所述 其中， 表示逆傅里叶变换，尺度滤波器模板A＝sf_den和B＝sf_num，Z表示尺度特征样本矩阵，X表示尺度特性样本xsf的傅里叶变换，d表示图像块的特征通道数量，l表示通道编号，λ′表示正则化参数。本实施例中，在平移预测的目标中心位置(50,55)上，根据当前尺度因子(currentScaleFactor＝
1)，截取33个尺度等级的图像块patch_for_scale_det_1_2、patch_for_scale_det_2_
2、……、patch_for_scale_det_33_2，然后将图像块都缩放到标准搜索框尺寸(window_sz_small和window_sz_big)，分别提取图像块特征，得到图像块特征样本xsf_for_det_1_2、xsf_for_det_2_2、……、xsf_for_det_33_2并将二维特征转换为一维特征(将二维矩阵序列化)，将33个一维特征组成待检测尺度特征样本Z＝zsf，最终利用尺度滤波器模板A＝sf_den和B＝sf_num，依据公式 计算得到相应输出矩阵
response_scale以及响应峰值max_response_scale＝1.2，令currentScaleFactor＝max_response_scale＝1.2，返回步骤：确定平移滤波器和尺度滤波器模板。

[0065] 在步骤：确定平移滤波器和尺度滤波器模板中，在当前帧目标中心位置(50,55)，根据搜索框尺寸和目标尺度因子(currentScaleFactor＝1.2)截取图像块patch_small_for_train_2(24×24)、patch_big_for_train_2(36×36)，然后将图像块都缩放到标准搜索框尺寸，分别提取图像块特征，然后添加余弦窗得到平移特征样本xf_small_for_train_2、xf_big_for_train_2，利用线性插值更新平移滤波器模板α_small、α_big。

[0066] 在目标中心位置(50,55)，根据目标尺度因子(currentScaleFactor＝1.2)，截取33个图像块patch_for_scale_train_1_2、patch_for_scale_train_2_2、……、patch_for_scale_train_33_2，然后将图像块都缩放到标准搜索框尺寸，分别提取图像块特征，得到图像块特征样本xsf_for_train_1_2、xsf_for_train_2_2、……、xsf_for_train_N_2，利用线性插值更新尺度滤波器模板A和B。

[0067] 更新平移滤波器和尺度滤波器后，读取视频序列下一帧，按照上述步骤执行，直到视频最后一帧。

[0068] 本实施例的基于双模板尺度自适应相关滤波目标跟踪方法流程图，如图1所示。

[0069] 本实施例的基于双模板尺度自适应相关滤波目标跟踪系统，包括：

[0070] 视频序列；

[0071] 计算机

[0072] 以及

[0073] 一个或多个程序，其中所述一个或多个程序被存储在计算机的存储器中，并且被配置成由所述计算机的处理器执行，所述程序包括：

[0074] 根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。

[0075] 所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1

[0076] 确定平移滤波器和尺度滤波器模板模块：在目标中心位置(xn,yn)，根据搜索框尺寸和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

[0077] 创建N个尺度等级的尺度高斯标签ysf，其中N值事先设置，在目标中心位置(xn,yn)，根据尺度因子currentScaleFactor截取N个不同尺寸的图像块，记为patch_for_scale_train_i_n，其中i表示尺度等级，1≤i≤N；将N个不同尺寸的图像块缩放到搜索框尺寸window_sz_small或window_sz_big后，提取图像块特征得到尺度特征样本xsf_for_train_i_n，利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B。

[0078] 所述根据搜索框尺寸和尺度因子currentScaleFactor截取的图像块大小为patch_sz＝window_sz×currentScaleFactor。

[0079] 所述平移滤波器模板 其中， 表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是正则化参数， 是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。

[0080] 所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式 中的分子 和分母中 分别计算得到尺度滤波器模板A＝sf_den和B＝sf_num，其中，表示共轭，G表示尺度高斯标签的傅里叶变换，X表示尺度特性样本xsf的傅里叶变换，d表示图像块的特征通道数量，Hl表示第l通道的尺度滤波器，λ′表示正则化参数。本实施例中，在目标中心位置(47,55)，根据公式patch_size＝window_sz×currentScaleFactor截取图像块patch_small_for_train_1、patch_big_for_train_
1，其中patch_size表示图像块尺寸，window_size表示搜索框尺寸，currentScaleFactor表示尺度因子(尺度因子初始值为1)，然后将图像块都缩放到标准搜索框尺寸window_sz_small和window_sz_big，分别提取图像块特征，得到平移特征样本xf_small_for_train_1、xf_big_for_train_1，其尺寸分别为(20,20)，(30,30)，这里余弦窗相当于一个权重矩阵，赋予中心目标区域更大的权重，越靠近边缘权重越小，最终根据岭回归训练模型，利用特征样本和高斯型标签，依据公式 计算得到平移滤波器模板α_small、α_
big。

[0081] 事先设置的N＝33，根据第一帧给定的目标中心位置(47,55)和目标尺寸，创建33个尺度等级的尺度高斯标签ysf，在目标中心位置根据目标尺度因子(初始目标尺度因子为1)，截取33个不同尺寸的图像块patch_for_scale_train_1_1、patch_for_scale_train_2_
1、……、patch_for_scale_train_33_1，然后将图像块都缩放到标准搜索框尺寸(window_sz_small和window_sz_big)，分别提取图像块特征(二维矩阵)并将二维特征转换为一维特征(将二维矩阵序列化)得到图像块特征样本xsf_for_train_1_1、xsf_for_train_2_
1、……、xsf_for_train_33_1，将33个一维特征组成尺度特征样本xsf，最终利用尺度高斯标签和尺度特征样本，依据公式 中的分子 和分母中 分别计
算得到尺度滤波器模板A＝sf_den和B＝sf_num。

[0082] 判断小模板平移滤波器响应峰值是否满足需求模块：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入预测目标中心在当前帧的位置模块，否则判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块。

[0083] 所述 表示逆傅里叶变换，表示傅里叶变换，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，令n＝n+1＝2，读取视频序列第2帧，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_small和当前目标尺度因子(currentScaleFactor＝1)截取图像块patch_small_for_det_
2，将图像块都缩放到标准搜索框尺寸(此处已经是标准搜索框尺寸，无需缩放)，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_2，其尺寸为(20×20)，利用模板α_small，依据公式 计算得到响应输出
矩阵response_small以及响应峰值max_response_small＝0.5，事先设置的响应峰值阈值T＝0.6，max_response_small

[0084] 判断大模板平移滤波器响应峰值是否满足需求模块：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。

[0085] 所述 表示逆傅里叶变换，表示傅里叶变换，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_big和当前目标尺度因子
(currentScaleFactor＝1)截取图像块patch_big_for_det_2，将图像块都缩放到标准搜索框尺寸(此处已经是标准搜索框尺寸，无需缩放)，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_2，其尺寸为(30×30)，利用模板α_big，依据公式计算得到响应输出矩阵response_big以及响应峰
值max_response_big＝0.55，此时max_response_big>max_response_small，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big＝0.55。

[0086] 根据平移滤波器预测目标中心在当前帧的位置模块：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)。本实施例中，根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第2帧的位置(x2,y2)＝(50,55)。

[0087] 根据尺度滤波器更新尺度因子模块：在平移预测的目标中心位置(xn,yn)，根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块，记为patch_for_scale_det_i_n；提取图像块特征得到尺度特征样本xsf_for_det_i_n，根据图像块尺度特征样本xsf_for_det_i_n组成待检测尺度特征样本矩阵Z，利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale，令尺度因子currentScaleFactor＝max_response_scale，返回确定平移滤波器和尺度滤波器模板模块。

[0088] 所述 其中， 表示逆傅里叶变换，尺度滤波器模板A＝sf_den和B＝sf_num，X表示尺度特性样本xsf的傅里叶变换，d表示图像块的特征通道数量，λ′表示正则化参数。本实施例中，在平移预测的目标中心位置(50,55)上，根据当前尺度因子(currentScaleFactor＝1)，截取33个尺度等级的图像块patch_for_scale_det_1_2、patch_for_scale_det_2_2、……、patch_for_scale_det_33_2，然后将图像块都缩放到标准搜索框尺寸(window_sz_small和window_sz_big)，分别提取图像块特征，得到图像块特征样本xsf_for_det_1_2、xsf_for_det_2_2、……、xsf_for_det_33_2并将二维特征转换为一维特征(将二维矩阵序列化)，将33个一维特征组成待检测尺度特征样本Z＝zsf，最终利用尺度滤波器模板A＝sf_den和B＝sf_num，依据公式
计算得到相应输出矩阵response_scale以及响应
峰值max_response_scale＝1.2，令currentScaleFactor＝max_response_scale＝1.2，返回确定平移滤波器和尺度滤波器模板模块。

[0089] 在确定平移滤波器和尺度滤波器模板模块中，在当前帧目标中心位置(50,55)，根据搜索框尺寸和目标尺度因子(currentScaleFactor＝1.2)截取图像块patch_small_for_train_2(24×24)、patch_big_for_train_2(36×36)，然后将图像块都缩放到标准搜索框尺寸，分别提取图像块特征，然后添加余弦窗得到平移特征样本xf_small_for_train_2、xf_big_for_train_2，利用线性插值更新平移滤波器模板α_small、α_big。

[0090] 在目标中心位置(50,55)，根据目标尺度因子(currentScaleFactor＝1.2)，截取33个图像块patch_for_scale_train_1_2、patch_for_scale_train_2_2、……、patch_for_scale_train_33_2，然后将图像块都缩放到标准搜索框尺寸，分别提取图像块特征，得到图像块特征样本xsf_for_train_1_2、xsf_for_train_2_2、……、xsf_for_train_N_2，利用线性插值更新尺度滤波器模板A和B。

[0091] 更新平移滤波器和尺度滤波器后，读取视频序列下一帧，按照上述步骤执行，直到视频最后一帧。

[0092] 本实施例的基于双模板尺度自适应相关滤波目标跟踪系统结构示意图，如图2所示。

[0093] 当然，本技术领域中的普通技术人员应当认识到，以上实施例仅是用来说明本发明的，而并非作为对本发明的限定，只要在本发明的范围内，对以上实施例的变化、变型都将落入本发明的保护范围。