一种多模板时空关联的局部反联合稀疏目标跟踪方法，属于机器视觉和模式识别领域，旨在挖掘不同模板间的时空关联信息，解决复杂场景下的目标跟踪问题，降低计算复杂度。在粒子滤波框架下，采集候选目标及划分局部图像块，用以构造过完备字典；进行目标模板样本集的初始化及更新，并按获取的帧号对各个模板进行标号；建立时序权重矩阵，作为引导稀疏表示的时序先验信息；利用字典对目标模板集中的所有样本进行加权联合稀疏表示，并将目标函数中的联合稀疏约束项替换为含参数高斯函数进行优化问题求解，得到稀疏表示系数矩阵；根据系数矩阵中非零元素分布的行连续性及权值大小，得到候选目标的重要性打分，从而实现稳定的目标跟踪。
一种多模板时空关联的局部反联合稀疏表示目标跟踪方法
技术领域
[0001] 本发明涉及机器视觉和模式识别领域，特别是一种多模板时空关联的局部反联合稀疏表示目标跟踪方法。
背景技术
[0002] 目标跟踪是计算机视觉领域的重要研究方向，目前已在公共交通智能监控系统、安防系统、人机交互等领域中得到广泛应用。由于跟踪场景复杂，目标表观模型常因受到外界物体的干扰及自身形变的影响发生较大且不可预估的变化，使得实现持续、稳定且鲁棒的目标跟踪面临巨大挑战。为解决上述问题，需要对待跟踪目标建立适当的表示模型，以克服目标在运动过程中的光照变化、尺度变化、局部遮挡等复杂情况。
[0003] 随着压缩感知技术的发展，基于稀疏表示的目标建模方法逐渐成为视觉跟踪中目标表示的一个重要分支。该方法对待跟踪目标在过完备字典上进行稀疏分解，通过较少的非零系数表示目标的主要信息。根据字典的构建方法，可以将基于稀疏表示建模的目标跟踪分为两类：稀疏表示跟踪和反稀疏表示跟踪。
[0004] 前者是利用动态目标模板和琐碎模板构建过完备字典，对每个候选目标分别进行稀疏表示。初始目标模板往往由视频前几帧已确定为正确的待跟踪目标构成，模板中的样本随着跟踪的进行不断更新使表示模型能够适应目标的外观变化。该方法将琐碎模板对候选目标进行表示的部分作为稀疏表示的残差并用来表示各个候选目标相对于模板的变化，跟踪结果由对应最小残差的候选目标确定。这种方法在光照变化等情况下具有较好的跟踪效果，但是当目标发生部分遮挡时，琐碎模板的表示具有二义性，既有可能是目标被遮挡的部分，也有可能是候选区域中包涵的背景，从而造成跟踪漂移甚至跟踪失败。
[0005] 反稀疏表示方法则利用候选目标构建过完备字典，对动态目标模板进行稀疏表示，通过表示系数对候选目标进行相似性度量。该方法不存在琐碎模板表示的二义性，并且也不会因为候选目标数量庞大影响跟踪速度，关键问题是如何在表示模型中充分利用目标模板中的信息从而更精确地度量各个候选目标。基于反稀疏表示的目标建模是一种新方法，由B Zhuang等人(2014)提出，他们利用候选目标构造的字典对正模板和负模板分别进行稀疏表示，并通过原子在构建不同正负模板时的权重对他们进行相似性度量。该方法中正负模板的数量总和仍然非常庞大，因此同样需要求解多次稀疏约束的目标函数。随后D Wang等人(2015)提出对最新更新的一个目标模板进行稀疏表示，并由稀疏表示系数权重对候选目标进行度量，但是该方法容易引起累计误差，若在一次模板更新中引入错误的模板，该模板会对随后的跟踪结果产生累计偏差。
[0006] 目前采用的基于稀疏表示的跟踪方法，不仅琐碎模板存在二义性，而且在粒子滤波框架下，为保证搜索阶段获取到目标的正确位置，对候选目标的采集数量非常庞大，因此该跟踪方法需要求解大量基于稀疏约束的目标函数，无法保证跟踪的实时性，同时在模板的在线学习更新中，没有考虑到提取模板时的时序信息；基于反稀疏表示的跟踪方法，同样需要求解多次稀疏约束的目标函数，计算复杂，且容易产生累计偏差。
发明内容
[0007] 基于以上技术问题，本发明提供了一种多模板时空关联的局部反联合稀疏表示目标跟踪方法,旨在挖掘不同模板间的时空关联信息，从而解决目标在局部遮挡、光照变化、尺度变化等复杂场景下的跟踪问题，同时降低了计算复杂度。
[0008] 本发明的技术方案如下：
[0009] 一种多模板时空关联的局部反联合稀疏表示目标跟踪方法，所述方法包括以下步骤：
[0010] 步骤1:对每一帧输入图像中目标的状态 进行手动标定，得到每一帧图像的目标模板tm(x,y,m)，依次对M帧输入图像进行手动标定，得到目标模板集 x与y表示坐标，s表示目标的状态，M表示目标模板个数，m表示目标模板序号，即时序标号，m∈[1,M]；
[0011] 步骤2:根据目标模板集 中第M个目标模板的状态，利用目标的运动模型对第c帧图像进行粒子采样，获取N个候选目标fn(x,y)，形成候选目标集c为需要进行目标跟踪的当前帧，N表示候选目标总个数，n表示候选目标的序号，n∈[1,N]；
[0012] 步骤3:将每一个候选目标fn(x,y)划分为K个图像块，得到候选目标局部图像块N个候选目标局部图像块 构成候选目标局部图像块集 采用相同方式将每一个目标模板tm(x,y,m)划分为K个图像块，得到目标模板局部图像块M个标模板局部图像块 构成目标模板局部图像块集 k
表示图像块的序号，K表示图像块的个数，k∈[1,K]；
[0013] 步骤4：根据目标模板局部图像块 与候选目标局部图像块 的余弦距离及目标模板对应的时序标号m计算时序权重矩阵
[0014] 步骤5：将候选目标局部图像块集 中k值相同的图像块提取出来，将图像块根据像素点排列位置按列展开得到列向量，构成一系列子字典Dk；将目标模板局部图像块集 中k值相同的图像块提取出来，将图像块根据像素点排列位置按列展开得到列向量，构成局部目标模板样本集Tk；
[0015] 步骤6:利用子字典Dk、局部目标模板样本集Tk和时序权重矩阵 构建目标函数，即局部加权反联合稀疏表示模型，将目标函数中的l0,2范数约束用含参数高斯函数Fσ(X)替换为平滑l0,2范数项进行优化求解，得到稀疏表示系数矩阵
[0016] 步骤7:利用稀疏系数矩阵 得到候选目标fn(x,y)的贡献指示性值筛选出重要候选目标集 r表示重要候选目标的个数，th表示将候选目标放
入重要候选目标集后的序号th∈[1,r]，IP(th)表示选出的重要候选目标的序号IP(th)∈[1,N]。
[0017] 步骤8:对重要候选目标集 中重要候选目标的状态sIP(i)进行加权打分，决定最终的跟踪结果
[0018] 步骤9:更新目标模板，重复上述步骤进行第c+1帧图像的跟踪。
[0019] 进一步的，目标的状态sm用6个变量进行表示{xm,ym,θm,sm,αm,φm}，其中xm表示目标状态的横坐标、ym表示纵坐标、θm表示旋转角度、sm表示尺度、αm表示纵横比和φm表示歪斜度，目标模板的时序标号m由目标模板对应的帧号由小到大进行排列确定。
[0020] 进一步的，第c帧的状态利用运动模型进行更新，采用的公式如下：
[0021]
[0022] 式中，{xM,yM,θM,sM,αM,φM}表示第M个目标模板的状态，{xc,yc,θc,sc,αc,φc}表示第c帧目标的状态，grand是一组满足高斯分布的随机数(0-1)，{Δx,Δy,Δθ,Δs,Δα,Δφ}表示目标状态的变化幅度。
[0023] 进一步的，对候选目标fn(x,y)和目标模板tm(x,y,m)均采用相同尺寸滑窗以相同步长划分成K个图像块，K表示图像块的个数；
[0024] 进一步的，所述步骤4中，计算时序权重矩阵 的公式为：
[0025]
[0026] 式中， 为第n个候选目标的第k个图像块， 为第m个目标模板的第k个图像块，δ表示归一化常数。
[0027] 进一步的，所述步骤5中，
[0028] 子字典Dk的构建方式如下：
[0029]
[0030] 式中，k表示图像块的序号，K表示图像块的个数，n表示候选目标的序号，N表示候选目标的总个数， 表示将第n个候选目标中第k个图像块根据像素点排列位置按列展开得到的列向量；
[0031] 局部目标模板样本集Tk由目标模板局部图像块集 中k值相同的图像块 构成，其中 表示将第m个目标模板的第k个图像
块根据像素点排列位置按列展开得到的列向量。
[0032] 进一步的，所述步骤6中，目标函数为：
[0033]
[0034] 式中，W表示时序权重矩阵 由[W1,W2,...,Wk]构成，其中Wk表示对第k个目标模板图像块集进行加权反联合稀疏表示时对应的时序权重矩阵，Dk表示子字典，Tk表示局部目标模板样本集，X为稀疏表示系数矩阵 由[X1,X2,...,Xk]构成，其中Xk表示不同目标模板中k值相同的图像块构成的表示系数矩阵， 表示对W和X做哈达玛乘积运算，ε表示的是误差上限值；
[0035] 式中，约束项 定义为：
[0036]
[0037] 其中l0,2范数约束定义为：
[0038]
[0039] 将l0,2范数约束替换为平滑l0,2范数项进行优化求解所采用的含参数高斯函数Fσ(X)为：
[0040]
[0041] 其中，
[0042] 式中，σ表示高斯函数方差，i∈[1,N]表示每个稀疏表示系数矩阵 的行号，该含参数高斯函数Fσ(X)实现对稀疏表示系数矩阵中非零行向量的计数，从而将非平滑非凸问题的目标函数求解转化为平滑问题求解，降低计算复杂度。
[0043] 进一步的，重要候选目标集 选择的具体步骤如下：
[0044] 步骤1.将稀疏表示系数矩阵 中的表示系数矩阵Xk映射为候选目标中局部图像块的贡献指示值Ik，采用公式如下：
[0045]
[0046] 式中，TH为自适应阈值；
[0047] 将||Xk[i,:]||2,i∈[1,N]按从大到小顺序排序，计算累计能量分布，能量值到达90％时对应的||Xk[i,:]||2的数值大小即为TH的取值；
[0048] 步骤2.将同一候选目标的局部图像块对应的贡献指示值Ik相加，得到各个候选目标的贡献值
[0049] 步骤3.将前r个贡献值最大的候选目标放入重要候选目标集 中，其余删除，式中th表示将候选目标放入重要候选目标集后的序号th∈[1,r]，IP(th)表示选出的重要候选目标的序号IP(th)∈[1,N]，r表示重要候选目标的个数。
[0050] 进一步的，所述步骤8中，按下式对重要候选目标的状态进行加权：
[0051]
[0052] 式中，表示最终的跟踪结果，sIP(th)表示各个重要候选目标对应的状态。r表示重要候选目标的个数，th表示将候选目标放入重要候选目标集后的序号th∈[1,r]，IP(th)表示选出的重要候选目标的序号IP(th)∈[1,N]，X为稀疏表示系数矩阵 X[IP(th),:]表示序号为IP(th)的重要候选目标对应的稀疏表示系数。
[0053] 进一步的，目标模板更新方式为：将当前跟踪结果对应的目标tc(x,y,c)作为新加入的目标模板，记为tM(x,y,M)，随机剔除目标模板tj(x,y,j)，的时序标号为j，目标模板时序标号小于j的保持不变，其余目标模板的时序标号减1，所有目标模板的时序标号范围保持在[1,M]。
[0054] 综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0055] 本发明构建反联合稀疏表示模型，充分挖掘各个目标模板之间的内在关联信息，避免由于前面跟踪的漂移对后续跟踪造成的累计误差影响；同时该模型还考虑到了不同观测时间下各个目标模板对目标表现模型建模中的重要性差异，使目标表观模型对跟踪过程中目标的外观变化更加鲁棒；
[0056] 该模型利用候选目标构建过完备字典，对目标模板样本进行联合稀疏表示，可以在只求解一次目标函数的基础上，获得对所有候选目标的相似度度量，大大降低了稀疏约束目标函数的求解次数；
[0057] 为防止目标局部变化对候选目标似然估计造成影响，本发明对同一目标不同局部图像块分别建模，在对每个候选目标进行相似性度量时，首先根据其对应的各个图像块在目标模板重构中的权重进行候选目标的筛选，然后再对重要候选目标加权决定最终的跟踪结果，该方法可以在目标存在局部遮挡变化场景中提高跟踪的成功率及准确度；
[0058] 解决了非平滑非凸条件下目标函数求解困难的问题，本发明利用带参数的高斯函数实现矩阵中非零行向量的计数功能，由于高斯函数具有可导性，该方法降低了优化求解算法的计算复杂度，提高跟踪效率。
附图说明
[0059] 图1为该发明的方法流程图；
[0060] 图2为该发明中目标模板集
[0061] 图3为该发明中的采样得到的候选目标集
[0062] 图4为该发明中筛选出的重要候选目标集
[0063] 图5为在视频序列”Football”上应用本发明的实验结果；
[0064] 图6为视频序列”Quadrocopter”上应用本发明的实验结果；
[0065] 图7为视频序列”Trellis”上应用本发明的实验结果。
具体实施方式
[0066] 本说明书中公开的所有特征，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0067] 下面结合附图对本发明作详细说明。
[0068] 附图1是该发明的总体流程图：
[0069] 步骤1:对每一帧输入图像中目标的状态 进行手动标定，得到每一帧图像的目标模板tm(x,y,m)，依次对M帧输入图像进行手动标定，得到目标模板集 (如附图2所示)，x与y表示坐标，s表示目标的状态，M表示目标模板个数，m表示目标模板序号，即时序标号，m∈[1,M]，目标模板的时序标号m由目标模板对应的帧号由小到大进行排列确定，其中目标的状态sm用6个变量进行表示{xm,ym,θm,sm,αm,φm}，xm表示目标状态的横坐标、ym表示纵坐标、θm表示旋转角度、sm表示尺度、αm表示纵横比和φm表示歪斜度；
[0070] 步骤2:根据目标模板集 中第M个目标模板的状态，利用目标的运动模型对第c帧图像进行粒子采样，获取N个候选目标fn(x,y)，形成候选目标集(如附图3所示)；c为需要进行目标跟踪的当前帧，N表示候选目标总个数，n表示候选目标的序号，n∈[1,N]，第c帧的状态利用运动模型进行更新，采用的公式如下：
[0071]
[0072] 式中，{xM,yM,θM,sM,αM,φM}表示第M个目标模板的状态，{xc,yc,θc,sc,αc,φc}表示第c帧目标的状态，grand是一组满足高斯分布的随机数(0-1)，{Δx,Δy,Δθ,Δs,Δα,Δφ}表示目标状态的变化幅度；
[0073] 步骤3:将每一个候选目标fn(x,y)划分为K个图像块，得到候选目标局部图像块N个候选目标局部图像块 构成候选目标局部图像块集 采用相同方式将每一个目标模板tm(x,y,m)划分为K个图像块，得到目标模板局部图像块M个标模板局部图像块 构成目标模板局部图像块集
其中对候选目标fn(x,y)和目标模板tm(x,y,m)均采用相同尺寸滑窗以相同步长进行划分，k表示图像块的序号，K表示图像块的个数，k∈[1,K]；
[0074] 步骤4:根据目标模板局部图像块 与候选目标局部图像块 的余弦距离及目标模板对应的时序标号m计算时序权重矩阵 计算公式为：
[0075]
[0076] 式中， 为第n个候选目标的第k个图像块， 为第m个目标模板的第k个图像块，δ表示归一化常数；
[0077] 步骤5:将候选目标局部图像块集 中k值相同的图像块提取出来，将图像块根据像素点排列位置按列展开得到列向量，构成一系列子字典Dk，具体构成方式如下：
[0078]
[0079] 式中，k表示图像块的序号，K表示图像块的个数，n表示候选目标的序号，N表示候选目标的总个数， 表示将第n个候选目标中第k个图像块根据像素点排列位置按列展开得到的列向量；
[0080] 将目标模板局部图像块集 中k值相同的图像块提取出来，将图像块根据像素点排列位置按列展开得到列向量，构成局部目标模板样本集Tk，具体构成方式如下：
[0081]
[0082] 式中， 表示将第m个目标模板的第k个图像块根据像素点排列位置按列展开得到的列向量；
[0083] 步骤6:利用子字典Dk、局部目标模板样本集Tk和时序权重矩阵 构建目标函数，即局部加权反联合稀疏表示模型，将目标函数中的l0,2范数约束用含参数高斯函数Fσ(X)替换为平滑l0,2范数项进行优化求解，得到稀疏表示系数矩阵 所采用的目标函数为：
[0084]
[0085] 式中，W表示时序权重矩阵 由[W1,W2,...,Wk]构成，其中Wk表示对第k个目标模板图像块集进行加权反联合稀疏表示时对应的时序权重矩阵，Dk表示子字典，Tk表示局部目标模板样本集，X为稀疏表示系数矩阵 由[X1,X2,...,Xk]构成，其中Xk表示不同目标模板中k值相同的图像块构成的表示系数矩阵， 表示对W和X做哈达玛乘积运算，ε表示的是误差上限值；
[0086] 式中，约束项 定义为：
[0087]
[0088] 其中l0,2范数约束定义为：
[0089]
[0090] 将l0,2范数约束替换为平滑l0,2范数项进行优化求解所采用的含参数高斯函数Fσ(X)为：
[0091]
[0092] 其中，
[0093] 式中，σ表示高斯函数方差，i∈[1,N]表示每个稀疏表示系数矩阵 的行号，该含参数高斯函数Fσ(X)实现对稀疏表示系数矩阵中非零行向量的计数，从而将非平滑非凸问题的目标函数求解转化为平滑问题求解，降低计算复杂度；
[0094] 步骤7:利用稀疏系数矩阵 得到候选目标fn(x,y)的贡献指示性值筛选出重要候选目标集 (如附图4所示)；r表示重要候选目标的个数，th表
示将候选目标放入重要候选目标集后的序号th∈[1,r]，IP(th)表示选出的重要候选目标的序号IP(th)∈[1，N]，重要候选目标集 选择的具体步骤如下：
[0095] 1).将稀疏表示系数矩阵 中的表示系数矩阵Xk映射为候选目标中局部图像块的贡献指示值Ik，采用公式如下：
[0096]
[0097] 式中，TH为自适应阈值；
[0098] 将||Xk[i,:]||2,i∈[1,N]按从大到小顺序排序，计算累计能量分布，能量值到达90％时对应的||Xk[i,:]||2的数值大小即为TH的取值；
[0099] 2).将同一候选目标的局部图像块对应的贡献指示值Ik相加，得到各个候选目标的贡献值
[0100] 3).将前r个贡献值最大的候选目标放入重要候选目标集 中，其余删除，式中th表示将候选目标放入重要候选目标集后的序号th∈[1,r]，IP(th)表示选出的重要候选目标的序号IP(th)∈[1,N]，r表示重要候选目标的个数；
[0101] 步骤9:对重要候选目标集 中重要候选目标的状态sIP(i)进行加权，决定最终的跟踪结果 对重要候选目标的状态进行加权采用的公式如下：
[0102]
[0103] 式中，表示最终的跟踪结果，sIP(th)表示各个重要候选目标对应的状态。r表示重要候选目标的个数，th表示将候选目标放入重要候选目标集后的序号th∈[1,r]，IP(th)表示选出的重要候选目标的序号IP(th)∈[1,N]，X为稀疏表示系数矩阵 X[IP(th),:]表示序号为IP(th)的重要候选目标对应的稀疏表示系数；
[0104] 步骤9:更新目标模板，重复上述步骤进行第c+1帧图像的跟踪，目标模板更新方式c M为：将当前跟踪结果对应的目标t (x,y,c)作为新加入的目标模板，记为t (x,y,M)，随机剔除目标模板tj(x,y,j)，的时序标号为j，目标模板时序标号小于j的保持不变，其余目标模板的时序标号减1，所有目标模板的时序标号范围保持在[1,M]。
[0105] 下面，结合具体实施例来对本发明做进一步详细说明。
[0106] 具体实施例
[0107] 实施例1
[0108] 附图5为在“Football”序列上的实验结果。该视频中目标在运动过程发生旋转，被周围物体部分遮挡，并且背景杂乱。利用本发明所采用的多模板时空关联的局部反联合稀疏表示目标跟踪方法,可以更加充分地挖掘各个目标模板相似的部分，从而利用未被遮挡的目标图像块表示模型对候选目标进行筛选。实验表明该方法对目标的局部变化较为鲁棒。
[0109] 实施例2
[0110] 附图6为在“Quadrocopter”序列上的实验结果。该视频中的目标运动速度较快，红外成像导致目标分辨率较低。在跟踪过程中，利用目标运动模型对下一帧目标可能出现的位置和状态进行预测，将候选目标选择问题建模为重构目标模板贡献大小问题，并对多个候选目标打分，联合决定最终的跟踪结果，实验结果表明该方法可以很好地解决目标快速运动问题及分辨率低的问题。
[0111] 实施例3
[0112] 附图7为在“Trellis”序列上的实验结果。目标表观模型受光照变化、尺度变化以及目标旋转等的影响。基于余弦距离的度量方法具有对光照变化鲁棒性强的特点，并且该视频中目标是渐变的，可以更加充分地利用最近邻模板对候选目标进行选择，同时对多模板进行多任务学习可以防止错误模板的引入对跟踪造成的累计误差影响。实验结果证明本发明能够克服目标的光照变化、尺寸改变以及旋转。
[0113] 如上所述即为本发明的实施例。本发明不局限于上述实施方式，任何人应该得知在本发明的启示下做出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。
