本发明公开一种基于散射描述子的目标跟踪方法，主要解决目标发生漂移、遮挡、尺度变小、快速运动变化导致跟踪失败的问题。其实现步骤为：（1）输入一段视频第一帧，人工标记出待跟踪目标；（2）建立跟踪目标模型；（3）计算第一帧待跟踪目标的灰度位置直方图；（4）载入新一帧视频图像，获取候选目标和搜索窗，并提取搜索窗散射描述子；（5）计算候选目标的灰度位置直方图，判断目标是否发生遮挡；（6）若目标没有发生遮挡，利用四邻域搜索方法进行匹配跟踪，更新跟踪目标模型；（7）若目标发生遮挡，考虑目标尺度变小对遮挡的影响进行跟踪；（8）输出跟踪位置，执行下一帧。本发明可用于交通管制、安全监测、医学图像方面。
1.一种基于散射描述子的目标跟踪方法，包括以下步骤：
(1)输入一段视频的第一帧，人工标记出待跟踪目标，得到跟踪框位置，将标记出的待跟踪目标定义为模板目标；
(2)初始化待跟踪目标的运动位移量，并以跟踪框位置为中心获取搜索窗；
3a)对搜索窗进行非下采样散射变换，得到搜索窗每个像素点的散射描述子Xt(i,j,k)，其中下标t表示当前正在处理的图像帧数，这里，t＝1；(i,j)表示像素点的位置坐标；k表示散射描述子的维数，k＝1,2,...,12；
3b)从搜索窗的散射描述子Xt(i,j,k)中，提取出模板目标的散射描述子作为第一帧的跟踪目标模型Tt(i,j,k)；
(4)计算第一帧模板目标的灰度位置直方图 其中下标1表示第一帧图像，上标l表示灰度级数，l＝1,2,...,4096；
(5)载入新一帧视频图像，根据上一帧跟踪框位置和运动位移量估计出候选目标，并记作本帧的候选目标；
(6)以候选目标的位置为中心获取搜索窗，并记作本帧的搜索窗，对其进行非下采样散射变换，得到本帧搜索窗的散射描述子Xt(i,j,k)；
(7)按照步骤(4)的方法，计算本帧候选目标的灰度位置直方图(8)判断目标是否发生遮挡：
8a)根据第一帧模板目标的灰度位置直方图 和本帧候选目标灰度位置直方图求出遮挡因子Occ；
8b)将遮挡因子Occ与阈值Th＝0.75进行比较：如果遮挡因子Occ小于阈值Th，表示目标没有发生遮挡，执行步骤(9)；如果遮挡因子Occ大于阈值Th，表示目标发生遮挡，执行步骤(10)；
9a)在本帧搜索窗内按照四邻域搜索方法确定出多个匹配窗，从搜索窗的散射描述子Xt(i,j,k)中提取出这些匹配窗的散射描述子，求这些匹配窗散射描述子与上一帧跟踪目标模型Tt-1(i,j,k)的相关系数，记最大相关系数为αmax，最大相关系数对应的匹配窗即为本帧跟踪到的目标，最大相关系数对应的匹配窗位置即为本帧跟踪目标的位置；
9b)从本帧搜索窗的散射描述子Xt(i,j,k)中，提取出本帧跟踪目标的散射描述子作为本帧的跟踪目标模型St(i,j,k)；
9c)根据最大相关系数αmax、上一帧跟踪目标模型Tt-1(i,j,k)和本帧跟踪目标模型St(i,j,k)，通过线性加权方法升级跟踪目标模型，记升级后的跟踪目标模型为Tt(i,j,k)：Tt(i,j,k)＝αmax·Tt-1(i,j,k)+(1-αmax)·St(i,j,k)；
10a)对步骤(1)所述的第一帧模板目标，提取其HSI彩色空间的H分量记为K1，并对步骤(1)所述的第一帧模板目标进行下采样，提取其HSI彩色空间的H分量记为Q1；
10b)在本帧搜索窗内遍历每个像素点得到U个样本目标，提取这U个样本目标HSI彩色空间的H分量并记为Wu，u＝1,2,...,U，U为搜索窗的像素点总个数；并对这U个样本目标进行下采样，提取其HSI彩色空间的H分量记为Yu；
10c)分别求出第一帧模板目标的H分量K1与本帧搜索窗内U个样本目标的U个H分量Wu的相关系数ρu，从U个ρu中选取出最大的一个相关系数，并记作最大相关系数η1；
10d)按照步骤10c)的方法，分别求第一帧下采样的模板目标的H分量Q1与本帧搜索窗内U个下采样样本目标的U个H分量Yu的相关系数，记最大相关系数为η2；
10e)将η1和η2与阈值Tk＝0.93进行比较：
如果η1和η2都小于阈值Tk＝0.93，则表示目标发生真正遮挡，执行步骤(12)；反之，取η1和η2两者中最大者对应的样本目标作为本帧的跟踪目标，该样本目标的位置即为本帧跟踪目标的位置，按照步骤9b)和步骤9c)的方法升级跟踪目标模型，执行步骤(11)；
2.根据权利要求1所述的基于散射描述子的目标跟踪方法，其中步骤(4)所述的计算第一帧模板目标的灰度位置直方图 按如下步骤:
2a)计算模板目标每个像素的归一化位置权值D(i,j)：其中，(i,j)表示像素点的位置坐标，M、N分别表示模板目标的高和宽；
2b)根据下式，将模板目标三原色颜色空间RGB的像素值转化到灰度空间，得到灰度空间像素点的灰度值C1(i,j)：C1(i,j)＝256·(R(i,j)/16)+16·(G(i,j)/16)+B(i,j)/16，其中，R(i,j)、G(i,j)、B(i,j)分别为像素点(i,j)在RGB颜色空间的红色通道(R)、绿色通道(G)、蓝色通道(B)的像素值；
2c)根据像素点灰度值C1(i,j)和归一化位置权值D(i,j)，计算得到第一帧模板目标的第l级的灰度位置直方图其中，下标1表示第一帧图像，上标l表示灰度级级数，l＝1,2,...,4096；δ是Kronecker delta函数。
3.根据权利要求1所述的基于散射描述子的目标跟踪方法，其中步骤9a)所述的根据四邻域搜索方法，计算匹配窗与目标模型的最大相关系数αmax，按如下步骤：
9a1)记上一帧跟踪目标位置为起始点P0，以起始点P0为中心，在其上下左右4个方向，分别记录距离P0一个像素的点的位置，根据这4个点，获取出与模板目标大小相等的4个匹配窗；
9a2)从搜索窗的散射描述子Xt(i,j,k)中提取出这4个匹配窗的散射描述子Vm(i,j,k)，m＝1,2,...,4：
9a3)分别计算这4个匹配窗散射描述子Vm(i,j,k)与上一帧跟踪目标模型Tt-1(i,j,k)的相关系数βm：其中，D表示散射描述子的维数，取值为12；
9a4)从4个βm中选取出最大的一个，并记作最大相关系数α1，记最大相关系数对应的匹配窗位置为新的起始点P1；
9a5)以新的起始点P1为中心，按照步骤9a1)-步骤9a4))的方法迭代下去；当迭代到第g次时计算出的4个相关系数均小于αg-1，迭代结束，并认为αg-1即为本帧求出的最大相关系数，记最大相关系数为αmax。
4.根据权利要求1所述的基于散射描述子的目标跟踪方法，其中步骤8a)所述的根据第一帧模板目标的灰度位置直方图 和本帧候选目标灰度位置直方图 求遮挡因子Occ，按如下步骤：l
4b)对所有l级的遮挡量Z求和，得到遮挡因子Occ：
5.根据权利要求1所述的基于散射描述子的目标跟踪方法，其中步骤10c)所述的计算第一帧模板目标的H分量K1与本帧搜索窗内样本目标的H分量Wu，的相关系数ρu，按如下公式计算：其中，u＝1,2,...,U，U为搜索窗的像素点总个数。
基于散射描述子的目标跟踪方法
技术领域
[0001] 本发明属于图像处理技术领域，涉及视频序列的运动目标跟踪方法，可应用于人机交互、目标跟踪、安防监控等方面。
背景技术
[0002] 视频序列的目标跟踪是图像处理技术领域的重要组成部分，它在机器人视觉导航、安全监测、交通管制、视频压缩以及气象分析等许多方面都有广泛应用。已广泛应用于社区和重要设施的安防监控，智能交通系统中对车辆的实时追踪，检测事故或故障等突发状况。尽管目前已经有大量的算法来处理运动目标跟踪问题，但由于外观噪声、光照变化、遮挡、背景杂乱、视角变化等因素的影响，使得目标被实时地、准备地跟踪变得更加复杂困难。
[0003] 西安电子科技大学提出的专利申请“基于模糊概念格的视频运动特征提取方法”（专利申请号201110174005.2，公开号CN102289816A），该方法将视频镜头分割，首先，利用模糊概念格生成所有镜头的运动特征关联规则再根据关联规则提取感兴趣镜头；然后，利用模糊概念格生成感兴趣镜头中所有目标帧的运动特征关联规则，再根据关联规则提取感兴趣目标帧；最后，根据感兴趣的目标帧中所有图像块的模糊概念格，提取感兴趣目标帧的运动特征，实现目标跟踪。该方法主要针对背景干扰和运动重影问题，能够快速准确提取视频运动特征，但该方法对视频中常见的目标发生遮挡、尺度变化、快速运动等情况无法实现有效准确跟踪。
[0004] 浙江工业大学提出的专利申请“一种基于粒子位置调整的粒子滤波视频运动目标跟踪方法”（专利申请号201110204821.3，公开号CN102339381A），该方法是对第一帧初始化粒子并累加直方图，在新的一帧中更新目标范围并计算粒子权重，对权重进行排序，如果权重小于指定的权重阈值，则调整该粒子的坐标，使他们靠近目标中心；得到新的粒子分布后，重新计算粒子权重，得到最终的目标中心点，实现运动目标跟踪。该方法虽说可通过减少粒子数实现较好的目标跟踪，提高运算效率，但对目标发生漂移、遮挡、尺度变化、光亮变化、快速运动等现象不具有良好地鲁棒性，无法实现有效准确跟踪。
发明内容
[0005] 本发明针对上述现有技术的不足，提出一种基于散射描述子的目标跟踪方法，当目标发生漂移、遮挡、尺度变小、光照变化、快速运动时仍能准确有效的实现目标跟踪。
[0006] 为实现上述目的，本发明的技术方案包括如下步骤：
[0007] （1）输入一段视频的第一帧，人工标记出待跟踪目标，得到跟踪框位置，将标记出的待跟踪目标定义为模板目标；
[0008] （2）初始化待跟踪目标的运动位移量，并以跟踪框位置为中心获取搜索窗；
[0009] （3）建立第一帧跟踪目标模型Tt(i,j,k)：
[0010] 3a)对搜索窗进行非下采样散射变换，得到搜索窗每个像素点的散射描述子Xt(i,j,k)，其中下标t表示当前正在处理的图像帧数，这里，t=1；(i,j)表示像素点的位置坐标；k表示散射描述子的维数，k=1,2,...,12；
[0011] 3b)从搜索窗的散射描述子Xt(i,j,k)中，提取出模板目标的散射描述子作为第一帧的跟踪目标模型Tt(i,j,k)；
[0012] （4）计算第一帧模板目标的灰度位置直方图 其中下标1表示第一帧图像，上标l表示灰度级数，l=1,2,...,4096；
[0013] （5）载入新一帧视频图像，根据上一帧跟踪框位置和运动位移量估计出搜索窗记作本帧的搜索窗，对其进行非下采样散射变换，得到本帧搜索窗的散射描述子Xt(i,j,k)；
[0014] （6）按照步骤（4）的方法，计算本帧候选目标的灰度位置直方图[0015] （7）判断目标是否发生遮挡：
[0016] 7a）根据第一帧模板目标的灰度位置直方图 和本帧候选目标灰度位置直方图求出遮挡因子Occ；
[0017] 7b）将遮挡因子Occ与阈值Th=0.75进行比较：如果遮挡因子Occ小于阈值Th，表示目标没有发生遮挡，执行步骤（8）；如果遮挡因子Occ大于阈值Th，表示目标发生遮挡，执行步骤（9）；
[0018] （8）对没有发生遮挡的目标进行跟踪：
[0019] 8a）在本帧搜索窗内按照四邻域搜索方法确定出多个匹配窗，从搜索窗的散射描述子Xt(i,j,k)中提取出这些匹配窗的散射描述子，求这些匹配窗散射描述子与上一帧跟踪目标模型Tt-1(i,j,k)的相关系数，记最大相关系数为αmax，最大相关系数对应的匹配窗即为本帧跟踪到的目标，最大相关系数对应的匹配窗位置即为本帧跟踪目标的位置；
[0020] 8b）从本帧搜索窗的散射描述子Xt(i,j,k)中，提取出本帧跟踪目标的散射描述子作为本帧的跟踪目标模型St(i,j,k)；
[0021] 8c）根据最大相关系数αmax、上一帧跟踪目标模型Tt-1(i,j,k)和本帧跟踪目标模型St(i,j,k)，通过线性加权方法升级跟踪目标模型，记升级后的跟踪目标模型为Tt(i,j,k)：
[0022] Tt(i,j,k)=αmax·Tt-1(i,j,k)+(1-αmax)·St(i,j,k)；
[0023] （9）对发生遮挡的目标进行遮挡处理：
[0024] 9a）对步骤（1）所述的第一帧模板目标，提取其HSI彩色空间的H分量记为K1，并对骤（1）所述的第一帧模板目标进行下采样，提取其HSI彩色空间的H分量记为Q1；
[0025] 9b）在本帧搜索窗内遍历每个像素点得到N个样本目标，N为搜索窗的像素点总个数，提取这N个样本目标HSI彩色空间的H分量并记为Wn,n=1,2,...,N，并对这N个样本目标进行下采样，提取其HSI彩色空间的H分量记为Yn，n=1,2,...,N；
[0026] 9c）分别求出第一帧模板目标的H分量K1与本帧搜索窗内N个样本目标的N个H分量Wn，n=1,2,...,N的相关系数，记最大相关系数为ρ1，并分别求第一帧下采样的模板目标的H分量Q1与本帧搜索窗内N个下采样样本目标的N个H分量Yn，n=1,2,...,N的相关系数，记最大相关系数为ρ2；如果ρ1和ρ2都小于阈值Tk=0.93，则表示目标发生真正遮挡，执行步骤（11）；反之，取ρ1和ρ2两者中最大者对应的样本目标作为本帧的跟踪目标，该样本目标的位置即为本帧跟踪目标的位置，按照步骤8b）和步骤8c）的方法升级跟踪目标模型，执行步骤（10）；
[0027] （10）输出本帧跟踪目标的位置；
[0028] （11）返回步骤（5）执行下一帧。
[0029] 本发明与现有技术相比有以下优点：
[0030] 第一，本发明首次在视频跟踪领域中引入非下采样散射变换方法，经过该变换得到的散射描述子携带更丰富、更全面的图像信息，使得提取到的图像特征更典型，从而增强了跟踪性能。
[0031] 第二，本发明由于使用搜索匹配到的最大相关系数来自适应更新模型的方法，提高了跟踪的稳定性。
[0032] 第三、本发明由于引入了遮挡判定的思想，当目标发生遮挡时，不更新跟踪目标模型，避免了错误模型的累积，并考虑目标尺度变小时对遮挡的影响，进一步增强遮挡判断的可靠性，提高了目标跟踪的准确性和鲁棒性。
附图说明
[0033] 图1为本发明的流程图；
[0034] 图2为输入的第一帧视频图像并人工标记出待跟踪目标的示意图；
[0035] 图3为输入的当目标未发生尺度变化时的新一帧视频图像；
[0036] 图4为对图3的跟踪结果图；
[0037] 图5为输入的当目标发生尺度变化时的新一帧视频图像；
[0038] 图6为对图5的跟踪结果图。
具体实施方式
[0039] 参照图1，本发明具体实现步骤如下：
[0040] 步骤1.输入一段视频的第一帧，并人工标记出待跟踪的目标，得到跟踪框的位置。
[0041] 本实例输入的一段视频图像如图2，它为一段女孩滑滑板视频的第一帧，图2中矩形框框定的区域为要跟踪的目标。
[0042] 步骤2.初始化待跟踪目标的运动位移量，并以跟踪框位置为中心获取搜索窗。
[0043] 步骤3.建立第一帧的跟踪目标模型Tt(i,j,k)：
[0044] 3a)对搜索窗进行非下采样散射变换，得到搜索窗每个像素点的散射描述子Xt(i,j,k)：
[0045] 3a1）对搜索窗利用方向小波进行分解，得到12个方向的高频分量；
[0046] 3a2）对上述这12个高频分量分别进行不同尺度平滑，得到12维含有低频信息的矩阵，即为搜索窗的散射描述子Xt(i,j,k)，k=1,2,...,12；
[0047] 其中，下标t表示当前正在处理的图像帧数，本实例取t=1；(i,j)表示像素点的位置坐标；
[0048] 3b)从搜索窗的散射描述子Xt(i,j,k)中，根据模板目标在搜索窗中对应的位置，提取出模板目标的散射描述子作为第一帧的跟踪目标模型Tt(i,j,k)。
[0049] 步骤4.计算第一帧模板目标的灰度位置直方图
[0050] 4a）计算模板目标每个像素的归一化位置权值D(i,j)：
[0051]
[0052] 其中，M、N分别表示模板目标的高和宽；
[0053] 4b)将模板目标三原色颜色空间RGB的像素值转化到灰度空间，得到灰度空间像素点的灰度值C1(i,j)：
[0054] C1(i,j)=256·(R(i,j)/16)+16·(G(i,j)/16)+B(i,j)/16，
[0055] 其中，下标1表示第一帧图像，R(i,j)、G(i,j)、B(i,j)分别表示像素点(i,j)在RGB颜色空间的红色通道（R）、绿色通道（G）、蓝色通道（B）的像素值；
[0056] 4c）根据像素点灰度值C1(i,j)和归一化位置权值D(i,j)，计算得到第一帧模板目标的第l级的灰度位置直方图
[0057]
[0058] 其中，上标l表示灰度级数，l=1,2,...,4096，δ是Kronecker delta函数。
[0059] 步骤5.载入新一帧视频图像，根据上一帧跟踪框位置和运动位移量估计出候选目标，并记作本帧的候选目标。
[0060] 步骤6.以候选目标的位置为中心，获取出50*50邻域涵盖的范围，将该范围区域定义为搜索窗，并记作本帧的搜索窗，对本帧搜索窗进行非下采样散射变换，得到本帧搜索窗的散射描述子Xt(i,j,k)。
[0061] 步骤7.按照步骤4的方法，计算本帧候选目标的灰度位置直方图[0062] 步骤8.判断目标是否发生遮挡：
[0063] 8a）根据第一帧模板目标的灰度位置直方图 和本帧候选目标灰度位置直方图求遮挡因子Occ：
[0064] 8a1）计算本帧候选目标第l级的遮挡量Zl：
[0065]
[0066] 其中，ζ表示遮挡程度，取值为1.2；
[0067] 8a2）对所有l级的遮挡量Zl求和，得到遮挡因子Occ：
[0068]
[0069] 其中，V表示最大灰度级级数，取值为4096。
[0070] 8b）将遮挡因子Occ与阈值Th=0.75进行比较：如果遮挡因子Occ小于阈值Th，表示目标没有发生遮挡，执行步骤9；如果遮挡因子Occ大于阈值Th，表示目标发生遮挡，执行步骤10。
[0071] 步骤9.对没有发生遮挡的目标进行跟踪：
[0072] 9a）记上一帧跟踪目标位置为起始点P0，以起始点P0为中心，在其上下左右4个方向，分别记录距离P0一个像素的点的位置，根据这4个点，获取出与模板目标大小相等的4个匹配窗；
[0073] 9b）从搜索窗的散射描述子Xt(i,j,k)中提取出这4个匹配窗的散射描述子Vm(i,j,k)，m=1,2,...,4；
[0074] 9c）分别计算这4个匹配窗散射描述子Vm(i,j,k)与上一帧跟踪目标模型Tt-1(i,j,k)的相关系数βm:
[0075]
[0076] 其中，D表示散射描述子的维数，取值为12；
[0077] 9d）从4个βm中选取出最大的一个，并记作最大相关系数α1，记最大相关系数对应的匹配窗位置为新的起始点P1；
[0078] 9e）以新的起始点P1为中心，按照步骤9a）～步骤9d）的方法迭代下去；当迭代到第g次时计算出的4个相关系数均小于αg-1时，迭代结束，并认为αg-1即为本帧求出的最大相关系数，记最大相关系数为αmax。
[0079] 9f）将最大相关系数对应的匹配窗作为本帧跟踪到的目标，将最大相关系数对应的匹配窗位置作为本帧跟踪目标的位置；
[0080] 9g）从本帧搜索窗的散射描述子Xt(i,j,k)中，提取出本帧跟踪目标的散射描述子作为本帧的跟踪目标模型St(i,j,k)；
[0081] 9h）根据最大相关系数αmax、上一帧跟踪目标模型Tt-1(i,j,k)和本帧跟踪目标模型St(i,j,k)，通过线性加权方法升级跟踪目标模型，记升级后的跟踪目标模型为Tt(i,j,k)：
[0082] Tt(i,j,k)=αmax·Tt-1(i,j,k)+(1-αmax)·St(i,j,k)。
[0083] 步骤10.对发生遮挡的目标进行遮挡处理：
[0084] 10a）对步骤1所述的第一帧模板目标，提取其HSI彩色空间的H分量记为K1，其中，HSI彩色空间中的H分量表示图像的色调，S分量表示图像的饱和度，I分量表示图像的强度；
[0085] 10b）对步骤1所述的第一帧模板目标进行下采样，提取其HSI彩色空间的H分量记为Q1；
[0086] 10c）在本帧搜索窗内遍历每个像素点得到U个样本目标，提取这U个样本目标HSI彩色空间的H分量并记为Wu，u=1,2,...,U，U为搜索窗的像素点总个数；
[0087] 10d）对这U个样本目标进行下采样，提取其HSI彩色空间的H分量，记为Yu；
[0088] 10e）分别求出第一帧模板目标的H分量K1与本帧搜索窗内U个样本目标的U个H分量Wu的相关系数ρu：
[0089]
[0090] 10f）从U个ρu中选取出的最大的一个相关系数，并记作最大相关系数η1；
[0091] 10g）按照步骤10e）的方法，分别求第一帧下采样的模板目标的H分量Q1与本帧搜索窗内U个下采样样本目标的U个H分量Yu的相关系数，记最大相关系数为η2；
[0092] 10h）将η1和η2与阈值Tk=0.93进行比较：
[0093] 如果η1和η2都小于阈值Tk=0.93，则表示目标发生真正遮挡，执行步骤12；反之，将η1和η2两者中最大者对应的样本目标作为本帧的跟踪目标，该样本目标的位置即为本帧跟踪目标的位置，按照步骤9g）和步骤9h）的方法升级跟踪目标模型，执行步骤11。
[0094] 步骤11.输出本帧跟踪目标的位置。
[0095] 步骤12.循环执行步骤5～步骤11，直到视频结束。
[0096] 本发明的效果可通过以下仿真进一步说明：
[0097] 仿真1，载入新一帧视频图像，如图3。该图像中目标没有发生遮挡现象，首先获取搜索窗并提取其散射描述子，在搜索窗内按照四邻域搜索方法确定出多个匹配窗，并计算选取出这些匹配窗与上一帧跟踪目标模型的最大相关系数，最大相关系数对应的匹配窗即为本帧跟踪到的目标，跟踪结果如图4所示。
[0098] 仿真2，载入新一帧视频图像，如图5。该图像中目标发生尺度变小现象，分别计算第一帧模板目标H分量与U个样本目标H分量的最大相关系数、第一帧下采样模板目标H分量与U个下采样样本目标H分量的最大相关系数，通过这两个最大相关系数判断是否发生真正遮挡，如果目标发生真正遮挡，执行下一帧，如果没有发生遮挡，更新跟踪模型，执行下一帧。本实例中目标只是尺度变小而未真正发生遮挡，其跟踪结果如图6所示。
[0099] 从图4和图6的跟踪结果可见，本发明能够在目标发生漂移、遮挡、尺度变小、光照变化以及快速运动的情况下，实现准确、有效的跟踪。
