本发明公开了一种基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法，主要解决现有TLD算法中目标发生遮挡导致检测与跟踪误差变大甚至失效的问题。其实现步骤为：1.输入视频图像的第一帧和目标区域，并对目标进行均匀采样得到多个局部区域；2.对每一个局部区域的检测参数和在线模型进行初始化；3.更新检测参数和在线模型；4.读入新的视频帧，对目标的局部区域进行跟踪、检测得到所有局部结果；5.计算更新所有局部区域的权重值；6.对所有局部结果进行聚类，得到目标的跟踪结果；7.对输入的新视频图像重复步骤3～6。本发明能在目标遮挡情况下的有效的检测跟踪到目标，并提高了精度，可用于自动视频监控、智能交通等领域。
基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法
技术领域
[0001] 本发明属于图像处理技术领域，更进一步涉及在目标被抗遮挡情况下的跟踪方法，可应用于自动视频监控、智能机器人导航及智能交通。
背景技术
[0002] 目标跟踪是获得目标在连续的时间与空间上位置与变化的复杂过程，随着应用场景的不同会面对很多情况，诸如目标旋转、外形变化、尺度变化、光照变化和遮挡等问题。其中，如何有效地处理遮挡，是目标跟踪领域的热点和难点问题。
[0003] 基于遮挡问题，目前可以将遮挡目标的跟踪算法分为基于景深分析算法、基于相机优化布设算法和基于融合的算法，其中以融合算法研究最广泛。由于检测跟踪算法理论的不断成熟和计算机运算性能的提升，多算法融合的研究趋势越来越明显，很难将一种算法归为一类，因此对此类算法统称为基于融合的算法。
[0004] 基于融合的遮挡目标跟踪算法包括卡尔曼滤波等线性动态模型融合方法、基于粒子滤波的融合算法、基于特征空间压缩采样的目标跟踪算法和跟踪检测学习算法TLD等。由于TLD跟踪算法由跟踪、检测、学习三部分联合判断更新，使其在目标无遮挡的情况下能表现出良好的跟踪性能。但是当目标发生局部遮挡和严重遮挡时会使得跟踪误差过大，甚至无法得到跟踪结果。
发明内容
[0005] 本发明的目的在于针对上述跟踪技术的不足，提出一种基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法，以减小目标在遮挡情况下的跟踪误差，提高跟踪的有效性和准确度。
[0006] 实现本发明的技术方案是：对输入的视频图像通过均匀采样的方式进行局部感兴趣区域划分，并通过跟踪检测学习算法TLD对每一个局部区域进行跟踪，然后通过自适应权重的Meanshift聚类算法得到最终的跟踪结果。其实现步骤包括如下：
[0007] (1)对目标进行初始化：
[0008] (1a)输入第一帧视频图像F1，并在该视频图像中手工标定目标区域G1，通过均匀采样的方式对目标区域G1划分得到m个局部区域 其中 表示第一帧视频图像的第j个局部区域，1≤j≤m，目标区域G1包含目标区域的中心点Gc1和目标区域的尺寸Gs1；
[0009] (1b)初始化所有局部区域的空间权重 和时间权重得到联合权重 其中 表示第一帧视频图像第j
个局部区域的空间权重， 表示第一帧视频图像第j个局部区域的时间权重， 表示第一帧视频图像第j个局部区域的联合权重；
[0010] (2)将每一个局部区域作为一个独立目标，初始化并更新每个局部区域的检测参数和在线模型{M1,…,Mj,…,Mm}，其中Mj表示第j个局部区域的在线模型，检测参数包括方差阈值vclaj，概率阈值 最近邻阈值 位置，分组信息和排序信息；
[0011] (3)更新所有局部区域的概率阈值、最近邻阈值和在线模型{M1,…,Mj,…,Mm}；
[0012] (4)输入第n帧视频图像，通过检测跟踪学习算法TLD，得到所有局部区域在第n帧的跟踪结果
[0013] (5)判断上一帧即第n-1帧是否是第一帧：
[0014] 如果第n-1帧是第一帧，则根据(1b)直接得到所有局部区域初始化的联合权重[0015] 如果第n-1帧不是第一帧，则根据第n-1帧的目标区域Gn-1和局部区域跟踪结果计算所有局部区域在第n-1帧视频图像中的空间权重和时间权重 得到第n帧视频图像中
的联合权重
[0016] (6)将所有局部区域的跟踪结果 进行基于第n-1帧联合权重的meanshift算法聚类，得到最后的聚类中心RPn即为第n帧的目标区
域Gn；
[0017] (7)判断是否有下一帧视频图像输入，如果没有输入，则结束整个跟踪过程，否则返回(3)。
[0018] 本发明具有如下优点：
[0019] 第一：本发明通过局部区域检测，可以消除遮挡区域目标特征匮乏，减少错误样本的个数，降低检测结果出现的误差。
[0020] 第二：本发明通过局部划分的方式，提高了目标区域蕨特征的有效性，增加了相关相似度的判断精度；
[0021] 第三：本发明利用自适应权重的meanshit聚类方法，能通过所有局部区域跟踪的位置准确找到有效目标位置。
附图说明
[0022] 图1为本发明的实现流程图；
[0023] 图2为用本发明对benchmark数据集中目标遮挡严重的视频数据进行跟踪的结果图；
[0024] 图3为本发明与现有TLD跟踪方法的跟踪结果对比图。具体实施方案
[0025] 下面结合附图，对本发明的实现步骤和效果作进一步的详细描述。
[0026] 参照图1，本发明的实现步骤如下：
[0027] 步骤1，输入视频第一帧图像F1和目标区域G1，通过均匀采样对目标区域G1进行采样得到m个局部区域。
[0028] (1a)读入图像F1和目标区域G1，在目标区域上均匀撒m个点{(x1,y1),…,(xj,yj),…,(xm,ym)}，这m个点之间的间隔为Δ，以每个点作为局部区域的中心点,得到m个s×s大小的矩形局部区域 其中 表示第一帧视频图像中第j个局部区域，1≤j≤m；
[0029] (1b)将m个局部区域的空间权重 的值初始化为1，时间权重的值也初始化为1，再计算得到每一个局部区域的联合权重
计算公式如下：
[0030]
[0031] 其中 表示第一帧视频图像第j个局部区域的空间权重， 表示第一帧视频图像第j个局部区域的时间权重， 表示第一帧视频图像第j个局部区域的联合权重，1≤j≤m。
[0032] 步骤2，初始化所有局部区域的在线模型和检测参数。
[0033] (2a)用所有局部区域 分别赋值给m个空的在线模型{M1,…,Mj,…,Mm}，其中Mj表示第j个在线模型，1≤j≤m；
[0034] (2b)统计所有局部区域 对应的灰度均值和标准差并将标准差的作为每个局部区域的方差阈值{vclas1,…,vclasj,…,vclasm}，其中vclasj表示第j个局部区域方差分类检测的阈值，1≤j≤m；
[0035]
[0036] 其中s×s表示局部区域的大小，I(x,y)表示图像在(x,y)处的灰度值，I(p,q)表示图像在(p,q)的灰度值；
[0037] (2c)通过经验将概率阈值 都赋值为0.6，最近邻阈值都赋值为0.65；
[0038] (2d)在s×s大小的图像中初始随机选取260个像素点，并保存这260个像素点的位置{pos1,……,pos260}，将260个像素点随机分为10组，按顺序将每组的13个像素点对排列，并保存分组信息{gro1,……,gro10}和排序信息{sor1,……,sor13}，每个像素点对包含两个像素点。
[0039] 步骤3，更新所有局部区域的在线模型、最近邻阈值和概率阈值。
[0040] (3a)以步长sL和多个尺寸缩放系数ss的窗口多次扫描第n-1帧视频图像Fn-1，得到全部的扫描窗口 计算所有局部区域 与窗口的重叠率，其计算公式为：
[0041]
[0042] 其中 表示第h个窗口 与第j个局部区域 面积的重叠率， 表示与 交集的面积， 表示 与 并集的面积；
[0043] (3b)把 最大的k个扫描窗口作为第j个局部区域的正集pbj，把 小于阈值0.2的扫描窗口作为第j个局部区域的负集nbj，得到所有局部区域 的
正集{pb1,…,pbj,…,pbm}和负集{nb1,…,nbj,…,nbm}；
[0044] (3c)将所有局部区域正集{pb1,…,pbj,…,pbm}和负集{nb1,…,nbj,…,nbm}的扫描窗口都归一化为尺寸为s×s的图像；
[0045] (3d)对第j个局部区域所对应正集pbj的k个扫描窗口进行偏移，尺度变化，旋转等t次仿射变换，得到k×t个样本，将这k×t个样本作为第j个局部区域的正样本集 在负集nbj中选择p个扫描窗口作为第j个局部区域的负样本集
[0046] 这样就得到了所有局部区域 的正样本集和负样本集 其中 表示第j个正样本集， 表示第j个负样本
集，1≤j≤m；
[0047] (3e)在第j正样本集 中随机选取 个正样本作为第j个局部区域的训练集另外 个正样本作为第j个局部区域的测试集 同时在第j负样本集 中随机选取 个负样本作为第j个局部区域的训练集 另外 个负样本作为第j个局部区域的测试集
[0048] (3f)每个正样本训练集 中的正样本和负样本训练集 中的负样本在位置{pos1,……,pos260}处找到260个像素点；再按照分组信息{gro1,……,gro10}将260个像素点分成10组，按照排序信息{sor1,……,sor13}将每组的13个像素点对进行排序[0049] (3g)将每组13个像素点对的两个像素灰度进行比较，如果像素点对中前一个像素灰度大于后一个像素灰度，则将二进制特征值标记为1，否者标记为0，这样每组就得到13个二进制特征值；
[0050] (3h)将这13个二进制特征值按照排序信息{sor1,……,sor13}进行排序，得到13位的二进制蕨特征bv，每一组蕨特征bv对应一个如下的蕨特征后验概率：
[0051] P(y|bv)＝np/(np+nn)
[0052] 其中np和nn分别表示该组蕨特征中1和0二进制特征值的个数；
[0053] 计算每个正、负样本的10个蕨特征后验概率，求均值得到正、负样本平均后验概率： 和 其中 表示第u个正样本的平均后验概率， 表示第v个负样本的平均后验概率，
[0054] (3i)将正、负样本的平均后验概率 和 分别与概率阈值 比较：
[0055] 如果 小于概率阈值 就将正样本训练集 第u个正样本从正样本集中删除，并将其添加到负样本集 中；
[0056] 如果 大于概率阈值 就将负样本训练集 第v个负样本从负样本集中删除，并将其添加到正样本集 中；
[0057] (3j)计算负样本训练集 的负样本与在线模型Mj的相关相似度：
[0058]
[0059] 其中 表示第v个负样本与在线模型Mj的相关相似度，
[0060] (3k)计算正样本训练集 的正样本与在线模型Mj的相关相似度：
[0061]
[0062] 其中 表示第u个正样本与在线模型Mj的相关相似度， 的计算公式如下：
[0063]
[0064] 其中 表示第u个正样本与在线模型Mj的相关性，s×s表示图像的大小，(x,y)表示图像内像素坐标， 表示第u个正样本在(x,y)处的灰度值，I(x,y)表示在线模型Mj在(x,y)处的灰度值，μu表示第u个正样本的灰度均值，δu表示第u个正样本的灰度标准差， 表示Mj的灰度均值， 表示Mj的灰度标准差；
[0065] (3l)将正样本与在线模型的相关相似度 和负样本与在线模型的相关相似度分别与概率阈值 比较：
[0066] 如果正样本的相关相似度 小于最近邻阈值 就将正样本训练集第u个正样本从正样本集 中删除，并将其添加到负样本集 中；
[0067] 如果负样本的相关相似度 大于最近邻阈值 负样本训练集 第v个负样本从负样本集 中删除并将其添加到正样本集 中；
[0068] (3m)将正样本集 分别添加到在线模型{M1,…,Mj,…,Mm}中；
[0069] (3n)每一个负样本测试集 的负样本在位置{pos1,……,pos260}处找到260个像素点，再按照分组信息{gro1,……,gro10}将260个像素点分成10组，并按照排序信息{sor1,……,sor13}将每组的13个像素点对进行排序；
[0070] (3o)按照步骤(3g)，计算负样本的10个蕨特征后验概率，求均值得到负样本的平均后验概率 其中 表示测试集 中第w个负样本的平均后验概率，
[0071] 从 中筛选出最大的平均后验概率 如果 大于阈值0.6，则将 作为新的概率阈值 否则，概率阈值不更新。
[0072] (3p)计算负样本测试集 的负样本与在线模型Mj的相关相似度：
[0073]
[0074] 其中 表示样本测试集 中第s个负样本与在线模型Mj的相关相似度；
[0075] (3q)从 中筛选最大的相关相似度值作为最近邻阈值
[0076] 步骤4，读入第n帧视频图像Fn，n>1，对图像中目标的所有局部区域进行跟踪检测，得到所有的局部结果。
[0077] (4a)在第n-1帧视频图像的第j个局部结果 中均匀撒点，得到L个特征点p1，利用金字塔LK光流法先跟踪第n-1帧的特征点p1在第n帧的位置p2，再利用LK光流法反向跟踪第n帧的特征点p2在第n-1帧的位置p1'，得到反向误差FR：
[0078] FR＝|p1'-p1|；
[0079] (4b)找到反向误差FR的中值误差MR，如果MR大于误差阈值et＝10，则视为跟踪失效；反之，为跟踪有效，并筛选出FR小于MR的特征点Fp1作为最佳的追踪点，执行步骤(4c)；
[0080] (4c)利用金字塔LK光流法跟踪第n-1帧特征点Fp1在第n帧的位置Fp2，根据Fp2得到第j个局部区域在第n帧的跟踪结果
[0081] (4d)以步长sL和多个尺寸缩放系数ss的窗口多次扫描第n帧视频图像Fn，得到第n帧的全部窗口图像
[0082] (4e)计算全部窗口图像 的灰度方差 并从中筛选出大于方差阈值vclaj的窗口图像，作为元方差图像
[0083] (4f)将元方差图像 归一化尺寸大小为s×s，然后计算每个元方差图像的10个蕨特征后验概率，求均值得到第n帧的平均后验概率 从中筛选大于概率阈值 的元方差图像，作为蕨图像 其中
表示第n帧视频图像的第a个蕨图像1≤a≤t，t表示蕨图像的个数；
[0084] (4g)计算这t个蕨图像与在线模型Mj的相关相似度：{Sim1,…,Sima,…,Simt}，其中Sima表示蕨图像 与Mj的相关相似度；
[0085] (4h)从{Sim1,…,Sima,…,Simt}中筛选大于最近邻阈值 的蕨图像，作为最终的检测结果 并得到检测结果的相似度{Sd1,…,Sdb,…,Sdz}，其中表示第b个检测结果，1≤b≤z，z表示检测结果的个数；
[0086] (4i)计算跟踪结果 与每个检测结果 的重叠率其中， 表示 与 交集的面积， 表示 与 并集
的面积；
[0087] (4j)对重叠率 进行kmeans聚类，聚成k个类别并记录每个类别的检测结果的个数 其中 表示第c个类别的重叠率，
表示第c个类别的检测结果个数，1≤c≤k；
[0088] (4k)计算跟踪结果 与在线模型Mj的相关相似度SimPT，将第c个类别检测结果的相关相似度均值 与相关相似度SimPT进行比较：
[0089] 若 大于SimPT，再对第c个类别的重叠率 进行判断：如果 则将第c个类别的检测结果求均值作为局部结果 如果 则找到第c个类别重叠率 的检测结果进行累加，再加上跟踪结果 后，对其求均值得到局部结果
[0090] 若 不大于SimPT，则找到第c个类别中所有重叠率 的检测结果进行累加，再加上跟踪结果 对其求均值得到局部结果
[0091] (4l)所有局部区域按照步骤(4a)～(4k)，就得到第n帧所有的局部结果[0092] 步骤5，根据第n-1帧的局部结果，计算所有局部区域的联合权重。
[0093] (5a)判断第n-1帧是否是第一帧；
[0094] 如果第n-1帧是第一帧，则根据(1b)直接得到第一帧所有局部区域初始化的联合权重
[0095] 如果第n-1帧不是第一帧，则将第n-1帧的所有局部结果 映射到目标区域的中心点 执行步骤(5b)
[0096] (5b)计算中心点 与n-1帧目标区域中心点Gcn-1的欧氏距离并利用该欧氏距离的高斯分布得到所有局部结果所对应的
空间权重
[0097] (5c)利用每个局部区域连续三帧的高斯分布得到对应的时间权重
[0098] (5d)根据空间权重 和时间权重利用(1b)中的公式计算得到联合权重
[0099] 步骤6，根据所有局部结果和联合权重，聚类得到目标在第n帧的跟踪结果。
[0100] (6a)用所有局部结果 映射得到目标区域的中心点其中 表示第n帧中第j个目标映射的中心点；
[0101] (6b)把联合权重 赋给中心点 用基于权重的meanshift聚类算法寻找所有中心点 中密度最大的位置，并将此位置作为目标区域的中心点Gcn；
[0102] (6c)在(6a)的过程中，所有局部结果 也会映射得到目标区域的尺寸向量 对这m个尺寸向量求均值，得到目标区域的尺寸向量Gsn；
[0103] (6d)根据目标区域的中心点Gcn和目标区域的尺寸向量Gsn，得到在第n帧中的目标区域Gn，即为跟踪结果。
[0104] 步骤7，判断是否有下一帧视频图像输入，如果没有输入，结束整个跟踪过程，否则返回(3)。
[0105] 本发明的效果结合以下仿真实验进一步说明：
[0106] 1.仿真条件
[0107] 本发明是在中央处理器为Intel(R)Core i7-4790k 4.0GHZ、内存16G、64位WINDOWS 7操作系统的PC上，运用MATLAB 2015b进行的仿真实验。
[0108] 2.仿真内容
[0109] 仿真1，采用本发明方法对benchmark数据集中遮挡较为严重的box和woman视频进行目标跟踪，跟踪结果如图2所示，其中：
[0110] 图2(a)表示对box视频303～306帧的跟踪结果；
[0111] 图2(b)表示对box视频467～470帧的跟踪结果；
[0112] 图2(c)表示对woman视频129～132帧的跟踪结果；
[0113] 图2(d)表示对woman视频221～224帧的跟踪结果；
[0114] 由图2可以看出，本发明能有效地将视频中遮挡目标检测出来。
[0115] 仿真2，采用TLD算法和本发明对benchmark数据集中遮挡较为严重的视频box和woman进行目标跟踪，跟踪结果如图3所示，其中：
[0116] 图3(a)表示对box视频303～306帧的对比跟踪结果,其中虚线方框表示TLD跟踪结果，实线方框表示本发明跟踪结果；
[0117] 图3(b)表示对box视频467～470帧的对比跟踪结果,其中虚线方框表示TLD跟踪结果，实线方框表示本发明跟踪结果；
[0118] 图3(c)表示对woman视频129～132帧的对比跟踪结果,其中虚线方框表示TLD跟踪结果，实线方框表示本发明跟踪结果；
[0119] 图3(d)表示对woman视频221～224帧的对比跟踪结果,其中虚线方框表示TLD跟踪结果，实线方框表示本发明跟踪结果；
[0120] 由图3可以看出，相比于TLD算法，本发明能够有效提高视频中遮挡目标的跟踪精度。
[0121] 以上描述仅是本发明的一个具体实例，显然对于本领域的专业人员来说，在了解了本发明内容和原理之后，都可能在不违背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求范围之内。
