一种基于多特征滤波器融合的云台目标跟踪系统和方法

摘要

本发明公布了一种云台目标跟踪系统和方法，以不同特征来分别构建跟踪滤波器，对每个滤波器自适应分配权重，进行加权融合获得目标位置信息，然后利用权重最大的特征滤波器在不同尺度空间对目标尺度进行预测，进而获得目标准确的尺度信息，解决目标运动过程中尺度变化问题，通过设计模板滤波器和轨迹滤波器，及时输出目标被遮挡或者跟踪丢失状态信息。本发明中，所有滤波器都不以固定步长来更新，而是通过设置融合响应图的峰值和峰值旁瓣比相结合来决定滤波器更新的速率。通过本发明的多滤波器融合跟踪系统和跟踪方法能够实现云台目标跟踪，增加了目标跟踪的准确性和鲁棒性，同时能够及时输出目标的状态信息，包括正确跟踪、遮挡和丢失。

权利要求

1.一种基于多特征滤波器融合的云台目标跟踪方法，其特征在于，包括：S1、基于初始帧的图像、目标和目标周围背景信息，提取多种手工特征，基于核相关滤波器目标跟踪方法来训练对应特征的相关滤波器，分别与当前帧图像对应的特征图进行计算，利用自适应权重融合获得最终响应图  ，得到目标中心点位置；所述多种手工特征包括：灰度特征、直方图梯度特征、颜色命名空间特征和颜色特征；

S2、利用步骤S1中权重最大的相关滤波器，在一个满足目标长宽变化趋势相对独立的尺度集合空间预测，获得目标新变化的尺度 ；

目标尺度的预测通过选择权值最大的特征滤波器 来实现，

首先，分别对目标的长宽 ，引入尺度变化池 ，形成最终的尺度变化空间集合 ，其中，下标 、 分别表示尺度变化作用的对象

为目标包围框的长和宽，下标0、1、2分别表示不同的尺度变化率；

然后，利用尺度空间集合 和预测得到的目标中心点位置 ，获得不同尺度空间下的图像区域 ，其中， ；分别提取第 个特征 ，再与特征滤波器 计算：

，

其中 为第 个尺度对应的响应图；

最后，通过比较尺度空间 中9个尺度下计算响应图的峰值 ，峰值最大对应的尺度即为目标新变化的尺度：；

S3、对步骤S1中融合后的相关滤波响应图进行校验，获取响应图的峰值旁瓣比 ，对响应图的峰值情况和数值分布情况进行分析；所述峰值旁瓣比 ，其中， 表示步骤S1中自适应权重融合获得的最终响应图， 表示以峰值为中心的旁瓣区域占整个响应图区域大小的比例， 表示响应图去除旁瓣区域后剩余部分的均值，表示响应图去除旁瓣区域后剩余部分的标准差， 值越高表明预测结果越可靠；

S4、基于初始帧的图像和目标信息，提取目标特征，训练模板滤波器，评估步骤S3中峰值旁瓣比值后，将步骤S1和S2预测的目标信息输入模板滤波器计算预测结果与模板图像的相似性来预测目标的遮挡状态，若目标长时间被连续遮挡，则判断目标丢失；

S5、利用当前帧之前的多帧目标位置信息，训练轨迹预测器，当目标处于遮挡时，预测目标的位置信息；

S6、结合步骤S1中的响应图峰值和步骤S3中的校验模块结果，自适应地定义各滤波器是否更新和更新的频率，分别对步骤S1中的多个滤波器进行更新和对步骤S4中的模板滤波器进行更新；

模型更新的准则为：当步骤S1中各滤波器融合响应图的峰值 大于阈值 ，且步骤S3中校验模块计算的峰值旁瓣比 大于阈值 时，利用跟踪结果对各特征相关滤波器和模板跟踪滤波器进行更新，否则不更新；

模型更新的公式为：

 ，其中， 表示各特征滤波器更新的学习率， 为

前一帧第 特征相关滤波器， 为更新后的当前帧第 特征滤波器， 为基于当前帧目标信息重新训练的第 特征相关滤波器；

，其中， 表示模板滤波器更新的学习率，

为前一帧模板滤波器， 为当前帧更新后的目标滤波器， 为基于当前帧目标信息重新训练的模板滤波器。

2.根据权利要求1所述的一种基于多特征滤波器融合的云台目标跟踪方法，其特征在于，所述步骤S1中，  ，其中， 表示图像块 第 个特征相关滤波器的权重值，  为图像块 第 个特征的响应图， 表示相关滤波器的数目；

， 表示图像块 第 个特征， 表示第 个特征相关滤波器， 表示卷积计算。

3.根据权利要求2所述的一种基于多特征滤波器融合的云台目标跟踪方法，其特征在于，所述步骤S1中，所述自适应权重的权重值 为每个特征滤波器响应图的峰值与所有响应图峰值和的比值，即： ，其中， 表示第 个特征滤波器的响应图峰值， 表示第个特征滤波器的响应图峰值；

即： ， ；

融合响应图峰值 对应的坐标点 即为目标中心点位置 ，其中 。

4.根据权利要求1所述的一种基于多特征滤波器融合的云台目标跟踪方法，其特征在于，所述步骤S4中，基于初始帧给出的目标信息，获取图像区域并作为模板图像 ，提取灰度图像特征，利用核相关滤波技术训练模板滤波器 ，训练时既不引入背景信息，也不引入汉宁窗处理；在目标跟踪开始后，利用前述预测得到的目标中心点位置 和预测的目标尺度信息 获得目标预测结果图像 ，通过 计算目标预测结果图像与模板图像的相似性，来衡量目标的状态，判断目标是否被遮挡或者目标丢失。

5.根据权利要求4所述的一种基于多特征滤波器融合的云台目标跟踪方法，其特征在于，对S3中校验模块获得的 值进行评估，若其小于阈值 ，则表示跟踪结果预测可靠性低，对预测目标区域图像提取灰度特征，与模板滤波器进行相关性计算；若模板滤波器响应图峰值小于阈值 ，则表示目标被遮挡，需进入后续处理且输出目标状态信息，并对目标遮挡进行累加计数；当目标被遮挡计数大于阈值 ，则判断目标丢失，退出本次跟踪；若模板滤波器响应图峰值大于阈值 ，表示目标状态正常且输出目标状态信息，目标被遮挡计数清零。

6.根据权利要求1所述的一种基于多特征滤波器融合的云台目标跟踪方法，其特征在于，所述步骤S5中，利用轨迹预测器模块来对S4中输出目标被遮挡的情况进行处理，轨迹滤波器是基于线性卡尔曼滤波来实现的；将目标中心点位置信息的横轴和纵轴坐标作为二维输入，利用当前帧之前的 帧范围内的目标中心点坐标来训练轨迹滤波器，预测当前帧目标中心点位置信息，以此来更新S1中计算得到的目标中心点。

说明书

一种基于多特征滤波器融合的云台目标跟踪系统和方法

技术领域

[0001] 本发明涉及一种云台目标跟踪系统和方法，具体涉及一种基于多特征滤波器融合的云台目标跟踪系统和方法；属于图像目标跟踪技术领域。

背景技术

[0002] 云台目标跟踪是云台应用中的关键技术，现有的目标跟踪算法，主要是基于相关滤波的跟踪算法，虽然满足了云台芯片的处理需求，但是依然存在跟踪容易丢失和漂移，且无法处理目标遮挡等问题。比如，多数核相关滤波跟踪方法采用单一的手工特征，特征表示能力弱；或者简单地对多种手工特征的相关性表示进行相加求和以达到特征融合的目的，未能充分发挥多种特征的表示能力，导致目标跟踪效果不鲁棒，易丢失。

[0003] 随着技术的发展，部分相关滤波方法提出了对不同手工特征的各通道分别训练相关滤波器的新技术，且对每个滤波器自适应地分配权重，虽然增强了特征表示的能力，但这样随着特征通道的增加，计算量将随之成倍地增加（如直方图梯度特征有32通道，将训练32个滤波器），使其无法在低端云台芯片中达到实时效果。另外，也有采用深度学习训练特征，再结合相关滤波器来跟踪目标，以达到提升跟踪精度的目的，例如SiamFC系列方法；或者利用最新的深度学习技术transform算法框架来端到端的训练目标跟踪模型。但以上方法都存在模型计算量大，运行速度慢，不适用普通云台芯片的问题。

[0004] 此外，多数基于相关滤波的目标跟踪方法在处理目标尺度变化时，都采用滤波器在多个尺度上进行预测，选择响应峰值最大的尺度来更新目标状态，或者采用DSST滤波方法单独训练滤波器来预测尺度的变化。该方法对目标的长宽进行同比例缩放，而目标运动过程中，随着表观变化，并不严格遵循这一规则，目标长宽变化趋势不同是常见的现象。因此，这样的跟踪方法不能够准确预测目标尺度，使得模型不断引入背景噪声或者过于聚焦目标局部信息，导致滤波器模型变坏，最终导致跟踪失败。

[0005] 除上述弊端外，目前的各相关滤波目标跟踪方法多以固定的学习率对模型进行更新，这样势必会不断引入背景等噪声，不断地破坏模型的区分能力。另外，各相关滤波目标跟踪方法多以最终响应图的极大值来表达目标状态，若其低于一定阈值则判断目标遮挡或跟踪失败。由于跟踪模型区分能力的不断下降，单纯依赖其响应图的极值，是不能准备描述目标的跟踪状态的，同时也无法对目标遭遇短暂遮挡问题进行有效处理。

[0006] 基于上述原因，有必要提出一种云台目标跟踪算法，以优化并解决上述的问题和缺陷。

发明内容

[0007] 本发明的目的是针对现有技术中存在的上述问题，提供了一种基于多特征滤波器融合的云台目标跟踪系统和方法，通过多特征滤波器融合决策来实现云台目标跟踪，增加了目标跟踪的准确性和鲁棒性，同时能够及时输出目标的状态信息。

[0008] 为了实现上述目标，本发明采用如下的技术方案：

[0009] 本发明首先公布了一种基于多特征滤波器融合的云台目标跟踪系统，包括：

[0010] 相关性响应图融合模块：基于前一帧图像和目标信息，利用核相关滤波器训练多个特征相关滤波器，设置自适应权重，融合生成最终相关性响应图，预测当前帧目标中心点位置；

[0011] 目标尺度预测模块：依据权重最大的特征相关滤波器，在尺度变化空间预测当前帧目标尺度信息；

[0012] 相关性响应图校验模块：对融合后的相关性响应图进行校验，计算其峰值和峰值旁瓣比，选择是否需要引入模板滤波器判断目标状态，同时选择是否更新全部相关滤波器；

[0013] 模板滤波器模块：当相关性响应图校验模块判断目标位置预测不可靠时，将当前预测目标结果输入模板滤波器模块，判断目标状态，若目标被遮挡，则利用轨迹预测模块，更新目标位置，若长期被遮挡，则目标丢失，停止跟踪；

[0014] 轨迹预测模块：当目标被遮挡时，利用前面多帧目标中心点信息，训练轨迹预测器，预测当前帧的目标中心点，并更新目标位置信息；

[0015] 模型更新模块：基于相关性响应图校验模块的结果，综合峰值和峰值旁瓣比分析，定义模型是否更新和更新的频率；若更新，则更新全部相关滤波器。

[0016] 本发明还公布了一种基于上述跟踪系统的多特征滤波器融合的云台目标跟踪方法，包括如下步骤：

[0017] S1、基于人工或检测器给出的初始帧的图像、目标和目标周围背景信息，提取多种手工特征，基于核相关滤波器目标跟踪方法（kcf）来训练对应特征的相关滤波器，分别与当前帧图像对应的特征图进行计算，利用自适应权重融合获得最终响应图 ，得到目标中心点位置 ；

[0018] S2、利用步骤S1中权重最大的相关滤波器，在一个满足目标长宽变化趋势相对独立的尺度集合空间预测，获得目标新变化的尺度 ；

[0019] S3、对步骤S1中融合后的相关滤波响应图进行校验，获取响应图的峰值旁瓣比，对响应图的峰值情况和数值分布情况进行分析， 值越高说明多特征滤波器的预测结果越可靠；

[0020] S4、基于初始帧的图像和目标信息，提取目标特征，训练模板滤波器，评估步骤S3中峰值旁瓣比值后，将步骤S1和S2预测的目标信息输入模板滤波器计算预测结果与模板图像的相似性来预测目标的遮挡状态，若目标长时间被连续遮挡，则判断目标丢失；

[0021] S5、利用当前帧之前的多帧目标位置信息，训练轨迹预测器，当目标处于遮挡时，预测目标的位置信息；该步骤中，通过轨迹预测模块来对步骤S4的输出目标被遮挡的情况进行处理，轨迹滤波器是基于线性卡尔曼滤波来实现的；

[0022] S6、结合步骤S1中的响应图峰值和步骤S3中的校验模块结果，自适应地定义各滤波器是否更新和更新的频率，分别对步骤S1中的多个滤波器进行更新和对步骤S4中的模板滤波器进行更新。

[0023] 需要说明的是，在本发明的上述方法中，所有滤波器均不以固定步长来更新，而是通过设置融合响应图的峰值和峰值旁瓣比相结合来决定滤波器更新的速率，很好地解决了：现有技术中相关滤波目标跟踪算法中固定步长的模型更新，会不断引入背景噪声导致跟踪失败的问题。

[0024] 优选地，前述多种手工特征包括：灰度特征、直方图梯度特征（HOG特征）、颜色命名空间特征（color‑name，CN特征）和颜色特征（RGB特征）。

[0025] 优选地，前述步骤S1中，自适应权重融合获得的最终响应图表示为：

[0026] ，其中， 表示图像块 第 个特征相关滤波器的权重值， 为图像块 第 个特征的响应图， 表示相关滤波器的数目；

[0027] ， 表示图像块 第 个特征， 表示第 个特征相关滤波器， 表示卷积计算。

[0028] 更优选地，前述步骤S1中，所述自适应权重的权重值 为每个特征滤波器响应图的峰值与所有响应图峰值和的比值，即： ，其中， 表示第 个特征滤波器的响应图峰值， 表示第 个特征滤波器的响应图峰值；

[0029] 即： ， ； 表示计算最大值。

[0030] 融合响应图峰值 对应的坐标点 即为目标中心点位置 ，其中。

[0031] 更优选地，前述步骤S2中，目标尺度的预测通过选择权值最大的特征滤波器 来实现，具体实现过程为：

[0032] 首先，分别对目标的长宽 ，引入尺度变化池 ，形成最终的尺度变化空间集合 ，其中，下标 、 分别表示尺度变化作用
的对象为目标包围框的长和宽，下标0、1、2分别表示不同的尺度变化率；

[0033] 然后，利用尺度空间集合 和预测得到的目标中心点位置 ，获得不同尺度空间下的图像区域 ，其中， ；分别提取第 个特征 ，再与特征滤波器 计算：

[0034] ，其中， 为第 个尺度对应的响应图；

[0035] 最后，通过比较尺度空间 中9个尺度下计算响应图的峰值 ，峰值最大对应的尺度 即为目标新变化的尺度：

[0036] 。

[0037] 更优选地，前述步骤S3中，峰值旁瓣比 ，

[0038] 值越高表明预测结果越可靠，其中， 表示步骤S1中自适应权重融合获得的最终响应图，表示以峰值为中心的旁瓣区域占整个响应图区域大小的比例， 表示响应图去除旁瓣区域后剩余部分的均值， 表示响应图去除旁瓣区域后剩余部分的标准差。

[0039] 进一步优选地，前述步骤S4中，基于初始帧给出的目标信息，不扩展目标的包围框，不包含背景信息，获取图像区域并作为模板图像 ，提取灰度图像特征，利用核相关滤波技术训练模板滤波器 ；在目标跟踪开始后，利用前述预测得到的目标中心点位置 和预测的目标尺度信息 获得目标预测结果图像 ，通过 计算目标预测结果图像与模板图像的相似性，来衡量目标的状态，判断目标是否被遮挡或者目标丢失。

[0040] 进一步优选地，在对S3中校验模块获得的 值进行评估时，若其小于阈值 ，则表示跟踪结果预测可靠性低，对预测目标区域图像提取灰度特征，与模板滤波器进行相关性计算；若模板滤波器响应图峰值小于阈值 ，则表示目标被遮挡，需进入后续处理且输出目标状态信息，并对目标遮挡进行累加计数；当目标被遮挡计数大于阈值 ，则判断目标丢失，退出本次跟踪；若模板滤波器响应图峰值大于阈值 ，表示目标状态正常且输出目标状态信息，目标被遮挡计数清零。

[0041] 更进一步优选地，前述步骤S5中，利用轨迹预测器模块来对S4中输出目标被遮挡的情况进行处理，轨迹滤波器是基于线性卡尔曼滤波来实现的。具体地，将目标中心点位置信息的横轴和纵轴坐标作为二维输入，利用当前帧之前的 帧范围内的目标中心点坐标来训练轨迹滤波器，预测当前帧目标中心点位置信息，以此来更新S1中计算得到的目标中心点。

[0042] 需要进一步说明的是，模型更新的准则为：当步骤S1中各滤波器融合响应图的峰值 大于阈值 ，且步骤S3中校验模块计算的峰值旁瓣比 大于阈值 时，利用跟踪结果对各特征相关滤波器和模板跟踪滤波器进行更新，否则不更新；

[0043] 模型更新的公式为：

[0044]   ，其中， 表示各特征滤波器更新的学习率，为前一帧第 特征相关滤波器， 为更新后的当前帧第 特征滤波器， 为基于当前帧目标信息重新训练的第 特征相关滤波器；

[0045] ，其中， 表示模板滤波器更新的学习率，为前一帧模板滤波器， 为当前帧更新后的目标滤波器， 为基于当前帧目
标信息重新训练的模板滤波器。

[0046] 本发明的有益之处在于：

[0047] （1）本发明的云台跟踪系统和跟踪方法通过多特征滤波器融合决策来实现云台目标跟踪，通过设计分别基于长和宽不同比例变化的尺度空间，既解决了普通的目标尺度变化问题，又解决了目标表观的特殊形变问题，增加了目标跟踪的准确性和鲁棒性，同时能够及时输出目标的状态信息，包括正确跟踪、遮挡和丢失。

[0048] （2）本发明的方法能够预测出给定初始信息的目标在后续图像帧中的位置信息和尺度信息，利用自适应权重融合多个特征（至少包括灰度特征、直方图梯度特征、RGB特征和颜色命名特征）相关滤波器的技术，对每个滤波器自适应分配权重，进行加权融合获得目标位置信息，既充分发挥了不同特征的特征表示能力，提升了本发明跟踪方法的准确率，也控制了跟踪核心模块的计算量，使其可以应用于云台平台上；

[0049] （3）在目标跟踪过程中，利用权重最大的特征滤波器在不同尺度空间对目标尺度进行预测，该尺度空间包含了目标长宽的不同变换，进而获得目标准确的尺度信息，解决目标运动过程中尺度变化问题；同时，训练一个以目标图像为基准、不包含背景信息的模板滤波器，结合多个特征滤波器加权后的响应图与模板滤波器的响应图来预测目标的状态信息，及时输出目标被遮挡或者跟踪丢失状态信息，并引入一个目标轨迹预测器，当目标遭遇遮挡时，根据前序帧的轨迹预测当前目标位置信息，来更好地处理目标遮挡；

[0050] （4）此外，所有滤波器均不以固定步长来更新，而是通过设置融合响应图的峰值和峰值旁瓣比相结合来决定滤波器更新的速率。通过校验模块与其他模块的有机结合，有效地控制各模型更新的速率和节奏，进一步提升了本发明方法的鲁棒性。

附图说明

[0051] 图1是本发明的云台目标跟踪系统的模块关系图；

[0052] 图2是本发明的云台目标跟踪方法的逻辑框图；

[0053] 图3是本发明中模板滤波器的工作逻辑框图；

[0054] 图4是本发明中轨迹预测器的工作逻辑框图。

具体实施方式

[0055] 以下结合附图和具体实施例对本发明作具体的介绍。

[0056] 实施例1

[0057] 参见图1，本实施例公布了一种基于多特征滤波器融合的云台目标跟踪系统个，该系统包括如下六个功能模块：

[0058] （1）相关性响应图融合模块：基于前一帧图像和目标信息，利用核相关滤波器训练多个特征相关滤波器，设置自适应权重，融合生成最终相关性响应图，预测当前帧目标中心点位置；

[0059] （2）目标尺度预测模块：依据权重最大的特征相关滤波器，在尺度变化空间预测当前帧目标尺度信息；

[0060] （3）相关性响应图校验模块：对融合后的相关性响应图进行校验，计算其峰值和峰值旁瓣比，选择是否需要引入模板滤波器判断目标状态，同时选择是否更新全部相关滤波器；

[0061] （4）模板滤波器模块：当相关性响应图校验模块判断目标位置预测不可靠时，将当前预测目标结果输入模板滤波器模块，判断目标状态，若目标被遮挡，则利用轨迹预测模块，更新目标位置，若长期被遮挡，则目标丢失，停止跟踪；

[0062] （5）轨迹预测模块：当目标被遮挡时，利用前面多帧目标中心点信息，训练轨迹预测器，预测当前帧的目标中心点，并更新目标位置信息；

[0063] （6）模型更新模块：基于相关性响应图校验模块的结果，综合峰值和峰值旁瓣比分析，定义模型是否更新和更新的频率；若更新，则更新全部相关滤波器。

[0064] 本实施例的跟踪系统通过云台采集的图像数据，预测出给定初始信息的目标在后续图像帧中的位置信息和尺度信息。首先，以不同特征来分别构建跟踪滤波器，采用灰度特征、直方图梯度特征、RGB特征和颜色命名特征，对每个滤波器自适应分配权重，进行加权融合获得目标位置信息，这样既充分利用了不同特征的表示能力，也将计算量控制在一定范围内。

[0065] 接着，利用权重最大的特征滤波器在不同尺度空间对目标尺度进行预测，该尺度空间包含了目标长宽的不同变换，进而获得目标准确的尺度信息，解决目标运动过程中尺度变化问题。同时，训练一个以目标图像为基准，不包含背景信息的模板滤波器，结合多个特征滤波器加权后的响应图与模板滤波器的响应图来预测目标的状态信息，及时输出目标被遮挡或者跟踪丢失状态信息。另外，引入一个目标轨迹预测器，当目标遭遇遮挡时，根据前序帧的轨迹预测当前目标位置信息，来更好地处理目标遮挡。

[0066] 而且，所有滤波器都不以固定步长来更新，而是通过设置不同的条件阈值与融合后相关滤波响应图峰值旁瓣比相结合来决定滤波器更新的速率。本发明通过多滤波器融合跟踪系统来实现云台目标跟踪，增加了目标跟踪的准确性和鲁棒性，同时能够及时输出目标的状态信息，包括正确跟踪、遮挡和丢失。

[0067] 实施例2

[0068] 本实施例公布了一种基于上述实施例1的跟踪系统而实现的多跟踪方法，参见图2，具体包括如下步骤：

[0069] S1、基于人工或检测器给出的初始帧的图像、目标和目标周围背景信息，提取多种手工特征，所述的多种手工特征至少包括：灰度特征、直方图梯度特征（HOG特征）、颜色命名空间特征（color‑name，CN特征）和颜色特征（RGB特征）。

[0070] 然后，基于核相关滤波器目标跟踪方法（kcf）来训练对应特征的相关滤波器，分别与当前帧图像对应的特征图进行计算，利用自适应权重融合获得最终响应图 ，得到目标中心点位置 。

[0071] 具体地，自适应权重融合获得的最终响应图表示为：

[0072] ，其中， 表示相关滤波器的数目， 为图像块 第 个特征的响应图， ， 表示图像块 第 个特征， 表示第 个特征相关滤波器，
表示卷积计算。

[0073] 表示图像块 第 个特征相关滤波器的权重值， 具体为每个特征滤波器响应图的峰值与所有响应图峰值和的比值，即： 。

[0074] 其中， 表示第 个特征滤波器的响应图峰值， 表示第 个特征滤波器的响应图峰值；即： ， ； 表示计算最大值。

[0075] 最终，融合响应图峰值 对应的坐标点 即为目标中心点位置 ，其中。

[0076] S2、利用步骤S1中权重最大的相关滤波器，在一个满足目标长宽变化趋势相对独立的尺度集合空间预测，获得目标新变化的尺度 。

[0077] 目标尺度的预测通过选择权值最大的特征滤波器 来实现，具体实现过程为：

[0078] 首先，分别对目标的长宽 ，引入尺度变化池 ，形成最终的尺度变化空间集合 ，其中，下标 、 分别表示尺度变化作用
的对象为目标包围框的长和宽，下标0、1、2分别表示不同的尺度变化率；

[0079] 然后，利用尺度空间集合 和预测得到的目标中心点位置 ，获得不同尺度空间下的图像区域 ，其中， ；分别提取第 个特征 ，再与特征滤波器 计算：

[0080] ，其中， 为第 个尺度对应的响应图；

[0081] 最后，通过比较尺度空间 中9个尺度下计算响应图的峰值 ，峰值最大对应的尺度 即为目标新变化的尺度：

[0082] 。

[0083] S3、对步骤S1中融合后的相关滤波响应图进行校验，获取响应图的峰值旁瓣比，对响应图的峰值情况和数值分布情况进行分析， 值越高说明多特征滤波器的预测结果越可靠。

[0084] 峰值旁瓣比 ，其中， 表示步骤S1中自适应权重融合获得的最终响应图，表示以峰值为中心的旁瓣区域占整个响应图区域大小的比例，表示响应图去除旁瓣区域后剩余部分的均值， 表示响应图去除旁瓣区域后剩余部分的标准差。

[0085] S4、基于初始帧的图像和目标信息，提取目标特征，训练模板滤波器，如图3所示，评估步骤S3中峰值旁瓣比值后，将步骤S1和S2预测的目标信息输入模板滤波器计算预测结果与模板图像的相似性来预测目标的遮挡状态，若目标长时间被连续遮挡，则判断目标丢失。

[0086] 基于初始帧给出的目标信息时，既不扩展目标的包围框，也不包含背景信息，获取图像区域并作为模板图像 ，提取灰度图像特征，利用核相关滤波技术训练模板滤波器；在目标跟踪开始后，利用前述预测得到的目标中心点位置 和预测的目标尺度信息 获得目标预测结果图像 ，通过 计算目标预测结果图像与模板图像的相似性，来衡量目标的状态，判断目标是否被遮挡或者目标丢失。

[0087] 需要特别说明的是，在对S3中校验模块获得的 值进行评估时，若其小于阈值，则表示跟踪结果预测可靠性低，对预测目标区域图像提取灰度特征，与模板滤波器进行相关性计算；若模板滤波器响应图峰值小于阈值 ，则表示目标被遮挡，需进入后续处理且输出目标状态信息，并对目标遮挡进行累加计数；当目标被遮挡计数大于阈值 ，则判断目标丢失，退出本次跟踪；若模板滤波器响应图峰值大于阈值 ，表示目标状态正常且输出目标状态信息，目标被遮挡计数清零。阈值一般是根据本领域技术人员的经验值选取的，具体到本实施例中， 取值0.3， 取值0.4，取值15。

[0088] S5、利用当前帧之前的多帧目标位置信息，训练轨迹预测器，如图4所示，当目标处于遮挡时，预测目标的位置信息；该步骤中，通过轨迹预测模块来对步骤S4的输出目标被遮挡的情况进行处理，轨迹滤波器是基于线性卡尔曼滤波来实现的。

[0089] 具体地，将目标中心点位置信息的横轴和纵轴坐标作为二维输入，利用当前帧之前的 帧范围内的目标中心点坐标来训练轨迹滤波器，预测当前帧目标中心点位置信息，以此来更新S1中计算得到的目标中心点。

[0090] 需要进一步说明的是，模型更新的准则为：当步骤S1中各滤波器融合响应图的峰值 大于阈值 ，且步骤S3中校验模块计算的峰值旁瓣比 大于阈值 时，利用跟踪结果对各特征相关滤波器和模板跟踪滤波器进行更新，否则不更新。同样地，此处的阈值也是根据本领域技术人员的经验值选取的，具体到本实施例中，取值0.7。

[0091] 模型更新的公式为：

[0092]  ，其中， 表示各特征滤波器更新的学习率，本实施例中建议取值0.012， 为前一帧第 特征相关滤波器， 为更新后的当前帧第特征滤波器， 为基于当前帧目标信息重新训练的第 特征相关滤波器；

[0093] ，其中， 表示模板滤波器更新的学习率，本实施例中建议取值0.025， 为前一帧模板滤波器， 为当前帧更新后的目标滤波器， 为基于当前帧目标信息重新训练的模板滤波器。

[0094] S6、结合步骤S1中的响应图峰值和步骤S3中的校验模块结果，自适应地定义各滤波器是否更新和更新的频率，分别对步骤S1中的多个滤波器进行更新和对步骤S4中的模板滤波器进行更新。即，本发明的方法中所有滤波器均不以固定步长来更新，而是通过设置融合响应图的峰值和峰值旁瓣比相结合来决定滤波器更新的速率。通过校验模块与其他模块的有机结合，有效地控制各模型更新的速率和节奏，进一步提升了本发明方法的鲁棒性。

[0095] 综上，本发明的云台跟踪系统和跟踪方法通过多特征滤波器融合决策来实现云台目标跟踪，通过设计分别基于长和宽不同比例变化的尺度空间，既解决了普通的目标尺度变化问题，又解决了目标表观的特殊形变问题，增加了目标跟踪的准确性和鲁棒性，同时能够及时输出目标的状态信息，包括正确跟踪、遮挡和丢失，既充分发挥了不同特征的特征表示能力，提升了本发明跟踪方法的准确率，也控制了跟踪核心模块的计算量，使其可以应用于云台平台上。

[0096] 以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。