本发明提供了一种基于ECO与伺服联动的无人机目标跟踪方法及装置，该方法包括：确定跟踪目标；将跟踪目标作为样本放入ECO算法训练相关滤波器；读取下一帧图像，获取目标位置及其置信度概率；依据当前帧跟踪结果调整伺服器的镜头，使得目标始终处于镜头的正中间，获取目标的运动方向和速度；推断出当前帧目标可能处于的范围；判断当前帧跟踪结果是否处于推断的范围内，如果不处于，根据目标的运动方向和速度，匀速运行一帧的时间到达的位置作为样本；如果处于，则将当前帧跟踪结果作为样本；更新ECO算法的样本集；更新相关滤波器；循环执行上述步骤，直至处理完。本发明在目标丢失时，能够根据目标运动轨迹来重捕获目标位置，提升跟踪效果。
1.一种基于ECO与伺服联动的无人机目标跟踪方法，其特征在于，包括以下步骤：S1、读取视频或图像序列的第一帧图像，确定跟踪目标；
S2、将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；
S3、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
S4、依据当前帧跟踪结果调整伺服器的镜头，使得目标始终处于镜头的正中间，根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方向和速度；
S5、依据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向和速度推断出当前帧目标可能处于的范围；
S6、判断当前帧跟踪结果是否处于推断的范围内，如果不处于，则判断为目标丢失，此时根据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向和速度，匀速运行一帧的时间到达的位置作为样本；如果处于，则将当前帧跟踪结果作为样本；
S7、使用样本融合更新策略，更新ECO算法的样本集；
S8、利用获取的样本集训练ECO算法，更新相关滤波器；
循环执行步骤S3 S8，直至当前视频或图像序列处理完。
2.如权利要求1所述的基于ECO与伺服联动的无人机目标跟踪方法，其特征在于，所述步骤S4中根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方向和速度具体包括：根据之前一段图像序列中伺服器调整的方向，利用多项式拟合推断出伺服器的运动方向作为目标的运动方向，根据之前一段图像序列中伺服器运动的距离计算伺服器的平均速度作为目标的运动速度。
3.如权利要求2所述的基于ECO与伺服联动的无人机目标跟踪方法，其特征在于：所述之前一段图像序列取过去2s时间内的图像序列。
4.如权利要求1所述的基于ECO与伺服联动的无人机目标跟踪方法，其特征在于，所述步骤S5具体包括：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈0 60度角方向以上一帧之后获取的目标的运动速度匀速运动4 8s时间形成的轨迹~ ~
作为扇形的两条边，所形成的扇形范围作为当前帧目标可能处于的范围。
5.如权利要求4所述的基于ECO与伺服联动的无人机目标跟踪方法，其特征在于：所述步骤S5具体包括：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈30度角方向以上一帧之后获取的目标的运动速度匀速运动6s时间形成的轨迹作为扇形的两条边，所形成的扇形范围作为当前帧目标可能处于的范围。
6.一种基于ECO与伺服联动的无人机目标跟踪装置，其特征在于，该装置包括：跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；
滤波器训练模块，用于将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；
目标位置初步确定模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
伺服器调整模块，用于依据当前帧跟踪结果调整伺服器的镜头，使得目标始终处于镜头的正中间，根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方向和速度；
目标范围推断模块，用于依据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向和速度推断出当前帧目标可能处于的范围；
样本确定模块，用于判断当前帧跟踪结果是否处于推断的范围内，如果不处于，则判断为目标丢失，此时根据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向和速度，匀速运行一帧的时间到达的位置作为样本；如果处于，则将当前帧跟踪结果作为样本；
样本集更新模块，用于使用样本融合更新策略，更新ECO算法的样本集；
滤波器更新模块，用于利用获取的样本集训练ECO算法，更新相关滤波器；
循环控制模块，用于控制目标位置初步确定模块、伺服器调整模块、目标范围推断模块、样本确定模块、样本集更新模块以及滤波器更新模块循环执行，直至当前视频或图像序列处理完。
7.如权利要求6所述的基于ECO与伺服联动的无人机目标跟踪装置，其特征在于，所述伺服器调整模块根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方向和速度具体包括：根据之前一段图像序列中伺服器调整的方向，利用多项式拟合推断出伺服器的运动方向作为目标的运动方向，根据之前一段图像序列中伺服器运动的距离计算伺服器的平均速度作为目标的运动速度。
8.如权利要求7所述的基于ECO与伺服联动的无人机目标跟踪装置，其特征在于：所述之前一段图像序列取过去2s时间内的图像序列。
9.如权利要求6所述的基于ECO与伺服联动的无人机目标跟踪装置，其特征在于，所述目标范围推断模块具体用于：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈0 60度角方向以上一帧之后获取的目标的运动速度匀速运动4 8s时间~ ~
形成的轨迹作为扇形的两条边，所形成的扇形范围作为当前帧目标可能处于的范围。
10.如权利要求9所述的基于ECO与伺服联动的无人机目标跟踪装置，其特征在于，所述目标范围推断模块具体用于：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈30度角方向以上一帧之后获取的目标的运动速度匀速运动6s时间形成的轨迹作为扇形的两条边，所形成的扇形范围作为当前帧目标可能处于的范围。
基于ECO与伺服联动的无人机目标跟踪方法及装置
技术领域
[0001] 本发明涉及计算机视觉应用目标跟踪领域，尤其涉及一种基于ECO与伺服联动的无人机目标跟踪方法及装置。
背景技术
[0002] 视觉目标跟踪是计算机视觉中一个重要研究方向，在军事无人飞行器、精确制导以及空中预警和民用视频监控，人机交互和无人驾驶等众多领域有着极其广泛的应用，然
而目标跟踪面临着目标尺度变换、重度遮挡、快速移动、超出视野和光照变化等众多挑战，
因此提出一种可靠的实时视觉目标跟踪方法具有很重要的现实意义。
[0003] 以往的相关滤波视觉目标跟踪算法主要是使用给出的样本去训练一个判别分类器，判断跟踪到的是目标还是周围的背景信息。主要使用轮转矩阵对样本进行采集，使用快
速傅里叶变换对算法进行加速计算，而ECO目标跟踪算法在此基础上着重于解决模型过大
的问题，通过减少参数，简化训练集，减少模型更新频率来加快跟踪速度，对抗模型漂移。对
于目标轻度遮挡、姿态改变以及光照变化具有很好的跟踪效果，然而对于目标长期跟踪过
程中出现的目标重度遮挡、快速移动以及超出视野等情况下，容易导致跟踪失败。
发明内容
[0004] 本发明的目的在于提供一种基于ECO与伺服联动的无人机目标跟踪方法及装置，旨在用于解决现有的无人机目标跟踪采用ECO目标跟踪算法在面对目标重度遮挡、快速移
动以及超出视野等情况下，容易导致跟踪失败问题。
[0005] 本发明是这样实现的：
[0006] 一方面，本发明提供一种基于ECO与伺服联动的无人机目标跟踪方法，包括以下步骤：
[0007] S1、读取视频或图像序列的第一帧图像，确定跟踪目标；
[0008] S2、将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；
[0009] S3、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信
度概率；
[0010] S4、依据当前帧跟踪结果调整伺服器的镜头，使得目标始终处于镜头的正中间，根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方向和速度；
[0011] S5、依据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向和速度推断出当前帧目标可能处于的范围；
[0012] S6、判断当前帧跟踪结果是否处于推断的范围内，如果不处于，则判断为目标丢失，此时根据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向和速度，匀速
运行一帧的时间到达的位置作为样本；如果处于，则将当前帧跟踪结果作为样本；
[0013] S7、使用样本融合更新策略，更新ECO算法的样本集；
[0014] S8、利用获取的样本集训练ECO算法，更新相关滤波器；
[0015] 循环执行步骤S3 S8，直至当前视频或图像序列处理完。~
[0016] 进一步地，所述步骤S4中根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方向和速度具体包括：根据之前一段图像序列中伺服器调整的方向，利用多
项式拟合推断出伺服器的运动方向作为目标的运动方向，根据之前一段图像序列中伺服器
运动的距离计算伺服器的平均速度作为目标的运动速度。
[0017] 进一步地，所述之前一段图像序列取过去2s时间内的图像序列。
[0018] 进一步地，所述步骤S5具体包括：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈0 60度角方向以上一帧之后获取的目标的运动速度匀速运
~
动4 8s时间形成的轨迹作为扇形的两条边，所形成的扇形范围作为当前帧目标可能处于的
~
范围。
[0019] 进一步地，所述步骤S5具体包括：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈30度角方向以上一帧之后获取的目标的运动速度匀速运动
6s时间形成的轨迹作为扇形的两条边，所形成的扇形范围作为当前帧目标可能处于的范
围。
[0020] 另一方面，本发明还提供一种基于ECO与伺服联动的无人机目标跟踪装置，该装置包括：
[0021] 跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；
[0022] 滤波器训练模块，用于将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；
[0023] 目标位置初步确定模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前
帧图像的目标位置及其置信度概率；
[0024] 伺服器调整模块，用于依据当前帧跟踪结果调整伺服器的镜头，使得目标始终处于镜头的正中间，根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方
向和速度；
[0025] 目标范围推断模块，用于依据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向和速度推断出当前帧目标可能处于的范围；
[0026] 样本确定模块，用于判断当前帧跟踪结果是否处于推断的范围内，如果不处于，则判断为目标丢失，此时根据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向
和速度，匀速运行一帧的时间到达的位置作为样本；如果处于，则将当前帧跟踪结果作为样
本；
[0027] 样本集更新模块，用于使用样本融合更新策略，更新ECO算法的样本集；
[0028] 滤波器更新模块，用于利用获取的样本集训练ECO算法，更新相关滤波器；
[0029] 循环控制模块，用于控制目标位置初步确定模块、伺服器调整模块、目标范围推断模块、样本确定模块、样本集更新模块以及滤波器更新模块循环执行，直至当前视频或图像
序列处理完。
[0030] 进一步地，所述伺服器调整模块根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方向和速度具体包括：根据之前一段图像序列中伺服器调整的方向，利
用多项式拟合推断出伺服器的运动方向作为目标的运动方向，根据之前一段图像序列中伺
服器运动的距离计算伺服器的平均速度作为目标的运动速度。
[0031] 进一步地，所述之前一段图像序列取过去2s时间内的图像序列。
[0032] 进一步地，所述目标范围推断模块具体用于：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈0 60度角方向以上一帧之后获取的目标的运动
~
速度匀速运动4 8s时间形成的轨迹作为扇形的两条边，所形成的扇形范围作为当前帧目标
~
可能处于的范围。
[0033] 进一步地，所述目标范围推断模块具体用于：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈30度角方向以上一帧之后获取的目标的运动速
度匀速运动6s时间形成的轨迹作为扇形的两条边，所形成的扇形范围作为当前帧目标可能
处于的范围。
[0034] 与现有技术相比，本发明具有以下有益效果：
[0035] 本发明提供的这种基于ECO与伺服联动的无人机目标跟踪方法及装置，算法主体采用ECO目标跟踪算法，同时加入基于伺服器的轨迹判断，观察到目标重度遮挡、快速移动
以及超出视野等情况下，ECO算法跟踪的目标框易出现偏离，导致之后的目标跟踪会受影
响，于是利用历史帧的运动信息来得到目标的运动方向和速度，从而在目标丢失时，能够根
据目标运动轨迹来重捕获目标位置，使得后续的目标跟踪不受影响，提升跟踪效果。
附图说明
[0036] 图1为本发明实施例提供的一种基于ECO与伺服联动的无人机目标跟踪方法的流程图；
[0037] 图2为本发明实施例提供的一种基于ECO与伺服联动的无人机目标跟踪装置的方框图。
具体实施方式
[0038] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它
实施例，都属于本发明保护的范围。
[0039] 如图1所示，本发明实施例提供一种基于ECO与伺服联动的无人机目标跟踪方法，包括以下步骤：
[0040] S1、读取视频或图像序列的第一帧图像，确定跟踪目标；
[0041] S2、将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；具体包括：
[0042] 先对跟踪目标所在候选区域z提取多尺度特征x，包括hog特征以及颜色cn特征，将提取的特征进行pca降维，然后通过傅里叶变换由时域转为频域，傅里叶转化公式如下：
[0043]
[0044] 其中 为降维后的离散特征，N、M对应二维离散特征的行数和列数；
[0045] 进一步将傅里叶变换之后的特征值插到连续域，公式如下：
[0046]
[0047] 其中Xd是第d层特征，Nd为每层特征的行数，bd为事先计算的权重，T为连续区间的右侧，随后将各个特征图和相关滤波器进行卷积操作，公式如下：
[0048]
[0049] 其中，fd对应的是第d层特征通道对应相关滤波器， 为第d层特征通道的连续域特征图，为所有特征通道， 为样本x的得分置信度；
[0050] 求解相关滤波器则通过最小化损失函数来实现，公式如下：
[0051]
[0052] 其中yj为label，即由当前训练样本对应生成且服从高斯向分布，αj为训练样本xj对应的权重，w为正则化因子。
[0053] S3、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信
度概率；
[0054] S4、依据当前帧跟踪结果调整伺服器的镜头，使得目标始终处于镜头的正中间，根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方向和速度；
[0055] 由于每次将目标调整到镜头的正中间，每一帧伺服器调整的方向和距离等价于每一帧目标的运动方向和距离，利用历史t帧的运动情况，综合可计算出目标的运动方向和速
度。
[0056] 所述步骤S4中根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方向和速度具体包括：根据之前一段图像序列中伺服器调整的方向，利用多项式拟合推
断出伺服器的运动方向作为目标的运动方向，根据之前一段图像序列中伺服器运动的距离
计算伺服器的平均速度作为目标的运动速度。优选地，所述之前一段图像序列取过去2s时
间内的图像序列，此时计算的目标的运动方向和速度和实际较为接近。
[0057] S5、依据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向和速度推断出当前帧目标可能处于的范围；
[0058] 所述步骤S5具体包括：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈0 60度角方向以上一帧之后获取的目标的运动速度匀速运动4 8s时
~ ~
间形成的轨迹作为扇形的两条边，所形成的扇形范围作为当前帧目标可能处于的范围。目
标正常运行时一般是处于该范围内的，所以通过该范围可以大致判断出目标是否出现重度
遮挡、快速移动以及超出视野等导致跟踪失败的情况。优选地，该步骤具体为：以上一帧跟
踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈30度角方向以上一帧之
后获取的目标的运动速度匀速运动6s时间形成的轨迹作为扇形的两条边，所形成的扇形范
围作为当前帧目标可能处于的范围。该范围下可以更加准确地判断出目标是否跟踪失败。
[0059] S6、判断当前帧跟踪结果是否处于推断的范围内，如果不处于，则判断为目标丢失，此时根据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向和速度，匀速
运行一帧的时间到达的位置作为样本；如果处于，则将当前帧跟踪结果作为样本；
[0060] 根据步骤S5中推断出的当前帧目标可能处于的范围，可以判断出目标是否出现重度遮挡、快速移动以及超出视野等导致跟踪失败的情况，当目标不处于该范围内，则判断目
标丢失，根据目标运动轨迹来重捕获目标位置，使得后续的目标跟踪不受影响，提升跟踪效
果。如果处于该范围内，则目标是正常运行的，此时直接将当前帧跟踪结果作为样本。
[0061] S7、使用样本融合更新策略，更新ECO算法的样本集；样本融合更新策略具体为：
[0062] 设定样本集中最大样本数量，则若
[0063] （1）样本集未满，将新样本放到空余处；
[0064] （2）样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
[0065] （3）样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
[0066] （4）样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
[0067] S8、利用获取的样本集训练ECO算法，更新相关滤波器；
[0068] 循环执行步骤S3 S8，直至当前视频或图像序列处理完。~
[0069] 基于同一发明构思，本发明实施例还提供了一种于ECO与伺服联动的无人机目标跟踪装置，由于该装置所解决问题的原理与前述实施例的方法相似，因此该装置的实施可
以参见前述方法的实施，重复之处不再赘述。
[0070] 如图2所示，为本发明实施例提供的一种基于ECO与伺服联动的无人机目标跟踪装置，可以用于执行上述方法实施例，该装置包括：
[0071] 跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；
[0072] 滤波器训练模块，用于将当前帧跟踪目标作为样本放入ECO算法训练相关滤波器；
[0073] 目标位置初步确定模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前
帧图像的目标位置及其置信度概率；
[0074] 伺服器调整模块，用于依据当前帧跟踪结果调整伺服器的镜头，使得目标始终处于镜头的正中间，根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方
向和速度；
[0075] 目标范围推断模块，用于依据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向和速度推断出当前帧目标可能处于的范围；
[0076] 样本确定模块，用于判断当前帧跟踪结果是否处于推断的范围内，如果不处于，则判断为目标丢失，此时根据上一帧跟踪的目标位置以及上一帧之后获取的目标的运动方向
和速度，匀速运行一帧的时间到达的位置作为样本；如果处于，则将当前帧跟踪结果作为样
本；
[0077] 样本集更新模块，用于使用样本融合更新策略，更新ECO算法的样本集；
[0078] 滤波器更新模块，用于利用获取的样本集训练ECO算法，更新相关滤波器；
[0079] 循环控制模块，用于控制目标位置初步确定模块、伺服器调整模块、目标范围推断模块、样本确定模块、样本集更新模块以及滤波器更新模块循环执行，直至当前视频或图像
序列处理完。
[0080] 进一步地，所述伺服器调整模块根据之前一段图像序列中伺服器调整的方向和距离，获取目标的运动方向和速度具体包括：根据之前一段图像序列中伺服器调整的方向，利
用多项式拟合推断出伺服器的运动方向作为目标的运动方向，根据之前一段图像序列中伺
服器运动的距离计算伺服器的平均速度作为目标的运动速度。
[0081] 进一步地，所述之前一段图像序列取过去2s时间内的图像序列。
[0082] 进一步地，所述目标范围推断模块具体用于：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈0 60度角方向以上一帧之后获取的目标的运动
~
速度匀速运动4 8s时间形成的轨迹作为扇形的两条边，所形成的扇形范围作为当前帧目标
~
可能处于的范围。
[0083] 进一步地，所述目标范围推断模块具体用于：以上一帧跟踪的目标位置为圆心，沿上一帧之后获取的目标的运动方向两侧呈30度角方向以上一帧之后获取的目标的运动速
度匀速运动6s时间形成的轨迹作为扇形的两条边，所形成的扇形范围作为当前帧目标可能
处于的范围。
[0084] 综上所述，本发明提供的这种基于ECO与伺服联动的无人机目标跟踪方法及装置，算法主体采用ECO目标跟踪算法，同时加入基于伺服器的轨迹判断，观察到目标重度遮挡、
快速移动以及超出视野等情况下，ECO算法跟踪的目标框易出现偏离，导致之后的目标跟踪
会受影响，于是利用历史帧的运动信息来得到目标的运动方向和速度，从而在目标丢失时，
能够根据目标运动轨迹来重捕获目标位置，使得后续的目标跟踪不受影响，提升跟踪效果。
[0085] 本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质
可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random Access
Memory）、磁盘或光盘等。
[0086] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
