一种基于TLD的适用于无人机的变尺度目标跟踪方法转让专利
申请号 : CN201611238512.7
文献号 : CN106886748B
文献日 : 2020-06-12
发明人 : 黄坤 , 吴国强 , 徐翔 , 尹中义 , 许克鹏 , 曲悠扬
申请人 : 中国航天电子技术研究院
摘要 :
权利要求 :
1.一种基于TLD的适用于无人机的目标跟踪方法,所述目标跟踪方法基于TLD算法,所述TLD算法包括跟踪器、检测器及学习器,所述学习器基于kNN分类器;其特征在于,所述目标跟踪方法包括以下步骤:(1)初始化跟踪器、检测器及学习器;
(2)跟踪器采用中值光流法依据初始位置预测当前帧目标的位置作为目标跟踪结果,跟踪器同时依据目标跟踪结果判断跟踪成功或跟踪失败;
(3)检测器采用以目标为模板,利用归一化相关算法对搜索区域进行相关运算计算归一化相关系数,得到目标检测结果,检测器同时依据目标检测结果判断检测成功或检测失败;
(4)学习器将所述目标跟踪结果和所述目标检测结果分别与待测目标利用归一化相关算法进行匹配得出归一化相关系数,依据最大相关系数选择目标跟踪结果或目标检测结果或目标跟踪结果和目标检测结果的均值作为目标最终结果;
(5)学习器根据目标最终结果确定目标旋转角度及目标缩放系数;
(6)结合目标最终结果、目标旋转角度及尺度变化更新学习器、跟踪器和检测器,进行下一步目标跟踪;
步骤(3)具体为:
对模板图像进行延拓、滤波,再将其与输入图像做卷积运算,卷积计算结果做逆傅里叶变换,进而获得整幅图像各个点的归一化相关系数,所述归一化相关系数通过计算归一化相关算法获得;
最大归一化相关系数所对应的位置为检测目标所在位置即目标检测结果;
对模板图像进行延拓是指通过将模板图像边缘补0使模板图像的大小扩大到和输入图像的大小一致;
步骤(5)具体为:
将每帧目标最终结果作为正样本模型,将正样本模型的所有图像的大小缩放至大小一致;
同时分别设立不同角度的正样本模型,即以初始帧为0度,对正样本模型进行放射变换,每隔θ度为一组,得到360/θ组正样本模型;
θ取360的约数,θ越大则角度处理效果越差,越小则实时性越差;
选取上一帧远离目标区域的N个图像块作为负样本模型,同样将负样本模型的图像大小缩放至与正样品模型图像的大小一致;N取150-300;
所述学习器基于kNN分类器,计算待比对图像同正样本模型和负样本模型的归一化相关系数,依据归一化相关系数排序,取其中最高的k个样本模型,k为奇数;
如果k个样本模型中正样本模型数目大于负样本模型数目,则表明待检测图像为目标,否则认为待检测图像为干扰区域;
在确定待检测图像为目标后,比对相邻两组正样本模型,计算其归一化相关系数,选择归一化相关系数最大者组别的角度定为目标当前旋转角度;
以待检测图像中心为中心,分别取大小为待检测图像不同倍数γ1、γ2、γ3区域作为新的待检测图像计算其在正样本模型中的归一化相关系数,选择归一化相关系数最大者作为最终结果,并获得此时倍数γ作为目标缩放系数,γ为γ1、γ2、γ3其中之一;
γ1、γ2、γ3分别取1.05~1.2、1、0.8~0.95。
2.如权利要求1所述目标跟踪方法,其特征在于,步骤(4)具体为:若跟踪器和检测器均成功,判断两者跟踪结果是否近似相同;
所述近似相同是指目标跟踪结果的矩形框与目标检测结果的矩形框的重载率>a或两矩形框的中心点距离小于d;
所述重载率即两矩形框的重载率为其交集与其并集的比;
学习器根据kNN分类器计算待匹配样本同正样本模型中的最大相关系数,所述最大相关系数即为匹配率,同时判断是否发生遮挡;
若近似相同,取匹配率较高的结果作为目标最终结果,同时更新最近邻检测器;
若重载率
若重载率大于b但小于a时,取目标跟踪结果与目标检测结果的均值作为目标最终结果;
若跟踪器和检测器仅有一个成功,则使用kNN分类器对结果判断,未被遮挡则作为目标最终结果;
其中,a取0.5-0.8;b取0.2-0.4;d取3-6个像素。
3.如权利要求1所述目标跟踪方法,其特征在于,步骤(2)具体为:在图像中生成一系列待跟踪点,首先进行一次金字塔光流踪;
再生成目标跟踪点后,再将当前帧作为初始帧,反向跟踪;
取所有跟踪点的位置与原始跟踪点的位置偏差的均值为middleError,如果得到跟踪点的位置与原始跟踪点偏差>middleError,则认为跟踪不准确,将跟踪准确的跟踪点组合到一起,并由初始位置预测得到当前帧目标的位置即目标跟踪结果;
当跟踪准确点的数目小于所有跟踪点数目的一半时,则判断跟踪失败。
4.如权利要求1所述目标跟踪方法,其特征在于,归一化相关算法的计算公式如下:其中:
T′(x′,y′)=T(x′,y′)-1/(w·h)·∑x″y″T(x″,y″)I′(x+x′,y+y′)=I(x+x′,y+y′)-1/(w·h)·∑x″y″I(x+x″,y+y″);
w和h分别表示模板图像的宽和高,T(x′,y′)表示模板图像在(x',y')的像素值,I(x,y)表示输入图像在(x,y)位置的像素值,R(x,y)为模板图像在(x,y)位置的归一化相关系数,表征模板图像同匹配区域的相关程度即匹配率,且0≤R(x,y)≤1;
若检测区域内最大归一化相关系数R max(x,y)<0.5,则认为检测失败。
5.如权利要求1所述目标跟踪方法,其特征在于,γ1、γ2、γ3分别取1.1、1、0.9。
6.如权利要求1所述目标跟踪方法,其特征在于,θ为30。
7.如权利要求2所述目标跟踪方法,其特征在于,a取0.7;b取0.4;d取4。
说明书 :
一种基于TLD的适用于无人机的变尺度目标跟踪方法
技术领域
背景技术
5fps。LCT算法通过在高速相关跟踪的基础上,通过设立外观模型进行遮挡判断检测,在线SVM分类器进行目标重捕,也可实现对目标的长时间跟踪,目标丢失后的重捕准确率较TLD算法不足,实时性有所提高,每秒可达10fps左右。