基于单纯形法的对象跟踪方法

摘要

本发明公开了一种基于单纯形法的对象跟踪方法，在已获取的图像中对选定目标进行跟踪处理，通过目标选取、图像输入、选择单纯形顶点、计算顶点与目标的距离、顶点排序、进行单纯形操作、目标预测等步骤，经过一定次数的迭代之后，找到与目标距离最小的那个节点，即目标在当前图像的位置，从而实现对目标对象的跟踪。本发明方法可以实现实时快速移动对象跟踪，在跟踪失败后自动恢复。

权利要求

1.基于单纯形法的对象跟踪方法，在已获取的图像中对选定目标进行跟踪处理，包括如下流程：（1）选取跟踪目标

通过运动目标检测方法自动提取或人机交互方法手动指定，从选定的图像中选取要跟踪的目标对象，计算目标对象的表观统计信息；

（2）图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像；将跟踪区域设置为整个图像；如果输入图像为空，则整个流程中止；

（3）选择单纯形顶点

在初始情况下，将目标对象所在的位置设为第一个顶点；在跟踪过程中，将每一次定位的目标位置作为第一个顶点；在第一个顶点的周围四个不同的方向上再选择四个顶点，顶点间的距离根据目标对象的尺寸来设置，由此，得到5个顶点，即5个候选目标位置； （4）计算顶点与目标对象的距离计算每个顶点的表观统计信息，计算顶点与目标对象的距离Ｄ，该距离定义为：D = 1 － 两个表观统计信息矢量间夹角的余弦值；

（5）顶点排序

按照顶点与目标对象距离从小到大的顺序，将顶点重新排序，如果头顶点与目标对象的距离满足预设条件，则将该顶点作为目标在当前图像的位置，跟踪完成，跳转到（2）；如果头顶点与目标对象的距离超过预设边界值，则跳转到（7），否则，继续；

（6）进行单纯形操作

将距离最大的顶点，即最后一个顶点进行单纯形操作，操作完成后，跳转到（4）；

（7）目标预测

根据目标对象在前一时刻的位置和运动向量，预测其在当前图像中的位置,计算公式如下：目标当前位置的横坐标 = 目标前一时刻的横坐标 + 目标横向运动速度×时间间隔目标当前位置的纵坐标 = 目标前一时刻的纵坐标 + 目标纵向运动速度×时间间隔同时，目标的运动向量表示不变;目标预测完成后，跳转到（2）;经过以上（3）-（6）的一定次数的单纯形操作处理之后，将与目标对象距离最小的那个顶点作为目标在当前图像的位置，从而实现对目标对象的跟踪。

2.根据权利要求1所述之基于单纯形法的对象跟踪方法，其特征在于，所述目标对象的表观统计信息为颜色、纹理、轮廓，或者其组合。

3.根据权利要求1所述之基于单纯形法的对象跟踪方法，其特征在于，所述预设条件：D = 1 － 两个表观统计信息矢量间夹角的余弦值≤Θ，Θ之值由具体跟踪对象的表观统计信息设定。

4.根据权利要求1所述之基于单纯形法的对象跟踪方法，其特征在于，所述顶点间的距离设置为目标对象宽度的一半。

说明书

基于单纯形法的对象跟踪方法

技术领域

[0001] 本发明属于计算机图形图像处理技术领域。

背景技术

[0002] 目前对象跟踪方法主要分为概率跟踪方法和确定性跟踪方法。

[0003] 概率跟踪方法以粒子滤波为主要代表，如Nummiaro提出的一种自适应颜色滤波方法“An adaptive color-based particle filter”，Isard 提出的条件概率密度传播跟踪方法“CONDENSATION-Conditional density propagation for visual tracking”，以及P.H.Li的轮廓滤波法“Visual contour tracking based on particle filters”。这些概率跟踪方法的主要问题是方法需要用大量的样本数量才能很好地近似系统的后验概率密度，机器人面临的环境越复杂，描述后验概率分布所需要的样本数量就越多，算法的复杂度就越高，越不易实现。

[0004] 与概率跟踪方法相比，确定性跟踪方法计算简单、易实现，很适合于实时对象的跟踪。基于均值漂移(Mean Shift, 简称MS)的跟踪方法是确定性跟踪方法的典型代表，它是一种有效的基于密度梯度上升的非参数统计迭代方法。 MS由Comaniciu等人在“Real-time tracking of non-rigid objects using mean shift”中首先将其应用到跟踪领域，并在“The variable bandwidth mean shift and data-driven scale selection”中进一步提出了可变窗宽的MS算子（VBDF）。Comaniciu随后在“Kernel-based object tracking”中对MS跟踪方法做了更进一步的改进，并总结了这种方法的实现框架。Yang在“Efficient mean-shift tracking via a new similarity measure”中采用另一个相似度测量方法来实现基于MS的跟踪，而Tu等人在“Online updating appearance generative mixture model for meanshift tracking”中利用期望最大化算法在线更新表观柱状图，一定程度提高了MS跟踪算法的精度和可靠性。

[0005] Comaniciu等人的“Real-time tracking of non-rigid objects using mean shift”方法，使用目标与候选对象的相似度作为距离测量，通过迭代运算找到目标和候选对象相似函数的最大值，实现目标跟踪。但是，这种基于MS的方法是从假设的初始位置开始（也有根据运动向量带位置预测的MS，如“Kernel-based object tracking”），沿概率密度梯度方向搜索最佳匹配区域，因此，该方法容易陷入局部最优，跟踪快速移动对象时常常失败，且难以从失败中恢复。

发明内容

[0006] 鉴于现有技术的缺点和不足，本发明的目的是设计一种基于单纯形法的对象跟踪方法，以目标与候选对象的相似度作为距离测量，使之通过迭代运算找到目标和候选对象相似函数的最大值的过程中当目标消失后（如目标被完全覆盖），可以沿可能的方向进行区域搜索，从而能够在目标再次出现时恢复跟踪。

[0007] 本发明的目的是通过如下的手段实现的。

[0008] 基于单纯形法的对象跟踪方法，在已获取的图像中对选定目标进行跟踪处理，包括如下流程：

[0009] （1）选取跟踪目标

[0010] 通过运动目标检测方法自动提取或人机交互方法手动指定，从选定的图像中选取要跟踪的目标对象，计算目标对象的表观统计信息；

[0011] （2）图像输入

[0012] 在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像；将跟踪区域设置为整个图像；如果输入图像为空，则整个流程中止；

[0013] （3）选择单纯形顶点

[0014] 在初始情况下，将目标对象所在的位置设为第一个顶点；在跟踪过程中，将每一次定位的目标位置作为第一个顶点；在第一个顶点的周围四个不同的方向上再选择四个顶点，顶点间的距离根据目标对象的尺寸来设置，由此，得到5个顶点，即5个候选目标位置； [0015] （4）计算顶点与目标的距离

[0016] 计算每个顶点的表观统计信息，计算顶点与目标的距离Ｄ，该距离定义为：

[0017] D = 1 － 两个表观统计信息矢量间夹角的余弦值；

[0018] （5）顶点排序

[0019] 按照顶点与目标距离从小到大的顺序，将顶点重新排序，如果头顶点与目标的距离满足设定条件，跟踪完成，跳转到（2）；如果头顶点与目标的距离超过预设边界值，则跳转到（7），否则，继续；

[0020] D = 1 － 两个表观统计信息矢量间夹角的余弦值；

[0021] （6）进行单纯形操作

[0022] 将距离最大的顶点，即最后一个顶点进行单纯形操作，操作完成后，跳转到（4）；

[0023] （7）目标预测

[0024] 根据目标对象在前一时刻的位置和运动向量，预测其在当前图像中的位置,计算公式如下：

[0025] 目标当前位置的横坐标 = 目标前一时刻的横坐标 + 目标横向运动速度×时间间隔

[0026] 目标当前位置的纵坐标 = 目标前一时刻的纵坐标 + 目标纵向运动速度×时间间隔

[0027] 同时，目标的运动向量表示不变;目标预测完成后，跳转到（2）;

[0028] 经过以上（3）-（6）的处理一定次数的单纯形操作之后，将与目标距离最小的那个顶点作为目标在当前图像的位置，从而实现对目标对象的跟踪。

[0029] 本发明的方法，与MS跟踪法，即“Real-time tracking of non-rigid objects using mean shift”中的方法相同，均使用目标与候选对象的相似度作为距离测量，通过迭代运算找到目标和候选对象相似函数的最大值，实现目标跟踪。但是，后者是从假设的初始位置开始（也有根据运动向量带位置预测的MS，如“Kernel-based object tracking”），沿概率密度梯度方向搜索最佳匹配区域，容易陷入局部最优，跟踪快速移动对象时常常失败，且难以从失败中恢复。而本发明方法在各个可能的方向进行搜索，通过单纯形操作，逐步向最佳位置逼近，从而实现目标跟踪。由于本发明方法加入了运动向量分析，在目标消失后（如目标被完全覆盖），可以沿可能的方向进行区域搜索，从而能够在目标再次出现时恢复跟踪。另外，本发明方法基于单纯形操作，实现容易，计算量小可以满足实时对象跟踪的需要。

附图说明

[0030] 图1为单纯形顶点选择示意图。

[0031] 图2为二维单纯形操作示意图。

[0032] 图3为基于单纯形法的对象跟踪方法流程图。

具体实施方式

[0033] 下面结合附图和对本发明作进一步说明。

[0034] 基于本发明方法可实现很多不同的应用，有价值的应用是在需要在大量的动态或非动态图像资料中对目标物的搜寻，例如，可用于流体表面测速（如，泥石流表面测速），道路车辆跟踪及测速，空中飞行物跟踪及测速，“天网”视频中目标物的搜寻，行人跟踪及行为分析等。不失一般性，所述方法包括如下步骤：

[0035] （1）选取跟踪目标

[0036] 从选定的图像中选取要跟踪的目标对象，计算目标对象的表观统计信息（如颜色、纹理、轮廓，或者它们的组合）。目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定。

[0037] （2）输入图像

[0038] 在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像。将跟踪区域设置为整个图像。如果输入图像为空，则整个流程中止。

[0039] （3）选择单纯形顶点（设置候选目标）

[0040] 图1中，选择单纯形顶点（P1为第一个顶点），在初始情况下，将目标对象所在的位置设为第一个顶点；在跟踪过程中，将每一次定位的目标位置作为第一个顶点。在第一个顶点的周围再选择四个顶点（分别在四个不同的方向上），如图1所示。顶点间的距离根据目标对象的尺寸来设置，如可以为目标对象宽度的一半。由此，可以得到5个顶点，即5个候选目标位置。

[0041] 需要说明的是，目标位置，即目标的二维坐标（横坐标Px和纵坐标Py），及其运动向量（横向运动速度Vx和纵向运动速度Vy），构成了4维信息空间（Px，Py，Vx，Vy），按照单纯形原理，需要5个顶点进行求解。当然也可以按照此方法选择更多的顶点。

[0042] （4）计算顶点与目标的距离

[0043] 计算每个顶点的表观统计信息，计算顶点与目标的距离Ｄ，该距离定义为：

[0044] D = 1 － 两个表观统计信息矢量间夹角的余玄值

[0045] （5）顶点排序

[0046] 按照顶点与目标距离从小到大的顺序，将顶点重新排序。如果头顶点与目标的距离满足设定条件，则该顶点为目标在当前图像的位置，同时，根据前后目标位置更新目标运动向量，跟踪完成，跳转到（2）。如果头顶点与目标的距离过大，则说明目标很可能已经消失（如大面积或者完全遮挡），跳转到（7）。否则，继续。

[0047] （6）进行单纯形操作

[0048] 将距离最大的顶点，即最后一个顶点进行单纯形操作，这些操作包括反射，膨胀，收缩等。如图2所示，B表示距离最小的顶点，W表示距离最大的顶点，M表示介于两者之间的顶点，则R表示W经反射的位置，C表示W经收缩后的位置，E表示R经膨胀后位置。也可以根据情况，同时操作几个顶点，如图2中的Sw和Sm分别表示W和M经收缩后的位置。单纯形操作完成后，即对候选目标位置进行了更新，跳转到（4）。

[0049] （7）目标预测

[0050] 根据目标对象在前一时刻的位置和运动向量，预测其在当前图像中的位置。计算公式如下：

[0051] 目标当前位置的横坐标 = 目标前一时刻的横坐标 + 目标横向运动速度×时间间隔

[0052] 目标当前位置的纵坐标 = 目标前一时刻的纵坐标 + 目标纵向运动速度×时间间隔

[0053] 同时，目标的运动向量表示不变。目标预测完成后，跳转到（2）。

[0054] 本发明方法的技术流程图如图3所示。经过以上（3）-（6）的处理后，顶点逐步向最佳位置逼近，因此，经过一定次数的单纯形操作之后，将与目标距离最小的那个顶点作为目标在当前图像的位置，从而实现对目标对象的跟踪。

[0055] 显然，所述预设条件：D = 1 － 两个表观统计信息矢量间夹角的余弦值≤Θ，Θ之值由具体跟踪对象的表观统计信息设定。

[0056] 本发明方法可通过任何计算机程序设计语言（如C语言）编程实现，基于本方法的跟踪软件可在任何PC或者嵌入式系统中实现实时视频对象跟踪应用。