视频监控设备进行视频跟踪的方法及该视频监控设备

摘要

本发明公开了视频监控设备进行视频跟踪的方法及该视频监控设备，其中，该方法包括：获取视频目标当前帧与上一相邻帧之间的帧差图像；在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Ht-1；确定出选取的角点在当前帧中的位置坐标集合，表示为Ht；去掉Ht中虚假图像的位置坐标，得到Ht'；确定包含Ht'中所有位置坐标点的外接框；由确定的外接框角点坐标和原始跟踪算法计算得到的外接框角点坐标，计算得到当前帧的外接框的位置坐标；由计算得到外接框的位置坐标在当前帧的视频图像上显示外接框。本发明方案能够提高视频跟踪的有效性。

权利要求

1.一种视频监控设备进行视频跟踪的方法，其特征在于，该方法包括：获取视频目标当前帧与上一相邻帧之间的帧差图像；

在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Ht-1；确定出选取的角点在当前帧中的位置坐标集合，表示为Ht；

基于几何模型去掉Ht中虚假图像的位置坐标，得到Ht'；确定包含Ht'中所有位置坐标点的外接框；

由确定的外接框角点坐标和原始跟踪算法计算得到的外接框角点坐标，计算得到当前帧的外接框的位置坐标；由计算得到外接框的位置坐标在当前帧的视频图像上显示外接框。

2.如权利要求1所述的方法，其特征在于，所述获取视频目标当前帧与上一相邻帧之间的帧差图像包括：从上一相邻帧中提取跟踪点，将跟踪点的位置坐标集合，表示为Pt-1(xt-1,yt-1)；

确定出选取的跟踪点在当前帧中的位置坐标集合，表示为Pt(xt,yt)；

由Pt-1(xt-1,yt-1)和Pt(xt,yt)，计算出仿射变换的几何变换参数，得到仿射变换几何模型；

将视频目标各图象块的位置坐标及其邻域各图像块的位置坐标表示为Ω，将上一相邻帧中Ω对应的图象块的像素值表示为It-1，由Ω和仿射变化几何模型计算得到当前帧中Ω对应的图象块的像素值，表示为It'，将It-1和It'进行相减得到帧差图像。

3.如权利要求2所述的方法，其特征在于，

采用光流撒点算法，从上一相邻帧中提取跟踪点；

采用卢卡斯光流跟踪算法，确定出选取的跟踪点在当前帧中的位置坐标集合；

采用哈里斯角点算法，在帧差图像的运动区域中选取角点；

采用卢卡斯光流跟踪算法，确定出选取的角点在当前帧中的位置坐标集合。

4.如权利要求1所述的方法，其特征在于，所述去掉Ht中虚假图像的位置坐标，得到Ht'包括：由Ht-1和Ht，计算出仿射变换的几何变换参数，得到仿射变换几何模型；

将Ht-1代入仿射变换几何模型，得到运算结果，去掉Ht中与运算结果不一致的相应位置坐标，得到Ht'。

5.如权利要求1至4任一项所述的方法，其特征在于，将外接框角点坐标表示为Smotion，将原始跟踪算法计算得到的外接框角点坐标表示为Sold，将当前帧的外接框的位置坐标表示为Snew；所述计算得到当前帧的外接框的位置坐标采用下述公式表示：Snew＝αSold+(1-α)Smotion，其中，α为权值参数，0＜α＜1。

6.一种视频监控设备，其特征在于，该视频监控设备包括帧差获取单元、角点提取单元、角点跟踪单元、运动聚类单元、运动区域提取单元、原始跟踪单元、运动信息融合单元和显示单元；

所述帧差获取单元，获取视频目标当前帧与上一相邻帧之间的帧差图像；

所述角点提取单元，在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Ht-1；

所述角点跟踪单元，确定出所述角点提取单元选取的角点在当前帧中的位置坐标集合，表示为Ht；

所述运动聚类单元，基于几何模型去掉Ht中虚假图像的位置坐标，得到Ht'；

所述运动区域提取单元，确定包含Ht'中所有位置坐标点的外接框，将确定的外接框角点坐标传送给所述运动信息融合单元；

所述原始跟踪单元，将原始跟踪算法计算得到的外接框角点坐标传送给所述运动信息融合单元；

所述运动信息融合单元，由来自所述运动区域提取单元的外接框角点坐标和来自所述原始跟踪单元的外接框角点坐标，计算得到当前帧的外接框的位置坐标，传送给所述显示单元；

所述显示单元，由来自所述运动信息融合单元的外接框的位置坐标在当前帧的视频图像上显示外接框。

7.如权利要求6所述的视频监控设备，其特征在于，所述帧差获取单元包括光流撒点模块、光流跟踪模块、仿射变换模块和矫正帧差模块；

所述光流撒点模块，从上一相邻帧中提取跟踪点，将跟踪点的位置坐标集合，表示为Pt-

1(xt-1,yt-1)；

所述光流跟踪模块，确定出选取的跟踪点在当前帧中的位置坐标集合，表示为Pt(xt,yt)；

所述仿射变换模块，由Pt-1(xt-1,yt-1)和Pt(xt,yt)，计算出仿射变换的几何变换参数，得到仿射变换几何模型；

所述矫正帧差模块，将视频目标各图象块的位置坐标及其邻域各图像块的位置坐标表示为Ω，将上一相邻帧中Ω对应的图象块的像素值表示为It-1，由Ω和仿射变化几何模型计算得到当前帧中Ω对应的图象块的像素值，表示为It'，将It-1和It'进行相减得到帧差图像。

8.如权利要求7所述的视频监控设备，其特征在于，所述光流撒点模块采用光流撒点算法，从上一相邻帧中提取跟踪点；

所述光流跟踪模块采用光流跟踪算法，确定出选取的跟踪点在当前帧中的位置坐标集合；

所述角点提取单元采用哈里斯角点算法，在帧差图像的运动区域中选取角点；

所述角点跟踪单元采用光流跟踪算法，确定出选取的角点在当前帧中的位置坐标集合。

9.如权利要求6所述的视频监控设备，其特征在于，所述运动聚类单元包括模型获取模块和去除模块；

所述模型获取模块，由Ht-1和Ht，计算出仿射变换的几何变换参数，得到仿射变换几何模型；

所述去除模块，将Ht-1代入仿射变换几何模型，得到运算结果，去掉Ht中与运算结果不一致的相应位置坐标，得到Ht'。

10.如权利要求6至9中任一项所述视频监控设备，其特征在于，将外接框角点坐标表示为Smotion，将原始跟踪算法计算得到的外接框角点坐标表示为Sold，将当前帧的外接框的位置坐标表示为Snew；所述运动信息融合单元包括计算模块，采用公式Snew＝αSold+(1-α)Smotion计算得到当前帧的外接框的位置坐标，其中，α为权值参数，0＜α＜1。

说明书

视频监控设备进行视频跟踪的方法及该视频监控设备

技术领域

[0001] 本发明涉及视频跟踪技术，尤其涉及视频监控设备进行视频跟踪的方法及该视频监控设备。

背景技术

[0002] 视频监控设备的视频跟踪为PTZ（Pan/Tilt/Zoom）跟踪，PTZ跟踪即视频监控设备的云台通过全方位（上下、左右）移动及镜头变倍、变焦控制进行目标跟踪。PTZ跟踪为单目标视频跟踪的一种应用。

[0003] 单目标视频跟踪也就是，在一段视频序列中，已知视频目标在第一帧的位置和大小信息，利用某种跟踪算法，持续输出视频目标在后续序列中的位置和大小信息。单目标视频跟踪的算法种类繁多，比较经典的有特征点跟踪，粒子滤波跟踪，均直漂移（meanshift）跟踪等算法。

[0004] PTZ跟踪也就是，在视频监控设备的摄像机监视场景范围内，当移动目标出现后，用户可以手动锁定（例如通过鼠标点击来锁定目标）或预置位自动触发锁定某个运动目标，来触发PTZ摄像机进行自主自动的PTZ跟踪，并自动控制PTZ摄像机的云台进行全方位旋转，针对被锁定的视频目标进行视觉导向的自动跟踪，以确保跟踪的视频目标持续出现在镜头中央。被锁定的视频目标用外接框标示在视频图像上，外接框多采用矩形框。

[0005] 在PTZ跟踪场景下，采用跟踪算法来区分视频目标所处环境的变化（背景变化）与视频目标自身的变化（目标形变），以使外接框持续标示在视频目标上。区分视频目标所处环境的变化（背景变化）与视频目标自身的变化（目标形变）是衡量一个跟踪算法是否鲁棒的标准。

[0006] 目前的视频监控设备进行视频跟踪的方案中，仍采用原始跟踪算法计算得到当前帧的外接框角点坐标，再由计算得到外接框的位置坐标在当前帧的视频图像上显示外接框。以外接框是矩形框为例，外接框角点坐标包括矩形框的四个角的坐标，即左上角坐标、左下角坐标、右上角坐标和右下角坐标。

[0007] 在PTZ跟踪的场景中，安防监控设备的摄像机是运动的，需要进行跟踪的视频目标是运动的，如人、机动车及非机动车等；视频目标的颜色可能不单一，即可能是多峰分布的。发明人在具体实践中发现，在PTZ跟踪过程中，由于PTZ摄像头角度变化与跟踪物体非刚体的特性，跟踪物体是容易发生形变的，并且由于背景复杂，跟踪的外接框容易漂移到背景上去，也就是，把部分背景作为视频目标的一部分，导致跟踪过程失败，有效性低。

发明内容

[0008] 本发明提供了一种视频监控设备进行视频跟踪的方法，该方法能够提高视频跟踪的有效性。

[0009] 本发明提供了一种视频监控设备，该视频监控设备能够提高视频跟踪的有效性。

[0010] 一种视频监控设备进行视频跟踪的方法，该方法包括：

[0011] 获取视频目标当前帧与上一相邻帧之间的帧差图像；

[0012] 在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Ht-1；确定出选取的角点在当前帧中的位置坐标集合，表示为Ht；

[0013] 去掉Ht中虚假图像的位置坐标，得到Ht'；确定包含Ht'中所有位置坐标点的外接框；

[0014] 由确定的外接框角点坐标和原始跟踪算法计算得到的外接框角点坐标，计算得到当前帧的外接框的位置坐标；由计算得到外接框的位置坐标在当前帧的视频图像上显示外接框。

[0015] 一种视频监控设备，该视频监控设备包括帧差获取单元、角点提取单元、角点跟踪单元、运动聚类单元、运动区域提取单元、原始跟踪单元、运动信息融合单元和显示单元；

[0016] 所述帧差获取单元，获取视频目标当前帧与上一相邻帧之间的帧差图像；

[0017] 所述角点提取单元，在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Ht-1；

[0018] 所述角点跟踪单元，确定出所述角点提取单元选取的角点在当前帧中的位置坐标集合，表示为Ht；

[0019] 所述运动聚类单元，去掉Ht中虚假图像的位置坐标，得到Ht'；

[0020] 所述运动区域提取单元，确定包含Ht'中所有位置坐标点的外接框，将确定的外接框角点坐标传送给所述运动信息融合单元；

[0021] 所述原始跟踪单元，将原始跟踪算法计算得到的外接框角点坐标传送给所述运动信息融合单元；

[0022] 所述运动信息融合单元，由来自所述运动区域提取单元的外接框角点坐标和来自所述原始跟踪单元的外接框角点坐标，计算得到当前帧的外接框的位置坐标，传送给所述显示单元；

[0023] 所述显示单元，由来自所述运动信息融合单元的外接框的位置坐标在当前帧的视频图像上显示外接框。

[0024] 从上述方案可以看出，本发明中，获取视频目标当前帧与上一相邻帧之间的帧差图像；在帧差图像的运动区域中选取角点，确定出选取的角点在当前帧中的位置坐标集合，表示为Ht；去掉Ht中虚假图像的位置坐标，得到Ht'；从Ht′中提取出外接框角点坐标；再由提取的外接框角点坐标计算得到当前帧的外接框的位置坐标。本发明在帧差图像的运动区域中选取角点，基于选取的角点计算得到当前帧的外接框的位置坐标；帧差图像体现了视频目标当前帧与上一相邻帧之间的运动变化，且由于视频目标是运动的，在运动区域选取角点将进一步体现视频目标当前帧与上一相邻帧之间的运动变化；这样，本发明方案将运动信息结合到视频跟踪的方案中，将运动信息作为先验信息来区分跟踪的视频目标和背景，提高了视频跟踪的有效性。

附图说明

[0025] 图1为本发明视频监控设备进行视频跟踪的方法示意性流程图；

[0026] 图2为本发明获取帧差图像的方法流程图；

[0027] 图3为本发明视频监控设备的结构示意图。

具体实施方式

[0028] 为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

[0029] 在PTZ视频跟踪中，由于视频目标所处环境的变化（背景变化）及视频目标自身的变化（目标形变）较大，本发明将运动信息结合到视频跟踪的方案中，将运动信息作为先验信息来区分跟踪的视频目标和背景，以提高视频跟踪的有效性。

[0030] 本发明的思路是：已知跟踪的视频目标在上一相邻帧中的位置信息，也就是已知在上一相邻帧中外接框的位置信息；而后，结合运动信息进行视频跟踪，获取跟踪的视频目标在当前帧的位置信息，也就是结合运动信息获取当前帧中外接框的位置信息。所述上一相邻帧为与当前帧紧邻的上一帧。

[0031] 参见图1，为本发明视频监控设备进行视频跟踪的方法示意性流程图，其包括以下步骤：

[0032] 步骤101，获取视频目标当前帧与上一相邻帧之间的帧差图像。

[0033] 已知上一相邻帧的视频图像和视频目标的位置信息；采集当前帧的视频图像后，由上一相邻帧的视频图像和视频目标的位置信息，以及当前帧的视频图像便可确定出视频目标在当前帧与上一相邻帧之间的帧差图像。具体地，本步骤可采用图2所示的流程实现：

[0034] 步骤201，从上一相邻帧中提取跟踪点，将跟踪点的位置坐标集合，表示为Pt-1(xt-1，yt-1)。

[0035] 本步骤主要作用是初始化跟踪点，将上一相邻帧视频图像表示为It-1，将当前帧视频图像表示为It。本步骤中，可采用光流撒点算法，在上一相邻帧视频图像上等距离均匀提取跟踪点，初始化点集表示为Pt-1，使得Pt-1上的点P均匀分布在It-1上。具体地，可取16个跟踪点。一般地，如采用光流撒点算法提取跟踪点，相应地，步骤202中采用卢卡斯光流跟踪算法进行视频跟踪。

[0036] 如果计算资源足够，也可采用角点提取(例如经典的哈里斯角点算法)来获得初始跟踪点；角点提取的一个缺点是，提取的角点可能集中分布在图像的部分区域里，这样不利于计算出前后两帧的几何关系。当然也可以通过增大角点提取个数，限制相邻两个角点之间的距离，这样做又会增加计算量。

[0037] 在实际操作时，可根据需要，采用较优的方式执行本步骤。

[0038] 步骤202，确定出选取的跟踪点在当前帧中的位置坐标集合，表示为Pt(xt,yt)。

[0039] 在上一相邻帧中提取跟踪点后，可采用现有的卢卡斯光流跟踪等光流跟踪算法，确定出选取的跟踪点图象块在当前帧中的位置坐标集合。

[0040] 卢卡斯光流（全称卢卡斯·卡纳德光流）跟踪算法，属于稀疏光流跟踪算法的一种，其基本思想就是通过迭代算法，找出第一帧某图像块（特征点）在均方判别准则下在第二帧的相应位置。第一帧中各图像块的像素点可以给予不同的权值，本发明中，为了计算方便，图像块中的每一个像素点权值都取为相同。另外某些光流的改进算法还考虑到图像块的平移、旋转及放大等变化。卢卡斯光流跟踪算法考虑的是图象块的平移，本发明的应用情况针对的是连续两帧，也只需考虑图像块的平移变化。

[0041] 同时，卢卡斯光流跟踪算法还利用了金字塔分层的思想，即保存原始图像进行缩小后的1/4图像与1/16图像，跟踪过程中，每次迭代先在最底层（1/16图像）中寻找与初始跟踪点匹配的图象块，然后由找到的图象块在中间层(1/4图像)中寻找匹配的图象块，最后再由在中间层找到的图象块在原图像中寻找匹配的图像块；这样做的好处是可以应对图像块较大范围内的移动，即适用于PTZ运动导致背景快速运动的应用场景。

[0042] 步骤203，由Pt-1(xt-1，yt-1)和Pt(xt,yt)，计算出仿射变换的几何变换参数，得到仿射变换几何模型。

[0043] 仿射变换属于几何变换的一种，是一种参数模型，前提是假定两幅图像中存在这种变换关系。仿射变换主要特征是不改变图像直线的平行关系，也就是一副图像的平行四边形在另一幅图像中仍然是平行四边形。仿射变换模型包含6个参数，6个参数考虑了图像的平移、旋转、放大等因素；而且因为有6个未知量，所以需要两幅图像对应的3对位置坐标点对，即6个方程，进行求解，以得到仿射变换模型，仿射变换模型如公式(1)所示：

[0044]

[0045] Pt-1与Pt中的位置坐标成对应关系，虽然通过3对位置坐标点对便可求解上述公式，但为了结果的准确性，可采用现有算法，根据Pt-1与Pt中的所有位置坐标计算出最佳的结果；具体地，可通过Pt-1与Pt中位置坐标的对应关系，再利用ransac算法与最小二乘，计算出上述公式中6个参数在均方意义下的最佳估值。利用ransac算法与最小二乘计算出最佳估值为已有技术，这里不多赘述。

[0046] 步骤204，将视频目标各图象块的位置坐标及其领域各图像块的位置坐标表示为Ω，将上一相邻帧中Ω对应的图象块的像素值表示为It-1，由Ω和仿射变化几何模型计算得到当前帧中Ω对应的图象块的像素值，表示为It′，将It-1和It'进行相减得到帧差图像。

[0047] 通过仿射变换模型找到了It-1与It之间的几何关系，这样知道It-1上任意一点坐标(xt-1,yt-1)，都可以找到It上对应的点(xt,yt)，将找到的位于点(xt,yt)的图象块表示为It'；然后便可利用公式(2)计算算出整幅图像的帧差图像Dt。本发明针对的是视频目标，可以不对整幅图像进行帧差计算；为了减少计算量，实际的做法是在视频目标所在范围及其所在的一个领域内进行帧差计算，将视频目标范围及该邻域范围用Ω表示，对Ω进行帧差计算的操作对应公式(3)。本发明中，如果输入图像为标准化图像格式(cif，Common 
Intermediate Format)图像，Ω例如可取一个宽高均为40像素值的正方形区域。

[0048] Dt=It-1-It'      (2)

[0049] Dt(Ω)=It-1(Ω)-It'(Ω)    (3)

[0050] 步骤102，在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Ht-1。

[0051] 本步骤选择光流初始跟踪点，步骤103则对选择的光流初始跟踪点进行视频跟踪。为了基于运动信息进行视频跟踪，本发明在帧差图像的运动区域中选取角点，并在步骤103中对选取的角点进行跟踪，具体地，可采用哈里斯角点算法，在帧差图像的运动区域中选取角点。

[0052] 对于卢卡斯光流跟踪来说，纹理比较丰富的区域往往图象块（特征点）跟踪效果较好，而且具体操作一般都是选择哈里斯角点作为光流的初始跟踪点，因此，具体实现时，可选取运动区域中的角点作为初始跟踪点。

[0053] 且本领域技术人员可以获知的是，哈里斯角点选择的判别准则与卢卡斯光流跟踪是否准确的判别准则，两判别准则恰好一致，相应地，在步骤103中，可采用卢卡斯光流跟踪算法对选取的角点进行跟踪。上述的两判别准则一致，也就是两者自相关函数的矩阵特征值一致。对于哈里斯角点算法，给定一个点坐标(xk,yk)，该点图像表示为I(xk,yk)，该点坐标的其自相关函数为E(x,y)，将E(x,y)的矩阵表示为A(x,y)，该点邻域范围的图象表示为I(xk+Δx,yk+Δy)，E(x,y)为公式(4)所示。将I(xk+Δx,yk+Δy)利用泰勒公式展开，得到公式(5)，将公式(5)代入公式(4)，得到公式(6)，这样便确定出了矩阵A(x,y)，进而可确定出A(x,y)的特征值。对于卢卡斯光流跟踪算法，其自相关函数的矩阵特征值的方法类似。确定出两个矩阵特征值后，通过比较便可确定出两者判别准则一致。哈里斯角点选择的判别准则与卢卡斯光流跟踪是否准确的判别准则一致，是本领域技术人员易于获知的，这里不过多赘述。

[0054]

[0055]

[0056]

[0057]

[0058]

[0059] 本发明中，提取哈里斯角点并不是在原始图像上选取，而是在帧差图像上选取，其主要目的是在光流跟踪准确的同时，尽可能使光流点能够体现物体的运动信息；进一步地，提取的光流点最好能够均匀覆盖运动区域。具体地，可提取10个角点作为初始跟踪点，并记为Ht-1。

[0060] 步骤103，确定出选取的角点在当前帧中的位置坐标集合，表示为Ht。

[0061] 具体地，可采用卢卡斯光流跟踪算法，确定出选取的角点在当前帧中的位置坐标集合。

[0062] 本步骤与步骤202的确定方法类似，不同的是，本步骤中初始跟踪点为步骤102提取的10个角点组成的点集Ht-1，而步骤202中初始跟踪点为光流撒点算法均匀撒到It-1上的16个点组成的点集Pt-1。采用与步骤202的类似于光流跟踪方式，由选取的角点跟踪得到在It上对应的点集Ht。

[0063] 步骤104，去掉Ht中虚假图像的位置坐标，得到Ht'。

[0064] 理想情况中，跟踪的视频目标为刚体，也就是不会发生变形，这样得到的Ht-1和Ht两点集对满足平动模型。但实际情况中，视频目标不是刚体，可能将背景图像包含在视频目标中，使视频目标帧差Dt(Ω)包含背景带来的虚假图像；为了提高结果的准确性，可去掉Ht中虚假图像的位置坐标，具体地，本步骤可采用如下方式实现：

[0065] 由Ht-1和Ht，计算出仿射变换的几何变换参数，得到仿射变换几何模型；

[0066] 将Ht-1代入仿射变换几何模型，得到运算结果，去掉Ht中与运算结果不一致的相应位置坐标，得到Ht'。

[0067] 得到仿射变换几何模型的方式与步骤203类似，之后，将Ht-1的坐标代入仿射变换几何模型，得到运算结果，将运算结果与Ht对应的坐标进行比较，如果差别较大，则在Ht中去掉相应的坐标，将Ht中剩余的坐标点集表示为Ht'，如果差别不大，则认为结果一致，即Ht'=Ht。所述差别是否较大可用下述方式实现：设置一个标准差值，将比较结果与标准差值进行比较，如果小于或等于标准差值，则差别不大，结果一致；如果大于标准差值，则差别较大，结果不一致。

[0068] 步骤105，确定包含Ht'中所有位置坐标点的外接框。

[0069] 得到Ht′，便可确定出包含Ht'中所有位置坐标点的外接框，进而得到外接框角点坐标，且为了提高跟踪的确定性，外接框最好是包含Ht'中所有位置坐标点的最小外接框。以外接框是矩形为例，其外接框角点包括左上角，右上角，左下角，右下角四个点，可分别表示为Hleft,top、Hright,top、Hleft，bottom和Hright，bottom，这四个点就确定了一个矩形，就是最终提取的目标运动区域。

[0070] 步骤106，由提取的外接框角点坐标和原始跟踪算法计算得到的外接框角点坐标，计算得到当前帧的外接框的位置坐标。

[0071] 将外接框角点坐标表示为Smotion，将原始跟踪算法计算得到的外接框角点坐标表示为Sold，将当前帧的外接框的位置坐标表示为Snew；所述计算得到当前帧的外接框的位置坐标采用下述公式表示：Snew=αSold+(1-α)Smotion，其中，α为权值参数，0<α＜1。可根据需要设置α，例如取值为α=0.9。

[0072] 步骤107，由计算得到外接框的位置坐标在当前帧的视频图像上显示外接框。

[0073] 本发明提供了一种新的结合运动信息进行视频跟踪的方案，具体地，在帧差图像的运动区域中选取角点，基于选取的角点计算得到当前帧的外接框的位置坐标；帧差图像体现了视频目标当前帧与上一相邻帧之间的运动变化，且由于视频目标是运动的，在运动区域选取角点将进一步体现视频目标当前帧与上一相邻帧之间的运动变化；这样，本发明方案将运动信息结合到视频跟踪的方案中，将运动信息作为先验信息来区分跟踪的视频目标和背景，提高了视频跟踪的有效性。

[0074] 参见图3，为本发明视频监控设备的结构示意图，其包括帧差获取单元、角点提取单元、角点跟踪单元、运动聚类单元、运动区域提取单元、原始跟踪单元、运动信息融合单元和显示单元；

[0075] 所述帧差获取单元，获取视频目标当前帧与上一相邻帧之间的帧差图像；

[0076] 所述角点提取单元，在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Ht-1；

[0077] 所述角点跟踪单元，确定出所述角点提取单元选取的角点在当前帧中的位置坐标集合，表示为Ht；

[0078] 所述运动聚类单元，去掉Ht中虚假图像的位置坐标，得到Ht'；

[0079] 所述运动区域提取单元，确定包含Ht'中所有位置坐标点的外接框，将确定的外接框角点坐标传送给所述运动信息融合单元；

[0080] 所述原始跟踪单元，将原始跟踪算法计算得到的外接框角点坐标传送给所述运动信息融合单元；

[0081] 所述运动信息融合单元，由来自所述运动区域提取单元的外接框角点坐标和来自所述原始跟踪单元的外接框角点坐标，计算得到当前帧的外接框的位置坐标，传送给所述显示单元；

[0082] 所述显示单元，由来自所述运动信息融合单元的外接框的位置坐标在当前帧的视频图像上显示外接框。

[0083] 可选地，所述帧差获取单元包括光流撒点模块、光流跟踪模块、仿射变换模块和矫正帧差模块；

[0084] 所述光流撒点模块，从上一相邻帧中提取跟踪点，将跟踪点的位置坐标集合，表示为Pt-1(xt-1,yt-1)；

[0085] 所述光流跟踪模块，确定出选取的跟踪点在当前帧中的位置坐标集合，表示为Pt(xt,yt)；

[0086] 所述仿射变换模块，由Pt-1(xt-1，yt-1)和Pt(xt,yt)，计算出仿射变换的几何变换参数，得到仿射变换几何模型；

[0087] 所述矫正帧差模块，将视频目标各图象块的位置坐标及其领域各图像块的位置坐标表示为Ω，将上一相邻帧中Ω对应的图象块的像素值表示为It-1，由Ω和仿射变化几何模型计算得到当前帧中Ω对应的图象块的像素值，表示为It′，将It-1和It'进行相减得到帧差图像。

[0088] 可选地，所述光流撒点模块采用光流撒点算法，从上一相邻帧中提取跟踪点；

[0089] 所述光流跟踪模块采用光流跟踪算法，确定出选取的跟踪点在当前帧中的位置坐标集合；

[0090] 所述角点提取单元采用哈里斯角点算法，在帧差图像的运动区域中选取角点；

[0091] 所述角点跟踪单元采用光流跟踪算法，确定出选取的角点在当前帧中的位置坐标集合。

[0092] 可选地，所述运动聚类单元包括模型获取模块和去除模块；

[0093] 所述模型获取模块，由Ht-1和Ht，计算出仿射变换的几何变换参数，得到仿射变换几何模型；

[0094] 所述去除模块，将Ht-1代入仿射变换几何模型，得到运算结果，去掉Ht中与运算结果不一致的相应位置坐标，得到Ht′。

[0095] 可选地，将外接框角点坐标表示为Smotion，将原始跟踪算法计算得到的外接框角点坐标表示为Sold，将当前帧的外接框的位置坐标表示为Snew；所述运动信息融合单元包括计算模块，采用公式Snew=αSold+(1-α)Smotion计算得到当前帧的外接框的位置坐标，其中，α为权值参数，0<α＜1。

[0096] 在PTZ视频跟踪中，本发明将运动信息结合到视频跟踪的方案中，将运动信息作为先验信息来区分跟踪的视频目标和背景。由于运动信息的约束性较弱，不同于其他强先验信息，将运动信息结合在跟踪框架中，再与原始跟踪算法无缝融合，提高了视频跟踪的有效性。

[0097] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。