目标跟踪方法、装置、电子设备以及存储介质

摘要

本发明提供一种目标跟踪方法、装置、电子设备及计算机可读存储介质。该方法包括：基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像；在确定第一目标对象越过所述待检测视频帧的背景中警戒线的情况下，生成所述第一目标对象在预设的方向检测区域中占据各网格子区域的逻辑图像；若当前采样的待检测视频帧不为起始采样的待检测视频帧，基于比对逻辑图像和所述逻辑图像，确定所述第一目标对象的运动方向。本发明实施例能够简单且高效地实现对运动对象的越界检测和越界方向的判断。

权利要求

1.一种目标跟踪方法，其特征在于，所述方法包括：基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像；

在确定第一目标对象越过所述待检测视频帧的背景中警戒线的情况下，生成所述第一目标对象在预设的方向检测区域中占据各网格子区域的逻辑图像；其中，所述第一目标对象为所述第一前景信息对应的对象，所述方向检测区域为以所述警戒线的中心为中心所构建的检测区域，所述方向检测区域包括至少两个网格子区域；

若当前采样的待检测视频帧不为起始采样的待检测视频帧，基于比对逻辑图像和所述逻辑图像，确定所述第一目标对象的运动方向；其中，所述比对逻辑图像为第二目标对象在所述方向检测区域中占据各网格子区域的逻辑图像，所述第二目标对象为第二前景信息对应的对象，所述第二前景信息为基于前一次采样的待检测视频帧获得的前景图像中的前景信息。

2.根据权利要求1所述的方法，其特征在于，基于比对逻辑图像和所述逻辑图像，确定所述第一目标对象的运动方向的步骤包括：若所述比对逻辑图像中所有网格子区域均为第一逻辑，基于所述逻辑图像中为第二逻辑的网格子区域在方向检测区域中的位置，确定所述第一目标对象的运动方向；其中，所述第一逻辑用于指示网格子区域中未包括满足预设占比的第一前景信息，所述第二逻辑用于指示网格子区域中包括满足所述预设占比的第一前景信息；

若所述比对逻辑图像中存在网格子区域为所述第二逻辑，基于所述逻辑图像相对于所述比对逻辑图像中为所述第二逻辑的网格子区域的像元延展方向，确定所述第一目标对象的运动方法。

3.根据权利要求2所述的方法，其特征在于，所述基于所述逻辑图像相对于所述比对逻辑图像中为所述第二逻辑的网格子区域的像元延展方向，确定所述第一目标对象的运动方法之前，所述方法还包括：

判断所述第一目标对象与所述第二目标对象的距离值是否在搜索邻域尺寸内；其中，所述搜索邻域尺寸为基于待检测视频帧的采样时间所确定的距离值；

若在所述搜索邻域尺寸内，执行所述基于所述逻辑图像相对于所述比对逻辑图像中为所述第二逻辑的网格子区域的像元延展方向，确定所述第一目标对象的运动方法的步骤。

4.根据权利要求1所述的方法，其特征在于，确定第一目标对象越过所述待检测视频帧的背景中警戒线包括：

对所述待检测视频帧的背景中警戒线进行提取，生成目标图像；其中，所述目标图像中仅包括所述警戒线；

对所述目标图像中警戒线所处的位置和前景图像中第一前景信息所处的位置进行比对，获得所述第一前景信息在所述警戒线上的占有面积；

若所述占有面积大于预设阈值，确定所述第一目标对象越过所述警戒线。

5.根据权利要求1所述的方法，其特征在于，所述基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像的步骤包括：将所述待检测视频帧中各像元与所述背景模型中对应位置的像元进行匹配，确定所述待检测视频帧中各像元是否属于背景；

提取目标像元；其中，所述目标像元包括确定为所述待检测视频帧中不属于背景的像元；

生成包括第一前景信息的前景图像；其中，所述第一前景信息包括所述目标像元对应的信息。

6.一种目标跟踪装置，其特征在于，所述装置包括：第一生成模块，用于基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像；

第二生成模块，用于在确定第一目标对象越过所述待检测视频帧的背景中警戒线的情况下，生成所述第一目标对象在预设的方向检测区域中占据各网格子区域的逻辑图像；其中，所述第一目标对象为所述第一前景信息对应的对象，所述方向检测区域为以所述警戒线的中心为中心所构建的检测区域，所述方向检测区域包括至少两个网格子区域；

第一确定模块，用于若当前采样的待检测视频帧不为起始采样的待检测视频帧，基于比对逻辑图像和所述逻辑图像，确定所述第一目标对象的运动方向；其中，所述比对逻辑图像为第二目标对象在所述方向检测区域中占据各网格子区域的逻辑图像，所述第二目标对象为第二前景信息对应的对象，所述第二前景信息为基于前一次采样的待检测视频帧获得的前景图像中的前景信息。

7.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括：第一确定单元，用于若所述比对逻辑图像中所有网格子区域均为第一逻辑，基于所述逻辑图像中为第二逻辑的网格子区域在方向检测区域中的位置，确定所述第一目标对象的运动方向；其中，所述第一逻辑用于指示网格子区域中未包括满足预设占比的第一前景信息，所述第二逻辑用于指示网格子区域中包括满足所述预设占比的第一前景信息；

第二确定单元，用于若所述比对逻辑图像中存在网格子区域为所述第二逻辑，基于所述逻辑图像相对于所述比对逻辑图像中为所述第二逻辑的网格子区域的像元延展方向，确定所述第一目标对象的运动方法。

8.根据权利要求7所述的装置，其特征在于，所述第一确定模块还包括：判断单元，用于判断所述第一目标对象与所述第二目标对象的距离值是否在搜索邻域尺寸内；其中，所述搜索邻域尺寸为基于待检测视频帧的采样时间所确定的距离值；

触发单元，用于若在所述搜索邻域尺寸内，触发所述第二确定单元。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：第三生成模块，用于对所述待检测视频帧的背景中警戒线进行提取，生成目标图像；其中，所述目标图像中仅包括所述警戒线；

比对模块，用于对所述目标图像中警戒线所处的位置和前景图像中第一前景信息所处的位置进行比对，获得所述第一前景信息在所述警戒线上的占有面积；

第二确定模块，用于若所述占有面积大于预设阈值，确定所述第一目标对象越过所述警戒线。

10.根据权利要求6所述的装置，其特征在于，所述第一生成模块包括：第三确定单元，用于将所述待检测视频帧中各像元与预先训练的背景模型中对应位置的像元进行匹配，确定所述待检测视频帧中各像元是否属于背景；

提取单元，用于提取目标像元；其中，所述目标像元包括确定为所述待检测视频帧中不属于背景的像元；

生成单元，用于生成包括第一前景信息的前景图像；其中，所述第一前景信息包括所述目标像元对应的信息。

11.一种电子设备，其特征在于，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的目标跟踪方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的目标跟踪方法的步骤。

说明书

目标跟踪方法、装置、电子设备以及存储介质

技术领域

[0001] 本发明实施例涉及视频监控技术领域，尤其涉及一种目标跟踪方法、装置、电子设备以及计算机可读存储介质。

背景技术

[0002] 运动对象越界侦测(例如安全禁区监控和车流量统计)是监控领域经常用到的功能，此功能要求检测系统在运动物体越过警戒线时进行报警，有的应用场景还需根据物体
的越界方向报警。

[0003] 目前，运动对象的越界检测方法主要有地感线圈检测、视频检测、微波检测和激光检测等方法，地感线圈检测方法需要切割道路，此方法工程量大，并且会对公路造成一定的
影响，微波检测和激光检测方法成本较高，不能广泛使用，而视频检测方法在对运动对象进
行越界侦测时，可以克服地感线圈检测方法的缺点，并且使用方便，价格低廉，应用更加广
阔，因此，受到了越来越多的关注。

[0004] 在视频检测方法中，运动对象的越界检测方式主要有帧间差分法、背景差分法、光流和机器学习等。对于帧间差分法和背景差分法，采用这两种方法无法对运动对象进行轨
迹跟踪，而对于机器学习和光流法，计算量大，易受光照变化影响，资源占有率也较大，采用
这两种方法进行运动对象的轨迹跟踪，实践意义不大，因此，现有技术中，运动对象的越界
检测过程中运动对象的轨迹跟踪存在实现复杂的问题。

发明内容

[0005] 本发明实施例提供一种目标跟踪方法、装置、电子设备以及计算机可读存储介质，以解决现有技术中，运动对象的越界检测过程中运动对象的轨迹跟踪存在实现复杂的问
题。

[0006] 第一方面，本发明实施例提供一种目标跟踪方法，所述方法包括：

[0007] 基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像；

[0008] 在确定第一目标对象越过所述待检测视频帧的背景中警戒线的情况下，生成所述第一目标对象在预设的方向检测区域中占据各网格子区域的逻辑图像；其中，所述第一目
标对象为所述第一前景信息对应的对象，所述方向检测区域为以所述警戒线的中心为中心
所构建的检测区域，所述方向检测区域包括至少两个网格子区域；

[0009] 若当前采样的待检测视频帧不为起始采样的待检测视频帧，基于比对逻辑图像和所述逻辑图像，确定所述第一目标对象的运动方向；其中，所述比对逻辑图像为第二目标对
象在所述方向检测区域中占据各网格子区域的逻辑图像，所述第二目标对象为第二前景信
息对应的对象，所述第二前景信息为基于前一次采样的待检测视频帧获得的前景图像中的
前景信息。

[0010] 第二方面，本发明实施例提供一种目标跟踪装置，所述装置包括：

[0011] 第一生成模块，用于基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像；

[0012] 第二生成模块，用于在确定第一目标对象越过所述待检测视频帧的背景中警戒线的情况下，生成所述第一目标对象在预设的方向检测区域中占据各网格子区域的逻辑图
像；其中，所述第一目标对象为所述第一前景信息对应的对象，所述方向检测区域为以所述
警戒线的中心为中心所构建的检测区域，所述方向检测区域包括至少两个网格子区域；

[0013] 第一确定模块，用于若当前采样的待检测视频帧不为起始采样的待检测视频帧，基于比对逻辑图像和所述逻辑图像，确定所述第一目标对象的运动方向；其中，所述比对逻
辑图像为第二目标对象在所述方向检测区域中占据各网格子区域的逻辑图像，所述第二目
标对象为第二前景信息对应的对象，所述第二前景信息为基于前一次采样的待检测视频帧
获得的前景图像中的前景信息。

[0014] 第三方面，本发明实施例提供一种电子设备，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现
上述目标跟踪方法的步骤。

[0015] 第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述目标跟踪方法的步骤。

[0016] 本发明实施例提供的目标跟踪方法、装置、电子设备以及计算机可读存储介质，首先，基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前
景信息的前景图像；然后，在确定第一目标对象越过所述待检测视频帧的背景中警戒线的
情况下，生成所述第一目标对象在预设的方向检测区域中占据各网格子区域的逻辑图像；
最后，若当前采样的待检测视频帧不为起始采样的待检测视频帧，基于比对逻辑图像和所
述逻辑图像，确定所述第一目标对象的运动方向；其中，所述比对逻辑图像为第二目标对象
在所述方向检测区域中占据各网格子区域的逻辑图像，所述第二目标对象为第二前景信息
对应的对象，所述第二前景信息为基于前一次采样的待检测视频帧获得的前景图像中的前
景信息。

[0017] 本发明实施例中，利用背景差分法和网格法相融合的思想，实现了对运动对象的目标跟踪，由此简单且高效地实现了对运动对象的越界检测和越界方向的判断。

附图说明

[0018] 为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，
对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获
取其他的附图。

[0019] 图1是本发明实施例提供的目标跟踪方法的流程示意图；

[0020] 图2是codebook模型的建立和更新的流程示意图；

[0021] 图3是对待检测视频帧中的运动对象进行跟踪的流程示意图；

[0022] 图4是基于网格化对运动对象进行越界方向判断的流程示意图；

[0023] 图5是本发明实施例提供的目标跟踪装置的结构示意图；

[0024] 图6是本发明实施例提供的电子设备的结构示意图。

具体实施方式

[0025] 从背景技术可以看出，采用视频检测方法对运动对象进行越界检测可以克服地感线圈检测方法的缺点，并且使用方便，价格低廉，应用更加广阔，因此，受到了越来越多的关
注。

[0026] 然而，在视频检测方法中，对运动对象进行越界检测的方式都存在各自的缺陷。

[0027] 具体的，机器学习和光流法虽然可对运动对象进行轨迹跟踪，可利用跟踪到的轨迹判断运动对象的越界方向，但是，这两种方式计算量大，易受光照变化影响，资源占有率
也较大，采用这两种方式进行越界检测，实践意义不大。而对于帧间差分法来说，虽然原理
简单，计算量小，适用于实时系统，但是，采用该方式检测到的运动对象并不完整，误判率较
高，且无法对运动对象进行轨迹跟踪。另外，对于背景差分法来说，虽然算法复杂度小，提取
的运动对象完整，判断较准确，但是，采用该方式也无法进行对运动对象进行轨迹跟踪。

[0028] 基于此，本发明实施例提出一种新的目标跟踪方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本
发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在
没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

[0029] 下面首先对本发明实施例提供的目标跟踪方法进行说明。

[0030] 需要说明的是，本发明实施例提供的目标跟踪方法可以应用于目标跟踪系统，所述目标跟踪系统可以包括用于视频检测的电子设备。这里，所述电子设备可以为终端设备
(如摄像设备)，该终端设备可以对视频帧进行检测，以确定视频帧中运动对象的越界检测
以及越界方向的判断。

[0031] 参见图1，图中示出了本发明实施例提供的目标跟踪方法的流程示意图。如图1所示，该方法可以包括如下步骤：

[0032] 步骤101，基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像；

[0033] 步骤102，在确定第一目标对象越过所述待检测视频帧的背景中警戒线的情况下，生成所述第一目标对象在预设的方向检测区域中占据各网格子区域的逻辑图像；

[0034] 其中，所述第一目标对象为所述第一前景信息对应的对象，所述方向检测区域为以所述警戒线的中心为中心所构建的检测区域，所述方向检测区域包括至少两个网格子区
域。

[0035] 步骤103，若当前采样的待检测视频帧不为起始采样的待检测视频帧，基于比对逻辑图像和所述逻辑图像，确定所述第一目标对象的运动方向。

[0036] 其中，所述比对逻辑图像为第二目标对象在所述方向检测区域中占据各网格子区域的逻辑图像，所述第二目标对象为第二前景信息对应的对象，所述第二前景信息为基于
前一次采样的待检测视频帧获得的前景图像中的前景信息。

[0037] 这里，所述预先训练的背景模型可以为码本codebook模型，所述codebook模型可用于指示待检测视频帧中的背景。其中，所述待检测视频帧对应的图像中包括背景和前景，
所述背景可以理解为不长期移动的物体总和，所述前景可以理解为待检测视频帧中除背景
之外的物体总和，也就是说，所述前景包括在一定维度(如时间和/或空间)上会移动的物
体。

[0038] 这里，基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像之前，所述方法还包括：

[0039] 基于待训练视频帧对背景模型进行训练，建立并更新所述codebook模型。

[0040] 其中，所述codebook模型即为背景模型。

[0041] 同时，在建立所述codebook模型之后，可以基于采集的待训练视频帧，更新所述codebook模型。

[0042] 这里，在一定环境中，由于背景的不长期移动特性，其背景通常不会有太大变化，因此，可以通过采集该环境中的视频帧，来对背景模型进行训练，该采集获得的视频帧即为
待训练视频帧。

[0043] 具体的，可以采用间隔抽帧的方式抽取视频流中的视频帧作为输入的待训练视频帧，其抽帧的间隔可以根据实际情况进行设置，如可以根据硬件等资源进行设置，可以设置
成在1秒内抽取4帧。

[0044] 在实际的监控环境中，由于成像内容相对稳定，光照条件也不会短时突变，故图像不会短时剧烈变化，若图像在短时剧烈变化，则会将该视频帧进行剔除，也就是说，不将该
视频帧作为待训练视频帧对codebook模型进行训练。同时，若视频帧中某对象进入监测区
域，且进入时间未达到等待时间阈值，则也会将该视频帧进行剔除，也就是说，不将该视频
帧作为待训练视频帧来参与codebook模型的建立和更新，以防止该对象被训练成背景，从
而导致该对象即使长时间位于警戒线上而不会触动报警的情况发生。也就是说，对于不长
期固定在该监测区域的对象，不将该对象作为背景来进行训练。

[0045] 由于可能会出现剔除抽取的视频帧的情况，且codebook模型的建立本身有一定的计算复杂度，因此，在所述codebook模型的建立中，可能会导致获取待训练视频帧的时间比
较长。

[0046] 可以基于采集的待训练视频帧，并通过codebook模型的建立算法，对所述codebook模型进行建立和更新。

[0047] 最终建立的codebook模型如下所示：

[0048] 码本为CB，如下式(1)所示：

[0049] CB＝{CW1,CW2,...,CWn,t}                        (1)

[0050] 其中，n为大于或等于1的正整数。

[0051] CB中的一码字CWm如下式(2)所示：

[0052] CW＝{IHigh,ILow,max,min,t_last,stale}              (2)

[0053] 其中，CWm为CB中的任一码字，m为大于或等于1的正整数，IHigh和ILow作为更新时的学习上下界，此组参数用于做codebook模型的更新，即背景更新；max和min记录当前像元的
最大值和最小值，用于进行前景检测。

[0054] 参见图2，图中示出了codebook模型的建立和更新的流程示意图。如图2所示，codebook模型的建立和更新的流程如下：

[0055] 步骤201，获取当前采集的视频帧；

[0056] 步骤202，基于codebook模型，判断当前采集的视频帧中的前景是否越界；若是，则返回执行步骤201；若否，则执行步骤203；

[0057] 步骤203，对当前采集的视频帧进行前景检测，提取所述前景；

[0058] 步骤204，判断所述前景是否进入预设的方向检测区域；若是，则执行步骤205；若否，则执行步骤206；

[0059] 步骤205，判断所述前景进入所述方向检测区域的时间是否达到等待时间阈值；若是，则执行步骤206；若否，则返回执行步骤201；

[0060] 步骤206，将当前采集的视频帧作为待训练视频帧输入至codebook模型中进行训练，以更新所述codebook模型。

[0061] 建立好codebook模型之后，可以基于该codebook模型进行越界检测，其越界检测过程如下：

[0062] 首先，可以基于所述codebook模型，对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像。

[0063] 具体的，获取当前采样的待检测视频帧。其中，所述待检测视频帧可以通过在实时视频流中进行采样获得，其采样的方式也可以通过间隔抽帧的方式，其抽帧的间隔可以根
据实际情况进行设置，可以设置成与codebook模型建立过程中抽帧的间隔可以相同，如可
以根据硬件等资源进行设置，可以设置成在1秒内抽取4帧。由于在目标跟踪过程中，不会频
繁出现剔除视频帧的情况，因此，其获取待检测视频帧的时间可能会比获取待训练视频帧
的时间短。

[0064] 在获取到所述待检测视频帧之后，基于所述codebook模型获取所述待检测视频帧中的前景。将所述待检测视频帧中各像元与所述背景模型中对应位置的像元进行匹配，确
定所述待检测视频帧中各像元是否属于背景；提取目标像元；其中，所述目标像元包括确定
为所述待检测视频帧中不属于背景的像元；生成包括第一前景信息的前景图像；其中，所述
第一前景信息包括所述目标像元对应的信息。

[0065] 也就是说，根据所述codebook模型，判断所述待检测视频帧中对应位置的像元是否属于背景，若不属于背景，则将该像元确定为前景中的像元，同时将其进行提取，生成包
括第一前景信息的前景图像。其中，所述前景图像中的第一前景信息对应的对象即为第一
目标对象，该第一目标对象可以为处于运动状态的对象。

[0066] 实际应用中，可以将包括第一前景信息的前景图像进行二值化，同时，进行膨胀滤波处理，处理后的图像可以记为图像BGcur，其中，图像BGcur中，前景为1，背景为0。

[0067] 然后，基于图像BGcur判断越界情况。

[0068] 具体的，可以对所述待检测视频帧的背景中警戒线进行提取，生成目标图像；其中，所述目标图像中仅包括所述警戒线；对所述目标图像中警戒线所处的位置和前景图像
中第一前景信息所处的位置进行比对，获得所述第一前景信息在所述警戒线上的占有面
积；基于所述占有面积确定所述第一目标对象是否越界。

[0069] 其中，若所述占有面积大于预设阈值，确定所述第一目标对象越过所述警戒线，若所述占有面积小于预设阈值，确定所述第一目标对象未越过所述警戒线。当所述第一目标
对象越过所述警戒时，则可以说明所述第一目标对象越界。

[0070] 实际应用中，可以生成一张只含警戒线的目标图片，同时进行二值化，并进行小窗口膨胀处理，得到二值化的目标图像，记为图像BD，其中，警戒线的有效区域为1，其余区域
为0。应理解，所述小窗口膨胀处理可以为对小矩阵进行卷积的膨胀处理，使得该警戒线既
可以不是太细，也不是太粗，从而达到可以准确判断第一目标对象是否越界的目的。进一步
的，可以对BGcur和BD进行逻辑与，可得到待检测视频帧中所有运动对象在警戒线上的占有
面积，若占有面积大于阈值T，则可判断待检测视频帧中存在目标对象越界。

[0071] 应当说明的是，所述待检测视频帧可能会出现多个运动对象，即多个目标对象，在确定所述待检测视频帧中存在目标对象越界后，可以对待检测视频帧进行目标对象的识
别，以识别出不同的目标对象，对每个目标对象进行逐一方向判断，若所述待检测视频帧中
存在多个目标对象，所述第一目标对象仅为该多个目标对象中任一目标对象。而对于所述
待检测视频帧中其他的目标对象，可以采用与所述第一目标对象相同的处理方式进行越界
检测和越界方向的判断，这里不做具体的限定。

[0072] 进一步的，可以对第一目标对象的轨迹进行实时跟踪，在所述第一目标对象进入至方向检测区域时，即可以开始对所述第一目标对象进行轨迹跟踪，直至所述第一目标对
象离开所述方向检测区域，而在确定第一目标对象越过所述待检测视频帧的背景中警戒线
的情况下，对所述第一目标对象进行运动方向的检测，即输出所跟踪的运动对象的轨迹，这
样，一方面能够全面的记录越界物体的运动轨迹，另一方面能够增强其方向判断的准确性。
其具体过程如下：

[0073] 首先，由于连续采帧的原因，物体的运动具有一定的连续性，因此可采用网格法对运动对象的方向进行评估。可以以警戒线的中心为方向检测区域的中心构建一个检测区
域，同时，将其划分为至少两个网格子区域。优选的，所述检测区域可以为正方形区域，优选
的，所述网格子区域也可以为正方形区域，且各个网格子区域的大小可以相同。

[0074] 基于划分的网格子区域的方向检测区域，可以生成所述第一目标对象在预设的方向检测区域中占据各网格子区域的逻辑图像。实际应用中，可以根据获取到的图像BGcur，
判断各网格子区域的逻辑，若图像BGcur中为1的像元在网格子区域中占比超过预设占比，
比如在网格子区域的像元超过t个像元，则将该网格子区域设置为第二逻辑，相应置为1，否
则设置为第一逻辑，相应置为0。判断完成各网格子区域的逻辑后，即可获得图像BGcur占据
各网格子区域的逻辑图像，可以记为图像LogBGcur。

[0075] 然后，由于判断运动对象的运动方向通常需要基于两帧图像，因此，可以判断当前采样的待检测视频帧是否为起始采样的待检测视频帧，若是，则将该待检测视频帧对应的
逻辑图像进行存储，作为下一次采样的待检测视频帧对应的比对逻辑图像。

[0076] 若否，则可以获取比对逻辑图像，所述比对逻辑图像为第二目标对象在所述方向检测区域中占据各网格子区域的逻辑图像，所述第二目标对象为第二前景信息对应的对
象，所述第二前景信息为基于前一次采样的待检测视频帧获得的前景图像中的前景信息。
并可以基于所述比对逻辑图像和所述逻辑图像，确定所述第一目标对象的运动方向。

[0077] 需要说明的是，所述第二目标对象与所述第一目标对象的情况类似，可能只是前一次采样的待检测视频帧中的任一目标对象，因此，所述第二目标对象和所述第一目标对
象可能不同，也可能相同，具体如何判断所述第一目标对象和第二目标对象是否为同一对
象，可以通过搜索邻域尺寸来判断。

[0078] 判断所述第一目标对象与所述第二目标对象的距离值是否在搜索邻域尺寸内；其中，所述搜索邻域尺寸为基于待检测视频帧的采样时间所确定的距离值。若在所述搜索邻
域尺寸内，则确定所述第一目标对象和第二目标对象为同一对象，可以将比对逻辑图像作
为所述第一目标对象的运动方向判断的参考依据。

[0079] 若不在所述搜索邻域尺寸内，则确定所述第一目标对象和第二目标对象不为同一对象，不能将比对逻辑图像作为所述第一目标对象的运动方向判断的参考依据。而是需要
将所述第一目标对象和第二目标对象分成两个运动对象，且分别基于各自的比对逻辑图像
和逻辑图像进行运动方向的判断。

[0080] 其中，可以根据待检测视频帧的抽帧间隔即采样时间，以及估计的第一目标对象可达的运动速度，来设置所述搜索邻域尺寸，可以记为搜索邻域尺寸s。

[0081] 进一步的，若当前采样的待检测视频帧不为起始采样的待检测视频帧，则与比对逻辑图像(记为图像LogBGpre)进行比较，存在如下结果：

[0082] 若所述比对逻辑图像中所有网格子区域均为第一逻辑，也就是说，图像LogBGpre不存在进入方向检测区域的部分，则基于所述逻辑图像中为第二逻辑的网格子区域在方向
检测区域中的位置，确定所述第一目标对象的运动方向。

[0083] 具体的，可能会存在两种情况导致图像LogBGpre不存在进入方向检测区域的部分。第一种情况为，由于第一目标对象的运动速度较快或者其他异常原因，导致前一次采样
的待检测视频帧中不存在进入方向检测区域的运动对象，而在当前采样的待检测视频帧中
又存在第一目标对象到达了警戒线的位置。此时，可以认为前一次采样的待检测视频帧中
没有运动对象，将第一目标对象的方向轨迹记为(0，0)，同时，将当前采样的待检测视频帧
作为用于对所述第一目标对象进行轨迹跟踪的起始采样的待检测视频帧。

[0084] 第二种情况为，所述第一目标对象可能是从方向检测区域的边界进入所述方向检测区域的，此时，可以确定第一目标对象的坐标点与方向检测区域的边界点的坐标点是否
匹配，若匹配，则确定所述第一目标对象是从方向检测区域的边界进入所述方向检测区域
的。在此种场景下，可以基于所述逻辑图像中为第二逻辑的网格子区域在方向检测区域中
的位置，确定所述第一目标对象的运动方向，比如，若基于所述逻辑图像中为第二逻辑的网
格子区域在方向检测区域中的位置，确定所述第一目标对象处于警戒线的右边位置，则可
以确定所述第一目标对象的运行方向是从左边运动至右边。

[0085] 若所述比对逻辑图像中存在网格子区域为所述第二逻辑，也就是说，图像LogBGpre存在进入方向检测区域的部分，则基于所述逻辑图像相对于所述比对逻辑图像中
为所述第二逻辑的网格子区域的像元延展方向，确定所述第一目标对象的运动方法。

[0086] 实际应用中，若图像LogBGpre和图像LogBGcur在搜索邻域尺寸s范围内，则认为是同一目标对象；若搜索邻域尺寸s范围内，则认为是不同目标对象。同一目标对象按照单个
运动对象来进行运动方向的判断，具体操作为：将图像LogBGpre和图像LogBGcur做逻辑或
运算，得到比对结果LogBGor，比对结果LogBGor中像元沿网格子区域的延展方向(即像元延
展方向)即是第一目标对象的运动方向。不同目标对象则按照单个运动对象的操作方法进
行分别判断，这里不再阐述。

[0087] 综上，对第一目标对象的运动方向判断的实现流程如下所示，参见图3，图中示出了对待检测视频帧中的运动对象进行跟踪的流程示意图。如图3所示，对待检测视频帧中的
运动对象进行跟踪的流程如下：

[0088] 步骤301，获取待检测视频帧；

[0089] 步骤302，基于codebook模型，对所述待检测视频帧进行前景检测，提取出包括前景的前景图像，并将其二值化，得到图像BGcur；

[0090] 其中，该前景即为待检测视频帧中的运动对象；

[0091] 步骤303，基于警戒线判断所述前景是否越界；若是，则执行步骤304；若否，则返回执行步骤301；

[0092] 步骤304，基于图像BGcur，计算相邻两次采集的待检测视频帧中前景基于方向检测区域的逻辑图像，分别为图像LogBGcur和图像LogBGpre；

[0093] 步骤305，基于搜索邻域尺寸确定相邻两次采集的待检测视频帧中前景是否为同一运动对象；若是，则执行步骤307；若否，则执行步骤306；

[0094] 步骤306，分为多个运动对象分别获取计算的逻辑图像；

[0095] 步骤307，将图像LogBGcur和图像LogBGpre进行逻辑或，确定前景的运动轨迹；

[0096] 步骤308，基于前景的运动轨迹，确定该前景的越界方向；

[0097] 返回执行步骤301。

[0098] 参见图4，图中示出了基于网格化对运动对象进行越界方向判断的流程示意图。如图4所示，基于网格化对运动对象进行越界方向判断的流程如下：

[0099] 步骤401，对待检测视频帧对应的前景图像进行二值化，得到图像BGcur；

[0100] 步骤402，以警戒线的中心为中心构建方向检测区域；

[0101] 步骤403，将所述方向检测区域进行网格化分解，得到至少两个网格子区域；

[0102] 步骤404，判断所述待检测视频帧的前景占网格子区域的像元个数是否大于t个；若是，则执行步骤406；若否，则执行步骤405；

[0103] 步骤405，将网格子区域设置为第一逻辑，记为0；执行步骤407；

[0104] 步骤406，将网格子区域设置为第二逻辑，记为1；

[0105] 步骤407，生成前景在所述方向检测区域中占据各网格子区域的逻辑图像；

[0106] 步骤408，根据待检测视频帧的采样时间，获取搜索邻域尺寸s；

[0107] 步骤409，根据搜索邻域尺寸s，判断是否为一个目标对象；若是，则执行步骤411；若否，则执行步骤410；

[0108] 步骤410，不同目标对象分别根据单个目标对象进行分析；

[0109] 步骤411，对于单个目标对象，相邻两次采集的待检测视频帧的逻辑图像做逻辑或，获得的像元延展方向即为运动方向；

[0110] 返回执行步骤401。

[0111] 本发明实施例提供的目标跟踪方法，利用背景差分法和网格法相融合的思想，实现了对运动对象的目标跟踪，由此简单且高效地实现了对运动对象的越界检测和越界方向
的判断。

[0112] 下面对本发明实施例提供的目标跟踪装置进行说明。

[0113] 参见图5，图中示出了本发明实施例提供的目标跟踪装置的结构示意图。如图5所示，目标跟踪装置500包括：

[0114] 第一生成模块501，用于基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像；

[0115] 第二生成模块502，用于在确定第一目标对象越过所述待检测视频帧的背景中警戒线的情况下，生成所述第一目标对象在预设的方向检测区域中占据各网格子区域的逻辑
图像；其中，所述第一目标对象为所述第一前景信息对应的对象，所述方向检测区域为以所
述警戒线的中心为中心所构建的检测区域，所述方向检测区域包括至少两个网格子区域；

[0116] 第一确定模块503，用于若当前采样的待检测视频帧不为起始采样的待检测视频帧，基于比对逻辑图像和所述逻辑图像，确定所述第一目标对象的运动方向；其中，所述比
对逻辑图像为第二目标对象在所述方向检测区域中占据各网格子区域的逻辑图像，所述第
二目标对象为第二前景信息对应的对象，所述第二前景信息为基于前一次采样的待检测视
频帧获得的前景图像中的前景信息。

[0117] 可选的，所述第一确定模块503包括：

[0118] 第一确定单元，用于若所述比对逻辑图像中所有网格子区域均为第一逻辑，基于所述逻辑图像中为第二逻辑的网格子区域在方向检测区域中的位置，确定所述第一目标对
象的运动方向；其中，所述第一逻辑用于指示网格子区域中未包括满足预设占比的第一前
景信息，所述第二逻辑用于指示网格子区域中包括满足所述预设占比的第一前景信息；

[0119] 第二确定单元，用于若所述比对逻辑图像中存在网格子区域为所述第二逻辑，基于所述逻辑图像相对于所述比对逻辑图像中为所述第二逻辑的网格子区域的像元延展方
向，确定所述第一目标对象的运动方法。

[0120] 可选的，所述第一确定模块503还包括：

[0121] 判断单元，用于判断所述第一目标对象与所述第二目标对象的距离值是否在搜索邻域尺寸内；其中，所述搜索邻域尺寸为基于待检测视频帧的采样时间所确定的距离值；

[0122] 触发单元，用于若在所述搜索邻域尺寸内，触发所述第二确定单元。

[0123] 可选的，所述装置还包括：

[0124] 第三生成模块，用于对所述待检测视频帧的背景中警戒线进行提取，生成目标图像；其中，所述目标图像中仅包括所述警戒线；

[0125] 比对模块，用于对所述目标图像中警戒线所处的位置和前景图像中第一前景信息所处的位置进行比对，获得所述第一前景信息在所述警戒线上的占有面积；

[0126] 第二确定模块，用于若所述占有面积大于预设阈值，确定所述第一目标对象越过所述警戒线。

[0127] 可选的，所述第一生成模块501包括：

[0128] 第三确定单元，用于将所述待检测视频帧中各像元与预先训练的背景模型中对应位置的像元进行匹配，确定所述待检测视频帧中各像元是否属于背景；

[0129] 提取单元，用于提取目标像元；其中，所述目标像元包括确定为所述待检测视频帧中不属于背景的像元；

[0130] 生成单元，用于生成包括第一前景信息的前景图像；其中，所述第一前景信息包括所述目标像元对应的信息。

[0131] 需要说明的是，本发明实施例中装置能够实现上述方法实施例中实现的各个过程，为避免重复，这里不再赘述。

[0132] 本发明实施例提供的目标跟踪装置，利用背景差分法和网格法相融合的思想，实现了对运动对象的目标跟踪，由此简单且高效地实现了对运动对象的越界检测和越界方向
的判断。

[0133] 参见图6，图中示出了本发明实施例提供的电子设备的结构示意图。如图6所示，电子设备600包括：处理器601、存储器602、用户接口603和总线接口604。

[0134] 处理器601，用于读取存储器602中的程序，执行下列过程：

[0135] 基于预先训练的背景模型对当前采样的待检测视频帧进行前景检测，生成包括第一前景信息的前景图像；

[0136] 在确定第一目标对象越过所述待检测视频帧的背景中警戒线的情况下，生成所述第一目标对象在预设的方向检测区域中占据各网格子区域的逻辑图像；其中，所述第一目
标对象为所述第一前景信息对应的对象，所述方向检测区域为以所述警戒线的中心为中心
所构建的检测区域，所述方向检测区域包括至少两个网格子区域；

[0137] 若当前采样的待检测视频帧不为起始采样的待检测视频帧，基于比对逻辑图像和所述逻辑图像，确定所述第一目标对象的运动方向；其中，所述比对逻辑图像为第二目标对
象在所述方向检测区域中占据各网格子区域的逻辑图像，所述第二目标对象为第二前景信
息对应的对象，所述第二前景信息为基于前一次采样的待检测视频帧获得的前景图像中的
前景信息。

[0138] 在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器601代表的一个或多个处理器和存储器602代表的存储器的各种电路链接在一起。总线架构还可以
将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本
领域所公知的，因此，本文不再对其进行进一步描述。总线接口604提供接口。针对不同的用
户设备，用户接口603还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小
键盘、显示器、扬声器、麦克风、操纵杆等。

[0139] 处理器601负责管理总线架构和通常的处理，存储器602可以存储处理器601在执行操作时所使用的数据。

[0140] 可选的，处理器601，具体用于：

[0141] 若所述比对逻辑图像中所有网格子区域均为第一逻辑，基于所述逻辑图像中为第二逻辑的网格子区域在方向检测区域中的位置，确定所述第一目标对象的运动方向；其中，
所述第一逻辑用于指示网格子区域中未包括满足预设占比的第一前景信息，所述第二逻辑
用于指示网格子区域中包括满足所述预设占比的第一前景信息；

[0142] 若所述比对逻辑图像中存在网格子区域为所述第二逻辑，基于所述逻辑图像相对于所述比对逻辑图像中为所述第二逻辑的网格子区域的像元延展方向，确定所述第一目标
对象的运动方法。

[0143] 可选的，处理器601，具体用于：

[0144] 判断所述第一目标对象与所述第二目标对象的距离值是否在搜索邻域尺寸内；其中，所述搜索邻域尺寸为基于待检测视频帧的采样时间所确定的距离值；

[0145] 若在所述搜索邻域尺寸内，执行所述基于所述逻辑图像相对于所述比对逻辑图像中为所述第二逻辑的网格子区域的像元延展方向，确定所述第一目标对象的运动方法的步
骤。

[0146] 可选的，处理器601，具体用于：

[0147] 对所述待检测视频帧的背景中警戒线进行提取，生成目标图像；其中，所述目标图像中仅包括所述警戒线；

[0148] 对所述目标图像中警戒线所处的位置和前景图像中第一前景信息所处的位置进行比对，获得所述第一前景信息在所述警戒线上的占有面积；

[0149] 若所述占有面积大于预设阈值，确定所述第一目标对象越过所述警戒线。

[0150] 可选的，处理器601，具体用于：

[0151] 将所述待检测视频帧中各像元与所述背景模型中对应位置的像元进行匹配，确定所述待检测视频帧中各像元是否属于背景；

[0152] 提取目标像元；其中，所述目标像元包括确定为所述待检测视频帧中不属于背景的像元；

[0153] 生成包括第一前景信息的前景图像；其中，所述第一前景信息包括所述目标像元对应的信息。

[0154] 优选的，本发明实施例还提供一种电子设备，包括处理器601，存储器602，存储在存储器602上并可在所述处理器601上运行的计算机程序，该计算机程序被处理器601执行
时实现上述目标跟踪方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里
不再赘述。

[0155] 本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述目标跟踪方法实施例的各个过程，且能
达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只
读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称
RAM)、磁碟或者光盘等。

[0156] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟
以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员
可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出
本发明的范围。

[0157] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0158] 在本申请所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为
一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或
者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互
之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连
接，可以是电性，机械或其它的形式。

[0159] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案
的目的。

[0160] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0161] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计
算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码
的介质。

[0162] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵
盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。