目标跟踪方法、装置及电子设备

摘要

本申请提供了一种目标跟踪方法、装置及电子设备，包括：确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；若根据第一运动轨迹的端点所在的图像，确定端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在端点所在的图像中对目标行人进行行为识别；若目标行人相对于车辆的行为与端点所对应的预设行为相同，根据第二运动轨迹和第一运动轨迹确定所述目标行人的跟踪轨迹。这样能够将在行人和车辆在视频序列中出现重叠时，继续对行人或者车辆完成跟踪，在行人上车后，将继续跟踪车辆，而且可以得到在行人下车前随车辆运动的运动轨迹，实现行人车辆的混合跟踪的技术效果。

权利要求

1.一种目标跟踪方法，其特征在于，包括：

确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；

若根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在所述端点所在的图像中对所述目标行人进行行为识别；所述行为识别包括下车行为识别或上车行为识别；

若所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同，根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹；

当根据所述第一运动轨迹的端点所在的图像，确定所述第一运动轨迹的端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离小于或者等于预设重叠阈值时，确定所述端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件。

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述在所述端点所在的图像中对所述目标行人进行行为识别，包括：根据所述端点所在图像帧的采集时刻确定候选时间段；

利用卷积神经网络对所述候选时间段内的图像序列进行处理，得到所述图像序列的特征序列；

根据所述特征序列确定所述预设行为的发生概率；

根据所述预设行为的发生概率确定所述目标行人的行为。

3.根据权利要求2所述的目标跟踪方法，其特征在于，所述根据所述特征序列确定所述预设行为的发生概率，包括：利用循环神经网络，根据所述特征序列确定所述预设行为的发生概率。

4.根据权利要求1所述的目标跟踪方法，其特征在于，所述方法还包括：若所述端点为第一运动轨迹的起点且所述目标行人发生下车行为，则确定所述目标行人的行为与所述端点所对应的预设行为相同；

或者，若所述端点为第一运动轨迹的终点且所述目标行人发生上车行为，确定所述目标行人的行为与所述端点所对应的预设行为相同。

5.根据权利要求1所述的目标跟踪方法，其特征在于，所述确定视频序列中目标行人的第一运动轨迹，包括：检测所述视频序列中的行人框；

利用卷积神经网络对所述视频序列中的行人框进行再识别，得到多个行人特征；

根据所述多个行人特征进行行人再识别，确定所述目标行人的第一运动轨迹。

6.根据权利要求5所述的目标跟踪方法，其特征在于，所述根据所述多个行人特征进行行人再识别，确定所述目标行人的第一运动轨迹，包括：分别将所述多个行人特征与所述目标行人的特征进行对比；

确定所述多个行人特征中与所述目标行人的特征的相似度超过第一预设阈值的目标行人特征；

将所述目标行人特征对应的行人确定为目标行人，得到所述目标行人的第一运动轨迹。

7.根据权利要求1所述的目标跟踪方法，其特征在于，所述确定视频序列中车辆的第二运动轨迹，包括：检测所述视频序列中的多个车辆框；

利用卷积神经网络对所述视频序列内多个车辆框中的车辆进行处理，得到多个车辆特征；

根据所述多个车辆特征进行车辆再识别，以得到所述第二运动轨迹。

8.根据权利要求7所述的目标跟踪方法，其特征在于，所述根据所述多个车辆特征进行车辆再识别，以得到所述第二运动轨迹，包括：对所述多个车辆特征进行比对；

将所述多个车辆特征中相似度超过第二预设阈值的若干个车辆特征所对应的车辆确定为同一车辆；

在所述视频序列内追踪各车辆，得到第二运动轨迹。

9.根据权利要求1所述的目标跟踪方法，其特征在于，所述确定视频序列中车辆的第二运动轨迹，包括：对所述视频序列中的车辆进行车牌识别，得到各车辆的车牌信息；

在所述视频序列内追踪具有相同车牌信息的车辆，得到所述第二运动轨迹。

10.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹，包括：若所述目标行人发生上车行为，则将第一运动轨迹和该端点之后的第二运动轨迹作为所述目标行人的跟踪轨迹；

或者，若所述目标行人发生下车行为，且该车辆关联的乘客中包括所述目标行人，则将所述第一运动轨迹和所述目标行人在发生上车行为之后且发生下车行为之前车辆的第二运动轨迹作为所述目标行人的跟踪轨迹；

或者，若所述目标行人发生下车行为，且该车辆关联的乘客中没有所述目标行人，则将所述目标行人下车之后的第一运动轨迹作为所述目标行人的跟踪轨迹。

11.根据权利要求1所述的目标跟踪方法，其特征在于，所述方法还包括：将所述第二运动轨迹的标识和所述第一运动轨迹的标识添加至所述目标行人的跟踪轨迹集合中。

12.一种目标跟踪装置，其特征在于，包括：

第一确定模块，用于确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；

行为识别模块，用于当根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件时，在所述端点所在的图像中对所述目标行人进行行为识别；所述行为识别包括下车行为识别或上车行为识别；

第二确定模块，用于当所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同时，根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹；

重叠条件确定模块，用于当根据所述第一运动轨迹的端点所在的图像，确定所述第一运动轨迹的端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离小于或者等于预设重叠阈值时，确定所述端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件。

13.一种电子设备，包括存储器、处理器，所述存储器中存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至11任一项所述的方法的步骤。

14.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-11任一项所述的方法。

说明书

目标跟踪方法、装置及电子设备

技术领域

[0001] 本发明涉及行人跟踪技术领域，尤其是涉及一种目标跟踪方法、装置及电子设备。

背景技术

[0002] 目标跟踪是目前安防应用中重要环节之一，目标跟踪就是在一段视频序列中的每幅图像中实时地找到目标(包括行人和车辆等)。简单说，就是在视频序列中为目标定位。

[0003] 然而，当行人和车辆在视频序列中出现重叠时，将无法再对行人或者车辆继续完成跟踪，例如，在行人上车后，将无法继续跟踪行人。

发明内容

[0004] 有鉴于此，本发明的目的在于提供一种目标跟踪方法、装置及电子设备，以缓解现有技术中存在的在行人发生上车行为后或者发生下车行为前无法对行人进行跟踪的技术问题。

[0005] 第一方面，本发明实施例提供了一种目标跟踪方法，包括：

[0006] 确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；

[0007] 若根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在所述端点所在的图像中对目标行人进行行为识别；

[0008] 若所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同，根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。

[0009] 结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述方法还包括：

[0010] 当根据所述第一运动轨迹的端点所在的图像，确定所述第一运动轨迹的端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离小于或者等于预设重叠阈值时，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件。

[0011] 结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述在与所述端点对应的多张图像中对目标行人进行行为识别，包括：

[0012] 根据所述端点所在图像帧的采集时刻确定候选时间段；

[0013] 利用卷积神经网络对所述候选时间段内的图像序列进行处理，得到所述图像序列的特征序列；

[0014] 根据所述特征序列确定所述预设行为的发生概率；

[0015] 根据所述预设行为的发生概率确定所述目标行人的行为。

[0016] 结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据所述特征序列确定所述预设行为的发生概率，包括：

[0017] 利用循环神经网络，根据所述特征序列确定所述预设行为的发生概率。

[0018] 结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：

[0019] 若所述端点为第一运动轨迹的起点且所述目标行人发生下车行为，则确定所述目标行人的行为与所述端点所对应的预设行为相同；

[0020] 或者，若所述端点为第一运动轨迹的终点且所述目标行人发生上车行为，确定所述目标行人的行为与所述端点所对应的预设行为相同。

[0021] 结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，确定视频序列中目标行人的第一运动轨迹，包括：

[0022] 检测所述视频序列中的行人框；

[0023] 利用卷积神经网络对所述视频序列中的行人框进行再识别，得到多个行人特征；

[0024] 根据所述多个行人特征进行行人再识别，确定所述目标行人的第一运动轨迹。

[0025] 结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，根据所述多个行人特征进行行人再识别，确定所述目标行人的第一运动轨迹，包括：

[0026] 分别将所述多个行人特征与所述目标行人的特征进行对比；

[0027] 确定所述多个行人特征中与所述目标行人的特征的相似度超过第一预设阈值的目标行人特征；

[0028] 将所述目标行人特征对应的行人确定为目标行人，得到所述目标行人的第一运动轨迹。

[0029] 结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，确定视频序列中车辆的第二运动轨迹，包括：

[0030] 检测所述视频序列中的多个车辆框；

[0031] 利用卷积神经网络对所述视频序列内多个车辆框中的车辆进行处理，得到多个车辆特征；

[0032] 根据所述多个车辆特征进行车辆再识别，以得到所述第二运动轨迹。

[0033] 结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述根据所述多个车辆特征进行车辆再识别，以得到所述第二运动轨迹，包括：

[0034] 对所述多个车辆特征进行比对；

[0035] 将所述多个车辆特征中相似度超过第二预设阈值的若干个车辆特征所对应的车辆确定为同一车辆；

[0036] 在所述视频序列内追踪各车辆，得到第二运动轨迹。

[0037] 结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，确定视频序列中车辆的第二运动轨迹，包括：

[0038] 对所述视频序列中的车辆进行车牌识别，得到各车辆的车牌信息；

[0039] 在所述视频序列内追踪具有相同车牌信息的车辆，得到所述第二运动轨迹。

[0040] 结合第一方面，本发明实施例提供了第一方面的第十种可能的实施方式，其中，所述根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹，包括：

[0041] 若所述目标行人发生上车行为，则将第一运动轨迹和该端点之后的第二运动轨迹作为所述目标行人的跟踪轨迹；

[0042] 或者，若所述目标行人发生下车行为，且该车辆关联的乘客中包括所述目标行人，则将所述第一运动轨迹和所述目标行人在发生上车行为之后且发生下车行为之前车辆的第二运动轨迹作为所述目标行人的跟踪轨迹；

[0043] 或者，若所述目标行人发生下车行为，且该车辆关联的乘客中没有所述目标行人，则将所述目标行人下车之后的第一运动轨迹作为所述目标行人的跟踪轨迹。

[0044] 结合第一方面，本发明实施例提供了第一方面的第十一种可能的实施方式，其中，所述方法还包括：

[0045] 将所述第二运动轨迹的第一轨迹标识和所述第一运动轨迹的第二轨迹标识添加至所述目标行人的跟踪轨迹集合中。

[0046] 第二方面，本发明实施例还提供一种目标跟踪装置，包括：

[0047] 第一确定模块，用于确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；

[0048] 行为识别模块，用于当根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件时，在所述端点所在的图像中对所述目标行人进行行为识别；

[0049] 第二确定模块，用于当所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同时，根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。

[0050] 第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。

[0051] 第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述第一方面所述的方法。

[0052] 本发明实施例通过首先确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；若根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在与所述端点对应的图像端点所在的图像中对所述目标行人进行行为识别；若所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同，则可以根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。

[0053] 本发明实施例能够将在行人和车辆在视频序列中出现重叠时，继续对行人或者车辆完成跟踪，在行人上车后，将继续跟踪车辆，而且可以得到在行人下车前随车辆运动的运动轨迹，实现行人车辆的混合跟踪。

[0054] 本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

[0055] 为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

[0056] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0057] 图1为本发明实施例提供的电子设备的示意框图；

[0058] 图2为本发明实施例提供的目标跟踪方法的流程图；

[0059] 图3为图2中步骤S102的流程图；

[0060] 图4为本发明实施例提供的目标跟踪装置的结构图。

具体实施方式

[0061] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0062] 本发明实施例可以应用于电子设备，图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或多个处理器102以及一个或多个存储装置104。可选地，电子设备10还可以包括输入装置106、输出装置108、图像传感器110以及一个或多个非图像传感器114。电子设备中的各个组件通过总线系统112和/或其它形式互联。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其它组件和结构。

[0063] 所述处理器102可以包括CPU1021和CPU1022或者具有数据处理能力和/指令执行能力的其它形式的处理单元，例如现场可编程门阵列(Field-Programmable Gate Array，FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction Set Computer)Machine，ARM)等，并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。

[0064] 所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器
(Read-Only Memory，ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

[0065] 所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

[0066] 所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

[0067] 所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

[0068] 应当注意，图1所示的电子设备10的组件和结构只是示例性的，尽管图1示出的电子设备10包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。

[0069] 目前，在进行行人跟踪时，若行人和车辆在视频序列中出现重叠，将无法再对行人或者车辆继续完成跟踪，例如，在行人上车后，将无法对行人与车辆位置重叠的时间段内继续跟踪行人；也将无法对跟踪行人下车前，行人与车辆位置重叠的时间段内跟踪行人，出现行人跟踪丢失的情况，增大后期人工分析成本，基于此，本发明实施例提供的一种目标跟踪方法、装置及电子设备，可以将在行人和车辆在视频序列中出现重叠时，继续对行人或者车辆完成跟踪，在行人上车后，将继续跟踪车辆，而且可以得到在行人下车前随车辆运动的运动轨迹，实现行人车辆的混合跟踪。

[0070] 为便于对本实施例进行理解，首先对本发明实施例所公开的一种目标跟踪方法进行详细介绍，如图2所示，所述目标跟踪方法可以包括以下步骤S101～S103。

[0071] 步骤S101，确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹。

[0072] 在本发明实施例中，视频序列可以由某一高清摄像头连续拍摄，也可以由同一摄像头不同时刻在不同背景环境下拍摄，还可以由不同高清摄像头拍摄，视频序列中包含待追踪的行人以及至少一个车辆，每个车辆可以在多帧图像中出现多次。

[0073] 示例性的，可以通过以下方式追踪视频序列中目标行人的第一运动轨迹。

[0074] 首先可以检测所述视频序列中的行人框，然后利用卷积神经网络对所述视频序列中的行人框进行再识别，得到多个行人特征；在实际应用中，可以将检测得到的各行人框分别输入至卷积神经网络中，卷积神经网络可以输出行人特征，再根据所述多个行人特征进行行人再识别，确定所述目标行人的第一运动轨迹。示例性的，用于提取行人特征的卷积神经网络可以是利用包括行人的图像作为训练样本预先训练好的。

[0075] 示例性的，对于多个行人特征中的每个行人特征，将行人特征与所述目标行人特征进行特征对比，若该行人特征与目标行人特征之间相似度超过第一预设阈值，则可以将该行人特征所对应的行人确定为目标行人。

[0076] 最后，在所述视频序列内追踪所述目标行人，得到第一运动轨迹，第一运动轨迹包括目标行人的行人框在多帧图像中的像素位置。

[0077] 示例性的，可以通过以下方式追踪视频序列中车辆的第二运动轨迹。首先可以检测所述视频序列中的多个车辆框，利用卷积神经网络对所述视频序列内多个车辆框中的车辆进行处理，得到多个车辆特征；根据多个车辆特征进行车辆再识别，即：对所述多个车辆特征进行比对；将所述多个车辆特征中相似度超过第二预设阈值的车辆特征所对应的车辆确定为同一车辆，即完成了车辆再识别。在所述视频序列内追踪各车辆，得到第二运动轨迹。示例性的，用于提取车辆特征的卷积神经网络可以是利用包括车辆的图像作为训练样本预先训练好的。

[0078] 示例性的，还可以通过以下方式追踪视频序列中车辆的第二运动轨迹：对所述视频序列中的车辆进行车牌识别，得到各车辆的车牌信息；在所述视频序列内追踪具有相同车牌信息的车辆，得到第二运动轨迹。可选地，该方式还可以用于验证利用车辆再识别方法被确定为同一车辆的车辆是否确实为同一车辆。

[0079] 步骤S102，若根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在所述端点所在的图像中对目标行人进行行为识别。

[0080] 第一运动轨迹的端点包括起点和终点。

[0081] 在步骤S102之前，图2所示方法还可以包括：根据第一运动轨迹的端点所在的图像，确定第一运动轨迹的端点所对应的行人位置与第二运动轨迹上位于所述图像的一点对应的车辆位置之间的距离。

[0082] 当根据所述第一运动轨迹的端点所在的图像，确定所述第一运动轨迹的端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离小于或者等于预设重叠阈值时，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件。

[0083] 需要说明的是，若步骤S101中的视频序列包括多个车辆的第二运动轨迹，则根据目标行人的第一运动轨迹的端点所在的图像，分别确定所述端点所对应的行人位置与该多个车辆的第二运动轨迹上位于所述图像的一点的所对应的车辆位置之间的距离。若目标行人的第一运动轨迹的端点所对应的行人位置与其中一个车辆的第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则认为该车辆与目标行人的运动轨迹重叠，可以根据该车辆的第二运动轨迹确定目标行人的跟踪轨迹。示例性的，如图3所示，步骤S102中在所述端点所在的图像中对目标行人进行行为识别可以包括以下步骤。

[0084] 步骤S201，根据所述端点所在图像帧的采集时刻确定候选时间段。

[0085] 若所述端点为起点，可以将以所述起点所在图像帧的采集时刻为起始，之后的若干秒(如5秒或者10秒等等，可以根据实际需要设定，本发明实施例不做限制)确定为候选时间段。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明实施例的范围。

[0086] 步骤S202，利用卷积神经网络对所述候选时间段内的图像序列进行处理，得到所述图像序列的特征序列。该候选时间段内的图像序列可以包括在该候选时间段内采集的多张图像。

[0087] 示例性的，可以在候选时间段内均匀采样获取预设数量的图像，然后在将获取的各图像分别输入至卷积神经网络中，以抽取各图像中目标行人的动作特征。示例性的，该卷积神经网络可以是利用包括行人的图像作为训练样本预先训练好的。

[0088] 步骤S203，根据所述特征序列确定所述预设行为的发生概率。

[0089] 示例性的，可以将抽取的动作特征输入到循环神经网络进行特征融合，得到融合特征；将所述融合特征输入到分类器，得到所述预设行为的发生概率。

[0090] 步骤S204，根据所述预设行为的发生概率确定所述目标行人的行为。

[0091] 示例性的，若预设行为的发生概率大于预设阈值，则可以确定目标行人的发生该行为，例如，若目标行人发生上车动作对应的动作特征的发生概率大于预设阈值，示例性的，预设阈值为90％，则可以确定目标行人发生上车行为。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明实施例的范围。

[0092] 步骤S103，若所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同，根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。

[0093] 示例性的，在实际应用中，若所述端点为第一运动轨迹的起点且所述目标行人发生下车行为，可以确定所述目标行人的行为与所述端点所对应的预设行为相同；或者，若所述端点为第一运动轨迹的终点且所述目标行人发生下车行为，确定所述目标行人的行为与所述端点所对应的预设行为相同。

[0094] 若所述目标行人发生上车行为，则将第一运动轨迹和该端点之后的第二运动轨迹作为所述目标行人的跟踪轨迹；或者，若所述目标行人发生下车行为，且该车辆关联的乘客中包括所述目标行人，则将所述第一运动轨迹和所述目标行人在发生上车行为之后且发生下车行为之前车辆的第二运动轨迹作为所述目标行人的跟踪轨迹；在所述目标行人发生上车行为之后，或者，在所述目标行人发生下车行为且该车辆关联的乘客中包括所述目标行人，可以认为是行人在车上随车辆运动，即，第二运动轨迹即行人的运动轨迹，所以可以将第二运动轨迹和第一运动轨迹均确定为目标行人的跟踪轨迹。

[0095] 若所述目标行人发生下车行为，且该车辆关联的乘客中没有所述目标行人，则将所述目标行人下车之后的第一运动轨迹作为所述目标行人的跟踪轨迹。在所述目标行人发生下车行为且该车辆关联的乘客中没有所述目标行人，可以认为目标行人可能上错车，或者没有拍摄到目标行人上车的图像，所以只将目标行人下车之后的第一运动轨迹作为所述目标行人的跟踪轨迹。

[0096] 示例性的，在将第二运动轨迹和第一运动轨迹均确定为目标行人的跟踪轨迹后，可以将所述第二运动轨迹的标识和所述第一运动轨迹的标识添加至所述目标行人的跟踪轨迹集合中。

[0097] 本发明实施例通过首先确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；若根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在与所述端点对应的图像端点所在的图像中对所述目标行人进行行为识别；若所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同，可以根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。

[0098] 本发明实施例能够将在行人和车辆在视频序列中出现重叠时，继续对行人或者车辆完成跟踪，在行人上车后，将继续跟踪车辆，而且可以得到在行人下车前随车辆运动的运动轨迹，实现行人车辆的混合跟踪。

[0099] 在本发明的又一实施例中，如图4所示，还提供一种目标跟踪追踪，包括：

[0100] 第一确定模块11，用于确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；

[0101] 行为识别模块12，用于当根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件时，在所述端点所在的图像中对所述目标行人进行行为识别；

[0102] 第二确定模块13，用于当所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同时，根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。

[0103] 可选地，所述装置还包括：

[0104] 重叠条件确定模块，用于当根据所述第一运动轨迹的端点所在的图像，确定所述第一运动轨迹的端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离小于或者等于预设重叠阈值时，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件。

[0105] 可选地，所述行为识别模块12还用于：

[0106] 第一确定单元，用于根据所述端点所在图像帧的采集时刻确定候选时间段；

[0107] 第一处理单元，用于利用卷积神经网络对所述候选时间段内的图像序列进行处理，得到所述图像序列的特征序列；

[0108] 第二确定单元，用于根据所述特征序列确定所述预设行为的发生概率；

[0109] 第三确定单元，用于根据所述预设行为的发生概率确定所述目标行人的行为。

[0110] 可选地，所述第二确定单元，还用于：

[0111] 利用循环神经网络，根据所述特征序列确定所述预设行为的发生概率。

[0112] 可选地，所述装置还包括：

[0113] 行为确定模块，用于当所述端点为第一运动轨迹的起点且所述目标行人发生下车行为时，确定所述目标行人的行为与所述端点所对应的预设行为相同；或者，当所述端点为第一运动轨迹的终点且所述目标行人发生上车行为时，确定所述目标行人的行为与所述端点所对应的预设行为相同。

[0114] 可选地，第一确定模块11用于：

[0115] 第一检测单元，用于检测所述视频序列中的行人框；

[0116] 行人再识别单元，用于利用卷积神经网络对所述视频序列中的行人框进行再识别，得到多个行人特征；

[0117] 第四确定单元，用于根据所述多个行人特征进行行人再识别，确定所述目标行人的第一运动轨迹。

[0118] 可选地，第四确定单元用于：

[0119] 分别将所述多个行人特征与所述目标行人的特征进行对比；确定所述多个行人特征中与所述目标行人的特征的相似度超过第一预设阈值的目标行人特征；将所述目标行人特征对应的行人确定为目标行人，得到所述目标行人的第一运动轨迹。

[0120] 可选地，第一确定模块11还用于：

[0121] 第二检测单元，用于检测所述视频序列中的多个车辆框；

[0122] 第二处理单元，用于利用卷积神经网络对所述视频序列内多个车辆框中的车辆进行处理，得到多个车辆特征；

[0123] 车辆再识别单元，用于根据所述多个车辆特征进行车辆再识别，以得到所述第二运动轨迹。

[0124] 可选地，车辆再识别单元还用于对所述多个车辆特征进行比对；将所述多个车辆特征中相似度超过第二预设阈值的若干个车辆特征所对应的车辆确定为同一车辆；在所述视频序列内追踪各车辆，得到第二运动轨迹。

[0125] 可选地，第一确定模块11还用于：

[0126] 对所述视频序列中的车辆进行车牌识别，得到各车辆的车牌信息；在所述视频序列内追踪具有相同车牌信息的车辆，得到第二运动轨迹。

[0127] 可选地，第二确定模块13还用于：若所述目标行人发生上车行为，则将第一运动轨迹和该端点之后的第二运动轨迹作为所述目标行人的跟踪轨迹；或者，若所述目标行人发生下车行为，且该车辆关联的乘客中包括所述目标行人，则将所述第一运动轨迹和所述目标行人在发生上车行为之后且发生下车行为之前车辆的第二运动轨迹作为所述目标行人的跟踪轨迹；或者，若所述目标行人发生下车行为，且该车辆关联的乘客中没有所述目标行人，则将所述目标行人下车之后的第一运动轨迹作为所述目标行人的跟踪轨迹。

[0128] 可选地，所述装置还包括：

[0129] 添加模块，用于将所述第二运动轨迹的第一轨迹标识和所述第一运动轨迹的第二轨迹标识添加至所述目标行人的跟踪轨迹集合中。

[0130] 应理解，第一确定模块11、行为识别模块12和第二确定模块13可以由处理器实现。重叠条件确定模块、行为确定模块和添加模块也可以由处理器实现。例如，可以由图1所示电子设备中的处理器102实现。

[0131] 本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

[0132] 在本发明的又一实施例中，还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法实施例所述的方法的步骤。

[0133] 在本发明的又一实施例中，还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述方法实施例所述的方法。

[0134] 附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0135] 本发明实施例所提供的目标跟踪方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

[0136] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0137] 另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

[0138] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

[0139] 在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0140] 最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。