一种基于实时视频流的跨摄像头全局行人跟踪方法

摘要

本发明公开了一种基于实时视频流的跨摄像头全局行人跟踪方法。该方法主要包括以下五个步骤：多摄像头监控系统的建立，单摄像头下行人特征提取与跟踪，摄像头间行人特征信息传递，跨摄像头行人特征对比匹配以及跨摄像头行人持续稳定跟踪。本发明的方法可以实现室内场景下较密集人流的行人全局实时跟踪，对于行人轨迹监控及机器视觉有着较大的现实意义。

权利要求

1.一种基于实时视频流的跨摄像头全局行人跟踪方法，其特征在于，包括以下步骤：步骤一：在室内场景下，目标行人通过多摄像头系统，获取全局目标行人实时监控视频；所述多摄像头系统由第一摄像头、第二摄像头、……、第n摄像头串联组成；

步骤二：对所述第一摄像头中的目标行人使用单摄像头下的Yolov3模型对视频帧图像进行检测，获取视频帧图像中每个行人的检测框；将得到的检测目标视为跟踪目标，使用Deep和Sort算法以其位置和特征为依据进行单摄像头下的持续跟踪，并为每个跟踪目标分配一个ID；

步骤三：对于所述第一摄像头中稳定跟踪的目标行人，将目标行人信息实时更新并存储于Redis中间件，所述第二摄像头不断从Redis中间件中不重复的读取跟踪目标行人信息，并保存于自身缓存中；所述目标行人信息包括行人ID和行人特征；

步骤四：目标行人从所述第一摄像头进入到第二摄像头后，将第二摄像头检测的行人特征与第一摄像头跟踪的行人特征进行匹配，暂定其ID；

步骤五：在第二摄像头中，对于暂定ID的目标行人，继续采用步骤四中的方法为其匹配ID，待其连续10帧匹配同一ID后，确定其ID，将此ID加入禁止列表，禁止其他行人再匹配到该ID；对于ID确定的目标行人通过步骤二中的单摄像头下的跟踪方法进行持续跟踪；但是其显示为库中分配的第一摄像头ID；反之，若在连续10帧中，其分配的ID发生变化，或出现最佳分配无效的情况，则重新进行分配或视其为新人进入，直至连续10帧稳定后ID确定处理；对于匹配同一ID并确定其ID的情况，此时该目标行人将不再参与最佳分配，但是库中该ID相关信息仍存在；对于禁止列表中的ID，每隔30帧进行一次刷新，验证禁止ID对应的目标行人是否仍在视频中,若在视频中，则对此ID继续禁止其他行人再匹配；否则，将此ID从禁止列表中去除；持续跟踪过程中，若出现目标行人重叠情况时，暂将所有重叠的目标行人设为离开状态且不进行跟踪，待重叠结束后，再重新进行跟踪；

步骤六：重复上述步骤三～五，以实现由第一摄像头～第n摄像头跨摄像头全局行人跟踪。

2.如权利要求1所述基于实时视频流的跨摄像头全局行人跟踪方法，其特征在于，步骤三具体包括如下子步骤：

(3.1)对于第一摄像头中检测到的目标行人，待其稳定跟踪100帧后开始记录其特征及对应ID，每隔20帧记录一次并存入Redis中间件中，且同一行人特征记录数上限为20个；

(3.2)第二摄像头在从Redis中间件中只读取之前没有读取到的行人信息，对于之前读取过的行人信息不会重复读取，读取完成后保存在自身缓存中。

3.如权利要求1所述基于实时视频流的跨摄像头全局行人跟踪方法，其特征在于，步骤四具体为：

使用行人检测算法处理第二摄像头实时视频流，获得第二摄像头中所有行人的检测框，再通过特征提取算法获得行人检测框对应的行人特征；使用K相互近邻距离方法计算其与第一摄像头中目标行人特征的距离，使用最优分配算法将第二摄像头中的目标行人与第一摄像头中的目标行人相匹配，若两者间的K相互邻近距离DK小于0.6，则匹配成功，为同一目标行人，以第一摄像头中的行人ID暂定第二摄像头中目标行人的ID；否则，给予第二摄像头中目标行人新的ID；其中，K相互近邻距离DK的计算方法如下：DK＝0.7*DJaccard+0.3*DMahalanobisDJaccard表示杰卡德距离，DMahalanobis表示马氏距离。

4.如权利要求1所述基于实时视频流的跨摄像头全局行人跟踪方法，其特征在于，步骤五中目标行人重叠的判断依据是：两行人检测框水平间距小于100dpi，且竖直间距小于

220dpi。

说明书

一种基于实时视频流的跨摄像头全局行人跟踪方法

技术领域

[0001] 本发明属于计算机视觉及深度学习技术领域，具体地涉及一种基于实时视频流的跨摄像头全局行人跟踪方法。

背景技术

[0002] 计算机视觉是通过摄像机及相关算法对周围环境进行感知从而获得场景信息的一门技术。行人作为各种场景下最常见的一类单元，是机器环境感知中非常关键的一环技
术。现有的行人感知算法主要是针对单摄像头场景下的行人识别与跟踪，而对于跨摄像头
场景并没有良好的感知能力和技术。但是，随着视觉感知应用场景的逐渐变大，单摄像头已
经无法完全覆盖整个场景，因此跨摄像头下的协同感知是未来感知技术发展的必然趋势。

[0003] 现有的跨摄像头行人跟踪技术比较依赖摄像头间公共区域，且对于室内场景下较密集人流跟踪效果不佳。对于跨摄像头协同感知，其核心难点在于如何联通摄像头间信息
并对比检测到的行人特征，从而实现重识别（ReID）效果。

发明内容

[0004] 针对现有技术存在的问题，本发明提出了一种基于实时视频流的跨摄像头全局行人跟踪方法。该方法可以实现跨摄像头视频流的实时处理和实时行人全局跟踪，且跟踪效
果具有较高的准确性和鲁棒性。

[0005] 为实现此目的，本发明采用如下技术方案：一种基于实时视频流的跨摄像头全局行人跟踪方法，包括以下步骤：

[0006] 步骤一：在室内场景下，目标行人通过多摄像头系统，获取全局目标行人实时监控视频；所述多摄像头系统由第一摄像头、第二摄像头、……、第n摄像头串联组成；

[0007] 步骤二：对所述第一摄像头中的目标行人使用单摄像头下的检测跟踪方法进行跟踪；

[0008] 步骤三：对于所述第一摄像头中稳定跟踪的目标行人，将目标行人信息实时更新并存储于Redis中间件，所述第二摄像头不断从Redis中间件中不重复的读取跟踪目标行人
信息，并保存于自身缓存中；所述目标行人信息包括行人ID和行人特征；

[0009] 步骤四：目标行人从所述第一摄像头进入到第二摄像头后，将第二摄像头检测的行人特征与第一摄像头跟踪的行人特征进行匹配，暂定其ID；

[0010] 步骤五：在第二摄像头中，对于暂定ID的目标行人，继续采用步骤四中的方法为其匹配ID，待其连续10帧匹配同一ID后，确定其ID，将此ID加入禁止列表，禁止其他行人再匹
配到该ID，并通过步骤二中的单摄像头下的跟踪方法进行持续跟踪，持续跟踪的过程中，若
出现目标行人重叠情况时，暂将所有重叠的目标行人设为离开状态且不进行跟踪，待重叠
结束后，再重新进行跟踪；

[0011] 步骤六：重复上述步骤三～五，以实现由第一摄像头 第n摄像头跨摄像头全局行~
人跟踪。

[0012] 进一步地，步骤三具体包括如下子步骤：

[0013] （3.1）对于第一摄像头中检测到的目标行人，待其稳定跟踪100帧后开始记录其特征及对应ID，每隔20帧记录一次并存入Redis中间件中，且同一行人特征记录数上限为20
个；

[0014] （3.2）第二摄像头在从Redis中间件中只读取之前没有读取到的行人信息，对于之前读取过的行人信息不会重复读取，读取完成后保存在自身缓存中。

[0015] 进一步地，步骤四具体为：

[0016] 使用行人检测算法处理第二摄像头实时视频流，获得第二摄像头中所有行人的检测框，再通过特征提取算法获得行人检测框对应的行人特征；使用K相互近邻距离方法计算
其与第一摄像头中目标行人特征的距离，使用最优分配算法将第二摄像头中的目标行人与
第一摄像头中的目标行人相匹配，若两者间的K相互邻近距离DK小于0.6，则匹配成功，为同
一目标行人，以第一摄像头中的行人ID暂定第二摄像头中目标行人的ID；否则，给予第二摄
像头中目标行人新的ID。

[0017] 进一步地，所述K相互近邻距离DK的计算方法为：

[0018] DK=0.7*DJaccard+0.3*DMahalanobis

[0019] DJaccard表示杰卡德距离，DMahalanobis表示马氏距离。

[0020] 进一步地，步骤五还包括：对于禁止列表中的ID，每隔30帧进行一次刷新，验证禁止ID对应的目标行人是否仍在视频中,若在视频中，则对此ID继续禁止其他行人再匹配；否
则，将此ID从禁止列表中去除。

[0021] 进一步地，步骤五中目标行人重叠的判断依据是：两行人检测框水平间距小于100dpi，且竖直间距小于 220dpi。

[0022] 与现有技术相比，本发明具有如下有益效果：本发明一种基于实时视频流的跨摄像头全局行人跟踪方法，通过输入多摄像头实时视频流，可以实现较高的跟踪准确性和稳
定性的全局行人跟踪，具有良好的科研及工程价值。本发明采用了特征信息对比的方法进
行跨摄像头行人重识别，因此对于摄像头间无公共区域的场景也具有较好的应用效果，此
外，本发明采用Redis搭建了摄像头间的高效稳定通信，从而实现了跨摄像头实时跟踪。对
于跨摄像头跟踪过程，本发明将其分为特征匹配和持续跟踪两个阶段，大大提升了跟踪的
稳定性和准确性。最后，本发明对于跟踪过程中的一些突发情况，例如行人重叠、短暂消失，
也做了针对性的处理，使跟踪算法具有更好的稳定性。

附图说明

[0023] 图1为本发明基于视频的跨摄像头行人跟踪方法的流程图。

具体实施方式

[0024] 下面结合附图和实施例进一步详细解释本发明的目的。

[0025] 如图1为本发明基于实时视频流的跨摄像头全局行人跟踪方法的流程图，该跨摄像头全局行人跟踪方法具体包括以下步骤：

[0026] 步骤一：在室内场景下，目标行人通过多摄像头系统，获取全局目标行人实时监控视频；所述多摄像头系统由第一摄像头、第二摄像头、……、第n摄像头串联组成，各个摄像
头间允许只有少量或没有公共区域。

[0027] 步骤二：对所述第一摄像头中的目标行人使用单摄像头下的检测跟踪方法进行跟踪；本发明的技术方案中采用Yolov3模型对视频帧图像进行检测，获取视频帧图像中每个
行人的检测框；将得到的检测目标视为跟踪目标，使用Deep和Sort算法以其位置和特征为
依据进行单摄像头下的持续跟踪，并为每个跟踪目标分配一个ID。

[0028] 步骤三：对于所述第一摄像头中稳定跟踪的目标行人，将目标行人信息实时更新并存储于Redis中间件，所述第二摄像头不断从Redis中间件中不重复的读取跟踪目标行人
信息，并保存于自身缓存中；所述目标行人信息包括行人ID和行人特征。步骤三具体包括如
下子步骤：

[0029] （3.1）对于第一摄像头中检测到的目标行人，待其稳定跟踪100帧后开始记录其特征及对应ID，每隔20帧记录一次并存入Redis中间件中，且同一行人特征记录数上限为20
个；这可以尽可能提升跟踪的目标行人不同姿态特征的数量，且同一目标的特征数量不会
过多，以避免后续特征计算低效和过拟合情况。

[0030] （3.2）第二摄像头在从Redis中间件中只读取之前没有读取到的行人信息，对于之前读取过的行人信息不会重复读取，读取完成后保存在自身缓存中。

[0031] 步骤四：目标行人从所述第一摄像头进入到第二摄像头后，将第二摄像头检测的行人特征与第一摄像头跟踪的行人特征进行匹配，暂定其ID，具体为：

[0032] 使用行人检测算法处理第二摄像头实时视频流，获得第二摄像头中所有行人的检测框，再通过特征提取算法获得行人检测框对应的行人特征；使用K相互近邻距离方法计算
其与第一摄像头中目标行人特征的距离，使用最优分配算法将第二摄像头中的目标行人与
第一摄像头中的目标行人相匹配，若两者间的K相互邻近距离 小于0.6，则匹配成功，为同
一目标行人，以第一摄像头中的行人ID暂定第二摄像头中目标行人的ID；否则，给予第二摄
像头中目标行人新的ID；其中，K相互近邻距离 的计算方法如下：

[0033]

[0034] 其中，DJaccard表示杰卡德距离，DMahalanobis表示马氏距离，p为第二摄像头某一跟踪目标的特征，S为协方差矩阵，gi为特征库中的某一特征，R（a,b）表示库中与a有b相互近邻
的特征集合，k表示库中与跟踪目标最相似的前k项，q为符合要求的gi。

[0035] 由于在Redis特征库中同一ID的目标行人可能对应有多个特征向量，所以经过K相互近邻距离计算后，第二摄像头中某一目标行人的特征与特
征库中某一ID对应的特征存在多个K距离。因此，在后续匹配之前，需要通过分位数处理的
方式将上述的多个距离标准化，然后用一个特征值表示第二摄像头中该跟踪目标特征与库
中各个ID的特征的距离。

[0036] 步骤五：在第二摄像头中，对于暂定ID的目标行人，继续采用步骤四中的方法为其匹配ID，待其连续10帧匹配同一ID后，确定其ID，将此ID加入禁止列表，禁止其他行人再匹
配到该ID；对于ID确定的目标行人通过步骤二中的单摄像头下的跟踪方法进行持续跟踪，
但是其显示为库中分配的第一摄像头 ID；反之，若在连续10帧中，其分配的ID发生变化，或
出现最佳分配无效的情况，则重新进行分配或视其为新人进入，直至连续10帧稳定后ID确
定处理。对于匹配同一ID并确定其ID的情况，此时该目标行人将不再参与最佳分配，但是库
中该ID相关信息仍存在，因此存在将此ID重复再分配给其他跟踪对象的风险。所以，本方法
中含有ID禁止算法，即绑定后的ID将会在第二摄像头内存中标为禁止，其他对象无法和它
再进行匹配，此处理可以有效防止ID重新分配的情况。

[0037] 对于禁止列表中的ID，每隔30帧进行一次刷新，验证禁止ID对应的目标行人是否仍在视频中, 若在视频中，则对此ID继续禁止其他行人再匹配；否则，将此ID从禁止列表中
去除；该方法可以有效解决某ID确定的目标行人短暂离开第二摄像头，再重新回来时，由于
本身ID仍处于禁止状态而重新匹配错误的情况。

[0038] 持续跟踪过程中，若出现目标行人重叠情况时，即在1080p视频流中，当两行人检测框水平间距小于100dpi，且竖直间距小于 220dpi，暂将所有重叠的目标行人设为离开状
态且不进行跟踪，待重叠结束后，再重新进行跟踪，由于特征库的存在，该目标行人仍可以
重新正确匹配到对应的ID。

[0039] 相比于每帧图像都通过ID匹配进行跟踪的方式，采用以上持续跟踪和ID确定的算法，可以有效提升跟踪的稳定性和计算效率。

[0040] 步骤六：重复上述步骤三～五，以实现由第一摄像头 第n摄像头跨摄像头全局行~
人跟踪。

[0041] 通过本发明的跨摄像头行人跟踪方法，可以实现跨摄像头的行人跟踪，相比现有的跨摄像头行人跟踪算法，本发明算法不要求摄像头间存在公共的监控区域，从而可以减
少摄像头在场景中的布置量，降低成本。另一方面，本发明算法在跟踪过程中融合了特征匹
配与位置预测两方面的信息，对于跟踪过程中的特殊情况也有针对性的处理方案，因此可
以实现更加稳定和准确的跟踪效果。