基于AI视频分析的人员跟踪方法及相关装置转让专利

申请号 : CN202110705650.6

文献号 : CN113449627B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 陈海波程琳莉王孟阳张信伟何云龙

申请人 : 深兰科技(武汉)股份有限公司

摘要 :

本申请提供了一种基于AI视频分析的人员跟踪方法及相关装置,所述方法应用于人员跟踪系统,所述人员跟踪系统包括多个摄像头,所述方法包括:在第一时间,利用第一摄像头获取第一视频数据,从而获取第一感兴趣特征数据,当检测到第一感兴趣特征数据满足预设条件时,获取目标人员的体貌特征数据;从第一时间起预设时间间隔内,判断是否存在获取到第二视频数据的第二摄像头;当存在第二摄像头时,获取第二感兴趣特征数据,当检测到第二感兴趣特征数据满足预设条件时,将第一摄像头的位置数据和第二摄像头的位置数据顺次存储至第一队列;根据第一队列中的位置数据,绘制目标人员的行动轨迹。该方法自动跟踪目标人员,提高了跟踪效率。

权利要求 :

1.一种基于AI视频分析的人员跟踪方法,其特征在于,应用于人员跟踪系统,所述人员跟踪系统包括设置于不同位置的多个摄像头,所述方法包括:在第一时间,利用第一摄像头获取目标人员的第一视频数据,基于所述第一视频数据获取所述目标人员的第一感兴趣特征数据,当检测到所述第一感兴趣特征数据满足预设条件时,获取所述目标人员的体貌特征数据;

从所述第一时间起预设时间间隔内,基于所述目标人员的体貌特征数据,判断是否存在获取到所述目标人员的第二视频数据的第二摄像头;

当不存在所述第二摄像头时,将所述第一摄像头的位置数据存储至第一队列;当存在所述第二摄像头时,基于所述第二视频数据获取所述目标人员的第二感兴趣特征数据,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述第一摄像头的位置数据和所述第二摄像头的位置数据顺次存储至所述第一队列;

利用第k摄像头获取待定人员的第k视频数据,基于所述第k视频数据获取所述待定人员的感兴趣特征数据,当检测到所述待定人员的感兴趣特征数据满足所述预设条件时,判断所述待定人员是否是所述目标人员,所述第k摄像头是所述多个摄像头中的其中一个,k的取值范围是大于2的一个或多个整数且k每次取值为所述取值范围的其中一个;

当所述待定人员是所述目标人员时,将所述第k摄像头的位置数据存储至所述第一队列;

根据所述第一队列中的位置数据,绘制所述目标人员的行动轨迹。

2.根据权利要求1所述的基于AI视频分析的人员跟踪方法,其特征在于,基于视频数据获取感兴趣特征数据的方法包括:将视频数据输入卷积神经网络,得到对应的感兴趣特征数据。

3.根据权利要求1所述的基于AI视频分析的人员跟踪方法,其特征在于,所述体貌特征数据包括至少部分身体特征数据和/或至少部分人脸特征数据。

4.根据权利要求1所述的基于AI视频分析的人员跟踪方法,其特征在于,所述判断所述待定人员是否是所述目标人员,包括:获取所述待定人员的体貌特征数据;

基于所述待定人员的体貌特征数据和所述目标人员的体貌特征数据,获取所述待定人员和所述目标人员的相似度;

当所述相似度不小于预设相似度阈值时,确定所述待定人员是所述目标人员。

5.根据权利要求1所述的基于AI视频分析的人员跟踪方法,其特征在于,所述根据所述第一队列中的位置数据,绘制所述目标人员的行动轨迹,包括:利用浏览器加载预设区域的地图和三维模型;

基于所述第一队列中的位置数据,在三维模型的对应位置上绘制多个追踪点;

按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序,对所述多个追踪点进行连线。

6.根据权利要求5所述的基于AI视频分析的人员跟踪方法,其特征在于,所述方法还包括:绘制一个三维点沿所述连线移动的动画,以模拟出所述目标人员移动过程的动态效果,所述三维点按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序经过所述多个追踪点。

7.根据权利要求5所述的基于AI视频分析的人员跟踪方法,其特征在于,所述浏览器通过基于JavaScript的GIS库加载所述预设区域的地图和三维模型。

8.根据权利要求1所述的基于AI视频分析的人员跟踪方法,其特征在于,所述方法还包括:当检测到所述第一感兴趣特征数据满足所述预设条件时,生成针对所述目标人员的报警记录;

当不存在所述第二摄像头时,或者,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述目标人员标记为被追踪人员。

9.根据权利要求1所述的基于AI视频分析的人员跟踪方法,其特征在于,所述感兴趣特征数据是体温数据,所述预设条件是不小于预设温度阈值。

10.根据权利要求1所述的基于AI视频分析的人员跟踪方法,其特征在于,所述感兴趣特征数据是行为数据,所述预设条件是发生异常行为,所述异常行为包括以下任意一种:抽烟;偷盗;跌倒。

11.一种基于AI视频分析的人员跟踪装置,其特征在于,应用于人员跟踪系统,所述人员跟踪系统包括设置于不同位置的多个摄像头,所述装置包括:体貌获取模块,用于在第一时间,利用第一摄像头获取目标人员的第一视频数据,基于所述第一视频数据获取所述目标人员的第一感兴趣特征数据,当检测到所述第一感兴趣特征数据满足预设条件时,获取所述目标人员的体貌特征数据;

追踪判断模块,用于从所述第一时间起预设时间间隔内,基于所述目标人员的体貌特征数据,判断是否存在获取到所述目标人员的第二视频数据的第二摄像头;

初次存储模块,用于当不存在所述第二摄像头时,将所述第一摄像头的位置数据存储至第一队列;当存在所述第二摄像头时,基于所述第二视频数据获取所述目标人员的第二感兴趣特征数据,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述第一摄像头的位置数据和所述第二摄像头的位置数据顺次存储至所述第一队列;

人员判断模块,用于利用第k摄像头获取待定人员的第k视频数据,基于所述第k视频数据获取所述待定人员的感兴趣特征数据,当检测到所述待定人员的感兴趣特征数据满足所述预设条件时,判断所述待定人员是否是所述目标人员,所述第k摄像头是所述多个摄像头中的其中一个,k的取值范围是大于2的一个或多个整数且k每次取值为所述取值范围的其中一个;

继续存储模块,用于当所述待定人员是所述目标人员时,将所述第k摄像头的位置数据存储至所述第一队列;

轨迹绘制模块,用于根据所述第一队列中的位置数据,绘制所述目标人员的行动轨迹。

12.一种电子设备,其特征在于,应用于人员跟踪系统,所述人员跟踪系统包括设置于不同位置的多个摄像头;

所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1‑10任一项所述方法的步骤。

13.一种人员跟踪系统,其特征在于,所述人员跟踪系统包括设置于不同位置的多个摄像头,所述人员跟踪系统还包括权利要求12所述的电子设备。

14.根据权利要求13所述的人员跟踪系统,其特征在于,所述摄像头和所述电子设备集成为一体。

15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑10任一项所述方法的步骤。

说明书 :

基于AI视频分析的人员跟踪方法及相关装置

技术领域

[0001] 本申请涉及计算机视觉领域,尤其涉及基于AI视频分析的人员跟踪方法、装置、电子设备、人员跟踪系统及计算机可读存储介质。

背景技术

[0002] 随着社会的进步,突发事件的增多,需要人员跟踪系统的应用场景越来越多。目前,现有的人员跟踪系统还是传统的监控摄像头外加监控显示器,通过人工方式实现跟踪。由于监控设备只能通过人工监控的方式,无法实现智能识别,事发后,目标发生移动,相关人员需要进行大量切换操作才能再次锁定事件,无法对目标对象的移动做出实时追踪、事后由于无法准确判定事发时间导致人工大量查阅视频录像等弊端,费时费力,效率很低。

发明内容

[0003] 本申请的目的在于提供基于AI视频分析的人员跟踪方法、装置、电子设备、人员跟踪系统及计算机可读存储介质,可以自动跟踪目标人员,无需人工追溯目标人员的行动轨迹,提高了跟踪效率。
[0004] 本申请的目的采用以下技术方案实现:
[0005] 第一方面,本申请提供了一种基于AI视频分析的人员跟踪方法,应用于人员跟踪系统,所述人员跟踪系统包括设置于不同位置的多个摄像头,所述方法包括:在第一时间,利用第一摄像头获取目标人员的第一视频数据,基于所述第一视频数据获取所述目标人员的第一感兴趣特征数据,当检测到所述第一感兴趣特征数据满足所述预设条件时,获取所述目标人员的体貌特征数据;从所述第一时间起预设时间间隔内,基于所述目标人员的体貌特征数据,判断是否存在获取到所述目标人员的第二视频数据的第二摄像头;当不存在所述第二摄像头时,将所述第一摄像头的位置数据存储至第一队列;当存在所述第二摄像头时,基于所述第二视频数据获取所述目标人员的第二感兴趣特征数据,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述第一摄像头的位置数据和所述第二摄像头的位置数据顺次存储至所述第一队列;利用第k摄像头获取待定人员的第k视频数据,基于所述第k视频数据获取所述待定人员的感兴趣特征数据,当检测到所述待定人员的感兴趣特征数据满足所述预设条件时,判断所述待定人员是否是所述目标人员,所述第k摄像头是所述多个摄像头中的其中一个,k的取值范围是大于2的一个或多个整数且k每次取值为所述取值范围的其中一个;当所述待定人员是所述目标人员时,将所述第k摄像头的位置数据存储至所述第一队列;根据所述第一队列中的位置数据,绘制所述目标人员的行动轨迹。
[0006] 该技术方案的有益效果在于,一方面,获取到满足预设条件的第一感兴趣特征数据后,目标人员成为了当前关注的对象,此时可以基于目标人员的体貌特征数据,检测是否出现目标人员的视频数据。具体地,在预设时间间隔内,可以判断是否存在获取到目标人员的第二视频数据的第二摄像头,当不存在第二摄像头时,说明没有得到目标人员新的感兴趣特征数据,目标人员的状态不明确,需要对目标人员进行跟踪,此时可以将第一摄像头的位置数据存储至第一队列,便于后续利用第一摄像头的位置数据进行跟踪;
[0007] 当存在第二摄像头,且检测到第二感兴趣特征数据满足预设条件时,第一感兴趣特征数据和第二感兴趣特征数据均满足预设条件,目标人员状态异常的可能性较大,需要对目标人员进行跟踪,此时可以将第一摄像头的位置数据和第二摄像头的位置数据顺次存储至第一队列,便于后续结合第一摄像头的位置数据和第二摄像头的位置数据进行跟踪。
[0008] 另一方面,确定需要跟踪的人员后,可以针对所有人员,利用视频数据获取对应的感兴趣特征数据,筛选得到满足预设条件的人员,当检测到第k摄像头对应的待定人员的感兴趣特征数据满足预设条件时,可以判断待定人员是否是目标人员,当待定人员为目标人员时,将第k摄像头的位置数据存储至第一队列,由此,第一队列中的位置数据均为目标人员的位置数据,可以根据第一队列中的位置数据,绘制目标人员的行动轨迹。随着第一队列中位置数据的扩充,可以实现对目标人员的持续跟踪。
[0009] 综上所述,可以利用摄像头获取目标人员的视频数据,从而得到目标人员的感兴趣特征数据,当检测到目标人员的感兴趣特征数据满足预设条件时,可以判断是否需要对目标人员进行跟踪,若需要,可以将摄像头的位置数据存储于第一队列中,利用第一队列中的位置数据绘制目标人员的行动轨迹,该方法可以自动跟踪目标人员,无需人工追溯目标人员的行动轨迹,提高了跟踪效率。
[0010] 在一些可选的实施例中,基于视频数据获取感兴趣特征数据的方法包括:将视频数据输入卷积神经网络,得到对应的感兴趣特征数据。该技术方案的有益效果在于,可以利用卷积神经网络从视频数据中提取出对应的感兴趣特征,相比于人工获取感兴趣特征数据,该方法无需近距离观察目标人员,且效率高,自动化程度高。
[0011] 公开号为CN112418055A的现有技术公开了一种基于视频分析的调度方法及人员轨迹追踪方法,该方法使用了多个单一分类器经过加权累积构建级联增强分类器,从而对人员进行识别和体温检测,其训练较为复杂,识别率较低,而本申请实施例利用卷积神经网络从视频数据中提取对应的感兴趣特征,训练较为简单,且识别率较高。
[0012] 在一些可选的实施例中,所述体貌特征数据包括至少部分身体特征数据和/或至少部分人脸特征数据。该技术方案的有益效果在于,体貌特征数据可以有多种组合,体貌特征数据可以是单独的身体特征数据或者人脸特征数据,还可以是身体特征数据与人脸特征数据的组合,并且,部分身体特征数据和部分人脸特征数据均可作为体貌特征数据,大大降低了体貌特征数据的获取难度,减少了运算量。
[0013] 在一些可选的实施例中,所述判断所述待定人员是否是所述目标人员,包括:获取所述待定人员的体貌特征数据;基于所述待定人员的体貌特征数据和所述目标人员的体貌特征数据,获取所述待定人员和所述目标人员的相似度;当所述相似度不小于预设相似度阈值时,确定所述待定人员是所述目标人员。该技术方案的有益效果在于,可以结合待定人员的体貌特征数据和目标人员的体貌特征数据,获取待定人员和目标人员的相似度,当相似度不小于预设相似度阈值时,待定人员和目标人员相似程度较高,可以确定待定人员即为目标人员。
[0014] 在一些可选的实施例中,所述根据所述第一队列中的位置数据,绘制所述目标人员的行动轨迹,包括:利用浏览器加载预设区域的地图和三维模型;基于所述第一队列中的位置数据,在三维模型的对应位置上绘制多个追踪点;按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序,对所述多个追踪点进行连线。该技术方案的有益效果在于,可以按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序,对多个追踪点进行连线,从而得到目标人员按时间顺序连接的行动轨迹,结合预设区域的地图和三维模型,可以较为直观地浏览目标人员的行动路径和行动范围。
[0015] 在一些可选的实施例中,所述方法还包括:绘制一个三维点沿所述连线移动的动画,以模拟出所述目标人员移动过程的动态效果,所述三维点按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序经过所述多个追踪点。该技术方案的有益效果在于,通过绘制三维点沿连线移动的动画,可以展现目标人员移动过程的动态效果,从而更为直观地展示出目标人员的行动顺序和行动路径。
[0016] 在一些可选的实施例中,所述浏览器通过基于JavaScript的GIS库加载所述预设区域的地图和三维模型。该技术方案的有益效果在于,基于JavaScript的GIS库具有良好的可扩展性,可以与浏览器中的其他信息服务进行无缝集成,从而建立灵活多变的GIS应用。
[0017] 在一些可选的实施例中,所述方法还包括:当检测到所述第一感兴趣特征数据满足所述预设条件时,生成针对所述目标人员的报警记录;当不存在所述第二摄像头时,或者,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述目标人员标记为被追踪人员。该技术方案的有益效果在于,一方面,当检测到所述第一感兴趣特征数据满足预设条件时,此时目标人员有较大的可能为异常人员,可以生成针对目标人员的报警记录,便于后续排查;
[0018] 另一方面,当不存在第二摄像头时,说明没有得到目标人员新的感兴趣特征数据,目标人员的状态不明确,此时需要对目标人员进行跟踪;或者,当检测到第二感兴趣特征数据满足所述预设条件时,第一感兴趣特征数据和第二感兴趣特征数据均满足预设条件,目标人员状态异常的可能性较大,此时也需要对目标人员进行跟踪,在上述两种情况下,可以将目标人员标记为被追踪人员,从而将其与状态正常的人员区分开来。
[0019] 在一些可选的实施例中,所述感兴趣特征数据是体温数据,所述预设条件是不小于预设温度阈值。该技术方案的有益效果在于,感兴趣特征数据可以是体温数据,预设条件可以是不小于预设温度阈值,可以结合感兴趣特征数据和预设条件对体温异常的人员进行跟踪。
[0020] 在一些可选的实施例中,所述感兴趣特征数据是行为数据,所述预设条件是发生异常行为,所述异常行为包括以下任意一种:抽烟;偷盗;跌倒。该技术方案的有益效果在于,感兴趣特征数据可以是行为数据,预设条件可以是发生异常行为,可以结合感兴趣特征数据和预设条件对做出异常行为的人员进行跟踪。
[0021] 第二方面,本申请提供了一种基于AI视频分析的人员跟踪装置,应用于人员跟踪系统,所述人员跟踪系统包括设置于不同位置的多个摄像头,所述装置包括:体貌获取模块,用于在第一时间,利用第一摄像头获取目标人员的第一视频数据,基于所述第一视频数据获取所述目标人员的第一感兴趣特征数据,当检测到所述第一感兴趣特征数据满足所述预设条件时,获取所述目标人员的体貌特征数据;追踪判断模块,用于从所述第一时间起预设时间间隔内,基于所述目标人员的体貌特征数据,判断是否存在获取到所述目标人员的第二视频数据的第二摄像头;初次存储模块,用于当不存在所述第二摄像头时,将所述第一摄像头的位置数据存储至第一队列;当存在所述第二摄像头时,基于所述第二视频数据获取所述目标人员的第二感兴趣特征数据,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述第一摄像头的位置数据和所述第二摄像头的位置数据顺次存储至所述第一队列;人员判断模块,用于利用第k摄像头获取待定人员的第k视频数据,基于所述第k视频数据获取所述待定人员的感兴趣特征数据,当检测到所述待定人员的感兴趣特征数据满足所述预设条件时,判断所述待定人员是否是所述目标人员,所述第k摄像头是所述多个摄像头中的其中一个,k的取值范围是大于2的一个或多个整数且k每次取值为所述取值范围的其中一个;继续存储模块,用于当所述待定人员是所述目标人员时,将所述第k摄像头的位置数据存储至所述第一队列;轨迹绘制模块,用于根据所述第一队列中的位置数据,绘制所述目标人员的行动轨迹。
[0022] 在一些可选的实施例中,所述体貌特征模块用于将所述第一视频数据输入卷积神经网络,得到所述第一感兴趣特征数据;所述初次存储模块用于将所述第二视频数据输入所述卷积神经网络,得到所述第二感兴趣特征数据;所述人员判断模块用于将所述第k视频数据输入所述卷积神经网络,得到所述第k感兴趣特征数据。
[0023] 在一些可选的实施例中,所述体貌特征数据包括至少部分身体特征数据和/或至少部分人脸特征数据。
[0024] 在一些可选的实施例中,所述人员判断模块包括:体貌特征单元,用于获取所述待定人员的体貌特征数据;相似度获取单元,用于基于所述待定人员的体貌特征数据和所述目标人员的体貌特征数据,获取所述待定人员和所述目标人员的相似度;人员确定单元,用于当所述相似度不小于预设相似度阈值时,确定所述待定人员是所述目标人员。
[0025] 在一些可选的实施例中,所述轨迹绘制模块包括:模型加载单元,用于利用浏览器加载预设区域的地图和三维模型;追踪点绘制单元,用于基于所述第一队列中的位置数据,在三维模型的对应位置上绘制多个追踪点;追踪点连线单元,用于按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序,对所述多个追踪点进行连线。
[0026] 在一些可选的实施例中,所述装置还包括:动画绘制模块,用于绘制一个三维点沿所述连线移动的动画,以模拟出所述目标人员移动过程的动态效果,所述三维点按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序经过所述多个追踪点。
[0027] 在一些可选的实施例中,所述浏览器通过基于JavaScript的GIS库加载所述预设区域的地图和三维模型。
[0028] 在一些可选的实施例中,所述装置还包括:记录生成模块,用于当检测到所述第一感兴趣特征数据满足所述预设条件时,生成针对所述目标人员的报警记录;人员标记模块,用于当不存在所述第二摄像头时,或者,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述目标人员标记为被追踪人员。
[0029] 在一些可选的实施例中,所述感兴趣特征数据是体温数据,所述预设条件是不小于预设温度阈值。
[0030] 在一些可选的实施例中,所述感兴趣特征数据是行为数据,所述预设条件是发生异常行为,所述异常行为包括以下任意一种:抽烟;偷盗;跌倒。
[0031] 第三方面,本申请提供了一种电子设备,所述电子设备应用于人员跟踪系统,所述人员跟踪系统包括设置于不同位置的多个摄像头;所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项方法的步骤。
[0032] 第四方面,本申请提供了一种人员跟踪系统,所述人员跟踪系统包括设置于不同位置的多个摄像头,所述人员跟踪系统还包括上述任一项电子设备。
[0033] 在一些可选的实施例中,所述摄像头和所述电子设备集成为一体。
[0034] 第五方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤。

附图说明

[0035] 下面结合附图和实施例对本申请进一步说明。
[0036] 图1是本申请实施例提供的一种基于AI视频分析的人员跟踪方法的流程示意图;
[0037] 图2是本申请实施例提供的一种判断待定人员是否是目标人员的流程示意图;
[0038] 图3是本申请实施例提供的一种绘制行动轨迹的流程示意图;
[0039] 图4是本申请实施例提供的一种基于AI视频分析的人员跟踪方法的部分流程示意图;
[0040] 图5是本申请实施例提供的另一种基于AI视频分析的人员跟踪方法的部分流程示意图;
[0041] 图6是本申请实施例提供的一种基于AI视频分析的人员跟踪装置的结构示意图;
[0042] 图7是本申请实施例提供的一种人员判断模块的结构示意图;
[0043] 图8是本申请实施例提供的一种轨迹绘制模块的结构示意图;
[0044] 图9是本申请实施例提供的一种基于AI视频分析的人员跟踪装置的部分结构示意图;
[0045] 图10是本申请实施例提供的另一种基于AI视频分析的人员跟踪装置的部分结构示意图;
[0046] 图11是本申请实施例提供的一种电子设备的结构示意图;
[0047] 图12是本申请实施例提供的一种人员跟踪系统的结构示意图;
[0048] 图13是本申请实施例提供的一种用于实现基于AI视频分析的人员跟踪方法的程序产品的结构示意图。

具体实施方式

[0049] 下面,结合附图以及具体实施方式,对本申请做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
[0050] 参见图1,本申请实施例提供了一种基于AI视频分析的人员跟踪方法,应用于人员跟踪系统,所述人员跟踪系统包括设置于不同位置的多个摄像头,所述方法包括步骤S101~S106。所述多个摄像头可以包括第一摄像头、第二摄像头和第k摄像头,k的取值范围是大于2的一个或多个整数且k每次取值为所述取值范围的其中一个。
[0051] 步骤S101:在第一时间,利用第一摄像头获取目标人员的第一视频数据,基于所述第一视频数据获取所述目标人员的第一感兴趣特征数据,当检测到所述第一感兴趣特征数据满足所述预设条件时,获取所述目标人员的体貌特征数据。
[0052] 在一具体应用中,所述体貌特征数据可以包括至少部分身体特征数据和/或至少部分人脸特征数据。其中,至少部分身体特征数据可以包括部分身体特征数据或者全部身体特征数据,身体特征数据可以包括身高数据、发型数据、手部轮廓数据和腿部轮廓数据中的一种或多种,至少部分人脸特征数据可以包括部分人脸特征数据或者全部人脸特征数据。
[0053] 在一具体应用中,步骤S101中获取所述目标人员的体貌特征数据的方法可以是:基于所述第一视频数据,获取所述目标人员的体貌特征数据;
[0054] 或者,基于预先存储的所有人员的体貌特征数据,获取所述目标人员的体貌特征数据。
[0055] 由此,体貌特征数据可以有多种组合,体貌特征数据可以是单独的身体特征数据或者人脸特征数据,还可以是身体特征数据与人脸特征数据的组合,并且,部分身体特征数据和部分人脸特征数据均可作为体貌特征数据,大大降低了体貌特征数据的获取难度,减少了运算量。
[0056] 在一具体应用中,所述感兴趣特征数据可以是体温数据,所述预设条件可以是不小于预设温度阈值。其中,预设温度阈值可以是预先设定的温度阈值,例如是37.3℃、38℃或者39℃。
[0057] 由此,感兴趣特征数据可以是体温数据,预设条件可以是不小于预设温度阈值,可以结合感兴趣特征数据和预设条件对体温异常的人员进行跟踪。
[0058] 在一具体应用中,所述感兴趣特征数据可以是行为数据,所述预设条件可以是发生异常行为,所述异常行为可以包括以下任意一种:抽烟;偷盗;跌倒。
[0059] 由此,感兴趣特征数据可以是行为数据,预设条件可以是发生异常行为,可以结合感兴趣特征数据和预设条件对做出异常行为的人员进行跟踪。
[0060] 步骤S102:从所述第一时间起预设时间间隔内,基于所述目标人员的体貌特征数据,判断是否存在获取到所述目标人员的第二视频数据的第二摄像头。其中,预设时间间隔可以是预先设定的时间间隔,例如是1小时、2小时或者3小时。
[0061] 步骤S103:当不存在所述第二摄像头时,将所述第一摄像头的位置数据存储至第一队列;当存在所述第二摄像头时,基于所述第二视频数据获取所述目标人员的第二感兴趣特征数据,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述第一摄像头的位置数据和所述第二摄像头的位置数据顺次存储至所述第一队列。
[0062] 在一具体应用中,当存在所述第二摄像头,且检测到所述第二感兴趣特征数据不满足所述预设条件时,确定所述目标人员为不需要追踪的人员。
[0063] 由此,当检测到第二感兴趣特征数据不满足预设条件时,第一感兴趣特征数据与第二感兴趣特征数据不一致,原因可能是:目标人员的异常状态在预设时间间隔内被解除,或者,摄像头采集的数据有误,此时,目标人员状态异常的可能性较小,无需对目标人员进行跟踪,可以确定目标人员为不需要追踪的人员。
[0064] 步骤S104:利用第k摄像头获取待定人员的第k视频数据,基于所述第k视频数据获取所述待定人员的感兴趣特征数据,当检测到所述待定人员的感兴趣特征数据满足所述预设条件时,判断所述待定人员是否是所述目标人员,所述第k摄像头是所述多个摄像头中的其中一个,k的取值范围是大于2的一个或多个整数且k每次取值为所述取值范围的其中一个。
[0065] 参见图2,在一些实施方式中,所述步骤S104中判断所述待定人员是否是所述目标人员的方法可以包括步骤S201~S203。
[0066] 步骤S201:获取所述待定人员的体貌特征数据。
[0067] 步骤S202:基于所述待定人员的体貌特征数据和所述目标人员的体貌特征数据,获取所述待定人员和所述目标人员的相似度。
[0068] 步骤S203:当所述相似度不小于预设相似度阈值时,确定所述待定人员是所述目标人员。其中,预设相似度阈值可以是预先设定的相似度阈值,例如80%、85%或者90%。
[0069] 由此,可以结合待定人员的体貌特征数据和目标人员的体貌特征数据,获取待定人员和目标人员的相似度,当相似度不小于预设相似度阈值时,待定人员和目标人员相似程度较高,可以确定待定人员即为目标人员。
[0070] 在一具体应用中,当所述相似度小于预设相似度阈值时,确定所述待定人员不是所述目标人员,将所述待定人员标记为新的目标人员,可以执行步骤S101~S106,用以对该新的目标人员进行轨迹跟踪。
[0071] 步骤S105:当所述待定人员是所述目标人员时,将所述第k摄像头的位置数据存储至所述第一队列。
[0072] 本申请实施例对k的取值范围不做限定,k的取值范围可以是单个整数,也可以是多个整数。k的取值范围可以是5,或者,k的取值范围可以是大于2的多个连续整数,例如3、4、5、6、7、8、9、……或者,k的取值范围可以是大于2的多个非连续整数,例如7、10、11、
14、……
[0073] 在一种优选实施例中,k的取值可以遍历大于2的每一个整数。
[0074] 在一具体应用中,k可以取值为5,此时第一队列中可能存储着第一摄像头、第二摄像头和第五摄像头的位置数据,或者存储着第一摄像头和第五摄像头的位置数据。
[0075] 在另一具体应用中,k可以分别取值为3、4、5、6、7、8、9等连续的整数,此时第一队列中可能存储着第一摄像头、第二摄像头、第三摄像头、第四摄像头、……第八摄像头、第九摄像头等多个摄像头的位置数据,或者存储着第一摄像头、第三摄像头、第四摄像头、……第八摄像头、第九摄像头等多个摄像头的位置数据,第一队列中的位置数据较为丰富。
[0076] 在另一具体应用中,k可以分别取值为7、10、11、14等不连续的整数,此时第一队列中可能存储着第一摄像头、第二摄像头、第七摄像头、第十摄像头、第十一摄像头、第十四摄像头等多个摄像头的位置数据,或者存储着第一摄像头、第七摄像头、第十摄像头、第十一摄像头、第十四摄像头等多个摄像头的位置数据,第一队列中的位置数据可能较少,但是,利用第一队列中部分摄像头的位置数据也可以实现对目标人员的跟踪。尤其是在摄像头较为密集的区域,一条走廊可能有3个摄像头,摄像头的位置非常接近,没有必要将所有摄像头的位置数据都进行存储,可以选取部分摄像头的位置数据进行存储,存储的数据量小,占用空间小。
[0077] 步骤S106:根据所述第一队列中的位置数据,绘制所述目标人员的行动轨迹。
[0078] 由此,一方面,获取到满足预设条件的第一感兴趣特征数据后,目标人员成为了当前关注的对象,此时可以基于目标人员的体貌特征数据,检测是否出现目标人员的视频数据。具体地,在预设时间间隔内,可以判断是否存在获取到目标人员的第二视频数据的第二摄像头。
[0079] 当不存在第二摄像头时,说明没有得到目标人员新的感兴趣特征数据,目标人员的状态不明确,需要对目标人员进行跟踪,此时可以将第一摄像头的位置数据存储至第一队列,便于后续利用第一摄像头的位置数据进行跟踪;
[0080] 当存在第二摄像头,且检测到第二感兴趣特征数据满足预设条件时,第一感兴趣特征数据和第二感兴趣特征数据均满足预设条件,目标人员状态异常的可能性较大,需要对目标人员进行跟踪,此时可以将第一摄像头的位置数据和第二摄像头的位置数据顺次存储至第一队列,便于后续结合第一摄像头的位置数据和第二摄像头的位置数据进行跟踪。
[0081] 另一方面,确定需要跟踪的人员后,可以针对所有人员,利用视频数据获取对应的感兴趣特征数据,筛选得到满足预设条件的人员,当检测到第k摄像头对应的待定人员的感兴趣特征数据满足预设条件时,可以判断待定人员是否是目标人员,当待定人员为目标人员时,将第k摄像头的位置数据存储至第一队列,由此,第一队列中的位置数据均为目标人员的位置数据,可以根据第一队列中的位置数据,绘制目标人员的行动轨迹。随着第一队列中位置数据的扩充,可以实现对目标人员的持续跟踪。
[0082] 综上所述,可以利用摄像头获取目标人员的视频数据,从而得到目标人员的感兴趣特征数据,当检测到目标人员的感兴趣特征数据满足预设条件时,可以判断是否需要对目标人员进行跟踪,若需要,可以将摄像头的位置数据存储于第一队列中,利用第一队列中的位置数据绘制目标人员的行动轨迹,该方法可以自动跟踪目标人员,无需人工追溯目标人员的行动轨迹,提高了跟踪效率。
[0083] 举例说明:将A作为目标人员,感兴趣特征数据为体温数据,预设条件为体温不低于37.3℃,预设时间间隔为2小时,预设相似度阈值为80%。
[0084] 在上午8点10分,第一摄像头获取到A的第一视频数据,输入卷积神经网络,得到A的第一感兴趣特征数据为38℃,满足预设条件,并基于第一视频数据获取A的体貌特征数据。
[0085] 在上午10点10分之前,基于A的体貌特征数据,检测到第二摄像头获取到了A的第二视频数据,将第二视频数据输入卷积神经网络,得到A的第二感兴趣特征数据为38.1℃,满足预设条件,将第一摄像头的位置数据和第二摄像头的位置数据顺次存储至第一队列。
[0086] 第三摄像头获取到待定人员的第三视频数据,输入卷积神经网络,得到待定人员的感兴趣特征数据为38.2℃,满足预设条件,基于待定人员的体貌特征数据和A的体貌特征数据,得到待定人员和A的相似度为85%,大于预设相似度阈值,确定待定人员为A,将第三摄像头的位置数据存储至第一队列,根据第一队列中的位置数据,绘制A的行动轨迹。
[0087] 在一些实施方式中,基于视频数据获取感兴趣特征数据的方法可以包括:将视频数据输入卷积神经网络,得到对应的感兴趣特征数据。
[0088] 所述步骤S101中基于所述第一视频数据获取所述第一感兴趣特征数据的方法可以包括:将所述第一视频数据输入所述卷积神经网络,得到所述第一感兴趣特征数据。
[0089] 所述步骤S103中基于所述第二视频数据获取所述第二感兴趣特征数据的方法可以包括:将所述第二视频数据输入所述卷积神经网络,得到所述第二感兴趣特征数据。
[0090] 所述步骤S104中基于所述第k视频数据获取所述第k感兴趣特征数据的方法可以包括:将所述第k视频数据输入所述卷积神经网络,得到所述第k感兴趣特征数据。
[0091] 由此,可以利用卷积神经网络从视频数据中提取出对应的感兴趣特征,相比于人工获取感兴趣特征数据,该方法无需近距离观察目标人员,且效率高,自动化程度高。
[0092] 公开号为CN112418055A的现有技术公开了一种基于视频分析的调度方法及人员轨迹追踪方法,该方法使用了多个单一分类器经过加权累积构建级联增强分类器,从而对人员进行识别和体温检测,其训练较为复杂,识别率较低,而本申请实施例利用卷积神经网络从视频数据中提取对应的感兴趣特征,训练较为简单,且识别率较高。
[0093] 参见图3,在一些实施方式中,所述步骤S106可以包括步骤S301~S303。
[0094] 步骤S301:利用浏览器加载预设区域的地图和三维模型。
[0095] 在一具体应用中,所述浏览器可以通过基于JavaScript的GIS库(Geograph ic Information System,地理信息系统)加载所述预设区域的地图和三维模型。
[0096] 由此,基于JavaScript的GIS库具有良好的可扩展性,可以与浏览器中的其他信息服务进行无缝集成,从而建立灵活多变的GIS应用。
[0097] 步骤S302:基于所述第一队列中的位置数据,在三维模型的对应位置上绘制多个追踪点。
[0098] 步骤S303:按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序,对所述多个追踪点进行连线。
[0099] 由此,可以按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序,对多个追踪点进行连线,从而得到目标人员按时间顺序连接的行动轨迹,结合预设区域的地图和三维模型,可以较为直观地浏览目标人员的行动路径和行动范围。
[0100] 在一具体应用中,所述步骤S302可以包括:基于所述第一队列中的位置数据,利用WebGL技术(Web Graphics Library,一种3D绘图协议技术)在三维模型的对应位置上绘制多个追踪点。
[0101] 所述步骤S303可以包括:按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序,利用WebGL技术对所述多个追踪点进行连线。
[0102] 由此,WebGL技术可以利用底层的图形硬件加速功能进行图形渲染,具有跨平台特性,适用于不同的操作系统。
[0103] 参见图4,在一些实施方式中,所述方法还可以包括步骤S107。
[0104] 步骤S107:绘制一个三维点沿所述连线移动的动画,以模拟出所述目标人员移动过程的动态效果,所述三维点按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序经过所述多个追踪点。
[0105] 由此,通过绘制三维点沿连线移动的动画,可以展现目标人员移动过程的动态效果,从而更为直观地展示出目标人员的行动顺序和行动路径。
[0106] 在一具体应用中,所述步骤S107可以包括:利用WebGL技术绘制一个三维点沿所述连线移动的动画,以模拟出所述目标人员移动过程的动态效果,所述三维点按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序经过所述多个追踪点。
[0107] 由此,WebGL技术可以实现Web交互式三维动画的制作,无需任何浏览器插件支持,适用范围广。
[0108] 参见图5,在一些实施方式中,所述方法还可以包括步骤S108~S109。
[0109] 步骤S108:当检测到所述第一感兴趣特征数据满足所述预设条件时,生成针对所述目标人员的报警记录。
[0110] 步骤S109:当不存在所述第二摄像头时,或者,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述目标人员标记为被追踪人员。
[0111] 由此,一方面,当检测到所述第一感兴趣特征数据满足预设条件时,此时目标人员有较大的可能为异常人员,可以生成针对目标人员的报警记录,便于后续排查;
[0112] 另一方面,当不存在第二摄像头时,说明没有得到目标人员新的感兴趣特征数据,目标人员的状态不明确,此时需要对目标人员进行跟踪;或者,当检测到第二感兴趣特征数据满足所述预设条件时,第一感兴趣特征数据和第二感兴趣特征数据均满足预设条件,目标人员状态异常的可能性较大,此时也需要对目标人员进行跟踪,在上述两种情况下,可以将目标人员标记为被追踪人员,从而将其与状态正常的人员区分开来。
[0113] 参见图6,本申请实施例还提供了一种基于AI视频分析的人员跟踪装置,其具体实现方式与上述基于AI视频分析的人员跟踪方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
[0114] 所述装置应用于人员跟踪系统,所述人员跟踪系统包括设置于不同位置的多个摄像头,所述装置包括:体貌获取模块101,用于在第一时间,利用第一摄像头获取目标人员的第一视频数据,基于所述第一视频数据获取所述目标人员的第一感兴趣特征数据,当检测到所述第一感兴趣特征数据满足所述预设条件时,获取所述目标人员的体貌特征数据;追踪判断模块102,用于从所述第一时间起预设时间间隔内,基于所述目标人员的体貌特征数据,判断是否存在获取到所述目标人员的第二视频数据的第二摄像头;初次存储模块103,用于当不存在所述第二摄像头时,将所述第一摄像头的位置数据存储至第一队列;当存在所述第二摄像头时,基于所述第二视频数据获取所述目标人员的第二感兴趣特征数据,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述第一摄像头的位置数据和所述第二摄像头的位置数据顺次存储至所述第一队列;人员判断模块104,用于利用第k摄像头获取待定人员的第k视频数据,基于所述第k视频数据获取所述待定人员的感兴趣特征数据,当检测到所述待定人员的感兴趣特征数据满足所述预设条件时,判断所述待定人员是否是所述目标人员,所述第k摄像头是所述多个摄像头中的其中一个,k的取值范围是大于2的一个或多个整数且k每次取值为所述取值范围的其中一个;继续存储模块105,用于当所述待定人员是所述目标人员时,将所述第k摄像头的位置数据存储至所述第一队列;轨迹绘制模块106,用于根据所述第一队列中的位置数据,绘制所述目标人员的行动轨迹。
[0115] 在一些实施方式中,所述体貌特征模块101可以用于将所述第一视频数据输入卷积神经网络,得到所述第一感兴趣特征数据;所述初次存储模块103可以用于将所述第二视频数据输入所述卷积神经网络,得到所述第二感兴趣特征数据;所述人员判断模块104可以用于将所述第k视频数据输入所述卷积神经网络,得到所述第k感兴趣特征数据。
[0116] 在一具体应用中,所述体貌特征数据可以包括至少部分身体特征数据和/或至少部分人脸特征数据。
[0117] 参见图7,在一些实施方式中,所述人员判断模块104可以包括:体貌特征单元1041,可以用于获取所述待定人员的体貌特征数据;相似度获取单元1042,可以用于基于所述待定人员的体貌特征数据和所述目标人员的体貌特征数据,获取所述待定人员和所述目标人员的相似度;人员确定单元1043,可以用于当所述相似度不小于预设相似度阈值时,确定所述待定人员是所述目标人员。
[0118] 参见图8,在一些实施方式中,所述轨迹绘制模块106可以包括:模型加载单元1061,可以用于利用浏览器加载预设区域的地图和三维模型;追踪点绘制单元1062,可以用于基于所述第一队列中的位置数据,在三维模型的对应位置上绘制多个追踪点;追踪点连线单元1063,可以用于按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序,对所述多个追踪点进行连线。
[0119] 参见图9,在一些实施方式中,所述装置还可以包括:动画绘制模块107,可以用于绘制一个三维点沿所述连线移动的动画,以模拟出所述目标人员移动过程的动态效果,所述三维点按照每个追踪点对应的位置数据存储至所述第一队列的先后顺序经过所述多个追踪点。
[0120] 在一具体应用中,所述浏览器可以通过基于JavaScript的GIS库加载所述预设区域的地图和三维模型。
[0121] 参见图10,在一些实施方式中,所述装置还可以包括:记录生成模块108,可以用于当检测到所述第一感兴趣特征数据满足所述预设条件时,生成针对所述目标人员的报警记录;人员标记模块109,可以用于当不存在所述第二摄像头时,或者,当检测到所述第二感兴趣特征数据满足所述预设条件时,将所述目标人员标记为被追踪人员。
[0122] 在一具体应用中,所述感兴趣特征数据可以是体温数据,所述预设条件可以是不小于预设温度阈值。
[0123] 在一具体应用中,所述感兴趣特征数据可以是行为数据,所述预设条件可以是发生异常行为,所述异常行为可以包括以下任意一种:抽烟;偷盗;跌倒。
[0124] 参见图11,本申请实施例还提供了一种电子设备200,电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
[0125] 存储器210可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)211和/或高速缓存存储器212,还可以进一步包括只读存储器(ROM)213。
[0126] 其中,存储器210还存储有计算机程序,计算机程序可以被处理器220执行,使得处理器220执行本申请实施例中基于AI视频分析的人员跟踪方法的步骤,其具体实现方式与上述基于AI视频分析的人员跟踪方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
[0127] 存储器210还可以包括具有至少一个程序模块215的实用工具214,这样的程序模块215包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0128] 相应的,处理器220可以执行上述计算机程序,以及可以执行实用工具214。
[0129] 总线230可以为表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0130] 电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信,还可与一个或者多个能够与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
[0131] 在一些实施方式中,所述电子设备200应用于人员跟踪系统,所述人员跟踪系统包括设置于不同位置的多个摄像头。
[0132] 参见图12,本申请实施例还提供了一种人员跟踪系统10,其具体实现方式与上述基于AI视频分析的人员跟踪方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
[0133] 在一些实施方式中,所述人员跟踪系统10包括设置于不同位置的多个摄像头,所述人员跟踪系统10还包括上述任一项电子设备200。
[0134] 在一具体应用中,所述摄像头可以和所述电子设备200集成为一体。
[0135] 本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,所述计算机程序被执行时实现本申请实施例中基于AI视频分析的人员跟踪方法的步骤,其具体实现方式与上述基于AI视频分析的人员跟踪方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
[0136] 图13示出了本实施例提供的用于实现上述基于AI视频分析的人员跟踪方法的程序产品300,其可以采用便携式紧凑盘只读存储器(CD‑ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品300不限于此,在本申请中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0137] 计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言诸如Java、C++等,还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0138] 本申请从使用目的上,效能上,进步及新颖性等观点进行阐述,已符合专利法所强调的功能增进及使用要件,本申请以上的说明书及说明书附图,仅为本申请的较佳实施例而已,并非以此局限本申请,因此,凡一切与本申请构造,装置,特征等近似、雷同的,即凡依本申请专利申请范围所作的等同替换或修饰等,皆应属本申请的专利申请保护的范围之内。