一种物联网数据智能存储方法及系统转让专利

申请号 : CN202310163888.X

文献号 : CN115935000B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 吴成锐吴学勇陈涌发李银凤吴成福陈嘉韶

申请人 : 广东瑞恩科技有限公司

摘要 :

本发明涉及数据处理技术领域,具体涉及一种物联网数据智能存储方法及系统。该方法首先对采集到的道路视频图像中的车辆进行跟踪,得到车辆的行驶轨迹偏离程度;基于行驶轨迹偏离程度获取异常帧;获取车辆的行驶方向变化;基于行驶方向变化得到的时间区间长度和异常帧数量计算可参考价值;基于可参考价值拟合标准行驶轨迹曲线;根据车辆在道路视频图像中包围框的中心点和标准行驶轨迹曲线上对应点的距离得到行驶轨迹异常程度,筛选出关键帧,并存储关键帧。本发明根据行驶轨迹异常程度判断当前车辆的行驶异常,更加贴合交通场景,且保留了重要车辆信息。

权利要求 :

1.一种物联网数据智能存储方法,其特征在于,该方法包括以下步骤:

获取监控摄像头拍摄到的道路视频图像;

对所述道路视频图像中的车辆进行跟踪,得到每辆车辆对应的包围框和对应的视频帧区间;

根据视频帧区间内第一帧道路视频图像和最后一帧道路视频图像中车辆对应的包围框的中心点,得到车辆的行驶轨迹偏离程度;基于所述行驶轨迹偏离程度获取异常帧;

根据每帧道路视频图像和相邻的道路视频图像中车辆对应的包围框的中心点的差异,得到车辆的行驶方向变化;基于所述行驶方向变化得到车辆的正常行驶的时间区间长度;

基于时间区间长度和异常帧数量,得到可参考价值;

按照车辆的可参考价值由大到小的顺序,将对应的时间区间长度相加,直至相加得到的时间区间长度之和大于等于预设长度阈值;由时间区间长度之和对应的车辆行驶轨迹确定标准行驶轨迹曲线;根据车辆在道路视频图像中包围框的中心点和标准行驶轨迹曲线上对应点的距离得到行驶轨迹异常程度;

根据行驶轨迹异常程度得到关键帧,对关键帧进行存储;

其中,所述可参考价值的获取方法为:获取异常帧数量,对所述异常帧数量进行负相关映射,得到初始可参考性;将归一化后的所述初始可参考性和所述时间区间长度的乘积,作为可参考价值;

其中,初始可参考性为:以自然常数为底数,以负的异常帧数量为指数的指数函数值。

2.根据权利要求1所述的一种物联网数据智能存储方法,其特征在于,所述根据视频帧区间内第一帧道路视频图像和最后一帧道路视频图像中车辆对应的包围框的中心点,得到车辆的行驶轨迹偏离程度,包括:连接视频帧区间内第一帧道路视频图像和最后一帧道路视频图像中车辆对应的包围框的中心点,确定车辆行驶虚拟轨迹;

计算车辆在道路视频图像中对应的包围框的中心点和所述车辆行驶虚拟轨迹的距离,作为差异距离,将归一化后的差异距离作为行驶轨迹偏离程度。

3.根据权利要求1所述的一种物联网数据智能存储方法,其特征在于,所述根据每帧道路视频图像和相邻的道路视频图像中车辆对应的包围框的中心点的差异,得到车辆的行驶方向变化,包括:对于任意帧道路视频图像,计算道路视频图像和前一帧道路视频图像中车辆对应的包围框的中心点的横坐标的差值,作为第一差值,所述第一差值加上预设参考值,作为第一差异值;计算道路视频图像和前一帧道路视频图像中车辆对应的包围框的中心点的纵坐标的差值,作为第二差值,所述第二差值加上预设参考值,作为第二差异值;计算前一帧道路视频图像和前第二帧道路视频图像中车辆对应的包围框的中心点的横坐标的差值,作为第三差值,所述第三差值加上预设参考值,作为第三差异值;计算前一帧道路视频图像和前第二帧道路视频图像中车辆对应的包围框的中心点的纵坐标的差值,作为第四差值,所述第四差值加上预设参考值,作为第四差异值;

将第二差异值和第一差异值的比值,作为第一比值;将第三差异值和第四差异值的比值,作为第二比值;将所述第一比值和所述第二比值的乘积作为行驶方向变化。

4.根据权利要求1所述的一种物联网数据智能存储方法,其特征在于,所述基于所述行驶方向变化得到车辆的正常行驶的时间区间长度,包括:将车辆出现在道路视频图像中的时间作为起始时间;当车辆的行驶方向变化小于预设变化阈值时,将行驶方向变化对应的时间作为终止时间;将所述终止时间和所述起始时间的差值,作为正常行驶的时间区间长度。

5.根据权利要求1所述的一种物联网数据智能存储方法,其特征在于,所述根据车辆在道路视频图像中包围框的中心点和标准行驶轨迹曲线上对应点的距离得到行驶轨迹异常程度,包括:计算道路视频图像中车辆的包围框的中心点和标准行驶轨迹曲线上对应时间对应的点的欧式距离;将车辆对应的视频帧区间内所有道路视频图像对应的欧氏距离的开平方之和,作为车辆的行驶轨迹异常程度。

6.根据权利要求1所述的一种物联网数据智能存储方法,其特征在于,所述基于所述行驶轨迹偏离程度获取异常帧,包括:将行驶轨迹偏离程度大于预设偏离阈值的道路视频图像作为异常帧。

7.根据权利要求1所述的一种物联网数据智能存储方法,其特征在于,所述对所述道路视频图像中的车辆进行跟踪,得到每辆车辆对应的包围框和对应的视频帧区间,包括:利用Camshift算法对道路视频图像中的车辆进行跟踪,得到车辆对应的包围框;从出现车辆对应的包围框,到车辆对应的包围框消失,得到车辆对应的视频帧区间。

8.根据权利要求1所述的一种物联网数据智能存储方法,其特征在于,所述根据行驶轨迹异常程度得到关键帧,包括:从行驶轨迹异常程度大于等于预设异常阈值的车辆对应的道路视频图像中,筛选出关键帧。

9.一种物联网数据智能存储系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1 8任意一项所述一种物联网数据智能存储方法的步骤。

~

说明书 :

一种物联网数据智能存储方法及系统

技术领域

[0001] 本发明涉及数据处理技术领域,具体涉及一种物联网数据智能存储方法及系统。

背景技术

[0002] 物联网是指通过各种采集信息传感器、射频识别技术等各种装置与技术,实时采集需要监控、连接、互动的物体或者过程,它将所有能够被独立寻址的普通物理对象形成互联互通的网络。以安防交通监控视频为例,现在对于安防监控的摄像机的分辨率已经大大提高,随之而来的是大量的监控视频数据量,且根据不同地区对安防监控视频相关的保存规定,对于监控视频需要进行一段历史时间内的存储。因此如此大的数据量,保存原安防交通监控视频需要大量的存储空间,因此需要对物联网下的安防交通监控视频进行压缩处理,在压缩处理之后减少存储空间以保证安防监控视频的高效存储。
[0003] 在物联网视频监控存储场景中,在对监控视频进行存储之前,需对监控视频寻找合适的关键帧进行存储,现有技术寻找关键帧的常用方式为:对视频帧图像进行特征聚类,最后选取视频聚类中心帧作为关键帧,对其他帧图像进行帧间预测,存储其他帧图像针对关键帧图像之间的差异值来减少相应的存储量,从而提升存储效率。但是现有技术存在的问题为:聚类之前对所有帧图像进行HSV转化特征值,并计算相应的图像帧纹理特征等,最后将若干特征值进行特征融合并聚类,传统求取的关键帧的选取均是基于图像中的颜色特征和纹理等特征,但是对于安防交通监控视频来说,特征的提取并不准确,因为在交通监控中存在大量固定不变的建筑背景区域,只存在少量的车流信息,因此传统提取关键帧的过程中提取的视频帧特征值中车流信息只占据少量的影响程度,且关键帧与相邻多帧之间的联系关系并不大,其提取关键帧的准确性会受到影响,所以在对物联网监控视频数据选取关键帧时,要对关键帧的特征提取进行进一步的优化。

发明内容

[0004] 为了解决关键帧与相邻多帧之间的联系关系并不大,其提取关键帧的准确性会受到影响的技术问题,本发明的目的在于提供一种物联网数据智能存储方法及系统,所采用的技术方案具体如下:
[0005] 第一方面,本发明一个实施例提供了一种物联网数据智能存储方法,该方法包括以下步骤:
[0006] 获取监控摄像头拍摄到的道路视频图像;
[0007] 对所述道路视频图像中的车辆进行跟踪,得到每辆车辆对应的包围框和对应的视频帧区间;
[0008] 根据视频帧区间内第一帧道路视频图像和最后一帧道路视频图像中车辆对应的包围框的中心点,得到车辆的行驶轨迹偏离程度;基于所述行驶轨迹偏离程度获取异常帧;
[0009] 根据每帧道路视频图像和相邻的道路视频图像中车辆对应的包围框的中心点的差异,得到车辆的行驶方向变化;基于所述行驶方向变化得到车辆的正常行驶的时间区间长度;基于时间区间长度和异常帧数量,得到可参考价值;
[0010] 按照车辆的可参考价值由大到小的顺序,将对应的时间区间长度相加,直至相加得到的时间区间长度之和大于等于预设长度阈值;由时间区间长度之和对应的车辆行驶轨迹确定标准行驶轨迹曲线;根据车辆在道路视频图像中包围框的中心点和标准行驶轨迹曲线上对应点的距离得到行驶轨迹异常程度;
[0011] 根据行驶轨迹异常程度得到关键帧,对关键帧进行存储。
[0012] 优选的,所述根据视频帧区间内第一帧道路视频图像和最后一帧道路视频图像中车辆对应的包围框的中心点,得到车辆的行驶轨迹偏离程度,包括:
[0013] 连接视频帧区间内第一帧道路视频图像和最后一帧道路视频图像中车辆对应的包围框的中心点,确定车辆行驶虚拟轨迹;
[0014] 计算车辆在道路视频图像中对应的包围框的中心点和所述车辆行驶虚拟轨迹的距离,作为差异距离,将归一化后的差异距离作为行驶轨迹偏离程度。
[0015] 优选的,所述根据每帧道路视频图像和相邻的道路视频图像中车辆对应的包围框的中心点的差异,得到车辆的行驶方向变化,包括:
[0016] 对于任意帧道路视频图像,计算道路视频图像和前一帧道路视频图像中车辆对应的包围框的中心点的横坐标的差值,作为第一差值,所述第一差值加上预设参考值,作为第一差异值;计算道路视频图像和前一帧道路视频图像中车辆对应的包围框的中心点的纵坐标的差值,作为第二差值,所述第二差值加上预设参考值,作为第二差异值;计算前一帧道路视频图像和前第二帧道路视频图像中车辆对应的包围框的中心点的横坐标的差值,作为第三差值,所述第三差值加上预设参考值,作为第三差异值;计算前一帧道路视频图像和前第二帧道路视频图像中车辆对应的包围框的中心点的纵坐标的差值,作为第四差值,所述第四差值加上预设参考值,作为第四差异值;
[0017] 将第二差异值和第一差异值的比值,作为第一比值;将第三差异值和第四差异值的比值,作为第二比值;将所述第一比值和所述第二比值的乘积作为行驶方向变化。
[0018] 优选的,所述基于所述行驶方向变化得到车辆的正常行驶的时间区间长度,包括:
[0019] 将车辆出现在道路视频图像中的时间作为起始时间;当车辆的行驶方向变化小于预设变化阈值时,将行驶方向变化对应的时间作为终止时间;将所述终止时间和所述起始时间的差值,作为正常行驶的时间区间长度。
[0020] 优选的,所述基于时间区间长度和异常帧数量,得到可参考价值,包括:
[0021] 获取异常帧数量,对所述异常帧数量进行负相关映射,得到初始可参考性;将归一化后的所述初始可参考性和所述时间区间长度的乘积,作为可参考价值。
[0022] 优选的,所述根据车辆在道路视频图像中包围框的中心点和标准行驶轨迹曲线上对应点的距离得到行驶轨迹异常程度,包括:
[0023] 计算道路视频图像中车辆的包围框的中心点和标准行驶轨迹曲线上对应时间对应的点的欧式距离;将车辆对应的视频帧区间内所有道路视频图像对应的欧氏距离的开平方之和,作为车辆的行驶轨迹异常程度。
[0024] 优选的,所述基于所述行驶轨迹偏离程度获取异常帧,包括:
[0025] 将行驶轨迹偏离程度大于预设偏离阈值的道路视频图像作为异常帧。
[0026] 优选的,所述对所述道路视频图像中的车辆进行跟踪,得到每辆车辆对应的包围框和对应的视频帧区间,包括:
[0027] 利用Camshift算法对道路视频图像中的车辆进行跟踪,得到车辆对应的包围框;从出现车辆对应的包围框,到车辆对应的包围框消失,得到车辆对应的视频帧区间。
[0028] 优选的,所述根据行驶轨迹异常程度得到关键帧,包括:
[0029] 从行驶轨迹异常程度大于等于预设异常阈值的车辆对应的道路视频图像中,筛选出关键帧。
[0030] 第二方面,本发明一个实施例提供了一种物联网数据智能存储系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种物联网数据智能存储方法。
[0031] 本发明实施例至少具有如下有益效果:
[0032] 本发明首先对采集到的道路视频图像中的车辆进行跟踪,得到每辆车辆对应包围框和对应的视频帧区间;根据视频帧区间内第一帧道路视频图像和最后一帧道路视频图像中车辆对应的包围框的中心点,得到车辆的行驶轨迹偏离程度;基于行驶轨迹偏离程度获取异常帧,该行驶轨迹偏离程度反映了车辆在行驶途中的偏离程度,偏离程度越大,则对应的道路视频图像越异常;对于任意帧道路视频图像,根据前两帧相邻的道路视频图像中车辆对应的包围框的中心点的差异,得到车辆的行驶方向变化,正常情况下车辆的行驶方向变化越小越好,行驶方向变化越小则车辆行驶的越平稳,故可以通过车辆的行驶方向变化反映出车辆的异常情况;基于行驶方向变化得到车辆的正常行驶的时间区间长度;基于时间区间长度和异常帧数量,得到可参考价值,结合时间区间长度和异常帧数量得到可参考价值,时间区间长度为车辆正常行驶的长度,异常帧数量反映了车辆的异常情况,故结合这两个影响因素可以更全面的得到车辆的可参考价值;按照车辆的可参考价值由大到小的顺序,将对应的时间区间长度相加,直至相加得到的时间区间长度之和大于等于预设长度阈值,由时间区间长度之和对应的车辆行驶轨迹作为标准行驶轨迹曲线,其可参考价值越大的时间区间长度对应的车辆行驶轨迹的可靠度越高,故由较高可参考价值对应的时间区间长度拟合出标准行驶轨迹曲线;根据车辆在道路视频图像中包围框的中心点和标准行驶轨迹曲线上对应点的距离得到行驶轨迹异常程度,将实时的车辆的包围框的中心点和标准行驶轨迹曲线进行对比,得到车辆的异常程度;根据行驶轨迹异常程度得到关键帧,对关键帧进行存储。本发明能够根据拟合的车辆行驶轨迹计算视频区间内某一车辆相对于标准行驶轨迹曲线的行驶轨迹异常程度,根据行驶轨迹异常程度判断当前车辆的行驶异常,更加贴合交通场景,且保留了重要车辆信息。

附图说明

[0033] 为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
[0034] 图1为本发明一个实施例所提供的一种物联网数据智能存储方法的方法流程图。

具体实施方式

[0035] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种物联网数据智能存储方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
[0036] 除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0037] 本发明实施例提供了一种物联网数据智能存储方法及系统的具体实施方法,该方法适用于道路视频图像存储场景。该场景下通过多个监控摄像头采集监控视频,并得到对应的道路视频图像。为了解决关键帧与相邻多帧之间的联系关系并不大,其提取关键帧的准确性会受到影响的技术问题,本发明根据拟合的车辆行驶轨迹计算视频区间内某一车辆相对于标准行驶轨迹曲线的行驶轨迹异常程度,根据行驶轨迹异常程度判断当前车辆的行驶异常,更加贴合交通场景,且保留了重要车辆信息。
[0038] 下面结合附图具体的说明本发明所提供的一种物联网数据智能存储方法及系统的具体方案。
[0039] 请参阅图1,其示出了本发明一个实施例提供的一种物联网数据智能存储方法的步骤流程图,该方法包括以下步骤:
[0040] 步骤S100,获取监控摄像头拍摄到的道路视频图像。
[0041] 针对于不同位置安装的监控摄像头,拍摄到的监控视频中存在相应的固定建筑区域以及道路区域,对于道路视频图像中,固定建筑区域的关注程度并不是很高,所以在对某一位置的监控视频首先进行区域分割,该分割方法采用现有视频画面分割技术,如可先对某一帧道路视频图像进行沿道路线条进行分割,最终将这一帧的分割线应用到该监控摄像头采集到的全部的监控视频中去,对于画面中分割出的固定建筑区域,使用现有选取关键帧的计算方式进行分析即可,对于关注度较高的道路区域,进行进一步的视频帧异常程度计算。
[0042] 步骤S200,对所述道路视频图像中的车辆进行跟踪,得到每辆车辆对应的包围框和对应的视频帧区间。
[0043] 每个车辆的异常程度可表现在行驶速度异常、行驶轨迹异常、行驶状态异常,如车辆存在压线和闯红灯等违规行为等等许多方面。其中违规行为异常为汽车的一个行驶状态,并不能用单帧的图像去描述,因此需要使用多帧的道路视频图像去对汽车的异常程度去进行修正,最终获取每帧道路视频图像中每个车辆的异常程度,进而确定道路视频图像的异常程度,根据异常程度来选取关键帧。
[0044] 因此,本发明对采集的道路视频图像进行处理,获得视频关键帧的过程为:(1)选取合适的视频帧区间。(2)确定当前监控相机下的标准行驶轨迹曲线以及行驶轨迹异常程度计算。(3)根据行驶轨迹异常程度以及对应视频帧区间选取对应的关键帧。
[0045] 选取合适的视频帧区间,具体展开如下:
[0046] 本步骤中使用Camshift算法对视频中的车辆进行跟踪。Camshift算法可对道路视频图像中多个车辆同时进行跟踪,表现为车辆包围选框的颜色不一,在车辆对应的视频帧区间中,相同车辆的选框始终为同一个颜色,用以保证车辆追踪过程中不会出现车辆追踪的错误。Camshift算法为对视频序列的所有图像帧都作MeanShift运算,并将上一帧的结果,也即搜索窗口的中心位置和窗口大小,作为下一帧MeanShift算法的搜索窗口的初始值,如此迭代下去。
[0047] 视频帧区间的选取,具体的:利用Camshift算法对道路视频图像中的车辆进行跟踪,得到车辆对应的包围框;从出现车辆对应的包围框,到车辆对应的包围框消失,得到车辆对应的视频帧区间。也即对于第 辆车,其选取的视频帧区间为从摄像头开始记录到车辆开始到车辆使出相应的视频画面为止,其中不同车辆选取的视频帧区间可不相同,基于车辆不同的行驶速度、行驶轨迹是否出现车辆转弯等情况均能影响车辆的视频帧区间的选取,对于第 辆车的视频帧区间记录为: ,其中,表示对应区间初始时间点, 表示对应区间结束时间点, 表示对应区间长度; 为第n辆车辆的初始出现时间; 为第n辆车辆的消失时间。需要说明的是,通常记对应区间初始时间点为1。
[0048] 步骤S300,根据视频帧区间内第一帧道路视频图像和最后一帧道路视频图像中车辆对应的包围框的中心点,得到车辆的行驶轨迹偏离程度;基于所述行驶轨迹偏离程度获取异常帧。
[0049] 聚类选取关键帧的方式只是在单帧中提取相应的图像特征,并在最后对特征值进行聚类设置阈值进行关键帧的提取,由于不同时间段对应的车流量等重点关注区域的特征不同,因此一个固定的阈值很难适用于同一个视频的不同时间段中。所以本发明中对不同车辆的视频帧区间,对每个监控视频中车辆的连续视频区间进行分析,并在区间内选取合适的关键帧视频,在传统视频关键帧选取的基础上额外进行优化选取,更大程度地根据车辆的异常信息对监控视频的关键帧进行选取。
[0050] 以监控视频中出现的第一辆车作为分析对象,其他视频中出现的车辆分析方式同第一辆车。对于选取出的第一辆车的视频帧区间,以Camshift算法的包围框为分析对象,获取每个车辆对应的包围框的中心点坐标,记为,以当前监
控视频中拍摄画面的左下角为坐标原点,垂直方向向上为Y轴,水平向右为X轴建立直角坐标系,并以第一个包围框中线点和最后一个包围框中心点确定车辆行驶虚拟轨迹,也即连接视频帧区间内第一帧道路视频图像和最后一帧道路视频图像中车辆对应的包围框的中心点,确定车辆行驶虚拟轨迹,即两点确定一条直线。车辆行驶虚拟轨迹的直线方程记为:
。进一步,计算车辆在道路视频图像中对应的包围框的中
心点和所述车辆行驶虚拟轨迹的距离,作为差异距离,将归一化后的差异距离作为行驶轨迹偏离程度。
[0051] 那么对于第 辆车的在 时刻车辆的包围框的中心点相对于此车辆行驶虚拟轨迹的行驶轨迹偏离程度的计算公式为:
[0052]
[0053] 其中, 表示第 辆车辆在 时刻的行驶轨迹偏离程度;为第n辆车辆在 时刻对应的道路视频图像中对应的包围框的中心点的坐标; 为归一化函数; 为第n辆车辆对应的车辆行驶虚拟轨迹的斜率; 为第n辆车辆对应的车辆行驶虚拟轨迹的截距。本发明实施例中由于摄像头拍摄的道路为固定位置的道路,因此将此固定道路作为固定的背景,将不同时刻的车辆所在位置还原至同一张背景图中。
[0054] 当汽车在道路上行驶时,实际行驶的坐标位置信息和虚拟行驶轨迹之间是存在偏差的。当车辆在路上某一时刻所在位置和虚拟行驶轨迹之间的偏差较大时,表明此时车辆位置发生了异常变化。车辆在道路中行驶一般为正常直线行驶,但是不妨会存在相应的变道和拐弯等车辆行驶变化,但是在正常直线行驶的角度去看,变道和转弯也是存在一定程度的危险的。
[0055] 计算每个时刻车辆位置信息和车辆行驶虚拟轨迹之间的行驶轨迹偏离程度并预设偏离阈值。将行驶轨迹偏离程度大于预设偏离阈值的道路视频图像作为异常帧。在本发明实施例中预设偏离阈值的取值为0.5,在其他实施例中实施者可根据实际情况调整该取值。
[0056] 步骤S400,根据每帧道路视频图像和相邻的道路视频图像中车辆对应的包围框的中心点的差异,得到车辆的行驶方向变化;基于所述行驶方向变化得到车辆的正常行驶的时间区间长度;基于时间区间长度和异常帧数量,得到可参考价值。
[0057] 由于行驶方向是依靠相邻包围框中心点连线斜率来确定的,因此至少需要三个起始帧来计算,也就是行驶方向的变化从视频区间的第三个时刻开始计算。即对于第a时刻来说,计算第a时刻和第a‑1时刻对应的道路视频图像中车辆对应的包围框的中心点的差异、并计算第a‑1时刻和第a‑2时刻对应的道路视频图像中车辆对应的包围框的中心点的差异。根据每帧道路视频图像和相邻的道路视频图像中车辆对应的包围框的中心点的差异,得到车辆的行驶方向变化,具体的:对于任意帧道路视频图像,计算道路视频图像和前一帧道路视频图像中车辆对应的包围框的中心点的横坐标的差值,作为第一差值,所述第一差值加上预设参考值,作为第一差异值;计算道路视频图像和前一帧道路视频图像中车辆对应的包围框的中心点的纵坐标的差值,作为第二差值,所述第二差值加上预设参考值,作为第二差异值;计算前一帧道路视频图像和前第二帧道路视频图像中车辆对应的包围框的中心点的横坐标的差值,作为第三差值,所述第三差值加上预设参考值,作为第三差异值;计算前一帧道路视频图像和前第二帧道路视频图像中车辆对应的包围框的中心点的纵坐标的差值,作为第四差值,所述第四差值加上预设参考值,作为第四差异值;将第二差异值和第一差异值的比值,作为第一比值;将第三差异值和第四差异值的比值,作为第二比值;将所述第一比值和所述第二比值的乘积作为行驶方向变化。在本发明实施例中预设参考值的取值为1,在其他实施例中实施者可根据实际情况调整该取值。
[0058] 该行驶方向变化的计算公式为:
[0059]
[0060] 其中, 为第n辆车辆在a时刻对应的行驶方向变化; 为第n辆车辆在 时刻对应的道路视频图像中对应的包围框的中心点的坐标;
为第n辆车辆在 时刻对应的道路视频图像中对应的包
围框的中心点的坐标; 为第n辆车辆在 时刻对应的道
路视频图像中对应的包围框的中心点的坐标; 为第n辆车辆在 时
刻对应的第一差值; 为第n辆车辆在 时刻对应的第一差异
值; 为第n辆车辆在 时刻对应的第二差值;
为 第 n辆 车辆 在 时 刻对 应的 第 二差 异值 ;
为第n辆车辆在 时刻对应的第三差值;
为第n辆车辆在 时刻对应的第三差异值;
为第n辆车辆在 时刻对应的第四差值;
为第n辆车辆在 时刻对应的第四差异值;
为第n辆车辆在 时刻对应的第一比值; 为
第n辆车辆在第 时刻对应的第二比值。
[0061] 表示在 时刻时,车辆所在包围框中心点相对于第 时刻的车辆所在包围框的行驶时刻的瞬时行驶方向, 表示在
时刻时,车辆所在包围框中心点相对于第 时刻的车辆所在包围框的行驶时刻的瞬时行驶方向。需要说明的是,在第一差值、第二差值、第三差值和第四差值之后统一加1是为了避免在直角坐标系中出现斜率为0的情况。当相邻时刻采集到的道路视频图像中同一车辆对应的包围框的中心点越接近,坐标的差值越小,则对应的该车辆的行驶方向变化越小;反之,当相邻时刻采集到的道路视频图像中同一车辆对应的包围框的中心点越接近,坐标的差值越大,则对应的该车辆的行驶方向变化越大。
[0062] 车辆在正常行驶时,其行驶方向分直线行驶和曲线行驶两种,直线形式和曲线行驶时相邻时刻的行驶方向之间的比值均为正,而在正常行驶过程中,不会出现当前车辆形式方向在很短的时间内不断变化的情况,因此,使用车辆在 时刻的中心点坐标和时刻的中心点坐标确定的 时刻的行驶方向,和相同计算方式下的 时刻的车辆行驶方向用来计算 时刻形式方向的变化。
[0063] 至此,根据车辆的包围框的中心点,获取到车辆所对应的行驶方向变化序列,如第n辆车辆对应的行驶方向变化序列为: ,其中, 为第1个采集到的行驶方向变化; 为第2个采集到的行驶方向变化;
为第A‑2个采集到的行驶方向变化。需要说明的是A为当前监控摄像头采集到的道路视频图像的数量。其次对于行驶方向变化序列进行分析,根据上述行驶方向变化的公式中的逻辑,正常行驶车辆的行驶变化方向均为大于0,因此以此序列中所有的元素为分析对象,基于所述行驶方向变化得到车辆的正常行驶的时间区间长度,具体的:当行驶方向变化小于预设变化阈值时,将行驶方向变化对应的时间作为终止时间;将车辆出现在道路视频图像中的时间作为起始时间;将所述终止时间和所述起始时间的差值,作为正常行驶的时间区间长度。在本发明实施例中预设变化阈值的取值为0,在其他实施例中实施者可根据实际情况调整该取值。也即获取第一个行驶方向变化小于0的时刻 ,那么第 辆车的正常行驶的时间区间长度 , 为正常行驶的
时间区间,其中 为第n辆车正常行驶的终止时间, 这个时间段内
的行驶方向变化可视为第 辆车总体行驶区间内 行驶方向变化为正常行驶的行驶区间,该行驶区间的长度即为时间区间长度。
[0064] 其次对于所有车辆均进行行驶方向变化序列的获取,那么对于每辆车均可以获取正常行驶区间的时间区间长度,对每辆车的时间区间长度 进行比较,时间区间长度越长认为车辆的正常行驶的时间越长,记录车辆的总异常帧数 越少的车辆的行驶区间,在此区间内车辆的行驶轨迹为标准行驶轨迹,本发明认为若车辆在某一时刻的行驶轨迹发生异常之后,在此时刻之后的所有行驶轨迹均为不可参考的,即使在此时刻之后的行驶轨迹可能会存在正常的行驶轨迹,但是本发明认为此行驶轨迹也是不可参考的。
[0065] 基于时间区间长度和异常帧数量,得到可参考价值,具体的:获取异常帧数量,对所述异常帧数量进行负相关映射,得到初始可参考性;将归一化后的所述初始可参考性和所述时间区间长度的乘积,作为可参考价值。
[0066] 则第 辆车的行驶轨迹的可参考价值 可计算为:
[0067]
[0068] 其中, 表示第 辆车的行驶轨迹的可参考价值, 表示第 辆车对应的异常帧数量; 表示第 辆车的正常行驶的时间区间长度;e为自然常数;为归一化函数。
[0069] 在每辆车在监控视频中出现的时间区间长度内,其车辆对应的异常帧数量越少,则该车辆行驶路径越正常,那么其行驶轨迹作为参考曲线的参考价值就越大;其行驶轨迹中正常行驶的时间区间长度越长,其行驶轨迹作为参考曲线的价值就越大。
[0070] 步骤S500,按照车辆的可参考价值由大到小的顺序,将对应的时间区间长度相加,直至相加得到的时间区间长度之和大于等于预设长度阈值;由时间区间长度之和对应的车辆行驶轨迹确定标准行驶轨迹曲线;根据车辆在道路视频图像中包围框的中心点和标准行驶轨迹曲线上对应点的距离得到行驶轨迹异常程度。
[0071] 获取每辆车辆的可参考价值;按照车辆的可参考价值由大到小的顺序,将对应的时间区间长度相加,直至相加得到的时间区间长度之和大于等于预设长度阈值。获取时间区间长度之和对应的时间区间长度对应车辆的车辆行驶轨迹,按照时间序列将车辆行驶轨迹进行拼接,拼接方式按照时间节点进行平移,最终将所有可参考的车辆行驶轨迹按照时间序列进行拼接。如车辆1对应的可参考价值为5,其对应的时间区间为(1,3),时间区间长度为3,车辆2对应的可参考价值为6,其对应的时间区间为(1,2),时间区间长度为2,车辆3对应的可参考价值为4,其对应的时间区间为(2,3),车辆4对应的可参考价值为8,其对应的时间区间为(3,4),时间区间长度为2,如果预设长度阈值为6,则先选取可参考价值大的车辆的时间区间长度相加,选取车辆4的时间区间长度2,再加上车辆2对应的时间区间长度2,再加上车辆1的时间区间长度3,此时相加的时间区间长度之和2+2+3=7,7大于等于预设长度阈值,故车辆1、车辆2和车辆4即为时间区间长度之和对应的车辆,车辆1的对应的时间区间的初始时间为1,车辆2对应的时间区间的初始时间也为1,车辆4对应的时间区间的初始时间为3,由于车辆1和车辆2的初始时间相同,故进一步按照可参考价值进行排序,由于车辆2对应的可参考价值大,故将车辆1对应的时间区间向后平移,将车辆2对应的时间区间作为第一个区间,将车辆1对应的时间区间作为第二个区间,将车辆4对应的时间区间作为第三个区间。需要说明的是,如果车辆1在向后平移后,和后续的车辆的初始时间相同了,那继续比较两个车辆的可参考价值,将可参考价值较小的车辆对应的时间区间向后平移,直至平移至合适的位置。
[0072] 至此获取到当前监控视频中,可参考的标准行驶轨迹曲线。在本发明实施例中预设长度阈值为监控视频采集到的道路的长度和道路最低限制速度的比值,监控视频采集到的道路的长度和道路最低限制速度由实施者提前获取得到。
[0073] 那么对于车辆,参照标准行驶轨迹曲线求取第 辆车在每帧内的车辆行驶轨迹,每一帧的车辆位置在整个车辆的车辆行驶轨迹中可视作为每帧车辆的位置,则根据车辆在道路视频图像中包围框的中心点和标准行驶轨迹曲线上对应点的距离得到行驶轨迹异常程度,具体的:计算道路视频图像中车辆的包围框的中心点和标准行驶轨迹曲线上对应时间对应的点的欧式距离;将车辆对应的视频帧区间内所有道路视频图像对应的欧氏距离的开平方之和,作为车辆的行驶轨迹异常程度。
[0074] 该行驶轨迹异常程度的计算公式为:
[0075]
[0076] 其中, 为第n辆车辆对应的行驶轨迹异常程度; 为时间区间长度之和;为第n辆车辆在 时刻对应的道路视频图像中对应的包围框的中心点
的坐标; 为标准行驶轨迹曲线在a时刻的点的坐标。
[0077] 将每辆车时间区间的起始时间对应的位置至时间区间的终止时间对应的位置分别与标准行驶轨迹曲线上的位置重合放置,当实际的车辆对应的包围框的中心点的位置距离标准行驶轨迹曲线越远时,则该车辆对应的异常程度越大;反之,当实际的车辆对应的包围框的中心点的位置距离标准行驶轨迹曲线越近时,则该车辆对应的异常程度越小。
[0078] 步骤S600,根据行驶轨迹异常程度得到关键帧,对关键帧进行存储。
[0079] 在得到车辆的形式轨迹异常程度之后,从行驶轨迹异常程度大于等于预设异常阈值的车辆对应的道路视频图像中,筛选出关键帧。在本发明实施例中预设异常阈值的取值为0.5,在其他实施例中实施者可根据实际情况调整该取值。需要说明的是,使用现有视频存储选择关键帧的方法选取出关键帧进行存储。根据选取出的关键帧,使用现有预测模型对选取关键帧后的其他帧相应的处理方式建立预测模型,对相应选取出的关键帧和其他帧视频进行优化存储,使得在现有视频存储基础上,极大程度保留了异常帧的细节信息,能在对相应的车辆违规信息进行判断时,提供更多的细节信息。
[0080] 综上所述,本发明涉及数据处理技术领域。该方法首先获取监控摄像头拍摄到的道路视频图像;对道路视频图像中的车辆进行跟踪,得到每辆车辆对应包围框和对应的视频帧区间;根据视频帧区间内第一帧道路视频图像和最后一帧道路视频图像中车辆对应的包围框的中心点,得到车辆的行驶轨迹偏离程度;基于行驶轨迹偏离程度获取异常帧;对于任意帧道路视频图像,根据前两帧相邻的道路视频图像中车辆对应的包围框的中心点的差异,得到车辆的行驶方向变化;基于行驶方向变化得到车辆的正常行驶的时间区间长度;基于时间区间长度和异常帧数量,得到可参考价值;按照车辆的可参考价值由大到小的顺序,将对应的时间区间长度相加,直至相加得到的时间区间长度之和大于等于预设长度阈值;由时间区间长度之和对应的车辆行驶轨迹作为标准行驶轨迹曲线;根据车辆在道路视频图像中包围框的中心点和标准行驶轨迹曲线上对应点的距离得到行驶轨迹异常程度;根据行驶轨迹异常程度得到关键帧,对关键帧进行存储。本发明能够根据拟合的车辆行驶轨迹计算视频区间内某一车辆相对于标准行驶轨迹曲线的行驶轨迹异常程度,根据行驶轨迹异常程度判断当前车辆的行驶异常,更加贴合交通场景,且保留重要车辆信息。
[0081] 本发明实施例还提出了一种物联网数据智能存储系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。由于一种物联网数据智能存储方法在上述给出了详细描述,不再赘述。
[0082] 需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
[0083] 本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。