一种视频分析方法、装置、系统、设备及存储介质转让专利
申请号 : CN202010182741.1
文献号 : CN111401239B
文献日 : 2021-04-20
发明人 : 管睿 , 支洪平
申请人 : 科大讯飞(苏州)科技有限公司
摘要 :
权利要求 :
1.一种视频分析方法,其特征在于,包括:获取指定摄像机对其所监控的目标场景采集的图像帧,作为目标图像帧;
利用预先构建的多个场景分别对应的视频分析规则和所述目标图像帧,确定所述目标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率,其中,所述目标场景为所述多个场景中的任一场景,任一场景对应的视频分析规则从该场景对应的样本图像中学习得到,一个场景对应的样本图像为该场景中发生对应的目标事件时,摄像机针对该场景采集的图像,一场景对应的视频分析规则为用于确定待分析图像帧中发生该场景对应的目标事件的概率的规则;
根据所述目标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率,确定识别到的事件和识别到的事件对应的概率;
根据所述识别到的事件以及所述识别到的事件对应的概率,确定所述目标场景中是否发生了所述目标场景对应的目标事件;
当目标场景发生了目标场景对应的目标事件时,将目标图像帧序列和区域指示信息发送至终端,以使所述终端展示所述目标图像帧序列,并在所述目标图像帧序列中展示区域指示信息所指示的区域的检测框和跟随框,其中,所述目标图像帧序列包括所述目标图像帧,以及所述目标图像帧之前的至少一个图像帧和/或所述目标图像帧之后的至少一个图像帧,所述区域指示信息用于指示所述目标图像帧序列的各图像帧中发生所述目标场景对应的目标事件的区域。
2.根据权利要求1所述的视频分析方法,其特征在于,还包括:当所述目标场景中发生了所述目标场景对应的目标事件时,存储所述目标图像帧序列。
3.根据权利要求1所述的视频分析方法,其特征在于,预先构建任一场景对应的视频分析规则的过程包括:
从该场景对应的样本图像中确定出目标区域,其中,所述目标区域为与该场景对应的目标事件相关的区域;
从所述目标区域所包含的像素点中确定角点,以得到由确定出的角点组成的角点集;
利用所述角点集构建决策树,将构建的决策树作为该场景对应的视频分析规则。
4.根据权利要求3所述的视频分析方法,其特征在于,所述从所述目标区域所包含的像素点中确定角点,以得到由确定出的角点组成的角点集,包括:利用预先构建的角点决策器,确定所述目标区域中的每个像素点是否为角点,以得到由确定出的角点组成的角点集;
其中,所述角点决策器以训练集中的训练像素为样本,以所述训练像素对应的像素类别为标签训练得到,一个像素的像素类别为角点或非角点。
5.根据权利要求4所述的视频分析方法,其特征在于,构建所述角点决策器的过程包括:
从角点决策器的训练图像中获取目标像素点集,其中,所述目标像素点集由所述训练图像中可能包含角点的区域中的像素点组成;
根据所述目标像素点集中像素点的亮度,确定所述目标像素点集中每个像素点的像素类别;
以所述目标像素点集中像素点对应的信息增益为依据,用所述目标像素点集中的像素和所述目标像素点集中像素对应的像素类别训练角点决策器。
6.根据权利要求5所述的视频分析方法,其特征在于,所述根据所述目标像素点集中像素点的亮度,确定所述目标像素点集中每个像素点的像素类别,包括:对于所述目标像素点集中的每个像素点,根据该像素点的亮度以及该像素点的邻域圆上像素点的亮度,确定该像素点是否为角点,以得到所述目标像素点集中每个像素点的像素类别。
7.根据权利要求6所述的视频分析方法,其特征在于,所述根据该像素点的亮度以及该像素点的邻域圆上像素点的亮度,确定该像素点是否为角点,包括:若该像素点的邻域圆上的四个目标像素点中有至少连续三个目标像素点的亮度值均大于或等于该像素点对应的第一亮度值,或者均小于或等于该像素点对应的第二亮度值,则确定该像素点为候选角点,其中,所述四个目标像素为将该像素点的邻域圆四等分的四个像素点,一像素点对应的第一亮度值为该像素点的亮度值与预设亮度值的和,该像素点对应的第二亮度值为该像素点的亮度值与所述预设亮度值的差;
当该像素点为候选角点时,若该像素点的邻域圆上存在连续预设个像素点的亮度值均大于或等于该像素点对应的第一亮度值,或者均小于或等于该像素点对应的第二亮度值,则确定该像素点为角点。
8.根据权利要求5所述的视频分析方法,其特征在于,确定所述目标像素点集中一像素点对应的信息增益的过程包括:
根据所述目标像素点集中所包含的角点的数量和非角点的数量计算所述目标像素点集的信息熵;
获取该像素点对应的三个子向量,并分别确定该像素点对应的三个子向量的信息熵,其中,该像素点对应的三个子向量分别由所述训练图像中该像素点的邻域圆上亮度大于或等于该像素点对应的第一亮度值的像素点的像素值组成、该像素点的邻域圆上亮度小于或等于该像素点对应的第二亮度值的像素点的像素值组成、该像素点的邻域圆上亮度小于所述第一亮度值且大于所述第二亮度值的像素点的像素值组成;
根据所述目标像素点集的信息熵和该像素点对应的三个子向量的信息熵,确定该角点对应的信息增益。
9.根据权利要求1所述的视频分析方法,其特征在于,所述利用预先构建的多个场景分别对应的视频分析规则和所述目标图像帧,确定所述目标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率,包括:从所述目标图像帧中确定出与所述目标场景对应的目标事件可能相关的目标区域;
从所述目标图像帧的目标区域中确定角点,以得到由确定出的角点组成的目标角点集;
利用所述目标角点集和所述多个场景分别对应的视频分析规则,确定所述目标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率。
10.根据权利要求9所述的视频分析方法,其特征在于,所述利用所述目标角点集和所述多个场景分别对应的视频分析规则,确定所述目标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率,包括:对于所述目标角点集中的每个角点,若该角点不是以其为中心的邻域所包含的角点中的最优角点,则将该角点从所述目标角点集中删除;
利用剩余角点组成的角点集合和所述多个场景分别对应的视频分析规则,确定所述目标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率。
11.根据权利要求10所述的视频分析方法,其特征在于,确定一个角点是否为以其为中心的邻域所包含的角点中的最优角点,包括:确定以该角点为中心的邻域所包含的所有角点分别对应的目标值,其中,一个角点对应的目标值为该角点的邻域圆上各像素点分别与该角点的像素值差的绝对值之和;
若该角点对应的目标值不是确定出的所有目标值中的最大值,则确定该角点不是以其为中心的邻域所包含的角点中的最优角点,否则,确定该角点是以其为中心的邻域所包含的角点中的最优角点。
12.一种视频分析装置,其特征在于,包括:图像帧获取模块、事件识别模块、事件判别模块和数据发送模块;
所述图像帧获取模块,用于获取指定摄像机对其所监控的目标场景采集的图像帧,作为目标图像帧;
所述事件识别模块,用于利用预先构建的多个场景分别对应的视频分析规则和所述目标图像帧,确定所述目标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率,其中,所述目标场景为所述多个场景中的任一场景,任一场景对应的视频分析规则从该场景对应的样本图像中学习得到,一个场景对应的样本图像为该场景中发生对应的目标事件时,摄像机针对该场景采集的图像,一场景对应的视频分析规则为用于确定待分析图像帧中发生该场景对应的目标事件的概率的规则;
所述事件判别模块,用于根据所述目标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率,确定识别到的事件和识别到的事件对应的概率,根据所述识别到的事件以及所述识别到的事件对应的概率,确定所述目标场景中是否发生了所述目标场景对应的目标事件;
所述数据发送模块,用于当所述目标场景发生了所述目标场景对应的目标事件时,将目标图像帧序列和区域指示信息发送至终端,以使所述终端展示所述目标图像帧序列,并在所述目标图像帧序列中展示区域指示信息所指示的区域的检测框和跟随框,其中,所述目标图像帧序列包括所述目标图像帧,以及所述目标图像帧之前的至少一个图像帧和/或所述目标图像帧之后的至少一个图像帧,所述区域指示信息用于指示所述目标图像帧序列的各图像帧中发生所述目标场景对应的目标事件的区域。
13.一种视频分析系统,其特征在于,包括:配置单元、存储单元、分析单元和监控管理单元;
所述配置单元,用于预先构建多个场景分别对应的视频分析规则,其中,任一场景对应的视频分析规则从该场景对应的样本图像中学习得到,一个场景对应的样本图像为该场景中发生对应的目标事件时,摄像机针对该场景采集的图像,一场景对应的视频分析规则为用于确定待分析图像帧中发生该场景对应的目标事件的概率的规则;
所述存储单元,用于存储所述多个场景分别对应的视频分析规则;
所述分析单元,用于获取指定摄像机对其所监控的目标场景采集的图像帧,作为目标图像帧;利用所述多个场景分别对应的视频分析规则和所述目标图像帧,确定所述目标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率;根据所述目标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率,确定识别到的事件和识别到的事件对应的概率;根据所述识别到的事件以及所述识别到的事件对应的概率,确定所述目标场景中是否发生了所述目标场景对应的目标事件,其中,所述目标场景为所述多个场景中的任一场景;
所述监控管理单元,用于将目标图像帧序列和区域指示信息发送至终端,以使所述终端展示所述目标图像帧序列,并在所述目标图像帧序列中展示所述区域指示信息所指示的区域的检测框和跟随框;
其中,所述目标图像帧序列包括所述目标图像帧,以及所述目标图像帧之前的至少一个图像帧和/或所述目标图像帧之后的至少一个图像帧,所述区域指示信息用于指示所述目标图像帧序列的各图像帧中发生所述目标场景对应的目标事件的区域。
14.根据权利要求13所述的视频分析系统,其特征在于,还包括:报警管理单元;
所述报警管理单元,用于当所述目标场景中发生了所述目标场景对应的目标事件时,向报警设备发送报警指令,并存储所述目标图像帧序列。
15.一种视频分析设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求1~11中任一项所述的视频分析方法的各个步骤。
16.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~11中任一项所述的视频分析方法的各个步骤。
说明书 :
一种视频分析方法、装置、系统、设备及存储介质
技术领域
背景技术
对视频摄像机采集的视频进行分析,视频分析的目的在于,确定视频摄像机的监控区域是
否发生了目标事件,监控区域发生了目标事件可以为监控区域出现了指定目标、监控区域
中的对象发生了指定行为等。一旦视频摄像机的监控区域发生了目标事件,则触发视频监
控系统中的报警设备报警。
针对场景A采集的视频,以确定场景A中是否发生了事件a(比如场景A中是否有人跌倒),对
于场景B,需要分析视频摄像机针对场景B采集的视频,以确定场景B中是否发生了事件b(比
如是否有人翻越围栏),而如何根据视频摄像机针对多种场景采集的视频确定对应场景是
否发生了对应的目标事件是目前亟需解决的问题。
发明内容
案如下:
析规则从该场景对应的样本图像中学习得到,一个场景对应的样本图像为该场景中发生对
应的目标事件时,摄像机针对该场景采集的图像;
所述目标图像帧序列的各图像帧中发生所述目标场景对应的目标事件的区域。
的像素类别。
值,则确定该像素点为候选角点,其中,所述四个目标像素为将该像素点的邻域圆四等分的
四个像素点,一像素点对应的第一亮度值为该像素点的亮度值与预设亮度值的和,该像素
点对应的第二亮度值为该像素点的亮度值与所述预设亮度值的差;
值,则确定该像素点为角点。
于或等于该像素点对应的第一亮度值的像素点的像素值组成、该像素点的邻域圆上亮度小
于或等于该像素点对应的第二亮度值的像素点的像素值组成、该像素点的邻域圆上亮度小
于所述第一亮度值且大于所述第二亮度值的像素点的像素值组成;
概率。
包含的角点中的最优角点。
件。
中,任一场景对应的视频分析规则从该场景对应的样本图像中学习得到,一个场景对应的
样本图像为该场景中发生对应的目标事件时,摄像机针对该场景采集的图像;
场景中发生对应的目标事件时,摄像机针对该场景采集的图像;
别,获得识别到的事件以及所述识别到的事件对应的概率;根据所述识别到的事件以及所
述识别到的事件对应的概率,确定所述目标场景中是否发生了所述目标场景对应的目标事
件。
所指示的区域的检测框和跟随框;
场景中发生对应的目标事件时,摄像机针对该场景采集的图像,因此,根据待分析的目标图
像帧和多个场景分别对应的视频分析规则可确定出目标场景中可能发生的事件以及发生
该事件的概率,进而可根据目标场景中可能发生的事件以及发生该事件的概率,确定目标
场景中是否发生了对应的目标事件。本申请提供的视频分析方法,能够根据某个场景的待
分析图像帧和预先构建的多个场景分别对应的视频分析规则,自动确定出该场景是否发生
了对应的目标事件,该视频分析方法可实现多个不同场景所对应目标事件的检测。
附图说明
发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据
提供的附图获得其他的附图。
图;
具体实施方式
分析规则,当需要对摄像机针对某个场景采集的视频进行分析时,利用对应的视频分析规
则进行分析。
产生遗漏或差错,会影响后续的视频分析效果。
人工为采集每种场景视频的摄像机配置视频分析规则,该方法可应用于单个服务器,也可
以应用于多个服务器,还可以应用于服务器集群,接下来通过下述实施例对本申请提供的
视频分析方法进行介绍。
控范围更大。另外,本实施例中的指定摄像机可以为一个,也可以为多个,即,对于目标场景
而言,可采用一个摄像机对其进行监控,也可以采用多个摄像机进行监控。
过一场景对应的视频分析规则能够确定某个场景中所发生的事件为该场景对应的目标事
件的概率。
其中,场景A对应的样本图像为,当场景A中发生“人跌倒”事件时,摄像机针对场景A采集的
图像,同样的,场景B对应的样本图像为,当场景B中发生“人跳跃”这一事件时,摄像机针对
场景B采集的图像。需要说明的是,场景A对应的视频分析规则从场景A对应的样本图像中学
习得到,利用场景A对应的视频分析规则能够分析出某个场景发生的事件为场景A对应的目
标事件(即“人跌倒”事件)的概率,同样的,场景B对应的视频分析规则从场景B对应的样本
图像中学习得到,利用场景B对应的视频分析规则能够分析出某个场景发生的事件为场景B
对应的目标事件(即“人跳跃”事件)的概率。
图像构建新场景对应的视频规则,同样的,新场景对应的样本图像为当新场景中发生其对
应的目标事件时,摄像机针对新场景采集的图像。
95%大于预设的概率阈值90%,因此,确定目标场景中发生了“人跌倒”事件。
应的目标事件时,摄像机针对该场景采集的图像,因此,根据待分析的目标图像帧和多个场
景分别对应的视频分析规则可确定出目标场景中可能发生的事件以及发生该事件的概率,
进而可根据目标场景中可能发生的事件以及发生该事件的概率,确定目标场景中是否发生
了对应的目标事件。本申请提供的视频分析方法,能够根据某个场景的待分析图像帧和预
先构建的多个场景分别对应的视频分析规则,自动确定出该场景是否发生了对应的目标事
件,该视频分析方法可实现多个不同场景所对应目标事件的检测分析,另外,本申请提供的
视频分析方法不需要人工对摄像机进行视频分析规则的配置,由于不需要人工参与,因此,
能够避免人工参与所带来的问题。
景分别对应的视频分析规则的过程进行介绍。由于每个场景对应的视频分析规则的构建方
式相同,因此,本实施例以对一个场景对应的视频分析规则为例对构建过程进行介绍。
例性的,场景A为需要进行“人跌倒”检测的场景,场景A对应的目标事件为“人跌倒”,那么,
场景A对应的样本图像中的目标区域即为人所在的区域。
检测出的边缘,以得到一个封闭轮廓,该封闭轮廓中的区域即为目标区域。
训练像素为样本,以训练像素对应的像素类别为标签训练得到,一个像素的像素类别为角
点或非角点。
像素点,为了降低运算量,在另一种可能的实现方式中,目标像素点集可以包括针对“可能
包含角点的区域”从多个不同方向选取的像素点。
该像素点的邻域圆上像素点的亮度,确定该像素点是否为角点,以得到目标像素点集中每
个像素点的像素类别。
径,p的邻域圆上有16个像素点。
二亮度值,若是,则确定该像素点为角点,若否,则确定该像素点不是角点。需要说明的时,
一像素点对应的第一亮度值为该像素点的亮度值与预设亮度值t的和,该像素点对应的第
二亮度值为该像素点的亮度值与预设亮度值t的差。
亮度值均小于或等于Ip‑t,则确定像素点p为角点,否则,确定像素点p不为角点,其中,Ip为
像素点p的亮度值。
度值,从这点出发,为了能够更快速地进行角点判别,本实施例提供了另一种较优选的实现
方式:
的第二亮度值,若是,则确定该像素点为候选角点,否则,确定该像素点不是角点;若该像素
点为候选角点,进一步判断该像素点的邻域圆上是否存在连续N个像素点的亮度值均大于
或等于该像素点对应的第一亮度值,或者均小于或等于该像素点对应的第二亮度值,若是,
则确定该像素点为角点,若否,则确定该像素点不是角点。其中,一个像素点的邻域圆上的
四个目标像素点可以为将该像素点的邻域圆四等分的四个像素点。
像素值均大于或等于Ip+t,或者均小于或等于Ip‑t,则确定像素点p为候选角点,否则,确定
像素点p不为角点,假设像素点p为候选角点,则进一步判断其邻域圆的16个像素中是否存
在连续N个像素点的亮度值均大于或等于Ip+t,或者均小于或等于Ip‑t,若是,则确定像素
点p为角点,否则确定像素点p不为角点。需要说明的是,N的取值可根据后续角点决策器的
训练情况进行调整,直至达到最优。
像素点对应的第二亮度值的像素点的像素值组成、该像素点的邻域圆上亮度小于第一亮度
值且大于第二亮度值的像素点的像素值组成。可选的,一个像素点的像素值可以由该像素
点的亮度值表征。
包括:
件为“人跌倒”这一事件的概率PA,利用目标角点集和场景B对应的视频分析规则可确定目
标场景中发生的事件为“人跌倒”这一事件的概率PB。
标角点集中选取部分较优的角点,用选取出的角点进行事件分析。
角点从目标角点集中删除,若是,将该角点保留。
标值不是确定出的所有目标值中的最大值,则确定该角点不是以其为中心的邻域所包含的
角点中的最优角点,否则,确定该角点是以其为中心的邻域所包含的角点中的最优角点。其
中,一个角点对应的目标值为该角点的邻域圆上各像素点分别与该角点的像素值差的绝对
值之和。
的事件为场景C对应的目标事件c的概率为3%,目标场景发生的事件为场景D对应的目标事
件d的概率为95%,则将场景D对应的目标事件d作为最终识别到的事件,95%即为最终识别
到的事件对应的概率。
设备发生报警指令,以使报警设备报警。
图像帧之前的至少一个图像帧以及目标图像帧之前的至少一个图像帧。
件,本实施例可将目标图像帧、目标图像帧之前的至少一个图像帧以及目标图像帧之前的
至少一个图像帧进行存储。
场景对应的目标事件的区域。
快速直观地获知目标场景所发生的目标事件的情况。
602和事件判别模块603。
至少一个图像帧和/或所述目标图像帧之后的至少一个图像帧。
序列的各图像帧中发生所述目标场景对应的目标事件的区域。
以训练集中的训练像素为样本,以所述训练像素对应的像素类别为标签训练得到,一个像
素的像素类别为角点或非角点。
策器。
从所述目标像素点集中获得所有的角点。
或等于该像素点对应的第二亮度值,若是,则确定该像素点为候选角点。
该像素点的亮度值与所述预设亮度值的差。
该像素点对应的第二亮度值,若是,则确定该像素点为角点。
量的信息熵,其中,该像素点对应的三个子向量分别由所述训练图像中该像素点的邻域圆
上亮度大于或等于该像素点对应的第一亮度值的像素点的像素值组成、该像素点的邻域圆
上亮度小于或等于该像素点对应的第二亮度值的像素点的像素值组成、该像素点的邻域圆
上亮度小于所述第一亮度值且大于所述第二亮度值的像素点的像素值组成;根据所述目标
像素点集的信息熵和该像素点对应的三个子向量的信息熵,确定该角点对应的信息增益。
将所述多个场景分别对应的目标事件中,最大概率对应的目标事件作为从所述目标图像帧
中识别到的事件,所述最大概率作为从所述目标图像帧中识别到的事件对应的概率。
除,利用剩余角点组成的角点集合和所述多个场景分别对应的视频分析规则,确定所述目
标场景发生的事件为所述多个场景中每个场景对应的目标事件的概率。
应的目标值,若该角点对应的目标值不是确定出的所有目标值中的最大值,则确定该角点
不是以其为中心的邻域所包含的角点中的最优角点,否则,确定该角点是以其为中心的邻
域所包含的角点中的最优角点。其中,一个角点对应的目标值为该角点的邻域圆上各像素
点分别与该角点的像素值差的绝对值之和。
景中发生了所述目标场景对应的目标事件。
分析方法可实现多个不同场景所对应目标事件的检测。
获得识别到的事件以及所述识别到的事件对应的概率;以及根据所述识别到的事件以及所
述识别到的事件对应的概率,确定所述目标场景中是否发生了所述目标场景对应的目标事
件。
指示的区域的检测框和跟随框。
目标事件,在该场景发生了对应的目标事件时,可触发报警装置报警,并且,本实施例提供
的视频分析系统还可将该场景发生对应目标事件的相关图像帧序列发生至终端显示,在显
示时还可使终端在图像帧序列的各图像帧中显示检测框和跟随框,以便用户能够快速直观
地获知目标事件的情况。
一个存储器803和至少一个通信总线804;
路等;
析规则从该场景对应的样本图像中学习得到,一个场景对应的样本图像为该场景中发生对
应的目标事件时,摄像机针对该场景采集的图像;
析规则从该场景对应的样本图像中学习得到,一个场景对应的样本图像为该场景中发生对
应的目标事件时,摄像机针对该场景采集的图像;
之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意
在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那
些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者
设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排
除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明
将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一
致的最宽的范围。