热图生成方法转让专利

申请号 : CN201710277031.5

文献号 : CN107025450B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 赵拥军吴希文周肖树熊利平

申请人 : 广东兆邦智能科技有限公司北京理工大学珠海学院赵拥军

摘要 :

本发明涉及一种热图生成方法,该方法包括:视频图像获得步骤,获得监控区视频图像;采样点确定步骤,确定要进行采样的多个采样点;采样点人口密度确定步骤,确定各采样点的人口密度;拟合步骤,据所获得的各采样点的人口密度,通过数据拟合,得到整个监控区域的人口密度。

权利要求 :

1.一种热图生成方法,包括:

视频图像获得步骤,获得监控区视频图像;

采样点确定步骤,确定要进行采样的多个采样点;

采样点人口密度确定步骤,确定各采样点的人口密度;

拟合步骤,根据所获得的各采样点的人口密度,通过数据拟合,得到整个监控区域的人口密度,其中,所述采样点人口密度确定步骤包括:

采样面积确定步骤,确定以采样点为圆心的采样椭圆的面积;

采样人数确定步骤,确定所述采样椭圆内的人数;

人口密度确定步骤,根据所述采样椭圆的面积和所述采样椭圆内的人数,确定所述采样点的人口密度ρ(x,y),其中,所述采样面积确定步骤包括:

采样参数确定步骤,根据圆心坐标(xi,yj),依据公式xi=h*tanβ*cosα;yj=h*tanβ*sinα确定摄像机的俯视角和取样方向角,其中h为监控该采样点的摄像机的安装高度,β为所述摄像机相对所述采样点的俯视角,α为取样点方向角;

长短半轴确定步骤,利用所述俯视角确定所述采样椭圆的长半轴的长度a和所述采样椭圆的短半轴的长度b:a=h*[tanβ-tan(β-σ/2)];b=h*tan(σ/2)/cosβ其中σ为预先确定的采样角;

采样椭圆面积确定步骤,依据以下公式确定所述采样椭圆的面积S(i,j)=πab=πh2*tan(σ/2)*[tanβ-tan(β-σ/2)]/cosβ。

2.根据权利要求1所述的热图生成方法,还包括热图呈现步骤,将监控区域的人口密度以连续曲面的形式进行呈现,其中,不同的人口密度区域用不同的颜色呈现。

3.根据权利要求1所述的热图生成方法,其特征在于:所述采样点确定步骤在所述监控区内均匀地获得采样点;

所述方法还包括补充采样步骤,根据各采样点的人口密度,在人口密度高于预定阈值的采样点周围增加采样点。

4.根据权利要求1所述的热图生成方法,其特征在于,所述采样人数确定步骤包括:背景图像获得步骤,利用针对所述监控区域获得的多帧图像,对所述视频图像中与所述采样椭圆相对应的部分进行处理,得到与所述采样椭圆相对应的部分的当前的背景图像;

视频帧图像获得步骤,获得与所述采样椭圆相对应的当前的视频帧图像;

目标图像获得步骤,根据背景图像和当前视频帧图像,得到目标图像;

候选圆获得步骤,对所述目标图像进行处理得到候选圆;

头部轮廓获得步骤,对候选圆进行基于置信度的头部轮廓判决,得到人的头部轮廓;

计数步骤,统计获得头部轮廓,获得所述采样椭圆内的人数。

5.根据权利要求4所述的热图生成方法,其特征在于,所述候选圆获得步骤包括:(1)将目标图像中的所有像素点映射到参数空间(n,m,r);

(2)设置参数累加器数组A,A中的任意一个数组元素A(n,m,r)表示落在以(n,m)为圆心、以r为半径的圆上的像素点的个数;

(3)对于目标图像中的每个像素点(x,y),在r以一定步长连续取值时,用下式计算n、m的值:n=x-rcosθ,m=y-rsinθ,其中,θ表示目标图像中每个像素点的梯度方向角,以各(n,m)为候选圆心点,各(n,m,r)的组合作为一个候选圆,从而得到各像素点对应的多个候选圆;

(4)对于每一个待选圆心点(n,m),都建立一个半径直方图,其横坐标为半径r,取值为(rmin,rmax);纵坐标为当以待选圆心点(n,m)为圆心、以r为半径画圆时,落在该圆上的像素点的个数;

(5)对每个半径直方图进行滤波,得到每个半径直方图对应的一个或多个峰值,即的极值;

(6)如果某个A(n,m,r)的极值大于阈值,则认为该A(n,m,r)的极值对应的所有像素点构成一个圆,该圆作为更新后的候选圆。

6.根据权利要求1所述的热图生成方法,其特征在于,所述方法还包括采样密度调整步骤,将拟合出的人口密度ρ(x,y)与实际的视频区域实测密度进行比较计算,给出置信度的计算结果,根据置信度的要求调整采样密度。

7.根据权利要求1所述的热图生成方法,其特征在于,所述采样人数确定步骤包括:

1)用区域生长算法对视频图像进行图像分割;取阀值A,比较相邻的单位面积区域的灰度平均值,若差值小于阀值A,则将区域合并,若差值不小于阀值,则不合并;

2)选择半径为B个像素的圆形作为结构元素,若上述步骤1)获得的区域内没有半径为B个像素的圆,则该区域不存在头部;

3)以圆形作为人体头部的几何形状,并计算区域的圆形度K,若K大于预定阈值,则该区域为人头,进行计数,获得人数N。

说明书 :

热图生成方法

技术领域

[0001] 本发明涉及人口热图的生成,尤其涉及局部地域热图的生成和处理。

背景技术

[0002] 大数据人口热图研究以人口群体的行为作为研究对象,通过人口分布密度,人口流动等参数进行群体行为特征,从宏观方面可以研究城市人口管理、城市建设、交通规划等,至于局部地域人口热图的研究主要应用于解决局部人口的密集度、危险预警、人口集散、人口导流等,增加社会安全减少事故等。
[0003] 人口热图的研究方法,通过视频图像以及电子信息等技术手段采集人口的信息,然后再进行技术处理,得到以热图形式的直观的人口分布图像。
[0004] 人口热图数据来源可以是手机移动信息以及视频监。这俩种数据来源都存在一些不足之处,但是各有自己的优势。
[0005] 首先,手机移动信息可以解决大范围的人口信息来源,但是手机数据由于其定位不是很准确,加之一些其他因素,比如一人多机,或者以及多卡,或者有人不带手机,等等,因此手机移动信息的置信度就到底有多大很难说清楚,再有就是手机移动信息是行业秘密,想从移动公司获得数据十分困难,尤其是实时数据基本上无法得到。只有特殊的用户才有权利获得。
[0006] 视频监控所获得的视频信息有比较好的准确率,而且也容易获得视频数据:人群密集处,比如广场、车站、展览馆、旅游景点等地方,一般会有一个或几个摄像头采集视频。但是计算机无法直接根据视频图像直接获得人口热图,必须进行人数计算,已知的是通过视频识别进行人头遍历。但是该方法数据量比较大,处理时间长,对于人群密集的大场景不容易做到实时处理,并且只能得到视场内人口数量,人口分布信息不易获得。

发明内容

[0007] 本发明鉴于现有技术的以上问题作出,用以克服或减缓现有技术存在的一种或更多种缺陷。
[0008] 根据本发明的一个方面,提供了一种热图生成方法,包括:视频图像获得步骤,获得监控区视频图像;采样点确定步骤,确定要进行采样的多个采样点;采样点人口密度确定步骤,确定各采样点的人口密度;拟合步骤,根据所获得的各采样点的人口密度,通过数据拟合,得到整个监控区域的人口密度。
[0009] 根据一种实施方式,本方法还包括热图呈现步骤。
[0010] 根据一种实施方式,所述采样点确定步骤在所述监控区内均匀地获得采样点;所述方法还包括补充采样步骤,根据各采样点的人口密度,在人口密度高于预定阈值的采样点周围增加采样点。
[0011] 根据一种实施方式,所述采样点人口密度确定步骤包括:采样面积确定步骤,确定以采样点为圆心的采样椭圆的面积;采样人数确定步骤,确定所述采样椭圆内的人数;人口密度确定步骤,根据所述采样椭圆的面积和所述采样椭圆内的人数,确定所述采样点的人口密度ρ(x,y)。
[0012] 根据一种实施方式,所述采样面积确定步骤包括:采样参数确定步骤,根据圆心坐标(xi,yj),依据公式xi=h.tanβ.cosα;yj=h.tanβ.sinα确定摄像机的俯视角和取样方向角,其中h为监控该采样点的摄像机的安装高度,β为所述摄像机相对所述采样点的俯视角,α为取样点方向角;长短半轴确定步骤,利用所计算出的取样点方向角和所述辐射角确定所述采样椭圆的长半轴的长度a和所述采样椭圆的短半轴的长度b:a=h.[tanβ-tan(β-σ/2)];b=h*tan(σ/2)/cosβ,其中σ为预先确定的采样角;采样椭圆面积确定步骤,依据以下公式确定所述采样椭圆的面积S(I,j)=πab=πh2*tan(σ/2)*[tanβ-tan(β-σ/2)]/cosβ。
[0013] 根据一种实施方式,所述采样人口确定步骤包括:背景图像获得步骤,利用针对所述监控区域获得的多帧图像,对所述视频图像中与所述采样椭圆相对应的部分进行处理,得到与所述采样椭圆相对应的部分的当前的背景图像;视频帧图像获得步骤,获得与所述采样椭圆相对应的当前的视频帧图像;目标图像获得步骤,根据背景图像和当前视频帧图像,得到目标图像;候选圆获得步骤,对所述目标图像进行处理得到候选圆;头部轮廓获得步骤,对候选圆进行基于置信度的头部轮廓判决,得到人的头部轮廓;计数步骤,统计获得头部轮廓,获得所述采样椭圆内的人数。
[0014] 根据一种实施方式,所述候选圆获得步骤包括:(1)将目标图像中的所有像素点映射到参数空间(a,b,r);(2)设置参数累加器数组A,A中的任意一个数组元素A(a,b,r)表示落在以(a,b)为圆心、以r为半径的圆上的像素点的个数;(3)对于目标图像中的每个像素点(x,y),在r以一定步长连续取值时,用下式计算a、b的值:a=x-rcosθb=y-rsinθ,其中,θ表示目标图像中每个像素点的梯度方向角,以各(a,b)为候选圆心点,各(a,b,r)的组合作为一个候选圆,从而得到各像素点对应的多个候选圆;(4)对于每一个待选圆心点(a,b),都建立一个半径直方图,其横坐标为半径r,取值为(rmin,rmax);纵坐标为当以待选圆心点(a,b)为圆心、以r为半径画圆时,落在该圆上的像素点的个数;(5)对每个半径直方图进行滤波,得到每个半径直方图对应的一个或多个峰值,即 的极值;(6)如果某个A(a,b,r)的极值大于阈值,则认为该A(a,b,r)的极值对应的所有像素点构成一个圆,该圆作为更新后的候选圆。
[0015] 根据一种实施方式,采样密度调整步骤,将拟合出的人口密度ρ(x,y)与实际的视频区域实测密度进行进行比较计算,给出置信度的计算结果,根据置信度的要求调整采样密度。
[0016] 根据一种实施方式,所述采样人口确定步骤包括:1)用区域生长算法对视频图像进行图像分割;取阀值A,比较相邻的单位面积区域的灰度平均值,若差值小于阀值A,则将区域合并,若差值不小于阀值,则不合并;2)选择半径为B个像素的圆形作为结构元素,若上述步骤1)获得的区域内没有半径为B个像素的圆,则该区域不存在头部;3)以圆形作为人体头部的几何形状,并计算区域的圆形度K,若K大于预定阈值,则该区域为人头,进行计数,获得人数N。
[0017] 根据本发明的另一方面,提供了一种热图生成装置,包括:视频图像获得单元,获得监控区视频图像;采样点确定单元,确定要进行采样的多个采样点;采样点人口密度确定单元,确定各采样点的人口密度;拟合单元,根据所获得的各采样点的人口密度,通过数据拟合,得到整个监控区域的人口密度。
[0018] 根据本发明的方法,可以减少数据的处理量,快速实时地获得人口分布信息。

附图说明

[0019] 图1示出了依据本发明的一种实施方式的热图生成方法的流程图。
[0020] 图2示出了依据本发明的一种实施方式的采样点人口密度确定步骤。
[0021] 图3示出了依据本发明的一种实施方式的采样面积确定方法的示意图。
[0022] 图4示出了依据本发明的一种实施方式的采样人数确定方法的示意性流程图。
[0023] 图5示出了依据一种实施方式所呈现的人口密度图。

具体实施方式

[0024] 图1示出了依据本发明的一种实施方式的热图生成方法的流程图。如图1所示,根据本发明的一种实施方式的热图生成方法包括:视频图像获得步骤101,获得监控区视频图像;采样点确定步骤102,确定要进行采样的多个采样点;采样点人口密度确定步骤103,确定各采样点的人口密度;拟合步骤104,根据所获得的各采样点的人口密度,通过数据拟合,得到整个监控区域的人口密度ρ(x,y)。优选地,还包括补充采样步骤105和/或采样密度调整步骤106,在补充采样步骤105,根据各采样点的人口密度,在人口密度高于预定阈值的采样点周围增加采样点;在采样密度调整步骤106,将拟合出的人口密度ρ(x,y)与实际的视频区域实测密度进行进行比较计算,给出置信度的计算结果,根据置信度的要求调整采样点的密度。下面更具体地进行说明。
[0025] 首先在图像获取步骤101获取监控区的视频图像,监控区视频图像可以由多个摄像头获得,也可以由一个摄像头获得。该视频图像可以由时间上具有先后顺序的多个帧构成。然后在步骤102确定采样点。可以均匀地在监控区内确定采样点,例如使这些采样点形成同心的多个圆,或者形成同心的多个正方形等。根据另一种实施方式,可以随机地确定采样点。另外也可以依据一定的函数或函数组确定采样点。
[0026] 然后,在步骤103确定采样点人口密度。图2示出了依据本发明的一种实施方式的采样点人口密度确定步骤103。如图2所示,采样点人口密度确定步骤103包括采样面积确定步骤201,确定以采样点为圆心的采样椭圆的面积;采样人数确定步骤202,确定所述采样椭圆内的人数;以及人口密度确定步骤203,根据所述采样椭圆的面积和所述采样椭圆内的人数,确定所述采样点的人口密度ρ(x,y)。
[0027] 图3示出了依据本发明的一种实施方式的步骤201的采样面积确定方法的示意图。如图3所示,安装在位置P的摄像机的安装高度为h,为已知量。该摄像机摄取了与采样椭圆对应的图像。设其相对于取样点的俯视角为β。σ为取样角度(空间圆锥角)为预定值,α为取样点方向角。
[0028] 因而,当确定了取样椭圆的圆心坐标(即采样点的坐标)xi、yj之后,可以根据公式xi=h.tanβ.cosα;yj=h.tanβ.sinα确定俯视角β;进而,可以根据公式a=h.[tanβ-tan(β-σ/2)];b=h*tan(σ/2)/cosβ,来确定采样椭圆的长半轴的长度a和短半轴长度b。因而可以根据以下公式计算采样椭圆的面积:
[0029] S(I,j)=πab=πh2*tan(σ/2)*[tanβ-tan(β-σ/2)]/cosβ
[0030] 然后在步骤202,确定该摄像机的采样区域内的人的数量。
[0031] 可以采用各种方法确定摄像机的采样区域内的人的数量,例如进行基于置信度的人头部轮廓判决方法,通过确定该区域内人头部轮廓的数量来获得该区域内人的数量。
[0032] 图4示出了依据本发明的一种实施方式的采样人数确定方法的示意性流程图。如图4所示,依据本发明的一种实施方式的采样人数确定步骤包括:
[0033] 背景图像获得步骤401,利用针对所述监控区域获得的多帧图像,对所述视频图像中与所述采样椭圆相对应的部分进行处理,得到与所述采样椭圆相对应的部分的当前的背景图像;可以采用基于直方图统计与多帧平均混合的背景提取算法对视频进行处理来获得背景图像。也可以根据预先输入的场景确定背景图像,或者预先输入制作好的背景图像,再根据采样点坐标,确定与采样椭圆对应的背景图像。
[0034] 视频帧图像获得步骤402,获得与所述采样椭圆相对应的当前的视频帧图像。
[0035] 目标图像获得步骤403,根据背景图像和当前视频帧图像,得到目标图像。在具体的实施方式中,可以通过进行边缘背景去除来获得目标图像。可以采用各种方法从当前视频帧中去除背景,从而获得目标图像。
[0036] 候选圆获得步骤404,对所述目标图像进行处理得到候选圆。
[0037] 头部轮廓获得步骤405,对候选圆进行基于置信度的头部轮廓判决,得到人的头部轮廓。
[0038] 计数步骤406,统计获得头部轮廓,获得所述采样椭圆内的人数。
[0039] 根据一种实施方式,得到候选圆的步骤如下:(1)将目标图像中的所有像素点映射到参数空间(a,b,r);(2)设置参数累加器数组A,A中的任意一个数组元素A(a,b,r)表示落在以(a,b)为圆心、以r为半径的圆上的像素点的个数;A(a,b,r)的初始值为0;A(a,b,r)值越大,表示以(a,b)为圆心、以r为半径的圆存在的可能性越大,所以需要寻找最大的A(a,b,r);(3)对于目标图像中的每个像素点(x,y),在r以一定步长连续取值时,用下式计算a、b的值:a=x-rcosθb=y-rsinθ其中,θ表示目标图像中每个像素点的梯度方向角,由于视频帧边缘图像中每个像素点的梯度方向角已知,因此θ已知;r∈(rmin,rmax),r以一定步长连续取值;每个(a,b)作为候选圆心点,每个(a,b,r)的组合作为一个候选圆;从而得到每个像素点对应的多个候选圆;(4)对于每一个待选圆心点(a,b),都建立一个半径直方图,其横坐标为半径r,取值为(rmin,rmax);纵坐标为当以待选圆心点(a,b)为圆心、以r为半径画圆时,落在该圆上的像素点的个数;(5)对每个半径直方图采用Laplacian形式的一维滤波器进行滤波,得到每个半径直方图对应的一个或多个峰值,即 的极值;(6)如果某个A(a,b,r)的极值满足下式,则认为该A(a,b,r)的极值对应的所有像素点构成一个圆,该圆作为更新后的候选圆;A(a,b,r)>ε其中,ε为更新阈值。针对各候选圆,可以分别计算弧长置信度μarc、分布置信度μdis和匹配误差置信度μmerr,并计算它们的平均值或加权平均值,该平均值或加权平均值达到阈值的即可认为该候选圆为人的头部。
[0040] 根据另一种实施方式,如下地确定图像的采样椭圆中人的数量:1)用区域生长算法对与采样椭圆对应的视频图像进行图像分割;取阀值A,比较相邻的单位面积区域的灰度平均值,若差值小于阀值A,则将区域合并,若差值不小于阀值,则不合并;2)选择半径为B个像素的圆形作为结构元素,若上述步骤1)获得的区域内没有半径为B个像素的圆,则该区域不存在头部;3)以圆形作为人体头部的几何形状,并计算区域的圆形度。根据一种实施方式,圆形度K=S/(R2*π),其中S为区域面积,R为重心到边缘的最大距离,若K大于预定阈值,则该区域为人头,进行计数,获得人数N。可以采用其他的办法计算圆形度,例如机械工业出版社2013-01-01出版的冯伟兴、贺波等著的《Visual C++数字图像模式识别技术详解(第2版)》中介绍的方法。
[0041] 回到图,2,接着在步骤203计算监控区域的人口平均密度ρ,ρ(x,y)=N/S,即采样点(x,y)处的平均人口密度。
[0042] 回到图1,在步骤104,通过数据拟合,得到整个监控区视场的人口分布密度函数ρ(x,y,t),t表示时间,从而可以获得随时间变化的热图。
[0043] 根据本发明的实施方式,参见步骤105,可以根据采样点的数据,进行补充采样。采样原则,密度高的点周围增加采样点密度;这样可以降低类似道路,池塘,草地,建筑等障碍物等对人口分布的影响。
[0044] 另外,根据本发明的实施方式,参见步骤106,可以采用事后分析法,将拟合的密度曲面ρ(x,y)与实际的视频区域实测密度进行进行计算,给出置信度的计算结果。并根据置信度的要求,调整采样点的密度,提高信息处理实时性。
[0045] 依据本发明的一种实施方式,还包括呈现步骤。图5示出了依据一种实施方式所呈现的人口密度图。通过拟合,将监控区域的人口密度以连续曲面的形式进行呈现,其中,不同的人口密度区域用不同的颜色呈现。
[0046] 该人口密度图可以直观地显示人口密度的变化和各地区的对比。依据ρ的大小与颜色对应起来进行呈现,可以更直观地体现各地区的人口密度的对比。
[0047] 根据本发明的实施方式,不必逐一地对人头进行计数,减少了计算量,提高了处理速度。本发明采用采样点椭圆的方式计算人口密度,提高了计算的准确度。