人流量统计方法、装置、电子设备和存储介质转让专利
申请号 : CN202111576327.X
文献号 : CN113963318B
文献日 : 2022-03-25
发明人 : 寇鸿斌 , 吴坚 , 朱海涛 , 付贤强 , 户磊
申请人 : 北京的卢深视科技有限公司 , 合肥的卢深视科技有限公司
摘要 :
权利要求 :
1.一种人流量统计方法,其特征在于,包括:每隔预设的时间间隔对目标位置进行拍摄,得到所述目标位置的图像;其中,所述图像包括深度图;
遍历所述深度图中各点的深度值,对所述图像进行人体轮廓检测,确定出所述图像中的各人体轮廓;
根据所述图像中的各人体轮廓,确定出所述图像中的总人数,并进行人流量统计;
其中,在所述确定出所述图像中的各人体轮廓之后,所述根据所述图像中的各人体轮廓,确定出所述图像中的总人数之前,包括:依次将所述各人体轮廓作为候选人体轮廓,确定所述候选人体轮廓内部各点的深度值的最小值;
保留所述最小值小于预设的深度值阈值的候选人体轮廓,所述预设的深度值阈值是根据所述预设的时间间隔确定的;
所述根据所述图像中的各人体轮廓,确定出所述图像中的总人数,包括:根据所述图像中保留的各人体轮廓,确定出所述图像中的总人数。
2.根据权利要求1所述的人流量统计方法,其特征在于,所述人体轮廓包括单人人体轮廓和多人重叠人体轮廓,所述根据所述图像中的各人体轮廓,确定出所述图像中的总人数,并进行人流量统计,包括:
统计所述图像中的所述单人人体轮廓的数量;
分别对所述图像中的各所述多人重叠人体轮廓进行重叠检测,确定各所述多人重叠人体轮廓中的人数;
根据所述单人人体轮廓的数量和各所述多人重叠人体轮廓中的人数,确定出所述图像中的总人数,并进行人流量统计。
3.根据权利要求2所述的人流量统计方法,其特征在于,所述分别对所述图像中的各所述多人重叠人体轮廓进行重叠检测,确定各所述多人重叠人体轮廓中的人数,包括:根据所述图像中的各所述多人重叠人体轮廓,对所述图像进行截取,得到各所述多人重叠人体轮廓对应的图;
分别将各所述多人重叠人体轮廓对应的图输入至预训练的重叠检测模型,确定各所述多人重叠人体轮廓中的人数。
4.根据权利要求3所述的人流量统计方法,其特征在于,所述预训练的重叠检测模型通过以下步骤进行训练:
获取重叠图像;其中,所述重叠图像中包括一组若干重叠的人体;
对所述重叠图像进行人体轮廓检测,将所述重叠图像的人体轮廓作为训练样本;
将所述重叠图像重叠的人体的数量,标注为所述训练样本的标签;
根据所述训练样本和所述标签,对所述重叠检测模型进行迭代训练。
5.根据权利要求1至权利要求4中任一项所述的人流量统计方法,其特征在于,所述图像还包括热成像图,所述遍历所述深度图中各点的深度值,对所述图像进行人体轮廓检测,确定出所述图像中的各人体轮廓,包括:根据所述深度图中各点的深度值和所述热成像图中各点的热量值,对所述图像进行人体轮廓检测,确定出所述图像中的各人体轮廓。
6.根据权利要求1至权利要求4中任一项所述的人流量统计方法,其特征在于,所述深度图包括若干不同角度拍摄的深度图;其中,所述不同角度至少包括主视角度、俯视角度和侧视角度。
7.一种人流量统计装置,其特征在于,包括:相机模块、检测模块和统计模块;
所述相机模块用于每隔预设的时间间隔对目标位置进行拍摄,得到所述目标位置的图像,其中,所述图像包括深度图;
所述检测模块用于遍历所述深度图中各点的深度值,对所述图像进行人体轮廓检测,确定出所述图像中的各人体轮廓;
所述统计模块用于根据所述图像中的各人体轮廓,确定出所述图像中的总人数,并进行人流量统计;
所述检测模块在所述确定出所述图像中的各人体轮廓之后,在所述根据所述图像中的各人体轮廓确定出所述图像中的总人数之前,还用于依次将所述各人体轮廓作为候选人体轮廓,确定所述候选人体轮廓内部各点的深度值的最小值,并保留所述最小值小于预设的深度值阈值的候选人体轮廓,其中,所述预设的深度值阈值是根据所述预设的时间间隔确定的;
所述统计模块在所述根据所述图像中的各人体轮廓,确定出所述图像中的总人数时,还用于根据所述图像中保留的各人体轮廓,确定出所述图像中的总人数。
8.一种电子设备,其特征在于,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至权利要求6中任一所述的人流量统计方法。
9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求6中任一项所述的人流量统计方法。
说明书 :
人流量统计方法、装置、电子设备和存储介质
技术领域
背景技术
活动、经营模式进行调整,对于客运站、火车站、机场等场所的工作人员来说,进行人流量统
计可以帮助工作人员对客运站、火车站、机场等场所进行扩建、分流、引流等操作,以便提高
服务质量。
彩色图像,对拍摄出的彩色图像进行人脸检测,即使用机器数人头的方式代替人工数人头
的方式来统计人流量,
技术应运而生,但其需要获取对象的运动跟踪数据(如公开号:CN113034544A),统计效率不
高。
发明内容
计的效率。
包括深度图;遍历所述深度图中各点的深度值,对所述图像进行人体轮廓检测,确定出所述
图像中的各人体轮廓;根据所述图像中的各人体轮廓,确定出所述图像中的总人数,并进行
人流量统计。
图像,其中,所述图像包括深度图;所述检测模块用于遍历所述深度图中各点的深度值,对
所述图像进行人体轮廓检测,确定出所述图像中的各人体轮廓;所述统计模块用于根据所
述图像中的各人体轮廓,确定出所述图像中的总人数,并进行人流量统计。
的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述人
流量统计方法。
标位置对应的深度图中各点的深度值,对该图像进行人体轮廓检测,确定出该图像中的各
人体轮廓,最后再根据图像中的各人体轮廓,确定出图像中的总人数,并进行人流量统计,
考虑到通过在指定位置设置摄像头拍摄彩色图像的方式来进行人流量的统计,容易泄露顾
客、旅客的隐私,而本申请的实施例,只需要基于目标位置的深度图进行人体轮廓检测,根
据检测出的人体轮廓,即可进行人流量统计,统计方不知道也不需要知道顾客、旅客的身份
信息,不法分子即便盗取相机拍摄出的深度图,也无法窃取到用户的个人隐私,即可以在不
侵犯、不泄露顾客、旅客的隐私前提下,准确地进行人流量统计,并提高人流量统计的效率。
的所述单人人体轮廓的数量;分别对所述图像中的各所述多人重叠人体轮廓进行重叠检
测,确定各所述多人重叠人体轮廓中的人数;根据所述单人人体轮廓的数量和各所述多人
重叠人体轮廓中的人数,确定出所述图像中的总人数,并进行人流量统计,考虑到在实际情
况下,顾客、旅客进入商场、景区等场所时,可能是多人手挽手、肩并肩或搂抱地进入的,体
现在深度图中,即多个人的人体轮廓会重合在一起,因此本申请先确定单人人体轮廓的数
量,再分别确定各多人重叠人体轮廓中的人数,从而确定图像中的总人数,可以进一步提升
人流量统计的准确性。
述图像进行截取,得到各所述多人重叠人体轮廓对应的图;分别将各所述多人重叠人体轮
廓对应的图输入至预训练的重叠检测模型,确定各所述多人重叠人体轮廓中的人数,通过
预训练的重叠检测模型来对各多人重叠人体轮廓对应的图进行重叠检测,可以快速地确定
出各多人重叠人体轮廓中的人数,从而进一步提升人流量统计的效率和速度。
叠图像的人体轮廓作为训练样本;将所述重叠图像重叠的人体的数量,标注为所述训练样
本的标签;根据所述训练样本和所述标签,对所述重叠检测模型进行迭代训练,可以迅速使
重叠检测模型获得确定多人重叠人体轮廓中的人数的能力。
廓,确定所述候选人体轮廓内部各点的深度值的最小值;保留所述最小值小于预设的深度
值阈值的候选人体轮廓;其中,所述预设的深度值阈值是根据所述预设的时间间隔确定的;
所述根据所述图像中的各人体轮廓,确定出所述图像中的总人数,包括:根据所述图像中保
留的各人体轮廓,确定出所述图像中的总人数,当候选人体轮廓内部各点的深度值的最小
值不小于预设的深度值阈值时,说明该顾客可能只是路过,不会进入商场,或该顾客在下一
次拍摄时才会走进商场,服务器舍弃深度值的最小值大于或等于预设的深度值阈值的候选
人体轮廓,可以防止错误统计和重复统计,进一步提升人流量统计的准确性。
度值和所述热成像图中各点的热量值,对所述图像进行人体轮廓检测,确定出所述图像中
的各人体轮廓,根据深度图和热成像图这两种图进行人体轮廓检测,即在人体轮廓检测的
过程中进行活体检测,防止将机器人、塑料模特也进行人流量统计,从而进一步提升人流量
统计的准确性。
廓检测的准确性,从而进一步提升人流量统计的准确性。
附图说明
具体实施方式
中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和
基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各
个实施例的划分是为了描述方便,不应对本申请的具体实现方式构成任何限定,各个实施
例在不矛盾的前提下可以相互结合相互引用。
明,下面对本实施例的人流量统计方法的实现细节进行具体的说明,以下内容仅为方便理
解提供的实现细节,并非实施本方案的必须。
在内的目标位置的图像,以进行人流量统计,即每隔预设的时间间隔进行一次人流量统计,
其中,预设的时间间隔可以由本领域的技术人员根据应用场景的实际情况进行设置,本申
请的实施例对此不做具体限定。
商场大门处的深度图,以进行人流量统计。
行人体轮廓检测,可以提升人体轮廓检测的准确性,从而进一步提升人流量统计的准确性。
廓检测的基础,服务器在得到目标位置的深度图后,可以目标位置的图像,根据深度图中各
点的深度值和目标位置对应的标准深度图,对图像进行人体轮廓检测,确定出图像中的各
人体轮廓。
廓,再检测该障碍物的轮廓是否为人体轮廓,从而确定出图像中包含的各人体轮廓。
量统计时,人流量增加n。
的时间间隔对目标位置进行拍摄,得到该目标位置对应的包括深度图在内的图像,再遍历
目标位置对应的深度图中各点的深度值,对该图像进行人体轮廓检测,确定出该图像中的
各人体轮廓,最后再根据图像中的各人体轮廓,确定出图像中的总人数,并进行人流量统
计,考虑到通过在指定位置设置摄像头拍摄彩色图像的方式来进行人流量的统计,容易泄
露顾客、旅客的隐私,而本申请的实施例,只需要基于目标位置的深度图进行人体轮廓检
测,根据检测出的人体轮廓,即可进行人流量统计,统计方不知道也不需要知道顾客、旅客
的身份信息,不法分子即便盗取相机拍摄出的深度图,也无法窃取到用户的个人隐私,即可
以在不侵犯、不泄露顾客、旅客的隐私前提下,准确地进行人流量统计,并提高人流量统计
的效率。
轮廓,确定出图像中的总人数,并进行人流量统计,可以通过如图2所示的各步骤实现,具体
包括:
人人体轮廓,并统计单人人体轮廓的数量。
重叠人体轮廓进行重叠检测,确定各多人重叠人体轮廓中的人数。
截取,得到各多人重叠人体轮廓对应的图,再分别将各多人重叠人体轮廓对应的图输入至
预训练的重叠检测模型,确定出各多人重叠人体轮廓中的人数。
中的人数为2,多人重叠人体轮廓乙中的人数为3,随即确定图像中的总人数为3+2+3=8人,
人流量增加8人。
像中的所述单人人体轮廓的数量;分别对所述图像中的各所述多人重叠人体轮廓进行重叠
检测,确定各所述多人重叠人体轮廓中的人数;根据所述单人人体轮廓的数量和各所述多
人重叠人体轮廓中的人数,确定出所述图像中的总人数,并进行人流量统计,考虑到在实际
情况下,顾客、旅客进入商场、景区等场所时,可能是多人手挽手、肩并肩或搂抱地进入的,
体现在深度图中,即多个人的人体轮廓会重合在一起,因此本申请先确定单人人体轮廓的
数量,再分别确定各多人重叠人体轮廓中的人数,从而确定图像中的总人数,可以进一步提
升人流量统计的准确性。
行截取,得到各多人重叠人体轮廓对应的图,再分别将各多人重叠人体轮廓对应的图输入
至预训练的重叠检测模型,确定出各多人重叠人体轮廓中的人数,预训练的重叠检测模型
可以由服务器通过如图5所示的各步骤进行训练,具体包括:
的人体轮廓检测算法对重叠图像进行人体轮廓检测,确定出重叠图像的人体轮廓,并将重
叠图像的人体轮廓作为训练样本,其中,预设的人体轮廓检测算法可以由本领域的技术人
员根据实际需要进行设置,本申请的实施例对此不做具体限定。
标注为训练样本的标签。
训练好的重叠检测模型。
重叠图像的人体轮廓作为训练样本;将所述重叠图像重叠的人体的数量,标注为所述训练
样本的标签;根据所述训练样本和所述标签,对所述重叠检测模型进行迭代训练,可以迅速
使重叠检测模型获得确定多人重叠人体轮廓中的人数的能力。
案的必须,本实施例中的人流量统计方法的流程图可以如图6所示,包括:
务器在确定出图像中的各人体轮廓后,可以依次将各人体轮廓作为候选人体轮廓,确定该
候选人体轮廓内部各点的深度值的最小值,并判断该最小值是否小于预设的深度值阈值,
若该最小值小于预设的深度值阈值,说明该人体轮廓对应的人会进入到目标应用场景内
部,应该纳入到人流量统计中,服务器保留该人体轮廓;若该最小值大于或等于预设的深度
值阈值,说明该人体轮廓对应的人可能只是路过,不应该纳入到人流量统计中,服务器不保
留该人体轮廓,其中,预设的深度值阈值可以由本领域的技术人员根据实际需要进行设置,
本申请的实施例对此不作具体限定。
仍会进入目标应用场景内部,因此服务器根据预设的时间间隔确定预设的深度值阈值,防
止出现漏统计的情况。
错误统计和重复统计,进一步提升人流量统计的准确性。
轮廓,确定所述候选人体轮廓内部各点的深度值的最小值;保留所述最小值小于预设的深
度值阈值的候选人体轮廓;其中,所述预设的深度值阈值是根据所述预设的时间间隔确定
的;所述根据所述图像中的各人体轮廓,确定出所述图像中的总人数,包括:根据所述图像
中保留的各人体轮廓,确定出所述图像中的总人数,当候选人体轮廓内部各点的深度值的
最小值不小于预设的深度值阈值时,说明该顾客可能只是路过,不会进入商场,或该顾客在
下一次拍摄时才会走进商场,服务器舍弃深度值的最小值大于或等于预设的深度值阈值的
候选人体轮廓,可以防止错误统计和重复统计,进一步提升人流量统计的准确性。
案的必须,本实施例中的人流量统计方法的流程图可以如图7所示,包括:
量统计中,因此服务器获取的目标位置的图像还包括目标位置的热成像图,确定人体轮廓
对应的是人还是机器人、塑料模特。
的深度值和所述热成像图中各点的热量值,对所述图像进行人体轮廓检测,确定出所述图
像中的各人体轮廓,根据深度图和热成像图这两种图进行人体轮廓检测,即在人体轮廓检
测的过程中进行活体检测,防止将机器人、塑料模特也进行人流量统计,从而进一步提升人
流量统计的准确性。
内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法
和流程的核心设计都在该专利的保护范围内。
案的必须,本实施例的人流量统计装置的示意图可以如图8所示,包括:相机模块601、检测
模块602和统计模块603。
的组合实现。此外,为了突出本申请的创新部分,本实施例中并没有将与解决本申请所提出
的技术问题关系不太密切的单元引入,但这并不表明本实施例中不存在其它的单元。
所述至少一个处理器701执行的指令,所述指令被所述至少一个处理器701执行,以使所述
至少一个处理器701能够执行上述各实施例中的人流量统计方法。
设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知
的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机
可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与
各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,
天线还接收数据并将数据传送给处理器。
使用的数据。
得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方
法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read‑Only
Memory ,简称:ROM)、随机存取存储器(Random Access Memory,简称:RAM)、磁碟或者光盘
等各种可以存储程序代码的介质。