一种车载客流统计方法、装置及存储介质转让专利
申请号 : CN202110298119.1
文献号 : CN113052058B
文献日 : 2022-04-19
发明人 : 纪向阳
申请人 : 深圳市点创科技有限公司
摘要 :
权利要求 :
1.一种车载客流统计方法,其特征在于,所述车载客流统计方法包括:图像获取步骤:当车辆停止运行并当车门开启时,通过摄像设备实时获取每一帧视频图像;所述摄像设备安装于车辆的车门区域的正上方;
位置获取步骤:对每一帧视频图像进行目标识别处理得出每一帧视频图像中每个人头在每一帧视频图像中的位置信息;
设定步骤:按照每一帧视频图像获取的先后顺序依次取一帧视频图像并记为当前帧视频图像;
判断步骤:判断当前帧视频图像是否为第一帧,若是,则执行初始化步骤;若否,则执行预测步骤:
初始化步骤:获取第一帧视频图像中的每个人头在第一帧视频图像中的位置信息,并为每个人头进行编号以及根据第一帧视频图像中的每个人头在第一帧视频图像中的位置信息得出每个人头的初始位置,然后执行设定步骤;
预测步骤:获取前一帧视频图像中的每个人头在前一帧视频图像中的位置信息,并根据前一帧视频图像的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像的每个人头在当前帧视频图像中的位置信息,执行对比步骤;
对比步骤:获取当前帧视频图像中的每个人头在当前帧视频图像中的位置信息,并将其与前一帧视频图像中的每个人头在当前帧视频图像中的位置信息进行对比得出第一子集、第二子集和第三子集;其中,第一子集包括存在于前一帧视频图像但不存在当前帧视频图像的人头及其在前一帧视频图像中的位置信息;第二子集包括存在于前一帧视频图像且存在于当前帧视频图像的人头及其在前一帧视频图像中的位置信息、在当前帧视频图像中的位置信息;第三子集包括不存在于前一帧视频图像但存在于当前帧视频图像的人头的位置信息及其在当前帧视频图像中的位置信息;然后执行第一统计步骤;
第一统计步骤:获取第三子集中的每个人头并进行编号,以及根据第三子集中的每个人头在当前帧视频图像中的位置信息得出第三子集中的每个人头的初始位置并存储系统中;获取第二子集中的每个人头在前一帧视频图像中的位置信息、以及在当前帧视频图像中的位置信息得出第二子集中每个人头的中间位置,并按照第二子集中的每个人头的编号将第二子集中的每个人头的中间位置存储于系统中;获取第一子集中的每个人头,以及根据第一子集中的每个人头的编号从系统中得出每个人头的初始位置、中间位置,并根据第一子集中的每个人头初始位置、中间位置得出对应移动轨迹,然后根据第一子集中的每个人头的移动轨迹统计上车乘客和下车乘客以及更新系统中的上车乘客数量和下车乘客数量;然后执行设定步骤;直到所有的视频图像均判断完毕,根据系统中的上车乘客数量和下车乘客数量得出车载客流量。
2.根据权利要求1所述的一种车载客流统计方法,其特征在于,所述图像获取步骤还包括:对获取到的每一帧视频图像进行预处理;所述预处理包括尺寸缩放和归一化处理。
3.根据权利要求1所述的一种车载客流统计方法,其特征在于,还包括:第二统计步骤:当车门关闭时,获取车门区域的人并将其判断为上车人员,并更新系统中的上车乘客数量。
4.根据权利要求1所述的一种车载客流统计方法,其特征在于,所述位置获取步骤包括:采用目标检测神经网络对每一帧视频图像进行目标识别处理;所述目标检测神经网络为以下任意一种:SSD神经网络、RCNN神经网络、FASTER‑RCNN神经网络以及YOLO神经网络。
5.根据权利要求1所述的一种车载客流统计方法,其特征在于,每个人头在视频图像中的位置信息为每个人头在视频图像中所占的区域的位置信息。
6.根据权利要求5所述的一种车载客流统计方法,其特征在于,每个人头在视频图像中所占的区域为方形区域;每个人头在视频图像中的位置信息包括每个人头在视频图像中所占的方形区域的左上角坐标和右下角坐标;其中,左上角坐标为方形区域的左上角在视频图像中的像素坐标、右下角坐标为方形区域的右下角在视频图像中的像素坐标。
7.根据权利要求1所述的一种车载客流统计方法,其特征在于,所述预测步骤还包括:采用卡尔曼滤波算法根据前一帧视频图像中的每个人头在前一帧视频图像中的位置信息进行预测得出前一帧视频图像的每个人头在当前帧视频图像中的位置信息。
8.根据权利要求1所述的一种车载客流统计方法,其特征在于,所述对比步骤包括:首先根据前一帧视频图像中的每个人头在当前帧视频图像中的位置信息与当前帧视频图像中的每个人头在当前帧视频图像中的位置信息计算得出IOU矩阵,然后根据匈牙利匹配算法求解得出IOU矩阵的最优解,进而得出第一子集、第二子集和第三子集。
9.一种车载客流统计装置,包括存储器和处理器,所述存储器上存储有可在处理器上运行的车载客流统计程序,所述车载客流统计程序为计算机程序,其特征在于:所述处理器执行所述车载客流统计程序时实现如权利要求1‑8中任一项所述的一种车载客流统计方法的步骤。
10.一种存储介质,所述存储介质为计算机可读存储介质,其上存储有车载客流统计程序,所述车载客流统计程序为计算机程序,其特征在于:所述车载客流统计程序被处理器执行时实现如权利要求1‑8中任一项所述的一种车载客流统计方法的步骤。
说明书 :
一种车载客流统计方法、装置及存储介质
技术领域
背景技术
场所内还是场所外;然后采用目标检测技术检测视频图像中的目标,并结合跟踪算法对目
标进行跟踪,通过判断目标的轨迹与分界线的关系,来判断人流是进入场所或离开场所。该
方法需要通过标定指定分界线,才能进行统计。相对于商场、菜场来说,公交车的数量巨大,
因此,分界线的设置难以设定;另外,上述的目标各种过程一般采用粒子滤波等跟踪算法,
特征一般基于颜色,比较适合于商场等场所,而对于车载环境由于光影的变化大,很容易失
效,导致统计不准确。
发明内容
位置信息得出每个人头的初始位置,然后执行设定步骤;
视频图像的每个人头在当前帧视频图像中的位置信息,执行对比步骤;
一子集、第二子集和第三子集;其中,第一子集包括存在于前一帧视频图像但不存在当前帧
视频图像的人头及其在前一帧视频图像中的位置信息;第二子集包括存在于前一帧视频图
像且存在于当前帧视频图像的人头及其在前一帧视频图像中的位置信息、在当前帧视频图
像中的位置信息;第三子集包括不存在于前一帧视频图像但存在于当前帧视频图像的人头
的位置信息及其在当前帧视频图像中的位置信息;然后执行第一统计步骤;
系统中;获取第二子集中的每个人头在前一帧视频图像中的位置信息、以及在当前帧视频
图像中的位置信息得出第二子集中每个人头的中间位置,并按照第二子集中的每个人头的
编号将第二子集中的每个人头的中间位置存储于系统中;获取第一子集中的每个人头,以
及根据第一子集中的每个人头的编号从系统中得出每个人头的初始位置、中间位置,并根
据第一子集中的每个人头初始位置、中间位置得出对应移动轨迹,然后根据第一子集中的
每个人头的移动轨迹统计上车乘客和下车乘客以及更新系统中的上车乘客数量和下车乘
客数量;然后执行设定步骤;直到所有的视频图像均判断完毕,根据系统中的上车乘客数量
和下车乘客数量得出车载客流量。
FASTER‑RCNN神经网络以及YOLO神经网络。
中,左上角坐标为方形区域的左上角在视频图像中的像素坐标、右下角坐标为方形区域的
右下角在视频图像中的像素坐标。
前帧视频图像中的位置信息。
计算得出IOU矩阵,然后根据匈牙利匹配算法求解得出IOU矩阵的最优解,进而得出第一子
集、第二子集和第三子集。
车载客流统计程序时实现如本发明的目之一采用的一种车载客流统计方法的步骤。
如本发明的目的之一采用的一种车载客流统计方法的步骤。
在车门开启过程中的上车乘客和下车乘客,从而可实现车载客流的统计。本发明无需标定
任何的分界线即可实现车载客流统计,具有统计精确等特点。
附图说明
具体实施方式
例。
域,本实施例通过将摄像设备安装于车辆的车门区域的正上方,通过对摄像设备所拍摄的
图像进行分析对上车的人数以及下车的人数进行统计,进而实现车载人流的统计。
地,可通过在车辆上装置相应的微处理器和存储器,通过微处理器与摄像设备连接,来获取
摄像设备发送的每一帧视频图像并存储存储器中,以便后续对每一帧视频图像进行分析。
320pixel*320pixel,并除以255进行归一化。
RCNN神经网络以及YOLO系列神经网络。通过上述用于目标检测的神经网络来实现对视频图
像进行目标识别处理,以实现目标检测。优选地,本实施例中的每个人头在视频图像中的位
置信息是指每个人头在视频图像中所占的区域的位置信息。本实施例中通过每个人头在视
频图像中所占的区域表示一个人头的位置。具体地,每个人头在对应视频图像中所占的区
域采用方形区域表示,如图1所示,视频图像中每个方形区域均表示一个人头在视频图像中
所占的区域。其中,每个人头的位置信息包括方形区域的左上角坐标和右下角坐标。左上角
坐标、右下角坐标均为值左上角、右下角在视频图像中的像素坐标值。
执行步骤S5。
的人头进行编号并将第一帧视频图像中的每个人头在第一帧视频图像中的位置信息记为
该人头的初始位置,以便后续对该人头的位置进行追踪,判断该人头对应的人为上车还是
下车。
频图像中的位置信息。
其进行预测得出前一帧视频图像中每个人头在当前帧视频图像中的位置信息。
中第i个人头在前一帧视频图像中的位置信息。具体地,当每个人头在一帧视频图像中所在
的区域为方形区域时,则前一帧视频图像中的第i个人头在前一帧视频图像中的位置信息
di表示为:di=(x1,y1,x2,y2)。其中,x1、y1,x2、y2分别为前一帧视频图像中的第i个人头在
前一帧视频图像中所占的方形区域的左上角坐标、右下角的坐标。
指前一帧视频图像中每个人头在当前帧视频图像中的位置信息的集合。dpi表示前一帧视
频图像中的第i个人头在当前帧视频图像中的位置信息。
上车还是下车,进而实现对乘客的数量统计。
视频图像中的每个人头在当前帧视频图像的位置信息进行对比得出第一子集、第二子集和
第三子集,执行步骤S81、步骤S82以及步骤S83。
可能不同。
频图像中的位置信息。其中,m与n可以相同,也可以不同。
在摄像设备的拍摄范围内,也即,第一子集中的人头是指消失的人头。
可能正处于上车或下车的过程中,也即正处于摄像设备拍摄的范围内的人头。
过采用卡尔曼滤波算法来实现。
算法进行。
IOU矩阵,然后根据匈牙利匹配算法求解IOU矩阵的最优解,进而得出第一子集、第二子集和
第三子集。
即,第三子集中的人头为新出现的人头,对新出现的人头进行编号并存储初始位置。
个人头的编号将每个人头的中间位置存储于系统中。
置。这里的中间位置是相对于第三子集中的人头的初始位置而言。
间位置得出第一子集中的每个人头的移动轨迹,然后根据第一子集中的每个人头的移动轨
迹统计上车乘客和下车乘客,并更新系统中的上车乘客数量和下车乘客数量。
就可以确定每个人头的移动轨迹,也即移动方向。根据每个人头所在的视频图像的先后顺
序可判断得出每个人头移动的轨迹或方向,这样可判断得出乘客为上车还是下车。由于摄
像设备安装于车门的正上方,因此,本实施例中认为当乘客的移动方向从上至下(也即在视
频图像中的移动轨迹的中的多个位置从视频图像的上方变化到下方时,认为乘客的移动方
向为从上至下),则认为乘客为上车;反之同理,当乘客的移动方向为从下至上,则认为乘客
为下车。
据每个人头的初始位置、中间位置来判断得出每个人头在视频图像中的移动轨迹,进而可
判断该人头对应的人是上车还是下车,进而统计得出上车乘客和下车乘客并对系统中存储
的数量进行更新。
当车门关闭后,在该区域的人均认为上车人员。
器12、通信总线13、网络接口14以及存储器11。
在一些实施例中可以是车载客流统计装置的内部存储单元,例如该车载客流统计装置的硬
盘。存储器11在另一些实施例中也可以是车载客流统计装置的外部存储设备,例如车载客
流统计装置上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure
Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括车载客流统计
装置的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于车载客流统
计装置的应用软件及各类数据,例如车载客流统计程序的代码等,还可以用于暂时地存储
已经输出或者将要输出的数据。
代码或处理数据,例如执行车载客流统计程序等。
无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显
示器以及OLED(Organic Light‑Emitting Diode,有机发光二极管)触摸器等。其中,显示器
也可以适当的称为显示屏或显示单元,用于显示在车载客流统计装置中处理的信息以及用
于显示可视化的用户界面。
图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
位置信息得出每个人头的初始位置,然后执行设定步骤;
视频图像的每个人头在当前帧视频图像中的位置信息,执行对比步骤;
一子集、第二子集和第三子集;其中,第一子集包括存在于前一帧视频图像但不存在当前帧
视频图像的人头及其在前一帧视频图像中的位置信息;第二子集包括存在于前一帧视频图
像且存在于当前帧视频图像的人头及其在前一帧视频图像中的位置信息、在当前帧视频图
像中的位置信息;第三子集包括不存在于前一帧视频图像但存在于当前帧视频图像的人头
的位置信息及其在当前帧视频图像中的位置信息;然后执行第一统计步骤;
系统中;获取第二子集中的每个人头在前一帧视频图像中的位置信息、以及在当前帧视频
图像中的位置信息得出第二子集中每个人头的中间位置,并按照第二子集中的每个人头的
编号将第二子集中的每个人头的中间位置存储于系统中;获取第一子集中的每个人头,以
及根据第一子集中的每个人头的编号从系统中得出每个人头的初始位置、中间位置,并根
据第一子集中的每个人头初始位置、中间位置得出对应移动轨迹,然后根据第一子集中的
每个人头的移动轨迹统计上车乘客和下车乘客以及更新系统中的上车乘客数量和下车乘
客数量;然后执行设定步骤;直到所有的视频图像均判断完毕,根据系统中的上车乘客数量
和下车乘客数量得出车载客流量。
FASTER‑RCNN神经网络以及YOLO神经网络。
中,左上角坐标为方形区域的左上角在视频图像中的像素坐标、右下角坐标为方形区域的
右下角在视频图像中的像素坐标。
前帧视频图像中的位置信息。
计算得出IOU矩阵,然后根据匈牙利匹配算法求解得出IOU矩阵的最优解,进而得出第一子
集、第二子集和第三子集。
以下步骤:
位置信息得出每个人头的初始位置,然后执行设定步骤;
视频图像的每个人头在当前帧视频图像中的位置信息,执行对比步骤;
一子集、第二子集和第三子集;其中,第一子集包括存在于前一帧视频图像但不存在当前帧
视频图像的人头及其在前一帧视频图像中的位置信息;第二子集包括存在于前一帧视频图
像且存在于当前帧视频图像的人头及其在前一帧视频图像中的位置信息、在当前帧视频图
像中的位置信息;第三子集包括不存在于前一帧视频图像但存在于当前帧视频图像的人头
的位置信息及其在当前帧视频图像中的位置信息;然后执行第一统计步骤;
系统中;获取第二子集中的每个人头在前一帧视频图像中的位置信息、以及在当前帧视频
图像中的位置信息得出第二子集中每个人头的中间位置,并按照第二子集中的每个人头的
编号将第二子集中的每个人头的中间位置存储于系统中;获取第一子集中的每个人头,以
及根据第一子集中的每个人头的编号从系统中得出每个人头的初始位置、中间位置,并根
据第一子集中的每个人头初始位置、中间位置得出对应移动轨迹,然后根据第一子集中的
每个人头的移动轨迹统计上车乘客和下车乘客以及更新系统中的上车乘客数量和下车乘
客数量;然后执行设定步骤;直到所有的视频图像均判断完毕,根据系统中的上车乘客数量
和下车乘客数量得出车载客流量。
FASTER‑RCNN神经网络以及YOLO神经网络。
中,左上角坐标为方形区域的左上角在视频图像中的像素坐标、右下角坐标为方形区域的
右下角在视频图像中的像素坐标。
前帧视频图像中的位置信息。
计算得出IOU矩阵,然后根据匈牙利匹配算法求解得出IOU矩阵的最优解,进而得出第一子
集、第二子集和第三子集。
要求保护的范围。