会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利分类库 / 信号装置 / 基于多视角深度相机实现路况实时还原的路口监控方法

基于多视深度相机实现路况实时还原的路口监控方法

申请号 CN202311861438.4 申请日 2023-12-29 公开(公告)号 CN117812226A 公开(公告)日 2024-04-02
申请人 江苏航天大为科技股份有限公司; 发明人 宋子涵; 王胜; 景钟翔;
摘要 本 申请 公开了一种基于多视 角 深度相机 实现路况实时还原的路口监控方法,涉及交通技术领域,该方法通过安装在路口的多台深度相机分别获取路口的实时 视频流 ,利用目标检测模型进行目标检测实现特征识别触发,并利用 图像分割 算法 减少 三维重建 的计算量以及提高三维重建的 精度 ,从而可以基于彩色图像和深度数据构建实时三维重建模型,该方法减少了不必要的运算,提高了算法的时效性与准确性,使得可以实现路口的实时状况还原,且保证了算法能够长时间运行,该方法适用于多种不同的应用场景,克服了传统神经网络算法延展性差、应用场景狭隘等问题,能够根据需求简单快速地完成任务。
权利要求

1.一种基于多视深度相机实现路况实时还原的路口监控方法,其特征在于,所述路口监控方法包括:
通过安装在路口的多台深度相机分别获取路口的实时视频流,多台深度相机按照不同的视角拍摄所述路口,且多台深度相机的视场范围全覆盖所述路口,每台深度相机获取到的实时视频流包括实时彩色视频流和实时深度视频流;
利用基于YOLOv7的目标检测模型对每一台深度相机采集到的实时彩色视频流进行目标检测;
当在至少一台深度相机采集到的实时彩色视频流中检测到待监控事件对应的待识别目标时,提取每台深度相机从检测到待识别目标开始的预定时段内的各个采样时刻获取到的重建图像,每个重建图像帧包括彩色图像和深度数据;
对获取到的每个重建图像帧中的彩色图像进行图像分割确定所述重建图像帧的特征区域,利用每个重建图像帧的特征区域内的彩色图像和深度数据重建得到所述路口针对所述待监控事件的实时三维重建模型。
2.根据权利要求1所述的路口监控方法,其特征在于,所述重建得到所述路口针对所述待监控事件的实时三维重建模型包括对于各台深度相机在同一个采样时刻获取到的重建图像帧:
根据每台深度相机获取到的重建图像帧中的深度数据,将所述重建图像帧的特征区域内的彩色图像中的各个像素点转换为所述深度相机的相机三维坐标系中的三维点
根据每台深度相机在路口的安装位置确定所述深度相机的相机三维坐标系与路口坐标系之间的转换关系,根据每台深度相机的相机三维坐标系与路口坐标系之间的转换关系将所述深度相机的相机三维坐标系中的三维点云转换到路口坐标系中,重建得到当前采样时刻下的实时三维重建模型。
3.根据权利要求2所述的路口监控方法,其特征在于,确定每台深度相机获取到的重建图像帧的特征区域内的彩色图像中任一像素点转换得到的三维点云的三维坐标为其中,所述像素点在图像坐标系中的二维坐标为(x,y),所述像素点对应的深度数据为d,f是所述深度相机的焦距。
4.根据权利要求1所述的路口监控方法,其特征在于,所述目标检测模型在YOLOv7模型的特征提取中集成混合注意模块得到,每个混合注意力模块包括通道注意力模块和空间注意力模块,通道注意力模块对YOLOv7模型的特征提取块提取到的特征图F1进行通道维度的加权处理得到特征图F2,特征图F1和特征图F2相乘得到特征图F3并输入空间注意力模块进行空间上的加权处理得到特征图F4,特征图F3和特征图F4相乘得到加权特征图后输出。
5.根据权利要求4所述的路口监控方法,其特征在于,在所述通道注意力模块中,输入的特征图F1分别提供给全局最大池化层和全局平均池化层,全局最大池化层输出的特征图经过多层感知机后的特征图与全局平均池化层输出的特征图经过多层感知机后的特征图相加,最后通过Sigmoid激活函数生成特征图F2。
6.根据权利要求4所述的路口监控方法,其特征在于,在所述空间注意力模块中,输入的特征图F3分别提供给全局最大池化层和全局平均池化层,全局最大池化层输出的特征图与全局平均池化层输出的特征图在通道维度上进行拼接后,经过一个7×7的卷积层将通道数压缩到1,最后使用sigmoid激活函数生成特征图F4。
7.根据权利要求1所述的路口监控方法,其特征在于,所述路口监控方法还包括:
在重建得到所述路口针对所述待监控事件的实时三维重建模型后,当基于所述实时三维重建模型检测到所述待监控事件对应的异常情况时,输出报警信号提示所述异常情况。
8.根据权利要求1所述的路口监控方法,其特征在于,不同的待监控事件对应的待识别目标和异常情况均不同。
9.根据权利要求8所述的路口监控方法,其特征在于,
所述待检测事件为限高报警事件,对应的待识别目标为大型车辆,当基于所述实时三维重建模型检测到大型车辆的高度达到高度阈值时确定检测到所述待监控事件对应的异常情况;
或者,
所述待检测事件为非机动车无头盔报警事件,对应的待识别目标为非机动车辆,当基于所述实时三维重建模型检测到非机动车辆上的驾驶员不存在安全帽时确定检测到所述待监控事件对应的异常情况;
或者,
所述待检测事件为事故责任认定事件,对应的待识别目标为发生事故的车辆。
10.根据权利要求1所述的路口监控方法,其特征在于,所述对获取到的每个重建图像帧中的彩色图像进行图像分割确定所述重建图像帧的特征区域包括:
将重建图像帧中的彩色图像输入Solov2图像分割模型中得到实例掩码,所述实例掩码指示所述重建图像帧的特征区域。

说明书全文

基于多视深度相机实现路况实时还原的路口监控方法

技术领域

[0001] 本申请涉及交通技术领域,尤其是一种基于多视角深度相机实现路况实时还原的路口监控方法。

背景技术

[0002] 交通是现代社会中不可或缺的一部分,它对于人们的生活和经济发展都有着重要的作用。交通可以促进人们之间的交流和物资的流通,使得人们可以更加便捷地进行旅行、工作和生活。同时,交通也是经济发展的重要基础,它可以促进各地资源的合理配置和产业的发展。但是随着城市化进程的加快和人口增长,各种交通问题也日益突出,对城市交通路口等重点路段的实时交通状态进行监控是交通管理中必不可少的一部分,有利于提高通行效率和安全性。
[0003] 随着智慧交通的发展,目前已经不再满足于常见的基于二维图像的实时交通状态监控,而是更倾向于对实时交通状态进行三维实况还原以实现监控。目前主要采用基于数字孪生的全息路口交通管理方法来实现对实时交通状态的三维实况还原:首先将路口的物理结构、交通信号灯、车辆行驶轨迹等信息进行数字化建模,形成一个虚拟的数字孪生模型,然后通过传感器、摄像头等设备对路口的交通流量、车速、车辆类型等数据进行实时采集并与数字孪生模型进行融合实现三维实况还原,结合机器学习深度学习等技术还可以进一步对交通流量进行预测和分析从而得出当前路段的交通状况。
[0004] 但是现有的这种基于数字孪生的全息路口交通管理方法计算量大、处理缓慢、效率低下,无法做到实时处理且无法长时间工作,而且精度低,准确率也无法保证。发明内容
[0005] 本申请针对上述问题及技术需求,提出了一种基于多视角深度相机实现路况实时还原的路口监控方法,本申请的技术方案如下:
[0006] 一种基于多视角深度相机实现路况实时还原的路口监控方法,其特征在于,路口监控方法包括:
[0007] 通过安装在路口的多台深度相机分别获取路口的实时视频流,多台深度相机按照不同的视角拍摄路口,且多台深度相机的视场范围全覆盖路口,每台深度相机获取到的实时视频流包括实时彩色视频流和实时深度视频流;
[0008] 利用基于YOLOv7的目标检测模型对每一台深度相机采集到的实时彩色视频流进行目标检测;
[0009] 当在至少一台深度相机采集到的实时彩色视频流中检测到待监控事件对应的待识别目标时,提取每台深度相机从检测到待识别目标开始的预定时段内的各个采样时刻获取到的重建图像,每个重建图像帧包括彩色图像和深度数据;
[0010] 对获取到的每个重建图像帧中的彩色图像进行图像分割确定重建图像帧的特征区域,利用每个重建图像帧的特征区域内的彩色图像和深度数据重建得到路口针对待监控事件的实时三维重建模型。
[0011] 其进一步的技术方案为,重建得到路口针对待监控事件的实时三维重建模型包括对于各台深度相机在同一个采样时刻获取到的重建图像帧:
[0012] 根据每台深度相机获取到的重建图像帧中的深度数据,将重建图像帧的特征区域内的彩色图像中的各个像素点转换为深度相机的相机三维坐标系中的三维点
[0013] 根据每台深度相机在路口的安装位置确定深度相机的相机三维坐标系与路口坐标系之间的转换关系,根据每台深度相机的相机三维坐标系与路口坐标系之间的转换关系将深度相机的相机三维坐标系中的三维点云转换到路口坐标系中,重建得到当前采样时刻下的实时三维重建模型。
[0014] 其进一步的技术方案为,确定每台深度相机获取到的重建图像帧的特征区域内的彩色图像中任一像素点转换得到的三维点云的三维坐标为 其中,像素点在图像坐标系中的二维坐标为,像素点对应的深度数据为,是深度相机的焦距。
[0015] 其进一步的技术方案为,目标检测模型在YOLOv7模型的特征提取中集成混合注意模块得到,每个混合注意力模块包括通道注意力模块和空间注意力模块,通道注意力模块对YOLOv7模型的特征提取块提取到的特征图F1进行通道维度的加权处理得到特征图F2,特征图F1和特征图F2相乘得到特征图F3并输入空间注意力模块进行空间上的加权处理得到特征图F4,特征图F3和特征图F4相乘得到加权特征图后输出。
[0016] 其进一步的技术方案为,在通道注意力模块中,输入的特征图F1分别提供给全局最大池化层和全局平均池化层,全局最大池化层输出的特征图经过多层感知机后的特征图与全局平均池化层输出的特征图经过多层感知机后的特征图相加,最后通过Sigmoid激活函数生成特征图F2。
[0017] 其进一步的技术方案为,在空间注意力模块中,输入的特征图F3分别提供给全局最大池化层和全局平均池化层,全局最大池化层输出的特征图与全局平均池化层输出的特征图在通道维度上进行拼接后,经过一个7×7的卷积层将通道数压缩到1,最后使用sigmoid激活函数生成特征图F4。
[0018] 其进一步的技术方案为,路口监控方法还包括:
[0019] 在重建得到路口针对待监控事件的实时三维重建模型后,当基于实时三维重建模型检测到待监控事件对应的异常情况时,输出报警信号提示异常情况。
[0020] 其进一步的技术方案为,不同的待监控事件对应的待识别目标和异常情况均不同。
[0021] 其进一步的技术方案为,待检测事件为限高报警事件,对应的待识别目标为大型车辆,当基于实时三维重建模型检测到大型车辆的高度达到高度阈值时确定检测到待监控事件对应的异常情况;
[0022] 或者,
[0023] 待检测事件为非机动车无头盔报警事件,对应的待识别目标为非机动车辆,当基于实时三维重建模型检测到非机动车辆上的驾驶员不存在安全帽时确定检测到待监控事件对应的异常情况;
[0024] 或者,
[0025] 待检测事件为事故责任认定事件,对应的待识别目标为发生事故的车辆。
[0026] 其进一步的技术方案为,对获取到的每个重建图像帧中的彩色图像进行图像分割确定重建图像帧的特征区域包括:
[0027] 将重建图像帧中的彩色图像输入Solov2图像分割模型中得到实例掩码,实例掩码指示重建图像帧的特征区域。
[0028] 本申请的有益技术效果是:
[0029] 本申请公开了一种基于多视角深度相机实现路况实时还原的路口监控方法,该利用多视角深度相机三维重建还原路况的思想,利用引入注意力机制的目标检测模型进行目标检测实现特征识别触发,并利用图像分割算法减少三维重建的计算量以及提高三维重建的精度,从而减少了不必要的运算,提高了算法的时效性与准确性,使得可以实现路口的实时状况还原,且保证了算法能够长时间运行。且该方法适用于多种不同的应用场景,克服了传统神经网络算法延展性差、应用场景狭隘等问题,能够根据需求简单快速地完成任务。附图说明
[0030] 图1是本申请一个实施例的路口监控方法的方法流程图
[0031] 图2是一个实施例中的目标检测模型在YOLOv7网络中增加的混合注意力模块的结构图。
[0032] 图3是本申请将彩色图像中的像素点转换为相机三维坐标系中的三维点云的示意图。

具体实施方式

[0033] 下面结合附图对本申请的具体实施方式做进一步说明。
[0034] 本申请公开了一种基于多视角深度相机实现路况实时还原的路口监控方法,请参考图1所示的流程图,该路口监控方法包括如下步骤:
[0035] 步骤1,通过安装在路口的多台深度相机分别获取路口的实时视频流。
[0036] 多台深度相机按照不同的视角拍摄路口,且多台深度相机的视场范围全覆盖整个路口的所有区域,比如路口区域不大的话,可以通过两台深度相机斜对角线布置来实现,实际各台深度相机的布设位置根据实际需要来确定。
[0037] 每台深度相机获取到的实时视频流包括实时彩色视频流和实时深度视频流,且获取到的实时彩色视频流和实时深度视频流是对齐的。
[0038] 步骤2,利用基于YOLOv7的目标检测模型对每一台深度相机采集到的实时彩色视频流进行目标检测。
[0039] 在一个实施例中,为了优化目标检测模型的性能,该步骤使用的目标检测模型通过对YOLOv7网络优化得到,具体的,通过在YOLOv7模型的特征提取块中集成混合注意力模块得到,请参考图2所示的每个混合注意力模块的结构,每个混合注意力模块包括通道注意力模块和空间注意力模块,通道注意力模块对YOLOv7模型的特征提取块提取到的特征图F1进行通道维度的加权处理得到特征图F2,特征图F1和特征图F2相乘得到特征图F3并输入空间注意力模块进行空间上的加权处理得到特征图F4,特征图F3和特征图F4相乘得到加权特征图后输出。
[0040] 通道注意力模块主要对卷积层输出的通道进行加权处理,在通道注意力模块中,输入的特征图F1分别提供给全局最大池化层和全局平均池化层,全局最大池化层输出的特征图经过多层感知机后的特征图与全局平均池化层输出的特征图经过多层感知机后的特征图相加,最后通过Sigmoid激活函数生成特征图F2。多层感知机包含一个隐藏层,多层感知机通过学习这些权重来加权多层感知机的输出特征。通道注意力模块处理生成特征图F2的过程可以表示为 是全局最大池化层对输入的特征图F1处理后输出的特征图且尺寸为C×1×1, 是全局平均池化层对输入的特征图F1处理后输出的特征图且尺寸为C×1×1,以及分别是多层感知机的权重,是降维因子,是Sigmoid激活函数。
[0041] 空间注意力模块对卷积层的输出特征图进行加权,以帮助网络更好地关注目标区域和抑制不相关信息。在空间注意力模块中,输入的特征图F3分别提供给全局最大池化层和全局平均池化层,全局最大池化层输出的特征图与全局平均池化层输出的特征图在通道维度上进行拼接后,经过一个7×7的卷积层将通道数压缩到1,最后使用sigmoid激活函数生成特征图F4。空间注意力模块处理生成特征图F4的过程可以表示为是 是全局最大池化层对输入的特征图F3处理后输出
的特征图, 是全局平均池化层对输入的特征图F3处理后输出的特征图,是对特征图 和特征图 在通道维度上进行拼接后得到的特征
图,表示7×7的卷积层,是Sigmoid激活函数。
[0042] 混合注意力模块能够自适应地完善每个特征提取块的特征图,以便神经网络更加关注包含重要信息的目标区域,同时抑制不相关信息,提高目标检测的整体精度,从而可以加强特征信息以提高检测准确度的结构,满足只想获取重要部分的信息,同时将其他部分的信息进行忽略,从而可以优化目标检测模型的性能。实际可以在YOLOv7网络中各个特征提取块中集成混合注意力模块,以便自适应地学习图像中不同区域的重要性,进而提高目标检测模型的分类精度和泛化能力。
[0043] 经过实测,该目标检测模型与目前主流的其他模型在相同的数据集下对同样是640*640尺寸的图像进行目标检测,模型性能的对比结果如下表:
[0044]
[0045]
[0046] 从上述对比看出,在数据集尺寸相同的情况下,本申请改进后的目标检测模型相比于现有的主流目标检测模型具有更高的检测精度,且检测速度的表现也为优秀,说明本申请的目标检测模型具有较为突出的检测优势。
[0047] 步骤3,当在至少一台深度相机采集到的实时彩色视频流中检测到待监控事件对应的待识别目标时,提取每台深度相机从检测到待识别目标开始的预定时段内的各个采样时刻获取到的重建图像帧,每个重建图像帧包括彩色图像和深度数据。
[0048] 每种待监控事件对应的待识别目标是预先确定的,且不同的待监控事件对应的待识别目标往往不同。本申请的路口监控方法适用的待监控事件典型的包括三种:
[0049] (1)待检测事件为限高报警事件,对应的待识别目标为大型车辆。
[0050] (2)待检测事件为非机动车无头盔报警事件,对应的待识别目标为非机动车辆。
[0051] (3)待检测事件为事故责任认定事件,对应的待识别目标为发生事故的车辆。
[0052] 步骤4,对获取到的每个重建图像帧中的彩色图像进行图像分割确定重建图像帧的特征区域。
[0053] 由于对整个路口进行三维重建时,三维点的计算量非常庞大,耗时较长,无法得到实时效果,而且这实际上也是不必要的,会存在过多的冗余数据。因此为了提高效率与准确率,也方便后续的一系列处理,本申请首先进行图像分割提取重点的特征区域。特征区域一般是待识别目标所在的预定范围的区域,可以自定义预先设置。
[0054] 在一个实施例中,将重建图像帧中的彩色图像输入Solov2图像分割模型中得到实例掩码,实例掩码指示重建图像帧的特征区域,通过该实例掩码即可提取出特征区域内的彩色图像和深度数据。
[0055] 步骤5,利用每个重建图像帧的特征区域内的彩色图像和深度数据重建得到路口针对待监控事件的实时三维重建模型。
[0056] 路口的每台深度相机在每个采样时刻都会获取到对应视角下的重建图像帧,该步骤会将各台深度相机在同一个采样时刻获取到的重建图像帧融合重建得到该采样时刻的实时三维重建模型,同理可以得到各个采样时刻的实时三维重建模型。
[0057] 对于任意一个采样时刻得到实时三维重建模型的方法包括:
[0058] (1)根据每台深度相机获取到的重建图像帧中的深度数据,将该深度相机获取到的重建图像帧的特征区域内的彩色图像中的各个像素点转换为该深度相机的相机三维坐标系中的三维点云。
[0059] 请参考图3所示的示意图,每台深度相机以安装位置O为原点建立有该深度相机的相机三维坐标系,相机三维坐标系以该深度相机的靶面所在平面为XY平面、垂直于靶面向外为X轴正方向,X轴方向和Y轴方向根据所需建立。该深度相机获取到的彩色图像所在的图像坐标系以该深度相机的焦点F为原点,图像坐标系的x轴与相机三维坐标系的X轴同向,图像坐标系的y轴与相机三维坐标系的Y轴同向。
[0060] 因此基于这种成像原理,即可确定每台深度相机获取到的重建图像帧的特征区域内的彩色图像中任一像素点m转换得到的三维点云M的三维坐标为 其中,像素点在图像坐标系中的二维坐标为,像素点对应的深度数据为,是深度相机的焦距。
[0061] (2)上述步骤(1)得到了每台深度相机的相机三维坐标系中的三维点云,而由于路口有多台不同视角的深度相机,因此需要对多台深度相机的相机三维坐标系中的三维点云进行融合。
[0062] 首先根据每台深度相机在路口的安装位置确定深度相机的相机三维坐标系与路口坐标系之间的转换关系,根据每台深度相机的相机三维坐标系与路口坐标系之间的转换关系即可将该深度相机的相机三维坐标系中的三维点云转换到路口坐标系中。然后执行一些去重以及异常点剔除等操作,即可由路口坐标系中的三维点云重建得到当前采样时刻下的实时三维重建模型。
[0063] 构建得到路口针对待监控事件的实时三维重建模型后,即可基于实时三维重建模型实现三维视角下的路口监控,除了人工监控之外,还包括自动监控的方法:在重建得到路口针对待监控事件的实时三维重建模型后,当基于实时三维重建模型检测到待监控事件对应的异常情况时,输出报警信号提示异常情况。同样的,每个待监控事件对应的异常情况是预先设定的,且不同的待监控事件对应的异常情况不同。
[0064] 对应上述三种待检测事件,限高报警事件和非机动车无头盔报警事件都存在异常情况提示的情况,而事故责任认定事件一般不存在。
[0065] (1)待检测事件为限高报警事件时,当基于实时三维重建模型检测到大型车辆的高度达到高度阈值时确定检测到待监控事件对应的异常情况;
[0066] (2)待检测事件为非机动车无头盔报警事件时,当基于实时三维重建模型检测到非机动车辆上的驾驶员不存在安全帽时确定检测到待监控事件对应的异常情况,安全帽的检测也是利用上述的目标检测模型来完成。
[0067] 以上所述的仅是本申请的优选实施方式,本申请不限于以上实施例。可以理解,本领域技术人员在不脱离本申请的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本申请的保护范围之内。