一种公路交通动态三维数字场景采集构建系统及其工作方法转让专利

申请号 : CN201811125743.6

文献号 : CN109547769B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王汉熙胡佳文张进易茂祥肖攀郑晓钧严瑾怡

申请人 : 武汉理工大学

摘要 :

本发明涉及智能交通领域,提供一种公路交通动态三维数字场景采集构建系统及其工作方法,该系统包括动态三维环境信息采集单元、公路传感器信息采集单元和无人飞艇集群;所述动态三维环境信息采集单元包括基于虚拟复眼的数据采集系统、任务分配系统和定位系统;所述公路传感器信息采集单元包含感应线圈、微波、视频、超声波、红外等固定型传感器,又包含低空监控飞艇上安装的半球形麦克风阵列。本发明可以快速构建重点区域的三维场景,灵活部署和调用各类公路传感器,在统一的参考时间和空间下,融合交通状态信息和环境信息,并以具有时空属性的数据模型储存,系统可以根据数据处理结果和任务需求,进行动态调整,扩大和移动监视区域。

权利要求 :

1.一种公路交通动态三维数字场景采集构建系统,其特征是:包括动态三维环境信息采集单元、公路传感器信息采集单元和无人飞艇集群;所述动态三维环境信息采集单元包括数据采集系统、任务分配系统和定位系统,所述数据采集系统用于采集特定位置和特定角度的图片,并将采集到的数据通过无线的方式传回,用于重构三维模型,数据采集系统由面向目标体的所有复眼相机协同组成,将面向目标体的所有复眼相机虚拟为一个完整的复眼,称之为虚拟复眼,每个复眼相机拥有多个镜头,一个单独的镜头称之为子眼;所有镜头按照统一时钟的规定实施数据采集,获得具有时空一致性的数据;

所述任务分配系统用于根据被重构实体的大小、形状、拍摄空间的限制、重构模型的精度参数,计算每个复眼相机的拍摄位置、姿态和参数,并将这些数据传输给复眼相机,该任务分配系统内置统一时钟发布和校准子模块,每隔一段时间向复眼相机发送时间校准命令,进行时钟校准;

所述定位系统负责确定飞艇所处的空间位置,根据工作环境选择不同的定位方法,当卫星信号良好时通过GPS进行定位,当卫星定位系统被干扰欺骗时通过无线定位系统定位;

所述公路传感器信息采集单元用于收集交通状态多个参数,传感器包括固定型传感器以及低空监控飞艇上安装的半球形麦克风阵列,当区域内固定型传感器数量不足时,低空监控飞艇移动至空白区域进行补充;

所述无人飞艇集群为动态三维环境信息采集单元、公路传感器信息采集单元的载体,按照任务属性分为侦查飞艇集群、定位飞艇集群、数据采集飞艇集群和低空监控飞艇;

侦查飞艇集群用于快速搜集场景的面积、边界信息;定位飞艇集群用于定位和实时监测飞艇集群中各个飞艇空间位置;数据采集飞艇集群用于目标区域三维场景数据的采集;

低空监控飞艇用于监控目标区域。

2.根据权利要求1所述的公路交通动态三维数字场景采集构建系统,其特征是:所述复眼相机是一种拥有多个镜头可同时成像的图像采集设备,用于采集图片数据,1个复眼相机包含13个子眼相机,其中,水平布置6个,水平向下30°布置6个,竖直向下布置1个。

3.根据权利要求1所述的公路交通动态三维数字场景采集构建系统,其特征是:所述半球形麦克风阵列包含4层共20个麦克风,20个麦克风的拾音器部分组成一个半径150mm的半球面。

4.根据权利要求1所述的公路交通动态三维数字场景采集构建系统,其特征是:所述复眼相机和所述半球形麦克风阵列组合成一个整体,通过云台与无人飞艇相连。

5.根据权利要求1所述的公路交通动态三维数字场景采集构建系统,其特征是:所述无线定位系统包括路网匹配定位系统和超宽带无线定位系统。

6.根据权利要求5所述的公路交通动态三维数字场景采集构建系统,其特征是:所述路网匹配定位系统是在景象匹配原理的基础上,利用复眼相机实时提取道路的边缘轮廓信息,与已有的基于WGS84大地坐标系的二维路网电子地图匹配,从而推导出复眼相机所处的空间位置,所述路网匹配定位系统包括复眼相机、陀螺仪、激光测距仪,复眼相机安装在4艘定位飞艇上,陀螺仪和激光测距仪安装在复眼相机上。

7.根据权利要求5所述的公路交通动态三维数字场景采集构建系统,其特征是:所述超宽带无线定位系统由基站模块和标签模块组成,所述基站模块安装在已确定XYZ三维坐标的4艘无人定位飞艇上,所述标签模块安装在其他飞艇上,该无线定位系统利用DWM1000和STM32芯片搭建基站模块和标签模块,通过双向测距定位技术和三边测距算法确定标签模块与基站模块的空间相对位置,即定位飞艇与其他飞艇的相对位置。

8.一种如权利要求1所述的公路交通动态三维数字场景采集构建系统的工作方法,其特征是该方法包括以下步骤:(1)利用虚拟复眼进行动态三维环境信息采集,利用倾斜建模方法构建目标区域内交通三维地图,与静态交通信息数据库提供的二维电子地图进行路网特征拟合,建立统一的时空坐标系;具体包括以下步骤:(1-1)侦查飞艇携带复眼相机进入目标区域,快速围绕拍摄区域进行预拍摄,控制复眼相机记录限制空间边界点,并回传初始数据给任务分配系统;

(1-2)通过任务分配系统对预拍摄数据进行预处理,通过双目视觉技术,计算出边角点的三维坐标,用边角点来确定及表示被重构区域;

(1-3)设置复眼相机的拍摄参数与参与拍摄的复眼相机数量;按照分辨率要求,规划每个镜头的有效采集面积,将镜头有效采集面积规定为子眼采集面积,虚拟复眼的所有子眼采集面积组成一个网格系统,一个子眼对应一个网格,用于实时更新本网格区域的内容;

(1-4)通过任务分配系统进行任务规划与优化;

(1-5)按照任务分配结果,4艘定位飞艇进入在目标区域,进行路网匹配定位,确定各自的空间位置,同时启动超宽带无线定位系统,确定新进入目标区域飞艇的相对位置,进行空间位姿标定、地理位置标定、统一时钟标定;当卫星定位系统工作环境良好时,使用卫星定位系统进行定位;

(1-6)实施拍摄,各个复眼相机在统一时钟下的同一时刻拍摄,此时数据满足时空一致性,回传拍摄数据,由计算机系统自动重构同一时刻下的三维数字场景,虚拟复眼按动态场景帧率要求每隔1/帧率秒拍摄,实现实时刷新的动态拍摄;

(1-7)拍摄的图像通过空中三角测量加密、影像密集匹配生成稠密点云、点云三角网网格化操作后输出目标区域的三维场景;

(2)根据任务需求,布置和调用各类公路交通传感器,采用基于声源定位的方法实施监控,具体包含以下步骤:(2-1)半球形麦克风阵列进行球面声压的采样;

(2-2)因为运动车辆的声音信号频率在500Hz以下,所以利用小波分析对麦克风阵列采集到的声音信号进行去噪处理,保留集中在低频部分的车辆声音信号;

(2-3)将麦克风阵列中每个不同方向上的麦克风的声压值进行球傅立叶变化,得到麦克风阵列构成的半球面上各个入射平面波的幅值;

(2-4)在半球面空间中搜索各个平面波幅值的极大值,其对应的球面位置坐标即为声源的来波方向,从而可获得远场声源的空间方位信息;

(2-5)根据声源定位的结果在复眼相机采集的全景图像上确定ROI区域;

(2-6)在ROI区域中进行车辆的检测及跟踪,计算所需的交通状态信息;

(3)将公路交通传感器提供的多源异构的交通状态信息与环境信息进行数据融合,以时空数据模型存储到动态公路交通信息数据库中;

(4)将经过数据融合后的交通状态信息换算成交通拥挤指数,以此作为实际路段交通情况和拥堵现状评价的主要评价指标,进行交通态势评估,交通拥挤指数的计算公式如下所示:式中,op(t)为P位置t时段的占有率,qp(t)为P位置t时段的交通流量,vp(t)为P位置t时段的速度;

(5)交管人员通过人机接口查看处理结果,并可以根据反馈随时改变目标区域和传感器的部署方式。

9.根据权利要求8所述的公路交通动态三维数字场景采集构建系统的工作方法,其特征是所述路网匹配定位包含以下步骤:S1,定位飞艇移动至目标区域中心,保持在120~150M的高度;

S2,复眼相机中底部的高清一体化子眼相机拍摄1张图片,同时系统记录陀螺仪和激光测距仪输出的姿态和高度信息;

S3,将挑选出的图片进行中值滤波,转化为二值图片,提取出路网轮廓特征,输出实时路网图片,如果轮廓特征不明显,定位飞艇移动至其他位置,重新拍摄;

S4,利用数字图像处理中的畸变校正方法,将实时路网图片投影到基准面上,所述畸变校正方法是先利用陀螺仪和激光测距仪输出的姿态角和飞行高度数据对实时路网图进行空间几何变换,然后利用双线性差值法进行灰度差值,生成实时路网图片的正射影像;

S5,从静态交通数据库中获取目标区域内基于WGS84大地坐标系的二维路网电子地图,输出目标区域内1:5000的基准矢量路网图;

S6,将校正后的实时路网图片和基准矢量路网图进行匹配计算,建立实时路网图片和基准矢量路网图之间的映射关系,所述匹配计算采用链码匹配算法,选择实时路网图片中的节点为控制点,并以该控制点前后30个像素点作为匹配单元,遍历另一幅图像,不断计算匹配度,寻找在基准矢量路网图中的匹配路段;

S7,计算校正后实时路网图片的中心在基准矢量路网图中的位置,然后通过传感器输出的姿态和高度数据,利用空间几何方法反求出理想的成像中心在WGS84大地坐标系中的位置。

10.根据权利要求8所述的公路交通动态三维数字场景采集构建系统的工作方法,其特征是所述数据融合采用自适应加权平均融合算法,包含以下步骤:S1,检测某一路段内N个交通传感器,并读取第k个统计时间段内第j个传感器的数据Xj,j=1,2,3,…,N,其中Xj=(x1,x2,x3,…,xn),n为第k个统计时间段内第j个传感器采集的次数;

S2,计算第j个传感器所采集的n个数据的平均值 计算公式为:

2

S3,计算第j个传感器所采集的n个数据的方差σj,j=1,2,3,…,N,计算公式为:S4,计算第j个传感器数据的权值wj,j=1,2,3,…,N,计算公式为:

S5,计算N个传感器数据的融合值 计算公式为:

说明书 :

一种公路交通动态三维数字场景采集构建系统及其工作方法

技术领域

[0001] 本发明涉及智能交通领域,具体的说是一种公路交通动态三维数字场景采集构建系统及其工作方法。

背景技术

[0002] 近年来,灾后救援、大型活动安全保障、目标跟踪等任务的区域交通保障与管理成为越来越重要的问题。
[0003] 目前,很多城市已经建立了交通管理信息系统,能够实时检测交通量、速度、交通密度等状态参数,具有分析城市拥堵状态、预测出行时间等功能,但以城市为单位的交通信息管理系统不适用特殊任务场合。
[0004] 在数据采集方面,这些交管系统主要采用感应线圈、超声波、视频等固定式传感器,并且路段、交叉口、建筑物等空间地理信息数据更新周期较长,系统难以进行实时动态调整,部署时间较长。
[0005] 在数据融合方面,这些系统以GIS为表征形式,将城市道路抽象为点、线、面等简单的几何图形,道路上各传感系统相互独立,传感数据以地图为中介进行关联,缺乏统一的时空数据结构,难以满足交通信息的高层次融合,限制了决策级数据挖掘深度、多维特征呈现与展示。

发明内容

[0006] 本发明的目的就是为了克服上述现有技术中的不足之处,围绕区域交通管理的需求,提出一种公路交通动态三维数字场景采集构建系统及其工作方法,实现区域交通的实时、三维、动态呈现。
[0007] 本发明的目的是通过如下技术措施来实现的。
[0008] 一种公路交通动态三维数字场景采集构建系统,包括动态三维环境信息采集单元、公路传感器信息采集单元和无人飞艇集群;
[0009] 所述动态三维环境信息采集单元包括数据采集系统、任务分配系统和定位系统,[0010] 所述数据采集系统用于采集特定位置和特定角度的图片,并将采集到的数据通过无线的方式传回,用于重构三维模型,数据采集系统由面向目标体的所有复眼相机协同组成,将面向目标体的所有复眼相机虚拟为一个完整的复眼,称之为虚拟复眼,每个复眼相机拥有多个镜头,一个单独的镜头称之为子眼;所有镜头按照统一时钟的规定实施数据采集,获得具有时空一致性的数据;
[0011] 所述任务分配系统用于根据被重构实体的大小、形状、拍摄空间的限制、重构模型的精度参数,计算每个复眼相机的拍摄位置、姿态和参数,并将这些数据传输给复眼相机,该任务分配系统内置统一时钟发布和校准子模块,每隔一段时间向复眼相机发送时间校准命令,进行时钟校准;
[0012] 所述定位系统负责确定飞艇所处的空间位置,根据工作环境选择不同的定位方法,当卫星信号良好时通过GPS进行定位,当卫星定位系统被干扰欺骗时通过无线定位系统定位;
[0013] 所述公路传感器信息采集单元用于收集交通量、速度、占有率等交通状态多个参数,传感器既包含感应线圈、微波、视频、超声波、红外等固定型传感器,又包含低空监控飞艇上安装的半球形麦克风阵列,当区域内固定型传感器数量不足时,低空监控飞艇移动至空白区域进行补充;
[0014] 所述无人飞艇集群为动态三维环境信息采集单元、公路传感器信息采集单元的载体,按照任务属性分为侦查飞艇集群、定位飞艇集群、数据采集飞艇集群和低空监控飞艇;
[0015] 侦查飞艇集群用于快速搜集场景的面积、边界等信息;定位飞艇集群用于定位和实时监测飞艇集群中各个飞艇空间位置;数据采集飞艇集群用于目标区域三维场景数据的采集;低空监控飞艇用于监控目标区域。
[0016] 在上述技术方案中,所述复眼相机是一种拥有多个镜头可同时成像的图像采集设备,用于采集图片数据,各复眼相机之间通过组网协同运行,接受统一调配。1个复眼相机包含13个子眼相机,其中,水平布置6个,水平向下30°布置6个,竖直向下布置1个。
[0017] 在上述技术方案中,所述半球形麦克风阵列包含4层共20个麦克风,20个麦克风的拾音器部分组成一个半径150mm的半球面。
[0018] 在上述技术方案中,所述复眼相机和所述半球形麦克风阵列组合成一个整体,通过云台与无人飞艇相连。
[0019] 在上述技术方案中,所述无人飞艇是体积小于1m3的微型无人飞艇。
[0020] 在上述技术方案中,所述无线定位系统包括路网匹配定位系统和超宽带(UWB)无线定位系统。
[0021] 在上述技术方案中,所述路网匹配定位系统是在景象匹配原理的基础上,利用复眼相机实时提取道路的边缘轮廓信息,与已有的基于WGS84大地坐标系的二维路网电子地图匹配,从而推导出复眼相机所处的空间位置,所述路网匹配定位系统包括复眼相机、陀螺仪、激光测距仪,复眼相机安装在4艘定位飞艇上,陀螺仪和激光测距仪安装在复眼相机上。
[0022] 在上述技术方案中,所述超宽带无线定位系统由基站模块和标签模块组成,所述基站模块安装在已确定XYZ三维坐标的4艘无人定位飞艇上,所述标签模块安装在其他飞艇上,该无线定位系统利用DWM1000和STM32芯片搭建基站模块和标签模块,通过双向测距定位技术和三边测距算法确定标签模块与基站模块的空间相对位置,即定位飞艇与其他飞艇的相对位置。
[0023] 本发明还提供了一种上述的公路交通动态三维数字场景采集构建系统的工作方法,包括以下步骤:
[0024] (1)利用虚拟复眼进行动态三维环境信息采集,利用倾斜建模方法构建目标区域内交通三维地图,与静态交通信息数据库提供的二维电子地图进行路网特征拟合,建立统一的时空坐标系;具体包括以下步骤:
[0025] (1-1)侦查飞艇携带复眼相机进入目标区域,快速围绕拍摄区域进行预拍摄,控制复眼相机记录限制空间边界点,并回传初始数据给任务分配系统;
[0026] (1-2)通过任务分配系统对预拍摄数据进行预处理,通过双目视觉技术,计算出边角点的三维坐标,用边角点来确定及表示被重构区域;
[0027] (1-3)设置复眼相机的拍摄参数与参与拍摄的复眼相机数量;按照分辨率要求,规划每个镜头的有效采集面积,将镜头有效采集面积规定为子眼采集面积,虚拟复眼的所有子眼采集面积组成一个网格系统,一个子眼对应一个网格,用于实时更新本网格区域的内容;
[0028] (1-4)通过任务分配系统进行任务规划与优化;
[0029] (1-5)按照任务分配结果,4艘定位飞艇进入在目标区域,进行路网匹配定位,确定各自的空间位置,同时启动超宽带无线定位系统,确定新进入目标区域飞艇的相对位置,进行空间位姿标定、地理位置标定、统一时钟标定;当卫星定位系统工作环境良好时,使用卫星定位系统进行定位;
[0030] (1-6)实施拍摄,各个复眼相机在统一时钟下的同一时刻拍摄,此时数据满足时空一致性,回传拍摄数据,由计算机系统自动重构同一时刻下的三维数字场景,虚拟复眼按动态场景帧率要求每隔1/帧率秒拍摄,例如帧率要求为25fps,则拍摄间隔设定为1/25秒,实现实时刷新的动态拍摄;
[0031] (1-7)拍摄的图像通过空中三角测量加密、影像密集匹配生成稠密点云、点云三角网网格化操作后输出目标区域的三维场景;
[0032] (1-8)将各单幅三维场景依照时序逐次连接,拼接为依时间轴的具有时空一致性的动态三维场景;
[0033] (2)根据任务需求,布置和调用各类公路交通传感器,由于车辆在复眼相机拍摄得到的全景图像中所占的像素数较小,难以发现和提取,所以为了便于在图像处理过程中确定感兴趣区域(Region Of Interest,ROI),采用基于声源定位的方法实施监控,该方法根据麦克风阵列采集到的半球面声压值来估计声源空间方位信息,从而确定车辆的位置和ROI区域,具体包括以下步骤:
[0034] (2-1)半球形麦克风阵列进行球面声压的采样;
[0035] (2-2)因为运动车辆的声音信号频率在500Hz以下,所以利用小波分析对麦克风阵列采集到的声音信号进行去噪处理,保留集中在低频部分的车辆声音信号;
[0036] (2-3)将麦克风阵列中每个不同方向上的麦克风的声压值进行球傅立叶变化,得到麦克风阵列构成的半球面上各个入射平面波的幅值;
[0037] (2-4)在半球面空间中搜索各个平面波幅值的极大值,其对应的球面位置坐标即为声源的来波方向,从而可获得远场声源的空间方位信息;
[0038] (2-5)根据声源定位的结果在复眼相机采集的全景图像上确定ROI区域;
[0039] (2-6)在ROI区域中进行车辆的检测及跟踪,计算所需的交通状态信息;
[0040] (3)将公路交通传感器提供的多源异构的交通状态信息与环境信息进行数据融合,以时空数据模型存储到动态公路交通信息数据库中;当区域内同一路段中存在多个交通传感器时,利用融合算法将多个传感器采集的交通状态信息进行融合,提高交通状态信息的准确度。融合过后的数据以时空数学模型的结构存储在动态交通信息数据库中,所述时空数学模型如下所示:
[0041] 数据模型{传感器ID,空间位置,时间,交通状态参数};
[0042] 为了实现这些多源异构动态交通信息的融合,需要将传感器采集到数据统一到统一的参考时间和空间中,经过数据预处理和配准后以时空数据模型存储到传感数据库中,然后再进行通过数据融合。
[0043] 所述数据预处理过程包括对异常数据的校正、对错误数据的限定和对丢失数据的识别;
[0044] 所述数据配准分为空间配准和时间配准,时间配准是利用最小二乘法将同一区域内各传感器不同步的测量信息同步到任务分配系统所确立的基准时间坐标下,空间配准是利用极大似然法将各传感器测量平台局部坐标系中的信息变换到WGS84大地坐标系中的相应信息的过程;
[0045] (4)将经过数据融合后的交通状态信息换算成交通拥挤指数,以此作为实际路段交通情况和拥堵现状评价的主要评价指标,进行交通态势评估,交通拥挤指数的计算公式如下所示:
[0046]
[0047] 式中,op(t)为P位置t时段的占有率,qp(t)为P位置t时段的交通流量,vp(t)为P位置t时段的速度;
[0048] (5)交管人员通过人机接口查看处理结果,并可以根据反馈随时改变目标区域和传感器的部署方式。
[0049] 在上述技术方案中,所述路网匹配定位包含以下步骤:
[0050] S1,定位飞艇移动至目标区域中心,保持在120~150M的高度;
[0051] S2,复眼相机中底部的高清一体化机芯拍摄1张图片(实时图),同时系统记录陀螺仪和激光测距仪输出的姿态和高度信息;
[0052] S3,将挑选出的图片进行中值滤波,转化为二值图片,提取出路网轮廓特征,输出实时路网图片,如果轮廓特征不明显,定位飞艇移动至其他位置,重新拍摄;
[0053] S4,利用数字图像处理中的畸变校正方法,将实时路网图片投影到基准面上,所述畸变校正方法是先利用陀螺仪和激光测距仪输出的姿态角和飞行高度数据对实时路网图进行空间几何变换,然后利用双线性差值法进行灰度差值,生成实时路网图片的正射影像;
[0054] S5,从静态交通数据库中获取目标区域内基于WGS84大地坐标系的二维路网电子地图,输出目标区域内1:5000的基准矢量路网图;
[0055] S6,将校正后的实时路网图片和基准矢量路网图进行匹配计算,建立实时路网图片和基准矢量路网图之间的映射关系,所述匹配计算采用链码匹配算法,选择实时路网图片中的节点(两条路相交的点)为控制点,并以该控制点前后30个像素点作为匹配单元,遍历另一幅图像,不断计算匹配度,寻找在基准矢量路网图中的匹配路段;
[0056] S7,计算校正后实时路网图片的中心在基准矢量路网图中的位置,然后通过传感器输出的姿态和高度数据,利用空间几何方法反求出理想的成像中心在WGS84大地坐标系中的位置(即复眼相机所处的空间位置)。
[0057] 在上述技术方案中,所述数据融合采用自适应加权平均融合算法,包含以下步骤:
[0058] S1,检测某一路段内N个交通传感器,并读取第k个统计时间段内第j个传感器的数据Xj,j=1,2,3,…,N,其中Xj=(x1,x2,x3,…,xn),n为第k个统计时间段内第j个传感器采集的次数;
[0059] S2,计算第j个传感器所采集的n个数据的平均值 j=1,2,3,…,N,计算公式为:
[0060]
[0061] S3,计算第j个传感器所采集的n个数据的方差σj2,j=1,2,3,…,N,计算公式为:
[0062]
[0063] S4,计算第j个传感器数据的权值wj,j=1,2,3,…,N,计算公式为:
[0064]
[0065] S5,计算N个传感器数据的融合值 计算公式为:
[0066]
[0067] 本发明公路交通动态三维数字场景采集构建系统及工作方法可以快速构建重点区域的三维场景,灵活部署和调用各类公路传感器。在统一的参考时间和空间下,融合交通状态信息和环境信息,并以具有时空属性的数据模型储存,系统可以根据数据处理结果和任务需求,进行动态调整,扩大和移动监视区域。

附图说明

[0068] 图1为本发明的系统框架示意图。
[0069] 图2为本发明中复眼相机和麦克风阵列整合后的结构示意图。
[0070] 图3为本发明中复眼相机和麦克风阵列整合后与云台连接的示意图。
[0071] 其中:1.子眼相机,2.麦克风,3.三轴云台。

具体实施方式

[0072] 为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施的限制。
[0073] 需要说明的是,当元件被称为“固定于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同吋存在居中元件。
[0074] 除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0075] 本实施例提供一种公路交通动态三维数字场景采集构建系统,如图1所示,包括动态三维环境信息采集单元、公路传感器信息采集单元和无人飞艇集群;
[0076] 所述动态三维环境信息采集单元包括数据采集系统、任务分配系统和定位系统,[0077] 所述数据采集系统用于采集特定位置和特定角度的图片,并将采集到的数据通过无线的方式传回,用于重构三维模型,数据采集系统由面向目标体的所有复眼相机协同组成,将面向目标体的所有复眼相机虚拟为一个完整的复眼,称之为虚拟复眼,每个复眼相机拥有多个镜头,一个单独的镜头称之为子眼;所有镜头按照统一时钟的规定实施数据采集,获得具有时空一致性的数据;
[0078] 所述任务分配系统用于根据被重构实体的大小、形状、拍摄空间的限制、重构模型的精度参数,计算每个复眼相机的拍摄位置、姿态和参数,并将这些数据传输给复眼相机,该任务分配系统内置统一时钟发布和校准子模块,每隔一段时间向复眼相机发送时间校准命令,进行时钟校准;
[0079] 所述定位系统负责确定飞艇所处的空间位置,根据工作环境选择不同的定位方法,当卫星信号良好时通过GPS进行定位,当卫星定位系统被干扰欺骗时通过无线定位系统定位;
[0080] 所述公路传感器信息采集单元用于收集交通量、速度、占有率等交通状态多个参数,传感器既包含感应线圈、微波、视频、超声波、红外等固定型传感器,又包含低空监控飞艇上安装的半球形麦克风阵列,当区域内固定型传感器数量不足时,低空监控飞艇移动至空白区域进行补充;
[0081] 所述无人飞艇集群为动态三维环境信息采集单元、公路传感器信息采集单元的载体,按照任务属性分为侦查飞艇集群、定位飞艇集群、数据采集飞艇集群和低空监控飞艇;
[0082] 侦查飞艇集群用于快速搜集场景的面积、边界等信息;定位飞艇集群用于定位和实时监测飞艇集群中各个飞艇空间位置;数据采集飞艇集群用于目标区域三维场景数据的采集;低空监控飞艇用于监控目标区域。
[0083] 在上述实施例中,所述复眼相机是一种拥有多个镜头可同时成像的图像采集设备,用于采集图片数据,各复眼相机之间通过组网协同运行,接受统一调配。1个复眼相机包含13个子眼相机1,其中,水平布置6个,水平向下30°布置6个,竖直向下布置1个。所述半球形麦克风阵列包含4层共20个麦克风2,20个麦克风2的拾音器部分组成一个半径150mm的半球面,20个麦克风2均与主控单片机相连,主控单片机选用瑞芯微RK3368。如图2、3所示,所述复眼相机和所述半球形麦克风阵列整合成一个整体,通过三轴云台3与无人飞艇相连。
[0084] 在上述实施例中,所述无人飞艇是体积小于1m3的微型无人飞艇。
[0085] 在上述实施例中,所述无线定位系统包括路网匹配定位系统和超宽带(UWB)无线定位系统。
[0086] 所述路网匹配定位系统是在景象匹配原理的基础上,利用复眼相机实时提取道路的边缘轮廓信息,与已有的基于WGS84大地坐标系的二维路网电子地图匹配,从而推导出复眼相机所处的空间位置,路网匹配定位系统包括复眼相机、陀螺仪、激光测距仪,复眼相机安装在4艘定位飞艇上,陀螺仪和激光测距仪安装在复眼相机上。
[0087] 所述超宽带无线定位系统由基站模块和标签模块组成,所述基站模块安装在已确定XYZ三维坐标的4艘无人定位飞艇上,所述标签模块安装在其他飞艇上,该无线定位系统利用DWM1000和STM32芯片搭建基站模块和标签模块,通过双向测距定位技术和三边测距算法确定标签模块与基站模块的空间相对位置,即定位飞艇与其他飞艇的相对位置。
[0088] 本实施例还提供了一种上述的公路交通动态三维数字场景采集构建系统的工作方法,包括以下步骤:
[0089] (1)利用虚拟复眼进行动态三维环境信息采集,利用倾斜建模方法构建目标区域内交通三维地图,与静态交通信息数据库提供的二维电子地图进行路网特征拟合,建立统一的时空坐标系;具体包括以下步骤:
[0090] (1-1)侦查飞艇携带复眼相机进入目标区域,快速围绕拍摄区域进行预拍摄,控制复眼相机记录限制空间边界点,并回传初始数据给任务分配系统;
[0091] (1-2)通过任务分配系统对预拍摄数据进行预处理,通过双目视觉技术,计算出边角点的三维坐标,用边角点来确定及表示被重构区域;
[0092] (1-3)设置复眼相机的拍摄参数与参与拍摄的复眼相机数量;按照分辨率要求,规划每个镜头的有效采集面积,将镜头有效采集面积规定为子眼采集面积,虚拟复眼的所有子眼采集面积组成一个网格系统,一个子眼对应一个网格,用于实时更新本网格区域的内容;
[0093] (1-4)通过任务分配系统进行任务规划与优化;
[0094] (1-5)按照任务分配结果,4艘定位飞艇进入在目标区域,进行路网匹配定位,确定各自的空间位置,同时启动超宽带无线定位系统,确定新进入目标区域飞艇的相对位置,进行空间位姿标定、地理位置标定、统一时钟标定;当卫星定位系统工作环境良好时,使用卫星定位系统进行定位;
[0095] (1-6)实施拍摄,各个复眼相机在统一时钟下的同一时刻拍摄,此时数据满足时空一致性,回传拍摄数据,由计算机系统自动重构同一时刻下的三维数字场景,虚拟复眼按动态场景帧率要求每隔1/帧率秒拍摄,例如帧率要求为25fps,则拍摄间隔设定为1/25秒,实现实时刷新的动态拍摄;
[0096] (1-7)拍摄的图像通过空中三角测量加密、影像密集匹配生成稠密点云、点云三角网网格化操作后输出目标区域的三维场景;
[0097] (1-8)将各单幅三维场景依照时序逐次连接,拼接为依时间轴的具有时空一致性的动态三维场景;
[0098] (2)根据任务需求,布置和调用各类公路交通传感器,采用基于声源定位的方法实施监控,具体包括以下步骤:
[0099] (2-1)半球形麦克风阵列进行球面声压的采样;
[0100] (2-2)因为运动车辆的声音信号频率在500Hz以下,所以利用小波分析对麦克风阵列采集到的声音信号进行去噪处理,保留集中在低频部分的车辆声音信号;
[0101] (2-3)将麦克风阵列中每个不同方向上的麦克风的声压值进行球傅立叶变化,得到麦克风阵列构成的半球面上各个入射平面波的幅值;
[0102] (2-4)在半球面空间中搜索各个平面波幅值的极大值,其对应的球面位置坐标即为声源的来波方向,从而可获得远场声源的空间方位信息;
[0103] (2-5)根据声源定位的结果在复眼相机采集的全景图像上确定ROI区域;
[0104] (2-6)在ROI区域中进行车辆的检测及跟踪,计算所需的交通状态信息;
[0105] (3)将公路交通传感器提供的多源异构的交通状态信息与环境信息进行数据融合,以时空数据模型存储到动态公路交通信息数据库中;当区域内同一路段中存在多个交通传感器时,利用融合算法将多个传感器采集的交通状态信息进行融合,提高交通状态信息的准确度。融合过后的数据以时空数学模型的结构存储在动态交通信息数据库中,所述时空数学模型如下所示:
[0106] 数据模型{传感器ID,空间位置,时间,交通状态信息};
[0107] 为了实现这些多源异构动态交通信息的融合,需要将传感器采集到数据统一到统一的参考时间和空间中,经过数据预处理和配准后以时空数据模型存储到传感数据库中,然后再进行通过数据融合。
[0108] 所述数据预处理过程包括对异常数据的校正、对错误数据的限定和对丢失数据的识别;
[0109] 所述数据配准分为空间配准和时间配准,时间配准是利用最小二乘法将同一区域内各传感器不同步的测量信息同步到任务分配系统所确立的基准时间坐标下,空间配准是利用极大似然法将各传感器测量平台局部坐标系中的信息变换到WGS84大地坐标系中的相应信息的过程;(4)将经过数据融合后的交通状态信息换算成交通拥挤指数,以此作为实际路段交通情况和拥堵现状评价的主要评价指标,进行交通态势评估,交通拥挤指数的计算公式如下所示:
[0110]
[0111] 式中,op(t)为P位置t时段的占有率,qp(t)为P位置t时段的交通流量,vp(t)为P位置t时段的速度;
[0112] (5)交管人员通过人机接口查看处理结果,并可以根据反馈随时改变目标区域和传感器的部署方式。
[0113] 在上述实施例中,所述路网匹配定位包含以下步骤:
[0114] S1,定位飞艇移动至目标区域中心,保持在120~150M的高度;
[0115] S2,复眼相机中底部的高清一体化子眼相机拍摄1张图片(实时图),同时系统记录陀螺仪和激光测距仪输出的姿态和高度信息;
[0116] S3,将挑选出的图片进行中值滤波,转化为二值图片,提取出路网轮廓特征,输出实时路网图片,如果轮廓特征不明显,定位飞艇移动至其他位置,重新拍摄;
[0117] S4,利用数字图像处理中的畸变校正方法,将实时路网图片投影到基准面上,所述畸变校正方法是先利用陀螺仪和激光测距仪输出的姿态角和飞行高度数据对实时路网图进行空间几何变换,然后利用双线性差值法进行灰度差值,生成实时路网图片的正射影像;
[0118] S5,从静态交通数据库中获取目标区域内基于WGS84大地坐标系的二维路网电子地图,输出目标区域内1:5000的基准矢量路网图;
[0119] S6,将校正后的实时路网图片和基准矢量路网图进行匹配计算,建立实时路网图片和基准矢量路网图之间的映射关系,所述匹配计算采用链码匹配算法,选择实时路网图片中的节点(两条路相交的点)为控制点,并以该控制点前后30个像素点作为匹配单元,遍历另一幅图像,不断计算匹配度,寻找在基准矢量路网图中的匹配路段;
[0120] S7,计算校正后实时路网图片的中心在基准矢量路网图中的位置,然后通过传感器输出的姿态和高度数据,利用空间几何方法反求出理想的成像中心在WGS84大地坐标系中的位置(即复眼相机所处的空间位置)。
[0121] 在上述实施例中,所述数据融合采用自适应加权平均融合算法,包含以下步骤:
[0122] S1,检测某一路段内N个交通传感器,并读取第k个统计时间段内第j个传感器的数据Xj,j=1,2,3,…,N,其中Xj=(x1,x2,x3,…,xn),n为第k个统计时间段内第j个传感器采集的次数;
[0123] S2,计算第j个传感器所采集的n个数据的平均值 j=1,2,3,…,N,计算公式为:
[0124]
[0125] S3,计算第j个传感器所采集的n个数据的方差σj2,j=1,2,3,…,N,计算公式为:
[0126]
[0127] S4,计算第j个传感器数据的权值wj,j=1,2,3,…,N,计算公式为:
[0128]
[0129] S5,计算N个传感器数据的融合值 计算公式为:
[0130]
[0131] 本说明书中未作详细描述的内容,属于本专业技术人员公知的现有技术。
[0132] 以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进或变形,这些改进或变形也应视为本发明的保护范围。