本发明公开了一种基于远、近景多传感器一体融合的交通路侧感知系统及方法，通过设置摄像头俯仰角以及焦距的大小使得远景摄像头与近景摄像头的横向感知范围大于道路宽度，同时通过相关几何模型推导在毫米波雷达感知区域已知的条件下，远、近景摄像头互相配合所能达到的最优感知范围。本发明通过对远、近景视频的拼接与目标检测，达到了感知重叠区域的数据冗余效果；配合毫米波雷达数据，不仅丰富了目标状态信息，同时引入相关指标对多源传感器的感兴趣区域进行筛选与匹配，达到雷达与摄像头相互辅助的增益效果。克服了单一摄像头视角有限，同样大视域效果下鱼眼镜头畸变过大的缺点；同时通过多源数据融合的方式，提高了感知与定位精度。
1.一种基于远、近景多传感器一体融合的交通路侧感知方法，其特征在于：包括：
1)布设远、近景多传感器融合一体机，多传感器由远、近景摄像头与毫米波雷达组成，对远、近景摄像头与毫米波雷达进行时空联合标定；
计算道路宽度，远、近景多传感器融合一体机横向感知范围大于道路宽度；确定路侧传感器的工作高度，包括近景摄像头高度，远景摄像头高度以及毫米波雷达高度；确定远景摄像头与近景摄像头的俯仰角；
根据摄像头坐标转换推导求解最优有效感知区域，有效感知区域最近点和最远点由毫米波雷达的探测范围确定，近景摄像头与远景摄像头安装高度已知，分别为H1和H2，求解近景摄像头与远景摄像头最佳的俯仰角以及焦距设置；方法如下：利用平面几何得：
其中S1为近景镜头最近边界与近景镜头间的水平距离， 与β1分别为近景镜头视角最近视线和最远视线与水平面所成夹角，H1为近景摄像头安装高度，Sn为近景镜头感光区域大小，Z1A为近景镜头最远边界A点在近景镜头坐标系中的距离；
下面计算远景与近景包围形成的有效感知区域S2，根据几何关系可得：S2＝H1(tan(θ2+α2)+tan(α1‑θ1))其中X2A为A点在远景镜头坐标系中的距离，β2为远景镜头视角最远视线与水平面所成夹角，Sf为远景镜头感知区域大小， 为远景镜头视角最近视线与水平面所成夹角，θ1,θ2分别为近景镜头和远景镜头的俯仰角，α1,α2分别为近景和远景镜头视角角度的二分之一；
视线远景镜头和近景镜头的感知区域相邻或者部分重合，满足以下条件：实现两镜头成像大小一致，根据焦距/距离＝图/物，即：
其中F1,F2分别为近景和远景镜头的焦距；tanα1＝L/2F1；L为感光片已知参数；
在最优感知区域的布设条件下，分别对多传感器的ROI感兴趣区域进行匹配，实现目标不同特征在同一感兴趣区域的展示，具体包括：设雷达共有W个感兴趣区域，视频共有M个感兴趣区域，引入相关参数对ROI的关联性进行度量；
式中，Ri表示第i块雷达感兴趣区域，SRi表示第i块雷达感兴趣区域的面积，Vj表示第j块视频感兴趣区域，SVj表示第j块视频感兴趣区域的面积，有1≤i≤W,1≤j≤M；ΔSRi,Vj表示第i块雷达感兴趣区域和第j块视频感兴趣区域重叠部分的面积，PRi,Vj和PVj,Ri分别代表了ΔSRi,Vj占SRi和SVj的百分比；
设定阈值Tmatched对雷达和视频重叠的感兴趣区域进行考察，若同时满足下式，则将这两块区域匹配在一起；
匹配后的区域包含图像上的特征，以及目标的空间位置与运动信息；
2)采集交通流参数和交通路侧视频图像，对远、近景摄像头感知区域进行拼接；
3)对视频图像进行处理并提取目标静态特征与动态特征；
4)对毫米波雷达感知区域内目标进行探测，提取动态特征；
5)对视频与毫米波雷达感知区域内目标特征进行匹配与数据融合；
2.根据权利要求1所述的感知方法，其特征在于：对远、近景摄像头与毫米波雷达进行时间标定，具体包括：将多源传感器的时间起点对齐，即调整传感器时间戳与真实采样时间之间的时间偏差在一定范围内；
通过时间窗最近邻搜索将不同类型的数据帧之间进行对应，即通过最近临匹配的方法找到每一帧与基准传感器时间间隔最小的数据进行处理。
3.根据权利要求1所述的感知方法，其特征在于：对远、近景摄像头与毫米波雷达进行空间标定，即寻找一个统一的参照系，在统一的参照系框架中对目标的信息进行融合和综合描述；多传感器空间坐标系的转换包括：毫米波雷达坐标系与世界坐标系间的转换，世界坐标系与摄像头坐标系间的转换，摄像头坐标系与图像坐标系间的转换以及图像坐标系与像素坐标系间的转换。
4.根据权利要求1所述的感知方法，其特征在于：对远、近景摄像头感知区域进行拼接，具体包括：分别获得远景与近景视频流；对两路视频流的每一帧数据进行特征提取、特征匹配与特征配准；
对视频图像进行网格划分，每一个网格对应一个单应矩阵；计算局部单应矩阵；根据单应矩阵进行单应变换并采用加权方法对重叠区域进行融合。
5.根据权利要求1所述的感知方法，其特征在于：通过相关模式识别方法获取视频流中目标特征，具体包括：搭建卷积神经网络，并在网络末端引入检测头；
训练卷积神经网络，将训练好的网络权重与拼接好的视频流导入网络中进行前景目标的检测与状态提取。
6.根据权利要求1‑5任一所述的感知方法，其特征在于：对视频与毫米波雷达感知区域内目标信息进行匹配与数据融合，具体包括：在时空标定的前提下，利用视频流数据，根据雷达目标空间位置和视频图像像素位置之间的关系，剔除雷达虚警目标数据，方法为：将雷达数据对应到经过数学形态学滤波的视频前景目标上，利用高斯混合模型检测，若在雷达数据对应的图像检测到运动前景目标，则该雷达数据不是虚警数据，反之，将该数据滤除；
最后匹配雷达和视频目标区域，进行数据融合，方法为：
在视频图像上，将视频检测到的前景划分为若干个感兴趣区域，同时将雷达去除虚警后的数据也分别标记为若干个感兴趣区域，将雷达和视频的感兴趣区域进行匹配，丢弃未能通过匹配的感兴趣区域。
7.一种基于远、近景多传感器一体融合的交通路侧感知系统，其特征在于：包括软件模块和硬件模块；所述硬件模块包括远景摄像头、近景摄像头、毫米波雷达与携带GPU数据处理板卡；
所述软件模块，包括标定模块、视频处理模块、目标检测模块、数据融合模块和可视化界面模块；
所述标定模块，包括空间标定与时间标定模块；根据传感器对象的不同分为摄像机标定、毫米波雷达标定与多传感器联合标定；执行以下操作：摄像机的空间标定采用张正友标定方法，具体指确定外参矩阵与内部参数，其中外参矩阵为世界坐标系与摄像头坐标系间互相转换的旋转矩阵与偏移矩阵；内部参数包括摄像头的光轴偏移量、焦距与畸变系数；
毫米波雷达的空间标定是指确定安装毫米波雷达的水平角、俯仰角与横摆角；
多传感器联合标定是将摄像头坐标系与毫米波雷达坐标系的测量值转换到同一个坐标系中，即将毫米波雷达检测的目标与像素坐标进行对齐；
时间起点对齐通过相关硬件辅助消除钟漂；数据帧的同步即控制毫米波雷达输出数据的刷新率与摄像机输出视频的帧率相同；
计算道路宽度，远、近景多传感器融合一体机横向感知范围大于道路宽度；确定路侧传感器的工作高度，包括近景摄像头高度，远景摄像头高度以及毫米波雷达高度；确定远景摄像头与近景摄像头的俯仰角；
根据摄像头坐标转换推导求解最优有效感知区域，有效感知区域最近点和最远点由毫米波雷达的探测范围确定，近景摄像头与远景摄像头安装高度已知，分别为H1和H2，求解近景摄像头与远景摄像头最佳的俯仰角以及焦距设置；方法如下：利用平面几何得：
其中S1为近景镜头最近边界与近景镜头间的水平距离， 与β1分别为近景镜头视角最近视线和最远视线与水平面所成夹角，H1为近景摄像头安装高度，Sn为近景镜头感光区域大小，Z1A为近景镜头最远边界A点在近景镜头坐标系中的距离；
下面计算远景与近景包围形成的有效感知区域S2，根据几何关系可得：S2＝H1(tan(θ2+α2)+tan(α1‑θ1))其中X2A为A点在远景镜头坐标系中的距离，β2为远景镜头视角最远视线与水平面所成夹角，Sf为远景镜头感知区域大小， 为远景镜头视角最近视线与水平面所成夹角，θ1,θ2分别为近景镜头和远景镜头的俯仰角，α1,α2分别为近景和远景镜头视角角度的二分之一；
视线远景镜头和近景镜头的感知区域相邻或者部分重合，满足以下条件：实现两镜头成像大小一致，根据焦距/距离＝图/物，即：
其中F1,F2分别为近景和远景镜头的焦距；tanα1＝L/2F1；L为感光片已知参数；
在最优感知区域的布设条件下，分别对多传感器的ROI感兴趣区域进行匹配，实现目标不同特征在同一感兴趣区域的展示，具体包括：设雷达共有W个感兴趣区域，视频共有M个感兴趣区域，引入相关参数对ROI的关联性进行度量；
式中，Ri表示第i块雷达感兴趣区域，SRi表示第i块雷达感兴趣区域的面积，Vj表示第j块视频感兴趣区域，SVj表示第j块视频感兴趣区域的面积，有1≤i≤W,1≤j≤M；ΔSRi,Vj表示第i块雷达感兴趣区域和第j块视频感兴趣区域重叠部分的面积，PRi,Vj和PVj,Ri分别代表了ΔSRi,Vj占SRi和SVj的百分比；
设定阈值Tmatched对雷达和视频重叠的感兴趣区域进行考察，若同时满足下式，则将这两块区域匹配在一起；
匹配后的区域包含图像上的特征，以及目标的空间位置与运动信息；
所述视频处理模块，用于远、近景摄像头视频流拼接；执行以下操作：根据远景与近景的特征匹配关系，建立拼接模型；通过重叠区域下目标特征点的匹配关系确定由远景至近景的单应变换；通过对视频图像进行网格划分，每一个网格对应一个单应矩阵，对所有网格区域进行相应单应变换；
单应矩阵通过多对匹配特征点间的像素坐标信息做SVD奇异值分解得到，即最小奇异值对应的特征向量组成单应矩阵；
所述目标检测模块，包括雷达目标检测和摄像头目标检测；执行以下操作：雷达目标检测：通过在频域上对回波信号的多普勒频移进行分析，实现运动目标或静止目标的区分；雷达采用一定宽度的波束进行扫描，获得目标相对雷达的方位角度信息；
摄像头目标检测：根据原始视频流数据，对视频中各个物体进行识别，同时根据目标像素位置信息，提取目标在视频流中的深度信息，即与固定位置处远、近景摄像头的距离；
所述数据融合模块：用于在雷达和视频均提取了运动目标信息的基础上，再将雷达数据和视频数据进行投影检测，去除虚警数据，匹配并融合目标区域。
一种基于远、近景多传感器一体融合的交通路侧感知系统及
方法
技术领域
[0001] 本发明涉及一种能够实现高速公路精细化管控的多源信息全息感知设备，特别涉及一种基于远、近景多传感器一体融合的交通路侧感知系统及方法。
背景技术
[0002] 日益严重的高速交通拥堵给城市带来巨大的经济损失和环境污染，加大力度治理交通拥堵问题刻不容缓。高速公路拥堵研究发现，调节交通流和控制交通状态是缓解高速公路拥堵最有效的方法。对高速公路的精细化管理不但可以极大地提升道路的最大吞吐量，还可以有效地改善环境，提高空气质量。
[0003] 然而传统的交通调查获得的数据不足以支撑智能交通系统对高速公路的精细化管理，迫切需要多源交通信息感知设备和高质量交通数据提取技术。为实现高速公路精细化管理，必须有足够的交通数据支撑，而交通数据的采集一般由路侧传感器获取。相机与毫米波雷达由于相关的适用性，成为了广泛应用的路侧传感器。相机在经济适用性、分辨率、测量范围和对目标的准确识别上具有较好的优势；毫米波雷达则具有较高的环境适应能力、车辆的速度跟踪和距离跟踪能力。传统的单一传感器受到自身特性的限制，收集的交通数据存在缺失、质量低等缺点。在这样的背景下，有必要对多源数据进行融合，充分发挥各个传感器的优点，有效提高数据的辨识度和全面性。现有的方案基于单摄像头与雷达融合的方案，往往存在视域过小的问题，无法为车路协同提供可靠的数据支撑。
发明内容
[0004] 发明目的：针对以上问题，本发明提出一种基于远、近景多传感器一体融合的交通路侧感知系统及方法。充分发挥各个传感器的优势，实现多源信息感知和实时交通数据采集，通过对目标车辆的状态提取和轨迹跟踪，确保高速公路精细化管控。利用远、近景双摄像头扩充感知区域，解决传统雷达视频一体融合方案感知区域小的问题，保证交通数据采集的准确性和全面性。
[0005] 技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于远、近景多传感器一体融合的交通路侧感知方法，其特征在于：包括：
[0006] 1)布设远、近景多传感器融合一体机，多传感器由远、近景摄像头与毫米波雷达组成，对远、近景摄像头与毫米波雷达进行时空联合标定；
[0007] 2)采集交通流参数和交通路侧视频图像，对远、近景摄像头感知区域进行拼接；
[0008] 3)对视频图像进行处理并提取目标静态特征与动态特征；
[0009] 4)对毫米波雷达感知区域内目标进行探测，提取动态特征；
[0010] 5)对视频与毫米波雷达感知区域内目标特征进行匹配与数据融合；
[0011] 6)将感知目标静态与动态特征进行可视化展示。
[0012] 进一步的，通过几何模型确定路侧传感器布设位置，具体包括：
[0013] 计算道路宽度，远、近景多传感器融合一体机横向感知范围大于道路宽度；
[0014] 确定路侧传感器的工作高度，包括近景摄像头高度，远景摄像头高度以及毫米波雷达高度；
[0015] 确定远景摄像头与近景摄像头的俯仰角；计算最优有效感知区域。
[0016] 进一步的，对远、近景摄像头与毫米波雷达进行时间标定，具体包括：
[0017] 将多源传感器的时间起点对齐，即调整传感器时间戳与真实采样时间之间的时间偏差在一定范围内；
[0018] 通过时间窗最近邻搜索将不同类型的数据帧之间进行对应，即通过最近临匹配的方法找到每一帧与基准传感器时间间隔最小的数据进行处理。
[0019] 进一步的，对远、近景摄像头与毫米波雷达进行空间标定，即寻找一个统一的参照系，在统一的参照系框架中对目标的信息进行融合和综合描述；多传感器空间坐标系的转换包括：
[0020] 毫米波雷达坐标系与世界坐标系间的转换，世界坐标系与摄像头坐标系间的转换，摄像头坐标系与图像坐标系间的转换以及图像坐标系与像素坐标系间的转换。
[0021] 进一步的，对远、近景摄像头感知区域进行拼接，具体包括：
[0022] 分别获得远景与近景视频流；对两路视频流的每一帧数据进行特征提取、特征匹配与特征配准；
[0023] 对视频图像进行网格划分，每一个网格对应一个单应矩阵；计算局部单应矩阵；根据单应矩阵进行单应变换并采用加权方法对重叠区域进行融合。
[0024] 进一步的，通过相关模式识别方法获取视频流中目标特征，具体包括：
[0025] 搭建卷积神经网络，并在网络末端引入检测头；
[0026] 训练卷积神经网络，将训练好的网络权重与拼接好的视频流导入网络中进行前景目标的检测与状态提取。
[0027] 进一步的，对视频与毫米波雷达感知区域内目标信息进行匹配与数据融合，具体包括：
[0028] 在时空标定的前提下，利用视频流数据，根据雷达目标空间位置和视频图像像素位置之间的关系，剔除雷达虚警目标数据，方法为：
[0029] 将雷达数据对应到经过数学形态学滤波的视频前景目标上，利用高斯混合模型检测，若在雷达数据对应的图像检测到运动前景目标，则该雷达数据不是虚警数据，反之，将该数据滤除；
[0030] 最后匹配雷达和视频目标区域，进行数据融合，方法为：
[0031] 在视频图像上，将视频检测到的前景划分为若干个感兴趣区域，同时将雷达去除虚警后的数据也分别标记为若干个感兴趣区域，将雷达和视频的感兴趣区域进行匹配，丢弃未能通过匹配的感兴趣区域。
[0032] 进一步的，根据摄像头坐标转换推导求解最优有效感知区域，有效感知区域最近点和最远点由毫米波雷达的探测范围确定，近景摄像头与远景摄像头安装高度已知，分别为H1和H2，且H1与H2基本一致，求解近景摄像头与远景摄像头最佳的俯仰角以及焦距设置；方法如下：
[0033] 利用平面几何得：
[0034]
[0035]
[0036]
[0037] 其中S1为近景镜头最近边界与近景镜头间的水平距离， 与β1为近景镜头视角最近视线和最远视线与水平面所成夹角，H1为近景摄像头安装高度，Sn为近景镜头感光区域大小，Z1A为A点在近景镜头坐标系中的距离；
[0038] 接着求远景与近景包围形成的有效感知区域S2，由几何关系得：
[0039]
[0040]
[0041] S2＝H1(tan(θ2+α2)+tan(α1‑θ1))
[0042] 其中Z2A为A点在远景镜头坐标系中的距离，β2为远景镜头视角最远视线与水平面所成夹角，Sf为远景镜头感知区域大小， 为远景镜头视角最近视线与水平面所成夹角，θ1,θ2分别为近景镜头和远景镜头的俯仰角，α1,α2分别为近景和远景镜头视角角度的二分之一；
[0043] 视线远景镜头和近景镜头的感知区域相邻或者部分重合，满足以下条件：
[0044]
[0045] 实现两镜头成像大小一致，根据焦距/距离＝图/物，即：
[0046]
[0047] 变换得：
[0048] F1/F2＝cosα1/cosα2
[0049] 其中F1,F2分别为近景和远景镜头的焦距；tanα1＝L/2F1；L为感光片已知参数；
[0050] 在最优感知区域的布设条件下，分别对多传感器的ROI感兴趣区域进行匹配，实现目标不同特征在同一感兴趣区域的展示。
[0051] 进一步的，在最优感知区域的布设条件下，分别对多传感器的ROI感兴趣区域进行匹配，具体包括：
[0052] 设雷达共有W个感兴趣区域，视频共有M个感兴趣区域，引入相关参数对ROI的关联性进行度量；
[0053]
[0054] 式中，Ri表示第i块雷达感兴趣区域，SRi表示第i块雷达感兴趣区域的面积，Vj表示第j块视频感兴趣区域，SVj表示第j块视频感兴趣区域的面积，有1≤i≤W,1≤j≤M；ΔSRi,Vj表示第i块雷达感兴趣区域和第j块视频感兴趣区域重叠部分的面积，PRi,Vj和PVj,Ri分别代表了ΔSRi,Vj占SRi和SVj的百分比；
[0055] 设定阈值Tmatched对雷达和视频重叠的感兴趣区域进行考察，若同时满足下式，则将这两块区域匹配在一起；
[0056]
[0057] 匹配后的区域包含图像上的特征，以及目标的空间位置与运动信息。
[0058] 本发明还提供了一种基于远、近景多传感器一体融合的交通路侧感知系统，包括软件模块和硬件模块；所述硬件模块包括远景摄像头、近景摄像头、毫米波雷达与携带GPU数据处理板卡；
[0059] 所述软件模块，包括标定模块、视频处理模块、目标检测模块、数据融合模块和可视化界面模块；
[0060] 所述标定模块，包括空间标定与时间标定模块；根据传感器对象的不同分为摄像机标定、毫米波雷达标定与多传感器联合标定；执行以下操作：
[0061] 摄像机的空间标定采用张正友标定方法，具体指确定外参矩阵与内部参数，其中外参矩阵为世界坐标系与摄像头坐标系间互相转换的旋转矩阵与偏移矩阵；内部参数包括摄像头的光轴偏移量、焦距与畸变系数；
[0062] 毫米波雷达的空间标定是指确定安装毫米波雷达的水平角、俯仰角与横摆角；
[0063] 多传感器联合标定是将摄像头坐标系与毫米波雷达坐标系的测量值转换到同一个坐标系中，即将毫米波雷达检测的目标与像素坐标进行对齐；
[0064] 时间标定包括时间起点的对齐与数据帧的同步；
[0065] 时间起点对齐通过相关硬件辅助消除钟漂；数据帧的同步即控制毫米波雷达输出数据的刷新率与摄像机输出视频的帧率相同；
[0066] 所述视频处理模块，用于远、近景摄像头视频流拼接；执行以下操作：
[0067] 根据远景与近景的特征匹配关系，建立拼接模型；通过重叠区域下目标特征点的匹配关系确定由远景至近景的单应变换；通过对视频图像进行网格划分，每一个网格对应一个单应矩阵，对所有网格区域进行相应单应变换；
[0068] 单应矩阵通过多对匹配特征点间的像素坐标信息做SVD奇异值分解得到，即最小奇异值对应的特征向量组成单应矩阵；
[0069] 所述目标检测模块，包括雷达目标检测和摄像头目标检测；执行以下操作：
[0070] 雷达目标检测：通过在频域上对回波信号的多普勒频移进行分析，实现运动目标或静止目标的区分；雷达采用一定宽度的波束进行扫描，获得目标相对雷达的方位角度信息；
[0071] 摄像头目标检测：根据原始视频流数据，对视频中各个物体进行识别，同时根据目标像素位置信息，提取目标在视频流中的深度信息，即与固定位置处远、近景摄像头的距离；
[0072] 所述数据融合模块：用于在雷达和视频均提取了运动目标信息的基础上，再将雷达数据和视频数据进行投影检测，去除虚警数据，匹配并融合目标区域。
[0073] 有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
[0074] 1)本发明将远景摄像头与近景摄像头的感知区域进行了拼接，克服了单一摄像头视角有限，感知区域有限等劣势。远、近景摄像头对于重叠区域目标的深度估计提供了理论支持，增加了重叠区域的数据冗余效果，提高了感知与定位精度。
[0075] 2)本发明以多传感器数据融合提高检测精度为目标，通过几何公式理论性地求得远、近景拼接的感知区域与雷达感知区域交汇的最优有效感知区域。
附图说明
[0076] 图1是基于远、近景多传感器一体融合的交通路侧感知系统软件模块组成图；
[0077] 图2是基于远、近景多传感器一体融合的交通路侧感知系统硬件模块组成图；
[0078] 图3是最优有效感知区域示意图。
具体实施方式
[0079] 下面结合附图和实施例对本发明的技术方案作进一步的说明。
[0080] 本发明所述的一种基于远、近景多传感器一体融合的交通路侧感知方法，包括不同焦距下远、近景摄像头与毫米波雷达的集成感知设备，以及集成于携带GPU数据处理板卡中的路侧感知方法和多源数据融合方法。
[0081] 面向交通路侧数据采集与感知，包括监控视频记录，远近景视频拼接，交通流参数提取，交通参与者目标识别与跟踪，交通信息可视化，其中：交通流参数包括流量、密度、速度；交通参与者目标识别与跟踪获取特征参数包括颜色、形状、姿态、车牌号等静态特征，以及距离、速度、轨迹等动态特征。具体实施步骤如下：
[0082] (1)布设远、近景多传感器融合一体机，多传感器由远、近景摄像头与毫米波雷达组成；通过几何模型确定高速公路路侧传感器布设位置，具体包括：
[0083] (1.1)计算道路宽度，保证远、近景多传感器融合一体机横向感知范围大于道路宽度；
[0084] (1.2)确定路侧传感器的工作高度，包括近景摄像头高度，远景摄像头高度以及毫米波雷达高度；
[0085] (1.3)分别确定远景摄像头与近景摄像头的俯仰角，保证感知区域的数据质量；
[0086] (1.4)计算最优有效感知区域。
[0087] (2)对远、近景摄像头与毫米波雷达进行时空联合标定。
[0088] (2.1)时间标定通过相关硬件设备将多源传感器的时间起点对齐，通过时间窗最近邻搜索将不同类型的数据帧之间进行对应，具体包括：
[0089] 时间起点的对齐指对齐不同传感器时间，即缩小传感器时间戳与真实采样时间之间的时间偏差；
[0090] 数据帧的同步指通过最近临匹配的方法找到与每一帧与基准传感器时间间隔最小的数据进行处理。
[0091] (2.2)远、近景摄像头与毫米波雷达的空间标定指多传感器空间坐标系的转换，即寻找一个统一的参照系，在这个统一的参照系框架中可以对目标的信息进行融合和综合描述，减少目标描述的歧义性，包括：
[0092] 毫米波雷达坐标系与世界坐标系间的转换，世界坐标系与摄像头坐标系间的转换，摄像头坐标系与图像坐标系间的转换以及图像坐标系与像素坐标系间的转换。
[0093] (3)对远、近景摄像头感知区域进行拼接，具体包括：
[0094] (3.1)分别获得远景与近景视频流；
[0095] (3.2)对两路视频流的每一帧数据进行特征提取、特征匹配与特征配准；
[0096] (3.3)网格划分并计算局部单应矩阵；
[0097] (3.4)根据单应矩阵进行单应变换并采用加权方法对重叠区域进行融合。
[0098] (4)对视频图像进行处理并提取目标颜色、形状等静态特征与距离、速度、轨迹就等动态特征；
[0099] 视频的静态图像特征与动态视觉特征提取，通过相关模式识别方法获取视频流中目标特征，包括：
[0100] (4.1)搭建卷积神经网络，并在网络末端引入检测头；
[0101] (4.2)将训练好的权重与拼接好的视频流导入网络中进行前景目标的检测与状态提取。
[0102] (5)对毫米波雷达感知区域内目标进行探测，提取目标距离、速度与角度等动态特征。
[0103] 毫米波雷达获得目标的距离、速度等信息，目标相对雷达的距离信息包含在发射信号和回波信号之间的时延之中，通过在距离域上进行分析，可将相对雷达不同距离上的目标进行区分；当目标具有一定运动速度时，目标会对雷达发射的电磁波产生多普勒调制；通过在频域上对回波信号的多普勒频移进行分析，可实现对运动目标或静止目标的区分。
[0104] 毫米波雷达感知，感知过程包含数据提取和处理，通过对回波信号进行快速傅里叶处理并进行频谱分析得出目标运动状态，经过整合后实现提取目标距离、速度与角度等动态特征。
[0105] (6)对视频与毫米波雷达感知区域内目标信息进行匹配与数据融合；
[0106] 在时空标定的前提下，利用视频流数据，实现雷达虚警目标数据剔除；匹配雷达和视频感兴趣区域，进而进行数据融合。
[0107] 雷达与视频数据融合方法，根据雷达目标空间位置和视频图像像素位置之间的关系，剔除雷达虚警目标，具体包括：
[0108] 将雷达数据对应到经过数学形态学滤波的视频前景目标上，利用高斯混合模型检测，若在雷达数据对应的图像附近检测到运动前景目标，则认为该雷达数据不是虚警数据，反之，则将该数据滤除。
[0109] (7)将感知目标静态与动态信息进行可视化展示。
[0110] 可视化界面可以更直观的观察出系统的识别效果，即在播放时可以同时显示车辆识别结果，包括车辆尺寸和距离等信息。
[0111] 本发明还提供了一种基于远、近景多传感器一体融合的交通路侧感知系统，包括软件模块和硬件模块。
[0112] 图1描述了软件模块，包括标定模块、视频处理模块、目标检测模块、数据融合模块和可视化界面模块。
[0113] 1)标定模块：包括空间标定与时间标定模块。
[0114] 根据传感器对象的不同又可分为摄像机标定、毫米波雷达标定与多传感器联合标定。空间与时间的标定是进行高速公路多传感器数据融合的基础，准确的时空标定保障对目标车辆的识别与状态提取的准确性。
[0115] 摄像机的空间标定采用张正友标定方法，具体指确定外参矩阵与内部参数，其中外参矩阵为世界坐标系与摄像头坐标系间互相转换的旋转矩阵与偏移矩阵；内部参数包括摄像头的光轴偏移量、焦距与畸变系数等。毫米波雷达的空间标定是指确定安装毫米波雷达的水平角、俯仰角与横摆角。多传感器联合标定的目的是将摄像头坐标系与毫米波雷达坐标系的测量值转换到同一个坐标系中，即将毫米波雷达检测的目标与像素坐标进行对齐。时间标定包括时间起点的对齐与数据帧的同步。时间起点对齐可以通过相关硬件辅助消除钟漂；数据帧的同步即控制毫米波雷达输出数据的刷新率与摄像机输出视频的帧率尽可能相同。
[0116] 2)视频处理模块：即远、近景摄像头视频流拼接。根据远景与近景的特征匹配关系，建立拼接模型。
[0117] 由于两个摄像头的相对位置固定，则由远景至近景的单应变换理论上也是固定的，通常可以通过重叠区域下目标特征点的匹配关系确定。然而现实中，重叠区域互相匹配的特征点并不都在同一平面上，理想的全局单应变换矩阵失效，导致拼接结果出现错位现象，尤其在远景与近景存在大视差场景下更为严重。因此需要将全局单应矩阵变为局部单应矩阵，即通过对视频图像进行网格划分，每一个网格对应一个单应矩阵，通过对所有网格区域进行相应单应变换，得到较为理想的拼接效果。关键的单应矩阵通过多对匹配特征点间的像素坐标信息做SVD奇异值分解得到，即最小奇异值对应的特征向量组成单应矩阵。
[0118] 3)目标检测模块：该模块找出所有感兴趣的目标，确定它们的速度和位置等信息，包括雷达目标检测和摄像头目标检测。
[0119] 雷达目标检测：当目标具有一定运动速度时，目标会对雷达发射的电磁波产生多普勒调制，目标的速度信息包含在对应的多普勒频率之中。通过在频域上对回波信号的多普勒频移进行分析，可实现运动目标或静止目标的区分。此外，当雷达采用一定宽度的波束进行扫描时，可以获得目标相对雷达的方位角度信息。
[0120] 摄像头目标检测：根据原始视频流数据，采用人工智能与模式识别等手段实现对视频中各个物体(车辆，行人，车道线等)的识别，同时根据目标像素位置信息，提取目标在视频流中的深度信息，即与固定位置处远、近景摄像头的距离。
[0121] 4)数据融合模块：在雷达和视频均通过各自算法提取了运动目标信息的基础上，再将雷达数据和视频数据进行投影检测，去除虚警数据，匹配并融合感兴趣区域。
[0122] 具体的，将雷达探测到的运动目标投影到经过前景检测的视频流上，雷达中的每个目标对应一个区域像素坐标。在视频流中，对各雷达目标，在像素坐标附近区域进行搜索，若该区域中的视频图像检测出了运动前景目标，则说明该雷达目标很可能对应的是一个真实目标；相反，若该区域中的视频图像未检测出运动前景目标，或存在一些噪声，则说明该雷达目标很可能是一个虚警目标。通过利用视频运动前景，对雷达数据进行验证，可以消除一部分雷达虚警数据。进一步的，在视频图像上，将视频检测到的前景划分为若干个感兴趣区域，同时将雷达去除虚警后的数据也分别标记为若干个感兴趣区域，将雷达和视频的感兴趣区域进行匹配，丢弃未能通过匹配的感兴趣区域。
[0123] 5)可视化界面模块：将视频与雷达的检测融合效果进行展示。
[0124] 该模块不仅可以分别展示视频流检测效果与单一雷达检测效果，同时还可以展示多源传感器融合下的检测效果。
[0125] 图2描述了远、近景多传感器融合一体机的硬件组成，硬件模块包括远景摄像头、近景摄像头、毫米波雷达与携带GPU数据处理板卡。毫米波雷达通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。视觉方案稍复杂，以单目视觉方案为例，它需要先进行目标识别，然后根据目标在图像中的像素大小来估算目标的距离。携带GPU数据处理板卡作为数据处理软件模块载体，实时处理视频流与毫米波雷达的感知数据并实现目标检测与融合等功能。
[0126] 图3为基于远、近景多传感器融合的交通路侧感知系统最优有效感知区域示意图，根据摄像头坐标转换推导求解最优化感知区域，具体问题可以描述为：有效感知区域最近点和最远点由毫米波雷达的探测范围确定，近景摄像头H1与远景摄像头H2安装高度已知，求解近景摄像头与远景摄像头最佳的俯仰角以及焦距设置，使得缩放比例尽可能小，并实现有效感知区域全覆盖。
[0127] 假设θ1与θ2分别为近景镜头和远景镜头的俯仰角，α1与α2分别为近景和远景镜头视角角度的二分之一，F1与F2为近景和远景镜头的焦距，L为感光片已知参数，其中tanα＝L/2F。α∈{α1,α2}；F∈{F1,F2}；利用平面几何知识可得：
[0128]
[0129]
[0130]
[0131] 其中S1为近景镜头最近边界与近景镜头间的水平距离， 与β1为近景镜头视角最近视线和最远视线与水平面所成夹角，Sn为近景镜头感光区域大小，Z1A为A点在近景镜头坐标系中的距离。
[0132] 接着求远景镜头感知区域Sf，可分为两种情况讨论，分别为远景镜头坐标系的Z轴超过近景镜头视角最远视线和远景镜头坐标系的Z轴没有超过近景镜头视角最远视线，但由于余弦函数的特性其两种结果一致。由几何关系可得：
[0133] Z2A＝LOBcosα2 (4)
[0134] 其中LOB为线OB的长度，Z2A为A点在远景镜头坐标系中的距离，β2为远景镜头视角最远视线与水平面所成夹角。即：
[0135]
[0136]
[0137] S2＝H1(tan(θ2+α2)+tan(α1‑θ1)) (7)
[0138] 其中Sf为远景镜头感知区域大小， 为远景镜头视角最近视线与水平面所成夹角，θ2为远景镜头俯仰角。
[0139] 若要视线远景镜头和近景镜头的感知区域相邻或者部分重合，则需满足以下条件：
[0140]
[0141] 若要实现两镜头成像大小一致，根据焦距/距离＝图/物，即：
[0142]
[0143] 变换可得：
[0144] F1/F2＝cosα1/cosα2 (10)
[0145] 其中tanα1＝L/2F1。
[0146] 在最优感知区域的布设条件下，分别对多传感器的ROI感兴趣区域进行匹配，实现目标不同特征在同一感兴趣区域的展示。具体包括：
[0147] 设雷达共有W个感兴趣区域，视频共有M个感兴趣区域，引入相关参数对ROI的关联性进行度量。
[0148]
[0149] 式(11)中，Ri表示第i块雷达感兴趣区域，SRi表示第i块雷达感兴趣区域的面积，Vj表示第j块视频感兴趣区域，SVj表示第j块视频感兴趣区域的面积，有1≤i≤W,1≤j≤M。ΔSRi,Vj表示第i块雷达感兴趣区域和第j块视频感兴趣区域重叠部分的面积，PRi,Vj和PVj,Ri分别代表了ΔSRi,Vj占SRi和SVj的百分比。
[0150] 设定阈值Tmatched对雷达和视频重叠的感兴趣区域进行考察，若同时满足式(12)，则将这两块区域匹配在一起。
[0151]
[0152] 匹配后的区域不仅包含有图像上的特征，还包含了目标的距离、速度等空间位置与运动信息。
[0153] 以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
