路侧感知系统的数据采集、可视化和标定的方法及系统转让专利

申请号 : CN202110919719.5

文献号 : CN113689695B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李波张宇超高瑞金王秋原张雷波

申请人 : 上海智能网联汽车技术中心有限公司

摘要 :

本发明提供了一种路侧感知系统的数据采集、可视化和标定的方法及系统,包括:标定车端执行开始录包操作时,标定车端利用UDP通信下发开始录包指令给服务器,服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统开始录包操作,记录各个传感器的感知结果数据,在超视距感知系统开始执行录包操作的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据,利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定;本发明能够实现一次性采集多个路口感知系统的数据,并且实现对各个路口各个传感器的标定工作。

权利要求 :

1.一种路侧感知系统的数据采集、可视化和标定的方法,其特征在于,包括:

步骤S1:标定车端执行开始录包操作时,标定车端利用UDP通信下发开始录包指令给服务器,服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统开始录包操作,记录各个传感器的感知结果数据,在超视距感知系统开始执行录包操作的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;

步骤S2:标定车端执行结束录包操作时,标定车端利用UDP通信下发结束录包的指令给服务器,服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统结束录包操作,停止记录各个传感器的感知结果数据,与此同时,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;

步骤S3:根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据,利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定;

步骤S4:可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据;

所述自定义消息协议包括待标定的路端超视距感知系统信息;

所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机;

所述步骤S3包括:

步骤S3.1:将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理,得到解析后的数据;

步骤S3.2:根据解析后的数据判断标定车上标定靶标的运动状态,当靶标处于静止状态时,将解析后的数据存入数据缓存中,待靶标再次开始运动时,对缓存中的数据取平均值作为采样数据保存在数据存储中,重复触发步骤S3.1至步骤S3.2,直至待标定路端采样结束;

步骤S3.3:读取数据存储中存储的采样数据并进行标定,输出标定结果并对标定结果进行验证,进而完成激光雷达、毫米波雷达以及相机的标定。

2.根据权利要求1所述的路侧感知系统的数据采集、可视化和标定的方法,其特征在于,所述步骤S1采用:步骤S1.1:利用UDP通信发送自定义消息协议给服务器,自定义消息协议包括待标定的路端超视距感知系统信息;

步骤S1.2:标定车的计算单元利用UDP通信发送开始录包指令给服务器;

步骤S1.3:服务器将开始录包指令发送至待标定的路端超视距感知系统;

步骤S1.4:待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,然后融合工控机开始执行录包操作,记录各个传感器的感知结果数据;执行成功的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给予服务器反馈信息,服务器再次下发开始录包指令至待标定的路端超视距感知系统,重复触发步骤S1.4,直至执行成功。

3.根据权利要求1所述的路侧感知系统的数据采集、可视化和标定的方法,其特征在于,所述步骤S2采用:步骤S2.1:标定车的计算单元利用UDP通信发送结束录包指令给服务器;

步骤S2.2:服务器将结束录包指令发送至待标定的路端超视距感知系统;

步骤S2.3:待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时,融合工控机开始执行结束录包操作,停止记录各个传感器的感知结果数据;执行成功的同时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给与服务器反馈信息,服务器再次下发停止录包至待标定的路端超视距感知系统,重复触发步骤S2.3,直至执行成功。

4.根据权利要求1所述的路侧感知系统的数据采集、可视化和标定的方法,其特征在于,所述标定算法采用:支持对标定算法进行修改以及重新编译操作。

5.根据权利要求1所述的路侧感知系统的数据采集、可视化和标定的方法,其特征在于,多线程处理各个传感器的感知结果数据以及标定车上组合导航的定位数据。

6.一种路侧感知系统的数据采集、可视化和标定的系统,其特征在于,包括:

模块M1:标定车端执行开始录包操作时,标定车端利用UDP通信下发开始录包指令给服务器,服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统开始录包操作,记录各个传感器的感知结果数据,在超视距感知系统开始执行录包操作的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;

模块M2:标定车端执行结束录包操作时,标定车端利用UDP通信下发结束录包的指令给服务器,服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统结束录包操作,停止记录各个传感器的感知结果数据,与此同时,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;

模块M3:根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据,利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定;

模块M4:可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据;

所述自定义消息协议包括待标定的路端超视距感知系统信息;

所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机;

所述模块M3包括:

模块M3.1:将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理,得到解析后的数据;

模块M3.2:根据解析后的数据判断标定车上标定靶标的运动状态,当靶标处于静止状态时,将解析后的数据存入数据缓存中,待靶标再次开始运动时,对缓存中的数据取平均值作为采样数据保存在数据存储中,重复触发模块M3.1至模块M3.2,直至待标定路端采样结束;

模块M3.3:读取数据存储中存储的采样数据并进行标定,输出标定结果并对标定结果进行验证,进而完成激光雷达、毫米波雷达以及相机的标定。

7.根据权利要求6所述的路侧感知系统的数据采集、可视化和标定的系统,其特征在于,所述模块M1采用:模块M1.1:利用UDP通信发送自定义消息协议给服务器,自定义消息协议包括待标定的路端超视距感知系统信息;

模块M1.2:标定车的计算单元利用UDP通信发送开始录包指令给服务器;

模块M1.3:服务器将开始录包指令发送至待标定的路端超视距感知系统;

模块M1.4:待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,然后融合工控机开始执行录包操作,记录各个传感器的感知结果数据;执行成功的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给予服务器反馈信息,服务器再次下发开始录包指令至待标定的路端超视距感知系统,重复触发步骤S1.4,直至执行成功。

8.根据权利要求6所述的路侧感知系统的数据采集、可视化和标定的系统,其特征在于,所述模块M2采用:模块M2.1:标定车的计算单元利用UDP通信发送结束录包指令给服务器;

模块M2.2:服务器将结束录包指令发送至待标定的路端超视距感知系统;

模块M2.3:待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时,融合工控机开始执行结束录包操作,停止记录各个传感器的感知结果数据;执行成功的同时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给与服务器反馈信息,服务器再次下发停止录包至待标定的路端超视距感知系统,重复触发模块M2.3,直至执行成功。

说明书 :

路侧感知系统的数据采集、可视化和标定的方法及系统

技术领域

[0001] 本发明涉及路侧感知系统技术领域,具体地,涉及路侧感知系统的数据采集、可视化和标定的方法及系统,更为具体地,涉及一种针对路侧感知系统的数据采集、可视化及标定一体化的系统方案。

背景技术

[0002] 专利文献CN110853393B(申请号:201911176850.6)公开了一种智能网联车辆测试场数据采集与融合方法及系统,该方法包括:步骤1,根据采集到的测试场内的静态数据,构建测试场内地图的静态层;步骤2,路侧动态数据采集模块对感知范围内的动态目标进行跟踪,并通过生成相应标号下的航迹数据管理文件;步骤3,通过车端动态数据采集模块获取自车位置数据、自车驾驶状态数据和自车周围环境数据,由车载计算单元对动态目标的航迹进行初步融合;步骤4,数据融合及可视化模块构建测试场内地图的动态层;步骤5,通过增添和更改的方式模拟智能网联车辆测试所需的各种交通场景;步骤6,通过数据融合及可视化模块实时显示以及输送给测试智能网联车辆进行测试。
[0003] 目前针对路侧感知系统的标定方案,需要有技术人员驾驶标定车在感知系统的视野范围内缓慢在道路上行驶,并且通过终端命令采集标定车的定位数据,同时还需要技术人员在路侧感知系统端通过终端命令采集路侧感知系统各个传感器的感知数据。采集完数据之后,需要把数据都拷贝到计算单元,然后需要在终端中输入一系列的命令,把采集到的数据作为标定算法的输入,最终输出标定结果。由此可以看出,目前对于路侧感知系统的标定方案非常繁琐,对操作人员技术水平要求较高,时间成本也较高。
[0004] 同时,目前的标定算法都只能标定单一的传感器,并不能同时标定感知系统中的激光雷达、毫米波雷达以及相机。
[0005] 目前市场上还没有一套成熟并且完整的路侧传感器自动化标定系统能够同时实现对激光雷达、摄像头以及毫米波雷达传感器的数据采集、可视化及自动化标定。本发明的关键技术效果在于开发了一套集成激光雷达、相机以及毫米波雷达标定算法的路侧超视距感知系统数据采集、可视化及标定的系统方案。

发明内容

[0006] 针对现有技术中的缺陷,本发明的目的是提供一种路侧感知系统的数据采集、可视化和标定的方法及系统。
[0007] 根据本发明提供的一种路侧感知系统的数据采集、可视化和标定的方法,包括:
[0008] 步骤S1:标定车端执行开始录包操作时,标定车端利用UDP通信下发开始录包指令给服务器,服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统开始录包操作,记录各个传感器的感知结果数据,在超视距感知系统开始执行录包操作的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;
[0009] 步骤S2:标定车端执行结束录包操作时,标定车端利用UDP通信下发结束录包的指令给服务器,服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统结束录包操作,停止记录各个传感器的感知结果数据,与此同时,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;
[0010] 步骤S3:根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据,利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定;
[0011] 步骤S4:可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据;
[0012] 所述自定义消息协议包括待标定的路端超视距感知系统信息;
[0013] 所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机。
[0014] 优选地,所述步骤S1采用:
[0015] 步骤S1.1:利用UDP通信发送自定义消息协议给服务器,自定义消息协议包括待标定的路端超视距感知系统信息;
[0016] 步骤S1.2:标定车的计算单元利用UDP通信发送开始录包指令给服务器;
[0017] 步骤S1.3:服务器将开始录包指令发送至待标定的路端超视距感知系统;
[0018] 步骤S1.4:待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,然后融合工控机开始执行录包操作,记录各个传感器的感知结果数据;执行成功的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给予服务器反馈信息,服务器再次下发开始录包指令至待标定的路端超视距感知系统,重复触发步骤S1.4,直至执行成功。
[0019] 优选地,所述步骤S2采用:
[0020] 步骤S2.1:标定车的计算单元利用UDP通信发送结束录包指令给服务器;
[0021] 步骤S2.2:服务器将结束录包指令发送至待标定的路端超视距感知系统;
[0022] 步骤S2.3:待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时,融合工控机开始执行结束录包操作,停止记录各个传感器的感知结果数据;执行成功的同时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给与服务器反馈信息,服务器再次下发停止录包至待标定的路端超视距感知系统,重复触发步骤S2.3,直至执行成功。
[0023] 优选地,所述步骤S3包括:
[0024] 步骤S3.1:将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理,得到解析后的数据;
[0025] 步骤S3.2:根据解析后的数据判断标定车上标定靶标的运动状态,当靶标处于静止状态时,将解析后的数据存入数据缓存中,待靶标再次开始运动时,对缓存中的数据取平均值作为采样数据保存在数据存储中,重复触发步骤S3.1至步骤S3.2,直至待标定路端采样结束;
[0026] 步骤S3.3:读取数据存储中存储的采样数据并进行标定,输出标定结果并对标定结果进行验证。
[0027] 优选地,所述标定算法采用:支持对标定算法进行修改以及重新编译操作。
[0028] 优选地,多线程处理各个传感器的感知结果数据以及标定车上组合导航的定位数据。
[0029] 根据本发明提供的一种路侧感知系统的数据采集、可视化和标定的系统,包括:
[0030] 模块M1:标定车端执行开始录包操作时,标定车端利用UDP通信下发开始录包指令给服务器,服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统开始录包操作,记录各个传感器的感知结果数据,在超视距感知系统开始执行录包操作的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;
[0031] 模块M2:标定车端执行结束录包操作时,标定车端利用UDP通信下发结束录包的指令给服务器,服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统结束录包操作,停止记录各个传感器的感知结果数据,与此同时,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;
[0032] 模块M3:根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据,利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定;
[0033] 模块M4:可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据;
[0034] 所述自定义消息协议包括待标定的路端超视距感知系统信息;
[0035] 所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机。
[0036] 优选地,所述模块M1采用:
[0037] 模块M1.1:利用UDP通信发送自定义消息协议给服务器,自定义消息协议包括待标定的路端超视距感知系统信息;
[0038] 模块M1.2:标定车的计算单元利用UDP通信发送开始录包指令给服务器;
[0039] 模块M1.3:服务器将开始录包指令发送至待标定的路端超视距感知系统;
[0040] 模块M1.4:待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,然后融合工控机开始执行录包操作,记录各个传感器的感知结果数据;执行成功的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给予服务器反馈信息,服务器再次下发开始录包指令至待标定的路端超视距感知系统,重复触发步骤S1.4,直至执行成功。
[0041] 优选地,所述模块M2采用:
[0042] 模块M2.1:标定车的计算单元利用UDP通信发送结束录包指令给服务器;
[0043] 模块M2.2:服务器将结束录包指令发送至待标定的路端超视距感知系统;
[0044] 模块M2.3:待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时,融合工控机开始执行结束录包操作,停止记录各个传感器的感知结果数据;执行成功的同时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给与服务器反馈信息,服务器再次下发停止录包至待标定的路端超视距感知系统,重复触发模块M2.3,直至执行成功。
[0045] 优选地,所述模块M3包括:
[0046] 模块M3.1:将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理,得到解析后的数据;
[0047] 模块M3.2:根据解析后的数据判断标定车上标定靶标的运动状态,当靶标处于静止状态时,将解析后的数据存入数据缓存中,待靶标再次开始运动时,对缓存中的数据取平均值作为采样数据保存在数据存储中,重复触发模块M3.1至模块M3.2,直至待标定路端采样结束;
[0048] 模块M3.3:读取数据存储中存储的采样数据并进行标定,输出标定结果并对标定结果进行验证。
[0049] 与现有技术相比,本发明具有如下的有益效果:
[0050] 1、本发明涉及大量数据的传输和存储,包括激光雷达的3D点云数据、摄像头的RGB像素阵列、毫米波雷达的2D反射图以及组合导航的标定物位置状态信息,因此开发了多种不同类型数据的集中处理算法架构,保证各类数据通信进程之间互补干扰,并且能够按照一定的格式记录保存下来;
[0051] 2、本发明不再需要人工现场采集数据以及现场标定,只需要在标定车端进行操作,就可以实现对标定车上靶标的定位数据以及各个路口各个超视距感知系统感知数据的采集,并且完成对所有路侧超视距感知系统中激光雷达、毫米波雷达以及相机的标定,大大提升了标定效率;
[0052] 3、本发明通过可视化的界面操作实现标定车端和路侧感知系统端的原始数据采集及可视化,并且实现感知系统中激光雷达、毫米波雷达以及相机的自动化标定,输出标定结果;
[0053] 4、利用UDP通信实现标定车端、服务器端以及路侧感知端控制指令的传输,从而实现标定车端定位数据以及路侧感知端各传感器感知数据的自动化采集、存储,同时实现路侧端数据的远距离传输;
[0054] 5、本发明能够实现一次性采集多个路口感知系统的数据,并且实现对各个路口各个传感器的标定工作。

附图说明

[0055] 通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
[0056] 图1为路测感知系统的数据采集、可视化及标定一体化系统示意图。
[0057] 图2为路测感知系统的数据采集、可视化及标定一体化方法流程图。

具体实施方式

[0058] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0059] 实施例1
[0060] 根据本发明提供的一种路侧感知系统的数据采集、可视化和标定的方法,包括:
[0061] 步骤S1:标定车端执行开始录包操作时,标定车端利用UDP通信下发开始录包指令给服务器,服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统开始录包操作,记录各个传感器的感知结果数据,在超视距感知系统开始执行录包操作的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;
[0062] 步骤S2:标定车端执行结束录包操作时,标定车端利用UDP通信下发结束录包的指令给服务器,服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统结束录包操作,停止记录各个传感器的感知结果数据,与此同时,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;
[0063] 步骤S3:根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据,利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定;
[0064] 步骤S4:可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据;
[0065] 所述自定义消息协议包括待标定的路端超视距感知系统信息;
[0066] 所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机等。
[0067] 具体地,所述步骤S1采用:
[0068] 步骤S1.1:利用UDP通信发送自定义消息协议给服务器,自定义消息协议包括待标定的路端超视距感知系统信息;
[0069] 步骤S1.2:标定车的计算单元利用UDP通信发送开始录包指令给服务器;
[0070] 步骤S1.3:服务器将开始录包指令发送至待标定的路端超视距感知系统;
[0071] 步骤S1.4:待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,然后融合工控机开始执行录包操作,记录各个传感器的感知结果数据;执行成功的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给予服务器反馈信息,服务器再次下发开始录包指令至待标定的路端超视距感知系统,重复触发步骤S1.4,直至执行成功。
[0072] 具体地,所述步骤S2采用:
[0073] 步骤S2.1:标定车的计算单元利用UDP通信发送结束录包指令给服务器;
[0074] 步骤S2.2:服务器将结束录包指令发送至待标定的路端超视距感知系统;
[0075] 步骤S2.3:待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时,融合工控机开始执行结束录包操作,停止记录各个传感器的感知结果数据;执行成功的同时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给与服务器反馈信息,服务器再次下发停止录包至待标定的路端超视距感知系统,重复触发步骤S2.3,直至执行成功。
[0076] 具体地,所述步骤S3包括:
[0077] 步骤S3.1:将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理,得到解析后的数据;
[0078] 步骤S3.2:根据解析后的数据判断标定车上标定靶标的运动状态,当靶标处于静止状态时,将解析后的数据存入数据缓存中,待靶标再次开始运动时,对缓存中的数据取平均值作为采样数据保存在数据存储中,重复触发步骤S3.1至步骤S3.2,直至待标定路端采样结束;
[0079] 步骤S3.3:读取数据存储中存储的采样数据并进行标定,输出标定结果并对标定结果进行验证。
[0080] 具体地,所述标定算法采用:支持对标定算法进行修改以及重新编译操作。
[0081] 具体地,多线程处理各个传感器的感知结果数据以及标定车上组合导航的定位数据。
[0082] 根据本发明提供的一种路侧感知系统的数据采集、可视化和标定的系统,包括:
[0083] 模块M1:标定车端执行开始录包操作时,标定车端利用UDP通信下发开始录包指令给服务器,服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统开始录包操作,记录各个传感器的感知结果数据,在超视距感知系统开始执行录包操作的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;
[0084] 模块M2:标定车端执行结束录包操作时,标定车端利用UDP通信下发结束录包的指令给服务器,服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统,超视距感知系统结束录包操作,停止记录各个传感器的感知结果数据,与此同时,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;
[0085] 模块M3:根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据,利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定;
[0086] 模块M4:可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据;
[0087] 所述自定义消息协议包括待标定的路端超视距感知系统信息;
[0088] 所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机。
[0089] 具体地,所述模块M1采用:
[0090] 模块M1.1:利用UDP通信发送自定义消息协议给服务器,自定义消息协议包括待标定的路端超视距感知系统信息;
[0091] 模块M1.2:标定车的计算单元利用UDP通信发送开始录包指令给服务器;
[0092] 模块M1.3:服务器将开始录包指令发送至待标定的路端超视距感知系统;
[0093] 模块M1.4:待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,然后融合工控机开始执行录包操作,记录各个传感器的感知结果数据;执行成功的同时,标定车立即开始录包操作,记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给予服务器反馈信息,服务器再次下发开始录包指令至待标定的路端超视距感知系统,重复触发步骤S1.4,直至执行成功。
[0094] 具体地,所述模块M2采用:
[0095] 模块M2.1:标定车的计算单元利用UDP通信发送结束录包指令给服务器;
[0096] 模块M2.2:服务器将结束录包指令发送至待标定的路端超视距感知系统;
[0097] 模块M2.3:待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时,融合工控机开始执行结束录包操作,停止记录各个传感器的感知结果数据;执行成功的同时,融合工控机通过UDP通信给予服务器反馈信息,服务器将反馈信息转发给标定车的计算单元,标定车立即结束录包操作,停止记录标定车上组合导航的定位数据;当没有执行成功时,融合工控机给与服务器反馈信息,服务器再次下发停止录包至待标定的路端超视距感知系统,重复触发模块M2.3,直至执行成功。
[0098] 具体地,所述模块M3包括:
[0099] 模块M3.1:将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理,得到解析后的数据;
[0100] 模块M3.2:根据解析后的数据判断标定车上标定靶标的运动状态,当靶标处于静止状态时,将解析后的数据存入数据缓存中,待靶标再次开始运动时,对缓存中的数据取平均值作为采样数据保存在数据存储中,重复触发模块M3.1至模块M3.2,直至待标定路端采样结束;
[0101] 模块M3.3:读取数据存储中存储的采样数据并进行标定,输出标定结果并对标定结果进行验证。
[0102] 实施例2
[0103] 实施例2是实施例1的优选例
[0104] 本发明通过可视化的界面操作实现标定车端和路侧感知系统端的原始数据采集及可视化,并且实现感知系统中激光雷达、毫米波雷达以及相机的自动化标定,输出标定结果;利用UDP通信实现标定车端、服务器端以及路侧感知端控制指令的传输,从而实现标定车端定位数据以及路侧感知端各传感器感知数据的自动化采集、存储,同时实现路侧端数据的远距离传输;实现组合导航定位数据以及路侧感知系统感知数据的可视化;通过可视化的操作界面实现路侧感知系统中激光雷达、毫米波雷达以及相机的绝对标定以及相对标定,并且输出标定结果。同时由于不再需要人工现场采集数据以及现场标定,从而提升标定效率;能够实现一次性采集多个路口感知系统的数据,并且实现对各个路口各个传感器的标定工作。
[0105] 本发明提供的一种路侧感知系统的数据采集、可视化和标定的方法主要涉及三部分,标定车、服务器和路侧感知系统,如图1至2所示。
[0106] 标定车端主要包括可视化和标定两个模块;
[0107] 其中,可视化模块能够输出组合导航实时的定位数据,激光雷达和毫米波雷达感知的点云数据,以及相机拍摄的图像数据。
[0108] 标定车端的核心在于标定模块,该模块又包含通信、预处理以及标定三个子模块。
[0109] 在通信子模块中,支持设置服务器的IP地址和端口号,并且该子模块中存储了所有安装超视距感知系统(超视距感知系统包含有激光雷达、毫米波雷达、相机三种传感器以及融合工控机等)的路口信息以及每个路口包含的超视距感知系统信息(假设每个路口包含四根智能杆,每根杆上装有一套超视距感知系统,分别以Z、A、B和C进行标识)。由于标定车端的计算单元与5G路由器相互连接,因此通过“连接服务端”操作,就可以建立标定车端与服务器端之间的连接,然后通过“设置路口属性”操作,就可以利用UDP通信发送自定义消息协议给服务器,告知服务器当前标定车需要标定的是哪个路口的哪套超视距感知系统。
[0110] 自定义消息协议中包括了待标定的路端超视距感知系统信息,一个路口需要部署4套超视距感知系统,分别用Z、A、B和C标识,该协议中需要告知服务器当前标定的是哪个路口以及具体是哪一套超视距感知系统,同时协议中还包含了“开始标定”、“结束标定”等控制指令信息,每个路口的四套超视距感知系统需要分别标定;
[0111] 服务器相当于一个中转站,当执行“开始录包”操作时,标定车的计算单元利用UDP通信下发一个开始录包的指令给服务器,而服务器端也存储了所有安装超视距感知系统的路口信息以及每个路口包含的超视距感知系统信息,当收到标定车端开始录包的指令时,根据通信子模块的配置信息,服务器会把开始录包的指令转发给相应路口对应的超视距感知系统(Z、A、B或C)。
[0112] 当超视距感知系统的融合工控机收到服务器下发的开始录包指令时,融合工控机开始执行录包(基于ROS指令,录制包含有激光雷达、毫米波雷达以及相机等节点发出来的话题的消息)操作,记录各个传感器的感知结果数据。执行成功的同时,融合工控机会通过UDP通信给予服务器一个反馈信息,然后服务器再转发给标定车的计算单元,接着标定车立即开始录包操作,记录标定车上组合导航的定位数据。从而只需要在标定车端进行操作就可以实现标定车端和路侧超视距感知系统的数据采集。当没有执行成功时,融合工控机也会给予服务器一个反馈信息,然后服务器试图再次下发开始录包指令,直至接收到融合工控机成功操作的反馈信息,然后再转发给标定车端。
[0113] 当执行“结束录包”操作时,标定车的计算单元利用UDP通信下发一个结束录包的指令给服务器,当收到标定车端结束录包的指令时,根据第一步中的配置信息,服务器会把结束录包的指令转发给相应路口对应的超视距感知系统(Z、A、B或C)。当超视距感知系统的融合工控机收到服务器下发的结束录包指令时,融合工控机开始执行结束录包的指令,停止记录各个传感器的感知结果数据。执行成功的同时,融合工控机会通过UDP通信给予服务器一个反馈信息,然后服务器再转发给标定车的计算单元,接着标定车也立即结束录包操作,停止记录标定车上组合导航的定位数据。当没有执行成功时,融合工控机也会给予服务器一个反馈信息,然后服务器试图再次下发结束录包指令,直至接收到融合工控机成功操作的反馈信息,然后再转发给标定车端。
[0114] 在预处理子模块中,通过“读取标定算法”操作,可以导入标定算法,该软件系统还支持对标定算法进行修改,重新编译等操作。然后执行“打开数据包”操作,播放前四步录制好的路侧超视距感知系统的感知结果数据以及标定车的绝对定位数据,作为标定算法的输入数据。
[0115] 在标定子模块中,当标定算法接收到各传感器发来的数据时,由数据解析模块对其进行解析处理,并判断标定车上标定靶标(该靶标能够同时被激光雷达、摄像机以及毫米波雷达作为特征点识别,同时具有多面反射、对称结构等优点)的运动状态。当靶标处于静止状态时,将数据解析模块解析得到的数据存入数据缓存模块,待靶标再次开始运动时,对数据缓存模块中的数据取平均值作为一次采样数据,并存入数据存储模块,而播放数据包的过程可以理解为回放的过程,把前面记录的数据回放出来,一边回放一边进行处理,标定车是走走停停的,在一个位置停几秒钟然后运动一点点然后又停下来,一直这样循环,直至跑完一定的路程。然后标定算法模块读取数据存储模块中存储的采样点数据进行标定,输出标定结果文件,并对标定结果进行验证。
[0116] 本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0117] 以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。