一种面向多ICU的无人驾驶虚拟仿真测试系统

摘要

一种无人驾驶仿真测试系统，整体系统框架包括虚拟城市场景参数化生成模块、仿真服务器模块、交通流仿真模块、多ICU及人机交互模块、动力学仿真模块和数据交互中间件；虚拟城市场景参数化生成模块可实现虚拟城市场景的参数化自动生成，模拟不同风格的大规模路测场景；仿真服务器模块实现仿真过程中的各类传感器以及场景物理交互行为仿真，实现多ICU多传感器的恒定帧率异步仿真机制；交通流仿真模块实现虚拟交通流的混合注入，实现仿真场景中的大规模背景车流的生成和动态交互；多ICU及人机交互模块实现多ICU和“人机”混合的无人驾驶仿真；动力学仿真模块实现被测车辆的真实车辆动力学仿真；数据交互中间件模块实现上述仿真模块之间的信息同步和传输。

权利要求

1.一种无人驾驶仿真测试系统，特征是，从整体系统框架上包括虚拟城市场景参数化生成模块、仿真服务器模块、交通流仿真模块、多ICU及人机交互模块、动力学仿真模块和数据交互中间件；虚拟城市场景参数化生成模块可实现虚拟城市场景的参数化自动生成，模拟不同风格的大规模路测场景；仿真服务器模块实现仿真过程中的各类传感器以及场景物理交互行为仿真，以及实现多ICU多传感器的恒定帧率异步仿真机制；交通流仿真模块实现虚拟交通流的混合注入，实现仿真场景中的大规模背景车流的生成和动态交互；多ICU及人机交互模块实现面向多ICU以及“人、机”混合的无人驾驶仿真；动力学仿真模块实现被测车辆的真实车辆动力学仿真；数据交互中间件模块实现上述仿真模块之间的信息同步和高性能传输；

所述虚拟城市场景参数化生成模块采用路网生成和建筑物生成两步策略，其包括多等级城市路网生成模块和多风格建筑物生成模块，分别可以参数化随机生成多等级的城市路网模型和多风格的建筑物模型，将路网模型和建筑物模型导入到仿真环境，二者构成了大规模无人驾驶仿真场景，如此具有真实感的大规模、多样化的虚拟城市场景为无人驾驶提供测试基础；

所述多等级城市路网生成模块，实现方法如下：首先，对现有城市道路根据其宽度进行三级划分，构造分级的道路参数；同时，制作或获取先验的城市人口、功能分区底图数据；提供给下步骤；

接着，采用蒙特卡洛过程对城市的路网密度权重进行采样；提供给下步骤；

最后，利用L‑systems生成随机且真实的多级的城市路网模型，提供给多风格建筑物生成模块；

具体的，所述多风格建筑物生成模块，实现方法如下：首先，对城市建筑物形态参数进行归纳，根据层高、屋顶形态、平面面积分为住宅、高层、办公楼、工业建筑，分别构造不同形态风格建筑物的形状语法脚本；提供给下步骤；

接着，对建筑物形状语法脚本中的参数进行扰动；同时，基于多等级城市路网生成模块生成的路网模型，提取封闭的街区区域；提供给下步骤；

最后，利用形状语法程序建模的方法结合可配置的建筑物风格参数和封闭街区区域，生成随机且逼真的多风格多样化的虚拟三维的城市建筑物模型；

仿真服务器模块、多ICU及人机交互模块、交通流仿真模块，其中：所述仿真服务器模块对多种传感器数据仿真并生成各类仿真传感器数据，完成对被测车的仿真，而交通流仿真模块通过交通流仿真混合注入机制实现了除被测车之外的交通流仿真,两者实现仿真系统的背景交通流仿真和注入；多ICU及人机交互模块实现多个ICU以及人工驾驶车辆的共同仿真，多ICU以及人机“共时空”测试允许在同一个仿真测试场景中引入多个ICU以及多个人类测试员，实现ICU和人类驾驶员所控制的仿真车辆均在同一个虚拟的时空系统下，独立实行决策，各个行为发生的时空一致并互相可见。

2.如权利要求1所述的无人驾驶仿真测试系统，特征是，具体的，多ICU及人机交互模块中：ICU根据自身获得的仿真决策数据进行决策和规划，并反馈到仿真环境中；

人类通过人机交互界面，观察客户端的仿真结果并将自身的控制结果通过客户端反馈到仿真环境中。

3.如权利要求2所述的无人驾驶仿真测试系统，特征是，具体的，所述多ICU及人机交互模块，在该模块中生成客户端，该客户端根据功能可细分为测试车客户端、以及交互式背景车客户端；客户端在仿真服务器模块中生成对应的仿真车辆，包括测试车和交互背景车；ICU通过数据交互中间件模块与测试车客户端进行链接，接受仿真服务器模块所生成的各类仿真传感器数据，并向客户端输入控制指令，实现测试车辆的接入仿真；人类驾驶员通过人机交互界面，观察测试车客户端的各类传感器仿真数据的可视化结果，并将自身的控制结果通过客户端反馈到仿真环境中，实现人类驾驶接入仿真；如此，ICU以及人类驾驶员可利用同样机制与交互式背景车客户端进行链接，实现背景交通流的个体交互式控制。

4.如权利要求1所述的无人驾驶仿真测试系统，特征是，具体的，仿真服务器模块包括相机仿真、定位传感器仿真和多线激光雷达仿真；所述相机仿真，通过图形渲染技术获得图像数据；所述定位传感器仿真，通过对仿真对象在运动中的坐标的获取得到对象的位姿；所述多线激光雷达仿真，得到点云数据；

具体的，仿真服务器模块中，针对多线激光雷达仿真，提出基于GPU加速的多线激光雷达仿真算法：

首先，生成覆盖车辆的多个视角的虚拟相机对象示例，利用GPU快速渲染计算能力渲染

1000x1000分辨率的深度图，共计4张或6张；提供给下步骤；

接着，基于每一个激光雷达坐标系与车辆坐标系之间的变换关系参数，得到深度图与每个激光雷达之间的位姿关系变换矩阵参数，提供给下步骤；

接着，基于输入的每一台激光雷达的扫描线参数，生成每个激光雷达的所有激光束向量，提供给下步骤；

接着，利用并行方法，求取激光束向量在深度图中的深度值采样；提供给下步骤；

然后，对初始深度值进行局部滤波平滑处理，并经过虚拟相机透视矫正，得到激光雷达的点云数据。

5.如权利要求1所述的无人驾驶仿真测试系统，特征是，针对多ICU、多传感器快速仿真的需求，提出面向多客户端中多传感器的异步仿真机制，利用令牌实现多传感器的的恒定帧率仿真，大幅提升多ICU以及人工驾驶共同仿真的整体性能；

所述传感器异步仿真机制，具体流程：首先，对所有ICU的同类传感器进行全局管理，生成所需仿真的全部传感器对象实例，提供给下步骤；

接着，生成令牌，并将令牌传递给其中一个同类传感器，运行该传感器的仿真算法，进入下一步骤；

然后，该传感器释放令牌，并传递给另外一个未运行仿真的同类传感器,重复上述过程。

说明书

一种面向多ICU的无人驾驶虚拟仿真测试系统

技术领域

[0001] 本发明涉及无人驾驶技术领域，具体涉及一种面向多智能驾驶控制器(ICU)的无人驾驶虚拟仿真测试系统的构建。

背景技术

[0002] 无人驾驶系统在部署运营之前必须通过大规模的测试验证。然而，在较小规模的真实道路环境测试中，难以验证无人驾驶系统在面向各类城市环境中的性能；另一方面，驾
驶过程中的复杂危险交通场景难以在真实道路测试中再现。因此，采用虚拟仿真环境对无
人驾驶系统进行测试就成为无人驾驶系统研发的必要基础。然而，现有的无人驾驶仿真测
试系统常存在如下缺陷：

[0003] 1.场景单一且构建代价高昂

[0004] 现有仿真测试系统主要面向高级驾驶辅助系统(ADAS)的测试需求，大多包含单条或者多条街道的简单固定城市场景。而无人驾驶系统测试需要基于复杂的城市场景，目前
通常需要基于真实采集数据进行大量人工交互式构建，代价高昂。

[0005] 2.无法实现交通流的个体控制

[0006] 现有无人驾驶仿真测试系统要么依赖于对采集的真实交通流的回放，要么基于交通流仿真系统根据路网生成的车流，并将其映射到无人驾驶仿真环境中。均不支持对背景
车流中部分车辆的主动交互式控制，从而无法实现仿真无人驾驶系统与背景车辆进行v2v
主动交互的需求。

[0007] 3.无法满足多ICU以及人机“共时空”测试的高性能需求

[0008] 现有仿真测试系统往往面向单个ICU独立进行测试。由于多传感器实时仿真的性能制约，难以支持多种类型的多个ICU在同一个场景中的“共时空”高性能快速测试；并且，
其也难以支持人类驾驶员与ICU的“共时空”测试。

发明内容

[0009] 本发明提供了基于城市环境随机生成和虚拟交通流注入的无人驾驶仿真测试系统，能够支持多类ICU以及ICU与人类驾驶员的“共时空”高性能测试。

[0010] 本发明所采用的技术方案是：

[0011] 一种无人驾驶仿真测试系统，特征是，从整体系统框架上(架构如图1所示)包括虚拟城市场景参数化生成模块、仿真服务器模块、交通流仿真模块、多ICU及人机交互模块、动
力学仿真模块和数据交互中间件；虚拟城市场景参数化生成模块可实现虚拟城市场景的参
数化自动生成，模拟不同风格的大规模路测场景；仿真服务器模块实现仿真过程中的各类
传感器以及场景物理交互行为仿真，以及实现多ICU多传感器的恒定帧率异步仿真机制；交
通流仿真模块实现虚拟交通流的混合注入，实现仿真场景中的大规模背景车流的生成和动
态交互；多ICU及人机交互模块实现面向多ICU以及“人、机”混合的无人驾驶仿真；动力学仿
真模块实现被测车辆的真实车辆动力学仿真；数据交互中间件模块实现上述仿真模块之间
的信息同步和高性能传输。

[0012] 通过整体设计和细节算法创新，本发明实现了高性能的多ICU以及人机“共时空”仿真测试系统。

[0013] 通过多ICU“共时空”测试可以增加仿真测试场景的多样性和不确定性，将人类的理解、判断和反映嵌入到统一的仿真环境中。由于人类驾驶员行为的不可预测性，人机“共
时空”仿真对于发现无人驾驶算法的潜在故障很有价值，而且危险场景(例如醉酒驾驶、逆
向行驶等)能够通过人类驾驶员的操控快速在仿真测试系统中呈现，从而提高测试效率，降
低测试成本，提高测试的真实性和智能性。

[0014] 提出基于GPU加速的多线激光雷达仿真，以及异步的多传感器仿真机制，大幅提高了多ICU、多传感器仿真的效率。

[0015] 实现了面向大规模无人驾驶仿真测试需求的大规模场景构建。

[0016] 基于程序化建模手段，参数化生成大规模分级城市路网，通过预设人口分布密度权重进行空间分布约束，实现模拟整体城市形态的仿真。使用形状语法基于参数对建筑物
模型进行自动建模，通过对主要建筑类型的结构特点进行归纳，并定量地用参数进行表示。
实现了城市的多风格、参数化生成过程。从而支持无人驾驶系统在逼真且多样的城市环境
中的大规模测试。

[0017] 实现了兼顾高性能和灵活性的交通流真实仿真。

[0018] 通过消息传输中间件，将仿真测试系统的测试状态、背景车辆与专业的微观交通流仿真进行同步，保证了仿真测试环境的高性能、灵活性和真实性。提出可交互控制的背景
车模型，通过交通流仿真与客户端协同进行控制，实现被测车与背景车之间的主动交互仿
真,实现车车通讯测试。

附图说明

[0019] 图1“共时空”无人驾驶仿真测试系统模块图

[0020] 图2虚拟城市场景参数化生成模块模块示意

[0021] 图3GPU加速的激光雷达仿真流程示意

[0022] 图4传感器异步仿真流程示意

[0023] 图5交通流仿真混合注入与多ICU及人机交互模块示意

具体实施方式

[0024] 以下结合附图对本发明的具体实施方式进行详细说明。

[0025] 一种无人驾驶仿真测试系统，特征是，从整体系统框架上(架构如图1所示)包括虚拟城市场景参数化生成模块、仿真服务器模块、交通流仿真模块、多ICU及人机交互模块、动
力学仿真模块和数据交互中间件；虚拟城市场景参数化生成模块可实现虚拟城市场景的参
数化自动生成，模拟不同风格的大规模路测场景；仿真服务器模块实现仿真过程中的各类
传感器以及场景物理交互行为仿真，以及实现多ICU多传感器的恒定帧率异步仿真机制；交
通流仿真模块实现虚拟交通流的混合注入，实现仿真场景中的大规模背景车流的生成和动
态交互；多ICU及人机交互模块实现面向多ICU以及“人、机”混合的无人驾驶仿真；动力学仿
真模块实现被测车辆的真实车辆动力学仿真；数据交互中间件模块实现上述仿真模块之间
的信息同步和高性能传输。

[0026] 详述如下：

[0027] 如图2所示，所述虚拟城市场景参数化生成模块采用路网生成和建筑物生成两步策略，其包括多等级城市路网生成模块和多风格建筑物生成模块，分别可以参数化随机生
成多等级的城市路网模型和多风格的建筑物模型，将路网模型和建筑物模型导入到仿真环
境，二者构成了大规模无人驾驶仿真场景，如此具有真实感的大规模、多样化的虚拟城市场
景为无人驾驶提供测试基础。

[0028] 具体的，所述多等级城市路网生成模块，实现方法如下：

[0029] 首先，对现有城市道路根据其宽度等进行三级划分，构造分级的道路参数；同时，制作或获取先验的城市人口、功能分区底图数据；提供给下步骤；

[0030] 接着，采用蒙特卡洛过程对城市的路网密度权重进行采样；提供给下步骤；

[0031] 最后，利用L‑systems生成随机且真实的多级(实施例为三级)的城市路网模型，提供给多风格建筑物生成模块。

[0032] 具体的，所述多风格建筑物生成模块，实现方法如下：

[0033] 首先，对城市建筑物形态参数进行归纳，根据层高、屋顶形态、平面面积等分为住宅、高层、办公楼、工业建筑，分别构造不同形态风格建筑物的形状语法脚本；提供给下步
骤；

[0034] 接着，对建筑物形状语法脚本中的参数进行扰动；同时，基于多等级城市路网生成模块生成的路网模型，提取封闭的街区区域；提供给下步骤；

[0035] 最后，利用形状语法程序建模的方法结合可配置的建筑物风格参数和封闭街区区域，生成随机且逼真的多风格多样化的虚拟三维的城市建筑物模型。

[0036] 此方法通过对真实城市形态进行归纳建模，并在此基础上形成对道路的三级参数划分，以及对建筑物多种形态风格的参数化，利用蒙特卡洛采样人口密度与L‑system算法
生成随机且接近真实的三级城市路网。然后，提取封闭街区，自动化地利用形状语法生成参
数化、可配置的风格可定义的虚拟三维城市场景。并对参数进行随机扰动从而对仿真测试
场景引入随机性。一方面提高仿真测试的性能，另一方面为决策与规划算法的自学习提供
大规模的样本数据。

[0037] 如图5所示仿真服务器模块、多ICU及人机交互模块、交通流仿真模块，其中：

[0038] 所述仿真服务器模块对多种传感器数据仿真并生成各类仿真传感器数据，完成对被测车的仿真，而交通流仿真模块通过交通流仿真混合注入机制实现了除被测车之外的交
通流仿真,两者实现仿真系统的背景交通流仿真和注入；多ICU及人机交互模块实现多个
ICU以及人工驾驶车辆的共同仿真，多ICU以及人机“共时空”测试允许在同一个仿真测试场
景中引入多个ICU以及多个人类测试员，实现ICU和人类驾驶员所控制的仿真车辆均在同一
个虚拟的时空系统下，独立实行决策，各个行为发生的时空一致并互相可见。

[0039] 具体的，多ICU及人机交互模块中：

[0040] ICU根据自身获得的仿真决策数据进行决策和规划，并反馈到仿真环境中。

[0041] 人类通过人机交互界面，观察客户端的仿真结果并将自身的控制结果通过客户端反馈到仿真环境中。

[0042] 具体的，所述多ICU及人机交互模块，在该模块中生成客户端，该客户端根据功能可细分为测试车客户端、以及交互式背景车客户端；客户端在仿真服务器模块中生成对应
的仿真车辆，包括测试车和交互背景车；ICU通过数据交互中间件模块(已有技术)与测试车
客户端进行链接，接受仿真服务器模块所生成的各类仿真传感器数据，并向客户端输入控
制指令，实现测试车辆的接入仿真；人类驾驶员通过人机交互界面，观察测试车客户端的各
类传感器仿真数据的可视化结果(例如图像)，并将自身的控制结果通过客户端反馈到仿真
环境中，实现人类驾驶接入仿真；如此，ICU以及人类驾驶员可利用同样机制与交互式背景
车客户端进行链接，实现背景交通流的个体交互式控制。

[0043] 具体的，仿真服务器模块包括相机仿真、定位传感器仿真和多线激光雷达仿真；所述相机仿真，通过图形渲染技术获得图像数据(已有技术)；所述定位传感器仿真，通过对仿
真对象在运动中的坐标的获取得到对象的位姿(已有技术)；所述多线激光雷达仿真，得到
点云数据。

[0044] 具体的，仿真服务器模块中，针对多线激光雷达仿真，提出基于GPU加速的多线激光雷达仿真算法，通过快速渲染的包围车辆的多张深度图像，在此之上构建可配置的激光
雷达采样模型，对多张深度图进行深度采样，并对采样结果进行滤波。大幅提升多线激光雷
达点云生成的性能。

[0045] 所述基于GPU加速的多线激光雷达仿真算法，流程如图3。

[0046] 首先，生成覆盖车辆的多个视角的虚拟相机对象示例，利用GPU快速渲染计算能力渲染1000x1000分辨率的深度图，共计4张或6张；提供给下步骤；

[0047] 接着，基于每一个激光雷达坐标系与车辆坐标系之间的变换关系参数，得到深度图与每个激光雷达之间的位姿关系变换矩阵参数，提供给下步骤；

[0048] 接着，基于输入的每一台激光雷达的扫描线参数，生成每个激光雷达的所有激光束向量，提供给下步骤；

[0049] 接着，利用并行方法，求取激光束向量在深度图中的深度值采样；提供给下步骤。

[0050] 然后，对初始深度值进行局部滤波平滑处理，并经过虚拟相机透视矫正，得到激光雷达的点云数据。

[0051] 针对多ICU、多传感器快速仿真的需求，提出面向多客户端中多传感器的异步仿真机制，利用令牌实现多传感器的的恒定帧率仿真，大幅提升多ICU以及人工驾驶共同仿真的
整体性能。

[0052] 所述传感器异步仿真机制，具体流程如图4。

[0053] 首先，对所有ICU的同类传感器进行全局管理，生成所需仿真的全部传感器对象实例，提供给下步骤。

[0054] 接着，生成令牌，并将令牌传递给其中一个同类传感器，运行该传感器的仿真算法，进入下一步骤。

[0055] 然后，该传感器释放令牌，并传递给另外一个未运行仿真的同类传感器,重复上述过程。

[0056] 上述过程中，在给定整体仿真服务器系统仿真帧率约束的前提下，每帧只有给定数目个同类传感器取得令牌并进行仿真渲染。该机制能够保证整体仿真帧率的恒定，从而
支持多个ICU多传感器的高性能共时空仿真。

[0057] 该技术同时支持多个测试客户端、多个交通对象以及人机混合测试。传统仿真系统中多个传感器的仿真必须同步完成，因此会显著影响系统的仿真效率，无法保证“共时
空”仿真的高实时性。该技术使仿真频率在引入更多传感器时仍恒定在一定范围内。大幅提
升多ICU以及人工驾驶共同仿真的整体性能。

[0058] 具体的，所述交通流仿真模块包括微观交通流仿真系统(已有技术)，通过将微观交通流仿真系统和仿真服务器模块中的仿真车辆同步的方式来实现背景交通流的注入。

[0059] 本发明“共时空”仿真系统中，所述交通流混合注入的机制为：

[0060] 首先，普通背景车由微观交通流仿真系统生成并进行控制，直接同步到仿真服务器模块中，实现大规模的交通流注入(已有技术)；

[0061] 其次，交互式背景车客户端由微观交通流仿真系统生成，并且接收ICU及人机交互模块中的交互式背景车客户端的控制指令，从而实现对交通流中个体行为可控的特殊测试
场景需求，如车车通讯；

[0062] 然后，测试车客户端由ICU及人机交互模块生成，并同步到微观交通流仿真系统中，实现仿真测试过程中与背景交通流之间的正确交互。

[0063] 本发明的“共时空”仿真测试系统内，上述多个仿真子模块之间在同一个时空的基准下进行联合仿真测试，其实现基础为支持信息分布式传输的数据交互中间件模块(该模
块基于udp协议实现，已为技术)。数据交互中间件模块针对不同的仿真数据的频率、带宽需
求，选择最佳的通讯手段。例如，原始仿真数据的传输对带宽有着很高的要求。而用于同步
各个仿真子模块以及多个ICU的时间戳和位姿戳信息，则需要尽量低的时延等。此外，不同
的ICU可能运行在异质的开发语言、系统平台之上，因此，连接ICU的数据交互中间件需要无
缝支持跨平台、跨语言下的消息解析。

[0064] 本发明“共时空”仿真系统中，车辆动力学模型的真实性是仿真测试系统的基本要求。无人驾驶系统中计算得到的车辆控制信息需要依据真实的车辆动力学模型仿真才能够
得到车辆真实的位姿变化量。仿真测试系统中的测试车辆的控制信息，包括方向盘转角、油
门和刹车开度，实时传输到动力学仿真模块(已有技术)中对车辆进行模拟，得到车辆的实
时位姿变化量，然后回传到服务器模块实现车辆位姿的更新。