基于数字孪生技术的自动驾驶车辆行为决策优化系统

摘要

本申请提供了一种基于数字孪生技术的自动驾驶车辆行为决策优化系统。该系统包括：数字孪生平台和并行处理云平台。数字孪生平台用于建立第一车辆对应的数字孪生系统，以及利用数字孪生系统对第一车辆待执行的第一行为决策进行仿真。并行处理云平台基于数字孪生平台仿真获得的仿真数据判断第一行为决策是否满足安全条件，以及在不满足的情况下，利用决策优化模型重新获得第一车辆的第二行为决策。该系统通过数字孪生平台对第一车辆的行为决策进行实时仿真计算，以及通过并行处理云平台实现对行为决策的实时动态优化，可以提高第一车辆在全生命周期中自动驾驶的安全性。

权利要求

1.一种自动驾驶车辆行为决策优化系统，其特征在于，所述系统包括：与第一车辆连接的数字孪生平台和并行处理云平台；所述数字孪生平台，用于利用数字孪生技术搭建所述第一车辆对应的数字孪生系统，以及基于所述第一车辆在当前时间的第一数据和历史时间的第一数据配置所述数字孪生系统的仿真环境；所述第一数据包括第一行为决策和第二数据；所述第一数据由所述第一车辆确定；所述第一车辆中包括感知模块、决策模块、底盘控制模块和/或域控制器模块，所述数字孪生系统中包括所述感知模块对应的感知模型、所述决策模块对应的决策模型、所述底盘控制模块对应的底盘控制模型和/或所述域控制器模块对应的域控制模型；

所述第二数据包括底盘控制模块和/或域控制器模块产生的控制信号、所述感知模块采集到的感知数据、中间计算数据、所述第一车辆的行驶规划数据、行车状态数据、所有实时数据及附加数据和系统运行机制特征；

其中，决策设备基于所述车辆包括几何尺寸、材料属性、电路结构和连接关系的物理数据，在仿真环境中采用CAD画图法、CAE近似数值分析法或有限元法对所述第一车辆的各部分进行数字化建模得到所述数字孪生系统；

所述数字孪生平台，还用于在所述仿真环境中，利用所述数字孪生系统仿真所述第一车辆执行所述第一车辆在所述当前时间的第一行为决策，确定所述第一车辆的仿真数据；

所述第一行为决策通过所述第一车辆上布置的决策模块基于所述第二数据获得，所述仿真数据指示所述第一车辆的安全性；

所述并行处理云平台，用于基于所述仿真数据判断所述当前时间的第一行为决策是否满足安全条件，以及在不满足所述安全条件的情况下，基于所述当前时间的所述第一数据，利用决策优化模型确定所述第一车辆在所述当前时间的第二行为决策并以整车状态报告的形式发送给所述第一车辆；所述整车状态报告包括整车系统当前状态、感知系统检测数据、路径规划数据、车辆故障信息、整车系统安全性在线评估结果、各系统时效性预警、异常状况监测及维修保养建议；

所述并行处理云平台，还用于将所述第二行为决策发送给所述第一车辆，以及同步将所述第二行为决策发送给所述数字孪生平台；其中，所述数字孪生平台利用所述数字孪生系统仿真所述第一车辆执行所述第二行为决策；由所述并行处理云平台、所述数字孪生平台和所述第一车辆整车运行系统之间执行同步迭代优化。

2.根据权利要求1所述的系统，其特征在于，所述仿真数据包括：数字孪生平台运行过程中所表征的数据集合，以及并行处理云平台在进行行为决策优化时所需要的所有数据；

所述第一车辆与第二车辆之间的距离、和/或所述第一车辆与障碍物之间的距离，其中，所述第二车辆包括所述第一车辆周围的车辆。

3.根据权利要求1所述的系统，其特征在于，所述控制信号、感知数据、规划数据、行车状态数据和中间计算数据包括：其中，所述感知数据包括道路数据、雷达数据、环境数据和地图数据；

所述控制信号包括底盘控制的制动信号、转向信号、驱动信号、挡位信号、车速信号、行驶方向信号、扭矩输出信号，以及域控制器的目标制动信号、目标转向信号、目标驱动信号、目标挡位信号和目标车速信号；

所述中间计算数据包括所述决策设备进行运行期间的计算推导的人工智能算法或经验公式产生的过程数据；

所述规划数据包括：全局行驶路径和局部行驶路径；

所述行车状态数据包括：行驶速度、加速度和底盘转动角度。

4.根据权利要求1所述的系统，其特征在于，所述基于所述当前时间的第一数据，利用决策优化模型确定所述第一车辆在所述当前时间的第二行为决策包括：在所述当前时间的第一数据中提取特征数据；

将所述特征数据输入所述决策优化模型，获得所述决策优化模型输出的所述当前时间的第二行为决策。

5.根据权利要求4所述的系统，其特征在于，所述决策优化模型采用监督学习算法和/或无监督学习算法构建；其中，所述监督学习包括随机森林、朴素贝叶斯分类器、最小二乘法、逻辑回归、支持向量机、卷积神经网络、BP神经网络，所述无监督学习包括聚类算法、K‑均值算法、SVD矩阵分析算法。

6.根据权利要求1所述的系统，其特征在于，所述并行处理云平台还用于存储所述第一车辆在所述历史时间的所述第一数据，以及根据所述第一车辆在所述历史时间的第一数据迭代更新所述决策优化模型的参数。

7.根据权利要求1所述的系统，其特征在于，所述并行处理云平台还用于：

基于所述当前时间的所述第一数据预测所述第一车辆在下一时间的所述第一数据；

基于所述下一时间的所述第一数据，利用所述决策优化模型确定所述第一车辆在下一时间的第二行为决策。

8.一种自动驾驶车辆行为决策优化方法，用于权利要求1‑7任一项所述的系统，其特征在于，所述方法包括：获取第一车辆在当前时间和历史时间的第一数据；所述第一数据包括第一行为决策和第二数据；

所述第二数据包括底盘控制模块和/或域控制器模块产生的控制信号、所述感知模块采集到的感知数据、中间计算数据、所述第一车辆的行驶规划数据、行车状态数据、所有实时数据及附加数据和系统运行机制特征；基于所述第一车辆在当前时间和历史时间的第一数据配置数字孪生系统的仿真环境，所述数字孪生系统利用数字孪生技术搭建；

其中，基于包括几何尺寸、材料属性、电路结构和连接关系的物理数据，在仿真环境中采用CAD画图法、CAE近似数值分析法或有限元法，利用决策设备对所述车辆的各部分进行数字化建模得到所述数字孪生系统；

在所述仿真环境中，利用所述数字孪生系统仿真所述第一车辆执行所述当前时间的第一行为决策，确定所述第一车辆的仿真数据；所述仿真数据指示所述第一车辆安全性；

在基于所述仿真数据确定所述当前时间的第一行为决策不满足安全条件的情况下，基于所述当前时间的第一数据，利用决策优化模型确定所述第一车辆在所述当前时间的第二行为决策并以整车状态报告的形式发送给所述第一车辆；所述整车状态报告包括整车系统当前状态、感知系统检测数据、路径规划数据、车辆故障信息、整车系统安全性在线评估结果、各系统时效性预警、异常状况监测及维修保养建议。

说明书

基于数字孪生技术的自动驾驶车辆行为决策优化系统

技术领域

[0001] 本申请涉及自动驾驶技术领域，尤其涉及一种基于数字孪生技术的自动驾驶车辆行为决策优化系统。

背景技术

[0002] 随着互联网、大数据、云计算、人工智能技术的深入推进，当今社会进入万物互联、万物智能的智能化时代。汽车产业与高性能计算芯片、人工智能、物联网等新一代信息技术深度融合，自动驾驶技术逐渐成为业界焦点。自动驾驶能够有效降低交通风险，提高驾驶安全性，同时节省大量的社会时间成本、劳动力成本，提高城市运转效率，是汽车制造业及汽车出行服务的一次变个性的产业升级时机。

[0003] 自动驾驶汽车集车辆工程，人工智能，计算机科学，自动控制等多学科于一体，涉及多学科、多场景、多领域。目前，在自动驾驶中，在使用有限状态机模型对车辆的行为进行决策时，有限状态机模型无法根据车辆时变的状态和环境进行针对性的决策，导致决策结果存在一定的局限性，会降低车辆的驾驶安全性。

发明内容

[0004] 本申请提供了一种基于数字孪生技术的自动驾驶车辆行为决策优化系统，通过使用车辆对应的数字孪生系统对车辆的行为决策进行安全性验证，在验证不通过的情况下重新确定车辆的行为决策，可以提高车辆行驶的安全性。

[0005] 第一方面，本申请实施例提供了一种自动驾驶车辆行为决策优化系统。该系统包括：与第一车辆连接的数字孪生平台和并行处理云平台。

[0006] 其中，所述数字孪生平台，用于利用数字孪生技术搭建所述第一车辆对应的数字孪生系统，以及基于所述第一车辆在当前时间的第一数据和历史时间的第一数据配置所述数字孪生系统的仿真环境；所述第一数据包括第一行为决策和第二数据；所述第一数据由所述第一车辆确定。

[0007] 其中，所述数字孪生平台，还用于在所述仿真环境中，利用所述数字孪生系统仿真所述第一车辆执行所述第一车辆在所述当前时间的第一行为决策，确定所述第一车辆的仿真数据；所述仿真数据指示所述第一车辆的安全性；

[0008] 其中，所述并行处理云平台，用于基于所述仿真数据判断所述当前时间的第一行为决策是否满足安全条件，以及在不满足所述安全条件的情况下，基于所述当前时间的第一数据，利用决策优化模型确定所述第一车辆在所述当前时间的第二行为决策。

[0009] 上述方案中，根据当前时间和历史时间的第一数据配置数字孪生系统的仿真环境，可以使数字孪生系统与第一车辆实际的工作环境一致，实现对第一车辆的全生命周期建模和仿真。其中，使用数字孪生系统实时的对车辆的第一行为决策进行仿真，以及通过并行处理云平台实时的基于数字孪生平台的仿真数据判断第一行为决策是否满足安全条件，以及在不满足的情况下，重新获得车辆的第二行为决策，以提高车辆自动驾驶的安全性。

[0010] 在一种可能的实施方式中，所述并行处理云平台，还用于将所述第二行为决策发送给所述第一车辆，以及将所述第二行为决策发送给所述数字孪生平台；其中，所述数字孪生平台利用所述数字孪生系统仿真所述第一车辆执行所述第二行为决策

[0011] 在一种可能的实施方式中，所述车辆中包括感知模块、决策模块、底盘控制模块和/域控制器模块，所述数字孪生系统中包括所述感知模块对应的感知模型、所述决策模块对应的决策模型、所述底盘控制模块对应的底盘控制模型和/或所述域控制器模块对应的域控制模型。

[0012] 在一种可能的实施方式中，所述第二数据包括：控制信号、感知数据、规划数据、行车状态数据和中间计算数据。

[0013] 其中，所述感知数据由所述感知模块采集，所述感知数据包括道路数据、雷达数据、环境数据和地图数据。

[0014] 其中，所述感知模块可以包括：用于采集道路交通数据和地图数据的图像传感器、用于采集雷达数据的雷达以及用于采集环境数据的第一传感器。本申请不做限定感知模块包含的传感器的种类和数量。

[0015] 在一种可能的实施方式中，所述第一行为决策由所述决策模块根据所述第二数据确定。

[0016] 在一种可能的实施方式中，所述基于所述当前时间的第一数据，利用决策优化模型确定所述第一车辆在所述当前时间的第二行为决策包括：

[0017] 在所述当前时间的第一数据中提取特征数据；

[0018] 将所述特征数据输入所述决策优化模型，获得所述决策优化模型输出的所述当前时间的第二行为决策。

[0019] 在一种可能的实施方式中，所述并行处理云平台还用于存储所述第一车辆在历史时间的第一数据，以及根据所述历史时间的第一数据迭代更新所述决策优化模型的参数。

[0020] 在一种可能的实施方式中，所述并行处理云平台还用于：

[0021] 基于所述当前时间的第一数据预测所述第一车辆在下一时间的第一数据；

[0022] 基于所述下一时间的第一数据，利用所述决策优化模型确定所述第一车辆在下一时间的第二行为决策。

[0023] 第二方面，本申请还提供一种自动驾驶车辆行为决策优化方法。该方法包括：

[0024] 获取第一车辆在当前时间和历史时间的第一数据；所述第一数据包括第一行为决策和第二数据；

[0025] 基于所述第一车辆在当前时间和历史时间的第一数据配置所述数字孪生系统的仿真环境，所述数字孪生系统利用数字孪生技术搭建；

[0026] 在所述仿真环境中，利用所述数字孪生系统仿真所述第一车辆执行所述当前时间的第一行为决策，确定所述第一车辆的仿真数据；所述仿真数据指示所述第一车辆的安全性；

[0027] 在基于所述仿真数据判断所述当前时间的第一行为决策不满足安全条件的情况下，基于所述当前时间的第一数据，利用决策优化模型确定所述第一车辆在所述当前时间的第二行为决策。

[0028] 第三方面，本申请还提供一种自动驾驶车辆行为决策优化装置。该装置包括：

[0029] 获取模块，用于获取第一车辆在当前时间和历史时间的第一数据；所述第一数据包括第一行为决策和第二数据；

[0030] 配置模块，用于基于所述第一车辆在当前时间和历史时间的第一数据配置所述数字孪生系统的仿真环境；所述数字孪生系统利用数字孪生技术搭建；

[0031] 仿真模块，用于在所述仿真环境中，利用所述数字孪生系统仿真所述第一车辆执行所述当前时间的第一行为决策，确定所述第一车辆的仿真数据；所述仿真数据指示所述第一车辆的安全性；

[0032] 优化模块，用于在基于所述仿真数据判断所述当前时间的第一行为决策不满足安全条件的情况下，基于所述当前时间的第一数据，利用决策优化模型确定所述第一车辆在所述当前时间的第二行为决策。

附图说明

[0033] 图1是本申请实施例提供的一种自动驾驶车辆行为决策优化方法的流程图；

[0034] 图2是本申请实施例提供的一种决策优化模型的训练方法的流程图；

[0035] 图3是本申请实施例提供的一种自动驾驶车辆行为决策优化的结构示意图；

[0036] 图4是本申请实施例提供的一种自动驾驶车辆行为决策优化装置的结构示意图；

[0037] 图5是本申请实施例提供的一种用于训练决策优化模型的模型训练装置的结构示意图；

[0038] 图6是本申请实施例提供的一种计算设备的结构示意图。

具体实施方式

[0039] 为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本申请实施例中的技术方案进行描述。

[0040] 在本申请实施例的描述中，“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。

[0041] 在本申请实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个屏幕终端是指两个或两个以上的屏幕终端。

[0042] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

[0043] 自动驾驶是一个集感知、决策规划和控制执行功能的综合系统，充分考虑车辆与交通环境的协调规划，是未来智能交通系统的重要组成部分。其中，行为决策属于决策规划层，是依据获取的感知数据进行行为判断，对识别到的物体的位置、速度、方向等进行行为预测，制定车辆相应的控制策略。自动驾驶具体是将控制策略转化为时间维度和空间维度的信息，并基于该信息输出宏观的决策指令供车辆执行模块更具体地执行，可以实现替代人类驾驶员做出驾驶决策的目的。

[0044] 在车辆采用有限状态机模型预测驾驶行为的情况下，可以通过构建有限的有向连通图来描述不同的驾驶状态以及驾驶状态之间的转换关系以获得有限状态机模型，有限状态机模型从而根据当前的驾驶状态生成下一时间的驾驶状态。该模型的优点是简单、易行，缺点是忽略了环境的动态性和不确定性，只适用于较为简单的场景。

[0045] 基于上述分析，本申请实施例提供一种基于数字孪生的车辆行为决策方法。该方法可以用于决策设备，目的在于使用车辆的数字孪生系统对车辆的行为决策进行验证，在不满足设置的安全条件的情况下，重新确定车辆的行为决策，从而提高车辆行驶的安全性。

[0046] 图1是本申请实施例提供的一种自动驾驶车辆行为决策优化方法。如图1所示，该方法包括如下的步骤S101‑步骤S104。

[0047] 步骤S101、获取第一车辆在当前时间和历史时间的第一数据。

[0048] 第一车辆可以实时的将第一数据发送给决策设备，以对第一车辆的进行行为决策优化。第一数据包括第一行为决策和第二数据，其中，第二数据包括控制信号、感知数据、规划数据和行车状态数据等，以实现对车辆的全量数据建模。

[0049] 第一车辆上布置有感知模块、决策模块、底盘控制模块和域控制器模块等部分。其中，底盘控制模块包括但不限于传统动力总成模块、新能源动力总成模块、传动系统模块、车身系统模块和电子系统模块。

[0050] 感知数据可以包括道路数据、雷达数据、环境数据和地图数据。其中，环境数据可以包括：气温、风速、湿度、光照强度。雷达数据可以包括机械激光雷达数据、固态激光雷达数据、毫米波雷达数据和红外线雷达数据。道路数据可以包括：道路拓扑结构、交通灯信号和交通标志。环境数据可以包括：气温、风速、湿度、光照强度、道路拓扑结构数据、交通数据、障碍物数据、地图数据、位置数据等外界因素，其中，交通数据可以包括交通灯信号和交通标志。

[0051] 控制信号可以包括：底盘控制的制动信号、转向信号、驱动信号、挡位信号、车速信号、行驶方向信号、扭矩输出信号，以及域控制器的目标制动信号、目标转向信号、目标驱动信号、目标挡位信号和目标车速信号等。

[0052] 规划数据可以包括：全局行驶路径和局部行驶路径等。

[0053] 行车状态数据可以包括：行驶速度、加速度和底盘转动角度等。

[0054] 并且，第一车辆的感知模块可以包括采集获得前述各种感知数据的传感器，例如，传感器可以包括图像传感器和雷达等。

[0055] 第一车辆可以通过第一车辆上布置的决策模块基于前述的第二数据获得第一车辆的第一行为决策。第一行为决策还可以由决策设备上布置的第一车辆对应的数字孪生系统中的决策模型基于前述第二数据获得。具体地，决策设备接收到第一车辆发送的第一数据时，使用该第一数据配置数字孪生系统的仿真环境，还可以在仿真环境中利用数字孪生系统获得第一车辆的第一行为决策。

[0056] 可选地，第一车辆和决策设备之间可以采用信息流数据传递总线连接并传递数据。其中，信息流数据传递总线的形式包括但不限于有限传输技术、无线传输技术、量子传输技术。有线传输技术包括但不限于CAN总线传输技术，Flexray总线传输技术和MOST总线传输技术，所述无线传输技术包括但不限于蓝牙连接传输、4G网络连接传输、5G网络连接传输、WLAN连接传输。采用丰富多样的数据传输形式很好的解决了预期功能安全的问题，即当一种数据传输出现故障时可以有效地采用另一种数据传输形式来代替。

[0057] 第二数据还可以包括：整车时变数据主要包括前述控制信号、感知数据和行驶路径之外的所有实时数据及附加数据，可以更好的提高整车运行系统的完备性和有效性；

[0058] 第二数据还可以包括：系统运行机制特征。系统运行机制特征主要指所属领域或范畴的理论方法或机制，可以包括用于决策设备进行运行期间的计算推导的人工智能算法或经验公式，以及对实时滚动迭代数据的进行分析和更新的有效方法，人工智能算法包括但不限于监督学习的随机森林、朴素贝叶斯分类器、最小二乘法、逻辑回归、支持向量机、集成学习等，无监督学习的聚类算法、K‑均值算法、SVD矩阵分析算法等，以及强化学习、深度学习、机器学习算法中一种或多种任意组合，此类理论方法或经验公式的计算均为现今的智能计算方法或大量的实验经验所得，对本申请的方案具有极强的应用性。

[0059] 步骤S102、基于第一车辆在当前时间和历史时间的第一数据配置数字孪生系统的仿真环境。

[0060] 决策设备可以预先利用数字孪生技术建立第一车辆对应的数字孪生系统。数字孪生系统中包括包括所述感知模块对应的感知模型、所述决策模块对应的决策模型、所述底盘控制模块对应的底盘控制模型和/或所述域控制器模块对应的域控制模型。具体地，决策设备可以基于车辆的包括但不限于几何尺寸、材料属性、电路结构和连接关系的物理数据，在仿真环境中采用CAD画图法、CAE近似数值分析法或有限元法将所述车辆的各部分进行数字化建模，从而在仿真环境中获得与实际车辆的相同的数字孪生系统。

[0061] 在一个示例中，第一车辆对应的数字孪生系统还可以由模型设备基于数字孪生技术构建完成之后发送给决策设备。

[0062] 决策设备接收到第一车辆发送的第一数据时，根据第一数据配置数字孪生系统的仿真环境。

[0063] 步骤S103、在仿真环境中，利用数字孪生系统仿真第一车辆执行第一车辆在当前时间的第一行为决策，确定第一车辆的仿真数据。

[0064] 决策设备在获得第一车辆的第一行为决策之后，将第一行为决策输入数字孪生系统的决策模型，决策模型将第一行为决策中的指令发送给数字孪生系统中的域控制器模块和底盘控制器模块，并且在仿真环境中进行仿真计算，获得仿真数据。仿真数据指示所述第一车辆的安全性。

[0065] 仿真数据包括数字孪生平台运行过程中所表征的数据集合，以及并行处理云平台在进行行为决策优化时所需要的所有数据。

[0066] 例如，所述仿真数据可以包括：所述第一车辆与第二车辆之间的距离、和/或所述第一车辆与障碍物之间的距离；其中，所述第二车辆包括所述第一车辆周围的车辆。

[0067] 步骤S104、基于仿真数据判断当前时间的第一行为决策是否满足第一车辆的安全条件。

[0068] 决策设备在获得数字孪生系统输出的仿真数据之后，将仿真数据与预先设定的第一车辆的安全条件进行分析比较。当仿真数据与安全条件不符时，确定当前时间的第一行为决策不满足第一车辆的安全条件，决策设备执行下面的步骤S106。当仿真数据与安全条件相符时，确定当前时间的第一行为决策满足第一车辆的安全条件，决策设备直接执行后续的步骤S107。

[0069] 其中，第一车辆的安全条件可以根据仿真数据和实际的安全需要进行设置。例如，基于前述示出的仿真数据，安全条件可以设置为：第一车辆与第二车辆之间的距离大于1m，第一车辆与障碍物之间的距离大于30cm等。

[0070] 步骤S105、基于当前时间的第一数据，利用决策优化模型确定第一车辆在当前时间的第二行为决策。

[0071] 决策设备在判断出当前时间的第一行为决策不满足安全条件时，可以基于步骤S101获得的第一数据，利用预先训练的决策优化模型重新确定第一车辆的行为决策，即第二行为决策，并执行步骤S106。具体地，决策设备可以在第一数据中提取特征数据，将特征数据输入决策优化模型，获得决策优化模型输出的第二行为决策。

[0072] 其中，决策优化模型的训练过程在后文中结合图4详细说明，此处不再赘述。

[0073] 步骤S106、将第一行为决策或者第二行为决策发送给第一车辆。

[0074] 在一个示例中，当当前时间的第一行为决策满足安全条件、且第一行为决策由第一车辆的决策模块获得时，决策设备可以向第一车辆发送指令，该指令指示第一车辆按照第一行为决策进行自动驾驶控制。

[0075] 在一个示例中，当当前时间的第一行为决策不满足安全条件时，如图2所示，决策设备可以将第二行为决策发送给第一车辆，第一车辆按照第二行为决策进行自动驾驶控制。

[0076] 图2是本申请实施例提供的一种决策优化模型的训练方法的流程图。如图4所示，该方法包括如下的步骤S201‑步骤S203。

[0077] 步骤S201、获取第一车辆的多个训练样本，每个训练样本包括历史第一数据及其对应的历史行为决策。

[0078] 数据库中记录了第一车辆全生命周期的数据和行为决策。模型设备可以在数据库中获得第一车辆的多个训练样本。其中，第一车辆可以在每次执行行为决策之后，将感知数据及其对应的行为决策发送给模型设备进行存储。

[0079] 历史第一数据及其对应的历史行为决策可以是第一车辆在该历史时间的实际行驶策略。

[0080] 步骤S202、提取每个历史第一数据中的特征数据。

[0081] 模型设备可以利用预先设置的特征提取方法提取每个历史第一数据中的特征数据。

[0082] 步骤S203、利用每个历史第一数据对应的特征数据和历史行为决策更新决策优化模型的参数。

[0083] 决策优化模型可以采用监督学习算法和/或无监督学习算法中的一种算法构建，或者由前述的多种算法组合获得。其中，监督学习可以包括随机森林、朴素贝叶斯分类器、最小二乘法、逻辑回归、支持向量机、卷积神经网络、BP神经网络等，无监督学习可以包括聚类算法、K‑均值算法、SVD矩阵分析算法等。

[0084] 以监督学习为例，模型设备在获得初始的决策优化模型之后，可以将前述每个历史第一数据对应的特征数据输入决策优化模型中，获得决策优化模型输出的行为预测策略。并且，模型设备可以基于预先设置的损失函数，计算每个历史第一数据对应的行为预测策略和历史行为策略之间的损失值，根据获得的损失值调整决策优化模型的参数，直至满足决策优化模型的训练条件。其中，训练条件可以包括决策优化模型输出的行为预测策略和历史行为策略之间的损失值小于阈值。

[0085] 基于前述图1所示的自动驾驶车辆行为决策优化方法实施例，本申请还提供一种自动驾驶车辆行为决策优化系统。

[0086] 图3是本申请还提供一种自动驾驶车辆行为决策优化系统的结构示意图。如图3所示，系统包括：与第一车辆连接的数字孪生平台301和并行处理云平台302。

[0087] 数字孪生平台301用于利用数字孪生技术搭建第一车辆对应的数字孪生系统，数字孪生系统与第一车辆的实际物理系统保持一致，具体介绍可以参见前述方法实施例中的描述。

[0088] 数字孪生平台301还用于基于第一车辆在当前时间和历史时间的第一数据配置数字孪生系统的仿真环境，使数字孪生系统的仿真环境与第一车辆的工作环境一致。第一数据包括第二数据和第一行为决策。

[0089] 数字孪生平台301还用于获取第一车辆在当前时间的第一行为决策，利用数字孪生系统仿真第一车辆执行第一车辆在当前时间的第一行为决策，从而确定第一车辆的仿真数据；所述仿真数据指示所述第一车辆的安全性；所述第一数据由所述第一车辆上传。

[0090] 并行处理云平台302用于基于所述仿真数据判断当前时间的第一行为决策是否满足安全条件，以及在当前时间的第一行为决策不满足所述安全条件的情况下，基于当前时间的第一数据，利用决策优化模型重新确定第一车辆在所述当前时间的第二行为决策。

[0091] 并行处理云平台302还用于将第二行为决策发送给第一车辆，以及将第二行为决策发送给所述数字孪生平台；其中，所述数字孪生平台利用所述数字孪生系统仿真第一车辆执行第二行为决策。

[0092] 在一个示例中，并行处理云平台302还用于存储第一车辆的历史第一数据，实现对第一车辆的全生命周期数据进行监控。历史数据能够有效的提供模型优化、数据迭代更新、数据分析、方法改进、完善功能、经验总结等功能，从而改进自动驾驶汽车的行为决策方法。例如，并行处理云平台302可以根据所述历史第一数据迭代更新所述决策优化模型的参数。

[0093] 在一个示例中，并行处理云平台302还用于：基于所述当前时间的第一数据预测所述第一车辆在下一时间的第一数据；基于所述下一时间的第一数据，利用所述决策优化模型确定所述第一车辆在下一时间的第二行为决策。

[0094] 在一个示例中，并行处理云平台302可以将第二行为决策发送给第一车辆的终端显示设备显示。

[0095] 在一个示例中，并行处理云平台发送的行为决策可以采用整车状态报告形式，内容除具体执行指令之前，还可以包括但不限于实际整车系统当前状态、感知系统检测数据、路径规划数据、车辆故障信息、整车系统安全性在线评估结果、各系统时效性预警、异常状况监测及维修保养建议。

[0096] 上述系统中，经过并行处理云平台、数字孪生平台和整车运行系统之间的滚动迭代优化，数字孪生平台会将整合及分析评估结果反馈至虚拟仿真系统，虚拟仿真系统迭代更新后，再通过并行处理云平台将数据传输至实际整车，实现整车‑云端‑虚拟的回环交互，更加精准、高效、安全的自动驾驶汽车的行为决策优化方法。

[0097] 并且，该系统具有动态优化行为决策能力、提高感知系统数据处理效率、分析整车路径规划、监测整车底盘系统运行状态及系统故障信息、优化整车控制方法的功能，做到全生命周期的行为决策优化、整车安全保障和在线监测管理，能够极大地提高自动驾驶汽车的安全性、可靠性，并节约开发成本。

[0098] 上述并行处理云平台可以实现存储和计算大量的数据，还能够实现对车辆实时状态监测以及一定时空内的状态预测，实现物理实物和虚拟仿真系统的同步优化、状态估计、故障评估和风险预测，以及全生命周期的性能监测和安全管理。此外，在并行处理云平台的高效算力和处理下，将得到的数据进行二次开发，持续计算实物与仿真模型的关键指标和参数，可以更进一步的推进实际整车运行系统的行为决策方法在内的多目标优化。

[0099] 基于前述图2所示的车辆行为决策方法实施例，本申请还提供一种车辆行为决策装置。

[0100] 图4是本申请实施例提供的一种自动车辆驾驶行为决策优化装置400的结构示意图。该优化装置400可以应用前述的决策设备。如图4所示，该优化装置400包括：获取模块401、配置模块402、仿真模块403和优化模块404。

[0101] 其中，获取模块401，用于获取第一车辆在当前时间和历史时间的第一数据，第一数据包括第二数据和第一行为决策。

[0102] 其中，配置模块402，用于基于所述第一车辆在当前时间和历史时间的第一数据配置所述数字孪生系统的仿真环境；所述数字孪生系统利用数字孪生技术搭建。

[0103] 其中，仿真模块403，用于在所述仿真环境中，利用所述数字孪生系统仿真所述第一车辆执行所述第一行为决策，确定所述第一车辆的仿真数据；所述仿真数据指示所述第一车辆的安全性。

[0104] 其中，优化模块404，用于在基于所述仿真数据确定所述当前时间的第一行为决策不满足安全条件的情况下，基于所述当前时间的第一数据，利用决策优化模型确定所述第一车辆在所述当前时间的第二行为决策。

[0105] 上述优化装置400中各个功能模块的具体执行过程可以参见前述图1所示方法实施例中的介绍，此处不再赘述。

[0106] 基于前述图2所示的决策优化模型的训练方法实施例，本申请还提供一种模型训练装置。

[0107] 图5是本申请实施例提供的一种车辆行为模型训练装置500的结构示意图。该模型训练装置500可以应用于前述的模型设备。如图5所示，该模型训练装置500包括：获取模块501、特征模块502和训练模块503。

[0108] 其中，获取模块501，用于获取第一车辆的多个训练样本，每个训练样本包括历史第一数据及其对应的历史行为决策。

[0109] 其中，特征模块502，用于提取每个历史第一数据中的特征数据。

[0110] 其中，训练模块503，用于利用每个历史第一数据对应的特征数据和历史行为决策更新决策优化模型的参数。

[0111] 上述模型训练装置500各个功能模块的具体执行过程可以参见前述图2所示方法实施例中的介绍，此处不再赘述。

[0112] 图6是本申请实施例提供一种计算设备600的硬件结构示意图。该计算设备600可以为上述决策设备或者上述模型设备。该计算设备600还可以为上述的数字孪生平台或者并行处理云平台。

[0113] 参见图6，该计算设备600包括处理器601、存储器602、通信接口603和总线804，处理器601、存储器602和通信接口603通过总线804彼此连接。处理器601、存储器602和通信接口603也可以采用除了总线804之外的其他连接方式连接。

[0114] 其中，存储器602可以是各种类型的存储介质，例如随机存取存储器(random access memory，RAM)、只读存储器(read‑only memory，ROM)、非易失性RAM(non‑volatile RAM，NVRAM)、可编程ROM(programmable ROM，PROM)、可擦除PROM(erasable PROM，EPROM)、电可擦除PROM(electrically erasable PROM，EEPROM)、闪存、光存储器、硬盘等。

[0115] 其中，处理器601可以是通用处理器，通用处理器可以是通过读取并执行存储器(例如存储器602)中存储的内容来执行特定步骤和/或操作的处理器。例如，通用处理器可以是中央处理器(central processing unit，CPU)。处理器601可以包括至少一个电路，以执行图1或图2所示方法的全部或部分步骤。

[0116] 其中，通信接口603包括输入/输出(input/output，I/O)接口、物理接口和逻辑接口等用于实现计算设备600内部的器件互连的接口，以及用于实现计算设备600与模型设备(例如其他计算设备或用户设备)互连的接口。物理接口可以是以太网接口，光纤接口，ATM接口等。

[0117] 其中，总线804可以是任何类型的，用于实现处理器601、存储器602和通信接口603互连的通信总线，例如系统总线。

[0118] 上述器件可以分别设置在彼此独立的芯片上，也可以至少部分的或者全部的设置在同一块芯片上。将各个器件独立设置在不同的芯片上，还是整合设置在一个或者多个芯片上，往往取决于产品设计的需要。本申请实施例对上述器件的具体实现形式不做限定。

[0119] 图6所示的计算设备600仅仅是示例性的，在实现过程中，计算设备600还可以包括其他组件，本文不再一一列举。

[0120] 在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk,SSD))等。

[0121] 可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。应理解，在本申请实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，不应对本申请实施例的实施过程构成任何限定。

[0122] 以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。