信息处理方法、装置、介质及电子设备转让专利

申请号 : CN202010033800.9

文献号 : CN111267866B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 俞一帆

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本公开涉及自动驾驶技术领域,具体而言,涉及一种信息处理方法、信息处理装置、计算机可读介质以及电子设备。本公开实施例中的信息处理方法包括:通过V2X通信网络接收与行驶环境相关的基于V2X消息的环境信息;将所述环境信息转换为自动驾驶车辆对所述行驶环境的模拟感知信息;获取所述自动驾驶车辆对所述行驶环境的真实感知信息;根据所述模拟感知信息和所述真实感知信息生成用于调整所述自动驾驶车辆的车辆状态的融合感知信息。本公开技术方案可以提高V2X技术的利用率和环境感知效果,而且可以面向不具备V2X消息融合感知能力的自动驾驶车辆提供全系统测试服务。

权利要求 :

1.一种信息处理方法,其特征在于,包括:通过V2X通信网络接收与行驶环境相关的基于V2X消息的环境信息;

将所述环境信息转换为自动驾驶车辆对所述行驶环境的模拟感知信息,所述模拟感知信息用于模拟车载传感器对所述行驶环境中环境对象的感知信息;

获取所述自动驾驶车辆对所述行驶环境的真实感知信息,所述真实感知信息是所述自动驾驶车辆利用自身的车载传感器实时地对所述行驶环境进行信息采集得到的信息;

根据所述模拟感知信息和所述真实感知信息生成用于调整所述自动驾驶车辆的车辆状态的融合感知信息。

2.根据权利要求1所述的信息处理方法,其特征在于,所述将所述环境信息转换为自动驾驶车辆对所述行驶环境的模拟感知信息,包括:对所述环境信息进行解码处理以得到与所述行驶环境相关的环境对象信息;

将所述环境对象信息转换为所述自动驾驶车辆对所述行驶环境的模拟感知信息。

3.根据权利要求2所述的信息处理方法,其特征在于,所述将所述环境对象信息转换为所述自动驾驶车辆对所述行驶环境的模拟感知信息,包括:获取所述环境信息的编码格式;

根据所述编码格式与对象类型的映射关系确定与所述行驶环境相关的环境对象;

将所述环境对象信息转换为所述自动驾驶车辆对所述环境对象的模拟感知信息。

4.根据权利要求2所述的信息处理方法,其特征在于,所述将所述环境对象信息转换为所述自动驾驶车辆对所述行驶环境的模拟感知信息,包括:获取所述环境对象信息中的用于标识对象类型的对象识别信息,并根据所述对象识别信息确定与所述行驶环境相关的环境对象;

将所述环境对象信息转换为所述自动驾驶车辆对所述环境对象的模拟感知信息。

5.根据权利要求1所述的信息处理方法,其特征在于,所述环境信息是由服务端模拟器对虚拟环境对象的虚拟对象信息编码得到的;所述方法还包括:根据所述融合感知信息调整所述自动驾驶车辆的车辆状态,并实时获取所述自动驾驶车辆的车辆状态信息;

对所述车辆状态信息进行编码处理以得到基于V2X消息的状态反馈信息;

通过所述V2X通信网络将所述状态反馈信息发送至所述服务端模拟器,以通过所述服务端模拟器建立对应于所述自动驾驶车辆的虚拟车辆对象以及包括所述虚拟车辆对象和所述虚拟环境对象的虚拟行驶环境。

6.根据权利要求5所述的信息处理方法,其特征在于,所述根据所述融合感知信息调整所述自动驾驶车辆的车辆状态,包括:获取所述自动驾驶车辆的当前车辆状态;

根据所述融合感知信息和所述当前车辆状态确定车辆控制决策信息;

根据所述车辆控制决策信息调整所述自动驾驶车辆的车辆状态。

7.根据权利要求1所述的信息处理方法,其特征在于,所述模拟感知信息包括模拟激光点云和模拟视频中的至少一种;其中,所述模拟激光点云用于模拟激光雷达对所述行驶环境中的环境对象的感知信息,所述模拟视频用于模拟视觉传感器对所述行驶环境中的环境对象的感知信息。

8.一种信息处理装置,其特征在于,包括:信息接收模块,被配置为通过V2X通信网络接收与行驶环境相关的基于V2X消息的环境信息;

信息转换模块,被配置为将所述环境信息转换为自动驾驶车辆对所述行驶环境的模拟感知信息,所述模拟感知信息用于模拟车载传感器对所述行驶环境中环境对象的感知信息;

信息获取模块,被配置为获取所述自动驾驶车辆对所述行驶环境的真实感知信息,所述真实感知信息是所述自动驾驶车辆利用自身的车载传感器实时地对所述行驶环境进行信息采集得到的信息;

信息生成模块,被配置为根据所述模拟感知信息和所述真实感知信息生成用于调整所述自动驾驶车辆的车辆状态的融合感知信息。

9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的信息处理方法。

10.一种电子设备,其特征在于,包括:处理器;以及

存储器,用于存储所述处理器的可执行指令;

其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的信息处理方法。

说明书 :

信息处理方法、装置、介质及电子设备

技术领域

[0001] 本公开涉及自动驾驶技术领域,具体而言,涉及一种信息处理方法、信息处理装置、计算机可读介质以及电子设备。

背景技术

[0002] 车辆外联技术(vehicle‑to‑everything,V2X)属于物联网中的一个范畴,基于无线通信技术可以具体实现车辆与车辆(vehicle‑to‑vehicle,V2V)、车辆与行人(vehicle‑
to‑pedestrian,V2P)、车辆与道路设施(vehicle‑to‑infrastructure,V2I)或者车辆与网
络(vehicle‑to‑network,V2N)等各种应用场景下的互联通信。
[0003] 利用V2X技术可以使得车辆能够与外界环境进行通信,从而实时地获得行驶环境中的其他车辆、行人、道路设施、路况等各种交通信息。尤其是在自动驾驶技术领域,通过
V2X技术可以向自动驾驶车辆提供行驶环境的感知信息,从而辅助车辆进行自动驾驶的控
制决策。
[0004] 如何能够充分利用V2X技术实现车辆对行驶环境的准确感知和决策控制已变得越来越重要。
[0005] 需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

[0006] 本公开的目的在于提供一种信息处理方法、信息处理装置、计算机可读介质以及电子设备,进而至少在一定程度上克服V2X技术的利用率低、环境感知效果差等技术问题。
[0007] 本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
[0008] 根据本公开实施例的一个方面,提供一种信息处理方法,该方法包括:
[0009] 通过V2X通信网络接收与行驶环境相关的基于V2X消息的环境信息;
[0010] 将所述环境信息转换为自动驾驶车辆对所述行驶环境的模拟感知信息;
[0011] 获取所述自动驾驶车辆对所述行驶环境的真实感知信息;
[0012] 根据所述模拟感知信息和所述真实感知信息生成用于调整所述自动驾驶车辆的车辆状态的融合感知信息。
[0013] 根据本公开实施例的一个方面,提供一种信息处理装置,该装置包括:
[0014] 信息接收模块,被配置为通过V2X通信网络接收与行驶环境相关的基于V2X消息的环境信息;
[0015] 信息转换模块,被配置为将所述环境信息转换为自动驾驶车辆对所述行驶环境的模拟感知信息;
[0016] 信息获取模块,被配置为获取所述自动驾驶车辆对所述行驶环境的真实感知信息;
[0017] 信息生成模块,被配置为根据所述模拟感知信息和所述真实感知信息生成用于调整所述自动驾驶车辆的车辆状态的融合感知信息。
[0018] 在本公开的一些实施例中,基于以上技术方案,信息转换模块包括:
[0019] 信息解码单元,被配置为对所述环境信息进行解码处理以得到与所述行驶环境相关的环境对象信息;
[0020] 信息转换单元,被配置为将所述环境对象信息转换为所述自动驾驶车辆对所述行驶环境的模拟感知信息。
[0021] 在本公开的一些实施例中,基于以上技术方案,所述信息转换单元包括:
[0022] 格式获取子单元,被配置为获取所述环境信息的编码格式;
[0023] 对象映射子单元,被配置为根据所述编码格式与对象类型的映射关系确定与所述行驶环境相关的环境对象;
[0024] 信息转换子单元,被配置为将所述环境对象信息转换为所述自动驾驶车辆对所述环境对象的模拟感知信息。
[0025] 在本公开的一些实施例中,基于以上技术方案,所述信息转换单元包括:
[0026] 标识获取子单元,配置为获取所述环境对象信息中的用于标识对象类型的对象识别信息,并根据所述对象识别信息确定与所述行驶环境相关的环境对象;
[0027] 信息转换子单元,被配置为将所述环境对象信息转换为所述自动驾驶车辆对所述环境对象的模拟感知信息。
[0028] 在本公开的一些实施例中,基于以上技术方案,所述环境信息是由服务端模拟器对虚拟环境对象的虚拟对象信息编码得到的;所述装置还包括:
[0029] 状态调整模块,被配置为根据所述融合感知信息调整所述自动驾驶车辆的车辆状态,并实时获取所述自动驾驶车辆的车辆状态信息;
[0030] 状态反馈模块,被配置为对所述车辆状态信息进行编码处理以得到基于V2X消息的状态反馈信息;
[0031] 对象建立模块,被配置为通过所述V2X通信网络将所述状态反馈信息发送至所述服务端模拟器,以通过所述服务端模拟器建立对应于所述自动驾驶车辆的虚拟车辆对象以
及包括所述虚拟车辆对象和所述虚拟环境对象的虚拟行驶环境。
[0032] 在本公开的一些实施例中,基于以上技术方案,所述状态调整模块包括:
[0033] 状态获取单元,被配置为获取所述自动驾驶车辆的当前车辆状态;
[0034] 控制决策单元,被配置为根据所述融合感知信息和所述当前车辆状态确定车辆控制决策信息;
[0035] 状态调整单元,被配置为根据所述车辆控制决策信息调整所述自动驾驶车辆的车辆状态。
[0036] 在本公开的一些实施例中,基于以上技术方案,所述模拟感知信息包括模拟激光点云和模拟视频中的至少一种;其中,所述模拟激光点云用于模拟激光雷达对所述行驶环
境中的环境对象的感知信息,所述模拟视频用于模拟视觉传感器对所述行驶环境中的环境
对象的感知信息。
[0037] 根据本公开实施例的一个方面,提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如以上技术方案中的信息处理方法。
[0038] 根据本公开实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为经由执行所述可
执行指令来执行如以上技术方案中的信息处理方法。
[0039] 在本公开实施例提供的技术方案中,通过对接收到的V2X消息进行格式转换可以得到与环境信息相对应的模拟感知信息,再对模拟感知信息和真实感知信息进行融合,可
以实现V2X消息的融合感知功能,避免基于V2X技术或者传感器技术的两种环境感知方式出
现冲突和矛盾,从而提高V2X技术的利用率和环境感知效果。除此之外,自动驾驶模拟器可
基于车联网设施构建针对真实道路环境的数字孪生系统,并面向不具备V2X消息融合感知
能力的自动驾驶车辆提供全系统测试服务。测试者可通过自动驾驶模拟器生成各类复杂场
景,观察车辆在这些场景中的反应状况,并实时采集测试数据,减少了费时费力的人工操
作。
[0040] 应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

[0041] 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开
的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据
这些附图获得其他的附图。
[0042] 在附图中:
[0043] 图1示意性地示出了应用本公开技术方案的系统架构示意图。
[0044] 图2示意性地示出了本公开一些实施例中信息处理方法的步骤流程图。
[0045] 图3示意性地示出了本公开一些实施例中对基于V2X消息的环境信息进行格式转换的步骤流程图。
[0046] 图4示意性地示出了本公开一些实施例中对车辆测试结果进行反馈和复现的步骤流程图。
[0047] 图5示意性地示出了本公开一些实施例中根据融合感知信息调整车辆状态的步骤流程图。
[0048] 图6示意性地示出了本公开信息处理方法在车辆测试阶段的系统交互示意图。
[0049] 图7示出了应用本公开技术方案进行多车混行测试时复现得到的虚拟环境示意图。
[0050] 图8示出了应用本公开技术方案进行人车混行测试时复现得到的虚拟环境示意图。
[0051] 图9示意性地示出了在本公开一些实施例中的信息处理装置的结构框图。
[0052] 图10示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

[0053] 现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加
全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
[0054] 此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,
本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,
或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方
法、装置、实现或者操作以避免模糊本公开的各方面。
[0055] 附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现
这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0056] 附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合
并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
[0057] 在本领域的相关技术中,自动驾驶车辆一般可以通过车辆上安装的摄像头、超声波雷达、毫米波雷达、激光雷达等各种传感器对行驶过程中的周围环境进行融合感知,并进
一步根据融合感知结果进行车辆控制决策。例如,当感知到道路上存在障碍物时,可以自动
控制车辆进行转向或者停车避让。利用车载传感器可以实现车辆对周围环境的主动感知,
而通过V2X技术则可以使车辆被动接收由周围环境中各类环境对象发出的感知信息。例如,
可以通过接收道路上其他车辆、行人或者道路设施向外发出的V2X消息,感知到消息发送方
的相关信息。
[0058] 由于车载传感器技术和V2X技术在信息采集方式、信息格式、信息解析方式等各个方面均存在较大差异,自动驾驶车辆在进行外界环境感知时,一般会从两种技术中选择一
种,用以获取车辆控制决策的主要参考数据。以自动驾驶车辆的车辆测试为例,如果自动驾
驶车辆的融合感知功能不具备处理V2X消息的能力,那么在进行车辆测试时,为了避免V2X
消息与传感器采集数据之间的冲突和矛盾,必须将车辆的融合感知功能关闭,因此也只能
对车辆的决策控制功能进行测试,而无法对车辆的融合感知功能做出有效测试,亦即无法
对车辆进行全系统测试。
[0059] 针对以上相关技术中存在的问题,本公开主要提供了一种基于V2X消息模拟和转换的信息处理方法。在车辆测试阶段,可以在充分利用V2X技术的情况下,对不具备V2X消息
融合能力的自动驾驶车辆进行全系统测试。在车辆应用阶段,也可以实现V2X技术与车载传
感器技术的有效融合,提高V2X技术的利用率和环境感知效果。
[0060] 图1示意性地示出了应用本公开技术方案的系统架构示意图。
[0061] 如图1所示,系统架构100可以包括自动驾驶车辆110、V2X通信网络120和服务器130。
[0062] V2X通信网络120用于在自动驾驶车辆110和服务器130之间提供通信链路,使得自动驾驶车辆110和服务器130能够互相发送和接收V2X消息。
[0063] 自动驾驶车辆110上安装有车端模拟器111和车辆控制器112。自动驾驶车辆110利用自身的车载传感器(如视觉传感器、激光雷达传感器等)可以对外界真实环境进行信息采
集得到真实感知信息,而车端模拟器111可以将接收到的V2X消息转换为用于模拟传感器感
知效果的模拟感知信息。车辆控制器112可以对真实感知信息和模拟感知信息进行融合感
知,并基于感知结果生成车辆控制决策。车端模拟器111还可以将自动驾驶车辆110的车辆
状态信息(如车辆位置、行驶速度、行驶方向等)转换为V2X消息,并通过V2X通信网络120将
该V2X消息发送至服务器130。
[0064] 服务器130可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云
通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服
务的云服务器。
[0065] 云计算(cloud computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源
的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按
需使用,随时扩展,按使用付费。作为云计算的基础能力提供商,会建立云计算资源池(即云
平台),在资源池中可以部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中
主要包括:计算设备(为虚拟化机器,包含操作系统)、存储设备、网络设备。
[0066] 下面结合具体实施方式对本公开提供的信息处理方法、信息处理装置、计算机可读介质以及电子设备做出详细说明。
[0067] 图2示意性地示出了本公开一些实施例中信息处理方法的步骤流程图。如图2所示,该方法主要可以包括以下步骤:
[0068] 步骤S210.通过V2X通信网络接收与行驶环境相关的基于V2X消息的环境信息。
[0069] 自动驾驶车辆可以通过V2X通信网络与服务器或者其他终端设备进行数据通信,接收与车辆当前的行驶环境相关的基于V2X消息的环境信息。其中,行驶环境是自动驾驶车
辆在行驶过程中周围环境对象的集合,例如可以包括其他机动车、非机动车、行人,另外也
可以包括交通信号灯、道路边沿等道路设施。环境信息是用于表征各个环境对象所处状态
的信息,如果是道路设施等静态的环境对象,其环境信息主要可以包括位置信息;而如果是
车辆、行人等动态的环境对象,除了位置信息之外,其环境信息还可以包括运动速度、运动
方向等信息。
[0070] 步骤S220.将环境信息转换为自动驾驶车辆对行驶环境的模拟感知信息。
[0071] 步骤S210接收到的环境信息是需要通过指定的编码规则进行数据编码、得到的基于V2X消息的信息,例如该编码规则可以采用ASN.1抽象语法标记(Abstract Syntax 
Notation One)作为数据定义语言,描述对数据进行表示、编码、传输和解码的数据格式。通
过对环境信息进行格式转换可以得到自动驾驶车辆对行驶环境的模拟感知信息,模拟感知
信息用于模拟车载传感器对行驶环境中环境对象的感知信息。模拟感知信息例如可以包括
模拟激光点云和模拟视频中的至少一种;其中,模拟激光点云用于模拟激光雷达传感器对
行驶环境中的环境对象的感知信息,模拟视频用于模拟视觉传感器对行驶环境中的环境对
象的感知信息。
[0072] 步骤S230.获取自动驾驶车辆对行驶环境的真实感知信息。
[0073] 自动驾驶车辆利用自身的车载传感器可以实时地对周围的驾驶环境进行信息采集,采集到的信息即作为自动驾驶车辆对行驶环境的真实感知信息。例如可以通过激光雷
达传感器采集周围环境对象的真实激光点云,还可以通过摄像头等视觉传感器采集周围环
境对象的真实视频。
[0074] 步骤S240.根据模拟感知信息和真实感知信息生成用于调整自动驾驶车辆的车辆状态的融合感知信息。
[0075] 对模拟感知信息和真实感知信息进行信息融合处理,可以生成融合感知信息,该融合感知信息可以用于调整自动驾驶车辆的车辆状态。例如,根据融合感知信息判断自动
驾驶车辆的前方出现障碍物,那么可以通过控制决策使自动驾驶车辆降低行驶速度或者改
变车辆行驶方向,以便对障碍物做出避让。
[0076] 在本公开实施例提供的信息处理方法中,通过对接收到的V2X消息进行格式转换可以得到与环境信息相对应的模拟感知信息,再对模拟感知信息和真实感知信息进行融
合,可以实现V2X消息的融合感知功能,避免基于V2X技术或者传感器技术的两种环境感知
方式出现冲突和矛盾,从而提高V2X技术的利用率和环境感知效果。
[0077] 图3示意性地示出了本公开一些实施例中对基于V2X消息的环境信息进行格式转换的步骤流程图。如图3所示,步骤S220.将环境信息转换为自动驾驶车辆对行驶环境的模
拟感知信息,可以包括以下步骤:
[0078] 步骤S310.对环境信息进行解码处理以得到与行驶环境相关的环境对象信息。
[0079] 对基于V2X消息的环境信息进行解码处理后,可以得到数据编码前的原始的环境对象信息,该环境对象信息是未被编码为V2X消息的环境对象的状态信息。
[0080] 步骤S320.将环境对象信息转换为自动驾驶车辆对行驶环境的模拟感知信息。
[0081] 在对环境对象信息进行格式转换时,可以首先识别确定行驶环境中的环境对象,然后再转换得到自动驾驶车辆对环境对象的模拟感知信息。在车端模拟器中可以预先配置
不同类型的环境对象的模拟感知模型,利用相应的模拟感知模型可以将环境对象信息转换
为对应某一类型环境对象的模拟感知信息。
[0082] 在一些可选的实施方式中,可以建立V2X消息的编码格式与环境对象之间的映射关系,例如机动车可以采用某一种编码格式编码形成V2X消息,非机动车可以采用另一编码
格式编码形成V2X消息,而行人又可以采用第三种编码格式编码形成V2X消息。在进行格式
转换时,可以先获取环境信息的编码格式,再根据编码格式与对象类型的映射关系确定与
行驶环境相关的环境对象,最后再将环境对象信息转换为自动驾驶车辆对环境对象的模拟
感知信息。
[0083] 在另一些可选的实施方式中,也可以将环境信息中的特定的编码位置作为用于标识对象类型的类型编码位置,经过解码后可以获取类型编码位置对应的用于标识对象类型
的对象识别信息,并根据对象识别信息确定与行驶环境相关的环境对象,然后再将环境对
象信息转换为自动驾驶车辆对环境对象的模拟感知信息。
[0084] 当本公开实施例应用于自动驾驶车辆的测试阶段时,通过V2X网络接收到的环境信息可以是由服务端模拟器对虚拟环境对象的虚拟对象信息编码得到的。在此基础上,图4
示意性地示出了本公开一些实施例中对车辆测试结果进行反馈和复现的步骤流程图。如图
4所示,对车辆测试结果进行反馈和复现的方法主要可以包括以下步骤:
[0085] 步骤S410.根据融合感知信息调整自动驾驶车辆的车辆状态,并实时获取自动驾驶车辆的车辆状态信息。
[0086] 车辆状态信息是用于描述自动驾驶车辆当前车辆状态的信息,例如可以包括自动驾驶车辆的位置信息、行驶速度信息、行驶方向信息等等。
[0087] 步骤S420.对车辆状态信息进行编码处理以得到基于V2X消息的状态反馈信息。
[0088] 利用与环境信息相同的数据编码方法,本步骤可以对实时获取到的车辆状态信息编码为作为V2X消息的状态反馈信息。
[0089] 步骤S430.通过V2X通信网络将状态反馈信息发送至服务端模拟器,以通过服务端模拟器建立对应于自动驾驶车辆的虚拟车辆对象以及包括虚拟车辆对象和虚拟环境对象
的虚拟行驶环境。
[0090] 在服务端模拟器上,可以根据状态反馈信息建立对应于自动驾驶车辆的虚拟车辆对象,同时可以建立包括虚拟车辆对象和虚拟环境对象的虚拟行驶环境。对虚拟行驶环境
进行建模,可以向测试人员呈现可视化的车辆测试结果。
[0091] 图5示意性地示出了本公开一些实施例中根据融合感知信息调整车辆状态的步骤流程图。如图5所示,在以上各实施例的基础上,步骤S410中的根据融合感知信息调整自动
驾驶车辆的车辆状态,可以包括以下步骤:
[0092] 步骤S510.获取自动驾驶车辆的当前车辆状态。
[0093] 步骤S520.根据融合感知信息和当前车辆状态确定车辆控制决策信息。
[0094] 步骤S530.根据车辆控制决策信息调整自动驾驶车辆的车辆状态。
[0095] 举例而言,自动驾驶车辆的当前车辆状态是以一定速度匀速直线行驶,而根据融合感知信息可以获知车辆前方有行人横穿马路,此时可以根据融合感知信息和当前车辆状
态做出车辆控制决策,控制车辆降低行驶速度或者改变行驶方向,以便对前方行人做出避
让。在车辆测试场景中,还可以将调整后的车辆状态编码为V2X消息,并返回给服务端模拟
器,以便对车辆测试结果进行直观评价。
[0096] 下面结合具体应用场景对本公开信息处理方法在车辆测试阶段的应用细节做出详细说明。
[0097] 图6示意性地示出了本公开信息处理方法在车辆测试阶段的系统交互示意图。如图6所示,在云端及车辆端各部署有一套仿真系统,即云端模拟器和车端模拟器。云端模拟
器部署于云平台,根据测试场实际道路环境,1:1构建虚拟环境。V2X通信网络负责在云端模
拟器与车端模拟器之间传递测试控制信息及车辆状态信息。车端模拟器负责将来自云端模
拟器的V2X消息转换为原始模拟信号,并注入车辆控制器。此外,车端模拟器负责从车端控
制器读取车辆状态信息,并通过V2X网络将其上报至云端模拟器。整个测试过程通过云端模
拟器在虚拟场景中复现。
[0098] 云端模拟器产生虚拟车辆及物体之后,可以将其编码为V2X消息,这些消息通过V2X网络发送至车端模拟器。虚拟车辆及物体分别通过不同的格式进行V2X消息编码,车端
模拟器根据不同的消息格式,区分不同的虚拟车辆或物体。模拟器产生虚拟车辆及物体信
息后,将其编码为V2X消息,然后通过V2X网络将消息发送给测试车辆。车端模拟器收到V2X
消息后,将其转换为原始模拟感知信号(例如,激光点云及视频),然后输出至测试车辆内部
的车辆控制器。接收到原始模拟感知信号后,车辆控制器对其进行融合感知,并控制测试车
辆的行驶动作。此外,车辆控制器将测试车辆状态信息(例如,GPS坐标,车速及行驶方向等)
返回至车端模拟器。车端模拟器接收到车辆状态信息后,将其编码为V2X消息,并通过V2X通
信网络发送至云端模拟器。云端模拟器收到V2X消息后,将其转换为虚拟环境中的虚拟车
辆,并再结合之前产生的其他虚拟车辆及物体,对整个测试场景进行复现及作出测试评价。
[0099] 图7示出了应用本公开技术方案进行多车混行测试时复现得到的虚拟环境示意图。在该应用场景下进行多车混行测试的方法包括以下步骤:
[0100] 1.云端模拟器产生多个虚拟车辆710在路面行驶的信息。
[0101] 2.云端模拟器将虚拟车辆信息编码为V2X消息。
[0102] 3.云端模拟器通过V2X通信网络将编码后的V2X消息发往受测车辆。
[0103] 4.受测车辆接收到V2X消息后,将其转换为原始模拟感知信号。
[0104] 5.受测车辆将原始模拟感知信号注入车辆控制器。
[0105] 6.车辆控制器对原始模拟感知信号进行融合感知,并通过控制决策功能对车辆进行控制。
[0106] 7.车辆控制器读取受测车辆产生的车辆状态信息。
[0107] 8.车辆控制器将车辆状态信息转发至车端模拟器。
[0108] 9.车端模拟器将车辆状态信息转换为V2X消息。
[0109] 10.车端模拟器将V2X消息发送至云端模拟器。
[0110] 11.云端模拟器根据接收到的V2X消息,建立受测车辆的虚拟对象720,并在虚拟环境中进行复现。
[0111] 图8示出了应用本公开技术方案进行人车混行测试时复现得到的虚拟环境示意图。在该应用场景下进行人车混行测试的方法包括以下步骤:
[0112] 1.云端模拟器产生多个虚拟车辆810、虚拟非机动车820以及虚拟行人830在路面行驶的信息,同时还可以在虚拟环境中产生虚拟交通信号灯840。
[0113] 2.云端模拟器将该虚拟环境中的各个环境对象的信息编码为V2X消息。
[0114] 3.云端模拟器通过V2X通信网络将编码后的V2X消息发往受测车辆。
[0115] 4.受测车辆接收到V2X消息后,将其转换为原始模拟感知信号。
[0116] 5.受测车辆将原始模拟感知信号注入车辆控制器。
[0117] 6.车辆控制器对原始模拟感知信号进行融合感知,并通过控制决策功能对车辆进行控制。
[0118] 7.车辆控制器读取受测车辆产生的车辆状态信息。
[0119] 8.车辆控制器将车辆状态信息转发至车端模拟器。
[0120] 9.车端模拟器将车辆状态信息转换为V2X消息。
[0121] 10.车端模拟器将V2X消息发送至云端模拟器。
[0122] 11.云端模拟器根据接收到的V2X消息,建立受测车辆的虚拟对象850,并在虚拟环境中进行复现。
[0123] 本公开技术方案利用模拟引擎及V2X通信网络可以实现灵活可控的自动驾驶车辆测试。模拟引擎通过模拟场景显示可以向测试控制者全景展示车辆测试状况。通过V2X通信
网络,测试控制者可按照测试需要,实时产生复杂场景,避免了人工操作。这种方法减少了
复杂的实际场景构造,并且避免了测试车辆因为实际撞击导致的损坏,从而可以加快测试
过程,提高自动驾驶控制算法的迭代收敛速度。这个方案可以支持不具备V2X融合感知能力
的自动驾驶车辆按照上述方式进行高效测试。
[0124] 利用本公开提出的方法,可提升自动驾驶车辆在真实环境中的测试效率,减少测试时间,覆盖更多的自动驾驶车辆类型。此外,该方法也可用于构建实际车辆在真实道路中
的数字孪生系统,从而加快车辆融合感知及决策控制功能的优化进度。
[0125] 应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能
实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,
以及/或者将一个步骤分解为多个步骤执行等。
[0126] 以下介绍本公开的装置实施例,可以用于执行本公开上述实施例中的信息处理方法。对于本公开装置实施例中未披露的细节,请参照本公开上述的信息处理方法的实施例。
[0127] 图9示意性地示出了在本公开一些实施例中的信息处理装置的结构框图。如图9所示,信息处理装置900主要可以包括:
[0128] 信息接收模块910,被配置为通过V2X通信网络接收与行驶环境相关的基于V2X消息的环境信息;
[0129] 信息转换模块920,被配置为将环境信息转换为自动驾驶车辆对行驶环境的模拟感知信息;
[0130] 信息获取模块930,被配置为获取自动驾驶车辆对行驶环境的真实感知信息;
[0131] 信息生成模块940,被配置为根据模拟感知信息和真实感知信息生成用于调整自动驾驶车辆的车辆状态的融合感知信息。
[0132] 在本公开的一些实施例中,基于以上各实施例,信息转换模块包括:
[0133] 信息解码单元,被配置为对环境信息进行解码处理以得到与行驶环境相关的环境对象信息;
[0134] 信息转换单元,被配置为将环境对象信息转换为自动驾驶车辆对行驶环境的模拟感知信息。
[0135] 在本公开的一些实施例中,基于以上各实施例,信息转换单元包括:
[0136] 格式获取子单元,被配置为获取环境信息的编码格式;
[0137] 对象映射子单元,被配置为根据编码格式与对象类型的映射关系确定与行驶环境相关的环境对象;
[0138] 信息转换子单元,被配置为将环境对象信息转换为自动驾驶车辆对环境对象的模拟感知信息。
[0139] 在本公开的一些实施例中,基于以上各实施例,信息转换单元包括:
[0140] 标识获取子单元,配置为获取环境对象信息中的用于标识对象类型的对象识别信息,并根据对象识别信息确定与行驶环境相关的环境对象;
[0141] 信息转换子单元,被配置为将环境对象信息转换为自动驾驶车辆对环境对象的模拟感知信息。
[0142] 在本公开的一些实施例中,基于以上各实施例,环境信息是由服务端模拟器对虚拟环境对象的虚拟对象信息编码得到的;装置还包括:
[0143] 状态调整模块,被配置为根据融合感知信息调整自动驾驶车辆的车辆状态,并实时获取自动驾驶车辆的车辆状态信息;
[0144] 状态反馈模块,被配置为对车辆状态信息进行编码处理以得到基于V2X消息的状态反馈信息;
[0145] 对象建立模块,被配置为通过V2X通信网络将状态反馈信息发送至服务端模拟器,以通过服务端模拟器建立对应于自动驾驶车辆的虚拟车辆对象以及包括虚拟车辆对象和
虚拟环境对象的虚拟行驶环境。
[0146] 在本公开的一些实施例中,基于以上各实施例,状态调整模块包括:
[0147] 状态获取单元,被配置为获取自动驾驶车辆的当前车辆状态;
[0148] 控制决策单元,被配置为根据融合感知信息和当前车辆状态确定车辆控制决策信息;
[0149] 状态调整单元,被配置为根据车辆控制决策信息调整自动驾驶车辆的车辆状态。
[0150] 在本公开的一些实施例中,基于以上各实施例,模拟感知信息包括模拟激光点云和模拟视频中的至少一种;其中,模拟激光点云用于模拟激光雷达对行驶环境中的环境对
象的感知信息,模拟视频用于模拟视觉传感器对行驶环境中的环境对象的感知信息。
[0151] 本公开各实施例中提供的信息处理装置的具体细节已经在对应的方法实施例中进行了详细的描述,因此此处不再赘述。
[0152] 图10示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
[0153] 需要说明的是,图10示出的电子设备的计算机系统1000仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
[0154] 如图10所示,计算机系统1000包括中央处理单元(Central Processing Unit,CPU)1001,其可以根据存储在只读存储器(Read‑Only Memory,ROM)1002中的程序或者从存
储部分1008加载到随机访问存储器(Random Access Memory,RAM)1003中的程序而执行各
种适当的动作和处理。在RAM 1003中,还存储有系统操作所需的各种程序和数据。CPU1001、
ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output,I/O)接口1005
也连接至总线1004。
[0155] 以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声
器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN(Local Area 
Network,局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如
因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质
1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于
从其上读出的计算机程序根据需要被安装入存储部分1008。
[0156] 特别地,根据本公开的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读
介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样
的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸
介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时,执行本申请的系统中
限定的各种功能。
[0157] 需要说明的是,本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以
是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上
的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的
电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程
只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑
磁盘只读存储器(Compact Disc Read‑Only Memory,CD‑ROM)、光存储器件、磁存储器件、或
者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序
的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公
开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其
中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于
电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读
存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由
指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程
序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适
的组合。
[0158] 附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代
表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个
用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所
标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际
上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要
注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规
定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组
合来实现。
[0159] 应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多
模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模
块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0160] 通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开
实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失
性存储介质(可以是CD‑ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算
设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的
方法。
[0161] 本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或
者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识
或惯用技术手段。
[0162] 应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。