用于传送自主车辆场景评估和预期车辆动作的系统和方法转让专利

申请号 : CN201880062360.0

文献号 : CN111373459B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : N·齐赫

申请人 : 优步技术公司

摘要 :

提供了用于传送自主车辆操作的系统和方法。在一个示例实施例中,一种计算机实施的方法包含获得与所述自主车辆相关联的数据。所述方法包含至少部分地基于与所述自主车辆相关联的所述数据标识所述自主车辆的周围环境内的对象或所述自主车辆的计划的车辆运动动作。所述方法包含确定与所标识的对象或所述计划的车辆运动动作相关联的可听车辆指示。所述可听车辆指示指示所述对象的类型或所述计划的车辆运动的类型。所述方法包含通过所述自主车辆车载的一或多个输出装置输出所述可听车辆指示。

权利要求 :

1.一种用于传送自主车辆操作的计算机实施的方法,所述方法包括:由自主车辆车载的包括一或多个计算装置的计算系统获得与所述自主车辆相关联的数据;

由所述计算系统至少部分地基于与所述自主车辆相关联的所述数据标识所述自主车辆的周围环境内的一或多个对象或所述自主车辆的一或多个计划的车辆运动动作;

至少部分地基于与所述一或多个对象中的有关对象或所述一或多个计划的车辆运动中的有关计划的车辆运动动作相关联的可听车辆指示的预期听众的类型标识所述有关对象或所述有关计划的车辆运动动作,其中所述预期听众的所述类型包含所述自主车辆的操作者或所述自主车辆的乘客;

由所述计算系统生成与所述有关对象或所述有关计划的车辆运动动作相关联的所述可听车辆指示;以及由所述计算系统通过所述自主车辆车载的一或多个输出装置输出所述可听车辆指示,其中所述可听车辆指示是以指示与所述有关对象相关联的一或多个定位或与所述有关计划的车辆运动动作相关联的一或多个定位的方式在所述自主车辆的内部输出的。

2.根据权利要求1所述的计算机实施的方法,其中由所述计算系统标识所述有关对象或所述有关计划的车辆运动动作包括:由所述计算系统至少部分地基于与所述自主车辆相关联的所述数据标识所述有关对象的当前定位;以及由所述计算系统至少部分地基于所述有关对象的所述当前定位确定所述有关对象与所述可听车辆指示的所述预期听众有关。

3.根据权利要求2所述的计算机实施的方法,其中所述可听车辆指示指示所述有关对象相对于所述自主车辆的距离。

4.根据权利要求1所述的计算机实施的方法,其中由所述计算系统标识所述有关对象包括:由所述计算系统标识所述有关对象的一或多个预测的未来定位;以及

由所述计算系统至少部分地基于所述有关对象的所述一或多个预测的未来定位确定所述有关对象与所述可听车辆指示的所述预期听众有关。

5.根据权利要求4所述的计算机实施的方法,其中所述可听车辆指示是以指示所述一或多个未来定位的方式输出的。

6.根据权利要求1所述的计算机实施的方法,其中由所述计算系统标识所述有关计划的车辆运动动作包括:由所述计算系统至少部分地基于与所述自主车辆相关联的所述数据标识所述自主车辆的运动计划的多个计划的车辆运动动作,其中所述有关计划的车辆运动动作包含在所述多个计划的车辆运动动作中;以及由所述计算系统确定所述有关计划的车辆运动动作与所述可听车辆指示的所述预期听众有关。

7.根据权利要求6所述的计算机实施的方法,其中由所述计算系统确定所述有关计划的车辆运动动作与所述可听车辆指示的所述预期听众有关包括:由所述计算系统至少部分地基于所述有关计划的车辆运动动作的类型或所述有关计划的车辆运动动作对所述自主车辆的前进方向或速度中的至少一个的影响中的至少一个确定所述有关计划的车辆运动动作与所述可听车辆指示的所述预期听众有关。

8.根据权利要求1所述的计算机实施的方法,其中与所述自主车辆相关联的所述数据包括以下中的至少一个:由所述自主车辆的自主系统获得的感知数据、由所述自主车辆的所述自主系统获得的预测数据、与所述自主车辆的运动计划相关联的数据或与所述自主车辆的碰撞缓解系统相关联的数据。

9.根据权利要求1所述的计算机实施的方法,其中所述自主车辆包括所述自主车辆车载的多个输出装置,并且其中输出所述可听车辆指示包括:由所述计算系统至少部分地基于与所述有关对象相关联的所述一或多个定位或与所述有关计划的车辆运动动作相关联的所述一或多个定位选择定位于所述自主车辆上的所述多个输出装置的子集;以及由所述计算系统通过所述多个输出装置的所述子集输出所述可听车辆指示。

10.根据权利要求9所述的计算机实施的方法,其中所述输出装置子集的一或多个位置对应于与所述有关对象相关联的所述一或多个定位或与所述有关计划的车辆运动动作相关联的所述一或多个定位。

11.根据权利要求10所述的计算机实施的方法,其中与所述有关对象相关联的所述一或多个定位包括所述有关对象的当前定位或所述有关对象的一或多个预测的未来定位中的至少一个。

12.根据权利要求1所述的计算机实施的方法,其中由所述计算系统确定所述可听车辆指示包括:由所述计算系统访问存储在定位于所述自主车辆上的存储器中的数据结构,其中所述数据结构指示多个听觉特性;

由所述计算系统至少部分地基于所述数据结构标识所述可听车辆指示的所述多个听觉特性中的一或多个听觉特性,并且其中由所述计算系统通过所述自主车辆车载的所述一或多个输出装置输出所述可听车辆指示包括根据一或多个所标识的听觉特性输出所述可听车辆指示。

13.根据权利要求12所述的计算机实施的方法,其中所述所标识的听觉特性中的至少一个所标识的听觉特性至少部分地基于所述可听车辆指示的所述预期听众。

14.一种用于传送自主车辆操作的计算系统,所述计算系统包括:

一或多个处理器;以及

一或多个存储器装置,所述一或多个存储器装置存储指令,所述指令当由所述一或多个处理器执行时使所述计算系统执行操作,所述操作包括:获得与所述自主车辆相关联的数据;

至少部分地基于与所述自主车辆相关联的所述数据以及与所述自主车辆的周围环境内的对象或所述自主车辆的计划的车辆运动动作相关联的可听车辆指示的预期听众的类型标识所述对象或所述计划的车辆运动动作,其中所述预期听众的所述类型包含所述自主车辆的操作者或所述自主车辆的乘客;以及通过一或多个输出装置在所述自主车辆内部输出与所标识的对象或所述计划的车辆运动动作相关联的所述可听车辆指示,其中所述可听车辆指示指示所述对象的类型或所述计划的车辆运动动作的类型。

15.根据权利要求14所述的计算系统,其中标识所述自主车辆的所述周围环境内的所述对象或所述自主车辆的所述计划的车辆运动动作包括:标识所述可听车辆指示的预期听众的所述类型;以及

至少部分地基于所述可听车辆指示的所述预期听众的所述类型将所述对象或所述计划的车辆运动动作标识为相关。

16.根据权利要求14所述的计算系统,其中所述一或多个输出装置对应于与所述对象相关联的一或多个定位或与所述计划的车辆运动动作相关联的一或多个定位。

17.根据权利要求14所述的计算系统,其中所述操作进一步包括:将指示所述可听车辆指示的数据提供给一或多个远程计算装置,其中所述可听车辆指示输出到所述自主车辆的远程操作者。

18.一种自主车辆,其包括:

一或多个输出装置;

一或多个处理器;以及

一或多个存储器装置,所述一或多个存储器装置存储指令,所述指令当由所述一或多个处理器执行时使所述自主车辆执行操作,所述操作包括:获得与所述自主车辆相关联的数据;

至少部分地基于与所述自主车辆相关联的所述数据以及与所述自主车辆的周围环境内的对象或所述自主车辆的计划的车辆运动动作相关联的可听车辆指示的预期听众的类型标识所述对象或所述计划的车辆运动动作,其中所述预期听众的所述类型包含所述自主车辆的操作者或所述自主车辆的乘客;

生成与所标识的对象或所述计划的车辆运动动作相关联的所述可听车辆指示;以及通过所述一或多个输出装置输出所述可听车辆指示,其中所述一或多个输出装置对应于与所述对象相关联的一或多个定位或与所述计划的车辆运动动作相关联的一或多个定位。

19.根据权利要求18所述的自主车辆,其中所述操作进一步包括:确定与定位于所述自主车辆的内部的所述操作者相关联的注意力水平,并且其中通过所述一或多个输出装置输出所述可听车辆指示包括至少部分地基于所述注意力水平输出所述可听车辆指示。

20.根据权利要求19所述的自主车辆,其中所述可听车辆指示指示所述自主车辆的所述周围环境内的所述对象的意图。

说明书 :

用于传送自主车辆场景评估和预期车辆动作的系统和方法

技术领域

[0001] 本公开总体上涉及外部传送自主车辆的计算系统的操作。

背景技术

[0002] 自主车辆是一种能够在几乎没有人为输入的情况下感测其环境并导航的车辆。特别地,自主车辆可以使用各种传感器来观察所述自主车辆的周围环境,并且可以通过对由传感器收集的数据执行各种处理技术来尝试了解周围环境。鉴于此,自主车辆可以通过其周围环境进行导航。

发明内容

[0003] 本公开的实施例的方面和优点将在以下描述中部分地阐述,或者可以从描述中获悉,或者可以通过实施例的实践来获悉。
[0004] 本公开的一个示例方面涉及一种用于传送自主车辆操作的计算机实施的方法。所述方法包含由自主车辆车载的包含一或多个计算装置的计算系统获得与所述自主车辆相关联的数据。所述方法包含由所述计算系统至少部分地基于与所述自主车辆相关联的所述数据来标识所述自主车辆的周围环境内的对象或所述自主车辆的计划的车辆运动动作。所述方法包含由所述计算系统确定与所标识的对象或所述计划的车辆运动动作相关联的可听车辆指示。所述可听车辆指示指示所述对象的类型或所述计划的车辆运动的类型。所述方法包含由所述计算系统通过所述自主车辆车载的一或多个输出装置来输出所述可听车辆指示。所述可听车辆指示是以指示与所述对象相关联的一或多个定位或与所述计划的车辆运动动作相关联的一或多个定位的方式在所述自主车辆的内部输出的。
[0005] 本公开的另一个示例方面涉及一种用于传送自主车辆操作的计算系统。所述计算系统包含一或多个处理器和一或多个存储器装置。所述一或多个存储器装置存储指令,所述指令当由所述一或多个处理器执行时使所述计算系统执行操作。所述操作包含获得与所述自主车辆相关联的数据。所述操作包含至少部分地基于与所述自主车辆相关联的所述数据来标识所述自主车辆的周围环境内的对象或所述自主车辆的计划的车辆运动动作。所述操作包含通过一或多个输出装置在所述自主车辆内部输出与所标识的对象或所述计划的车辆运动动作相关联的可听车辆指示。所述可听车辆指示指示所述对象的类型或所述计划的车辆运动动作的类型。
[0006] 本公开的又另一个示例方面涉及自主车辆。所述自主车辆包含一或多个输出装置、一或多个处理器以及一或多个存储器装置。所述一或多个存储器装置存储指令,所述指令当由所述一或多个处理器执行时使所述自主车辆执行操作。所述操作包含获得与所述自主车辆相关联的数据。所述操作包含至少部分地基于与所述自主车辆相关联的所述数据来标识所述自主车辆的周围环境内的对象或所述自主车辆的计划的车辆动作。所述操作包含确定与所标识的对象或所述计划的车辆运动动作相关联的可听车辆指示。所述可听车辆指示指示所述对象的类型或所述计划的车辆运动的类型。所述操作包含通过所述一或多个输出装置输出所述可听车辆指示。所述一或多个输出装置对应于与所述对象相关联的一或多个定位或与所述计划的车辆运动动作相关联的一或多个定位。
[0007] 本公开的其它示例方面涉及用于传送自主车辆计算操作的系统、方法、车辆、装置、有形的非暂时性计算机可读媒体和存储器装置。
[0008] 参考以下描述和所附权利要求,将更好地理解各个实施例的这些和其它特征、方面和优点。并入本说明书中且构成本说明书的一部分的附图展示了本公开的实施例,并且与描述一起用于解释相关的原理。

附图说明

[0009] 在说明书中参照附图阐述了针对本领域普通技术人员的实施例的详细讨论,在所述附图中:
[0010] 图1描绘了根据本公开的示例实施例的示例计算系统;
[0011] 图2描绘了根据本公开的示例实施例的车辆的示例环境的图;
[0012] 图3描绘了根据本公开的示例实施例的示例数据结构;
[0013] 图4描绘了根据本公开的示例实施例的具有输出装置的示例自主车辆;
[0014] 图5描绘了根据本公开的示例实施例的传送自主车辆操作的示例方法的流程图;并且
[0015] 图6描绘了根据本公开的示例实施例的示例系统组件。

具体实施方式

[0016] 现将详细参考实施例,在附图中展示了实施例的一或多个实例。通过说明实施例的方式提供每个实例,而不是限制本公开。实际上,对于本领域技术人员显而易见的是,在不脱离本公开的范围或精神的情况下,可以对实施例进行各种修改和变化。例如,展示或描述为一个实施例中的一部分的特征可以与另一个实施例一起使用以产生仍另外的实施例。因此,意图是本公开的各方面覆盖此类修改和变化。
[0017] 本公开的示例方面旨在传达自主车辆对其周围环境的了解,以及基于此类了解的车辆的预期动作。例如,自主车辆可以包含自主系统,所述自主系统被配置成执行各种系统动作以通过车辆的周围环境自主导航车辆。例如,自主系统可以感知车辆的周围环境内的对象(例如,车辆、行人、自行车、其它对象),并预测所述对象中的每个对象的相应运动。此外,自主系统可以通过周围环境计划车辆相对于这些对象和对象的预测运动的运动。本文描述的系统和方法可以使自主车辆将自主系统的动作传送给(例如,定位于车辆内或远离车辆的)操作者和/或车辆的另一个乘客。
[0018] 为此,自主车辆可以生成指示这些系统动作的可听车辆指示。例如,自主车辆可以标识周围环境内的可能与车辆的操作者和/或另一个乘客相关的对象(例如,影响车辆运动的对象)。另外或可替代地,自主车辆可以标识可能与车辆的操作者和/或另一个乘客相关的计划的(例如,车辆的运动计划的)车辆运动动作(例如,在道路内对象周围的微移)。自主车辆可以生成指示所标识的对象或计划的车辆运动动作的可听车辆指示(例如,声音)。可听车辆指示可以用各种类型的信息分层。举例来说,自主车辆可以生成(例如,通过指示行人的具体的音调)指示对象的类型/分类以及(例如,通过音量水平)指示对象相对于车辆的距离的可听车辆指示。此外,自主车辆可以通过某些输出装置在车辆内部输出可听车辆指示以指示对象的定位。例如,在将对象定位于(或预测位于)自主车辆的右前方的情况下,可以通过车辆内部的右前扬声器输出可听车辆指示。以这种方式,本公开的系统和方法可以将车辆自主系统的操作有效地传送给车辆的操作者和/或乘客,由此提高听众对车辆自主操作的了解和保证。
[0019] 更具体地说,自主车辆可以是基于地面的自主车辆(例如,汽车、卡车、公共汽车等)、空中飞行器或可以在与定位于车辆内或远程定位的人工操作者进行最少和/或不进行交互的情况下操作的另一种类型的车辆。自主车辆可以包含定位于自主车辆上的车辆计算系统,以帮助控制自主车辆。车辆计算系统由自主车辆车载,因为车辆计算系统定位于自主车辆上或内部。车辆计算系统可以包含一或多个传感器(例如,相机、LIDAR、RADAR等)、(例如,用于确定和计划自主车辆导航/运动的)自主系统、(例如,用于控制制动、转向、动力系统的)一或多个车辆控制系统等。一或多个传感器可以收集与接近自主车辆(例如,在一或多个传感器的视场内)的一或多个对象相关联的传感器数据(例如,图像数据、LIDAR数据、RADAR数据等)。一或多个对象可以包含例如其它车辆、自行车、行人等。传感器数据可以一或多次指示与一或多个对象相关联的特性(例如,定位)。一或多个传感器可以将此类传感器数据提供给车辆的自主系统。
[0020] 自主计算系统可以是包含各种子系统的计算系统,所述各种子系统协作以感知自主车辆的周围环境并确定用于控制自主车辆的运动的运动计划。例如,自主计算系统可以包含感知系统、预测系统和运动计划系统。
[0021] 感知系统可以被配置成感知自主车辆的周围环境内的一或多个对象。例如,感知系统可以处理来自一或多个传感器的传感器数据,以检测接近自主车辆的一或多个对象,以及获得与所述一或多个对象相关联的感知数据。每个对象的感知数据可以描述对对象的当前定位(也称为位置)、当前速度/速率、当前加速度、当前前进方向、当前朝向、大小/占地面积、类别(例如,车辆类别与行人类别与自行车类别)和/或其它所感知信息的估计。感知数据还可以包含推断的特性,例如,行人的目光是否涵盖了自主车辆的当前定位。
[0022] 预测系统可以被配置成预测在自主车辆的周围环境内的一或多个对象的运动。例如,预测系统可以创建与对象中的一或多个对象相关联的预测数据。预测数据可以指示每个相应对象的一或多个预测的未来定位和/或预期动作。具体地说,预测数据可以指示与每个对象相关联的预测路径。预测路径可以指示预测相应对象随时间行进的轨迹(和/或预测对象沿预测路径行进的速度)。
[0023] 运动计划系统可以被配置成计划自主车辆的运动。例如,运动计划系统可以至少部分地基于感知数据、预测数据和/或其它数据,例如自主车辆要追随的车辆路线,来确定自主车辆的运动计划。运动计划可以包含将由自主车辆实施的一或多个计划的车辆运动动作。可以相对于车辆附近的对象以及预测的运动生成计划的车辆运动动作。例如,运动计划系统可以实施优化算法,所述优化算法考虑与车辆运动动作相关联的成本数据以及其它目标函数,如果有的话,(例如,基于限速、交通信号灯等的成本函数),以确定是否存在构成运动计划的优化变量。举例来说,运动计划系统可以确定车辆可以执行某种车辆运动动作(例如,通过对象),而不会增加对车辆的潜在风险和/或违反任何交通法规(例如,限速、车道边界、标牌等)。可以确定计划的车辆运动动作以在例如自主车辆无用户输入的情况下控制自主车辆的运动。运动计划可以包含计划的车辆运动动作、计划的轨迹、车辆速度、车辆加速度等。
[0024] 在一些实施方案中,自主车辆可以包含碰撞缓解系统。碰撞缓解系统可以包含传感器,所述传感器独立于那些针对自主计算系统获取传感器数据的传感器。碰撞缓解系统可以被配置为标识车辆可能与之碰撞的一或多个对象的备用安全措施。例如,碰撞缓解系统可以被配置成感知车辆的周围环境内的一或多个对象并且确定车辆是否可能与此类对象碰撞。碰撞缓解系统可以确定自主车辆将要执行的一或多个计划的车辆运动动作,以避免潜在的碰撞。此类动作可以作为运动计划的一部分提供,或者可以与运动计划分开提供。
[0025] 车辆计算系统可以被配置成将车辆自主系统的系统动作传送给(例如,在车辆内的、远离车辆的)操作者和/或车辆内的另一个乘客。自主系统动作可以包含本文所描述的那些动作,例如,自主车辆的对象感知、对象运动预测和/或运动计划。在一些实施方案中,自主系统动作可以包含由车辆的碰撞缓解系统执行的动作(例如,对象感知、运动计划等)。车辆计算系统可以将自主系统感知到的车辆周围环境内的对象和/或由自主系统(和/或碰撞缓解系统)确定的计划的车辆运动动作告知操作者和/或另一个乘客。
[0026] 为了帮助确定传送的内容,车辆计算系统可以获得与自主车辆相关联的数据。与自主车辆相关联的数据可以是在自主车辆行进通过周围环境时(例如,在无来自人工操作者的用户输入的情况下)在自主车辆上创建的数据。此类数据可以包含例如与自主车辆的周围环境内的一或多个对象相关联的感知数据。另外或可替代地,与自主车辆相关联的数据可以包含指示在自主车辆的周围环境内的一或多个对象的一或多个预测的未来定位的预测数据。在一些实施方案中,数据可以包含与自主车辆的运动计划相关联的数据和/或与自主车辆的碰撞缓解系统相关的数据,如本文所述。
[0027] 车辆计算系统可以标识车辆的周围环境内的对象和/或要传送的计划的车辆运动动作。例如,自主车辆可以确定周围环境内的哪些对象和/或哪些计划的车辆运动动作与预期听众(例如,操作者和/或另一个乘客)相关。举例来说,感知系统可以感知自主车辆的周围环境内的多个对象。虽然所有这些对象都可能定位于车辆传感器的视场内,但并非所有对象都可能与操作者和/或其它乘客相关。在一些实施方案中,为了帮助确定对象的相关性,车辆计算系统可以至少部分地基于感知数据来标识这些感知到的对象中的每个感知到的对象的当前定位。车辆计算系统可以至少部分地基于至少一个相关对象的当前定位来确定感知到的对象中的至少一个感知到的对象与操作者和/或乘客相关。相关对象可以是当前定位于车辆附近(例如,在阈值距离内)的对象,一个可以影响车辆的运动,和/或以其它方式影响车辆的安全操作的对象。另外或可替代地,对象的相关性可以至少部分地基于对象的类型。
[0028] 在另一个实例中,自主系统动作可以包含预测在车辆的周围环境内感知到的多个对象中的每个对象的一或多个预测的未来定位。而且,并非所有预测在车辆的周围环境内移动的对象都被认为与操作者和/或另一个乘客相关。例如,预测系统可以确定车辆周围环境内的对象中的每个对象的一或多个预测的未来定位。车辆计算系统可以至少部分地基于所述对象的一或多个预测的未来定位来确定对象中的至少一个对象是相关的。例如,如果一个对象的预测的未来定位中的一或多个预测的未来定位影响自主车辆的运动(例如,如果对象的预测路径与车辆的计划轨迹相交),则可以认为所述对象是相关的。
[0029] 在另一个实例中,运动计划系统可以生成包含将由自主车辆实施的多个计划的车辆运动动作的运动计划。在一些实施方案中,并非所有的车辆运动动作都可能与操作者和/或乘客相关。例如,计划的车辆运动动作中的一或多个车辆运动动作可以使车辆保持某一前进方向和/或速度(例如,在行车道内直线行进的轨迹),而车辆动作中的一或多个车辆动作可以使车辆调整其前进方向和/或速度(例如,行车道内的运动、转弯、驶出高速公路的运动等)。在一些实施方案中,车辆计算系统可以将调整自主车辆的前进方向和/或速度的车辆运动动作标识为相关。
[0030] 另外或可替代地,车辆计算系统可以至少部分地基于预期听众来确定对象和/或计划的车辆运动动作是否相关。例如,一些对象和/或计划的车辆运动动作可以被认为与车辆操作者相关,而与另一个乘客(例如,运输服务的客户)无关。举例来说,周围环境内(例如,在阈值距离内)的若干对象可以与(例如,在查看视觉指示器、系统数据等的情况下)期望评估感知系统是否在车辆周围准确地感知对象的操作者相关。然而,(例如,作为对自主系统正确操作的保证),正在使用自主车辆作为运输服务的乘客可能只对最接近车辆的和/或影响车辆运动的对象感兴趣。在另一个实例中,操作者可能对用于评估车辆运动计划系统的性能的运动计划的所有计划的车辆运动动作感兴趣,而运输服务的客户可能只对某些会影响车辆前进方向和/或速度的车辆运动动作(例如,车辆停止、微移动作、车道变更、转弯等)感兴趣。在一些实施方案中,操作者和/或乘客可以指定(例如,通过用户输入到车辆车载的人机接口)要将哪些对象和/或计划的车辆运动动作传送给操作者和/或乘客。因此,车辆计算系统可以至少部分地基于预期听众来过滤将要传送哪些对象和/或计划的车辆运动动作。这可以使车辆计算系统确保仅将被认为与预期听众相关的对象和/或计划的车辆运动动作传送给所述方。
[0031] 车辆计算系统可以确定与车辆的周围环境内的对象相关联或与计划的车辆运动动作相关的可听车辆指示。可听车辆指示可以是具有被设计为传送各种信息的多个听觉特性的可听声音。可听车辆指示内分层的信息类型可以根据系统动作而变化。例如,当传送与对象感知和/或对象运动预测相关联的信息时,车辆计算系统可以生成指示对象的类型、对象相对于自主车辆的距离、对象相对于自主车辆的当前定位和/或对象相对于自主车辆的一或多个预测的未来定位的可听车辆指示。当传送与自主车辆的运动计划相关联的信息时,车辆计算系统可以生成指示计划的车辆运动动作的类型以及与计划的车辆运动动作相关联的一或多个定位(例如,动作的方向、动作将要发生的位置等)的可听车辆指示。此外,车辆的计划运动也可以考虑通过地图数据(例如,停止标志)、场景状态的知识(例如,如通过基础设施通信感知或传输的交通信号灯状态)和/或其它信息指示的已知特征。响应这些功能而计划的车辆行为也可能触发可听车辆指示(例如,声音提示提醒操作者车辆已意识到即将到来的交通信号灯的存在或状态,或向乘客保证车辆将在即将到来的停止标志前停车)。
[0032] 在一些实施方案中,为了帮助制定可听车辆指示,车辆计算系统可以访问例如自主车辆车载的存储器中存储的数据结构。数据结构可以包含规则、表、列表、树和/或其它类型的数据结构。数据结构可以指示多个听觉特性。例如,数据结构可以指示将使用哪些听觉特性来传送与对象和/或计划的车辆运动动作相关联的某些类型的信息。举例来说,可以使用不同的声音来指示不同类型的对象。在一些实施方案中,可以使用第一音调(例如,第一八度音阶处的哔哔声)来指示行人;可以使用第二音调(例如,第二八度音阶处的哔哔声)来指示自行车;可以使用第三声调(例如,第三八度音阶处的哔哔声)来指示车辆等。另外或可替代地,不同的声音可以用于指示不同类型的车辆运动动作。例如,可以使用第四音调(例如,第四八度音阶处的哔哔声)来指示车辆行车道内的微移动作;可以使用第五音调(例如,第四八度音阶处的双声哔哔声)来指示车道变更;可以使用第六音调(例如,第四八度音阶处的三声哔哔声)来指示转弯等。
[0033] 数据结构还可以指示将使用哪些听觉特性(例如,音量水平)来指示对象相对于自主车辆的距离和/或在计划的车辆运动动作要由车辆执行之前的距离。例如,可以使用不同的音量水平来指示不同的距离范围。举例来说,车辆可听指示的音量水平(例如,与其相关联的声音)可以与对象与自主车辆之间的相对距离相关(例如,分贝水平越高/音量越大,对象越接近车辆)。对于计划的车辆运动动作,车辆可听指示的音量水平可以与在自主车辆要执行计划的车辆运动动作之前的相对距离相关(例如,分贝水平越高/音量越大,对象越快要执行计划的车辆运动动作)。
[0034] 数据结构还可以指示可听车辆指示将要如何指示对象相对于自主车辆的一或多个定位和/或与计划的车辆运动动作相关联的一或多个定位。例如,自主车辆可以包含多个输出装置。输出装置可以包含可听输出装置,例如扬声器。输出装置可以定位于整个车辆内部。例如,输出装置可以定位于车辆的左前侧(例如,在驾驶员的侧门处),另一个输出装置可以定位于车辆前部的中心(例如,在仪表板的中心处),另一个输出装置可以定位于车辆的右前侧(例如,在前乘客侧门处),另一个输出装置可以定位于车辆的右后侧(例如,在右后侧的乘客门处),另一个输出装置可以定位于车辆的后部(例如,在车辆行李箱的中心附近),以及另一个输出装置可以定位于车辆的左后侧(例如,在左后侧的乘客门处)。
[0035] 数据结构可以指示车辆计算系统如何可以利用这些各种输出装置来传送与对象和/或计划的车辆运动动作相关联的一或多个定位。例如,车辆计算系统可以确定与所标识的对象(例如,相关对象)和/或计划的车辆运动动作(例如,相关车辆运动动作)相关联的一或多个定位。举例来说,车辆计算系统可以确定将对象的当前定位定位于车辆的右前侧。数据结构可以指示对于此定位,可以通过定位于车辆的右前侧(例如,在前乘客侧门处)的输出装置来输出可听车辆指示,以便指示对象相对于车辆的此定位。在另一个实例中,车辆计算系统可以确定预测对象行进到在车辆前方形成从右到左的路径(例如,行人沿着人行横道从右向左行走)的一或多个预测的未来定位。数据结构可以指示对于这些定位,可以以从定位于车辆的右前侧(例如,在前乘客侧门处)的输出装置开始,然后通过定位于车辆前部的中心(例如,在仪表板的中心处)的输出装置,接着通过定位于车辆左前侧(例如,在驾驶员的侧门处)的输出装置的顺序来输出可听车辆指示。以这种方式,自主车辆可以传送对象相对于车辆的一或多个预测的未来定位。在另一个实例中,车辆计算系统可以确定车辆要向左微移(例如,在其行车道内向左移动)。数据结构可以指示对于与此计划的车辆运动动作(例如,向左运动)相关联的定位,可以通过定位于车辆左前侧(例如,在驾驶员的侧门处)的输出装置和/或定位于车辆左后侧(例如,在左后侧的乘客门处)的输出装置来输出可听车辆指示。
[0036] 在一些实施方案中,可听车辆指示可以指示对象相对于自主车辆的意图。例如,车辆计算系统可以至少部分地基于对象相对于自主车辆的运动(例如,对象的定位、速率、加速度和/或其它特性)来确定对象相对于自主车辆的意图。对象的意图可以是指示对象对自主车辆是不友好的(例如,表现/将可能表现为有害或潜在有害)或友好的(例如,不表现/将可能不表现为有害或潜在有害)。数据结构可以指示一或多种听觉特性,以用于正确传达对象的意图。例如,输出可听车辆指示所利用的频率(例如,每时间帧的输出的数量)可以指示对象的意图。举例来说,数据结构可以指示对于不友好的对象,可以以比对于友好对象而输出的可听车辆指示(例如,其可能仅输出一次)更高的频率(例如,X次每Y秒)重复输出可听车辆指示。
[0037] 在一些实施方案中,听觉特性可以根据预期听众而变化。例如,车辆计算系统可以以与传送给另一个乘客(例如,不熟悉专用音调的运输服务的客户)不同的方式将对象的类型传送给车辆操作者(例如,其可以经过训练以识别某些音调)。举例来说,数据结构可以指定对于车辆操作者,可听车辆指示将包含用于向车辆操作者指示对象类型的音调(例如,哔哔声)。数据结构可以进一步指定对于另一个乘客,可听车辆指示将包含用于向乘客(其未经过专门培训来标识某些音调)指示对象类型的语音消息(例如,陈述“行人”、“自行车”、“车辆”等的一个词的消息)。以这种方式,车辆计算系统可以使可听车辆指示适应于个人可能对自主车辆所具有的经验水平。
[0038] 车辆计算系统可以通过一或多个输出装置来输出可听车辆指示。例如,车辆计算系统可以通过一或多个输出装置输出可听车辆指示,使得可听车辆指示在自主车辆的内部是可听见的。在一些实施方案中,车辆计算系统可以将指示可听车辆指示的数据提供给远离自主车辆的计算系统。这可以允许例如将可听车辆指示输出到自主车辆的远程操作者。
[0039] 车辆计算系统可以将可听车辆指示输出为听觉特性(例如,由数据结构指定)的分层组合,以同时传送各种类型的信息。举例来说,对于在自主车辆的周围环境内感知到的对象,车辆计算系统可以通过车辆内某些位置处的一或多个选定的输出装置以(例如,用于指示从对象到车辆的相对距离的)一定的音量输出包含(例如,指示对象的类型的)音调的可听车辆指示(例如,以指示对象的定位和/或对象的预测运动)。在一些实施方案中,可以以较高的频率(例如,以重复的方式)输出可听车辆指示,以指示对象对车辆不友好。在另一个实例中,对于计划的车辆运动动作,车辆计算系统可以通过车辆内某些位置处的一或多个选定的输出装置以(例如,用于指示车辆操纵之前的相对距离的)一定的音量输出包含(例如,用于指示车辆操纵的类型的)音调的可听车辆指示(例如,以指示与车辆操纵相关联的一或多个定位)。
[0040] 在一些实施方案中,车辆计算系统可以至少部分地基于自主车辆内的操作者的注意力水平来输出可听车辆指示。自主车辆可以包含车辆内部的一或多个传感器,以确定(例如,定位于驾驶员座位上的)操作者是否正在注意行进路线和/或车辆动作。例如,自主车辆可以包含被配置成获取与(例如,定位于自主车辆内的)操作者相关联的数据的一或多个传感器。此类数据可以包含例如指示操作者是否已经从转向机构(例如,转向盘)上移开他/她的手的数据、指示操作者的眼睛是否已经偏离车辆的行进路线的数据和/或操作者的肢体语言是否指示潜在的注意力不集中(例如,由于疲劳而引起的头部晃动)。车辆计算系统可以获得与操作者相关联的数据,并且至少部分地基于此类数据来确定与操作者相关联的注意力水平。车辆计算系统可以基于注意力水平输出可听车辆指示。例如,在驾驶员的眼睛偏离了行进路线的情况下,车辆计算系统可以输出指示自主车辆内感知到的对象的状态的可听车辆指示,以帮助重新获得操作者的注意。在一些实施方案中,车辆计算系统可以(例如,连续地,利用可听车辆指示等)输出背景噪声以帮助保持操作者的注意力。
[0041] 本文描述的系统和方法可以提供许多技术效果和益处。更具体地说,所述系统和方法使自主车辆能够生成将关于自主车辆的自操作(例如,自动驾驶)状态的信息进行分层的合成声景。更具体地说,所述系统和方法允许车辆的计算系统生成并输出迅速告知操作者和/或另一个乘客车辆的自主系统是否正确操作,自主系统正在感知/预测运动的对象是什么,自主系统(例如,通过运动计划)计划在将来做什么等的可听车辆指示。
[0042] 本公开的系统和方法帮助将车辆自主系统的操作传达给各种预期听众。例如,这种方法允许车辆内的乘客(例如,运输服务的客户)快速获得车辆自主操作的背景,增强乘客对所述自主车辆了解其周围环境并针对所述环境适当地计划自主车辆的运动的保证。对于车辆内的操作者,定制的可听车辆指示允许操作者快速评估自主系统是否正确操作。此外,如本文所述,可听车辆指示使用定制的声音,所述声音使操作者保持较高的准备状态,并在操作者获得对自主车辆的控制的情况下允许操作者迅速重新获取驾驶背景。所述系统和方法允许单个操作者了解车辆自主系统的状态,无需车辆内的另一个合作者持续查看并向操作者报告反馈数据,和/或无需操作者必须查看用户接口或其它可视指示。如此,本公开的系统和方法克服了可以由于依赖合作者来(例如,以句子格式)传达信息和/或操作者必须查看视觉输出而引起的等待时间和潜在的通信不足。
[0043] 如果需要,所述系统和方法还有益于自主车辆的远程控制。例如,可听车辆指示可以利用场景特性到声景的一致转换,从而使远程操作者更容易地远程获得自主车辆情况的背景。此外,与完全沉浸式视频相比,本公开的可听车辆指示(例如,通过来自自主车辆的实时馈送)实现更容易/更快/更低的带宽需求。
[0044] 本公开的系统和方法还提供了对如自主车辆计算技术等车辆计算技术的改进。例如,计算机实施的方法和系统提高了车辆计算技术将其内部决策/过程传送给预期听众(例如,车辆内的个人、远程操作者)的能力。例如,所述系统和方法可以实现(例如,自主车辆车载的)计算系统获得与自主车辆相关联的数据(例如,感知数据、预测数据、运动计划数据等),并且至少部分地基于此类数据来标识自主车辆的周围环境内的对象或自主车辆的计划的车辆运动动作。在一些实施方案中,计算系统可以过滤车辆的周围环境内的多个感知到的对象和/或多个计划的车辆运动动作,以标识可能(例如,与预期听众)相关的对象和/或动作。计算系统可以确定与所标识的对象或计划的车辆运动动作相关联的可听车辆指示。可听车辆指示可以包含可以快速且同时传送给预期听众的信息(例如,对象/动作类型、一或多个定位、意图等)的层。例如,可听车辆指示可以采用音调、音量等的连续变化以及离散的声音来指示不同的状况、动作等,并且可以用设计成保持警觉性的连续/间歇的背景声音分层。计算系统可以通过自主车辆内部的自主车辆车载的一或多个输出装置来输出可听车辆指示(例如,以反映所标识的对象的一或多个定位和/或计划的车辆运动动作)。以这种方式,计算系统可以利用现有的车辆音频系统(例如,环绕声功能)来引入具有空间特性的可听指示器。因此,车辆计算系统可以生成并提供可听车辆指示,所述可听车辆指示通过定制的和车辆车载的输出装置向可听车辆指示听觉特性的听众有效地提供各种信息。这种效率可以减少如较长消息所要求的对车辆的车载处理器和输出装置的负担。此外,过滤出与预期听众无关的对象/动作的能力可以避免创建和输出不必要的可听指示,从而进一步节省了处理、存储和输出资源。
[0045] 现在参考附图,将进一步详细讨论本公开的示例实施例。图1描绘了根据本公开的示例实施例的示例系统100。系统100可以包含与车辆104相关联的车辆计算系统102。在一些实施方案中,系统100可以包含远离车辆104的操作计算系统106。
[0046] 在一些实施方案中,车辆104可以与实体(例如,服务提供商、所有者、管理者)相关联。实体可以是通过包含例如车辆104的车队向多个用户提供一或多种车辆服务的实体。在一些实施方案中,实体可以仅与车辆104(例如,唯一所有者、管理者)相关联。在一些实施方案中,操作计算系统106可以与实体相关联。车辆104可以被配置成向一或多个用户提供一或多种车辆服务。一或多种车辆服务可以包含运输服务(例如,其中乘客乘坐要运输的车辆104的拼车服务)、快递服务、递送服务和/或其它类型的服务。可以由实体例如通过软件应用(例如,移动电话软件应用)向用户提供一或多种车辆服务。实体可以利用操作计算系统
106来协调和/或管理车辆104(和其相关联的车队,如果有的话),以向用户提供车辆服务。
[0047] 操作计算系统106可以包含远离车辆104的(例如,定位于车辆104车外的)一或多个计算装置。例如,此类计算装置可以是基于云的服务器系统的组件和/或可以与车辆104的车辆计算系统102通信的其它类型的计算系统的组件。操作计算系统106的一或多个计算装置可以包含用于执行各种操作和功能的各种组件。例如,一或多个计算装置可以包含一或多个处理器和一或多个有形的非暂时性计算机可读媒体(例如,一或多个存储器装置)。一或多种有形的非暂时性计算机可读媒体可以存储指令,所述指令当由一或多个处理器执行时,使得操作计算系统106(例如,一或多个处理器等)执行操作和功能,如向车辆104提供数据和/或从车辆104接收数据、管理车队(其包含车辆104)、远程控制车辆等。
[0048] 结合车辆计算系统102的车辆104可以是基于地面的自主车辆(例如,汽车、卡车、公共汽车等)、基于空中的自主车辆(例如,飞机、直升机或其它飞行器)或其它类型的车辆(例如,船只等)。车辆104可以是能够利用最少和/或没有来自人工操作者108(例如,驾驶员)和/或远离车辆104的远程操作者109的交互作用来驾驶、导航、操作等的自主车辆。例如,自主车辆可以是完全自主的车辆和/或以至少完全自主的方式(例如,利用来自人工操作者的至少一些输入)来操作的自主车辆。在一些实施方案中,人工操作者108可以从车辆104中省去(和/或还可以从车辆104的远程控制中省去)。在一些实施方案中,人工操作者
108可以包含在车辆104中和/或远程操作者109可以能够从远程定位控制车辆104。
[0049] 车辆104可以被配置成以多种操作模式进行操作。车辆104可以被配置成以完全自主的(例如,自动驾驶)操作模式进行操作,其中车辆104在没有用户输入的情况下是可控制的(例如,可以在没有来自存在于车辆104中的人工操作者108和/或远离车辆104的远程操作者109的输入的情况下进行驾驶和导航)。车辆104可以在半自主操作模式下操作,其中车辆104可以利用来自存在于车辆104中的人工操作者108(和/或远离车辆104的操作者109)的一些输入进行操作。车辆104可以进入手动操作模式,其中车辆104可以由存在于车辆104中的人工操作者108(例如,人工驾驶员、飞行员等)和/或远程操作者109完全控制,并且可以被禁止执行自主导航(例如,自主驾驶)。在一些实施方案中,当处于手动操作模式时,车辆104可以实施车辆操作辅助技术(例如,碰撞缓解系统、动力辅助转向等),以帮助辅助车辆104的人工操作者108。
[0050] 可以将车辆104的操作模式存储在车辆104车载的存储器中。例如,可以通过指示车辆104在处于特定操作模式时的一或多个操作参数的操作模式数据结构(例如,规则、列表、表等)来限定操作模式。例如,操作模式数据结构可以指示车辆104在处于完全自主操作模式时将要自主计划其运动。当实施操作模式时,车辆计算系统102可以访问存储器。
[0051] 在一些实施方案中,可听车辆指示的生成和/或输出可以至少部分地基于车辆104的操作模式。例如,车辆计算系统102可以被配置成在车辆104处于一或多种完全自主和/或半自主的操作模式时确定和/或输出可听车辆指示。另外或可替代地,当处于手动操作模式时,可以禁止和/或以其它方式防止车辆计算系统102生成和/或输出可听车辆指示。
[0052] 可以以各种方式来调整车辆104的操作模式。在一些实施方案中,可以在车辆104车外远程选择车辆104的操作模式。例如,与车辆104相关联的实体(例如,服务提供商)可以利用操作计算系统106来管理车辆104(和/或相关联的车队)。操作计算系统106可以向车辆104发送一或多个控制信号,以指示车辆104进入、退出或维持操作模式。举例来说,操作计算系统106可以向车辆104发送一或多个控制信号,以指示车辆104进入完全自主的操作模式。可以响应于来自车辆104的远程操作者109的命令而发送一或多个此类控制信号。在一些实施方案中,可以在车辆104上或附近设置车辆104的操作模式。例如,车辆计算系统102可以自动确定车辆104(例如,在无用户输入的情况下)何时以及在何处将进入、改变或维持等特定操作模式。另外或可替代地,可以通过定位于车辆104上的一或多个接口(例如,钥匙开关、按钮等)和/或与车辆104附近的计算装置(例如,由定位于车辆104附近的授权人员操作的平板计算机)相关联的一或多个接口来手动选择车辆104的操作模式。在一些实施方案中,可以至少部分地基于定位于车辆104上的一系列接口来调整车辆104的操作模式。例如,可以通过以特定顺序操纵一系列接口来调整操作模式,以使车辆104进入特定操作模式。
[0053] 车辆104可以包含通信系统111,所述通信系统被配置成允许车辆计算系统102(和其一或多个计算装置)与其它计算装置进行通信。车辆计算系统102可以使用通信系统111通过一或多个网络(例如,通过一或多个无线信号连接)来与操作计算系统106和/或一或多个其它远程计算装置进行通信。在一些实施方案中,通信系统111可以允许车辆104车载的系统中的一或多个系统之间的通信。通信系统111可以包含用于与一或多个网络接口的任何合适的组件,包含例如发射器、接收器、端口、控制器、天线和/或可以帮助促进通信的其它合适的组件。
[0054] 车辆计算系统102可以包含定位于车辆104上的一或多个计算装置。例如,一或多个计算装置可以定位于车辆104上和/或其内。一或多个计算装置可以包含用于执行各种操作和功能的各种组件。例如,一或多个计算装置可以包含一或多个处理器和一或多个有形的非暂时性计算机可读媒体(例如,存储器装置)。一或多个有形的非暂时性计算机可读媒体可以存储指令,所述指令当由一或多个处理器执行时使车辆104(例如,其计算系统、一或多个处理器等)执行操作和功能,如本文所述的用于传送自主车辆操作的那些操作和功能。
[0055] 如图1所示,车辆104可以包含一或多个传感器112、自主计算系统114、一或多个车辆控制系统116以及其它系统,如本文所述。这些系统中的一或多个系统可以被配置成通过通信信道彼此通信。通信信道可以包含一或多个数据总线(例如,控制器局域网(CAN))、车载诊断连接器(例如,OBD-II)和/或有线和/或无线通信链路的组合。车载系统可以通过通信信道彼此之间发送和/或接收数据、消息、信号等。
[0056] 一或多个传感器112可以被配置成获取与车辆104附近(例如,在一或多个传感器112中的一或多个传感器的视场内)的一或多个对象相关联的传感器数据118。一或多个传感器112可以包含光探测和测距(LIDAR)系统、无线电探测和测距(RADAR)系统、一或多个相机(例如,可见光谱相机、红外相机等)、运动传感器和/或其它类型的成像捕获装置和/或传感器。传感器数据118可以包含图像数据、雷达数据、LIDAR数据和/或由一或多个传感器112获取的其它数据。一或多个对象可以包含例如行人、车辆、自行车和/或其它对象。可以将一或多个对象定位于车辆104的前方、后方和/或一侧。传感器数据118可以一或多次指示与在车辆104的周围环境内的一或多个对象相关联的定位。一或多个传感器112可以将传感器数据118提供给自主计算系统114。
[0057] 除了传感器数据118之外,自主计算系统114还可以检索或以其它方式获得地图数据120。地图数据120可以提供关于车辆104的周围环境的详细信息。例如,地图数据120可以提供有关以下的信息:不同道路、路段、建筑物或其它物品或对象(例如,路灯柱、人行横道、路缘石等)的身份和定位;车道的定位和方向(例如,停车道、转弯车道、自行车道或特定道路或其它行车路线内的其它车道的定位和方向和/或与所述位置和方向相关联的一或多个边界标记);交通控制数据(例如,标牌、交通信号灯或其它交通控制装置的定位和说明);和/或提供辅助车辆104了解和感知其周围环境和其与环境之间的关系的信息的任何其它地图数据。在一些实施方案中,车辆计算系统102可以至少部分地基于地图数据120来确定车辆104的车辆路线。
[0058] 车辆104可以包含定位系统122。定位系统122可以确定车辆104的当前位置。定位系统122可以是用于分析车辆104的位置的任何装置或电路系统。例如,定位系统122可以通过使用一或多个惯性传感器(例如,一或多个惯性测量单元等)、使用卫星定位系统、基于IP地址、使用网络接入点或其它网络组件(例如,蜂窝塔、WiFi接入点等)的三角测量和/或接近度和/或使用其它合适的技术来确定位置。车辆104的位置可以由车辆计算系统102的各种系统使用和/或提供给(例如,操作计算系统106的)远程计算装置。例如,地图数据120可以为车辆104提供车辆104的周围环境的相对位置。车辆104可以至少部分地基于本文所描述的数据来标识车辆在周围环境内(例如,跨越六个轴)的位置。例如,车辆104可以处理传感器数据118(例如,LIDAR数据、相机数据),以使其与周围环境的地图相匹配,以了解车辆在所述环境中的位置。
[0059] 自主计算系统114可以包含感知系统124、预测系统126、运动计划系统128和/或其它系统,所述感知系统、预测系统、运动计划系统和/或其它系统协作以感知车辆104的周围环境并且因此确定用于控制车辆104的运动的运动计划。例如,自主计算系统114可以从一或多个传感器112接收传感器数据118,通过对传感器数据118(和/或其它数据)执行各种处理技术来尝试了解周围环境,并且通过这种周围环境生成适当的运动计划。自主计算系统114可以控制一或多个车辆控制系统116以根据运动计划来操作车辆104。
[0060] 自主计算系统114可以至少部分地基于传感器数据118和/或地图数据120来标识接近车辆104的一或多个对象。例如,感知系统124可以获得描述接近车辆104的对象的当前状态的感知数据130。每个对象的感知数据130可以描述例如对对象的当前和/或过去的以下信息的评估:定位(也称为位置);速度(也称为速率);加速度、前进方向;朝向;大小/占地面积(例如,通过边界形状表示);类别(例如,行人类别与车辆类别与自行车类别)和/或其它状态信息。感知系统124可以将感知数据130提供给预测系统126(例如,以预测对象的运动)。
[0061] 预测系统126可以创建与车辆104附近的相应的一或多个对象中的一些或全部对象相关联的预测数据132。例如,预测系统126可以至少部分地基于感知数据130实施一或多种算法以创建预测数据132。预测数据132可以指示每个相应对象的一或多个预测的未来定位。预测数据132可以指示车辆104的周围环境内的至少一个对象的预测路径(例如,预测轨迹)。例如,预测路径(例如,轨迹)可以指示预测相应对象随时间行进的路径(和/或预测对象沿预测路径行进的速度)。可以以多个时间步长迭代地创建预测数据132,从而可以随时间更新、调整、确认对象的预测运动。预测系统126可以将与一或多个对象相关联的预测数据132提供给运动计划系统128。
[0062] 运动计划系统128可以至少部分地基于预测数据132(和/或其它数据)来确定车辆104的运动计划134。运动计划134可以包含相对于车辆104附近的对象以及预测运动的车辆动作。车辆动作可以包含可以引导车辆的运动(例如,沿着计划的轨迹)的计划的车辆运动动作。例如,运动计划系统128可以实施优化算法,所述优化算法考虑与计划的车辆运动动作相关联的成本数据以及其它目标函数,如果有的话,(例如,基于限速、交通信号灯等的成本函数),以确定是否存在构成运动计划134的优化变量。举例来说,运动计划系统128可以确定车辆104可以执行某种动作(例如,通过对象),而不会增加对车辆104的潜在风险和/或违反任何交通法规(例如,限速、车道边界、标牌)。运动计划134可以包含车辆104的计划的轨迹、速度、加速度、其它动作等。运动计划134可以指示计划的车辆运动动作(例如,将由车辆104在某个时间和/或定位采取的动作)和/或其它动作,以及将由车辆104采取这些动作的时间和/或定位。
[0063] 车辆计算系统102可以使车辆104根据运动计划134执行动作。例如,运动计划系统128可以将具有指示计划的车辆运动动作、计划的轨迹和/或其它操作参数的数据的运动计划134提供给一或多个车辆控制系统116,以实施车辆104的运动计划134。例如,车辆104可以包含被配置成将运动计划134转换成指令的控制器。举例来说,控制器可以将计划的车辆运动动作转换成指令以将车辆104的转向调整“X”度,施加一定量值的制动力等。控制器可以将一或多个控制信号发送到负责的车辆控制组件(例如,制动控制系统、转向控制系统、加速控制系统)以执行指令并实施计划的车辆运动动作。
[0064] 在一些实施方案中,车辆104可以包含碰撞缓解系统135。碰撞缓解系统135可以独立于自主计算系统114。在一些实施方案中,碰撞缓解系统135可以包含传感器,所述传感器独立于针对自主计算系统114获取传感器数据118的一或多个传感器112。碰撞缓解系统135可以被配置为标识车辆104可能与之碰撞的一或多个对象的备用安全措施。碰撞缓解系统135可以确定车辆104将要执行的一或多个计划的车辆运动动作,以避免潜在的碰撞。此类动作可以作为运动计划的一部分提供,或者可以与运动计划分开提供。
[0065] 碰撞缓解系统135可以使用与其相关联的一或多个传感器(例如,无线电探测和测距(RADAR)系统、一或多个相机和/或其它类型的图像捕获装置和/或传感器)来监测车辆104的周围环境。碰撞缓解系统135可以至少部分地基于由与其相关联的一或多个传感器提供的信息来标识周围环境中的一或多个对象。碰撞缓解系统135可以检测与所标识的对象的一或多种潜在的碰撞。当检测到潜在的碰撞时,碰撞缓解系统135可以控制车辆104以避免潜在的碰撞。例如,碰撞缓解系统135可以将与潜在的碰撞相关联的信息提供给自主计算系统114,这可以调整车辆104的轨迹以避免潜在的碰撞。在一些实施方案中,碰撞缓解系统
135可以将一或多个控制信号发送到一或多个控制系统116,以调整车辆104的运动(例如,以激活制动系统)。另外或可替代地,碰撞缓解系统135可以发送一或多个控制信号以激活车辆104内部的警告(例如,以警告车辆104内的操作者、乘客等)。
[0066] 车辆计算系统102可以将自主计算系统114的系统动作传送给(例如,在车辆104内的、远离车辆104的)操作者108、109和/或车辆104内的乘客136(例如,用于运输服务的车辆104的乘客)。例如,车辆计算系统102可以包含可听车辆指示发生器系统138,所述可听车辆指示发生器系统被配置成生成指示车辆计算系统102的动作的可听车辆指示150,如本文所述。例如,可听车辆指示发生器系统138可以生成指示自主计算系统114的系统动作的一或多个可听车辆指示150。这些可以包含例如车辆104的对象感知、对象运动预测和/或运动计划。在一些实施方案中,一或多个可听车辆指示150可以指示由碰撞缓解系统135执行的系统动作(例如,对象感知、运动计划等)。例如,车辆计算系统102可以将由感知系统124感知到的车辆的周围环境内的对象和/或由运动计划系统128(和/或碰撞缓解系统135)确定的计划的车辆运动动作告知(例如,在车辆104内的、远离车辆104的)操作者108、109和/或另一个乘客136。
[0067] 为了帮助确定要传送的信息,车辆计算系统102(例如,可听车辆指示发生器系统138)可以获得与车辆104相关联的数据。与车辆104相关联的数据可以是在例如车辆104行进通过其周围环境时(例如,在无来自人工操作者108、109的用户输入的情况下)在车辆104上创建的数据。此类数据可以包含例如与车辆104的周围环境内的一或多个对象相关联的感知数据130。另外或可替代地,与车辆104相关联的数据可以包含指示在车辆104的周围环境内的一或多个对象的一或多个预测的未来定位的预测数据132。在一些实施方案中,数据可以包含与车辆104的运动计划134相关联的数据和/或与车辆104的碰撞缓解系统135相关联的数据。
[0068] 车辆计算系统102(例如,可听车辆指示发生器系统138)可以至少部分地基于与车辆104相关联的数据来标识用于传送给用户的系统动作。例如,车辆计算系统102可以至少部分地基于与车辆104相关联的数据来标识车辆104的周围环境中的对象和/或车辆104的计划的车辆运动动作。例如,图2描绘了根据本公开的示例实施例的车辆104的示例环境200的图。车辆计算系统102(例如,可听车辆指示发生器系统138)可以至少部分地基于例如传感器数据118和/或感知数据130来标识定位于车辆104的周围环境200内的一或多个对象。例如,车辆计算系统102标识多个第一对象202(例如,站在人行道上的行人的人群)、第二对象204(例如,移动的行人)、第三对象206(例如,停放的车辆)、第四对象208(例如,同一行进路线内的车辆)、第五对象210(例如,另一个行进路线内的车辆)和/或其它对象。车辆计算系统102可以确定对象的一或多个预测的未来定位(例如,预测数据132)。例如,车辆计算系统102可以预测第二对象204将行进到一或多个未来定位212(例如,根据预测的轨迹穿过人行横道)。车辆计算系统102可以预测第四对象208将行进到一或多个未来定位214(例如,根据预测的轨迹改变行车道)。另外或可替代地,车辆计算系统102可以预测第五对象210将行进到一或多个未来定位216(例如,根据预测的轨迹在当前行车道内)。
[0069] 车辆计算系统102(例如,可听车辆指示发生器系统138)可以至少部分地基于运动计划数据134(和/或与碰撞缓解系统135相关联的数据)来标识车辆104的计划的车辆运动动作。例如,运动计划系统128可以确定车辆104的多个计划的车辆运动动作220-224。第一计划的车辆运动动作220可以包含在行进路线内直线行进(保持当前轨迹)。第二计划的车辆运动动作222可以包含在车辆的行车道内的微移动作。第三计划的车辆运动动作224可以包含(例如,在人行横道前)停止动作。
[0070] 车辆计算系统102可以确定周围环境200内的哪些对象202-210和/或哪些计划的车辆运动动作220-224与预期听众(例如,操作者108、109,乘客136)有关。例如,虽然所有对象202-210都可能位于车辆传感器的视场内,但并非所有对象202-210都可能与操作者108、109和/或乘客136有关。在一些实施方案中,相关对象可以是当前定位于车辆104附近(例如,在阈值距离内)的对象、一个可以影响车辆104的运动的对象和/或一个可以以其它方式影响车辆104的安全操作的对象。在一些实施方案中,相关的计划的车辆运动动作可以是调整车辆104的前进方向和/或速度的动作。车辆计算系统102可以基于一或多个因素来确定对象202-210和/或计划的车辆运动动作220-224的相关性。
[0071] 在一些实施方案中,对象的相关性可以至少部分地基于对象的当前定位。举例来说,车辆计算系统102(例如,可听车辆指示发生器系统138)可以至少部分地基于与车辆104相关联的数据(例如,传感器数据118、感知数据130)来标识对象的当前定位。车辆计算系统102可以至少部分地基于相应对象的当前定位来确定对象与预期听众有关。例如,车辆计算系统102可以确定第三对象206(例如,停放的车辆)与预期听众有关,因为当第三对象在其当前定位时定位于车辆104附近。
[0072] 另外或可替代地,对象的相关性可以至少部分地基于对象的类型。例如,车辆计算系统102可以至少部分地基于感知数据130(例如,对象的分类)来确定对象的类型。车辆计算系统102可以至少部分地基于对象的类型来确定对象是相关的。例如,标识为行人的对象204可以被认为与操作者108、109和/或乘客136有关,因为此类个人可能有兴趣知道车辆
104正确地感知到其周围环境200内的行人。
[0073] 在一些实施方案中,对象的相关性可以至少部分地基于对象的一或多个预测的未来定位。例如,车辆计算系统102(例如,可听车辆指示发生器系统138)可以(例如,基于预测数据132)确定在车辆的周围环境200内的对象的一或多个预测的未来定位。车辆计算系统102可以至少部分地基于对象的一或多个预测的未来定位来确定对象与(例如,可听车辆指示150的)预期听众相关。举例来说,并非所有预测在车辆的周围环境200内移动的对象都被认为与操作者108、109和/或乘客136有关。如果对象的预测的未来定位的一或多个位置影响车辆104的运动和/或如果对象的预测轨迹与车辆的计划轨迹相交,则所述对象可以被认为是相关的。例如,车辆计算系统102可以确定第二对象204与操作者108、109和/或乘客136相关,因为第二对象204的一或多个预测的未来定位212会使车辆104停止和/或与车辆的计划轨迹相交(如果车辆104要在行车道内继续行驶)。另外或可替代地,车辆计算系统102可以认为第四对象208是相关的,因为第四对象208的(例如,进入车辆104的行车道的)预测轨迹可能影响车辆104的运动。
[0074] 计划的车辆运动动作的相关性可以至少部分地基于车辆动作的各种特性。例如,车辆计算系统102(例如,可听车辆指示发生器系统138)可以至少部分地基于计划的车辆运动动作的类型或计划的车辆运动动作对车辆104的前进方向、速度或另一个特性中的至少一个的影响中的至少一个来确定计划的车辆运动动作与(例如,可听车辆指示150的)预期听众有关。举例来说,运动计划系统128可以生成包含将由车辆104实施的多个计划的车辆运动动作220-224的运动计划。在一些实施方案中,并非所有计划的车辆运动动作220-224都可能与操作者108、109和/或乘客136有关。例如,第一计划的车辆运动动作220可以使车辆104保持一定的前进方向和/或速度(例如,在行车道内直线行进的一或多个轨迹),而第二计划的车辆运动动作222和第三计划的车辆运动动作224可能使车辆104调整其前进方向和/或速度(例如,行车道内的运动,停止等)。因此,车辆计算系统102可以将第一计划的车辆动作220标识为不相关的和/或可以将车辆运动动作222、224(例如,其调整车辆104的前进方向和/或速度)标识为不相关的。
[0075] 另外或可替代地,对象和/或计划的车辆运动动作的相关性可以至少部分地基于可听车辆指示150的具体的预期听众。例如,一些对象和/或计划的车辆运动动作可以被认为与车辆操作者108、109有关,而与乘客136(例如,运输服务的客户)无关。车辆计算系统102可以标识可听车辆指示150的预期听众。在一些实施方案中,为此,车辆计算系统102可以处理来自车辆104内部的一或多个传感器的数据,以确定(在车辆104内)是否存在车辆操作者108和/或乘客136。举例来说,车辆104可以包含在车辆104内部的座椅重量传感器、温度传感器、湿度传感器、噪声传感器、运动传感器、相机和/或其它类型的传感器。车辆计算系统102可以通过这些传感器获得数据,并确定在车辆104中是否存在操作者108和/或乘客
136。在一些实施方案中,车辆计算系统102可以基于与操作者108相关联的其它数据来确定车辆104中存在操作者108。例如,操作者108可以登录其它凭证信息和/或向车辆计算系统
102提供其它凭证信息。在一些实施方案中,车辆计算系统102可以基于与乘客136相关联的其它数据来确定车辆104中存在乘客136。例如,可以将车辆104分配给与乘客136相关联的服务请求(例如,对运输服务的请求)。车辆计算系统102可以至少部分地基于与服务请求相关联的数据(例如,由乘客136通过用户装置进行的确认,确认乘客136已经登上车辆)、与乘客136相关联的用户装置的定位(例如,用户装置定位于车辆104内)、由操作计算系统106提供的数据(例如,以指示乘客136已经登上车辆104)和/或其它信息来确定乘客136已经进入车辆104(例如,以接收所请求的服务)。
[0076] 另外或可替代地,车辆计算系统102可以标识可听车辆指示150的预期听众是远程操作者109。在一些实施方案中,车辆计算系统102可以至少部分地基于提供给车辆104和/或来自车辆的数据来标识远程操作者109正在监测车辆104。例如,车辆计算系统102可以至少部分地基于车辆计算系统102向操作计算系统106提供的辅助请求,将预期听众标识为远程操作者109。另外或可替代地,车辆计算系统102可以至少部分地基于指示远程操作者109正在监测车辆104(或请求监测和/或控制车辆104)的(例如,由车辆104接收到的)数据来标识远程操作者109(例如,通过网络)连接到车辆104。此类数据可以包含与通信系统111相关联的数据(例如,指示无线通信会话的数据)。
[0077] 在一些实施方案中,车辆计算系统102可以基于车辆104的操作模式来标识可听车辆指示150的预期听众。例如,在车辆104在完全自主模式与半自主和/或手动操作模式之间调整的情况下,车辆计算系统102可以确定在车辆104内/或在远离车辆104的定位处存在人工操作者108、109。
[0078] 车辆计算系统102可以至少部分地基于可听车辆指示150的预期听众将对象或计划的车辆运动动作中的至少一个标识为相关。例如,周围环境内(例如,在阈值距离内)的对象的若干个对象可能与(例如,在未查看视觉指示器、系统数据等的情况下)期望评估感知系统124是否准确地感知车辆104周围的对象的操作者108、109相关。举例来说,操作者108、109可以认为第五对象210(例如,另一个行进路线中的车辆)和多个第一对象202(例如,站立的行人的人群)是相关的,以确认自主计算系统114的感知操作。然而,车辆计算系统102可以不认为此类对象与使用用于运输服务的车辆104的乘客136有关。而是,车辆计算系统
102可以仅将最接近车辆104和/或会影响车辆104的运动的某些对象(例如,204、206)标识为与乘客136有关。以这种方式,车辆计算系统102可以针对乘客136标识相关对象,以确保对车辆的自主操作,而不会给乘客136增添负担或干扰。
[0079] 在另一个实例中,车辆计算系统102可以将所有计划的车辆运动动作220-224标识为针对操作者108、109(例如,其期望评估自主计算系统114的运动计划操作)是有关的。然而,车辆计算系统102可以仅将某些计划的车辆运动动作标识为与乘客136有关。这可以包含例如会影响车辆104的前进方向和/或速度的计划的车辆运动动作222、224。因此,车辆计算系统102可以至少部分地基于预期听众来过滤要传送哪些对象和/或计划的车辆运动动作。这可以使车辆计算系统102能够确保仅将被认为与预期听众有关的对象和/或计划的车辆运动动作传送给所述方。
[0080] 在一些实施方案中,操作者108、109和/或乘客136可以指定将哪些对象和/或计划的车辆运动动作传送给操作者108、109和/或乘客136。例如,操作者108、109和/或乘客136可以向图形用户接口提供用户输入,以指示与可听车辆指示150相关联的灵敏度水平。可以通过一或多个人机接口140(如图1所示)通过定位于车辆104上的显示装置来呈现图形用户接口。一或多个人机接口140可以包含例如具有一或多个显示装置的一或多个用户装置(例如,平板计算机、膝上型计算机等)。一或多个人机接口140可以定位于车辆104的内部。在一些实施方案中,此类图形用户接口可以定位于远离车辆104的车外。操作者108、109和/或乘客136可以(例如,通过到用户接口的用户输入)指定对象的类型、定位(例如,距离阈值)和/或其它参数和/或其中操作者108、109和/或乘客136期望接收可听车辆指示150的计划的车辆动作。举例来说,乘客136可以指定乘客136仅期望接收与在车辆104的10码内的对象相关联的可听车辆指示。在另一个实例中,乘客136可以指定乘客136仅期望接收与影响车辆104的前进方向和/或速度的计划的车辆运动动作相关联的可听车辆指示。在另一个实例中,乘客136可以指定乘客136根本不期望接收可听车辆指示。可以将操作者108、109和/或乘客136的偏好存储在与所述个人相关联的简档中。在调整了偏好的情况下可以更新简档。
[0081] 车辆计算系统102(例如,可听车辆指示发生器系统138)可以确定与所标识的对象和/或计划的车辆运动动作相关联的可听车辆指示150。可听车辆指示150可以是具有设计成传送各种信息的多个听觉特性的可听声音。可听车辆指示150内分层的信息的类型可以根据将要传送的自主计算系统114(或碰撞缓解系统135)的系统动作的变化而变化。例如,当(例如,通过感知系统124、预测系统126)传送与对象感知和/或对象运动预测相关联的信息时,车辆计算系统102(例如,可听车辆指示发生器系统138)可以生成指示对象的类型、对象相对于车辆104的距离、对象相对于车辆104的当前定位和/或对象(例如,相对于车辆104)的一或多个预测的未来定位的可听车辆指示150。当(例如,通过运动计划系统128、碰撞缓解系统135)传送与车辆104的运动计划相关联的信息时,车辆计算系统102可以生成指示例如计划的车辆运动动作和/或与计划的车辆运动动作相关联的一或多个定位(例如,动作的方向、动作将要发生的定位等)的可听车辆指示150。
[0082] 在一些实施方案中,为了帮助制定可听车辆指示150,车辆计算系统102(例如,可听车辆指示发生器系统138)可以访问例如存储在车辆104车载的存储器中和/或在远程定位(例如,操作计算系统106)处的数据结构。图3描绘了根据本公开的示例实施例的示例数据结构300。图3中所示的数据结构300和其所包含的信息是出于解释的目的而作为实例提供,而不旨在是限制性的。可以以各种方式格式化数据结构,并且除了图3所描绘的内容之外或作为其替代,数据结构可以包含各种信息。
[0083] 数据结构300可以包含一或多个规则、一或多个表、一或多个列表、一或多个树和/或其它类型的数据结构。数据结构300可以指示多个听觉特性。听觉特性可以包含例如音调、音量、频率和/或其它声音特性。例如,数据结构300可以指示哪些听觉特性将用于传送与对象和/或计划的车辆运动动作相关联的某些类型的信息。车辆计算系统102可以至少部分地基于数据结构300来标识可听车辆指示150的多个听觉特性中的一或多个听觉特性。
[0084] 举例来说,可以使用不同的声音来指示不同类型的对象。在一些实施方案中,可以使用第一音调(例如,第一八度音阶处的哔哔声)来指示行人;可以使用第二音调(例如,第二八度音阶处的哔哔声)来指示自行车;可以使用第三音调(例如,第三八度音阶处的哔哔声)来指示车辆等。另外或可替代地,不同的声音可以用于指示不同类型的车辆运动动作。例如,可以使用第四音调(例如,第四八度音阶处的哔哔声)来指示车辆的行车道内的微移动作;可以使用第五音调(例如,第四八度音阶处的双声哔哔声)来指示车道变更;可以使用第六音调(例如,第四八度音阶处的三声哔哔声)来指示转弯等。在一些实施方案中,可以使用第七音调来指示车辆104正在计划在其当前轨迹上保持直行。车辆计算系统102可以访问数据结构300以确定如何传送对象的类型和/或计划的车辆运动动作。
[0085] 另外或可替代地,数据结构300可以指示将使用哪些听觉特性(例如,音量水平)来指示对象(例如,相对于车辆104)的距离和/或计划的车辆运动动作要由车辆104执行之前的距离。例如,可以使用不同的音量水平来指示不同的距离范围。举例来说,可听车辆指示150(例如,与其相关联的声音)的音量水平可以与对象与车辆104之间的相对距离相关(例如,分贝水平越高/音量越大,对象越接近车辆104)。对于计划的车辆运动动作,可听车辆指示150的音量水平可以与车辆104要执行计划的车辆运动动作之前的相对距离相关(例如,分贝水平越高/音量越大,车辆104越快要执行计划的车辆运动动作)。在一些实施方案中,数据结构300可以至少部分地基于距离范围来指示音量水平。例如,数据结构300可以指示在所标识的对象在距车辆104的第一距离范围内(例如,小于X英尺)的情况下,应以第一音量水平输出可听车辆指示150,可以使用第二音量水平(例如,比第一音量水平低的分贝水平)来指示对象在距车辆104的第二距离范围内(例如,介于X英尺与Y英尺之间),可以使用第三音量水平(例如,比第二音量水平低的分贝水平)来指示对象在距车辆104的第三距离范围内(例如,大于Y英尺),等等。如图3所示,数据结构300可以包含用于计划的车辆运动动作的类似的此类方法。在一些实施方案中,数据结构300可以包含指示音量与距离(例如,对象、车辆运动动作的距离)之间的关系的规则和/或函数。车辆计算系统102可以访问数据结构300以确定如何将与对象和/或计划的车辆运动动作相关联的(例如,相对于车辆104的)距离传送给预期听众。
[0086] 数据结构300可以指示可听车辆指示150如何指示对象相对于车辆104的一或多个定位和/或指示与计划的车辆运动动作相关联的一或多个定位。例如,如图4所示,车辆104可以包含多个输出装置400A-F。输出装置400A-F可以包含可听输出装置,例如扬声器和/或其它可听输出装置。输出装置400A-F可以定位于车辆104的内部402内。输出装置可以定位于车辆104的整个内部402中。例如,第一输出装置400A可以定位于车辆104的左前侧(例如,在驾驶员的侧门处),第二输出装置400B可以定位于车辆104前部的中心(例如,在仪表板的中心处),第三输出装置400C可以定位于车辆104的右前侧(例如,在前排乘客的侧门处),第四输出装置400D可以定位于车辆104的右后侧(例如,在右后侧的乘客门处),第五输出装置400E可以定位于车辆104的后部(例如,在车辆行李箱的中心附近),以及第六输出装置400F可以定位于车辆104的左后侧(例如,在左后侧的乘客门处)等。
[0087] 返回到图3,数据结构300可以指示车辆计算系统102如何可以利用这些各种输出装置400A-F来传送与对象和/或计划的车辆运动动作相关联的一或多个定位。例如,车辆计算系统102可以确定与所标识的对象(例如,相关对象)和/或计划的车辆运动动作(例如,相关车辆运动动作)相关联的一或多个定位。车辆计算系统102可以确定利用输出装置400A-F中的哪个输出装置来指示这些定位。举例来说,车辆计算系统102可以确定将第三对象206的当前定位定位于车辆104的右前侧(例如,“区域3”)。数据结构300可以指示对于此定位,可以通过定位于车辆104的右前侧(例如,在前乘客侧门处)的输出装置400C来输出可听车辆指示150,以便指示第三对象206相对于车辆104的此定位。
[0088] 另外或可替代地,车辆计算系统102可以确定利用输出装置400A-F中的哪个输出装置来指示对象(例如,相关对象)的一个或多个预测的未来定位。例如,车辆计算系统102可以确定预测第二对象204行进到在车辆104前方形成从右到左的路径(例如,行人沿着人行横道从右向左行走)的一或多个预测的未来定位212,如图2所示。数据结构300可以指示对于这些定位(例如,区域3-2-1),可以以从定位于车辆104的右前侧(例如,在前乘客侧门处)的第三输出装置400C开始,然后通过定位于车辆104前部的中心(例如,在仪表板的中心处)的第二输出装置400B,接着通过定位于车辆104的左前侧(例如,在驾驶员的侧门处)的第一输出装置400A的顺序来输出可听车辆指示150。这可以反映第二对象204的预测轨迹。
[0089] 在另一个实例中,车辆计算系统102可以确定预测第四对象208沿从车辆104的相邻行车道到当前行车道的路径从车辆104的左侧开始行进到一或多个预测的未来定位214,如图2所示。数据结构300可以指示对于这些定位(例如,区域1-2),可以以从定位于车辆104的左前侧的第一输出装置400A开始,然后通过定位于车辆104前部的中心的第二输出装置400B的顺序来输出可听车辆指示150。这可以反映第四对象208的预测轨迹。
[0090] 在另一个实例中,车辆计算系统102可以确定预测第五对象210沿车辆104的左侧行进到一或多个预测的未来定位216,如图2所示。数据结构300可以指示对于这些定位,可以以从定位于车辆104的左前侧的第一输出装置400A开始,然后通过定位于车辆104的左后侧的第六输出装置400F的顺序来输出可听车辆指示150。这可以反映第五对象210的预测轨迹。
[0091] 车辆计算系统102还可以确定利用输出装置400A-F来中的哪个输出装置来指示计划的车辆运动动作的一或多个定位。例如,车辆计算系统102可以确定车辆104要执行第一计划的车辆运动动作220(例如,在车辆的行车道内保持直线轨迹)。数据结构300可以指示对于与第一计划的车辆运动动作220相关联的定位,可以通过定位于车辆104前部的中心的第二输出装置400B来输出可听车辆指示150。这可以反映出第一计划的车辆运动动作220的定位(例如,与第一计划的车辆运动动作相关联的轨迹)。
[0092] 在另一个实例中,车辆计算系统102可以确定车辆104要执行第二计划的车辆运动动作222(例如,在车辆的行车道内向左微移)。数据结构300可以指示对于与计划的车辆运动动作相关联的定位,可以通过定位于车辆104的左前侧(例如,在驾驶员的侧门处)的第一输出装置400A和/或定位于车辆104的左后侧(例如,在左后侧的乘客门处)的第六输出装置400F来输出可听车辆指示150。这可以反映出第二计划的车辆运动动作222的定位。
[0093] 在一些实施方案中,输出装置400A-F可以定位于车辆104内的各个高度处。数据结构300可以指示应利用哪个(哪些)输出装置来标识某些对象的高度。车辆计算系统102可以通过在车辆104内的某些高度处的一或多个输出装置来输出可听车辆指示150,以指示对象的高度。
[0094] 在一些实施方案中,可听车辆指示150可以指示在车辆104的周围环境200内的对象的意图。例如,车辆计算系统102可以至少部分地基于对象相对于车辆104的运动(例如,对象的定位、速率、加速度和/或其它特性)来确定对象相对于车辆104的意图。对象的意图可以是例如指示对象对车辆104是不友好的(例如,表现/将表现为有害或潜在有害)或友好的(例如,不表现/将不表现为有害或潜在有害)。在一些实施方案中,数据结构300可以指示一或多种听觉特性,以用于正确传送对象的意图。例如,输出可听车辆指示150所利用的频率(例如,每时间帧的输出数量)可以指示对象的意图。举例来说,数据结构300可以指示对于不友好的对象,可以以比对于友好对象而输出的可听车辆指示(例如,其可能仅输出一次)更高的频率(例如,X次每Y秒)重复输出可听车辆指示150。
[0095] 在一些实施方案中,可听车辆指示150的所标识的听觉特性中的至少一个所标识的听觉特性可以至少部分地基于可听车辆指示150的预期听众。例如,车辆计算系统102可以以与传送给乘客136(例如,不熟悉专用音调的运输服务的客户)不同的方式将对象的类型传送给操作者108、109(例如,其可以经过训练以识别某些音调)。举例来说,数据结构300可以指定对于车辆操作者108、109,可听车辆指示150将包含用于向操作者108、109指示对象类型的音调(例如,哔哔声)。另外或可替代地,数据结构300可以指示对于乘客136,可听车辆指示150将包含用于向乘客136(例如,其未经过专门训练来标识某些音调)指示对象类型的语音消息(例如,陈述“行人”、“自行车”、“车辆”等一个词的消息)。以这种方式,车辆计算系统102可以使可听车辆指示150适应于个人对车辆104可能具有的体验水平。
[0096] 车辆计算系统102可以通过一或多个输出装置输出可听车辆指示150。例如,车辆计算系统102可以在车辆104的内部402内通过一或多个输出装置400A-F输出与所标识的对象或计划的车辆运动动作(例如,相关对象、相关计划的车辆运动动作)相关联的可听车辆指示150。在一些实施方案中,车辆计算系统102可以将指示可听车辆指示150的数据提供给一或多个远程计算装置(例如,操作计算系统106的远程计算装置)。以这种方式,可听车辆指示150可以通过远程输出设备142(图1中所示)输出到远离车辆104的车辆104的远程操作者109。
[0097] 车辆计算系统102可以将可听车辆指示150输出为(例如,由数据结构300指定的)听觉特性的分层组合,以传送各种类型的信息。例如,可听车辆指示150可以指示对象的类型或计划的车辆运动动作的类型。此外,可以以指示与对象或计划的车辆运动动作(例如,当前定位,一或多个未来定位)相关联的一或多个定位的方式输出可听车辆指示150。例如,车辆计算系统102可以通过一或多个输出装置400A-F输出可听车辆指示150。一或多个输出装置400A-F可以对应于与对象相关联的一或多个定位或与计划的车辆运动动作相关联的一或多个定位,如本文所述。例如,对于在车辆104的周围环境200内感知到的对象,车辆计算系统102可以通过车辆104内某些位置处的一或多个选定的输出装置以(例如,用于指示从对象到车辆104的相对距离的)一定的音量输出包含(例如,用于指示对象的类型的)音调的可听车辆指示150(例如,以指示对象的定位和/或其预测的运动)。举例来说,对于第二对象204(例如,移动的行人),车辆计算系统102可以以指示第二对象204的距离的音量水平输出包含用于指示行人的第一音调(例如,第一八度音阶处的哔哔声)的可听车辆指示150。此外,如本文所述,可以通过第三、第二和第一输出装置400A-C输出与第二对象204相关联的可听车辆指示150,以指示第二对象204的一或多个定位(例如,当前定位、未来定位)。在一些实施方案中,可以以较低的频率输出可听车辆指示150(例如,一次),以指示第二对象204对车辆104友好。操作者108、109和/或乘客136可以基于输出的可听车辆指示150来评估和识别车辆的自主计算系统114(例如,感知系统124、预测系统126)的操作。
[0098] 另外或可替代地,对于计划的车辆运动动作,车辆计算系统102可以通过在车辆104内某些位置处的一或多个选定的输出装置以(例如,用于指示车辆操纵之前的相对距离的)一定的音量输出包含(例如,用于指示车辆操纵的类型的)音调的可听车辆指示150(例如,以指示与车辆操纵相关联的一或多个定位)。举例来说,对于第二计划的车辆运动动作
222(例如,移动的行人),车辆计算系统102可以以指示车辆104要执行第二计划的车辆运动动作222之前的距离的音量水平输出包含用于指示第四音调(例如,第四八度音阶处的哔哔声)的可听车辆指示150。此外,如本文所述,可以通过第一输出装置400A和/或第六输出装置400F输出相关联的可听车辆指示150,以指示第二计划的车辆运动动作222的一或多个定位。
[0099] 在一些实施方案中,车辆计算系统102可以至少部分地基于车辆104内的操作者108的注意力水平来输出可听车辆指示150。车辆104可以在车辆内部包含一或多个操作者传感器144(图1所示)。车辆计算系统可以被配置成确定(例如,定位于驾驶员座位上的)操作者108是否正在注意行进路线和/或车辆动作。例如,一或多个操作者传感器144(例如,运动传感器、压力传感器、相机等)可以被配置成获取与操作者108相关联的数据。此类数据可以包含例如指示操作者108是否已经从转向机构(例如,转向盘)上移开他/她的手的数据、指示操作者的眼睛是否已经偏离车辆的行进路线的数据和/或操作者的肢体语言是否指示潜在的注意力不集中(例如,由于疲劳而引起的头部晃动)。车辆计算系统102可以通过一或多个操作者传感器144获得与操作者108相关联的数据。车辆计算系统102可以至少部分地基于此类数据来确定与定位于车辆104的内部的操作者108相关联的注意力水平。车辆计算系统102可以至少部分地基于注意力水平来输出可听车辆指示150。例如,在操作者的眼睛偏离了行进路线的情况下,车辆计算系统102可以输出车辆104的内部402内的(例如,指示感知到的对象的状态的)可听车辆指示150(例如,表示感知到的对象的状态),以帮助重新获得操作者的注意。在一些实施方案中,车辆计算系统102可以(例如,连续地,利用可听车辆指示等)输出背景噪声以帮助保持操作者的注意力。
[0100] 图5描绘了根据本公开的示例实施例的传送自主车辆操作的示例方法500的流程图。可以由一或多个计算装置(例如,(例如,车辆104车载的)车辆计算系统102的一或多个计算装置)实施方法500的一或多个部分。可以由一或多个计算装置的任何装置(或任何组合)执行方法500的每个相应部分。此外,方法500的一或多个部分可以被实施为例如关于本文所述的一或多个装置(例如,如图1和6中)的硬件组件的算法,以传送自主车辆操作。图5描绘了出于说明和讨论目的以特定顺序执行的元件。使用本文所提供的本公开的本领域普通技术人员将理解,可以在不偏离本公开的范围的情况下以各种方式来调整、重新布置、扩展、省略、组合和/或修改本文所讨论的方法中的任何方法的元件。
[0101] 在(502)处,方法500可以包含获得与车辆相关联的数据。例如,车辆计算系统102可以获得与车辆104(例如,自主车辆)相关联的数据。与车辆104相关联的数据可以包含以下中的至少一个:由车辆104的自主系统114(例如,感知系统124)获得的感知数据130、由车辆104的自主系统114(例如,预测系统126)获得的预测数据132、与车辆104的运动计划134相关联的数据或与车辆104的碰撞缓解系统135相关联的数据。
[0102] 在(504)处,方法500可以包含标识对象或计划的车辆运动动作。车辆计算系统102可以至少部分地基于与车辆104相关联的数据来标识车辆104的周围环境200内的对象202-210或车辆104的计划的车辆运动动作220-224。在一些实施方案中,车辆计算系统102可以标识可能与相关联的可听车辆指示150的预期听众有关的一或多个对象和/或一或多个计划的车辆运动动作。例如,车辆计算系统102可以至少部分地基于与车辆104相关联的数据来标识对象的当前定位。可以将所标识的对象包含在车辆104的周围环境200内的多个对象
202-210中。车辆计算系统102可以至少部分地基于对象的当前定位来确定对象与可听车辆指示150的预期听众有关,如本文所述。另外或可替代地,车辆计算系统102可以标识对象的一或多个预测的未来定位。如本文所述,车辆计算系统102可以至少部分地基于对象的一或多个预测的未来定位来确定对象与可听车辆指示150的预期听众相关。另外或可替代地,车辆计算系统102可以至少部分地基于与车辆104相关联的数据来标识车辆104的运动计划
134的多个计划的车辆运动动作220-224。车辆计算系统102可以确定(例如,包含在多个计划的车辆运动动作220-224中的)计划的车辆运动动作与可听车辆指示150的预期听众有关。例如,车辆计算系统102可以至少部分地基于计划的车辆运动动作的类型或计划的车辆运动动作对车辆104的前进方向或速度中的至少一个的影响中的至少一个来确定计划的车辆运动动作与可听车辆指示150的预期听众有关。
[0103] 在(506)处,方法500可以包含确定与对象或计划的车辆运动动作相关联的可听车辆指示。车辆计算系统102可以确定与所标识的对象或计划的车辆运动动作相关联的可听车辆指示150。例如,车辆计算系统102可以访问存储在定位于车辆104上的存储器中的数据结构300。数据结构300可以指示多个听觉特性。车辆计算系统102可以至少部分地基于数据结构300来标识可听车辆指示150的多个听觉特性中的一或多个听觉特性。在一些实施方案中,所标识的听觉特性中的至少一个所标识的听觉特性可以至少部分地基于可听车辆指示150的预期听众。可听车辆指示150可以指示对象的类型或计划的车辆运动动作的类型。在一些实施方案中,可听车辆指示150可以指示对象相对于车辆104的距离(或车辆运动动作之前的距离)。在一些实施方案中,可听车辆指示可以指示在车辆104的周围环境200内的对象的意图,如本文所述。
[0104] 在一些实施方案中,在(508)处,方法500可以包含确定操作者的注意力水平。例如,车辆计算系统102可以确定与定位于车辆104的内部的操作者108相关联的注意力水平。车辆计算系统102可以至少部分地基于注意力水平来输出可听车辆指示150,如本文所述。
[0105] 在(510)处,方法500可以包含输出可听车辆指示。例如,车辆计算系统102可以通过车辆104车载的一或多个输出装置400A-F来输出可听车辆指示150。可听车辆指示150是以指示与对象相关联的一或多个定位或与计划的车辆运动动作相关联的一或多个定位的方式在车辆104的内部402输出的。与对象(或计划的车辆运动动作)相关联的一或多个定位可以包含对象(或计划的车辆运动动作)的当前定位或对象(或计划的车辆运动动作)的一或多个预测的未来定位中的至少一个。例如,如本文所述,车辆104可以包含多个输出装置400A-F。车辆计算系统102可以至少部分地基于与对象相关联的一或多个定位或与计划的车辆运动动作相关联的一或多个定位来选择定位于车辆104上的多个输出装置400A-F的至少一个子集。输出装置400A-F的子集的一或多个位置可以对应于与对象相关联的一或多个定位或与计划的车辆运动动作相关联的一或多个定位。车辆计算系统102可以通过多个输出装置400A-F的子集输出可听车辆指示150。可以以指示一或多个未来定位(和/或当前定位)的方式输出可听车辆指示150。此外,车辆计算系统102可以根据一或多个所标识的听觉特性来输出可听车辆指示150,如本文所述。
[0106] 图6描绘了根据本公开的示例实施例的示例系统600。图6中所展示的示例系统600仅以实例的形式提供。图6中所展示的组件、系统、连接和/或其它方面是任选的,并且以实施本公开的可能的但非必需的实例的形式提供。示例系统600可以包含车辆104的车辆计算系统102和可以通过一或多个网络610彼此通信地耦接的远程计算系统620(例如,操作计算系统106)。远程计算系统620可以与中央操作系统和/或与车辆104相关联的实体(例如,车辆所有者、车辆管理者、车队操作者、服务提供商等)相关。
[0107] 车辆计算系统102的一或多个计算装置601可以包含一或多个处理器602和存储器604。一或多个处理器602可以是任何合适的处理装置(例如,处理器核、微处理器、ASIC、FPGA、控制器、微控制器等),并且可以是一或多个可操作地连接的处理器。存储器604可以包含一或多个非暂时性计算机可读存储媒体,如RAM、ROM、EEPROM、EPROM、一或多个存储器装置、闪存装置、数据注册器等,和其组合。
[0108] 存储器604可以存储可以由一或多个处理器602访问的信息。例如,车辆104车载的存储器604(例如,一或多个非暂时性计算机可读存储媒体、存储器装置)可以包含可以由一或多个处理器602执行的计算机可读指令606。指令606可以是以任何合适的编程语言编写的软件,或者可以以硬件实施。另外或可替代地,可以在一或多个处理器602上的逻辑和/或虚拟分开的线程中执行指令606。
[0109] 例如,车辆104车载的存储器604可以存储指令606,当所述指令由车辆104车载的一或多个处理器602执行时,使得一或多个处理器602(车辆计算系统102)执行操作,如车辆计算系统102的操作和功能、用于执行系统动作(例如,感知车辆的周围环境内的对象、预测对象运动、计划车辆运动等)的操作和功能、用于传送自主车辆操作(例如,方法500的一或多个部分)的操作和功能和/或如本文所述的车辆计算系统102的任何其它操作和功能中的任何操作和功能。
[0110] 存储器604可以存储可以获得、接收、访问、写入、操纵、创建和/或存储的数据608。数据608可以包含例如与车辆相关联的数据(例如,感知数据、预测数据、运动计划数据、与碰撞缓解系统相关联的数据等)、可以用于确定可听车辆指示的数据结构、与可听车辆指示相关联的数据、与一或多个输出装置相关联的数据(例如,一或多个输出装置的位置)和/或如本文所述的其它数据/信息。在一些实施方案中,一或多个计算装置601可以从远离车辆
104的一或多个存储器获得数据。
[0111] 一或多个计算装置601还可以包含通信接口609,所述通信接口用于与车辆104车载的一或多个其它系统和/或远离车辆104的远程计算装置(例如,操作计算系统106的远程计算装置)通信。通信接口609可以包含用于通过一或多个网络(例如,610)进行通信的任何电路、组件、软件等。在一些实施方案中,通信接口609可以包含例如用于传送数据的通信控制器、接收器、收发器、发射器、端口、导体、软件和/或硬件中的一或多个。
[0112] 一或多个网络610可以是允许装置之间进行通信的任何类型的网络或网络的组合。在一些实施例中,一或多个网络610可以包含局域网、广域网、因特网、安全网络、蜂窝网络、网状网络、对等通信链路和/或其一些组合中的一或多个,并且可以包含任意数量的有线链路或无线链路。可以例如通过使用任何类型的协议、保护方案、编码、格式、包装等的通信接口来完成通过一或多个网络610的通信。
[0113] 远程计算系统620可以包含远离车辆计算系统102的一或多个远程计算装置。远程计算装置可以包含与本文针对一或多个计算装置601所述的组件类似的组件(例如,一或多个处理器、存储器、指令、数据)。此外,远程计算系统620可以被配置成执行操作计算系统106的一或多个操作,如本文所述。
[0114] 本文所讨论的在远离车辆的一或多个计算装置处执行的计算任务可以替代地(例如,通过车辆计算系统)在车辆处执行,反之亦然。此外,本文所讨论的由操作计算系统执行的计算任务可以由另一个计算系统执行。可以在不偏离本公开的范围的情况下实施此类配置。基于计算机的系统的使用允许组件之间的任务和功能的各种可能的配置、组合和划分。可以在单个组件上或跨多个组件执行计算机实施的操作。可以按顺序或并行执行计算机实施的任务。可以将数据和指令存储在单个存储器装置中,或跨多个存储器装置存储数据和指令。
[0115] 虽然已经关于具体示例实施例及其方法详细描述了本发明主题,但是应理解的是,本领域技术人员在理解前述内容之后,可以容易地产生此类实施例的变更、改变和等同物。因此,本公开的范围是作为实例而不是作为限制,并且,对本领域普通技术人员而言将显而易见的是,本公开不排除将对本发明主题的此类修改、改变和/或添加包含在内。