一种障碍物跟踪方法、装置、设备及存储介质

摘要

本发明公开了一种障碍物跟踪方法、装置、设备及存储介质，该方法包括：确定车辆行驶环境中的障碍物元素与语义元素；对障碍物元素与语义元素进行特征增强，得到障碍物的嵌入特征；对嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征；将目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由关联网络输出的障碍物与历史轨迹的匹配结果、由轨迹预测网络输出的障碍物的多组预测轨迹。上述方法可以实现对障碍物进行更长时间的状态预测，并能够对障碍物未来的多种行为进行有效预测，可以进一步减缓决策系统的计算压力，及时对短时单个错误的决策指令进行纠正。

权利要求

1.一种障碍物跟踪方法，其特征在于，包括：确定车辆行驶环境中的障碍物元素与语义元素；

对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征；

通过预设的第二特征提取网络从所述嵌入特征与车辆的历史轨迹中提取维度统一的第二初始特征；

基于所述第二初始特征构建第二特征矩阵；

基于所述嵌入特征与所述车辆的历史轨迹的位置信息建立第二邻接矩阵；

将所述第二特征矩阵和所述第二邻接矩阵输入预设的第二图神经网络中，得到由所述第二图神经网络输出的目标特征；

将所述目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由所述关联网络输出的所述障碍物与所述历史轨迹的匹配结果、由所述轨迹预测网络输出的所述障碍物的多组预测轨迹。

2.根据权利要求1所述的方法，其特征在于，所述确定车辆行驶环境中的障碍物元素与语义元素，包括：采集车辆行驶环境中包含障碍物的点云数据；

将所述点云数据输入预设的目标检测网络中，得到由所述目标检测网络输出的障碍物元素；

获取与所述点云数据匹配的语义地图；

从所述语义地图中选取在所述障碍物所在位置的预设范围内的语义元素。

3.根据权利要求1所述的方法，其特征在于，所述对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征，包括：通过预设的第一特征提取网络从所述障碍物元素与所述语义元素中提取维度统一的第一初始特征；

基于所述第一初始特征构建第一特征矩阵；

基于所述障碍物元素与所述语义元素的位置信息建立第一邻接矩阵；

将所述第一特征矩阵和所述第一邻接矩阵输入预设的第一图神经网络中，得到由所述第一图神经网络输出的障碍物的嵌入特征。

4.根据权利要求3所述的方法，其特征在于，所述基于所述障碍物元素与所述语义元素的位置信息建立第一邻接矩阵，包括：确定由多个所述障碍物元素与多个所述语义元素构成的元素集合；

计算所述元素集合中各元素两两之间的距离；

将所述距离与预设的距离阈值进行比较，基于比较的结果建立第一邻接矩阵。

5.根据权利要求4所述的方法，其特征在于，所述将所述距离与预设的距离阈值进行比较，基于比较的结果建立第一邻接矩阵，包括：针对所述元素集合中的每一个元素，若该元素与其他元素之间的距离小于预设的距离阈值，则将第一邻接矩阵中与该距离对应位置的数字置为1；

若该元素与其他元素之间的距离大于所述距离阈值，则将第一邻接矩阵中与该距离对应位置的数字置为0。

6.根据权利要求4或5所述的方法，其特征在于，所述基于所述障碍物元素与所述语义元素的位置信息建立第一邻接矩阵，还包括：采用添加自环与归一化处理的方式优化所述第一邻接矩阵，得到优化后的第一邻接矩阵。

7.根据权利要求6所述的方法，其特征在于，所述采用添加自环与归一化处理的方式优化所述第一邻接矩阵，得到优化后的第一邻接矩阵，包括：将单位矩阵添加至所述第一邻接矩阵中，得到添加自环后的第一邻接矩阵；

确定所述障碍物元素与所述语义元素的度矩阵；

将所述添加自环后的第一邻接矩阵与所述度矩阵的逆相乘，得到优化后的第一邻接矩阵。

8.根据权利要求1所述的方法，其特征在于，所述通过预设的第二特征提取网络从所述嵌入特征与车辆的历史轨迹中提取维度统一的第二初始特征，包括：确定置信度高于预设的置信度阈值的障碍物的嵌入特征与低置信度的障碍物的嵌入特征作为目标障碍物特征；

将所述目标障碍物特征与车辆的历史轨迹输入预设的第二特征提取网络中，得到由所述第二特征提取网络输出的第二初始特征。

9.一种障碍物跟踪装置，其特征在于，包括：元素确定模块，用于确定车辆行驶环境中的障碍物元素与语义元素；

特征增强模块，用于对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征；

特征关联模块，用于对所述嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征；

结果输出模块，用于将所述目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由所述关联网络输出的所述障碍物与所述历史轨迹的匹配结果、由所述轨迹预测网络输出的所述障碍物的多组预测轨迹；

其中，所述特征关联模块包括:

第二初始特征确定子模块，用于通过预设的第二特征提取网络从所述嵌入特征与车辆的历史轨迹中提取维度统一的第二初始特征；

第二特征矩阵确定子模块，用于基于所述第二初始特征构建第二特征矩阵；

第二邻接矩阵确定子模块，用于基于所述嵌入特征与所述车辆的历史轨迹的位置信息建立第二邻接矩阵；

目标特征确定子模块，用于将所述第二特征矩阵和所述第二邻接矩阵输入预设的第二图神经网络中，得到由所述第二图神经网络输出的目标特征。

10.一种计算机设备，其特征在于，所述计算机设备包括：一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1‑8中任一所述的障碍物跟踪方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1‑8中任一所述的障碍物跟踪方法。

说明书

一种障碍物跟踪方法、装置、设备及存储介质

技术领域

[0001] 本发明实施例涉及目标跟踪技术，尤其涉及一种障碍物跟踪方法、装置、设备及存储介质。

背景技术

[0002] 在自动驾驶领域，一般设置在车辆内的自动驾驶系统包括感知系统和决策系统，感知系统作为上游能够为下游的决策系统提供车辆行驶环境中的各种感知信息，其中包括对行驶环境中障碍物的感知，感知系统能够对行驶环境中的障碍物进行状态跟踪，为决策系统提供障碍物的运动状态，帮助决策系统作为正确的决策。

[0003] 然而，目前针对感知系统所设计的障碍物跟踪方法只能提供障碍物在较短时间内的运动状态，无法建立障碍物与车辆行驶状态之间的关联关系，且无法预测障碍物在未来时间段内的多种可能存在的运动状态。这容易增加下游的决策系统的计算压力，还可能会引发错误的决策指令。

发明内容

[0004] 本发明提供一种障碍物跟踪方法、装置、设备及存储介质，能够解决现有技术只能提供障碍物在较短时间内的运动状态，无法建立障碍物与车辆行驶状态之间的关联关系，且无法预测障碍物在未来时间段内的多种可能存在的运动状态的技术问题。

[0005] 第一方面，本发明实施例提供了一种障碍物跟踪方法，所述方法包括：

[0006] 确定车辆行驶环境中的障碍物元素与语义元素；

[0007] 对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征；

[0008] 对所述嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征；

[0009] 将所述目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由所述关联网络输出的所述障碍物与所述历史轨迹的匹配结果、由所述轨迹预测网络输出的所述障碍物的多组预测轨迹。

[0010] 第二方面，本发明实施例还提供了一种障碍物跟踪装置，所述装置包括：

[0011] 元素确定模块，用于确定车辆行驶环境中的障碍物元素与语义元素；

[0012] 特征增强模块，用于对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征；

[0013] 特征关联模块，用于对所述嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征；

[0014] 结果输出模块，用于将所述目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由所述关联网络输出的所述障碍物与所述历史轨迹的匹配结果、由所述轨迹预测网络输出的所述障碍物的多组预测轨迹。

[0015] 第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

[0016] 一个或多个处理器；

[0017] 存储器，用于存储一个或多个程序，

[0018] 当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的障碍物跟踪方法。

[0019] 第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的障碍物跟踪方法。

[0020] 本发明通过确定车辆行驶环境中的障碍物元素与语义元素，障碍物元素中包含车辆行驶环境中的障碍物的多种特征，对障碍物元素与语义元素进行特征增强，得到障碍物的嵌入特征，该嵌入特征融合了障碍物自有的特征与环境中的语义信息，能够为后续对障碍物状态的预测提供地理场景的先验信息，增强障碍物跟踪方法在面向复杂地形场景的鲁棒性；对嵌入特征与车辆的历史轨迹进行特征关联，建立障碍物与车辆行驶状态之间的关联关系，得到目标特征，即该目标特征表征了嵌入特征与车辆的历史位置信息之间的关联关系，使用了历史轨迹中的历史帧位置信息对障碍物的嵌入特征进行了再次特征增强，使得目标特征融合有车辆的行驶状态信息，将目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由关联网络输出的障碍物与历史轨迹的匹配结果、由轨迹预测网络输出的障碍物的多组预测轨迹，可以实现对障碍物进行更长时间的状态预测，并能够对障碍物未来的多种行为进行有效预测，可以进一步减缓决策系统的计算压力，及时对短时单个错误的决策指令进行纠正。

附图说明

[0021] 图1为本发明实施例一提供的一种障碍物跟踪方法的流程图；

[0022] 图2为本发明实施例二提供的一种障碍物跟踪方法的流程图；

[0023] 图3为本发明实施例二提供的一种基于图神经网络的特征增强的流程图；

[0024] 图4为本发明实施例二提供的一种基于图神经网络的特征关联的流程图；

[0025] 图5为本发明实施例三提供的一种障碍物跟踪装置的结构示意图；

[0026] 图6为本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

[0027] 下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

[0028] 实施例一

[0029] 图1为本发明实施例一提供的一种障碍物跟踪方法的流程图，本实施例可适用于车辆对行驶环境中的障碍物进行运动跟踪及预测障碍物的未来状态的情况，该方法可以由障碍物跟踪装置来执行，该障碍物跟踪装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，无人驾驶车辆、机器人、无人飞行器等无人设备，以及，服务器、个人电脑等计算设备，等等，该方法具体包括如下步骤：

[0030] S101、确定车辆行驶环境中的障碍物元素与语义元素。

[0031] 本实施例中，障碍物元素可以理解为存在于车辆行驶环境中的障碍物的多种特征组成的要素，包括障碍物的外观特征、状态特征(例如移动的障碍物的速度、加速度)等，障碍物可以是静止的建筑物、灌木、围栏、石墩等，也可以是运动的车辆、行人等。语义元素可以理解为由存在于车辆行驶环境中的对象的语义信息构成的要素，存在于车辆行驶环境中的对象可以是交通灯、区域信息、停止线、车道标识，等等，这些带有语义信息的对象可以称为语义对象，一个语义元素对应一个语义对象。本实施例中的障碍物元素可以有多个，语义元素也可以有多个，本实施例对障碍物元素的数量与语义元素的数量不作限定。

[0032] 在具体实现中，若车辆中设置有感知传感器(例如激光雷达、相机、毫米波雷达)，则可以通过感知传感器获取车辆行驶环境中的障碍物信息，分析障碍物信息来获取包含障碍物的外观、速度、加速度等特征的障碍物元素，而语义元素则可以通过分析表征车辆行驶环境的语义地图获取得到。

[0033] 在一种优选的实现方式中，可以通过安装在车辆上的激光雷达传感器采集车辆行驶环境中包含障碍物的点云数据；将点云数据输入预设的目标检测网络中，得到由目标检测网络输出的障碍物元素；获取与点云数据匹配的语义地图，该语义地图可以根据车辆行驶环境中的路况实时更新，例如，若激光雷达采集到t时刻的第t帧点云数据时，则需要获取能够表征车辆在t时刻的行驶环境的标注有语义信息的地图作为与当前第t帧点云数据匹配的语义地图，该语义地图可以是标注有语义信息的三维点云地图；在确定对应的语义地图后，为了获取与障碍物元素可能存在关联关系的语义信息，可以结合障碍物在语义地图中的位置，从语义地图中选取在障碍物所在位置的预设范围内的语义元素。

[0034] 其中，预设的目标检测网络可以是针对点云数据训练完成的用于实现障碍物检测功能的神经网络，具体的，可以是以包含障碍物的点云数据作为训练样本、以网络输出趋近于训练样本中标注的障碍物为训练目的所训练得到的神经网络，该神经网络可以是区域卷积神经网络R‑CNN(Region with CNN Feature)、Faster R‑CNN(Faster Region with CNN Feature)、YOLO、SSD(Single Shot MultiBox Detector)，等等，本实施例对此不作限定。

[0035] 在另一种实现方式中，还可以通过安装在车辆上的相机采集车辆行驶环境中包含障碍物的图像数据，对图像数据进行目标检测和目标识别，以获取障碍物元素；而语义元素也可以从标注有语义信息且表征车辆行驶环境全景的图像数据中、通过语义分割方法从该图像数据中提取得到。在其他的实现方式中，还可以利用设置在车辆内的感知系统所包含的其他模块获取障碍物元素与语义元素，例如车道线检测模块。需要说明的是，本实施例对确定车辆行驶环境中的障碍物元素与语义元素的具体实现方式不作限定。

[0036] S102、对障碍物元素与语义元素进行特征增强，得到障碍物的嵌入特征。

[0037] 本实施例中，障碍物的嵌入特征可以通过分别对障碍物元素与语义元素进行特征提取，再针对两者提取到的特征、采用特征增强的方式对特征进行增强与融合得到。本实施例对具体的特征增强的方式不作限定。

[0038] 在一种实现方式中，可以对障碍物元素与语义元素分别提取特征，得到障碍物特征与语义特征，分别计算障碍物特征与语义特征在特征空间上的特征分布，得到障碍物特征分布和语义特征分布，基于障碍物特征分布和语义特征分布，确定障碍物元素与语义元素之间的关联特征，使用该关联特征与障碍物特征进行融合，从而得到障碍物的嵌入特征。

[0039] 在另一种实现方式中，还可以采用图构建的方式对障碍物元素与语义元素进行特征增强，得到障碍物的嵌入特征。具体的，可以以障碍物元素与语义元素作为节点，连接各个节点之间的边，对障碍物元素与语义元素分别提取特征，得到障碍物特征与语义特征，将障碍物特征与语义特征在特征维度上进行归一化，采用归一化后的多个特征确定节点的边的权重，以多个节点、节点之间的边以及边的权重构建图，基于图中各个节点之间的关联关系来增强目标节点的边的权重，从而实现对障碍物特征的增强，得到融合有语义元素的特征信息的障碍物的嵌入特征。

[0040] 可以理解的是，本实施例中的障碍物可以有多个，本实施例对障碍物的数量不作限定，每个障碍物对应一个障碍物元素，且障碍物的嵌入特征也可以有多个，每个障碍物元素对应一个障碍物的嵌入特征，本实施例对嵌入特征的数量不作限定。

[0041] S103、对嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征。

[0042] 本实施例中，在获取到增强特征信息后的障碍物的嵌入特征时，可以对嵌入特征进行挑选，选取置信度高的嵌入特征与车辆的历史轨迹进行特征关联，得到再次融合有历史轨迹信息与障碍物信息的目标特征。可以理解的是，目标特征包括历史轨迹信息、障碍物信息与语义信息，目标特征是在嵌入特征的基础上进行再次增强、并融合有历史轨迹信息的特征。因此，获取目标特征也可以采用特征增强的方式从嵌入特征与车辆的历史轨迹中提取得到，本实施例对具体的特征关联、特征增强的方式不作限定。

[0043] 本实施例中的车辆的历史轨迹包括历史帧的车辆位姿信息，历史帧可以理解为与当前时刻t相比的之前时刻t‑1、t‑2、t‑3……t‑n(n<＝t)；车辆位姿信息可以包括车辆的位置和姿态，位置可以表示为三维欧式坐标(x，y，z)、姿态可以表示为姿态角度中常用的俯仰角、偏航角、横滚角。

[0044] S104、将目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由关联网络输出的障碍物与历史轨迹的匹配结果、由轨迹预测网络输出的障碍物的多组预测轨迹。

[0045] 本实施例中，预设的关联网络可以是针对障碍物特征信息与车辆的轨迹信息训练完成的神经网络，该关联网络用于实现车辆行驶环境中的障碍物与车辆轨迹之间的匹配，关联网络通过度量障碍物和历史轨迹的特征相似度来进行匹配，由于目标特征是由障碍物的嵌入特征与车辆的历史轨迹进行特征关联与特征增强得到的，因此将目标特征输入已经训练完成的关联网络中，可以由该关联网络输出得到障碍物与历史轨迹的匹配结果。其中，关联网络的训练过程与常用的神经网络的训练过程相同，即获取样本数据集，该样本数据集由障碍物的特征数据与车辆的历史轨迹数据构成，使用样本数据集训练关联网络，在前向传播的过程中计算由网络输出的预测值与标注在样本数据集中的真实值之间的损失值，利用损失值在反向传播的过程中优化网络中的各项参数，直到计算得到的损失值小于预设的阈值或满足其他预设的训练条件(例如参数收敛到预设的阈值、训练总次数达到最大次数等)，则确定关联网络训练完成。

[0046] 预设的轨迹预测网络可以是针对障碍物特征信息与车辆的轨迹信息训练完成的神经网络，该轨迹预测网络用于对障碍物的状态进行预测，可以预测障碍物未来的多种行为，轨迹预测网络的训练过程与常用的神经网络的训练过程相同，可以参考前文中对关联网络训练过程的简述，在此不再赘述。将目标特征输入预设的轨迹预测网络中，可以得到由轨迹预测网络输出的障碍物的多组预测轨迹，多组预测轨迹即针对每个障碍物的轨迹位置进行预测的位置分布，每个位置分布可以包括多个可自定义的控制参数；本实施例中的每组预测轨迹均可以带有置信度和方差，可以依据置信度和方差判断障碍物在未来一段时间内最有可能发生的行为。

[0047] 在具体实现中，由于获取到的车辆的历史轨迹、障碍物元素与语义元素均存在数据获取时间上的限定，为了使得关联网络和轨迹预测网络能够更精准的针对不同时刻下的障碍物输出预测的结果，可以在获取到目标特征后，使用RNN循环神经网络对障碍物在时间序列上进行建模，对目标特征进行优化，再将优化后的目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由关联网络输出的障碍物与历史轨迹的匹配结果、由轨迹预测网络输出的障碍物的多组预测轨迹。

[0048] 本实施例通过确定车辆行驶环境中的障碍物元素与语义元素，障碍物元素中包含车辆行驶环境中的障碍物的多种特征，对障碍物元素与语义元素进行特征增强，得到障碍物的嵌入特征，该嵌入特征融合了障碍物自有的特征与环境中的语义信息，能够为后续对障碍物状态的预测提供地理场景的先验信息，增强障碍物跟踪方法在面向复杂地形场景的鲁棒性；对嵌入特征与车辆的历史轨迹进行特征关联，建立障碍物与车辆行驶状态之间的关联关系，得到目标特征，即该目标特征表征了嵌入特征与车辆的历史位置信息之间的关联关系，使用了历史轨迹中的历史帧位置信息对障碍物的嵌入特征进行了再次特征增强，使得目标特征融合有车辆的行驶状态信息，将目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由关联网络输出的障碍物与历史轨迹的匹配结果、由轨迹预测网络输出的障碍物的多组预测轨迹，可以实现对障碍物进行更长时间的状态预测，并能够对障碍物未来的多种行为进行有效预测，可以进一步减缓决策系统的计算压力，及时对短时单个错误的决策指令进行纠正。

[0049] 实施例二

[0050] 图2为本发明实施例二提供的一种障碍物跟踪方法的流程图，本实施例以前述实施例为基础，对障碍物跟踪方法进行了进一步的细化，该方法具体包括如下步骤：

[0051] S201、确定车辆行驶环境中的障碍物元素与语义元素。

[0052] S202、通过预设的第一特征提取网络从障碍物元素与语义元素中提取维度统一的第一初始特征。

[0053] 其中，第一特征提取网络是指用于对障碍物元素与语义元素进行特征提取的神经网络，该第一特征提取网络可以基于一些常用的神经网络训练得到，也可以通过对一些常用的神经网络进行改进、对改进后的网络进行训练得到，本实施例对此不作限定。例如，该第一特征提取网络可以选择卷积神经网络CNN(Convolutional Neural Networks)、特征图金字塔网络FPN(Feature Pyramid Networks)、循环神经网络RNN(Recurrent Neural Network)、残差神经网络ResNet(Residual Neural Network)等任意一个网络进行改进和训练得到，本实施例对此不作限定。

[0054] 在本实施例中，障碍物元素包含障碍物的多种特征，例如外观特征、状态特征等，语义元素包含多种语义信息，例如交通灯语义信息、区域标识语义信息、车道线语义信息、停止线语义信息等，将障碍物元素与语义元素输入到训练完成的第一特征提取网络中，通过该网络对障碍物元素与语义元素进行特征提取，可以将各个元素的特征统一为同一个维度F，输出维度统一的第一初始特征，以便于后续对各个元素的第一初始特征进行增强与融合，得到障碍物的嵌入特征。

[0055] S203、基于第一初始特征构建第一特征矩阵。

[0056] 本实施例中，可以将障碍物元素与语义元素的元素总个数与第一初始特征的维度的乘积，作为第一特征矩阵的维度。若确定存在M个障碍物元素和N个语义元素，各个元素的第一初始特征的维度均为F，则确定第一特征矩阵的维度为(M+N)*F，第一特征矩阵中的每个数值与第一初始特征所表达的特征信息息息相关。

[0057] S204、基于障碍物元素与语义元素的位置信息建立第一邻接矩阵。

[0058] 在本实施例的具体实现中，S204可以包括如下具体步骤：

[0059] S2041、确定由多个障碍物元素与多个语义元素构成的元素集合。

[0060] S2042、计算元素集合中各元素两两之间的距离。

[0061] 本实施例中，元素集合中的各个元素是指障碍物元素与语义元素，计算各元素两两之间的距离可以理解为计算不同的障碍物元素与障碍物元素之间的距离、计算障碍物元素与语义元素之间的距离、计算不同的语义元素与语义元素之间的距离；更为具体的，在一个示例中，计算障碍物元素与语义元素之间的距离，包括：统一障碍物元素对应的障碍物的位置与语义元素对应的语义对象的位置的坐标系，确定障碍物元素对应的障碍物在该统一的坐标系下的坐标作为障碍物坐标，确定语义元素对应的语义对象在该统一的坐标系下的坐标作为语义坐标，计算障碍物坐标与语义坐标之间的欧式距离作为障碍物元素与语义元素之间的距离。在另一个示例中，计算不同的障碍物元素与障碍物元素之间的距离，包括：在同一个坐标系下，分别确定障碍物元素A1对应的障碍物A的坐标与障碍物元素B1对应的障碍物B的坐标，计算障碍物A的坐标与障碍物B的坐标之间的欧式距离作为障碍物元素A1与障碍物元素B1之间的距离。在又一个示例中，计算不同的语义元素与语义元素之间的距离，包括：在同一个坐标系下，分别确定语义元素C1对应的语义对象C的坐标与语义元素D1对应的语义对象D的坐标，计算语义对象C的坐标与语义对象D的坐标之间的欧式距离作为语义元素C1与语义元素D1之间的距离。关于两两元素之间的距离的计算公式有多种，本实施例对具体的距离计算方式不作限定。

[0062] S2043、将距离与预设的距离阈值进行比较，基于比较的结果建立第一邻接矩阵。

[0063] 在一个具体示例中，S2043可以包括：

[0064] 针对元素集合中的每一个元素，若该元素与其他元素之间的距离小于预设的距离阈值，则将第一邻接矩阵中与该距离对应位置的数字置为1；

[0065] 若该元素与其他元素之间的距离大于距离阈值，则将第一邻接矩阵中与该距离对应位置的数字置为0。

[0066] 其中，障碍物元素与语义元素的元素个数总和能够决定第一邻接矩阵的维度。例如，确定存在M个障碍物元素和N个语义元素，则第一邻接矩阵的维度为(M+N)*(M+N)，即障碍物元素的总个数与语义元素的总个数可以分别确定为第一邻接矩阵的行数与列数，可以理解的是，元素集合中各元素计算得到的距离在第一邻接矩阵中均能找到对应的由矩阵的每一行与每一列确定的矩阵元素的位置。

[0067] 在本实施例的具体实现中，S204还可以包括：采用添加自环与归一化处理的方式优化第一邻接矩阵，得到优化后的第一邻接矩阵。

[0068] 例如，可以将与第一邻接矩阵的维度相同的单位矩阵添加至第一邻接矩阵中，得到添加自环后的第一邻接矩阵；确定障碍物元素与语义元素的度矩阵；将添加自环后的第一邻接矩阵与度矩阵的逆相乘，得到优化后的第一邻接矩阵。

[0069] 需要说明的是，度矩阵是图常用的一个概念，可以理解为将障碍物元素与语义元素作为构建图的节点，确定每个节点的度(出度和入度)，度可以理解为图中每个节点拥有的与其他节点之间的连接边。本实施例中的度矩阵的维度与第一邻接矩阵的维度相同，度矩阵为对角线矩阵，对角线上的数值总个数与障碍物元素与语义元素的总个数相同，对角线上的每个数值为对应节点的度。

[0070] S205、将第一特征矩阵和第一邻接矩阵输入预设的第一图神经网络中，得到由第一图神经网络输出的障碍物的嵌入特征。

[0071] 本实施例中所采用的第一图神经网络可以是任意能建立图的关系的图神经网络，例如图卷积网络(Graph Convolution Networks，GCN)、图注意力网络(Graph Attention Networks)、图自编码器(Graph Autoencoders)、图生成网络(Graph Generative Networks)和图时空网络(Graph Spatial‑temporal Networks)，等等。本实施例对此不作限定。

[0072] 在本实施例的具体实现中，将第一特征矩阵和第一邻接矩阵输入预设的第一图神经网络中，可以理解为以障碍物元素与语义元素作为构建图关系的节点，第一特征矩阵决定各个节点之间的边的初始权重，以第一邻接矩阵对第一特征矩阵执行矩阵乘法的操作(例如第一邻接矩阵左乘第一特征矩阵)来不断更新边的权重值，从而实现对障碍物元素与语义元素的特征信息的更新，即不断更新第一初始特征，最终得到由第一图神经网络输出的障碍物的嵌入特征。

[0073] S206、通过预设的第二特征提取网络从嵌入特征与车辆的历史轨迹中提取维度统一的第二初始特征。

[0074] 在一个示例中，为了节约计算资源以及避免第二特征提取网络因网络层过深造成梯度变化的消失，可以对由第一图神经网络输出的障碍物的嵌入特征进行筛选，确定置信度高于预设的置信度阈值的障碍物的嵌入特征与低置信度的障碍物的嵌入特征作为目标障碍物特征；将目标障碍物特征与车辆的历史轨迹输入预设的第二特征提取网络中，得到由第二特征提取网络输出的第二初始特征。

[0075] 其中，第二特征提取网络是指用于对嵌入特征与车辆的历史轨迹进行特征提取的神经网络，该第二特征提取网络可以基于一些常用的神经网络训练得到，也可以通过对一些常用的神经网络进行改进、对改进后的网络进行训练得到，本实施例对此不作限定。例如，该第二特征提取网络可以选择卷积神经网络CNN(Convolutional Neural Networks)、特征图金字塔网络FPN(Feature Pyramid Networks)、循环神经网络RNN(Recurrent Neural Network)、残差神经网络ResNet(Residual Neural Network)等任意一个网络进行改进和训练得到，本实施例对此不作限定。

[0076] 在本实施例中，嵌入特征包含障碍物的多种增强的特征，车辆的历史轨迹包含多个历史帧的位置信息(车辆在某一时刻的位置与姿态角算作一个位置信息)，将嵌入特征与车辆的历史轨迹输入到训练完成的第二特征提取网络中，通过该网络对嵌入特征与车辆的历史轨迹进行特征提取，可以将各个对象(嵌入特征、车辆的历史轨迹)的输出特征统一为同一个维度W，输出维度统一的第二初始特征，以便于后续对各个对象的第二初始特征进行增强与融合，得到目标特征。

[0077] S207、基于第二初始特征构建第二特征矩阵。

[0078] 本实施例中，可以将车辆的历史轨迹中所包含的位置信息与嵌入特征的总个数与第二初始特征的维度的乘积，作为第二特征矩阵的维度。若确定存在K个车辆的历史轨迹和存在P个障碍物的嵌入特征，各个对象的第二初始特征的维度均为W，则确定第二特征矩阵的维度为(K+P)*W，第二特征矩阵中的每个数值与第二初始特征所表达的特征信息息息相关。在一个示例中，若输入第二特征提取网络中的障碍物的嵌入特征是筛选后的，即嵌入特征为置信度高于预设的置信度阈值的障碍物的嵌入特征、与低置信度的障碍物的嵌入特征，则可以确定存在P1个置信度高于预设的置信度阈值的障碍物的嵌入特征和P2个低置信度的障碍物的嵌入特征，并确定存在K个车辆的历史轨迹，各个对象的第二初始特征的维度均为W，则确定第二特征矩阵的维度为(K+P1+P2)*W。

[0079] S208、基于嵌入特征与车辆的历史轨迹的位置信息建立第二邻接矩阵。

[0080] 本实施例中第二邻接矩阵的具体构建方法可以参考第一邻接矩阵的构建方法，即可以确定由多个嵌入特征与多个车辆的历史轨迹构成的对象集合，计算对象集合中各对象两两之间的距离，将距离与预设的距离阈值进行比较，基于比较的结果建立第二邻接矩阵。具体的，将距离与预设的距离阈值进行比较，基于比较的结果建立第二邻接矩阵，可以包括:针对对象集合中的每一个对象，若该对象与其他对象之间的距离小于预设的距离阈值，则将第二邻接矩阵中与该距离对应位置的数字置为1；若该对象与其他对象之间的距离大于距离阈值，则将第二邻接矩阵中与该距离对应位置的数字置为0。

[0081] 其中，嵌入特征与车辆的历史轨迹两者对象的个数总和能够决定第二邻接矩阵的维度。例如，确定存在P个障碍物的嵌入特征和K个车辆的历史轨迹，则第二邻接矩阵的维度为(P+K)*(P+K)，即障碍物的嵌入特征的总个数与车辆的历史轨迹的总个数可以分别确定为第二邻接矩阵的行数与列数，可以理解的是，对象集合中各对象计算得到的距离在第二邻接矩阵中均能找到对应的由矩阵的每一行与每一列确定的矩阵元素的位置。本实施例对第二邻接矩阵的具体建立方式和优化方法不再赘述。

[0082] S209、将第二特征矩阵和第二邻接矩阵输入预设的第二图神经网络中，得到由第二图神经网络输出的目标特征。

[0083] 本实施例中所采用的第二图神经网络可以是任意能建立图的关系的图神经网络，例如图卷积网络(Graph Convolution Networks，GCN)、图注意力网络(Graph Attention Networks)、图自编码器(Graph Autoencoders)、图生成网络(Graph Generative Networks)和图时空网络(Graph Spatial‑temporal Networks)，等等。本实施例对此不作限定。

[0084] 在本实施例的具体实现中，将第二特征矩阵和第二邻接矩阵输入预设的第二图神经网络中，可以理解为以障碍物的嵌入特征与车辆的历史轨迹作为构建图关系的节点，第二特征矩阵决定各个节点之间的边的初始权重，以第二邻接矩阵对第二特征矩阵执行矩阵乘法的操作(例如第二邻接矩阵左乘第二特征矩阵)来不断更新边的权重值，从而实现对障碍物的嵌入特征与车辆的历史轨迹的特征信息的更新，即不断更新第二初始特征，最终得到由第二图神经网络输出的障碍物的嵌入特征。

[0085] S210、将目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由关联网络输出的障碍物与历史轨迹的匹配结果、由轨迹预测网络输出的障碍物的多组预测轨迹。

[0086] 本实施例中，预设的关联网络可以是针对含有与目标特征的特征信息相似的训练样本训练完成后的神经网络，例如可以是多层感知神经网络MLP(Multi‑layer Perceptron)；预设的轨迹预测网络可以是针对含有与目标特征的特征信息相似的训练样本训练完成后的神经网络，例如可以是卷积神经网络CNN。本实施例对预设的关联网络和预设的轨迹预测网络不作具体限定。

[0087] 参考图3和图4，将最初获取到的蕴含障碍物的多种特征信息的障碍物元素与蕴含丰富的地理环境语义信息的语义元素输入第一特征提取网络提取第一初始特征，统一特征的维度，将第一初始特征输入第一图神经网络，通过第一图神经网络中图的关联关系对第一初始特征进行特征增强，得到障碍物的嵌入特征，再将嵌入特征与车辆的历史轨迹输入到第二特征提取网络中获取第二初始特征，第二初始特征将障碍物的特征信息与车辆的行驶状态信息在特征提取上统一为同一个特征维度，将第二初始特征输入第二图像神经网络，再次利用图的关联关系将车辆的行驶状态与车辆行驶环境中的障碍物状态关联在一起，得到两者特征信息融合、具备强关联的目标特征，此时，将目标特征分别输入预设的关联网络和预设的轨迹预测网络中，即能输出由关联网络输出的障碍物与历史轨迹的匹配结果、由轨迹预测网络输出的障碍物的多组预测轨迹。从而能够解决现有技术只能提供障碍物在较短时间内的运动状态，无法建立障碍物与车辆行驶状态之间的关联关系，且无法预测障碍物在未来时间段内的多种可能存在的运动状态的技术问题。

[0088] 实施例三

[0089] 图5为本发明实施例三提供的一种障碍物跟踪装置的结构框图，该装置可由软件和\或硬件来实现。该装置包括：元素确定模块501、特征增强模块502、特征关联模块503和结果输出模块504，其中，

[0090] 元素确定模块501，用于确定车辆行驶环境中的障碍物元素与语义元素；

[0091] 特征增强模块502，用于对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征；

[0092] 特征关联模块503，用于对所述嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征；

[0093] 结果输出模块504，用于将所述目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由所述关联网络输出的所述障碍物与所述历史轨迹的匹配结果、由所述轨迹预测网络输出的所述障碍物的多组预测轨迹。

[0094] 在本发明的一个实施例中，所述元素确定模块501包括:

[0095] 点云数据获取子模块，用于采集车辆行驶环境中包含障碍物的点云数据；

[0096] 障碍物元素确定子模块，用于将所述点云数据输入预设的目标检测网络中，得到由所述目标检测网络输出的障碍物元素；

[0097] 语义地图获取子模块，用于获取与所述点云数据匹配的语义地图；

[0098] 语义元素确定子模块，用于从所述语义地图中选取在所述障碍物所在位置的预设范围内的语义元素。

[0099] 在本发明的一个实施例中，所述特征增强模块502包括:

[0100] 第一初始特征确定子模块，用于通过预设的第一特征提取网络从所述障碍物元素与所述语义元素中提取维度统一的第一初始特征；

[0101] 第一特征矩阵确定子模块，用于基于所述第一初始特征构建第一特征矩阵；

[0102] 第一邻接矩阵确定子模块，用于基于所述障碍物元素与所述语义元素的位置信息建立第一邻接矩阵；

[0103] 嵌入特征确定子模块，用于将所述第一特征矩阵和所述第一邻接矩阵输入预设的第一图神经网络中，得到由所述第一图神经网络输出的障碍物的嵌入特征。

[0104] 在本发明的一个实施例中，所述第一邻接矩阵确定子模块包括:

[0105] 元素集合确定单元，用于确定由多个所述障碍物元素与多个所述语义元素构成的元素集合；

[0106] 距离计算单元，用于计算所述元素集合中各元素两两之间的距离；

[0107] 距离比较单元，用于将所述距离与预设的距离阈值进行比较，基于比较的结果建立第一邻接矩阵。

[0108] 在本发明的一个实施例中，所述距离比较单元包括:

[0109] 第一数值确定子单元，用于针对所述元素集合中的每一个元素，若该元素与其他元素之间的距离小于预设的距离阈值，则将第一邻接矩阵中与该距离对应位置的数字置为1；

[0110] 第二数值确定子单元，用于若该元素与其他元素之间的距离大于所述距离阈值，则将第一邻接矩阵中与该距离对应位置的数字置为0。

[0111] 在本发明的一个实施例中，所述第一邻接矩阵确定子模块还包括:

[0112] 邻接矩阵优化单元，用于采用添加自环与归一化处理的方式优化所述第一邻接矩阵，得到优化后的第一邻接矩阵。

[0113] 在本发明的一个实施例中，所述邻接矩阵优化单元包括:

[0114] 添加自环子单元，用于将单位矩阵添加至所述第一邻接矩阵中，得到添加自环后的第一邻接矩阵；

[0115] 度矩阵确定子单元，用于确定所述障碍物元素与所述语义元素的度矩阵；

[0116] 优化确定子单元，用于将所述添加自环后的第一邻接矩阵与所述度矩阵的逆相乘，得到优化后的第一邻接矩阵。

[0117] 在本发明的一个实施例中，所述特征关联模块503包括:

[0118] 第二初始特征确定子模块，用于通过预设的第二特征提取网络从所述嵌入特征与车辆的历史轨迹中提取维度统一的第二初始特征；

[0119] 第二特征矩阵确定子模块，用于基于所述第二初始特征构建第二特征矩阵；

[0120] 第二邻接矩阵确定子模块，用于基于所述嵌入特征与所述车辆的历史轨迹的位置信息建立第二邻接矩阵；

[0121] 目标特征确定子模块，用于将所述第二特征矩阵和所述第二邻接矩阵输入预设的第二图神经网络中，得到由所述第二图神经网络输出的目标特征。

[0122] 在本发明的一个实施例中，所述第二初始特征确定子模块包括:

[0123] 目标障碍物特征确定单元，用于确定置信度高于预设的置信度阈值的障碍物的嵌入特征与低置信度的障碍物的嵌入特征作为目标障碍物特征；

[0124] 初始特征输出单元，用于将所述目标障碍物特征与车辆的历史轨迹输入预设的第二特征提取网络中，得到由所述第二特征提取网络输出的第二初始特征。

[0125] 本发明实施例所提供的障碍物跟踪装置可执行本发明任意实施例所提供的障碍物跟踪方法，具备执行方法相应的功能模块和有益效果。

[0126] 实施例四

[0127] 图6为本发明实施例四提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括处理器600、存储器601、通信模块602、输入装置603和输出装置604；计算机设备中处理器600的数量可以是一个或多个，图6中以一个处理器600为例；计算机设备中的处理器600、存储器601、通信模块602、输入装置603和输出装置604可以通过总线或其他方式连接，图6中以通过总线连接为例。

[0128] 存储器601作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的障碍物跟踪方法对应的程序指令/模块(例如，障碍物跟踪装置中的元素确定模块501、特征增强模块502、特征关联模块503和结果输出模块504)。处理器600通过运行存储在存储器601中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的障碍物跟踪方法。

[0129] 存储器601可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器601可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器601可进一步包括相对于处理器600远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0130] 通信模块602，用于与显示屏建立连接，并实现与显示屏的数据交互。

[0131] 输入装置603可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。

[0132] 输出装置604可包括显示屏等显示设备。

[0133] 需要说明的是，输入装置603和输出装置604的具体组成可以根据实际情况设定。

[0134] 本实施例提供的计算机设备，可执行本发明任一实施例提供的障碍物跟踪方法，具备相应的功能和有益效果。

[0135] 实施例五

[0136] 本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种障碍物跟踪方法，该方法包括：

[0137] 确定车辆行驶环境中的障碍物元素与语义元素；

[0138] 对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征；

[0139] 对所述嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征；

[0140] 将所述目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由所述关联网络输出的所述障碍物与所述历史轨迹的匹配结果、由所述轨迹预测网络输出的所述障碍物的多组预测轨迹。

[0141] 当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的障碍物跟踪方法中的相关操作。

[0142] 通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read‑Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

[0143] 值得注意的是，上述障碍物跟踪装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

[0144] 注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。