基于时间同步的协作式感知方法及装置

摘要

本发明涉及一种基于时间同步的协作式感知方法及装置，所述方法包括获取本车感知信息的原始图像，通过编码器对原始图像进行编码及特征提取得到特征图，确定待发送信息；将其他车辆的请求图与本车的请求图进行匹配生成通信网络；假设通信对象车辆之间总共需要进行N轮通信，得到融合特征图；结合融合特征图和融合置信度图，得到融合图；在经过第N轮通信后，得到最终融合特征图，从而得到输出数据。本发明能够很好的平衡需求和带宽之间的关系，既减少了带宽的浪费，又很好地满足了自动驾驶车辆对于缺失信息的需求。还可以利用延时补偿模型根据其他自动驾驶车辆传输的K帧历史信息来预测当前时间的感知信息以达到时间同步的作用。

权利要求

1.一种基于时间同步的协作式感知方法，其特征在于，包括：

获取本车辆感知信息的原始图像，通过编码器对所述原始图像进行编码及特征提取得到特征图，利用置信度图生成器对所述特征图进行处理，得到置信度图；

对所述置信度图进行处理，得到请求图，对所述特征图和所述请求图进行打包，得到待发送信息；

将其他车辆的请求图与本车辆的所述请求图进行匹配生成通信网络，利用所述通信网络判断当前时间本车辆能够通信的通信对象车辆；

确立通信对象车辆以后，通信对象车辆之间总共需要进行N轮通信，在N‑1轮通信中，将本车辆特征图与通信对象车辆的请求图进行匹配，以及利用预构建的延时补偿模型对通信对象车辆与本车辆进行通信时间同步，本车辆将其他车辆所需的特征输出至相应的通信对象车辆，同时，本车辆接收来自其他车辆传输的与本车辆的需求图匹配的特征图，并与本车辆的特征图进行融合，得到融合特征图；以及根据通信对象车辆的请求图得到对应的置信度图，将通信对象车辆的置信度图与本车辆的置信度图进行融合，得到融合置信度图；结合所述融合特征图和所述融合置信度图，得到融合图；

所述利用预构建的延时补偿模型对通信对象车辆与本车辆进行通信时间同步，包括：每个车辆储存并传输K帧历史特征图以及请求图，利用延时补偿模型先将K帧历史特征图与请求图作为输入；

所述延时补偿模型包括多个LSTM模块和多个时间调制模块；

所述延时补偿模型包括两路，其中一路作为特征预测，另一路作为权重预测，在前K帧运算中，使用当前的特征图、请求图和上一个LSTM模块的预测结果作为输入，得到相关结果并传输给下一个LSTM模块，当前K帧特征处理完成后，接着进行延时τ次预测，通过延时τ次预测后，使用所述时间调制模块将延时τ的预测结果与历史特征、延迟时间进行融合以调整预测结果，得到预测信息，其中，所述预测信息为延迟发生前的特征图；

本车辆在经过第N轮通信后，得到最终融合特征图，利用解码器对所述最终融合特征图进行解码，得到输出数据。

2.根据权利要求1所述的方法，其特征在于，对所述特征图和所述请求图进行打包，得到待发送信息，包括：将本车辆置信度图与其他车辆的请求图进行相乘，得到其他车辆所需区域信息；

采用预设选择函数对其他车辆所需区域信息进行筛选，得到选择矩阵；

利用所述选择矩阵提取本车辆的特征图中被其他车辆需要的部分，得到待发送特征；

利用本车辆置信度图确定待发送请求图；

结合所述待发送特征和待发送请求图得到待发送信息。

3.根据权利要求1所述的方法，其特征在于，所述接收来自其他车辆传输的与本车辆的需求图匹配的特征图，并与本车辆的特征图进行融合，得到融合特征图，包括：分别对本车辆的特征图与本车辆的置信度图进行融合操作，得到第一融合特征图和第一融合置信度图；

将所述第一融合特征图和所述第一融合置信度图输入预设的多头注意力机制模块，得到第二融合特征图，根据所述第二融合特征图生成第二置信度图，将所述第二置信度图作为下一轮通信的输入，直至完成第N轮通信。

4.根据权利要求1所述的方法，其特征在于，所述通信对象车辆至少包括一辆。

5.根据权利要求1所述的方法，其特征在于，利用传感器组获取本车辆感知信息的原始图像。

6.根据权利要求1所述的方法，其特征在于，所述输出数据包括3D锚框、类别。

7.一种基于时间同步的协作式感知装置，其特征在于，包括：

获取模块，用于获取本车辆感知信息的原始图像，通过编码器对所述原始图像进行编码及特征提取得到特征图，利用置信度图生成器对所述特征图进行处理，得到置信度图；

处理模块，用于对所述置信度图进行处理，得到请求图，对所述特征图和所述请求图进行打包，得到待发送信息；

通信模块，用于将其他车辆的请求图与本车辆的所述请求图进行匹配生成通信网络，利用所述通信网络判断当前时间本车辆能够通信的通信对象车辆；

融合模块，用于确立通信对象车辆以后，通信对象车辆之间总共需要进行N轮通信，在N‑1轮通信中，将本车辆特征图与通信对象车辆的请求图进行匹配，以及利用预构建的延时补偿模型对通信对象车辆与本车辆进行通信时间同步，将其他车辆所需的特征输出至相应的通信对象车辆，同时，接收来自其他车辆传输的与本车辆的需求图匹配的特征图，并与本车辆的特征图进行融合，以补充本车辆所缺失的信息，得到融合特征图；以及根据通信对象车辆的请求图得到对应的置信度图，将通信对象车辆的置信度图与本车辆的置信度图进行融合，得到融合置信度图；结合所述融合特征图和融合置信度图，得到融合图；

所述利用预构建的延时补偿模型对通信对象车辆与本车辆进行通信时间同步，包括：每个车辆储存并传输K帧历史特征图以及请求图，利用延时补偿模型先将K帧历史特征图与请求图作为输入；

所述延时补偿模型包括多个LSTM模块和多个时间调制模块；

所述延时补偿模型包括两路，其中一路作为特征预测，另一路作为权的预测，在前K帧运算中，使用当前的特征图、请求图和上一个LSTM模块的预测结果作为输入，得到相关结果并传输给下一个LSTM模块，当前K帧特征处理完成后，接着进行延时τ次预测，通过延时τ次预测后，使用所述时间调制模块将延时τ的预测结果与历史特征、延迟时间进行融合以调整预测结果，得到预测信息，其中，所述预测信息为延迟发生前的特征图；

输出模块，用于在经过第N轮通信后，得到最终融合特征图，利用解码器对所述最终融合特征图进行解码，得到输出数据。

说明书

基于时间同步的协作式感知方法及装置

技术领域

[0001] 本发明属于自动驾驶技术领域，具体涉及一种基于时间同步的协作式感知方法及装置。

背景技术

[0002] 目前在自动驾驶领域，对于单车智能感知技术的研究已趋于成熟，但是，相对于当今复杂的交通情况，单车智能感知信息已经不能满足需求，会存在障碍物的阻挡、检测视角受限、传感器退化或故障等问题，基于信息共享的协作式感知有助于加强自动驾驶车辆对于周围环境的感知，使车辆的决策更加准确和高效。

[0003] 协作式感知方法又分为前期协作、后期协作以及中期协作三大类。前期协作将原传感器数据进行传输并在终端进行融合以及进行目标检测，该方法虽然准确率高，但是需要浪费大量的传输带宽，加重了通信的负担；后期协作先将原传感器数据进行目标检测，最后直接将检测的结果进行传输及融合，这样虽然减少了传输的带宽，但是容易导致目标信息的错检和误检，以及噪声的输入；中期协作同时考虑了传输带宽与识别准确率，是前期协作与后期协作的中和方案，中期协作先将原传感器信息进行特征的提取，然后对特征进行传输，在终端对特征进行融合，通过解码得出目标信息。

[0004] 而现有的中期协作方案中，通常只考虑如何减少对于通信带宽的浪费以及提高对目标检测的准确率，但在现实世界中，自动驾驶车辆之间的通信不可避免地会出现一定的延时，这些延迟的出现会导致时间无法同步，极大地影响协作系统的性能，有时候会使多车协作系统的性能甚至达不到单车感知的性能，降低了协作系统对于不同交通情况的鲁棒性和泛化能力。

发明内容

[0005] 有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于时间同步的协作式感知方法及装置，以解决现有技术中自动驾驶车辆之间的通信会出现一定的延时的问题。

[0006] 为实现以上目的，本发明采用如下技术方案：一种基于时间同步的协作式感知方法，包括：

[0007] 获取本车感知信息的原始图像，通过编码器对所述原始图像进行编码及特征提取得到特征图，利用置信度图生成器对所述特征图进行处理，得到置信度图；

[0008] 对所述置信度图进行处理，得到请求图，对所述特征图和请求图进行打包，得到待发送信息；

[0009] 将其他车辆的请求图与本车的请求图进行匹配生成通信网络，利用所述通信网络判断当前时间本车能够通信的通信对象车辆；

[0010] 确立通信对象车辆以后，假设通信对象车辆之间总共需要进行N轮通信，在前面的N‑1轮通信中，将本车特征图与通信对象车辆的请求图进行匹配，以及利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，将其他车辆所需的特征输出至相应的通信对象车辆，同时，接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图；以及根据通信对象车辆的请求图得到对应的置信度图，将通信对象车辆的置信度图与本车辆的置信度图进行融合，得到融合置信度图；结合所述融合特征图和融合置信度图，得到融合图；

[0011] 在经过第N轮通信后，得到最终融合特征图，利用解码器对所述最终融合特征图进行解码，得到输出数据。

[0012] 进一步的，对所述特征图和请求图进行打包，得到待发送信息，包括：

[0013] 将本车置信度图与其他车辆的请求图进行相乘，得到其他车辆所需区域信息；

[0014] 采用预设选择函数对其他车辆所需区域信息进行筛选，得到选择矩阵；

[0015] 利用所述选择矩阵提取本车的特征图中被其他车辆需要的部分，得到待发送特征；

[0016] 利用本车置信度图确定待发送请求图；

[0017] 结合所述待发送特征和待发送请求图得到待发送信息。

[0018] 进一步的，所述利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，包括：

[0019] 假设每个车辆能够储存并传输K帧历史特征图以及请求图，利用延时补偿模型先将K帧历史特征图与请求图作为输入；

[0020] 所述延时补偿模型包括多个LSTM模块和多个时间调制模块；

[0021] 所述延时补偿模型包括两路，其中一路用来作为特征的预测，另一路用来作为权重的预测，以凸显传输中的重要信息，在前K次运算中，使用当前的特征图、请求图和上一个LSTM模块的预测结果作为输入，得到相关结果并传输给下一个LSTM模块，当前K帧特征处理完成后，接着进行τ次预测，通过τ次预测后，使用时间调制模块将预测结果与历史特征、延迟时间进行融合以调整预测结果，得到预测信息。

[0022] 进一步的，所述接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图，包括：

[0023] 分别对本车的特征图与本车的置信度图进行融合操作，得到第一融合特征图和第一融合置信度图；

[0024] 将所述第一融合特征图和第一融合置信度图输入预设的多头注意力机制模块，得到第二融合特征图，根据所述第二融合特征图生成第二置信度图，将所述第二置信度图作为下一轮通信的输入，直至完成第N轮通信。

[0025] 进一步的，所述通信对象车辆至少包括一辆。

[0026] 进一步的，利用传感器组获取本车感知信息的原始图像。

[0027] 进一步的，所述输出数据包括3D锚框、类别。

[0028] 本申请实施例提供一种基于时间同步的协作式感知装置，包括：

[0029] 获取模块，用于获取本车感知信息的原始图像，通过编码器对所述原始图像进行编码及特征提取得到特征图，利用置信度图生成器对所述特征图进行处理，得到置信度图；

[0030] 处理模块，用于对所述置信度图进行处理，得到请求图，对所述特征图和请求图进行打包，得到待发送信息；

[0031] 通信模块，用于将其他车辆的请求图与本车的请求图进行匹配生成通信网络，利用所述通信网络判断当前时间本车能够通信的通信对象车辆；

[0032] 融合模块，用于确立通信对象车辆以后，假设通信对象车辆之间总共需要进行N轮通信，在前面的N‑1轮通信中，将本车特征图与通信对象车辆的请求图进行匹配，以及利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，将其他车辆所需的特征输出至相应的通信对象车辆，同时，接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图；以及根据通信对象车辆的请求图得到对应的置信度图，将通信对象车辆的置信度图与本车辆的置信度图进行融合，得到融合置信度图；结合所述融合特征图和融合置信度图，得到融合图；

[0033] 输出模块，用于在经过第N轮通信后，得到最终融合特征图，利用解码器对所述最终融合特征图进行解码，得到输出数据。

[0034] 本发明采用以上技术方案，能够达到的有益效果包括：

[0035] 本发明提供一种基于时间同步的协作式感知方法及装置，本申请提供的技术方案首先对感知信息提取特征来生成置信度图，利用置信度图来决定哪些信息需要通信，这样就很好的平衡了需求和带宽之间的关系，既减少了带宽的浪费，又很好地满足了自动驾驶车辆对于缺失信息的需求。为解决时间同步的问题，本发明利用延时补偿模型的预测能力，设计出一种基于金字塔型LSTM的时间补偿模型，该模型可以根据其他自动驾驶车辆传输的K帧历史信息来预测当前时间的感知信息以达到时间同步的作用。

附图说明

[0036] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0037] 图1为本发明基于时间同步的协作式感知方法的步骤示意图；

[0038] 图2为本发明基于时间同步的协作式感知方法的流程示意图；

[0039] 图3为本发明提供的消息打包处理流程示意图；

[0040] 图4为本发明提供的延时补偿模型的结构示意图；

[0041] 图5为本发明特征融合操作的流程示意图；

[0042] 图6为本发明基于时间同步的协作式感知装置的结构示意图。

具体实施方式

[0043] 为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

[0044] 下面结合附图介绍本申请实施例中提供的一个具体的基于时间同步的协作式感知方法及装置。

[0045] 如图1所示，本申请实施例中提供的基于时间同步的协作式感知方法，包括：

[0046] S101，获取本车感知信息的原始图像，通过编码器对所述原始图像进行编码及特征提取得到特征图，利用置信度图生成器对所述特征图进行处理，得到置信度图；

[0047] 本申请的本车及其他车辆均为自动驾驶车辆。本申请目的放置自动驾驶车辆因为误判环境信息而造成车辆碰撞。如图2所示，本申请中利用传感器组获取本车感知信息的原始图像。传感器组包括激光雷达、摄像头等，其中，激光雷达用于检测本车与其他车辆之间的距离，摄像头用于获取其他车辆图像信息等。

[0048] S102，对所述置信度图进行处理，得到请求图，对所述特征图和请求图进行打包，得到待发送信息；

[0049] 可以理解的是，待发送信息是本车将要发送给其他车辆的信息。置信度图反映的是在原传感器信息中最应受到关注的地方，换言之，对于特征图，包含目标的区域比背景区域要更加重要，置信度图的生成有助于提取需要传输的信息，并且可以判断哪些信息需要补充，也就是生成请求图，将特征图与置信度图进行打包。

[0050] 一些实施例中，对所述特征图和请求图进行打包，得到待发送信息，包括：

[0051] 将本车置信度图与其他车辆的请求图进行相乘，得到其他车辆所需区域信息；

[0052] 采用预设选择函数对其他车辆所需区域信息进行筛选，得到选择矩阵；

[0053] 利用所述选择矩阵提取本车的特征图中被其他车辆需要的部分，得到待发送特征；

[0054] 利用本车置信度图确定待发送请求图；

[0055] 结合所述待发送特征和待发送请求图得到待发送信息。

[0056] 具体的，如图3所示，首先将本地车辆置信度图与其他车辆请求图相乘，得到其他车辆所需的区域信息，并通过选择函数进一步筛选，最终得到更精准的选择矩阵，通过选择矩阵来提取本车特征被其他车辆所需要的部分，再将本地的请求图与待发送的特征打包并发送。

[0057] S103，将其他车辆的请求图与本车的请求图进行匹配生成通信网络，利用所述通信网络判断当前时间本车能够通信的通信对象车辆；

[0058] 本申请提供的技术方案中通过各个车辆的请求图进行匹配，如发现相似度高于预设概率，则可认为匹配成功，匹配成功说明自动驾驶车辆之间距离较近，能成组成通信网络。具体为，生成置信度图并将消息打包之后，在第一轮通信中将其他车辆的请求图与本车的请求图进行匹配，生成通信网络，通过通信网络来判断在当前时间应该与哪些车辆进行通信。其中，所述通信对象车辆至少包括一辆。

[0059] S104，确立通信对象车辆以后，假设通信对象车辆之间总共需要进行N轮通信，在前面的N‑1轮通信中，将本车特征图与通信对象车辆的请求图进行匹配，以及利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，将其他车辆所需的特征输出至相应的通信对象车辆，同时，接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图；以及根据通信对象车辆的请求图得到对应的置信度图，将通信对象车辆的置信度图与本车辆的置信度图进行融合，得到融合置信度图；结合所述融合特征图和融合置信度图，得到融合图；

[0060] 一些实施例中，所述利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，包括：

[0061] 假设每个车辆能够储存并传输K帧历史特征图以及请求图，利用延时补偿模型先将K帧历史特征图与请求图作为输入；

[0062] 所述延时补偿模型包括多个LSTM模块和多个时间调制模块；

[0063] 所述延时补偿模型包括两路，其中一路用来作为特征的预测，另一路用来作为权重的预测，以凸显传输中的重要信息，在前K次运算中，使用当前的特征图、请求图和上一个LSTM模块的预测结果作为输入，得到相关结果并传输给下一个LSTM模块，当前K帧特征处理完成后，接着进行 次预测，通过 次预测后，使用时间调制模块将预测结果与历史特征、延迟时间进行融合以调整预测结果，得到预测信息。

[0064] 具体的，确立通信对象以后，假设车辆之间总共需要进行N轮通信，在随后的N‑1轮通信中，将本车特征与其他车辆的请求图进行匹配，将其他车辆所需的特征进行传输，同时，接收来自其他车辆传输的特征图，与本车的需求图匹配，与本车的特征进行融合，补充本车所缺失的信息，也就是说本车要同时做到发送和接收。

[0065] 在本车接收来自其他车辆的共享信息的过程中，会产生一定时间的延迟，这些延迟极大地影响了共享信息的准确性，使多车协作式感知系统性能下降。虽然延迟是不可消除的，但是可以运用LSTM模块的时间序列预测能力，设计一个由LSTM模块组成的延时补偿系统，最大程度地使共享信息与本车的时间同步。

[0066] 如图4所示，假设每个车辆可以储存并传输K帧历史特征以及请求图，在传输时会产生一定的延迟，这个延时是不可能彻底消除的，可以利用LSTM的时间预测能力，使用金字塔型LSTM模块构建一个时间同步系统，先将K帧历史特征与请求图作为输入，输入两路金字塔型LSTM模块，其中一路用来作为特征的预测，另一路用来作为权重的预测，目的是为了凸显出在传输中更加重要的信息，在前K次运算中，使用当前的特征、请求图和上一个LSTM模块的结果作为输入得到相关结果并传输给下一个LSTM模块，当前K帧特征处理完成后，接着就进行 次预测，通过 次预测后，为了进一步调整预测结果，使用时间调制模块将预测结果与历史特征、延迟时间进行融合，调整得到更精准的预测信息。

[0067] 一些实施例中，所述接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图，包括：

[0068] 分别对本车的特征图与本车的置信度图进行融合操作，得到第一融合特征图和第一融合置信度图；

[0069] 将所述第一融合特征图和第一融合置信度图输入预设的多头注意力机制模块，得到第二融合特征图，根据所述第二融合特征图生成第二置信度图，将所述第二置信度图作为下一轮通信的输入，直至完成第N轮通信。

[0070] 对来自其他车辆传来的特征进行时间同步后，将这些特征图与本地特征图进行融合，补全本车特征图缺失的部分，其具体步骤如图5所示，将特征图与置信度图分别进行融合操作，并将融合后的两张图作为MHA模块的输入，其中，MHA模块为多头注意力机制模块，MHA模块可以根据相应的置信度图精细地为每个特征赋予置信度的权值，实现了对重要特征的提取，得到更加完整、精简的融合特征图，并继续生成置信度图，作为下一轮通信的输入，直到完成第N轮通信。

[0071] S105，在经过第N轮通信后，得到最终融合特征图，利用解码器对所述最终融合特征图进行解码，得到输出数据。

[0072] 最终，在经过第N轮通信后，就可以得到最终的融合特征图，最后经过解码器将特征解码，得到最终输出，包括3D锚框，类别等参数。

[0073] 基于时间同步的协作式感知方法的工作原理为：需要说明的是，本申请中的车辆均为自动驾驶车辆。本申请提供的技术方案根据感知特征图生成置信度图，可以直观的反映特征图中的关键信息，在传输中可以通过置信度图将通信资源集中到关键信息，在节省通信带宽的同时保证了检测准确率。

[0074] 本申请通过提出一个由两个金字塔型LSTM分支组成的延迟补偿模型来处理时间同步问题，该模型通过对延迟发生前的特征图进行预测来减轻延迟对检测结果带来的影响，实现了对关键区域与中间特征的共生估计，提高了协作式感知的鲁棒性。

[0075] 如图6所示，本申请提供一种基于时间同步的协作式感知装置，包括：

[0076] 获取模块201，用于获取本车感知信息的原始图像，通过编码器对所述原始图像进行编码及特征提取得到特征图，利用置信度图生成器对所述特征图进行处理，得到置信度图；

[0077] 处理模块202，用于对所述置信度图进行处理，得到请求图，对所述特征图和请求图进行打包，得到待发送信息；

[0078] 通信模块203，用于将其他车辆的请求图与本车的请求图进行匹配生成通信网络，利用所述通信网络判断当前时间本车能够通信的通信对象车辆；

[0079] 融合模块204，用于确立通信对象车辆以后，假设通信对象车辆之间总共需要进行N轮通信，在前面的N‑1轮通信中，将本车特征图与通信对象车辆的请求图进行匹配，以及利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，将其他车辆所需的特征输出至相应的通信对象车辆，同时，接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图；以及根据通信对象车辆的请求图得到对应的置信度图，将通信对象车辆的置信度图与本车辆的置信度图进行融合，得到融合置信度图；结合所述融合特征图和融合置信度图，得到融合图；

[0080] 输出模块205，用于在经过第N轮通信后，得到最终融合特征图，利用解码器对所述最终融合特征图进行解码，得到输出数据。

[0081] 本申请提供的基于时间同步的协作式感知装置的工作原理为，获取模块201获取本车感知信息的原始图像，通过编码器对所述原始图像进行编码及特征提取得到特征图，利用置信度图生成器对所述特征图进行处理，得到置信度图；处理模块202对所述置信度图进行处理，得到请求图，对所述特征图和请求图进行打包，得到待发送信息；通信模块203将其他车辆的请求图与本车的请求图进行匹配生成通信网络，利用所述通信网络判断当前时间本车能够通信的通信对象车辆；融合模块204确立通信对象车辆以后，假设通信对象车辆之间总共需要进行N轮通信，在前面的N‑1轮通信中，将本车特征图与通信对象车辆的请求图进行匹配，以及利用预构建的延时补偿模型对通信对象车辆与本车进行通信时间同步，将其他车辆所需的特征输出至相应的通信对象车辆，同时，接收来自其他车辆传输的与本车的需求图匹配的特征图，并与本车的特征图进行融合，以补充本车所缺失的信息，得到融合特征图；以及根据通信对象车辆的请求图得到对应的置信度图，将通信对象车辆的置信度图与本车辆的置信度图进行融合，得到融合置信度图；结合所述融合特征图和融合置信度图，得到融合图；输出模块205在经过第N轮通信后，得到最终融合特征图，利用解码器对所述最终融合特征图进行解码，得到输出数据。

[0082] 综上所述，本发明提供一种基于时间同步的协作式感知方法及装置，本申请提供的技术方案首先对感知信息提取特征来生成置信度图，利用置信度图来决定哪些信息需要通信，这样就很好的平衡了需求和带宽之间的关系，既减少了带宽的浪费，又很好地满足了自动驾驶车辆对于缺失信息的需求。为解决时间同步的问题，本发明利用延时补偿模型的预测能力，设计出一种基于金字塔型LSTM的时间补偿模型，该模型可以根据其他自动驾驶车辆传输的K帧历史信息来预测当前时间的感知信息以达到时间同步的作用。

[0083] 可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。

[0084] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

[0085] 本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

[0086] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

[0087] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

[0088] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。