地图要素的匹配方法、图注意力网络的训练方法及装置转让专利

申请号 : CN202310045261.4

文献号 : CN115934878B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 钟礼山

申请人 : 北京集度科技有限公司

摘要 :

本申请提供了一种地图要素的匹配方法、图注意力网络的训练方法及装置。其中,地图要素的匹配方法包括:获取待匹配的两张地图中的地图要素的特征信息;利用图注意力网络将所述两张地图中的邻域范围内的地图要素的特征信息进行聚合,以生成所述两张地图中的地图要素的描述信息;根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的匹配关系。利用图注意力网络对两张待匹配的地图中邻域范围内的地图要素进行匹配,相比于最近邻匹配方案在GNSS信号较差的场景下,容易发生错配,有利于提高匹配地图要素的准确性。

权利要求 :

1.一种地图要素的匹配方法,其特征在于,包括:

获取待匹配的两张地图中的地图要素的特征信息;

对所述两张地图中的同一地图内的地图要素执行自注意力操作,以及对所述两张地图中的不同地图间的地图要素执行交叉注意力操作,以生成所述两张地图中的地图要素的描述信息,其中,所述自注意力操作用于将所述同一地图中的邻域范围内的地图要素的特征信息进行聚合,所述交叉注意力操作用于将所述不同地图间的邻域范围内的地图要素的特征信息进行聚合,所述邻域范围基于生成所述两张地图时的定位误差确定;

根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的相似度矩阵;

根据所述两张地图中的地图要素的相似度矩阵,通过最优传输模型,确定所述两张地图中的地图要素的匹配概率矩阵;

根据所述两张地图中的地图要素的匹配概率矩阵,确定所述两张地图中的地图要素的匹配关系。

2.根据权利要求1所述的方法,其特征在于,所述根据所述两张地图中的地图要素的相似度矩阵,通过最优传输模型,确定所述两张地图中的地图要素的匹配概率矩阵,包括:根据所述两张地图中的地图要素的相似度矩阵,利用辛克霍恩算子求解最优传输模型,以生成所述匹配概率矩阵。

3.根据权利要求1或2所述的方法,其特征在于,所述获取待匹配的两张地图中的地图要素的特征信息,包括:获取所述两张地图中的地图要素的初始信息,所述初始信息包含所述地图要素的以下信息中的一种或多种:位置信息、方向信息、尺寸信息以及语义类型;

对所述两张地图中的地图要素的初始信息进行特征编码,以生成所述两张地图中的地图要素的特征信息。

4.根据权利要求1所述的方法,其特征在于,所述两张地图中的地图要素包括线状要素、面状要素、体状要素;

所述线状要素的方向信息用于指示所述线状要素的延伸方向,所述线状要素的尺寸信息用于指示所述线状要素的长度;

所述面状要素的方向信息用于指示所述面状要素的法向,所述面状要素的尺寸信息用于指示所述面状要素的周长或面积;

所述体状要素的方向信息用于指示所述体状要素的主轴方向,所述体状要素的尺寸信息用于指示所述体状要素的表面积或体积。

5.根据权利要求3所述的方法,其特征在于,所述对所述两张地图中的地图要素的初始信息进行所述特征编码,包括:对所述两张地图中的地图要素的初始信息进行高维映射,得到所述两张地图中的地图要素的高维信息;

对所述两张地图中的地图要素的高维信息进行特征编码。

6.一种图注意力网络的训练方法,其特征在于,包括:

获取待匹配的两张地图中的地图要素的特征信息;

对所述两张地图中的同一地图内的地图要素执行自注意力操作,以及对所述两张地图中的不同地图间的地图要素执行交叉注意力操作,以生成所述两张地图中的地图要素的描述信息,其中,所述自注意力操作用于将所述同一地图中的邻域范围内的地图要素的特征信息进行聚合,所述交叉注意力操作用于将所述不同地图间的邻域范围内的地图要素的特征信息进行聚合,所述邻域范围基于生成所述两张地图时的定位误差确定;

根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的相似度矩阵;

根据所述两张地图中的地图要素的相似度矩阵,通过最优传输模型,确定所述两张地图中的地图要素的匹配概率矩阵;

根据所述两张地图中的地图要素的匹配概率矩阵,确定所述两张地图中的地图要素的匹配关系;

根据所述两张地图中的地图要素的匹配关系,以及所述两张地图中的地图要素的实际匹配关系,训练所述图注意力网络。

7.一种地图要素的匹配装置,其特征在于,包括:

获取单元,用于获取待匹配的两张地图中的地图要素的特征信息;

处理单元,用于对所述两张地图中的同一地图内的地图要素执行自注意力操作,以及对所述两张地图中的不同地图间的地图要素执行交叉注意力操作,以生成所述两张地图中的地图要素的描述信息,其中,所述自注意力操作用于将所述同一地图中的邻域范围内的地图要素的特征信息进行聚合,所述交叉注意力操作用于将所述不同地图间的邻域范围内的地图要素的特征信息进行聚合,所述邻域范围基于生成所述两张地图时的定位误差确定;

所述处理单元,还用于根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的相似度矩阵;

根据所述两张地图中的地图要素的相似度矩阵,通过最优传输模型,确定所述两张地图中的地图要素的匹配概率矩阵;

根据所述两张地图中的地图要素的匹配概率矩阵,确定所述两张地图中的地图要素的匹配关系。

8.根据权利要求7所述的装置,其特征在于,所述处理单元,还用于:根据所述两张地图中的地图要素的相似度矩阵,利用辛克霍恩算子求解最优传输模型,以生成所述匹配概率矩阵。

9.根据权利要求7或8所述的装置,其特征在于,所述获取单元,还用于:获取所述两张地图中的地图要素的初始信息,所述初始信息包含所述地图要素的以下信息中的一种或多种:位置信息、方向信息、尺寸信息以及语义类型;

对所述两张地图中的地图要素的初始信息进行特征编码,以生成所述两张地图中的地图要素的特征信息。

10.根据权利要求7所述的装置,其特征在于,所述两张地图中的地图要素包括线状要素、面状要素、体状要素;

所述线状要素的方向信息用于指示所述线状要素的延伸方向,所述线状要素的尺寸信息用于指示所述线状要素的长度;

所述面状要素的方向信息用于指示所述面状要素的法向,所述面状要素的尺寸信息用于指示所述面状要素的周长或面积;

所述体状要素的方向信息用于指示所述体状要素的主轴方向,所述体状要素的尺寸信息用于指示所述体状要素的表面积或体积。

11.根据权利要求7所述的装置,其特征在于,所述获取单元,还用于:对所述两张地图中的地图要素的初始信息进行高维映射,得到所述两张地图中的地图要素的高维信息;

对所述两张地图中的地图要素的高维信息进行特征编码。

12.一种图注意力网络的训练装置,其特征在于,包括:

获取单元,用于获取待匹配的两张地图中的地图要素的特征信息;

处理单元,用于对所述两张地图中的同一地图内的地图要素执行自注意力操作,以及对所述两张地图中的不同地图间的地图要素执行交叉注意力操作,以生成所述两张地图中的地图要素的描述信息,其中,所述自注意力操作用于将所述同一地图中的邻域范围内的地图要素的特征信息进行聚合,所述交叉注意力操作用于将所述不同地图间的邻域范围内的地图要素的特征信息进行聚合,所述邻域范围基于生成所述两张地图时的定位误差确定;

所述处理单元,还用于根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的相似度矩阵;根据所述两张地图中的地图要素的相似度矩阵,通过最优传输模型,确定所述两张地图中的地图要素的匹配概率矩阵;以及根据所述两张地图中的地图要素的匹配概率矩阵,确定所述两张地图中的地图要素的匹配关系;

所述处理单元,还用于根据所述两张地图中的地图要素的匹配关系,以及所述两张地图中的地图要素的实际匹配关系,训练所述图注意力网络。

13.一种计算设备,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于从所述存储器中调用并运行该计算机程序,使得所述计算设备执行如权利要求1‑6中任一项所述的方法。

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有程序,所述程序使得计算机执行如权利要求1‑6中任一项所述的方法。

说明书 :

地图要素的匹配方法、图注意力网络的训练方法及装置

技术领域

[0001] 本申请涉及地理信息技术领域,具体涉及一种地图要素的匹配方法、图注意力网络的训练方法及装置。

背景技术

[0002] 地图拼接技术可以理解为是基于多张地图上同名要素执行的拼接,其中,同名要素可以理解为由于两张地图的制图范围之间存在重叠而使同一地理要素被绘制到两张地图上成为两个地理要素,它们的属性往往是完全一致的。目前,主要基于地图要素匹配技术来在多张待拼接的地图上寻找同名要素。因此,地图要素匹配技术是目前智能驾驶、高精地图相关领域的重要技术之一。
[0003] 主流的地图要素匹配方案是最近邻匹配(nearestneighbor matching)方法,即通过地图要素的绝对空间坐标寻找与其空间最接近的同类要素。该方法原理简单,相对容易实现,但对地图的绝对空间坐标有较高的精度要求,在全球导航卫星系统(global navigation satellite system,GNSS)信号较差的情况下,十分容易产生错配的情形。

发明内容

[0004] 本申请实施例致力于提供一种地图要素的匹配方法、图注意力网络的训练方法及装置。下文从以下几个方面进行介绍。
[0005] 第一方面,提供了一种地图要素的匹配方法,包括:获取待匹配的两张地图中的地图要素的特征信息;利用图注意力网络将所述两张地图中的邻域范围内的地图要素的特征信息进行聚合,以生成所述两张地图中的地图要素的描述信息;根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的匹配关系。
[0006] 在一种可能的实现方式中,所述根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的匹配关系,包括:根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的相似度矩阵;根据所述两张地图中的地图要素的相似度矩阵,通过最优传输模型,确定所述两张地图中的地图要素的匹配概率矩阵;根据所述两张地图中的地图要素的匹配概率矩阵,确定所述两张地图中的地图要素的匹配关系。
[0007] 在一种可能的实现方式中,所述根据所述两张地图中的地图要素的相似度矩阵,通过最优传输模型,确定所述两张地图中的地图要素的匹配概率矩阵,包括:根据所述两张地图中的地图要素的相似度矩阵,利用辛克霍恩算子求解最优传输模型,以生成所述匹配概率矩阵。
[0008] 在一种可能的实现方式中,所述利用图注意力网络将所述两张地图中的邻域范围内的地图要素的特征信息进行聚合,包括:对所述两张地图中的同一地图内的地图要素执行自注意力操作,所述自注意力操作用于将所述同一地图中的邻域范围内的地图要素的特征信息进行聚合;对所述两张地图中的不同地图间的地图要素执行交叉注意力操作,所述交叉注意力操作用于将所述不同地图间的邻域范围内的地图要素的特征信息进行聚合。
[0009] 在一种可能的实现方式中,所述获取待匹配的两张地图中的地图要素的特征信息,包括:获取所述两张地图中的地图要素的初始信息,所述初始信息包含所述地图要素的以下信息中的一种或多种:位置信息、方向信息、尺寸信息以及语义类型;对所述两张地图中的地图要素的初始信息进行特征编码,以生成所述两张地图中的地图要素的特征信息。
[0010] 在一种可能的实现方式中,所述两张地图中的地图要素包括线状要素、面状要素、体状要素;所述线状要素的方向信息用于指示所述线状要素的延伸方向,所述线状要素的尺寸信息用于指示所述线状要素的长度;所述面状要素的方向信息用于指示所述面状要素的法向,所述面状要素的尺寸信息用于指示所述面状要素的周长或面积;所述体状要素的方向信息用于指示所述体状要素的主轴方向,所述体状要素的尺寸信息用于指示所述体状要素的表面积或体积。
[0011] 在一种可能的实现方式中,所述对所述两张地图中的地图要素的初始信息进行所述特征编码,包括:对所述两张地图中的地图要素的初始信息进行高维映射,得到所述两张地图中的地图要素的高维信息;对所述两张地图中的地图要素的高维信息进行特征编码。
[0012] 第二方面,提供了一种图注意力网络的训练方法,包括:获取待匹配的两张地图中的地图要素的特征信息;利用图注意力网络将所述两张地图中的邻域范围内的地图要素的特征信息进行聚合,以生成所述两张地图中的地图要素的描述信息;根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的匹配关系;根据所述两张地图中的地图要素的匹配关系,以及所述两张地图中的地图要素的实际匹配关系,训练所述图注意力网络。
[0013] 第三方面,提供了一种地图要素的匹配装置,包括:获取单元,用于获取待匹配的两张地图中的地图要素的特征信息;处理单元,用于利用图注意力网络将所述两张地图中的邻域范围内的地图要素的特征信息进行聚合,以生成所述两张地图中的地图要素的描述信息;所述处理单元,还用于根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的匹配关系。
[0014] 在一种可能的实现方式中,所述处理单元还用于:根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的相似度矩阵;根据所述两张地图中的地图要素的相似度矩阵,通过最优传输模型,确定所述两张地图中的地图要素的匹配概率矩阵;根据所述两张地图中的地图要素的匹配概率矩阵,确定所述两张地图中的地图要素的匹配关系。
[0015] 在一种可能的实现方式中,所述处理单元还用于:根据所述两张地图中的地图要素的相似度矩阵,利用辛克霍恩算子求解最优传输模型,以生成所述匹配概率矩阵。
[0016] 在一种可能的实现方式中,所述处理单元还用于:对所述两张地图中的同一地图内的地图要素执行自注意力操作,所述自注意力操作用于将所述同一地图中的邻域范围内的地图要素的特征信息进行聚合;对所述两张地图中的不同地图间的地图要素执行交叉注意力操作,所述交叉注意力操作用于将所述不同地图间的邻域范围内的地图要素的特征信息进行聚合。
[0017] 在一种可能的实现方式中,所述获取单元还用于:获取所述两张地图中的地图要素的初始信息,所述初始信息包含所述地图要素的以下信息中的一种或多种:位置信息、方向信息、尺寸信息以及语义类型;对所述两张地图中的地图要素的初始信息进行所述特征编码,以生成所述两张地图中的地图要素的特征信息。
[0018] 在一种可能的实现方式中,所述两张地图中的地图要素包括线状要素、面状要素、体状要素;所述线状要素的方向信息用于指示所述线状要素的延伸方向,所述线状要素的尺寸信息用于指示所述线状要素的长度;所述面状要素的方向信息用于指示所述面状要素的法向,所述面状要素的尺寸信息用于指示所述面状要素的周长或面积;所述体状要素的方向信息用于指示所述体状要素的主轴方向,所述体状要素的尺寸信息用于指示所述体状要素的表面积或体积。
[0019] 在一种可能的实现方式中,所述获取单元还用于:对所述两张地图中的地图要素的初始信息进行高维映射,得到所述两张地图中的地图要素的高维信息;对所述两张地图中的地图要素的高维信息进行特征编码。
[0020] 第四方面,提供了一种图注意力网络的训练装置,包括:获取单元,用于获取待匹配的两张地图中的地图要素的特征信息;处理单元,用于利用图注意力网络将所述两张地图中的邻域范围内的地图要素的特征信息进行聚合,以生成所述两张地图中的地图要素的描述信息;所述处理单元,还用于根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的匹配关系;所述处理单元,还用于根据所述两张地图中的地图要素的匹配关系,以及所述两张地图中的地图要素的实际匹配关系,训练所述图注意力网络。
[0021] 第五方面,提供了一种计算设备,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于从所述存储器中调用并运行该计算机程序,使得所述计算设备执行上述各方面所述的方法。
[0022] 第六方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述各方面所述的方法。
[0023] 在一些实现方式中,上述计算机程序产品包括可以包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行上述各方面所示的控制方法。
[0024] 在另一些实现方式中,计算机程序产品包括计算机可读介质,计算机可读介质存储有程序代码,当计算机程序代码在计算机上运行时,使得计算机执行上述各方面所示的控制方法。
[0025] 在本申请实施例中,利用图注意力网络对两张待匹配的地图中邻域范围内的地图要素进行匹配,相比于最近邻匹配方案在GNSS信号较差的场景下,容易发生错配,有利于提高匹配地图要素的准确性。

附图说明

[0026] 图1是待进行地图要素匹配的两张地图的示意图。
[0027] 图2是本申请实施例适用的注意力机制的示意图。
[0028] 图3是本申请实施例的地图要素的匹配方法的示意性流程图。
[0029] 图4是本申请另一实施例的地图要素的匹配方法的示意性流程图。
[0030] 图5是本申请实施例中图注意力网络的训练方法的示意性流程图。
[0031] 图6是本申请实施例的地图要素的匹配装置的示意图。
[0032] 图7是本申请实施例的图注意力网络的训练装置的示意图。
[0033] 图8是本申请另一实施例的计算设备的示意性框图。

具体实施方式

[0034] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
[0035] 地图要素是构成地图的基本内容,其中,地图要素例如可以包括车道线、地面箭头、道路标识牌等等。在一些场景中,地图要素主要应用于地图拼接技术中。其中,地图拼接技术可以应用于对车辆的定位过程,例如,在对智能驾驶车辆进行高精定位的过程中,通常需要对车辆感知的局部地图与全局地图进行匹配,以确认车辆相对周边环境的位置和姿态。地图拼接技术也可以应用于生成高精地图的过程,例如,在利用车辆感知的多张局部地图生成高精地图的过程中,需要对多张局部地图进行地图拼接。
[0036] 而地图拼接技术实质上是多张地图上同名要素的拼接,其中,同名要素可以理解为由于相邻的两张地图的制图范围之间存在重叠,而使同一地理要素被绘制到两张地图上成为两个地理要素,它们的属性往往是完全一致的。目前,主要基于地图要素匹配技术来在多张待拼接的地图上寻找同名要素。因此,地图要素匹配技术是目前智能驾驶、高精地图相关领域的重要技术之一。
[0037] 主流的地图要素匹配方案是最近邻匹配方法,即通过地图要素的绝对空间坐标寻找与其空间最接近的同类要素。该方法原理简单,相对容易实现,但对地图的绝对空间坐标有较高的精度要求,在GNSS信号较差的情况下,十分容易产生错配的情形,尤其是在结构重复度较强的场景中。参见图1所示,假设待匹配的两张地图(地图A以及地图B)中的同名要素为两条相邻的车道1和车道2。此时,若待匹配的两张地图的绝对坐标之间在水平方向上偏了1个车道,则利用最近邻匹配方法进行地图要素的匹配时,地图A中车道2会与地图B中的车道1匹配成功,发生错配。
[0038] 此外,基于不同的传感器构建待匹配的两张地图的过程中,由于不同的传感器的观测范围通常会存在差异,导致两张地图中某一张地图中的目标地图要素在另一张地图中并不存在,此时,如果利用最近邻匹配进行地图要素,需要人为设置一个距离阈值以限定邻域范围,避免在地图要素的匹配过程中目标地图要素被另一张地图中位于邻域范围之外的其他地图要素所匹配,发生错配。但是,在实际匹配过程中,距离阈值是一个不容易设置的超参数。
[0039] 另一种常见的地图要素匹配方法是先对两张待拼接的地图进行语义迭代最近点(iterative closest point,ICP)匹配。即先对待匹配的地图计算一个整体的旋转和平移,然后再跟目标地图进行地图要素间的最近邻匹配。然而,在一些场景中,两张待匹配的地图之间的变换不一定满足刚性前提,使用单一的旋转和平移不一定能让两张地图中的所有的同名要素达到“空间最临近”的条件,导致地图要素匹配过程中容易发生错配。
[0040] 因此,本申请实施例提供了一种地图要素的匹配方法,利用图注意力网络对两张待匹配的地图中邻域范围内的地图要素进行匹配,相比于最近邻匹配方案在GNSS信号较差的场景下,容易发生错配,有利于提高匹配地图要素的准确性。
[0041] 在本申请实施例中,邻域范围的设定可以基于待匹配的两张地图中重复场景的大小确定。在一些实现方式中,邻域范围可以设置地大于重复场景的大小,以包含重复场景之外不同的地图要素,以提高地图要素匹配的准确性。例如,继续参见图1所示,车道1以及车道2为地图A以及地图B中的重复场景。但是,在车道1的左侧设置有地图要素110,在车道2的左侧却没有地图要素110,因此,可以设置车道1的邻域范围包括地图要素110,以避免将车道1错配为车道2,以提高地图要素匹配的准确性。
[0042] 为了便于理解,下文先结合图2介绍本申请实施例适用的注意力机制,本申请实施例适用的图注意力网络以及本申请实施例中的地图要素。
[0043] 注意力(Attention)机制
[0044] 注意力机制借鉴了人类注意力的说法,注意力机制从本质上讲和人类的选择性视觉注意力机制类似,核心目标也是从众多信息中选择出对当前任务目标更关键的信息。目前,生物学中的注意力提示可以分为非自主性提示以及自主性提示。非自主性提示是指在没有主观意识的干预下,眼睛会不自觉地注意到环境中比较突出和显眼的物体。比如我们自然会注意到一堆黑球中的一个白球,马路上最酷的跑车等。自主性提示是指在主观意识的干预下,眼睛带有一定目的性地(可以是模糊的也可以是很具体的目的)注意环境中的某些物体。比如,口渴时人们会更加关注水杯、饮水机等物体(哪怕这些东西在平时并不起眼),而对电视机等其他物体的关注度就会有所减弱。
[0045] 目前,基于上述非自主性提示以及自主性提示,构建了注意力机制框架。对于只使用非自主性提示的场景,注意力机制可以使用简单的参数化全连接层,甚至是非参数化的最大池化(max pooling)操作或者平均池化(average pooling)操作来实现。而对于包含自主性提示的场景,简单使用全连接或者池化则无法实现注意力机制。因此,注意力机制框架可以包括三个部分:查询(query,Q)、键(key,K)以及值(value,V)。其中,查询用于对应自主性提示信息,键用于对应非自主性提示信息,值用于对应感官输入信息。
[0046] 那么,注意力机制中的注意力可以理解为将一个查询和键值对映射到输出的方法。在一些实现方式中,Q、K、V可以通过向量表示。注意力模型输出的注意力值(attention value)可以通过对V进行加权求和得到,其中,权重可以是Q、K的相似度。
[0047] 也即是说,注意力机制可以理解为图2所示的过程,即将初始信息(Source)中的构成元素想象成是由一系列的数据对构成,此时给定目标(Target)中的某个元素的查询向量,通过计算查询向量和各个键向量之间的相似性或者相关性,可以得到每个键向量对应值向量的权重系数,然后对值向量进行加权求和,即得到了最终的注意力数值。所以本质上注意力机制可以理解为对初始信息中元素的值向量进行加权求和,而查询向量和键向量用来计算对应值向量的权重系数。
[0048] 图注意力网络
[0049] 图注意力网络又可以称为“图注意力模型”,可以理解为是一种结合了注意力机制的神经网络模型。图注意力网络可以用于得到两张图像中元素的描述信息,以便后续基于描述信息进行元素匹配。
[0050] 在一些实现方式中,图注意力网络可以包括自注意力操作以及交叉注意力操作,其中,自注意力操作可以用于指示待匹配的目标元素所在的图中的其他元素对目标元素的影响,也即是说,自注意力操作之后目标元素的描述信息不仅描述目标元素本身,还用于指示其他元素对目标元素的影响,对目标元素的描述信息进行了增强。
[0051] 上述交叉注意力操作可以用于指示另一张图中的元素对目标元素的影响,也即是说,交叉注意力操作可以用于跨图像交流,可以模型人在对两张图像中的元素进行匹配时在两张图像之间来回观察的方式。
[0052] 在一些实现方式中,上述图注意力网络可以包括多个层,多个层中的第一层可以称为输入层,其中,输入层的输入可以为待匹配元素的初始信息。多个层中的最后一层可以称为输出层,输出层用于输出元素的描述信息。通常,在图注意力网络中相邻的两层中,前一层的输出可以作为后一层的输入。
[0053] 上文介绍了本申请实施例适用的图注意力网络,下文介绍本申请实施例提供的地图要素的划分方式。
[0054] 地图要素
[0055] 在一些实现方式中,地图要素可以包括线状要素、面状要素、体状要素中的一种或多种。或者说,地图中的地图要素可以划分为线状要素、面状要素、体状要素中的一种。例如,对于二维地图而言,地图要素可以包括线状要素以及面状要素。又例如,对于三维地图而言,地图要素可以包括线状要素、面状要素、体状要素。
[0056] 在本申请实施例中,可以通过地图要素的初始信息来描述地图要素。在一些实现方式中,初始信息可以包括地图要素的以下信息中的一种或多种:位置信息、方向信息、尺寸信息以及语义类型。
[0057] 以地图要素包括线状要素为例,上述线状要素的方向信息用于指示线状要素的延伸方向。当然,在本申请实施例中,上述线状要素的方向信息还可以用于指示与线状要素的延伸方向垂直的方向。
[0058] 在一些实现方式中,上述线状要素的方向信息可以以线状要素的几何中心坐标系为参考。当然,在本申请实施例中,上述面状要素的方向信息也可以以面状要素所在地图的绝对坐标系为参考,本申请实施例对此不作限定。
[0059] 以地图要素包括线状要素为例,上述线状要素的尺寸信息用于指示线状要素的长度。
[0060] 以地图要素包括面状要素为例,面状要素的方向信息用于指示面状要素的法向。当然,在本申请实施例中,面状要素的方向信息还可以用于指示面状要素的切向。本申请实施例对此不作限定。
[0061] 在一些实现方式中,上述面状要素的方向信息可以以面状要素的几何中心坐标系为参考。当然,在本申请实施例中,上述面状要素的方向信息也可以以面状要素所在地图的绝对坐标系为参考,本申请实施例对此不作限定。
[0062] 以地图要素包括面状要素为例,面状要素的尺寸信息用于指示面状要素的周长或面积。
[0063] 以地图要素包括体状要素为例,体状要素的方向信息用于指示体状要素的主轴方向。当然,在本申请实施例中,上述体状要素的方向信息还可以用于指示与上述主轴方向垂直的方向,本申请实施例对此不作限定。
[0064] 以地图要素包括体状要素为例,体状要素的尺寸信息用于指示体状要素的表面积或体积。当然,在本申请实施例中,上述体状要素的尺寸信息也可以用于指示体状要素的周长。
[0065] 下文结合图3介绍本申请实施例的地图要素的匹配方法。应理解,图3所示的方法可以由计算设备执行。其中,计算设备例如可以是车载计算设备或服务器,本申请实施例对此不作限定。另外,图3所示的方法中以两张待匹配的地图(地图A和地图B)的匹配过程为例进行介绍,本申请实施例还可以应用于两张以上的多张地图匹配的场景,其匹配过程与两张地图的匹配过程类似,为了简洁,下文不再赘述。
[0066] 图3是本申请实施例的地图要素的匹配方法的示意性流程图。图3所示的方法包括步骤S310至步骤S330。
[0067] 在步骤S310中,获取待匹配的两张地图中的地图要素的特征信息。
[0068] 在一些实现方式中,上述地图要素的特征信息可以是通过对地图要素的初始信息(又称“原始特征”)进行特征编码后得到的,也即是说,上述步骤S310可以包括:获取两张地图中的地图要素的初始信息;对两张地图中的地图要素的初始信息进行特征编码,以生成两张地图中的地图要素的特征信息。
[0069] 在 一 些实 现 方 式中 ,上 述 地图 要 素 的 初 始 信 息可 以 表 示 为,其中,[ 表示地图要素 的几何中心坐标;表示地图要素的方向; 表示地图要素的尺寸信息, 表示地图要素的
类型。
[0070] 在本申请实施例中,地图要素的类型又可以称为地图要素的语义类型,用于指示地图要素为体状要素、线状要素或者点状要素。在一些实现方式中, 的不同取值可以对应不同类型的地图要素。例如, 的取值为1时表示地图要素 为体状要素,的取值为2时表示地图要素 为线状要素, 的取值为3时表示地图要素为点
状要素,本申请实施例对地图要素的类型与 的取值之间的映射关系不作限定。
[0071] 在本申请实施例中,对获取地图要素的特征信息的具体方式不作限定。例如,可以使用多层感知器(multilayer perceptron,MLP)对地图要素的原始信息进行编码,得到地图要素的特征信息。当然,在本申请实施例中也可以通过其他编码方式得到地图要素的特征信息。以地图要素的初始信息用 表示为例,地图要素 的特征信息 可以表示为。
[0072] 另外,在本申请实施例中,为了便于后续的计算,针对不同的地图要素可以采用固定维度的编码方式,以生成固定维度的地图要素特征信息,其中,固定的维度例如可以是128维。当然,在本申请实施例中,也可以采用维度可变的编码方式针对不同的地图要素进行编码。
[0073] 需要说明的是,上述地图要素的初始信息可以由用户手动输入,当然,在本申请实施例中,上述地图要素的初始信息也可以是由计算设备自动生成,本申请实施例对此不作限定。
[0074] 在步骤S320中,利用图注意力网络将两张地图中的邻域范围内的地图要素的特征信息进行聚合,以生成两张地图中的地图要素的描述信息。
[0075] 在一些实现方式中,上述地图要素的描述信息可以用于后续地图要素的匹配过程,因此,地图要素的描述信息又可以称为“匹配描述信息”。
[0076] 如上文介绍,图注意力网络可以包括自注意力操作。在一些实现方式中,可以利用自注意力操作将同一地图中的邻域范围内的地图要素的特征信息进行聚合,此时,自注意力操作又可以称为“变形自注意力操作”。相比于利用自注意力操作将同一地图中的所有地图要素的特征信息进行聚合的方案而言,有助于降低执行自注意力操作所需的计算量。当然,如果不考虑计算量的问题,在本申请实施例中,也可以利用自注意力操作将同一地图中的所有地图要素的特征信息进行聚合。
[0077] 另外,图注意力网络可以包括交叉注意力操作。在一些实现方式中,可以利用交叉注意力操作将不同地图间的邻域范围内的地图要素的特征信息进行聚合,此时,交叉注意力操作又可以称为“变形交叉注意力操作”。相比于利用交叉注意力操作将不同地图间的所有地图要素的特征信息进行聚合的方案而言,有助于降低执行交叉注意力操作所需的计算量。当然,如果不考虑计算量的问题,在本申请实施例中,也可以利用交叉注意力操作将不同地图间的所有地图要素的特征信息进行聚合。
[0078] 需要说明的是,上述“变形交叉注意力操作”和/或“变形自注意力操作”中涉及的邻域范围可以是一个预设的范围。在一些实现方式中,邻域范围可以是基于生成地图时的定位误差确定。例如,在生成地图时,通过GPS得到的地图坐标可能会存在几厘米的定位误差,此时,可以设置邻域范围为定位误差的2倍或3倍,有助于提高地图要素匹配的准确性。当然,在本申请实施例中,上述邻域范围还可以是基于经验设置的,本申请实施例对此不作限定。
[0079] 也即是说,上述步骤S320包括:对两张地图中的同一地图内的地图要素执行自注意力操作,自注意力操作用于将同一地图中的邻域范围内的地图要素的特征信息进行聚合;对两张地图中的不同地图间的地图要素执行交叉注意力操作,交叉注意力操作用于将不同地图间的邻域范围内的地图要素的特征信息进行聚合。
[0080] 例如,图注意力网络中的第 层的输入为 ,相应地,基于输入 构建的查询向量可以表示为 ,基于输入 构建的键向量可以表示为 ,基于输入 构建的值向量可以表示为 ,其中, 为第 层的权重。
[0081] 需要说明的是,在同一层中两张地图中的地图要素可以共享一套参数[W,b],其中,W例如可以包括第 层的参数 、 以及 。b例如可以包括第 层的参数 、 以及 。相应地,在不同层中的参数[W,b]不共享,也即是说,不同层之间的参数[W,b]可以相同也可以不同。
[0082] 相应地,对上述查询向量、键向量以及值向量执行自注意力操作后,可以得到图注意力网络中的第 层的输入 ,即 ,其中,j表示地图要素i所在地图中的邻域范围内的其他语义要素,表示合并(concatenation)操作, ()表示基于MLP的特征编码操作, ()表示softmax函数,表示图注意力网络中的第 层的输入,表示其他地图要素j的键向量,表示其他地图要素j的值向量, 表示地图要素i的查询向量的转置。
[0083] 相应地,假设上述两张地图分别表示为地图A以及地图B,且地图要素i所在地图为地图A,对上述查询向量、键向量以及值向量执行交叉注意力操作后,可以得到图注意力网络中的第 层的输入 ,即 ,其中,j表示地图B中的邻域范围内的其他地图要素j,表示合并(concatenation)操作, ()表示基于MLP的特征编码操作, ()表示softmax函数,表示图注意力网络中的第 层的输入,表示其他地图要素j的键向量,表示其他地图要素j的值向量, 表示地图要素i的查询向量的转置。
[0084] 在步骤S330中,根据两张地图中的地图要素的描述信息,确定两张地图中的地图要素的匹配关系。
[0085] 在一些实现方式中,可以通过计算相似度矩阵,来确定两张地图中的地图要素之间的匹配关系。例如,相似度矩阵中的每一行可以表示地图A中的一个地图元素与地图B中的每个地图元素之间的相似度,相似度矩阵中的每一列可以表示地图B中的一个地图元素与地图A中的每个地图元素之间的相似度。
[0086] 在一些实现方式中,相似度矩阵 可以表示为 ,其中,表示地图A中地图要素所在的集合,表示地图B中地图要素所在的集合, 表示地图A中地图要素的描述信息, 表示地图B中地图要素 的描述信息, 表示对向量求内积。
[0087] 然而,在一些情况下,相似度矩阵的某一行或者某一列中的相似度由于量纲不同而无法相互比较,导致无法确定两张地图中地图元素之间的匹配关系。
[0088] 因此,在本申请实施例中,得到两张地图中地图要素之间的匹配关系后,可以通过最优传输(optimal transport)模型,地图要素的匹配概率矩阵,之后可以基于匹配概率矩阵确定两张地图中地图要素的匹配关系。其中,最优传输模型中包括对相似性矩阵的行归一化处理以及列归一化处理,使得匹配概率矩阵中的元素变为标量,从而可以相互之间比较,以确定两张地图中地图元素之间的匹配关系。当然,在本申请实施例中,在可以基于相似度矩阵直接确定地图要素之间的相似度的情况下,也可以不再基于最优传输模型进行后续处理。
[0089] 也即是说,上述步骤S330包括:根据两张地图中的地图要素的描述信息,确定两张地图中的地图要素的相似度矩阵;根据两张地图中的地图要素的相似度矩阵,通过最优传输模型,确定两张地图中的地图要素的匹配概率矩阵;根据两张地图中的地图要素的匹配概率矩阵,确定两张地图中的地图要素的匹配关系。
[0090] 在一些实现方式中,可以利用辛克霍恩算子求解最优传输模型,来生成匹配概率矩阵。当然,在本申请实施例中也可以采用其他方式求解最优传输模型,本申请实施例对此不作限定。
[0091] 在一些实现方式中,可以对相似性矩阵逐行缩放,对每一行进行归一化,得到,其中, 表示相似度矩阵,=0,……,K,K为相似性矩阵包括的行数。
[0092] 在一些实现方式中,可以对相似性矩阵逐列缩放,对每一列 进行归一化,得到,其中, 表示相似度矩阵,=0,……,L,L为相似性矩阵包括的列数。
[0093] 通常,较高维度的地图要素信息相比于较低维度的地图要素信息而言,会包含更多的与地图要素相关的信息,有助于提高对地图要素进行匹配的准确率。因此,在本申请实施例中,可以对两张地图中的地图要素的初始信息进行高维映射,得到地图要素的高维信息,再基于地图要素的高维信息确定两张地图中地图要素之间的匹配关系。
[0094] 也即是说,上述对两张地图中的地图要素的初始信息进行特征编码包括:对两张地图中的地图要素的初始信息进行高维映射,得到两张地图中的地图要素的高维信息;对两张地图中的地图要素的高维信息进行特征编码。
[0095] 假设对地图要素的初始信息 进行高维映射之后,可以得到地图要素的高维信息 ,其中,高维信息 可以表示为:,其中,为
预设的正整数。
[0096] 在本申请实施例中,用于控制地图要素的高维信息中的最高频率。通常,的取值越大表示地图要素的信息维度越高,有助于提高后续地图要素匹配的准确率。相反地,的取值越小表示地图要素的信息维度越低,有助于减少后续地图要素匹配的计算量,提高地图要素匹配的效率。
[0097] 另外,在本申请实施例中,针对不同类型的地图要素可以设置不同的最高频率,以在地图要素匹配的效率以及准确率之间取得平衡。例如,对于较为简单的点状要素而言,最高频率可以设置的相对较低,相对地,对于较为复杂的体状要素而言,最高频率可以设置的相对较高。当然,在本申请实施例中,针对不同类型的地图要素也可以设置相同的最高频率,本申请实施例对此不作限定。
[0098] 在一些场景下,上述两张地图中可能会包含一张地图中的地图要素在另一张地图中没有同名要素的情况。例如,当采集两张地图使用的不同传感器的观测范围不同时,地图A中的地图要素可能在地图B中没有同名要素。此时,如果依然将地图要素 与地图B中的地图要素进行匹配,有可能发生错配。
[0099] 因此,为了避免上述情况,可以不再对地图要素进行匹配,而是对相似度矩阵进行增广,并在增广的行和/列中填写预设值以表示地图要素与其他地图要素的相似度。假设相似度矩阵中每一行对应地图A中的地图要素,相似度矩阵中每一列对应地图B中的地图要素,此时,可以对相似度矩阵的行进行增广,例如,在相似度矩阵的最后一行下面再新增一行以对应地图要素。假设相似度矩阵 中包括 行,且预设值为 ,那么对相似度矩阵的行进行增广可以表示为 。
[0100] 假设相似度矩阵中每一列对应地图A中的地图要素,相似度矩阵中每一行对应地图B中的地图要素,此时,可以对相似度矩阵的列进行增广,例如,在相似度矩阵的最后一列的右边再新增一列以对应地图要素。假设相似度矩阵 中包括 列,且预设值为 ,那么对相似度矩阵的列进行增广可以表示为 。
[0101] 需要说明的是,上述预设值可以相似性矩阵中其他一行包括的相似度的总和,如此,在对上述增广之后的相似度矩阵进行归一化处理之后,新增的行和/或列中的标量与相似度矩阵中的其他行和/列才具有可比性。当然,上述预设值可以相似性矩阵中其他一列包括的相似度的总和,其中预设值例如可以为1。
[0102] 为了便于理解,下文结合图4介绍本申请另一实施例的地图要素的匹配方法。图4是本申请另一实施例的地图要素的匹配方法的示意性流程图。
[0103] 参见图4所示,假设对地图A中的地图要素与地图B中的地图要素进行匹配,地图A以及地图B中的地图要素可以表示为地图要素 , ,表示地图A以及地图B中地图要素的总数。
[0104] 在步骤S410中,获取地图要素的初始信息。
[0105] 在一些实现方式中,可以基于地图要素的几何位置、形状和类型,确定地图要素的初始信息 , ,其中,[ 表示地图要素的几何中心坐标; 表示地图要素的方向信息; 表示地图要素的尺寸信息;
表示表示地图要素的类型。
[0106] 在步骤S420中,对地图要素的初始信息进行高维映射,得到地图要素的高维信息。
[0107] 在一些实现方式中,可以利用高频编码函数将地图要素的初始信息 映射到更高维度的空间,得到地图要素的高维信息 ,其中,,其中,L用
于控制高维信息的最高的频率。
[0108] 在步骤S430中,对地图要素的高维信息进行特征编码,得到地图要素的特征信息。
[0109] 在一些实现方式中,可以利用MLP对地图要素的高维信息 进行特征编码,得到地图要素的特征信息 。
[0110] 需要说明的是,在本申请实施例中,也可以不执行步骤S420至S430,此时可以直接对地图要素的初始信息进行特征编码,得到地图要素的特征信息,此时,地图要素的特征信息可以表示为 。
[0111] 另外,在本申请实施例中,可以针对每个地图要素采用固定维度的特征编码,其中,固定的维度例如可以是128维。
[0112] 在本申请实施例中,上述高维映射的过程可以由特征编码器执行,其中,特征编码器例如可以是MLP。当然,在本申请实施例中还可以通过其他方式执行高维映射,本申请实施例对此不作限定。
[0113] 在步骤S440中,利用图注意力网络将两张地图中的邻域范围内的地图要素的特征信息进行聚合。
[0114] 在一些实现方式中,图注意力网络中的第 层的输入为 ,相应地,基于输入 构建的查询(query)向量可以表示为 ,基于输入 构建的键(key)向量可以表示为,基于输入 构建的值(value)向量可以表示为 ,其中,
为第 层的权重。
[0115] 相应地,对上述查询向量、键向量以及值向量执行自注意力操作后,可以得到图注意力网络中的第 层的输入 ,即 ,其中,j表示地图要素i所在地图中的邻域范围内的其他语义要素,表示合并(concatenation)操作, ()表示基于MLP 的特征编码操作, ()表示softmax函数, 表示图注意力网络中的第 层的输入,表示其他地图要素j的键向量,表示其他地图要素j的值向量, 表示地图要素i的查询向量的转置。
[0116] 相应地,假设上述两张地图分别表示为地图A以及地图B,且地图要素i所在地图为地图A,对上述查询向量、键向量以及值向量执行交叉注意力操作后,可以得到图注意力网络中的第 层的输入 ,即 ,其中,j表示地图B中的邻域范围内的其他地图要素j,表示合并(concatenation)操作, ()表示基于MLP 的特征编码操作, ()表示softmax函数,表示图注意力网络中的第 层的输入,表示其他地图要素j的键向量,表示其他地图要素j的值向量, 表示地图要素i的查询向量的转置。
[0117] 需要说明的是,在本申请实施例中,上述步骤S440需要执行次,以对个地图要素的特征信息都进行聚合,聚合后输出的结果可以表示为 。另外,上述邻域范围的设置方式可以参见上文的介绍,为了简洁,在此不再赘述。
[0118] 在步骤S450中,生成地图要素的描述信息。
[0119] 在一些实现方式中,可以对输出的结果 进行线性变换,得到地图要素的描述信息 , ,其中,和 为预生成的权重。
[0120] 需要说明的是,在一些场景中,为了提高描述信息中包含的信息量,在经过上述线形变换后,还可以对线形变换后的结果进行非线性变换,例如,可以设置ReLu层对线形变换后的结果进行非线性变换,有助于提高对地图要素进行匹配的准确率。
[0121] 在步骤S460中,根据地图要素的描述信息,分别计算地图A与地图B中地图要素之间的相似性,得到相似性矩阵 ,其中, ,其中,表示地图A中地图要素所在的集合,表示地图B中地图要素所在的集合, 表示地图A中地图要素的描述信息, 表示地图B中地图要素 的描述信息, 表示对向量求内积。
[0122] 在步骤S470中,对相似性矩阵 进行增广,得到增广后相似性矩阵。
[0123] 在一些实现方式中,假设地图A中存在地图B中没有的地图要素 ,此时,可以对的进行增广,例如,相似性矩阵 的最右侧添加1列,表示地图要素 与地图B中地图要素之间的相似性。
[0124] 在另一些实现方式中,假设地图B中存在地图A中没有的地图要素 ,此时,可以对的进行增广,例如,相似性矩阵 的最下面添加1行,表示地图要素 与地图A中地图要素之间的相似性。
[0125] 之后,相似性矩阵 由(M×N)的矩阵增广为((M+1)×(N+1))的矩阵。此时,新增的行和/或列中的相似性取值可以为z,即 。
[0126] 在步骤S480中,根据增广后的相似度矩阵,利用辛克霍恩算子求解最优传输模型,以生成匹配概率矩阵。
[0127] 在一些实现方式中,可以对增广后的相似性矩阵逐行缩放,对每一行进行归一化,得到 ,=0,……,K,K为相似性矩阵包括的行数。
[0128] 在一些实现方式中,可以对增广后的对相似性矩阵逐列缩放,对每一列进行归一化,得到 ,=0,……,L,L为相似性矩阵包括的列数。
[0129] 需要说明的是,在本申请实施例中,由于上述匹配概率矩阵是基于最优传输模型计算的,因此,匹配概率矩阵又可以称为“分配矩阵”。在匹配概率矩阵中,第i行表示地图A中的地图要素i与地图B中所有要素为同名要素的概率,相应地,可以通过查找每行中概率的最大值,即可在地图B的地图要素中找到与地图A中的地图要素i的同名要素,即与在地图B的地图要素中找到与地图A中的地图要素i匹配的要素。
[0130] 同理,在匹配概率矩阵中,第j列表示地图B中的地图要素i与地图A中所有要素为同名要素的概率,相应地,可以通过查找每列中概率的最大值,即可在地图A的地图要素中找到与地图B中的地图要素i的同名要素,即与在地图A的地图要素中找到与地图B中的地图要素i匹配的要素。
[0131] 另外,在本申请实施例中,可以循环执行多次上述对行和/或列的归一化操作,以得到匹配概率矩阵。当然,在本申请实施例中,也可以执行一次上述归一化操作,本申请实施例对此不作限定。
[0132] 上文介绍了本申请实施例中地图要素的匹配方案,下文结合图5介绍本申请实施例中图注意力网络的训练方法。应理解,图5所述的方法中涉及的术语以及实现方式与上文的地图要素匹配方法类似,可以参见上文的介绍,为了简洁,下文不再赘述。
[0133] 图5是本申请实施例中图注意力网络的训练方法的示意性流程图。图5所述的方法可以由计算设备执行,其中,计算设备例如可以是服务器或车载终端等。另外,在本申请实施例中,执行图5所示的方法的计算设备与执行图3所示的方法的计算设备可以是同一计算设备,当然,执行图5所示的方法的计算设备与执行图3所示的方法的计算设备也可以是不同的计算设备。图5所示的方法包括步骤S510至步骤S540。
[0134] 在步骤S510中,获取待匹配的两张地图中的地图要素的特征信息。
[0135] 在步骤S520中,利用图注意力网络将两张地图中的邻域范围内的地图要素的特征信息进行聚合,以生成两张地图中的地图要素的描述信息。
[0136] 在步骤S530中,根据两张地图中的地图要素的描述信息,确定两张地图中的地图要素的匹配关系。
[0137] 在步骤S540中,根据两张地图中的地图要素的匹配关系,以及两张地图中的地图要素的实际匹配关系,训练图注意力网络。
[0138] 在一些实现方式中,可以根据两张地图中的地图要素的匹配关系与两张地图中的地图要素的实际匹配关系之间的差异,训练图注意力网络。相应地,训练过程可以理解为将上述差异最小化的过程,或者说,训练过程可以理解为将上述差异程度优化至可接受的阈值范围内的过程。
[0139] 例如,可以在图注意力网络的输出层(即最后一层)设置损失函数(例如,类似分类交叉熵的损失函数),用于计算图注意力网络的预测误差,或者说用于评价图注意力网络输出的预测结果(即输出的两张地图中的地图要素的匹配关系)与理想结果(即两张地图中的地图要素的实际匹配关系)之间的差异。
[0140] 如上文介绍,为了使损失函数最小化,需要对图注意力网络进行训练。在一些实现方式中,可以使用反向传播算法(backpropagation algorithm,BP)对图注意力网络进行训练。BP的训练过程由正向传播过程和反向传播过程组成。在正向传播过程中,输入数据输入图注意力网络的各层,经过逐层处理并传向输出层。如果在输出层输出的结果与理想结果差异较大,则将上述损失函数最小化作为优化目标,转入反向传播,逐层求出优化目标对各神经元权值的偏导数,构成优化目标对权值向量的梯量,作为修改模型权重的依据,图注意力网络的训练过程在权重修改过程中完成。当上述误差达到所期望值时,图注意力网络的训练过程结束。
[0141] 需要说明的是,上文介绍的训练过程仅作为一种训练图注意力网络的示例,在具体的应用中,图注意力网络还可以通过其他方式进行训练,本申请实施例对此不作限定。
[0142] 上文结合图1至图5,详细描述了本申请的方法实施例,下面结合图6至图8,详细描述本申请的装置实施例。应理解,方法实施例的描述与装置实施例的描述相互对应,因此,未详细描述的部分可以参见前面方法实施例。
[0143] 图6是本申请实施例的地图要素的匹配装置的示意图。图6所示的装置600包括:获取单元610以及处理单元620。
[0144] 获取单元610,用于获取待匹配的两张地图中的地图要素的特征信息;
[0145] 处理单元620,用于利用图注意力网络将所述两张地图中的邻域范围内的地图要素的特征信息进行聚合,以生成所述两张地图中的地图要素的描述信息;
[0146] 所述处理单元620,还用于根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的匹配关系。
[0147] 在一些实现方式中,所述处理单元还用于:根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的相似度矩阵;根据所述两张地图中的地图要素的相似度矩阵,通过最优传输模型,确定所述两张地图中的地图要素的匹配概率矩阵;根据所述两张地图中的地图要素的匹配概率矩阵,确定所述两张地图中的地图要素的匹配关系。
[0148] 在一些实现方式中,所述处理单元还用于:根据所述两张地图中的地图要素的相似度矩阵,利用辛克霍恩算子求解最优传输模型,以生成所述匹配概率矩阵。
[0149] 在一些实现方式中,所述处理单元还用于:对所述两张地图中的同一地图内的地图要素执行自注意力操作,所述自注意力操作用于将所述同一地图中的邻域范围内的地图要素的特征信息进行聚合;对所述两张地图中的不同地图间的地图要素执行交叉注意力操作,所述交叉注意力操作用于将所述不同地图间的邻域范围内的地图要素的特征信息进行聚合。
[0150] 在一些实现方式中,所述获取单元还用于:获取所述两张地图中的地图要素的初始信息,所述初始信息包含所述地图要素的以下信息中的一种或多种:位置信息、方向信息、尺寸信息以及语义类型;对所述两张地图中的地图要素的初始信息进行所述特征编码,以生成所述两张地图中的地图要素的特征信息。
[0151] 在一些实现方式中,所述两张地图中的地图要素包括线状要素、面状要素、体状要素;所述线状要素的方向信息用于指示所述线状要素的延伸方向,所述线状要素的尺寸信息用于指示所述线状要素的长度;所述面状要素的方向信息用于指示所述面状要素的法向,所述面状要素的尺寸信息用于指示所述面状要素的周长或面积;所述体状要素的方向信息用于指示所述体状要素的主轴方向,所述体状要素的尺寸信息用于指示所述体状要素的表面积或体积。
[0152] 在一些实现方式中,所述获取单元还用于:对所述两张地图中的地图要素的初始信息进行高维映射,得到所述两张地图中的地图要素的高维信息;对所述两张地图中的地图要素的高维信息进行特征编码。
[0153] 图7是本申请实施例的图注意力网络的训练装置的示意图。图7所示的装置700包括:获取单元710以及处理单元720。
[0154] 获取单元710,用于获取待匹配的两张地图中的地图要素的特征信息;
[0155] 处理单元720,用于利用图注意力网络将所述两张地图中的邻域范围内的地图要素的特征信息进行聚合,以生成所述两张地图中的地图要素的描述信息;
[0156] 所述处理单元720,还用于根据所述两张地图中的地图要素的描述信息,确定所述两张地图中的地图要素的匹配关系;
[0157] 所述处理单元720,还用于根据所述两张地图中的地图要素的匹配关系,以及所述两张地图中的地图要素的实际匹配关系,训练所述图注意力网络。
[0158] 在可选的实施例中,所述获取单元610可以为输入/输出接口830,所述处理单元620可以为处理器820,所述计算设备还可以包括存储器810,具体如图8所示。
[0159] 在可选的实施例中,所述获取单元710可以为输入/输出接口830,所述处理单元720可以为处理器820,所述计算设备还可以包括存储器810,具体如图8所示。
[0160] 图8是本申请另一实施例的计算设备的示意性框图。图8所示的计算设备800可以包括:存储器810、处理器820、输入/输出接口830。其中,存储器810、处理器820以及输入/输出接口830通过内部连接通路相连,该存储器810用于存储指令,该处理器820用于执行该存储器820存储的指令,以控制输入/输出接口830接收输入的数据和信息,输出操作结果等数据。
[0161] 应理解,在本申请实施例中,该处理器820可以采用通用的中央处理器(central processing  unit,CPU),微处理器,应用专用集成电路(application specific integrated circuit,ASIC),或者一个或多个集成电路,用于执行相关程序,以实现本申请实施例所提供的技术方案。
[0162] 该存储器810可以包括只读存储器和随机存取存储器,并向处理器820提供指令和数据。处理器820的一部分还可以包括非易失性随机存取存储器。例如,处理器820还可以存储设备类型的信息。
[0163] 在实现过程中,上述方法的各步骤可以通过处理器820 中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的用于请求上行传输资源的方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本邻域成熟的存储介质中。该存储介质位于存储器810,处理器820读取存储器810 中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
[0164] 应理解,本申请实施例中,该处理器可以为中央处理单元(central processing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmablegate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0165] 应理解,在本申请实施例中,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
[0166] 应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
[0167] 应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
[0168] 在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0169] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0170] 另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0171] 在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够读取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital video disc,DVD))或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
[0172] 以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术邻域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。