点云配准方法及装置、全景点云融合方法及系统

摘要

本申请提供一种点云配准方法及装置、全景点云融合方法及系统。所述点云配准方法包括获取第一点云和第二点云；依次使用预设的点云编码器、基于Transformer算法的注意力特征提取器和预设的点云解码器，得到第一目标几何特征和第二目标几何特征；根据所述第一目标几何特征和第二目标几何特征得到第一点云和第二点云之间的旋转矩阵和平移向量。所述的点云配准方法中，通过使用基于Transformer算法的注意力特征提取器，使得最终得到的第一目标几何特征和第二目标几何特征包含第一点云和第二点云的局部几何特征和全局上下文信息。因此，使用本申请提供的点云配准方法得到的旋转矩阵和平移向量进行点云配准，配准精度高。

权利要求

1.一种点云配准方法，其特征在于，包括：获取第一点云和第二点云；

使用预设的点云编码器，得到第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；

使用基于Transformer算法的注意力特征提取器交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；

使用预设的点云解码器，得到所述第一加强自注意特征对应的第一目标几何特征、所述第二加强自注意特征对应的第二目标几何特征；

使用Ransac算法，得到所述第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量；

其中，所述基于Transformer算法的注意力特征提取器包括第一自注意单元、第二自注意单元、第一交叉注意单元、第二交叉注意单元、第三自注意单元、第四自注意单元；

所述使用基于Transformer算法的注意力特征提取器交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征，包括：所述第一自注意单元提取第一初始几何特征的第一自注意特征；

所述第二自注意单元提取所述第二初始几何特征的第二自注意特征；

所述第一交叉注意单元提取所述第一自注意特征和所述第二自注意特征的第一交叉注意特征；

所述第二交叉注意单元提取所述第一自注意特征和所述第二自注意特征的第二交叉注意特征；

所述第三自注意单元提取所述第一交叉注意特征的第一加强自注意特征；

所述第四自注意单元提取所述第二交叉注意特征的第二加强自注意特征。

2.根据权利要求1所述的点云配准方法，其特征在于，所述预设的点云编码器、所述基于Transformer算法的注意力特征提取器以及所述预设的点云解码器使用预设训练数据集进行训练得到；其中，所述预设训练数据集包括多个样本点云对以及对应的标签旋转矩阵和标签平移向量；

其中，通过预设方法获取目标样本点云对的标签旋转矩阵和标签平移向量，其中，所述目标样本点云对为任意一个样本点云对，所述目标样本点云对包括第一样本点云和第二样本点云；

所述预设方法包括：

预处理所述第一样本点云和所述第二样本点云，得到第一低密度样本点云和第二低密度样本点云，其中所述预处理包括降采样处理与降噪处理；

使用FPFH算法提取所述第一低密度样本点云的第一样本点云特征、所述第二低密度样本点云的第二样本点云特征；

使用Ransac算法，得到第一样本点云特征和所述第二样本点云特征的粗匹配旋转矩阵和粗匹配平移向量；

使用点对面ICP配准算法，根据所述粗匹配旋转矩阵和所述粗匹配平移向量，得到所述标签旋转矩阵和所述标签平移向量。

3.根据权利要求2所述的点云配准方法，其特征在于，所述第一点云与所述第二点云的重叠率大于等于第一预设值，所述第一样本点云与所述第二样本点云的重叠率大于等于第二预设值；

所述第一预设值大于所述第二预设值。

4.一种点云配准装置，其特征在于，包括：点云获取模块、点云特征提取模块、配准关系获取模块；其中，所述点云获取模块用于获取第一点云和第二点云；

所述点云特征提取模块包括依次相连的预设的点云编码子模块、基于Transformer算法的注意力特征提取子模块以及预设的点云解码子模块；其中，所述预设的点云编码子模块用于提取第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；所述基于Transformer算法的注意力特征提取子模块用于交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；所述预设的点云解码子模块用于提取所述第一加强自注意特征对应的第一目标几何特征、所述第二加强自注意特征对应的第二目标几何特征；

所述配准关系获取模块用于使用Ransac算法，得到所述第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量，其中，所述基于Transformer算法的注意力特征提取子模块包括第一自注意单元、第二自注意单元、第一交叉注意单元、第二交叉注意单元、第三自注意单元、第四自注意单元；其中，所述第一自注意单元用于提取第一初始几何特征的第一自注意特征，所述第二自注意单元用于提取所述第二初始几何特征的第二自注意特征；

所述第一交叉注意单元用于提取所述第一自注意特征和所述第二自注意特征的第一交叉注意特征；所述第二交叉注意单元用于提取所述第一自注意特征和所述第二自注意特征的第二交叉注意特征；

所述第三自注意单元用于提取所述第一交叉注意特征的第一加强自注意特征，所述第四自注意单元用于提取所述第二交叉注意特征的第二加强自注意特征。

5.一种全景点云融合方法，其特征在于，包括：

获取被测对象的点云序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的目标点云，且所述点云序列覆盖所述被测对象的全景区域；

根据权利要求1‑3任一项所述的点云配准方法，依次得到所述点云序列中的两个相邻目标点云对应的旋转矩阵和平移向量；

根据所述对应的旋转矩阵和平移向量，依次融合所述点云序列中的两个相邻目标点云，得到新的点云序列；

将所述新的点云序列作为所述被测对象的点云序列，重复上述得到新的点云序列的过程，直至新的点云序列中包含的目标点云数量为1；

得到所述被测对象的全景点云。

6.一种全景点云融合系统，其特征在于，所述全景点云融合系统包括如权利要求4所述的点云配准装置，所述全景点云融合系统还包括：点云序列存储装置、点云融合装置；

所述点云序列存储装置用于获取并存储被测对象的点云序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的目标点云，且所述点云序列覆盖所述被测对象的全景区域；

所述点云配准装置用于从所述点云序列存储装置中依次取出两个相邻的目标点云，并得到所述两个相邻目标点云对应的旋转矩阵和平移向量；

所述点云融合装置用于根据所述对应的旋转矩阵和平移向量，依次融合所述两个相邻目标点云，得到新的点云序列，并将所述新的点云序列存储至所述点云序列存储装置。

7.一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1‑3任一项所述的点云配准方法。

8.一种计算机设备，其特征在于，包括：

存储器，用于执行计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求5所述的全景点云融合方法。

说明书

点云配准方法及装置、全景点云融合方法及系统

技术领域

[0001] 本申请涉及机器视觉技术领域，尤其涉及点云配准方法及装置、全景点云融合方法及系统。

背景技术

[0002] 点云是通过测量仪器得到的产品外观表面的三维点数据集合。目前，点云获取方式越来越广泛，可以通过激光雷达等设备直接获取到点云；也可以利用深度相机、结构光等设备获得深度图像，进而转换为点云。但激光雷达、深度相机或者结构光等传感器只能在有限的视野范围内捕捉和扫描产品或者场景信息，因此，需要融合来自多个传感器的点云，以获得被测产品或场景的完整三维点云。

[0003] 点云配准是点云融合中的一个关键步骤。通过点云配准找到属于同一产品或场景下第一个点云和第二个点云的坐标变换关系；利用坐标变换关系将两个点云融合成一个新点云；然后，再通过点云配准方法找到新点云与属于同一产品或场景下的第三个点云的坐标变换关系，以此类推，得到被测产品或场景下的完整点云。

[0004] 目前，已有基于深度学习的点云配准方法，来寻找两个点云之间的坐标变换关系。例如使用基于FCGF（Fully‑Convolutional Geometric Features，全卷积几何特征）网络的点云编码器提取输入点云的几何特征，再使用预设的点云解码器对上述几何特征进行上采样，得到最终的几何特征，用于寻找两个点云之间的坐标变换关系。

[0005] 但是，上述基于深度学习的点云配准方法提取得到的几何特征，只关心自身点云对应的局部信息；而点云融合时，更关心的是两个点云重叠部分之间的关系，也就是点云的全局上下文信息。目前，使用上述基于深度学习的点云配准方法的配准精度并不高。

发明内容

[0006] 为了解决目前基于深度学习的点云配准方法的配准精度不高的问题，本申请通过以下方面提供一种点云配准方法及装置、全景点云融合方法及装置。

[0007] 本申请第一方面提供一种点云配准方法，包括：获取第一点云和第二点云；

[0008] 使用预设的点云编码器，得到第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；

[0009] 使用基于Transformer算法的注意力特征提取器交叉学习第一初始几何特征和第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；

[0010] 使用预设的点云解码器，得到第一加强自注意特征对应的第一目标几何特征、第二加强自注意特征对应的第二目标几何特征；

[0011] 使用Ransac算法，得到第一目标几何特征和第二目标几何特征的旋转矩阵和平移向量。

[0012] 在一种可能的实现方式中，基于Transformer算法的注意力特征提取器包括第一自注意单元、第二自注意单元、第一交叉注意单元、第二交叉注意单元、第三自注意单元、第四自注意单元；

[0013] 使用基于Transformer算法的注意力特征提取器交叉学习第一初始几何特征和第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征，包括：

[0014] 第一自注意单元提取第一初始几何特征的第一自注意特征；

[0015] 第二自注意单元提取第二初始几何特征的第二自注意特征；

[0016] 第一交叉注意单元提取第一自注意特征和第二自注意特征的第一交叉注意特征；

[0017] 第二交叉注意单元提取第一自注意特征和第二自注意特征的第二交叉注意特征；

[0018] 第三自注意单元提取第一交叉注意特征的第一加强自注意特征；

[0019] 第四自注意单元提取第二交叉注意特征的第二加强自注意特征。

[0020] 在一种可能的实现方式中，预设的点云编码器、基于Transformer算法的注意力特征提取器以及预设的点云解码器使用预设训练数据集进行训练得到；其中，预设训练数据集包括多个样本点云对以及对应的标签旋转矩阵和标签平移向量；

[0021] 其中，通过预设方法获取目标样本点云对的标签旋转矩阵和标签平移向量，其中，目标样本点云对为任意一个样本点云对，目标样本点云对包括第一样本点云和第二样本点云；

[0022] 预设方法包括：

[0023] 预处理第一样本点云和第二样本点云，得到第一低密度样本点云和第二低密度样本点云，其中预处理包括降采样处理与降噪处理；

[0024] 使用FPFH算法提取第一低密度样本点云的第一样本点云特征、第二低密度样本点云的第二样本点云特征；

[0025] 使用Ransac算法，得到第一样本点云特征和第二样本点云特征的粗匹配旋转矩阵和粗匹配平移向量；

[0026] 使用点对面ICP配准算法，根据粗匹配旋转矩阵和粗匹配平移向量，得到标签旋转矩阵和标签平移向量。

[0027] 在一种可能的实现方式中，第一点云与第二点云的重叠率大于等于第一预设值，第一样本点云与第二样本点云的重叠率大于等于第二预设值；

[0028] 第一预设值大于第二预设值。

[0029] 本申请第二方面提供一种点云配准装置，包括：点云获取模块、点云特征提取模块、配准关系获取模块；其中，

[0030] 点云获取模块用于获取第一点云和第二点云；

[0031] 点云特征提取模块包括依次相连的预设的点云编码子模块、基于Transformer算法的注意力特征提取子模块以及预设的点云解码子模块；其中，预设的点云编码子模块用于提取第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；基于Transformer算法的注意力特征提取子模块用于交叉学习第一初始几何特征和第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；预设的点云解码子模块用于提取第一加强自注意特征对应的第一目标几何特征、第二加强自注意特征对应的第二目标几何特征；

[0032] 配准关系获取模块用于使用Ransac算法，得到第一目标几何特征和第二目标几何特征的旋转矩阵和平移向量。

[0033] 在一种可能的实现方式中，基于Transformer算法的注意力特征提取子模块包括第一自注意单元、第二自注意单元、第一交叉注意单元、第二交叉注意单元、第三自注意单元、第四自注意单元；其中，

[0034] 第一自注意单元用于提取第一初始几何特征的第一自注意特征，第二自注意单元用于提取第二初始几何特征的第二自注意特征；

[0035] 第一交叉注意单元用于提取第一自注意特征和第二自注意特征的第一交叉注意特征；第二交叉注意单元用于提取第一自注意特征和第二自注意特征的第二交叉注意特征；

[0036] 第三自注意单元用于提取第一交叉注意特征的第一加强自注意特征，第四自注意单元用于提取第二交叉注意特征的第二加强自注意特征。

[0037] 本申请第三方面提供一种全景点云融合方法，包括：

[0038] 获取被测对象的点云序列，其中，被测对象的点云序列包括被测对象的多个依次相邻的目标点云，且点云序列覆盖被测对象的全景区域；

[0039] 根据本申请第一方面提供的点云配准方法，依次得到点云序列中的两个相邻目标点云对应的旋转矩阵和平移向量；

[0040] 根据对应的旋转矩阵和平移向量，依次融合点云序列中的两个相邻目标点云，得到新的点云序列；

[0041] 将新的点云序列作为被测对象的点云序列，重复上述得到新的点云序列的过程，直至新的点云序列中包含的目标点云数量为1；

[0042] 得到被测对象的全景点云。

[0043] 本申请第四方面提供一种全景点云融合系统。所述全景点云融合系统包括本申请第三方面提供的点云配准装置。所述全景点云融合系统还包括：点云序列存储装置、点云融合装置；

[0044] 点云序列存储装置用于获取并存储被测对象的点云序列，其中，被测对象的点云序列包括被测对象的多个依次相邻的目标点云，且点云序列覆盖被测对象的全景区域；

[0045] 点云配准装置用于从点云序列存储装置中依次取出两个相邻的目标点云，并得到两个相邻目标点云对应的旋转矩阵和平移向量；

[0046] 点云融合装置用于根据对应的旋转矩阵和平移向量，依次融合两个相邻目标点云，得到新的点云序列，并将新的点云序列存储至点云序列存储装置。

[0047] 本申请第五方面提供一种计算机设备，包括：

[0048] 存储器，用于存储计算机程序；

[0049] 处理器，用于执行所述计算机程序时实现如本申请第一方面所述的点云配准方法。

[0050] 本申请第六方面提供一种计算机设备，包括：

[0051] 存储器，用于执行计算机程序；

[0052] 处理器，用于执行所述计算机程序时实现如本申请第三方面所述的全景点云融合方法。

[0053] 本申请通过以上方面提供一种点云配准方法及装置、全景点云融合方法及系统。所述点云配准方法包括获取第一点云和第二点云；使用预设的点云编码器，得到第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；使用基于Transformer算法的注意力特征提取器交叉学习第一初始几何特征和第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；使用预设的点云解码器，得到第一加强自注意特征对应的第一目标几何特征、第二加强自注意特征对应的第二目标几何特征；使用Ransac算法，得到第一目标几何特征和第二目标几何特征的旋转矩阵和平移向量。所述点云配准方法中，使用基于Transformer算法的注意力特征提取器交叉学习第一初始几何特征和第二初始几何特征，使得最终得到的第一目标几何特征和第二目标几何特征包含第一点云和第二点云的局部几何特征和全局上下文信息。因此，使用本申请提供的点云配准方法得到的旋转矩阵和平移向量进行配准，配准精度高。

附图说明

[0054] 为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0055] 图1为本申请实施例提供的一种点云配准方法的工作流程示意图；

[0056] 图2为本申请实施例提供的一种点云配准方法中的所述基于Transformer算法的注意力特征提取器的结构示意图；

[0057] 图3为本申请实施例提供的一种点云配准方法中步骤13的工作流程示意图；

[0058] 图4为本申请实施例提供的一种点云配准装置的结构示意图；

[0059] 图5为本申请实施例提供的一种全景点云融合方法的工作流程示意图；

[0060] 图6为本申请实施例提供的一种全景点云融合系统的结构示意图。

具体实施方式

[0061] 为便于对申请的技术方案进行说明，以下首先在对本申请所涉及到的一些概念进行说明。

[0062] 为了解决目前基于深度学习的点云配准方法的配准精度不高的问题。本申请通过以下实施例提供一种点云配准方法及装置。

[0063] 参见图1，本申请第一实施例提供的一种点云配准方法包括步骤11‑步骤15。

[0064] 步骤11，获取第一点云和第二点云。

[0065] 步骤12，使用预设的点云编码器，得到第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征。

[0066] 步骤13，使用基于Transformer算法的注意力特征提取器交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征。

[0067] 本实施例考虑到点云特征中的局部几何信息和全局信息对点云配准的精度都很重要，因此，本实施例的步骤13中使用基于Transformer算法的注意力特征提取器，交叉学习所述第一初始几何特征和所述第二初始几何特征，将更多的全局上下文信息整合到提取出来的几何特征中。

[0068] 步骤14，使用预设的点云解码器，得到所述第一加强自注意特征对应的第一目标几何特征、所述第二加强自注意特征对应的第二目标几何特征。

[0069] 步骤15，使用Ransac（RANdom SAmple Consensus，随机抽样一致）算法，得到第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量。

[0070] 在本实施例中，预设的点云编码器采用基于FCGF（Fully‑Convolutional Geometric Features，全卷积几何特征）网络点云编码器。对应的，预设的点云解码器采用基于FCGF网络的点云解码器。需要说明的是，在其他的实施例中，预设的点云编码器和预设的点云解码器也可以基于其他深度学习网络。

[0071] 在本实施例中，参见图2，基于Transformer算法的注意力特征提取器包括第一自注意单元、第二自注意单元、第一交叉单元、第二交叉注意单元、第三自注意单元、第四自注意单元。相应的，参见图3，在本实施例中，步骤13包括步骤131‑步骤132。

[0072] 步骤131，所述第一自注意单元提取第一初始几何特征的第一自注意特征。

[0073] 步骤132，所述第二自注意单元提取所述第二初始几何特征的第二自注意特征。

[0074] 步骤133，所述第一交叉注意单元提取所述第一自注意特征和所述第二自注意特征的第一交叉注意特征。

[0075] 步骤134，所述第二交叉注意单元提取所述第一自注意特征和所述第二自注意特征的第二交叉注意特征。

[0076] 步骤135，所述第三自注意单元提取所述第一交叉注意特征的第一加强自注意特征。

[0077] 步骤136，所述第四自注意单元提取所述第二交叉注意特征的第二加强自注意特征。

[0078] 需要说明的是，步骤131和步骤132的执行顺序可以互换，也可以同时执行；同样的步骤133和步骤134的执行顺序、步骤135和步骤136的执行顺序，可以互换，也可以同时执行。上述标号只是为了方便描述，不代表时间顺序上的限定作用。

[0079] 为了本领域技术人员清晰的理解本实施例提供的方法，以下通过一个示例来说明本实施例提供的点云配准方法的执行过程。

[0080] 获取第一点云X和第二点云Y。其中，点云X包含的点数为n，点云Y包含的点数为m。

[0081] 使用基于FCGF的点云编码器中包含的卷积核为7*7*7的3D卷积层抽取输入点云X和Y的大的局部上下文信息，得到点云特征 ， 。然后使用三个层次的带有剩余块的跨步卷积层聚合更丰富的局部上下文信息；具体过程如下：

[0082] 对于第一层次，点云特征 ， 经过两层卷积核都为3*3*3，步长分别为1和2，通道数为别为32和64的3D卷积层，得到特征 和 ，其中， 和 的点云点数分别为n/2和m/2，特征通道数为64。然后再经过第一层次的剩余块卷积层处理，得到特征和 。

[0083] 对于第二层次，将 和 输入基于FCGF网络的点云编码器的第二层次，经过一层卷积核为3*3*3，步长为2，通道数为128的3D卷积层后，得到特征 和,  和 的点云点数分别为n/4和m/4，特征通道数为128。然后经过第二层
次的剩余块卷积层后，得到特征 和 。

[0084] 对于第三层次，将 和 输入基于FCGF网络的点云编码器的第三层次，经过一层卷积核为3*3*3，步长为2，通道数为256的3D卷积层后，得到特征 和， 和 的点云点数分别为n/8和m/8，特征通道数为256。然后经过第二层次
的剩余块卷积层后，得到第一初始几何特征 和第二初始几何特征 。

[0085] 使用第一自注意单元和第二自注意单元进一步聚合和加强第一初始几何特征和第二初始几何特征 各自的上下文关系，得到第一自注意特征和第二自注意特征。第一自注意单元提取第一初始几何特征 的第一自注意特征的具体过程如下：

[0086] 由可学习矩阵 、 和 线性投影到查询向量 、键向量 和值向量 ，其中，查询向量为 ，键向量为 ，
值向量为 。自注意矩阵 ，然后用softmax函数对自注意矩阵SA
进行归一化。消息 表示自注意矩阵加权值的线性组合，计算方式为 。
然后将 与 拼接后，再经过一层卷积核为3*3*3，步长为1，输入通道数为512，输出通道数为256的3D卷积层后得到 ，最后，将 与 相加后，得到第一自注意特征
。

[0087] 第二自注意单元提取第二初始几何特征的第二自注意特征 的具体过程与上述过程类似，在此不再赘述。

[0088] 在第一交叉注意单元和第二交叉注意单元，对第一自注意特征 和第二自注意特征 的上下文关系的聚合是双向的。即，在第一交叉注意单元，从 到的方向交叉学习，在第二交叉注意单元，从 到 的方向交叉学习。

[0089] 第一交叉注意单元，从 到 的方向交叉学习，得到第一交叉注意特征的具体过程如下：

[0090] 由可学习矩阵 线性投影，得到的查询向量 ， 由可学习矩阵 和 分别投影，得到键向量 和值向量
。交叉注意矩阵 ，然后用softmax函数对交叉注意矩阵进行归
一化。消息 表示的是交叉注意矩阵加权值的线性组合，其中， 从 流到 ，
即 。将 与 拼接后，再经过一层卷积核为3*3*3，步长为1，输入通道数为512，输出通道数为256的3D卷积层后得到 。最后将 与 相加，得到第一交叉注意特征 。

[0091] 第二交叉注意单元提取所述第一自注意矩阵和所述第二自注意特征的第二交叉注意特征 的具体过程与上述过程类似，在此不再赘述。

[0092] 使用第三自注意单元和第四自注意单元，进一步加强 和 的各自的全局上下文，得到第一加强自注意特征和第二加强自注意特征。第三自注意单元提取第一交叉注意特征的第一加强自注意特征的具体过程如下：

[0093] 由可学习矩阵 、 和 线性投影到查询向量 、键向量 和值向量 ，其中，查询向量为 ，键向量为
，值向量为 。自注意矩阵 ，然后用softmax
函数对自注意矩阵SA进行归一化。消息 表示表示自注意矩阵加权值的线性组合，计算方式为 。然后将 与 拼接后，再经过一层卷积核为3*3*3，步长为1，输入通道数为512，输出通道数为256的3D卷积层后得到 。最后，将 与 相加后，得到第一加强自注意特征 。

[0094] 第四自注意单元提取第二交叉注意特征的第二加强自注意特征 的具体过程与上述过程类似，在此不再赘述。

[0095] 经过基于FCGF网络的点云编码器和基于Transformer算法的注意力特征提取器之后，第一点云X和第二点云Y的点云特征分别为第一加强自注意特征和第二加强自注意特征。本实施例使用基于FCGF网络的点云解码器进行特征上采样，具体过程如下：

[0096] 对于第一层次，分别输入第一加强自注意特征 和第二加强自注意特征 ，经过一层卷积核为3*3*3，步长分别为2，输出通道数为128的3D上采样卷积层，然后再经过第一层次的输出通道数为128的剩余块卷积层处理，得到特征 与 。

[0097] 对于第二层次，将 与 拼接后，和 与 拼接后的特征分别输入点云解码器的第二层次，经过一层卷积核为3*3*3，步长为2，输出通道数为64的3D上采样卷积层，然后经过第二层次的剩余块卷积层后，得到特征 与 。

[0098] 对于第三层次，将 与 拼接后，和 与 拼接后的特征分别输入电晕解码器的第三层次，经过一层卷积核为3*3*3，步长为2，输出通道数为64的3D上采样卷积层，得到特征 与 。

[0099] 最后， 与 分别经过一层卷积核为1*1*1，输出通道数为32的3D卷积层，得到点云X和Y最终的第一目标几何特征 和第二目标几何特征 。

[0100] 在本实施例中，使用Ransac算法寻找点云之间的坐标变换关系，即旋转矩阵和平移向量，以便于完成后续的点云配准融合。使用Ransac算法寻找点云之间的坐标变换关系的过程如下：

[0101] 输入第一目标几何特征 和第二目标几何特征 ，以及第一点云X和第二点云Y，根据描述子（任意一个点x在 中的32位描述向量和任意一个点y在 中的
32维描述向量）做匹配，得到两个描述子对应的点的坐标关系，计算初始旋转矩阵和初始平移向量。然后最小化投影误差，得到最终的坐标变换关系，即旋转矩阵和平移向量。

[0102] 得到第一点云X和第二点云Y之间的旋转矩阵和平移向量之后，将第一点云X和第二点云Y同步到目标坐标系下。其中，目标坐标系可以是第一点云X所在的坐标系，也可以是第二点云Y所在的坐标系。目标坐标系中的第一点云X和第二点云Y之间距离过近的点会被删除，得到融合后的新点云。

[0103] 在本实施例中，所述预设的点云编码器、所述基于Transformer算法的注意力特征提取器以及所述预设的点云解码器使用预设训练数据集进行训练得到。其中，所述预设训练数据集包括多个样本点云对以及对应的标签旋转矩阵和标签平移向量。

[0104] 但是，在某些场景下的预设训练数据集中很难得到。例如，目前还没有专门针对列车底盘或者表面等部位的训练数据集，其坐标变换标签很难得到。为此，在一些实施例中，通过预设方法获取目标样本点云对的标签旋转矩阵和标签平移向量。其中所述目标样本点云对为任意一个样本点云对，所述目标样本点云对包括第一样本点云和第二样本点云。所述预设方法包括步骤21‑步骤24。

[0105] 步骤21，预处理所述第一样本点云和所述第二样本点云，得到第一低密度样本点云和第二低密度样本点云，其中所述预处理包括降采样处理与降噪处理。所述第一低密度样本点云的点数相对于第一样本点云的点数减少，第二低密度样本点云的点数相对于第二样本点云的点数减少。其中，降采样处理可以降低点云的密度。原始点云可能有几十万个点，降采样处理后的点云大概有2万个点。降噪处理可以删除离群点。因为离群点周围的点少，可以提取的局部特征也比较少，所以离群点对于后续配准的意义不大。

[0106] 在一种实现方式中，如果要应用本实施例提供的点云配准方法针对待测对象（物体或者场景）进行全景融合时，对待配准的第一点云和第二点云的重叠率有要求。也就是说，所述第一点云与所述第二点云的重叠率大于等于第一预设值。对应的，训练数据集中的属于同一个样本点云对的第一样本点云和第二样本点云的重叠率大于等于第二预设值。其中，所述第一预设值大于所述第二预设值。

[0107] 示例性的，在全景融合时，待配准的第一点云和第二点云的重叠率要求不低于50%。在两个点云配准之后得到的新点云，新点云与下一个要配准的点云之间的重叠率会下降，到最后两个要配准的点云之间的重叠率大概率是小于50%的。对应的，在构建训练数据集时，要求样本点云对之间的重叠率不低于30%，可以满足全景融合的需求。

[0108] 步骤22，使用FPFH算法提取所述第一低密度样本点云的第一样本点云特征、所述第二低密度样本点云的第二样本点云特征。示例性的，第一低密度样本点云的点数为n1，第二低密度样本点云的点数为m1，则使用FPFH算法提取得到的第一样本点云特征包含n1个32维向量，第二样本点云特征包含m1个32维特征向量，即每个点由一个32维向量描述。

[0109] 步骤23，使用Ransac算法，得到第一样本点云特征和所述第二样本点云特征的粗匹配旋转矩阵和粗匹配平移向量。

[0110] 此处，Ransac算法的输入为第一低密度样本点云和第二低密度样本点云，以及第一样本点云特征和第二样本点云特征，寻找得到，第一低密度样本点云中的点a的32维向量与第二低密度样本点云中的点b的32维向量的距离最近，则将点a和点b称为一对匹配点。得到多个匹配点之后，就得到粗匹配旋转矩阵和粗匹配平移向量。

[0111] 步骤24，使用点对面ICP（Iterative Closest Point，最近点迭代）配准算法，根据所述粗匹配旋转矩阵和所述粗匹配平移向量，得到所述标签旋转矩阵和所述标签平移向量。

[0112] 使用点对面ICP配准算法细化匹配结果。将第一低密度样本点云、第二低密度样本点云、以及步骤23得到的粗匹配旋转矩阵和粗匹配平移向量，作为点对面ICP配准算法的输入，得到标签旋转矩阵和标签平移向量。点对面ICP配准算法容易陷入局部最小值，因此，使用步骤23得到的粗匹配旋转矩阵和粗匹配平移向量初始化所述点对面ICP配准算法，以避免上述陷入局部最小值的问题。

[0113] 其中，点对面ICP配准算法属于ICP配准算法的变种。ICP算法采用最小化源点云与目标点云对应点间距离，而点对面ICP配准算法最小化源点云中的点到目标点云中对应点所在平面的距离。点对面ICP配准算法的收敛速度会更快，所以，本申请中使用点对面ICP配准算法，得到所述标签旋转矩阵和所述标签平移向量。

[0114] 实施例提供一种点云配准方法。所述方法包括获取第一点云和第二点云；使用预设的点云编码器，得到第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；使用基于Transformer算法的注意力特征提取器交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；使用预设的点云解码器，得到所述第一加强自注意特征对应的第一目标几何特征、所述第二加强自注意特征对应的第二目标几何特征；使用Ransac算法，得到所述第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量。所述点云配准方法中，使用基于Transformer算法的注意力特征提取器交叉学习所述第一初始几何特征和所述第二初始几何特征，使得最终得到的第一目标几何特征和第二目标几何特征包含第一点云和第二点云的局部几何特征和全局上下文信息。因此，本实施例提供的所述点云配准方法得到的旋转矩阵和平移向量进行配准，配准精度高。

[0115] 与第一实施例提供的点云配准方法相对应，本申请第二实施例提供一种点云配准装置。参见图4，所述点云配准装置包括：点云获取模块、点云特征提取模块、配准关系获取模块。

[0116] 所述点云获取模块用于获取第一点云和第二点云。

[0117] 所述点云特征提取模块包括依次相连的预设的点云编码子模块、基于Transformer算法的注意力特征提取子模块以及预设的点云解码子模块；其中，所述预设的点云编码子模块用于提取第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；所述基于Transformer算法的注意力特征提取子模块用于交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；所述预设的点云解码子模块用于提取所述第一加强自注意特征对应的第一目标几何特征、所述第二加强自注意特征对应的第二目标几何特征。

[0118] 所述配准关系获取模块用于使用Ransac算法，得到所述第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量。

[0119] 在一种实现方式中，所述基于Transformer算法的注意力特征提取子模块包括第一自注意单元、第二自注意单元、第一交叉注意单元、第二交叉注意单元、第三自注意单元、第四自注意单元，参考图2。

[0120] 所述第一自注意单元用于提取第一初始几何特征的第一自注意特征，所述第二自注意单元用于提取所述第二初始几何特征的第二自注意特征。

[0121] 所述第一交叉注意单元用于提取所述第一自注意特征和所述第二自注意特征的第一交叉注意特征；所述第二交叉注意单元用于提取所述第一自注意特征和所述第二自注意特征的第二交叉注意特征。

[0122] 所述第三自注意单元用于提取所述第一交叉注意特征的第一加强自注意特征，所述第四自注意单元用于提取所述第二交叉注意特征的第二加强自注意特征。

[0123] 上述装置在应用时的作用效果可参见本申请第一实施例中的相关描述，在此不再赘述。

[0124] 在第一实施例的基础上，本申请第三实施例提供一种全景点云融合方法。参见图5，本申请第二实施例提供的全景点云融合方法包括步骤31‑步骤35。

[0125] 步骤31，获取被测对象的点云序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的目标点云，且所述点云序列覆盖所述被测对象的全景区域。在一种实现方式中，两个相邻的目标点云之间的重叠率大于等于第一预设值。

[0126] 步骤32，根据本申请第一实施例提供的所述的点云配准方法，依次得到所述点云序列中的两个相邻目标点云对应的旋转矩阵和平移向量。

[0127] 步骤33，根据所述对应的旋转矩阵和平移向量，依次融合所述点云序列中的两个相邻目标点云，得到新的点云序列。

[0128] 步骤34，将所述新的点云序列作为所述被测对象的点云序列，重复上述得到新的点云序列的过程，直至新的点云序列中包含的目标点云数量为1。

[0129] 步骤35，得到所述被测对象的全景点云。

[0130] 本实施例提供的全景点云融合方法中，采用本申请第一实施例的提供的点云配准方法得到的旋转矩阵和平移向量，进行配准融合，得到的全景点云的准确率高。

[0131] 进一步的，传统的全景点云融合方法主要是顺序融合。其中，顺序融合方法使用结构光等方式获得一个物体或者场景的多视角序列点云；示例性的，所述多视角序列点云包括n个点云。首先将n个点云中的第一个点云和第二点云进行两两配准融合，得到第一个目标点云；然后将第一个目标点云与第三个点云进行两两配准融合，得到第二个目标点云；然后将第二个目标点云与第四个点云进行两两配准融合，得到第三个目标点云......以此类推，直到n个点云全部配准融合，得到全景点云。由此可以看出，虽然顺序融合的全景点云融合方法简单直观，但是存在误差累积的问题，导致得到的全景点云准确率不高。

[0132] 而本实施例提供的全景点云融合方法中，先将点云序列中的全部目标点云，按照相邻的位置关系，两两配准，融合得到新的点云序列；在将新的点云序列中的全部目标点云，按照相邻的位置关系，两两配准，融合得到新的点云序列，依次类推，直到得到一个完整的全景点云。相较于传统的顺序融合方法，本实施例提供的全景点云融合方法降低融合的复杂度，有效改善误差累积的问题，使得融合得到的全景点云的准确率高。

[0133] 示例性的，所述被测对象的点云序列包括n个点云，则采用本申请第一实施例提供的方法，得到第一个目标点云和第二个目标点云的旋转矩阵和平移向量，配准融合得到新的点云序列中的第一个目标点云；同时，采用本申请第一实施例提供的方法，得到第三个目标点云和第四个目标点云的旋转矩阵的平移向量，配准融合得到新的新云序列中的第二个目标点云，依次类推，得到新的点云序列。针对新的点云序列在执行步骤32和步骤33，直到全部的点云配准融合成一个完整的全景点云。相较于顺序融合的全景点云融合方法的融合复杂度为n，本实施例提供的全景点云融合方法的融合复杂度为log2(n)。

[0134] 本实施例提供的全景点云融合方法相较于传统的全景点云融合方法，降低融合的复杂度，有效缓解误差累积的问题，并结合采用第一实施例提供的点云配准方法提高配准精度，使得融合得到的全景点云的准确率高。

[0135] 与第三实施例提供的全景点云融合方法相对应，本申请第四实施例提供一种全景点云融合系统。所述全景点云融合系统包括本申请第三实施例提供的点云配准装置。参见图6，所述全景点云融合系统还包括：点云序列存储装置、点云融合装置。

[0136] 所述点云序列存储装置用于获取并存储被测对象的点云序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的目标点云，且所述点云序列覆盖所述被测对象的全景区域。

[0137] 所述点云配准装置用于从所述点云序列存储装置中依次取出两个相邻的目标点云，并得到所述两个相邻目标点云对应的旋转矩阵和平移向量。

[0138] 所述点云融合装置用于根据所述对应的旋转矩阵和平移向量，依次融合所述两个相邻目标点云，得到新的点云序列，并将所述新的点云序列存储至所述点云序列存储装置。

[0139] 上述系统在应用时的作用效果可参见本申请第三实施例中的相关描述，在此不再赘述。

[0140] 本申请第五实施例提供一种计算机设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如本申请第一实施例所述的点云配准方法。

[0141] 本申请第六实施例提供又一种计算机设备，包括：存储器，用于执行计算机程序；处理器，用于执行所述计算机程序时实现如本申请第三实施例所述的全景点云融合方法。

[0142] 本申请实施例中所描述的方法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD‑ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于UE中。可选地，处理器和存储媒介也可以设置于UE中的不同的部件中。

[0143] 应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

[0144] 在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。

[0145] 本说明书的各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

[0146] 本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

[0147] 以上所述的本申请实施方式并不构成对本申请保护范围的限定。