点云配准方法和装置、计算机可读存储介质、电子设备转让专利

申请号 : CN202010848942.0

文献号 : CN111951314B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 赵靖

申请人 : 贝壳找房(北京)科技有限公司

摘要 :

本公开实施例公开了一种点云配准方法和装置、计算机可读存储介质、电子设备,其中,方法包括:基于两个待配准点云中包括的对应点对集,确定初始位姿增量;所述对应点对集包括多对对应点对;将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;基于所述至少一个位姿增量分量值确定目标位姿增量;判断所述目标位姿增量是否满足设定收敛条件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准;通过位姿增量分量值使得到的目标位姿增量分量只在稳定的方向上对位姿进行调整,减小了位姿调整的误差,使本实施例提供的点云配准方法具有鲁棒性,能适用于更多场景的点云配准。

权利要求 :

1.一种点云配准方法,其特征在于,包括:基于两个待配准点云中包括的对应点对集,确定初始位姿增量;所述对应点对集包括多对对应点对;

将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;

基于所述至少一个位姿增量分量值确定目标位姿增量;包括:确定所述至少一个位姿增量分量值对应的至少一个特征值对应的特征向量;

基于所述至少一个位姿增量分量值与所述至少一个特征向量,确定所述目标位姿增量;

确定所述目标位姿增量是否满足设定收敛条件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准。

2.根据权利要求1所述的方法,其特征在于,所述位姿的至少一个维度包括六个自由度;

所述将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值,包括:

通过对所述对应点对集对应的优化问题进行求解,得到位姿增量,将所述对应点对集对应的优化问题进行转换,确定系数矩阵;其中,所述优化问题是使所述对应点对集中每对对应点对之间的距离和最小;

基于所述系数矩阵将所述初始位姿增量分解到位姿的六个自由度上,得到所述六个自由度中至少一个自由度对应的位姿增量分量值。

3.根据权利要求2所述的方法,其特征在于,所述基于所述系数矩阵将所述初始位姿增量分解到位姿的六个自由度上,得到所述六个自由度中至少一个自由度对应的位姿增量分量值,包括:

求解所述系数矩阵的六个特征向量和每个所述特征向量对应的特征值;其中,每个所述特征向量和所述特征值对应一个自由度;

基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值。

4.根据权利要求3所述的方法,其特征在于,所述基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值,包括:基于所述六个特征值中的最大值,确定每个所述特征值对应的稳定值;

判断每个所述特征值对应的稳定值是否小于设定阈值,将小于设定阈值的所述特征值对应的自由度对应的位姿增量分量值置位零;基于所述特征向量确定不小于设定阈值的特征值对应的位姿增量分量值。

5.根据权利要求4所述的方法,其特征在于,所述基于所述特征向量确定所述不小于设定阈值的特征值对应的位姿增量分量值,包括:对所述不小于设定阈值的特征值对应的特征向量和所述初始位姿增量执行点乘,以得到的乘积作为所述特征值对应的位姿增量分量值。

6.根据权利要求2‑5任一所述的方法,其特征在于,所述两个待配准点云包括第一点云和第二点云;

所述基于两个待配准点云中包括的对应点对集,确定初始位姿增量,包括:根据所述第一点云对应的位姿信息和所述第二点云对应的位姿信息,确定所有对应点对;其中,每对所述对应点对包括一个所述第一点云中的点和一个第二点云中的点;

根据所述对应点对集的优化问题和所述对应点对中每个点的坐标,确定所述初始位姿增量;其中,所述优化问题的目标是使距离和经过对第二点云操作之后为趋近于零;所述距离和基于所述对应点对集中的所有对应点对之间的距离确定。

7.根据权利要求1‑5任一所述的方法,其特征在于,还包括:响应于不满足所述设定收敛条件,基于所述目标位姿增量和所述一个待配准点云的位姿信息确定所述待配准点云的更新位姿信息;

以所述更新位姿信息的点云和另一个待配准点云作为两个待配准点云;

基于两个待配准点云中包括的对应点对集,确定初始位姿增量;

将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;

基于所述至少一个位姿增量分量值确定目标位姿增量;

确定所述目标位姿增量是否满足设定收敛条件,直到所述目标位姿增量满足设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准。

8.一种点云配准装置,其特征在于,包括:初始增量确定模块,用于基于两个待配准点云中包括的对应点对集,确定初始位姿增量;所述对应点对集包括多对对应点对;

增量分解模块,用于将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;

目标增量确定模块,用于基于所述至少一个位姿增量分量值确定目标位姿增量;所述目标增量确定模块,具体用于确定所述至少一个位姿增量分量值对应的至少一个特征值对应的特征向量;基于所述至少一个位姿增量分量值与所述至少一个特征向量,确定所述目标位姿增量;

配准模块,用于确定所述目标位姿增量是否满足设定收敛条件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准。

9.根据权利要求8所述的装置,其特征在于,所述位姿的至少一个维度包括六个自由度;

所述增量分解模块,包括:

矩阵确定单元,用于通过对所述对应点对集对应的优化问题进行求解,得到位姿增量,将所述对应点对集对应的优化问题进行转换,确定系数矩阵;其中,所述优化问题是使所述对应点对集中每对对应点对之间的距离和最小;

分量确定单元,用于基于所述系数矩阵将所述初始位姿增量分解到位姿的六个自由度上,得到所述六个自由度中至少一个自由度对应的位姿增量分量值。

10.根据权利要求9所述的装置,其特征在于,所述分量确定单元,具体用于求解所述系数矩阵的六个特征向量和每个所述特征向量对应的特征值;其中,每个所述特征向量和所述特征值对应一个自由度;基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值。

11.根据权利要求10所述的装置,其特征在于,所述分量确定单元在基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值时,用于基于所述六个特征值中的最大值,确定每个所述特征值对应的稳定值;判断每个所述特征值对应的稳定值是否小于设定阈值,将小于设定阈值的所述特征值对应的自由度对应的位姿增量分量值置位零;基于所述特征向量确定不小于设定阈值的特征值对应的位姿增量分量值。

12.根据权利要求11所述的装置,其特征在于,所述分量确定单元在基于所述特征向量确定所述不小于设定阈值的特征值对应的位姿增量分量值时,用于对所述不小于设定阈值的特征值对应的特征向量和所述初始位姿增量执行点乘,以得到的乘积作为所述特征值对应的位姿增量分量值。

13.根据权利要求9‑12任一所述的装置,其特征在于,所述两个待配准点云包括第一点云和第二点云;

所述初始增量确定模块,具体用于根据所述第一点云对应的位姿信息和所述第二点云对应的位姿信息,确定所有对应点对;其中,每对所述对应点对包括一个所述第一点云中的点和一个第二点云中的点;根据所述对应点对集的优化问题和所述对应点对中每个点的坐标,确定所述初始位姿增量;其中,所述优化问题的目标是使距离和经过对第二点云操作之后为趋近于零;所述距离和基于所述对应点对集中的所有对应点对之间的距离确定。

14.根据权利要求8‑12任一所述的装置,其特征在于,所述装置还包括:调整迭代模块,用于响应于不满足所述设定收敛条件,基于所述目标位姿增量和所述一个待配准点云的位姿信息确定所述待配准点云的更新位姿信息;以所述更新位姿信息的点云和另一个待配准点云作为两个待配准点云。

15.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1‑7任一所述的点云配准方法。

16.一种电子设备,其特征在于,所述电子设备包括:处理器;

用于存储所述处理器可执行指令的存储器;

所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1‑7任一所述的点云配准方法。

说明书 :

点云配准方法和装置、计算机可读存储介质、电子设备

技术领域

[0001] 本公开涉及点云配准技术领域,尤其是一种点云配准方法和装置、计算机可读存储介质、电子设备。

背景技术

[0002] 点云配准是估算两个或多个点云之间的相对位姿(即相对之间的平移和旋转)的过程,常用于计算机视觉和图形学相关领域,如三维物体匹配,物体的定位和三维重建等。
[0003] 现有技术中常用的点云配准方法为最近点迭代(ICP,Iterative Closest Point)算法。该算法依赖一组点云间的初始位姿,然后通过初试位姿选取点云间的同名点
(correspondence)(即点云A上的p点和点云B上的q点应该是三维空间中的同一个点),再通
过优化点云间的相对位姿,来使得同名点之间的距离减小。而后再根据优化后的位姿,重新
选取同名点,再重新优化,重复(迭代)上述过程,直到收敛为止(可以理解为每一次迭代后
位姿的变化趋近于零)。

发明内容

[0004] 为了解决上述技术问题,提出了本公开。本公开的实施例提供了一种点云配准方法和装置、计算机可读存储介质、电子设备。
[0005] 根据本公开实施例的一个方面,提供了一种点云配准方法,包括:
[0006] 基于两个待配准点云中包括的对应点对集,确定初始位姿增量;所述对应点对集包括多对对应点对;
[0007] 将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;
[0008] 基于所述至少一个位姿增量分量值确定目标位姿增量;
[0009] 确定所述目标位姿增量是否满足设定收敛条件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准。
[0010] 可选地,所述位姿的至少一个维度包括六个自由度;
[0011] 所述将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值,包括:
[0012] 基于所述对应点对集的优化问题确定系数矩阵;
[0013] 基于所述系数矩阵将所述初始位姿增量分解到位姿的六个自由度上,得到所述六个自由度中至少一个自由度对应的位姿增量分量值。
[0014] 可选地,所述基于所述系数矩阵将所述初始位姿增量分解到位姿的六个自由度上,得到所述六个自由度中至少一个自由度对应的位姿增量分量值,包括:
[0015] 求解所述系数矩阵的六个特征向量和每个所述特征向量对应的特征值;其中,每个所述特征向量和所述特征值对应一个自由度;
[0016] 基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值。
[0017] 可选地,所述基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值,包括:
[0018] 基于所述六个特征值中的最大值,确定每个所述特征值对应的稳定值;
[0019] 判断每个所述特征值对应的稳定值是否小于设定阈值,将小于设定阈值的所述特征值对应的自由度对应的位姿增量分量值置位零;基于所述特征向量确定所述不小于设定
阈值的特征值对应的位姿增量分量值。
[0020] 可选地,所述基于所述特征向量确定所述不小于设定阈值的特征值对应的位姿增量分量值,包括:
[0021] 对所述不小于设定阈值的特征值对应的特征向量和所述初始位姿增量执行点乘,以得到的乘积作为所述特征值对应的位姿增量分量值。
[0022] 可选地,所述基于所述至少一个位姿增量分量值确定目标位姿增量,包括:
[0023] 确定所述至少一个位姿增量分量值对应的至少一个特征值对应的特征向量;
[0024] 基于所述至少一个位姿增量分量值与所述至少一个特征向量,确定所述目标位姿增量。
[0025] 可选地,所述两个待配准点云包括第一点云和第二点云;
[0026] 所述基于两个待配准点云中包括的对应点对集,确定初始位姿增量,包括:
[0027] 根据所述第一点云对应的位姿信息和所述第二点云对应的位姿信息,确定所有对应点对;其中,每对所述对应点对包括一个所述第一点云中的点和一个第二点云中的点;
[0028] 根据所述对应点对集的优化问题和所述对应点对中每个点的坐标,确定所述初始位姿增量;其中,所述优化问题的目标是使距离和经过对第二点云操作之后为趋近于零;所
述距离和基于所述对应点对集中的所有对应点对之间的距离确定。
[0029] 可选地,还包括:
[0030] 响应于不满足所述设定收敛条件,基于所述目标位姿增量和所述一个待配准点云的位姿信息确定所述待配准点云的更新位姿信息;
[0031] 以所述更新位姿信息的点云和另一个待配准点云作为两个待配准点云;
[0032] 基于两个待配准点云中包括的对应点对集,确定初始位姿增量;
[0033] 将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;
[0034] 基于所述至少一个位姿增量分量值确定目标位姿增量;
[0035] 确定所述目标位姿增量是否满足设定收敛条件,直到所述目标位姿增量满足设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准。
[0036] 根据本公开实施例的另一方面,提供了一种点云配准装置,包括:
[0037] 初始增量确定模块,用于基于两个待配准点云中包括的对应点对集,确定初始位姿增量;所述对应点对集包括多对对应点对;
[0038] 增量分解模块,用于将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;
[0039] 目标增量确定模块,用于基于所述至少一个位姿增量分量值确定目标位姿增量;
[0040] 配准模块,用于确定所述目标位姿增量是否满足设定收敛条件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准。
[0041] 可选地,所述位姿的至少一个维度包括六个自由度;
[0042] 所述增量分解模块,包括:
[0043] 矩阵确定单元,用于基于所述对应点对集的优化问题确定系数矩阵;
[0044] 分量确定单元,用于基于所述系数矩阵将所述初始位姿增量分解到位姿的六个自由度上,得到所述六个自由度中至少一个自由度对应的位姿增量分量值。
[0045] 可选地,所述分量确定单元,具体用于求解所述系数矩阵的六个特征向量和每个所述特征向量对应的特征值;其中,每个所述特征向量和所述特征值对应一个自由度;基于
所述特征值和所述特征向量确定所述至少一个位姿增量分量值。
[0046] 可选地,所述分量确定单元在基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值时,用于基于所述六个特征值中的最大值,确定每个所述特征值对应的稳
定值;判断每个所述特征值对应的稳定值是否小于设定阈值,将小于设定阈值的所述特征
值对应的自由度对应的位姿增量分量值置位零;基于所述特征向量确定所述不小于设定阈
值的特征值对应的位姿增量分量值。
[0047] 可选地,所述分量确定单元在基于所述特征向量确定所述不小于设定阈值的特征值对应的位姿增量分量值时,用于对所述不小于设定阈值的特征值对应的特征向量和所述
初始位姿增量执行点乘,以得到的乘积作为所述特征值对应的位姿增量分量值。
[0048] 可选地,所述目标增量确定模块,具体用于确定所述至少一个位姿增量分量值对应的至少一个特征值对应的特征向量;基于所述至少一个位姿增量分量值与所述至少一个
特征向量,确定所述目标位姿增量。
[0049] 可选地,所述两个待配准点云包括第一点云和第二点云;
[0050] 所述初始增量确定模块,具体用于根据所述第一点云对应的位姿信息和所述第二点云对应的位姿信息,确定所有对应点对;其中,每对所述对应点对包括一个所述第一点云
中的点和一个第二点云中的点;根据所述对应点对集的优化问题和所述对应点对中每个点
的坐标,确定所述初始位姿增量;其中,所述优化问题的目标是使距离和经过对第二点云操
作之后为趋近于零;所述距离和基于所述对应点对集中的所有对应点对之间的距离确定。
[0051] 可选地,所述装置还包括:
[0052] 调整迭代模块,用于响应于不满足所述设定收敛条件,基于所述目标位姿增量和所述一个待配准点云的位姿信息确定所述待配准点云的更新位姿信息;以所述更新位姿信
息的点云和另一个待配准点云作为两个待配准点云。
[0053] 根据本公开实施例的又一方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述任一实施例所述的点云配准方法。
[0054] 根据本公开实施例的还一方面,提供了一种电子设备,所述电子设备包括:
[0055] 处理器;
[0056] 用于存储所述处理器可执行指令的存储器;
[0057] 所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述任一实施例所述的点云配准方法。
[0058] 基于本公开上述实施例提供的一种点云配准方法和装置、计算机可读存储介质、电子设备,基于两个待配准点云中包括的对应点对集,确定初始位姿增量;所述对应点对集
包括多对对应点对;将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个
维度分别对应的位姿增量分量值;基于所述至少一个位姿增量分量值确定目标位姿增量;
判断所述目标位姿增量是否满足设定收敛条件,响应于满足所述设定收敛条件,以所述目
标位姿增量对两个所述待配准点云进行配准;通过位姿增量分量值使得到的目标位姿增量
分量只在稳定的方向上对位姿进行调整,减小了位姿调整的误差,使本实施例提供的点云
配准方法具有鲁棒性,能适用于更多场景的点云配准。
[0059] 下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。

附图说明

[0060] 通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明
书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,
相同的参考标号通常代表相同部件或步骤。
[0061] 图1是本公开一示例性实施例提供的点云配准方法的流程示意图。
[0062] 图2是本公开图1所示的实施例中步骤104的一个流程示意图。
[0063] 图3是本公开图2所示的实施例中步骤1042的一个流程示意图。
[0064] 图4是本公开图3所示的实施例中步骤302的一个流程示意图。
[0065] 图5是本公开图1所示的实施例中步骤106的一个流程示意图。
[0066] 图6是本公开图1所示的实施例中步骤102的一个流程示意图。
[0067] 图7是本公开另一示例性实施例提供的点云配准方法的流程示意图。
[0068] 图8是本公开一示例性实施例提供的点云配准装置的结构示意图。
[0069] 图9是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

[0070] 下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的
示例实施例的限制。
[0071] 应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0072] 本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺
序。
[0073] 还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
[0074] 还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
[0075] 另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
[0076] 还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
[0077] 同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0078] 以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
[0079] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
[0080] 应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
[0081] 本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电
子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:
个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器
的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和
包括上述任何系统的分布式云计算技术环境,等等。
[0082] 终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目
标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计
算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通
信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储
设备的本地或远程计算系统存储介质上。
[0083] 申请概述
[0084] 在实现本公开的过程中,发明人发现,现有技术中通常最近点迭代算法实现点云配准,该技术方案至少存在以下问题:在度量同名点之间的距离时,常采用点到面的距离
(point to plane error metric)。当两个点云本身不足以限定它们之间的相对位姿时(如
在一个很长的走廊的两个位置,扫描获得的两个点云:由于无法拍摄到走廊的两端,两个点
云可以在沿着走廊的方向上滑动,因为在该方向上没有限制),ICP算法常常会使得最终结
果产生很大的误差,不稳定。
[0085] 示例性方法
[0086] 图1是本公开一示例性实施例提供的点云配准方法的流程示意图。本实施例可应用在电子设备上,如图1所示,包括如下步骤:
[0087] 步骤102,基于两个待配准点云中包括的对应点对集,确定初始位姿增量。
[0088] 其中,对应点对集包括多对对应点对。
[0089] 可选地,本实施例中的对应点对的获取方法可以采用现有技术中最近点迭代算法实现,其中,对应点对可以是最近点对,即两个点云中对应的两个最近点;基于对应点对集
获得初始位姿增量也可以采用最近点迭代算法实现,本实施例不限制确定对应点对集和确
定初始位姿增量的具体方式。
[0090] 步骤104,将初始位姿增量分解到位姿的至少一个维度,得到至少一个维度分别对应的位姿增量分量值。
[0091] 可选地,位姿通常包括6个自由度,通过将初始位姿增量分解到至少一个维度(如自由度)上,可实现在变化相对稳定的维度上获得位姿增量,而在一些增加小的扰动就会产
生较大误差的方向尽量减小(例如,使该方向的位姿增量为零),以减小有位姿增量产生的
误差,提高点云配准方法的鲁棒性。
[0092] 步骤106,基于至少一个位姿增量分量值确定目标位姿增量。
[0093] 本实施例中,通过在至少一个较稳定的方向上的位姿增量分量值确定的目标位姿增量更符合点云配准的需求,不会由于某一方向上的噪声导致位姿增量出现较大误差。
[0094] 步骤108,确定目标位姿增量是否满足设定收敛条件,响应于满足设定收敛条件,以目标位姿增量对两个待配准点云进行配准。
[0095] 可选地,设定收敛条件可以包括但不限于,连续两次确定的目标位姿增量之间的变化量小于第一设定值(取值可根据实际情况进行设定),目标位姿增量小于第二设定值
(取值可根据实际情况进行设定)等;通过收敛条件实现经过有限次迭代得到配准效果较好
的目标位姿增量,并以该目标位姿增量对两个点云进行配准。
[0096] 本公开上述实施例提供的一种点云配准方法,基于两个待配准点云中包括的对应点对集,确定初始位姿增量;所述对应点对集包括多对对应点对;将所述初始位姿增量分解
到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;基于所述至
少一个位姿增量分量值确定目标位姿增量;判断所述目标位姿增量是否满足设定收敛条
件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准;
通过位姿增量分量值使得到的目标位姿增量分量只在稳定的方向上对位姿进行调整,减小
了位姿调整的误差,使本实施例提供的点云配准方法具有鲁棒性,能适用于更多场景的点
云配准。
[0097] 如图2所示,在上述图1所示实施例的基础上,步骤104可包括如下步骤:
[0098] 步骤1041,基于对应点对集的优化问题确定系数矩阵。
[0099] 步骤1042,基于系数矩阵将初始位姿增量分解到位姿的六个自由度上,得到六个自由度中至少一个自由度对应的位姿增量分量值。
[0100] 可选地,位姿的至少一个维度可以包括六个自由度,包括3个平移方向和3个旋转方向;本实施例中,通过对对应点对集对应的优化问题进行求解,可得到位姿增量,将对应
点对集对应的优化问题进行转换,确定系数矩阵;其中,优化问题是使对应点对集中每对对
应点对之间的距离都尽量小,可以通过以所有对应点对之间的距离和(例如,距离和为所有
点对之间距离的平方的和或所有点对之间距离的绝对值的和)作为衡量优化效果的指标,
当位姿增量值使距离和最小,即可将该位姿增量值作为初始位姿增量值,优化问题可以简
化表示为Ax=B,其中,x表示初始位姿增量值,A即为对应的系数矩阵,在对应点对的坐标和
两个点云的位姿信息都是已知的情况下,即可得到系数矩阵。
[0101] 如图3所示,在上述图2所示实施例的基础上,步骤1042可包括如下步骤:
[0102] 步骤301,求解系数矩阵的六个特征向量和每个特征向量对应的特征值。
[0103] 其中,每个特征向量和特征值对应一个自由度。
[0104] 步骤302,基于特征值和特征向量确定至少一个位姿增量分量值。
[0105] 本实施例中,系数矩阵可以为一个6乘6的矩阵,通过对该系数矩阵进行特征分解,即可得到6个特征向量vi和6个特征向量对应的特征值λi,其中i的取值为1至6的整数(即,1,
2,3,4,5,6);并且,结合特征值和特征向量确定至少一个位姿增量分量值,其中,可基于特
征值确定哪些方向具有位姿增量分量值,基于特征向量确定具有位姿增量分量值的方向上
具体的位姿增量分量值的大小。可选地,可参照图4所示实施例确定至少一个位姿增量分量
值。
[0106] 如图4所示,在上述图3所示实施例的基础上,步骤302可包括如下步骤:
[0107] 步骤3021,基于六个特征值中的最大值,确定每个特征值对应的稳定值。
[0108] 步骤3022,判断每个特征值对应的稳定值是否小于设定阈值,将小于设定阈值的特征值对应的自由度对应的位姿增量分量值置位零;基于特征向量确定不小于设定阈值的
特征值对应的位姿增量分量值。
[0109] 可选地,本实施例中引入一个新的概率:稳定值,用于表示位姿在该方向上是否稳定,当位姿的某一方向上稳定值较小,说明在该方向上即使增加较小的扰动,也会产生较大
误差,会影响点云之间的配准。可选地,本实施例中的稳定值可基于系数矩阵分解得到的特
征值λi确定,将6个特征值中的最大值表示为λmax,此时,将每个特征值与最大特征值的比值
作为稳定值,即,
[0110] 本实施例中,当某一方向对应的稳定值小于设定阈值(例如,设定阈值为0.1等,具体取值可根据实际情况进行设定),则将该方向(自由度)上的位姿增量分量值置位零,直接
保证在该方向上不会出现扰动,减小了位姿变化的误差;只有稳定值大于或等于设定阈值
的方向,才计算确定位姿增量分量值,因此,基于本实施例得到的至少一个位姿增量分量值
确定的目标位姿增量分量只在相对稳定的方向上对位姿进行调整,更具鲁棒性。
[0111] 可选地,步骤3022中基于特征向量确定不小于设定阈值的特征值对应的位姿增量分量值的过程可包括:
[0112] 对不小于设定阈值的特征值对应的特征向量和初始位姿增量执行点乘,以得到的乘积作为特征值对应的位姿增量分量值。
[0113] 该实施例可表达为公式(1):
[0114] Δxi=   公式(1)
[0115] 其中,i=1、2、3、4、5、6,值为0)。
[0116] 如图5所示,在上述图1所示实施例的基础上,步骤106可包括如下步骤:
[0117] 步骤1061,确定至少一个位姿增量分量值对应的至少一个特征值对应的特征向量。
[0118] 步骤1062,基于至少一个位姿增量分量值与至少一个特征向量,确定目标位姿增量。
[0119] 本实施例中,由于6个方向中有部分的位姿增量分量值为零,因此,仅获得不为零的位姿增量分量值Δxi对应的至少一个特征向量vi,通过将每个特征向量vi与其对应的位
姿增量分量值进行乘法并相加,即可得到目标位姿增量,该过程可表示为以下公式(2):
[0120] x’=Δx1*v1+Δx2*v2+Δx3*v3+Δx4*v4+Δx5*v5+Δx6*v6
[0121] 公式(2)
[0122] 其中,由于任意Δxi可能为0,则该项为0。
[0123] 如图6所示,在上述图1所示实施例的基础上,步骤102可包括如下步骤:
[0124] 步骤1021,根据第一点云对应的位姿信息和第二点云对应的位姿信息,确定所有对应点对。
[0125] 其中,两个待配准点云包括第一点云和第二点云;每对对应点对包括一个第一点云中的点和一个第二点云中的点。
[0126] 可选地,对应点对希望是空间中的同一位置在不同点云中的点,但实际获取中常以最近点代替,即对应点对集为第一点云和第二点云中的最近点集合。
[0127] 步骤1022,根据对应点对集的优化问题和对应点对中每个点的坐标,确定初始位姿增量。
[0128] 其中,优化问题的目标是使距离和经过对第二点云操作之后为趋近于零;距离和基于对应点对集中的所有对应点对之间的距离确定。
[0129] 可选地,本实施例中的优化问题是对第二点云进行旋转和平移(对6个自由度进行调整)之后,使得对应点对集对应的距离和(例如,距离和为所有点对之间距离的平方的和
或所有点对之间距离的绝对值的和)最小,由于存在对应点对不准确的问题(只是最近点,
而不是空间中的同一位置),在一些点对之间的距离缩小时,可能导致另一些点对之间的距
离增大,因此,本实施例以距离和的大小确定优化程度,理想状态下距离和为0,但实际情况
通常难以达到,因此,本实施例的优化问题是使距离和尽量小,以最小的距离和对应的旋转
和平移量确定初始位置增量(表示为一个6维向量,每个维度的值对应一个自由度的增量)。
[0130] 图7是本公开另一示例性实施例提供的点云配准方法的流程示意图。如图7所示,本实施例方法包括如下步骤:
[0131] 步骤702,基于两个待配准点云中包括的对应点对集,确定初始位姿增量。
[0132] 其中,对应点对集包括多对对应点对。
[0133] 步骤704,将初始位姿增量分解到位姿的至少一个维度,得到至少一个维度分别对应的位姿增量分量值。
[0134] 步骤706,基于至少一个位姿增量分量值确定目标位姿增量。
[0135] 步骤708,判断目标位姿增量是否满足设定收敛条件,如果是,执行步骤710;否则,执行步骤712。
[0136] 步骤710,以目标位姿增量对两个待配准点云进行配准,结束。
[0137] 步骤712,基于目标位姿增量和一个待配准点云的位姿信息确定待配准点云的更新位姿信息,以更新位姿信息的点云和另一个待配准点云作为两个待配准点云;返回执行
步骤702。
[0138] 为了实现两个点云的配准,仅以一次目标位姿增量进行位姿调整有可能达不到配准较好的效果,经过一次调整后的两个点云中的对应点对之间的距离可能不是最小,因此,
需要在经过调整的位姿信息的基础上迭代执行步骤702到708,直到得到的目标位姿增量满
足设定的收敛条件,以该目标位姿增量对待配准点云中的任一个点云(如,第二点云)的位
姿进行调整,此时该第二点云的位姿=初始位姿(或上一次调整后的位姿)+目标位姿增量,
此时得到的第二点云的位姿与第一点云的位姿较为相似,此时,对应点对之间的距离最小
(理想情况下为0),即实现了两个点云的配准。
[0139] 本公开实施例提供的任一种点云配准方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本公开实施例提供的任一种点云
配准方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施
例提及的任一种点云配准方法。下文不再赘述。
[0140] 示例性装置
[0141] 图8是本公开一示例性实施例提供的点云配准装置的结构示意图。如图8所示,本实施例提供的装置包括:
[0142] 初始增量确定模块81,用于基于两个待配准点云中包括的对应点对集,确定初始位姿增量。
[0143] 其中,对应点对集包括多对对应点对。
[0144] 增量分解模块82,用于将初始位姿增量分解到位姿的至少一个维度,得到至少一个维度分别对应的位姿增量分量值。
[0145] 目标增量确定模块83,用于基于至少一个位姿增量分量值确定目标位姿增量。
[0146] 配准模块84,用于确定目标位姿增量是否满足设定收敛条件,响应于满足设定收敛条件,以目标位姿增量对两个待配准点云进行配准。
[0147] 本公开上述实施例提供的一种点云配准装置,基于两个待配准点云中包括的对应点对集,确定初始位姿增量;所述对应点对集包括多对对应点对;将所述初始位姿增量分解
到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;基于所述至
少一个位姿增量分量值确定目标位姿增量;判断所述目标位姿增量是否满足设定收敛条
件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准;
通过位姿增量分量值使得到的目标位姿增量分量只在稳定的方向上对位姿进行调整,减小
了位姿调整的误差,使本实施例提供的点云配准方法具有鲁棒性,能适用于更多场景的点
云配准。
[0148] 在一些可选的实施例中,位姿的至少一个维度包括六个自由度;
[0149] 增量分解模块82,包括:
[0150] 矩阵确定单元,用于基于对应点对集的优化问题确定系数矩阵;
[0151] 分量确定单元,用于基于系数矩阵将初始位姿增量分解到位姿的六个自由度上,得到六个自由度中至少一个自由度对应的位姿增量分量值。
[0152] 可选地,分量确定单元,具体用于求解系数矩阵的六个特征向量和每个特征向量对应的特征值;基于特征值和特征向量确定至少一个位姿增量分量值。
[0153] 其中,每个特征向量和特征值对应一个自由度。
[0154] 可选地,分量确定单元在基于特征值和特征向量确定至少一个位姿增量分量值时,用于基于六个特征值中的最大值,确定每个特征值对应的稳定值;判断每个特征值对应
的稳定值是否小于设定阈值,将小于设定阈值的特征值对应的自由度对应的位姿增量分量
值置位零;基于特征向量确定不小于设定阈值的特征值对应的位姿增量分量值。
[0155] 可选地,分量确定单元在基于特征向量确定不小于设定阈值的特征值对应的位姿增量分量值时,用于对不小于设定阈值的特征值对应的特征向量和初始位姿增量执行点
乘,以得到的乘积作为特征值对应的位姿增量分量值。
[0156] 在一些可选的实施例中,目标增量确定模块83,具体用于确定至少一个位姿增量分量值对应的至少一个特征值对应的特征向量;基于至少一个位姿增量分量值与至少一个
特征向量,确定目标位姿增量。
[0157] 在一些可选的实施例中,两个待配准点云包括第一点云和第二点云;
[0158] 初始增量确定模块81,具体用于根据第一点云对应的位姿信息和第二点云对应的位姿信息,确定所有对应点对;其中,每对对应点对包括一个第一点云中的点和一个第二点
云中的点;根据对应点对集的优化问题和对应点对中每个点的坐标,确定初始位姿增量;其
中,优化问题的目标是使距离和经过对第二点云操作之后为趋近于零;距离和基于对应点
对集中的所有对应点对之间的距离确定。
[0159] 在一些可选的实施例中,本实施例提供的装置还包括:
[0160] 调整迭代模块,用于响应于不满足设定收敛条件,基于目标位姿增量和一个待配准点云的位姿信息确定待配准点云的更新位姿信息;以更新位姿信息的点云和另一个待配
准点云作为两个待配准点云。
[0161] 示例性电子设备
[0162] 下面,参考图9来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一
设备和第二设备进行通信,以从它们接收所采集到的输入信号。
[0163] 图9图示了根据本公开实施例的电子设备的框图。
[0164] 如图9所示,电子设备90包括一个或多个处理器91和存储器92。
[0165] 处理器91可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备90中的其他组件以执行期望的功能。
[0166] 存储器92可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储
器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存
储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存
储一个或多个计算机程序指令,处理器91可以运行所述程序指令,以实现上文所述的本公
开的各个实施例的点云配准方法以及/或者其他期望的功能。在所述计算机可读存储介质
中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
[0167] 在一个示例中,电子设备90还可以包括:输入装置93和输出装置94,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0168] 例如,在该电子设备是第一设备100或第二设备200时,该输入装置93可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装
置93可以是通信网络连接器,用于从第一设备100和第二设备200接收所采集的输入信号。
[0169] 此外,该输入设备93还可以包括例如键盘、鼠标等等。
[0170] 该输出装置94可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备94可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设
备等等。
[0171] 当然,为了简化,图9中仅示出了该电子设备90中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备90还
可以包括任何其他适当的组件。
[0172] 示例性计算机程序产品和计算机可读存储介质
[0173] 除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述
“示例性方法”部分中描述的根据本公开各种实施例的点云配准方法中的步骤。
[0174] 所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如
Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程
序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软
件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备
或服务器上执行。
[0175] 此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方
法”部分中描述的根据本公开各种实施例的点云配准方法中的步骤。
[0176] 所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电
磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的
例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储
器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘
只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0177] 以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的
各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作
用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0178] 本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例
而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部
分说明即可。
[0179] 本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到
的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具
有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇
“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使
用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
[0180] 可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序
仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特
别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序
包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据
本公开的方法的程序的记录介质。
[0181] 还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0182] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义
的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在
此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0183] 为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技
术人员将认识到其某些变型、修改、改变、添加和子组合。