点云配准方法和装置、计算机可读存储介质、电子设备转让专利
申请号 : CN202010848942.0
文献号 : CN111951314B
文献日 : 2021-08-31
发明人 : 赵靖
申请人 : 贝壳找房(北京)科技有限公司
摘要 :
权利要求 :
1.一种点云配准方法,其特征在于,包括:基于两个待配准点云中包括的对应点对集,确定初始位姿增量;所述对应点对集包括多对对应点对;
将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;
基于所述至少一个位姿增量分量值确定目标位姿增量;包括:确定所述至少一个位姿增量分量值对应的至少一个特征值对应的特征向量;
基于所述至少一个位姿增量分量值与所述至少一个特征向量,确定所述目标位姿增量;
确定所述目标位姿增量是否满足设定收敛条件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准。
2.根据权利要求1所述的方法,其特征在于,所述位姿的至少一个维度包括六个自由度;
所述将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值,包括:
通过对所述对应点对集对应的优化问题进行求解,得到位姿增量,将所述对应点对集对应的优化问题进行转换,确定系数矩阵;其中,所述优化问题是使所述对应点对集中每对对应点对之间的距离和最小;
基于所述系数矩阵将所述初始位姿增量分解到位姿的六个自由度上,得到所述六个自由度中至少一个自由度对应的位姿增量分量值。
3.根据权利要求2所述的方法,其特征在于,所述基于所述系数矩阵将所述初始位姿增量分解到位姿的六个自由度上,得到所述六个自由度中至少一个自由度对应的位姿增量分量值,包括:
求解所述系数矩阵的六个特征向量和每个所述特征向量对应的特征值;其中,每个所述特征向量和所述特征值对应一个自由度;
基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值。
4.根据权利要求3所述的方法,其特征在于,所述基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值,包括:基于所述六个特征值中的最大值,确定每个所述特征值对应的稳定值;
判断每个所述特征值对应的稳定值是否小于设定阈值,将小于设定阈值的所述特征值对应的自由度对应的位姿增量分量值置位零;基于所述特征向量确定不小于设定阈值的特征值对应的位姿增量分量值。
5.根据权利要求4所述的方法,其特征在于,所述基于所述特征向量确定所述不小于设定阈值的特征值对应的位姿增量分量值,包括:对所述不小于设定阈值的特征值对应的特征向量和所述初始位姿增量执行点乘,以得到的乘积作为所述特征值对应的位姿增量分量值。
6.根据权利要求2‑5任一所述的方法,其特征在于,所述两个待配准点云包括第一点云和第二点云;
所述基于两个待配准点云中包括的对应点对集,确定初始位姿增量,包括:根据所述第一点云对应的位姿信息和所述第二点云对应的位姿信息,确定所有对应点对;其中,每对所述对应点对包括一个所述第一点云中的点和一个第二点云中的点;
根据所述对应点对集的优化问题和所述对应点对中每个点的坐标,确定所述初始位姿增量;其中,所述优化问题的目标是使距离和经过对第二点云操作之后为趋近于零;所述距离和基于所述对应点对集中的所有对应点对之间的距离确定。
7.根据权利要求1‑5任一所述的方法,其特征在于,还包括:响应于不满足所述设定收敛条件,基于所述目标位姿增量和所述一个待配准点云的位姿信息确定所述待配准点云的更新位姿信息;
以所述更新位姿信息的点云和另一个待配准点云作为两个待配准点云;
基于两个待配准点云中包括的对应点对集,确定初始位姿增量;
将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;
基于所述至少一个位姿增量分量值确定目标位姿增量;
确定所述目标位姿增量是否满足设定收敛条件,直到所述目标位姿增量满足设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准。
8.一种点云配准装置,其特征在于,包括:初始增量确定模块,用于基于两个待配准点云中包括的对应点对集,确定初始位姿增量;所述对应点对集包括多对对应点对;
增量分解模块,用于将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;
目标增量确定模块,用于基于所述至少一个位姿增量分量值确定目标位姿增量;所述目标增量确定模块,具体用于确定所述至少一个位姿增量分量值对应的至少一个特征值对应的特征向量;基于所述至少一个位姿增量分量值与所述至少一个特征向量,确定所述目标位姿增量;
配准模块,用于确定所述目标位姿增量是否满足设定收敛条件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准。
9.根据权利要求8所述的装置,其特征在于,所述位姿的至少一个维度包括六个自由度;
所述增量分解模块,包括:
矩阵确定单元,用于通过对所述对应点对集对应的优化问题进行求解,得到位姿增量,将所述对应点对集对应的优化问题进行转换,确定系数矩阵;其中,所述优化问题是使所述对应点对集中每对对应点对之间的距离和最小;
分量确定单元,用于基于所述系数矩阵将所述初始位姿增量分解到位姿的六个自由度上,得到所述六个自由度中至少一个自由度对应的位姿增量分量值。
10.根据权利要求9所述的装置,其特征在于,所述分量确定单元,具体用于求解所述系数矩阵的六个特征向量和每个所述特征向量对应的特征值;其中,每个所述特征向量和所述特征值对应一个自由度;基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值。
11.根据权利要求10所述的装置,其特征在于,所述分量确定单元在基于所述特征值和所述特征向量确定所述至少一个位姿增量分量值时,用于基于所述六个特征值中的最大值,确定每个所述特征值对应的稳定值;判断每个所述特征值对应的稳定值是否小于设定阈值,将小于设定阈值的所述特征值对应的自由度对应的位姿增量分量值置位零;基于所述特征向量确定不小于设定阈值的特征值对应的位姿增量分量值。
12.根据权利要求11所述的装置,其特征在于,所述分量确定单元在基于所述特征向量确定所述不小于设定阈值的特征值对应的位姿增量分量值时,用于对所述不小于设定阈值的特征值对应的特征向量和所述初始位姿增量执行点乘,以得到的乘积作为所述特征值对应的位姿增量分量值。
13.根据权利要求9‑12任一所述的装置,其特征在于,所述两个待配准点云包括第一点云和第二点云;
所述初始增量确定模块,具体用于根据所述第一点云对应的位姿信息和所述第二点云对应的位姿信息,确定所有对应点对;其中,每对所述对应点对包括一个所述第一点云中的点和一个第二点云中的点;根据所述对应点对集的优化问题和所述对应点对中每个点的坐标,确定所述初始位姿增量;其中,所述优化问题的目标是使距离和经过对第二点云操作之后为趋近于零;所述距离和基于所述对应点对集中的所有对应点对之间的距离确定。
14.根据权利要求8‑12任一所述的装置,其特征在于,所述装置还包括:调整迭代模块,用于响应于不满足所述设定收敛条件,基于所述目标位姿增量和所述一个待配准点云的位姿信息确定所述待配准点云的更新位姿信息;以所述更新位姿信息的点云和另一个待配准点云作为两个待配准点云。
15.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1‑7任一所述的点云配准方法。
16.一种电子设备,其特征在于,所述电子设备包括:处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1‑7任一所述的点云配准方法。
说明书 :
点云配准方法和装置、计算机可读存储介质、电子设备
技术领域
背景技术
(correspondence)(即点云A上的p点和点云B上的q点应该是三维空间中的同一个点),再通
过优化点云间的相对位姿,来使得同名点之间的距离减小。而后再根据优化后的位姿,重新
选取同名点,再重新优化,重复(迭代)上述过程,直到收敛为止(可以理解为每一次迭代后
位姿的变化趋近于零)。
发明内容
阈值的特征值对应的位姿增量分量值。
述距离和基于所述对应点对集中的所有对应点对之间的距离确定。
所述特征值和所述特征向量确定所述至少一个位姿增量分量值。
定值;判断每个所述特征值对应的稳定值是否小于设定阈值,将小于设定阈值的所述特征
值对应的自由度对应的位姿增量分量值置位零;基于所述特征向量确定所述不小于设定阈
值的特征值对应的位姿增量分量值。
初始位姿增量执行点乘,以得到的乘积作为所述特征值对应的位姿增量分量值。
特征向量,确定所述目标位姿增量。
中的点和一个第二点云中的点;根据所述对应点对集的优化问题和所述对应点对中每个点
的坐标,确定所述初始位姿增量;其中,所述优化问题的目标是使距离和经过对第二点云操
作之后为趋近于零;所述距离和基于所述对应点对集中的所有对应点对之间的距离确定。
息的点云和另一个待配准点云作为两个待配准点云。
包括多对对应点对;将所述初始位姿增量分解到位姿的至少一个维度,得到所述至少一个
维度分别对应的位姿增量分量值;基于所述至少一个位姿增量分量值确定目标位姿增量;
判断所述目标位姿增量是否满足设定收敛条件,响应于满足所述设定收敛条件,以所述目
标位姿增量对两个所述待配准点云进行配准;通过位姿增量分量值使得到的目标位姿增量
分量只在稳定的方向上对位姿进行调整,减小了位姿调整的误差,使本实施例提供的点云
配准方法具有鲁棒性,能适用于更多场景的点云配准。
附图说明
书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,
相同的参考标号通常代表相同部件或步骤。
具体实施方式
示例实施例的限制。
序。
另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:
个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器
的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和
包括上述任何系统的分布式云计算技术环境,等等。
标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计
算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通
信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储
设备的本地或远程计算系统存储介质上。
(point to plane error metric)。当两个点云本身不足以限定它们之间的相对位姿时(如
在一个很长的走廊的两个位置,扫描获得的两个点云:由于无法拍摄到走廊的两端,两个点
云可以在沿着走廊的方向上滑动,因为在该方向上没有限制),ICP算法常常会使得最终结
果产生很大的误差,不稳定。
获得初始位姿增量也可以采用最近点迭代算法实现,本实施例不限制确定对应点对集和确
定初始位姿增量的具体方式。
生较大误差的方向尽量减小(例如,使该方向的位姿增量为零),以减小有位姿增量产生的
误差,提高点云配准方法的鲁棒性。
(取值可根据实际情况进行设定)等;通过收敛条件实现经过有限次迭代得到配准效果较好
的目标位姿增量,并以该目标位姿增量对两个点云进行配准。
到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;基于所述至
少一个位姿增量分量值确定目标位姿增量;判断所述目标位姿增量是否满足设定收敛条
件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准;
通过位姿增量分量值使得到的目标位姿增量分量只在稳定的方向上对位姿进行调整,减小
了位姿调整的误差,使本实施例提供的点云配准方法具有鲁棒性,能适用于更多场景的点
云配准。
点对集对应的优化问题进行转换,确定系数矩阵;其中,优化问题是使对应点对集中每对对
应点对之间的距离都尽量小,可以通过以所有对应点对之间的距离和(例如,距离和为所有
点对之间距离的平方的和或所有点对之间距离的绝对值的和)作为衡量优化效果的指标,
当位姿增量值使距离和最小,即可将该位姿增量值作为初始位姿增量值,优化问题可以简
化表示为Ax=B,其中,x表示初始位姿增量值,A即为对应的系数矩阵,在对应点对的坐标和
两个点云的位姿信息都是已知的情况下,即可得到系数矩阵。
2,3,4,5,6);并且,结合特征值和特征向量确定至少一个位姿增量分量值,其中,可基于特
征值确定哪些方向具有位姿增量分量值,基于特征向量确定具有位姿增量分量值的方向上
具体的位姿增量分量值的大小。可选地,可参照图4所示实施例确定至少一个位姿增量分量
值。
特征值对应的位姿增量分量值。
误差,会影响点云之间的配准。可选地,本实施例中的稳定值可基于系数矩阵分解得到的特
征值λi确定,将6个特征值中的最大值表示为λmax,此时,将每个特征值与最大特征值的比值
作为稳定值,即,
保证在该方向上不会出现扰动,减小了位姿变化的误差;只有稳定值大于或等于设定阈值
的方向,才计算确定位姿增量分量值,因此,基于本实施例得到的至少一个位姿增量分量值
确定的目标位姿增量分量只在相对稳定的方向上对位姿进行调整,更具鲁棒性。
姿增量分量值进行乘法并相加,即可得到目标位姿增量,该过程可表示为以下公式(2):
或所有点对之间距离的绝对值的和)最小,由于存在对应点对不准确的问题(只是最近点,
而不是空间中的同一位置),在一些点对之间的距离缩小时,可能导致另一些点对之间的距
离增大,因此,本实施例以距离和的大小确定优化程度,理想状态下距离和为0,但实际情况
通常难以达到,因此,本实施例的优化问题是使距离和尽量小,以最小的距离和对应的旋转
和平移量确定初始位置增量(表示为一个6维向量,每个维度的值对应一个自由度的增量)。
步骤702。
需要在经过调整的位姿信息的基础上迭代执行步骤702到708,直到得到的目标位姿增量满
足设定的收敛条件,以该目标位姿增量对待配准点云中的任一个点云(如,第二点云)的位
姿进行调整,此时该第二点云的位姿=初始位姿(或上一次调整后的位姿)+目标位姿增量,
此时得到的第二点云的位姿与第一点云的位姿较为相似,此时,对应点对之间的距离最小
(理想情况下为0),即实现了两个点云的配准。
配准方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施
例提及的任一种点云配准方法。下文不再赘述。
到位姿的至少一个维度,得到所述至少一个维度分别对应的位姿增量分量值;基于所述至
少一个位姿增量分量值确定目标位姿增量;判断所述目标位姿增量是否满足设定收敛条
件,响应于满足所述设定收敛条件,以所述目标位姿增量对两个所述待配准点云进行配准;
通过位姿增量分量值使得到的目标位姿增量分量只在稳定的方向上对位姿进行调整,减小
了位姿调整的误差,使本实施例提供的点云配准方法具有鲁棒性,能适用于更多场景的点
云配准。
的稳定值是否小于设定阈值,将小于设定阈值的特征值对应的自由度对应的位姿增量分量
值置位零;基于特征向量确定不小于设定阈值的特征值对应的位姿增量分量值。
乘,以得到的乘积作为特征值对应的位姿增量分量值。
特征向量,确定目标位姿增量。
云中的点;根据对应点对集的优化问题和对应点对中每个点的坐标,确定初始位姿增量;其
中,优化问题的目标是使距离和经过对第二点云操作之后为趋近于零;距离和基于对应点
对集中的所有对应点对之间的距离确定。
准点云作为两个待配准点云。
设备和第二设备进行通信,以从它们接收所采集到的输入信号。
器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存
储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存
储一个或多个计算机程序指令,处理器91可以运行所述程序指令,以实现上文所述的本公
开的各个实施例的点云配准方法以及/或者其他期望的功能。在所述计算机可读存储介质
中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
置93可以是通信网络连接器,用于从第一设备100和第二设备200接收所采集的输入信号。
备等等。
可以包括任何其他适当的组件。
“示例性方法”部分中描述的根据本公开各种实施例的点云配准方法中的步骤。
Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程
序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软
件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备
或服务器上执行。
法”部分中描述的根据本公开各种实施例的点云配准方法中的步骤。
磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的
例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储
器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘
只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作
用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部
分说明即可。
的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具
有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇
“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使
用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特
别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序
包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据
本公开的方法的程序的记录介质。
的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在
此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
术人员将认识到其某些变型、修改、改变、添加和子组合。