大规模点云语义分割方法及系统转让专利

申请号 : CN202110309423.1

文献号 : CN113011430B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 朱凤华董秋雷范嗣祺叶佩军吕宜生田滨王飞跃

申请人 : 中国科学院自动化研究所

摘要 :

本发明涉及一种大规模点云语义分割方法及系统,所述语义分割方法包括:提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征;将各点云特征逐步解码,得到对应的解码特征;根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。本发明提取待识别点云的逐点特征,从大规模点云信息中提取更有效的空间特征,基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到点云特征,进一步解码,得到解码特征,根据解码特征,确定所述待识别3D点云的语义分割预测结果,以获取周围空间环境的语义信息,从而提高语义分割精度。

权利要求 :

1.一种大规模点云语义分割方法,其特征在于,所述语义分割方法包括:提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;

基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征:对各待识别点进行点云降采样处理,得到多个降采样点;

从各逐点特征中筛选出所述降采样点对应的特征,筛选出的特征为已学得特征;

针对每个降采样点,根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征;

根据所述降采样点的点云空间信息,确定对应的全局空间上下文特征;

根据所述降采样点的局部空间特征及全局空间上下文特征,确定对应的空间上下文特征,所述降采样点的空间上下文特征为点云特征;

所述根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征,具体包括:根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征;

根据已学得特征,基于共享参数的多层感知器MLP,得到特征图;

根据所述局部空间上下文特征及特征图,得到所述降采样点的局部空间特征;

所述根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征,具体包括:根据所述降采样点的点云空间信息及,确定所述降采样点的极坐标及几何距离,所述降采样点的极坐标表示所述降采样点的局部空间上下文信息;

根据极坐标、几何距离及已学得特征,基于双距离的邻域点特征自适应融合方法,得到局部空间上下文特征;

将各点云特征逐步解码,得到对应的解码特征;

根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。

2.根据权利要求1所述的大规模点云语义分割方法,其特征在于,所述根据所述降采样点的点云空间信息,确定所述降采样点的极坐标,具体包括:根据以下公式,得到降采样点的初始化极坐标

其中,利用基于欧氏距离的K近邻KNN方法得到降采样点pi的K近邻,所述K近邻包括K个近邻点 为降采样点pi的第k个近邻点 在空间直角坐标系中的相对位置坐标,i表示降采样点pi的序号,k表示近邻点 的序号,k=1,

2,...,K,K表示近邻点的数量;

根据局部空间方向,确定局部空间方向的极坐标角αi和βi;所述局部空间方向为由降采样点pi指向K近邻的邻域质心根据以下公式,更新所述降采样点的极坐标 更新后的极坐标表示具有局部旋转不变性:

3.根据权利要求1所述的大规模点云语义分割方法,其特征在于,所述根据极坐标、几何距离及已学得特征,基于双距离的邻域点特征自适应融合方法,得到局部空间上下文特征,具体包括:根据所述降采样点的极坐标及已学得特征,确定特征距离及几何特征;

根据以下公式,确定加权融合参数

其中,softmax()表示归一化指数函数,MLP()表示多层感知器函数, 表示连接特征, 表示双距离特征, 表示连接运算符; 为近邻点 的几何距离; 为近邻点的平均L1特征距离,根据已学得特征gi和gk确定;λ为调整特征距离项的权重,mean()表示求均值函数; 表示近邻点 特征,根据几何特征和已学得特征确定;

将各邻域点特征与所述加权融合参数 融合,得到局部空间上下文特征fiL:其中,·表示点积运算符,i表示降采样点pi的序号,k表示近邻点 的序号,k=1,

2,...,K,K表示近邻点的数量。

4.根据权利要求1所述的大规模点云语义分割方法,其特征在于,根据以下公式,确定降采样点pi的全局空间上下文特征fiG:其中, 为连接运算符,(xi,yi,zi)为降采样点pi在空间直角坐标系中的空间坐标,ri为体积比,vi为降采样点pi的邻域最小外接球体积,vg为待识别点云的最小外接球体积。

5.一种大规模点云语义分割系统,其特征在于,所述语义分割系统包括:提取单元,用于提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;

编码单元,用于基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征:对各待识别点进行点云降采样处理,得到多个降采样点;

从各逐点特征中筛选出所述降采样点对应的特征,筛选出的特征为已学得特征;

针对每个降采样点,根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征;

根据所述降采样点的点云空间信息,确定对应的全局空间上下文特征;

根据所述降采样点的局部空间特征及全局空间上下文特征,确定对应的空间上下文特征,所述降采样点的空间上下文特征为点云特征;

所述根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征,具体包括:根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征;

根据已学得特征,基于共享参数的多层感知器MLP,得到特征图;

根据所述局部空间上下文特征及特征图,得到所述降采样点的局部空间特征;

所述根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征,具体包括:根据所述降采样点的点云空间信息及,确定所述降采样点的极坐标及几何距离,所述降采样点的极坐标表示所述降采样点的局部空间上下文信息;

根据极坐标、几何距离及已学得特征,基于双距离的邻域点特征自适应融合方法,得到局部空间上下文特征;

解码单元,用于将各点云特征逐步解码,得到对应的解码特征;

预测单元,用于根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。

6.一种大规模点云语义分割系统,包括:

处理器;以及

被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;

基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征:对各待识别点进行点云降采样处理,得到多个降采样点;

从各逐点特征中筛选出所述降采样点对应的特征,筛选出的特征为已学得特征;

针对每个降采样点,根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征;

根据所述降采样点的点云空间信息,确定对应的全局空间上下文特征;

根据所述降采样点的局部空间特征及全局空间上下文特征,确定对应的空间上下文特征,所述降采样点的空间上下文特征为点云特征;

所述根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征,具体包括:根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征;

根据已学得特征,基于共享参数的多层感知器MLP,得到特征图;

根据所述局部空间上下文特征及特征图,得到所述降采样点的局部空间特征;

所述根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征,具体包括:根据所述降采样点的点云空间信息及,确定所述降采样点的极坐标及几何距离,所述降采样点的极坐标表示所述降采样点的局部空间上下文信息;

根据极坐标、几何距离及已学得特征,基于双距离的邻域点特征自适应融合方法,得到局部空间上下文特征;

将各点云特征逐步解码,得到对应的解码特征;

根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。

7.一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;

基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征:对各待识别点进行点云降采样处理,得到多个降采样点;

从各逐点特征中筛选出所述降采样点对应的特征,筛选出的特征为已学得特征;

针对每个降采样点,根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征;

根据所述降采样点的点云空间信息,确定对应的全局空间上下文特征;

根据所述降采样点的局部空间特征及全局空间上下文特征,确定对应的空间上下文特征,所述降采样点的空间上下文特征为点云特征;

所述根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征,具体包括:根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征;

根据已学得特征,基于共享参数的多层感知器MLP,得到特征图;

根据所述局部空间上下文特征及特征图,得到所述降采样点的局部空间特征;

所述根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征,具体包括:根据所述降采样点的点云空间信息及,确定所述降采样点的极坐标及几何距离,所述降采样点的极坐标表示所述降采样点的局部空间上下文信息;

根据极坐标、几何距离及已学得特征,基于双距离的邻域点特征自适应融合方法,得到局部空间上下文特征;

将各点云特征逐步解码,得到对应的解码特征;

根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。

说明书 :

大规模点云语义分割方法及系统

技术领域

[0001] 本发明涉及计算机视觉技术领域,特别涉及一种基于空间上下文特征学习的大规模点云语义分割方法及系统。

背景技术

[0002] 在移动机器人周围环境感知系统中,周围环境的语义分割是重要的组成部分,为移动机器人的决策控制系统提供对其所处环境的语义理解信息。相比于2D图像传感器,3D传感器(如激光雷达)可以提供更丰富的空间几何结构信息,更有助于移动机器人理解其所处的三维空间。因而随着3D传感器的快速发展,3D点云的语义分割近年来倍受学术界和工业界关注,信息量大但可以详实地描述空间环境的大规模点云的语义分割更是倍受研究者关注的计算机视觉问题。
[0003] 由于3D点云信息的无结构与无序性,点云的语义分割是一个很有挑战性的任务,尤其是对于大规模点云的语义分割。近年来,大量基于深度神经网络(Deep Neural Network,DNN)的方法被用于点云的语义分割。现有的点云语义分割方法主要可以分为三类:基于空间投影的方法、基于空间离散化的方法和基于点处理的方法。基于空间投影的方法首先将3D点云投影至2D平面,然后利用2D语义分割方法实现分割,最后将2D分割结果反投影至3D空间。这类方法在投影过程中不可避免地存在信息丢失,而关键性细节信息的丢失不利于感知系统对环境的准确理解。基于空间离散化的方法首先将3D点云离散化为体素形式,进而基于体素进行后续的语义分割。这类方法存在离散化误差,最终的语义分割精度以及对环境的理解准确度受离散化程度的影响。同时,以上两类方法均需要额外的复杂点云空间处理步骤,如投影和离散化,其较高的计算复杂度使其无法处理大规模点云。因此,如何从大规模点云中提取更有效的特征是阻碍其在保证效率的前提下提升分割精度的关键问题。

发明内容

[0004] 为了解决现有技术中的上述问题,即为了提高语义分割精度,本发明的目的在于提供一种大规模点云语义分割方法及系统。
[0005] 为解决上述技术问题,本发明提供了如下方案:
[0006] 一种大规模点云语义分割方法,所述语义分割方法包括:
[0007] 提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;
[0008] 基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征;
[0009] 将各点云特征逐步解码,得到对应的解码特征;
[0010] 根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。
[0011] 可选地,所述基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征,具体包括:
[0012] 对各待识别点进行点云降采样处理,得到多个降采样点;
[0013] 从各逐点特征中筛选出所述降采样点对应的特征,筛选出的特征为已学得特征;
[0014] 针对每个降采样点,根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征;
[0015] 根据所述降采样点的点云空间信息,确定对应的全局空间上下文特征;
[0016] 根据所述降采样点的局部空间特征及全局空间上下文特征,确定对应的空间上下文特征,所述降采样点的空间上下文特征为点云特征。
[0017] 可选地,所述根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征,具体包括:
[0018] 根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征;
[0019] 根据已学得特征,基于共享参数的多层感知器MLP,得到特征图;
[0020] 根据所述局部空间上下文特征及特征图,得到所述降采样点的局部空间特征。
[0021] 可选地,所述根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征,具体包括:
[0022] 根据所述降采样点的点云空间信息,确定所述降采样点的极坐标及几何距离,所述降采样点的极坐标表示所述降采样点的局部空间上下文信息;
[0023] 根据极坐标、几何距离及已学得特征,基于双距离的邻域点特征自适应融合方法,得到局部空间上下文特征。
[0024] 可选地,所述根据所述降采样点的点云空间信息,确定所述降采样点的极坐标,具体包括:
[0025] 根据以下公式,得到降采样点的初始化极坐标
[0026]
[0027]
[0028]
[0029] 其中,利用基于欧氏距离的K近邻KNN方法得到降采样点pi的K近邻,所述K近邻包括K个近邻点 为降采样点pi的第k个近邻点 在空间直角坐标系中的相对位置坐标,i表示降采样点pi的序号,k表示近邻点 的序号,k=
1,2,…,K,K表示近邻点的数量;
[0030] 根据局部空间方向,确定局部空间方向的极坐标角αi和βi;所述局部空间方向为由降采样点pi指向K近邻的邻域质心
[0031] 根据以下公式,更新所述降采样点的极坐标 更新后的极坐标表示具有局部旋转不变性:
[0032]
[0033]
[0034] 可选地,所述根据极坐标、几何距离及已学得特征,基于双距离的邻域点特征自适应融合方法,得到局部空间上下文特征,具体包括:
[0035] 根据所述降采样点的极坐标及已学得特征,确定特征距离及几何特征;
[0036] 根据以下公式,确定加权融合参数
[0037]
[0038]
[0039]
[0040]
[0041] 其中,softmax()表示归一化指数函数,MLP()表示多层感知器函数, 表示连接特征, 表示双距离特征, 表示连接运算符; 为近邻点 的几何距离; 为近邻点 的平均L1特征距离,根据已学得特征gi与已学得特征gk确定;λ为调整特征距离项的权重,mean()表示求均值函数; 表示近邻点 特征,根据几何特征和已学得特征确定;
[0042] 将各邻域点特征与所述加权融合参数 融合,得到局部空间上下文特征fiL:
[0043]
[0044] 其中,·表示点积运算符,i表示降采样点pi的序号,k表示近邻点 的序号,k=1,2,…,K,K表示近邻点的数量。
[0045] 可选地,根据以下公式,确定降采样点pi的全局空间上下文特征fiG:
[0046]
[0047]
[0048] 其中, 为连接运算符,(xi,yi,zi)为降采样点pi在空间直角坐标系中的空间坐标,ri为体积比,vi为降采样点pi的邻域最小外接球体积,vg为待识别点云的最小外接球体积。
[0049] 为解决上述技术问题,本发明还提供了如下方案:
[0050] 一种大规模点云语义分割系统,所述语义分割系统包括:
[0051] 提取单元,用于提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;
[0052] 编码单元,用于基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征;
[0053] 解码单元,用于将各点云特征逐步解码,得到对应的解码特征;
[0054] 预测单元,用于根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。
[0055] 为解决上述技术问题,本发明还提供了如下方案:
[0056] 一种大规模点云语义分割系统,包括:
[0057] 处理器;以及
[0058] 被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
[0059] 提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;
[0060] 基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征;
[0061] 将各点云特征逐步解码,得到对应的解码特征;
[0062] 根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。
[0063] 为解决上述技术问题,本发明还提供了如下方案:
[0064] 一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
[0065] 提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;
[0066] 基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征;
[0067] 将各点云特征逐步解码,得到对应的解码特征;
[0068] 根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。
[0069] 根据本发明的实施例,本发明公开了以下技术效果:
[0070] 本发明提取待识别点云的逐点特征,从大规模点云信息中提取更有效的空间特征,基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到点云特征,进一步解码,得到解码特征,根据解码特征,确定所述待识别3D点云的语义分割预测结果,以获取周围空间环境的语义信息,从而提高语义分割精度。

附图说明

[0071] 图1是本发明大规模点云语义分割方法的流程图;
[0072] 图2是本发明中局部空间上下文表示的极坐标确定的流程图;
[0073] 图3是本发明中局部空间上下文表示的极坐标中角度更新过程图;
[0074] 图4是本发明中基于双距离的邻域点特征自适应融合方法的流程图;
[0075] 图5是本发明中基于双距离的邻域点特征自适应融合方法的具体流程图;
[0076] 图6是点云分布图;
[0077] 图7是本发明中空间上下文特征确定的流程图;
[0078] 图8是本发明大规模点云语义分割系统的模块结构示意图。
[0079] 符号说明:
[0080] 提取单元—1,编码单元—2,解码单元—3,预测单元—4。

具体实施方式

[0081] 下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
[0082] 本发明的目的是提供一种大规模点云语义分割方法,提取待识别点云的逐点特征,从大规模点云信息中提取更有效的空间特征,基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到点云特征,进一步解码,得到解码特征,根据解码特征,确定所述待识别3D点云的语义分割预测结果,以获取周围空间环境的语义信息,从而提高语义分割精度。
[0083] 为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0084] 如图1所示,本发明大规模点云语义分割方法包括:
[0085] 步骤100:提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成。
[0086] 根据点云数据,通过一个全连接层,提取各待识别点的逐点特征。
[0087] 其中,点云数据为N×d的点云信息,其中N为点云所包含的点的数量,d为输入点云信息维度。在一些优选实施方式中,所述点云信息维度d=6,包括三个维度的位置信息和三个维度的颜色信息。
[0088] 步骤200:基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征。
[0089] 步骤300:将各点云特征逐步解码,得到对应的解码特征。
[0090] 步骤400:根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。
[0091] 在步骤200中,分别通过四个编码特征层,逐步编码,得到对应的点云特征。
[0092] 具体地,所述基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征,包括:
[0093] 步骤210:对各待识别点进行点云降采样处理,得到多个降采样点。
[0094] 优选地,采用点云随机降采样算法进行降采样处理。
[0095] 步骤220:从各逐点特征中筛选出所述降采样点对应的特征,筛选出的特征为已学得特征。
[0096] 步骤230:针对每个降采样点,根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征。
[0097] 步骤240:根据所述降采样点的点云空间信息,确定对应的全局空间上下文特征。
[0098] 步骤250:根据所述降采样点的局部空间特征及全局空间上下文特征,确定对应的空间上下文特征,所述降采样点的空间上下文特征为点云特征。
[0099] 如图7所示,在步骤230中,所述根据所述降采样点的点云空间信息及对应的已学得特征,确定对应的局部空间特征,具体包括:
[0100] 步骤231:根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征。
[0101] 步骤232:根据已学得特征,基于共享参数的多层感知器MLP,得到特征图。
[0102] 步骤233:根据所述局部空间上下文特征及特征图,得到所述降采样点的局部空间特征。
[0103] 在步骤231,所述根据所述降采样点的点云空间信息及对应的已学得特征,进行局部空间上下文特征学习,得到局部空间上下文特征,具体包括:
[0104] 步骤2311:根据所述降采样点的点云空间信息,确定所述降采样点的极坐标表示(Local Polar Representation,LPR)及几何距离,所述降采样点的极坐标表示用于表征所述降采样点的局部空间上下文信息。
[0105] 其中,根据所述降采样点的点云空间信息,确定所述降采样点的极坐标,具体包括(如图2和图3所示):
[0106] 步骤A1:根据以下公式,得到降采样点的初始化极坐标
[0107]
[0108]
[0109]
[0110] 其中,利用基于欧氏距离(Euclidean Distance)的K近邻(KNearest Neighbors,KNN)方法得到降采样点pi的K近邻,所述K近邻包括K个近邻点为降采样点pi的第k个近邻点 在空间直角坐标系中的相对位置坐标,i表示降采样点pi的序号,k表示近邻点 的序号,k=1,2,…,K,K表示近邻点的数量。在本实施中,K取值为16。
[0111] 步骤A2:根据局部空间方向,确定局部空间方向的极坐标角αi和βi;所述局部空间方向为由降采样点pi指向K近邻的邻域质心
[0112] 通过降采样点pi指向K近邻的邻域质心 确定局部空间方向,具有两个主要优点:(1)质心可以有效反映局部领域的概况;(2)质心计算过程中的均值操作可以有效削弱随机降采样引入的随机因素。
[0113] 步骤A3:根据以下公式,更新所述降采样点的极坐标 更新后的极坐标表示具有局部旋转不变性(如图3中(a)‑(c)所示):
[0114]
[0115]
[0116] 所述极坐标用于表征一种具有局部旋转不变性的空间上下文信息。在大多数实际场景中,属于同一语义类别的物体通常具有不同的姿态朝向,如会议室中朝向各异的座椅,进而导致直接基于点学习得到的特征是朝向敏感的,而此种朝向敏感的情况会进一步在一定情况上影响点云语义分割的效果。本发明选择在空间极坐标系下表示点的局部空间上下文信息。相比空间直角坐标系,极坐标系中仅角度是朝向敏感的。在本发明中,更新后的和 是相对于局部空间方向的角度,这使得其值在姿态朝向发生变化时能保持不变,因而至此得到的局部空间上下文表示是具有局部旋转不变性的。
[0117] 步骤2312:根据极坐标、几何距离及已学得特征,基于双距离的邻域点特征自适应融合方法,得到局部空间上下文特征。
[0118] 所述基于双距离的邻域点特征自适应融合(Dual‑Distance Attentive Pooling,DDAP)方法用于利用邻域点特征自适应地学习局部空间上下文特征。其中,距离是衡量点与点之间相关性的重要指标,两者之间的相关度随着距离的减小而提高。其中,双距离为物理空间的几何距离和特征空间的特征距离。
[0119] 如图4和图5所示,步骤2312具体包括:
[0120] 步骤B1:根据所述降采样点的极坐标及已学得特征,确定特征距离及几何特征。
[0121] 其中,几何特征由降采样点的极坐标和绝对坐标连接后,经过共享参数的MLP(Multi‑Layer Perceptron,多层感知器)处理得到。
[0122] 步骤B2:根据以下公式,确定加权融合参数 (本发明使用共享参数的MLP和Softmax自适应地学习邻域点特征的加权融合参数 ):
[0123]
[0124]
[0125]
[0126]
[0127] 其中,softmax()表示归一化指数函数,MLP()表示多层感知器函数, 表示连接特征, 表示双距离特征, 表示连接运算符; 为近邻点 的几何距离; 为近邻点 的平均L1特征距离,根据已学得特征gi和gk确定;λ为调整特征距离项的权重,mean()表示求均值函数; 表示近邻点 特征,根据几何特征和已学得特征确定。在本实施例中,λ取值为0.1。
[0128] 步骤B3:将各邻域点特征与所述加权融合参数 融合,得到局部空间上下文特征fiL:
[0129]
[0130] 其中,·表示点积运算符,i表示降采样点pi的序号,k表示近邻点 的序号,k=1,2,…,K,K表示近邻点的数量。
[0131] 如图6所示,在步骤240中,根据以下公式,确定降采样点pi的全局空间上下文特征fiG:
[0132]
[0133]
[0134] 其中, 为连接运算符,(xi,yi,zi)为降采样点pi在空间直角坐标系中的空间坐标,ri为体积比,vi为降采样点pi的邻域最小外接球体积,vg为待识别点云的最小外接球体积。
[0135] 其中,局部空间上下文特征可以有效描述邻域内点之间的上下文信息,为了获得更具有判别性的空间上下文特征,本发明进行所述全局空间上下文特征学习(Global Contextual Feature,GCF),用于学习点的全局空间上下文特征。
[0136] 进一步地,在所述空间上下文特征学习中,通过连续两次进行局部空间上下文特征学习以扩大局部空间上下文感受域,将所得的局部空间上下文特征与直接利用MLP基于点特征学习到的特征图相加得到局部特征,进而将局部特征与全局空间上下文特征连接得到最终的空间上下文特征(如图7所示)。
[0137] 进一步地,在步骤300中,分别通过四个解码特征层,逐步解码,得到对应的解码特征。
[0138] 具体地,步骤300包括:
[0139] 步骤310:对各点云特征对应的降采样点进行上采样,得到多个上采样点及对应的点云特征。
[0140] 在本实施例中,采用最近邻插值算法进行上采样处理。
[0141] 步骤320:基于共享参数的MLP,根据各对上采样点及点云特征,确定对应的解码特征。
[0142] 在步骤400中,通过三个全连接层及语义分割网络模型,根据解码特征,确定待识别3D点云的语义分割预测结果。
[0143] 本发明大规模点云语义分割系统首先对语义分割网络进行训练,训练采用交叉熵损失函数训练,利用Adam优化器迭代优化学习网络参数。本实施例中,初始学习率设置为‑210 ,且每次迭代后学习率减小为原来的95%。然后,利用训练得到的模型对大规模点云进行语义分割。
[0144] 本发明经过用于提取逐点特征的全连接层,特征维度由d变为8。经过四个特征编码层,参与运算的信息尺度从初始的N×d变为 经过四个特征解码层和三个全连接层,信息尺度变为N×c,其中c为语义分割的类别数,即得到N×c的语义分割预测信息。
[0145] 此外,本发明还提供一种大规模点云语义分割系统,可提高语义分割精度。
[0146] 如图8所示,本发明提高语义分割精度包括提取单元1、编码单元2、解码单元3及预测单元4。
[0147] 具体地:所述提取单元1用于提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;
[0148] 所述编码单元2用于基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征;
[0149] 所述解码单元3用于将各点云特征逐步解码,得到对应的解码特征;
[0150] 所述预测单元4用于根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。
[0151] 此外,本发明还提供了如下方案:
[0152] 一种大规模点云语义分割系统,包括:
[0153] 处理器;以及
[0154] 被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
[0155] 提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;
[0156] 基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征;
[0157] 将各点云特征逐步解码,得到对应的解码特征;
[0158] 根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。
[0159] 进一步地,本发明还提供了如下方案:
[0160] 一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
[0161] 提取待识别点云的逐点特征,所述待识别点云由多个待识别点构成;
[0162] 基于各待识别点的点云空间信息,将各逐点特征逐步编码,得到对应的点云特征;
[0163] 将各点云特征逐步解码,得到对应的解码特征;
[0164] 根据各解码特征,基于语义分割网络模型,确定所述待识别3D点云的语义分割预测结果。
[0165] 相对于现有技术,本发明大规模点云语义分割系统、计算机可读存储介质与上述大规模点云语义分割方法的有益效果相同,在此不再赘述。
[0166] 至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。