一种室内三维点云语义分类方法、装置、介质及终端

摘要

本发明公开了一种室内三维点云语义分类方法、装置、介质及终端，方法包括，通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云；本发明采用上述方法后能够获得带语义信息且高精度的语义分类点云，可直接应用于深层次的室内空间应用中。

权利要求

1.一种室内三维点云语义分类方法，其特征在于，所述方法包括：通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；

对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；

基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云；

其中，所述对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云包括：对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集；

将原始点云中所述精确的建筑主体平面点云集进行剔除，得到室内部件点云，对所述室内部件点云进行粗分隔，得到室内部件聚类点云；

基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云。

2.根据权利要求1所述的一种室内三维点云语义分类方法，其特征在于，所述通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云包括：将用于训练的点云集分割成若干个子点云集，对所述子点云集添加相应的部件标签，得到部件子点云集，将若干个部件子点云集作为训练数据集；

通过训练数据集对RandLA‑Net神经网络进行训练，得到所述预测模型；

将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云。

3.根据权利要求2所述的一种室内三维点云语义分类方法，其特征在于，所述将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云包括：将所述原始点云输入到所述预测模型中，对原始点云进行随机降采样，得到降采点集；

对所述降采点集进行局部特征聚合，得到所述含有语义信息的深度学习分类点云。

4.根据权利要求3所述的一种室内三维点云语义分类方法，其特征在于，所述对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集包括：寻找原始点云中的最大值坐标和最小值坐标，基于所述最大值坐标和最小值坐标形成矩形包围盒的边界，计算矩形包围盒六个面的平面模型；

创建点云空集，对原始点云中的每个点依次进行点到矩形包围盒六个面的距离计算，得到点面距离，将小于阈值的点面距离对应的点添加到点云空集中，得到点云集；

对所述点云集进行RANSAC平面分割，得到精确的建筑主体平面点云集。

5.根据权利要求4所述的一种室内三维点云语义分类方法，其特征在于，所述基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云包括：在建筑主体平面点云集和室内部件聚类点云中选取若干个种子点，查询每个种子点的近邻点，将颜色相近的近邻点合并形成簇；

基于平均颜色差异性将两个簇合并在一起，形成集群；

验证每个所述集群中的点云总数，若集群中的点云总数小于阈值，则将集群与相邻集群进行合并，得到分割结果点云。

6.根据权利要求5所述的一种室内三维点云语义分类方法，其特征在于，所述基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云包括：将所述分割结果点云中每个点作为查询点，将深度学习分类点云中的每个点作为搜索点，计算搜索点到查询点的距离，基于所述距离获得搜索点中距离查询点最近的点的语义标签；

基于所述语义标签获取对应的语义标签集合；

基于语义标签集合统计分割结果点云中每个聚类的语义标签统计直方图，计算各聚类中语义标签的占比；

将各聚类中语义标签的占比值小于占比阈值的标签重新分类为占比最大的标签类别，得到含有语义信息的精细化语义分类点云。

7.一种室内三维点云语义分类装置，其特征在于，包括：

分类模块，用于通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；

分割模块，用于对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；

融合模块，用于基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云；

其中，所述对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云包括：对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集；

将原始点云中所述精确的建筑主体平面点云集进行剔除，得到室内部件点云，对所述室内部件点云进行粗分隔，得到室内部件聚类点云；

基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1‑6任意一项所述的室内三维点云语义分类方法中的步骤。

9.一种终端设备，其特征在于，包括：处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1‑6任意一项所述的室内三维点云语义分类方法中的步骤。

说明书

一种室内三维点云语义分类方法、装置、介质及终端

技术领域

[0001] 本发明涉及三维点云分类领域，尤其涉及一种室内三维点云语义分类方法、装置、介质及终端。

背景技术

[0002] 随着激光扫描、深度传感器的快速发展，室内高精度三维点云数据的获取越来越便捷，逐渐成为支撑各类面向室内空间应用的关键，例如室内导航、室内机器人和增强现实等。原始点云数据是定义在三维度量空间中的点集，不具备语义信息，无法直接应用于深层次的室内空间应用中，如需要应用于深层次的室内空间应用中需要对原始点云数据进行语义分类。

[0003] 进行语义分类时通常需要对三维原始点云进行分割，传统的三维原始点云分割通常基于点云的几何特征来进行，且传统的点云分割方法能够在特定的场景中实现物体的精确分割，但需要大量参数且泛化能力弱，同时缺少语义信息。

[0004] 而随着卷积神经网络在二维图像上取得的巨大进步，越来越多的人开始利用神经网络对三维点云数据进行语义分割，采用卷积神经网络对三维原始点云进行语义分割通常需要将三维空间的点云压缩到二维空间，从而造成了三维空间信息的损失，虽然采用卷积神经网络对三维原始点云进行语义分割可以得到带有语义信息的分割结果，但是无法取得高精度的语义分割结果。

发明内容

[0005] 鉴于上述现有技术的不足，本申请的目的在于提供一种室内三维点云语义分类方法、装置、介质及终端，旨在解决如何获得带语义信息且高精度的语义分类点云的问题。

[0006] 为解决上述技术问题，本申请实施例第一方面提供了一种室内三维点云语义分类方法，所述方法包括：

[0007] 通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；

[0008] 对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；

[0009] 基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云。

[0010] 作为进一步的技术方案，所述通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云包括：

[0011] 将用于训练的点云集分割成若干个子点云集，对所述子点云集添加相应的部件标签，得到部件子点云集，将若干个部件子点云集作为训练数据集；

[0012] 通过训练数据集对RandLA‑Net神经网络进行训练，得到所述预测模型；

[0013] 将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云。

[0014] 作为进一步的技术方案，所述将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云包括：

[0015] 将所述原始点云输入到所述预测模型中，对原始点云进行随机降采样，得到降采点集；

[0016] 对所述降采点集进行局部特征聚合，得到所述含有语义信息的深度学习分类点云。

[0017] 作为进一步的技术方案，所述对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云包括：

[0018] 对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集；

[0019] 将原始点云中所述精确的建筑主体平面点云集进行剔除，得到室内部件点云，对所述室内部件点云进行粗分隔，得到室内部件聚类点云；

[0020] 基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云。

[0021] 作为进一步的技术方案，所述对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集包括：

[0022] 寻找原始点云中的最大值坐标和最小值坐标，基于所述最大值坐标和最小值坐标形成矩形包围盒的边界，计算矩形包围盒六个面的平面模型；

[0023] 创建点云空集，对原始点云中的每个点依次进行点到矩形包围盒六个面的距离计算，得到点面距离，将小于阈值的点面距离对应的点添加到点云空集中，得到点云集；

[0024] 对所述点云集进行RANSAC平面分割，得到精确的建筑主体平面点云集。

[0025] 作为进一步的技术方案，所述基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云包括：

[0026] 在建筑主体平面点云集和室内部件聚类点云中选取若干个种子点，查询每个种子点的近邻点，将颜色相近的近邻点合并形成簇；

[0027] 基于平均颜色差异性将两个簇合并在一起，形成集群；

[0028] 验证每个所述集群中的点云总数，若集群中的点云总数小于阈值，则将集群与相邻集群进行合并，得到分割结果点云。

[0029] 作为进一步的技术方案，所述基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云包括：

[0030] 将所述分割结果点云中每个点作为查询点，将深度学习分类点云中的每个点作为搜索点，计算搜索点到查询点的距离，基于所述距离获得搜索点中距离查询点最近的点的语义标签；

[0031] 基于所述语义标签获取对应的语义标签集合；

[0032] 基于语义标签集合统计分割结果点云中每个聚类的语义标签统计直方图，计算各聚类中语义标签的占比；

[0033] 将各聚类中语义标签的占比值小于占比阈值的标签重新分类为占比最大的标签类别，得到含有语义信息的精细化语义分类点云。

[0034] 本申请实施例第二方面提供了一种室内三维点云语义分类装置，包括：

[0035] 分类模块，用于通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；

[0036] 分割模块，用于对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；

[0037] 融合模块，用于基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云。

[0038] 本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的室内三维点云语义分类方法中的步骤。

[0039] 本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；

[0040] 所述通信总线实现处理器和存储器之间的连接通信；

[0041] 所述处理器执行所述计算机可读程序时实现如上任一所述的室内三维点云语义分类方法中的步骤。

[0042] 有益效果：相较于现有技术本发明的室内三维点云语义分类方法包括，通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云；本发明采用上述方法后能够获得带语义信息且高精度的语义分类点云，可直接应用于深层次的室内空间应用中。

附图说明

[0043] 图1是本发明的室内三维点云语义分类方法的流程图。

[0044] 图2是本发明提供的终端设备的结构原理图。

[0045] 图3是本发明提供的装置结构框图。

[0046] 图4是本发明提供的三维点云语义分类方法的流程框图。

[0047] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

[0048] 为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。

[0049] 除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。

[0050] 发明人经过研究发现，现有技术存在以下问题：

[0051] （1）基于几何特征的分割方法可以快速有效的获取平面结构，通过聚类算法可以准确的将不同类型要素分割开，然而这类方法依靠几何信息仅能进行简单的语义分类，例如墙面，地板，天花板等，难以对结构复杂的桌椅等要素进行识别。而基于深度学习的分割方法，依赖大样本数据进行训练，可以实现场景的不同类型要素的语义分割，但受限于样本数量和质量，其分类主要以局部特征作为依据，导致其语义分类模型泛化能力较弱。

[0052] 如图1所示，本申请实施例提供的一种室内三维点云语义分类方法，包括以下步骤：

[0053] S1，通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；

[0054] 具体的，采用RandLA‑Net神经网络实现点云的初步分割，RandLA‑Net神经网络采用随机降采样来高效处理大规模点云数据，同时采用局部特征聚合来降低随机降采样造成的点云几何特征丢失问题，首先利用训练数据集去训练RandLA‑Net神经网络，得到预测模型，之后利用得到预测模型对原始点云进行语义分类，初步获得含有语义信息的深度学习分类点云。

[0055] 其中，所述通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云包括以下步骤：

[0056] S101，将用于训练的点云集分割成若干个子点云集，对所述子点云集添加相应的部件标签，得到部件子点云集，将若干个部件子点云集作为训练数据集；

[0057] S102，通过训练数据集对RandLA‑Net神经网络进行训练，得到所述预测模型；

[0058] S103，将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云。

[0059] 具体的分类结果包括13种类别，分别为天花板、地板、墙面、梁，柱、窗户、门、椅子、沙发、书柜、板状物，杂物。

[0060] 用于训练的点云集可以通过扫描建筑得到，也可以利用现有的室内建筑点云集，将点云集根据上述类别手动分割成若干个子点云集，对子点云集添加相应的部件标签，部件标签如沙发、书柜等，得到部件子点云集，将若干个部件子点云集作为训练数据集，通过训练数据集对RandLA‑Net神经网络进行训练，使RandLA‑Net神经网络能够自动准确将原始点云进行分割，最终得到所述预测模型。

[0061] 其中，所述将所述原始点云输入到所述预测模型中进行语义分类，得到含有语义信息的深度学习分类点云包括以下步骤：

[0062] 将所述原始点云输入到所述预测模型中，对原始点云进行随机降采样，得到降采点集；

[0063] 对所述降采点集进行局部特征聚合，得到所述含有语义信息的深度学习分类点云。

[0064] 具体的，随机降采样的步骤为，从原始点云中均匀选取k个点进行随机抽样，得到降采样后的降采点集P，其中随机降采样方法计算效率与输入原始点云的点的个数无关，只与设置的选取点数K有关；

[0065] 局部特征聚合由局部空间编码、注意力机制池化和扩张残差块三部分组成，首先利用基于欧式距离的近邻算法（KNN）对降采点集P进行特征聚合，对于中心点的K个近邻点进行相对位置编码，中心点为在点云中随机挑选一点作为中心点，搜索距离中心点最近的K个点作为中心点的近邻点，K为预先设置的K可以为10或8等，相对位置编码计算公式如下：

[0066]

[0067] 公式中， 和 为点的空间位置, 为级联运算, 为中心点与近邻点的欧氏距离， 为编码后的相对位置；

[0068] 其次，对每个近邻点 ，将编码后的相对位置 与对应特征连接，使得每个点涵盖周围K个近邻点的特征，造成数据冗余。之后采用注意力机制来自动学习重要的局部特征，使得在进行池化的过程中将重要特征信息尽可能的保留下来，最后采用残差模块来增加每个点的接受域以便在池化过程中保留更多的点云细节。

[0069] S2，对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；

[0070] 考虑到室内各部件的形状与几何特征差异较大，结构复杂的情况，按照几何特征相似性定义了建筑主体平面和室内部件两类部件类别，其中建筑主体结构包括地板、天花板、墙面以及窗户、黑板等墙面附着物。室内部件为去除建筑主体平面的其他物体如桌子、椅子、杂物等，首先利用平面提取方法对建筑主体平面进行分级提取，先进行平面粗提取再进行平面精细提取，获得精确的建筑主体平面点云集，然后为使室内部件点云聚类不受建筑主体平面的干扰，需要将原始点云中所述精确的建筑主体平面点云集进行剔除，得到室内部件点云，对所述室内部件点云进行粗分隔，得到室内部件聚类点云，最后在分割出来的精确的建筑主体平面点云集和室内部件聚类点云的基础上，利用基于颜色的区域增长的方法对点云进行再分割，获取最终的分割结果点云。

[0071] 其中，所述对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云包括以下步骤：

[0072] S201，对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集；

[0073] S202，将原始点云中所述精确的建筑主体平面点云集进行剔除，得到室内部件点云，对所述室内部件点云进行粗分隔，得到室内部件聚类点云；

[0074] S203，基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云。

[0075] 其中，所述对所述原始点云依次进行平面粗提取和平面精细提取，得到精确的建筑主体平面点云集包括以下步骤：

[0076] 寻找原始点云中的最大值坐标和最小值坐标，基于所述最大值坐标和最小值坐标形成矩形包围盒的边界，计算矩形包围盒六个面的平面模型；

[0077] 创建点云空集，对原始点云中的每个点依次进行点到矩形包围盒六个面的距离计算，得到点面距离，将小于阈值的点面距离对应的点添加到点云空集中，得到点云集；

[0078] 对所述点云集进行RANSAC平面分割，得到精确的建筑主体平面点云集。

[0079] 具体的，平面粗提取：寻找原始点云中最小值坐标 和最大值坐标 ，根据原始点云特点可知建筑主体平面靠近 和 形成的矩形包围盒的边界，因此，计算矩形包围盒六个平面的平面模型，创建六个点云空集 ，设置距离阈值T，遍历原始点云数据P，对原始点云中每一个点云 依次对矩形包围盒的六个平面的位置进行判断，当 与包围盒平面的距离d小于阈值T时，将 添加到包围盒平面对应的点云空集中，从而得到六个点云集 ，进而完成室内点云建筑主体平面的粗提取；

[0080] 平面精细提取：根据粗提取得到的六个点云集 ，对每个点云集分别进行RANSAC平面分割进而得到各部分的精细平面，具体为从每个粗平面点云集合中随机抽取 三点来拟合平面模型 。计算 中剩余点s到平面模型 的距离 ， 小于距离阈值 的点数作为 分数，迭代Z次，选取得分最高的平面，这些点作为RANSAC分割得到的平面，从而完成六个建筑主体平面集的提取，得到精确的建筑主体平面点云集{S1,S2,S3,S4,S5,S6}。

[0081] 在经过多级平面提取之后，能够获取精确的建筑主体平面点云集，为使室内部件点云聚类不受建筑主体平面的干扰，首先从原始点云中将精确的建筑主体平面点云集{S1,S 2 ,S 3 ,S 4 ,S 5 ,S 6} 剔除 ，具 体 为 利 用K N N 近 邻查 询 ，以 每 个 点为搜索中心，采用欧式距离为度量单位，在原始点云中搜索距离u最近的点，之后利用该点的索引值，在原始点云中将该点云剔除,从而获得室内部件点云 ，距离判断为：

[0082]

[0083] 公式中 ，其中D(u,v)为u,v两点的欧式距离， 为u的x,y,z坐标， 为v的x,y,z坐标。

[0084] 经过建筑主体平面剔除之后，能够保留室内部件点云，之后利用基于欧几里得距离的聚类分割算法进行室内部件点云的粗分割，将每个部件提取成不同的聚类，得到室内部件聚类点云；

[0085] 基于欧几里得距离的聚类分割算法具体流程如下：

[0086] 步骤一：在室内部件点云中任意找到某点a，以该点a作为搜索中心并且设置欧几里得距离阈值 。

[0087] 步骤二：利用K近邻查询算法找到离点a最邻近n个点。

[0088] 步骤三：遍历每个邻近点，将邻近点与点a之间距离小于欧几里得距离阈值 的点保存到聚类Q中。

[0089] 步骤四：对聚类Q中除点a外再另选取一点，重复上述步骤一、步骤二、步骤三直到聚类Q中点的数量不再增加，便完成了本次聚类过程，表示该类已经形成。

[0090] 步骤五：选取未聚类的点进行下一次聚类，直到所有点都经过聚类处理。

[0091] 所述基于颜色的区域增长的方法对所述室内部件聚类点云和所述精确的建筑主体平面点云集进行再分割，得到分割结果点云包括以下步骤：

[0092] 在建筑主体平面点云集和室内部件聚类点云中选取若干个种子点，查询每个种子点的近邻点，将颜色相近的近邻点合并形成簇；

[0093] 基于平均颜色差异性将两个簇合并在一起，形成集群；

[0094] 验证每个所述集群中的点云总数，若集群中的点云总数小于阈值，则将集群与相邻集群进行合并，得到分割结果点云。

[0095] 具体的，对于复杂的室内场景，颜色作为重要的特征对点云的分割具有重要作用，因此，需要在建筑主体平面点云集和室内部件聚类点云的基础上，利用基于颜色的区域增长的方法对点云进行再分割，获取最终的分割结果点云。

[0096] 颜色的区域增长的方法流程如下：

[0097] 在建筑主体平面点云集或室内部件聚类点云中随机选取一点作为种子点n；

[0098] 对每个种子点n查询近邻点；

[0099] 合并颜色相近的近邻点形成簇A，重新选在建筑主体平面点云集和室内部件聚类点云中取除簇A外任意一点，重复上述操作直到所有点都包含在点云簇中。

[0100] 合并颜色相近的簇，将平均颜色差异性较小的两个相邻簇合并在一起，形成集群。

[0101] 验证每个所述集群中的点云总数，若集群中的点云总数小于阈值K，则将当前集群与最近的相邻集群合并，直到集群中点云总数大于等于阈值K后停止合并，最终得到符合标准的集群，符合标准的集群为集群中的点云总数大于等于阈值K的集群，完成再分割，将符合标准的集群作为分割结果点云。

[0102] S3，基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云。

[0103] 所述基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云包括以下步骤：

[0104] S301，将所述分割结果点云中每个点作为查询点，将深度学习分类点云中的每个点作为搜索点，计算搜索点到查询点的距离，基于所述距离获得搜索点中距离查询点最近的点的语义标签；

[0105] S302，基于所述语义标签获取对应的语义标签集合；

[0106] S303，基于语义标签集合统计分割结果点云中每个聚类的语义标签统计直方图，计算各聚类中语义标签的占比；

[0107] S304，将各聚类中语义标签的占比值小于占比阈值的标签重新分类为占比最大的标签类别，得到含有语义信息的精细化语义分类点云。

[0108] 具体的，首先以分割结果点云 中的每个点 作为查询点，以深度学习分类点云作为搜索点，利用K近邻查询算法，获取 中距离 最近点的语义标签，获取对应的语义标签集合L，其次，统计 中每个聚类中语义标签的统计直方图，计算各类标签的占比，占比公式为：

[0109]

[0110] 公式中 代表L中每类标签的总数，K表示L中包含的类别数量， 为计算得到的各标签占比。

[0111] 利用各聚类中语义标签的占比值，将语义标签集合中标签占比值 （K为占比阈值）的标签重新分类为占比最大的点云类别 ，得到优化后的语义标签集合，每个优化后的语义标签集合中只存在一种占比最大的标签，以此达到最终语义粗分类结果的优化，获得高精度语义分类结果，将优化后的语义标签集合映射到对应分割结果点云之上从而得到含有语义信息的精细化语义分类点云。

[0112] 基于上述室内三维点云语义分类方法，本实施例提供了一种室内三维点云语义分类装置，包括：

[0113] 分类模块1，用于通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；

[0114] 分割模块2，用于对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；

[0115] 融合模块3，用于基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云。

[0116] 此外值得说明，本实施例提供的基于室内三维点云语义分类装置的工作过程与上述室内三维点云语义分类方法的工作过程相同，具体可以参照室内三维点云语义分类方法的工作过程，这里就不再赘述。

[0117] 基于上述室内三维点云语义分类方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的室内三维点云语义分类方法中的步骤。

[0118] 如图2所示，基于上述室内三维点云语义分类方法，本申请还提供了一种终端设备，其包括至少一个处理器（processor）20；显示屏21；以及存储器（memory）22，还可以包括通信接口（Communications Interface）23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

[0119] 此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

[0120] 存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

[0121] 存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

[0122] 相较于现有技术本发明的室内三维点云语义分类方法包括，通过指定的训练数据集对神经网络进行训练，得到预测模型，基于所述预测模型对原始点云进行语义分类，得到含有语义信息的深度学习分类点云；对所述原始点云进行几何与颜色特征点云分割，得到分割结果点云；基于统计信息对所述深度学习分类点云和所述分割结果点云进行关联，得到语义标签集合，采用概率模型对所述语义标签集合进行交叉融合，得到含有语义信息的精细化语义分类点云；本发明采用上述方法后能够获得带语义信息且高精度的语义分类点云，可直接应用于深层次的室内空间应用中。

[0123] 应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。