一种激光雷达点云数据的标注方法、系统及应用

摘要

本发明公开了一种激光雷达点云数据的标注方法、系统及应用，涉及点云数据处理技术领域，在激光雷达点云数据中构建包围目标物体的二维基础框；基于二维基础框及目标物体的点云数据生成多个不同角度的三维包围框：计算各三维包围框的贴合度，筛选出贴合度最高的三维包围框作为目标物体的最佳三维包围框；本发明在现有的标注方法上改进：一方面对三维包围框构建过程进行了进行多角度构建的改进，另一方面还基于贴合度设置筛选机制以保证所构建最佳三维包围框的精度；本方案通过二维基础框生成多个不同角度的三维包围框，在三维包围框中筛选出最贴合的最佳三维包围框，有效减少人工工作量，提高了标注精度和效率。

权利要求

1.一种激光雷达点云数据的标注方法，其特征在于，包括步骤：步骤一：获取激光雷达点云数据；

步骤二：在激光雷达点云数据中构建包围目标物体的二维基础框；

步骤三：基于二维基础框及目标物体的点云数据生成多个不同角度的三维包围框：计算各三维包围框的贴合度，筛选出贴合度最高的三维包围框作为目标物体的最佳三维包围框。

2.根据权利要求1所述的一种激光雷达点云数据的标注方法，其特征在于，步骤二包括以下过程：按照预设方向创建包围目标物体的矩形框作为二维基础框：创建矩形框时，以预设方向作为矩形框的边延伸方向，或以预设方向作为矩形框对角线的延伸方向；

所述预设方向为目标物体运动或延伸的方向。

3.根据权利要求2所述的一种激光雷达点云数据的标注方法，其特征在于，三维包围框的生成方法包括步骤：S31，对激光雷达点云数据进行过滤，保留目标物体的点云数据和二维基础框；

S32，将目标物体的点云数据绕Z轴旋转α度，使得变换后的点云数据的方向与二维基础框的方向一致；所述Z轴为垂直于二维基础框的坐标轴；

S33，遍历变换后的点云数据，找出最小坐标点（min_x，min_y，min_z）和最大坐标点（max_x，max_y，max_z）构建三维包围框：以坐标点[（min_x+ max_x）/2，（ min_y+ max_y）/2，（ min_z +max_z）/2]作为三维包围框的中心点，以dx、dy和dz作为三维包围框的大小；dx= max_x‑min_x、dy= max_y‑min_y和dz= max_z‑min_z；

S34，改变α，α∈[0，90]；构建不同角度的三维包围框。

4.根据权利要求3所述的一种激光雷达点云数据的标注方法，其特征在于，步骤S34包括以下过程：在[0，90]中每间隔角度β1确定一次α，构建三维包围框并计算贴合度，筛选出最佳角度γ1；

在[γ1‑β1，γ1+β1]中每间隔角度β2确定一次α，构建三维包围框并计算贴合度，筛选出最佳角度γ2；

在[γ2‑β2，γ2+β2]中每间隔角度β3确定一次α，构建三维包围框并计算贴合度，筛选出最佳角度γ3；

…

直至满足贴合度精度为止。

5.根据权利要求2所述的一种激光雷达点云数据的标注方法，其特征在于，所述贴合度的计算方法包括：将目标物体的各点云数据与矩形框进行关联得到4组子点云：将目标物体的各点云数据转化为二维点数据，所述二维点数据为二维的点坐标数据，计算目标物体各二维点数据到矩形框各条边的距离；二维点数据到矩形框第i条边的距离最短，i=1,2,3,4;则将二维点数据与矩形框第i条边关联，与矩形框第i条边关联的所有二维点数据构成1组子点云；

计算子点云与所属边的不贴合度，和子点云的并集与矩形框的不贴合度；

对子点云的并集与矩形框的不贴合度取反，得到三维包围框的贴合度。

6.根据权利要求5所述的一种激光雷达点云数据的标注方法，其特征在于，以子点云中的点与矩形框距离的标准差或平均值，表征子点云与所属边的不贴合度。

7.根据权利要求5所述的一种激光雷达点云数据的标注方法，其特征在于，以4组子点云的不贴合度算数平均值或加权平均值，表征子点云的并集与矩形框的不贴合度。

8.一种激光雷达点云数据的标注系统，其特征在于，用于实现权利要求1‑7任意一项所述的激光雷达点云数据的标注方法；包括：采集模块，用于获取激光雷达点云数据；

第一构建模块，用于在激光雷达点云数据中构建包围目标物体的二维基础框；

第二构建模块，用于基于二维基础框及目标物体的点云数据生成多个不同角度的三维包围框：计算各三维包围框的贴合度，筛选出贴合度最高的三维包围框作为目标物体的标注数据。

9.车辆激光雷达点云数据的标注方法，其特征在于，应用权利要求3‑7任意一种激光雷达点云数据的标注方法实现，包括步骤：T1：获取目标车辆的二维基础框，以及最佳三维包围框对应的最佳二维包围框；

T2：获取二维基础框的对角线向量，最佳二维包围框的垂直平分线向量；

T3：以最佳二维包围框的4个垂直平分线向量作为车头方向的候选向量，并对候选向量进行过滤：剔除与最佳二维包围框较长两边垂直的向量；

T4：基于对角线向量和过滤后的候选向量确定出车头方向。

10.根据权利要求9所述的车辆激光雷达点云数据的标注方法，其特征在于，T4包括：在过滤后的候选向量中，与对角线向量夹角为锐角的候选向量确定为车头方向。

说明书

一种激光雷达点云数据的标注方法、系统及应用

技术领域

[0001] 本发明涉及点云数据处理技术领域，具体涉及一种激光雷达点云数据的标注方法、系统及应用。

背景技术

[0002] 在自动驾驶领域中，摄像头和激光雷达都是被广泛采用的传感器；激光雷达输出的是3D点云数据，现有技术通常使用机器学习算法对点云数据进行处理，识别3D点云数据中的各种对象，如车辆、人、车道线等。

[0003] 机器学习算法的训练需要大量的标注数据，其中一种是标注出点云数据中的各种对象的位置和范围，为了获取标注数据，需要标注员进行人工标注，找出目标物体（人、车等）并创建出包围目标物体的三维包围框，在人工进行标注时存在较多劣势：

[0004] 框选目标物体时需要画多条边框，后期调整时较为繁琐，尤其是对于框选方向与目标物体方向有要求的场景，需要反人工进行复调整框选，画框步骤多，落笔要求高，人工标注存在精度和效率缺陷。

发明内容

[0005] 本发明所要解决的技术问题是：传统的人工标注方法在框选方向与目标物体方向有要求的场景，需要反复调整框选，画框步骤多，落笔要求高，存在精度和效率上的缺陷，本发明目的在于提供一种激光雷达点云数据的标注方法、系统及应用，通过二维基础框生成多个不同角度的三维包围框，在三维包围框中筛选出最贴合的最佳三维包围框，有效减少人工工作量，提高了标注精度和效率。

[0006] 大幅简化点云数据三维包围框的标注过程，提升操作效率。

[0007] 本发明通过下述技术方案实现：

[0008] 本方案提供一种激光雷达点云数据的标注方法，包括步骤：

[0009] 步骤一：获取激光雷达点云数据；

[0010] 步骤二：在激光雷达点云数据中构建包围目标物体的二维基础框；

[0011] 步骤三：基于二维基础框及目标物体的点云数据生成多个不同角度的三维包围框：计算各三维包围框的贴合度，筛选出贴合度最高的三维包围框作为目标物体的最佳三维包围框。

[0012] 本方案工作原理：传统的人工标注方法在框选方向与目标物体方向有要求的场景，需要反复调整框选，画框步骤多，落笔要求高，存在精度和效率上的缺陷，本发明目的在于提供一种激光雷达点云数据的标注方法、系统及应用，在现有的标注方法上改进：一方面对三维包围框构建过程进行了进行多角度构建的改进，另一方面还基于贴合度设置筛选机制以保证所构建最佳三维包围框的精度；本方案通过二维基础框生成多个不同角度的三维包围框，在三维包围框中筛选出最贴合的最佳三维包围框，有效减少人工工作量，提高了标注精度和效率。

[0013] 进一步优化方案为，步骤二包括以下过程：

[0014] 按照预设方向创建包围目标物体的矩形框作为二维基础框：创建矩形框时，以预设方向作为矩形框的边延伸方向，或以预设方向作为矩形框对角线的延伸方向；

[0015] 所述预设方向为目标物体运动或延伸的方向。

[0016] 对于移动的目标物体，如行人、车辆等，在创建矩形框时，以目标物体运动的方向为预设方向；对于静止的目标物体，如斑马线、路面标线等，在创建矩形框时，以目标物体延伸的方向为预设方向。

[0017] 与传统的标注方式相比，本方案在创建矩形框时通过预设方向自动标记了目标物体的延伸或运动方向，便于框选方向与目标物体方向有要求的场景，在后期对目标物体的框选角度或方向进行调整。

[0018] 进一步优化方案为，三维包围框的生成方法包括步骤：

[0019] S31，对激光雷达点云数据进行过滤，保留目标物体的点云数据和二维基础框；目标物体点云中不能包含地面信息，因此本方案通过地面识别算法删除地面的点云数据。

[0020] S32，将目标物体的点云数据绕Z轴旋转α度，使得变换后的点云数据的方向与二维基础框的方向一致；所述Z轴为垂直于二维基础框的坐标轴；

[0021] S33，遍历变换后的点云数据，找出最小坐标点（min_x，min_y，min_z）和最大坐标点（max_x, max_y, max_z,）构建三维包围框：

[0022] 以坐标点[（min_x+ max_x）/2，（ min_y+ max_y）/2，（ min_z +max_z）/2]作为三维包围框的中心点，以dx、dy和dz作为三维包围框的大小；dx= max_x‑min_x、dy= max_y‑min_y和dz= max_z‑min_z；

[0023] S34，改变α，α∈[0，90]，构建不同角度的三维包围框。根据对称性，只需要改变0‑90度范围的α角度即可。

[0024] 进一步优化方案为，步骤S34包括以下过程：

[0025] 在[0，90]中每间隔角度β1确定一次α，构建三维包围框并计算贴合度，筛选出最佳角度γ1；

[0026] 在[γ1‑β1，γ1+β1]中每间隔角度β2确定一次α，构建三维包围框并计算贴合度，筛选出最佳角度γ2；

[0027] 在[γ2‑β2，γ2+β2]中每间隔角度β3确定一次α，构建三维包围框并计算贴合度，筛选出最佳角度γ3；

[0028] …

[0029] 直至满足贴合度精度为止。根据精度要求，评估不同间隔的角度，也可以考虑迭代的方法，逐渐提升精度。

[0030] 进一步优化方案为，所述贴合度的计算方法包括：

[0031] 将目标物体的各点云数据与矩形框进行关联得到4组子点云：忽略目标物体的各点云数据的z轴，将目标物体的各点云数据转化为二维点数据，计算目标物体各点到矩形框各条边的距离，二维点数据到矩形框第i条边的距离最短，i=1,2,3,4;则将二维点数据与矩形框第i条边关联，与矩形框第i条边关联的所有二维点数据构成1组子点云；（还可以直接以目标物体的各点云数据，计算目标物体各点到矩形框的边对应三维框的面之间的距离，将距离最小的点与面关联；）

[0032] 计算子点云与所属边的不贴合度，和子点云的并集与矩形框的不贴合度；

[0033] 对子点云的并集与矩形框的不贴合度取反，得到三维包围框的贴合度。

[0034] 进一步优化方案为，以子点云中的点与矩形框距离的标准差或平均值，表征子点云与所属边的不贴合度。

[0035] 进一步优化方案为，以4组子点云的不贴合度算数平均值或加权平均值，表征子点云的并集与矩形框的不贴合度。

[0036] 本方案还提供一种激光雷达点云数据的标注系统，用于实现上一技术方案所述的激光雷达点云数据的标注方法；包括：

[0037] 采集模块，用于获取激光雷达点云数据；

[0038] 第一构建模块，用于在激光雷达点云数据中构建包围目标物体的二维基础框；

[0039] 第二构建模块，用于基于二维基础框及目标物体的点云数据生成多个不同角度的三维包围框：计算各三维包围框的贴合度，筛选出贴合度最高的三维包围框作为目标物体的标注数据。

[0040] 本方案还提供车辆激光雷达点云数据的标注方法，应用上述方案的激光雷达点云数据的标注方法实现，包括步骤：

[0041] T1：获取目标车辆的二维基础框，以及最佳三维包围框对应的最佳二维包围框；

[0042] T2：获取二维基础框的对角线向量，最佳二维包围框的垂直平分线向量；

[0043] T3：以最佳二维包围框的4个垂直平分线向量作为车头方向的候选向量，并对候选向量进行过滤：剔除与最佳二维包围框较长两边垂直的向量；

[0044] T4：基于对角线向量和过滤后的候选向量确定出车头方向。

[0045] 进一步优化方案为，T4包括：在过滤后的候选向量中，与对角线向量夹角为锐角的候选向量确定为车头方向。

[0046] 本发明与现有技术相比，具有如下的优点和有益效果：

[0047] 本发明提供的一种激光雷达点云数据的标注方法、系统及应用；在现有的标注方法上改进：一方面对三维包围框构建过程进行了进行多角度构建的改进，另一方面还基于贴合度设置筛选机制以保证所构建最佳三维包围框的精度；本方案通过二维基础框生成多个不同角度的三维包围框，在三维包围框中筛选出最贴合的最佳三维包围框，有效减少人工工作量，提高了标注精度和效率。

附图说明

[0048] 为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：

[0049] 图1为激光雷达点云数据的标注方法流程示意图；

[0050] 图2为不同角度的三维包围框构建过程示意图；

[0051] 图3为车头方向确认过程示意图。实施方式

[0052] 为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

[0053] 人工标注点云数据时，框选目标物体时需要画多条边框，后期调整时较为繁琐，尤其是对于框选方向与目标物体方向有要求的场景，需要反人工进行复调整框选，画框步骤多，落笔要求高，人工标注存在精度和效率缺陷。鉴于此，本发明提供以下实施例解决上述技术问题：

[0054] 实施例1

[0055] 本实施例提供一种激光雷达点云数据的标注方法，如图1所示，包括步骤：

[0056] 步骤一：获取激光雷达点云数据；

[0057] 步骤二：在激光雷达点云数据中构建包围目标物体的二维基础框；

[0058] 步骤三：基于二维基础框及目标物体的点云数据生成多个不同角度的三维包围框：计算各三维包围框的贴合度，筛选出贴合度最高的三维包围框作为目标物体的最佳三维包围框。

[0059] 步骤二包括以下过程：

[0060] 按照预设方向创建包围目标物体的矩形框作为二维基础框：创建矩形框时，以预设方向作为矩形框的边延伸方向，或以预设方向作为矩形框对角线的延伸方向；

[0061] 所述预设方向为目标物体运动或延伸的方向。

[0062] 对于移动的目标物体，如行人、车辆等，在创建矩形框时，以目标物体运动的方向为预设方向；对于静止的目标物体，如斑马线、路面标线等，在创建矩形框时，以目标物体延伸的方向为预设方向。

[0063] 三维包围框的生成方法包括步骤：

[0064] S31，对激光雷达点云数据进行过滤，保留目标物体的点云数据和二维基础框；

[0065] S32，将目标物体的点云数据绕Z轴旋转α度，使得变换后的点云数据的方向与二维基础框的方向一致；所述Z轴为垂直于二维基础框的坐标轴；

[0066] S33，遍历变换后的点云数据，找出最小坐标点（min_x, min_y, min_z,）和最大坐标点（max_x, max_y, max_z,）构建三维包围框：

[0067] 以坐标点[（min_x+ max_x）/2,（ min_y+ max_y）/2,（ min_z +max_z,）/2]作为三维包围框的中心点，以dx、dy和dz作为三维包围框的大小；dx= max_x‑min_x、dy= max_y‑min_y和dz= max_z‑min_z；

[0068] S34，改变α，α∈[0，90]，构建不同角度的三维包围框。

[0069] 步骤S34包括以下过程：

[0070] 在[0，90]中每间隔角度β1确定一次α，构建三维包围框并计算贴合度，筛选出最佳角度γ1；

[0071] 在[γ1‑β1，γ1+β1]中每间隔角度β2确定一次α，构建三维包围框并计算贴合度，筛选出最佳角度γ2；

[0072] 在[γ2‑β2，γ2+β2]中每间隔角度β3确定一次α，构建三维包围框并计算贴合度，筛选出最佳角度γ3；

[0073] …

[0074] 直至满足贴合度精度为止。

[0075] 如：第一次每间隔10°：在[0,10,20,...90]，得到其中的一个最佳角度，如：20°[0076] 第二次每间隔2°：在[12, 14, 16, 18, 20, 22,  ..., 28]，得到一个新的最佳角度；

[0077] …

[0078] 直至满足贴合度精度为止。如图2所示，包围框2为最初的包围框，包围框3和包围框1为点云数据绕Z轴旋转不同角度下的包围框。

[0079] 所述贴合度的计算方法包括：

[0080] 将目标物体的各点云数据与矩形框进行关联得到4组子点云：计算目标物体各点到矩形框各条边的距离，将距离最小的点与边关联；所述二维点数据为二维的点坐标数据，计算目标物体各二维点数据到矩形框各条边的距离；二维点数据到矩形框第i条边的距离最短，i=1,2,3,4;则将二维点数据与矩形框第i条边关联，与矩形框第i条边关联的所有二维点数据构成1组子点云；

[0081] 计算子点云与所属边的不贴合度，和子点云的并集与矩形框的不贴合度；

[0082] 对子点云的并集与矩形框的不贴合度取反，得到三维包围框的贴合度。

[0083] 以子点云中的点与矩形框距离的标准差或平均值，表征子点云与所属边的不贴合度。

[0084] 以4组子点云的不贴合度算数平均值或加权平均值，表征子点云的并集与矩形框的不贴合度。

[0085] 实施例2

[0086] 本实施例提供一种激光雷达点云数据的标注系统，用于实现上一实施例的激光雷达点云数据的标注方法；包括：

[0087] 采集模块，用于获取激光雷达点云数据；

[0088] 第一构建模块，用于在激光雷达点云数据中构建包围目标物体的二维基础框；

[0089] 第二构建模块，用于基于二维基础框及目标物体的点云数据生成多个不同角度的三维包围框：计算各三维包围框的贴合度，筛选出贴合度最高的三维包围框作为目标物体的标注数据。

[0090] 实施例3

[0091] 人工标注进行车辆点云数据的标注时，其过程如下：

[0092] 首先，通过多边形框选出目标物体（目标车辆）；

[0093] 其次，过滤出目标车辆所在区域的点云：去除路面及路面以下的点云（其中路面的z轴坐标是通过算法识别或者通过人工设置得到），得到车辆的点云；

[0094] 最后，根据该点云信息生成一个三维包围框，三维包围框的方向可以通过三维包围框的第一条边的方向确定，三维包围框的6个边界通过包含框内点云的最小边界来确定。

[0095] 人工在进行第1步的画多边形框时比较繁琐，需要画3个点，而且要求第一条边沿着车头的方向；如果第一条边的方向不准确，则需要通过额外的步骤调整方向和边界（方向不准会导致边界不准）通过该方法标注，过程繁琐，效率低。

[0096] 本实施例提供车辆激光雷达点云数据的标注方法，应用实施例1的激光雷达点云数据的标注方法实现，包括步骤：

[0097] T1：获取目标车辆的二维基础框，以及最佳三维包围框对应的最佳二维包围框；具体的在获取目标车辆的最佳三维包围框过程中，使用2点拉矩形框的方式构建二维基础框，画矩形框时只需要2个点，属于非精细操作，（操作过程包括：移动到矩形框的第1个对角点、按下、移动到矩形框的另一个对角点、抬起，共4次操作，而传统标注画矩形框时，需要创建3个点构建直角框架，且确保第一条边的方向与车头保证精准一致，每个点都包含移动、按下、抬起3次操作，共9次，属于精细操作。）

[0098] T2：获取二维基础框的对角线向量，最佳二维包围框的垂直平分线向量；

[0099] T3：以最佳二维包围框的4个垂直平分线向量作为车头方向的候选向量，并对候选向量进行过滤：剔除与最佳二维包围框较长两边垂直的向量；

[0100] T4：基于对角线向量和过滤后的候选向量确定出车头方向。

[0101] T4包括：在过滤后的候选向量中，与对角线向量夹角为锐角的候选向量确定为车头方向。

[0102] 本实施例可以从点云数据中得到一个贴合的最佳三维包围框，但是无法确定车头贴近最佳三维包围框的哪个面(对应二维矩形框中的4个边)，为了更精准地确定车头的方向，可以

[0103] 通过以下步骤来实现：矩形的每一个边定义了一个车头方向，可以用矩形中心点指向边中心点的向量表示，共四个候选方向；利用矩形的长与宽进行过滤：针对车辆，由于车头始终处于较短的边上，这样就排除了2个候选方向；画矩形框时需要2个点（图中的第1个点和第2个点），这2个点定义了一个向量，根据该向量与候选方向向量的夹角大小，可以选出最优的车方向。对其他不同的类别，可以预设其朝向是位于长边或段边上。

[0104] 如图3所示，筛选出最佳三维包围框时，对应最佳包围框的四个边的方向都有可能是车头方向，利用矩形的长和宽进行过滤，由于车头始终处于较短的边上，这样就排除了2个候选方向，图中最佳包围框内箭头的方向就是车头的可能方向，在画二维基础框时已经确定了一个对角线向量，根据该对角线向量与候选方向向量的夹角大小，可以选出最优的车头方向。

[0105] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。