点云数据补全方法、装置、计算机设备和存储介质

摘要

本申请涉及一种点云数据补全方法、装置、计算机设备和存储介质。所述方法包括：获取点云数据以及对应的彩色图像；对所述彩色图像进行多尺度处理得到多尺度特征；对所述点云数据进行划分得到待补全体素，并记录所述待补全体素的原始特征；将所述多尺度特征拼接到对应的所述原始特征中形成拼接后的体素数据；根据所述拼接后的体素数据，判断对应的所述待补全体素中是否存在待补全的点，若存在，则在所述点云数据中增加所述待补全的点。采用本方法能够提高补全精度。

权利要求

1.一种点云数据补全方法，所述方法包括：获取点云数据以及对应的彩色图像；

对所述彩色图像进行多尺度处理得到多尺度特征；

对所述点云数据进行划分得到待补全体素，并记录所述待补全体素的原始特征；

将所述多尺度特征拼接到对应的所述原始特征中形成拼接后的体素数据；

根据所述拼接后的体素数据，判断对应的所述待补全体素中是否存在待补全的点，若存在，则在所述点云数据中增加所述待补全的点；

所述对所述彩色图像进行多尺度处理得到多尺度特征，包括：对所述彩色图像进行尺度变换和特征提取得到多张不同尺度的待处理图像和原始特征图；

对所述多张不同尺度的待处理图像进行插值上采样操作，得到多张与所述彩色图像尺度相同的中间处理图像；

将多张所述中间处理图像以及所述原始特征图进行拼接得到多尺度彩色图像；

提取所述多尺度彩色图像中每个像素的多尺度特征；

所述对所述点云数据进行划分得到待补全体素，包括：将所述点云数据进行划分得到初始体素，并对包括至少一个所述点云数据中的点的所述初始体素进行标记；

获取与所述标记后的初始体素的距离小于预设值的初始体素作为待补全体素。

2.根据权利要求1所述的方法，其特征在于，所述将所述多尺度特征拼接到对应的所述原始特征中形成拼接后的体素数据，包括：获取关于所述彩色图像与所述点云数据间的坐标投射矩阵，以及所述待补全体素的中心点的初始坐标；

根据所述坐标投射矩阵计算所述中心点的初始坐标，在所述彩色图像中的转换坐标；

获取所述转换坐标对应的像素的多尺度特征；

将所获取的多尺度特征拼接到对应的所述待补全体素的原始特征中。

3.根据权利要求2所述的方法，其特征在于，所述获取所述转换坐标对应的像素的多尺度特征，包括：对所述转换坐标进行取整操作得到像素坐标；

获取所述像素坐标对应的像素的多尺度特征。

4.根据权利要求1所述的方法，其特征在于，所述记录所述待补全体素的原始特征，包括：获取所述待补全体素中的点的坐标；

查询在所述待补全体素中的点的激光雷达反射强度；

根据所述待补全体素中的点的坐标以及激光雷达反射强度的平均值得到所述待补全体素的原始特征。

5.根据权利要求1所述的方法，其特征在于，所述根据所述拼接后的体素数据，判断对应的所述待补全体素中是否存在待补全的点，包括：通过预先训练的3D卷积神经网络对所述拼接后的体素数据进行处理，以判断对应的所述待补全体素中是否存在待补全的点。

6.一种点云数据补全装置，其特征在于，所述装置包括：数据获取模块，用于获取点云数据以及对应的彩色图像；

多尺度处理模块，用于对所述彩色图像进行多尺度处理得到多尺度特征；

划分模块，用于对所述点云数据进行划分得到待补全体素，并记录所述待补全体素的原始特征；

拼接模块，用于将所述多尺度特征拼接到对应的所述原始特征中形成拼接后的体素数据；

补全模块，用于根据所述拼接后的体素数据，判断对应的所述待补全体素中是否存在待补全的点，若存在，则在所述点云数据中增加所述待补全的点；

所述多尺度处理模块包括：

变换单元，用于对所述彩色图像进行尺度变换和特征提取得到多张不同尺度的待处理图像和原始特征图；

插值上采样单元，用于对所述多张不同尺度的待处理图像进行插值上采样操作，得到多张与所述彩色图像尺度相同的中间处理图像；

第一拼接单元，用于将多张所述中间处理图像以及所述原始特征图进行拼接得到多尺度彩色图像；

第一提取单元，用于提取所述多尺度彩色图像中每个像素的多尺度特征；

所述划分模块包括：

划分单元，用于将所述点云数据进行划分得到初始体素，并对包括至少一个所述点云数据中的点的所述初始体素进行标记；

待补全体素获取单元，用于获取与所述标记后的初始体素的距离小于预设值的初始体素作为待补全体素。

7.根据权利要求6所述的装置，其特征在于，所述拼接模块包括：矩阵获取单元，用于获取关于所述彩色图像与所述点云数据间的坐标投射矩阵，以及所述待补全体素的中心点的初始坐标；

转换坐标计算单元，用于根据所述坐标投射矩阵计算所述中心点的初始坐标，在所述彩色图像中的转换坐标；

多尺度特征获取单元，用于获取所述转换坐标对应的像素的多尺度特征；

第二拼接单元，用于将所获取的多尺度特征拼接到对应的所述待补全体素的原始特征中。

8.根据权利要求7所述的装置，其特征在于，所述多尺度特征获取单元包括：取整子单元，用于对所述转换坐标进行取整操作得到像素坐标；

多尺度特征获取子单元，用于获取所述像素坐标对应的像素的多尺度特征。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

说明书

点云数据补全方法、装置、计算机设备和存储介质

技术领域

[0001] 本申请涉及数据处理技术领域，特别是涉及一种点云数据补全方法、装置、计算机设备和存储介质。

背景技术

[0002] 当前，由激光雷达采集得到的点云数据因包含目标的准确位置信息而被广泛用于多个领域，如3D目标检测，三维目标重建，虚拟/增强现实等。然而，由于技术水平以及成本限制，由激光雷达获得的数据往往存在分辨率过低的问题。另一方面，传统的RGB相机等设备可以提供高分辨率的RGB图像但因缺乏深度信息而无法准确表达目标位置信息。自然地，利用RGB图像的高分辨率数据去帮助补全低分辨率的点云数据并用于后续任务就成为了很多领域中一种比较有前景的方案。

[0003] 目前，存在一些试图融合RGB图像以及点云数据进行点云补全的算法。这些算法采用了对每个或一部分RGB像素点推测一个深度值的做法。由于RGB图像与点云数据的校正对齐问题以及深度值推测在远处目标误差较大等问题，这个做法会导致在物体边界处补全精度较差，产生拖尾或者错位等现象，进而这些补全后的点云数据难以被利用于其他后续任务，如3D目标检测等。

发明内容

[0004] 基于此，有必要针对上述技术问题，提供一种能够提高补全精度的点云数据补全方法、装置、计算机设备和存储介质。

[0005] 一种点云数据补全方法，所述方法包括：

[0006] 获取点云数据以及对应的彩色图像；

[0007] 对所述彩色图像进行多尺度处理得到多尺度特征；

[0008] 对所述点云数据进行划分得到待补全体素，并记录所述待补全体素的原始特征；

[0009] 将所述多尺度特征拼接到对应的所述原始特征中形成拼接后的体素数据；

[0010] 根据所述拼接后的体素数据，判断对应的所述待补全体素中是否存在待补全的点，若存在，则在所述点云数据中增加所述待补全的点。

[0011] 在其中一个实施例中，所述对所述彩色图像进行多尺度处理得到多尺度特征，包括：

[0012] 对所述彩色图像进行尺度变换和特征提取得到多张不同尺度的待处理图像和原始特征图；

[0013] 对所述多张不同尺度的待处理图像进行插值上采样操作，得到多张与所述彩色图像尺度相同的中间处理图像；

[0014] 将多张所述中间处理图像以及所述原始特征图进行拼接得到多尺度彩色图像；

[0015] 提取所述多尺度彩色图像中每个像素的多尺度特征。

[0016] 在其中一个实施例中，所述对所述点云数据进行划分得到待补全体素，包括：

[0017] 将所述点云数据进行划分得到初始体素，并对包括至少一个所述点云数据中的点的所述初始体素进行标记；

[0018] 获取与所述标记后的初始体素的距离小于预设值的初始体素作为待补全体素。

[0019] 在其中一个实施例中，所述将所述多尺度特征拼接到对应的所述原始特征中形成拼接后的体素数据，包括：

[0020] 获取关于所述彩色图像与所述点云数据间的坐标投射矩阵，以及所述待补全体素的中心点的初始坐标；

[0021] 根据所述坐标投射矩阵计算所述中心点的初始坐标，在所述彩色图像中的转换坐标；

[0022] 获取所述转换坐标对应的像素的多尺度特征；

[0023] 将所获取的多尺度特征拼接到对应的所述待补全体素的原始特征中。

[0024] 在其中一个实施例中，所述获取所述转换坐标对应的像素的多尺度特征，包括：

[0025] 对所述转换坐标进行取整操作得到像素坐标；

[0026] 获取所述像素坐标对应的像素的多尺度特征。

[0027] 在其中一个实施例中，所述记录所述待补全体素的原始特征，包括：

[0028] 获取所述待补全体素中的点的坐标；

[0029] 查询在所述待补全体素中的点的激光雷达反射强度；

[0030] 根据所述待补全体素中的点的坐标以及激光雷达反射强度的平均值得到所述待补全体素的原始特征。

[0031] 在其中一个实施例中，所述根据所述拼接后的体素数据，判断对应的所述待补全体素中是否存在待补全的点，包括：

[0032] 通过预先训练的3D卷积神经网络对所述拼接后的体素数据进行处理，以判断对应的所述待补全体素中是否存在待补全的点。

[0033] 一种点云数据补全装置，所述装置包括：

[0034] 数据获取模块，用于获取点云数据以及对应的彩色图像；

[0035] 多尺度处理模块，用于对所述彩色图像进行多尺度处理得到多尺度特征；

[0036] 划分模块，用于对所述点云数据进行划分得到待补全体素，并记录所述待补全体素的原始特征；

[0037] 拼接模块，用于将所述多尺度特征拼接到对应的所述原始特征中形成拼接后的体素数据；

[0038] 补全模块，用于根据所述拼接后的体素数据，判断对应的所述待补全体素中是否存在待补全的点，若存在，则在所述点云数据中增加所述待补全的点。

[0039] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

[0040] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

[0041] 上述点云数据补全方法、装置、计算机设备和存储介质，首先获取到彩色图像的多尺度特征，然后对点云数据进行划分得到待补全体素，以及待补全体素的原始特征，将多尺度特征拼接到对应的原始特征中形成拼接后的体素数据，并通过拼接后的体素数据判断待补全体素中是否存在待补全的点，也即通过结合彩色图像的多尺度特征和划分后的点云数据的待补全体素的原始特征，来判断待补全体素中是否存在待补全的点，而不仅是对每个或一部分RGB像素点推测一个深度值，这样综合考虑了彩色图像和电源数据的特征，可以提高检测精度。

附图说明

[0042] 图1为一个实施例中点云数据补全方法的应用场景图；

[0043] 图2为一个实施例中点云数据补全方法的流程示意图；

[0044] 图3为一个实施例中的判断步骤的流程图；

[0045] 图4为一个实施例中的多尺度处理步骤的流程图；

[0046] 图5为一个实施例中的点云数据补全方法的流程框图；

[0047] 图6为一个实施例中点云数据补全装置的结构框图；

[0048] 图7为一个实施例中计算机设备的内部结构图。

具体实施方式

[0049] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0050] 本申请提供的点云数据补全方法，可以应用于如图1所示的应用环境中。其中，终端102与服务器104通过网络进行通信。服务器104可以获取到终端102采集的点云数据和彩色图像，然后对彩色图像进行多尺度处理得到多尺度特征，对对点云数据进行划分得到待补全体素，并记录待补全体素的原始特征，从而将多尺度特征拼接到对应的原始特征中形成拼接后的体素数据，服务器根据拼接后的体素数据来判断对应的待补全体素中是否存在待补全的点，若存在，则在点云数据中增加待补全的点，这样通过结合彩色图像的多尺度特征和划分后的点云数据的待补全体素的原始特征，来判断待补全体素中是否存在待补全的点，而不仅是对每个或一部分RGB像素点推测一个深度值，这样综合考虑了彩色图像和电源数据的特征，可以提高检测精度。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备以及激光雷达摄像机，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

[0051] 在一个实施例中，如图2所示，提供了一种点云数据补全方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

[0052] S202：获取点云数据以及对应的彩色图像。

[0053] 具体地，点云数据是激光雷达所采集的数据，其以点的形式记录，每一个点包含有三维坐标信息以及反射强度信息。彩色图像是指通过相机所采集的图像，其包括但不限于RGB图像，其中点云数据和彩色图像是相互对应的。

[0054] S204：对彩色图像进行多尺度处理得到多尺度特征。

[0055] 具体地，多尺度处理即为提取彩色图像对应的不同尺度的特征，然后将不同尺度的特征以及彩色图像对应的原尺度特征进行拼接得到。其中不同的尺度可以是根据需要进行确定，包括但不限于1/4原图大小和1/16原图大小。

[0056] S206：对点云数据进行划分得到待补全体素，并记录待补全体素的原始特征。

[0057] 具体地，体素是体积元素的简称，包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来。待补全体素是判断是否需要补全的体素。原始特征是用于衡量待补全体素的特征，其可以包括但不限于待补全体素中的所有点的坐标以及该些点对应的激光雷达反射强度。

[0058] 服务器将点云数据进行体素化得到多个初始体素，从而可以根据初始体素以及存在点云数据中的点的初始体素来确定待补全体素。例如根据至少存在一个点云数据中的点的初始体素来确定待补全体素，也即首先将至少存在一个点云数据中的点的初始体素标记出来，然后获取标记出来的初始体素附近的体素作为待补全体素，例如服务器以标记出来的初始体素为中心，确定一个N*N*N的空间，从而该空间中的待补全体素为N*N*N-1，其中N表示每个初始体素在各个坐标轴方向上产生的待补全体素的范围。

[0059] 服务器在确定了待补全体素后，还需要确定待补全体素的原始特征，即根据待补全体素中所有点的坐标以及激光雷达反射强度来得到该待补全体素的原始特征。

[0060] S208：将多尺度特征拼接到对应的原始特征中形成拼接后的体素数据。

[0061] 具体地，服务器可以将待补全体素映射到彩色图像的平面上，以确定与待补全体素对应的彩色图像中的像素，然后服务器将对应的彩色图像中的像素对应的多尺度特征拼接到对应的待补全体素的原始特征中，以形成待补全体素的拼接后的体素数据。

[0062] S210：根据拼接后的体素数据，判断对应的待补全体素中是否存在待补全的点，若存在，则在点云数据中增加待补全的点。

[0063] 具体地，在拼接得到拼接后的体素数据，服务器根据该拼接后的体素判断对应的待补全体素中是否存在待补全的点。

[0064] 具体地，根据拼接后的体素数据，判断对应的待补全体素中是否存在待补全的点，包括：通过预先训练的3D卷积神经网络对拼接后的体素数据进行处理，以判断对应的待补全体素中是否存在待补全的点。具体可以参见图3所示，图3为一个实施例中的判断步骤的流程图，其中例如根据拼接后的体素数据对对应的待补全体素进行打分，然后获取分值大于预设值的待补全体素作为需要补全的体素，最后在点云数据中增加于待补全体素对应的待补全的点，对对应的待补全体素进行打分可以是根据预先训练的3D卷积神经网络进行的，通过该神经网络对彩色图像中不同尺度的特征图的每一个点给出预设数量的目标预测结果以及分数，并根据分数排序进行非极大值抑制给出针对初步目标检测结果，也即上述打分后的分数，最后根据分数来确定待补全体素中是否存在需要补全的点。

[0065] 上述点云数据补全方法，首先获取到彩色图像的多尺度特征，然后对点云数据进行划分得到待补全体素，以及待补全体素的原始特征，将多尺度特征拼接到对应的原始特征中形成拼接后的体素数据，并通过拼接后的体素数据判断待补全体素中是否存在待补全的点，也即通过结合彩色图像的多尺度特征和划分后的点云数据的待补全体素的原始特征，来判断待补全体素中是否存在待补全的点，也即通过融合特征的方式进行了点云补全，而不仅是对每个或一部分RGB像素点推测一个深度值，这样综合考虑了彩色图像和电源数据的特征，可以提高检测精度。

[0066] 在其中一个实施例中，对彩色图像进行多尺度处理得到多尺度特征，包括：对彩色图像进行尺度变换和特征提取得到多张不同尺度的待处理图像和原始特征图；对多张不同尺度的待处理图像进行插值上采样操作，得到多张与彩色图像尺度相同的中间处理图像；将多张中间处理图像以及原始特征图进行拼接得到多尺度彩色图像；提取多尺度彩色图像中每个像素的多尺度特征。

[0067] 请参阅图4，图4为一个实施例中的多尺度处理步骤的流程图，在该实施例中，假设彩色图像的长和宽分别为W和H，将彩色图像输入到深度卷积神经网络中以提取多个尺度的待处理图像以及彩色图像对应的原来尺寸的原始特征图，例如图4所示的深度卷积神经网络，可以得到原图大小(W*H)、1/4原图大小(W/2*H/2)、1/16原图大小(W/4*H/4)尺寸的特征图。然后分别对1/4原图大小(W/2*H/2)、1/16原图大小(W/4*H/4)尺寸的特征图进行插值上采样的操作以恢复到原图大小，即上述的中间处理图像，最后将中间处理图像和原始图像进行拼接形成一张多尺度彩色图像，从而可以得到彩色图像中每个像素的多尺度特征。其中将待处理图像恢复到与彩色图像的大小相同也是为了与原始特征图进行拼接。

[0068] 上述实施例中，通过简单的深度卷积神经网络即可以提取到彩色图像对应的多尺度特征，操作简单。

[0069] 在其中一个实施例中，对点云数据进行划分得到待补全体素，包括：将点云数据进行划分得到初始体素，并对包括至少一个点云数据中的点的初始体素进行标记；获取与标记后的初始体素的距离小于预设值的初始体素作为待补全体素。

[0070] 具体地，初始体素是服务器将点云数据所表征的空间进行划分得到的，例如服务器首先确定点云数据所表征的场景空间，即根据点云数据中所有点的坐标(x,y,z)进行确定，若点云数据中所有点的坐标均限定在x∈[-X,X],y∈[-Y,Y],z∈[-Z,Z](单位米)的空间内，则该场景空间即为点云数据所表征的场景空间，可选地，服务器可以确定包含所有点的坐标(x,y,z)的最小场景空间作为点云数据所表征的场景空间，然后将该空间沿着坐标轴进行切分，例如均匀切分得到初始体素，可选地，可以按照预设的体素数量或者是初始体素的大小进行切分，例如每个初始体素大小为5厘米*5厘米*10厘米，且可以切分得到切分为40X×40Y×20Z个初始体素。

[0071] 这样点云数据则分布在这些初始体素中，有的初始体素中没有点云数据中的点，有的初始体素中存在点云数据中的点，服务器可以获取到存在点云数据中的点的初始体素进行标记，以确定其四周是否存在待补全点，即物理原理是只有存在数据的空间的周围才可能存在丢失的信息，而如果一个空间本来就没有信息，则其周围的空间不存在信息的可能性较大。

[0072] 服务器获取与标记后的初始体素的距离小于预设值的初始体素作为待补全体素，这样可以避免对所有的数据进行处理，仅需要针对存在点云数据中的点的体素的周围体素进行处理，从而可以减少数据量，提高处理效率。

[0073] 此外，服务器以标记出来的初始体素为中心，确定一个N*N*N的空间，从而该空间中的待补全体素为N*N*N-1，其中N表示每个初始体素在各个坐标轴方向上产生的待补全体素的范围。其中N可以为7，则待补全体素为7*7*7-1。

[0074] 上述实施例中，仅对存在点云数据中的点的初始体素进行标记，并确定其附近的一定数量的体素为待不全体素，这样仅需要针对存在点云数据中的点的体素的周围体素进行处理，从而可以减少数据量，提高处理效率。

[0075] 在其中一个实施例中，记录待补全体素的原始特征，包括：获取待补全体素中的点的坐标；查询在待补全体素中的点的激光雷达反射强度；根据待补全体素中的点的坐标以及激光雷达反射强度的平均值得到待补全体素的原始特征。

[0076] 具体地，对于该待补全体素的特征可以通过待补全体素中所有的点的坐标以及激光雷达反射强度的平均值来标识，例如取每个体素中所有点的(x,y,z)坐标以及激光雷达反射强度r的平均数作为该待补全体素的特征值C(4维，x,y,z,r)。

[0077] 上述实施例中，通过待补全体素中的点的坐标以及激光雷达反射强度平均数作为该待补全体素的特征值，简单可靠。

[0078] 在其中一个实施例中，将多尺度特征拼接到对应的原始特征中形成拼接后的体素数据，包括：获取关于彩色图像与点云数据间的坐标投射矩阵，以及待补全体素的中心点的初始坐标；根据坐标投射矩阵计算中心点的初始坐标，在彩色图像中的转换坐标；获取转换坐标对应的像素的多尺度特征；将所获取的多尺度特征拼接到对应的待补全体素的原始特征中。

[0079] 在其中一个实施例中，获取转换坐标对应的像素的多尺度特征，包括：对转换坐标进行取整操作得到像素坐标；获取像素坐标对应的像素的多尺度特征。

[0080] 具体地，其中，坐标投射矩阵Pr是彩色图像与点云数据间的映射矩阵，其可以由设备摆放位置以及设备内参计算得到。

[0081] 服务器获取到所有待补全体素的中心点的初始坐标，并坐标投射矩阵计算中心点的初始坐标，在彩色图像中的转换坐标，即Pnew＝Pr×Pold，其中Pnew为转换坐标，Pold为初始坐标，这样将待补全体素投影到彩色图像所在的平面，从而服务器可以获取到彩色图像对应位置处的像素的多尺度特征，这样将将每个待补全体素的原始特征与投射到彩色平面后对应的多尺度彩色图像特征进行拼接作为新的体素特征。

[0082] 具体地，服务器可以按照以下步骤进行操作：假设待投射的待补全体素中心坐标为(x,y,z)，首先通过Pnew＝Pr×Pold计算出投射到彩色图像平面后的转换坐标(u,z)，由于像素的坐标都是整数，因此需要对得到转换坐标取整后得到(u`,z`)，其中取整的操作可以是直接舍掉小数位。这样上文中所得到的多尺度彩色图像特征图上(u`,z`)所在位置的特征即为该待补全体素所对应的多尺度特征，最后将这个对应的多尺度特征追加到当前待补全体素的原始特征后完成特征拼接。

[0083] 上述实施例中，通过坐标投射矩阵来确定多尺度特征和待补全体素的位置对应关系，并根据位置对应关系完成多尺度特征和对应的待补全体素的原始特征的拼接。

[0084] 请参见图5，图5为一个实施例中的点云数据补全方法的流程框图，在该实施例中，可以分两个线程进行计算，一个是主线程，一个是辅助线程。其中一个线程负责对彩色图像，即RGB图像进行多尺度处理以提取到多尺度特征，另一个线程则对点云数据进行体素化处理得到待补全体素，然后在主线程中通过坐标投射矩阵来确定多尺度特征和待补全体素的位置对应关系，并根据位置对应关系完成多尺度特征和对应的待补全体素的原始特征的拼接，最后将拼接得到的体素数据输入到预先训练的3D卷积神经网络中以判断对应的待补全体素中是否存在待补全的点，并进行补全。

[0085] 这样在3D场景进行目标检测时，服务器可以首先根据拼接后的体素数据进行初步目标检测得到初始检测结果，然后服务器可以根据补全后的点云数据对初始检测结果所对应的空间进行目标检测到的修正检测结果，将该修正检测结果作为最终的目标检测结果。

[0086] 上述实施例中，将RGB图像以及点云数据进行融合，且预先训练引导深度神经网络训练去学习如何补全点云信息，进而直接学习到丰富的对于3D目标检测有帮助的位置信息，提升了目标检测的精度。

[0087] 应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

[0088] 在一个实施例中，如图6所示，提供了一种点云数据补全装置，包括：数据获取模块100、多尺度处理模块200、划分模块300、拼接模块400和补全模块500，其中：

[0089] 数据获取模块100，用于获取点云数据以及对应的彩色图像。

[0090] 多尺度处理模块200，用于对彩色图像进行多尺度处理得到多尺度特征。

[0091] 划分模块300，用于对点云数据进行划分得到待补全体素，并记录待补全体素的原始特征。

[0092] 拼接模块400，用于将多尺度特征拼接到对应的原始特征中形成拼接后的体素数据。

[0093] 补全模块500，用于根据拼接后的体素数据，判断对应的待补全体素中是否存在待补全的点，若存在，则在点云数据中增加待补全的点。

[0094] 在其中一个实施例中，上述的多尺度处理模块200可以包括：

[0095] 变换单元，用于对彩色图像进行尺度变换和特征提取得到多张不同尺度的待处理图像和原始特征图。

[0096] 插值上采样单元，用于对多张不同尺度的待处理图像进行插值上采样操作，得到多张与彩色图像尺度相同的中间处理图像。

[0097] 第一拼接单元，用于将多张中间处理图像以及原始特征图进行拼接得到多尺度彩色图像。

[0098] 第一提取单元，用于提取多尺度彩色图像中每个像素的多尺度特征。

[0099] 在其中一个实施例中，上述划分模块300包括：

[0100] 划分单元，用于将点云数据进行划分得到初始体素，并对包括至少一个点云数据中的点的初始体素进行标记。

[0101] 待补全体素获取单元，用于获取与标记后的初始体素的距离小于预设值的初始体素作为待补全体素。

[0102] 在其中一个实施例中，上述拼接模块400可以包括：

[0103] 矩阵获取单元，用于获取关于彩色图像与点云数据间的坐标投射矩阵，以及待补全体素的中心点的初始坐标。

[0104] 转换坐标计算单元，用于根据坐标投射矩阵计算中心点的初始坐标，在彩色图像中的转换坐标。

[0105] 多尺度特征获取单元，用于获取转换坐标对应的像素的多尺度特征。

[0106] 第二拼接单元，用于将所获取的多尺度特征拼接到对应的待补全体素的原始特征中。

[0107] 在其中一个实施例中，上述多出度特征获取单元包括：

[0108] 取整子单元，用于对转换坐标进行取整操作得到像素坐标。

[0109] 多尺度特征获取子单元，用于获取像素坐标对应的像素的多尺度特征。

[0110] 在其中一个实施例中，上述数据获取模块100包括：

[0111] 坐标获取单元，用于获取待补全体素中的点的坐标。

[0112] 激光雷达反射强度获取单元，用于查询在待补全体素中的点的激光雷达反射强度。

[0113] 原始特征生成单元，用于根据待补全体素中的点的坐标以及激光雷达反射强度的平均值得到待补全体素的原始特征。

[0114] 在其中一个实施例中，上述补全模块500包括：

[0115] 神经网络判断单元，用于通过预先训练的3D卷积神经网络对拼接后的体素数据进行处理，以判断对应的待补全体素中是否存在待补全的点。

[0116] 关于点云数据补全装置的具体限定可以参见上文中对于点云数据补全方法的限定，在此不再赘述。上述点云数据补全装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0117] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储点云数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种点云数据补全方法。

[0118] 本领域技术人员可以理解，图Y中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0119] 在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取点云数据以及对应的彩色图像；对彩色图像进行多尺度处理得到多尺度特征；对点云数据进行划分得到待补全体素，并记录待补全体素的原始特征；将多尺度特征拼接到对应的原始特征中形成拼接后的体素数据；根据拼接后的体素数据，判断对应的待补全体素中是否存在待补全的点，若存在，则在点云数据中增加待补全的点。

[0120] 在一个实施例中，处理器执行计算机程序时所实现的对彩色图像进行多尺度处理得到多尺度特征，包括：对彩色图像进行尺度变换和特征提取得到多张不同尺度的待处理图像和原始特征图；对多张不同尺度的待处理图像进行插值上采样操作，得到多张与彩色图像尺度相同的中间处理图像；将多张中间处理图像以及原始特征图进行拼接得到多尺度彩色图像；提取多尺度彩色图像中每个像素的多尺度特征。

[0121] 在一个实施例中，处理器执行计算机程序时所实现的对点云数据进行划分得到待补全体素，包括：将点云数据进行划分得到初始体素，并对包括至少一个点云数据中的点的初始体素进行标记；获取与标记后的初始体素的距离小于预设值的初始体素作为待补全体素。

[0122] 在一个实施例中，处理器执行计算机程序时所实现的将多尺度特征拼接到对应的原始特征中形成拼接后的体素数据，包括：获取关于彩色图像与点云数据间的坐标投射矩阵，以及待补全体素的中心点的初始坐标；根据坐标投射矩阵计算中心点的初始坐标，在彩色图像中的转换坐标；获取转换坐标对应的像素的多尺度特征；将所获取的多尺度特征拼接到对应的待补全体素的原始特征中。

[0123] 在一个实施例中，处理器执行计算机程序时所实现的获取转换坐标对应的像素的多尺度特征，包括：对转换坐标进行取整操作得到像素坐标；获取像素坐标对应的像素的多尺度特征。

[0124] 在一个实施例中，处理器执行计算机程序时所实现的记录待补全体素的原始特征，包括：获取待补全体素中的点的坐标；查询在待补全体素中的点的激光雷达反射强度；根据待补全体素中的点的坐标以及激光雷达反射强度的平均值得到待补全体素的原始特征。

[0125] 在一个实施例中，处理器执行计算机程序时所实现的根据拼接后的体素数据，判断对应的待补全体素中是否存在待补全的点，包括：通过预先训练的3D卷积神经网络对拼接后的体素数据进行处理，以判断对应的待补全体素中是否存在待补全的点。

[0126] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取点云数据以及对应的彩色图像；对彩色图像进行多尺度处理得到多尺度特征；对点云数据进行划分得到待补全体素，并记录待补全体素的原始特征；将多尺度特征拼接到对应的原始特征中形成拼接后的体素数据；根据拼接后的体素数据，判断对应的待补全体素中是否存在待补全的点，若存在，则在点云数据中增加待补全的点。

[0127] 在一个实施例中，计算机程序被处理器执行时所实现的对彩色图像进行多尺度处理得到多尺度特征，包括：对彩色图像进行尺度变换和特征提取得到多张不同尺度的待处理图像和原始特征图；对多张不同尺度的待处理图像进行插值上采样操作，得到多张与彩色图像尺度相同的中间处理图像；将多张中间处理图像以及原始特征图进行拼接得到多尺度彩色图像；提取多尺度彩色图像中每个像素的多尺度特征。

[0128] 在一个实施例中，计算机程序被处理器执行时所实现的对点云数据进行划分得到待补全体素，包括：将点云数据进行划分得到初始体素，并对包括至少一个点云数据中的点的初始体素进行标记；获取与标记后的初始体素的距离小于预设值的初始体素作为待补全体素。

[0129] 在一个实施例中，计算机程序被处理器执行时所实现的将多尺度特征拼接到对应的原始特征中形成拼接后的体素数据，包括：获取关于彩色图像与点云数据间的坐标投射矩阵，以及待补全体素的中心点的初始坐标；根据坐标投射矩阵计算中心点的初始坐标，在彩色图像中的转换坐标；获取转换坐标对应的像素的多尺度特征；将所获取的多尺度特征拼接到对应的待补全体素的原始特征中。

[0130] 在一个实施例中，计算机程序被处理器执行时所实现的获取转换坐标对应的像素的多尺度特征，包括：对转换坐标进行取整操作得到像素坐标；获取像素坐标对应的像素的多尺度特征。

[0131] 在一个实施例中，计算机程序被处理器执行时所实现的记录待补全体素的原始特征，包括：获取待补全体素中的点的坐标；查询在待补全体素中的点的激光雷达反射强度；根据待补全体素中的点的坐标以及激光雷达反射强度的平均值得到待补全体素的原始特征。

[0132] 在一个实施例中，计算机程序被处理器执行时所实现的根据拼接后的体素数据，判断对应的待补全体素中是否存在待补全的点，包括：通过预先训练的3D卷积神经网络对拼接后的体素数据进行处理，以判断对应的待补全体素中是否存在待补全的点。

[0133] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

[0134] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0135] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。