一种点云数据中3D框的标注方法和装置

摘要

本发明公开了一种点云数据中3D框的标注方法和装置。其中标注方法包括：获取路侧单元中激光雷达采集的点云数据和摄像头采集的图像数据，所述激光雷达和所述摄像头覆盖相同视野；分别对所述点云数据和所述图像数据进行目标检测，获取第一检测数据和第二检测数据，所述第一检测数据关联目标的3D框信息；将所述第一检测数据与所述第二检测数据进行数据融合，得到目标融合数据；根据所述目标融合数据，在所述点云数据上标注所述3D框信息。本发明的标注过程无需人工参与，显著提高了标注效率，且通过融合图像数据，提高了点云数据中3D框的标注精度。

权利要求

1.一种点云数据中3D框的标注方法，其特征在于，包括：获取路侧单元中激光雷达采集的点云数据和摄像头采集的图像数据，所述激光雷达和所述摄像头覆盖相同视野；

分别对所述点云数据和所述图像数据进行目标检测，获取第一检测数据和第二检测数据，所述第一检测数据关联目标的3D框信息，所述第一检测数据和第二检测数据包括目标位置；

将所述第一检测数据与所述第二检测数据进行数据融合，得到目标融合数据，包括：将第一检测数据中的目标位置和第二检测数据中的目标位置进行加权融合，得到融合后的目标位置；

根据所述目标融合数据，在所述点云数据上标注所述3D框信息，包括：在所述点云数据中融合后的目标位置处标注所述3D框信息；

通过下述步骤对所述点云数据进行目标检测：利用三维检测模型对所述点云数据进行目标检测，得到目标的第一检测数据及目标的

3D框信息；所述三维检测模型是利用开源数据集进行标注训练所得到的。

2.根据权利要求1所述的方法，其特征在于，获取路侧单元中激光雷达采集的点云数据和摄像头采集的图像数据，包括：获取所述点云数据的时间戳信息；

根据所述时间戳信息从摄像头采集的图像数据集中获得与所述时间戳信息对应的图像数据。

3.根据权利要求1所述的方法，其特征在于，在将所述第一检测数据与所述第二检测数据进行数据融合之前，还包括：根据所述第一检测数据与所述第二检测数据进行目标一致性检测；

将所述第一检测数据与所述第二检测数据进行数据融合，包括：对通过目标一致性检测的第一检测数据与第二检测数据进行数据融合。

4.根据权利要求3所述的方法，其特征在于，根据所述第一检测数据与所述第二检测数据进行目标一致性检测，包括：分别根据第一检测数据和第二检测数据构建特征向量；

对所述特征向量利用匈牙利匹配检测算法进行目标一致性检测。

5.根据权利要求4所述的方法，其特征在于，分别根据第一检测数据和第二检测数据构建特征向量，包括：

将第一检测数据和第二检测数据中的目标位置转换到同一坐标系下，利用同一坐标系下的目标位置构建特征向量。

6.一种点云数据中3D框的标注装置，其特征在于，包括：数据获取单元，用于获取路侧单元中激光雷达采集的点云数据和摄像头采集的图像数据，所述激光雷达和所述摄像头覆盖相同视野；

目标检测单元，用于分别对所述点云数据和所述图像数据进行目标检测，获取第一检测数据和第二检测数据，所述第一检测数据关联目标的3D框信息，所述第一检测数据和第二检测数据包括目标位置；

数据融合单元，用于将所述第一检测数据与所述第二检测数据进行数据融合，得到目标融合数据，具有是用于将第一检测数据中的目标位置和第二检测数据中的目标位置进行加权融合，得到融合后的目标位置；

3D框标注单元，用于根据所述目标融合数据，在所述点云数据上标注所述3D框信息，具体是用于在所述点云数据中融合后的目标位置处标注所述3D框信息；

其中目标检测单元，进一步用于利用三维检测模型对所述点云数据进行目标检测，得到目标的第一检测数据及目标的3D框信息；所述三维检测模型是利用开源数据集进行标注训练所得到的。

7.一种电子设备，其特征在于，包括：处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1 5之任一所述点云数据中3D框的标注方法。

~

8.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现所述权利要求1 5之任一所述点云数据中3D框的标~

注方法。

说明书

一种点云数据中3D框的标注方法和装置

技术领域

[0001] 本发明涉及图像处理技术领域，具体涉及一种点云数据中3D框的标注方法和装置。

背景技术

[0002] 图像识别技术是机器学习领域中的重要研究题，对于待识别图像，通过神经网络模型识别出图像数据中的目标对象。目标对象可以是车辆、人、动物、物体等。图像标注，即
为待识别图像中的目标对象添加与其内容相关的文本信息，为图像识别提供良好的基础。

[0003] 当前的图像数据标注，一般采用人工标注矩形框的方法，即对图像中的目标对象，手动标注矩形框，选择类别等操作，生成图像标注信息。标注的过程人工成本高、标注效率
低，数据标注的质量差。

发明内容

[0004] 有鉴于此，本发明的主要目的在于提供了一种点云数据中3D框的标注方法和装置，用于解决现有标注过程人工成本高、标注效率低、数据标注的质量差的问题。

[0005] 依据本发明的第一方面，提供了一种点云数据中3D框的标注方法，包括：获取路侧单元中激光雷达采集的点云数据和摄像头采集的图像数据，所述激光雷达和所述摄像头覆
盖相同视野；分别对所述点云数据和所述图像数据进行目标检测，获取第一检测数据和第
二检测数据，所述第一检测数据关联目标的3D框信息；将所述第一检测数据与所述第二检
测数据进行数据融合，得到目标融合数据；根据所述目标融合数据，在所述点云数据上标注
所述3D框信息。

[0006] 在一些实施例中，通过下述步骤对所述点云数据进行目标检测：利用三维检测模型对所述点云数据进行目标检测，得到目标的第一检测数据及目标的3D框信息；所述三维
检测模型是利用开源数据集进行标注训练所得到的。

[0007] 在一些实施例中，获取路侧单元中激光雷达采集的点云数据和摄像头采集的图像数据，包括：获取所述点云数据的时间戳信息；根据所述时间戳信息从摄像头采集的图像数
据集中获得与所述时间戳信息对应的图像数据。

[0008] 在一些实施例中，在将所述第一检测数据与所述第二检测数据进行数据融合之前，还包括：根据所述第一检测数据与所述第二检测数据进行目标一致性检测；所述第一检
测数据与所述第二检测数据进行数据融合，包括：对通过目标一致性检测的第一检测数据
与第二检测数据进行数据融合。

[0009] 在一些实施例中，根据所述第一检测数据与所述第二检测数据进行目标一致性检测，包括：分别根据第一检测数据和第二检测数据构建特征向量；对所述特征向量利用匈牙
利匹配检测算法进行目标一致性检测。

[0010] 在一些实施例中，所述第一检测数据和第二检测数据包括目标位置，分别根据第一检测数据和第二检测数据构建特征向量，包括：将第一检测数据和第二检测数据中的目
标位置转换到同一坐标系下，利用同一坐标系下的目标位置构建特征向量。

[0011] 在一些实施例中，将所述第一检测数据与所述第二检测数据进行数据融合，得到目标融合数据，包括：将第一检测数据中的目标位置和第二检测数据中的目标位置进行加
权融合，得到融合后的目标位置；根据所述目标融合数据，在所述点云数据上标注所述3D框
信息，包括：在所述点云数据中融合后的目标位置处标注所述3D框信息。

[0012] 依据本发明的第二方面，提供了一种点云数据中3D框的标注装置，包括：

[0013] 数据获取单元，用于获取路侧单元中激光雷达采集的点云数据和摄像头采集的图像数据，所述激光雷达和所述摄像头覆盖相同视野；目标检测单元，用于分别对所述点云数
据和所述图像数据进行目标检测，获取第一检测数据和第二检测数据，所述第一检测数据
关联目标的3D框信息；数据融合单元，用于将所述第一检测数据与所述第二检测数据进行
数据融合，得到目标融合数据；3D框标注单元，用于根据所述目标融合数据，在所述点云数
据上标注所述3D框信息。

[0014] 依据本发明的第三方面，提供了一种电子设备，包括处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述点云数据中
3D框的标注方法。

[0015] 依据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述点云数据中
3D框的标注方法。

[0016] 本发明采用的上述至少一个技术方案能够达到以下有益效果：对路侧单元的激光雷达和摄像头采集到的数据，先对数据进行目标检测，获取点云数据的3D框的粗标注结果，
再将图像数据的目标检测数据与点云数据的目标检测数据进行数据融合，提高点云数据中
目标的检测精度，利用具有更高检测精度的目标融合数据在点云数据上对3D框进行精细标
注，提高点云数据的3D框标注精度。

附图说明

[0017] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明
的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

[0018] 图1示出了根据本发明一个实施例的点云数据中3D框的标注方法流程示意图；

[0019] 图2示出了根据本发明一个实施例的激光雷达的激光线束分布示意图；

[0020] 图3示出了根据本发明一个实施例的点云数据中3D框的标注装置的框图；

[0021] 图4示出了根据本发明一个实施例的电子设备的结构示意图。

具体实施方式

[0022] 下面将参照附图更详细地描述本发明的示例性实施例。提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。虽然
附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应
被这里阐述的实施例所限制。

[0023] 在车路协同系统中，需要对路侧目标进行三维检测，以对路侧目标进行定位追踪。其中基于有监督的深度学习三维检测算法具有代价低、精度高的特点，因此基于有监督的
深度学习三维检测是路侧目标的常用检测方法之一。

[0024] 但是基于有监督的深度学习三维检测算法需要大量标注图像作为训练数据。现有技术中，三维点云数据的标注主要是采用人工标注矩形框的方法，如前文所述，人工标注矩
形框的方法人工成本高、标注效率低、数据标注的质量差。

[0025] 针对上述问题，本发明利用三维检测模型对点云数据的3D（3‑Degree，三维）框进行粗标注，再利用图像数据对点云图像中的目标位置进行校正，在校正后的位置处标注3D
框，提高点云数据3D框的标注精度。

[0026] 基于此，本发明实施例提供了一种点云数据中3D框的标注方法。

[0027] 图1示出了根据本发明一个实施例的点云数据中3D框的标注方法流程示意图，如图1所示，本实施例的方法至少包括步骤S110至步骤S130：

[0028] 步骤S110，获取路侧单元中激光雷达采集的点云数据和摄像头采集的图像数据，所述激光雷达和所述摄像头覆盖相同视野。

[0029] 在路侧场景中，通过路侧单元可以获得具有相同视野的点云数据和图像数据。实际应用中，路侧单元包括激光雷达、摄像头和计算单元。其中若激光雷达为全视场角，例如
激光雷达可进行360全视野扫描，而摄像头为局部视场角，例如摄像头的视场角为120度，则
路侧单元应包括至少一个可360度扫描的激光雷达和至少三个视场角为120度的摄像头，这
里至少一个激光雷达和至少三个摄像头的安装应满足激光雷达和摄像头能够覆盖相同的
视野。

[0030] 举例来说，如图2所示，若路侧单元中的激光雷达采用速腾32线5515型号，该型号的激光雷达在水平安装情况下，线束分布为向上15度到向下55度，更适合路侧需求，安装位
置离地面4米左右较佳。

[0031] 在路侧单元包括多个摄像头时，应利用计算单元将多个摄像头相同时间采集的图像数据进行拼接处理，得到一个完整的图像拼接数据，以对该图像拼接数据进行目标检测。

[0032] 本实施例中获取的点云数据和图像数据是时间对齐的数据。由于激光雷达的帧率与摄像头的帧率不同，激光雷达的帧率相对较小，为获得时间对齐的点云数据和图像数据，
应利用激光雷达的硬件信号触发摄像头，使点云数据和图像数据具有相同的数据采集时
间。

[0033] 步骤S120，分别对点云数据和图像数据进行目标检测，获取第一检测数据和第二检测数据，第一检测数据关联目标的3D框信息。

[0034] 本实施例中对点云数据和图像数据采用不同的目标检测算法，点云数据的目标检测是基于训练后的三维检测模型，图像数据的目标检测是基于图像检测算法。

[0035] 实际应用中，点云数据和图像数据可能包括一个或多个目标，当包括一个目标时，对点云数据的检测可以得到该目标的三维检测结果，该三维检测结果包括第一检测数据及
该目标的3D框信息；对图像数据的检测可以得到该目标的二维检测结果，该二维检测结果
包括第二检测数据。当包括多个目标时，对点云数据的检测可以得到每个目标的三维检测
结果，每个三维检测结果包括该目标的3D框信息；对图像数据的检测可以得到每个目标的
二维检测结果。这里第一检测数据和第二检测数据从数据类型上来说包括目标位置、目标
类型等，3D框信息包括但不限于长宽高信息和方向信号。

[0036] 本实施例中，不限定图像数据的图像类型，图像数据例如可以是摄像头采集的灰度图像、RGB图像等。

[0037] 步骤S130，将第一检测数据与第二检测数据进行数据融合，得到目标融合数据。

[0038] 步骤S140，根据所述目标融合数据，在所述点云数据上标注所述3D框信息。

[0039] 摄像头具有较高的分辨率和辨识能力，通过图像数据的目标检测所得到的第二检测数据具有较高的精度。将图像数据的第二检测数据与点云数据的第一检测数据进行融
合，所得到的目标融合数据相比于第一检测数据，具有更高的精度，利用目标融合数据对点
云数据的3D框进行精细标注，可以提高3D框的标注精度。

[0040] 需要说明的是，本实施例的标注方法是结合路侧场景说明的，在路侧场景下，本实施例的上述步骤可以由路侧单元执行，目标可以是车辆或者行人等任何需要进行检测的路
侧对象，待标注的目标可以是一个，也可以同时标注多个目标。在实际应用中，本实施例的
标注方法还可以应用到其他场景，只需应用场景包括本实施例所需的360度扫描的激光雷
达和全视场角的摄像头。

[0041] 可见，图1所示的方法，对路侧单元的激光雷达和摄像头采集到的数据，先对数据进行目标检测，获取点云数据的3D框的粗标注结果，再将图像数据的目标检测数据与点云
数据的目标检测数据进行数据融合，提高点云数据中目标的检测精度，利用具有更高检测
精度的目标融合数据在点云数据上对3D框进行精细标注，提高点云数据的3D框标注精度。

[0042] 本实施例是采用多传感器后融合的方式，每个传感器各自独立处理生成的目标数据，处理过程无需人工参与，显著提高了标注效率。当所有传感器完成目标数据生成后，对
目标数据进行数据融合，提升目标数据精度，利用具有更高精度的融合数据对点云数据的
3D框进行标注，提升数据标注的质量，为后续路侧目标的精准追踪提供基础。

[0043] 多传感器后融合方式的主要问题是不同传感器的数据帧率可能不同，难以进行匹配。针对这一问题，本发明实施例以硬件同步的方式保证摄像头和激光雷达的数据具有相
同的时间戳信息，以便于根据点云数据的时间戳信息获取与点云数据匹配的图像数据。

[0044] 由于激光雷达的帧率小于摄像头的帧率，因此本实施例利用帧率较小的激光雷达的硬件信号触发帧率较大的摄像头，使两者的数据时间戳对齐。这样，获取路侧单元中激光
雷达采集的点云数据和摄像头采集的图像数据，包括：获取点云数据的时间戳信息；根据时
间戳信息从摄像头采集的图像数据集中获得与时间戳信息对应的图像数据。

[0045] 这里对时间戳信息对应的图像数据可以理解为：若图像数据的时间戳信息与点云数据的时间戳信息表明两者对应为同一时间，例如当两个时间戳信息中的数据采集时间的
误差在合理范围内，则判断图像数据与点云数据时间对齐。

[0046] 举例来说，当激光雷达在每帧点云图像的扫描初始时刻会生成脉冲信号，利用该脉冲信号触发摄像头拍摄图像数据。这样，激光雷达和摄像头将在同一时刻进行图像采集，
所采集到的每帧点云数据和每帧图像数据具有相同的时间戳信息，这样基于时间戳信息筛
选出相互匹配的点云数据和图像数据，利用筛选出的图像数据对点云数据进行校正。

[0047] 需要说明的是，在激光雷达和摄像头采集数据之前，本实施例对激光雷达和摄像头进行时间同步，使两者具有相同的时间系统，保证可以基于时间戳信息进行数据匹配。以
及在激光雷达和摄像头采集数据之前，本实施例还对激光雷达和摄像头进行联合标定，将
激光雷达和摄像头标定到同一坐标系下，以便于后续对目标数据进行一致性检测。

[0048] 在一些实施例中，通过下述方法对点云数据进行目标检测：利用三维检测模型对点云数据进行目标检测，得到目标的第一检测数据及目标的3D框信息；这里三维检测模型
是利用开源数据集进行标注训练所得到的。当然，实际应用中，本领域技术人员也可以采用
其他框架来搭建三维检测模型，例如基于常用的目标检测追踪框架来进行三维目标的检
测。

[0049] 由于CenterPoint（暂无明确的中文译文）框架搭建出的目标检测追踪模型对点云数据的处理卓有成效，因此本实施例中的三维检测模型是基于CenterPoint框架构建而成。

[0050] 本实施例中的三维检测模型是采用开源数据集标注训练所得到的，由于使用开源数据集训练得到的三维检测模型，对特定应用场景下的点云数据进行标注时，3D框的标注
精度较低。例如利用训练后的CenterPoint模型对路侧场景下的点云数据进行标注时，由于
模型对点云数据中的路侧目标的位置检测精度较低，而对路侧目标本身的形态检测精度是
较高的，因此本实施例是结合图像数据确定点云数据中3D框的最终标定位置，3D框是复用
模型输出的值。

[0051] 基于此，因此本实施例将点云数据中的目标位置与图像数据中同一目标的目标位置进行融合，利用高精度的图像数据提升点云数据中目标位置的定位精度。

[0052] 在一些实施例中，对图像数据的目标检测方法例如包括HOG（Histogram of Oriented Gradient，方向梯度直方图）特征算法、DPM（Deformable Parts Model，可形变部
件模型）模型等传统目标检测算法，或者基于区域建议的神经网络算法、基于目标回归的神
经网络算法、基于搜索的神经网络算法等等。对图像数据进行目标检测后，会获得各个目标
的位置信息和类别信息，应注意的是，此时获得的目标位置信息是相对于图像数据的位置
信息，在进行目标一致性检测前，还应对第二检测数据中的位置信息进行坐标转换处理。

[0053] 本实施例中第二检测数据所包括的类别信息指示了目标的属性信息，因此，可以预先基于目标类别构建出每类目标对应的2D框，例如预先构建出行人对应的2D框、预先构
建出各种车辆对应的2D框，这样在识别出目标的类别信息之后，就可以确定出该目标的2D
框信息，基于2D框信息对图像数据进行标注，以获得标注后的图像数据，为其他应用场景提
供数据支撑。

[0054] 当然，现有技术中的部分目标检测算法可以直接得到目标的2D框信息，实际应用中，本领域技术人员可以灵活选择。

[0055] 在获得第一检测数据和第二检测数据之后，根据所述第一检测数据与所述第二检测数据进行目标一致性检测，对通过目标一致性检测的第一检测数据与第二检测数据进行
数据融合，保证数据融合的可靠性。

[0056] 本实施例中的目标一致性检测包括：分别根据第一检测数据和第二检测数据构建特征向量，对所述特征向量利用匈牙利匹配检测算法进行目标一致性检测。

[0057] 由于对图像数据和点云数据的目标检测过程中，可能检测出多目标。针对此情况，本实施例对各个目标的第一检测数据，根据其目标位置和目标类别为该目标构建第一类特
征向量，以及对各个目标的第二检测数据，根据其目标位置和目标类别为该目标构建第二
类特征向量。

[0058] 对各个第一类特征向量和各个第二类特征向量采用匈牙利匹配检测算法，计算任一第一类特征向量与任一第二类特征向量之间的匹配结果；当某个第一类特征向量与某个
第二类特征向量的匹配结果为第一数值时，确定该第一类特征向量对应的目标与该第二类
特征向量对应的目标通过目标一致性检测；当某个第一类特征向量与某个第二类特征向量
的匹配结果为第二数值时，确定该第一类特征向量对应的目标与该第二类特征向量对应的
目标没有通过目标一致性检测。

[0059] 举例来说，假设对图像数据进行目标检测，检测出两个二维目标，分别为T2D1和T2D2。同样的，假设对点云数据进行目标检测，检测出两个三维目标，分别为T3D1和T3D2。利用
目标数据的目标位置和目标类别为每个目标构建特征向量，得到二维目标T2D1对应的第一
类特征向量V2D 1，二维目标T2D2对应的第一类特征向量V2D 2，三维目标T3D1对应的第二类特
征向量V3D 1，三维目标T3D2对应的第二类特征向量V3D 2。

[0060] 当然，当目标数据中还包括其他参数时，也可以使用其他参数构建特征向量，使用越多不同种类的参数来构建特征向量，那么基于特征向量来进行一致性检测的准确度越
高，本领域技术人员可以根据应用场景选择合适的参数进行特征向量的构建。

[0061] 将上述四个特征向量作为匈牙利匹配检测算法的输入，根据匈牙利匹配检测算法的输出可以确定出目标的一致性匹配情况，假设四个输出分别是Out1，Out2，Out3 和Out4，
其中Out1表示特征向量V2D 1和V3D 1的匹配情况，Out2表示特征向量V2D 2和V3D 1的匹配情
况，Out3表示特征向量V2D 1和V3D 2的匹配情况，Out2表示特征向量V2D 2和V3D 2的匹配情
况，若输出的值为1，表示相应的特征向量匹配，则特征向量对应的目标通过一致性检测，若
输出的值为0，表示相应的特征向量不匹配，则特征向量对应的目标没有通过一致性检测。

[0062] 由于对图像数据和点云数据进行目标检测时，所得到的检测数据中的目标位置是相对于数据的位置信息。基于此，本实施例在构建特征向量之前，还将第一检测数据中的目
标位置和第二检测数据中的目标位置转换到同一坐标系下，利用同一坐标系下的目标位置
构建特征向量。

[0063] 匈牙利匹配检测算法是经典的解决二部图最小权值匹配问题的算法，尤其适用于多目标匹配，本实施例示出了匈牙利匹配检测算法的目标一致性检测，实际应用中，本领域
技术人员还可以参考其他多目标匹配算法，例如基于欧氏距离的阈值判断算法等等。

[0064] 对于通过一致性检测的第一检测数据和第二检测数据，将第一检测数据中的目标位置和第二检测数据中的目标位置进行加权融合，得到融合后的目标位置；例如设置第一
检测数据中的目标位置对应的权重为0.4，设置第二检测数据中的目标位置对应的权重为
0.6，将两者的目标位置按照该权重进行加权求和，得到融合后的目标位置，在点云数据中
融合后的目标位置处标注3D框信息，即将3D框标注在点云数据融合后的目标位置处，提高
点云数据中3D框的标注精度。

[0065] 由于摄像头具有较高的分辨率和辨识能力，因此，对于通过目标一致性检测的图像数据和点云数据，以图像数据为主，点云数据为辅，进行数据融合。即如上所述，设置第二
检测数据中的目标位置对应的权重大于第一检测数据中的目标位置对应的权重，这样使得
融合后的目标位置具有更高的精度。

[0066] 与前述实施例中的点云数据中3D框的标注方法同属于一个技术构思，本发明实施例还提供了一种点云数据中3D框的标注装置。

[0067] 图3示出了根据本发明一个实施例的点云数据中3D框的标注装置的框图，如图3所示，点云数据中3D框的标注装置300包括：

[0068] 数据获取单元310，用于获取路侧单元中激光雷达采集的点云数据和摄像头采集的图像数据，所述激光雷达和所述摄像头覆盖相同视野；

[0069] 目标检测单元320，用于分别对所述点云数据和所述图像数据进行目标检测，获取第一检测数据和第二检测数据，所述第一检测数据关联目标的3D框信息；

[0070] 数据融合单元330，用于将所述第一检测数据与所述第二检测数据进行数据融合，得到目标融合数据；

[0071] 3D框标注单元340，用于根据所述目标融合数据，在所述点云数据上标注所述3D框信息。

[0072] 在一些实施例中，目标检测单元320，用于利用三维检测模型对点云数据进行目标检测，得到目标的第一检测数据及目标的3D框信息；所述三维检测模型是利用开源数据集
进行标注训练所得到的。

[0073] 在一些实施例中，数据获取单元310，用于获取所述点云数据的时间戳信息；根据所述时间戳信息从摄像头采集的图像数据集中获得与所述时间戳信息对应的图像数据。

[0074] 在一些实施例中，点云数据中3D框的标注装置300还包括目标检测单元，用于在将所述第一检测数据与所述第二检测数据进行数据融合之前，根据所述第一检测数据与所述
第二检测数据进行目标一致性检测。

[0075] 相应的，数据融合单元330，用于对通过目标一致性检测的第一检测数据与第二检测数据进行数据融合。

[0076] 在一些实施例中，目标检测单元具体用于分别根据第一检测数据和第二检测数据构建特征向量；对所述特征向量利用匈牙利匹配检测算法进行目标一致性检测。

[0077] 在一些实施例中，所述第一检测数据和第二检测数据包括目标位置，目标检测单元还用于将第一检测数据和第二检测数据中的目标位置转换到同一坐标系下，利用同一坐
标系下的目标位置构建特征向量。

[0078] 在一些实施例中，数据融合单元330还用于将第一检测数据中的目标位置和第二检测数据中的目标位置进行加权融合，得到融合后的目标位置；相应的，3D框标注单元340
用于在所述点云数据中融合后的目标位置处标注所述3D框信息。

[0079] 能够理解，上述点云数据中3D框的标注装置，能够实现前述实施例中提供的点云数据中3D框的标注方法的各个步骤，关于点云数据中3D框的标注方法的相关阐释均适用于
点云数据中3D框的标注装置，此处不再赘述。

[0080] 需要说明的是：

[0081] 图4示出了根据本发明一个实施例一种电子设备示意图。请参考图4，在硬件层面，该电子设备包括处理器和存储器，可选地还包括内部总线、网络接口。其中，存储器可能包
含内存，例如高速随机存取存储器(Random‑Access Memory，RAM)，也可能还包括非易失性
存储器（non‑volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括
其他业务所需要的硬件。

[0082] 处理器、接口模块、通信模块和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(Peripheral 
Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard 
Architecture，扩展工业标准结构）总线等。总线可以分为地址总线、数据总线、控制总线
等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总
线。

[0083] 存储器，用于存放计算机可执行指令。存储器通过内部总线向处理器提供计算机可执行指令。

[0084] 处理器，执行存储器所存放的计算机可执行指令，并具体用于实现以下操作：

[0085] 获取路侧单元中激光雷达采集的点云数据和摄像头采集的图像数据，所述激光雷达和所述摄像头覆盖相同视野；分别对所述点云数据和所述图像数据进行目标检测，获取
第一检测数据和第二检测数据，所述第一检测数据关联目标的3D框信息；将所述第一检测
数据与所述第二检测数据进行数据融合，得到目标融合数据；根据所述目标融合数据，在所
述点云数据上标注所述3D框信息。

[0086] 上述如本发明图1所示实施例揭示的点云数据中3D框的标注方法执行的功能可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能
力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件
形式的指令完成。

[0087] 本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序当被处理器执行时，实现前述的点云数据中3D框的标注
方法。

[0088] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且，本发明可采用在一个或多个包含有计算机可用程序代码的计算机可用
存储介质（包括但不限于磁盘存储器、CD‑ROM、光学存储器等）上实施的计算机程序产品的
形式。

[0089] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或
多个方框中指定的功能。

[0090] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一
个方框或多个方框中指定功能的步骤。

[0091] 在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

[0092] 内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介
质的示例。

[0093] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调
制的数据信号和载波。

[0094] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包
括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要
素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的
过程、方法、商品或者设备中还存在另外的相同要素。

[0095] 应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离
本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第
一信息。

[0096] 以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、
改进等，均应包含在本发明的权利要求范围之内。