障碍物识别方法、装置、系统、存储介质和电子设备

摘要

本申请提供一种障碍物识别方法、装置、系统、存储介质和电子设备，属于计算机视觉技术领域，涉及人工智能和机器学习技术。该方法在目标场景对应的雷达数据中，基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特征，确定至少一个第一障碍物的第一预测物体类别，并获取目标场景对应的目标图像，确定目标图像中至少一个第二障碍物的第二预测物体类别，将雷达数据投影至目标图像中，基于至少一个第一障碍物的第一预测物体类型，以及至少一个第一障碍物在目标图像中的投影区域对应的第二障碍物的第二预测物体类别，确定至少一个第一障碍物对应的目标物体类别。通过该方法，可以更准确地确定障碍物的物体类别，提高障碍物识别结果的准确性。

权利要求

1.一种障碍物识别方法，其特征在于，包括：在目标场景对应的雷达数据中，基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特征，确定所述至少一个第一障碍物的第一预测物体类别；所述第一预测物体类别包括静态障碍物和动态障碍物；

在所述目标场景对应的目标图像中，基于至少一个第二障碍物关联的像素点表征的障碍物图像特征，确定所述至少一个第二障碍物的第二预测物体类别；

对于各个第一障碍物，分别执行以下操作：根据所述第一障碍物关联的雷达数据点的坐标数据和所述第一障碍物的第一预测物体类别，确定所述第一障碍物在所述目标图像中的投影区域；

根据所述投影区域中的像素点关联的第二障碍物的第二预测物体类别，确定所述投影区域对应的第二障碍物的第二预测物体类别；

将所述投影区域对应的第二障碍物的第二预测物体类别，作为所述第一障碍物对应的目标物体类别。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述至少一个第一障碍物关联的雷达数据点的坐标数据，确定所述至少一第一障碍物的物理位置；或者，

根据所述至少一个第一障碍物在所述目标图像中的投影区域关联的像素点的坐标数据，确定所述至少一个第一障碍物的物理位置。

3.根据权利要求1所述的方法，其特征在于，所述障碍物形态特征包括第一障碍物的运动状态；所述基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特征，确定所述至少一个第一障碍物的第一预测物体类别，包括：对于各个雷达数据点，执行以下操作：根据所述雷达数据点的速度数据确定所述雷达数据点的速度值；所述雷达数据点的速度数据用于表征与所述雷达数据点关联的第一障碍物的运动状态；

若所述雷达数据点的速度值大于或等于设定速度阈值，确定所述雷达数据点关联的第一障碍物属于动态障碍物；若所述雷达数据点的速度值小于设定速度阈值，确定所述雷达数据点关联的第一障碍物属于静态障碍物。

4.根据权利要求3所述的方法，其特征在于，所述静态障碍物包括多种静态物体类别；

确定所述雷达数据点关联的第一障碍物属于静态障碍物之后，所述基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特征，确定所述至少一个第一障碍物的第一预测物体类别，还包括：

采用设定数目的障碍物参考模型，分别对属于静态障碍物的第一障碍物关联的静态雷达数据点的坐标数据进行拟合；其中，每个障碍物参考模型对应一种静态物体类别；

对于各个静态雷达数据点，执行以下操作：根据拟合结果确定所述静态雷达数据点符合的障碍物参考模型，并将所述静态雷达数据点符合的障碍物参考模型对应的静态物体类别作为所述静态雷达数据点关联的第一障碍物的第一预测物体类别。

5.根据权利要求3所述的方法，其特征在于，所述动态障碍物包括多种动态物体类别；

确定所述雷达数据点关联的第一障碍物属于动态障碍物之后，所述基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特征，确定所述至少一个第一障碍物的第一预测物体类别，还包括：

对属于动态障碍物的第一障碍物关联的动态雷达数据点的坐标数据进行聚类，得到多个动态雷达数据点集合；其中，每个动态雷达数据点集合对应一个第一障碍物；

对于各个动态雷达数据点集合，执行以下操作：根据所述动态雷达数据点集合中的动态雷达数据点的坐标数据和速度数据，确定所述动态雷达数据点集合对应的第一障碍物的尺寸和运动速度；

根据所述动态雷达数据点集合对应的第一障碍物的尺寸和运动速度，确定所述动态雷达数据点集合对应的动态物体类别；

将所述动态雷达数据点集合对应的动态物体类别作为所述动态雷达数据点集合对应的第一障碍物的第一预测物体类别。

6.根据权利要求1所述的方法，其特征在于，根据所述投影区域中的像素点关联的第二障碍物的第二预测物体类别，确定所述投影区域对应的第二障碍物的第二预测物体类别，包括：

确定所述投影区域中各个像素点关联的第二障碍物的第二预测物体类别为候选第二预测物体类别；

对于各个候选第二预测物体类别，执行以下操作：将所述投影区域内属于所述候选第二预测物体类别的像素点数量与所述投影区域包含的像素点总数量的比值，作为所述候选第二预测物体类别的概率；

将概率最大且概率大于或等于设定阈值的候选第二预测物体类别，作为所述投影区域对应的第二障碍物的第二预测物体类别。

7.根据权利要求1所述的方法，其特征在于，所述基于至少一个第二障碍物关联的像素点表征的障碍物图像特征，确定所述至少一个第二障碍物的第二预测物体类别，包括：识别所述目标图像中至少一个第二障碍物的轮廓特征；

根据至少一个第二障碍物的轮廓特征，将所述目标图像分割得到至少一个区域块；

根据至少一个区域块中包含的像素点表征的障碍物图像特征，确定至少一个区域块对应的第二障碍物的第二预测物体类别。

8.一种障碍物识别装置，其特征在于，包括：第一物体识别单元，用于在目标场景对应的雷达数据中，基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特征，确定所述至少一个第一障碍物的第一预测物体类别；所述第一预测物体类别包括静态障碍物和动态障碍物；

第二物体识别单元，用于在所述目标场景对应的目标图像中，基于至少一个第二障碍物关联的像素点表征的障碍物图像特征，确定所述至少一个第二障碍物的第二预测物体类别；

第三物体识别单元，用于对于各个第一障碍物，根据所述第一障碍物关联的雷达数据点的坐标数据和所述第一障碍物的第一预测物体类别，确定所述第一障碍物在所述目标图像中的投影区域；根据所述投影区域中的像素点关联的第二障碍物的第二预测物体类别，确定所述投影区域对应的第二障碍物的第二预测物体类别；将所述投影区域对应的第二障碍物的第二预测物体类别，作为所述第一障碍物对应的目标物体类别。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：物体定位单元，用于根据所述至少一个第一障碍物关联的雷达数据点的坐标数据，确定至少一个第一障碍物的物理位置；或者，根据至少一个第一障碍物在所述目标图像中的投影位置关联的像素点的坐标数据，确定至少一个第一障碍物的物理位置。

10.根据权利要求8所述的装置，其特征在于，所述障碍物形态特征包括第一障碍物的运动状态；所述第一物体识别单元，具体用于：对于各个雷达数据点，根据所述雷达数据点的速度数据确定所述雷达数据点的速度值；所述雷达数据点的速度数据用于表征与所述雷达数据点关联的第一障碍物的运动状态；若所述雷达数据点的速度值大于或等于设定速度阈值，确定所述雷达数据点关联的第一障碍物属于动态障碍物；若所述雷达数据点的速度值小于设定速度阈值，确定所述雷达数据点关联的第一障碍物属于静态障碍物。

11.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1 7中任一项所述的方法。

~

12.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1 7中~

任一项所述的方法。

13.一种障碍物识别系统，其特征在于，包括权利要求12所述的电子设备以及与所述电子设备连接的雷达传感器和图像采集传感器；

所述雷达传感器用于采集目标场景对应的雷达数据；

所述图像采集传感器用于采集目标场景对应的目标图像。

说明书

障碍物识别方法、装置、系统、存储介质和电子设备

技术领域

[0001] 本申请涉及计算机视觉技术领域，更具体地说，涉及一种障碍物识别方法、装置、系统、存储介质和电子设备。

背景技术

[0002] 随着对传感器数据的处理能力不断提高，传感器在感知周围环境和物体的场景中得到广泛应用。比如，在自动驾驶领域和智能机器人领域，均可以采用雷达传感器探测周围
环境中的障碍物，根据探测结果规划行进策略，以避免发生碰撞。

[0003] 对雷达传感器采集的雷达数据进行处理，可以较为准确地确定障碍物的方位，但根据雷达数据确定的障碍物的类别则无法保证准确度，从而影响最终得出的行进策略。例
如，在自动驾驶领域，很可能会由于针对不同类别的障碍物的误检，导致自动驾驶车辆误刹
车或其他误操作行为，影响自动驾驶的安全性。

发明内容

[0004] 本申请实施例提供了一种障碍物识别方法、装置、系统、存储介质和电子设备，结合雷达数据和图像进行障碍物识别，可以提高识别结果的准确性。

[0005] 为达到上述目的，本申请实施例的技术方案是这样实现的：

[0006] 第一方面，本申请实施例提供一种障碍物识别方法，包括：

[0007] 在目标场景对应的雷达数据中，基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特征，确定所述至少一个第一障碍物的第一预测物体类别；

[0008] 在所述目标场景对应的目标图像中，基于至少一个第二障碍物关联的像素点表征的障碍物图像特征，确定所述至少一个第二障碍物的第二预测物体类别；

[0009] 将所述雷达数据投影至所述目标图像中，基于所述至少一个第一障碍物的第一预测物体类型，以及所述至少一个第一障碍物在所述目标图像中的投影区域对应的第二障碍
物的第二预测物体类别，确定所述至少一个第一障碍物对应的目标物体类别。

[0010] 第二方面，本申请实施例提供一种障碍物识别装置，包括：

[0011] 第一物体识别单元，用于在目标场景对应的雷达数据中，基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特征，确定所述至少一个第一障碍物的第一预测物
体类别；

[0012] 第二物体识别单元，用于在所述目标场景对应的目标图像中，基于至少一个第二障碍物关联的像素点表征的障碍物图像特征，确定所述至少一个第二障碍物的第二预测物
体类别；

[0013] 第三物体识别单元，用于将所述雷达数据投影至所述目标图像中，基于所述至少一个第一障碍物的第一预测物体类型，以及所述至少一个第一障碍物在所述目标图像中的
投影区域对应的第二障碍物的第二预测物体类别，确定所述至少一个第一障碍物对应的目
标物体类别。

[0014] 在一种可选的实施例中，所述第一预测物体类别包括静态障碍物和动态障碍物；所述障碍物形态特征包括第一障碍物的运动状态；所述第一物体识别单元，具体用于：

[0015] 对于各个雷达数据点，根据所述雷达数据点的速度数据确定所述雷达数据点的速度值；所述雷达数据点的速度数据用于表征与所述雷达数据点关联的第一障碍物的运动状
态；若所述雷达数据点的速度值大于或等于设定速度阈值，确定所述雷达数据点关联的第
一障碍物属于动态障碍物；若所述雷达数据点的速度值小于设定速度阈值，确定所述雷达
数据点关联的第一障碍物属于静态障碍物。

[0016] 在一种可选的实施例中，所述静态障碍物包括多种静态物体类别；所述第一物体识别单元，还用于：

[0017] 采用设定数目的障碍物参考模型，分别对属于静态障碍物的第一障碍物关联的静态雷达数据点的坐标数据进行拟合；其中，每个障碍物参考模型对应一种静态物体类别；

[0018] 对于各个静态雷达数据点，根据拟合结果确定所述静态雷达数据点符合的障碍物参考模型，并将所述静态雷达数据点符合的障碍物参考模型对应的静态物体类别作为所述
静态雷达数据点关联的第一障碍物的第一预测物体类别。

[0019] 在一种可选的实施例中，所述动态障碍物包括多种动态物体类别；所述第一物体识别单元，还用于：

[0020] 对属于动态障碍物的第一障碍物关联的动态雷达数据点的坐标数据进行聚类，得到多个动态雷达数据点集合；其中，每个动态雷达数据点集合对应一个第一障碍物；

[0021] 对于各个动态雷达数据点集合，执行以下操作：根据所述动态雷达数据点集合中的动态雷达数据点的坐标数据和速度数据，确定所述动态雷达数据点集合对应的第一障碍
物的尺寸和运动速度；

[0022] 根据所述动态雷达数据点集合对应的第一障碍物的尺寸和运动速度，确定所述动态雷达数据点集合对应的动态物体类别；

[0023] 将所述动态雷达数据点集合对应的动态物体类别作为所述动态雷达数据点集合对应的第一障碍物的第一预测物体类别。

[0024] 在一种可选的实施例中，所述第三物体识别单元，具体用于：对于各个第一障碍物，根据所述第一障碍物关联的雷达数据点的坐标数据和所述第一障碍物的第一预测物体
类型，确定所述第一障碍物在所述目标图像中的投影区域；

[0025] 根据所述投影区域中的像素点关联的第二障碍物的第二预测物体类别，确定所述投影区域对应的第二障碍物的第二预测物体类别；

[0026] 将所述投影区域对应的第二障碍物的第二预测物体类别，作为所述第一障碍物对应的目标物体类别。

[0027] 在一种可选的实施例中，所述第三物体识别单元，具体用于：

[0028] 确定所述投影区域中各个像素点关联的第二障碍物的第二预测物体类别为候选第二预测物体类别；对于各个候选第二预测物体类别，将所述投影区域内属于所述候选第
二预测物体类别的像素点数量与所述投影区域包含的像素点总数量的比值，作为所述候选
第二预测物体类别的概率；所述候选第二预测物体类别为所述投影区域中各个像素点关联
的第二障碍物的第二预测物体类别中的一个；

[0029] 将概率最大且概率大于或等于设定阈值的候选第二预测物体类别，作为所述投影区域对应的第二障碍物的第二预测物体类别。

[0030] 在一种可选的实施例中，所述第二物体识别单元，具体用于：

[0031] 识别所述目标图像中至少一个第二障碍物的轮廓特征；

[0032] 根据至少一个第二障碍物的轮廓特征，将所述目标图像分割得到至少一个区域块；

[0033] 根据至少一个区域块中包含的像素点表征的障碍物图像特征，确定至少一个区域块对应的第二障碍物的第二预测物体类别。

[0034] 第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面任一项所记载的
障碍物识别方法。

[0035] 第四方面，本申请实施例还提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，
使得所述处理器实现第一方面任一项所记载的障碍物识别方法。

[0036] 第五方面，本申请实施例还提供一种障碍物识别系统，包括第四方面所记载的电子设备以及与所述电子设备连接的雷达传感器和图像采集传感器；

[0037] 所述雷达传感器用于采集目标场景对应的雷达数据；

[0038] 所述图像采集传感器用于采集目标场景对应的目标图像。

[0039] 本申请实施例的障碍物识别方法、装置、系统、存储介质和电子设备，首先在目标场景对应的雷达数据中，基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特
征，确定至少一个第一障碍物的第一预测物体类别，并获取目标场景对应的目标图像，确定
目标图像中至少一个第二障碍物的第二预测物体类别，然后将雷达数据投影至目标图像
中，基于至少一个第一障碍物的第一预测物体类型，以及至少一个第一障碍物在目标图像
中的投影区域对应的第二障碍物的第二预测物体类别，确定至少一个第一障碍物对应的目
标物体类别。通过上述方法，将目标场景对应的雷达数据和目标图像进行融合，对目标场景
中的障碍物进行识别，可以更准确地确定障碍物的物体类别，提高障碍物识别结果的准确
性。

附图说明

[0040] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本
领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其
他的附图。

[0041] 图1为本申请实施例提供的一种障碍物识别系统的结构示意图；

[0042] 图2为本申请实施例提供的一种障碍物识别方法的流程示意图；

[0043] 图3为本申请实施例提供的另一种障碍物识别方法的流程示意图；

[0044] 图4为本申请实施例提供的图像采集传感器采集的一种目标图像的示意图；

[0045] 图5为本申请实施例提供的雷达传感器采集的一种雷达数据的示意图；

[0046] 图6为本申请实施例提供的将雷达数据投影至目标图像后得到的一种图像的示意图；

[0047] 图7为本申请实施例提供的一种极坐标系的示意图；

[0048] 图8为本申请实施例提供的一种护栏反射的雷达数据点的示意图；

[0049] 图9为本申请实施例提供的一种障碍物识别装置的结构示意图；

[0050] 图10为本申请实施例提供的另一种障碍物识别装置的结构示意图；

[0051] 图11为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

[0052] 为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施
例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的
所有其它实施例，都属于本申请保护的范围。

[0053] 需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备
不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、
方法、产品或设备固有的其它步骤或单元。

[0054] 以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

[0055] (1)图像语义信息：采用神经网络模型或其他方式，根据图像中各个像素点的像素值确定图像中各个物体的轮廓边界，沿各个物体的轮廓边界将图像分割为多个区域块，分
别根据各个区域块中包含的各个像素点表征的图像特征，预测各个区域块对应的物体的物
体类别。上述过程中图像中的各个像素点表征的图像特征可以称为图像语义信息，根据图
像语义信息可以得到图像中各个物体的预测物体类别。

[0056] (2)雷达语义信息：根据雷达传感器采集的雷达数据中的各个雷达数据点的坐标信息或速度数据等，确定各个雷达数据点所属的物体，并预测各个物体的物体类别。上述过
程中各个雷达数据点表征的物体特征可以称为雷达语义信息，根据雷达语义信息可以得到
雷达数据中各个物体的预测物体类别。

[0057] (3)毫米波雷达：是工作在毫米波波段(Millimeter Wave)探测的雷达。通常毫米波是指30GHz～300GHz频段(波长为1mm～10mm)的雷达波，毫米波的波长介于微波和厘米波
之间。与红外雷达或激光雷达相比，毫米波雷达穿透雾、烟、灰尘的能力强；并且，毫米波雷
达采集的雷达数据不仅包括各个雷达点的坐标信息，还包括各个雷达点的速度数据。

[0058] 下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

[0059] 文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或
者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的
含义是两个或两个以上。

[0060] 本申请实施例提供的障碍物识别系统的结构示意图参见图1所示，可以包括雷达传感器100、图像采集传感器200和数据处理设备300，本申请实施例提供的障碍物识别方法
可以由数据处理设备300执行。雷达传感器100、图像采集传感器200和数据处理设备300可
以通过数据线或总线连接，其中，雷达传感器100用于采集目标场景对应的雷达数据，可以
采用毫米波雷达。图像采集传感器200用于采集目标场景对应的目标图像，可以采用单目相
机或RGB相机等。数据处理设备300为具有计算能力的电子设备，用于根据图像采集传感器
200采集的目标图像和雷达传感器100采集的雷达数据确定目标场景中障碍物的位置及物
体类别。

[0061] 示例性地，本申请实施例提供的障碍物识别系统可以安装在车辆上，对车辆前方及周围的环境进行探测，确定可能影响车辆行驶的障碍物的位置及物体类别，以在车辆自
动驾驶过程中辅助规划行进策略，避免发生碰撞。该障碍物识别系统也可以安装在智能机
器人，如扫地机器人上，对机器人周边环境进行探测，以辅助规划行进策略。在安装雷达传
感器和图像传感器时，需要保持二者方向一致，视野重叠。

[0062] 目前，数据处理设备300对雷达传感器100采集的雷达数据进行处理，可以较为准确地确定障碍物的方位，但根据雷达数据确定的障碍物的类别则无法保证准确度，从而影
响最终得出的行进策略。例如，在自动驾驶领域，很可能会由于针对不同类别的障碍物的误
检，导致自动驾驶车辆误刹车或其他误操作行为，影响自动驾驶的安全性。为了解决这一问
题，本申请实施例提供了一种障碍物识别方法、装置、系统、存储介质和电子设备，首先在目
标场景对应的雷达数据中，基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态
特征，确定至少一个第一障碍物的第一预测物体类别，并获取目标场景对应的目标图像，确
定目标图像中至少一个第二障碍物的第二预测物体类别，然后将雷达数据投影至目标图像
中，基于至少一个第一障碍物的第一预测物体类型，以及至少一个第一障碍物在目标图像
中的投影区域对应的第二障碍物的第二预测物体类别，确定至少一个第一障碍物对应的目
标物体类别。通过上述方法，将目标场景对应的雷达数据和目标图像进行融合，对目标场景
中的障碍物进行识别，可以更准确地确定障碍物的物体类别，提高障碍物识别结果的准确
性。

[0063] 本申请实施例涉及人工智能(Artificial Intelligence,AI)和机器学习技术，基于人工智能中的计算机视觉(Computer Vision,CV)技术和机器学习(Machine Learning,
ML)而设计。

[0064] 人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话
说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能
以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原
理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技
术、语音处理技术、以及机器学习/深度学习等几大方向。

[0065] 随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、图像检索、视频监控、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器
人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越
重要的价值。

[0066] 计算机视觉技术是人工智能的重要应用，其研究相关的理论和技术，试图建立能够从图像、视频或者多维数据中获取信息，以代替人的视觉判读的人工智能系统。典型的计
算机视觉技术通常包括图像处理和视频分析。本申请实施例涉及到对目标图像进行图像分
割和物体识别，属于图像处理的一种方法。

[0067] 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或
技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是
使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通
常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。本申请实施例在障
碍物识别过程中，采用基于机器学习或深度学习的神经网络模型，根据目标图像中各个障
碍物关联的像素点表征的障碍物图像特征，对目标图像中的障碍物进行识别，分别确定各
个障碍物的预测物体类别。

[0068] 图2示出了本申请实施例提供的一种障碍物识别方法的流程示意图，该方法可以由图1中的数据处理设备300执行，也可以由计算机或其它电子设备执行。该方法可以应用
于自动驾驶领域中，也可以应用于智能机器人领域或需要进行障碍物识别的其它领域，本
申请实施例以该障碍物识别方法应用在自动驾驶领域为例进行说明。如图2所示，该障碍物
识别方法可以包括如下步骤：

[0069] 步骤S201，在目标场景对应的雷达数据中，基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特征，确定至少一个第一障碍物的第一预测物体类别。

[0070] 其中，雷达数据为雷达传感器针对视野范围内的场景采集的数据，雷达数据也可以称为点云数据，包括多个雷达数据点的坐标信息和速度数据。每个雷达数据点可以理解
为雷达波遇到障碍物反射得到的数据点。一个或多个雷达数据点的坐标信息和速度数据可
以表征一个障碍物的障碍物形状特征及运动状态特征。一个障碍物的障碍物形状特征及运
动状态特征可以统称为该障碍物的障碍物形态特征。

[0071] 根据雷达数据中各个雷达数据点的坐标信息和速度数据，可以确定哪些雷达数据点属于同一个障碍物，根据任意一个第一障碍物关联的雷达数据点表征的障碍物形态特
征，可以预测该第一障碍物对应的物体类别，该第一障碍物对应的物体类别即为该第一障
碍物的第一预测物体类别。

[0072] 步骤S202，在目标场景对应的目标图像中，基于至少一个第二障碍物关联的像素点表征的障碍物图像特征，确定至少一个第二障碍物的第二预测物体类别。

[0073] 目标图像为图像采集传感器针对视野范围内的场景采集的图像，可以采用图像分割方法将目标图像按照图像中各个障碍物的轮廓边界分割为多个区域块，每个区域块对应
一个障碍物。对应任意一个区域块，可以根据该区域块中包含的各个像素点表征的障碍物
图像特征，预测该区域块对应的物体类别，该区域块对应的物体类别即为该区域块对应的
第二障碍物的第二预测物体类别。

[0074] 上述两个步骤中的目标场景仅用于表明雷达传感器与图像采集传感器的视角相同，视野范围相同，并且上述雷达数据和目标图像是同一时刻采集到的，并不限定为某种特
定的场景，也就是说，目标场景可以是任意场景。

[0075] 上述第一障碍物指根据雷达数据的雷达语义信息进行预测得到的障碍物，第二障碍物指根据图像的图像语义信息进行预测得到的障碍物。第一障碍物对应的预测物体类别
称为第一预测物体类别，第二障碍物对应的预测物体类别称为第二预测物体类别。第一障
碍物和第二障碍物均为目标场景中的障碍物，例如，在车辆行进过程中，障碍物可能是车辆
周边的其他车辆、行人、护栏或天桥等。由于是根据不同的数据进行预测得到的障碍物，因
此第一障碍物与第二障碍物可能相同，也可能不同，同理，第一预测物体类别与第二预测物
体类别可能相同，也可能不同。

[0076] 上述步骤S201和步骤S202的执行顺序可以相互调换。

[0077] 步骤S203，将雷达数据投影至目标图像中，基于至少一个第一障碍物的第一预测物体类型，以及至少一个第一障碍物在目标图像中的投影区域对应的第二障碍物的第二预
测物体类别，确定至少一个第一障碍物对应的目标物体类别。

[0078] 在安装雷达传感器和图像采集传感器时，可以对雷达传感器和图像采集传感器进行联合标定，分别确定雷达传感器和图像采集传感器的内参和外参。根据两种传感器的内
参和外参，可以确定雷达坐标系与图像坐标系之间的转换关系，进而可以将雷达数据投影
至目标图像中，确定各个雷达数据点在目标图像中的投影位置。基于各个雷达数据点的投
影位置，可以确定各个第一障碍物在目标图像中的投影区域对应的第二障碍物的第二预测
物体类别。根据各个第一障碍物的第一预测物体类型，以及各个第一障碍物在目标图像中
的投影区域对应的第二障碍物的第二预测物体类别，分别确定各个第一障碍物对应的目标
物体类别。

[0079] 例如，对于任意一个第一障碍物，根据该第一障碍物关联的雷达数据点的投影位置，可以确定该第一障碍物在目标图像中的投影区域对应的第二障碍物的第二预测物体类
别。根据该第一障碍物的第一预测物体类型，以及各个第一障碍物在目标图像中的投影区
域对应的第二障碍物的第二预测物体类别，可以确定该第一障碍物对应的目标物体类别。

[0080] 通过上述方法，将目标场景对应的雷达数据和目标图像进行融合，对目标场景中的障碍物进行识别，可以更准确地确定障碍物的物体类别，提高障碍物识别结果的准确性。

[0081] 上述步骤S201中的雷达数据和步骤S202中的目标图像是同一时刻采集到的。示例性地，可以基于帧同步获取同一时刻采集的雷达数据和目标图像。具体地，开启数据采集之
后，雷达传感器会产生雷达数据，图像采集传感器会产生图像，在使用过程中，雷达传感器
与图像采集传感器的帧率很可能不相同并且不稳定，传感器系统在车辆行进过程中帧间数
据差异会较大，此时，可以采用时间戳做差值，以低帧率传感器优先的方式，寻找对应差值
最低的高帧率传感器数据帧，从而完成传感器数据间的帧同步匹配。

[0082] 在一些实施例中，在确定各个第一障碍物对应的目标物体类别之后，还可以确定各个第一障碍物的物理位置，例如，各个第一障碍物所处的方位及与目标车辆之间的距离。
其中，目标车辆指安装上述雷达传感器和图像采集传感器的车辆。可选地，可以根据各个第
一障碍物关联的雷达数据点的坐标数据，分别确定各个第一障碍物的物理位置；或者，可以
根据各个第一障碍物在所述目标图像中的投影位置关联的像素点的坐标数据，分别确定各
个第一障碍物的物理位置。

[0083] 本申请实施例中，确定目标图像中各个第二障碍物的第二预测物体类别，与确定雷达数据中各个第一障碍物的第一预测物体类别，两个步骤之间没有严格的执行顺序限
制。在一种实施例中，可以先执行确定雷达数据中各个第一障碍物的第一预测物体类别的
步骤，如上述图2所示的实施例。在另一种实施例中，也可以先执行确定目标图像中各个第
二障碍物的第二预测物体类别的步骤，如下文中图3所示的实施例。

[0084] 在上述实施例的基础上，图3示出了本申请实施例提供的另一种障碍物识别方法的流程示意图，如图3所示，该障碍物识别方法可以包括如下步骤：

[0085] 步骤S301，分别确定目标图像中各个第二障碍物在图像中的位置及各个第二障碍物的第二预测物体类别。

[0086] 上述目标图像为目标场景对应的图像。可以先识别目标图像中各个第二障碍物的轮廓特征，根据各个第二障碍物的轮廓特征，将目标图像分割为多个区域块，每个区域块对
应一个第二障碍物，然后分别根据各个区域块中包含的各个像素点表征的障碍物图像特
征，确定各个区域块对应的第二障碍物的第二预测物体类别，并为区域块内的各个像素点
标注对应的第二预测物体类别。其中，障碍物图像特征可以包括区域块的轮廓边界、形状、
大小和区域块中的各个像素点的颜色特征。示例性地，如图4所示，在自动驾驶领域，目标图
像中包含的第二障碍物的第二预测物体类别可以包括车辆，除车辆之外，还可以包括可通
行区域、路牌、护栏等。例如，一个区域块对应的第二障碍物的第二预测物体类别为车辆，则
可以为该区域块内的所有像素点均标注物体类别属性为车辆。

[0087] 可选地，可以采用图像分割算法或者已训练的神经网络模型对目标图像进行分割，并输出目标图像中各个第二障碍物在图像中的位置及各个第二障碍物的第二预测物体
类别。例如，神经网络模型可以采用Mask‑RCNN神经网络。

[0088] 在一种实施例中，上述神经网络模型可以包括特征提取网络、分类子网络和回归子网络。将目标图像输入特征提取网络，通过特征提取网络对目标图像进行图像特征提取，
得到由目标图像中的各个像素点表征的障碍物图像特征组成的特征图。将得到的特征图分
别输入分类子网络和回归子网络，得到回归子网络输出的图像分割结果及各个第二障碍物
在目标图像中的位置，以及分类子网络输出的各个第二障碍物的第二预测物体类别。

[0089] 上述神经网络模型的训练过程，可以包括如下步骤：

[0090] 步骤一，从训练样本集中抽取训练图像。

[0091] 其中，训练图像标注有障碍物标签。

[0092] 收集训练图像构建训练样本集，训练样本集中包括多张训练图像，训练图像可以是任何车辆在行进过程中行车记录仪拍摄的图像或通过其他方式获取的行车环境的图像。
训练图像中可以包括车辆、行人、护栏、路牌等。

[0093] 收集到训练图像之后，对训练图像进行标注，或者说设置障碍物标签。在一种实施例中，障碍物标签可以包括每个障碍物的位置和障碍物类型，如车辆、护栏、可通行区域等，
可通行区域指路面区域。可选地，在部分实施例中，障碍物类型可以包括静态障碍物、动态
障碍物和可通行区域三种。训练图像中标注有哪几种障碍物类型，训练得到的神经网络模
型就可以对哪几种障碍物进行识别。

[0094] 步骤二，将抽取的训练图像输入待训练的神经网络模型，得到训练图像的障碍物识别结果。

[0095] 在一种实施例中，如果神经网络模型包括特征提取网络、分类子网络和回归子网络。将训练图像输入特征提取网络，通过特征提取网络对训练图像进行特征提取，得到训练
图像的特征图。将训练图像的特征图分别输入分类子网络和回归子网络，得到回归子网络
输出的训练图像包含的各个障碍物的位置，以及分类子网络输出的各个障碍物对应的障碍
物类型。各个障碍物的位置及对应的障碍物类型为训练图像的障碍物识别结果。

[0096] 步骤三，根据训练图像的障碍物识别结果与训练图像的障碍物标签，确定损失值。

[0097] 如果训练图像的障碍物识别结果包括各个障碍物的位置及对应的障碍物类型，可以根据障碍物识别结果中各个障碍物的位置与障碍物标签中各个障碍物的位置的匹配程
度确定第一损失值，根据障碍物识别结果中各个障碍物对应的障碍物类型与障碍物标签中
的障碍物类型的匹配程度确定第二损失值。将第一损失值与第二损失值的加权和作为最终
确定的损失值。

[0098] 计算损失值时，可以采用预设的损失函数计算损失值，损失函数可以采用交叉熵损失函数，例如Sigmoid函数。通常，损失值是判定实际的输出与期望的输出的接近程度。损
失值越小，说明实际的输出越接近期望的输出。

[0099] 步骤四，判断损失值是否收敛；如果是，执行步骤六；如果否，执行步骤五。

[0100] 判断损失值是否收敛至预设的期望值，如果损失值小于或等于预设的期望值，或者，连续N次训练得到的损失值的变化幅度小于或等于预设的期望值时，认为损失值已收敛
至预设的期望值，说明损失值收敛；否则，说明损失值尚未收敛。

[0101] 步骤五，根据损失值对神经网络模型的参数进行调整。

[0102] 如果损失值尚未收敛，可以采用反向传播算法，根据损失值调整神经网络模型的参数，然后返回步骤一继续抽取训练图像对神经网络模型进行训练。

[0103] 步骤六，将当前参数作为神经网络模型的参数，获得已训练的神经网络模型。

[0104] 训练得到的神经网络模型可以快速、准确地识别出目标图像中的障碍物，并分割像素点，输出障碍物所在的位置、像素边界和对应的障碍物类型。

[0105] 步骤S302，分别确定雷达数据中各个第一障碍物的第一预测物体类别。

[0106] 上述雷达数据为目标场景对应的雷达数据。采集雷达数据的雷达传感器可以采用毫米波雷达，毫米波雷达采集的雷达数据中包括各个雷达数据点的坐标信息和速度数据。

[0107] 在一些实施例中，考虑到在车辆行进过程中采用不同的行进策略避开静态障碍物和动态障碍物，车辆需要对静态障碍物和动态障碍物进行区分，主要是需要识别出动态障
碍物，因此，第一预测物体类别可以包括静态障碍物和动态障碍物。在雷达数据中，可以基
于各个第一障碍物关联的雷达数据点表征的障碍物形态特征，分别确定各个第一障碍物的
第一预测物体类别，其中，障碍物形态特征可以包括第一障碍物的运动状态。

[0108] 具体地说，对于每个雷达数据点，可以执行以下操作：某个雷达数据点的速度数据可以用于表征与该雷达数据点关联的第一障碍物的运动状态，根据该雷达数据点的速度数
据确定该雷达数据点的速度值。如果该雷达数据点的速度值大于或等于设定速度阈值，确
定该雷达数据点关联的第一障碍物属于动态障碍物；如果该雷达数据点的速度值小于设定
速度阈值，确定该雷达数据点关联的第一障碍物属于静态障碍物。

[0109] 通常，一个雷达数据点的速度数据中包括该雷达数据点的运动方向和速度值，雷达数据点的速度值可以理解为该雷达数据点速度的绝对值。例如，如果某个雷达数据点的
速度值接近于零，确定该雷达数据点关联的第一障碍物属于静态障碍物，否则，确定该雷达
数据点关联的第一障碍物属于动态障碍物。

[0110] 在另一些实施例中，可以对不同的障碍物进行细分，其中，静态障碍物又可以包括多种静态物体类别，如护栏、天桥、路牌等。确定哪些雷达数据点关联的第一障碍物属于静
态障碍物之后，还可以采用设定数目的障碍物参考模型，分别对属于静态障碍物的各个第
一障碍物关联的静态雷达数据点的坐标数据进行拟合；其中，每个障碍物参考模型对应一
种静态物体类别。对于每个静态雷达数据点，根据拟合结果确定该静态雷达数据点符合的
障碍物参考模型，并将该静态雷达数据点符合的障碍物参考模型对应的静态物体类别作为
该静态雷达数据点关联的第一障碍物的第一预测物体类别。例如，根据如图5所示的雷达数
据，可以确定出哪些雷达数据点关联的第一障碍物为护栏，哪些雷达数据点关联的第一障
碍物为天桥，等等。

[0111] 雷达数据中各个雷达数据点的坐标信息通常采用极坐标系(polar coordinates)下的坐标位置表示，包括极径(range rate)和极角(azimuth)。在进行拟合之前，可以先将
极坐标系下的坐标转换到笛卡尔坐标系下，采用x和y表示，在自动驾驶领域，可以假设车辆
前方为x轴的正方向，车辆左侧为y轴的正方向。

[0112] 具体地说，极坐标系是指在平面内由极点、极轴和极径组成的坐标系。在平面上取定一点O，称为极点。从O出发引一条射线Ox，称为极轴。同样假设车辆前方为x轴的正方向。
取定单位长度，角度取逆时针方向为正。如图7所示，平面上任一点P的位置就可以用线段OP
的长度ρ以及从Ox到OP的角度θ来确定，ρ称为P点的极径，θ称为P点的极角，有序数对(ρ，θ)
称为P点的极坐标，记为P(ρ，θ)。笛卡尔坐标系也可以称为平面直角坐标系，以极坐标系的
极点O作为笛卡尔坐标系的坐标原点O，极轴Ox作为笛卡尔坐标系的x轴，则P点在极坐标系
下的坐标P(ρ，θ)转换到笛卡尔坐标系下，可以表示为P(x，y)，其中，x＝ρcosθ，y＝ρsinθ。

[0113] 下面以护栏对应的障碍物参考模型为例说明静态障碍物的拟合过程：考虑到护栏一般是沿着道路方向在道路两侧的连续的带有一定曲率的障碍物，如图8所示，图中圆点是
护栏上毫米波雷达的一系列雷达数据点，这些雷达数据点可以连接成一条曲线。因此可以
采用如下的二次函数作为护栏对应的障碍物参考模型。

[0114]

[0115] 其中，y0为偏置量，c为横坐标平方的系数，y0和c均是需要通过拟合确定的参数。将静态雷达数据点的坐标数据代入上述二次函数，如将图6中的雷达数据点的坐标数据(xi，
yi)和(xi+1，yi+1)等分别代入上述二次函数，通过最小二乘法对道路两侧护栏上反射得到的
静态雷达数据点进行拟合，可以确定哪些静态雷达数据点可以拟合成一条曲线，并可以根
据静态雷达数据点的坐标数据确定曲线的位置和走向。护栏的走向一般是沿着道路方向
的，如果拟合后得到的曲线是沿着道路方向(笛卡尔坐标系中的x轴方向)的，可以将拟合后
与该曲线之间的距离小于设定距离阈值的静态雷达数据点赋予护栏属性，即确定这些静态
雷达数据点关联的第一障碍物的第一预测物体类别为护栏。

[0116] 天桥的拟合过程与护栏类似，也可以采用二次函数作为天桥对应的障碍物参考模型，与护栏不同的是，天桥的走向一般是垂直于道路方向的。因此，如果拟合后得到的曲线
是垂直于道路方向的，可以将拟合后与该曲线之间的距离小于设定距离阈值的静态雷达数
据点赋予天桥属性，即确定这些静态雷达数据点关联的第一障碍物的第一预测物体类别为
天桥。可通行区域则可以认为是雷达数据点与雷达传感器的位置包围得到的不规则多边形
区域。

[0117] 在一些实施例中，动态障碍物也可以包括多种动态物体类别，如车辆、行人等。确定所述雷达数据点关联的第一障碍物属于动态障碍物之后，还可以对属于动态障碍物的各
个第一障碍物关联的动态雷达数据点的坐标数据进行聚类，得到多个动态雷达数据点集
合；其中，每个动态雷达数据点集合对应一个第一障碍物。根据各个动态雷达数据点集合中
的动态雷达数据点的坐标数据和速度数据，分别确定各个动态雷达数据点集合对应的第一
障碍物的尺寸和运动速度，根据各个动态雷达数据点集合对应的第一障碍物的尺寸和运动
速度，分别确定各个动态雷达数据点集合对应的动态物体类别。对于每个动态雷达数据点
集合，将该动态雷达数据点集合对应的动态物体类别作为该动态雷达数据点集合对应的第
一障碍物的第二预测物体类别。例如，根据如图5所示的雷达数据，可以确定出哪些雷达数
据点关联的第一障碍物为车辆，等等。

[0118] 示例性地，对于车辆或行人等动态目标物，可以先根据雷达数据点的速度数据判断是否为动态雷达数据点以及其速度方向，雷达数据点的速度方向可以反映动态目标物的
朝向。然后根据动态雷达数据点的坐标数据对动态雷达数据点进行聚类，得到多个动态雷
达数据点集合。假如同一个动态目标物上有多个雷达数据点，对动态雷达数据点进行聚类，
可以减少同一个动态目标物被识别为多个小目标的情况。聚类后，对于每个动态雷达数据
点集合，根据该动态雷达数据点集合中的雷达数据点的坐标信息和速度数据，可以确定该
动态雷达数据点集合对应的第一障碍物的尺寸和运动速度，还可以优化第一障碍物的尺寸
和中心点位置。根据各个动态雷达数据点集合对应的第一障碍物的尺寸和运动速度，可以
确定各个动态雷达数据点集合对应的动态物体类别。例如，尺寸较大、近似方形且运动速度
较快，可以认为是车辆；尺寸较小、近似人形且运动速度较慢，可以认为是行人。

[0119] 上述步骤S301和步骤S302的执行顺序可以相互调换。

[0120] 步骤S303，将雷达数据投影至目标图像中，确定各个雷达数据点在目标图像中的投影位置。

[0121] 在安装雷达传感器和图像采集传感器时，可以对雷达传感器和图像采集传感器进行联合标定，分别确定雷达传感器和图像采集传感器的内参和外参。根据两种传感器的内
参和外参，可以确定雷达坐标系与图像坐标系之间的转换关系，进而可以将雷达数据投影
至目标图像中，确定各个雷达数据点在目标图像中的投影位置。

[0122] 具体地，可以采用上述步骤S302中的方法先将各个雷达数据点在极坐标系下的坐标转换为笛卡尔坐标系下的坐标，如可以得到P点的坐标为P(x，y)。在安装雷达传感器时，
雷达传感器的高度确定，即每个雷达数据点在z轴上的坐标均相同，并且是根据雷达传感器
的安装高度由用户输入的。也就是说，每个雷达数据点的三维坐标均可以确定，如P点的三
维坐标为P(x，y，z)，z为预先设定的值。

[0123] 根据雷达传感器和图像采集传感器的内参和外参，可以确定雷达数据点的三维坐标(x，y，z)与图像中对应的像素点(u，v)之间的转换关系为：

[0124]

[0125]

[0126] 其中，K为图像采集传感器的内参矩阵，A为雷达传感器与图像采集传感器之间的外参，K和A均为已知参数。

[0127] 通过上述转换公式，可以将雷达数据中的各个雷达数据点投影至目标图像中，确定各个雷达数据点在目标图像中的投影位置。

[0128] 步骤S304，基于各个雷达数据点的投影位置，确定各个第一障碍物在目标图像中的投影区域对应的第二障碍物的第二预测物体类别。

[0129] 在一种实施例中，对于任意一个雷达数据点，确定该雷达数据点在目标图像中的投影位置的像素点对应的第二障碍物的第二预测物体类别，将该第二预测物体类别作为该
雷达数据点关联的第一障碍物在目标图像中的投影区域对应的第二障碍物的第二预测物
体类别。例如，图6所示中的圆点为雷达数据点投影至目标图像中的投影位置，可以看出，一
些雷达数据点投影在车辆上，一些雷达数据点投影在护栏上。

[0130] 在另一种实施例中，可以基于各个雷达数据点的投影位置，确定各个第一障碍物在目标图像中的投影区域。对于任意一个第一障碍物，确定其投影区域中各个像素点关联
的第二障碍物的第二预测物体类别为候选第二预测物体类别。对于各个候选第二预测物体
类别，将该第一障碍物的投影区域内属于该候选第二预测物体类别的像素点数量与该投影
区域包含的像素点总数量的比值，作为该候选第二预测物体类别的概率，将概率最大且概
率大于或等于设定阈值的候选第二预测物体类别，作为投影区域对应的第二障碍物的第二
预测物体类别。

[0131] 例如，如果一个雷达数据点关联的第一障碍物的第一预测物体类别为车辆，根据该雷达数据点的速度数据中的速度方向，可以确定该车辆的朝向，根据预设的车辆的长宽
高比例，以及该雷达数据点的坐标信息，可以确定一个车辆对应的三维包围框，将该三维包
围框投影至目标图像中，可以确定该车辆在目标图像中的投影区域。如果在上述投影计算
过程中没有任何偏差，该投影区域应该为目标图像中的车辆区域，或者说，该投影区域中的
所有像素点的物体类别属性均应为车辆。而实际上计算过程中不可避免会出现偏差，因此
该车辆的投影区域可能会出现偏移，即该车辆的投影区域可能会包含车辆的一部分图像以
及车辆周边的可通行区域(马路路面)的图像。此时，该车辆的投影区域中一些像素点关联
的第二障碍物的第二预测物体类别为车辆类别，另一些像素点关联的第二障碍物的第二预
测物体类别为可通行区域。从而可以将车辆和可通行区域作为候选第二预测物体类别。

[0132] 然后，可以对投影区域中的每个像素点对应的候选第二预测物体类别进行统计，得到属于各个候选第二预测物体类别的像素点的数量，之后进行归一化，将属于各个候选
第二预测物体类别的像素点的数量与该投影区域包含的像素点总数量的比值，作为该候选
第二预测物体类别的概率，得到属于每个候选第二预测物体类别的概率，取最高的值，假如
属于该类的概率大于某一阈值，则可以设定为该投影区域对应的第二障碍物的第二预测物
体类别。

[0133] 示例性地，假设上述车辆的投影区域包含的像素点总数量为1000，其中，属于车辆类别的像素点的数量为850，属于可通行区域的像素点的数量为150。则车辆类别对应的概
率为0.85，可通行区域对应的概率为0.15。假设设定阈值为0.75。在各个候选第二预测物体
类别的概率中，车辆类别对应的概率最大，且大于设定阈值，则可以认为投影区域对应的第
二障碍物的第二预测物体类别为车辆类别，与通过雷达语义信息确定的物体类别相同，可
以验证通过雷达语义信息确定的物体类别是正确的。

[0134] 相反地，如果上述投影区域中，属于车辆类别的像素点的数量为150，属于可通行区域的像素点的数量为850，则可以认为投影区域对应的第二障碍物的第二预测物体类别
为可通行区域，通过雷达语义信息确定的物体类别是错误的。

[0135] 在一些实施例中，考虑到车辆实时的俯仰角度无法准确估计，统计的时候还可以对投影区域增加一个图像竖直方向的偏移量以扩展搜索空间。

[0136] 步骤S305，根据各个第一障碍物的第一预测物体类型，以及各个第一障碍物在目标图像中的投影区域对应的第二障碍物的第二预测物体类别，分别确定各个第一障碍物对
应的目标物体类别。

[0137] 如果可以确定第一障碍物在目标图像中的投影区域对应的第二障碍物的第二预测物体类别，则将该第二预测物体类别作为该第一障碍物的目标物体类别。如果无法确定
第一障碍物在目标图像中的投影区域对应的第二障碍物的第二预测物体类别，比如，上述
每一个候选第二预测物体类别对应的概率均小于设定阈值，则可以将该第一障碍物的第一
预测物体类型作为该第一障碍物的目标物体类别。

[0138] 将目标物体类别为动态物体(比如车辆、行人、自行车等)的第一障碍物作为优先级最高的障碍物，将目标物体类别为静态物体(如护栏、标牌等)的第一障碍物作为优先级
较低，但同样属于需要关注的障碍物。

[0139] 如果一个第一障碍物对应的第一预测物体类别为车辆，而最终确定的目标物体类别为可通行区域，则说明雷达数据存在误检，经过修正之后，可以避免误刹车的现象，提高
自动驾驶的舒适性。

[0140] 步骤S306，根据各个第一障碍物关联的雷达数据点的坐标数据，分别确定各个第一障碍物的物理位置。

[0141] 第一障碍物的物理位置可以理解为第一障碍物相对于车辆的方位以及第一障碍物与车辆之间的距离。根据第一障碍物关联的雷达数据点的坐标数据，可以直接地确定第
一障碍物相对于车辆的方位以及第一障碍物与车辆之间的距离，即确定第一障碍物的物理
位置。

[0142] 本申请实施例通过融合雷达数据和图像数据来预测周围交通环境中动态障碍物、静态障碍物的位置和物体类别。在自动驾驶感知系统中，得到周围障碍物的信息之后，自动
驾驶规划和控制模块可以规划出一条安全的驾驶轨迹。

[0143] 如果仅依据雷达数据确定障碍物的物体类别，雷达数据在道路边缘比如护栏、标牌处可能会将静态障碍物识别为对自动驾驶系统更加危险的动态障碍物，在道路中间比如
天桥下毫米波雷达也可能出现虚检，认为可以正常通行的区域里面存在一个危险的障碍
物，这些都可能会导致自动驾驶系统出现不必要的危险换道、急刹车。由于图像数据能提供
丰富的语义信息，而雷达数据能提供目标的位置、速度信息，本申请实施例通过将雷达数据
投影到图像中，索引对应像素的语义后，最终给出交通场景中动态、静态障碍物的语义属性
和位置属性，供下游规划、控制模块使用。在实际应用中，该方法可以有效滤除路面上、天桥
下、标牌和路边护栏上导致自动驾驶车辆误刹车的雷达数据，提高自动驾驶系统的舒适性
和安全性。

[0144] 相关技术中仅是将图像数据与雷达数据进行位置关联，之后将属于同一物体的图像数据和毫米波雷达数据加在一起。本申请实施例提出的雷达数据和图像数据融合方法，
通过从雷达数据中也提取语义信息，可以同时考虑位置信息和语义信息的融合，关联后得
到更加准确的障碍物描述，能够减少自动驾驶感知模块的误检。也可以说，本申请实施例不
仅仅局限于将两种数据关联到一起做一个加法。还利用图像分割的语义属性，并且提取雷
达数据的语义属性，对于交通环境中的动态、静态障碍物的语义属性和位置属性进行统一
的分析，做加法的同时做减法，去除路面上、天桥下、标牌和路边护栏上毫米波雷达容易出
现误检的数据，最终得到准确的障碍物位置、语义信息，提高自动驾驶系统的舒适性和安全
性。

[0145] 基于同一发明构思，本申请实施例中还提供了一种障碍物识别装置，该障碍物识别装置可以布设在服务器或终端设备中。由于该装置是本申请实施例提供的障碍物识别方
法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上
述方法的实施，重复之处不再赘述。

[0146] 图9示出了本申请实施例提供的一种障碍物识别装置的结构框图，如图9所示，该障碍物识别装置包括：第一物体识别单元901、第二物体识别单元902和第三物体识别单元
903；其中，

[0147] 第一物体识别单元901，用于在目标场景对应的雷达数据中，基于至少一个第一障碍物关联的雷达数据点表征的障碍物形态特征，确定至少一个第一障碍物的第一预测物体
类别；

[0148] 第二物体识别单元902，用于在目标场景对应的目标图像中，基于至少一个第二障碍物关联的像素点表征的障碍物图像特征，确定至少一个第二障碍物的第二预测物体类
别；

[0149] 第三物体识别单元903，用于将雷达数据投影至目标图像中，基于至少一个第一障碍物的第一预测物体类型，以及至少一个第一障碍物在目标图像中的投影区域对应的第二
障碍物的第二预测物体类别，确定至少一个第一障碍物对应的目标物体类别。

[0150] 在一种可选的实施例中，第一预测物体类别包括静态障碍物和动态障碍物；障碍物形态特征包括第一障碍物的运动状态；第一物体识别单元901，具体用于：

[0151] 对于各个雷达数据点，根据雷达数据点的速度数据确定雷达数据点的速度值；雷达数据点的速度数据用于表征与雷达数据点关联的第一障碍物的运动状态；若雷达数据点
的速度值大于或等于设定速度阈值，确定雷达数据点关联的第一障碍物属于动态障碍物；
若雷达数据点的速度值小于设定速度阈值，确定雷达数据点关联的第一障碍物属于静态障
碍物。

[0152] 在一种可选的实施例中，静态障碍物包括多种静态物体类别；第一物体识别单元901，还用于：

[0153] 采用设定数目的障碍物参考模型，分别对属于静态障碍物的第一障碍物关联的静态雷达数据点的坐标数据进行拟合；其中，每个障碍物参考模型对应一种静态物体类别；

[0154] 对于各个静态雷达数据点，根据拟合结果确定静态雷达数据点符合的障碍物参考模型，并将静态雷达数据点符合的障碍物参考模型对应的静态物体类别作为静态雷达数据
点关联的第一障碍物的第一预测物体类别。

[0155] 在一种可选的实施例中，动态障碍物包括多种动态物体类别；第一物体识别单元901，还用于：

[0156] 对属于动态障碍物的第一障碍物关联的动态雷达数据点的坐标数据进行聚类，得到多个动态雷达数据点集合；其中，每个动态雷达数据点集合对应一个第一障碍物；

[0157] 对于各个动态雷达数据点集合，根据动态雷达数据点集合中的动态雷达数据点的坐标数据和速度数据，确定动态雷达数据点集合对应的第一障碍物的尺寸和运动速度；

[0158] 根据动态雷达数据点集合对应的第一障碍物的尺寸和运动速度，确定动态雷达数据点集合对应的动态物体类别；

[0159] 将动态雷达数据点集合对应的动态物体类别作为动态雷达数据点集合对应的第一障碍物的第一预测物体类别。

[0160] 在一种可选的实施例中，第二物体识别单元902，具体用于：

[0161] 识别目标图像中至少一个第二障碍物的轮廓特征；

[0162] 根据至少一个第二障碍物的轮廓特征，将目标图像分割得到至少一个区域块；

[0163] 根据至少一个区域块中包含的像素点表征的障碍物图像特征，确定至少一个区域块对应的第二障碍物的第二预测物体类别。

[0164] 在一种可选的实施例中，第三物体识别单元903，具体用于：对于各个第一障碍物，根据第一障碍物关联的雷达数据点的坐标数据和第一障碍物的第一预测物体类型，确定第
一障碍物在目标图像中的投影区域；

[0165] 根据投影区域中的像素点关联的第二障碍物的第二预测物体类别，确定投影区域对应的第二障碍物的第二预测物体类别；

[0166] 将投影区域对应的第二障碍物的第二预测物体类别，作为第一障碍物对应的目标物体类别。

[0167] 在一种可选的实施例中，第三物体识别单元903，具体用于：

[0168] 对于每个候选第二预测物体类别，将投影区域内属于候选第二预测物体类别的像素点数量与投影区域包含的像素点总数量的比值，作为候选第二预测物体类别的概率；候
选第二预测物体类别为投影区域中的像素点关联的第二障碍物的第二预测物体类别中的
一个；

[0169] 将概率最大且概率大于或等于设定阈值的候选第二预测物体类别，作为投影区域对应的第二障碍物的第二预测物体类别。

[0170] 在一种可选的实施例中，如图10所示，障碍物识别装置还可以包括：

[0171] 物体定位单元904，用于根据至少一个第一障碍物关联的雷达数据点的坐标数据，确定至少一个第一障碍物的物理位置；或者，根据至少一个第一障碍物在目标图像中的投
影位置关联的像素点的坐标数据，确定至少一个第一障碍物的物理位置。

[0172] 本申请实施例提供的障碍物识别装置，将目标场景对应的雷达数据和目标图像进行融合，对目标场景中的障碍物进行识别，可以更准确地确定障碍物的物体类别，提高障碍
物识别结果的准确性。

[0173] 与上述方法实施例相对应地，本申请实施例还提供了一种电子设备。该电子设备可以是图1中所示的数据处理设备300，也可以是其他电子设备，该电子设备至少包括用于
存储数据的存储器和用于数据处理的处理器。其中，对于用于数据处理的处理器而言，在执
行处理时，可以采用微处理器、CPU、GPU(Graphics Processing Unit，图形处理单元)、DSP
或FPGA实现。对于存储器来说，存储器中存储有操作指令，该操作指令可以为计算机可执行
代码，通过该操作指令来实现上述本申请实施例的障碍物识别方法的流程中的各个步骤。

[0174] 图11为本申请实施例提供的一种电子设备的结构示意图；如图11所示，本申请实施例中该电子设备可以包括：处理器111、存储器112、第一传感器接口113、第二传感器接口
114、总线115和通讯模块116；该处理器111、存储器112、第一传感器接口113、第二传感器接
口114和通讯模块116均通过总线115连接，该总线115用于该处理器111、存储器112、第一传
感器接口113、第二传感器接口114和通讯模块116之间传输数据。

[0175] 其中，存储器112可用于存储软件程序以及模块，如本申请实施例中的障碍物识别方法对应的程序指令/模块，处理器111通过运行存储在存储器112中的软件程序以及模块，
从而执行电子设备的各种功能应用以及数据处理，如本申请实施例提供的障碍物识别方
法。存储器112可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至
少一个应用的应用程序等；存储数据区可存储根据电子设备的使用所创建的数据(比如目
标图像、雷达数据、训练好的网络模型等相关数据)等。此外，存储器112可以包括高速随机
存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他
易失性固态存储器件。

[0176] 处理器111是电子设备的控制中心，利用总线115以及各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器112内的软件程序和/或模块，以及调用
存储在存储器112内的数据，执行电子设备的各种功能和处理数据。可选的，处理器111可包
括一个或多个处理单元，如CPU、GPU(Graphics Processing Unit，图形处理单元)、数字处
理单元等。

[0177] 在一些实施例中，处理器111可以通过第一传感器接口113连接雷达传感器，通过第二传感器接口114连接图像采集传感器，接收两个传感器采集到的周围环境的数据。在另
一些实施例中，雷达传感器和图像采集传感器还可以集成在电子设备上。

[0178] 处理器111还可以通过通讯模块116连接网络，获取电子设备的位置信息或电子地图等。

[0179] 本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于实现本申请任一实施例所记载的障碍物识别方法。

[0180] 在一些可能的实施方式中，本申请提供的障碍物识别方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程
序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式
的障碍物识别方法的步骤，例如，所述计算机设备可以执行如图2所示的步骤S201～S205中
的障碍物识别流程。

[0181] 所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或
半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举
的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读
存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器
(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

[0182] 可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号
或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该
可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合
使用的程序。

[0183] 在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为
一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或
可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部
分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合
或通信连接，可以是电性的、机械的或其它形式的。

[0184] 另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述
集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

[0185] 以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵
盖在本申请的保护范围之内。