路面平坦度区域检测方法和系统

摘要

本申请实施例公开了一种路面平坦度区域检测方法和系统，通过基于路况在图像中所占的大小进行聚类，生成实际路面的凸起路况的实际分布，并通过实际分布涉及路面平坦度区域检测网络模型的默认框的大小比例；在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，得到路面平坦度区域检测网络模型的准确率、召回率和IoU值；根据路面平坦度区域检测网络模型在验证集上的结果进行超参数的调节，训练出目标路面平坦度区域检测网络模型；基于测试集对目标路面平坦度区域检测网络模型进行评估，得到路况区域的分类、检测框位置与大小的预测结果。对路面大多数常见路况实现高效准确的检测。

权利要求

1.一种路面平坦度区域检测方法，其特征在于，所述方法包括：获取路面的路况图像数据，并划分为训练集、验证集和测试集；所述路况包括路面井盖、减速带、铁轨、路面连接带以及标准障碍物；

基于路况在图像中所占的大小进行聚类，生成实际路面的凸起路况的实际分布，并通过实际分布涉及路面平坦度区域检测网络模型的默认框的大小比例；

在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，得到路面平坦度区域检测网络模型的准确率、召回率和IoU值；具体地，以EfficientNet为主干网络，EfficientDet为检测器，使用FCN作为分割器，将图片作为数据输入到网络，经过卷积处理后，开始MBConv1处理，之后再经过6次MBConv1处理后，经过三次池化、 批归一化、 Relu函数的处理过程，并进行上采样，对这三次上采样后的特征图进行逐次融合，其中经三次上采样特征图融合后的图片输送到分割网络中执行分割，结合经两次上采样特征图融合后的图片一起输送到预测网络中，执行路况区域的分类、检测框位置与大小的预测；

根据路面平坦度区域检测网络模型在验证集上的结果进行超参数的调节，训练出目标路面平坦度区域检测网络模型；

基于测试集对目标路面平坦度区域检测网络模型进行评估，得到路况区域的分类、检测框位置与大小的预测结果。

2.如权利要求1所述的方法，其特征在于，所述路面平坦度区域检测网络模型的准确率、召回率和IoU值，按照如下公式进行计算：其中，Accuracy表示模型准确率, Recall表示模型召回率；TP表示true positive，即被判定为正样本，实际上是正样本；TN表示true negative，即被判定为负样本，实际上是负样本；FP表示false positive，即被判定为正样本，实际上是负样本；FN表示false negative，即被判定为负样本，实际上是正样本；Intersection和Union分别是预测的边框和真实的边框的交集和并集。

3.如权利要求1所述的方法，其特征在于，所述基于路况在图像中所占的大小进行聚类，生成实际路面的凸起路况的实际分布，包括：通过K‑Means聚类将整个数据集的矩形框用9个框近似表示，得到的9类长宽接近整个数据集宽高的框，以生成实际路面的凸起路况分布情况；所述9个框是在EfficientDet上的

3个特征层上设定的，每个特征层预设3个框；尺度大的特征层预测小目标特征，尺度小的特征层预测大目标特征。

4.如权利要求1所述的方法，其特征在于，在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，包括：将图片数据输入到路面平坦度区域检测网络模型，所述路面平坦度区域检测网络模型是以EfficientNet为主干网络，EfficientDet为检测器，使用FCN作为分割器作为结构的；

路面平坦度区域检测网络模型对图片进行卷积处理后，开始MBConv1处理，再经过6次MBConv1处理后，经过三次池化、批归一化、修正线性单元处理后，进行上采样，对三次上采样后的特征图进行逐次融合，其中经三次上采样特征图融合后的图片输送到分割网络中执行分割，结合经两次上采样特征图融合后的图片分别输入到分类预测网络和检测框预测网络中，执行路况区域的分类、检测框位置与大小的预测；将不同的高、低分辨率的特征图进行融合，获取到全局上下文信息。

5.一种路面平坦度区域检测系统，其特征在于，所述系统包括：数据集获取模块，用于获取路面的路况图像数据，并划分为训练集、验证集和测试集；

所述路况包括路面井盖、减速带、铁轨、路面连接带以及标准障碍物；

聚类模块，用于基于路况在图像中所占的大小进行聚类，生成实际路面的凸起路况的实际分布，并通过实际分布涉及路面平坦度区域检测网络模型的默认框的大小比例；

分割模块，用于在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，得到路面平坦度区域检测网络模型的准确率、召回率和IoU值；具体地，以EfficientNet为主干网络，EfficientDet为检测器，使用FCN作为分割器，将图片作为数据输入到网络，经过卷积处理后，开始MBConv1处理，之后再经过6次MBConv1处理后，经过三次池化、 批归一化、 Relu函数的处理过程，并进行上采样，对这三次上采样后的特征图进行逐次融合，其中经三次上采样特征图融合后的图片输送到分割网络中执行分割，结合经两次上采样特征图融合后的图片一起输送到预测网络中，执行路况区域的分类、检测框位置与大小的预测；

网络训练模块，用于根据路面平坦度区域检测网络模型在验证集上的结果进行超参数的调节，训练出目标路面平坦度区域检测网络模型；

测试模块，用于基于测试集对目标路面平坦度区域检测网络模型进行评估，得到路况区域的分类、检测框位置与大小的预测结果。

6.如权利要求5所述的系统，其特征在于，所述分割模块按照如下公式计算路面平坦度区域检测网络模型的准确率、召回率和IoU值：其中，Accuracy表示模型准确率, Recall表示模型召回率；TP表示true positive，即被判定为正样本，实际上是正样本；TN表示true negative，即被判定为负样本，实际上是负样本；FP表示false positive，即被判定为正样本，实际上是负样本；FN表示false negative，即被判定为负样本，实际上是正样本；Intersection和Union分别是预测的边框和真实的边框的交集和并集。

7.如权利要求5所述的系统，其特征在于，所述聚类模块具体用于：通过K‑Means聚类将整个数据集的矩形框用9个框近似表示，得到的9类长宽接近整个数据集宽高的框，以生成实际路面的凸起路况分布情况；所述9个框是在EfficientDet上的

3个特征层上设定的，每个特征层预设3个框；尺度大的特征层预测小目标特征，尺度小的特征层预测大目标特征。

8.如权利要求5所述的系统，其特征在于，所述分割模块，具体用于：将图片数据输入到路面平坦度区域检测网络模型，所述路面平坦度区域检测网络模型是以EfficientNet为主干网络，EfficientDet为检测器，使用FCN作为分割器作为结构的；

路面平坦度区域检测网络模型对图片进行卷积处理后，开始MBConv1处理，再经过6次MBConv1处理后，经过三次池化、批归一化、修正线性单元处理后，进行上采样，对三次上采样后的特征图进行逐次融合，其中经三次上采样特征图融合后的图片输送到分割网络中执行分割，结合经两次上采样特征图融合后的图片分别输入到分类预测网络和检测框预测网络中，执行路况区域的分类、检测框位置与大小的预测；将不同的高、低分辨率的特征图进行融合，获取到全局上下文信息。

9.一种路面平坦度区域检测设备，其特征在于，所述设备包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1‑4任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1‑4任一项所述的方法。

说明书

路面平坦度区域检测方法和系统

技术领域

[0001] 本申请实施例涉及深度学习技术领域，具体涉及路面平坦度区域检测方法和系统。

背景技术

[0002] 随着人们对更加安全和便捷出行的需求的日益增长，智能驾驶技术正处于蓬勃发展时期，感知和理解环境的能力是汽车智能系统的基础和前提。智能车辆在感知周围环境
后做出分析，通过将信息提供给控制系统，实现对路面平坦度区域的检测。

[0003] 但对于路面的各种行驶环境，如路面破损、积水、井盖、减速带等，能否准确的感知到这些环境关系到行车的安全，舒适以及路面所受冲击力的大小和使用寿命，不平整的路
表面会增大行车阻力，并使车辆产生附加的振动作用。这种振动作用会造成行车颠簸，影响
行车的速度和安全，驾驶的平稳度和乘客的舒适程度。

[0004] 传统的路面平坦度检测依赖于包括距离传感器、角度传感器等剖面仪来获得信息，进而计算出路面平坦度信息，虽然检测路面的凹凸程度效果不错，但这种方法成本较
高，且不能识别出具体的路况类型。随着深度学习在计算机视觉领域的快速发展，出现了一
些采用单一的图像分割的路面平坦度检测方法，但这些方法容易出现路面不同检测目标出
现粘连的情况。

发明内容

[0005] 为此，本申请实施例提供一种路面平坦度区域检测方法和系统，针对现有的检测方法所存在的缺点，在相对于传统方法成本更低的情况下，对路面大多数常见路况实现高
效准确的检测。

[0006] 为了实现上述目的，本申请实施例提供如下技术方案：

[0007] 根据本申请实施例的第一方面，提供了一种路面平坦度区域检测方法，所述方法包括：

[0008] 获取路面的路况图像数据，并划分为训练集、验证集和测试集；所述路况包括路面井盖、减速带、铁轨、路面连接带以及标准障碍物；

[0009] 基于路况在图像中所占的大小进行聚类，生成实际路面的凸起路况的实际分布，并通过实际分布涉及路面平坦度区域检测网络模型的默认框的大小比例；

[0010] 在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，得到路面平坦度区域检测网络模型的准确率、召回率和IoU值；

[0011] 根据路面平坦度区域检测网络模型在验证集上的结果进行超参数的调节，训练出目标路面平坦度区域检测网络模型；

[0012] 基于测试集对目标路面平坦度区域检测网络模型进行评估，得到路况区域的分类、检测框位置与大小的预测结果。

[0013] 可选地，所述路面平坦度区域检测网络模型的准确率、召回率和IoU值，按照如下公式进行计算：

[0014]

[0015]

[0016]

[0017] 其中，Accuracy表示模型准确率, Recall表示模型召回率；TP表示true positive，即被判定为正样本，实际上是正样本；TN表示true negative，即被判定为负样
本，实际上是负样本；FP表示false positive，即被判定为正样本，实际上是负样本；FN表示
false negative，即被判定为负样本，实际上是正样本；Intersection和Union分别是预测
的边框和真实的边框的交集和并集。

[0018] 可选地，所述基于路况在图像中所占的大小进行聚类，生成实际路面的凸起路况的实际分布，包括：

[0019] 通过K‑Means聚类将整个数据集的矩形框用9个框近似表示，得到的9类长宽接近整个数据集宽高的框，以生成实际路面的凸起路况分布情况；所述9个框是在EfficientDet
上的3个特征层上设定的，每个特征层预设3个框；尺度大的特征层预测小目标特征，尺度小
的特征层预测大目标特征。

[0020] 可选地，在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，包括：

[0021] 将图片数据输入到路面平坦度区域检测网络模型，所述路面平坦度区域检测网络模型是以EfficientNet为主干网络，EfficientDet为检测器，使用FCN作为分割器作为结构
的；

[0022] 路面平坦度区域检测网络模型对图片进行卷积处理后，开始MBConv1处理，再经过6次MBConv1处理后，经过三次池化、批归一化、修正线性单元处理后，进行上采样，对三次上
采样后的特征图进行逐次融合，其中经三次上采样特征图融合后的图片输送到分割网络中
执行分割，结合经两次上采样特征图融合后的图片分别输入到分类预测网络和检测框预测
网络中，执行路况区域的分类、检测框位置与大小的预测；将不同的高、低分辨率的特征图
进行融合，获取到全局上下文信息。

[0023] 根据本申请实施例的第二方面，提供了一种路面平坦度区域检测系统，所述系统包括：

[0024] 数据集获取模块，用于获取路面的路况图像数据，并划分为训练集、验证集和测试集；所述路况包括路面井盖、减速带、铁轨、路面连接带以及标准障碍物；

[0025] 聚类模块，用于基于路况在图像中所占的大小进行聚类，生成实际路面的凸起路况的实际分布，并通过实际分布涉及路面平坦度区域检测网络模型的默认框的大小比例；

[0026] 分割模块，用于在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，得到路面平坦度区域检测网络模型的准确率、召回率和IoU值；

[0027] 网络训练模块，用于根据路面平坦度区域检测网络模型在验证集上的结果进行超参数的调节，训练出目标路面平坦度区域检测网络模型；

[0028] 测试模块，用于基于测试集对目标路面平坦度区域检测网络模型进行评估，得到路况区域的分类、检测框位置与大小的预测结果。

[0029] 可选地，所述分割模块按照如下公式计算路面平坦度区域检测网络模型的准确率、召回率和IoU值：

[0030]

[0031]

[0032]

[0033] 其中，Accuracy表示模型准确率, Recall表示模型召回率；TP表示true positive，即被判定为正样本，实际上是正样本；TN表示true negative，即被判定为负样
本，实际上是负样本；FP表示false positive，即被判定为正样本，实际上是负样本；FN表示
false negative，即被判定为负样本，实际上是正样本；Intersection和Union分别是预测
的边框和真实的边框的交集和并集。

[0034] 可选地，所述聚类模块具体用于：

[0035] 通过K‑Means聚类将整个数据集的矩形框用9个框近似表示，得到的9类长宽接近整个数据集宽高的框，以生成实际路面的凸起路况分布情况；所述9个框是在EfficientDet
上的3个特征层上设定的，每个特征层预设3个框；尺度大的特征层预测小目标特征，尺度小
的特征层预测大目标特征。

[0036] 可选地，所述分割模块，具体用于：

[0037] 将图片数据输入到路面平坦度区域检测网络模型，所述路面平坦度区域检测网络模型是以EfficientNet为主干网络，EfficientDet为检测器，使用FCN作为分割器作为结构
的；

[0038] 路面平坦度区域检测网络模型对图片进行卷积处理后，开始MBConv1处理，再经过6次MBConv1处理后，经过三次池化、批归一化、修正线性单元处理后，进行上采样，对三次上
采样后的特征图进行逐次融合，其中经三次上采样特征图融合后的图片输送到分割网络中
执行分割，结合经两次上采样特征图融合后的图片分别输入到分类预测网络和检测框预测
网络中，执行路况区域的分类、检测框位置与大小的预测；将不同的高、低分辨率的特征图
进行融合，获取到全局上下文信息。

[0039] 根据本申请实施例的第三方面，提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序
指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。

[0040] 根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项
所述的方法。

[0041] 综上所述，本申请实施例提供了一种路面平坦度区域检测方法和系统，通过获取路面的路况图像数据，并划分为训练集、验证集和测试集；所述路况包括路面井盖、减速带、
铁轨、路面连接带以及标准障碍物；基于路况在图像中所占的大小进行聚类，生成实际路面
的凸起路况的实际分布，并通过实际分布涉及路面平坦度区域检测网络模型的默认框的大
小比例；在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分
割，得到路面平坦度区域检测网络模型的准确率、召回率和IoU值；根据路面平坦度区域检
测网络模型在验证集上的结果进行超参数的调节，训练出目标路面平坦度区域检测网络模
型；基于测试集对目标路面平坦度区域检测网络模型进行评估，得到路况区域的分类、检测
框位置与大小的预测结果。针对现有的检测方法所存在的缺点，在相对于传统方法成本更
低的情况下，对路面大多数常见路况实现高效准确的检测。

附图说明

[0042] 为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅
仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
提供的附图引伸获得其它的实施附图。

[0043] 本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的
实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功
效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

[0044] 图1为本申请实施例提供的路面平坦度区域检测方法流程示意图；

[0045] 图2为本申请实施例提供的网络结构示意图之一；

[0046] 图3为本申请实施例提供的网络结构示意图之二；

[0047] 图4为本申请实施例提供的路面平坦度区域检测系统框图。

具体实施方式

[0048] 以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一
部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0049] 图1示出了本申请实施例提供的路面平坦度区域检测方法，所述方法包括如下步骤：

[0050] 步骤101：获取路面的路况图像数据，并划分为训练集、验证集和测试集；所述路况包括路面井盖、减速带、铁轨、路面连接带以及标准障碍物；

[0051] 步骤102：基于路况在图像中所占的大小进行聚类，生成实际路面的凸起路况的实际分布，并通过实际分布涉及路面平坦度区域检测网络模型的默认框的大小比例；

[0052] 步骤103：在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，得到路面平坦度区域检测网络模型的准确率、召回率和IoU值；

[0053] 步骤104：根据路面平坦度区域检测网络模型在验证集上的结果进行超参数的调节，训练出目标路面平坦度区域检测网络模型；

[0054] 步骤105：基于测试集对目标路面平坦度区域检测网络模型进行评估，得到路况区域的分类、检测框位置与大小的预测结果。

[0055] 在一种可能的实施方式中，在步骤102中，所述基于路况在图像中所占的大小进行聚类，生成实际路面的凸起路况的实际分布，包括：

[0056] 通过K‑Means聚类将整个数据集的矩形框用9个框近似表示，得到的9类长宽接近整个数据集宽高框的生成实际路面的凸起路况分布情况；所述9个框是在EfficientDet上
的3个特征层上设定的，每个特征层预设3个框；尺度大的特征层预测小目标特征，尺度小的
特征层预测大目标特征。

[0057] 在一种可能的实施方式中，在步骤103中，所述路面平坦度区域检测网络模型的准确率、召回率和IoU值，按照如下公式（1）（2）（3）进行计算：

[0058]

[0059] 其中，Accuracy表示模型准确率, Recall表示模型召回率；TP表示true positive，即被判定为正样本，实际上是正样本；TN表示true negative，即被判定为负样
本，实际上是负样本；FP表示false positive，即被判定为正样本，实际上是负样本；FN表示
false negative，即被判定为负样本，实际上是正样本；Intersection和Union分别是预测
的边框和真实的边框的交集和并集。

[0060] 在一种可能的实施方式中，在步骤103中，在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，包括：

[0061] 将图片数据输入到路面平坦度区域检测网络模型，所述路面平坦度区域检测网络模型是以EfficientNet为主干网络，EfficientDet为检测器，使用FCN作为分割器作为结构
的；路面平坦度区域检测网络模型对图片进行卷积处理后，开始MBConv1处理，再经过6次
MBConv1处理后，经过三次池化、批归一化、修正线性单元处理后，进行上采样，对三次上采
样后的特征图进行逐次融合，其中经三次上采样特征图融合后的图片输送到分割网络中执
行分割，结合经两次上采样特征图融合后的图片分别输入到分类预测网络和检测框预测网
络中，执行路况区域的分类、检测框位置与大小的预测；将不同的高、低分辨率的特征图进
行融合，获取到全局上下文信息。

[0062] 在本申请实施例所适用的网络结构中，以EfficientNet为主干网络，EfficientDet为检测器，使用FCN作为分割器，网络结构如图2：将图片作为数据输入到网
络，经过卷积处理后，开始MBConv1处理，之后再经过6次MBConv1处理后，经过三次池化→批
归一化→Relu函数（修正线性单元）的处理过程，并进行上采样，对这三次上采样后的特征
图进行逐次融合，其中经三次上采样特征图融合后的图片输送到分割网络中执行分割，结
合经两次上采样特征图融合后的图片一起输送到预测网络中，执行路况区域的分类、检测
框位置与大小的预测。将不同的高、低分辨率的特征图进行融合，获取到更多的全局上下文
信息，提高分割的效果。

[0063] 图3示出了MBConv1处理过程，基于卷积处理后的图像数据，经过卷积→批归一化→Swish函数→深度卷积→Swish函数后，增加关于通道的注意力机制，即全局池化→卷积
→Swish函数→卷积→Sigmoid函数，再与残差结构进行堆叠，进行卷积→批归一化→
Dropout处理，最后输出MB卷积结果。

[0064] 通过将深度学习的目标检测与图像分割技术相结合的方式实现路面平坦度区域的实时监测，该方法可以在检测出路面凹凸程度情况的同时，进一步准确地识别出路面破
损、路面积水、井盖、减速带、铁轨、路面连接带、标准障碍物和非标准障碍物。

[0065] 本申请实施例提出的基于检测、分割多任务实现路面平坦度区域检测的方法包括检测分割模型训练、检测分割模型推理两部分。下面进行详细描述。

[0066] 其中，路面平坦度区域检测模型训练步骤包括：

[0067] 步骤1：将各种路况的数据划分为训练集、验证集和测试集；训练集和测试集按照8：2的比例来划分，其中训练集包括真实图片和经数据增强后生成的图片，测试集则均为在
真实道路场景下采集得到的图片。

[0068] 步骤2：根据各种路况在图像上所占的大小聚类模型默认框的大小比例；根据路面井盖、减速带、铁轨、路面连接带以及标准障碍物区域在图像中的大小，通过K‑Means聚类方
法，生成实际路面各种凸起路况的实际分布，通过实际分布设计网络模型的默认框，这样更
容易让模型回归。实际每个特征采用9个默认框效果会更好。K‑Means原理是将没有标签的
数据自动划分成几类的方法，这里将标注框的宽高进行聚类回归。通过聚类将整个数据集
的矩形框用9个框近似表示，得到的9类长宽接近整个数据集宽高的框的分布情况，因此可
以使模型更好的对默认框进行回归。由于需检测的各种凸起路况的尺寸不一，因此标注框
的尺寸也不尽相同，通过聚类的框可以使得模型设置的默认框更加接近真实数据的分布。9
个默认框是在EfficientDet上的3个特征层上设定，每个特征层预设3个框。尺度大的特征
层预测小目标特征，尺度小的特征层预测大目标特征。

[0069] 在步骤2中，对路况进行分类包含的类别涵盖绝大多数可能出现的路况类型。利用K‑Means聚类方法，生成实际路面各种凸起路况的实际分布，通过实际分布设计网络模型的
默认框，使模型更容易回归。

[0070] 步骤3：设计检测模型网络结构，加入FCN分割模块。在语义分割网络的基础上，加入了目标检测网络。在基础网络模型EfficientDet的基础上进行改进，加入FCN模块进行前
景和背景的二分类分割，提高检测模型的准确率、召回率以及IoU值，计算方式为公式（1）、
（2）和（3）。

[0071] 在步骤3中，结合目标检测的优点在于：能减少检测目标间出现粘连的情况，并且能检测出分割网络未能检测到的目标。

[0072] 步骤4：模型超参数调节和检测性能评估。根据网络模型在验证集上的表现进行超参数的调节，具体通过设定多组超参数的组合，经过模型训练，选取效果最优的结果所对应
的那个组合作为模型最终使用的参数组合，并在采集自真实道路场景的测试集上评估其性
能。

[0073] 路面平坦度区域检测模型推理步骤包括：

[0074] 步骤1：对图片进行预处理：根据检测框结果进行裁剪；

[0075] 对输入的图片进行在线随机裁剪，以提高模型的泛化能力。

[0076] 步骤2：通过分类模型输出类别置信度；通过检测分割模型输出检测框的位置和置信度；

[0077] 步骤3：通过后处理得到置信度最高且无冗余框的检测效果，以及前景和背景分割的效果。

[0078] 本申请实施例采用深度学习的基于检测、分割多任务实现路面平坦度区域检测的方法，提高了路面平坦度区域检测的性能，并对数据分布不均匀以及不同大小形状的各种
具有凸起特征的路况均有较好的检测效果。通过将深度学习的目标检测与图像分割技术相
结合的方式实现路面平坦度区域的实时监测，该方法可以在检测出路面凹凸程度情况的同
时，进一步准确地识别出路面破损、路面积水、井盖、减速带、铁轨、路面连接带、标准障碍物
和非标准障碍物。

[0079] 综上所述，本申请实施例提供了一种路面平坦度区域检测方法，通过获取路面的路况图像数据，并划分为训练集、验证集和测试集；所述路况包括路面井盖、减速带、铁轨、
路面连接带以及标准障碍物；基于路况在图像中所占的大小进行聚类，生成实际路面的凸
起路况的实际分布，并通过实际分布涉及路面平坦度区域检测网络模型的默认框的大小比
例；在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，得
到路面平坦度区域检测网络模型的准确率、召回率和IoU值；根据路面平坦度区域检测网络
模型在验证集上的结果进行超参数的调节，训练出目标路面平坦度区域检测网络模型；基
于测试集对目标路面平坦度区域检测网络模型进行评估，得到路况区域的分类、检测框位
置与大小的预测结果。针对现有的检测方法所存在的缺点，在相对于传统方法成本更低的
情况下，对路面大多数常见路况实现高效准确的检测。

[0080] 基于相同的技术构思，本申请实施例还提供了一种路面平坦度区域检测系统，如图4所示，所述系统包括：

[0081] 数据集获取模块401，用于获取路面的路况图像数据，并划分为训练集、验证集和测试集；所述路况包括路面井盖、减速带、铁轨、路面连接带以及标准障碍物；

[0082] 聚类模块402，用于基于路况在图像中所占的大小进行聚类，生成实际路面的凸起路况的实际分布，并通过实际分布涉及路面平坦度区域检测网络模型的默认框的大小比
例；

[0083] 分割模块403，用于在基础网络模型EfficientDet的基础上加入FCN模块进行前景和背景的二分类分割，得到路面平坦度区域检测网络模型的准确率、召回率和IoU值；

[0084] 网络训练模块404，用于根据路面平坦度区域检测网络模型在验证集上的结果进行超参数的调节，训练出目标路面平坦度区域检测网络模型；

[0085] 测试模块405，用于基于测试集对目标路面平坦度区域检测网络模型进行评估，得到路况区域的分类、检测框位置与大小的预测结果。

[0086] 在一种可能的实施方式中，所述分割模块按照公式（1）、（2）和（3）计算路面平坦度区域检测网络模型的准确率、召回率和IoU值。

[0087] 在一种可能的实施方式中，所述聚类模块401具体用于：通过K‑Means聚类将整个数据集的矩形框用9个框近似表示，得到的9类长宽接近整个数据集宽高的框，以生成实际
路面的凸起路况分布情况；所述9个框是在EfficientDet上的3个特征层上设定的，每个特
征层预设3个框；尺度大的特征层预测小目标特征，尺度小的特征层预测大目标特征。

[0088] 在一种可能的实施方式中，所述分割模块403，具体用于：将图片数据输入到路面平坦度区域检测网络模型，所述路面平坦度区域检测网络模型是以EfficientNet为主干网
络，EfficientDet为检测器，使用FCN作为分割器作为结构的；路面平坦度区域检测网络模
型对图片进行卷积处理后，开始MBConv1处理，再经过6次MBConv1处理后，经过三次池化、批
归一化、修正线性单元处理后，进行上采样，对三次上采样后的特征图进行逐次融合，其中
经三次上采样特征图融合后的图片输送到分割网络中执行分割，结合经两次上采样特征图
融合后的图片分别输入到分类预测网络和检测框预测网络中，执行路况区域的分类、检测
框位置与大小的预测；将不同的高、低分辨率的特征图进行融合，获取到全局上下文信息。

[0089] 基于相同的技术构思，本申请实施例还提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个
程序指令；所述处理器，用于执行一个或多个程序指令，用以执行所述的方法。

[0090] 基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行所述的方
法。

[0091] 本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之
处参见方法实施例的部分说明即可。

[0092] 需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现
期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或
将一个步骤分解为多个步骤执行。

[0093] 虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行
顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按
照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的
环境，甚至为分布式数据处理环境）。术语“包括”、“包含”或者其任何其他变体意在涵盖非
排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，
而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固
有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设
备中还存在另外的相同或等同要素。

[0094] 上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分
别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实
现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装
置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时
可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一
些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连
接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形
式。

[0095] 本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程
逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种
硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或
者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件
部件内的结构。

[0096] 本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组
件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，
由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可
以位于包括存储设备在内的本地和远程计算机存储介质中。

[0097] 通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质
上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品
可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备
（可以是个人计算机，移动终端，服务器，或者网络设备等）执行本申请各个实施例或者实施
例的某些部分所述的方法。

[0098] 本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众
多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或
便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设
备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

[0099] 以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保
护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本
申请的保护范围之内。