用于路面平坦度检测的模型预测方法、系统和智能终端转让专利
申请号 : CN202111324097.8
文献号 : CN113763392B
文献日 : 2022-03-18
发明人 : 姚纯纯 , 冯凯
申请人 : 北京中科慧眼科技有限公司
摘要 :
本发明公开了一种用于路面平坦度检测的模型预测方法、系统和智能终端，所述方法包括：获取目标场景的路面图像，将所述路面图像进行预处理后，经过语义分割神经网络模型进行处理，得到每个像素点属于各像素类别概率的预测结果和真实结果；结合高斯拉普拉斯算子在所述预测结果上进行卷积，以得到预测卷积值，结合高斯拉普拉斯算子在所述真实结果上进行卷积，以得到真实卷积值；基于所述预测卷积值和所述真实卷积值计算损失值，并将损失值反向传播以更新所述神经网络模型的权重，直到模型训练结束。解决了现有技术中，由于现有语义分割模型中存在孤立点的问题，而导致的路面平坦度检测效率较低的技术问题。
权利要求 :
1.一种用于路面平坦度检测的模型预测方法，其特征在于，所述方法包括：获取目标场景的路面图像，将所述路面图像进行预处理后，经过语义分割神经网络模型，得到每个像素点属于各像素类别概率的预测结果和真实结果；
结合高斯拉普拉斯算子在所述预测结果上进行卷积，以得到预测卷积值，结合高斯拉普拉斯算子在所述真实结果上进行卷积，以得到真实卷积值；
基于所述预测卷积值和所述真实卷积值计算损失值，并将损失值反向传播以更新神经网络模型的权重，直到模型训练结束；
基于所述预测卷积值和所述真实卷积值计算损失值，具体包括：对于语义分割神经网络模型的预测结果和真实结果，计算一个损失，并将该损失记为loss1，使用卷积模板在真实结果上进行卷积得到结果A，使用卷积模板在神经网络的预测结果上进行卷积得到结果B，对结果A和B计算损失值，记为loss2；最终loss=loss1+λ*loss2，其中λ为调整两种损失重要性的权重。
2.根据权利要求1所述的模型预测方法，其特征在于，对所述路面图像进行预处理，具体包括：
获取待分割的路面图像，对所述路面图像进行裁剪、归一化、数据增强，以得到路面图像中的目标区域。
3.根据权利要求1所述的模型预测方法，其特征在于，利用以下公式，计算所述高斯拉普拉斯算子的平滑卷积核 ：
其中，x,y表示图像中某个像素的坐标，σ表示标准差，π为圆周率，e为自然常数。
4.根据权利要求3所述的模型预测方法，其特征在于，基于以下公式，利用拉普拉斯算子检测孤立点 ：
其中，x,y表示图像中某个像素的坐标，σ表示标准差，π为圆周率，e为自然常数。
5.一种用于路面平坦度检测的模型预测系统，其特征在于，所述系统包括：类别概率预测单元，用于在获取目标场景的路面图像后，将所述路面图像进行预处理后，经过语义分割神经网络模型，得到每个像素点属于各像素类别概率的预测结果和真实结果；
卷积值获取单元，用于结合高斯拉普拉斯算子在所述预测结果上进行卷积，以得到预测卷积值，结合高斯拉普拉斯算子在所述真实结果上进行卷积，以得到真实卷积值；
损失值获取单元，用于基于所述预测卷积值和所述真实卷积值计算损失值，并将损失值反向传播以更新神经网络模型的权重，直到模型训练结束；
基于所述预测卷积值和所述真实卷积值计算损失值，具体包括：对于语义分割神经网络模型的预测结果和真实结果，计算一个损失，并将该损失记为loss1，使用卷积模板在真实结果上进行卷积得到结果A，使用卷积模板在神经网络的预测结果上进行卷积得到结果B，对结果A和B计算损失值，记为loss2；最终loss=loss1+λ*loss2，其中λ为调整两种损失重要性的权重。
6.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1‑4任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1‑4任一项所述的方法。
说明书 :
用于路面平坦度检测的模型预测方法、系统和智能终端
技术领域
[0001] 本发明涉及自动驾驶辅助技术领域，具体涉及一种用于路面平坦度检测的模型预测方法、系统和智能终端。
背景技术
[0002] 随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。在基于深度学习的语义分割中，得到的结果为图像上每个像素点的语义类别，然而每
个像素点之间没有一种强的约束关系，容易导致网络预测出孤立点，即某一个或者若干个
像素点的类别和周围像素点的类别均不相同。而在真实的场景中，相同类别的像素分布是
连续的、封闭的，并不存在孤立点的情况。而类别上孤立点的存在，会使得车轮正前方的物
体数量变多，最终会增加路面平坦度检测算法的后处理时间。
个像素点之间没有一种强的约束关系，容易导致网络预测出孤立点，即某一个或者若干个
像素点的类别和周围像素点的类别均不相同。而在真实的场景中，相同类别的像素分布是
连续的、封闭的，并不存在孤立点的情况。而类别上孤立点的存在，会使得车轮正前方的物
体数量变多，最终会增加路面平坦度检测算法的后处理时间。
发明内容
[0003] 为此，本发明实施例提供一种用于路面平坦度检测的模型预测方法、系统和智能终端，以期至少部分解决现有技术中，由于语义分割模型中存在的孤立点而导致的路面平
坦度检测效率较低的技术问题。
坦度检测效率较低的技术问题。
[0004] 为了实现上述目的，本发明实施例提供如下技术方案：
[0005] 一种用于路面平坦度检测的模型预测方法，所述方法包括：
[0006] 获取目标场景的路面图像，将所述路面图像进行预处理后，经过语义分割神经网络模型进行处理，得到每个像素点属于各像素类别概率的预测结果和真实结果；
[0007] 结合高斯拉普拉斯算子在所述预测结果上进行卷积，以得到预测卷积值，结合高斯拉普拉斯算子在所述真实结果上进行卷积，以得到真实卷积值；
[0008] 基于所述预测卷积值和所述真实卷积值计算损失值，并将损失值反向传播以更新神经网络模型的权重，直到模型训练结束。
[0009] 进一步地，对所述路面图像进行预处理，具体包括：
[0010] 获取待分割的路面图像，对所述路面图像进行裁剪、归一化、数据增强，以得到路面图像中的目标区域。
[0011] 进一步地，利用以下公式，计算所述高斯拉普拉斯算子的平滑卷积核：
[0012]
[0013] 其中，x,y表示图像中某个像素的坐标，σ表示标准差，π为圆周率，e为自然常数。
[0014] 进一步地，基于以下公式，利用拉普拉斯算子检测孤立点：
[0015]
[0016] 其中，x,y表示图像中某个像素的坐标，σ表示标准差，π为圆周率，e为自然常数。
[0017] 进一步地，利用以下公式，计算损失值：
[0018] loss=loss1+λ*loss2
[0019] 其中，loss为模型总体损失值；
[0020] loss1为基于所述预测卷积值计算的预测损失值；
[0021] loss2为基于真实卷积值计算的真实损失值；
[0022] λ为权重。
[0023] 本发明还提供一种用于路面平坦度检测的模型预测系统，所述系统包括：
[0024] 类别概率预测单元，用于获取目标场景的路面图像，将所述路面图像进行预处理后，经过语义分割神经网络模型，得到每个像素点属于各像素类别概率的预测结果和真实
结果；
结果；
[0025] 卷积值获取单元，用于结合高斯拉普拉斯算子在所述预测结果上进行卷积，以得到预测卷积值，结合高斯拉普拉斯算子在所述真实结果上进行卷积，以得到真实卷积值；
[0026] 损失值获取单元，用于基于所述预测卷积值和所述真实卷积值计算损失值，并将损失值反向传播以更新神经网络模型的权重，直到模型训练结束。
[0027] 本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
[0028] 所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
[0029] 本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
[0030] 本发明所提供的用于路面平坦度检测的模型预测方法，在基于深度学习语义分割训练过程中加入了损失函数，能够减少语义分割孤立点的预测，提高模型预测的效果，在路
面平坦度检测任务中可以起到减少孤立点的作用，减少后处理的时间，提高检测算法效率。
解决了现有技术中，由于语义分割模型中存在的孤立点而导致的路面平坦度检测效率较低
的技术问题。
面平坦度检测任务中可以起到减少孤立点的作用，减少后处理的时间，提高检测算法效率。
解决了现有技术中，由于语义分割模型中存在的孤立点而导致的路面平坦度检测效率较低
的技术问题。
附图说明
[0031] 为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅
仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
提供的附图引伸获得其它的实施附图。
仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
提供的附图引伸获得其它的实施附图。
[0032] 本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的
实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功
效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功
效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
[0033] 图1为本发明所提供的基于双目立体视觉的路面平整度等级检测方法一种具体实施方式的流程图；
[0034] 图2为一个具体使用场景中卷积核大小为3*3时卷积模板的示意图；
[0035] 图3为图2所示具体使用场景中卷积核大小为5*5时卷积模板的示意图；
[0036] 图4为图2所示具体使用场景中应用高斯拉普拉斯算子添加局部约束损失添加之前的预测结果；
[0037] 图5为图2所示具体使用场景中应用高斯拉普拉斯算子添加局部约束损失添加之后的预测结果；
[0038] 图6为本发明所提供的用于路面平坦度检测的模型预测系统一种具体实施方式的结构框图。
具体实施方式
[0039] 以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一
部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040] 在路面平坦度检测时，若像素点类别上存在较多孤立点，会使得车轮正前方的物体数量变多，最终会增加路面平坦度后处理的时间。分析孤立点出现的原因，是相邻像素之
间在预测时没有进行约束，每个像素点之间的关系仅靠神经网络之间的感受野进行约束，
导致预测大量孤立点。为此，本文提出了一种用于路面平坦度检测的模型预测方法，能够在
相邻像素之间建立起局部关联的约束，使得网络抑制孤立点的产生，最终提高路面平坦度
语义分割的效果，提高平坦度检测后处理的效率。
间在预测时没有进行约束，每个像素点之间的关系仅靠神经网络之间的感受野进行约束，
导致预测大量孤立点。为此，本文提出了一种用于路面平坦度检测的模型预测方法，能够在
相邻像素之间建立起局部关联的约束，使得网络抑制孤立点的产生，最终提高路面平坦度
语义分割的效果，提高平坦度检测后处理的效率。
[0041] 在一种具体实施方式中，本发明所提供的用于路面平坦度检测的模型预测方法包括：
[0042] S1：获取目标场景的路面图像，将所述路面图像进行预处理后，经过语义分割神经网络模型，得到每个像素点属于各像素类别概率的预测结果和真实结果。
[0043] 具体地，获取待分割的路面图像后，对所述路面图像进行裁剪、归一化、数据增强，以得到路面图像中的目标区域。
[0044] 在一个使用场景中，假设总体的像素类别数为K。首先将待分割的路面图像经过感兴趣区域的计算、裁剪、归一化、数据增强等处理后，然后输入到语义分割的神经网络中，得
到每个像素点属于K个类别的概率值，该概率值的范围是0到1。
到每个像素点属于K个类别的概率值，该概率值的范围是0到1。
[0045] S2：结合高斯拉普拉斯算子在所述预测结果上进行卷积，以得到预测卷积值，结合高斯拉普拉斯算子在所述真实结果上进行卷积，以得到真实卷积值。
[0046] 由于在添加约束时，希望孤立点能够参照周围的信息，并且希望越临近的像素点类别对于中心点的类别预测关联越大，因此，采用二维的高斯平滑卷积核，公式如下：
[0047]
[0048] 其中，x，y表示图像中某个像素的坐标，σ表示标准差，π为圆周率，e表示自然常数。拉普拉斯算子可以突出图像中强度发生快速变化的区域，因此，可再利用拉普拉斯算子检
测孤立点。具体地，以0为中心，高斯标准差为σ的高斯拉普拉斯函数（Laplacian of
Gaussian,LoG）公式如下：
测孤立点。具体地，以0为中心，高斯标准差为σ的高斯拉普拉斯函数（Laplacian of
Gaussian,LoG）公式如下：
[0049]
[0050] 其中，x,y表示图像中某个像素的坐标，σ表示标准差，π为圆周率，e表示自然常数。
[0051] 在实际应用中，为了卷积之后不改变整体预测标签的灰度值的期望值，所以要求卷积模板整体的元素和为0，并且围绕中心的对称元素或者轴对称元素的值是一样的。调整
高斯标准差σ的值，当卷积核大小为3*3，则生成的卷积模板为图2所示形式；若卷积核大小
为5*5，则生成的卷积模板为图3所示形式。作为对比，应用高斯拉普拉斯算子添加局部约束
损失添加之前的预测结果如图4所示，可见空洞较多；应用高斯拉普拉斯算子添加局部约束
损失添加之后的预测结果如图5所示，可见空洞明显被去除。
高斯标准差σ的值，当卷积核大小为3*3，则生成的卷积模板为图2所示形式；若卷积核大小
为5*5，则生成的卷积模板为图3所示形式。作为对比，应用高斯拉普拉斯算子添加局部约束
损失添加之前的预测结果如图4所示，可见空洞较多；应用高斯拉普拉斯算子添加局部约束
损失添加之后的预测结果如图5所示，可见空洞明显被去除。
[0052] S3：基于所述预测卷积值和所述真实卷积值计算损失值，并将损失值反向传播以更新神经网络模型的权重，直到模型训练结束。
[0053] 具体地，利用以下公式，计算损失值：
[0054] loss=loss1+λ*loss2
[0055] 其中，loss为模型总体损失值；
[0056] loss1为基于所述预测卷积值计算的预测损失值；
[0057] loss2为基于真实卷积值计算的真实损失值；
[0058] λ为权重。
[0059] 仍以上述场景为例，对于神经网络的预测值和真实值，计算一个损失记为loss1。使用卷积模板在真实标签上进行卷积得到结果A，使用卷积模板在神经网络的预测结果上
进行卷积得到结果B，对结果A和B计算损失值，记为loss2。最终loss=loss1+λ*loss2，其中λ
为调整两种损失重要性的权重。由于计算误差时同时兼顾了对预测类别错误的惩罚和对预
测出孤立点的惩罚，所以本文可以实现高精度的语义分割并且减少孤立点的产生。计算出
误差后，再进行反向传播，更新神经网络的权重，直到网络训练结束。在模型训练好之后，在
前向推理的过程中，没有真实值的监督，所以直接以模型的预测结果作为输出，不需要使用
卷积模板进行卷积。
进行卷积得到结果B，对结果A和B计算损失值，记为loss2。最终loss=loss1+λ*loss2，其中λ
为调整两种损失重要性的权重。由于计算误差时同时兼顾了对预测类别错误的惩罚和对预
测出孤立点的惩罚，所以本文可以实现高精度的语义分割并且减少孤立点的产生。计算出
误差后，再进行反向传播，更新神经网络的权重，直到网络训练结束。在模型训练好之后，在
前向推理的过程中，没有真实值的监督，所以直接以模型的预测结果作为输出，不需要使用
卷积模板进行卷积。
[0060] 在上述具体实施方式中，本发明所提供的用于路面平坦度检测的模型预测方法，在基于深度学习语义分割训练过程中加入了损失函数，能够减少语义分割孤立点的预测，
提高模型预测的效果，在路面平坦度检测任务中可以起到减少孤立点的作用，减少后处理
的时间，提高检测算法效率。解决了现有技术中，由于语义分割模型中存在的孤立点而导致
的路面平坦度检测效率较低的技术问题。
提高模型预测的效果，在路面平坦度检测任务中可以起到减少孤立点的作用，减少后处理
的时间，提高检测算法效率。解决了现有技术中，由于语义分割模型中存在的孤立点而导致
的路面平坦度检测效率较低的技术问题。
[0061] 除了上述方法，本发明还提供一种用于路面平坦度检测的模型预测系统，如图6所示，在一种具体实施方式中，所述系统包括：
[0062] 类别概率预测单元100，用于获取目标场景的路面图像，将所述路面图像进行预处理后，经过语义分割神经网络模型，得到每个像素点属于各像素类别概率的预测结果和真
实结果；
实结果；
[0063] 卷积值获取单元200，用于结合高斯拉普拉斯算子在所述预测结果上进行卷积，以得到预测卷积值，结合高斯拉普拉斯算子在所述真实结果上进行卷积，以得到真实卷积值；
[0064] 损失值获取单元300，用于基于所述预测卷积值和所述真实卷积值计算损失值，并将损失值反向传播以更新神经网络模型的权重，直到模型训练结束。
[0065] 在上述具体实施方式中，本发明所提供的用于路面平坦度检测的模型预测系统，在基于深度学习语义分割训练过程中加入了损失函数，能够减少语义分割孤立点的预测，
提高模型预测的效果，在路面平坦度检测任务中可以起到减少孤立点的作用，减少后处理
的时间，提高检测算法效率。解决了现有技术中，由于语义分割模型中存在的孤立点而导致
的路面平坦度检测效率较低的技术问题。
提高模型预测的效果，在路面平坦度检测任务中可以起到减少孤立点的作用，减少后处理
的时间，提高检测算法效率。解决了现有技术中，由于语义分割模型中存在的孤立点而导致
的路面平坦度检测效率较低的技术问题。
[0066] 本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
[0067] 所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
[0068] 与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相
机深度标定系统执行如上所述的方法。
机深度标定系统执行如上所述的方法。
[0069] 在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成
电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列
（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体
管逻辑器件、分立硬件组件。
电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列
（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体
管逻辑器件、分立硬件组件。
[0070] 可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开
的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软
件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储
器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质
中的信息，结合其硬件完成上述方法的步骤。
的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软
件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储
器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质
中的信息，结合其硬件完成上述方法的步骤。
[0071] 存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
[0072] 其中，非易失性存储器可以是只读存储器（Read‑Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简
称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
[0073] 易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存
储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随
机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器
（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（Enhanced
SDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接
内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随
机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器
（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（Enhanced
SDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接
内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
[0074] 本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
[0075] 本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质
中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计
算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程
序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计
算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程
序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0076] 以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范
围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本
发明的保护范围之内。
围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本
发明的保护范围之内。