基于稠密视差图的路面不平度检测方法、系统和智能终端

摘要

本发明公开了一种基于稠密视差图的路面不平度检测方法、系统和智能终端，所述方法包括：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；基于所述拟合直线模型分别统计n列的带权重残差和；根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。该方案能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，进而提高了驾驶舒适性。

权利要求

1.一种基于稠密视差图的路面不平度检测方法，其特征在于，所述方法包括：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；

基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；

将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；

基于所述拟合直线模型分别统计n列的带权重残差和；

根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级；

所述基于所述拟合直线模型分别统计n列的带权重残差和，具体包括：统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；

对m行分别设置不同权重，并基于所述平均残差绝对值之和获取并统计n列的带权重残差和。

2.根据权利要求1所述的路面不平度检测方法，其特征在于，所述基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；

以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；

根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：其中，为双目立体视觉成像系统中左相机光心到右相机光心的间距；

为双目立体视觉成像系统中的相机焦距；

与 为双目立体视觉成像系统中相机主点的图像坐标；

和 是所述目标区域内的图像坐标点；

为图像点坐标为 的视差值；

X为世界坐标系下三维点距离相机的横向距离；

Y为世界坐标系下三维点距离相机的纵向距离；

Z为世界坐标系下三维点距离相机的深度距离。

3.根据权利要求2所述的路面不平度检测方法，其特征在于，利用以下公式计算所述平均残差绝对值之和：

其中， 为世界坐标系下三维点的横向距离；

为世界坐标系下三维点的纵向距离；

是直线模型参数；

是序列为i行j列投影栅格内三维点云信息的个数；

是序列为i行j列投影栅格的平均残差绝对值之和。

4.根据权利要求3所述的路面不平度检测方法，其特征在于，利用以下公式计算所述带权重残差和：

其中， 是序列为i行n列投影栅格的残差绝对值之和；

为序列为i行投影栅格的权重值；

是n列投影栅格的带权重残差和。

5.根据权利要求4所述的路面不平度检测方法，其特征在于，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，具体包括：设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；

遍历全部列的带权重残差和；

若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；

若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；

若所述带权重残差和大于所述第二预设阈值，则判定该目标区域的路面平整度为第三等级；

其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。

6.根据权利要求5所述的路面不平度检测方法，其特征在于，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，还包括：当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；

基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；

以置信度最高的路面平整度等级作为当前路面平整度等级输出。

7.一种基于稠密视差图的路面不平度检测系统，其特征在于，所述系统包括：视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；

点云信息获取单元，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；

直线模型拟合单元，用于将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；

重残差和获取单元，用于基于所述拟合直线模型分别统计n列的带权重残差和；

结果输出单元，用于根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。

8.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1‑7任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1‑6任一项所述的方法。

说明书

基于稠密视差图的路面不平度检测方法、系统和智能终端

技术领域

[0001] 本发明涉及自动驾驶辅助技术领域，具体涉及一种基于稠密视差图的路面不平度检测方法、系统和智能终端。

背景技术

[0002] 随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且，随着深度学习技术的发展，基于深度学习的识别方法在无人驾驶、安防以及工
业检测领域都有较多的应用。在自动驾驶（或辅助驾驶）过程中，城市道路、高速道路是重要
的应用场景不同路段的路面状况存在差异，路面不平度状态不仅影响驾驶体验，同时对汽
车本身也有很大损害。

[0003] 因此，提供一种基于稠密视差图的路面不平度检测方法，以期获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行
驶指令提供数据支撑，进而提高驾驶舒适性，就成为本领域技术人员亟待解决的问题。

发明内容

[0004] 为此，本发明实施例提供一种基于稠密视差图的路面不平度检测方法、系统和智能终端，以期能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶
路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高驾驶舒适性。

[0005] 为了实现上述目的，本发明实施例提供如下技术方案：

[0006] 一种基于稠密视差图的路面不平度检测方法，所述方法包括：

[0007] 获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；

[0008] 基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；

[0009] 将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；

[0010] 基于所述拟合直线模型分别统计n列的带权重残差和；

[0011] 根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。

[0012] 进一步地，所述基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：

[0013] 基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；

[0014] 以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；

[0015] 根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：

[0016]

[0017] 其中，为双目立体视觉成像系统中左相机光心到右相机光心的间距；

[0018] 为双目立体视觉成像系统中的相机焦距；

[0019] 与 为双目立体视觉成像系统中相机主点的图像坐标；

[0020] 和 是所述目标区域内的图像坐标点；

[0021] 为图像点坐标为 的视差值；

[0022] X为世界坐标系下三维点距离相机的横向距离；

[0023] Y为世界坐标系下三维点距离相机的纵向距离；

[0024] Z为世界坐标系下三维点距离相机的深度距离。

[0025] 进一步地，所述基于所述拟合直线模型分别统计n列的带权重残差和，具体包括：

[0026] 统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；

[0027] 对m行分别设置不同权重，并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。

[0028] 进一步地，利用以下公式计算所述平均残差绝对值之和：

[0029]

[0030] 其中， 为世界坐标系下三维点的横向距离；

[0031] 为世界坐标系下三维点的纵向距离；

[0032] 是直线模型参数；

[0033] 是序列为i行j列投影栅格内三维点云信息的个数；

[0034] 是序列为i行j列投影栅格的平均残差绝对值之和。

[0035] 进一步地，利用以下公式计算所述带权重残差和：

[0036]

[0037] 其中， 是序列为i行n列投影栅格的残差绝对值之和；

[0038] 为序列为i行投影栅格的权重值；

[0039] 是n列投影栅格的带权重残差和。

[0040] 进一步地，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，具体包括：

[0041] 设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；

[0042] 遍历全部列的带权重残差和；

[0043] 若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；

[0044] 若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；

[0045] 若所述带权重残差和大于所述第二预设阈值，则判定该目标区域的路面平整度为第三等级；

[0046] 其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。

[0047] 进一步地，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，还包括：

[0048] 当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；

[0049] 基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；

[0050] 以置信度最高的路面平整度等级作为当前路面平整度等级输出。

[0051] 本发明还提供一种基于稠密视差图的路面不平度检测系统，其特征在于，所述系统包括：

[0052] 视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；

[0053] 点云信息获取单元，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；

[0054] 直线模型拟合单元，用于将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；

[0055] 重残差和获取单元，用于基于所述拟合直线模型分别统计n列的带权重残差和；

[0056] 结果输出单元，用于根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。

[0057] 本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

[0058] 所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

[0059] 本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。

[0060] 本发明所提供的基于稠密视差图的路面不平度检测方法，通过将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分
别拟合直线模型，基于所述拟合直线模型分别统计n列的带权重残差和根据所述带权重残
差和与预设阈值的关系，判定并输出当前路面平整度等级。这样，该方案通过带权重残差和
的计算和比对，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从
而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供
数据支撑，进而提高了驾驶舒适性。

附图说明

[0061] 为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅
仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
提供的附图引伸获得其它的实施附图。

[0062] 本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的
实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功
效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

[0063] 图1为本发明所提供的基于稠密视差图的路面不平度检测方法一种具体实施方式的流程图；

[0064] 图2‑图4为不同路面等级的场景示意图；

[0065] 图5为本发明所提供的基于稠密视差图的路面不平度检测系统一种具体实施方式的结构框图。

具体实施方式

[0066] 以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一
部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0067] 本发明所提供的基于稠密视差图的路面不平度检测方案，可以实现不需要依赖其他额外的外界输入信息下，对当前的行驶路面不平度进行感知，从而使得车辆辅助驾驶系
统在收到路面平整度等级后做出相关处理，优化辅助驾驶的道路感知功能，提高驾驶的舒
适性和安全性。

[0068] 在一种具体实施方式中，如图1所示，本发明所提供的基于稠密视差图的路面不平度检测方法，包括以下步骤：

[0069] S1：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。

[0070] 也就是说，通过双目立体视觉传感器，获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。

[0071] 在该具体实施方式中，以双目立体相机坐标系为参考系，沿左目相机光轴方向是Z轴距离方向，双目立相机基线方向为X轴横向方向，竖直方向为Y轴纵向方向。

[0072] S2：基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息。具体地，以真实世界坐标系下的目标区域为基准截取在图像中的目标区域，将目标
区域的图像区域转换为世界坐标系下的三维点云信息pts；图像区域信息依据双目立体视
觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换。

[0073] 为了提高三维点云信息的准确性，进而保证后续计算结果的准确性，步骤S2具体包括以下步骤：

[0074] S21：基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；

[0075] S22：以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；

[0076] S23：根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：

[0077]

[0078] 其中，为双目立体视觉成像系统中左相机光心到右相机光心的间距；

[0079] 为双目立体视觉成像系统中的相机焦距；

[0080] 与 为双目立体视觉成像系统中相机主点的图像坐标；

[0081] 和 是所述目标区域内的图像坐标点；

[0082] 为图像点坐标为 的视差值；

[0083] X为世界坐标系下三维点距离相机的横向距离；

[0084] Y为世界坐标系下三维点距离相机的纵向距离；

[0085] Z为世界坐标系下三维点距离相机的深度距离。

[0086] S3：将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型。

[0087] 具体地，对三维点云信息pts数据进行分组，在感兴趣的目标区域内，按照世界坐标系下的物理尺度划分m行n列的投影栅格区域，对每个投影栅格区域内的三维点云信息
pts数据拟合直线模型。

[0088] 其中，直线模型方程为：

[0089]

[0090] 公式中，c1，c0为直线模型参数，其可以为预设值或者为经验值。

[0091] S4：基于所述拟合直线模型分别统计n列的带权重残差和。

[0092] 在一个实施例中，为了保证数据准确度，步骤S4具体包括以下步骤：

[0093] S41：统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；

[0094] S42：对m行分别设置不同权重，并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。

[0095] 在步骤S41中，利用以下公式计算所述平均残差绝对值之和：

[0096]

[0097] 其中， 为世界坐标系下三维点的横向距离；

[0098] 为世界坐标系下三维点的纵向距离；

[0099] 是直线模型参数；

[0100] 是序列为i行j列投影栅格内三维点云信息的个数；

[0101] 是序列为i行j列投影栅格的平均残差绝对值之和。

[0102] 在步骤S42中，投影栅格的每一行pts数据对应的距离范围不同，在投影栅格区域中，对m行分别设置不同权重，并统计n列的带权重残差和，具体利用以下公式计算所述带权
重残差和：

[0103]

[0104] 其中， 是序列为i行n列投影栅格的残差绝对值之和；

[0105] 为序列为i行投影栅格的权重值；

[0106] 是n列投影栅格的带权重残差和。

[0107] S5：根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。应当理解的是，路面平整度等级可以为预先约定的场景，其根据路面平整情况或颠簸情况
进行划分。例如，如图2所示的场景为第一等级，此时对应很平坦的路面情况，如高速公路、
环路或国道等主干道；如图3所示的场景为第二等级，此时对应一般平坦的路面情况，如城
市普通道路或乡村路面等；如图4所示的场景为第三等级，此时对应较颠簸的路面情况，例
如坑洼路面等。

[0108] 在该具体实施方式中，步骤S5具体包括以下步骤：

[0109] S51：设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；

[0110] S52：遍历全部列的带权重残差和；

[0111] S53：若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；

[0112] S54：若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；

[0113] S55：若所述带权重残差和大于所述第二预设阈值，则判定该目标区域的路面平整度为第三等级；

[0114] 其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。

[0115] 为了提高方法的准确性，根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，还包括：

[0116] 当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；

[0117] 基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；

[0118] 以置信度最高的路面平整度等级作为当前路面平整度等级输出。

[0119] 在一个具体场景中，依据不同等级路面设置带权重残差和的阈值，即第一预设阈值Th1和第二预设阈值Th2，基于Th1和Th2，对每一列计算的带权重残差和进行投票，具体
为：

[0120]

[0121] 其中， 是j列投影栅格的带权重残差和；

[0122] 是 对A级路面的投票结果；

[0123] 是 对B级路面的投票结果；

[0124] 是 对C级路面的投票结果；

[0125] 是归属A级路面的统计值；

[0126] 是归属B级路面的统计值；

[0127] 是归属C级路面的统计值；

[0128] 遍历全部列的当带权重残差和，当带权重残差和小于等于阈值Th1时，归属第一等级的统计值 加1，当带权重残差和大于阈值Th1且小于等于阈值Th2时，归属
第二等级的统计值 加1，当带权重残差和大于阈值Th2时，归属第三等级的
统计值 加1。

[0129] 而后，计算单帧图像在不同类别下的置信度，具体为：

[0130]

[0131] 其中,  是归属第一级路面的统计值；

[0132] 是归属第二级路面的统计值；

[0133] 是归属第三级路面的统计值；

[0134] 是当前帧属于第一级路面的置信度；

[0135] 是当前帧属于第二级路面的置信度；

[0136] 是当前帧属于第三级路面的置信度；

[0137] 最后，根据不同等级路面的置信度，选择置信度值最高的路面等级作为检测结果输出，以提高结果准确性。

[0138] 在上述具体实施方式中，本发明所提供的基于稠密视差图的路面不平度检测方法，通过将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区
域中的三维点云信息数据分别拟合直线模型，基于所述拟合直线模型分别统计n列的带权
重残差和根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。这
样，该方案通过带权重残差和的计算和比对，判断出当前路面所处的平整度等级，能够及时
获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结
果，为控制系统的行驶指令提供数据支撑，进而提高了驾驶舒适性。

[0139] 除了上述方法，本发明还提供一种基于稠密视差图的路面不平度检测系统，如图5所示，所述系统包括：

[0140] 视差图获取单元100，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；

[0141] 也就是说，通过双目立体视觉传感器，获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。

[0142] 在该具体实施方式中，以双目立体相机坐标系为参考系，沿左目相机光轴方向是Z轴距离方向，双目立相机基线方向为X轴横向方向，竖直方向为Y轴纵向方向。

[0143] 点云信息获取单元200，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；

[0144] 具体地，以真实世界坐标系下的目标区域为基准截取在图像中的目标区域，将目标区域的图像区域转换为世界坐标系下的三维点云信息pts；图像区域信息依据双目立体
视觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换。

[0145] 为了提高三维点云信息的准确性，进而保证后续计算结果的准确性，点云信息获取单元200具体用于：

[0146] 基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；

[0147] 以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；

[0148] 根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：

[0149]

[0150] 其中，为双目立体视觉成像系统中左相机光心到右相机光心的间距；

[0151] 为双目立体视觉成像系统中的相机焦距；

[0152] 与 为双目立体视觉成像系统中相机主点的图像坐标；

[0153] 和 是所述目标区域内的图像坐标点；

[0154] 为图像点坐标为 的视差值；

[0155] X为世界坐标系下三维点距离相机的横向距离；

[0156] Y为世界坐标系下三维点距离相机的纵向距离；

[0157] Z为世界坐标系下三维点距离相机的深度距离。

[0158] 直线模型拟合单元300，用于将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；

[0159] 具体地，对三维点云信息pts数据进行分组，在感兴趣的目标区域内，按照世界坐标系下的物理尺度划分m行n列的投影栅格区域，对每个投影栅格区域内的三维点云信息
pts数据拟合直线模型。

[0160] 其中，直线模型方程为：

[0161]

[0162] 公式中，c1，c0为直线模型参数，其可以为预设值或者为经验值。

[0163] 重残差和获取单元400，用于基于所述拟合直线模型分别统计n列的带权重残差和；

[0164] 在一个实施例中，为了保证数据准确度，重残差和获取单元400具体用于：

[0165] 统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；

[0166] 对m行分别设置不同权重，并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。

[0167] 利用以下公式计算所述平均残差绝对值之和：

[0168]

[0169] 其中， 为世界坐标系下三维点的横向距离；

[0170] 为世界坐标系下三维点的纵向距离；

[0171] 是直线模型参数；

[0172] 是序列为i行j列投影栅格内三维点云信息的个数；

[0173] 是序列为i行j列投影栅格的平均残差绝对值之和。

[0174] 投影栅格的每一行pts数据对应的距离范围不同，在投影栅格区域中，对m行分别设置不同权重，并统计n列的带权重残差和 ，具体利用以下公式计算所述带权重残
差和：

[0175]

[0176] 其中， 是序列为i行n列投影栅格的残差绝对值之和；

[0177] 为序列为i行投影栅格的权重值；

[0178] 是n列投影栅格的带权重残差和。

[0179] 结果输出单元500，用于根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。

[0180] 应当理解的是，路面平整度等级可以为预先约定的场景，其根据路面平整情况或颠簸情况进行划分。例如，如图2所示的场景为第一等级，此时对应很平坦的路面情况，如高
速公路、环路或国道等主干道；如图3所示的场景为第二等级，此时对应一般平坦的路面情
况，如城市普通道路或乡村路面等；如图4所示的场景为第三等级，此时对应较颠簸的路面
情况，例如坑洼路面等。

[0181] 在该具体实施方式中，结果输出单元500具体用于：

[0182] 设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；

[0183] 遍历全部列的带权重残差和；

[0184] 若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；

[0185] 若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；

[0186] 若所述带权重残差和大于该目标区域的路面平整度为第三等级；

[0187] 其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。

[0188] 为了提高方法的准确性，根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，结果输出单元500还用于：

[0189] 当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；

[0190] 基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；

[0191] 以置信度最高的路面平整度等级作为当前路面平整度等级输出。

[0192] 在一个具体场景中，依据不同等级路面设置带权重残差和的阈值，即第一预设阈值Th1和第二预设阈值Th2，基于Th1和Th2，对每一列计算的带权重残差和进行投票，具体
为：

[0193]

[0194] 其中， 是j列投影栅格的带权重残差和；

[0195] 是 对A级路面的投票结果；

[0196] 是 对B级路面的投票结果；

[0197] 是 对C级路面的投票结果；

[0198] 是归属A级路面的统计值；

[0199] 是归属B级路面的统计值；

[0200] 是归属C级路面的统计值；

[0201] 遍历全部列的当带权重残差和，当带权重残差和小于等于阈值Th1时，归属第一等级的统计值 加1，当带权重残差和大于阈值Th1且小于等于阈值Th2时，归属第二
等级的统计值 加1，当带权重残差和大于阈值Th2时，归属第三等级的统计值
加1。

[0202] 而后，计算单帧图像在不同类别下的置信度，具体为：

[0203]

[0204] 其中,  是归属第一级路面的统计值；

[0205] 是归属第二级路面的统计值；

[0206] 是归属第三级路面的统计值；

[0207] 是当前帧属于第一级路面的置信度；

[0208] 是当前帧属于第二级路面的置信度；

[0209] 是当前帧属于第三级路面的置信度；

[0210] 最后，根据不同等级路面的置信度，选择置信度值最高的路面等级作为检测结果输出，以提高结果准确性。

[0211] 在上述具体实施方式中，本发明所提供的基于稠密视差图的路面不平度检测系统，通过将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区
域中的三维点云信息数据分别拟合直线模型，基于所述拟合直线模型分别统计n列的带权
重残差和根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。这
样，该方案通过带权重残差和的计算和比对，判断出当前路面所处的平整度等级，能够及时
获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结
果，为控制系统的行驶指令提供数据支撑，进而提高了驾驶舒适性。

[0212] 本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

[0213] 所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

[0214] 与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一
种双目相机深度标定系统执行如上所述的方法。

[0215] 在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成
电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列
（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体
管逻辑器件、分立硬件组件。

[0216] 可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开
的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软
件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储
器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质
中的信息，结合其硬件完成上述方法的步骤。

[0217] 存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

[0218] 其中，非易失性存储器可以是只读存储器（Read‑Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简
称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。

[0219] 易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存
储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随
机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器
（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（Enhanced 
SDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接
内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。

[0220] 本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

[0221] 本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质
中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计
算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算
机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

[0222] 以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范
围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本
发明的保护范围之内。