一种汽车行驶中前方坑洞的预判方法及系统

摘要

本发明公开了一种汽车行驶中前方坑洞的预判方法及系统，包括以下步骤，训练模块根据实际采集的路况数据对坑洞预判算法模型进行训练，并将训练后的坑洞预判算法模型数据通过管理模块同步给所有车辆；采集模块在汽车行驶时采集道路前方的图片；处理模块基于坑洞预判算法模型对采集到的图片进行计算并预测前方的坑洞情况。本发明的有益效果：通过深度学习技术结合云端校正技术，做到实时的预测并不断的自主学习，达到路况的即时预测，最大限的减少了事故的发生。

权利要求

1.一种汽车行驶中前方坑洞的预判方法，其特征在于：包括以下步骤，训练模块(300)根据实际采集的路况数据对坑洞预判算法模型进行训练，并将训练后的坑洞预判算法模型数据通过管理模块(400)同步给所有车辆；所述对坑洞预判算法模型进行训练包括以下步骤，采集模块(100)在汽车行驶时采集前方的路况图片和汽车行驶信息；

对采集到的路况图片进行处理，并通过坑洞预判算法模型预测路面的坑洞信息；

对采集到的汽车行驶信息进行处理并根据加速度信息计算路面的坑洞信息；

对比根据路况图片预测的路面坑洞信息和根据汽车行驶信息计算的路面坑洞信息，当坑洞信息不一致时，将采集模块(100)采集到的路况图片和汽车行驶信息作为训练数据上传至管理模块(400)；

采集模块(100)在汽车行驶时采集道路前方的图片；所述采集模块(100)包括图片采集装置(101)，用于采集前方路面的图片，且图片格式为RGB格式，清晰采集的范围为前方200m距离；

处理模块(200)基于坑洞预判算法模型对采集到的图片进行计算并预测前方的坑洞情况。

2.如权利要求1所述的汽车行驶中前方坑洞的预判方法，其特征在于：所述采集模块(100)还包括行驶信息采集装置(102)，采集到的汽车行驶信息包括汽车行驶时在垂直坐标系三个方向上的加速度、振动幅度和频率、行驶速度以及时间。

3.如权利要求2所述的汽车行驶中前方坑洞的预判方法，其特征在于：所述处理模块(200)包括人工智能计算机Jetson Nano，所述采集模块(100)的图片采集装置(101)通过USB接口与处理模块(200)相连接。

4.如权利要求3所述的汽车行驶中前方坑洞的预判方法，其特征在于：所述对路况图片进行实时处理包括以下步骤，图片的灰度化、边缘提取、几何校正和拼接融合。

5.如权利要求4所述的汽车行驶中前方坑洞的预判方法，其特征在于：所述坑洞预判算法模型预测路面的坑洞信息包括以下步骤，建立三维测量模型，计算图片采集装置(101)采集图片时的两点间距离dAB；

对坑洞图像进行标定和大小的测算，得到坑洞的长度和宽度信息；

根据采集图片计算坑洞的深度信息。

6.如权利要求4或5所述的汽车行驶中前方坑洞的预判方法，其特征在于：所述根据汽车行驶信息计算坑洞信息包括以下步骤，对汽车行驶信息进行处理，包括去噪和分段；

计算坑洞的深度值，计算公式如下：

δ＝ln(η)

其中，y为坑洞深度，p为振动频率，η为振幅递减比，t为振动时间；

根据行驶速度和经过坑洞的时间获得坑洞的轮廓值。

7.一种汽车行驶中前方坑洞的预判系统，其特征在于：包括，采集模块(100)，所述采集模块(100)包括图片采集装置(101)和行驶信息采集装置(102)，用于采集车辆行驶时前方的图片和汽车行驶信息；

处理模块(200)，所述处理模块(200)与所述采集模块(100)相连，接收图片并通过坑洞预判算法模型计算坑洞信息；

训练模块(300)，所述训练模块(300)能够根据图片和汽车行驶信息训练所述处理模块(200)的坑洞预判算法模型；

管理模块(400)，所述管理模块(400)用于接收所述训练模块(300)的训练数据并将其同步至所述处理模块(200)，且所述管理模块(400)能够接收所述处理模块(200)上报的坑洞信息，所述管理模块(400)为云端，能够接收所述处理模块(200)上报的坑洞信息，并将其再同步给其他车辆。

说明书

一种汽车行驶中前方坑洞的预判方法及系统

技术领域

[0001] 本发明涉及车辆行驶时的道路预判技术领域，尤其涉及一种汽车行驶中前方坑洞的预判方法及系统。

背景技术

[0002] 近年来，用户驾驶汽车在高速行驶过程中，经常因为无法预判前方的坑洼路面而以较快的速度行驶，致使车辆地盘与地面激烈碰撞损害车辆甚至致使车辆失控发生事故。因此如果能够在车辆行驶中，对前方几百米左右的坑洼路况做到实时分析并即时给驾驶员预警提示，甚至在必要时候智能控制车辆减速来规避坑面导致的危险，将极大的减少因为路面坑洼导致的事故或者车辆的损害。

[0003] 现有的相关技术包括人工识别并报告车辆外部运行环境的车载系统，其他装有此系统的车辆可以收到上报的信息并在行经此处时候给车主做出安全预警；或基于智能手机的路面坑洞探测方法，能通过收集手机在行驶过程中产生的运动数据，分析出路面的颠簸情况检测路面坑洞的探测方法。以上技术存在很多的不足之处：如无法实时明确预警到驾驶人员前方坑洞情况；需要人工上报故障，处理方式不够智能化；依赖手机能测试设备，计算出的数据不够精确、受外界干扰较大，容易产生误报等。

发明内容

[0004] 本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

[0005] 鉴于上述现有存在的问题，提出了本发明。

[0006] 因此，本发明解决的其中一个技术问题是：提供一种汽车行驶中前方坑洞的预判方法，能够根据前方路面场景或者服务端上报数据，实时分析前方路况情况，从而对驾驶者进行预警以及辅助车辆的行驶。

[0007] 为解决上述技术问题，本发明提供如下技术方案：一种汽车行驶中前方坑洞的预判方法，包括以下步骤，训练模块根据实际采集的路况数据对坑洞预判算法模型进行训练，并将训练后的坑洞预判算法模型数据通过管理模块同步给所有车辆；采集模块在汽车行驶时采集道路前方的图片；处理模块基于坑洞预判算法模型对采集到的图片进行计算并预测前方的坑洞情况。

[0008] 作为本发明所述的汽车行驶中前方坑洞的预判方法的一种优选方案，其中：所述对坑洞预判算法模型进行训练包括以下步骤，采集模块在汽车行驶时采集前方的路况图片和汽车行驶信息；对采集到的路况图片进行处理，并通过坑洞预判算法模型预测路面的坑洞信息；对采集到的汽车行驶信息进行处理并根据加速度信息计算路面的坑洞信息；对比根据路况图片预测的路面坑洞信息和根据汽车行驶信息计算的路面坑洞信息，当坑洞信息不一致时，将采集模块采集到的路况图片和汽车行驶信息作为训练数据上传至管理模块。

[0009] 作为本发明所述的汽车行驶中前方坑洞的预判方法的一种优选方案，其中：所述采集模块包括图片采集装置，用于采集前方路面的图片，且图片格式为RGB格式，清晰采集的范围为前方200m距离。

[0010] 作为本发明所述的汽车行驶中前方坑洞的预判方法的一种优选方案，其中：所述采集模块还包括行驶信息采集装置，采集到的汽车行驶信息包括汽车行驶时在垂直坐标系三个方向上的加速度、振动幅度和频率、行驶速度以及时间。

[0011] 作为本发明所述的汽车行驶中前方坑洞的预判方法的一种优选方案，其中：所述处理模块包括人工智能计算机Jetson Nano，所述采集模块的图片采集装置通过USB接口与处理模块相连接。

[0012] 作为本发明所述的汽车行驶中前方坑洞的预判方法的一种优选方案，其中：所述对路况图片进行实时处理包括以下步骤，图片的灰度化、边缘提取、几何校正和拼接融合。

[0013] 作为本发明所述的汽车行驶中前方坑洞的预判方法的一种优选方案，其中：所述坑洞预判算法模型预测路面的坑洞信息包括以下步骤，建立三维测量模型，计算图片采集装置采集图片时的两点间距离dAB；对坑洞图像进行标定和大小的测算，得到坑洞的长度和宽度信息；根据采集图片计算坑洞的深度信息。

[0014] 作为本发明所述的汽车行驶中前方坑洞的预判方法的一种优选方案，其中：所述根据汽车行驶信息计算坑洞信息包括以下步骤，

[0015] 对汽车行驶信息进行处理，包括去噪和分段；

[0016] 计算坑洞的深度值，计算公式如下：

[0017]

[0018] δ＝ln(η)

[0019] 其中，y为坑洞深度，p为振动频率，η为振幅递减比，t为振动时间；

[0020] 根据行驶速度和经过坑洞的时间获得坑洞的轮廓值。

[0021] 本发明解决的另一个技术问题是：提出一种汽车行驶中前方坑洞的预判系统，应用上述汽车行驶中前方坑洞的预判方法来预测汽车行驶时前方的坑洞。

[0022] 为解决上述技术问题，本发明提供如下技术方案：一种汽车行驶中前方坑洞的预判系统，包括，采集模块，所述采集模块包括图片采集装置和行驶信息采集装置，用于采集车辆行驶时前方的图片和汽车行驶信息；处理模块，所述处理模块与所述采集模块相连，接收图片并通过坑洞预判算法模型计算坑洞信息；训练模块，所述训练模块能够根据图片和汽车行驶信息训练所述处理模块的坑洞预判算法模型。

[0023] 作为本发明所述的汽车行驶中前方坑洞的预判系统的一种优选方案，其中：还包括，管理模块，所述管理模块用于接收所述训练模块的训练数据并将其同步至所述处理模块，且所述管理模块能够接收所述处理模块上报的坑洞信息。

[0024] 本发明的有益效果：本发明提供的汽车行驶中前方坑洞的预判方法及系统，通过采集信息并对坑洞预判算法模型进行训练，得到可靠的坑洞预判算法模型，并通过云端同步到汽车上的处理模块，汽车在行驶时能够根据前方路面场景，实时分析前方路况情况，从而对驾驶者进行预警以及辅助车辆的行驶，同时云端还能接收汽车行驶时遇到的坑洞信息数据并将其同步至其它汽车上，辅助汽车进行坑洞的预判。

附图说明

[0025] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

[0026] 图1为本发明第一种实施例所述汽车行驶中前方坑洞的预判方法的整体流程示意图；

[0027] 图2为本发明第一种实施例所述汽车行驶中前方坑洞的预判方法中采集模块采集图片的示意图；

[0028] 图3为本发明第一种实施例所述汽车行驶中前方坑洞的预判方法云端的接收和同步示意图；

[0029] 图4为本发明第二种实施例所述汽车行驶中前方坑洞的预判系统的整体原理结构示意图。

具体实施方式

[0030] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

[0031] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

[0032] 其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

[0033] 本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

[0034] 同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0035] 本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

[0036] 实施例1

[0037] 对于汽车行驶过程中，坑洞路面会影响行驶的稳定性、乘客乘坐的舒适性，同时过多的坑洞路面还会对汽车本身造成负担和损伤，通过汽车行驶中前方坑洞的预判方法，对前方道路的路面坑洞进行预判，就能及时反馈给汽车控制系统或驾驶员，减小或避免了坑洞路面对车辆行驶和汽车本身的影响。本实施例提供了一种汽车行驶中前方坑洞的预判方法，具体的，包括以下步骤，

[0038] 步骤1：训练模块300根据实际采集的路况数据对坑洞预判算法模型进行训练，并将训练后的坑洞预判算法模型数据通过管理模块400同步给所有车辆。具体的，对坑洞预判算法模型进行训练还包括以下步骤，

[0039] 步骤1-1：采集模块100在汽车行驶时采集前方的路况图片和汽车行驶信息。其中，图片采集装置101用于采集汽车行驶时前方路面的清晰图片，行驶信息采集装置102用于采集汽车行驶信息，行驶信息采集装置102包括加速度传感器、速度传感器、振动测量仪和定位系统，这些装置均是常见安装于汽车上的装置，分别能够测量车辆行驶时的速度信息、加速度信息、振动幅度和频率和地理位置。

[0040] 具体的，图片采集装置101为摄像头，用于采集前方路面的图片，且采集到的图片格式为RGB格式，采集时通常需要对坑洞附近的两点进行图片采集。

[0041] 摄像头要求能够清晰采集200m距离内的环境图片，由于汽车在高速行驶时(时速80～120km/h)，常规的安全距离在100米，当车速为100km/h时，安全距离为100m，此时反应时间为：

[0042]

[0043] 3.6s足够驾驶员对前方路面的坑洞情况作出合适的应对措施，因此当摄像头采集范围为前方200m时，能保证100m的安全车距、100m的反应操作时间。

[0044] 步骤1-2：对采集到的路况图片进行处理，并通过坑洞预判算法模型预测路面的坑洞信息。具体的，对路况图片进行实时处理包括以下步骤，图片的灰度化、边缘提取、几何校正和拼接融合。由于采集到的图片格式为RGB格式，但后续计算坑洞大小时不需要彩色的图片，且由于RGB格式的图片数据量较大，因此为了便于后续的处理和计算，对采集到的RGB格式图片进行灰度化处理；边缘提取是为了更好的计算坑洞的大小、降低计算的复杂度，典型的图片边缘检测算法包括Robert算法、Kirsh算法和基于小波变换的自适应阀值算法等，本实施例中可以选用基于小波变换的自适应阀值对图片进行边缘检测；由于图片采集装置101是在距离坑洞一定范围的地方进行图片采集，因此需要对采集到的坑洞图片进行几何校正，几何校正包括图像旋转和矩形像素坐标变换两个主要步骤；为了使预测的坑洞信息更加准确，图片采集装置101会在同一采集点对同一坑洞采集两张图片，当采集多张图片时应先将图片通过拼接融合的方式融合到一张图片中再进行后续的坑洞预测。

[0045] 通过坑洞预判算法模型预测路面的坑洞信息包括以下步骤，建立三维测量模型，计算图片采集装置101采集图片时的两点间距离dAB。设采集图片时图片采集装置101所在的点P坐标为(0，0，h)，建立三维坐标系，采集的坑洞图片分别是对坑洞A、B两点进行的图片采集，此时A、B两点的空间坐标分别为(xA，yA，0)和(xB，yB，0)，可以得到：

[0046]

[0047]

[0048] 对坑洞图像进行标定和大小的测算，得到坑洞的长度和宽度。计算得出的AB间距离并非实际坑洞的尺寸大小，因此通过AB间距离和所占像素个数对坑洞图像进行标定，具体的，AB在图片中所占像素个数为n，坑洞在图片中所占像素个数为N，则图片中每个像素代表的实际长度为dAB/n，坑洞面积为：

[0049]

[0050] 其中，S为坑洞面积，根据dAB和S能够计算出坑洞的长度和宽度信息。

[0051] 根据采集图片计算坑洞的深度信息。具体的，根据A、B两点拍摄的坑洞图片，假设坑洞深度为C点，则可以计算AC与垂直方向的夹角α、AB与垂直方向的夹角β，C点与水平方向的夹角θA、B点与水平方向的夹角θB，以及比B点垂直距离高出1m的B′和C点连线与垂直方向的夹角γ，可以计算出坑洞的H深度为：

[0052]

[0053] θ＝|θA-θB|

[0054] 其中h为采集图片时图片采集装置101所在的点P的高度。

[0055] 步骤1-3：对采集到的汽车行驶信息进行处理并根据汽车行驶信息计算路面的坑洞信息。具体的，采集模块100通过行驶信息采集装置102对汽车行驶时的信息进行采集，包括汽车行驶时在垂直坐标系三个方向上的加速度、振动幅度和频率、行驶速度以及时间，为了采集以上汽车行驶信息，行驶信息采集装置102具体可以包括加速度传感器、速度测量仪、振动测量仪、全球定位系统等。计算坑洞信息包括以下步骤，

[0056] 对汽车行驶信息进行处理，包括去噪和分段。该步骤主要是用于识别汽车是否经过了坑洞路面，排出因刹车等情况造成的汽车振动，本实施例中，可以通过建立单自由度振动模型消除车辆悬挂系统对振动的影响。

[0057] 计算坑洞的深度值，计算公式如下：

[0058]

[0059] δ＝ln(η)

[0060] 其中，h为坑洞深度，p为振动频率，η为振幅递减比，t为振动时间；

[0061] 根据行驶速度和经过坑洞的时间获得坑洞的轮廓值。具体的，本实施例中需要对汽车行驶信息进行误差排除，即去除汽车并非行驶经过坑洞时测量的数据，再根据汽车经过坑洞的行驶时间和速度计算出坑洞的长度和宽度信息。

[0062] 步骤1-4：对比根据路况图片预测的路面坑洞信息和根据汽车行驶信息计算的路面坑洞信息，当坑洞信息不一致时，将采集模块100采集到的路况图片和汽车行驶信息作为训练数据上传至管理模块400。具体的，对比两次计算的路面坑洞信息的长度、宽度和深度，并将采集模块100采集的数据和坑洞信息上传至管理模块400进行统一管理，作为深度学习的训练数据，进一步训练和强化坑洞预判算法并提高其预测的准确度。

[0063] 经过训练和强化后的坑洞预判算法模型数据通过管理模块400同步给所有车辆，同时管理模块400能够接收汽车在实际行驶过程中遇到的坑洞信息，并将这些信息同步给所有车辆，在行驶中给予提示。

[0064] 步骤2：采集模块100在汽车行驶时采集道路前方的图片。汽车在实际行驶中，通过采集模块100的图片采集装置101采集前方的路面图片，图片采集装置101安装于汽车上，并朝向前方。

[0065] 步骤3：处理模块200基于坑洞预判算法模型对采集到的图片进行计算并预测前方的坑洞情况。处理模块200能够接收管理模块400同步的信息，具体的，处理模块200包括人工智能计算机Jetson Nano，采集模块100的图片采集装置101通过USB接口与处理模块200相连接，并将图片传送给处理模块200进行分析，当处理模块200的坑洞预判算法模型判断出前方的坑洞信息后即可供驾驶员参考。

[0066] 通过比对安装有本发明的装置设备和未安装本发明装置的汽车在几种不同路面上的行驶数据进行了比对，比对前置说明：识别成功指的是在距离坑洞前20米外识别出则意味着成功识别，驾驶员识别成功的辨别方法为采取制动减速的位置距离实际坑洞的距离是否大于20米。为避免驾驶员提前潜意识做好思想准备，参与实验的驾驶员均不告知实验目的，且在实验完成之后采用问答的方式确认驾驶员是否识别出坑洞。实验结果如下：

[0067]

[0068] 可以看出，本实例用安装有本发明装置设备的汽车与未安装本实例的汽车在通过不同路面的坑洞时候，有本专利坑洞提醒的驾驶员提前预判到前方路面情况并作出减速的次数明显高于不具备提醒装置的驾驶员。

[0069] 此外，本发明中提到的管理模块400结合云端数据反馈情况进一步校正识别准确度的，相比对基于手机识别坑洞方法的准确度进行了比对，比对结果如下：

[0070]

[0071] 可以看出，本专利在结合云端处理模块400的自动坑洞反馈之后，进一步校正坑洞预判情况，坑洞识别准确率高于基于智能手机识别坑洞的方案。

[0072] 实施例2

[0073] 参照图2的示意，本实施例中提出一种汽车行驶中前方坑洞的预判系统，能够将实施例1中提到的汽车行驶中前方坑洞的预判方法应用于应用于该系统中，并在汽车行驶时对前方路面的坑洞进行预判。具体的，该系统包括采集模块100、处理模块200、训练模块300和管理模块400，其中，采集模块100设置于汽车上，包括图片采集装置101和行驶信息采集装置102，用于采集车辆行驶时前方的图片和汽车行驶信息，其中图片采集装置101为摄像头，行驶信息采集装置102包括加速度传感器、速度测量仪、振动测量仪、全球定位系统等汽车行驶时行驶状态的采集装置。

[0074] 处理模块200与采集模块100相连，设置于汽车上，能够接收图片并通过坑洞预判算法模型计算坑洞信息，具体的，处理模块200为NVIDIA提供的Jetson Nano，Jetson Nano带有USB接口和摄像头接口，能够与采集模块100相连接，采用四核 -A57MPCore处理器，包括I/O接口、物理层接口和显示器等，能够进行数据的处理和传输。

[0075] 训练模块300能够根据图片和汽车行驶信息训练处理模块200的坑洞预判算法模型。为了提高处理模块200对坑洞预判的准确性和可靠性，需要通过训练模块300对坑洞预判算法模型进行训练，可以理解的是，训练模块300包括计算机，通过计算机接收采集模块100采集到的信息，并运行坑洞预判算法模型以及判断坑洞预判的准确程度。

[0076] 管理模块400用于接收训练模块300的训练数据并将其同步至处理模块200，管理模块400能够接收处理模块200上报的坑洞信息。具体的，管理模块400为云端，云端是一款采用应用程序虚拟化技术的软件平台，集软件搜索、下载、使用、管理、备份等多种功能为一体。通过该平台，各类常用软件都能够在独立的虚拟化环境中被封装起来，从而使应用软件不会与系统产生耦合，达到绿色使用软件的目的。云端不仅能够接收训练模块300的训练数据并将其同步给汽车的处理模块200，还能够接收处理模块200上报的坑洞信息，并将其再同步给其他车辆，起到预警的作用。

[0077] 应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。