车道线识别方法、装置、存储介质及电子设备转让专利

申请号 : CN201910282448.X

文献号 : CN111797658A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 陈仲铭何明

申请人 : OPPO广东移动通信有限公司

摘要 :

本申请实施例公开了一种车道线识别方法、装置、存储介质及电子设备,车道线识别方法包括:拍摄得到一帧图像,并提取所述图像中的第一车道线信息;获取上一帧图像中的第二车道线信息,根据所述第一车道线信息和所述第二车道线信息,预测得到下一帧图像中的第三车道线信息;当所述第三车道线信息满足预设条件时,获取所述第一车道线信息与第二车道线信息的误差值;当所述误差值在误差范围内时,确定第一车道线识别成功。利用当一帧图像和当前帧图像之间的关联确定识别车道线是否正确,能够提高车道线识别的准确度。

权利要求 :

1.一种车道线识别方法,其特征在于,包括:

拍摄得到一帧图像,并提取所述图像中的第一车道线信息;

获取上一帧图像中的第二车道线信息,根据所述第一车道线信息和所述第二车道线信息,预测得到下一帧图像中的第三车道线信息;

当所述第三车道线信息满足预设条件时,获取所述第一车道线信息与第二车道线信息的误差值;

当所述误差值在误差范围内时,确定第一车道线识别成功。

2.根据权利要求1所述的车道线识别方法,其特征在于,所述根据所述第一车道线信息和所述第二车道线信息,预测得到下一帧图像中的第三车道线信息包括:获取所述第一车道线信息和所述第二车道线信息之间的车道线误差;

根据所述车道线误差,预测得到下一帧图像中的第三车道线信息。

3.根据权利要求2所述的车道线识别方法,其特征在于,所述获取所述第一车道线信息和所述第二车道线信息之间的车道线误差包括:利用比例积分微分预测算法获取所述第一车道线信息和所述第二车道线信息之间的车道线误差。

4.根据权利要求1所述的车道线识别方法,其特征在于,所述第三车道线信息满足预设条件包括:获取所述第三车道线信息中每条车道线的位置信息,其中,所述第三车道线信息包括至少两条车道线;

判断所述第三车道线信息中任意两条车道线的位置信息是否满足混合高斯模型,若满足则确定为满足预设条件。

5.根据权利要求1所述的车道线识别方法,其特征在于,所述提取所述图像中的第一车道线信息之后,还包括:对所述图像进行二值化处理,得到二值化图像;

利用仿射变换对所述二值化图像进行处理,得到变换图像;

对所述变换图像进行霍夫变换得到对应车道线的直线;

将所述直线进行坐标化得到对应所述直线的坐标信息;

根据所述坐标信息得到虚化的透视车道线信息,并将所述透视车道线信息叠加在所述图像上。

6.根据权利要求5所述的车道线识别方法,其特征在于,所述根据所述坐标信息得到虚化的透视车道线信息,并将所述透视车道线信息叠加在所述图像上包括:根据所述直线的坐标信息得到被遮挡的第一延伸车道线信息;

根据所述直线的坐标信息和所述第一延伸车道线信息,得到虚化的透视车道线信息,并将所述透视车道线信息叠加在所述图像上。

7.根据权利要求6所述的车道线识别方法,其特征在于,所述第一延伸车道线信息包括被车头遮挡的车道线,获取所述第一车道线信息与第二车道线信息的误差值包括:根据所述第二车道线信息得到被遮挡的第二延伸车道线信息,所述第二延伸车道线信息包括被车头遮挡的车道线;

获取所述第一延伸车道线信息与所述第二延伸车道线信息的误差值。

8.一种车道线识别装置,其特征在于,包括:

第一车道线获取模块,用于拍摄得到一帧图像,并提取所述图像中的第一车道线信息;

第三车道线获取模块,用于获取上一帧图像中的第二车道线信息,根据所述第一车道线信息和所述第二车道线信息,预测得到下一帧图像中的第三车道线信息;

误差值获取模块,用于当所述第三车道线信息满足预设条件时,获取所述第一车道线信息与第二车道线信息的误差值;

确定模块,用于当所述误差值在误差范围内时,确定第一车道线识别成功。

9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至7任一项所述的车道线识别方法。

10.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求如权利要求1至7任一项所述的车道线识别方法。

说明书 :

车道线识别方法、装置、存储介质及电子设备

技术领域

[0001] 本申请涉及电子技术领域,特别涉及一种车道线识别方法、装置、存储介质及电子设备。

背景技术

[0002] 现有的车道线识别跟踪装置一般是使用车载摄像头通过检测道路路面图像,通过车载终端设备进行识别到车道线,然后对车道线进行跟踪,但现有的车道线识别检测精度不佳。

发明内容

[0003] 本申请实施例提供一种车道线识别方法、装置、存储介质及电子设备,能够提高车道线的识别精度。
[0004] 第一方面,本申请实施例提供一种车道线识别方法,其包括:
[0005] 拍摄得到一帧图像,并提取所述图像中的第一车道线信息;
[0006] 获取上一帧图像中的第二车道线信息,根据所述第一车道线信息和所述第二车道线信息,预测得到下一帧图像中的第三车道线信息;
[0007] 当所述第三车道线信息满足预设条件时,获取所述第一车道线信息与第二车道线信息的误差值;
[0008] 当所述误差值在误差范围内时,确定第一车道线识别成功。
[0009] 第二方面,本申请实施例还提供了一种车道线识别装置,其包括:
[0010] 第一车道线获取模块,用于拍摄得到一帧图像,并提取所述图像中的第一车道线信息;
[0011] 第三车道线获取模块,用于获取上一帧图像中的第二车道线信息,根据所述第一车道线信息和所述第二车道线信息,预测得到下一帧图像中的第三车道线信息;
[0012] 误差值获取模块,用于当所述第三车道线信息满足预设条件时,获取所述第一车道线信息与第二车道线信息的误差值;
[0013] 确定模块,用于当所述误差值在误差范围内时,确定第一车道线识别成功。
[0014] 第三方面,本申请实施例还提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行上述车道线识别方法的步骤。
[0015] 第四方面,本申请实施例还提供一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行上述车道线识别方法的步骤。
[0016] 本申请实施例提供的车道线识别方法、装置、存储介质及电子设备,其首先拍摄得到一帧图像,并提取所述图像中的第一车道线信息;然后获取上一帧图像中的第二车道线信息,根据所述第一车道线信息和所述第二车道线信息,预测得到下一帧图像中的第三车道线信息;接着当所述第三车道线信息满足预设条件时,获取所述第一车道线信息与第二车道线信息的误差值;最后当所述误差值在误差范围内时,确定第一车道线识别成功。利用当一帧图像和当前帧图像之间的关联确定识别车道线是否正确,能够提高车道线识别的准确度。

附图说明

[0017] 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0018] 图1为本申请实施例提供的车道线识别方法的应用场景示意图。
[0019] 图2为本申请实施例提供的车道线识别方法的流程示意图。
[0020] 图3为本申请实施例提供的车道线识别方法的另一流程示意图。
[0021] 图4为本申请实施例提供的车道线识别方法的另一应用场景示意图。
[0022] 图5为本申请实施例提供的车道线识别装置的结构示意图。
[0023] 图6为本申请实施例提供的电子设备的第一种结构示意图。
[0024] 图7为本申请实施例提供的电子设备的第二种结构示意图。

具体实施方式

[0025] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
[0026] 请参阅图1,图1为本申请实施例提供的车道线识别方法的应用场景示意图。车道线识别方法应用于电子设备。电子设备可以是智能手机、平板电脑、行车记录仪、音频播放装置、视频播放装置、笔记本、可穿戴设备诸如手表、眼镜、头盔、电子手链、电子项链、电子衣物等设备。电子设备中设置有全景感知架构。全景感知架构为电子设备中用于实现车道线识别方法的硬件和软件的集成。
[0027] 其中,全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。
[0028] 信息感知层用于获取电子设备自身的信息和/或外部环境中的信息。信息感知层可以包括多个传感器。例如,信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
[0029] 其中,距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器,可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。
[0030] 数据处理层用于对信息感知层获取到的数据进行处理。例如,数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。
[0031] 其中,数据清理是指对信息感知层获取到的大量数据进行清理,以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度,以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等,以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下,最大限度的精简数据量。
[0032] 特征抽取层用于对数据处理层处理后的数据进行特征抽取,以提取数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。
[0033] 其中,特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。
[0034] 过滤法是指对提取到的特征进行过滤,以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起,以构建一种更加高效、更加准确的特征提取方法,用于提取特征。
[0035] 情景建模层用于根据特征抽取层提取到的特征来构建模型,所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如,情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。
[0036] 智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如,智能服务层可以为用户提供基础应用服务,可以为电子设备进行系统智能优化,还可以为用户提供个性化智能服务。
[0037] 此外,全景感知架构中还可以包括多种算法,每一种算法都可以用于对数据进行分析处理,多种算法可以构成算法库。例如,算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。
[0038] 参考图2,图2为本申请实施例提供的车道线识别方法的流程示意图。其中,车道线识别方法包括以下步骤:
[0039] 101,拍摄得到一帧图像,并提取图像中的第一车道线信息。
[0040] 通过摄像头拍摄得到一帧图像,然后提取该帧图像中的第一车道线信息。可以通过图像识别技术获取第一车道线信息。
[0041] 该摄像头可以为车载摄像头、车载记录仪的摄像头、智能手机的摄像头等。在此以摄像头为电子设备诸如智能手机的摄像头为例进行说明。
[0042] 102,获取上一帧图像中的第二车道线信息,根据第一车道线信息和第二车道线信息,预测得到下一帧图像中的第三车道线信息。
[0043] 电子设备可获取上一帧图像中的第二车道线信息,然后根据第二车道线和第一车道线之间的规律预测得到下一帧图像中的第三车道线信息。
[0044] 103,当第三车道线信息满足预设条件时,获取第一车道线信息与第二车道线信息的误差值。
[0045] 电子设备得到预测的第三车道线信息后,判断第三车道线信息是否满足预设条件,如第三车道线信息是否有明显不合理的地方,如第三车道线中相邻的两条车道线之间的间距过小或过大,若第三车道线中相邻的两条车道线之间的间距过小或过大则说明预测出现了问题,可能是当前帧图像中的第一车道线信息不对造成的。若第三车道线不满足预设条件则说明当前帧图像中的第一车道线信息识别不对,结束流程,或者重新开始新的检测流程。
[0046] 当第三车道线信息满足预设条件时,电子设备获取第一车道线信息与第二车道线信息的误差值。具体的,可以根据同一参照物获取相同位置的车道线信息,如车道线为间断的线,确定其中一段车道线的起点位置,然后获取第一车道线信息与第二车道线信息中对应该段车道线的起点位置的误差值。其中,第一车道线信息和第二车道信息可以设置在同一坐标系中,然后获取误差值。
[0047] 104,当误差值在误差范围内时,确定第一车道线识别成功。
[0048] 电子设备得到当前帧图像的第一车道线信息与上一帧图像的第二车道线信息的误差值后,判断该误差值是否在误差范围内,若在误差范围内,则可以确定第一车道线识别成功。若在误差范围外,说明第一车道线信息识别不对,当前帧图像获取的第一车道线信息相对第二车道线信息误差太大,可能将路上的其他标记误认为车道线,如刹车痕迹、裂缝痕迹等。电子设备通过上一帧图像和当前帧图像的车道信息进行关联确定识别车道线是否正确,能够提高车道线识别的准确度。电子设备识别当前帧图像的第一车道线信息成功后,通过第一车道线信息和第二车道线信息的误差值判断车辆当前在安全的车道线范围内,可以用于智能行车系统使用,如作为车道保持功能的控制信号;还可以作为车道偏离的提醒信号,提醒驾驶员注意是否在超车时偏离车道或者由于意外、犯困等特殊情况偏离车道。
[0049] 参考图3,图3为本申请实施例提供的车道线识别方法的另一流程示意图。其中,车道线识别方法包括以下步骤:
[0050] 201,拍摄得到一帧图像,并提取图像中的第一车道线信息。
[0051] 通过摄像头拍摄得到一帧图像,然后提取该帧图像中的第一车道线信息。可以通过图像识别技术获取第一车道线信息。
[0052] 在一些实施例中,提取图像中的第一车道线信息之后,还包括:
[0053] 对图像进行二值化处理,得到二值化图像;
[0054] 利用仿射变换对二值化图像进行处理,得到变换图像;
[0055] 对变换图像进行霍夫变换得到对应车道线的直线;
[0056] 将直线进行坐标化得到对应直线的坐标信息;
[0057] 根据坐标信息得到虚化的透视车道线信息,并将透视车道线信息叠加在图像上。
[0058] 对图像进行二值化处理可以理解为将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的黑白效果的过程。图像中所有灰度大于或等于阈值的像素被判定为属于特定物体,其灰度值为255表示,否则这些像素点被排除在物体区域以外,灰度值为0,表示背景或者例外的物体区域。
[0059] 仿射变换(Affine Transformation)是一种二维坐标到二维坐标之间的线性变换,保持二维图形的平直性、共线性、平行性和共线比例不变性。其中,平直性可以理解为变换后直线还是直线不会打弯,圆弧还是圆弧;共线性可以理解为若几个点变换前在一条线上,则仿射变换后仍然在一条线上;平行性可以理解为若两条线变换前平行,则变换后仍然平行;共线比例不变性可以理解为变换前一条线上两条线段的比例,在变换后比例不变。
[0060] 霍夫变换是一种特征检测技术,被广泛应用在图像分析、电脑视觉以及数位影像处理。霍夫变换可以用来辨别找出物件中的特征,例如:线条。霍夫变换的算法流程大致如下,给定一个物件、要辨别的形状的种类,算法会在参数空间中执行投票来决定物体的形状,而这是由累加空间里的局部最大值来决定。从而根据霍夫变换从变换图像中检测出直线(线段)等车道线。
[0061] 最后将直线进行坐标化得到对应直线的坐标信息;以及根据坐标信息得到虚化的透视车道线信息,并将透视车道线信息叠加在图像上,以便用户可以清楚车道线的位置。例如,有些车道线因为年代久远等原因不清楚,以至于驾驶员无法判断车道线的位置。将虚化的透视车道线信息叠加在摄像头拍摄获取的图像上,以便用户可以清楚车道线的位置。
[0062] 在一些实施例中,由于图像中的第一车道线信息由多条虚线组成,即真实的车道线由间隔的多条车道线组成。上述实施例中可以获取车道线对应的直线,获取该直线的斜率,然后通过该斜率将间隔的多条车道线连接形成新的直线,新的直线作为车道线信息,从而得到新的虚化的透视车道线信息,并将新的透视车道线信息叠加在图像上。
[0063] 202,根据第一车道线信息得到被遮挡的第一延伸车道线信息。
[0064] 示例性的,可以根据霍夫变换得到对应车道线的直线的坐标信息得到被遮挡的第一延伸车道线信息。被遮挡的第一延伸车道线信息包括被其他车辆遮挡的车道线信息、被自己车辆车头遮挡的车道线信息、摄像头无法获取的车道线信息、被斑马线遮挡的车道线信息等。
[0065] 203,根据直线的坐标信息和第一延伸车道线信息,得到虚化的透视车道线信息,并将透视车道线信息叠加在图像上。
[0066] 将被遮挡的第一延伸车道线信息也虚化并叠加在图像上。例如,透视车道线信息可以延伸到自己车辆的车头底下,用以确定当前时刻车辆与车道线之间的位置关系,如是否在两条车道线中间位置、是否靠近或压在其中一条车道线上等,以便驾驶员及时了解当前车辆与车道线之间的位置关系,用以帮助驾驶员控制车辆,如提示当前车辆压线或靠近一条车道线,以便驾驶员不压线或回归到两条车道线中间位置。
[0067] 204,获取上一帧图像中的第二车道线信息,根据第一车道线信息和第二车道线信息,预测得到下一帧图像中的第三车道线信息。
[0068] 示例性的,获取第一车道线信息和第二车道线信息之间的车道线误差;根据车道线误差,预测得到下一帧图像中的第三车道线信息。
[0069] 其中,可以利用比例积分微分预测算法获取第一车道线信息和第二车道线信息之间的车道线误差。也可以利用其它算法获取车道线误差,如神经网络算法等。
[0070] 比例积分微分预测算法(PID算法)是比例、积分、微分的简称,到稳态的前提下(可以采用阶跃信号实验来测试),在前面加上PID算法控制器,能够很好地实现快速、准确的调节系统,达到预期值。因此把使用PID算法反用,对PID算法得到的前后帧车道线误差作为未来车道线的摆动方向,因此得到下一帧车道线的位置判断方位信息。比例积分微分预测算法如下:
[0071]
[0072] 其中,Err(t)的值为上一帧图像与当前帧图像之间相邻最近的车道线之间的欧氏距离之差,kp为比例常数, 为积分项,TI为积分时间, 为微分项,TD为微分时间。
[0073] 在其他一些实施例中,根据第二车道线信息得到被遮挡的第二延伸车道线信息,第一延伸车道线信息包括被车头遮挡的车道线,第二延伸车道线信息包括被车头遮挡的车道线。比例积分微分预测算法中的Err(t)的值为上一帧图像与当前帧图像之间延伸到被车辆车头遮挡的延伸车道线的欧氏距离之差。即,Err(t)的值为第一延伸车道线信息与第二延伸车道线信息的欧氏距离之差。
[0074] 205,获取第三车道线信息中每条车道线的位置信息,其中,第三车道线信息包括至少两条车道线。
[0075] 两条车道线形成一条道路的界线,因此第三车道线信息包括至少两条车道线。得到预测的第三车道线信息后,获取其中每条车道线的位置信息。
[0076] 206,判断第三车道线信息中任意两条车道线的位置信息是否满足混合高斯模型,若满足则确定为满足预设条件。
[0077] 判断第三车道线信息中任意两条车道线的位置信息是否满足混合高斯模型,若满足混合高斯模型说明车道线之间的位置正确,满足预设条件。若不满足混合高斯模型则可能车道线之间有不合理的地方,如第三车道线中相邻的两条车道线之间的间距过小或过大,若第三车道线中相邻的两条车道线之间的间距过小或过大则说明预测出现了问题,可能是识别当前帧图像中的第一车道线信息不对造成的。例如,将车道中间的缝隙识别成车道线等。若第三车道线不满足混合高斯模型则说明当前帧图像中的第一车道线信息识别不对,结束流程,或者重新开始新的检测流程。
[0078] 207,当第三车道线信息满足预设条件时,获取第一车道线信息与第二车道线信息的误差值。
[0079] 在一些实施例中,获取第一车道线信息与第二车道线信息的误差值可以理解为第一延伸车道线信息与第二延伸车道线信息的误差值。第一延伸车道线信息与第二延伸车道线信息为被车辆车头遮挡的部分,也可以理解为离车辆车轮最近的车道线信息。
[0080] 206,当误差值在误差范围内时,确定第一车道线识别成功。
[0081] 得到当前帧图像的第一车道线信息与上一帧图像的第二车道线信息的误差值后,判断该误差值是否在误差范围内,若在误差范围内,则可以确定第一车道线识别成功。若在误差范围外,说明第一车道线信息识别不对,当前帧图像获取的第一车道线信息相对第二车道线信息误差太大,可能将路上的其他标记误认为车道线,如刹车痕迹、裂缝痕迹、箭头标记等。通过上一帧图像和当前帧图像的车道信息进行关联确定识别车道线是否正确,能够提高车道线识别的准确度。其中,误差值范围可以为用户设置的值,也可以为比例积分微分预测算法得到的U(t),如第一延伸车道线信息是否在第二延伸车道线信息±U(t)的范围内。
[0082] 若识别第一车道线信息成功,能够作为车道保持功能的控制信号,可以根据比例积分微分预测算法对车辆进行控制,使车辆按照预算路线行驶,如行驶在两条车道线中间,或者提示驾驶员当前在车道线合理范围内、当前离车道线太近、当前压车道线行驶,以便驾驶员根据提示信息控制车辆。还能够保证在驾驶员普通切道、在箭头面前切道路、在斑马线前面切道路都能够准确跟踪原车道线信息。需要理解的是,行驶在两条车道线中间并不是正中间,只需要离任意一个车道线之间的距离超过阈值即可,将两条车道线之间的距离减去车辆的宽度得到余量,然后根据余量设置阈值,如阈值为余量的四分之一或五分之一等。
[0083] 在一些实施例中,间隔预设帧数后,重新开始检测车道线。即跳转至201对应的步骤,若没有上一帧图像,则先存储一帧图像再进行201对应的步骤。
[0084] 在一些实施例中,通过标准摄镜头拍摄获取图像并进行上述实施例的车道线识别,还通过广角镜头采集广角图像,当广角镜头采集的广角图像中的车道线信息超出广角图像或超出预设范围则重新开始检测车道线,即跳转至201对应的步骤,若没有上一帧图像,则先存储一帧图像再进行201对应的步骤。
[0085] 在一些实施例中,可以利用电子设备如智能手机作为获取图像的设备。在车辆前端设置一个电子设备如智能手机的接入设备,可以把电子设备插入,固定在车辆前挡风玻璃前面,将接入设备通过内置的车辆控制通讯协议联通汽车的中央控制系统,电子设备获取车辆当前的实际车速等。其中,该车辆控制通讯协议可以由汽车制造商提供,接入设备负责作为移动终端和车辆控制系统的中间桥梁。可以不必购买导航仪和车载行车记录仪,而是使用移动终端复用导航仪、行车记录仪等,而且能够有效地对路面信息进行监控和实时回传云端服务器。
[0086] 请参阅图4,图4为本申请实施例提供的车道线识别方法的应用场景示意图。获取一帧图像,图像中包括车道线、远处物体(如远处建筑物)等,图像的底部为车辆本身车头部分,车头部分遮挡了部分道路。利用上述实施例中的车道线方法可以得到被车头遮挡的延伸车道线,利用车道线的斜率得到延伸车道线。利用比例积分微分算法得到上一帧图像车道线信息和当前帧图像车道线信息的误差值,并根据该误差值预测得到下一帧图像车道线信息。然后判断预测得到的下一帧图像车道线信息是否合理,若不合理则重新获取当前帧车道线信息,若合理则判断当前帧的延伸车道线和上一帧延伸车道线的误差是否在比例积分微分算法得到的误差值内,若在误差值内则确定当前帧车道线信息正确,根据上一帧车道线信息和当前帧车道线信息得到当前车辆行驶状态,然后控制车辆行驶或提示驾驶员。例如,控制车辆在两条车道线中间行驶,或提示驾驶员当前在车道线合理范围内、当前离车道线太近、当前压车道线行驶,以便驾驶员根据提示信息控制车辆。
[0087] 在一些实施例中,电子设备利用全景感知架构的信息感知层获取用户的电子设备的信息(具体包括电子设备运行信息、用户行为信息、各个传感器获取的信息、电子设备状态信息、电子设备显示内容信息、电子设备上传下载信息等),然后通过数据处理层对电子设备的信息进行处理(如无效数据删除、重复数据删除等),接着再通过特征抽取层从数据处理层处理后的信息中提取出需要的信息(如图像传感器拍摄的图像),具体包括当前帧的图像和上一帧图像,情景建模层获取当前帧图像信息中的第一车道线信息,以及上一帧图像中的第二车道线信息,然后根据所述第一车道线信息和所述第二车道线信息,预测得到下一帧图像中的第三车道线信息;当所述第三车道线信息满足预设条件时,获取所述第一车道线信息与第二车道线信息的误差值;当所述误差值在误差范围内时,确定第一车道线识别成功。最后智能服务层根据上一帧车道线信息和当前帧车道线信息得到当前车辆行驶状态,然后控制车辆行驶或提示驾驶员。例如,控制车辆在两条车道线中间行驶,或提示驾驶员当前在车道线合理范围内、当前离车道线太近、当前压车道线行驶,以便驾驶员根据提示信息控制车辆。
[0088] 请参阅图5,图5为本申请实施例提供的车道线识别装置的结构示意图。车道线识别装置300包括第一车道线获取模块301、第三车道线获取模块302、误差值获取模块303和确定模块304。
[0089] 第一车道线获取模块301,用于拍摄得到一帧图像,并提取图像中的第一车道线信息;
[0090] 第三车道线获取模块302,用于获取上一帧图像中的第二车道线信息,根据第一车道线信息和第二车道线信息,预测得到下一帧图像中的第三车道线信息;
[0091] 误差值获取模块303,用于当第三车道线信息满足预设条件时,获取第一车道线信息与第二车道线信息的误差值;
[0092] 确定模块304,用于当误差值在误差范围内时,确定第一车道线识别成功。
[0093] 在一些实施例中,第三车道线获取模块302,还用于获取第一车道线信息和第二车道线信息之间的车道线误差;根据车道线误差,预测得到下一帧图像中的第三车道线信息。
[0094] 在一些实施例中,第三车道线获取模块302,还用于利用比例积分微分预测算法获取第一车道线信息和第二车道线信息之间的车道线误差。
[0095] 在一些实施例中,误差值获取模块303,还用于获取第三车道线信息中每条车道线的位置信息,其中,第三车道线信息包括至少两条车道线;判断第三车道线信息中任意两条车道线的位置信息是否满足混合高斯模型,若满足则确定为满足预设条件。
[0096] 在一些实施例中,第一车道线获取模块301,还用于对图像进行二值化处理,得到二值化图像;利用仿射变换对二值化图像进行处理,得到变换图像;对变换图像进行霍夫变换得到对应车道线的直线;将直线进行坐标化得到对应直线的坐标信息;根据坐标信息得到虚化的透视车道线信息,并将透视车道线信息叠加在图像上。
[0097] 在一些实施例中,第一车道线获取模块301,还用于根据直线的坐标信息得到被遮挡的第一延伸车道线信息;根据直线的坐标信息和第一延伸车道线信息,得到虚化的透视车道线信息,并将透视车道线信息叠加在图像上。
[0098] 在一些实施例中,第三车道线获取模块302,还用于根据第二车道线信息得到被遮挡的第二延伸车道线信息,第二延伸车道线信息包括被车头遮挡的车道线;获取第一延伸车道线信息与第二延伸车道线信息的误差值。
[0099] 请参阅图6,图6为本申请实施例提供的电子设备的第一种结构示意图。其中,电子设备600包括处理器601和存储器602。处理器601与存储器602电性连接。
[0100] 处理器601是电子设备600的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或调用存储在存储器602内的计算机程序,以及调用存储在存储器602内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
[0101] 在本实施例中,电子设备600中的处理器601会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器602中,并由处理器601来运行存储在存储器602中的计算机程序,从而实现各种功能:
[0102] 拍摄得到一帧图像,并提取图像中的第一车道线信息;
[0103] 获取上一帧图像中的第二车道线信息,根据第一车道线信息和第二车道线信息,预测得到下一帧图像中的第三车道线信息;
[0104] 当第三车道线信息满足预设条件时,获取第一车道线信息与第二车道线信息的误差值;
[0105] 当误差值在误差范围内时,确定第一车道线识别成功。
[0106] 在一些实施例中,在根据第一车道线信息和第二车道线信息,预测得到下一帧图像中的第三车道线信息时,处理器601执行以下步骤:
[0107] 获取第一车道线信息和第二车道线信息之间的车道线误差;
[0108] 根据车道线误差,预测得到下一帧图像中的第三车道线信息。
[0109] 在一些实施例中,在获取第一车道线信息和第二车道线信息之间的车道线误差时,处理器601执行以下步骤:
[0110] 利用比例积分微分预测算法获取第一车道线信息和第二车道线信息之间的车道线误差。
[0111] 在一些实施例中,在第三车道线信息满足预设条件时,处理器601执行以下步骤:
[0112] 获取第三车道线信息中每条车道线的位置信息,其中,第三车道线信息包括至少两条车道线;
[0113] 判断第三车道线信息中任意两条车道线的位置信息是否满足混合高斯模型,若满足则确定为满足预设条件。
[0114] 在一些实施例中,提取图像中的第一车道线信息之后,处理器601执行以下步骤:
[0115] 对图像进行二值化处理,得到二值化图像;
[0116] 利用仿射变换对二值化图像进行处理,得到变换图像;
[0117] 对变换图像进行霍夫变换得到对应车道线的直线;
[0118] 将直线进行坐标化得到对应直线的坐标信息;
[0119] 根据坐标信息得到虚化的透视车道线信息,并将透视车道线信息叠加在图像上。
[0120] 在一些实施例中,在根据坐标信息得到虚化的透视车道线信息,并将透视车道线信息叠加在图像上时,处理器601执行以下步骤:
[0121] 根据直线的坐标信息得到被遮挡的第一延伸车道线信息;
[0122] 根据直线的坐标信息和第一延伸车道线信息,得到虚化的透视车道线信息,并将透视车道线信息叠加在图像上。
[0123] 在一些实施例中,在第一延伸车道线信息包括被车头遮挡的车道线,获取第一车道线信息与第二车道线信息的误差值时,处理器601执行以下步骤:
[0124] 根据第二车道线信息得到被遮挡的第二延伸车道线信息,第二延伸车道线信息包括被车头遮挡的车道线;
[0125] 获取第一延伸车道线信息与第二延伸车道线信息的误差值。
[0126] 在一些实施例中,请参阅图7,图7为本申请实施例提供的电子设备的第二种结构示意图。
[0127] 其中,电子设备600还包括:显示屏603、控制电路604、输入单元605、传感器606以及电源607。其中,处理器601分别与显示屏603、控制电路604、输入单元605、传感器606以及电源607电性连接。
[0128] 显示屏603可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
[0129] 控制电路604与显示屏603电性连接,用于控制显示屏603显示信息。
[0130] 输入单元605可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元605可以包括指纹识别模组。
[0131] 传感器606用于采集电子设备自身的信息或者用户的信息或者外部环境信息。例如,传感器606可以包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
[0132] 电源607用于给电子设备600的各个部件供电。在一些实施例中,电源607可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0133] 尽管图7中未示出,电子设备600还可以包括摄像头、蓝牙模块等,在此不再赘述。
[0134] 由上可知,本申请实施例提供了一种电子设备,电子设备中的处理器执行以下步骤:拍摄得到一帧图像,并提取图像中的第一车道线信息;获取上一帧图像中的第二车道线信息,根据第一车道线信息和第二车道线信息,预测得到下一帧图像中的第三车道线信息;当第三车道线信息满足预设条件时,获取第一车道线信息与第二车道线信息的误差值;当误差值在误差范围内时,确定第一车道线识别成功。
[0135] 本申请实施例还提供一种存储介质,存储介质中存储有计算机程序,当计算机程序在计算机上运行时,计算机执行上述任一实施例的车道线识别方法。
[0136] 例如,在一些实施例中,当计算机程序在计算机上运行时,计算机执行以下步骤:
[0137] 拍摄得到一帧图像,并提取图像中的第一车道线信息;
[0138] 获取上一帧图像中的第二车道线信息,根据第一车道线信息和第二车道线信息,预测得到下一帧图像中的第三车道线信息;
[0139] 当第三车道线信息满足预设条件时,获取第一车道线信息与第二车道线信息的误差值;
[0140] 当误差值在误差范围内时,确定第一车道线识别成功。
[0141] 需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述存储介质可以包括但不限于:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
[0142] 以上对本申请实施例所提供的车道线识别方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。