一种采用级联网络的车道线分类方法及系统转让专利
申请号 : CN202110366398.0
文献号 : CN113221643B
文献日 : 2023-04-11
发明人 : 孔斌 , 张露 , 王灿 , 杨静
申请人 : 中国科学院合肥物质科学研究院
摘要 :
本发明公开了一种采用级联网络的车道线分类方法及系统，所述方法包括：对ERFNet网络进行预处理得到UERFNet网络并训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络；将待分类车道线的图像输入车道线定位网络获取每条车道线的位置点；在原始图像中提取每条车道线的位置点所对应的像素值，形成每条车道线的特征图；多个瓶颈层以及全连接层级联构建车道分类网络；将每条车道线的特征图输入车道线分类网络中，输出车道的类别；本发明的优点在于：每张图像的处理时间极少，保障自动驾驶系统的实时性。
权利要求 :
1.一种采用级联网络的车道线分类方法，其特征在于，所述方法包括：
对ERFNet网络进行预处理得到UERFNet网络并训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络；所述对ERFNet网络进行预处理，包括：对ERFNet网络的第16层输出结果进行上采样，上采样的结果输入ERFNet网络的第17层，并且ERFNet网络的第1层输出结果输入到其第23层，ERFNet网络的第2层输出结果输入到其第22层，ERFNet网络的第3层输出结果输入到其第21层，ERFNet网络的第4层输出结果输入到其第20层，ERFNet网络的第5层输出结果输入到其第19层，ERFNet网络的第6层输出结果输入到其第18层，ERFNet网络的第7层输出结果输入到其第17层；
所述训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络，包括：向UERFNet网络输入大量车道的图像；
通过公式 计算每个输入图像的损失值，其中，N表示图像
中像素个数，yi表示第i个像素属于某个车道或者属于背景，pi表示第i个像素的类别预测概率值且 c表示车道线的类别总数，si表示网络预测出第i个像素的类别的分数，j()表示第j个像素，e 表示以e为底的指数函数；
当损失值最小时，停止训练，损失值最小时获得的UERFNet网络作为训练好的UERFNet网络，将训练好的UERFNet网络作为车道线定位网络；
将待分类车道线的图像输入车道线定位网络获取每条车道线的位置点；
在原始图像中提取每条车道线的位置点所对应的像素值，形成每条车道线的特征图；
多个瓶颈层以及全连接层级联构建车道分类网络；
将每条车道线的特征图输入车道线分类网络中，输出车道的类别；
所述瓶颈层包括两个1×1的卷积层以及两个3×3的卷积核，第一个1×1的卷积层、第一个3×3的卷积核、第二个1×1的卷积层以及第二个3×3的卷积核顺次连接，第一个1×1的卷积层的结果与第一个3×3的卷积核的结果叠加后分别输入第二个1×1的卷积层的输入端、第二个3×3的卷积核的输入端以及第二个3×3的卷积核的输出端中；
所述多个瓶颈层以及全连接层级联构建车道分类网络，包括：
所述瓶颈层有四个，每个瓶颈层的结构相同，前三个瓶颈层的输出端均依次连接有一个1×1的卷积层和一个池化层，四个瓶颈层依次级联，第一个瓶颈层中第一个1×1的卷积层接收每条车道线的特征图，第四个瓶颈层的输出结果进行正则化以后输入到一个激活函数中，然后再输入到一个池化层，该池化层的结果输入到全连接层，全连接层输出车道的类别。
2.一种采用级联网络的车道线分类系统，其特征在于，所述系统包括：
车道线定位网络构建模块，用于对ERFNet网络进行预处理得到UERFNet网络并训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络；所述对ERFNet网络进行预处理，包括：对ERFNet网络的第16层输出结果进行上采样，上采样的结果输入ERFNet网络的第17层，并且ERFNet网络的第1层输出结果输入到其第23层，ERFNet网络的第2层输出结果输入到其第22层，ERFNet网络的第3层输出结果输入到其第21层，ERFNet网络的第4层输出结果输入到其第20层，ERFNet网络的第5层输出结果输入到其第19层，ERFNet网络的第6层输出结果输入到其第18层，ERFNet网络的第7层输出结果输入到其第17层；
所述训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络，包括：向UERFNet网络输入大量车道的图像；
通过公式 计算每个输入图像的损失值，其中，N表示图像
中像素个数，yi表示第i个像素属于某个车道或者属于背景，pi表示第i个像素的类别预测概率值且 c表示车道线的类别总数，si表示网络预测出第i个像素的类别的分数，j()表示第j个像素，e 表示以e为底的指数函数；
当损失值最小时，停止训练，损失值最小时获得的UERFNet网络作为训练好的UERFNet网络，将训练好的UERFNet网络作为车道线定位网络；
位置点获取模块，用于将待分类车道线的图像输入车道线定位网络获取每条车道线的位置点；
特征提取模块，用于在原始图像中提取每条车道线的位置点所对应的像素值，形成每条车道线的特征图；
车道分类网络构建模块，用于多个瓶颈层以及全连接层级联构建车道分类网络；
车道类别获取模块，用于将每条车道线的特征图输入车道线分类网络中，输出车道的类别；
所述瓶颈层包括两个1×1的卷积层以及两个3×3的卷积核，第一个1×1的卷积层、第一个3×3的卷积核、第二个1×1的卷积层以及第二个3×3的卷积核顺次连接，第一个1×1的卷积层的结果与第一个3×3的卷积核的结果叠加后分别输入第二个1×1的卷积层的输入端、第二个3×3的卷积核的输入端以及第二个3×3的卷积核的输出端中；
所述车道分类网络构建模块，还用于：
所述瓶颈层有四个，每个瓶颈层的结构相同，前三个瓶颈层的输出端均依次连接有一个1×1的卷积层和一个池化层，四个瓶颈层依次级联，第一个瓶颈层中第一个1×1的卷积层接收每条车道线的特征图，第四个瓶颈层的输出结果进行正则化以后输入到一个激活函数中，然后再输入到一个池化层，该池化层的结果输入到全连接层，全连接层输出车道的类别。
说明书 :
一种采用级联网络的车道线分类方法及系统
技术领域
[0001] 本发明涉及计算机视觉/车道线检测，更具体涉及一种采用级联网络的车道线分类方法及系统。
背景技术
[0002] 自动驾驶汽车通过车载视觉摄像头，传感器和其他设备获取环境数据，然后使用计算机处理收集的数据以感知和识别环境信息，从而自动控制和调整车辆的行驶速度和方向，避免其他车辆。其中，车道线作为道路的基本标志，可以确保车辆安全并有序的行驶。正确的车道线识别可以使自动驾驶汽车对其位置和状态做出进一步的决策和判断，从而确保车辆可以在安全状态下行驶。但是，迄今为止，对车道线识别的研究仅限于良好的天气条件和简单的道路条件。而且车道线种类多样，有直线，弯道等，车道颜色也不同，例如白色车道和黄色车道。目前针对车道线的检测算法主要分为两类，分别为基于传统视觉的车道线检测算法和基于神经网络的车道线检测算法。基于传统视觉的车道线检测算法通过提取车道线的固有特征，比如颜色、纹理以及边缘信息等，进行检测，例如中国专利授权公告号CN103605977B，公开了一种车道线的提取方法及装置，属于自主驾驶技术领域。方法包括：获取需提取车道线的彩色图像；在彩色图像上以预定间隔像素选取多个像素，并以选取的每个像素为中心像素，依次从彩色图像上选取预定尺寸的图像区域；获取每个图像区域的Haar_like特征；采用预设的分类器分别对每个图像区域的Haar_like特征进行分类，得到类别为车道线的图像区域；预设的分类器为，通过boosting训练算法训练预定尺寸的样本图像的Haar_like特征得到的级联分类器；根据类别为车道线的图像区域，提取需提取车道线的彩色图像上的车道线。基于深度学习的车道线检测算法是通过对大量的样本进行训练并自主学习特征，在光照变化、阴影、夜间、弯道等复杂驾驶环境皆具有较强的鲁棒性。但是该发明并没有给出车道线的类别信息，因此自动驾驶汽车的决策系统无法自动规划相应的行驶路线。
[0003] 自动驾驶汽车的决策系统需要获取车道线的类别信息，其根据获取的信息自动规划相应的行驶路线。但是，目前大多数方法侧重于识别出车道线的位置，大多数车道线识别网络采用语义分割的思想来检测车道边界，可以获得每个车道边界的像素级标签，如果将车道线信息以像素级的方式发送给决策，则会占用大量的内存，并花费大量的时间，不利于自动驾驶系统的实时性。
发明内容
[0004] 本发明所要解决的技术问题在于现有技术车道线分类方法及系统将车道线信息以像素级的方式发送给决策，占用大量的内存，并花费大量的时间，不利于自动驾驶系统的实时性。
[0005] 本发明通过以下技术手段实现解决上述技术问题的：一种采用级联网络的车道线分类方法，所述方法包括：
[0006] 对ERFNet网络进行预处理得到UERFNet网络并训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络；
[0007] 将待分类车道线的图像输入车道线定位网络获取每条车道线的位置点；
[0008] 在原始图像中提取每条车道线的位置点所对应的像素值，形成每条车道线的特征图；
[0009] 多个瓶颈层以及全连接层级联构建车道分类网络；
[0010] 将每条车道线的特征图输入车道线分类网络中，输出车道的类别。
[0011] 本发明首先在ERFNet网络基础上进行预处理得到UERFNet网络并训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络，提高车道线定位的准确性，然后，利用车道线固有颜色和形状的优势，将原始图像和车道线定位结果结合起来，提取每条车道线的特征图。最后，将每条车道线的特征图送入多个瓶颈层以及全连接层级联构建的轻量级的车道线分类网络，实现车道线类别的分类，图像级的方式发送车道线信息并且采用轻量级的车道线分类网络进行分类，每张图像的处理时间极少，保障自动驾驶系统的实时性，适合于智能驾驶场景下的实时车道线检测。
[0012] 进一步地，所述对ERFNet网络进行预处理，包括：
[0013] 对ERFNet网络的第16层输出结果进行上采样，上采样的结果输入ERFNet网络的第17层，并且ERFNet网络的第1层输出结果输入到其第23层，ERFNet网络的第2层输出结果输入到其第22层，ERFNet网络的第3层输出结果输入到其第21层，ERFNet网络的第4层输出结果输入到其第20层，ERFNet网络的第5层输出结果输入到其第19层，ERFNet网络的第6层输出结果输入到其第18层，ERFNet网络的第7层输出结果输入到其第17层。
[0014] 进一步地，所述训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络，包括：
[0015] 向UERFNet网络输入大量车道的图像；
[0016] 通过公式 计算每个输入图像的损失值，其中，N表示图像中像素个数，yi表示第i个像素属于某个车道或者属于背景，pi表示第i个像素的类别预测概率值且 c表示车道线的类别总数，si表示网络预测出第i个像素的类别的分()
数，j表示第j个像素，e 表示以e为底的指数函数；
数，j表示第j个像素，e 表示以e为底的指数函数；
[0017] 当损失值最小时，停止训练，损失值最小时获得的UERFNet网络作为训练好的UERFNet网络，将训练好的UERFNet网络作为车道线定位网络。
[0018] 进一步地，所述瓶颈层包括两个1×1的卷积层以及两个3×3的卷积核，第一个1×1的卷积层、第一个3×3的卷积核、第二个1×1的卷积层以及第二个3×3的卷积核顺次连接，第一个1×1的卷积层的结果与第一个3×3的卷积核的结果叠加后分别输入第二个1×1的卷积层的输入端、第二个3×3的卷积核的输入端以及第二个3×3的卷积核的输出端中。
[0019] 更进一步地，所述多个瓶颈层以及全连接层级联构建车道分类网络，包括：
[0020] 所述瓶颈层有四个，每个瓶颈层的结构相同，前三个瓶颈层的输出端均依次连接有一个1×1的卷积层和一个池化层，四个瓶颈层依次级联，第一个瓶颈层中第一个1×1的卷积层接收每条车道线的特征图，第四个瓶颈层的输出结果进行正则化以后输入到一个激活函数中，然后再输入到一个池化层，该池化层的结果输入到全连接层，全连接层输出车道的类别。
[0021] 本发明还提供一种采用级联网络的车道线分类系统，所述系统包括：
[0022] 车道线定位网络构建模块，用于对ERFNet网络进行预处理得到UERFNet网络并训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络；
[0023] 位置点获取模块，用于将待分类车道线的图像输入车道线定位网络获取每条车道线的位置点；
[0024] 特征提取模块，用于在原始图像中提取每条车道线的位置点所对应的像素值，形成每条车道线的特征图；
[0025] 车道分类网络构建模块，用于多个瓶颈层以及全连接层级联构建车道分类网络；
[0026] 车道类别获取模块，用于将每条车道线的特征图输入车道线分类网络中，输出车道的类别。
[0027] 进一步地，所述对ERFNet网络进行预处理，包括：
[0028] 对ERFNet网络的第16层输出结果进行上采样，上采样的结果输入ERFNet网络的第17层，并且ERFNet网络的第1层输出结果输入到其第23层，ERFNet网络的第2层输出结果输入到其第22层，ERFNet网络的第3层输出结果输入到其第21层，ERFNet网络的第4层输出结果输入到其第20层，ERFNet网络的第5层输出结果输入到其第19层，ERFNet网络的第6层输出结果输入到其第18层，ERFNet网络的第7层输出结果输入到其第17层。
[0029] 进一步地，所述训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络，包括：
[0030] 向UERFNet网络输入大量车道的图像；
[0031] 通过公式 计算每个输入图像的损失值，其中，N表示图像中像素个数，yi表示第i个像素属于某个车道或者属于背景，pi表示第i个像素的类别预测概率值且 c表示车道线的类别总数，si表示网络预测出第i个像素的类别的分()
数，j表示第j个像素，e 表示以e为底的指数函数；
数，j表示第j个像素，e 表示以e为底的指数函数；
[0032] 当损失值最小时，停止训练，损失值最小时获得的UERFNet网络作为训练好的UERFNet网络，将训练好的UERFNet网络作为车道线定位网络。
[0033] 进一步地，所述瓶颈层包括两个1×1的卷积层以及两个3×3的卷积核，第一个1×1的卷积层、第一个3×3的卷积核、第二个1×1的卷积层以及第二个3×3的卷积核顺次连接，第一个1×1的卷积层的结果与第一个3×3的卷积核的结果叠加后分别输入第二个1×1的卷积层的输入端、第二个3×3的卷积核的输入端以及第二个3×3的卷积核的输出端中。
[0034] 更进一步地，所述车道分类网络构建模块，还用于：
[0035] 所述瓶颈层有四个，每个瓶颈层的结构相同，前三个瓶颈层的输出端均依次连接有一个1×1的卷积层和一个池化层，四个瓶颈层依次级联，第一个瓶颈层中第一个1×1的卷积层接收每条车道线的特征图，第四个瓶颈层的输出结果进行正则化以后输入到一个激活函数中，然后再输入到一个池化层，该池化层的结果输入到全连接层，全连接层输出车道的类别。
[0036] 本发明的优点在于：
[0037] (1)本发明首先在ERFNet网络基础上进行预处理得到UERFNet网络并训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络，提高车道线定位的准确性，然后，利用车道线固有颜色和形状的优势，将原始图像和车道线定位结果结合起来，提取每条车道线的特征图。最后，将每条车道线的特征图送入多个瓶颈层以及全连接层级联构建的轻量级的车道线分类网络，实现车道线类别的分类，图像级的方式发送车道线信息并且采用轻量级的车道线分类网络进行分类，每张图像的处理时间极少，保障自动驾驶系统的实时性，适合于智能驾驶场景下的实时车道线检测。
[0038] (2)本发明在ERFNet基础上，对ERFNet网络的第16层输出结果进行上采样，融合上采样特征来补偿丢失的细节信息，将ERFNet网络的17‑23层的结果分别一一对应的与含有更多的局部细节的7‑1层的预测结果结合起来，提高车道线定位的准确性。
[0039] (3)本发明每个瓶颈层中1×1的卷积层可以减少输入的特征图，之后再用3×3的卷积核进行处理，既能降维减少计算量，提高实时性，又能融合各个通道的特征。四个瓶颈层依次级联，可以在进行分类预测时利用多层信息，且每一层的输入都来自这个模块内这一层之前所有层的输入，这种结构使得每一层都直接影响到最终的损失函数的梯度，每一层都受原始输入信号的影响，可增强类别信息的监督作用，且这种密集性的连接可以产生正则化的效果，减少网络的过拟合。
附图说明
[0040] 图1为本发明实施例所提供的一种采用级联网络的车道线分类方法中车道线定位网络的结构图；
[0041] 图2为本发明实施例所提供的一种采用级联网络的车道线分类方法中特征提取示意图；
[0042] 图3为本发明实施例所提供的一种采用级联网络的车道线分类方法中车道线分类网络结构图；
[0043] 图4为本发明实施例所提供的一种采用级联网络的车道线分类方法的流程图；
[0044] 图5为本发明实施例所提供的一种采用级联网络的车道线分类方法中不同场景下的车道线定位网络的结果图；
[0045] 图6为本发明实施例所提供的一种采用级联网络的车道线分类方法中不同场景下的车道线分类网络的结果图。
具体实施方式
[0046] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047] 实施例1
[0048] 一种采用级联网络的车道线分类方法，所述方法包括：
[0049] 步骤S1：对ERFNet网络进行预处理得到UERFNet网络并训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络；选择ERFNet作为基准网络，ERFNet网络包含23层，其中1‑16层为encoder(编码器),17‑23层为decoder(译码器)。为了使网络提取的尺度达到原始图像的大小，ERFNet的deocder阶段直接使用上采样操作达到原始图像的大小。其中，对ERFNet网络进行预处理，包括：
[0050] 对ERFNet网络的第16层输出结果进行上采样，上采样的结果输入ERFNet网络的第17层，并且ERFNet网络的第1层输出结果输入到其第23层，ERFNet网络的第2层输出结果输入到其第22层，ERFNet网络的第3层输出结果输入到其第21层，ERFNet网络的第4层输出结果输入到其第20层，ERFNet网络的第5层输出结果输入到其第19层，ERFNet网络的第6层输出结果输入到其第18层，ERFNet网络的第7层输出结果输入到其第17层，经过上述处理以后得到UERFNet网络。将含有丰富全局信息的encoder阶段的最后一层的预测进行一次上采样，之后，将结果和含有更多的局部细节的预测结合起来。这样，最后得出的结果既有全局信息又保留住来局部细节信息。如图1所示，对于dencoder阶段的每次操作，将和特征提取部分对应的通道数在同一尺度下融合。这样，可以充分利用特征提取的特征图的特性对上采样操作中丢失的细节信息进行补偿。
[0051] 图像的语义分割任务可以看成是对图像的每一个像素的分类任务，因此本发明采用交叉熵损失函数进行模型训练的收敛函数，具体的，训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络，包括：
[0052] 向UERFNet网络输入大量车道的图像；
[0053] 通过公式 计算每个输入图像的损失值，其中，N表示图像中像素个数，yi表示第i个像素属于某个车道或者属于背景，pi表示第i个像素的类别预测概率值。
[0054] 将卷积神经网络输出的类别预测值通过softmax函数转换为概率形式，得到每一类的类别预测概率值pi。之后，将预测概率值pi再传给交叉熵损失函数计算。Softmax函数计算公式如下：
[0055] c表示车道线的类别总数，si表示网络预测出第i个像素的类别的分()数，j表示第j个像素，e 表示以e为底的指数函数；
[0056] 当损失值最小时，停止训练，损失值最小时获得的UERFNet网络作为训练好的UERFNet网络，将训练好的UERFNet网络作为车道线定位网络。
[0057] 步骤S2：将待分类车道线的图像输入车道线定位网络获取每条车道线的位置点；
[0058] 步骤S3：通过车道线定位网络，已经得出每条车道线的位置信息。但是这个位置信息是像素级别的，只能大致检测出车道线位置，仍然含有很多冗余信息，会导致一条车道线上的结果会不准确。因此，为了可以利用车道线固有颜色和形状的优势，从而提高分类的准确性，将原始图像和得出的车道线位置信息结合起来。如图2所示，由得出的车道线位置点，在原始图像中提取每条车道线的位置点所对应的像素值，形成每条车道线的特征图；
[0059] 步骤S4：如图3所示，多个瓶颈层(Bottleneck layer)以及全连接层(FC)级联构建车道分类网络；所述瓶颈层(Bottleneck layer)包括两个1×1的卷积层以及两个3×3的卷积核，第一个1×1的卷积层、第一个3×3的卷积核、第二个1×1的卷积层以及第二个3×3的卷积核顺次连接，第一个1×1的卷积层的结果与第一个3×3的卷积核的结果叠加后分别输入第二个1×1的卷积层的输入端、第二个3×3的卷积核的输入端以及第二个3×3的卷积核的输出端中。所述多个瓶颈层(Bottleneck layer)以及全连接层(FC)级联构建车道分类网络，包括：所述瓶颈层(Bottleneck layer)有四个，每个瓶颈层(Bottleneck layer)的结构相同，前三个瓶颈层(Bottleneck layer)的输出端均依次连接有一个1×1的卷积层和一个池化层(pool)，四个瓶颈层(Bottleneck layer)依次级联，第一个瓶颈层(Bottleneck layer)中第一个1×1的卷积层接收每条车道线的特征图，第四个瓶颈层(Bottleneck layer)的输出结果进行正则化(BN)以后输入到一个激活函数(Relu)中，然后再输入到一个池化层(pool)，该池化层(pool)的结果输入到全连接层(FC)，全连接层(FC)输出车道的类别。每个瓶颈层(Bottleneck layer)中1×1的卷积层可以减少输入的特征图，之后再用3×3的卷积核进行处理，既能降维减少计算量，提高实时性，又能融合各个通道的特征。四个瓶颈层(Bottleneck layer)依次级联，可以在进行分类预测时利用多层信息，且每一层的输入都来自这个模块内这一层之前所有层的输入，这种结构使得每一层都直接影响到最终的损失函数的梯度，每一层都受原始输入信号的影响，可增强类别信息的监督作用，且这种密集性的连接可以产生正则化的效果，减少网络的过拟合。
[0060] 步骤S5：将每条车道线的特征图输入车道线分类网络中，输出车道的类别。
[0061] 如图4所示，为本发明提出的级联网络的流程图。给定输入图像，车道线定位网络输出车道实例图，并用车道id标记每个车道像素坐标。然后，在原始图像中提取出对应车道线像素坐标的像素值，形成每个车道的特征图。由于是在原始图像中获取的像素值，因此，采用此方法提取出的特征图具有车道线的视觉信息。最后，将这些特征图送入车道线分类网络中，输出车道的类别。
[0062] 本发明设置三个不同的实验来验证本发明提供的方法的效果：
[0063] (1)车道线定位网络
[0064] 表1中UERFNet表示本发明的车道线定位网络。由表1可以看出，本发明不仅取得了较高的准确性，同时也取得了较低的FPR和FNR。由于本发明没有采用后处理操作，所以本发明相对于其他方法也取得了较好的时间性能，更加符号智能驾驶场景实时性的要求。
[0065] 表1.不同车道线定位算法的实验结果
[0066]
[0067] 图5展示了不同场景下车道线定位网络的效果。可见本发明可以应对不同场景下的车道线定位，且取得较好的定位效果。
[0068] (2)车道线分类网络
[0069] 表2中VFNet表示本发明的车道线分类网络，表2是分别针对二类和四类，分别采用本发明提出的VFNet和现有技术HNet的性能分析。由表2可知，不同尺度下VFNet的分类准确率都比HNet要高。且尺度越大，网络的分类准确率越高。进一步说明了分类网络输入尺度含有的车道线位置点信息越多，对网络的分类起的作用也就越大。由于VFNet的输入尺度较小，因此VFNet的运行时间远远小于1ms。
[0070] 表2.不同尺度采用不同车道线分类算法的结果
[0071]
[0072]
[0073] 图6展示了不同场景下本发明的车道线分类网络的效果。可见本发明可以对不同场景下的车道线类别进行分类，且取得较好的分类效果。
[0074] (3)级联网络
[0075] 前面实验单独验证了每个网络的有效性。本实验是从二者级联的角度出发，从而验证提出算法的有效性。从表3中可以看出，无论是结合VFNet还是结合HNet，车道线定位网络UERFNet均取得了较高的分类正确率。且相对于HNet，UERFNet结合VFNet的分类准确率是最高的。
[0076] 表3.不同车道线定位算法分别结合VFNet和HNet的性能比较
[0077]
[0078] 通过以上技术方案，本发明首先在ERFNet网络基础上进行预处理并训练预处理后的ERFNet网络，将训练好的ERFNet网络作为车道线定位网络，提高车道线定位的准确性，然后，利用车道线固有颜色和形状的优势，将原始图像和车道线定位结果结合起来，提取每条车道线的特征图。最后，将每条车道线的特征图送入多个瓶颈层以及全连接层级联构建的轻量级的车道线分类网络，实现车道线类别的分类，图像级的方式发送车道线信息并且采用轻量级的车道线分类网络进行分类，每张图像的处理时间极少，保障自动驾驶系统的实时性，适合于智能驾驶场景下的实时车道线检测。
[0079] 实施例2
[0080] 与实施例1相对应的，本发明实施例2还提供一种采用级联网络的车道线分类系统，所述系统包括：
[0081] 车道线定位网络构建模块，用于对ERFNet网络进行预处理得到UERFNet网络并训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络；
[0082] 位置点获取模块，用于将待分类车道线的图像输入车道线定位网络获取每条车道线的位置点；
[0083] 特征提取模块，用于在原始图像中提取每条车道线的位置点所对应的像素值，形成每条车道线的特征图；
[0084] 车道分类网络构建模块，用于多个瓶颈层以及全连接层级联构建车道分类网络；
[0085] 车道类别获取模块，用于将每条车道线的特征图输入车道线分类网络中，输出车道的类别。
[0086] 具体的，所述对ERFNet网络进行预处理，包括：
[0087] 对ERFNet网络的第16层输出结果进行上采样，上采样的结果输入ERFNet网络的第17层，并且ERFNet网络的第1层输出结果输入到其第23层，ERFNet网络的第2层输出结果输入到其第22层，ERFNet网络的第3层输出结果输入到其第21层，ERFNet网络的第4层输出结果输入到其第20层，ERFNet网络的第5层输出结果输入到其第19层，ERFNet网络的第6层输出结果输入到其第18层，ERFNet网络的第7层输出结果输入到其第17层。
[0088] 具体的，所述训练UERFNet网络，将训练好的UERFNet网络作为车道线定位网络，包括：
[0089] 向UERFNet网络输入大量车道的图像；
[0090] 通过公式 计算每个输入图像的损失值，其中，N表示图像中像素个数，yi表示第i个像素属于某个车道或者属于背景，pi表示第i个像素的类别预测概率值且 c表示车道线的类别总数，si表示网络预测出第i个像素的类别的分()
数，j表示第j个像素，e 表示以e为底的指数函数；
数，j表示第j个像素，e 表示以e为底的指数函数；
[0091] 当损失值最小时，停止训练，损失值最小时获得的UERFNet网络作为训练好的UERFNet网络，将训练好的UERFNet网络作为车道线定位网络。
[0092] 具体的，所述瓶颈层包括两个1×1的卷积层以及两个3×3的卷积核，第一个1×1的卷积层、第一个3×3的卷积核、第二个1×1的卷积层以及第二个3×3的卷积核顺次连接，第一个1×1的卷积层的结果与第一个3×3的卷积核的结果叠加后分别输入第二个1×1的卷积层的输入端、第二个3×3的卷积核的输入端以及第二个3×3的卷积核的输出端中。
[0093] 更具体的，所述车道分类网络构建模块，还用于：
[0094] 所述瓶颈层有四个，每个瓶颈层的结构相同，前三个瓶颈层的输出端均依次连接有一个1×1的卷积层和一个池化层，四个瓶颈层依次级联，第一个瓶颈层中第一个1×1的卷积层接收每条车道线的特征图，第四个瓶颈层的输出结果进行正则化以后输入到一个激活函数中，然后再输入到一个池化层，该池化层的结果输入到全连接层，全连接层输出车道的类别。
[0095] 以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。