本发明公开了一种基于生成式对抗网络的无人驾驶车道线检测方法，包括车道线图片的生成网络、判别网络和检测算法三个部分；首选获取生成网络、判别网络的训练数据，然后将低分辨率图片输入生成网络生成超分辨率图片，将高分辨率图片和超分辨率图片输入判别网络进行清晰度判断，并根据判断结果捕捉超分辨率图片和高分辨率图片的数据分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，将最优化的生成网络生成的超分辨率图片输入检测算法进行车道线识别。本发明采用生成式对抗网络进行无人驾驶车道线检测，可以有效提高车道线检测的精确度。
1.一种基于生成式对抗网络的无人驾驶车道线检测方法，其特征在于：包括车道线图片的生成网络、判别网络和检测算法三个部分；首先获取生成网络、判别网络的训练数据，然后将低分辨率图片输入生成网络生成超分辨率图片，将高分辨率图片和超分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉超分辨率图片和高分辨率图片的数据分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，将最优化的生成网络生成的超分辨率图片输入检测算法进行车道线识别；所述生成网络和判别网络采用神经网络进行训练，训练数据包括成对的车道线模糊图片和车道线清晰图片，即成对的低分辨率图片和高分辨率图片；具体训练过程包括如下步骤：步骤1：获取生成网络G和判别网络D的训练数据，采集车道线的高分辨率图片IHR，并制作高分辨率图片IHR对应的低分辨率图片ILR；
步骤2：将低分辨率图片ILR输入生成网络G，从而生成超分辨率图片ISR＝G(ILR)；
步骤3：将成对的超分辨率图片I 和高分辨率图片I 同时输入判别网络D进行准确度判断，并根据判断结果捕捉超分辨率图片ISR和高分辨率图片IHR的数据分布pdate(ISR)和pdate(IHR)；
步骤4：生成网络G和判别网络D基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络G。
2.根据权利要求1所述的基于生成式对抗网络的无人驾驶车道线检测方法，其特征在于：该方法的具体执行过程如下：(1)初始化
定义低分辨率图片为ILR、高分辨率图片为IHR、超分辨率图片为ISR；高分辨率图片IHR来自于真实车道线数据集Pdata(IHR)，低分辨率图片ILR通过对高分辨率图片IHR进行高斯滤波和下采样得到，所有低分辨率图片构成低分辨率车道线数据集Pdata(ILR)；
将低分辨率图片ILR输入生成网络G，生成网络G为参数化的残差网络，在生成网络G中分布一组完全相同的残差块，每个残差块都有两个卷积层，每个卷积层后面加上一个规划层，并使用ReLU函数作为激活函数，其中卷积层的卷积核均为3×3；在这个神经网络中，通过训练两个卷积层来提高分辨率，最终得到超分辨率图片ISR；优化后的生成网络参数表示为：其中： 表示优化后的生成网络参数，θG表示生成网络参数，N表示样本总数，n＝1,2,
3,…,N， 表示第n个低分辨率图片ILR， 表示第n个高分辨率图片IHR， 表示第n个超分辨率图片ISR； 表示 经过生成网络参数为θG的生成网络G后输出的表示计算 和 之间的欧式距离；
(3)捕捉超分辨率图片ISR和高分辨率图片IHR的数据分布pdate(ISR)和pdate(IHR)HR SR SR将高分辨率图片I 和超分辨率图片I 输入判别网络D，超分辨率图片I 先经过八层使用ReLU函数作为激活函数的卷积层，再经过包含1024个链接点的全连接层，最终使用Sigmoid函数判断超分辨率图像ISR的真假；高分辨率图片IHR经判别网络D输出真假概率D(IHR)，获得高分辨率图片IHR的数据分布pdate(IHR)；超分辨率图片ISR经判别网络D输出真假概率D(ISR)，获得超分辨率图片ISR的数据分布pdate(ISR)；
对判别网络D进行最小化交叉熵操作，判别网络D的损失函数为：
其中：θD表示判别网络参数，θG表示生成网络参数， 表示高分辨率图片IHR采样于真实车道线数据集Pdata(IHR)的期望； 表示低分辨率图片ILR采样于低分辨率车道线数据集Pdata(ILR)的期望；
在给定生成网络G情况下，最小化上述损失函数得到最优解；在连续空间上，将上述损失函数修改为：其中：pg(IHR)表示高分辨率图像IHR经生成网络G后的数据分布；
在由任意非零实数m和n，以及任意实数y∈[0,1]构成的表达式-mlog(y)-nlog(1-y)中，在 位置处得到最小值；据此，在给定生成网络G情况下，损失函数ObjD(θD,θG)在位置处得到最小值，该最小值即为判别网络D的最优解；
当输入判别网络D的数据为高分辨率图片IHR时，判别网络D的目标是输出值D(IHR)趋于
1；当输入判别网络D的数据为超分辨率图片ISR时，判别网络D的目标是输出值D(ISR)趋于0；
采用交替优化的方法，先固定生成网络G，优化判别网络D，向判别网络D输入高分辨率HR HR图片I ，使得D(I )最大；完成判别网络D的优化后，固定判别网络D，优化生成网络G，向生成网络G输入高分辨率图片IHR，再向判别网络D输入ISR，使得D(ISR)最小；交替上述过程，直至pdata＝pg，得到生成网络G和判别网络D的全局最优解；
其中，pdata表示高分辨率图像IHR的总体数据分布，是pdate(IHR)归一化后的结果，pg表示高分辨率图像IHR经生成网络G后的总体数据分布，是pg(IHR)归一化后的结果。
3.根据权利要求1所述的基于生成式对抗网络的无人驾驶车道线检测方法，其特征在于：所述超分辨率图片为对应低分辨率图片为的四倍以上大小。
4.根据权利要求1所述的基于生成式对抗网络的无人驾驶车道线检测方法，其特征在于：通过将高分辨率图片进行90°、180°和270°旋转，以及进行水平和竖直翻转，为每张高分辨率图片扩展一张以上增强图片。
一种基于生成式对抗网络的无人驾驶车道线检测方法
技术领域
[0001] 本发明涉及一种基于生成式对抗网络的图像分辨率增强的无人驾驶车道线检测方法，属于计算机图形处理技术和人工智能技术。
背景技术
[0002] 传统的车道线检测算法虽然能够应对大部分的情况，但是若遇到雾天和雨天等极端的天气情况，摄像头便会受到影响，从而其所能的照片会变得模糊，导致无人驾驶的安全风险不断的累加，一旦发生事故，很容易给乘客带来生命危险。对生成式对抗网络的研究，可以极大的减少无人驾驶时候的安全问题，使得无人驾驶技术更让民众信赖，促进无人驾驶技术的大力发展，为汽车企业和普通用户带来切身利益。
[0003] 近几年来，很多研究学者通过使用传统的方法提升图像进行高分辨率的图像重建。包括传统使用的双三次图像插值算法，但是其一般处理的是较小的图像，一旦图像的放大倍数在4倍以上，很容易使得到的结果显得过于平滑，而缺少一些细节上的真实感。
[0004] 生成式对抗网络最先是在2014年提出的一种生成式模型，将对抗学习用于基于单幅图像的高分辨重建已经取得了很好的效果，对抗网络结构SRGAN(Super-Resolution Using a Generative Adversarial Network)能够生成十分锐利清晰的图像，可应用于无人驾驶中的车道线检测。
发明内容
[0005] 发明目的：为了克服现有技术中存在的不足，本发明提供一种基于生成式对抗网络的图像分辨率增强的无人驾驶车道线检测方法，能够安全、快速、高效地进行车道线检测，增加无人驾驶的安全性，保证无人驾驶车辆的安全性和可用性的方向，具有较高的研究意义。
[0006] 技术方案：为实现上述目的，本发明采用的技术方案为：
[0007] 一种基于生成式对抗网络的无人驾驶车道线检测方法，包括车道线图片的生成网络、判别网络和检测算法三个部分；首先获取生成网络、判别网络的训练数据，然后将低分辨率图片输入生成网络生成超分辨率图片，将高分辨率图片和超分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉超分辨率图片和高分辨率图片的数据分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，将最优化的生成网络生成的超分辨率图片输入检测算法进行车道线识别。
[0008] 优选的，所述生成网络和判别网络采用神经网络进行训练，训练数据包括成对的车道线模糊图片和车道线清晰图片，即成对的低分辨率图片和高分辨率图片；具体训练过程包括如下步骤：
[0009] 步骤1：获取生成网络G和判别网络D的训练数据，采集车道线的高分辨率图片IHR，HR LR并制作高分辨率图片I 对应的低分辨率图片I ；
[0010] 步骤2：将低分辨率图片ILR输入生成网络G，从而生成超分辨率图片ISR＝G(ILR)；
[0011] 步骤3：将成对的超分辨率图片ISR和高分辨率图片IHR同时输入判别网络D进行准确度判断，并根据判断结果捕捉超分辨率图片ISR和高分辨率图片IHR的数据分布pdate(ISR)和pdate(IHR)；
[0012] 步骤4：生成网络G和判别网络D基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络G。
[0013] 优选的，该方法的具体执行过程如下：
[0014] (1)初始化
[0015] 定义低分辨率图片为ILR、高分辨率图片为IHR、超分辨率图片为ISR；高分辨率图片IHR来自于真实车道线数据集Pdata(IHR)，低分辨率图片ILR通过对高分辨率图片IHR进行高斯滤波和下采样得到，所有低分辨率图片构成低分辨率车道线数据集Pdata(ILR)；
[0016] (2)优化生成网络G
[0017] 将低分辨率图片ILR输入生成网络G，生成网络G为参数化的残差网络，在生成网络G中分布一组完全相同的残差块，每个残差块都有两个卷积层，每个卷积层后面加上一个规划层(batch-normalization)，并使用ReLU函数作为激活函数，其中卷积层的卷积核均为3×3；在这个神经网络中，通过训练两个卷积层来提高分辨率，最终得到超分辨率图片ISR；优化后的生成网络参数表示为：
[0018]
[0019] 其中： 表示优化后的生成网络参数，θG表示生成网络参数，N表示样本总数，n＝1,2,3,…,N， 表示第n个低分辨率图片ILR， 表示第n个高分辨率图片IHR， 表示第n个超分辨率图片ISR； 表示 经过生成网络参数为θG的生成网络G后输出的
表示计算 和 之间的欧式距离；
[0020] (3)捕捉超分辨率图片ISR和高分辨率图片IHR的数据分布pdate(ISR)和pdate(IHR)[0021] 将高分辨率图片IHR和超分辨率图片ISR输入判别网络D，超分辨率图片ISR先经过八层使用ReLU函数作为激活函数的卷积层，再经过包含1024个链接点的全连接层，最终使用Sigmoid函数判断超分辨率图像ISR的真假；高分辨率图片IHR经判别网络D输出真假概率D(IHR)(即高分辨率图片IHR来源于真实车道线数据集Pdata(IHR)的概率)，获得高分辨率图片IHR的数据分布pdate(IHR)；超分辨率图片ISR经判别网络D输出真假概率D(ISR)(即超分辨率图片ISR来源于真实车道线数据集Pdata(IHR)的概率)，获得超分辨率图片ISR的数据分布pdate(ISR)；
[0022] (4)优化判别网络D
[0023] 对判别网络D进行最小化交叉熵操作，判别网络D的损失函数为：
[0024]
[0025] 其中：θD表示判别网络参数，θG表示生成网络参数， 表示高分辨率图片IHR采样于真实车道线数据集Pdata(IHR)的期望； 表示低分辨率图片ILR采样于低分LR辨率车道线数据集Pdata(I )的期望；
[0026] 在给定生成网络G情况下，最小化上述损失函数得到最优解；在连续空间上，将上述损失函数修改为：
[0027]
[0028] 其中：pg(IHR)表示高分辨率图像IHR经生成网络G后的数据分布；
[0029] 在由任意非零实数m和n，以及任意实数y∈[0,1]构成的表达式-mlog(y)-nlog(1-y)中，在 位置处得到最小值；据此，在给定生成网络G情况下，损失函数ObjD(θD,θG)在 位置处得到最小值，该最小值即为判别网络D的最优解；
[0030] (5)全局最优解
[0031] 当输入判别网络D的数据为高分辨率图片IHR时，判别网络D的目标是输出值D(IHR)趋于1；当输入判别网络D的数据为超分辨率图片ISR时，判别网络D的目标是输出值D(ISR)趋于0；
[0032] 采用交替优化的方法，先固定生成网络G，优化判别网络D，向判别网络D输入高分辨率图片IHR，使得D(IHR)最大；完成判别网络D的优化后，固定判别网络D，优化生成网络G，向生成网络G输入高分辨率图片IHR，再向判别网络D输入ISR，使得D(ISR)最小；交替上述过程，直至pdata＝pg，得到生成网络G和判别网络D的全局最优解；
[0033] 其中，pdata表示高分辨率图像IHR的总体数据分布，是pdate(IHR)归一化后的结果，pg表示高分辨率图像IHR经生成网络G后的总体数据分布，是pg(IHR)归一化后的结果。
[0034] 优选的，所述超分辨率图片为是对应低分辨率图片为的四倍以上大小。
[0035] 优选的，通过将高分辨率图片进行90°、180°和270°旋转，以及进行水平和竖直翻转，为每张高分辨率图片扩展一张以上增强图片。
[0036] 有益效果：本发明提供的基于生成式对抗网络的图像分辨率增强的无人驾驶车道线检测方法，相对于现有技术，具有如下优势：1、采用生成式对抗网络进行深度学习，得到生成网络模型，避免了使用插值法而得到的图像过于平滑的情况，且通过模型恢复的图片更清晰，高频细节更充分；2、对于乘客来说最重要的是无人驾驶的整体可靠性与安全性，基于生成式对抗网络的车道线检测的车辆偏离预警系统等可以有效减少因车辆偏离正常行驶路线而产生的交通事故，所以车道线检测技术的研究具有现实的重要性；3、采用基于生成式对抗网络进行车道线识别的方法解决了雨雪天气下的空白，进一步提高了无人驾驶的安全性。
附图说明
[0037] 图1为车道线图片生成网络G结构框图；
[0038] 图2为车道线图片判别网络D结构框图；
[0039] 图3为基于生成式对抗网络车道线检测方案流程图。
具体实施方式
[0040] 下面结合附图对本发明作更进一步的说明。
[0041] 一种基于生成式对抗网络的无人驾驶车道线检测方法，包括车道线图片的生成网络、判别网络和检测算法三个部分；首先获取生成网络、判别网络的训练数据，然后将低分辨率图片输入生成网络生成超分辨率图片，将高分辨率图片和超分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉超分辨率图片和高分辨率图片的数据分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，将最优化的生成网络生成的超分辨率图片输入检测算法进行车道线识别。当我们遇到暴风或者暴雨等恶劣天气，导致车载摄像头拍摄的画面模糊和抖动，进而导致车道线识别算法出错，使得车辆偏离路线。这时基于生成式对抗网络的车道线检测介入，以深度残差网络作为生成网络，从深度降采样的图像恢复逼真的纹理，从而大幅提高极端环境下的车道线的清晰度。
[0042] 该方法的具体执行过程如下：
[0043] (1)初始化
[0044] 定义低分辨率图片为ILR、高分辨率图片为IHR、超分辨率图片为ISR；高分辨率图片IHR来自于真实车道线数据集Pdata(IHR)，低分辨率图片ILR通过对高分辨率图片IHR进行高斯滤波和下采样得到，所有低分辨率图片构成低分辨率车道线数据集Pdata(ILR)；
[0045] (2)优化生成网络G
[0046] 将低分辨率图片ILR输入生成网络G，生成网络G为参数化的残差网络，在生成网络G中分布一组完全相同的残差块，每个残差块都有两个卷积层，每个卷积层后面加上一个规划层(batch-normalization)，并使用ReLU函数作为激活函数，两个亚像素卷积层(sub-pixel convolution layers)被用来增大特征尺寸，其中卷积层的卷积核均为3×3；在这个神经网络中，通过训练两个卷积层来提高分辨率，最终得到超分辨率图片ISR。
[0047] 如图2所示，判别网络D包含8个卷积层，随着网络层数加深，特征个数不断增加，特征尺寸不断减小，选取激活函数为LeakyReLU，最终通过两个全连接层与sigmoid激活函数得到预测为真实车道线图像的概率。
[0048] 优化后的生成网络参数表示为：
[0049]
[0050] 其中： 表示优化后的生成网络参数，θG表示生成网络参数，N表示样本总数，n＝1,2,3,…,N， 表示第n个低分辨率图片ILR， 表示第n个高分辨率图片IHR， 表示第n个超分辨率图片ISR； 表示 经过生成网络参数为θG的生成网络G后输出的表示计算 和 之间的欧式距离；
[0051] (3)捕捉超分辨率图片ISR和高分辨率图片IHR的数据分布pdate(ISR)和pdate(IHR)[0052] 将高分辨率图片IHR和超分辨率图片ISR输入判别网络D，超分辨率图片ISR先经过八层使用ReLU函数作为激活函数的卷积层，再经过包含1024个链接点的全连接层，最终使用Sigmoid函数判断超分辨率图像ISR的真假；高分辨率图片IHR经判别网络D输出真假概率D(IHR)(即高分辨率图片IHR来源于真实车道线数据集Pdata(IHR)的概率)，获得高分辨率图片IHR的数据分布pdate(IHR)；超分辨率图片ISR经判别网络D输出真假概率D(ISR)(即超分辨率图片ISR来源于真实车道线数据集Pdata(IHR)的概率)，获得超分辨率图片ISR的数据分布pdate(ISR)；
[0053] (4)优化判别网络D
[0054] 对判别网络D进行最小化交叉熵操作，判别网络D的损失函数为：
[0055]
[0056] 其中：θD表示判别网络参数，θG表示生成网络参数， 表示高分辨率图片IHR采样于真实车道线数据集Pdata(IHR)的期望； 表示低分辨率图片ILR采样于低分辨率车道线数据集Pdata(ILR)的期望；
[0057] 在给定生成网络G情况下，最小化上述损失函数得到最优解；在连续空间上，将上述损失函数修改为：
[0058]
[0059] 其中：pg(IHR)表示高分辨率图像IHR经生成网络G后的数据分布；
[0060] 在由任意非零实数m和n，以及任意实数y∈[0,1]构成的表达式-mlog(y)-nlog(1-y)中，在 位置处得到最小值；据此，在给定生成网络G情况下，损失函数ObjD(θD,θG)在 位置处得到最小值，该最小值即为判别网络D的最优解；
[0061] (5)全局最优解
[0062] 当输入判别网络D的数据为高分辨率图片IHR时，判别网络D的目标是输出值D(IHR)趋于1；当输入判别网络D的数据为超分辨率图片ISR时，判别网络D的目标是输出值D(ISR)趋于0；
[0063] 采用交替优化的方法，先固定生成网络G，优化判别网络D，向判别网络D输入高分辨率图片IHR，使得D(IHR)最大；完成判别网络D的优化后，固定判别网络D，优化生成网络G，向生成网络G输入高分辨率图片IHR，再向判别网络D输入ISR，使得D(ISR)最小；交替上述过程，直至pdata＝pg，得到生成网络G和判别网络D的全局最优解；
[0064] 其中，pdata表示高分辨率图像IHR的总体数据分布，是pdate(IHR)归一化后的结果，pg表示高分辨率图像IHR经生成网络G后的总体数据分布，是pg(IHR)归一化后的结果。
[0065] 最后无人驾驶系统判断目前无人驾驶车辆所处的环境，当驾驶环境使得摄像头抖动和分辨率降低，对抗式生成网络开始介入。将生成的超分辨率图片ISR输入车道线检测算法，提升车道线检测算法的准确率。
[0066] 以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
