本发明公开了一种基于遗传算法的路牌识别对抗防御方法，包括：(1)构建训练集、测试集以及对抗集；(2)构建路牌分类器，并利用训练集、测试集对路牌分类器进行训练，获得路牌识别模型；(3)根据遗传算法构建路牌攻击模型，利用路牌攻击模型生成对抗样本；(4)矫正对抗样本，并将对抗样本应用在物理场景下，再采集对抗样本的物理图像；(5)将对抗样本的物理图像输入至路牌识别模型，筛选得到高质量的对抗样本；(6)将高质量的对抗样本添加到训练集中，利用训练集再训练路牌识别模型，实现对路牌识别模型的对抗防御优化；(7)利用对抗防御优化后的路牌识别模型对路牌图像进行识别，以实现路牌识别的对抗防御。
1.一种基于遗传算法的路牌识别对抗防御方法，包括以下步骤：
(1)采集路牌图像，并对路牌图像进行预处理后分成训练集、测试集以及用于生成对抗样本的对抗集；
(2)构建路牌分类器，并利用训练集、测试集对路牌分类器进行训练，获得路牌识别模型；
(3)根据遗传算法构建路牌攻击模型，即以染色体作为扰动矩阵，以扰动矩阵与对抗集中的路牌图像叠加后形成的图像矩阵作为遗传算法中的个体，然后利用遗传算法对个体进行择优，输出的最优个体即为对抗样本；
(4)矫正对抗样本，缩放打印矫正的对抗样本，将打印的对抗样本应用在物理场景下，再采集对抗样本的物理图像；
(5)将对抗样本的物理图像输入至路牌识别模型，利用路牌识别模型对对抗样本进行评估，筛选得到高质量的对抗样本；
(6)将高质量的对抗样本添加到训练集中，利用训练集再训练路牌识别模型，实现对路牌识别模型的对抗防御优化；
(7)利用对抗防御优化后的路牌识别模型对路牌图像进行识别，以实现路牌识别的对抗防御。
2.如权利要求1所述的基于遗传算法的路牌识别对抗防御方法，其特征在于，对路牌图像进行预处理包括截取路牌图像的有效区域、添加相应标签并加以分类。
3.如权利要求1所述的基于遗传算法的路牌识别对抗防御方法，其特征在于，所述路牌分类器是由6个卷积层和3个全连接层构成的深层神经网络。
4.如权利要求1所述的基于遗传算法的路牌识别对抗防御方法，其特征在于，构建的路牌攻击模型中，染色体为w×h×3×10的扰动矩阵，其中，w、h分别是路牌图像的宽和高，3表示路牌图像的RGB三个通道，10表示一个10位的二进制数，RGB每个通道的像素值 为：其中，xi表示二进制数第i-1位的值。
5.如权利要求4所述的基于遗传算法的路牌识别对抗防御方法，其特征在于，利用遗传算法对个体进行择优的具体过程为：(a)根据切比雪夫聚合方法确定的如公式(2)所示的适值函数计算种群中个体的适应度，其中，fit(x)表示个体的适应度，ε*＝(ε1，ε2，ε3)T中的ε1，ε2，ε3分别对应角度变化、光影变化及距离变化三个目标分量的最大值，即εi＝max{fi(x)|x∈Ω}；λ*＝(λ1，λ2，λ3)中的λ1，λ2，λ3分别对应三个目标分量的权值单位向量；fi(x)是对抗样本(xo+Δx)在第i个目标下的目标值，由公式(3)计算得到：其中，xo为路牌图像的像素矩阵，Δx为扰动矩阵， 为对抗样
本除目标类以外的最高置信度分数， 为对抗样本通过图像处理在第i个目标下的目标类置信度分数；κ为扰动的惩罚因子，||Δx||2为扰动矩阵Δx的l2范数，其计算如下：其中， 是扰动矩阵中每个二进制数根据公式(1)计算得到的像素值；
(b)对种群中的每个个体进行交叉操作，即当遗传算法产生的随机数小于交叉率PC时，在种群中挑选另一个体进行配对，在10位的二进制数上随机选取几位进行交换，得到子代，并执行步骤(c)；否则执行步骤(d)；
(c)对子代进行变异操作，即当遗传算法产生的随机数小于变异率PM时，在种群中挑选一子代，在10位的二进制数上随机选取几位进行反转位值，实现对子代的变异操作，获得的新子代替换原个体，否则，用子代替换原个体；
(d)对交叉变异得到的新种群根据公式(2)～(4)计算个体的适应值，并记录种群的最佳适应值fitbest；
(e)如果最佳适应值fitbest小于预设值δ或当前迭代数达到最大迭代次数时结束迭代，得到的最优解作为对抗样本；否则转步骤(f)；
(f)利用公式(5)计算种群中的每个个体被选择的概率Pi，根据概率Pi对种群进行选择和淘汰并得到新种群，使种群的寻优方向满足式(6)，转步骤(b)继续迭代；
其中，i为个体索引，argmin(x)为使x达到最小值时x的值。
6.如权利要求1或4所述的基于遗传算法的路牌识别对抗防御方法，其特征在于，步骤(5)中，将对抗样本的物理图像输入至路牌识别模型中，当路牌识别模型输出的预测分类小于预设阈值，则认为对应的对抗样本为高质量对抗样本，预设阈值为0.5。
一种基于遗传算法的路牌识别对抗防御方法
技术领域
[0001] 本发明属于机器学习、计算机视觉、智能交通安全领域，尤其是涉及一种基于遗传算法的路牌识别对抗防御方法。
背景技术
[0002] 随着机器学习的快速发展，深度神经网络(DNNs)已经成为我们时代最突出的技术之一，由于它在完成需要高度抽象特征的人工智能任务上具有极高的准确率，深度神经网络的应用越来越广泛，并且发挥了很好的效果。在研究者们的努力下，其中基于深度神经网络的路牌识别技术的识别精度不断提高，甚至已经能够超越人类，对人们的日常生活以及当代正在兴起的智能电子警察、智能驾驶和智能交通等都产生了深远的影响。
[0003] 尽管今天路牌识别已经取得了良好的性能，然而，最近一些研究表明，深度神经网络的结构是极其脆弱的，在面对一些对抗性的例子时，深度神经网络容易被愚弄。切确的说，当攻击者通过一些特定的对抗策略，在模型的输入中加入了小规模的扰动和不可察觉的干扰来欺骗深度神经网络，使其无法做出正确的预测，甚至可以操纵预测结果。反映在路牌识别的现实场景中，试想当一辆在繁杂的市区中行驶的自动驾驶汽车因受到对抗性例子的影响而错误识别路牌、突然提速，这将引起严重的后果。路牌识别在其它面向安全领域的场景下同样存在隐患。
[0004] 目前对于路牌识别的图像攻击主要是基于白盒模型，然而这种攻击存在以下挑战：(1)白盒模型的攻击需要获得对方路牌识别模型的内部参数。(2)单个扰动可能如此之小以至于很难为摄像机所捕捉。(3)路牌环境的多变可能引起扰动的失效。(4)扰动在印刷的过程中可能存在失真。因此，解决上述问题，基于黑盒模型生成健壮的路牌对抗样本将引起更大的危害。
[0005] 鉴于路牌识别技术的商业化以及存在上述的安全威胁，研究一种基于GA的路牌识别对抗防御策略，通过生成对抗样本来训练一种对抗性的路牌识别鲁棒模型具有重要的价值与和实践意义。
发明内容
[0006] 鉴于目前路牌识别存在上述的安全隐患，本发明提供一种基于GA的路牌识别对抗防御方法，通过进化寻优生成对抗样本来进行对抗训练，从而得到对抗性的路牌识别鲁棒模型。
[0007] 本发明的技术方案为：
[0008] 一种基于遗传算法的路牌识别对抗防御方法，包括以下步骤：
[0009] (1)采集路牌图像，并对路牌图像进行预处理后分成训练集、测试集以及用于生成对抗样本的对抗集；
[0010] (2)构建路牌分类器，并利用训练集、测试集对路牌分类器进行训练，获得路牌识别模型；
[0011] (3)根据遗传算法构建路牌攻击模型，即以染色体作为扰动矩阵，以扰动矩阵与对抗集中的路牌图像叠加后形成的图像矩阵作为遗传算法中的个体，然后利用遗传算法对个体进行择优，输出的最优个体即为对抗样本；
[0012] (4)矫正对抗样本，缩放打印矫正的对抗样本，将打印的对抗样本应用在物理场景下，再采集对抗样本的物理图像；
[0013] (5)将对抗样本的物理图像输入至路牌识别模型，利用路牌识别模型对对抗样本进行评估，筛选得到高质量的对抗样本；
[0014] (6)将高质量的对抗样本添加到训练集中，利用训练集再训练路牌识别模型，实现对路牌识别模型的对抗防御优化；
[0015] (7)利用对抗防御优化后的路牌识别模型对路牌图像进行识别，以实现路牌识别的对抗防御。
[0016] 与现有技术相比，本发明具有的有益效果为：
[0017] 本发明通过遗传算法(GA)进化生成路牌识别模型的对抗样本来训练一种对抗性的路牌识别模型，不仅克服了路牌识别物理对抗攻击中存在的几种挑战，还根据切比雪夫聚合方法来解决生成路牌对抗样本的多目标优化问题，提高了对抗样本及模型的鲁棒性。
附图说明
[0018] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0019] 图1为本发明提供的基于GA的路牌识别对抗防御方法的流程示意图；
[0020] 图2为实施例提供的生成对抗样本的流程图；
[0021] 图3为本发明实施例中对抗样本的物理效果示意图。
具体实施方式
[0022] 为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
[0023] 如图1所示，本实施例提供的基于GA的路牌识别对抗防御方法，包括以下步骤：
[0024] S101，采集路牌图像，并对路牌图像进行预处理后分成训练集、测试集以及用于生成对抗样本的对抗集。
[0025] 为了提高原始路牌识别模型的鲁棒性，路牌图像需来自于实际物理场景，本实施例中，在场景设置上模拟生活中的实际场景，包括角度、光影以及距离因素变化，以获得路牌图像。
[0026] 对路牌图像进行预处理包括截取路牌图像的有效区域、添加相应标签并加以分类，以此得到路牌分类器的训练集、测试集和用于生成路牌对抗样本的对抗集。
[0027] S102，构建路牌分类器，并利用训练集、测试集对路牌分类器进行训练，获得路牌识别模型。
[0028] 所述路牌分类器是由6个卷积层和3个全连接层构成的深层神经网络。
[0029] S103，根据遗传算法构建路牌攻击模型，即以染色体作为扰动矩阵，以扰动矩阵与对抗集中的路牌图像叠加后形成的图像矩阵作为遗传算法中的个体，然后利用遗传算法对个体进行择优，输出的最优个体即为对抗样本。
[0030] 在遗传算法中，种群的每个个体，即染色体是由基因构成，故染色体与要优化的问题的解相对应，即对应本发明中的扰动矩阵。
[0031] 构建的路牌攻击模型中，在染色体的编码方式上，本发明采用二进制编码，染色体为w×h×3×10的扰动矩阵，其中，w、h分别是路牌图像的宽和高，3表示路牌图像的RGB三个通道，10表示一个10位的二进制数，RGB每个通道的像素值 为：
[0032]
[0033] 其中，xi表示二进制数第(i-1)位的值。
[0034] 利用遗传算法对个体进行择优的具体过程为：
[0035] (a)根据切比雪夫聚合方法确定的如公式(2)所示的适值函数计算种群中个体的适应度，
[0036]
[0037] 其中，fit(x)表示个体的适应度，ε*＝(ε1，ε2，ε3)T中的ε1，ε2，ε3分别对应角度变化、*光影变化及距离变化三个目标分量的最大值，即εi＝max{fi(x)|x∈Ω}；λ＝(λ1，λ2，λ3)中的λ1，λ2，λ3分别对应三个目标分量的权值单位向量；fi(x)是对抗样本(xo+Δx)在第i个目标下的目标值，由公式(3)计算得到：
[0038]
[0039] 其中，xo为路牌图像的像素矩阵，Δx为扰动矩阵， 为对抗样本除目标类以外的最高置信度分数， 为对抗样本通过图像处理在
第i个目标下的目标类置信度分数；κ为扰动的惩罚因子，||Δx||2为扰动矩阵Δx的l2范数，其计算如下：
[0040]
[0041] 其中， 是扰动矩阵中每个二进制数根据公式(1)计算得到的像素值；
[0042] 在目标下对对抗样本的图像处理中，光影变化是通过对对抗样本进行等距调节亮度得到的一组图像；角度变化是通过对对抗样本进行等角度旋转得到的一组图像；距离变化是通过对对抗样本进行缩放调节得到的一组图像。
[0043] (b)对种群中的每个个体进行交叉操作，即当遗传算法产生的随机数(也就是[0,1]之间的小数)小于交叉率PC时，在种群中挑选另一个体进行配对，在10位的二进制数上随机选取几位进行交换，得到子代，并执行步骤(c)；否则执行步骤(d)；
[0044] (c)对子代进行变异操作，即当遗传算法产生的随机数小于变异率PM时，在种群中挑选一子代，在10位的二进制数上随机选取几位进行反转位值(对于二进制0-1编码的种群个体来说，就是0与1互换)，实现对子代的变异操作，获得的新子代替换原个体，否则，用子代替换原个体；
[0045] (d)对交叉变异得到的新种群根据公式(2)～(4)计算个体的适应值，并记录种群的最佳适应值fitbest；
[0046] (e)如果最佳适应值fitbest小于预设值δ或当前迭代数达到最大迭代次数时结束迭代，得到的最优解作为对抗样本；否则转步骤(f)；
[0047] (f)利用公式(5)计算种群中的每个个体被选择的概率Pi，根据概率Pi对种群进行选择和淘汰并得到新种群，使种群的寻优方向满足式(6)，转步骤(b)继续迭代；
[0048]
[0049]
[0050] 其中，i为个体索引，argmin(x)为使x达到最小值时x的值。
[0051] 本发明中，采用正比选择策略，即根据种群中所有个体的适应值得分占种群中所有个体的适应值得分总和的比例来选择，适应度得分高的个体被选择的概率大，对于个体i，设其适应值为fiti，根据公式(5)即可以获得个体被选择的概率Pi。
[0052] S104，矫正对抗样本，缩放打印矫正的对抗样本，将打印的对抗样本应用在物理场景下，再采集对抗样本的物理图像；
[0053] 具体地，根据物理场景下路牌的实际大小进行放大，打印对抗样本并应用于不同场景，通过物理设备采集对抗样本图像，将图像输入到路牌识别模型中测试对抗攻击成功率，评估物理对抗样本的对抗性。
[0054] S105，将对抗样本的物理图像输入至路牌识别模型，利用路牌识别模型对对抗样本进行评估，筛选得到高质量的对抗样本；
[0055] 将对抗样本的物理图像输入至路牌识别模型中，当路牌识别模型输出的预测分类小于预设阈值，则认为对应的对抗样本为高质量对抗样本，预设阈值为0.5。
[0056] S106，将高质量的对抗样本添加到训练集中，利用训练集再训练路牌识别模型，实现对路牌识别模型的对抗防御优化；
[0057] 将达到要求的对抗样本加入到路牌识别模型的预训练数据集和测试集中，重新训练路牌分类器，为了评估对抗训练得到的路牌分类器的鲁棒性，重复对抗样本的生成步骤，评价对抗性的路牌识别模型的防御能力。
[0058] S107，利用对抗防御优化后的路牌识别模型对路牌图像进行识别，以实现路牌识别的对抗防御。
[0059] 上述实施例提供的基于GA的路牌识别对抗防御方法，具有以下优点：
[0060] (1)本发明提供了一种，基于进化思想生成路牌识别模型的对抗样本，通过对抗训练生成一种对抗性的路牌识别鲁棒模型；
[0061] (2)本发明中对抗样本的生成是基于黑盒模型，解决了实际场景下路牌识别模型内部参数难以获得的挑战；
[0062] (3)扰动区域大小可以通过对扰动矩阵进行控制，对扰动增加了l2范数和惩罚因子，增加了扰动的不可察觉；
[0063] (4)在进化策略中，根据切比雪夫聚合方法定义适值函数，对对抗样本进行多目标优化，增加对抗样本的鲁棒性；
[0064] (5)本发明训练得到的路牌识别模型不仅可以正确识别环境多变下的路牌，还对对抗性的路牌具有一定的防御能力，能够为路牌识别系统的安全领域提供理论指导。
[0065] 以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
