一种基于深度学习的车牌检测方法专利检索-深度学习机器学习人工智能人工智能专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

一种基于深度学习的车牌检测方法

阅读：1024发布：2020-06-26

IPRDB可以提供一种基于深度学习的车牌检测方法专利检索，专利查询，专利分析的服务。并且本发明提供一种基于深度学习的车牌识别方法，其可以自适应地获得不同场景下的车牌特征信息，同时提高了车牌识别的准确率。本发明将车牌固有的颜色属性加入YOLO模型中构建一个具有泛化能力强、检测以及定位准确率高的车牌检测模型，对输入的卡口监控设备拍摄的过车图片进行检测，得到车牌的区域位置；接着使用Radon变换对倾斜的车牌区域进行校正，同时利用颜色和边缘等线索对车牌区域进行微调，最后将微调后的车牌区域送入加入车牌编码规则约束的CRNN网络对车牌号码进行识别。，下面是一种基于深度学习的车牌检测方法专利的具体信息内容。

权利要求

1.一种基于深度学习的车牌识别方法，其包括以下步骤：S1：获得需要识别的输入图片，在所述输入图片中对车牌位置进行分析，得到具体车牌区域；

S2：对所述车牌区域的信息进行识别，得到具体的车牌号码内容；

其特征在于：

所述步骤S1包括以下步骤：

S1-1：通过现有的卡口监控设备获得所述输入图片，将所述输入图片划分为S x S个网格，分别将每个网格映射到HSV颜色空间后，求出每个网格在HSV空间中蓝色、黄色、绿色所占的比例，其中i = 1，……,S x S；

S1-2：将每个网格在HSV空间中蓝色、黄色、绿色中所占的比例代入到YOLO框架中，得到的损失函数如下所示：式中：

i,j取值范围为1，……，S x S，

x,y,w,C,p为网络预测值，

为标注值，

表示有目标中心落在网格中，

表示第i个网格中的第j个边框负责这个目标，表示第i个网格中的第j个边框不负责这个目标；

在所述损失函数中：

第一项和第二项

用来表示坐标预测损失；

第三项是包含目标的区域可信度预测损失；

第四项是不含目标的区域可信度预测损失；

第五项为类别预测损失；

S1-3：收集车牌样本；

S1-4：使用所述车牌样本和所述损失函数，训练用于检验车牌位置的YOLO网络；

S1-5：将步骤S1-1中获得的所述输入图片送入在步骤S1-4中训练好的YOLO网络，获得所述车牌区域；

所述步骤S2中，通过CRNN网络对所述车牌区域的数据进行识别，经过卷积层、循环层和转录层对特征序列的处理，最后得到车牌号码的识别结果。

2.根据权利要求1所述一种基于深度学习的车牌识别方法，其特征在于：在实施所述步骤2之前，还需要对通过步骤S1获得的所述车牌区域进行校正操作，所述校正操作包括下面的步骤：a,对检测到所述车牌区域进行二值化，得到所述车牌区域的二值化图像；

b, 对所述二值化图像进行边缘化处理，然后再进行Radon变化后，计算Radon变换矩阵中的峰值，通过寻找峰值，得到原图像的倾斜角度；

c,利用旋转算法，旋转检测到车牌区域位置，得到校正后的所述车牌区域。

3.根据权利要求2所述一种基于深度学习的车牌识别方法，其特征在于：在实施步骤b的时候，为了降低由于外在因素的干扰，将Radon变化矩阵中的所有峰值点从小到大排序，取前几个峰值相差不大的点角度平均作为最终的车牌倾斜角度。

4.根据权利要求1所述一种基于深度学习的车牌识别方法，其特征在于：在实施步骤S2之前，还需要根据机动车号牌号码编码规则、机动车号牌号码的固有属性来构建车牌号码识别用的约束条件，并且需要把所述约束条件添加到所述CRNN网络中之后，才实施步骤S2中的车牌号码识别操作；所述约束条件包括：Ⅰ，车牌颜色为绿色，则为新能源号牌，号牌号码字符长度为8位；否则为普通号牌，号牌号码字符长度为7位；

Ⅱ，第一位为省、自治区、直辖市简称，只能为31个汉字之一；第二位为发牌机关代码，为24个大写英文字母之一；后面的序号部分由阿拉伯数字和英文大写字母组成；

Ⅲ，省、自治区、直辖市简称与发牌机关代号间的约束关系；

Ⅳ，序号中只能包含0-2位大写英文字母，其余为阿拉伯数字；

Ⅴ，序号长度为5位或者6位的时候为新能源号牌；

Ⅵ，新能源小型汽车号牌序号的第一位为D或者F，新能源号牌大型汽车号牌序号的最后一位为D或者F。

5.根据权利要求4所述一种基于深度学习的车牌识别方法，其特征在于：所述车牌颜色的判断方法是通过步骤S1-1中计算得到的的值，来对车牌的颜色进行判断。

6.根据权利要求1所述一种基于深度学习的车牌识别方法，其特征在于：在步骤S1-4中，训练、校验和测试的所述车牌样本的比例为6:2:2。

说明书全文

一种基于深度学习的车牌检测方法

技术领域

[0001] 本发明涉及智能交通控制中图像识别技术领域，具体为一种基于深度学习的车牌识别方法。

背景技术

[0002] 机动车车牌作为全国交通管理部门进行机动车管理的唯一标识符号，号牌号码的检测与识别在智能交通系统中起着极为重要的作用；现有的车牌识别方法，通常分为三步：第一步，利用车牌的特征性，通过颜色、边缘、纹理等线索对车牌位置快速定位，得到车牌目标的候选区域；第二步，通过SIFT((Scale-invariant feature transform，尺度不变特征转换)、LBP（Local Binary Patterns，局部二值模式）等算法提取图像特征，进一步使用SVM(Support Vector Machine，支持向量机）方法对候选车牌区域分类得到的车牌区域；第三步，对车牌区域切割得到分离的车牌字符，接着使用人工神经网络对分割后的字符进行识别。但是现有的方法大多适用于受控条件下或者需要复杂的图像捕获系统，在不受控制的真实环境中，因为高度复杂的背景、天气等外在因素的影响，检测机动车牌照仍然存在准确率较低的问题。

[0003]

发明内容

[0004] 为了解决现有车牌识别方法实时性较差、在真实环境中准确率较低的问题，本发明提供一种基于深度学习的车牌识别方法，其可以自适应地获得不同场景下的车牌特征信息，同时提高了车牌识别的准确率。

[0005] 本发明的技术方案是这样的：一种基于深度学习的车牌识别方法，其包括以下步骤：S1：获得需要识别的输入图片，在所述输入图片中对车牌位置进行分析，得到具体车牌区域；
S2：对所述车牌区域的信息进行识别，得到具体的车牌号码内容；
其特征在于：
所述步骤S1包括以下步骤：
S1-1：通过现有的卡口监控设备获得所述输入图片，将所述输入图片划分为S x S个网格，分别将每个网格映射到HSV颜色空间后，求出每个网格在HSV空间中蓝色、黄色、绿色所占的比例，其中i = 1，……,S x S；
S1-2：将每个网格在HSV空间中蓝色、黄色、绿色中所占的比例代入到YOLO框架中，得到的损失函数如下所示：
式中：
i,j取值范围为1，……，S x S，
x,y,w,C,p为网络预测值，
为标注值，
表示有目标中心落在网格中，
表示第i个网格中的第j个边框负责这个目标，
表示第i个网格中的第j个边框不负责这个目标；
在所述损失函数中：
第一项和第二项
用来表示坐标预测损失；
第三项是包含目标的区域可信度预测损失；
第四项是不含目标的区域可信度预测损失；
第五项为类别预测损失；
S1-3：收集车牌样本；
S1-4：使用所述车牌样本和所述损失函数，训练用于检验车牌位置的YOLO网络；其中训练、校验和测试的样本比例为6:2:2；
S1-5：将步骤S1-1中获得的所述输入图片送入在步骤S1-4中训练好的YOLO网络，获得所述车牌区域；
所述步骤S2中，通过CRNN网络对所述车牌区域的数据进行识别，经过卷积层、循环层和转录层对特征序列的处理，最后得到车牌号码的识别结果。

[0006] 其进一步特征在于：在实施所述步骤2之前，还需要对通过步骤S1获得的所述车牌区域进行校正操作，所述校正操作包括下面的步骤：
a,对检测到所述车牌区域进行二值化，得到所述车牌区域的二值化图像；
b, 对所述二值化图像进行边缘化处理，然后再进行Radon变化后，计算Radon变换矩阵中的峰值，通过寻找峰值，得到原图像的倾斜角度；
c,利用旋转算法，旋转检测到车牌区域位置，得到校正后的所述车牌区域；
在实施步骤b的时候，为了降低由于外在因素的干扰，将Radon变化矩阵中的所有峰值点从小到大排序，取前几个峰值相差不大的点角度平均作为最终的车牌倾斜角度；
在实施步骤S2之前，还需要根据机动车号牌号码编码规则、机动车号牌号码的固有属性来构建车牌号码识别用的约束条件，并且需要把所述约束条件添加到所述CRNN网络中之后，才实施步骤S2中的车牌号码识别操作；所述约束条件包括：
Ⅰ，车牌颜色为绿色，则为新能源号牌，号牌号码字符长度为8位；否则为普通号牌，号牌号码字符长度为7位；
Ⅱ，第一位为省、自治区、直辖市简称，只能为31个汉字之一；第二位为发牌机关代码，为24个大写英文字母之一；后面的序号部分由阿拉伯数字和英文大写字母组成；
Ⅲ，省、自治区、直辖市简称与发牌机关代号间的约束关系；
Ⅳ，序号中只能包含0-2位大写英文字母，其余为阿拉伯数字；
Ⅴ，序号长度为5位或者6位的时候为新能源号牌；
Ⅵ，新能源小型汽车号牌序号的第一位为D或者F，新能源号牌大型汽车号牌序号的最后一位为D或者F；
所述车牌颜色的判断方法是通过步骤S1-1中计算得到的的值，来对车牌的颜色进行判断；
在步骤S1-4中，训练、校验和测试的所述车牌样本的比例为6:2:2。

[0007] 本发明提供的一种基于深度学习的车牌识别方法，技术方案中使用YOLO网络对车牌区域进行检测，通过CRNN网络对车牌号码进行识别；使用现有的卡口监控设备拍摄的实时图片作为输入图片，保证了技术方案的实时性；YOLO网络基于一个单独网络完成从原始图像的输入到物体位置和类别的输出，在YOLO网络中每个格子最多只预测出一个物体，所以即便输入图片中的背景很复杂，但是因为YOLO网络在训练和推理过程中，重点关注整张图像的整体信息的特点，因而保证了车牌位置检测的准确度；进行车牌号码识别的CRNN网络，与其他的技术相比，CRNN网络直接从图像数据学习信息表示，不需要手工特征也不需要预处理步骤，对类序列对象的长度无约束，只需要在训练阶段和测试阶段对高度进行归一化，使本发明的技术方案能够进一步脱离人工干预，而适用于实时的真实环境下；在真实环境下，卡口监控设备拍摄到的实时图片可能是倾斜的，本发明通过校正操作的设置进一步确保了车牌位置检测的准确度；本发明通过把约束条件加入到CRNN网络，确保了真实环境下对车牌号码识别的准确度；通过本发明的技术方案，可以自适应地获得不同场景下的车牌特征信息，避免人为设计车牌目标的特征，减少了主观因素对检测结果的影响。

附图说明

[0008] 图1为本发明的整体流程示意图；图2为具体实施例中车牌经过校正操作后的效果图。

具体实施方式

[0009] 如图1 图2所示，本发明为一种基于深度学习的车牌识别方法，将车牌固有的颜色~属性加入YOLO（J. Redmon, S. Divvala, R. Girshick, A. Farhadi. You Only Look Once: Unified, Real-Time Object Detection. CVPR, 2016）模型中构建一个具有泛化能力强、检测以及定位准确率高的车牌检测模型，对输入的卡口监控设备拍摄的过车图片进行检测，得到车牌的区域位置；接着使用Radon（SR Deans, the Radon transform and some of its application.John Wiley & Sons Inc New York,1983）变换对倾斜的车牌区域进行校正，同时利用颜色和边缘（E. R. Lee, P. K. Kim, and H. J. Kim, Automatic recognition of a car license plate using color image processing. ICIP, 1994）等线索对车牌区域进行微调，最后将微调后的车牌区域送入加入车牌编码规则约束的CRNN网络（卷积循环神经网络，B. Shi , X. Bai , C.Yao. An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its
Application to Scene Text Recognition. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017）对车牌号码进行识别；详细步骤如下所示。

[0010] S1：获得需要识别的输入图片，在输入图片中对车牌位置进行分析，得到具体车牌区域；包括如下步骤：S1-1：通过现有的卡口监控设备获得输入图片，将输入图片划分为S x S个网格，分别将每个网格映射到HSV颜色空间后，求出每个网格在HSV空间中蓝色、黄色、绿色所占的比例，其中i = 1，……,S x S；HSV空间中取蓝色颜色分量范围为（100，43，46）（124，255，~
255）、黄色颜色分量范围为（26，43，46）（34，255，255）、绿色颜色分量范围为（35，43，46）~ ~
（77，255，255）；
S1-2：将每个网格在HSV空间中蓝色、黄色、绿色中所占的比例代入到YOLO框架中，得到的损失函数如下：
式中：
i,j取值范围为1，……，S x S，
x,y,w,C,p为网络预测值，
为标注值，
表示有目标中心落在网格中，
表示第i个网格中的第j个边框负责这个目标，
表示第i个网格中的第j个边框不负责这个目标；
在损失函数中：
第一项和第二项
用来表示坐标预测损失；
第三项是包含目标的区域可信度预测损失；
第四项是不含目标的区域可信度预测损失；
第五项为类别预测损失；
S1-3：收集车牌样本；
S1-4：使用车牌样本和损失函数，训练用于检验车牌位置的YOLO网络；其中训练、校验和测试的样本比例为6:2:2；
S1-5：将步骤S1-1中获得的输入图片送入在步骤S1-4中训练好的YOLO网络，获得车牌区域。

[0011] 对通过步骤S1获得的车牌区域的位置信息进行校正操作，校正操作包括下面的步骤：a,对检测到车牌区域进行二值化，得到车牌区域的二值化图像；
b, 对二值化图像进行边缘化处理，然后再进行Radon变化后，计算Radon变换矩阵中的峰值，通过寻找峰值，得到原图像的倾斜角度；为了降低由于外在因素的干扰，将Radon变化矩阵中的所有峰值点从小到大排序，取前几个峰值相差不大的点角度平均作为最终的车牌倾斜角度；为了减轻车牌由于污损或者背景复杂的干扰，将所有峰值点从小到大排序，取前几个峰值相差不大的点角度平均作为最终的车牌倾斜角度进一步的排除了真实环境下的复杂的外在因素的干扰，确保了车牌位置检测的准确度；
c,利用旋转算法，旋转检测到车牌区域位置，得到校正后的车牌区域。

[0012] 根据机动车号牌号码编码规则、机动车号牌号码的固有属性来构建车牌号码识别用的约束条件，并且需要约束条件包括：Ⅰ，通过步骤S1-1中计算得到的的值，来对车牌的颜色进行判断；车牌颜色为绿色，则为新能源号牌，号牌号码字符长度为8位；否则为普通号牌，号牌号码字符长度为7位；
Ⅱ，第一位为省、自治区、直辖市简称，只能为31个汉字之一，第二位为发牌机关代码，为24个大写英文字母之一，后面的序号部分由阿拉伯数字和英文大写字母组成；
Ⅲ，省、自治区、直辖市简称与发牌机关代号间的约束关系，如苏对应的发牌机关代码有A-N（除I），但是琼对应的发牌机关代号只有A、B、C、D、E；
Ⅳ，序号中只能包含0-2位大写英文字母，其余为阿拉伯数字；
Ⅴ，序号长度为5位或者6位的时候为新能源号牌；
Ⅵ，新能源小型汽车号牌序号的第一位为D或者F，新能源号牌大型汽车号牌序号的最后一位为D或者F。

[0013] S2：把约束条件添加到CRNN网络中之后，通过CRNN网络对车牌区域的数据进行识别，经过卷积层、循环层和转录层对特征序列的处理，最后得到车牌号码的识别结果。

[0014] 使用本发明的技术方案后，不仅可以有效地提升车牌的检测和识别准确率，而且还可以满足实际环境下卡口的实时处理需求。

标题	发布/更新时间	阅读量
量子深度学习-专利编号CN107004162A	2020-05-11	205
地球物理深度学习-专利编号CN110462445A	2020-05-13	414
基于距离的深度学习-专利编号CN110197252A	2020-05-11	270
加速的深度学习-专利编号CN110869946A	2020-05-11	615
语音医嘱深度学习方法-专利编号CN108986925A	2020-05-12	410
深度学习自主运行方法-专利编号CN110298445A	2020-05-13	820
深度学习平台及方法-专利编号CN109447248A	2020-05-13	970
深度学习系统及其方法-专利编号CN110473198A	2020-05-12	414
模块化深度学习模型-专利编号CN108701453A	2020-05-12	704
一种深度学习房屋-专利编号CN208236029U	2020-05-11	955

一种基于深度学习的车牌检测方法

一种基于深度学习的车牌检测方法

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式