一种基于UM增强和SIFT特征提取的交通标志识别方法

摘要

本发明公开了一种基于UM增强和SIFT特征提取的交通标志识别方法，其特征在于，包括如下步骤：1）图像增强；2）形状检测；3）SIFT特征提；4）SVM分类识别。这种方法能在复杂的室外环境下，提高识别的准确率。

权利要求

1.一种基于UM增强和SIFT特征提取的交通标志识别方法，其特征在于，包括如下步骤：

1)图像增强：采集原始图像，原始图像中包含自然场景下的交通标志信息，将原始图像采用基于小波变换的反锐化掩模UM法进行图像增强：将图片中的每个像素的坐标用(i,j)表示，则表达式如公式(1)所示：g2(i,j)＝g1(i,j)+λ×z(i,j)   (1)，其中，g1(i,j)是原始图像坐标为(i,j)的像素，g2(i,j)为增强后图像坐标为(i,j)的像素，z(i,j)是计算拉普拉斯掩模得到的梯度值，z(i,j)表达式如公式(2)所示：其中，λ为调节系数，像素点在不同的对比度区域有不同的λ值，像素点在不同对比度区域的判断，采用估计本地方差法如公式(3)所示：计算方差如公式(4)所示：

其中，g1是均值，g1var是方差，是平均数，将像素点在高、低对比度的阈值分别设为T2和T1，且T2＞T1，如果g1var＜T1，则像素点在低对比度区域，如果T1＜g1var＜T2，则像素点在中对比度区域，如果g1var＞T2，则像素点在高对比度区域；

2)形状检测：包括：

1‑2)膨胀和腐蚀过程：对图像分别进行膨胀处理和腐蚀处理即在纤细处分离物体和连接邻近物体和平滑图像边界、填充物体内细小空洞；

2‑2)移除小对象过程：对图像进行移除小对象处理，设置像素数为50，移除图像中像素数小于50的小对象，消除图像多余噪点；

3‑2)连通域标记过程：将二值图像中白色像素点连通区域进行标记，以此来确定图像中物体的轮廓几何参数；

4‑2)确定长宽比范围过程：确定出交通标示的长宽比范围，去除连通域面积较小的区域以及降低筛选难度，从而确定出交通标示可能出现的若干个区域，并将其定位目标区域；

5‑2)目标切割过程：将确定出的目标区域进行切割，形成若干个分割好的像素区域；

3)SIFT特征提：包括：

1‑3)特征点检测：对图像进行高斯卷积运算，图像I(x,y)的尺度空间定义为L(x,y,σ)，由不同尺度的高斯函数G(x,y,σ)与原图像卷积运算得到：L(x,y,σ)＝G(x,y,σ)*I(x,y)  (5)，其中，(x,y)是空间坐标，σ是尺度坐标，通过降釆样构建图像金字塔，并采用不同尺度的高斯差分和与图像卷积，对两个相邻的高斯尺度空间图像相减，生成高斯差分尺度空间DOG，高斯差分算子DOG表达式如公式(7)所示：D(x,y,σ)＝(G(x,y,kσ)‑G(x,y,σ))*I(x,y,kσ)‑L(x,y,σ)   (7)，寻找DOG尺度空间中的局部极值点，当所检测的采样点为3D空间中的局部极值点时，确认该点为所要寻找的SIFT特征点(x,y)；

2‑3)特征点描述：包括：

1‑2‑3)求关键点的梯度模值和方向：假设高斯图像中，L为关键点所在尺度，点L(x,y)的梯度的模m(x,y)如公式(8)所示：点L(x,y)的梯度的方向θ(x,y)如公式(9)所示：‑1

θ(x,y)＝tan (L(x,y+1)‑L(x,y‑1)/L(x,y+1)‑L(x,y‑1))  (9)；

2‑2‑3)为特征点指定方向：采用梯度直方图来统计特征点邻域窗口的梯度方向，梯度直方图包括36个柱，每个柱为10度，以36个柱的峰值来确定特征点的主方向，当存在一个相当于主峰值80％的值时，将其定位特征点的辅方向；

3‑2‑3)生成特征向量：生成128维特征向量，即取以特征点为中心的8×8窗口，将8×8的窗口分成4×4的小块并计算梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，每个种子点有8个方向的向量信息，这样就生成128维的SIFT特征向量；

4‑2‑3)特征向量归一化：将特征点的128维的SIFT特征向量进行归一化；

3‑3)特征点匹配：当两幅图像的SIFT特征向量生成后，釆用欧氏距离来度量特征点之间的相似性，对特征向量进行匹配，对于图像中的某个特征点，找到另一幅图像中与其欧氏距离最近的两个点，如果最近的距离除以次近的距离少于0.5的比例阈值，则接受这一对匹配点，当某一切割图像的匹配点数明显高于其他切割图像时，即可判断该图像即为SIFT特征匹配图像；

4)SVM分类识别：包括训练和识别过程，其中，SVM训练过程如下：

1‑4)建立标准交通标志的样本数据库；

2‑4)提取SIFT特征提取过程输出的图像识别结果；

3‑4)将步骤2‑4)提取的结果与样本数据库进行SVM训练；

SVM识别过程如下：

4‑4)提取步骤3)SIFT特征提对自然场景下交通标志的特征识别结果；

5‑4)采用特征数据库进行识别；

6‑4)得到待识别图像和标准图像及文字释义；

7‑4)显示对应的文字释义。

说明书

一种基于UM增强和SIFT特征提取的交通标志识别方法

技术领域

[0001] 本发明涉及数字图像处理技术、人工智能技术，具体是一种基于UM增强和SIFT特征提取的交通标志识别方法。

背景技术

[0002] 随着国内经济与科技的快速发展，汽车在人们生活中越来越普及，同时也为人们日常出行带来了极大的便利，但是随着汽车数量的日渐增多，也产生了诸多的交通问题。而
现代交通管理的主要目的，就是逐步提高驾驶的安全性，其中交通标志的检测与识别是实
现这一目的的主要方法和途径。交通标志的作用主要有两点：首先交通标志可帮助驾驶员
或行人较方便地驾驶或行走；其次，交通标志反映当地的路况信息，可帮助人们安全驾驶或
行走，从而减少和避免交通事故的发生。事实证明，驾驶员由于劳累等因素对交通标志的疏
忽，导致很多重大事故的发生，因此开发快速准确的交通标志检测与识别算法，不断完善驾
驶辅助系统，是降低交通事故率、提高驾驶安全的主要手段。

[0003] 道路交通标志识别由两部分构成，分为检测和识别。首先利用图像的采集设备将图像采集好后，采用检测和识别算法判别出道路交通标法的具体类别。道路交通标志可以
提供指示、警告信息，规范驾驶员的驾驶行为，作为道路设施的重要组成部分和道路交通信
息的重要载体，在日常的驾驶环境中，可以为驾驶员提供路况信息、安全警告、督促驾驶员
谨慎安全驾驶等。为了与自然或人造场景区分，交通标志通常被设计成特定的颜色和形状，
因此交通标志的检测主要有两种策略，即颜色分割方法和形状检测方法。由于颜色是交通
标志的主要视觉特征，目前大部分交通标志检测系统都是直接采用颜色分割方法后，再结
合其他方法来实现，而忽略了图像增强方面的图像预处理的作用，对于光照影响、目标遮
挡、杂物场景等常见的复杂多样的室外情况识别能力不足。

发明内容

[0004] 本发明的目的是针对现技术的不足，而提供一种基于UM增强和SIFT特征提取的交通标志识别方法。这种方法能在复杂的室外环境下，提高识别的准确率。

[0005] 实现本发明目的的技术方案是：

[0006] 一种基于UM增强和SIFT特征提取的交通标志识别方法，包括如下步骤：

[0007] 1)图像增强：采集原始图像，原始图像中包含自然场景下的交通标志信息，将原始图像采用基于小波变换的反锐化掩模UM(Unsharp Masking，简称UM)法进行图像增强，对原
始图像进行增强，使其边缘等位置更加清晰，更利于检测，反锐化掩模法是最常用的边缘细
节增强方法之一，小波变换具有多分辨率分析能力和时频局部化能力，在图像处理领域应
用效果比较突出，传统的基于小波变换算法，虽然取得了较好的增强效果，但是，这些方法
都只是简单地根据小波系数的绝对值来决定增强的程度，没有考虑边缘幅角的影响，常使
对比度相同而幅角不同的边缘增强效果差别较大，而基于小波变换的反锐化掩模法能在图
像的边缘细节上取得更好的增强效果，更适用于交通标志将会在采集到的图像中的随机位
置出现的情况，

[0008] 将图片中的每个像素的坐标用(i,j)表示，则表达式如公式(1)所示：

[0009] g2(i,j)＝g1(i,j)+λ×z(i,j)   (1)，

[0010] 其中，g1(i,j)是原始图像坐标为(i,j)的像素，g2(i,j)为增强后图像坐标为(i,j)的像素，z(i,j)是计算拉普拉斯掩模得到的梯度值，z(i,j)表达式如公式(2)所示：

[0011]

[0012] 其中，λ为调节系数，像素点在不同的对比度区域有不同的λ值，中对比度区域λ的值相对较大，而低、高对比度区域的值λ相对较小，像素点在不同对比度区域的判断，采用估
计本地方差法如公式(3)所示：

[0013]

[0014] 计算方差如公式(4)所示：

[0015]

[0016] 其中，g1是均值，g1var是方差， 是平均数，将像素点在高、低对比度的阈值分别设为T2和T1，且T2＞T1，如果g1var＜T1，则像素点在低对比度区域，如果T1＜g1var＜T2，则像素点
在中对比度区域，如果g1var＞T2，则像素点在高对比度区域；

[0017] 2)形状检测：包括：

[0018] 1‑2)膨胀和腐蚀过程：对图像分别进行膨胀处理和腐蚀处理，该过程为闭运算，作用是消除图像中的细小物体，即在纤细处分离物体和连接邻近物体和平滑图像边界、填充
物体内细小空洞；

[0019] 2‑2)移除小对象过程：对图像进行移除小对象处理，设置像素数为50，移除图像中像素数小于50的小对象，消除图像多余噪点；

[0020] 3‑2)连通域标记过程：将二值图像中白色像素点连通区域进行标记，以此来确定图像中物体的轮廓几何参数；

[0021] 4‑2)确定长宽比范围过程：确定出交通标示的长宽比范围，去除连通域面积较小的区域以及降低筛选难度，从而确定出交通标示可能出现的若干个区域，并将其定位目标
区域；

[0022] 5‑2)目标切割过程：将确定出的目标区域进行切割，形成若干个分割好的像素区域；

[0023] 3)SIFT特征提：包括：

[0024] 1‑3)特征点检测：对图像进行高斯卷积运算，图像I(x,y)的尺度空间定义为L(x,y,σ)，由不同尺度的高斯函数G(x,y,σ)与原图像卷积运算得到：

[0025] L(x,y,σ)＝G(x,y,σ)*I(x,y)   (5)，

[0026]

[0027] 其中，(x,y)是空间坐标，σ是尺度坐标，通过降釆样构建图像金字塔，并采用不同尺度的高斯差分和与图像卷积，通过对两个相邻的高斯尺度空间图像相减，生成高斯差分
尺度空间DOG使得检测到的关键点更加稳定，高斯差分算子DOG表达式如公式(7)所示：

[0028] D(x,y,σ)＝(G(x,y,kσ)‑G(x,y,σ))*I(x,y,kσ)‑L(x,y,σ)   (7)，

[0029] 寻找DOG尺度空间中的局部极值点，当所检测的采样点为3D空间中的局部极值点时，确认该点为所要寻找的SIFT特征点(x,y)；

[0030] 2‑3)特征点描述：在空间寻找局部极值点，确定了特征点及其位置和尺度，将对这些特征点进行描述，使其具有旋转不变性，包括：

[0031] 1‑2‑3)求关键点的梯度模值和方向：假设高斯图像中，L为关键点所在尺度，点L(x,y)的梯度的模m(x,y)如公式(8)所示：

[0032]

[0033] 点L(x,y)的梯度的方向θ(x,y)如公式(9)所示：

[0034] θ(x,y)＝tan‑1(L(x,y+1)‑L(x,y‑1)/L(x,y+1)‑L(x,y‑1))   (9)；

[0035] 2‑2‑3)为特征点指定方向：特征点确定后，通过梯度直方图给特征点指定主方向和辅方向，以增强SIFT特征的鲁棒性，采用梯度直方图来统计特征点邻域窗口的梯度方向，
梯度直方图包括36个柱，每个柱为10度，以36个柱的峰值来确定特征点的主方向，当存在一
个相当于主峰值80％的值时，将其定位特征点的辅方向；

[0036] 3‑2‑3)生成特征向量：生成128维特征向量，即取以特征点为中心的8×8窗口，将8×8窗口分成4×4的小块并计算梯度方向直方图，绘制每个梯度方向的累加值，即可形成一
个种子点，每个种子点有8个方向的向量信息，这样就生成了128维的SIFT特征向量；

[0037] 4‑2‑3)特征向量归一化：为了进一步消除光照的影响，将特征点的128维的SIFT特征向量进行归一化，此时特征向量对尺度变化、旋转等几何变形因素具有较好的鲁棒性，也
去除了光照变化对特征点的影响；

[0038] 3‑3)特征点匹配：当两幅图像的SIFT特征向量生成后，釆用欧氏距离来度量特征点之间的相似性，对特征向量进行匹配，对于图像中的某个特征点，找到另一幅图像中与其
欧氏距离最近的两个点，如果最近的距离除以次近的距离少于0.5的比例阈值，则接受这一
对匹配点，当某一切割图像的匹配点数明显高于其他切割图像时，即可判断该图像即为
SIFT特征匹配图像；

[0039] 4)SVM分类识别：SVM算法采用二级分类，即一级分类主要是提取交通标志的轮廓特征，二级分类是进行训练和识别，但是SVM算法对大规模训练样本难以实施，并且用SVM解
决多分类问题存在困难，因此采用SIFT特征提取和使用级联分类器，实现交通标志轮廓特
征的提取，极大地减少SVM算法的训练样本规模，简化计算的复杂度，使其算法准确率更高，
包括训练和识别过程，其中，

[0040] SVM训练过程如下：

[0041] 1‑4)建立标准交通标志的样本数据库；

[0042] 2‑4)提取SIFT特征提取过程输出的图像识别结果；

[0043] 3‑4)将步骤2‑4)提取的结果与样本数据库进行SVM训练；

[0044] SVM识别过程如下：

[0045] 4‑4)提取步骤3)SIFT特征提对自然场景下交通标志的特征识别结果；

[0046] 5‑4)采用特征数据库进行识别；

[0047] 6‑4)得到待识别图像和标准图像及文字释义；

[0048] 7‑4)显示对应的文字释义。

[0049] 本技术方案采用基于小波变换的反锐化掩模法增强图像，能够更好地解决自然场景下，摄像头采集到的图像会有许多不确定因素，如图像中交通标志的位置很容易出现在
边缘等情况，对于图像边缘细节上取得了更好的增强效果。

[0050] 本技术方案将SIFT特征提取与SVM分类识别结合使用，能够发挥SIFT在图像的局部特征、旋转、尺度缩放、亮度变化的不变性，对视角变化、仿射变换、噪声也保持一定程度
的稳定性，同时极大降低了SVM算法的训练样本规模，简化计算的复杂度，使其算法准确率
更高。

[0051] 这种方法能在复杂的室外环境下，提高识别的准确率。

附图说明

[0052] 图1为实施例方法的流程示意图；

[0053] 图2为实施例中形状检测流程示意图；

[0054] 图3为实施例中SIFT特征提取流程示意图；

[0055] 图4为实施例中SVM分类识别流程示意图；

[0056] 图5为实施例中基于小波变换的反锐化掩模法增强与直方均衡对比示意图；

[0057] 图6为实施例中SIFT特征识别结果图之一；

[0058] 图7为实施例中SIFT特征识别结果图之二。

具体实施方式

[0059] 下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。

[0060] 实施例：

[0061] 参照图1，一种基于UM增强和SIFT特征提取的交通标志识别方法，包括如下步骤：

[0062] 1)图像增强：采集原始图像，图像中包含自然场景下的交通标志信息，将原始图像采用基于小波变换的反锐化掩模UM法进行图像增强，对原始图像进行增强，使其边缘等位
置更加清晰，更利于检测，反锐化掩模法是最常用的边缘细节增强方法之一，小波变换具有
多分辨率分析能力和时频局部化能力，在图像处理领域应用效果比较突出，传统的基于小
波变换算法，虽然取得了较好的增强效果，但是，这些方法都只是简单地根据小波系数的绝
对值来决定增强的程度，没有考虑边缘幅角的影响，常使对比度相同而幅角不同的边缘增
强效果差别较大，而基于小波变换的反锐化掩模法能在图像的边缘细节上取得更好的增强
效果，更适用于交通标志将会在采集到的图像中的随机位置出现的情况，

[0063] 将图片中的每个像素的坐标用(i,j)表示，则表达式如公式(1)所示：

[0064] g2(i,j)＝g1(i,j)+λ×z(i,j)   (1)，

[0065] 其中，g1(i,j)是原始图像坐标为(i,j)的像素，g2(i,j)为增强后图像坐标为(i,j)的像素，z(i,j)是计算拉普拉斯掩模得到的梯度值，z(i,j)表达式如公式(2)所示：

[0066]

[0067] 其中，λ为调节系数，像素点在不同的对比度区域有不同的λ值，中对比度区域λ的值相对较大，而低、高对比度区域的值λ相对较小，像素点在不同对比度区域的判断，采用估
计本地方差法如公式(3)所示：

[0068]

[0069] 计算方差如公式(4)所示：

[0070]

[0071] 其中，g1是均值，g1var是方差， 是平均数，将像素点在高、低对比度的阈值分别设为T2和T1，且T2＞T1，如果g1var＜T1，则像素点在低对比度区域，如果T1＜g1var＜T2，则像素点
在中对比度区域，如果g1var＞T2，则像素点在高对比度区域；

[0072] 2)形状检测：如图2所示，包括：

[0073] 1‑2)膨胀和腐蚀过程：对图像分别进行膨胀处理和腐蚀处理，该过程为闭运算，作用是消除图像中的细小物体，即在纤细处分离物体和连接邻近物体和平滑图像边界、填充
物体内细小空洞；

[0074] 2‑2)移除小对象过程：对图像进行移除小对象处理，设置像素数为50，移除图像中像素数小于50的小对象，消除图像多余噪点；

[0075] 3‑2)连通域标记过程：将二值图像中白色像素点连通区域进行标记，以此来确定图像中物体的轮廓几何参数；

[0076] 4‑2)确定长宽比范围过程：确定出交通标示的长宽比范围，去除连通域面积较小的区域以及降低筛选难度，从而确定出交通标示可能出现的若干个区域，并将其定位目标
区域；

[0077] 5‑2)目标切割过程：将确定出的目标区域进行切割，形成若干个分割好的像素区域；

[0078] 3)SIFT特征提：如图3所示，包括：

[0079] 1‑3)特征点检测：对图像进行高斯卷积运算，图像I(x,y)的尺度空间定义为L(x,y,σ)，由不同尺度的高斯函数G(x,y,σ)与原图像卷积运算得到：

[0080] L(x,y,σ)＝G(x,y,σ)*I(x,y)  (5)，

[0081]

[0082] 其中，(x,y)是空间坐标，σ是尺度坐标，通过降釆样构建图像金字塔，并采用不同尺度的高斯差分和与图像卷积，通过对两个相邻的高斯尺度空间图像相减，生成高斯差分
尺度空间DOG使得检测到的关键点更加稳定，高斯差分算子DOG表达式如公式(7)所示：

[0083] D(x,y,σ)＝(G(x,y,kσ)‑G(x,y,σ))*I(x,y,kσ)‑L(x,y,σ)   (7)，

[0084] 寻找DOG尺度空间中的局部极值点，当所检测的采样点为3D空间中的局部极值点时，确认该点为所要寻找的SIFT特征点(x,y)；

[0085] 2‑3)特征点描述：在空间寻找局部极值点，确定了特征点及其位置和尺度，将对这些特征点进行描述，使其具有旋转不变性，包括：

[0086] 1‑2‑3)求关键点的梯度模值和方向：假设高斯图像中，L为关键点所在尺度，点L(x,y)的梯度的模m(x,y)如公式(8)所示：

[0087]

[0088] 点L(x,y)的梯度的方向θ(x,y)如公式(9)所示：

[0089] θ(x,y)＝tan‑1(L(x,y+1)‑L(x,y‑1)/L(x,y+1)‑L(x,y‑1))   (9)；

[0090] 2‑2‑3)为特征点指定方向：特征点确定后，通过梯度直方图给特征点指定主方向和辅方向，以增强SIFT特征的鲁棒性，采用梯度直方图来统计特征点邻域窗口的梯度方向，
梯度直方图包括36个柱，每个柱为10度，以36个柱的峰值来确定特征点的主方向，当存在一
个相当于主峰值80％的值时，将其定位特征点的辅方向；

[0091] 3‑2‑3)生成特征向量：生成128维特征向量，即取以特征点为中心的8×8窗口，将8×8窗口分成4×4的小块并计算梯度方向直方图，绘制每个梯度方向的累加值，即可形成一
个种子点，每个种子点有8个方向的向量信息，这样就生成了128维的SIFT特征向量；

[0092] 4‑2‑3)特征向量归一化：为了进一步消除光照的影响，将特征点的128维的SIFT特征向量进行归一化，此时特征向量对尺度变化、旋转等几何变形因素具有较好的鲁棒性，也
去除了光照变化对特征点的影响；

[0093] 3‑3)特征点匹配：当两幅图像的SIFT特征向量生成后，釆用欧氏距离来度量特征点之间的相似性，对特征向量进行匹配，对于图像中的某个特征点，找到另一幅图像中与其
欧氏距离最近的两个点，如果最近的距离除以次近的距离少于0.5的比例阈值，则接受这一
对匹配点，当某一切割图像的匹配点数明显高于其他切割图像时，即可判断该图像即为
SIFT特征匹配图像；

[0094] 4)SVM分类识别：如图4所示，SVM算法采用二级分类，即一级分类主要是提取交通标志的轮廓特征，二级分类是进行训练和识别，但是SVM算法对大规模训练样本难以实施，
并且用SVM解决多分类问题存在困难，因此采用SIFT特征提取和使用级联分类器，实现交通
标志轮廓特征的提取，极大地减少SVM算法的训练样本规模，简化计算的复杂度，使其算法
准确率更高，包括训练和识别过程，其中，

[0095] SVM训练过程如下：

[0096] 1‑4)建立标准交通标志的样本数据库；

[0097] 2‑4)提取SIFT特征提取过程输出的图像识别结果；

[0098] 3‑4)将步骤2‑4)提取的结果与样本数据库进行SVM训练；

[0099] SVM识别过程如下：

[0100] 4‑4)提取步骤3)SIFT特征提对自然场景下交通标志的特征识别结果；

[0101] 5‑4)采用特征数据库进行识别；

[0102] 6‑4)得到待识别图像和标准图像及文字释义；

[0103] 7‑4)显示对应的文字释义。

[0104] 参照图5，图5为原始图像经过步骤1)的结果对比图，图中第二行的灰度直方图，描述了图像中每种灰度级像素的个数，反映了各灰度级出现的频率，其中，横坐标代表灰度
级，纵坐标代表灰度级出现的频率，第一列原始图像灰度直方图中波峰出现在低值和中值
附近，表示着图像整体亮度偏暗，第二列是采用直方图均衡技术后的图像，将图像中像素个
数多的灰度值进行扩展，像素个数少的灰度值进行归并，使得均衡后的灰度直方图分布均
匀，从而增强了图像的对比度和清晰度，第三列是进行了反锐化掩膜后的图像，先将原始图
像进行小波变换分解出低频系数和高频系数，将低频系数信息扩大，抑制或去掉高频系数
后得到模糊的图像，再用原始图像减去模糊图像得到掩膜模型，最后将掩膜模型乘上增强
因子后与原图相加，得到增强后的图像，增强后的图像直方图不仅分布均匀，各灰度频率
低，且相差数值小，减少了算法计算的次数和复杂度，这样的图像有效地消除了噪声，层次
感强，也增强了图像轮廓和细节部分。

[0105] 如图6、图7所示，从图中可以看出，图像的目标识别区域，也就是交通标志，纹理越简单，存在的特征点越少，正确匹配点越少；反之纹理越复杂，存在的特征点越多，正确匹配
点也越多。