本发明提供一种使用局部二值模式和径向基函数的对特征进行超分辨率重建的字符识别方法：用局部二值模式描述子对采集到的训练集的字符图像进行操作，抽取训练集中高分辨率字符图像和低分辨率字符图像的局部二值模式特征；建立高分辨率字符图像和低分辨率字符图像的局部二值模式特征的非线性映射关系；c)对测试字符图像采用与步骤a)同样的方式抽取局部二值模式特征，利用步骤b)中得到测试字符图像的高分辨率字符图像的和低分辨率字符图像的局部二值模式特征之间的非线性映射关系，计算该字符图像对应的高分辨率字符图像的局部二值模式特征，对高分辨率字符图像的局部二值模式特征进行分类。本发明在识别低分辨率车牌图像字符时在识别率上有提高。
1.一种使用局部二值模式和径向基函数的对特征进行超分辨率重建的字符识别方法，其特征在于包括以下步骤：a）首先采用局部二值模式描述子对采集到的训练集的字符图像进行操作，抽取所述训练集中成对的高分辨率字符图像的局部二值模式特征和低分辨率字符图像的局部二值模式特征；
b）使用径向基函数建立高分辨率字符图像的局部二值模式特征和低分辨率字符图像的局部二值模式特征之间的非线性映射关系；
c）对测试字符图像采用与步骤a）同样的方式抽取低分辨率字符图像的局部二值模式特征，再利用步骤b）中得到测试字符图像的高分辨率字符图像的局部二值模式特征和低分辨率字符图像的局部二值模式特征之间的非线性映射关系，计算该字符图像对应的高分辨率字符图像的局部二值模式特征，再使用最近邻分类器对高分辨率字符图像的局部二值模式特征进行分类。
2.根据权利要求1所述的使用局部二值模式和径向基函数的对特征进行超分辨率重建的字符识别方法，其特征在于：所述的步骤b）的具体过程如下：假设xi是训练集中第i个车牌字符图像对里低分辨率图像的局部二值模式特征，yi是第i个车牌字符图像对里高分辨率图像的局部二值模式特征，其中i取值从1到M，M是训练集中图像对的个数，xi和yi是有N个元素的一维特征向量，这两个特征向量来自于同一个字符的不同分辨率图像，采用径向基函数建模出xi和yi的联系，径向基函数的公式如下：它是将yi表示成M个径向基函数 的加权和形式，其中权值向量wj的长度是N×1，xj是第j个车牌字符图像对里低分辨率图像的局部二值模式特征，每一个径向基函数 的中心在xj上其表达形式如下：利用步骤a）中得到的高、低分辨率车牌字符图像的局部二值模式特征集合{xi}和{yi}，列出公式(1)的矩阵形式：Y=WΦ，即
其中Y是高分辨率图像特征矩阵，每一列代表一幅高分辨率图像的局部二值模式特征yi，W是权值矩阵，每一列代表一个权值向量wj，Φ是径向基函数矩阵，每一个元素是一个径向基函数的值 由公式(3)得到权值矩阵W的表达式为W＝Φ-1Y (4)
因为Φ不可逆，求解上式要采用正则化方法，使用Φ+τI来取代Φ，其中τ是一个正的正则化参数，I是一个单位矩阵，求出权值系数后建立起高分辨率字符图像的局部二值模式特征和低分辨率字符图像的局部二值模式特征之间的非线性映射关系。
3.根据权利要求2所述的使用局部二值模式和径向基函数的对特征进行超分辨率重建的字符识别方法，其特征在于：所述的步骤c）的具体过程如下：对一幅测试低分辨率字符图像采用步骤a中的方式抽取出局部二值模式特征x，利用步骤b中通过径向基函数方法得到的权值矩阵W得到该测试字符图像对应的高分辨率图像的局部二值模式特征y，公式如下：最后采用最近邻分类方法对生成的测试字符图像对应的高分辨率图像的局部二值模式特征y进行识别。
使用局部二值模式和径向基函数的对特征进行超分辨率重
建的字符识别方法
技术领域
[0001] 本发明涉及一种车牌字符识别方法，尤其是使用局部二值模式和径向基函数的对特征进行超分辨率重建的字符识别方法。
背景技术
[0002] 字符识别是智能交通系统里车牌识别环节中一个重要的步骤，通过判断出车牌中每个字符的类别来确定车辆的身份。随着社会对智能交通系统的需求越来越大，字符识别技术也得到了越来越多的重视。
[0003] 大多数字符识别算法的思路是先从字符图像中抽取字符特征，再采用分类器对该特征进行识别。近几年来出现了若干识别方法，它们采用了不同的特征和分类器组合。一种方法是将字符图像分割成多个子块，将子块中像素的强度作为特征，然后采用人工神经网络来做识别。第二种方法是将灰度字符图像转换为二值图像，将二值强度作为特征输入到概率神经网络中做识别。第三种方法是从图像中抽取出三种特征，分别为垮轮廓计数，方向计数和外部背景区域，将这三种特征组合成一个特征采用支持向量机做识别。
[0004] 这三种方法识别高分辨率车牌图像中的字符时会取得不错的效果，但是实际情况中车牌图像的分辨率会受到车辆离摄像机的距离较远或摄像机内存不足造成无法存储高质量图像的影响而降低，这会降低字符识别的准确率。
发明内容
[0005] 本发明的目的在于提供一种能够解决目前的字符识别方法无法有效地识别出低分辨率车牌图像中字符的问题，提供了一种能够提高低分辨率车牌图像中字符的识别率的使用局部二值模式和径向基函数的对特征进行超分辨率重建的字符识别方法。
[0006] 为实现上述目的，本发明采用的技术方案是：
[0007] a)首先采用局部二值模式描述子对采集到的训练集的字符图像进行操作，抽取所述训练集中成对的高分辨率字符图像的局部二值模式特征和低分辨率字符图像的局部二值模式特征；
[0008] b)使用径向基函数建立高分辨率字符图像的局部二值模式特征和低分辨率字符图像的局部二值模式特征之间的非线性映射关系；
[0009] c)对测试字符图像采用与步骤a)同样的方式抽取局部二值模式特征，再利用步骤b)中得到测试字符图像的高分辨率字符图像的局部二值模式特征和低分辨率字符图像的局部二值模式特征之间的非线性映射关系，计算该字符图像对应的高分辨率字符图像的局部二值模式特征，再使用最近邻分类器对高分辨率字符图像的局部二值模式特征进行分类。
[0010] 所述的步骤b)的具体过程如下：
[0011] 假设xi是训练集中第i个车牌字符图像对里低分辨率图像的局部二值模式特征，yi是第i个车牌字符图像对里高分辨率图像的局部二值模式特征，其中i取值从1到M，M是训练集中图像对的个数，xi和yi是有N个元素的一维特征向量，这两个特征向量来自于同一个字符的不同分辨率图像，采用径向基函数建模出xi和yi的联系，径向基函数的公式如下：
[0012]
[0013] 它是将yi表示成M个径向基函数 的加权和形式，其中权值向量wj的长度是N×1，xj是第j个车牌字符图像对里低分辨率图像的局部二值模式特征，每一个径向基函数 的中心在xj上其表达形式如下：
[0014]
[0015] 利用步骤a)中得到的高、低分辨率车牌字符图像的局部二值模式特征集合{xi}和{yi}，列出公式(1)的矩阵形式：
[0016] Y＝WΦ，即
[0017]
[0018] 其中Y是高分辨率图像特征矩阵，每一列代表一幅高分辨率图像的局部二值模式特征yi，W是权值矩阵，每一列代表一个权值向量wj，Φ是径向基函数矩阵，每一个元素是一个径向基函数的值 由公式(3)得到权值系数矩阵W的表达式为
[0019] W＝Φ-1Y (4)
[0020] 因为Φ不可逆，求解上式要采用正则化方法，使用Φ+τI来取代Φ，其中τ是一个正的正则化参数，I是一个单位矩阵，求出权值系数后建立起高分辨率字符图像的局部二值模式特征和低分辨率字符图像的局部二值模式特征之间的非线性映射关系。
[0021] 所述的步骤c)的具体过程如下：
[0022] 对一幅测试低分辨率字符图像采用步骤a中的方式抽取出局部二值模式特征x，利用步骤b中通过径向基函数方法得到的权值矩阵W得到该测试字符图像对应的高分辨率图像的局部二值模式特征y，公式如下：
[0023]
[0024] 最后采用最近邻分类方法对生成的测试字符图像对应的高分辨率图像的局部二值模式特征y进行识别。
[0025] 与现有技术相比，本发明提供的用于使用局部二值模式和径向基函数的字符识别方法在识别低分辨率车牌图像字符时在识别率上有提高，下表是几种不同字符识别算法在处理低分辨率车牌图像字符识别时识别率的比较。其中方法1代表采用子块中像素强度作为特征、人工神经网络作为分类器的方法。方法2代表采用图像二值强度作为特征、概率神经网络作为分类器的方法。方法3代表采用三种类型特征组合、支持向量机作为分类器的方法。方法4代表本发明提供的方法。
[0026]方法1 方法2 方法3 方法4
识别率 94.5％ 93.9％ 92.5％ 96.1％
附图说明
[0027] 图1局部二值模式描述子的结构示意图；
[0028] 图2局部二值模式描述子的计算方式示意图。
具体实施方式
[0029] 为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，以对一幅低分辨率车牌图像中的字符进行识别为例，对本发明做进一步的详细说明。这些实例仅仅说明性的，而并非对本发明的限制。
[0030] 本发明可以分为三个步骤，以下对各步骤做以描述
[0031] 步骤a：首先采用局部二值模式描述子对采集到的训练集的字符图像进行操作，抽取所述训练集中成对的高分辨率字符图像的局部二值模式特征和低分辨率字符图像的局部二值模式特征；
[0032] 局部二值模式描述子可以有效地描述图像的纹理结构，被广泛用于纹理分类和人脸识别邻域。局部二值模式描述子定义在一幅图像的局部结构上，示意图见图1。对于图像中的每个像素，以它为中心，以一个像素的距离为半径做圆。在这个圆上平均地取出8个采样点，它们的强度可以通过插值方法求出来。这8个采样点的强度值和中心点的强度值做比较，如果前者大于后者时令输出为1，如果前者小于或等于后者则输出为0。将输出结果按照约定好的顺序排列起来得到8位二进制码，它可以转化为0到255之间的十进制数，示意图见图2。其中约定好的顺序是指从中间像素的左上位置开始按照顺时针方向排列。这样一个像素经过局部二值模式描述子处理后可以得到一个特征值。需要说明的是，局部二值模式描述子的结构可以采用不同的形式，如采样点的个数，采样点可以位于圆或是方形区域上，半径也可以变化。这里只是给出一个实例做示意。
[0033] 由局部二值模式描述子得到的特征值可以分为两种类型，一种被称为均匀模式，是指自然图像中经常出现的模式，另一种称为非均匀模式，是指那些在自然图像中很少出现的模式类型。
[0034] 为了更好地抓住图像中不同区域的特征，将低分辨率车牌字符图像分成4个块，行方向上分为2个部分，列方向上分为2个部分。相邻块之间有1个像素宽度的重叠，这样可以保证对位置有微小位移的字符具有鲁棒性。每个块里的每个像素都使用局部二值模式描述子计算出特征值，计算这些特征值的直方图分布，统计出同一种均匀模式下特征值的个数，而把所有非均匀模式下的特征值统计到一起，因为它们对应着自然图像中很少出现的模式类型。它们可能是由噪声引起的，将它们一起而不是单独统计，可以降低噪声对识别的影响。
[0035] 每个块都计算出1个直方图分布结果后，将4个块的直方图分布向量按照列堆砌方式结合起来，得到一幅图像的特征向量，称之为局部二值模式特征。
[0036] 本发明需要训练集。训练集是由成对的高、低分辨率车牌字符图像组成，它们对应着同一个车牌字符在不同分辨率下的图像。采用上文给出的方法对每一幅车牌图像计算出其局部二值模式特征，可以得到成对的高、低分辨率字符图像的局部二值模式特征。
[0037] 步骤b：使用径向基函数建立高分辨率字符图像的局部二值模式特征和低分辨率字符图像的局部二值模式特征之间的非线性映射关系；
[0038] 假设xi是训练集中第i个车牌字符图像对里低分辨率图像的局部二值模式特征，yi是第i个车牌字符图像对里高分辨率图像的局部二值模式特征，其中i取值从1到M，M是训练集中图像对的个数。xi和yi是有N个元素的一维特征向量。这两个特征向量来自于同一个字符的不同分辨率图像，所以两者之间一定会存在某种联系，本发明采用径向基函数来建模出这种联系。径向基函数的公式如下：
[0039]
[0040] 它是将yi表示成M个径向基函数 的加权和形式，其中权值向量wj的长度是N×1，xj是第j个车牌字符图像对里低分辨率图像的局部二值模式特征，每一个径向基函数 的中心在xj上其表达形式如下：
[0041]
[0042] 利用步骤a)中得到的高、低分辨率车牌字符图像的局部二值模式特征集合{xi}和{yi}，列出公式(1)的矩阵形式：
[0043] Y＝WΦ，即
[0044]
[0045] 其中Y是高分辨率图像特征矩阵，每一列代表一幅高分辨率图像的局部二值模式特征yi，W是权值矩阵，每一列代表一个权值向量wj，Φ是径向基函数矩阵，每一个元素是一个径向基函数的值 由公式(3)得到权值系数矩阵W的表达式为
[0046] W＝Φ-1Y (4)
[0047] 因为Φ通常是不可逆的，求解上式要采用正则化方法。使用Φ+τI来取代Φ，其中τ是一个正的正则化参数，I是一个单位矩阵。求出权值系数后就建立起高、低分辨率车牌字符图像的局部二值模式特征之间的联系。
[0048] 步骤c：生成测试低分辨率字符图像对应的高分辨率图像的局部二值特征。
[0049] 对一幅测试低分辨率字符图像采用步骤a中的方式抽取出局部二值模式特征x，利用步骤b中通过径向基函数方法得到的权值矩阵W就可以计算出该测试字符图像对应的高分辨率图像的局部二值模式特征y，公式如下：
[0050]
[0051] 最后采用最近邻分类方法对生成的测试字符图像对应的高分辨率图像的局部二值模式特征y进行识别。
