一种银行票据信息识别方法转让专利
申请号 : CN201910797047.8
文献号 : CN110634222B
文献日 : 2021-07-09
发明人 : 马贞立 , 田壮壮 , 曾亭亭
申请人 : 河海大学
摘要 :
本发明公开了一种银行票据信息识别方法，包括以下步骤：S1：对票据的图像进行去噪；S2：对去噪后的图像进行倾斜校正；S3：对校正后的图像中的连续数字区域进行提取；S4：对提取得到的连续数字区域进行边界定位；S5：对边界定位好的连续数字区域进行分割，得到若干数字区域块；S6：对数字区域块进行单个字符切分；S7：通过模板匹配找到与待识别字符相似度最高的字符，并将待识别字符按照模板相似程度进行分类；S8：对于分类后的待识别字符，根据每一类待识别字符的模板之间的差异，设定相应的算法，最终确定待识别字符的识别结果。本发明能够克服传统人力处理票据的工作方式的不足，提高工作效率。
权利要求 :
1.一种银行票据信息识别方法，其特征在于：包括以下步骤：S1：对票据的图像进行去噪；
S2：对去噪后的图像进行倾斜校正；
S3：对校正后的图像中经文字扩充后的连续数字区域进行提取；
S4：对提取得到的连续数字区域进行边界定位；
S5：对边界定位好的连续数字区域进行分割，得到若干数字区域块；
S6：对数字区域块进行单个字符切分，具体包括以下步骤：S61：对数字区域块中的字符进行轮廓检测，记录字符的凹点个数，采用垂直投影的方式对字符进行分割，对分割后得到的字符数进行记录；
S62：判断是否存在粘连字符：如果是，则进行步骤S63；否则，结束；
S63：采用水滴算法对粘连字符进行分割，然后进行以下判断：如果分割后的字符数大于或等于凹点个数，则结束；否则，重新采用水滴算法进行分割；
S7：通过模板匹配找到与待识别字符相似度最高的字符，并将待识别字符按照模板相似程度进行分类；
S8：对于分类后的待识别字符，根据每一类待识别字符的模板之间的差异，设定相应的算法，最终确定待识别字符的识别结果。
2.根据权利要求1所述的银行票据信息识别方法，其特征在于：所述步骤S1具体包括以下步骤：
S11：使用3乘3的×形窗口对图像中的中值滤波值Zmed、最大滤波值Zmax和最小滤波值Zmin进行计算；
S12：进行以下判断：如果中值滤波值Zmed不处于最大滤波值Zmax和最小滤波值Zmin中间，则对×形窗口进行自加，然后返回步骤S11；否则，进行步骤S13；
S13：用图像本身的像素值与最大滤波值Zmax和最小滤波值Zmin进行比较：如果像素值处在最大滤波值Zmax和最小滤波值Zmin之间，则不用修改该像素值；否则，则用最大滤波值Zmax和最小滤波值Zmin的中值替换该像素值。
3.根据权利要求1所述的银行票据信息识别方法，其特征在于：所述步骤S2具体包括以下步骤：
S21：将图像分为8*8块，并且分成的64块中大多数块是独立的字块；
S22：对每个字块进行Radon变换，得到每个子块的最大倾斜角和对应的Radon变换结果，然后进行以下判断：如果Radon变换结果是直线，则Radon变换结果所对应的字块是空白区域；如果Radon变换结果是曲线，则进行步骤S23；
S23：如果Radon变换结果是周期分布的，且字块的倾斜角所对应的Radon变换的投影方向与文字方向是正交的，则判定该字块为纯文本字块；否则，则判定该字块为图片；
S24：对所有经过步骤S23和S24判断之后的字块进行以下判断：如果一个字块中包含了图片和文本，且文本所占面积大于图片所占面积，则保留该字块；否则，则删除该字块；
S25：将经过了步骤S24之后保留的字块进行合并和补零操作，使得得到的图像的大小与步骤S21中图像的大小相同，然后对得到的图像再次进行Radon处理，进行旋转校正。
4.根据权利要求1所述的银行票据信息识别方法，其特征在于：所述步骤S4具体包括以下步骤：
S41：对连续数字区域通过水平差分投影方式来得到灰度突变值，从而找到有效文字区域，然后根据水平方向上邻近行得到的投影灰度差来组成直方图，最终确定连续数字区域的上边界；
S42：对连续数字区域通过垂直差分投影方式来得到灰度突变值，从而找到有效文字区域，然后根据垂直方向上邻近行得到的投影灰度差来组成直方图，最终确定连续数字区域的左边界。
说明书 :
一种银行票据信息识别方法
技术领域
[0001] 本发明涉及图像处理技术，特别是涉及一种银行票据信息识别方法。
背景技术
[0002] OCR技术可以根据使用对象分为文本型OCR还有专业型OCR。文本型的系统往往包括的两大功能是版面处理以及文字识别，其中的版面处理有版面的倾斜校正、版面分析还
有对文本需识别的序列进行标注；而文本识别是对文字序列块的识别，可以把文字的图像
变成文字机内码。目前较普遍的有清华文通(TH‑OCR)、沈阳自动化所(SY‑OCR)、北信(BI‑
OCR)等。而专业型的系统大多是针对特定的行业，例如金融系统、海关、税务等信息格式比
较固定，字符识别量也相对少。
有对文本需识别的序列进行标注；而文本识别是对文字序列块的识别，可以把文字的图像
变成文字机内码。目前较普遍的有清华文通(TH‑OCR)、沈阳自动化所(SY‑OCR)、北信(BI‑
OCR)等。而专业型的系统大多是针对特定的行业，例如金融系统、海关、税务等信息格式比
较固定，字符识别量也相对少。
[0003] 图像分割在图像处理中是一项至关重要的技术，迄今为止提出的分割算法已经不下千种。然并没有相互通用的理论，因为这些算法都是针对于某一个问题提出，没有一种算
法是适合于每种图像的。其中算法主要分为了三大类，包括阈值分割法，基于区域提取的算
法，还有基于边缘检测的算法。
法是适合于每种图像的。其中算法主要分为了三大类，包括阈值分割法，基于区域提取的算
法，还有基于边缘检测的算法。
[0004] 票据在我们的生活中不仅是结算的凭证也是流通的说明，因使用场景的不同，它的内容就会发生变化而使票据种类变多变复杂。但是票据的分割识别管理还不是很好，因
此各个企业及单位在面对处理票据的过程中效率很低，也存在着一些问题：(1)纸质票据备
份量少，当遇到虫蚁啃咬时容易造成信息缺失，可能导致无法挽回的问题；(2)只能靠人力
对纸质票据进行真伪判断，但会容易在主观因素上对判断结果产生干预和误判；(3)对纸质
票据需要进行手工建档，人工查询，会对人力、物力带来浪费，还会对企业的财力带来大量
消耗，服务质量很低；(4)纸质票据在信息化的时代无法进行线上的传送，使有些金融要求
无法达到；(5)票据信息内容多样，且数字信息不像汉字那样字符之间有关联性，人工读取
时会因为误判而使整个数字串错误，使信息传递出错。
此各个企业及单位在面对处理票据的过程中效率很低，也存在着一些问题：(1)纸质票据备
份量少，当遇到虫蚁啃咬时容易造成信息缺失，可能导致无法挽回的问题；(2)只能靠人力
对纸质票据进行真伪判断，但会容易在主观因素上对判断结果产生干预和误判；(3)对纸质
票据需要进行手工建档，人工查询，会对人力、物力带来浪费，还会对企业的财力带来大量
消耗，服务质量很低；(4)纸质票据在信息化的时代无法进行线上的传送，使有些金融要求
无法达到；(5)票据信息内容多样，且数字信息不像汉字那样字符之间有关联性，人工读取
时会因为误判而使整个数字串错误，使信息传递出错。
发明内容
[0005] 发明目的：本发明的目的是提供一种能够解决现有技术中存在缺陷的银行票据信息识别方法。
[0006] 技术方案：本发明所述的银行票据信息识别方法，包括以下步骤：
[0007] S1：对票据的图像进行去噪；
[0008] S2：对去噪后的图像进行倾斜校正；
[0009] S3：对校正后的图像中经文字扩充后的连续数字区域进行提取；
[0010] S4：对提取得到的连续数字区域进行边界定位；
[0011] S5：对边界定位好的连续数字区域进行分割，得到若干数字区域块；
[0012] S6：对数字区域块进行单个字符切分，具体包括以下步骤：
[0013] S61：对数字区域块中的字符进行轮廓检测，记录字符的凹点个数，采用垂直投影的方式对字符进行分割，对分割后得到的字符数进行记录；
[0014] S62：判断是否存在粘连字符：如果是，则进行步骤S63；否则，结束；
[0015] S63：采用水滴算法对粘连字符进行分割，然后进行以下判断：如果分割后的字符数大于或等于凹点个数，则结束；否则，重新采用水滴算法进行分割；
[0016] S7：通过模板匹配找到与待识别字符相似度最高的字符，并将待识别字符按照模板相似程度进行分类；
[0017] S8：对于分类后的待识别字符，根据每一类待识别字符的模板之间的差异，设定相应的算法，最终确定待识别字符的识别结果。
[0018] 进一步，所述步骤S1具体包括以下步骤：
[0019] S11：使用3乘3的×形窗口对图像中的中值滤波值Zmed、最大滤波值Zmax和最小滤波值Zmin进行计算；
[0020] S12：进行以下判断：如果中值滤波值Zmed不处于最大滤波值Zmax和最小滤波值Zmin中间，则对×形窗口进行自加，然后返回步骤S11；否则，进行步骤S13；
[0021] S13：用图像本身的像素值与最大滤波值Zmax和最小滤波值Zmin进行比较：如果像素值处在最大滤波值Zmax和最小滤波值Zmin之间，则不用修改该像素值；否则，则用最大滤
波值Zmax和最小滤波值Zmin的中值替换该像素值。
波值Zmax和最小滤波值Zmin的中值替换该像素值。
[0022] 进一步，所述步骤S2具体包括以下步骤：
[0023] S21：将图像分为8*8块，并且分成的64块中大多数块是独立的字块；
[0024] S22：对每个字块进行Radon变换，得到每个子块的最大倾斜角和对应的Radon变换结果，然后进行以下判断：如果Radon变换结果是直线，则Radon变换结果所对应的字块是空
白区域；如果Radon变换结果是曲线，则进行步骤S23；
白区域；如果Radon变换结果是曲线，则进行步骤S23；
[0025] S23：如果Radon变换结果是周期分布的，且字块的倾斜角所对应的Radon变换的投影方向与文字方向是正交的，则判定该字块为纯文本字块；否则，则判定该字块为图片；
[0026] S24：对所有经过步骤S23和S24判断之后的字块进行以下判断：如果一个字块中包含了图片和文本，且文本所占面积大于图片所占面积，则保留该字块；否则，则删除该字块；
[0027] S25：将经过了步骤S24之后保留的字块进行合并和补零操作，使得得到的图像的大小与步骤S21中图像的大小相同，然后对得到的图像再次进行Radon处理，进行旋转校正。
[0028] 进一步，所述步骤S4具体包括以下步骤：
[0029] S41：对连续数字区域通过水平差分投影方式来得到灰度突变值，从而找到有效文字区域，然后根据水平方向上邻近行得到的投影灰度差来组成直方图，最终确定连续数字
区域的上边界；
区域的上边界；
[0030] S42：对连续数字区域通过垂直差分投影方式来得到灰度突变值，从而找到有效文字区域，然后根据垂直方向上邻近行得到的投影灰度差来组成直方图，最终确定连续数字
区域的左边界。
区域的左边界。
[0031] 有益效果：本发明公开了一种银行票据信息识别方法，通过自动化票据数字字符串识别过程，能够克服传统人力处理票据的工作方式的不足，提高工作效率。
附图说明
[0032] 图1为本发明具体实施方式中方法的流程图；
[0033] 图2为本发明具体实施方式中受椒盐噪声影响的图像；
[0034] 图3为本发明具体实施方式中中值滤波效果图；
[0035] 图4为本发明具体实施方式中自适应中值滤波效果图；
[0036] 图5为本发明具体实施方式中校正后的效果图；
[0037] 图6为本发明具体实施方式中文字扩充的连通区域；
[0038] 图7为本发明具体实施方式中文字扩充投影图；
[0039] 图8为本发明具体实施方式中未经文字扩充投影图；
[0040] 图9为本发明具体实施方式中投影分割图；
[0041] 图10为本发明具体实施方式中连通域分割图；
[0042] 图11为本发明具体实施方式中投影分割图；
[0043] 图12为本发明具体实施方式中投影图；
[0044] 图13为本发明具体实施方式中分割效果图；
[0045] 图14为本发明具体实施方式中水滴起点的确定示意图；
[0046] 图15为本发明具体实施方式中单个字符的识别结果。
具体实施方式
[0047] 本具体实施方式公开了一种银行票据信息识别方法，如图1所示，包括以下步骤：
[0048] S1：对票据的图像进行去噪；
[0049] S2：对去噪后的图像进行倾斜校正；
[0050] S3：对校正后的图像中经文字扩充后的连续数字区域进行提取；
[0051] S4：对提取得到的连续数字区域进行边界定位；
[0052] S5：对边界定位好的连续数字区域进行分割，得到若干数字区域块；
[0053] S6：对数字区域块进行单个字符切分，具体包括以下步骤：
[0054] S61：对数字区域块中的字符进行轮廓检测，记录字符的凹点个数，采用垂直投影的方式对字符进行分割，对分割后得到的字符数进行记录；
[0055] S62：判断是否存在粘连字符：如果是，则进行步骤S63；否则，结束；
[0056] S63：采用水滴算法对粘连字符进行分割，然后进行以下判断：如果分割后的字符数大于或等于凹点个数，则结束；否则，重新采用水滴算法进行分割；
[0057] S7：通过模板匹配找到与待识别字符相似度最高的字符，并将待识别字符按照模板相似程度进行分类；
[0058] S8：对于分类后的待识别字符，根据每一类待识别字符的模板之间的差异，设定相应的算法，最终确定待识别字符的识别结果。
[0059] 步骤S1具体包括以下步骤：
[0060] S11：使用3乘3的×形窗口对图像中的中值滤波值Zmed、最大滤波值Zmax和最小滤波值Zmin进行计算；
[0061] S12：进行以下判断：如果中值滤波值Zmed不处于最大滤波值Zmax和最小滤波值Zmin中间，则对×形窗口进行自加，然后返回步骤S11；否则，进行步骤S13；
[0062] S13：用图像本身的像素值与最大滤波值Zmax和最小滤波值Zmin进行比较：如果像素值处在最大滤波值Zmax和最小滤波值Zmin之间，则不用修改该像素值；否则，则用最大滤
波值Zmax和最小滤波值Zmin的中值替换该像素值。
波值Zmax和最小滤波值Zmin的中值替换该像素值。
[0063] 步骤S2具体包括以下步骤：
[0064] S21：将图像分为8*8块，并且分成的64块中大多数块是独立的字块；
[0065] S22：对每个字块进行Radon变换，得到每个子块的最大倾斜角和对应的Radon变换结果，然后进行以下判断：如果Radon变换结果是直线，则Radon变换结果所对应的字块是空
白区域；如果Radon变换结果是曲线，则进行步骤S23；
白区域；如果Radon变换结果是曲线，则进行步骤S23；
[0066] S23：如果Radon变换结果是周期分布的，且字块的倾斜角所对应的Radon变换的投影方向与文字方向是正交的，则判定该字块为纯文本字块；否则，则判定该字块为图片；
[0067] S24：对所有经过步骤S23和S24判断之后的字块进行以下判断：如果一个字块中包含了图片和文本，且文本所占面积大于图片所占面积，则保留该字块；否则，则删除该字块；
[0068] S25：将经过了步骤S24之后保留的字块进行合并和补零操作，使得得到的图像的大小与步骤S21中图像的大小相同，然后对得到的图像再次进行Radon处理，进行旋转校正。
[0069] 步骤S4具体包括以下步骤：
[0070] S41：对连续数字区域通过水平差分投影方式来得到灰度突变值，从而找到有效文字区域，然后根据水平方向上邻近行得到的投影灰度差来组成直方图，最终确定连续数字
区域的上边界；
区域的上边界；
[0071] S42：对连续数字区域通过垂直差分投影方式来得到灰度突变值，从而找到有效文字区域，然后根据垂直方向上邻近行得到的投影灰度差来组成直方图，最终确定连续数字
区域的左边界。
区域的左边界。
[0072] 根据以上分析的票据处理过程，对每一步的图像进行处理，所得实验结果如下：
[0073] (1)对图像去噪声过程中，下图2为受污染的图像，图3为经过中值滤波后的图像，图4为经过自适应中值滤波后的图像：
[0074] 由上图3和图4对比可以看出经过去噪声处理的票据相比图2变得更平滑，内容更清晰，但是普通的中值滤波具有局限性，对椒盐噪声并不能完全滤除，使图像的噪声污染点
依旧附着在图像上而使图像的内容不能被很好的分辨出来，而使用改进的自适应中值滤波
的方法可以将图像上的噪声点最大程度的滤除而使得票据内容具有更高的可分辨性；
依旧附着在图像上而使图像的内容不能被很好的分辨出来，而使用改进的自适应中值滤波
的方法可以将图像上的噪声点最大程度的滤除而使得票据内容具有更高的可分辨性；
[0075] (2)在图像进行倾斜校正过程中：本实验比较了不同校正方法对图像进行倾斜角检测比较，其中倾角的数据如下表1。
[0076] 表1倾斜校正正对比
[0077]倾斜角(°) Hough检测角 传统Radon检测角 本文Radon算法
‑4.5 ‑5.10 ‑4.90 ‑4.61
‑3.8 ‑4.30 ‑4.18 ‑3.96
‑2.6 ‑3.10 ‑2.96 ‑2.68
‑1.4 ‑1.80 ‑1.78 ‑1.60
0.2 0.40 0.44 0.27
1.6 2.11 1.68 1.69
2.8 3.24 3.02 2.83
3.8 4.30 4.20 3.85
最大绝对误差 0.6 0.46 0.20
最小绝对误差 0.2 0.08 0.03
误差标准差 0.111 0.108 0.053
‑4.5 ‑5.10 ‑4.90 ‑4.61
‑3.8 ‑4.30 ‑4.18 ‑3.96
‑2.6 ‑3.10 ‑2.96 ‑2.68
‑1.4 ‑1.80 ‑1.78 ‑1.60
0.2 0.40 0.44 0.27
1.6 2.11 1.68 1.69
2.8 3.24 3.02 2.83
3.8 4.30 4.20 3.85
最大绝对误差 0.6 0.46 0.20
最小绝对误差 0.2 0.08 0.03
误差标准差 0.111 0.108 0.053
[0078] 由上表数据可看出，本文算法相较于其他两种算法的误差值较小，可以看出传统Hough变换检测倾斜角时的最大绝对误差为0.6度，传统的Radon变换的最大绝对误差为
0.46度，而本文算法的最大绝对误差仅为0.2度，误差量远远小于另外两种传统方法，并且
三种方法的误差标准差分别为0.111,0.108,0.053，可知本文的方法比另外两种方法更加
稳定。
0.46度，而本文算法的最大绝对误差仅为0.2度，误差量远远小于另外两种传统方法，并且
三种方法的误差标准差分别为0.111,0.108,0.053，可知本文的方法比另外两种方法更加
稳定。
[0079] 在本文中一共测试的票据图像样本100张，其中倾斜照片45张，成功校正图像42张，校正图像的准确率达到93.33％。如下图5为校正后的图像：由上图的矫正效果可以得到
图像重新展示位水平方向，这种水平方向的图像为后面的图像分割与识别提高了便利；
图像重新展示位水平方向，这种水平方向的图像为后面的图像分割与识别提高了便利；
[0080] (3)首先本文对提取信息的方式采用了基于连通区域的提取，如下图6是文字扩充后的连通区域，图7和图8分别为经扩充后的投影图与未经文字扩充的原图的投影图：
[0081] 由图7与图8的投影图比较可看出经文字扩充后的连通区域投影图，可明显从图中看出信息内容的排布，而图4.7的原图像投影无法轻易找到图像的信息区域，信息分布位置
不可知。经投影分割的效果如图9，图10是经连通域分割的区域图。
不可知。经投影分割的效果如图9，图10是经连通域分割的区域图。
[0082] 由图9与图10的分割效果可以看出当连通的区域块进行分割时。投影图只能进行大范围的分割，无法获取小面积的连通域块，而进行连通域块的分割可以将文字扩充的部
分按块提取，得到每个区域的连通块，并得到有效字符串。
分按块提取，得到每个区域的连通块，并得到有效字符串。
[0083] (4)在对提取的字符串进行分割时，在传统的投影方法与传统的水滴算法都是针对某一种情况的字符，在本实验中对字符情况进行了判断，不仅可以对整齐间距的数字串
进行切割，还能对粘连的字符串进行切割。
进行切割，还能对粘连的字符串进行切割。
[0084] 在传统的投影法只适用于字符间距整齐的字符，这种字符之间有明显空隙的字符，投影效果明显，能够根据投影图的位置将数字意义分开，如图11，但是遇到有粘连的字
符，这种投影分割的效果就不太明显，如图12，它将“2，4”，“9,0”，“9,8”，“2,2”这种字符的
投影当成了一个字符进行分割，导致分割图像失败如图13。
符，这种投影分割的效果就不太明显，如图12，它将“2，4”，“9,0”，“9,8”，“2,2”这种字符的
投影当成了一个字符进行分割，导致分割图像失败如图13。
[0085] 而采取传统的滴水算法，会因寻找满足水滴滴落的位置而扫描整张图像，执行速度较慢，还可能会遇见无法满足情况的位置，因此此种方法不仅运算速率慢，还会出现分割
困难。本文基于轮廓寻找的水滴滴落位置使运算量大大降低。如下图14可从轮廓图中找到
水滴滴落位置而能对图像成功进行分割。
困难。本文基于轮廓寻找的水滴滴落位置使运算量大大降低。如下图14可从轮廓图中找到
水滴滴落位置而能对图像成功进行分割。
[0086] 在本实验中100张票据图像，其中存在粘连字符的图像为57张，间距整齐的数字串票据有43张，分别使用投影法，滴水算法，以及本文的投影法与滴水算法结合的方法来对分
割图像的成功数量进行对比，对比数据如表2。
割图像的成功数量进行对比，对比数据如表2。
[0087] 表2票据成功分割数量对比
[0088]
[0089]
[0090] 由比较可知当对字符串粘连情况未可知时，若是直接使用传统的投影法，将只能对部分不连接的图像成功分割，而直接使用滴水算法时，会因为部分图像无法找到水滴滴
落位置而导致分割失败，但是本文的结合算法能弥补两种传统方法的不足而使分割的成功
率得到大大提高。
落位置而导致分割失败，但是本文的结合算法能弥补两种传统方法的不足而使分割的成功
率得到大大提高。
[0091] (5)最后字符的识别是验证本文分割效果及识别效果的直观展示，本文的主要识别对象是支票中的数字字符串的识别，采用的识别方法是基于模板匹配与字符结构特征识
别结合的方法，对100张的样本票据进行识别，其中包括14位46张及11位54张，字符串总计
数字为1238个，在对数字进行识别的实验结果如下表所示：
别结合的方法，对100张的样本票据进行识别，其中包括14位46张及11位54张，字符串总计
数字为1238个，在对数字进行识别的实验结果如下表所示：
[0092] 表3数字识别率
[0093]
[0094] 从图15中可以看出，对使用方法后的单个字符识别率中，识别最高的为数字1，可达98.1％，数字7可达98％，这种比较高的成功率为正确录入数字信息提供了条件。