圆铸坯端面喷码字符倾斜矫正与识别方法、存储介质

摘要

本发明的一种圆铸坯端面喷码字符倾斜矫正与识别方法、存储介质，其方法包括以下步骤，圆轮廓有效区域定位；求取各字符轮廓的最小外接矩形；求取字符倾斜角度；对字符矫正结果后处理；对喷码字符进行识别。本发明采用改进的轮廓梯度模板匹配算法，能够准确定位圆坯端面轮廓有效区域，结合喷码字符行列分布特征的先验条件信息，采用外接矩形短边斜率均值方法与任意两轮廓最小外接矩形中心点连线斜率排列组合投票方法，完成对字符的倾斜矫正；采用ResNet‑18与Inception结构范式融合后的模型作为分类器，对字符进行识别。本发明的圆铸坯有效区域定位方法以及字符倾斜矫正方法，能够很好地适应静止或者运动状态下的检测，具有较强的鲁棒性，也能够复用到方坯上。

权利要求

1.一种圆铸坯端面喷码字符倾斜矫正与识别方法，其特征在于，包括以下步骤，S1、获取圆铸坯端面图像，对圆铸坯端面图像采用改进的轮廓梯度模板匹配算法进行处理，得到圆轮廓所包围的有效区域；

S2、对所述的圆轮廓所包围的有效区域图像预处理后，提取字符连通域轮廓，并求取各字符轮廓的最小外接矩形；

S3、采用外接矩形短边斜率均值方法或者采用任意两外接矩形中心连线斜率排列组合投票方法，求取字符倾斜角度，得到矫正图像；

S4、结合字符行列分布的先验条件信息，对矫正结果进行后处理，得到若干个单字符矫正图像；

S5、通过将ResNet‑18与Inception结构范式融合，构建ResNet‑Inception模型融合分类器，利用训练好的融合分类器对所述的单字符矫正图像进行识别，并对识别结果汇总，得到字符识别结果；

其中，步骤S1所述的改进的轮廓梯度模板匹配算法，具体包括：

S1.1、假设所采集的圆铸坯端面图像中，圆坯轮廓半径大小所占像素在(Crmin，Crmax)之K

间变化，其中Crmin、Crmax为常数，将圆铸坯端面图像按照比例系数S＝2进行缩放，其中K为正整数，取值为3；

S1.2、设置圆模板的基准半径为 则基准圆模板图像的大小设置为

(2Cmr+5，2Cmr+5)，圆心坐标设置为(Cmr+2，Cmr+2)，基准圆模板图像的圆轮廓内部像素颜色设置为0，轮廓外部像素颜色设置为1；圆模板上下偏差设置为 其中Cmr四舍五入取整，Er向上取整，因此，设置圆模板图像数量为Nm＝2Er+1，圆模板半径在(Cmr‑Er)～(Cmr+Er)之间变化；

S1.3、采用sobel算子，依次对设置的Nm个圆模板图像求取水平梯度图像Gmdx和竖直梯度图像Gmdy；同理，采用sobel算子，求取缩放后圆铸坯端面图像的水平梯度图像Gdx和竖直梯度图像Gdy，同时，对Gdx和Gdy图像进行后处理，将 像素点的水平和竖直梯度置

0，其中σ为常数，σ在(0，1)之间取值，G为矩阵，所有的模板及图像的6均做了归一化处理；

S1.4、利用某一圆模板图像遍历匹配缩放后的圆铸坯端面图像，得到梯度匹配图，具体为：S1.4.1单点像素梯度匹配值的计算，假设圆模板边缘轮廓上某一像素点的水平梯度为Gmdx(i，j)，竖直梯度为Gmdy(i，j)，与之相对应的缩放后圆铸坯端面图像某一像素点的水平梯度Gdx(i+m，j+n)，竖直梯度为Gdy(i+m，j+n)，则单点像素梯度匹配值为Mdxy＝Gdx(i+m，j+n)×Gmdx(i，j)+Gdy(i+m，j+n)×Gmdy(i，j)，其中，m，n即遍历所有范围内取值；

S1.4.2圆模板梯度匹配值的计算，对圆模板廓进行下采样，下采样系数设置为2，相当于每隔一像素点取一个，遍历下采样后的圆模板轮廓点，求得所有与之相对应缩放后圆铸坯端面图像像素点的梯度匹配值Mdxy，并将所有的梯度匹配值Mdxy累加，累加结果除以圆模板轮廓的点数得到梯度匹配值，从而完成一次圆模板梯度匹配；将匹配步长设置为1，通过遍历缩放后的圆铸坯端面图像，完成对整个图像的圆模板梯度匹配值的计算，从而得到完整梯度匹配图；

S1.5、将Nm个圆模板图像重复步骤S1.4的计算，从而得到Nm个梯度匹配图，寻找Nm梯度匹配图中的最亮点，并与设置的最亮点阈值作比较，从而求得与之对应的中心坐标与圆模板半径，完成对圆有效区域的定位。

2.根据权利要求1所述的圆铸坯端面喷码字符倾斜矫正与识别方法，其特征在于：步骤S3所述的外接矩形短边斜率均值方法，求取字符倾斜角度，具体包括：S3.1、假设所求得轮廓最小外接矩形的数量为Nc，去掉最小外接矩形短边倾斜角度为最大值和最小值的两个轮廓，其中，θi为去掉倾斜角度最大值和最小值后的第i个轮廓最小外接矩形短边倾斜角度，则喷码字符的字符倾斜角度为

3.根据权利要求1所述的圆铸坯端面喷码字符倾斜矫正与识别方法，其特征在于：步骤S3所述的任意两外接矩形中心连线斜率排列组合投票方法，求取字符倾斜角度，具体包括：S3.2、根据字符行列分布特征的先验条件信息，假设有M行字符，其中，Ai为第i行字符的数量，则单行字符中任意两字符排列组合的数量为 所有的单行字符任意两字符排列组合的总数为 假设所求得轮廓最小外接矩形的数量为Nc，θ(i，j)为任意两轮廓最小外接矩形中心点连线的倾斜角度，其中，i≠j，i∈[1，Nc]，j∈[1，Nc]，θ(i，j)∈[0，

180°)，则任意两轮廓最小外接矩形中心点连线的排列组合总数为 所有的单行字符任意两字符排列组合的总数占比为 通过寻找θ(i，j)中倾斜角度值集中在某一小区间范围内的总数占比为P的θ(i，j)倾斜角度集合，求取占比为P的θ(i，j)倾斜角度集合中元素的均值作为喷码字符的倾斜角度。

4.根据权利要求1所述的圆铸坯端面喷码字符倾斜矫正与识别方法，其特征在于：步骤S4所述的对矫正结果进行后处理，具体包括：将矫正后的所有单字符根据外接矩形中心坐标位置进行排序，得到每行字符的数量信息，并与字符行列分布即数量特征的先验条件信息作比对，如果与字符的先验条件信息相匹配，则步骤S3的矫正结果即为最终矫正结果；如果不匹配，则需要旋转180度作为最终矫正结果。

5.根据权利要求1所述的圆铸坯端面喷码字符倾斜矫正与识别方法，其特征在于：步骤S5所述的ResNet‑Inception模型融合分类器，以ResNet‑18作为主干特征提取网络，融合Inception模块，将ResNet‑18的第1卷积模块的7×7卷积核调整为两个5×5卷积核，第2卷积模块包含2个残差结构，残差结构由数量为64的3x3+3x3卷积核组成，通过concat连接方式将2个残差结构融合，第4卷积模块包含2个残差结构，残差结构由数量为256的3x3+3x3卷积核组成，通过concat连接方式将2个残差结构融合，第3卷积模块和第5卷积模块的3×3+3×3卷积核调整为1×1+3×3+1×1卷积核，并融合split‑transform‑merge结构范式，最后将全连接层改为输出为64维，并在第2卷积模块中使用正则化方法DropBlock。

6.根据权利要求1所述的圆铸坯端面喷码字符倾斜矫正与识别方法，其特征在于：步骤S2中只对圆轮廓所包围的区域内像素点进行预处理，圆轮廓外像素点作为无效像素点，不进行处理。

7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。

说明书

圆铸坯端面喷码字符倾斜矫正与识别方法、存储介质

技术领域

[0001] 本发明涉及工业视觉字符识别技术领域，具体涉及一种圆铸坯端面喷码字符倾斜矫正与识别方法、存储介质。

背景技术

[0002] 当前，在管加工行业钢管生产过程中，钢管追踪基本上采用PLC和人工参与的方式，实现按炉号或批号跟踪，对于全过程的逐支跟踪实现的比较少，钢管生产是一种离散、非连续的加工模式，生产过程中的不合格产品下线、返工现象不可避免，一般都是通过人工输入计算机记录，对于产品工艺质量的追溯，都是按炉或批实现的，就某一根钢管而言无法追溯到其原材料及加工过程中的具体工艺参数等。而圆铸坯作为管加工的原材料，在上加工产线前如何获取原料产地、生产时间、材料、批号等信息，多采用端面喷码字符的形式，通过肉眼观察校验，手动录入铸坯信息，自动化程度较低，且耗费了很大的人力。因此，急需一种能够自动获取铸坯端面喷码字符的系统及方法，快速高效完成对喷码字符的识别。

发明内容

[0003] 本发明提出的一种圆铸坯端面喷码字符倾斜矫正与识别方法，该方法可以快速高效完成对圆坯端面喷码字符的倾斜矫正及识别。

[0004] 为实现上述目的，本发明采用了以下技术方案：

[0005] 一种圆铸坯端面喷码字符倾斜矫正与识别方法，包括以下步骤，

[0006] S1、获取圆铸坯端面图像，对圆铸坯端面图像采用改进的轮廓梯度模板匹配算法进行处理，得到圆轮廓所包围的有效区域；

[0007] S2、对所述的圆轮廓所包围的有效区域图像预处理后，提取字符连通域轮廓，并求取各字符轮廓的最小外接矩形；

[0008] S3、采用外接矩形短边斜率均值方法或者采用任意两外接矩形中心连线斜率排列组合投票方法，求取字符倾斜角度，得到矫正图像；

[0009] S4、结合字符行列分布的先验条件信息，对矫正结果进行后处理，得到若干的单字符矫正图像；

[0010] S5、通过将ResNet‑18与Inception结构范式融合，构建ResNet‑Inception模型融合分类器，利用训练好的融合分类器对所述的单字符矫正图像进行识别，并对识别结果汇总，得到字符识别结果；

[0011] 其中，步骤S1所述的改进的轮廓梯度模板匹配算法，具体包括：

[0012] S1.1、假设所采集的圆铸坯端面图像中，圆坯轮廓半径大小所占像素在(Crmin，KCrmax)之间变化，其中Crmin、Crmax为常数，将圆铸坯端面图像按照比例系数S＝2进行缩放，其中K为正整数，取值为3；

[0013] S1.2、设置圆模板的基准半径为 则基准圆模板图像的大小设置为(2Cmr+5.2Cmr+5)，圆心坐标设置为(Cmr+2，Cmr+2)，基准圆模板图像的圆轮廓内部像素颜色设置为0，轮廓外部像素颜色设置为1；圆模板上下偏差设置为 其中Cmr
四舍五入取整，Er向上取整，因此，设置圆模板图像数量为Nm＝2Er+1，圆模板半径在(Cmr‑Er)～(Cmr+Er)之间变化；

[0014] S1.3、采用sobel算子，依次对设置的Nm个圆模板图像求取水平梯度图像Gmdx和竖直梯度图像Gmdy；同理，采用sobel算子，求取缩放后圆铸坯端面图像的水平梯度图像Gdx和竖直梯度图像Gdy，同时，对Gdx和Gdy图像进行后处理，将 像素点的水平和竖直梯度置0，其中σ为常数，σ在(0，1)之间取值，G为矩阵，所有的模板及图像的G均做了归一化处理；

[0015] S1.4、利用某一圆模板图像遍历匹配缩放后的圆铸坯端面图像，得到梯度匹配图，具体为：

[0016] S1.4.1单点像素梯度匹配值的计算，假设圆模板边缘轮廓上某一像素点的水平梯度为Gmdx(i，j)，竖直梯度为Gmdy(i，j)，而与相对应的缩放后圆铸坯端面图像某一像素点的水平梯度Gdx(i+m，j+n)，竖直梯度为Gdy(i+m，j+n)，则单点像素梯度匹配值为Mdxy＝Gdx(i+m，j+n)×Gmdx(i，j)+Gdy(i+m，j+n)×Gmdy(i，j)，其中，m，n即遍历所有范围内取值；

[0017] S1.4.2圆模板梯度匹配值的计算，对圆模板轮廓进行下采样，下采样系数设置为2，相当于每隔一像素点取一个，遍历下采样后的圆模板轮廓点，求得所有与之相对应缩放后圆铸坯端面图像像素点的梯度匹配值Mdxy，并将所有的梯度匹配值Mdxy累加，累加结果除以圆模板轮廓的点数得到梯度匹配值，从而完成一次圆模板梯度匹配；将匹配步长设置为
1，通过遍历缩放后的圆铸坯端面图像，完成对整个图像的圆模板梯度匹配值的计算，从而得到完整梯度匹配图；

[0018] S1.5、将Nm个圆模板图像重复步骤S1.4的计算，从而得到Nm个梯度匹配图，寻找Nm梯度匹配图中的最亮点即最大值，并与设置的最亮点阈值作比较，从而求得与之对应的中心坐标与圆模板半径，完成对圆有效区域的定位。

[0019] 进一步的，步骤S3所述的外接矩形短边斜率均值方法，求取字符倾斜角度，具体包括：

[0020] S3.1、假设所求得轮廓最小外接矩形的数量为Nc，去掉最小外接矩形短边倾斜角度为最大值和最小值的两个轮廓，其中，θi为去掉倾斜角度最大值和最小值后的第i个轮廓最小外接矩形短边倾斜角度，则喷码字符字符倾斜角度为

[0021] 进一步的，步骤S3所述的任意两外接矩形中心连线斜率排列组合投票方法，求取字符倾斜角度，具体包括：

[0022] S3.2、根据字符行列分布特征的先验条件信息，假设有M行字符，其中，Ai为第i行字符的数量，则单行字符中任意两字符排列组合的数量为 所有的单行字符任意两字符排列组合的总数为 假设所求得轮廓最小外接矩形的数量为Nc，θ(i，j)为任意两轮廓最小外接矩形中心点连线的倾斜角度，其中，i≠j，i∈[1，Nc]，j∈[1，Nc]，θ(i，j)∈[0，180°)，则任意两轮廓最小外接矩形中心点连线的排列组合总数为 所有的单行字
符任意两字符排列组合的总数占比为 通过寻找θ(i，j)中倾斜角度值集中在
某一小区间范围内的总数占比为P的θ(i，j)倾斜角度集合，求取占比为P的θ(i，j)倾斜角度集合中元素的均值作为喷码字符的倾斜角度。

[0023] 进一步的，步骤S4所述的对字符矫正结果进行后处理，具体包括：将矫正后的所有单字符根据外接矩形中心坐标位置进行排序，得到每行字符的数量信息，并与字符行列分布即数量特征的先验条件信息作比对，如果与字符的先验条件信息相匹配，则步骤S3的矫正结果即为最终矫正结果；如果不匹配，则需要旋转180度作为最终矫正结果。

[0024] 进一步的，步骤S5所述的ResNet‑Inception模型融合分类器，以ResNet‑18作为主干特征提取网络，融合Inception模块，将ResNet‑18的第1卷积模块的7×7卷积核调整为两个5×5卷积核，第2卷积模块包含2个残差结构，残差结构由数量为64的3x3+3x3卷积核组成，，通过concat连接方式将2个残差结构融合，第4卷积模块包含2个残差结构，残差结构由数量为256的3x3+3x3卷积核组成，通过concat连接方式将2个残差结构融合，第3卷积模块和第5卷积模块的3×3+3×3卷积核调整为1×1+3×3+1×1卷积核，并融合split‑transform‑merge结构范式，最后将全连接层改为输出为64维，并在第2卷积模块中使用正则化方法DropBlock。

[0025] 进一步的，步骤S2中只对圆轮廓所包围的区域内像素点进行预处理，圆轮廓外像素点作为无效像素点，不进行处理。

[0026] 另一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

[0027] 由上述技术方案可知，本发明的圆铸坯端面喷码字符倾斜矫正与识别方法、存储介质，由于圆铸坯端面大多数是非正圆轮廓，采用霍夫变换很难适应这种检测状况，采用改进的轮廓梯度模板匹配算法，能够准确定位圆坯端面有效区域。结合喷码字符行列分布特征的先验条件信息，采用外接矩形短边斜率均值方法与任意两轮廓最小外接矩形中心点连线斜率排列组合投票方法能够准确计算出圆铸坯端面图像中喷码字符的倾斜角度。同时，采用ResNet‑18与Inception结构范式融合后的模型作为分类器，能够准确高效的识别出矫正后的单字符。本发明所述的圆铸坯有效区域定位方法以及字符倾斜矫正方法，能够很好地适应静止或者运动状态下的检测，具有较强的鲁棒性，同时，也能够复用到方坯上。

附图说明

[0028] 图1是本发明实施例的流程示意图；

[0029] 图2a是本发明实施例圆铸坯传动方式的图像采集方案图；图2b是本发明实施例圆铸坯滚动方式的图像采集方案图；

[0030] 图3a是本发明实施例的圆铸坯端面图；图3b是本发明实施例的轮廓定位效果图；

[0031] 图4a是本发明实施例的有效区域图像预处理结果图；图4b是本发明实施例的有效区域图像后处理结果图；

[0032] 图5a是本发明实施例的喷码倾斜30度的效果图；

[0033] 图5b是本发明实施例的喷码倾斜210度的效果图；

[0034] 图6a是本发明实施例的模型融合分类器结构图；

[0035] 图6b、图6c、图6d、图6e分别是stem1、stem2、stem3、stem4模块结构示意图；

[0036] 图7a是本发明实施例的圆铸坯端面倾斜矫正效果图；图7b是本发明实施例的喷码识别结果图。

具体实施方式

[0037] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

[0038] 如图1所示，本实施例所述的圆铸坯端面喷码字符倾斜矫正与识别方法，包括以下步骤，

[0039] S1、获取圆铸坯端面图像，对圆铸坯端面图像采用改进的轮廓梯度模板匹配算法进行处理，得到圆轮廓所包围的有效区域；

[0040] S2、对所述的圆轮廓所包围的有效区域图像预处理后，提取字符连通域轮廓，并求取各字符轮廓的最小外接矩形；

[0041] S3、采用外接矩形短边斜率均值方法或者采用任意两外接矩形中心连线斜率排列组合投票方法，求取字符倾斜角度，得到矫正图像；

[0042] S4、结合字符行列分布的先验条件信息，对矫正结果进行后处理，得到若干的单字符矫正图像；

[0043] S5、通过将ResNet‑18与Inception结构范式融合，构建ResNet‑Inception模型融合分类器，利用训练好的融合分类器对所述的单字符矫正图像进行识别，并对分类结果汇总，得到字符识别结果；

[0044] 以下分别具体说明：

[0045] S1、获取圆铸坯端面图像，采用改进的轮廓梯度模板匹配算法，得到圆轮廓所包围的有效区域：

[0046] 圆铸坯以滚动或者传动的方式通过图像采集装置，图2a和图2b分别为针对圆铸坯在产线上的两种运动方式，设计了相应的图像采集方案，主要硬件包括工业相机、镜头、碗状光源、光源控制器、光电传感器等，其中，安放在采集装置下方的光电传感器通过硬接线的方式与工业相机相连接，自动获取到位信号，触发相机采集，获取圆铸坯端面图像，能够很好地适应静止或者运动状态下的图像采集与检测。

[0047] S1.1、假设所采集的圆铸坯端面图像中，圆坯轮廓半径大小所占像素在(Crmin，KCrmax)之间变化，其中Crmin、Crmax为常数，将圆铸坯端面图像按照比例系数S＝2进行缩放，其中K为正整数，取值为3；

[0048] 图3a是本发明实施例的圆铸坯端面图，圆坯轮廓半径在(500，540)之间，按照8倍比例缩放。

[0049] S1.2、设置圆模板的基准半径为 则基准圆模板图像的大小设置为(2Cmr+5，2Cmr+5)，圆心坐标设置为(Cmr+2，Cmr+2)，基准圆模板图像的圆轮廓内部像素颜色设置为0，轮廓外部像素颜色设置为1；圆模板上下偏差设置为 其中Cmr
四舍五入取整，Er向上取整，因此，设置圆模板图像数量为Nm＝2Er+1，圆模板半径在(Cmr‑Er)～(Cmr+Er)之间变化；

[0050] 依据步骤S1.1的相关设置，圆模板基准半径为65，基准模板图像的大小设置为(135，135)，圆心坐标设置(67，67)，圆模板上下偏差设置为3，圆模板图像数量为7，圆模板半径在62～68之间变化。

[0051] S1.3、采用sobel算子，依次对设置的Nm个圆模板图像求取水平梯度图像Gmdx和竖直梯度图像Gmdy；同理，采用sobel算子，求取缩放后圆铸坯端面图像的水平梯度图像Gdx和竖直梯度图像Gdy，同时，对Gdx和Gdy图像进行后处理，将 像素点的水平和竖直梯度置0，其中σ为常数，σ在(0，1)之间取值，G为矩阵，所有的模板及图像的G均做了归一化处理；

[0052] 依据S1.1和S1.2相关设置，采用sobel算子依次求取7个圆模板图像的水平梯度图像和竖直梯度图像；采用sobel算子，求取缩放8倍后的圆铸坯端面图像的水平梯度图像和竖直梯度图像；并对所有求取的梯度图像做归一化处理。

[0053] S1.4、将某一圆模板图像遍历匹配缩放后的圆铸坯端面图像，得到梯度匹配图，具体为：单点像素梯度匹配值的计算，假设圆模板边缘轮廓上某一像素点的水平梯度为Gmdx(i，j)，竖直梯度为Gmdy(i，j)，而与相对应的缩放后圆铸坯端面图像某一像素点的水平梯度Gdx(i+m，j+n)，竖直梯度为Gdy(i+m，j+n)，则单点像素梯度匹配值为Mdxy＝Gdx(i+m，j+n)×Gmdx(i，j)+Gdy(i+m，j+n)×Gmdy(i，j)，其中，m，n即遍历所有范围内取值；

[0054] 圆模板梯度匹配值的计算，对圆模板轮廓进行下采样，下采样系数设置为2，相当于每隔一像素点取一个，遍历下采样后的圆模板轮廓点，求得所有与之相对应缩放后圆铸坯端面图像像素点的梯度匹配值Mdxy累加求和取均值，从而完成一次圆模板梯度匹配；将匹配步长设置为1，通过遍历缩放后的圆铸坯端面图像，完成对整个图像的圆模板梯度匹配值的计算，从而得到完整梯度匹配图；

[0055] S1.5、将Nm个圆模板图像重复步骤S1.4的计算，从而得到Nm个梯度匹配图，通过寻找Nm梯度匹配图中的最亮点即最大值，并与设置的最亮点阈值作比较，从而求得与之对应的中心坐标与圆模板半径，完成对圆有效区域的定位。

[0056] 上述S1所述的改进的轮廓梯度模板匹配算法，通过将基准圆模板改为基准矩形模板，是可以复用到方坯的轮廓有效区域定位。

[0057] 图3b是本发明实施例的轮廓定位效果图，是依据上述的处理方法计算得到的。

[0058] 根据求得的圆坯中心坐标及半径，去除背景信息，只截取圆坯轮廓内部的有效区域的图像，具体为：保留圆坯轮廓内部像素点不变，其他区域像素点置0。

[0059] S2、对所述的圆轮廓所包围的有效区域图像预处理后，提取字符连通域轮廓，并求取各字符轮廓的最小外接矩形：

[0060] 可采用以下的预处理方法：采用高斯滤波，对图像进行平滑去噪，排除一定的噪声干扰；采用最大类间方差法求取圆坯端面有效区域的分割阈值，对图像进行二值化，通过设定多个大小不同卷积核，具体可以参照以下设置：当i为奇数时，卷积核大小S＝2k+i；当i为偶数时，卷积核大小S＝2k‑i+1，其中，S＞＝3，k为常值，一般取2，根据设定不同卷积核对二值图像作开算法处理，能够有效去除孤立的小点和毛刺。

[0061] 并对预处理后的图像，进行连通域轮廓提取，并求得所有轮廓的最小外接矩形，根据所求连通域轮廓的面积、最小外接矩形的长宽信息，去除明显异常轮廓。

[0062] 最终，求得各字符轮廓的最小外接矩形。

[0063] S3、采用外接矩形短边斜率均值方法或者采用任意两外接矩形中心连线斜率排列组合投票方法，求取字符倾斜角度，得到矫正图像：

[0064] 采用如下两种方法，计算喷码字符的倾斜角度，一：外接矩形短边斜率均值方法，求取字符倾斜角度；二：任意两外接矩形中心连线斜率排列组合投票方法。

[0065] S3.1、字符倾斜角度计算方法一：

[0066] 假设所求得轮廓最小外接矩形的数量为Nc，去掉最小外接矩形短边倾斜角度为最大值和最小值的两个轮廓，其中，θi为去掉倾斜角度最大值和最小值后的第i个轮廓最小外接矩形短边倾斜角度，则喷码字符字符倾斜角度为

[0067] S3.2、字符倾斜角度计算方法二：

[0068] 根据字符行列分布特征的先验条件信息，假设有M行字符，其中，Ai为第i行字符的数量，则单行字符中任意两字符排列组合的数量为 所有的单行字符任意两字符排列组合的总数为 假设所求得轮廓最小外接矩形的数量为Nc，θ(i，j)为任意两轮廓最小外接矩形中心点连线的倾斜角度，其中，i≠j，i∈[1，Nc]，j∈[1，Nc]，θ(i，j)∈[0，180°)，则任意两轮廓最小外接矩形中心点连线的排列组合总数为 所有的单行字符任意两字符排列组合的总数占比为 通过寻找θ(i，j)中倾斜角度值集中在某一小
区间范围内的总数占比为P的θ(i，j)倾斜角度集合，求取占比为P的θ(i，j)倾斜角度集合中元素的均值作为喷码字符的倾斜角度。

[0069] 图4a是本发明实施例的有效区域图像预处理结果图；图4b是本发明实施例的有效区域图像后处理结果图；根据上述计算方法，得到：

[0070]

[0071] S4、结合字符行列分布的先验条件信息，对矫正结果进行后处理，得到若干的单字符矫正图像：

[0072] 根据计算得到的字符倾斜角度，进行字符的倾斜矫正，并得到矫正后的图像；将矫正后的所有单字符根据外接矩形中心坐标位置进行排序，得到每行字符的数量信息，并与字符行列分布即数量特征的先验条件信息作比对，如果与字符的先验条件信息相匹配，则步骤S3的矫正结果即为最终矫正结果；如果不匹配，则需要旋转180度作为最终矫正结果。

[0073] 如图5a和图5b所示，其中，图5a是本发明实施例的喷码倾斜30度的效果图；图5b是本发明实施例的喷码倾斜210度的效果图；根据步骤S3得到的倾斜角度，两幅图像字符倾斜角度的计算结果应该一样，但实际上右图的倾斜角度需要再翻转180度，才能保证字符矫正的准确性，因此需要将字符矫正结果与字符的先验条件信息校验，以保证倾斜角度落在[180°，360°)区间的字符矫正准确。

[0074] S5、采用ResNet‑Inception模型融合分类器，对所述的单字符矫正图像进行识别，并对分类结果汇总，得到字符识别结果：

[0075] 如图6a至图6e所示，所述的ResNet‑Inception模型融合分类器，是以ResNet‑18作为主干特征提取网络，融合Inception模块，将ResNet‑18的第1卷积模块的7×7卷积核调整为两个5×5卷积核，第2卷积模块包含了2个的3×3+3×3卷积核(卷积核数量为64)组成的残差结构，通过concat连接方式将2个残差结构融合，第4卷积模块包含了2个3×3+3×3卷积核(卷积核数量为256)组成的残差结构，通过concat连接方式将2个残差结构融合，第3卷积模块和第5卷积模块的3×3+3×3卷积核调整为1×1+3×3+1×1卷积核，并融合split‑transform‑merge结构范式，最后将全连接层改为输出为64‑d，并在第2卷积模块中使用正则化方法DropBlock。

[0076] 首先完成圆坯端面喷码字符的倾斜矫正，并将矫正后的单字符以图像的形式保存下来，建立单字符样本数据库，该数据库包含数字、大小写字母等常用字符，共计64种类别，前期需要人工完成字符数据的分类，待收集到一定量的样本集后，将字符数据送入所述的模型融合分类器中进行训练；后期可以将新采集的圆铸坯端面图像数据利用前期训练好的分类器进行识别，并将识别的单字符结果保存，通过人工校验(错分的字符需要校正)识别结果，再次将校验后的识别结果数据添加到单字符样本数据库，进行模型融合分类器的迭代；反复进行上述的操作，不断进行模型迭代，提升字符分类器的检测效果。

[0077] 综上所示，本发明实施例通过上述圆铸坯端面喷码字符倾斜矫正与识别方法，针对圆铸坯在产线上的2种运动方式，设计了对应的图像采集方案，并能够利用光电传感器直接与工业相机连接，圆坯到位后自动触发相机采集图像，无需通过PLC获取到位信号。由于圆铸坯端面大多数是非正圆轮廓，采用霍夫变换很难适应这种检测状况，采用改进的轮廓梯度模板匹配算法，能够准确定位圆坯端面有效区域。结合喷码字符行列分布特征的先验条件信息，采用外接矩形短边斜率均值方法与任意两轮廓最小外接矩形中心点连线斜率排列组合投票方法能够准确计算出圆铸坯端面图像中喷码字符的倾斜角度。同时，采用ResNet‑18与Inception结构范式融合后的模型作为分类器，能够准确高效的识别出矫正后的单字符，如图7a和7b所示，其中图7a是本发明实施例的圆铸坯端面倾斜矫正效果图；图7b是本发明实施例的喷码识别结果图，可见，本发明所述的圆铸坯有效区域定位方法以及字符倾斜矫正方法，能够很好地适应静止或者运动状态下的检测，具有较强的鲁棒性，同时，也能够复用到方坯上。

[0078] 又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

[0079] 再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

[0080] 在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一圆铸坯端面喷码字符倾斜矫正与识别方法。

[0081] 可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。

[0082] 本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，

[0083] 存储器，用于存放计算机程序；

[0084] 处理器，用于执行存储器上所存放的程序时，实现上述圆铸坯端面喷码字符倾斜矫正与识别方法；

[0085] 上述电子设备提到的通信总线可以是外设部件互连标准(英文：Peripheral Component Interconnect，简称：PCI)总线或扩展工业标准结构(英文：Extended Industry Standard Architecture，简称：EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。

[0086] 通信接口用于上述电子设备与其他设备之间的通信。

[0087] 存储器可以包括随机存取存储器(英文：RandomAccess Memory，简称：RAM)，也可以包括非易失性存储器(英文：Non‑Volatile Memory，简称：NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

[0088] 上述的处理器可以是通用处理器，包括中央处理器(英文：Central Processing Unit，简称：CPU)、网络处理器(英文：Network Processor，简称：NP)等；还可以是数字信号处理器(英文：Digital Signal Processing，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field‑Programmable GateArray，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

[0089] 在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

[0090] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0091] 本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0092] 以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。