一种批量QR码图像提取方法及系统

摘要

本发明公开了一种批量QR码图像提取方法及系统，对实际拍摄的一幅包含多个QR码的高分辨率图像，首先进行灰度变换及滤波去噪等预处理操作；接着采用边缘检测方法提取边缘梯度值，并通过截断归一化得到边缘图像；通过设置分块尺寸初始值，进行迭代搜索后确定最佳分块尺寸；接着以最佳分块尺寸再次进行分块，特征计算及阈值分割，标记块聚类得到候选矩形框集合，并通过筛选将显然不满足QR码区域特征的矩形框剔除；最后再经过压缩，训练好的轻量级、高性能的mobileNet系列分类器，判定候选框中是否包含QR码图案，剔除背景矩形框，并将原图中对应的区域分离出来，完成分割、提取QR码图案操作。

权利要求

1.一种批量QR码图像提取方法，其特征在于，包括以下步骤：S1.获取含多个QR码的待分割图像，并对其进行预处理；

S2.对于预处理得到的图像，采用边缘检测方法提取其边缘梯度值，并通过截断归一化得到边缘图像；

S3.初始化分块尺寸，迭代获取所述边缘图像的分块特征，确定最佳分块尺寸；

所述步骤S3的具体步骤包括：

S31.对所述边缘图像以初始化分块尺寸进行分块；对于各分块，计算其分块特征值，利用最大分块特征值将分块特征值归一化映射到0‑255尺度空间，并统计归一化后的分块特征值分布直方图；

S32.利用归一化后的分块特征值分布直方图，采用迭代法计算分块特征值的特征分割阈值；

S33.利用步骤S32计算得到的特征分割阈值，对步骤S31分块得到的特征块图进行二值化，对二值化后的特征块图进行连通域聚类，框定得到矩形框集合；重复执行步骤S31～33直至搜索得到满足预设条件的矩形框；

S34.基于步骤S33搜索的矩形框参数和迭代完成的分块尺寸，计算最佳分块尺寸；

S4.以所述最佳分块尺寸对边缘图像进行分块，计算最佳分块特征及特征分割阈值后，标记块聚类得到候选矩形框集合，并通过预设的候选矩形框筛选条件，对所述候选矩形框集合进行筛选；

S5.对于筛选后得到的候选矩形框集合，采用分类器判定其中各候选框中是否包含QR码图像，若是则将所述待分割图像中对应该候选框的区域分离出来，否则将该候选框剔除，从而完成待分割图像中批量QR码的分割及提取。

2.根据权利要求1所述的批量QR码图像提取方法，其特征在于，所述步骤S1具体包括：对所述待分割图像进行灰度变换及滤波去噪处理。

3.根据权利要求1所述的批量QR码图像提取方法，其特征在于，所述步骤S2具体包括：对于步骤S1预处理得到的图像，采用Sobel算子提取其边缘梯度图像，基于预设的截断因子对所述边缘梯度图像进行截断归一化，得到边缘图像；对所述边缘图像建立相同尺寸的积分图像。

4.根据权利要求1所述的批量QR码图像提取方法，其特征在于，步骤S4所述的候选矩形框筛选条件中的指标包括标记前景块数目阈值，方形度阈值以及填充比阈值。

5.根据权利要求1所述的批量QR码图像提取方法，其特征在于，步骤S5中所述的分类器为训练好的mobileNet系列分类器。

6.一种批量QR码图像分割系统，其特征在于，包括：预处理模块，用于获取含多个QR码的待分割图像，并对其进行预处理；

边缘图像获取模块，对于预处理模块得到的图像，采用边缘检测方法提取其边缘梯度值，并通过截断归一化得到边缘图像；

分块尺寸确定模块，用于初始化分块尺寸，迭代获取所述边缘图像的分块特征，计算各分块的特征值，利用最大分块特征值将分块特征值归一化映射到0‑255尺度空间得到特征块图，并统计归一化后的分块特征值分布直方图，利用归一化后的分块特征值分布直方图，采用迭代法计算分块特征值的特征分割阈值，利用计算得到的特征分割阈值，对特征块图进行二值化，对二值化后的特征块图进行连通域聚类，框定得到矩形框集合，重复计算分块的特征值、特征分割阈值、对特征块图进行二值化和连通域聚类直至搜索得到满足预设条件的矩形框，根据矩形框参数和迭代完成的分块尺寸，确定最佳分块尺寸；

候选矩形框集合获取模块，用于以所述最佳分块尺寸对边缘图像进行分块，计算最佳分块特征及特征分割阈值后，标记块聚类得到候选矩形框集合，并通过预设的候选矩形框筛选条件，对所述候选矩形框集合进行筛选；

QR码分割及提取模块，对于筛选后得到的候选矩形框集合，采用分类器判定其中各候选框中是否包含QR码图像，若是则将所述待分割图像中对应该候选框的区域分离出来，否则将该候选框剔除，从而完成待分割图像中批量QR码的分割及提取。

说明书

一种批量QR码图像提取方法及系统

技术领域

[0001] 本发明涉及图像处理技术领域，尤其涉及一种批量QR码图像提取方法及系统。

背景技术

[0002] 随着科技的进步，社会的发展，万物联网成为了新时代下的潮流。作为万物联网的标签，起到了标识、防伪等作用的条码技术，应时而生，并迅速广泛应用在生产、仓储、物流、
销售、金融、医疗等各个领域，潜移默化地影响着人们的生活。

[0003] 然而在一些特定的应用场景中，例如工业流水线上针对小物件货品，如药品、疫苗试剂等，传统的串行流水线的工作方式已经无法满足该场景下的要求；临床医学上，大量的
血样都需要进行贴标签入库操作；在生化实验室中，实验员需要频繁在大量试剂、试管架
中，取放实验所需的试剂、样本试管。批量QR码识别，可以并行处理一批小物件的标签，无疑
可以大大提高上述场景下的工作效率。然而在二维条码应用领域，目前还没有针对上述批
量QR码识别应用场景的QR码识别方法，对于实际拍摄的一幅包含多个QR二维码的图像，难
以进行快速、有效地自适应分割、提取其中的QR码图案。

发明内容

[0004] 本发明为解决现有QR码识别方法难以应用于批量QR码识别场景，无法快速、有效识别与分割批量QR码图像的问题，提供了一种批量QR码图像提取方法及系统。

[0005] 为实现以上发明目的，而采用的技术手段是：

[0006] 一种批量QR码图像提取方法，包括以下步骤：

[0007] S1.获取含多个QR码的待分割图像，并对其进行预处理；

[0008] S2.对于预处理得到的图像，采用边缘检测方法提取其边缘梯度值，并通过截断归一化得到边缘图像；

[0009] S3.初始化分块尺寸，迭代获取所述边缘图像的分块特征，确定最佳分块尺寸；

[0010] S4.以所述最佳分块尺寸对边缘图像进行分块，计算最佳分块特征及特征分割阈值后，标记块聚类得到候选矩形框集合，并通过预设的候选矩形框筛选条件，对所述候选矩
形框集合进行筛选；

[0011] S5.对于筛选后得到的候选矩形框集合，采用分类器判定其中各候选框中是否包含QR码图像，若是则将所述待分割图像中对应该候选框的区域分离出来，否则将该候选框
剔除，从而完成待分割图像中批量QR码的分割及提取。

[0012] 优选的，所述步骤S1具体包括：对所述待分割图像进行灰度变换及滤波去噪处理。在本优选方案中，预处理可压缩数据量并消除噪声对后续算法处理的影响。

[0013] 优选的，所述步骤S2具体包括：

[0014] 对于步骤S1预处理得到的图像，采用Sobel算子提取其边缘梯度图像，基于预设的截断因子对所述边缘梯度图像进行截断归一化，得到边缘图像；

[0015] 对所述边缘图像建立相同尺寸的积分图像。

[0016] 在本优选方案中，边缘提取所采用的算子可以为Sobel，Prewitt，Laplacian，Scharr等常见边缘检测算子；另外，该步骤中设计了截断因子，可以对超过理论最大梯度值
一定范围区间的梯度值的进行截取，并归一化映射回灰度图像0‑255的尺度空间。

[0017] 优选的，所述步骤S3的具体步骤包括：

[0018] S31.对所述边缘图像以初始化分块尺寸进行分块；对于各分块，计算其分块特征值，利用最大分块特征值将分块特征值归一化映射到0‑255尺度空间，并统计归一化后的分
块特征值分布直方图；

[0019] S32.利用归一化后的分块特征值分布直方图，采用迭代法计算分块特征值的特征分割阈值；

[0020] S33.利用步骤S32计算得到的特征分割阈值，对步骤S31分块得到的特征块图进行二值化，对二值化后的特征块图进行连通域聚类，框定得到矩形框集合；重复执行步骤S31
～33直至搜索得到满足预设条件的矩形框；

[0021] S34.基于步骤S33搜索的矩形框参数和迭代完成的分块尺寸，计算最佳分块尺寸。

[0022] 在本优选方案中，计算分块特征值时使用了积分图技术加速，避免迭代带来的额外的计算量；并在计算分块特征值中设计了能够反映模糊或者弱边缘对分块特征值计算贡
献度的梯度压缩因子，用于对模糊QR码区域的检测，增加了算法鲁棒性。

[0023] 优选的，步骤S4所述的候选矩形框筛选条件中的指标包括标记前景块数目阈值，方形度阈值以及填充比阈值。在本优选方案中，可剔除显然不满足QR码区域特征的矩形框。

[0024] 优选的，步骤S5中所述的分类器为训练好的mobileNet系列分类器。

[0025] 本发明还提供了一种批量QR码图像分割系统，包括：

[0026] 预处理模块，用于获取含多个QR码的待分割图像，并对其进行预处理；

[0027] 边缘图像获取模块，对于预处理模块得到的图像，采用边缘检测方法提取其边缘梯度值，并通过截断归一化得到边缘图像；

[0028] 分块尺寸确定模块，用于初始化分块尺寸，迭代获取所述边缘图像的分块特征，计算各分块的特征值，利用最大分块特征值将分块特征值归一化映射到0‑255尺度空间得到
特征块图，并统计归一化后的分块特征值分布直方图，利用归一化后的分块特征值分布直
方图，采用迭代法计算分块特征值的特征分割阈值，利用计算得到的特征分割阈值，对特征
块图进行二值化，对二值化后的特征块图进行连通域聚类，框定得到矩形框集合，重复计算
分块的特征值、特征分割阈值、对特征块图进行二值化和连通域聚类直至搜索得到满足预
设条件的矩形框，根据矩形框参数和迭代完成的分块尺寸，确定最佳分块尺寸；

[0029] 候选矩形框集合获取模块，用于以所述最佳分块尺寸对边缘图像进行分块，计算最佳分块特征及特征分割阈值后，标记块聚类得到候选矩形框集合，并通过预设的候选矩
形框筛选条件，对所述候选矩形框集合进行筛选；

[0030] QR码分割及提取模块，对于筛选后得到的候选矩形框集合，采用分类器判定其中各候选框中是否包含QR码图像，若是则将所述待分割图像中对应该候选框的区域分离出
来，否则将该候选框剔除，从而完成待分割图像中批量QR码的分割及提取。

[0031] 与现有技术相比，本发明技术方案的有益效果是：

[0032] 本发明的批量QR码图像提取方法及系统，利用一幅批量QR码图像中边缘信息丰富且相对集中的特点，对实际拍摄的一幅包含多个QR二维条码的高分辨率图像，通过图像预
处理、初始化参数配置、分块特征计算，阈值分割，标记块聚类，候选框预筛选、分类器判定
剔除等步骤，实现快速、有效地自适应分离及提取出单个QR二维条码地大致区域。本发明中
结合了传统图像处理方法，如积分图加速迭代，与轻量级、高性能深度学习方法，如判定剔
除背景框，保证了本发明方法的效率与精度，提高其鲁棒性。本发明利于针对批量QR码场景
下的后续单幅QR码图像识别，加快了批量QR码整体识别效率，适用于移植到移动终端等嵌
入式实时系统。

附图说明

[0033] 图1为实施例1的方法总流程图。

[0034] 图2为实施例1步骤S1中实际拍摄的含多个QR码的待分割图像。

[0035] 图3为实施例1步骤S1中预处理后的待分割图像。

[0036] 图4为实施例1步骤S2中提取边缘图像后的示意图。

[0037] 图5为实施例1步骤S2中建立的积分图像示意图。

[0038] 图6为实施例1步骤S3中对特征块图进行二值化后的示意图。

[0039] 图7为实施例1步骤S4中对最佳特征块图进行二值化后的示意图。

[0040] 图8为实施例1步骤S4中框定得到的候选矩形框集合示意图。

[0041] 图9、图10、图11为实施例1步骤S5中采用分类器判定是否包含QR码图像的示意图。

[0042] 图12为实施例1待分割图像中批量QR码的分割及提取的效果图。

[0043] 图13为实施例2系统的模块示意图。

具体实施方式

[0044] 附图仅用于示例性说明，不能理解为对本专利的限制；

[0045] 为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

[0046] 对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

[0047] 下面结合附图和实施例对本发明的技术方案做进一步的说明。

[0048] 实施例1

[0049] 一种批量QR码图像提取方法，如图1所示，包括以下步骤：

[0050] S1.对输入一幅含多个QR码的高分辨率的待分割图像，参考图2，并对其进行预处理；预处理主要包括RGB灰度变换、3*3的中值滤波及边缘增强等常规图像预处理操作，以压
缩数据量，消除噪声对后续算法处理的影响。

[0051] 其中待分割图像采用式1进行RGB灰度变换后得到灰度图像grayImage：

[0052] grayImage＝0.30R+0.59G+0.11B(1)

[0053] 其中R,G,B值为输入彩色图片三通道对应的灰度值。紧接着进行滤波去噪等常规的预处理操作，压缩数据量，消除噪声对后续算法处理的影响，参考图3。

[0054] S2.对于预处理得到的图像，采用边缘检测方法提取其边缘梯度值，并通过截断归一化得到边缘图像；具体如下：

[0055] 边缘提取所采用的算子可以为Sobel，Prewitt，Laplacian，Scharr等常见边缘检测算子，在本实施例中采用如式2的改进Sobel算子的Scharr模板，对步骤S1预处理后的图
像进行卷积操作，得到梯度图像gx以及gy：

[0056]

[0057] 再采用式3对两个梯度图像进行截断归一化，合成提取得到最终的边缘图像edgeImage，参考图4：

[0058]

[0059] 其中α∈[1,16]为预设的截断因子，可以对超过理论最大梯度值gradMax一定范围区间的梯度值进行截取，并归一化映射回灰度图像0‑255的尺度空间；

[0060] 为在后续步骤S3中分块特征值的计算采用积分图技术进行加速，该步骤中对边缘图像建立相同尺寸的积分图像，参考图5，避免迭代带来的额外的计算量。

[0061] S3.初始化分块尺寸，迭代获取所述边缘图像的分块特征，确定最佳分块尺寸；具体包括以下步骤：

[0062] S31.对所述边缘图像edgeImage以初始化分块尺寸d＝d0+2×n进行分块，其中n为迭代次数，d0＝8为初始分块尺寸；对于各分块，采用式4计算其分块特征值scoreBlock，利
用最大分块特征值scoreMax将分块特征值归一化映射到0‑255尺度空间，并统计归一化后
的分块特征值分布直方图scoreHist；

[0063]

[0064] 其中m,n表示第m,n个分块，scoreBlock(m,n)为第(m,n)个分块的特征值，反映该分块的边缘分布密度程度。β∈(0.75,1.0)为梯度压缩因子，反映模糊或者弱边缘对分块特
征值计算的贡献度，用于对模糊QR码区域的检测，增加算法的鲁棒性。这里对分块特征值的
计算采用积分图技术进行加速。

[0065] S32.利用归一化后的分块特征值分布直方图scoreHist，采用迭代法计算分块特征值的特征分割阈值；迭代法的步骤如下：

[0066] S321.选择一个初始阈值Tj＝T0，其中j为迭代次数，这里取j＝0，T0＝15。

[0067] S322.用Tj将scoreHist进行分割成两个区域 和 计算两个区域的平均值和

[0068]

[0069]

[0070] S323.再次计算新的阈值，即：

[0071]

[0072] S324.令j＝j+1，重复S322至S323，直到|Tj+1‑Tj|＜1；

[0073] S325.最终将得到的阈值Tj，计算映射回原分块特征值的分割阈值thrScore：

[0074]

[0075] S33.利用步骤S32计算得到的特征分割阈值thrScore，对步骤S31分块得到的特征块图进行二值化，参考图6。对二值化后的特征块图进行8‑连通域聚类，框定得到矩形框集
合Λ0＝([x0,y0,w,h,mb]...)，其中x0,y0,w,h,mb表示当前矩形框的左上角横坐标，纵坐
标，宽度，高度以及包含的标记前景块数目；

[0076] 接着定义方形度 及填充比 遍历矩形框集合Λ0，搜索满足如下预设条件的矩形框：

[0077] Initialize thrFxd＝0.67,maxTcb＝0.50,flag＝False

[0078] foreach rect∈Λ0do:

[0079] if rect.mb＞＝9and rect.Fxd＞＝thrFxd:

[0080] if rect.Tcb＞maxTcb:

[0081] flag＝True,maxTcb＝rect.Tcb,result＝rect

[0082] return flag

[0083] 即搜索满足标记前景块数目大于8，且满足方形度门限值的填充比最大的矩形框，若搜索返回标志flag＝True则进行下一步，否者令迭代次数n＝n+1；重复执行步骤S31～33
直至搜索得到满足预设条件的矩形框；

[0084] S34.基于步骤S33搜索的矩形框参数resultRect[x0,y0,w,h,mb]和迭代完成的分块尺寸resultRect[x0,y0,w,h,mb]，采用式5计算最佳分块尺寸optSize；

[0085]

[0086] S4.以最佳分块尺寸optSize对边缘图像进行分块，令d＝optSize执行上述步骤S31和S32以计算最佳分块特征及特征分割阈值，得到最佳分块特征optScoreBlockm,n及特
征分割阈值optThrScore。然后利用optThrScore对optScoreBlockm,n进行二值化，参考图7。
随后对二值化后的特征块图进行8‑连通域聚类，框定得到候选矩形框集合Λopt＝([x0,y0,
w,h,mb]...)，参考图8。其中x0,y0,w,h,mb表示当前矩形框的左上角横坐标，纵坐标，宽度，
高度以及包含的标记前景块数目；

[0087] 将得到的候选矩形框集合Λopt＝([x0,y0,w,h,mb]...)通过预设的候选矩形框筛选条件，将不满足标记前景块数目mb大于9，方形度 大于0.67及填充
比 大于0.67的矩形框剔除，即执行如下步骤：

[0088] Initialize thrFxd＝0.67,thrTcb＝0.67,Λ'opt＝[]

[0089] foreach rect∈Λopt do:

[0090] ifrect.mb＞＝9:

[0091] ifrect.Fxd＞＝thrFxd and rect.Tcb＞＝thrTcb:

[0092] add rect toΛ'opt

[0093] returnΛ'opt

[0094] S5.为了提高算法的鲁棒性及自适应性，将步骤S4筛选后得到的候选Λ'opt＝([x0,y0,w,h,mb]...)通过一个训练好的mobileNet系列轻量级、高性能的分类器。该分类
器经过分辨率因子及宽度因子进一步压缩，并通过在50000+的QR码正样本及25000+的负样
本的数据集训练，最终在5000+测试样本中达到98.5％的准确率。通过该压缩、训练后的分
类器实现快速判定候选框中是否包含QR码图案，若是则将待分割图像中对应该候选框的区
域分离出来，否则将该候选框剔除，从而完成待分割图像中批量QR码的分割及提取，参考图
9、图10和图11。

[0095] 通过上述步骤，最终完成对实际拍摄的一幅包含多个QR二维码的高分辨率图像，实现快速、有效地自适应分离、提取出单个QR二维码地大致区域，参考图12。

[0096] 实施例2

[0097] 一种批量QR码图像分割系统，如图13所示，包括：

[0098] 预处理模块，用于获取含多个QR码的待分割图像，并对其进行预处理；

[0099] 边缘图像获取模块，对于预处理模块得到的图像，采用边缘检测方法提取其边缘梯度值，并通过截断归一化得到边缘图像；

[0100] 分块尺寸确定模块，用于初始化分块尺寸，迭代获取所述边缘图像的分块特征，计算各分块的特征值，利用最大分块特征值将分块特征值归一化映射到0‑255尺度空间得到
特征块图，并统计归一化后的分块特征值分布直方图，利用归一化后的分块特征值分布直
方图，采用迭代法计算分块特征值的特征分割阈值，利用计算得到的特征分割阈值，对特征
块图进行二值化，对二值化后的特征块图进行连通域聚类，框定得到矩形框集合，重复计算
分块的特征值、特征分割阈值、对特征块图进行二值化和连通域聚类直至搜索得到满足预
设条件的矩形框，根据矩形框参数和迭代完成的分块尺寸，确定最佳分块尺寸；

[0101] 候选矩形框集合获取模块，用于以所述最佳分块尺寸对边缘图像进行分块，计算最佳分块特征及特征分割阈值后，标记块聚类得到候选矩形框集合，并通过预设的候选矩
形框筛选条件，对所述候选矩形框集合进行筛选；

[0102] QR码分割及提取模块，对于筛选后得到的候选矩形框集合，采用分类器判定其中各候选框中是否包含QR码图像，若是则将所述待分割图像中对应该候选框的区域分离出
来，否则将该候选框剔除，从而完成待分割图像中批量QR码的分割及提取。

[0103] 本发明系统与本发明上述方法实施例中的原理相同，在此不再赘述。

[0104] 附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

[0105] 显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可
以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本
发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求
的保护范围之内。