一种基于深度学习的工业印刷品图像配准方法及装置转让专利
申请号 : CN202110345450.4
文献号 : CN113160289B
文献日 : 2022-02-01
发明人 : 李东明 , 卢光明 , 邸亮 , 范元一 , 陈勇杰
申请人 : 哈尔滨工业大学(深圳) , 深圳富联富桂精密工业有限公司
摘要 :
权利要求 :
1.一种基于深度学习的工业印刷品图像配准方法,其特征在于,所述方法包括:S1:采用CMOS工业相机对生产线上的印刷品进行图像采集,得到N种印刷品图像;
S2:从N种印刷品图像中任选一种印刷品图像并从中抽取两张图像,分别作为模板图像和待配准图像;
S3:根据对应切割规则从所述模板图像和所述待配准图像中分别提取尺寸相同的切片,得到一组模板图像切片和对应的待配准图像切片,将所述模板图像切片和待配准图像切片按照深度方向进行融合得到图像切片对,将所述图像切片对输入配准网络模型中进行推理,得到配准图像切片;
S4:将所述配准图像切片舍去边缘部分,然后进行切片对位拼接,得到完整的配准印刷品图像;
其中,所述配准网络模型包括编码器、解码器、中间层、空间变换层以及最后层,所述编码器包括第一编码层和第二编码层,所述解码器包括第一解码层和第二解码层,所述中间层包括池化层和卷积层,所述空间变换层包括对编码器中不同尺度的特征图进行非刚性配准;
将所述图像切片对输入配准网络模型中进行推理,得到配准图像切片,具体实现步骤为:
S31、第一编码层接收输入的图像切片对进行特征提取并输出尺度为(W,H,C)的特征图,其中W和H分别表示图像的长和宽,C是通道数,表示图像的深度,采用1×1×1的卷积核对第一编码层输出的特征图进行卷积降维得到尺度为(W,H,1)的第一特征图,第二编码层将第一编码层输出的特征图先进行池化处理后再进行卷积运算并输出尺度为(W/2,H/2,C)的特征图,采用1×1×1的卷积核对第二编码层输出的特征图进行卷积运算得到尺度为(W/
2,H/2,1)的第二特征图;
S32、中间层对第二编码层输出的特征图先进行池化处理再进行卷积运算,得到尺度为(W/4,H/4,C)的中间层输出特征图,第二解码层将所述中间层输出特征图上采样得到尺度为(W/2,H/2,C)的特征图,将所述尺度为(W/2,H/2,C)的特征图与第二编码层输出的特征图进行融合,融合后的特征图通过第二解码层进行卷积运算后得到第二解码层的输出特征图,采用3×3×2的卷积核对第二解码层的输出特征图进行卷积降维得到尺度为(W/2,H/2,
2)的第二图像配准场;
S33、将第二特征图和第二图像配准场经过空间变换层的运算得到尺度为(W/2,H/2,1)的第二配准特征图;
S34、将第二配准特征图上采样至尺度(W,H,1),将第二解码层的输出特征图上采样至尺度(W,H,C),然后与第一编码层的输出特征图三者融合,融合后进行卷积运算得到第一解码层的尺度为(W,H,C)的输出特征图;
S35、将第二图像配准场上采样至尺度(W,H,2),将第一解码层的输出特征图卷积降维至尺度(W,H,2),然后将两者进行融合,融合后进行卷积降维获得尺度为(W,H,2)的第一图像配准场;
S36、将第一特征图和第一图像配准场经过空间变换层的运算得到尺度为(W,H,1)的第一配准特征图;
S37、将第一配准特征图与第一解码层的输出特征图融合后输入最后层,卷积运算后得到最后层的尺度为(W,H,C/2)输出特征图;
S38、将最后层的输出特征图卷积降维至(W,H,2),与第一图像配准场进行融合,融合后进行卷积降维获得尺度为(W,H,2)的第三图像配准场;
S39、将待配准图像切片和第三图像配准场经过空间变换层的运算最终得到尺度为(W,H,1)配准图像切片。
2.根据权利要求1所述的一种基于深度学习的工业印刷品图像配准方法,其特征在于,所述卷积层采用的激活函数为LeakyReLU函数。
3.根据权利要求1所述的一种基于深度学习的工业印刷品图像配准方法,其特征在于,所述配准网络模型采用的目标损失函数为: ,其中,y_true表示模板图像切片,y_pred表示配准图像切片, 表示配准场的梯度, 表示损失比例系数,MSE()表示均方误差计算。
4.一种基于深度学习的工业印刷品图像配准装置,其特征在于,所述装置包括:图像采集单元,用于图像采集,通过采用CMOS工业相机对生产线上的印刷品进行图像采集,得到N种印刷品图像;
图像获取单元,用于获取模板图像和待配准图像,从图像采集单元得到的N种印刷品图像中任选一种印刷品图像并从中抽取两张图像,分别作为模板图像和待配准图像;
图像切片单元,用于对模板图像和待配准图像进行切分,根据对应切割规则从所述模板图像和所述待配准图像中分别提取尺寸相同的切片,得到一组模板图像切片和对应的待配准图像切片,将所述模板图像切片和待配准图像切片按照深度方向进行融合得到图像切片对;
图像配准单元,用于根据模板图像切片对待配准图像切片进行配准,将图像切片单元获得的图像切片对输入配准网络模型中进行推理,得到配准图像切片;
图像拼接单元,用于对图像配准单元得到的配准图像切片进行拼接,将所述配准图像切片舍去边缘部分,然后进行切片对位拼接,得到完整的配准印刷品图像;
其中,所述图像配准单元中的所述配准网络模型包括编码器、解码器、中间层、空间变换层以及最后层,所述编码器包括第一编码层和第二编码层,所述解码器包括第一解码层和第二解码层,所述中间层包括池化层和卷积层,所述空间变换层包括对编码器中不同尺度的特征图进行非刚性配准;
将所述图像切片对输入配准网络模型中进行推理,得到配准图像切片具体实现步骤为:
S31、第一编码层接收输入的图像切片对进行特征提取并输出尺度为(W,H,C)的特征图,其中W和H分别表示图像的长和宽,C是通道数,表示图像的深度,采用1×1×1的卷积核对第一编码层输出的特征图进行卷积降维得到尺度为(W,H,1)的第一特征图,第二编码层将第一编码层输出的特征图先进行池化处理后再进行卷积运算并输出尺度为(W/2,H/2,C)的特征图,采用1×1×1的卷积核对第二编码层输出的特征图进行卷积运算得到尺度为(W/
2,H/2,1)的第二特征图;
S32、中间层对第二编码层输出的特征图先进行池化处理再进行卷积运算,得到尺度为(W/4,H/4,C)的中间层输出特征图,第二解码层将所述中间层输出特征图上采样得到尺度为(W/2,H/2,C)的特征图,将所述尺度为(W/2,H/2,C)的特征图与第二编码层输出的特征图进行融合,融合后的特征图通过第二解码层进行卷积运算后得到第二解码层的输出特征图,采用3×3×2的卷积核对第二解码层的输出特征图进行卷积降维得到尺度为(W/2,H/2,
2)的第二图像配准场;
S33、将第二特征图和第二图像配准场经过空间变换层的运算得到尺度为(W/2,H/2,1)的第二配准特征图;
S34、将第二配准特征图上采样至尺度(W,H,1),将第二解码层的输出特征图上采样至尺度(W,H,C),然后与第一编码层的输出特征图三者融合,融合后进行卷积运算得到第一解码层的尺度为(W,H,C)的输出特征图;
S35、将第二图像配准场上采样至尺度(W,H,2),将第一解码层的输出特征图卷积降维至尺度(W,H,2),然后将两者进行融合,融合后进行卷积降维获得尺度为(W,H,2)的第一图像配准场;
S36、将第一特征图和第一图像配准场经过空间变换层的运算得到尺度为(W,H,1)的第一配准特征图;
S37、将第一配准特征图与第一解码层的输出特征图融合后输入最后层,卷积运算后得到最后层的尺度为(W,H,C/2)输出特征图;
S38、将最后层的输出特征图卷积降维至(W,H,2),与第一图像配准场进行融合,融合后进行卷积降维获得尺度为(W,H,2)的第三图像配准场;
S39、将待配准图像切片和第三图像配准场经过空间变换层的运算最终得到尺度为(W,H,1)配准图像切片。
说明书 :
一种基于深度学习的工业印刷品图像配准方法及装置
技术领域
背景技术
可分为传统配准方法和基于深度学习的图像配准方法。传统配准方法有传统刚性配准方法
和传统非刚性配准算法两种,其中传统刚性配准算法,例如基于特征的图像配准算法,通过
在图像参数空间搜索灰度、边缘以及人工设计的特征,例如SIFT特征、AKAZE特征等,然后根
据源图间特征的映射关系利用仿射变换实现配准。图像源之间的特征相对稳定,该类配准
算法具有一定的尺度和旋转不变性。但由于图像低级特征和人工设计的特征数量有限,很
难准确表征图像间的真实形变,无法在源图出现复杂形变的情况下使用;传统非刚性配准
算法,例如基于光流场的DEMONS配准算法,通过迭代运算,对源图间的位移场进行优化直至
算法收敛,该算法能够获取良好的配准精度,但算法收敛速度慢,配准耗时长,无法满足工
业实时性检测的要求。
之间的形变参数,依据变换参数调整待配准图的形态。按照学习方式的不同,可分为有监督
配准算法和无监督配准算法。有监督配准算法依赖大量人工标注的数据样本训练网络,但
样本标注难度大,人工标注与真实形变数据也存在差异,直接限制了模型的配准能力。无监
督配准算法则无需带有标注的样本训练配准网络,模型的优化通过计算配准图像与模板图
的相似度即可实现。
格的筛查,确保外观没有缺陷。纸质印刷品缺陷检测的一般流程是用待测图像与模板图像
进行比对,找出其中的差异,进而判断产品是否存在缺陷。差分处理是一种快速提取两张图
像差异的方法,差分图中保留的信息仅是差分伪影和缺陷。但纸质印刷品是一种非刚性材
料,在外力作用下极容易产生各种形变,即便可通过夹具进行固定,也难以获得与模板图像
完全相同的形态,传统配准方法难以有效解决纸质印刷品图像非刚性配准问题,无法从根
源上减少缺陷检测产生的误判。
发明内容
像切片按照深度方向进行融合得到图像切片对,将所述图像切片对输入配准网络模型中进
行推理,得到配准图像切片;
所述中间层包括池化层和卷积层,所述空间变换层包括对编码器中不同尺度的特征图进行
非刚性配准。
核对第一编码层输出的特征图进行卷积降维得到尺度为(W,H,1)的第一特征图,第二编码
层将第一编码层输出的特征图先进行池化处理后再进行卷积运算并输出尺度为(W/2,H/2,
C)的特征图,采用1×1×1的卷积核对第二编码层输出的特征图进行卷积运算得到尺度为
(W/2,H/2,1)的第二特征图;
尺度为(W/2,H/2,C)的特征图,将所述尺度为(W/2,H/2,C)的特征图与第二编码层输出的特
征图进行融合,融合后的特征图通过第二解码层进行卷积运算后得到第二解码层的输出特
征图,采用3×3×2的卷积核对第二解码层的输出特征图进行卷积降维得到尺度为(W/2,H/
2,2)的第二图像配准场;
一解码层的尺度为(W,H,C)的输出特征图;
一图像配准场;
的待配准图像切片,将所述模板图像切片和待配准图像切片按照深度方向进行融合得到图
像切片对;
一解码层和第二解码层,所述中间层包括池化层和卷积层,所述空间变换层包括对编码器
中不同尺度的特征图进行非刚性配准。
配准算法配准待配准印刷品图像,从图像源头方向减少差分运算产生的伪影,降低缺陷检
测算法的检测误判率。
准网络模型进行改进,提出了基于深度学习的工业印刷品图像配准方法及装置。本发明的
配准模型骨架为类UNet网络,利用空间变换层(Spatial Transform)对编码器中不同尺度
的特征图进行非刚性配准,配准特征图与解码器中相邻尺度的特征图进行融合,同时相邻
尺度配准场也进行融合,综合提升模型对大形变印刷品图像的配准能力。实验表明,本发明
对不同类型工业纸质印刷品图像的配准均能获得良好的配准效果,算法泛化能力强,在配
准后待测图像中的缺陷等关键信息不会出现丢失,具有高鲁棒性的特点。
入,因此本发明提出一种在推理时采用“待测图像切片‑切片推理‑切片对位拼接”的方式,
实现端到端的配准。切片拼接需要每张切片“内缩”一定尺寸,去除切片边缘可能出现的配
准变形像素点。通过实验测试证明,该种方式能够灵活的应用显存进行推理配准,并且配准
后待测图像看不到拼接错切现象。
附图说明
准效果对比图;图3d为图文说明书2的配准效果对比图;图3e为文本说明书2的配准效果对
比图;
Dice值条形图;
具体实施方式
选出10种典型的工业印刷品图像,如图文说明书和纯文本说明书等,每种印刷品20张图像。
像切片按照深度方向进行融合得到图像切片对,将所述图像切片对输入配准网络模型中进
行推理,得到配准图像切片;
片‑切片推理‑切片对位拼接”的方式,实现工业印刷品端到端的配准。按照从左到右、从上
到下的顺序依次将图像分割成尺寸相同的图像切片对准备进行配准,当显存有限时,模型
一次只对一组切片对进行配准,该方式占用现存小但配准速度慢;当显存足够时,将所有切
片对同时送入模型进行配准,该方式占用现存大但配准速度快。因此,每次推理输入模型的
切片对的数量根据显卡的性能进行设定。
活地选择是一对切片对送入模型进行配准还是多对切片对送入模型进行配准;最后将所有
配准好的切片依据裁剪位置的索引进行拼接。由于待测图像相对模板图像存在形变,在同
一对切片对中可能会存在明显的结构差异,例如待测图像中的边缘多半个文字,而模板图
像中没有,这种情况可能会在切片边缘出现配准变形,影响配准精度。因此,本发明在进行
配准推理前,先从模板图像和待配准图像中采用重叠切分的方式分别获取模板图像切片和
待配准图像切片,将图像切片按照深度方向进行融合,深度方向融合是将两张单通道的图
像切片按照图像通道方向合并成一张双通道的图像切片对。配准后要对每张切片切除相同
宽度的边缘,从配准结果中去除切片中可能出现的变形边缘,最后将所有切片拼接完成后,
在完整的配准图像中几乎看不到切片的拼接接缝,没有错切现象出现。
编码层(Encode Layer1)和第二编码层(Encode Layer2),所述解码器包括但不限于第一解
码层(Decode Layer1)和第二解码层(Decode Layer2),所述中间层(Midst Layer)包括池
化层和卷积层,是编码器与解码器的接通桥梁。所述卷积层采用的激活函数为LeakyReLU函
数。所述空间变换层包括对编码器中不同尺度的特征图进行非刚性配准。第一特征图
(Feature Map1)表示第一编码层对应尺度的图像特征,第二特征图(Feature Map2)表示第
二编码层对应尺度的图像特征,第一配准场(Registration Field1)表示与第一特征图
(Feature Map1)尺度一致的配准场,第二配准场(Registration Field2)表示与第二特征
图(Feature Map2)尺度一致的配准场,以上网络层均包含卷积运算,详细参数配置列于表1
中,Spatial Transform层表示空间转换层,该层将根据配准场对待配准图像切片中的像素
进行移位,使其向模板图像切片配准。将对应分割好的模板图像切片(Fixedpatch)与待配
准图像切片(Moving patch)按照深度方向进行融合,输入图2所示的配准网络模型进行训
练或推理。
核对第一编码层输出的特征图进行卷积降维得到尺度为(W,H,1)的第一特征图,第二编码
层将第一编码层输出的特征图先进行池化处理后再进行卷积运算并输出尺度为(W/2,H/2,
C)的特征图,采用1×1×1的卷积核对第二编码层输出的特征图进行卷积运算得到尺度为
(W/2,H/2,1)的第二特征图;
尺度为(W/2,H/2,C)的特征图,将所述尺度为(W/2,H/2,C)的特征图与第二编码层输出的特
征图进行融合,融合后的特征图通过第二解码层进行卷积运算后得到第二解码层的输出特
征图,采用3×3×2的卷积核对第二解码层的输出特征图进行卷积降维得到尺度为(W/2,H/
2,2)的第二图像配准场;
一解码层的尺度为(W,H,C)的输出特征图;
一图像配准场;
集,通过采用CMOS工业相机对生产线上的印刷品进行图像采集,得到N种印刷品图像;图像
获取单元,用于获取模板图像和待配准图像,从图像采集单元得到的N种印刷品图像中任选
一种印刷品图像并从中抽取两张图像,分别作为模板图像和待配准图像;图像切片单元,用
于对模板图像和待配准图像进行切分,根据对应切割规则从所述模板图像和所述待配准图
像中分别提取尺寸相同的切片,得到一组模板图像切片和对应的待配准图像切片,将所述
模板图像切片和待配准图像切片按照深度方向进行融合得到图像切片对;图像配准单元,
用于根据模板图像切片对待配准图像切片进行配准,将图像切片单元获得的图像切片对输
入配准网络模型中进行推理,得到配准图像切片;图像拼接单元,用于对图像配准单元得到
的配准图像切片进行拼接,将所述配准图像切片舍去边缘部分,然后进行切片对位拼接,得
到完整的配准印刷品图像。
以及最后层,所述编码器包括但不限于第一编码层和第二编码层,所述解码器包括但不限
于第一解码层和第二解码层,所述中间层包括池化层和卷积层,所述空间变换层包括对编
码器中不同尺度的特征图进行非刚性配准。
综合评估配准效果,Dice相似度的表达式为 式中x与y分别表示不同
的图像,Dice值越大表示x与y的相似度越高,当Dice值等于1时表示对比图完全一样。
区域的原始差分图(RAW)中可看到明显的伪影,因此以该区域差分图中伪影“消去”程度定
性评估算法的配准效果。OURS为本发明基于深度学习的工业印刷品图像配准方法的配准结
果示意图,较大形变区域的配准差分图中看不到明显伪影,仅存在一些文字边缘细小的伪
影和亮度差异导致的伪影,而且没有产生明显的配准变形。从图4中可以看出,配准后各类
印刷品的平均相似度值均在0.999以上,配准图像与模板图像保持高度的形态一致。
配准精度的比较。图3a‑图3e中,AKAZE算法配准后较大形变区域的差分图中仅有部分残影
被“消去”,深度学习配准算法配准后较大形变区域的差分图中无明显残影;图4a中,配准后
各类印刷品图像的平均Dice相似度值均高于配准前。从测试结果可以看出,配准能够缩小
待配准图像与模板图像的差异,但基于AKAZE特征的配准算法的平均配准精度低于深度学
习配准算法,配准能力表现最差。从图4b中可以看出,本发明提出的配准算法对五种标签的
平均配准精度优于VXM模型,小标签图像的平均配准精度(0.999708)略低于PRDFE模型
(0.999713),其他标签的平均配准精度也优于PRDFE模型。此外,在观察配准图像发现,部分
存在较大形变的印刷品经过VXM和PRDFE模型配准后图中出现了部分配准变形问题,而本发
明配准算法配准后没有出现变形,如图5所示。综上所述,本发明提出的基于多尺度特征图
融合变换的印刷品图像配准方法能够更好解决工业纸质印刷品配准问题。
要素,或者是还包括为这种步骤、方法所固有的要素。
不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的
保护范围。