基于热成像的热熔胶封箱机器视觉检测系统及方法

摘要

本发明涉及机器视觉检测技术，公开了基于热成像的热熔胶封箱机器视觉检测系统及方法，其传输模块传送箱体至热像仪采集模块；控制模块发送控制信号至热像仪采集模块进行图像的采集，热像仪采集模块接收控制模块发送的控制信号，然后进行红外图像的采集，采集的图像传送至控制模块，控制模块将接收的图像传送至智能处理模块；智能处理模块通过智能算法对图像进行处理，并将处理的结果传送至控制模块。本发明对分割前后背景的方式来找到目标体，减轻了图像畸变导致的定位错误；有效地避免由于前后背景灰阶差异过小导致的定位错误，同时本发明对于箱体的定位无需调参数，进一步增强了检测系统的稳定性。

权利要求

1.基于热成像的热熔胶封箱机器视觉检测方法，用于检测基于热成像的热熔胶封箱机器视觉检测系统，所述基于热成像的热熔胶封箱机器视觉检测系统包括传输模块、控制模块和热像仪采集模块和智能处理模块，其方法包括：传输模块传送箱体至热像仪采集模块；

控制模块发送控制信号至热像仪采集模块进行图像的采集，

热像仪采集模块接收控制模块发送的控制信号，然后进行红外图像的采集，采集的图像传送至控制模块，控制模块将接收的图像传送至智能处理模块；

智能处理模块通过智能算法对图像进行处理，并将处理的结果传送至控制模块；智能处理模块通过智能算法对图像进行处理的方法包括：步骤1，标准图像的获取，通过热像仪采集模块采集的图像获取标准图像；

步骤2，图像背景的分割，以mobileNet作为backbone，建立mobileNetSeg结构，通过mobileNetSeg结构对步骤1所获得的标准图像进行图像背景的分割；

步骤3，箱体的定位，对于步骤1，步骤2的图像进行箱体的定位，通过对箱体的定位获取参考点及角度，参考点包括标准参考点和候选参考点，角度包括标准角度和候选角度，通过标准图片进行分割后的图片获取标准参考点和标准角度，通过对候选图片，即实时run time运行图进行分割后的图片获取候选点和候选角度；

步骤4，仿射矩阵的建立，通过步骤3中的标准参考点和标准角度及候选参考点和候选角度建立仿射矩阵；

步骤5，溶胶区域的定位，依据仿射矩阵进行溶胶区域的定位；并对定位的溶胶区域进行胶体大小计算，胶体距离原先定义的位置偏移量；

步骤6，图像的输出，对于在步骤5溶胶区域内的图像进行输出。

2.根据权利要求1所述的基于热成像的热熔胶封箱机器视觉检测方法，其特征在于：通过mobileNetSeg结构进行图像背景的分割的方法包括：步骤2.1，收集样本数据，收集箱体对应不同位置的图片；

步骤2.2，样本数据的标注，通过对收集的样本数据进行类别标注；

步骤2.3，数据训练，对于标注后的数据进行网络训练；将标注后的样本数据进行网络训练，网络训练将根据损失函数确定输出的一个网络模型；

其中，x为预测值，cls为真实的标签类别；

训练完成之后，热像仪采集模块采集有箱体的图像，并将采集的图像送入训练好的网络进行前后背景分割；

箱体的参考点及角度信息的获取，通过轮廓处理算法获取箱体的参考点及角度。

3.根据权利要求2所述的基于热成像的热熔胶封箱机器视觉检测方法，其特征在于：溶胶区域的定位，仿射矩阵与胶体检测框的位置变化通过左乘仿射矩阵来完成，其中，θ为标准箱体位置和候选箱体位置的角度差，tx和ty分别为候选位置相对于标准位置平移的x方向距离和y方向的距离。

4.根据权利要求2所述的基于热成像的热熔胶封箱机器视觉检测方法，其特征在于：mobileNetSeg结构包括多个基础模块，多个倒残差结构以及三个金字塔特征结构。

5.根据权利要求4所述的基于热成像的热熔胶封箱机器视觉检测方法，其特征在于：mobileNetSeg结构的构建包括：

S1、取4个基础模块进行串联，在第4模块后面连接depth wise层、conv2d和batchnorm层；

S2、将3个基础模块组成一个残差块，与S1输出形成残差结构，通过element add融合两者特征；

S3、将浅层网络跟次深层网络进行跳连接，形成金字塔特征融合；将次深层特征和深层网络机型跳连接，形成金字塔特征融合；将浅层网络和深层网络进行跳连接形成金字塔特征融合；并输出目标区域。

6.基于热成像的热熔胶封箱机器视觉检测系统，其特征在于，通过权利要求1‑5任一所述的基于热成像的热熔胶封箱机器视觉检测方法实现的系统，所述基于热成像的热熔胶封箱机器视觉检测系统包括传输模块、热像仪采集模块、控制模块及智能处理模块；

传输模块用于传送箱体；

热像仪采集模块用于采集传输模块箱体的图像信息，并将采集的信息传送至控制模块和智能处理模块；

控制模块用于控制传输模块、热像仪采集模块和智能处理模块；

智能处理模块用于对接收的图像信息进行处理，并确定溶胶的状态，从而确定箱体的密封性。

说明书

基于热成像的热熔胶封箱机器视觉检测系统及方法

技术领域

[0001] 本发明涉及机器视觉检测技术，尤其涉及了基于热成像的热熔胶封箱机器视觉检测系统及方法。

背景技术

[0002] 很多产品(如啤酒、矿泉水和方便面等)在生产结束后需要封箱包装，通常封箱所用的材料为热熔胶。通过将热化的溶胶喷涂在箱体的固定位置，经过合盖、保温、溶胶等处理，最终完成封箱。所以溶胶喷涂的位置，喷涂量的多少，以及溶胶的形态会影响箱体的密封性，此也即为检测的必要性。

[0003] 拥有热溶胶封箱的工艺产线里面(如上面提到的矿泉水，啤酒等)，传统的封箱质检是直接通过人为抽检拆箱，通过肉眼判断溶胶的状态，以此来判断封箱之后的密封性是否稳定。这样的方式会导致过多的人力成本；由于人的精力问题导致即使拆箱也无法正确判定；效率低下；抽检只是个概率问题，会出现漏检的情况。

发明内容

[0004] 本发明针对现有技术中需要通过模板制作进行人为的干预其人力成本高，而且检测效率低，稳定性差的问题，提供了基于热成像的热熔胶封箱机器视觉检测系统及方法。

[0005] 为了解决上述技术问题，本发明通过下述技术方案得以解决：

[0006] 基于热成像的热熔胶封箱机器视觉检测方法，包括传输模块、控制模块和热像仪采集模块和智能处理模块，其方法包括：

[0007] 传输模块传送箱体至热像仪采集模块；

[0008] 控制模块发送控制信号至热像仪采集模块进行图像的采集，

[0009] 热像仪采集模块接收控制模块发送的控制信号，然后进行红外图像的采集，采集的图像传送至控制模块，控制模块将接收的图像传送至智能处理模块；

[0010] 智能处理模块通过智能算法对图像进行处理，并将处理的结果传送至控制模块。

[0011] 作为优选，智能处理模块通过智能算法对图像进行处理的方法包括：

[0012] 步骤1，标准图像的获取，通过热像仪采集模块采集的图像获取标准图像；

[0013] 步骤2，图像背景的分割，以mobileNet(轻量级的神经网络)作为backbone(骨架网络)，建立mobileNetSeg(基于轻量级网络mobileNet，以此作为骨干网络，研发并搭建从原先以分类为基础的mobileNet网络到分割网络mobileNetSeg)结构，通过mobileNetSeg结构对步骤1所获得的标准图像进行图像背景的分割；步骤3，箱体的定位，对于步骤1，步骤2的图像进行箱体的定位，通过对箱体的定位获取参考点及角度，参考点包括标准参考点和候选参考点，角度包括标准角度和候选角度，通过标准图片进行分割后的图片获取标准参考点和标准角度，通过对候选图片，即实时run time(整个系统在实时运行环境)运行图进行分割后的图片获取候选点和候选角度；

[0014] 步骤4，仿射矩阵的建立，通过步骤3中的标准参考点和标准角度及候选参考点和候选角度建立仿射矩阵；

[0015] 步骤5，溶胶区域的定位，依据仿射矩阵进行溶胶区域的定位；并对定位的溶胶区域进行胶体大小计算，胶体距离原先定义的位置偏移量；

[0016] 步骤6，图像的输出，对于在步骤5溶胶区域内的图像进行输出。

[0017] 作为优选，通过mobileNetSeg结构进行图像背景的分割的方法包括：步骤2.1，收集样本数据，收集箱体对应不同位置的图片；

[0018] 步骤2.2，样本数据的标注，通过对收集的样本数据进行类别标注；

[0019] 步骤2.3，数据训练，对于标注后的数据进行网络训练；将标注后的样本数据进行网络训练，网络训练将根据损失函数确定输出的一个网络模型；

[0020]

[0021] 其中，x为预测值，cls为真实的标签类别；

[0022] 训练完成之后，热像仪采集模块采集有箱体的图像，并将采集的图像送入训练好的网络进行前后背景分割；

[0023] 箱体的参考点及角度信息的获取，通过轮廓处理算法获取箱体的参考点及角度。

[0024] 作为优选，溶胶区域的定位，仿射矩阵与胶体检测框的位置变化可以通过左乘仿射矩阵来完成，

[0025]

[0026] 其中，θ为标准箱体位置和候选箱体位置的角度差，tx和ty分别为候选位置相对于标准位置平移的x方向距离和y方向的距离。

[0027] 作为优选，mobileNetSeg结构包括多个基础模块，多个倒残差结构以及三个金字塔特征结构。

[0028] 作为优选，mobileNetSeg结构的构建包括：

[0029] S1、取4个基础模块进行串联，在第4模块后面连接depth wise层、conv2d和batchnorm层；

[0030] S2、将3个基础模块组成一个残差块，与S1输出形成残差结构，通过element add融合两者特征；

[0031] S3、将浅层网络跟次深层网络进行跳连接，形成金字塔特征融合；将次深层特征和深层网络机型跳连接，形成金字塔特征融合；将浅层网络和深层网络进行跳连接形成金字塔特征融合；并输出目标区域。

[0032] 为了解决上述技术问题，本发明还提供了基于热成像的热熔胶封箱机器视觉检测系统，其通过基于热成像的热熔胶封箱机器视觉检测方法实现的系统；传输模块用于传送箱体；

[0033] 热像仪采集模块用于采集传输模块箱体的图像信息，并将采集的信息传送至控制模块和智能处理模块；

[0034] 控制模块用于控制传输模块、热像仪采集模块和智能处理模块；

[0035] 智能处理模块用于对接收的图像信息进行处理，并确定溶胶的状态，从而确定箱体的密封性。

[0036] 本发明通过深度学习模型mobileNetSeg网络对检测区域进行识别，对分割前后背景的方式来找到目标体，减轻了图像畸变导致的定位错误；有效地避免由于前后背景灰阶差异过小导致的定位错误，同时本发明对于箱体的定位无需调参数，进一步增强了检测系统的稳定性。

[0037] 本发明自动的对拥有溶胶封箱工艺的产线进行封箱质量检测，对工厂而言减少了人力成本，有效的解决了目前在这方面的行业质检痛点，实现了自动化生产，提高了企业的生产效率。

附图说明

[0038] 图1是本发明的系统框图；

[0039] 图2是现有技术的流程图；

[0040] 图3是本发明的流程图；

[0041] 图4是本发明的mobileNetSeg网络图；

[0042] 图5是本发明的仿射变换示意图；

[0043] 图6是本发明的溶胶良品及不良品示意图；

[0044] 图7是本发明的样本数据图；

[0045] 图8是本发明的箱体采集图；

[0046] 图9是本发明的箱体位置图。

具体实施方式

[0047] 下面结合附图与实施例对本发明作进一步详细描述。

[0048] 实施例1

[0049] 基于热成像的热熔胶封箱机器视觉检测方法，图1中其包括传输模块、控制模块和热像仪采集模块和智能处理模块，其方法包括：

[0050] 传输模块传送箱体至热像仪采集模块；

[0051] 控制模块发送控制信号至热像仪采集模块进行图像的采集，

[0052] 热像仪采集模块接收控制模块发送的控制信号，然后进行红外图像的采集，采集的图像传送至控制模块，控制模块将接收的图像传送至智能处理模块；

[0053] 智能处理模块通过智能算法对图像进行处理，并将处理的结果传送至控制模块。

[0054] 智能处理模块通过智能算法对图像进行处理的方法包括：

[0055] 步骤1，标准图像的获取，通过热像仪采集模块采集的图像获取标准图像；

[0056] 步骤2，图像背景的分割，对于图像背景的分割以mobileNet作为backbone，建立mobileNetSeg结构，通过mobileNetSeg结构对步骤1所获得的标准图像进行图像背景的分割；

[0057] 步骤3，箱体的定位，对于步骤1，步骤2的图像进行箱体的定位，通过对箱体的定位获取参考点及角度，参考点包括标准参考点和候选参考点，角度包括标准角度和候选角度，通过标准图片进行分割后的图片获取标准参考点和标准角度，通过对候选图片，即实时run time运行图进行分割后的图片获取候选点和候选角度；

[0058] 步骤4，仿射矩阵的建立，通过步骤3中的标准参考点和标准角度及候选参考点和候选角度建立仿射矩阵；

[0059] 步骤5，溶胶区域的定位，依据仿射矩阵进行溶胶区域的定位；并对定位的溶胶区域进行胶体大小计算，胶体距离原先定义的位置偏移量；

[0060] 步骤6，图像的输出，对于在步骤5溶胶区域内的图像进行输出。

[0061] 通过mobileNetSeg结构进行图像背景的分割的方法包括：

[0062] 构建mobileNetSeg结构；

[0063] 收集样本数据并对前后背景进行像素级别的类别标注，将这些预处理好的数据送入网络进行训练，网络将根据设定的损失函数来调整最终的输出；

[0064]

[0065] 其中，x为预测值，cls为真实的标签类别；

[0066] 训练完成之后，用户通过热成像采集模块(红外相机)采集一张有箱体的图片送入训练好的网络进行前后背景分割；通过轮廓处理算法获取箱体的位置以及角度信息；此结果将作为标准参考信息；

[0067] 随后在实际run time运行下，箱体随着流水线移动，同时触发热成像采集模块(红外相机)拍照采集图片，在送入训练好的网络之后，候选箱体的位置和角度被确定，产生的结果建立仿射矩阵，胶体的检测区域将随着仿射矩阵进行变换，从而确定在新的箱体上的胶体检测区域。

[0068] 仿射矩阵与胶体检测框的位置变化可以通过左乘仿射矩阵来完成，如下：

[0069]

[0070] 其中，θ为标准箱体位置和候选箱体位置的角度差，tx和ty分别为候选位置相对于标准位置平移的x方向距离和y方向的距离；

[0071] mobileNetSeg结构包括多个基础模块，多个倒残差结构以及三个金字塔特征结构。

[0072] 构建mobileNetSeg结构的方法包括：

[0073] S1、取4个基础模块进行串联，在第4模块后面连接depth wise层(深度分离卷积层)、conv2d(普通卷积层)和batch norm层；

[0074] S2、将3个基础模块组成一个残差块，与S1输出形成残差结构，通过element add(张量对应位置元素做加法操作)融合两者特征；

[0075] S3、将浅层网络跟次深层网络进行跳连接，形成金字塔特征融合；将次深层特征和深层网络机型跳连接，形成金字塔特征融合；将浅层网络和深层网络进行跳连接形成金字塔特征融合；并输出目标区域。

[0076] 实施例2

[0077] 在实施例1基础上，本实施例基于热成像的热熔胶封箱机器视觉检测系统，其通过基于热成像的热熔胶封箱机器视觉检测方法实现的系统；

[0078] 传输模块用于传送箱体；热像仪采集模块用于采集传输模块箱体的图像信息，并将采集的信息传送至控制模块和智能处理模块；

[0079] 控制模块用于控制传输模块、热像仪采集模块和智能处理模块；

[0080] 智能处理模块用于对接收的图像信息进行处理，并确定溶胶的状态，从而确定箱体的密封性。

[0081] 实施例3

[0082] 在上述实施例基础上，本实施例传输模块用于传送箱体，当箱体在流水线上处于特定位置后，如热成像采集模块(红外相机)正对方，发送触发信号以表示箱体到位。同时传输模块接收控制模块最终给的结果信号，质量是否合格；从而决定是否剔除当前箱体。

[0083] 热像仪采集模块为红外热成像热成像采集模块(红外相机)模块：用于接收热成像采集模块(红外相机)的触发信号，然后拍照，再将得到的照片回传给控制模块。

[0084] 智能处理模块通过得到的图片以及相关标准化参数，对图像进行算法处理，以此来判定溶胶的状态(溶胶大小，位置偏移以及形态)，最终得出当前箱体的密封性是否满足质检要求。

[0085] 控制模块该模块为中转站，用于传输模块，热像仪采集模块和智能处理模块之间的信号逻辑关系。当传输模块给出热成像采集模块(红外相机)拍照信号之后，通过软件系统将信号传递给热成像采集模块(红外相机)进行拍照，热成像采集模块(红外相机)拍照后将得到的图片回传给控制模块，控制模块再将得到的图片传递给智能处理模块进行算法逻辑处理，当算法处理结束之后，会将相关结果告知给控制模块，再由软件系统将结果转发给传输模块，同时进行界面展示和数据存储，以此来解决各个模块间的通信问题。

[0086] 控制模块包含界面、数据库、热成像采集模块(红外相机)驱动和通信处理功能；界面用于展示最终处理的结果，同时也是各种算法参数的设置入口；数据库用于存储最终处理的重要结果；热成像采集模块(红外相机)驱动用于控制热成像采集模块(红外相机)；通信处理用于跟流水线部分的模块通信，包括热成像采集模块(红外相机)触发信号的接收转化，以及处理好之后的结果发送。

[0087] 当软件系统的通信处理功能接收到外部的热成像采集模块(红外相机)触发信号后，通过热成像采集模块(红外相机)驱动去控制热成像采集模块(红外相机)拍图，并将图片和界面获取到的算法参数交于算法模块进行算法处理，最终将得到的算法结果在界面进行展示，存入数据库作为记录，同时再通过通信处理功能，将结果发送给传输模块进行流水线传输。智能处理模块对热成像之后的图片进行图像算法处理。算法处理的区域需要能自动识别。

[0088] 传统处理方式图2中，首先需要在标准图片上建立模板，通过模板匹配以获取标准图片中箱体的标准位置，之后通过将制作好的模板在候选的图片中同样进行模板匹配以此获取候选图像中箱体具体的位置，将两者间的关系建立几何变换矩阵，从而溶胶的位置可以轻易的根据仿射变换更新得到。在确定溶胶的具体位置之后，可以对溶胶各种特性的计算(比如溶胶的大小，溶胶的位置偏移大小以及溶胶的形态是否满足要求)。

[0089] 传统意义的模板具体是需要通过人工建模的方式采集特征，通过模板特征和待匹配图间的特征比对，找到特征相似的位置，以此来确定检测物的位置变化。所以模板模型的的复杂性，以及特征间匹配的稳定性会直接影响到最终结果。

[0090] 实施例4

[0091] 在上述实施例基础上，本实施例构建mobileNetSeg结构，mobileNetSeg由一系列的基础模块，多个倒残差结构以及三个金字塔特征结构组成。

[0092] 其中基础模块的搭建，依次分别为卷积层，归一化层，relu6激活函数层(非线性激活层)。倒残差结构为上一层的输出结果跟当前残差模块的输出结果进行element wise add操作。

[0093] 将融合好的特征作为下一层的数据输入；而金字塔结构将初始浅层特征，次深层和深层网络特征做大型残差add。将浅层和深层特征进行融合。使得信息不被丢失。

[0094] 在图4的网络图中，首先串联4个基础模块结构，之后加入depth_wise_conv2d层和conv2d层进行相应卷积操作。之后串联一个倒残差结构。并在之后将2个基础模块和2个残差模块作为一个整体，连着串联4次(第3次的串联为3个残差模块)，随后再串联两个倒残差结构，这2个倒残差内部结构依次为depth_wise_conv2d，Batch_norm，element_wise_add，batch_norm,relu.网络末端链接一个conv2d，bilinear_interp(双线性插值)和argmax(取最佳结果位置)，用于整合最原始的特征结构和网络计算出来的结构，保证相关特征不被丢失，最终通过argmax获取像素级别最佳候选位置。值得注意的是在相应位置需要短接3个金字塔模型，分别在Input起始处和bilinear_interp层，上述串联4个残差串联中的第3个大块引出金字塔结构2和第4个大块结束的末端。而第3个金子塔则在第4个大块首先经过基础模块处理后，跟第4个大块结束末端进行短接。

[0095] 收集样本数据集，在图7中提供了16份样本图片，分别为1.BMP至16.BMP(样本图片的格式为BMP格式)；在实际使用过程中需要大量样本集，该图取了部分少量样本集仅为展示箱体不同位置和角度的状态。通过该图为背景分割网络提供丰富的样本集；并对前后背景进行像素级别的类别标注，将这些预处理好的数据送入网络进行训练，网络将根据设定的损失函数来调整最终的输出。收集样本数据并对前后背景进行像素级别的类别标注，将这些预处理好的数据送入网络进行训练，网络将根据设定的损失函数来调整最终的输出；

[0096]

[0097] 其中，x为预测值，cls为真实的标签类别；当loss越小说明括号内概率越大，也就表明样本在真实类别上的概率越大。

[0098] 在训练完成之后，用户通过热成像采集模块(红外相机)采集一张有箱体的图片送入训练好的网络进行前后背景分割。此时通过轮廓处理算法获取箱体的位置以及角度信息。此结果将作为标准参考信息。

[0099] 随后在实际run time运行下，箱体随着流水线移动，同时触发热成像采集模块(红外相机)拍照采集图片，在送入训练好的网络之后，候选箱体的位置和角度被确定。与产生的结果建立仿射矩阵，胶体的检测区域将随着仿射矩阵进行变换，从而确定在新的箱体上的胶体检测区域。

[0100] 仿射矩阵与胶体检测框的位置变化可以通过左乘仿射矩阵来完成，如下：

[0101]

[0102] 其中，θ为标准箱体位置和候选箱体位置的角度差，tx和ty分别为候选位置相对于标准位置平移的x方向距离和y方向的距离；

[0103] 当上述关系建立完毕之后，胶体的坐标位置(x,y)左乘矩阵，即可得到当前图像下胶体检测区域的位置；经过上述处理之后，新的流程内部结构如图3。

[0104] 图5中，首先设定标准笛卡尔坐标系,横坐标X轴，纵坐标Y轴。

[0105] 选取标准箱体，并且计算出箱体位置，以左上角为定点A(x1，y1)，同时计算标准箱体相对于笛卡尔坐标系的旋转角度a；用户依据溶胶的位置设置矩形框，依据设置的矩形框，从而确定标准溶胶检测区域A11、A22、A33和A44；图5中，检测候选箱体的位置，以左上角为定点B(x2，y2)，同时依据候选箱体的位置确定候选箱体相对于笛卡尔坐标的旋转角度b；

[0106] 通过定点A(x1，y1),B(x2，y2)以及标准箱体的旋转角度a,候选箱体的旋转角度b生成仿射矩阵；

[0107]

[0108] 其中，θ为标准箱体的旋转角度a和候选箱体的旋转角度b的角度差，则[0109] θ＝a‑b；tx＝x2‑x1；ty＝y2‑y1；

[0110] 将仿射矩阵分别左乘A11、A22、A33和A44从而得到候选溶胶检测区域的四个角点B11、B22、B33和B44，因此候选溶胶区域被确定；检测溶胶区域有4个，因此对该4个溶胶区域均需要进行相应的操作。

[0111] 在图8中，其中白色比较亮的4个区域为通过红外温度成像出来的溶胶区域，该溶胶区域为候选溶胶区域；在生产过程中，候选溶胶区域会呈现以下情况图6中显示了良品溶胶及不良品，没有出现在候选检测框或者溶胶偏离候选检测框，则表示产品在生产过程中，溶胶没有达到质量把控所要求的位置，此溶胶被判别为不良品；对于不良品包括偏离检测位置、溶胶面积过小或溶胶断胶。

[0112] 图8中采集图像原图中可以看到箱体的灰阶跟背景的灰阶其实比较接近；通过传统的模板匹配会导致溶胶区域不稳定。通过本发明得到的箱体位置图如图9。图9为通过样本图训练样本训练集中设有不同角度不同坐标位置的图像；出来一个前后背景分割模型之后，送入一张正常在产线中的图，所找到的箱子的位置图。