一种智能火花塞外观缺陷检测系统

摘要

本发明属于图像处理领域，具体涉及一种智能火花塞外观缺陷检测系统，包括以下步骤：采集待识别火花塞的外观图像；将采集得到的TIFF格式的图像转换为JPG格式图像；根据火花塞外观缺陷的类型将原图像进行区域分割；针对每一类缺陷，训练集与测试集按照一定比例生成数据集划分目录，根据此目录对采集到的图像进行数据集划分，分为训练集与测试集两部分；根据火花塞表面缺陷评价标准，应用标记工具LabelMe对采集数据进行缺陷标注；本发明利用图像区域分割的方式将多种缺陷类型区域化识别，极大提高了外观缺陷检测的准确率。利用基于GPU的多进程模型加载，一并输出待检测图片的识别结果，提高了外观缺陷检测的效率。

权利要求

1.一种智能火花塞外观缺陷检测系统，其特征在于，包括以下步骤：(1)采集待识别火花塞的外观图像；

(2)将采集得到的TIFF格式的图像转换为JPG格式图像；

(3)根据火花塞外观缺陷的类型将原图像进行区域分割；

(4)针对每一类缺陷，训练集与测试集按照一定比例生成数据集划分目录，根据此目录对采集到的图像进行数据集划分，分为训练集与测试集两部分；

(5)根据火花塞表面缺陷评价标准，应用标记工具LabelMe对采集数据进行缺陷标注；

(6)应用多层卷积层、多层非线性激活层、多层池化层对图像的特征进行提取，生成特征图；

(7)应用区域建议网络来实现对特征图的感兴趣区域提取，获得区域建议特征图；

(8)利用已经获得的区域建议特征图，通过全连接层与softmax函数计算每个区域建议具体属于哪个缺陷类别，输出类置信度概率向量；同时再次利用边界框回归获得每个区域建议的位置偏移量，更加精确的输出缺陷检测框位置；

(9)将训练集送入步骤(5)、(6)、(7)、(8)中进行训练，根据生成的训练模型对测试集进行测试，生成测试数据，根据测试数据调节网络相关参数优化测试结果；

(10)将上述步骤得到的针对不同区域、不同缺陷的优选训练模型进行整合，针对测试图片，在一块或多块GPU上加载全部模型对各分割区域的缺陷进行多进程预测，最终一并输出检测结果，包括缺陷分区归属、缺陷具体位置、缺陷类别、缺陷识别置信度；

所述火花塞外观缺陷的类型包括4大类，陶瓷层缺陷、六方缺陷、外圆缺陷、螺纹缺陷；

所述陶瓷层缺陷包括：陶瓷破碎、商标缺损、陶瓷开裂、钢丝圈外露、陶瓷釉面脏污；

所述六方缺陷包括：六方磕碰、六方缺损；

所述外圆缺陷包括：外圆磕碰、外圆缺损；

所述螺纹缺陷包括：螺纹磕碰、螺纹缺肉凹坑、螺纹毛刺、无螺牙。

2.根据权利要求1所述的一种智能火花塞外观缺陷检测系统，其特征在于，所述采集待识别火花塞的外观图像，包括：

利用上位机控制工业线阵摄像头进行图像采集，线阵摄像头与上位机通过网口连接；

采集图像时，需要借助补光设备；采集的图像包括正样本和负样本，正样本为图像中存在外观缺陷的图片，负样本为合格的火花塞外观图片；采集的照片进行分类编辑后存储在上位机中。

3.根据权利要求1所述的一种智能火花塞外观缺陷检测系统，其特征在于，所述根据火花塞表面缺陷评价标准，应用标记工具LabelMe对采集数据进行缺陷标注，包括：针对每一幅图像均生成一个对应的.xml标签文件，其中记录原图像路径、表面缺陷类别、缺陷位置坐标，整合步骤(4)中的图片数据与步骤(5)中的标签文件生成完整的数据集。

4.根据权利要求1所述的一种智能火花塞外观缺陷检测系统，其特征在于，所述应用区域建议网络来实现对特征图的感兴趣区域提取，获得区域建议特征图，包括：先用一个3×3卷积核对特征图进行卷积，之后分为两个分支：上线分支采用更小的1×

1卷积核进行卷积操作，卷积后特征图经重塑后通过softmax函数分类判断，生成正样本和负样本分类；下线只进行1×1卷积操作，用于计算对于锚点的边界框回归偏移量，最后建议层综合正样本锚点和边界框回归偏移量获取区域建议，同时剔除太小和超出边界的区域建议，再采用非极大值抑制算法对重叠的锚点进行筛选，得到区域建议特征图。

说明书

一种智能火花塞外观缺陷检测系统

技术领域

[0001] 本发明属于图像处理领域，具体涉及一种智能火花塞外观缺陷检测系统。

背景技术

[0002] 火花塞是汽油引擎内用于点燃油气产生动力的关键零件。在火花塞生产过程中，火花塞表面会产生裂纹、凹坑、污损等缺陷，影响产品质量。针对这类缺陷，现有检测方式多
采用人工目测的方式。工人长时间工作容易产生视觉疲劳，导致误检漏检增高，影响产品合
格率。 2015年，电子科技大学发明了一种基于机器视觉的火花塞端面缺陷检测方法
(CN104964980A) 通过采集火花塞端面图像，对端面图像处理之后得到内圆心、外圆心、圆
环心坐标，通过坐标变换后标记连通区域得到缺陷部位，该方法简单、低成本，但是该方法
仅能检测端面类缺陷。2017年，东莞理工学院发明了一种避免火花塞存在漏电缺陷的检测
方法(CN106871803B)，通过CCD检测器对火花塞进行机械视觉检测，能够消除人为因素的影
响，实现电极间隙的精准检测，同时还能对其绝缘部分和连接部分进行精准的拍摄检测，避
免其存在漏电的缺陷，实现全方位检测，进而提高检测的效果。同年，株洲湘火炬火花塞有
限责任公司发明了一种火花塞绝缘缺陷检测装置(CN110523661A)能够实现火花塞检测的
自动化流程，自动上料，自动卸料，无需人为操作，提高了检测速度。同时，检测工位设置的
火花塞绝缘缺陷检测装置能够减少人工的漏检以及误判，提高检测的可靠性与准确性。

[0003] 综上，目前还没有一种简单便捷的智能系统，能够全面检测出火花塞表面多种外观缺陷，包括陶瓷、六方，外圆以及螺纹部分。本发明正是基于这种现状，通过用工业线阵相
机采集火花塞外观图片，通过基于深度学习的图像分类模型，准确检测和识别出火花塞表
面多种缺陷，并对缺陷进行定位。

发明内容

[0004] 本发明的目的在于提供一种基于深度学习技术的火花塞外观缺陷智能检测系统。

[0005] 一种智能火花塞外观缺陷检测系统，包括以下步骤：

[0006] (1)采集待识别火花塞的外观图像；

[0007] (2)将采集得到的TIFF格式的图像转换为JPG格式图像；

[0008] (3)根据火花塞外观缺陷的类型将原图像进行区域分割；

[0009] (4)针对每一类缺陷，训练集与测试集按照一定比例生成数据集划分目录，根据此目录对采集到的图像进行数据集划分，分为训练集与测试集两部分；

[0010] (5)根据火花塞表面缺陷评价标准，应用标记工具LabelMe对采集数据进行缺陷标注；

[0011] (6)应用多层卷积层、多层非线性激活层、多层池化层对图像的特征进行提取，生成特征图；

[0012] (7)应用区域建议网络来实现对特征图的感兴趣区域提取，获得区域建议特征图；

[0013] (8)利用已经获得的区域建议特征图，通过全连接层与softmax函数计算每个区域建议具体属于哪个缺陷类别，输出类置信度概率向量；同时再次利用边界框回归获得每个
区域建议的位置偏移量，更加精确的输出缺陷检测框位置；

[0014] (9)将完整数据集中的训练集送入步骤(5)、(7)、(7)、(8)中进行训练，根据生成的训练模型对测试集进行测试，生成测试数据，根据测试数据调节网络相关参数优化测试结
果；

[0015] (10)将上述步骤得到的针对不同区域、不同缺陷的优选训练模型进行整合，针对测试图片，在一块或多块GPU上加载全部模型对各分割区域的缺陷进行多进程预测，最终一
并输出检测结果，包括缺陷分区归属、缺陷具体位置、缺陷类别、缺陷识别置信度。

[0016] 所述采集待识别火花塞的外观图像，包括：

[0017] 利用上位机控制工业线阵摄像头进行图像采集，线阵摄像头与上位机通过网口连接；采集图像时，需要借助补光设备；采集的图像包括正样本和负样本，正样本为图像中存
在外观缺陷的图片，负样本为合格的火花塞外观图片；采集的照片进行分类编辑后存储在
上位机中。

[0018] 所述根据火花塞表面缺陷评价标准，应用标记工具LabelMe对采集数据进行缺陷标注，包括：

[0019] 针对每一幅图像均生成一个对应的.xml标签文件，其中记录原图像路径、表面缺陷类别、缺陷位置坐标，整合步骤(4)中的图片数据与步骤(5)中的标签文件生成完整的数
据集。

[0020] 所述应用区域建议网络来实现对特征图的感兴趣区域提取，获得区域建议特征图，包括：

[0021] 先用一个3×3卷积核对特征图进行卷积，之后分为两个分支：上线分支采用更小的1× 1卷积核进行卷积操作，卷积后特征图经重塑后通过softmax函数分类判断，生成正
样本和负样本分类；下线只进行1×1卷积操作，用于计算对于锚点的边界框回归偏移量，最
后建议层综合正样本锚点和边界框回归偏移量获取区域建议，同时剔除太小和超出边界的
区域建议，再采用非极大值抑制(NMS)算法对重叠的锚点进行筛选，得到区域建议特征图。

[0022] 本发明的有益效果在于：

[0023] 本发明提供了一套基于深度学习的高准确率的火花塞外观缺陷智能检测系统。利用图像区域分割的方式将多种缺陷类型区域化识别，极大提高了外观缺陷检测的准确率。
利用多层特征提取卷积神经网络，对图像进行特征提取以生成特征图，利用区域建议网络、
感兴趣区域池化二者结合将特征图转化为区域建议特征图，最后送入回归分类网络层进行
分类识别，对缺陷类别准确识别、缺陷位置精确定位。利用基于GPU的多进程模型加载，一并
输出待检测图片的识别结果，提高了外观缺陷检测的效率。

附图说明

[0024] 图1是特征提取网络示意图；

[0025] 图2是区域建议网络结构框图；

[0026] 图3是火花塞侧面展开图；

[0027] 图4是陶瓷区示意图；

[0028] 图5是六方区示意图；

[0029] 图6是外圆区示意图；

[0030] 图7是螺纹区示意图；

[0031] 图8是陶瓷区釉面区示意图 ；

[0032] 图9是陶瓷区的logo示意图；

[0033] 图10是陶瓷区的下缘区示意图 ；

[0034] 图11是陶瓷缺陷检测效果图；

[0035] 图12是商标缺损检测效果图；

[0036] 图13是钢圈外露检测效果图；

[0037] 图14是六方磕碰检测效果图；

[0038] 图15是外圆磕碰检测效果图；

[0039] 图16是螺纹缺陷检测效果图。

具体实施方式

[0040] 下面结合附图对本发明做进一步描述。

[0041] 本发明包括陶瓷破碎、商标logo缺损、陶瓷开裂、钢丝圈外露、陶瓷釉面脏污、六方磕碰、六方缺损、外圆磕碰、外圆缺损、螺纹磕碰、螺纹缺肉凹坑、螺纹毛刺以及无螺牙等外
观缺陷的检测，识别与定位。本发明的技术解决方案主要包括以下几个部分：

[0042] (1)图像采集部分

[0043] 图像采集部分完成待识别火花塞外观图像采集。本发明中采用工业专用线阵摄像头。采集方案中，本发明采用上位机触发控制方式，利用上位机控制工业线阵摄像头的采集
工作。线阵摄像头与上位机通过网口连接。上位机利用专用线阵摄像机控制软件实现图像
采集的控制，包括图像采集模式以及存储格式。图像采集模式可分为单张图像采集模式、连
拍采集模式、以及视频采集模式。本发明中选用连拍采集模式和视频采集模式两种模式进
行图像数据的采集。为了保证采集图像的质量，采集图像时，需使用辅助补光设备。采集的
图像包括正样本和负样本，但不局限于单张图像上只有正样本或负样本。正样本即为图像
中存在外观缺陷的图片。负样本则为合格的火花塞外观图片。将采集好的图片数据进行分
类编辑，存储于上位机中。

[0044] (2)图像预处理

[0045] 首先，将采集得到的TIFF格式的图像转换为JPG格式图像。

[0046] 其次，根据火花塞外观缺陷的类型将原图像进行区域分割。本发明中涉及火花塞缺陷包括以下4大类，11小类：

[0047] 陶瓷层(绝缘层)缺陷：陶瓷破碎、商标缺损、陶瓷开裂、钢丝圈外露、陶瓷釉面脏污六方缺陷：六方磕碰、缺损

[0048] 外圆缺陷：外圆磕碰、缺损

[0049] 螺纹缺陷：螺纹磕碰、螺纹缺肉凹坑、螺纹毛刺、无螺牙

[0050] 针对每一类缺陷，按照一定比例(本发明中取训练集：测试集＝7:3)，生成数据集划分目录，根据此目录对采集到的图像进行数据集划分，分为训练集与测试集两部分。

[0051] (3)表面缺陷标注

[0052] 根据火花塞表面缺陷评价标准，应用标记工具LabelMe对采集数据进行缺陷标注。针对每一幅图像均生成一个对应的.xml标签文件，其中记录原图像路径、表面缺陷类别、缺
陷位置坐标等数据。整合2)中的图片数据与3)中的标签文件生成完整的数据集。

[0053] (4)图像特征提取

[0054] 本发明应用多层卷积层、多层非线性激活层以及多层池化层来实现图像的特征提取工作，最终生成的特征图被共享用于后续网络。

[0055] 特征提取网络(红色表示卷积层，绿色表示Relu非线性激活层，蓝色表示池化层)

[0056] (5)区域建议网络部分

[0057] 在完成对于图像的特征提取之后，就需要对特征图的感兴趣区域进行提取。本发明所应用的为区域建议网络(RegionProposalNetwork，RPN)来实现感兴趣区域提取。首先
采用一个3×3卷积核对特征图进行卷积，之后分为两个分支：上线分支采用更小的1×1卷
积核进行卷积操作，已卷积的特征图经重塑后通过softmax函数分类判断，生成正样本和负
样本分类；下线只进行1×1卷积操作，用于计算对于锚点的边界框回归偏移量。最后建议层
综合正样本锚点和边界框回归偏移量获取区域建议。同时剔除太小和超出边界的区域建
议，再采用非极大值抑制(NMS)算法对重叠的锚点进行筛选。

[0058] (6)感兴趣区域池化部分

[0059] 针对(4)和(5)中获得的特征图与区域建议框进行汇总，综合这些信息后提取区域建议特征图，送入后续全连接层进行目标类别的判定。

[0060] (7)回归分类部分

[0061] 分类部分利用已经获得的区域建议特征图，通过全连接层与softmax函数计算每个区域建议具体属于哪个缺陷类别，输出类置信度概率向量；同时再次利用边界框回归获
得每个区域建议的位置偏移量，更加精确的输出缺陷检测框位置。

[0062] (8)检测结果生成与系统反馈

[0063] 将(3)中制作的完整数据集中的训练集送入(4)、(5)、(6)、(7)中进行训练，根据生成的训练模型对测试集进行测试，生成测试数据，其中包括各类别缺陷误检率、漏检率等。
根据测试数据反馈调节网络相关参数优化测试结果。

[0064] (9)基于GPU的多进程预测

[0065] 将上述步骤得到的针对不同区域、不同缺陷的优选训练模型进行整合，针对测试图片，在一块或多块GPU上加载全部模型对各分割区域的缺陷进行多进程预测，最终一并输
出检测结果，包括缺陷分区归属、缺陷具体位置、缺陷类别、缺陷识别置信度等。

[0066] 本发明中，选用Basler专业线阵相机进行火花塞整体的图像采集，相机型号为 Basler_ral_4096‑24gm。通过线阵相机扫描，将火花塞圆柱体三维图像映射为二维平面
16bit 灰度图像。

[0067] 第一步：专用线阵相机调试。将Basler专用相机放置在检测转盘对应位置。相机视频传输线连接上位机，电源线连接电源。将线阵增强光源对准目标区域进行补光增强。光源
控制器作为光源和电源之间的连接。启动上位机中Basler相机专用视频图像采集软件
pylon Viewer。将火花塞样品置于插槽内，操作控制台控制插槽转动，开启视频采集功能。
调节相机位置、焦距、光圈，线阵光源控制器，保证采集区域范围、清晰度、进光量等参数满
足图像采集质量要求，再次检查实时视频效果。

[0068] 第二步：采集火花塞图像。针对火花塞外观缺陷类别，对每种缺陷小类选取至少10支火花塞样本进行图像采集。通过控制台调节转盘插槽参数，使火花塞1s内旋转一周，并且
不超过1.5周。通过控制台使每支火花塞样品在转盘插槽内旋转运动10s，操作视频采集软
件在此10s内采集10次线阵扫描图像。

[0069] 第三步：对图像进行区域分割、数据集划分处理。

[0070] 第四步：利用LabelMe标注工具对分割后图像进行缺陷类型、位置标注，生成.xml标签文件，结合上一步分割形成的图像制作完整数据集。

[0071] 第五步：针对分割区域分别进行训练，根据缺陷样本数的不同，调节训练批处理量以及最大迭代次数使得训练进度效率最高，每5000次迭代记录一次训练模型，将训练好的
模型文件存储在工作站指定文件夹。

[0072] 第六步：针对11类不同缺陷分别应用训练所得的模型进行测试，并记录各缺陷识别的误检率和漏检率。

[0073] 第七步：调节网络参数，重复第五步和第六步直到获得较低的误检率和漏检率。

[0074] 第八步：将已优化的模型进行整合，应用多进程模块，在多块GPU上对每一预测模型分配一定存储空间，实现对各分区的多进程预测。