一种基于深度学习的接箍外壁检测方法及系统

摘要

本发明公开了一种基于深度学习的接箍外壁检测方法及系统，包括如下步骤：获取缺陷样本集，对缺陷样本集中的缺陷位置进行标注，所述缺陷样本集由多个均具有缺陷的原始接箍外壁图像组成；将缺陷样本集中的每个原始接箍外壁图像均划分为m个网格，分别获取待检测目标所处的网格作为候选框；将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完成对神经网络模型的训练；通过已训练完成的神经网络模型对实际生产中的待检测图像进行缺陷检测，输出标识出缺陷位置的待检测图像；该接箍外壁检测方法提高了接箍外壁检测的准确性和鲁棒性。

权利要求

1.一种基于深度学习的接箍外壁检测方法，其特征在于，包括如下步骤：获取缺陷样本集，对缺陷样本集中的缺陷位置进行标注，所述缺陷样本集由多个均具有缺陷的原始接箍外壁图像组成；

将缺陷样本集中的每个原始接箍外壁图像均划分为m个网格，分别获取待检测目标所处的网格作为候选框；

将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完成对神经网络模型的训练；

通过已训练完成的神经网络模型对实际生产中的待检测图像进行缺陷检测，输出标识出缺陷位置的待检测图像；

在将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完成对神经网络模型的训练之后，包括：

重新将缺陷样本集中的每个原始接箍外壁图像均划分为n个网格，分别获取待检测目标所处的网格作为候选框，其中n不等于m；

将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完成对神经网络模型的训练；

通过已训练完成的神经网络模型对实际生产中的待检测图像进行缺陷检测，输出标识出缺陷位置的待检测图像，实现接箍外壁的多尺度检测；

在将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存匹配样本缺陷位置的模型，完成对神经网络模型的训练之后，包括：

获取训练样本集，训练样本集中由多个均具有缺陷的原始接箍外壁图像组成；

将训练样本集输入到已训练完成的神经网络模型中，分别输出标识出缺陷位置的图像；

对标识出缺陷位置的图像进行正确率验证，以验证神经网络模型；

当正确率不大于设定值，则对神经网络模型重新训练后，再进行正确率验证验证；

当正确率大于设定值，则神经网络模型验证完成；

在将将缺陷样本集中的每个原始接箍外壁图像均划分为m个网格，分别获取待检测目标所处的网格作为候选框，具体包括：获取已标注的缺陷位置所处的网格；

选择缺陷位置所处的网格作为待检测区域，输出待检测区域所处的网格作为候选框；

将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完成对神经网络模型的训练，其中，对携带有权重参数的候选框进行计算，具体包括：获取携带有权重参数的候选框所处网格的目标类别；

将携带有权重参数的候选框与所处网格的目标类别的乘积最大值作为携带有权重参数的候选框的类别，将携带有权重参数的候选框的类别作为所述接箍外壁图像缺陷位置的置信度；

利用置信度与非极大值抑制过滤冗余边框，得到用于匹配样本缺陷位置的模型；

在将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完成对神经网络模型的训练中，通过外设优化参数优化训练神经网络模型，优化参数包括：学习率、网络层数、网络层节点数、输入的数据量、词向量embedding大小和正负样本比例；

采用labeling对缺陷样本集中的缺陷位置进行缺陷标注。

说明书

一种基于深度学习的接箍外壁检测方法及系统

技术领域

[0001] 本发明涉及接箍外壁检测技术领域，尤其涉及一种基于深度学习的接箍外壁检测方法及系统。

背景技术

[0002] 目前行业内对于接箍的检测，采用传统荧光磁粉探伤机，通过人工上下料，基于半自动磁化与退磁，人工判断表面裂缝或褶皱缺陷。该种方法存在如下缺点：人员劳动强度
大；缺陷检测不稳定；紫外荧光灯与荧光液对工人身体健康造成一定伤害。

发明内容

[0003] 基于背景技术存在的技术问题，本发明提出了一种基于深度学习的接箍外壁检测方法及系统，提高了接箍外壁检测的准确性和鲁棒性。

[0004] 本发明提出的一种基于深度学习的接箍外壁检测方法，包括如下步骤：

[0005] 获取缺陷样本集，对缺陷样本集中的缺陷位置进行标注，所述缺陷样本集由多个均具有缺陷的原始接箍外壁图像组成；

[0006] 将缺陷样本集中的每个原始接箍外壁图像均划分为m个网格，分别获取待检测目标所处的网格作为候选框；

[0007] 将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完成对神经
网络模型的训练；

[0008] 通过已训练完成的神经网络模型对实际生产中的待检测图像进行缺陷检测，输出标识出缺陷位置的待检测图像。

[0009] 进一步地，在将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存匹配样本缺陷位置的模型，完成
对神经网络模型的训练之后，包括：

[0010] 获取训练样本集，训练样本集中由多个均具有缺陷的原始接箍外壁图像组成；

[0011] 将训练样本集输入到已训练完成的神经网络模型中，分别输出标识出缺陷位置的图像；

[0012] 对标识出缺陷位置的图像进行正确率验证，以验证神经网络模型；

[0013] 当正确率不大于设定值，则对神经网络模型重新训练后，再进行正确率验证验证；

[0014] 当正确率大于设定值，则神经网络模型验证完成。

[0015] 进一步地，在将将缺陷样本集中的每个原始接箍外壁图像均划分为m个网格，分别获取待检测目标所处的网格作为候选框，具体包括：

[0016] 获取已标注的缺陷位置所处的网格；

[0017] 选择缺陷位置所处的网格作为待检测区域，输出待检测区域所处的网格作为候选框。

[0018] 进一步地，将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完
成对神经网络模型的训练，其中，对携带有权重参数的候选框进行计算，具体包括：

[0019] 获取携带有权重参数的候选框所处网格的目标类别；

[0020] 将携带有权重参数的候选框与所处网格的目标类别的乘积最大值作为携带有权重参数的候选框的类别，将携带有权重参数的候选框的类别作为所述接箍外壁图像缺陷位
置的置信度；

[0021] 利用置信度与非极大值抑制过滤冗余边框，得到用于匹配样本缺陷位置的模型。

[0022] 进一步地，在将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，
完成对神经网络模型的训练之后，包括：

[0023] 重新将缺陷样本集中的每个原始接箍外壁图像均划分为n个网格，分别获取待检测目标所处的网格作为候选框，其中n不等于m；

[0024] 将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完成对神经
网络模型的训练；

[0025] 通过已训练完成的神经网络模型对实际生产中的待检测图像进行缺陷检测，输出标识出缺陷位置的待检测图像，实现接箍外壁的多尺度检测。

[0026] 进一步地，在将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，
完成对神经网络模型的训练中，通过外设优化参数优化训练神经网络模型，优化参数包括：
学习率、网络层数、网络层节点数、输入的数据量、词向量embedding大小和正负样本比例。

[0027] 进一步地，采用labeling对缺陷样本集中的缺陷位置进行缺陷标注。

[0028] 一种基于深度学习的接箍外壁检测系统，包括获取标注模块、划分模块、训练模块、使用模块；

[0029] 获取标注模块用于获取缺陷样本集，对缺陷样本集中的缺陷位置进行标注，所述缺陷样本集由多个均具有缺陷的原始接箍外壁图像组成；

[0030] 划分模块用于将缺陷样本集中的每个原始接箍外壁图像均划分为m个网格，分别获取待检测目标所处的网格作为候选框；

[0031] 训练模块用于将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，
完成对神经网络模型的训练；

[0032] 使用模块用于通过已训练完成的神经网络模型对实际生产中的待检测图像进行缺陷检测，输出标识出缺陷位置的待检测图像。

[0033] 一种计算机可读储存介质，所述计算机可读存储介质上存储有若干获取分类程序，所述若干获取分类程序用于被处理器调用并执行以上所述的接箍外壁检测方法。

[0034] 本发明提供的一种基于深度学习的接箍外壁检测方法及系统的优点在于：本发明结构中提供的一种基于深度学习的接箍外壁检测方法及系统，已训练完成的神经网络模型
对实际生产中的接箍外壁进行缺陷检测，同时实际生产中的接箍外壁也对神经网络模型进
行训练，两者相互作用，不断提高接箍外壁缺陷检测的准确性。通过构建的神经网络模型，
对接箍图像进行自动识别，可以准确得出接箍图像的缺陷结果，提高了接箍外壁检测的准
确性和鲁棒性。

附图说明

[0035] 图1为本发明的结构示意图；

具体实施方式

[0036] 下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方
式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不
受下面公开的具体实施的限制。

[0037] 参照图1，本发明提出的一种基于深度学习的接箍外壁检测方法，包括如下步骤S1至S5：

[0038] S1：获取缺陷样本集，对缺陷样本集中的缺陷位置进行标注，所述缺陷样本集由多个均具有缺陷的原始接箍外壁图像组成；

[0039] 所获取的原始接箍外壁图像是相机拍摄时采样的彩色RGB图像。原始接箍外壁图像的缺陷位置即是接箍外壁待检测的感兴趣区域(ROI区域)，可以通过labeling进行多个
感兴趣区域进行缺陷标注，生成的标签格式为.XML，整理后的标签分为训练数据集和测试
数据集。既：已标注缺陷位置的原始接箍外壁图像可以作为缺陷样本集对构建完成的神经
网络模型进行训练。

[0040] 本实施例主要面向的检测对象是1‑34号接箍，内径最小70mm，外径最大365mm，管长不超过350mm，所检测的缺陷为喷涂荧光液后在紫外灯照射下所呈现的明亮裂纹，裂纹长
度不超过10mm，每个原始接箍外壁图像的检测时间小于1分钟。

[0041] S2：将缺陷样本集中的每个原始接箍外壁图像均划分为m个网格，分别获取待检测目标所处的网格作为候选框；

[0042] 网格可以设置为a×a的规格。

[0043] S3：将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完成对神
经网络模型的训练；

[0044] 候选框是由一至多个网格组成，即，候选框所处的网格可以为一至多个，每个网格通过神经网络模型的不同卷积处理，输出不同的特征值。在将已标注缺陷位置的候选框输
入神经网络模型中时，整个已划分完成的原始接箍外壁图像也被输入神经网络模型中，神
经网络模型对整个原始接箍外壁图像进行卷积，根据对应输出的不同特征值，不同特征值
分别对应匹配样本缺陷位置的模型，并保存该模型，以训练神经网络模型，在已训练完成的
神经网络模型实际使用的过程中，每次输入的待检测图像分别与不同匹配样本缺陷位置的
模型进行匹配，直至完成匹配后，对待检测图像中的缺陷位置进行框选输出，实现对待检测
图像的缺陷检测。

[0045] 权重参数即为已标注缺陷位置的候选框经过神经网络模型的处理后所得到的权重和边界框分值，神经网络模型对多个感兴趣区域(原始接箍外壁图像的缺陷位置)所处的
网格赋予不同的输出特征值，即可以根据权重参数和边界框分值来得到候选框中缺陷位置
的粗略结果。对携带有权重参数的候选框进行参数优化处理，即可得到接箍外壁图像的准
确缺陷位置。

[0046] S4：通过已训练完成的神经网络模型对实际生产中的待检测图像进行缺陷检测，输出标识出缺陷位置的待检测图像。

[0047] 通过步骤S1至S4，已训练完成的神经网络模型对实际生产中的接箍外壁进行缺陷检测，同时实际生产中的接箍外壁也对神经网络模型进行训练，两者相互作用，不断提高接
箍外壁缺陷检测的准确性。通过构建的神经网络模型，对接箍图像进行自动识别，可以准确
得出接箍图像的缺陷结果，提高了接箍外壁检测的准确性和鲁棒性。

[0048] 优选地，在步骤S3：将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存匹配样本缺陷位置的模型，
完成对神经网络模型的训练之后，包括：

[0049] S311：获取训练样本集，训练样本集中由多个均具有缺陷的原始接箍外壁图像组成；

[0050] 对训练样本集中的缺陷位置不需要标注。

[0051] S312：将训练样本集输入到已训练完成的神经网络模型中，分别输出标识出缺陷位置的原始接箍外壁图像；

[0052] 已训练完成的神经网络模型对所输入的训练样本集进行匹配样本缺陷位置的模型的匹配处理，将通过在缺陷位置周围框选的形式，输出具有指定缺陷位置的原始接箍外
壁图像。

[0053] S313：对标识出缺陷位置的原始接箍外壁图像进行正确率验证，以验证神经网络模型；

[0054] 对标识出缺陷位置的原始接箍外壁图像进行人工复检，将缺陷位置标注有误的原始接箍外壁图像筛选掉，得到该训练样本集通过神经网络模型输出的标识出缺陷位置的图
像的正确率。

[0055] S314：当正确率不大于设定值，则对神经网络模型重新训练后，再进行正确率验证验证；

[0056] 设定值可以根据需要进行设置，一般设置为90‑99％之间。

[0057] S315：当正确率大于设定值，则神经网络模型验证完成。

[0058] 验证通过的神经网络模型再用于对实际生产中的待检测图像进行缺陷检测，以进一步实现对待检测图像的识别准确率。

[0059] 优选地，在步骤S2：将缺陷样本集中的每个原始接箍外壁图像均划分为m个网格，分别获取待检测目标所处的网格作为候选框中，具体包括：

[0060] S21：获取已标注的缺陷位置所处的网格；

[0061] 由于事先已将接箍外壁图像中的缺陷位置(感兴趣位置)通过labeling标注，并生成标签，因此可以直接通过获取标签所处的网格，即是已标注的缺陷位置所处的网格。

[0062] S22：选择缺陷位置所处的网格作为待检测区域，输出待检测区域所处的网格作为候选框。

[0063] 通过步骤S21至S22可得到候选框，候选框可以通过网络进行数据传输。

[0064] 优选地，在步骤S3：将将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置
的模型，完成对神经网络模型的训练中，神经网络模型对处于不同网格的候选框进行卷积
处理包括：神经网络模型对划分为m个网格的接箍外壁图像进行卷积处理。

[0065] 本申请中的接箍外壁检测方法通过构建神经网络框架，通俗的讲，神经网络框架是基于yolo的神经网络模型，最终实现已标注缺陷位置的候选框的边界框位置和所属目标
类别的确定，进而训练神经网络模型。

[0066] 在神经网络模型训练的过程中，可以通过外部设置的不同参数进行优化神经网络模型训练的训练效果。例如：(1)学习率：学习率的取值一般是1、0.1、0.01、0.001等，本算法
学习率为0.01；(2)网络层数：yolo从0到10层；(3)网络层节点数：含16，32，64，128四种节点
数；(4)输入的数据量(Batchsize)：选取五百张已标注缺陷位置的候选框作为输入；(5)词
向量embedding(将离散变量转变为连续向量的方式)大小：选取128；(6)正负样本比例：选
取的是十比一。

[0067] 神经网络模型对整个接箍外壁图像进行卷积处理，输出不同的特征值；神经网络模型可以识别已标注缺陷位置的候选框，因此可以直接得出已标注缺陷位置的候选框输出
的特征值与其他位置输出的特征值所对应的差异度，通过大量的训练样本(已标注缺陷位
置的候选框)的训练，对神经网络模型进行训练，得到不同候选框输出特征值对应的目标类
型，以实现神经网络模型对标注缺陷位置的候选框的缺陷识别和输出。

[0068] 优选地，在步骤S3：将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的
模型，完成对神经网络模型的训练中，其中，对携带有权重参数的接箍图像进行计算，具体
包括：

[0069] S31：获取携带有权重参数的候选框所处网格的目标类别；

[0070] 当获取到带有权重参数的候选框时，此候选框对应网格所属的类别即为目标类别。

[0071] S32：将携带有权重参数的候选框与所处网格的目标类别的乘积最大值作为携带有权重参数的候选框的类别，将携带有权重参数的候选框的类别作为所述接箍外壁图像缺
陷位置的置信度；

[0072]

[0073] ROIω＝C

[0074] 其中，ROI为携带有权重参数的候选框，L为目标类别，ROIω为携带有权重参数的候选框的类别，C为置信度，ω为权重。

[0075] 置信度即是置信空间，是对携带有权重参数的候选框与所处网格的目标类别的乘积最大值的区间估计。

[0076] 携带有权重参数的候选框与所处网格的目标类别的乘积最大值作为这个该种类缺陷的目标，之后的接箍外壁进行检测时，若检测的结果处于该置信度的范围中，则可以直
接输出该缺陷结果作为接箍外壁图像的缺陷结果。

[0077] S33：利用置信度与非极大值抑制过滤冗余边框，得到接箍外壁图像的缺陷结果。

[0078] 非极大值抑制是一种获取局部最大值的方法：(1)对所有候选框的置信度降序排列；(2)选出置信度最高的候选框，确定其为正确预测，并计算它与其他预测框的IOU，IOU为
两个区域重叠的部分除以两个区域的集合部分得出的结果；(3)根据(2)中计算的IOU去除
重叠度高的，剩下的预测框返回第一步，直到没有剩下为止。最终得到接箍外壁图像的缺陷
结果。

[0079] 通过步骤S31至S33对携带有权重参数的候选框进行参数优化处理，得到更为准确的缺陷结果，同时也为同一种类的缺陷设定了一个目标置信度，便于后续同类缺陷结果的
直接输出，降低了神经网络模型的运转频次，进一步提高了接箍外壁的检测速率。

[0080] 优选地，在步骤S3：将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的
模型，完成对神经网络模型的训练之后，同时在对神经网络模型验证之前，包括：

[0081] S301：重新将原始接箍外壁图像划分为n个网格，获取待检测目标所处的网格作为候选框，其中n不等于m；

[0082] 设定不同的网格划分，是为了不同尺度特征图(原始接箍外壁图像)的缺陷检测，实现接箍外壁的多尺度检测，进一步提高了接箍外壁检测的准确性和鲁棒性。

[0083] S302：将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，完成对
神经网络模型的训练；

[0084] S303：对通过不同划分尺寸的原始接箍外壁图像训练完成的神经网络模型通过步骤S311至S315进行验证，

[0085] S304：将验证通过的神经网络模型对实际生产中的待检测图像进行缺陷检测，输出标识出缺陷位置的待检测图像，实现接箍外壁的多尺度检测。

[0086] 通过步骤S301至S304可以得出，可以将原始接箍外壁图像进行不同尺寸的网格划分，以实现接箍外壁缺陷的多尺度检测。

[0087] 本发明可以使用复杂环境，区别于传统通过荧光粉探伤机人工判断接箍外壁裂纹或褶皱缺陷。本发明可以在通过神经网络模型检测接箍外壁时，神经网络模型中的参数进
行优化调整，以实现神经网络模型的不断优化，较大程度的区别于传统采用荧光粉探伤机
进行探测缺陷时的设备老化、操作失误、设备精度越来越低、设备经常出现故障等的缺陷，
因此本发明提高了接箍外壁检测的准确性和鲁棒性。

[0088] 一种基于深度学习的接箍外壁检测系统，包括获取标注模块、划分模块、训练模块、使用模块；

[0089] 获取标注模块用于获取缺陷样本集，对缺陷样本集中的缺陷位置进行标注，所述缺陷样本集由多个均具有缺陷的原始接箍外壁图像组成；

[0090] 划分模块用于将缺陷样本集中的每个原始接箍外壁图像均划分为m个网格，分别获取待检测目标所处的网格作为候选框；

[0091] 训练模块用于将候选框输入已构建完成的神经网络模型中，输出携带有权重参数的模型，对携带有权重参数的候选框进行计算，得到并保存用于匹配样本缺陷位置的模型，
完成对神经网络模型的训练；

[0092] 使用模块用于通过已训练完成的神经网络模型对实际生产中的待检测图像进行缺陷检测，输出标识出缺陷位置的待检测图像。

[0093] 一种计算机可读储存介质，所述计算机可读存储介质上存储有若干获取分类程序，所述若干获取分类程序用于被处理器调用并执行如上述所述的接箍外壁检测方法。

[0094] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序
在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光
盘等各种可以存储程序代码的介质。

[0095] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其
发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。