模型检测方法转让专利

申请号 : CN202010733677.1

文献号 : CN111951234B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王罡潘正颐

申请人 : 上海微亿智造科技有限公司常州微亿智造科技有限公司

摘要 :

本发明提供了一种模型检测方法,包括如下步骤:搭建步骤:设计并搭建用于检测工件缺陷的深度学习模型;分类步骤:对需学习的学习图像中的每个像素点进行类别分类,对每个像素点进行类型的置信度判定;深度学习模型训练步骤:对完成像素点类别分类和置信度判定的学习图像进行训练,得到训练后的深度学习模型;缺陷检测步骤:利用训练后的深度学习模型对工件进行缺陷检测。本发明通过深度学习检测,大大降低了时间复杂度,减少了冗余窗口的产生,大大提升了后续特征提取和分类的速度和性能;本发明通过深度学习检测,提升了图像鲁棒的特征;本发明结合多种检测模式,检测更为全面准确。

权利要求 :

1.一种模型检测方法,其特征在于,包括如下步骤:搭建步骤:设计并搭建用于检测工件缺陷的深度学习模型;

分类步骤:对需学习的学习图像中的每个像素点进行类别分类,对每个像素点进行类型的置信度判定;

深度学习模型训练步骤:对完成像素点类别分类和置信度判定的学习图像进行训练,得到训练后的深度学习模型;

缺陷检测步骤:利用训练后的深度学习模型对工件进行缺陷检测;

还包括灰度模型检测步骤:

通过灰度变换和空间滤波对工件缺陷检测;

所述灰度模型检测步骤包括顶部凹陷检测步骤:通过形状模板匹配定位,得到图像的旋转平移的矩阵;

通过旋转平移矩阵得到仿射变换后的顶部区域,对仿射变换顶部区域进行亚像素阈值分割,将分割得到的边缘线段加入到计量模型中;

计算出边上个点到基线的最大和最小距离,最大距离和最小距离之差即凹陷的值;

所述灰度模型检测步骤包括披锋毛刺检测步骤:通过形状模板匹配定位,得到图像的旋转平移的矩阵;

通过阈值分割找到内孔区域,抹掉通过仿射变换后的内孔区域的内角区域,用闭运算检测出毛刺。

2.根据权利要求1所述的模型检测方法,其特征在于,所述分类步骤包括:对学习图像中的每个像素点进行分类类别,以0表示像素点的类别为背景,以1表示像素点的类别为缺陷,根据类别将学习图像分割为背景区域和缺陷区域。

3.根据权利要求1所述的模型检测方法,其特征在于,所述分类步骤包括:卷积步骤:对输入层进行特征抽取,过滤部分无用信息并保留特征有效信息;

池化步骤:对输入层进行降维,降低计算量;

特征融合步骤:对具有相同维度的不同层进行跨层连接;

类别判定步骤:将特征融合步骤得到的特征信息量化为某个类别的置信度;

输出步骤:输出多维数组向量作为结果,表征一幅学习图像中各个像素值的类别及置信度。

4.根据权利要求3所述的模型检测方法,其特征在于,多维数组向量包括[m,n,c,s]向量,其中:m表示图像宽度,n表示图像高度,c表示类别,s表示置信度。

5.根据权利要求1所述的模型检测方法,其特征在于,深度学习模型训练步骤包括:设置设定的训练步数,训练时分单双交替训练训练集中的良品图像和缺陷图像,直至损失无明显减小时停止训练,输出此时对应步数的模型作为本次训练的输出模型。

6.根据权利要求1所述的模型检测方法,其特征在于,所述灰度模型检测步骤包括水口高度检测步骤:

通过形状模板匹配定位,得到图像的旋转平移的矩阵;

通过矩阵的旋转角度判定水口高度是否达标。

7.根据权利要求1所述的模型检测方法,其特征在于,所述灰度模型检测步骤包括顶裂检测步骤:

将图片进行阈值分割找出检测的区域,通过傅里叶变换将图像有时阈变换到频域;

通过高斯滤波器将中频的分量滤掉,变换到时阈,通过二阶导的方式求出线条的形状。

说明书 :

模型检测方法

技术领域

[0001] 本发明涉及图形检测领域,具体地,涉及一种模型检测方法。

背景技术

[0002] 传统的目标检测算法常采用滑动窗口的策略对整幅图像进行遍历,然后用Haar、SIFT、HOG等特征提取器对目标对象进行提取,再利用SVM,Adaboost等分类器对提取的目标
进行分类,这种穷举的策略虽然包含了目标所有可能出现的位置,但是缺点也是显而易见
的:时间复杂度太高,产生冗余窗口太多,这也严重影响后续特征提取和分类的速度和性
能。而且,由于目标的形态多样性,光照变化多样性,背景多样性等因素使得设计一个鲁棒
的特征并不是那么容易。

发明内容

[0003] 针对现有技术中的缺陷,本发明的目的是提供一种模型检测方法。
[0004] 根据本发明提供的一种模型检测方法,包括如下步骤:
[0005] 搭建步骤:设计并搭建用于检测工件缺陷的深度学习模型;
[0006] 分类步骤:对需学习的学习图像中的每个像素点进行类别分类,对每个像素点进行类型的置信度判定;
[0007] 深度学习模型训练步骤:对完成像素点类别分类和置信度判定的学习图像进行训练,得到训练后的深度学习模型;
[0008] 缺陷检测步骤:利用训练后的深度学习模型对工件进行缺陷检测。
[0009] 优选地,所述分类步骤包括:
[0010] 对学习图像中的每个像素点进行分类类别,以0表示像素点的类别为背景,以1表示像素点的类别为缺陷,根据类别将学习图像分割为背景区域和缺陷区域。
[0011] 优选地,所述分类步骤包括:
[0012] 卷积步骤:对输入层进行特征抽取,过滤部分无用信息并保留特征有效信息;
[0013] 池化步骤:对输入层进行降维,降低计算量;
[0014] 特征融合步骤:对具有相同维度的不同层进行跨层连接;
[0015] 类别判定步骤:将特征融合步骤得到的特征信息量化为某个类别的置信度;
[0016] 输出步骤:输出多维数组向量作为结果,表征一幅学习图像中各个像素值的类别及置信度。
[0017] 优选地,多维数组向量包括[m,n,c,s]向量,其中:m表示图像宽度,n表示图像高度,c表示类别,s表示置信度。
[0018] 优选地,深度学习模型训练步骤包括:设置设定的训练步数,训练时分单双交替训练训练集中的良品图像和缺陷图像,直至损失无明显减小时停止训练,输出此时对应步数
的模型作为本次训练的输出模型。
[0019] 优选地,还包括灰度模型检测步骤:
[0020] 通过灰度变换和空间滤波对工件缺陷检测。
[0021] 优选地,所述灰度模型检测步骤包括顶部凹陷检测步骤:
[0022] 通过形状模板匹配定位,得到图像的旋转平移的矩阵;
[0023] 通过旋转平移矩阵得到仿射变换后的顶部区域,
[0024] 对仿射变换顶部区域进行亚像素阈值分割,将分割得到的边缘线段加入到计量模型中;
[0025] 计算出边上个点到基线的最大和最小距离,最大距离和最小距离之差即凹陷的值。
[0026] 优选地,所述灰度模型检测步骤包括披锋毛刺检测步骤:
[0027] 通过形状模板匹配定位,得到图像的旋转平移的矩阵;
[0028] 通过阈值分割找到内孔区域,抹掉通过仿射变换后的内孔区域的内角区域,用闭运算检测出毛刺。
[0029] 优选地,所述灰度模型检测步骤包括水口高度检测步骤:
[0030] 通过形状模板匹配定位,得到图像的旋转平移的矩阵;
[0031] 通过矩阵的旋转角度判定水口高度是否达标。
[0032] 优选地,所述灰度模型检测步骤包括顶裂检测步骤:
[0033] 将图片进行阈值分割找出检测的区域,通过傅里叶变换将图像有时阈变换到频域;
[0034] 通过高斯滤波器将中频的分量滤掉,变换到时阈,通过二阶导的方式求出线条的形状。
[0035] 与现有技术相比,本发明具有如下的有益效果:
[0036] 1、本发明通过深度学习检测,大大降低了时间复杂度,减少了冗余窗口的产生,大大提升了后续特征提取和分类的速度和性能;
[0037] 2、本发明通过深度学习检测,提升了图像鲁棒的特征;
[0038] 3、本发明结合多种检测模式,检测更为全面准确。

附图说明

[0039] 通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
[0040] 图1为模型检测方法的步骤流程图。

具体实施方式

[0041] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术
人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明
的保护范围。
[0042] 如图1所示,根据本发明提供的模型检测方法,把获取到的模型检测图发送给模型管道服务进行检测,其中针对不同产品及不同光学面一部分发送给深度模型进行检测,一
部分发送给灰度检测模型进行检测,最终获取产品每个光学面返回的检测信息,所述检测
信息包括:缺陷,缺陷阈值位置信息x坐标,y坐标,宽度,高度,缺陷长度,缺陷高度,缺陷面
积,缺陷平均亮度信息,缺陷梯度信息,缺陷对比度信息,缺陷最亮20%平均亮度信息,缺陷
最暗20%平均亮度信息。
[0043] 具体的,本发明的模型检测方法包括深度模型检测步骤和灰度模型检测步骤。
[0044] 1.深度模型检测具体实施步骤如下:
[0045] 1)设计并搭建深度学习模型,用于对工件缺陷检测,深度学习模型由分割网络和分类网络two‑stage构成,其中主要包含卷积模块、池化模块、特征融合模块、类别判定模块
及输出模块。
[0046] 其中分割网络学习图像中每个像素点所属的分类类别,以0表述该像素类别为背景,以1表示该像素类别为缺陷,根据类别将一副图像分割为背景区域和缺陷区域;其中分
类网络在分割网络基础上对提取的背景区域和缺陷区域中的每个像素点作出判定给出每
个像素点属于某个类别的可能性,即置信度。
[0047] 所述卷积层对输入层进行特征抽取,过滤部分无用信息并保留特征大部分有效信息;
[0048] 所述的池化层对输入层进行降维以降低计算量;
[0049] 所述的特征融合层对具有相同维度的不同层进行跨层连接以获取更丰富的特征信息;
[0050] 所述的类别判定层将特征融合层得到的特征信息量化为某个类别的置信度;
[0051] 所述的输出层经过卷积池化特征融合等之后输出向量[m,n,c,s]作为结果,表征一幅图像中各个像素值的类别及置信度。其中m表示图像宽度,n表示图像高度,c表示类别,
s表示置信度。
[0052] 2)以划分好的数据集循环训练深度学习模型;
[0053] 具体地,所述实施方式(2)包含:
[0054] 深度学习的训练方法,图像可以根据设定的比例,例如8:1:1划分为训练集、验证集和测试集,随机划分。对划分好的训练集文件夹内所有图像进行训练,设置训练步数>
1000,训练时分单双交替训练训练集中的良品图像和缺陷图像,直至loss无明显减小时停
止训练输出此刻对应步数的模型作为本次训练的输出模型。良品图像和缺陷图像为标注人
员按照缺陷评价标注划分好良品及缺陷图。
[0055] 3)用深度学习模型对真实场景工件进行外观缺陷检测,给出检测结果判定并进行量化;对真实场景工件进行外观缺陷检测时,利用上述输出的模型对金属粉末注射成型的
工件进行检测,按照向量[m,n,c,s]输出结果。
[0056] 2.灰度模型检测步骤如下:
[0057] 灰度模型检测就是使用灰度变换和空间滤波的方式进行检测,针对不同的缺陷使用不同的检测方式。具体的缺陷类型有:顶部凹陷、披锋毛刺、水口高度、碰伤缺陷、裂缝缺
陷、变形缺陷等。在算法里面会有图像反转、分段线性变换、直方图均衡和匹配、空间滤波
等,有些特殊的检测比如碰伤、裂纹,会从时域转到频域处理,利用频域的特性来进行检测,
具体算法如下:
[0058] 1)顶部凹陷的检测
[0059] 通过形状模板匹配来定位,得到图像的旋转平移的矩阵。通过旋转平移矩阵得到仿射变换后的顶部区域,再对仿射变换顶部区域进行亚像素阈值分割,将分割得到的边缘
线段加入到计量模型中,然后计算出边上个点到基线的最大和最小距离,最大距离和最小
距离之差即凹陷的值。
[0060] 2)披锋毛刺的检测
[0061] 通过形状模板匹配来定位,得到图像的旋转平移的矩阵。通过阈值分割找到内孔区域,然后抹掉通过仿射变换后的内孔区域的内角区域,最后用闭运算检测出毛刺。
[0062] 3)水口高度
[0063] 通过形状模板匹配来定位,得到图像的旋转平移的矩阵。因为底部长度固定,通过矩阵的旋转角度来判定水口高度是否达标。
[0064] 4)顶裂检测
[0065] 现将图片进行阈值分割找出检测的区域,通过傅里叶变换将图像有时阈变换到频域,然后通过高斯滤波器将中频的分量滤掉,然后在变换到时阈,通过二阶导的方式求出线
条的形状。
[0066] 本发明通过深度学习检测,大大降低了时间复杂度,减少了冗余窗口的产生,大大提升了后续特征提取和分类的速度和性能;通过深度学习检测,提升了图像鲁棒的特征;本
发明结合多种检测模式,检测更为全面准确。
[0067] 以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影
响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相
互组合。