一种基于迁移学习的注塑制品表面图像缺陷识别方法转让专利
申请号 : CN201910199589.5
文献号 : CN110111297B
文献日 : 2021-03-30
发明人 : 伊国栋 , 李琎
申请人 : 浙江大学
摘要 :
权利要求 :
1.一种基于迁移学习的注塑制品表面图像缺陷识别方法,其特征在于:步骤1:将若干非注塑制品表面缺陷图像作为源域数据集,将若干注塑制品表面缺陷图像作为目标域数据集,源域数据集和目标域数据集均包含多种缺陷类别,对源域数据集的每张图像进行缺陷类别的标注,对两个数据集的所有图像进行域信息标注,域信息指对图像所属的数据集进行标注;
步骤2:建立CNN(卷积神经网络)模型,将两个数据集的所有图像作为样本输入CNN模型中进行训练,CNN模型主要由若干卷积层和全连接层依次连接组成,CNN模型通过若干卷积层提取得到各个样本的第一特征图,第一特征图再输入到全连接层,全连接层输出每一个样本对应的预测缺陷分类结果;
步骤3:建立迁移学习模型,将第一特征图输入迁移学习模型中得到迁移损失函数,根据迁移损失函数将源域数据集迁移到步骤2中的CNN模型,优化迭代得到目标CNN模型;
步骤3具体包括以下步骤:
3.1)迁移学习模型包括依次连接的第八卷积层、第五池化层和两个域分类器,两个域分类器分别为全局特征域分类器和局部特征域分类器,第五池化层分别连接全局特征域分类器和局部特征域分类器,第五池化层经第九卷积层、激活函数连接全局特征域分类器,第五池化层经第四全连接层、激活函数连接到局部特征域分类器;
3.2)将步骤2得到的第一特征图作为全局特征域分类器和局部特征域分类器共享的特征图输入到迁移学习模型中,第一特征图依次经第八卷积层、第五池化层和第九卷积层输出全局特征图,第一特征图依次经第八卷积层、第五池化层和第四全连接层输出局部缺陷特征图;将全局特征图和局部缺陷特征图分别输入到全局特征域分类器和局部特征域分类器中进行训练得到预测域分类结果,根据预测域分类结果和域信息标注的结果得到全局特征损失函数Limg和局部特征损失函数Lins,具体为:将全局特征图输入到全局特征域分类器中得到全局特征预测域分类结果,根据全局特征预测域分类结果和域信息标注的结果得到全局特征损失函数,全局特征损失函数Limg的计算公式如下:
Limg=-∑i[Dilog pi+(1-Di)log(1-pi)]pi=h(Φ(Ii))
其中,Di表示第i张样本的域标签,Di=0时表示第i张样本来自源域数据集,Di=1时表示第i张样本来自目标域数据集,Φ(Ii)表示全局特征激活函数,pi表示第i张样本来自目标域数据集的概率,h表示全局特征域分类器,Ii表示第i张样本的全局特征图;
将局部缺陷特征图输入到局部特征域分类器中得到局部特征预测域分类结果,根据局部特征预测域分类结果和域信息标注的结果得到局部特征损失函数,局部特征损失函数Lins的计算公式如下:
其中,Φu,v(Ii)表示局部特征激活函数, 表示局部缺陷特征图中的每个像素点(u,v)域分类的输出概率,g表示局部特征域分类器,∑i,u,v表示第i张样本对应的局部缺陷特征图上的所有像素点之和;
3.3)利用正则化方法对全局特征域分类器和局部特征域分类器进行约束,得到正则化损失函数Lre:
其中|I|表示局部缺陷特征图中所有像素点的个数,||·||2表示均方差L2损失函数;
3.4)根据源域数据集中的所有样本的预测缺陷分类结果和缺陷类别的标注结果得到Softmax归一化指数损失函数Lcls,根据Softmax归一化指数损失函数Lcls、全局特征损失函数Limg、局部特征损失函数Lins和正则化损失函数Lre得到迁移损失函数L:L=Lcls+λ(Limg+Lins+Lre)其中,Lcls表示Softmax归一化指数损失函数,λ表示权重系数;
3.5)采用随机梯度下降算法对迁移损失函数优化直至迁移损失函数收敛,根据收敛的迁移损失函数对CNN模型各个层的参数进行优化更新,得到目标CNN模型;
步骤4:采集带有表面缺陷的注塑制品图像,将采集的注塑制品图像输入到步骤3的目标CNN模型中进行检测得到预测缺陷分类结果。
2.根据权利要求1所述的一种基于迁移学习的注塑制品表面图像缺陷识别方法,其特征在于:所述的CNN模型各个层的参数包括权值参数和偏置参数。
3.根据权利要求1所述的一种基于迁移学习的注塑制品表面图像缺陷识别方法,其特征在于:所述的CNN(卷积神经网络)模型主要由第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第五卷积层、第三池化层、第六卷积层、第四池化层、第七卷积层、第一全连接层、第二全连接层和第三全连接层依次连接构成,样本输入到第一卷积层,经第五卷积层提取并输出第一特征图,第一特征图再作为第三池化层的输入并通过第三全连接层输出样本对应的预测缺陷分类结果。
4.根据权利要求1所述的一种基于迁移学习的注塑制品表面图像缺陷识别方法,其特征在于:所述的源域数据集采用金属材质表面缺陷图像或者高分子材料制品表面缺陷图像或者两者兼有。
5.根据权利要求1所述的一种基于迁移学习的注塑制品表面图像缺陷识别方法,其特征在于:所述的缺陷的类别包括飞边、裂纹、点蚀、凹痕和变色。
说明书 :
一种基于迁移学习的注塑制品表面图像缺陷识别方法
技术领域
背景技术
制品的质量。注塑制品的表面缺陷形成机理复杂,且表现形式多样,难以量化,表面缺陷识
别一直以来都是一个难题。由于基于机器视觉的表面缺陷检测技术是一种直观的、非接触
式的质量检测方法,能够高效、自动地实现检测任务。因此,针对注塑制品表面质量的机器
视觉识别的研究具有重要意义。
进行识别,这种方法的优点在于计算方便且易于实现,缺点在于用简单的特征描述图像会
丢失图像的细节,致使缺陷的分类准确率难以达到较高的标准;其二是通过大量训练数据
和GPU计算能力,使用深度学习的方法对注塑制品的表面图像进行识别,这种方法的优点在
于分类的准确率高、能处理的缺陷类型多,缺点在于对硬件要求较高,且极其依赖大量的数
据作为训练集,否则容易产生过拟合现象。
发明内容
集的每张图像进行缺陷类别的标注,对两个数据集的所有图像进行域信息标注,域信息指
对图像所属的数据集进行标注。
卷积层提取得到各个样本的第一特征图,第一特征图再输入到全连接层,全连接层输出每
一个样本对应的预测缺陷分类结果。
型。
域分类器和局部特征域分类器,第五池化层经第九卷积层、激活函数连接全局特征域分类
器,第五池化层经第四全连接层、激活函数连接到局部特征域分类器。
层输出全局特征图,第一特征图依次经第八卷积层、第五池化层和第四全连接层输出局部
缺陷特征图;将全局特征图和局部缺陷特征图分别输入到全局特征域分类器和局部特征域
分类器中进行训练得到预测域分类结果,根据预测域分类结果和域信息标注的结果得到全
局特征损失函数Limg和局部特征损失函数Lins,具体为:
Limg的计算公式如下:
目标域数据集的概率,h表示全局特征域分类器,Ii表示第 i张样本的全局特征图;
数Lins的计算公式如下:
特征图上的所有像素点之和。
失函数Limg、局部特征损失函数Lins和正则化损失函数Lre得到迁移损失函数L:
七卷积层、第一全连接层、第二全连接层和第三全连接层依次连接构成,样本输入到第一卷
积层,经第五卷积层提取并输出第一特征图,第一特征图再作为第三池化层的输入并通过
第三全连接层输出样本对应的预测缺陷分类结果。
损失函数,得到训练后的注塑制品表面缺陷分类模型。
如此,既避免了单一使用描述子可能丢失图像部分特征的问题,提升了准确率;又解决了深
度学习对大量训练数据的依赖,同时获得了具有较强泛化能力的学习模型,满足实际工业
应用的需求。
方法可以应用于不同类型的表面缺陷分类问题。
附图说明
具体实施方式
和全连接层3依次连接构成,样本输入到卷积层1,经卷积层5提取并输出第一特征图,第一
特征图再作为池化层3的输入并通过全连接层3输出样本对应的预测缺陷分类结果。
率P(C,B|I)。其中,I表示图像样本,B表示二分类的结果(是否为合格的注塑制品),C表示缺
陷的类别(用于多分类任务)。C∈{1,…,K},K表示缺陷的总类别数。在CNN模型中,图像I是
通过若干层卷积得到的特征图 (Feature Map)来表示的。同时将卷积层5的输出作为迁移
学习部分的输入。
致性正则化项关联起来。模型的左半部分为传统的CNN分类器,对于多分类问题可以采用
Softmax归一化指数损失函数训练,右半部分的两个层级的分类器将特征图共享,完成知识
的迁移。
层分别连接全局特征域分类器和局部特征域分类器,第五池化层经第九卷积层、激活函数
连接全局特征域分类器,第五池化层经第四全连接层、激活函数连接到局部特征域分类器。
别,对源域数据集的每张图像进行缺陷类别的标注,对两个数据集的所有图像进行域信息
标注,域信息指对图像所属的数据集进行标注;
中使用金属材质表面缺陷制品作为源域数据集,帮助CNN 模型识别注塑制品表面缺陷;源
域的数据集均已标记缺陷类别,目标域上的数据集未标记缺陷类别,且对所有的数据集标
注域信息。金属表面和注塑制品表面缺陷的分布存在偏移,不能直接当作训练样本使用,识
别效果差。但是,CNN 模型在两个不同的数据集上所得到的结果是一致的,即给定一张制品
的图片,不论图片来自哪个数据集,CNN分类的结果的可能类别一致。这是其他表面缺陷数
据集能够迁移到注塑制品表面缺陷识别任务的理论基础。
本对应的预测缺陷分类结果;
根据迁移损失函数将源域数据集作为知识迁移到步骤2中的CNN模型,优化迭代得到目标
CNN模型;
层输出全局特征图,第一特征图还依次经第八卷积层、第五池化层和第四全连接层输出局
部缺陷特征图;将全局特征图和局部缺陷特征图分别输入到全局特征域分类器和局部特征
域分类器中进行训练得到预测域分类结果,根据预测域分类结果和域信息标注的结果得到
全局特征损失函数Limg和局部特征损失函数Lins,具体为:
数Limg的计算公式如下:
目标域数据集的概率,h表示全局特征域分类器,Ii表示第 i张全局特征图。
失函数Lins的计算公式如下:
分类的输出概率(是指输出是源域数据集或目标域数据集的概率), g表示局部特征域分类
器,∑i,u,v表示第i张样本对应的局部缺陷特征图上的所有像素点之和。
Map)上而得到。由于缺乏边框的标注信息,本发明使用局部缺陷特征图上的所有像素点之
和来表示缺陷特征(局部特征)。
提高鲁棒性。
正则化损失函数Lre和Softmax归一化指数损失函数Lcls得到迁移损失函数L:
CNN模型,CNN模型各个层的参数包括权值参数和偏置参数。
示,无迁移模型的注塑制品表面缺陷分类的准确率为 61.22%,只使用全局图像域分类器
对注塑制品表面缺陷进行分类的准确率为 84.56%,只使用局部缺陷域分类器分类的准确
率为87.93%,同时使用全局图像域分类器和局部缺陷域分类器进行分类的准确率为
91.42%,融合全局图像域分类器和局部缺陷域分类器且通过正则约束的迁移模型,对注塑
制品表面缺陷进行分类的准确率达到93.70%。
发明可以将各种表面缺陷数据集作为目标任务的训练数据,通过迁移学习的方法,可以将
其他类型的表面缺陷数据集有效地利用起来,解决了样本缺乏的问题,使得数据使用更加
高效。
此,本发明的保护范围当视权利要求书所界定者为准。