一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，涉及及工业自动化、人工智能及机器视觉领域。本发明是为了解决现有的卫浴陶瓷缺陷检测方法无法在满足检测准确率需求的同时满足检测速度需求的问题。本发明包括：将待检测的卫浴陶瓷图像输入到训练好的缺陷定位网络中获取待检测的卫浴陶瓷热图，并利用待检测的卫浴陶瓷热图提取待检测的缺陷定位结果；所述缺陷定位网络包括：缺陷定位网络的前级特征提取网络、多层卷积网络；所述缺陷定位网络的前级特征提取网络采用MobileNetV3的骨干网络；将获得的待检测的缺陷定位结果输入到训练好的缺陷分类网络中获得缺陷检测结果。本发明用于检测卫浴陶瓷是否有缺陷。
1.一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，其特征在于所述方法具体过程为：步骤一、将待检测的卫浴陶瓷图像输入到训练好的缺陷定位网络中获取待检测的卫浴陶瓷热图，并利用待检测的卫浴陶瓷热图提取待检测的缺陷定位结果；
所述缺陷定位网络包括：缺陷定位网络的前级特征提取网络、多层卷积网络；
所述缺陷定位网络的前级特征提取网络采用MobileNetV3的骨干网络；
步骤一一、将有缺陷的卫浴陶瓷图像输入到缺陷定位网络中获得卫浴陶瓷热图；
所述有缺陷的卫浴陶瓷图像输入到缺陷定位网络中获得的卫浴陶瓷热图尺寸大小为输入的有缺陷的卫浴陶瓷图像大小的1/32；
步骤一二、利用步骤一一获取的卫浴陶瓷热图和卫浴陶瓷热图训练标签训练缺陷定位网络，获得训练好的缺陷定位网络；
所述卫浴陶瓷热图训练标签为：与卫浴陶瓷热图大小一致的、缺陷中心所在位置元素值为1的二维矩阵；
所述训练好的缺陷定位网络利用FocalLoss损失函数训练，所述FocalLoss损失函数表达式如下：其中，m为每个卫浴陶瓷热图训练标签中含有的正样本数量，Lneg为负样本的损失和，Lpos为正样本的损失和；
所述正样本为标签中取值为1的元素，所述负样本为标签中取值不是1的元素；
步骤二、将步骤一获得的待检测的缺陷定位结果输入到训练好的缺陷分类网络中获得缺陷检测结果；
所述缺陷分类网络包括：缺陷分类网络的前级特征提取网络、池化算子、两个全连接层，softmax函数；
所述缺陷分类网络的前级特征提取网络采用MobileNetV3的骨干网络；
所述两个全连接层分别为：包含1280个神经元的全连接层、神经元数目为n的全连接层；
所述池化算子与缺陷分类网络的前级特征提取网络输出的特征图尺寸相同；
2.根据权利要求1所述的一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，其特征在于：所述MobileNetV3的骨干网络包括：一个先导卷积操作、一个bneck结构、一个尾部的卷积操作。
3.根据权利要求2所述的一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，其特征在于：所述一个先导卷积操作包括：卷积层、数据归一化层、hswish激活层；
所述卷积层输入图像的通道数量3；输出特征图的通道数量为16；
所述一个bneck结构包括：十五个block组件；
所述十五个block组件中每个block组件是由三层纺锥形卷积操作模块构成；
所述一个尾部的卷积操作包括：160*960的卷积、数据归一化、hswish激活。
4.根据权利要求3所述的一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，其特征在于：所述步骤一中的多层卷积网络中卷积网络层数为3，卷积核的尺寸分别为：960*256、
5.根据权利要求4所述的一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，其特征在于：所述Lneg表达式如下：其中，pi是网络判定样本为负样本的概率，i是负样本的编号；
Lpos＝∑i'‑pi'log(1‑pi') (3)式中，a为难易样本平衡参数，pi'为网络判定样本为正样本的概率，i'是正样本的编号。
6.根据权利要求5所述的一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，其特征在于：所述步骤一中将待检测的卫浴陶瓷图像输入到训练好的缺陷定位网络中获取待检测的卫浴陶瓷热图，并利用待检测的卫浴陶瓷热图提取待检测的缺陷定位结果，包括以下步骤：将待检测的卫浴陶瓷图像输入到训练好的缺陷定位网络中获取待检测的卫浴陶瓷热图；并将获取的待检测的卫浴陶瓷热图与缺陷判定阈值比较，待检测的卫浴陶瓷热图中大于缺陷判定阈值的元素即为待检测陶瓷图像中的缺陷中心所处的位置，以缺陷中心作为待检测ROI区域的中心，根据缺陷的常见尺寸确定待检测ROI区域的尺寸，创建待检测ROI区域的图像副本，并对待检测ROI区域的图像副本进行缩放，缩放后的待检测ROI区域的图像副本即待检测的缺陷定位结果。
7.根据权利要求6所述的一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，其特征在于：所述步骤二中训练好的缺陷分类网络，通过以下方式获得：首先，将有缺陷的卫浴陶瓷图像输入到训练好的缺陷定位网络中获得有缺陷的卫浴陶瓷图像热图，并根据有缺陷的卫浴陶瓷热图提取缺陷定位结果；
然后，利用获得的缺陷定位结果和缺陷标签训练缺陷分类网络，获得训练好的缺陷分类网络；
8.根据权利要求7所述的一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，其特征在于：所述训练好的缺陷分类网络根据如下损失函数训练获得：其中，N为输入的ROI区域的图像副本总数，yj为第j个缺陷的one‑hot标签，qj为缺陷分类网络的输出向量。
一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法
技术领域
[0001] 本发明涉及工业自动化、人工智能及机器视觉领域，特别涉及一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法。
背景技术
[0002] 现代社会中，使用瓷砖是对建筑进行装饰是常见的装饰方法，高品位的房屋建筑往往会使用更高级的瓷砖，而卫生间则使用不同于其他瓷砖的卫浴瓷砖。然而，随着瓷砖行业的兴起，人们对瓷砖的质量要求也越来越高，面对行业内的竞争，瓷砖行业也受到了更多的压力。产品质量检测是每条生产线都必不可少的环节，随着人工智能和机器视觉技术的发展，基于机器视觉形式和人工智能方法的自动化检测技术正在逐步应用于智能制造产业。因此将机器视觉形式和人工智能方法应用于瓷砖缺陷的检测，成为本领域的研究重点。
[0003] 目前的瓷砖检测方法主要采用单阶段检测方法和两阶段检测方法。常规的单阶段检测方法虽然拥有较高的检测速度，但对于卫浴陶瓷质量检测这类对典型缺陷检测准确度要求较高的应用场景，其检测准确度难以满足需求；而常规的两阶段方法虽然有较好的检测准确度，但检测速度较低又成为制约其应用的瓶颈。所以一种既能满足检测准确度需求，又能兼顾检测速度的方法是突破机器视觉在卫浴陶瓷自动化检测应用瓶颈的关键所在。
发明内容
[0004] 本发明目的是为了解决现有的卫浴陶瓷缺陷检测方法无法在满足检测准确率需求的同时满足检测速度需求的问题，而提出了一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法。
[0005] 一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，具体过程为：
[0006] 步骤一、将待检测的卫浴陶瓷图像输入到训练好的缺陷定位网络中获取待检测的卫浴陶瓷热图，并利用待检测的卫浴陶瓷热图提取待检测的缺陷定位结果；
[0007] 所述缺陷定位网络包括：缺陷定位网络的前级特征提取网络、多层卷积网络；
[0008] 所述缺陷定位网络的前级特征提取网络采用MobileNetV3的骨干网络；
[0009] 步骤二、将步骤一获得的待检测的缺陷定位结果输入到训练好的缺陷分类网络中获得缺陷检测结果；
[0010] 所述缺陷分类网络包括：缺陷分类网络的前级特征提取网络、池化算子、两个全连接层，softmax函数；
[0011] 所述缺陷分类网络的前级特征提取网络采用MobileNetV3的骨干网络；
[0012] 所述两个全连接层分别为：包含1280个神经元的全连接层、神经元数目为n的全连接层；
[0013] 所述池化算子与缺陷分类网络的前级特征提取网络输出的特征图尺寸相同；
[0014] 其中，n是缺陷类型数。
[0015] 本发明的有益效果为：
[0016] 本发明采用两阶段的检测策略，使用具有轻量化参数的MobileNet作为骨干网络，分别构造了缺陷定位网络和缺陷分类网络。由于本发明将定位任务和分类任务分离，相较于传统的one‑stage检测方法具有更好的检测效果，能够满足实际生产线质检环节的检测准确度需求；由于采用轻量化参数的骨干网络，且执行缺陷定位与缺陷分类的两个网络分离，可以采用流水线运行策略，即定位网络在完成当前样本的缺陷定位任务后即可执行下一个样本的缺陷定位，而无需等待缺陷分类网络完成分类任务，因此具有更高的检测速度。因此本发明可以在满足卫浴陶瓷检测准确率需求的同时满足检测速度的需求。
附图说明
[0017] 图1为基于两阶段MobileNet的卫浴陶瓷缺陷检测方法模型示意图。
具体实施方式
[0018] 具体实施方式一：本实施方式一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法，包括以下步骤：
[0019] 步骤一、构建并训练缺陷定位网络，获得训练好的缺陷定位网络，包括以下步骤：
[0020] 步骤一一、构建缺陷定位网络(如图1)：
[0021] 所述缺陷定位网络包括：缺陷定位网络的前级特征提取网络、三层卷积网络；
[0022] 所述缺陷定位网络的前级特征提取网络采用MobileNetV3的骨干网络；
[0023] 所述MobileNetV3的骨干网络包括：一个先导卷积操作(3*16的卷积、数据归一化、hswish激活)、一个bneck结构(包含十五个block组件，每个block组件由三层纺锥形卷积操作模块构成)以及一个尾部的卷积操作(160*960的卷积、数据归一化、hswish激活)；
[0024] 所述三层卷积网络的卷积核尺寸分别为：960*256、256*256、256*1；
[0025] 所述3*16的卷积中，3为输入图像的通道数量；16为输出特征图的通道数量；
[0026] 步骤一二、将有缺陷的卫浴陶瓷图像输入到步骤一一构建的缺陷定位网络中获得卫浴陶瓷热图；
[0027] 所述有缺陷的卫浴陶瓷图像输入到缺陷定位网络中获得的卫浴陶瓷热图尺寸大小为输入的有缺陷的卫浴陶瓷图像大小的1/32；
[0028] 步骤一三、利用步骤一二获取的有缺陷的卫浴陶瓷热图和卫浴陶瓷热图的训练标签训练步骤一一构建的缺陷定位网络，获得训练好的缺陷定位网络；
[0029] 所述卫浴陶瓷热图的训练标签是与有缺陷的卫浴陶瓷热图大小一致的、缺陷中心所在位置元素值为1的二维矩阵；
[0030] 考虑到正负样本的不均衡性和难易样本的不均衡性，网络训练过程中采用了改进的FocalLoss，其表达式为：
[0031]
[0032] 其中，m为每个卫浴陶瓷热图训练标签中含有的正样本数量，Lneg为负样本的损失和，Lneg表达式为：
[0033]
[0034] 其中，pi是网络判定样本为负样本的概率，i是负样本的编号；
[0035] Lpos为正样本的损失和，Lpos表达式为：
[0036] Lpos＝∑i'‑pi'alog(1‑pi') (3)
[0037] 式中，a为难易样本平衡参数，实验发现该参数取2时最优；pi'为网络判定样本为正样本的概率，i'是正样本的编号；
[0038] 所述正样本为标签中取值为1的元素，所述负样本为标签中取值不是1的元素。
[0039] 步骤二、将有缺陷的卫浴陶瓷图像输入到训练好的缺陷定位网络中获取有缺陷的卫浴陶瓷热图，并根据有缺陷的卫浴陶瓷热图提取缺陷定位结果，包括以下步骤：
[0040] 所述有缺陷的卫浴陶瓷图像输入到训练好的缺陷定位网络中获取的有缺陷的卫浴陶瓷热图尺寸大小为输入的有缺陷的卫浴陶瓷图像的1/32；
[0041] 将有缺陷的卫浴陶瓷图像输入到训练好的缺陷定位网络中获取有缺陷的卫浴陶瓷热图，将获取的有缺陷的卫浴陶瓷热图与缺陷判定阈值比较，有缺陷的卫浴陶瓷热图中大于缺陷判定阈值的元素即为有缺陷的卫浴陶瓷图像中的缺陷中心所处的位置，以缺陷中心作为ROI区域的中心，根据缺陷的常见尺寸确定ROI区域的尺寸，创建ROI区域的图像副本，然后对ROI区域的图像副本进行适当缩放，使其满足第二阶段缺陷分类网络的输入图像尺寸要求(试验时的尺寸为416*416，可根据网络进行调整)，缩放后的ROI区域的图像副本即缺陷定位结果。
[0042] 步骤三、构建缺陷分类网络，并利用步骤二获得的缺陷定位结果训练缺陷分类网络，获得训练好的缺陷分类网络，包括以下步骤：
[0043] 步骤三一、构建缺陷分类网络(如图1)：
[0044] 所述缺陷分类网络包括：缺陷分类网络的前级特征提取网络、池化算子、两个全连接层，softmax函数；
[0045] 所述缺陷分类网络的前级特征提取网络采用MobileNetV3的骨干网络，包括：先导卷积、bneck结构和一个尾部的卷积；(与步骤一一所述的MobileNetV3的骨干网络相同)[0046] 所述前级特征提取网络用于ROI区域副本的特征图，为了降低参数量，池化算子与缺陷分类网络的前级特征提取网络输出特征图尺寸相同(长度和宽度)，池化算子将特征图转化为1*1*960的一维向量，后面紧接一个包含1280个神经元的全连接层，以及一个神经元数目为n的全连接层，最后以softmax函数输出最终的分类结果，其中n为缺陷定位结果中缺陷的类别数；
[0047] 步骤三二、利用步骤二获得的缺陷定位结果和缺陷标签训练缺陷分类网络，获得训练好的缺陷分类网络：
[0048] 所述缺陷标签为n维one‑hot向量；
[0049] 训练过程中使用的损失函数则为经典的多分类交叉熵损失函数，其表达式为：
[0050]
[0051] 其中，N为输入的缺陷总数即输入的ROI区域副本总数，yj为第j个缺陷的one‑hot标签，qj为缺陷分类网络的输出向量。
[0052] 其中，N的值是人工设定的，根据N的值向缺陷分类网络中分批输入ROI区域副本；每个RIO区域图像副本上仅有一个缺陷，因此缺陷总数即为ROI区域的图像副本总数。
[0053] 步骤四、获取待检测的卫浴陶瓷图像，将待检测的卫浴陶瓷图像输入到训练好的缺陷定位网络中获取待检测的卫浴陶瓷热图，并利用待检测的卫浴陶瓷热图提取待检测的缺陷定位结果：
[0054] 将待检测的卫浴陶瓷图像输入到训练好的缺陷定位网络中获取待检测的卫浴陶瓷热图；并将获取的待检测的卫浴陶瓷热图与缺陷判定阈值比较，待检测的卫浴陶瓷热图中大于缺陷判定阈值的元素即为待检测陶瓷图像中的缺陷中心所处的位置，以缺陷中心作为待检测的ROI区域中心，根据缺陷的常见尺寸确定待检测的ROI区域的尺寸，创建待检测的ROI区域的图像副本，对待检测的ROI区域的图像副本进行缩放，缩放后的待检测的ROI区域的图像副本即待检测缺陷定位结果；
[0055] 所述缺陷判定阈值根据经验获得。
[0056] 步骤五、将步骤四获得的待检测的缺陷定位结果输入到训练好的缺陷分类网络中获得缺陷检测结果；
[0057] 实施例：
[0058] 本实施例采用卫浴陶瓷生产现场采集的缺陷样本进行方法的有效性测试。其中缺陷类型及其样本数量如表1所示，样本的尺寸为960万像素。测试过程中，使用60％的原始数据构建训练集，剩余40％的原始数据作为测试集，检测准确率计算式如下：
[0059]
[0060] 测试结果如表2所示。平均检测帧率达到了18FPS。
[0061] 表1缺陷数据统计表
[0062]
[0063] 表2缺陷检测准确率统计表
[0064]
[0065] 可见，针对卫浴陶瓷缺陷，本发明不仅拥有较高的检测准确率，其检测速度也可以满足生产现场的需求。
