一种基于卷积神经网络的不均衡缺陷样本的检测方法

摘要

本发明公开了一种基于卷积神经网络的不均衡缺陷样本的检测方法，包括如下步骤：（1）收集前期数据：收集两种类型的数据，一种是产品原始的缺陷数据，并制作训练集原始图像；第二种是生产环境中生产出的没有缺陷的数据，称为无缺陷数据，形成无缺陷图像；（2）制作原始缺陷数据的标签图像；（3）深度神经网络训练：（4）缺陷推理：对于实际生产环境中的一张新的图像，随机抽取多张无缺陷图像，每一张无缺陷图像与新的图像级联形成6通道输入，送入网络得到输出，投票得出最后的缺陷像素。本发明通过收集缺陷数据和无缺陷数据，即加入大量的无缺陷样本形成新的数据输入，从而提升了检测性能，可以处理一些新类型的缺陷。

权利要求

1.一种基于卷积神经网络的不均衡缺陷样本的检测方法，其特征在于，包括如下步骤：（1）收集前期数据：收集两种类型的数据，一种是产品原始的缺陷数据，并制作训练集原始图像；第二种是生产环境中生产出的没有缺陷的数据，称为无缺陷数据，形成无缺陷图像；

（2）制作原始缺陷数据的标签图像：使用图像标注工具标注任务目标中的特征，制作对应的标签图像；对于所述无缺陷数据，此步不做处理；

（3）深度神经网络训练：

（a）坐标修正：首先对所述标签图像进行位置修正，保证所有标签图像的中心像素点在采集时的绝对位置是一致的，同时将所有标签图像裁剪到相同大小；

（b）抽样形成神经网络输入：采用6通道输入，随机取两张标签图像，一张固定为无缺陷图像，另一张随机抽取有缺陷的标签图像或无缺陷图像，之后两张图像级联形成6通道输入；

最终得到训练好的模型；

（4）缺陷推理：利用步骤（3）中所述的训练好的模型，以及采集到的无缺陷图像进行推理，对于实际生产环境中的一张新的图像，随机抽取多张无缺陷图像，每一张无缺陷图像与新的图像级联形成6通道输入，送入网络得到输出，投票得出最后的缺陷像素；

所述步骤（3）中的（b）所述的级联形成6通道输入，具体为：采用第一张图像RGB通道和第二张图像RGB通道级联的方式形成6通道输入；或者，所述步骤（3）中的（b）所述的级联形成6通道输入，具体为：采用第一张图像R通道、第二张图像R通道、第一张图像G通道、第二张图像G通道、第一张图像B通道和第二张图像B通道级联的方式形成6通道输入。

2.根据权利要求1所述的检测方法，其特征在于：所述步骤（1）中，所述缺陷数据占总数据的比例为大于等于20%，所述无缺陷数据占总数据的比例为大于等于50%。

3.根据权利要求1所述的检测方法，其特征在于：所述步骤（1）中，所述缺陷数据和所述无缺陷数据的比例为1:3 5。

~

4.根据权利要求1所述的检测方法，其特征在于：所述步骤（1）中，使用摄影设备根据缺陷类型采集产品原始的缺陷数据，并制作训练集原始图像。

5.根据权利要求1所述的检测方法，其特征在于：所述步骤（3）中，所述神经网络采用resnet为主干网，利用空洞卷积以及ASPP结构扩大感受野，以适应不同大小、不同长短以及不同形状的各类缺陷。

6.根据权利要求1所述的检测方法，其特征在于：所述步骤（3）中的（a）坐标修正为：（1）将背景的像素值设置为255；

（2）对所有图像的长宽求均值，得到标准长宽值，将所有图像的长宽调整到此标准值；

（3）每一张图像的前景像素，都会有最上、最下、最左、最右四个边界像素，取所有图片的四个边界像素坐标值并分别求均值，以此四个均值坐标，确定一个矩形框，此矩形框即为前景的目标矩形框；

调整所有图像的前景像素，确保中心点落在矩形框中心点附近，并调整前景大小，使其完整落在此矩形框内，并保证最上、最下、最左、最右四个像素点落在矩形框对应边上。

7.根据权利要求1所述的检测方法，其特征在于：所述步骤（3）中的（b）抽样形成神经网络输入为：采取完全随机抽样从数据库中抽取一张无缺陷图像。

8.根据权利要求1所述的检测方法，其特征在于：所述步骤（3）中的（b）抽样形成神经网络输入为：利用一个预训练完成的分类神经网络，得到数据库所有图像的表达向量，当输入一张待检测图像时，首先将其送入此分类神经网络，得到待检测图像的表达向量，之后计算和数据库所有图像或者部分图像的表达向量，根据相似度选择图像。

说明书

一种基于卷积神经网络的不均衡缺陷样本的检测方法

技术领域

[0001] 本发明涉及缺陷检测识别技术领域，具体涉及一种基于卷积神经网络的不均衡缺陷样本的检测方法。

背景技术

[0002] 卷积神经网络（Convolutional Neural Networks，CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）。对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络。在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求。卷积神经网络长期以来是图像识别领域的核心算法之一，并在学习数据充足时有稳定的表现。对于一般的大规模图像分类问题，卷积神经网络可用于构建阶层分类器（hierarchical classifier），也可以在精细分类识别（fine-grained recognition）中用于提取图像的判别特征以供其它分类器进行学习。对于后者，特征提取可以人为地将图像的不同部分分别输入卷积神经网络，也可以由卷积神经网络通过非监督学习自行提取。

[0003] 目前，在缺陷检测领域，卷积神经网络得到了广泛应用，深度学习正在起到越来越重要的作用。例如中国发明专利申请CN109993094A公开了一种基于机器视觉的材料缺陷智能检测方法，步骤如下：1)数据采集模块实时采集显微镜设备的图像数据；2)用户通过用户界面模块或者手动配置待检测的代表材料缺陷的训练基础特征图片库；3)提取图像特征，进行图像优化，得到特征数据；4)对图像特征进行分类识别，对材料的多种缺陷类型特征分类训练；5)运用成熟的神经网络卷积算法，对提取的特征和分类进行多层网络迭代计算，得到关于材料的所有类型缺陷的特征结果和上下文数据；6)输出深度学习结果，并将该结果及其特征上下文数据用于壮大训练学习库，逐步提高对磁性材料裂纹问题的识别效率和准确率。该方法采用的是基于机器视觉的缺陷特征，不再完全依赖于专业检测机构或人工检测，缺陷特征库贯穿整个检测过程，不断迭代，不断提高检测效率；此外，其积累的缺陷数据将会形成一个缺陷特征数据库，从长远利益来讲，是本行业大数据的一个雏形。

[0004] 然而，上述方法存在如下缺点：（1）在一些实际生产环境中，缺陷类型是非常复杂和多变的，有一些缺陷很容易被收集，其数据量也很大，但另外有一些缺陷却很少很少，这些微小数量的缺陷在整体数据集中的比例就比较小，而正是因为其比例较小的原因，从而不能被模型很好的训练，导致这一类的缺陷可能无法被检测出来；（2）在实际生产中，通常是良品的比例较高，而缺陷产品的比例较低，因此，可采集的缺陷数据也比较少，针对这一实际问题，现有技术的做法是花费大量的时间收集缺陷数据（例如CN109993094A的方法），但这种方法耗时过于巨大，对于企业而言所需时间太长、成本太大。

[0005] 因此，开发一种新的可以快速投入使用的基于卷积神经网络的不均衡缺陷样本的检测方法，可以全面的检测各类缺陷（包括常见缺陷和不常见缺陷），从而避免投入大量的人力成本，提高效率。

发明内容

[0006] 本发明的发明目的是提供一种基于卷积神经网络的不均衡缺陷样本的检测方法。

[0007] 为达到上述发明目的，本发明采用的技术方案是：一种基于卷积神经网络的不均衡缺陷样本的检测方法，包括如下步骤：

[0008] （1）收集前期数据：收集两种类型的数据，一种是产品原始的缺陷数据，并制作训练集原始图像；第二种是生产环境中生产出的没有缺陷的数据，称为无缺陷数据，形成无缺陷图像；

[0009] （2）制作原始缺陷数据的标签图像：使用图像标注工具标注任务目标中的特征，制作对应的标签图像；对于所述无缺陷数据，此步不做处理；

[0010] （3）深度神经网络训练：

[0011] （a）坐标修正：首先对所述标签图像进行位置修正，保证所有标签图像的中心像素点在采集时的绝对位置是一致的，同时将所有标签图像裁剪到相同大小；

[0012] （b）抽样形成神经网络输入：采用6通道输入，随机取两张标签图像，一张固定为无缺陷图像，另一张随机抽取有缺陷的标签图像或无缺陷图像，之后两张图像级联形成6通道输入；

[0013] 最终得到训练好的模型；

[0014] （4）缺陷推理：利用步骤（3）中所述的训练好的模型，以及采集到的无缺陷图像进行推理，对于实际生产环境中的一张新的图像，随机抽取多张无缺陷图像，每一张无缺陷图像与新的图像级联形成6通道输入，送入网络得到输出，投票得出最后的缺陷像素。

[0015] 上文中，所述步骤（1）中，需要特别注意，两种数据在采集时，应尽量做到环境变量完全一致。此外，技术人员根据产品的生产情况确定可能出现的缺陷类型，采集人员使用摄影设备根据缺陷类型采集尽可能多样性的前期数据，并制作训练集原始图像。

[0016] 优选的，所述步骤（1）中，所述缺陷数据占总数据的比例为大于等于20%，所述无缺陷数据占总数据的比例为大于等于50%。优选的，所述缺陷数据占总数据的比例为大于等于30%，所述无缺陷数据占总数据的比例为大于等于60%。

[0017] 优选的，所述步骤（1）中，所述缺陷数据和所述无缺陷数据的比例为1:3 5。更优选~的，所述缺陷数据和所述无缺陷数据的比例为1:4。

[0018] 优选的，所述步骤（1）中，使用摄影设备根据缺陷类型采集产品原始的缺陷数据，并制作训练集原始图像。

[0019] 优选的，所述步骤（3）中，所述神经网络采用resnet为主干网，利用空洞卷积以及ASPP结构扩大感受野，以适应不同大小、不同长短以及不同形状的各类缺陷。

[0020] 优选的，所述步骤（3）中的（a）坐标修正为：

[0021] （1）将背景的像素值设置为255；

[0022] （2）对所有图像的长宽求均值，得到标准长宽值，将所有图像的长宽调整到此标准值；

[0023] （3）每一张图像的前景像素，都会有最上、最下、最左、最右四个边界像素，取所有图片的四个边界像素坐标值并分别求均值，以此四个均值坐标，确定一个矩形框，此矩形框即为前景的目标矩形框；

[0024] 调整所有图像的前景像素，确保中心点落在矩形框中心点附近，并调整前景大小，使其完整落在此矩形框内，并保证最上、最下、最左、最右四个像素点落在矩形框对应边上。

[0025] 优选的，所述步骤（3）中的（b）抽样形成神经网络输入为：采取完全随机抽样从数据库中抽取一张无缺陷图像。

[0026] 与之相应的另一种技术方案，所述步骤（3）中的（b）抽样形成神经网络输入为：利用一个预训练完成的分类神经网络，得到数据库所有图像的表达向量，当输入一张待检测图像时，首先将其送入此分类神经网络，得到待检测图像的表达向量，之后计算和数据库所有图像或者部分图像的表达向量，根据相似度选择图像。

[0027] 上述两种方案中，第一种方案适合于快速处理，第二种方案适合于精确处理。

[0028] 优选的，所述步骤（3）中的（b）所述的级联形成6通道输入，具体为：采用第一张图像RGB通道和第二张图像RGB通道级联的方式形成6通道输入。

[0029] 优选的，所述步骤（3）中的（b）所述的级联形成6通道输入，具体为：采用第一张图像R通道、第二张图像R通道、第一张图像G通道、第二张图像G通道、第一张图像B通道和第二张图像B通道级联的方式形成6通道输入。

[0030] 由于上述技术方案运用，本发明与现有技术相比具有下列优点：

[0031] 1，本发明通过收集缺陷数据和无缺陷数据，即加入大量的无缺陷样本形成新的数据输入，从而提升了检测性能，可以处理一些新类型的缺陷，而这种新类型的缺陷在现有的检测方法（例如CN109993094A的方法）中是无法被检查出来的；

[0032] 2，本发明同时采用了缺陷数据和无缺陷数据，并进行密集对比，因此不需要很多的缺陷数据样本，解决了现有技术中需要花费大量的时间收集缺陷数据带来的时间和成本问题，不仅可以快速实现应用，而且模型推理能力强，只需要少量调整即可适应不同产品检测的需求；

[0033] 3，本发明采用6通道输入抽样形成神经网络输入，此方法无需对缺陷分门别类，只需要让模型关注什么是缺陷、什么不是缺陷，从而对于缺陷样本不均衡的情况甚至缺陷样本从未出现的情况有很好的自适应能力；

[0034] 4，本发明每增加一个缺陷样本，模型即可增加大量的训练样本，避免了投入大量的人力成本进行数据标注工作；

[0035] 5，本发明的方法简单易行，成本较低，适于推广应用。

附图说明

[0036] 图1是本发明实施例一的原理图。

具体实施方式

[0037] 下面结合附图及实施例对本发明作进一步描述：

[0038] 实施例一：

[0039] 参见图1所示，一种基于卷积神经网络的不均衡缺陷样本的检测方法，包括如下步骤：

[0040] （1）收集前期数据：需要收集两种类型数据：一种是产品原始的缺陷数据，技术人员根据产品的生产情况确定可能出现的缺陷类型，采集人员使用摄影设备根据缺陷类型采集尽可能多样性的前期数据，并制作训练集原始图像；

[0041] 第二种是生产环境中生产出的没有缺陷的数据，此数据可大量采集；需要特别注意，两种数据在采集时，应尽量做到环境变量完全一致；

[0042] 具体的，上述缺陷数据占总数据的比例为30%，所述无缺陷数据占总数据的比例为70%；

[0043] （2）制作原始缺陷数据的标签图像：使用图像标注工具制作对应的标签图像，需标注任务目标中的特征；对于所述无缺陷数据，此步不做处理；

[0044] （3）深度神经网络训练：

[0045] （a）坐标修正：首先对采集到的图像进行位置修正，保证所有图像中心像素点的在采集时的绝对位置是一致的，同时将所有图像裁剪到相同大小；

[0046] （b）抽样形成神经网络输入，不同于传统网络的3通道或者单通道输入，该神经网络采用6通道输入，具体而言，随机取两张图像，一张固定为没有缺陷图像，另一张随机抽取有缺陷或者没有缺陷图像，之后两张图像级联形成6通道输入；

[0047] 形成的6通道输入因为不区分特定缺陷类型，即可解决不同缺陷数据不均衡的问题；深度神经网络采用resnet为主干网，利用空洞卷积以及ASPP结构扩大感受野，从而适应不同大小，不同长短以及不同形状的各类缺陷；每增加一张有缺陷图像，即可增加大量6通道输入，在大量降低人力成本的同时，大幅增加训练样本，从而帮助提升模型性能；

[0048] （4）缺陷推理：利用（3）中训练好的模型，以及采集到的无缺陷图像进行推理，对于实际生产环境中的一张新的图像，随机抽取多张无缺陷图像，每一张无缺陷图像与新的图像级联形成6通道输入，送入网络得到输出，投票得出最后的缺陷像素。

[0049] 所述步骤（3）中的（a）坐标修正为：首先采集大量图像数据，确保背景为纯白（像素值=255）；对所有图像的长宽求均值得到标准长宽值，将所有图像的长宽调整到此标准值；之后，每一张图像的前景像素，都会有最上、最下、最左、最右四个边界像素，取所有图片的四个边界像素坐标值并分别求均值，以此四个均值坐标，确定一个矩形框，此矩形框即为前景的目标矩形框；调整所有图像的前景像素，确保中心点落在矩形框中心点附近，并调整前景大小，确保其可以完整落在此矩形框内，尽量保证最上、最下、最左、最右四个像素点落在矩形框对应边上。

[0050] 抽样器技术细节：抽样器有两种方案做选择。第一，采取完全随机抽样从数据库中抽取一张无缺陷图片。第二，利用一个预训练完成的分类神经网络，得到数据库所有图像的表达向量（经过全局池化层之后的特征向量），当输入一张待检测图像时，首先将其送入此分类神经网络，得到待检测图像的表达向量，之后计算和数据库所有图像或者部分图像的表达向量，根据相似度选择图像。第一种方案适合于快速处理，第二种方案适合于精确处理。

[0051] 多通道融合器技术细节：两种解决方案，第一，采用“第一张图像RGB通道+第二张图像RGB通道”级联的方式；第二，采用“第一张图像R通道+第二张图像R通道+第一张图像G通道+第二张图像G通道+第一张图像B通道+第二张图像B通道”级联的方式。

[0052] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对上述实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的上述实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。