基于弱监督神经网络的钢板表面缺陷检测方法

摘要

本发明涉及神经网络技术领域，具体涉及一种基于弱监督神经网络的钢板表面缺陷检测方法。该方法通过少量人为标注的标注图像进行初始语义分割网络训练，实现强监督训练过程。进一步利用第二训练数据对初始语义分割网络继续训练，实现弱监督训练过程。通过损失函数利用强监督训练的第一分割结果引导弱监督训练，使重训练语义分割网络能够学习准确的分割结果和特征分布，从而实现简易训练的同时提高精准度。本发明利用人工智能优化操作系统优化语义分割网络的训练过程，通过包含语义分割网络的计算机视觉软件识别待检测钢板表面图像，实现了对钢板表面缺陷的识别检测。

权利要求

1.一种基于弱监督神经网络的钢板表面缺陷检测方法，其特征在于，所述方法包括：获得大量钢板表面图像；在所述钢板表面图像中人为标注缺陷像素点，获得少量标注图像；以所述钢板表面图像和所述标注图像作为第一训练数据训练初始语义分割网络；所述初始语义分割网络输入为所述钢板表面图像，输出为第一分割结果；

获取所述钢板表面图像的缺陷二值图，以所述缺陷二值图和所述钢板表面图像作为第二训练数据重训练所述初始语义分割网络，获得重训练语义分割网络；所述重训练语义分割网络的输出为第二分割结果，整体损失函数包括引导损失函数、判断损失函数和常规损失函数；所述引导损失函数利用所述第一训练数据和第二训练数据的数据量比值和所述第一分割结果引导所述第二分割结果；所述判断损失函数通过所述第一分割结果对应的第一特征与所述第二分割结果对应的第二特征的分布信息差异约束网络损失；根据所述重训练语义分割网络的迭代次数调整所述引导损失函数和所述判断损失函数；

将待检测钢板表面图像输入所述重训练语义分割网络中，输出钢板表面缺陷分割图像；

所述引导损失函数利用所述第一训练数据和第二训练数据的数据量比值和所述第一分割结果引导所述第二分割结果包括：其中， 为所述引导损失函数，为所述数据量比值， 为所述第一分割结果， 为所述第二分割结果；

所述根据所述重训练语义分割网络的迭代次数调整所述引导损失函数和所述判断损失函数包括：其中，为所述整体损失函数，为所述迭代次数， 为所述判断损失函数， 为所述引导损失函数， 为所述常规损失函数。

2.根据权利要求1所述的一种基于弱监督神经网络的钢板表面缺陷检测方法，其特征在于，所述获取所述钢板表面图像的缺陷二值图包括：将所述钢板表面图像转换为灰度图，根据大津阈值算法处理所述灰度图，获得所述缺陷二值图。

3.根据权利要求1所述的一种基于弱监督神经网络的钢板表面缺陷检测方法，其特征在于，所述缺陷二值图和所述钢板表面图像作为第二训练数据重训练所述初始语义分割网络包括：所述初始语义分割网络包括初始编码器和初始解码器，将所述第二训练数据输入所述初始编码器中进行特征提取并根据所述整体损失函数继续更新所述初始编码器获得所述重训练语义分割网络。

4.根据权利要求3所述的一种基于弱监督神经网络的钢板表面缺陷检测方法，其特征在于，获得所述第一分割结果对应的所述第一特征的分布信息包括：所述初始语义分割网络的所述初始解码器提取所述第一训练数据的特征张量作为所述第一特征；利用密度聚类算法处理所有所述第一特征，以聚类过程的第一聚类方向信息作为所述第一特征的所述分布信息。

5.根据权利要求1所述的一种基于弱监督神经网络的钢板表面缺陷检测方法，其特征在于，所述常规损失函数选用交叉熵损失函数。

说明书

基于弱监督神经网络的钢板表面缺陷检测方法

技术领域

[0001] 本发明涉及神经网络技术领域，具体涉及一种基于弱监督神经网络的钢板表面缺陷检测方法。

背景技术

[0002] 钢铁产业作为我国支柱产业之一，钢铁产品质量检测精度要求越来越严格。其中钢板产品为钢铁产品中占比较大的产品类别，钢板的表面质量缺陷包括夹渣、气泡、裂纹、疵点等缺陷。钢板表面缺陷在图像中可呈现明显的特征，因此可利用图像特征快速识别钢板表面缺陷。

[0003] 在现有技术中，为了实现精度高且自动化的钢板缺陷检测，采集到钢板表面图像后，利用语义分割神经网络识别图像中的缺陷区域，输出包含缺陷区域的语义分割结果。但是训练语义分割神经网络的标签数据获取较为困难，若仅粗略运用像素阈值分割的二值结果作为训练数据标签，容易使网络检测准确度下降；人为标注标签费时费力，成本较高。

发明内容

[0004] 为了解决上述技术问题，本发明的目的在于提供一种基于弱监督神经网络的钢板表面缺陷检测方法，所采用的技术方案具体如下：

[0005] 本发明提出了一种基于弱监督神经网络的钢板表面缺陷检测方法，所述方法包括：

[0006] 获得大量钢板表面图像；在所述钢板表面图像中人为标注缺陷像素点，获得少量标注图像；以所述钢板表面图像和所述标注图像作为第一训练数据训练初始语义分割网络；所述初始语义分割网络输入为所述钢板表面图像，输出为第一分割结果；

[0007] 获取所述钢板表面图像的缺陷二值图，以所述缺陷二值图和所述钢板表面图像作为第二训练数据重训练所述初始语义分割网络，获得重训练语义分割网络；所述重训练语义分割网络的输出为第二分割结果，整体损失函数包括引导损失函数、判断损失函数和常规损失函数；所述引导损失函数利用所述第一训练数据和第二训练数据的数据量比值和所述第一分割结果引导所述第二分割结果；所述判断损失函数通过所述第一分割结果对应的第一特征与所述第二分割结果对应的第二特征的分布信息差异约束网络损失；根据所述重训练语义分割网络的迭代次数调整所述引导损失函数和所述判断损失函数；

[0008] 将待检测钢板表面图像输入所述重训练语义分割网络中，输出钢板表面缺陷分割图像。

[0009] 进一步地，所述获取所述钢板表面图像的缺陷二值图包括：

[0010] 将所述钢板表面图像转换为灰度图，根据大津阈值算法处理所述灰度图，获得所述缺陷二值图。

[0011] 进一步地，所述缺陷二值图和所述钢板表面图像作为第二训练数据重训练所述初始语义分割网络包括：

[0012] 所述初始语义分割网络包括初始编码器和初始解码器，将所述第二训练数据输入所述初始编码器中进行特征提取并根据所述整体损失函数继续更新所述初始编码器获得所述重训练语义分割网络。

[0013] 进一步地，所述引导损失函数利用所述第一训练数据和第二训练数据的数据量比值和所述第一分割结果引导所述第二分割结果包括：

[0014]

[0015] 其中， 为所述引导损失函数，为所述数据量比值， 为所述第一分割结果，为所述第二分割结果。

[0016] 进一步地，获得所述第一分割结果对应的所述第一特征的分布信息包括：

[0017] 所述初始语义分割网络的所述初始解码器提取所述第一训练数据的特征张量作为所述第一特征；利用密度聚类算法处理所有所述第一特征，以聚类过程的第一聚类方向信息作为所述第一特征的所述分布信息。

[0018] 进一步地，所述常规损失函数选用交叉熵损失函数。

[0019] 进一步地，所述根据所述重训练语义分割网络的迭代次数调整所述引导损失函数和所述判断损失函数包括：

[0020]

[0021] 其中，为所述整体损失函数，为所述迭代次数， 为所述判断损失函数， 为所述引导损失函数， 为所述常规损失函数。

[0022] 本发明具有如下有益效果：

[0023] 本发明实施例利用人为标注的标注图像进行初始网络训练，获得初始语义分割网络。初始语义分割网络为精准标签图像实现的强监督训练过程，但是因为标注图像较少，网络的准确度不足。进一步利用第二训练数据继续对初始语义分割网络进行重训练参数更新，第二训练数据中确实精准的缺陷标注，对应的训练过程为弱监督训练过程。利用引导损失函数和判断损失函数使弱监督训练过程和强监督训练过程之间进行互相验证，通过整体损失函数的约束提高重训练语义分割网络的泛化能力和分割精度。本发明实施例利用人工智能优化操作系统优化语义分割网络的训练过程，通过包含语义分割网络的计算机视觉软件识别待检测钢板表面图像，实现了对钢板表面缺陷的识别检测。

附图说明

[0024] 为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

[0025] 图1为本发明一个实施例所提供的一种基于弱监督神经网络的钢板表面缺陷检测方法流程图。

具体实施方式

[0026] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于弱监督神经网络的钢板表面缺陷检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

[0027] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

[0028] 下面结合附图具体的说明本发明所提供的一种基于弱监督神经网络的钢板表面缺陷检测方法的具体方案。

[0029] 请参阅图1，其示出了本发明一个实施例提供的一种基于弱监督神经网络的钢板表面缺陷检测方法流程图，该方法包括：

[0030] 步骤S1：获得大量钢板表面图像；在钢板表面图像中人为标注缺陷像素点，获得少量标注图像；以钢板表面图像和标注图像作为第一训练数据训练初始语义分割网络。

[0031] 本发明实施例旨在通过优化网络训练过程的复杂度，因此为了顺利执行网络训练过程需要采集大量的钢板表面图像作为数据库。需要说明的是，数据库中的钢板表面图像均为同一参数下的相机拍摄到的图像，且都经过图像预处理操作，避免噪声及环境的影响，使其仅包括钢板表面信息。图像预处理操作为本领域技术人员熟知的技术手段，在此不做限定。

[0032] 在缺陷识别的语义分割网络中，常常将缺陷区域像素点标记为1，正常区域像素点标记为0。因为一张图像中包含大量像素点信息，因此人为的图像标注工作费时费力。为了使网络训练过程方便快速，本发明实施例仅利用少量标注图像和钢板表面图像作为第一训练数据训练初始语义分割网络，因为初始语义分割网络中标注图像数据量较少，因此初始语义分割网络输出的第一分割结果的准确度并没有达到要求。

[0033] 在本发明实施例中，初始语义分割网络采用编码‑解码结构，将第一训练数据归一化后输入至网络中。初始编码器用于提取输入数据的特征，获得特征图。初始解码器将特征图进行采样变换，输出语义分割结果。采样交叉熵损失函数对网络进行训练。

[0034] 步骤S2：获取钢板表面图像的缺陷二值图，以缺陷二值图和钢板表面图像作为第二训练数据重训练初始语义分割网络，获得重训练语义分割网络；重训练语义分割网络的输出为第二分割结果，整体损失函数包括引导损失函数、判断损失函数和常规损失函数；引导损失函数利用第一训练数据和第二训练数据的数据量比值和第一分割结果引导第二分割结果；判断损失函数通过第一分割结果对应的第一特征与第二分割结果对应的第二特征的分布信息差异约束网络损失；根据重训练网络的迭代次数调整引导损失函数和判断损失函数。

[0035] 因为缺陷信息在图像中与正常区域存在较大的像素值差异，因此可利用像素值差异粗略获得包含缺陷分布信息的缺陷二值图，具体包括：

[0036] 将钢板表面图像转换为灰度图，根据大津阈值算法处理灰度图，获得缺陷二值图。在本发明实施例中，灰度图转换公式包括： ，其中，为灰度图
中的灰度值， 、、 为钢板表面图像三个通道的通道值， 、 、 为三个通道对应的权重，在本发明实施例中 , , 。

[0037] 缺陷二值图中白色区域为缺陷区域，黑色区域为无缺陷区域。以缺陷二值图和钢板表面图像作为第二训练数据重训练初始语义分割网络，获得重训练语义分割网络。

[0038] 缺陷二值图表示缺陷区域的形状分布信息，但因为阈值分割算法的误差，缺陷二值图表征的缺陷信息并没有人为标注的标注图像准确，但是缺陷二值图的数据量较大，可利用标注图像对应的第一分割结果去引导重训练语义分割网络中的第二分割结果。因此在初始语义分割网络的基础上，利用第二训练数据继续参与初始编码器的训练，初始编码器对第二训练数据进行特征提取并利用整体损失函数继续更新参数，获得重训练语义分割网络。

[0039] 因为初始编码器经过了第一训练数据和第二训练数据的共同训练，则第二分割结果应尽可能的与第一分割结果相同。但是随着第二训练数据的增加，第一分割结果与第二分割结果之间会存在误差，并不会完全相同，因此在整体损失函数中设置引导损失函数，用于利用强监督学习的第一分割结果引导弱监督的第二分割结果，使第二分割结果在初始迭代过程中能够与第一分割结果相对应且在后续迭代过程中与第一分割结果存在误差。利用第一训练数据和第二训练数据的数据量比值和第一分割结果引导第二分割结果，具体包括：

[0040]

[0041] 其中， 为引导损失函数，为数据量比值， 为第一分割结果， 为第二分割结果。

[0042] 因为引导损失函数中引入了第一训练数据与第二训练数据的数据量比值，因此当第二训练数据较少第一训练数据较多时，第一分割结果与第二分割结果应尽可能一致才足以使函数收敛；当第二训练数据逐渐增多时，此时因为网络参数经过了进一步的优化，第二分割结果相较于第一分割结果更为准确，则需要允许两个结果存在误差，才能满足收敛。例如，当第一训练数据较多时，如果第一分割结果与第二分割结果对应的标签值均为0，则数据量比值越大引导损失越小，函数越收敛；如果第一分割结果为1，第二分割结果为0，则数据量比值越大引导损失越大，函数越不收敛。当第二训练数据较多时，如果第一分割结果与第二分割结果对应的标签值均为0，则数据量比值越小引导损失越大，函数越不收敛；如果第一分割结果为1，第二分割结果为0，则数据量比值越小引导损失越小，函数越收敛。

[0043] 因为第一分割结果对应的第一训练数据和第二分割结果对应的第二训练数据都经过初始编码器的特征提取，因此构建判断损失函数用于判断第二分割结果对应的第二特征分布信息与第一分割结果对应的第一特征的分布信息是否相同，即根据分布信息的差异约束网络损失，保证两个特征的分布信息尽可能相同，使判断损失函数收敛。其中分布信息的获取方法具体包括：

[0044] 初始语义分割网络的初始解码器提取第一训练数据的特征张量作为第一特征；利用密度聚类算法处理所有第一特征，以聚类过程的第一聚类方向信息作为第一特征的分布信息。

[0045] 第二分割结果对应的第二特征的分布信息与第一特征的分布信息获取方法相同，在此不做赘述，以第二特征的第二聚类方向信息作为第二特征的分布信息。

[0046] 在本发明实施例中，以第一聚类方向信息与所述第二聚类方向信息差异的绝对值作为所述判断损失函数。

[0047] 因为重训练语义分割网络在训练初期主要通过标注图像获得的第一分割结果对网络参数进行引导更新，随着迭代次数的增加，第二训练数据的增多，网络应更关注特征向量之间的分布信息，即使网络实现先约束分割结果后约束特征分布，使网络的准确度进一步提高。因此需要根据重训练语义分割网络的迭代次数调整引导损失函数和判断损失函数，具体包括：

[0048]

[0049] 其中，为整体损失函数，为迭代次数， 为判断损失函数， 为引导损失函数，为常规损失函数。

[0050] 整体损失函数中，以迭代次数作为权重，在迭代次数少时更关注引导损失函数，随着迭代次数的增加，更关注判断损失函数。

[0051] 优选的，常规损失函数利用交叉熵损失，通过标注图像中像素点的标签与对应第一分割结果的差异调整网络损失，具体包括：

[0052]

[0053] 其中， 为所述常规损失函数， 为标注图像中第 个像素点的标签， 为 对应的第一分割结果，为标注图像中像素点的数量。

[0054] 步骤S3：将待检测钢板表面图像输入重训练语义分割网络中，输出钢板表面缺陷分割图像。

[0055] 重训练语义分割经过强监督引导弱监督进行训练，最终可获得分割精准度高的语义分割网络。将实时采集到的待检测钢板表面图像输入重训练语义分割网络中，即可获得准确的钢板表面缺陷分割图像，实现钢板表面的缺陷识别检测。

[0056] 综上所述，本发明实施例通过少量人为标注的标注图像进行初始语义分割网络训练，实现强监督训练过程。进一步利用第二训练数据对初始语义分割网络继续训练，实现弱监督训练过程。通过损失函数利用强监督训练的第一分割结果引导弱监督训练，使重训练语义分割网络能够学习准确的分割结果和特征分布，从而实现简易训练的同时提高精准度。本发明实施例利用人工智能优化操作系统优化语义分割网络的训练过程，通过包含语义分割网络的计算机视觉软件识别待检测钢板表面图像，实现了对钢板表面缺陷的识别检测。

[0057] 需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

[0058] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。