工业质检中异常图片的检测方法及装置

摘要

本发明涉及工业质检技术领域，提供一种工业质检中异常图片的检测方法及装置，方法包括：获取当前周期内的第一图片集；确定与当前周期相邻的前一个周期，并获取前一个周期内的第二图片集；调用异常检测模型，并将第一图片集和第二图片集输入异常检测模型，以通过异常检测模型进行异常检测，得到异常检测结果；当异常检测结果为第一图片集异常时，通过离散样本筛选模型从第一图片集中筛选出至少一个离散图片；将异常检测结果和离散图片显示于可视化界面；根据离散图片对质检机进行维护。由此，有利于避免检测数据和样本训练集的相似性被破坏带来的无法有效检测缺陷的问题，可以改善质检机的工作效果，从而改善工业质检效果。

权利要求

1.一种工业质检中异常图片的检测方法，其特征在于，包括：获取当前周期内多个不合格工件的缺陷图片，以得到所述当前周期内的第一图片集；

确定与所述当前周期相邻的前一个周期，并获取所述前一个周期内多个不合格工件的缺陷图片，以得到所述前一个周期内的第二图片集；

调用异常检测模型，并将所述第一图片集和所述第二图片集输入所述异常检测模型，以通过所述异常检测模型进行异常检测，得到异常检测结果；

当所述异常检测结果为所述第一图片集异常时，调用离散样本筛选模型，并通过所述离散样本筛选模型从所述第一图片集中筛选出至少一个离散图片；

将所述异常检测结果和所述离散图片显示于可视化界面；

根据所述离散图片对质检机进行维护；

其中，所述异常检测模型通过以下步骤进行异常检测，得到异常检测结果：利用相同的降维方式分别对所述第二图片集和所述第一图片集进行降维处理；

对降维后的所述第一图片集和降维后的所述第二图片集进行K‑S检验，以得到降维后的所述第一图片集与降维后的所述第二图片集间的差异数值；

在所述差异数值小于预设阈值时，确定所述异常检测结果为所述第一图片集异常；

在所述差异数值大于或者等于所述预设阈值时，确定所述异常检测结果为所述第一图片集正常；

所述离散样本筛选模型通过以下步骤从所述第一图片集中筛选出离散图片：对当前周期内的所述第一图片集进行降维处理；

确定降维后的所述第一图片集中每张缺陷图片的张量；

通过以下公式计算降维后的所述第一图片集的簇心：

；

其中，c表示簇心，vi表示第一图片集中降维后得到的第i个缺陷图片的张量，i为正整数，1≤i≤m ，m表示第一图片集中的缺陷图片个数；

通过以下公式计算降维后的每张缺陷图片的张量与所述簇心之间的距离：其中，Li表示第i个缺陷图片的张量与簇心之间的距离；

在所述距离大于或者等于预设距离时，从所述第一图片集中选取所述距离对应的所述离散图片，其中，所述预设距离通过降维后的各个缺陷图片的张量与所述簇心之间的距离确定。

2.根据权利要求1所述的工业质检中异常图片的检测方法，其特征在于，根据所述离散图片对质检机进行维护，包括：根据所述离散图片，更新用于工业质检的缺陷检测模型；将更新后的缺陷检测模型部署于质检机，以使更新后的缺陷检测模型对工件进行缺陷检测。

3.根据权利要求1所述的工业质检中异常图片的检测方法，其特征在于，根据所述离散图片对质检机进行维护，包括：根据所述离散图片调整质检机的光学方案。

4.根据权利要求1所述的工业质检中异常图片的检测方法，其特征在于，所述异常检测模型通过YOLO网络结构的backbone主干网络分别实现对所述第一图片集和所述第二图片集的降维处理。

5.根据权利要求2所述的工业质检中异常图片的检测方法，其特征在于，所述离散样本筛选模型通过YOLO网络结构的backbone主干网络实现对所述第一图片集的降维处理。

6.根据权利要求1所述的工业质检中异常图片的检测方法，其特征在于，还包括：将所述差异数值显示于所述可视化界面。

7.根据权利要求1所述的工业质检中异常图片的检测方法，其特征在于，还包括：当所述异常检测结果为所述第一图片集正常时，将所述异常检测结果显示于所述可视化界面。

8.一种工业质检中异常图片的检测装置，其特征在于，包括：获取模块，用于获取当前周期内多个不合格工件的缺陷图片，以得到所述当前周期内的第一图片集；

确定模块，用于确定与所述当前周期相邻的前一个周期，并获取所述前一个周期内多个不合格工件的缺陷图片，以得到所述前一个周期内的第二图片集；

检测模块，用于调用异常检测模型，并将所述第一图片集和所述第二图片集输入所述异常检测模型，以通过所述异常检测模型进行异常检测，得到异常检测结果；

筛选模块，用于当所述异常检测结果为所述第一图片集异常时，调用离散样本筛选模型，并通过所述离散样本筛选模型从所述第一图片集中筛选出至少一个离散图片；

显示模块，用于将所述异常检测结果和所述离散图片显示于可视化界面；

维护模块，用于根据所述离散图片对质检机进行维护；

所述异常检测模型通过以下步骤进行异常检测，得到异常检测结果：利用相同的降维方式分别对所述第二图片集和所述第一图片集进行降维处理；对降维后的所述第一图片集和降维后的所述第二图片集进行K‑S检验，以得到降维后的所述第一图片集与降维后的所述第二图片集间的差异数值；在所述差异数值小于预设阈值时，确定所述异常检测结果为所述第一图片集异常；在所述差异数值大于或者等于所述预设阈值时，确定所述异常检测结果为所述第一图片集正常；

所述离散样本筛选模型通过以下步骤从所述第一图片集中筛选出离散图片：对当前周期内的所述第一图片集进行降维处理；

确定降维后的所述第一图片集中每张缺陷图片的张量；

通过以下公式计算降维后的所述第一图片集的簇心：

；

其中，c表示簇心，vi表示第一图片集中降维后得到的第i个缺陷图片的张量，i为正整数，1≤i≤m ，m表示第一图片集中的缺陷图片个数；

通过以下公式计算降维后的每张缺陷图片的张量与所述簇心之间的距离：其中，Li表示第i个缺陷图片的张量与簇心之间的距离；

在所述距离大于或者等于预设距离时，从所述第一图片集中选取所述距离对应的所述离散图片，其中，所述预设距离通过降维后的各个缺陷图片的张量与所述簇心之间的距离确定。

说明书

工业质检中异常图片的检测方法及装置

技术领域

[0001] 本发明涉及工业质检技术领域，具体涉及一种工业质检中异常图片的检测方法和一种工业质检中异常图片的检测装置。

背景技术

[0002] 部署在工厂的质检机执行工件的表面缺陷检测的工作，其核心工作流包括采图、缺陷检测模型推理以及分拣等工序。实时图片数据集和训练缺陷检测模型的训练集分布相似，是表面缺陷检测工作能够被质检机准确执行的重要条件之一。

[0003] 当工厂的上游工艺或者设备发生变化时，会显著影响实时图片数据集的分布，相似性的条件可能会被破坏，导致缺陷检测模型无法有效地进行缺陷检测，从而导致质检机无法按照工厂的要求检出缺陷工件。

发明内容

[0004] 本发明为解决检测图片数据集和训练集之间的相似性被破坏导致缺陷检测模型无法有效地进行缺陷检测的问题，提出了如下技术方案。

[0005] 本发明第一方面实施例提出了一种工业质检中异常图片的检测方法，包括：获取当前周期内多个不合格工件的缺陷图片，以得到所述当前周期内的第一图片集；确定与所述当前周期相邻的前一个周期，并获取所述前一个周期内多个不合格工件的缺陷图片，以得到所述前一个周期内的第二图片集；调用异常检测模型，并将所述第一图片集和所述第二图片集输入所述异常检测模型，以通过所述异常检测模型进行异常检测，得到异常检测结果；当所述异常检测结果为所述第一图片集异常时，调用离散样本筛选模型，并通过所述离散样本筛选模型从所述第一图片集中筛选出至少一个离散图片；将所述异常检测结果和所述离散图片显示于可视化界面；根据所述离散图片对质检机进行维护。

[0006] 另外，根据本发明上述实施例的工业质检中异常图片的检测方法还可以具有如下附加的技术特征。

[0007] 根据本发明的一个实施例，所述异常检测模型通过以下步骤进行异常检测，得到异常检测结果：利用相同的降维方式分别对所述第二图片集和所述第一图片集进行降维处理；对降维后的所述第一图片集和降维后的所述第二图片集进行K‑S（Kolmogorov‑Smirnov，柯尔莫哥洛夫‑斯米尔诺夫）检验，以得到降维后的所述第一图片集与降维后的所述第二图片集间的差异数值；在所述差异数值小于预设阈值时，确定所述异常检测结果为所述第一图片集异常；在所述差异数值大于或者等于所述预设阈值时，确定所述异常检测结果为所述第一图片集正常。

[0008] 根据本发明的一个实施例，所述离散样本筛选模型通过以下步骤从所述第一图片集中筛选出离散图片：对当前周期内的所述第一图片集进行降维处理；确定降维后的所述第一图片集中每张缺陷图片的张量；通过以下公式计算降维后的所述第一图片集的簇心：

[0009] ；

[0010] 其中，c表示簇心，vi表示第一图片集中降维后得到的第i个缺陷图片的张量，i为正整数，1≤i≤m ，m表示第一图片集中的缺陷图片个数；通过以下公式计算降维后的每张缺陷图片的张量与所述簇心之间的距离：

[0011]

[0012] 其中，Li表示第i个缺陷图片的张量与簇心之间的距离；在所述距离大于或者等于预设距离时，从所述第一图片集中选取所述距离对应的所述离散图片，其中，所述预设距离通过降维后的各个缺陷图片的张量与所述簇心之间的距离确定。

[0013] 根据本发明的一个实施例，根据所述离散图片对质检机进行维护，包括：根据所述离散图片，更新用于工业质检的缺陷检测模型；将更新后的缺陷检测模型部署于质检机，以使更新后的缺陷检测模型对工件进行缺陷检测。

[0014] 根据本发明的一个实施例，根据所述离散图片对质检机进行维护，包括：根据所述离散图片调整质检机的光学方案。

[0015] 根据本发明的一个实施例，所述异常检测模型通过YOLO网络结构的backbone主干网络分别实现对所述第一图片集和所述第二图片集的降维处理。

[0016] 根据本发明的一个实施例，所述离散样本筛选模型通过YOLO网络结构的backbone主干网络实现对所述第一图片集的降维处理。

[0017] 根据本发明的一个实施例，工业质检中异常图片的检测方法，还包括：将所述差异数值显示于所述可视化界面。

[0018] 根据本发明的一个实施例，工业质检中异常图片的检测方法，还包括：当所述异常检测结果为所述第一图片集正常时，将所述异常检测结果显示于所述可视化界面。

[0019] 本发明第二方面实施例提出了一种工业质检中异常图片的检测装置，包括：获取模块，用于获取当前周期内多个不合格工件的缺陷图片，以得到所述当前周期内的第一图片集；确定模块，用于确定与所述当前周期相邻的前一个周期，并获取所述前一个周期内多个不合格工件的缺陷图片，以得到所述前一个周期内的第二图片集；检测模块，用于调用异常检测模型，并将所述第一图片集和所述第二图片集输入所述异常检测模型，以通过所述异常检测模型进行异常检测，得到异常检测结果；筛选模块，用于当所述异常检测结果为所述第一图片集异常时，调用离散样本筛选模型，并通过所述离散样本筛选模型从所述第一图片集中筛选出至少一个离散图片；

[0020] 显示模块，用于将所述异常检测结果和所述离散图片显示于可视化界面；维护模块，用于根据所述离散图片对质检机进行维护。

[0021] 本发明实施例的技术方案，能够检测出检测图片是否异常，在异常时将离散图片筛选出来并进行可视化显示，方便质检人员及时知晓当前数据情况并对质检机进行维护，且可根据离散图像对质检机进行维护，有利于避免检测数据和样本训练集的相似性被破坏带来的无法有效检测缺陷的问题，可以改善质检机的工作效果，从而改善工业质检效果。

附图说明

[0022] 图1为本发明实施例的工业质检中异常图片的检测方法的流程图。

[0023] 图2为本发明一个示例中对第一图片集进行异常检测的流程图。

[0024] 图3为本发明一个示例的在工业现场进行异常检测的系统的框架示意图。

[0025] 图4为本发明实施例的工业质检中异常图片的检测装置的方框示意图。

具体实施方式

[0026] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0027] 图1为本发明实施例的工业质检中异常图片的检测方法的流程图。

[0028] 需要说明的是，本发明实施例的工业质检中异常图片的检测方法的执行主体可以为工业质检现场的数据处理服务器。

[0029] 如图1所示，该工业质检中异常图片的检测方法包括以下步骤S1至S6。

[0030] S1，获取当前周期内多个不合格工件的缺陷图片，以得到当前周期内的第一图片集。

[0031] 具体地，数据处理服务器可以定期（例如每间隔7天）从局域网内的工业计算机上拉取所有不合格工件的缺陷图片，整合后生成当前周期内的第一图片集Dn。

[0032] S2，确定与当前周期相邻的前一个周期，并获取前一个周期内多个不合格工件的缺陷图片，以得到前一个周期内的第二图片集。

[0033] 具体地，获取与当前周期相邻的前一个周期，例如上一个7天内的多个不合格工件的缺陷图片，整合后生成前一个周期内的第二图片集Dn‑1。

[0034] S3，调用异常检测模型，并将第一图片集和第二图片集输入异常检测模型，以通过异常检测模型进行异常检测，得到异常检测结果。

[0035] 其中，异常检测模型是指通过机器学习生成的能够进行异常检测的神经网络模型。

[0036] 具体地，数据处理服务器在获取到当前周期内的第一图片集Dn和前一个周期内的第二图片集Dn‑1之后，调用事先训练得到的异常检测模型Md，并将第一图片集Dn和第二图片集Dn‑1输入异常检测模型Md，进而异常检测模型Md对Dn和Dn‑1进行异常检测，输出异常检测结果，异常检测结果为Dn相对于Dn‑1是异常或者正常的，异常即指Dn和Dn‑1之间的分布相似性被破坏，正常即指Dn和Dn‑1之间的分布相似性未被破坏。

[0037] 需要说明的是，当第一图片集Dn和第二图片集Dn‑1之间的分布相似性被破坏时，很可能存在第一图片集与缺陷检测模型的训练样本集之间的相似性被破坏的现象。

[0038] S4，当异常检测结果为第一图片集异常时，调用离散样本筛选模型，并通过离散样本筛选模型从第一图片集中筛选出至少一个离散图片。

[0039] 其中，离散样本筛选模型是指事先训练得到的能够将数据集中的典型离散样本筛选出来的神经网络模型。

[0040] 具体地，当第一图片集异常时，调用离散样本筛选模型Mf，并将第一图片集Dn输入离散样本筛选模型Mf，以使离散样本筛选模型Mf筛选出第一图片集Dn中的至少一个离散图片，离散图片是指第一图片集Dn中的与第二图片集Dn‑1最不相似的图片。

[0041] S5，将异常检测结果和离散图片显示于可视化界面。

[0042] 具体地，为了使质检人员知晓当前的异常检测结果和离散图片，数据处理服务器可将异常检测结果和离散图片推送到工业质检现场的监控仪表盘，监控仪表盘对数据进行监控以及展示，质检人员可通过查看监控仪表盘的可视化界面知晓当前周期内的第一图片集Dn异常、以及第一图片集Dn中的离散图片，即知晓最不相似的图片，迅速了解当前数据情况，从而有充足的时间介入，及时提供维护服务。

[0043] S6，根据离散图片对质检机进行维护。

[0044] 其中，质检机可以用于拍摄缺陷图片，其上部署有缺陷检测模型，质检机的核心工作流可包括采图、缺陷检测模型推理以及分拣等工序。

[0045] 需要说明的是，第一图片集的异常可能是工业现场可以对图片拍摄产生影响的各种因素引起的，例如：第一图片集的异常可能是由于工厂的上游工艺或者设备发生变化引起的，此时可能出现新的缺陷类型或者缺陷尺寸，即缺陷类型或者缺陷尺寸发生变化，也可能是由于质检机拍摄图片时发生故障导致的，此时质检机无法拍摄出清晰的图片，即导致第一图片集中的图片内容模糊不清。

[0046] 在得到离散图片时，可根据离散图片的异常特征，例如异常程度判断是否对质检机本身进行维护或者对质检机上的缺陷检测模型进行更新。

[0047] 基于上述描述可知，本发明实施例通过自动化流程可以检测到用于缺陷检测的缺陷图片是否异常，即前一个周期内的图片和当前周期内的图片之间的相似性是否被破坏，当异常时说明相似性被破坏，于是筛选出与前一个周期内的图片最不相似的图片，使得质检人员进行相应的调整，直至缺陷检测模型可以有效识别缺陷，达到工业质检的要求。

[0048] 本发明实施例的工业质检中异常图片的检测方法，能够检测出检测图片是否异常，在异常时将离散图片筛选出来并进行可视化显示，方便质检人员及时知晓当前数据情况并对质检机进行维护，且可根据离散图像对质检机进行维护，有利于避免检测数据和样本训练集的相似性被破坏带来的无法有效检测缺陷的问题，可以改善质检机的工作效果，从而改善工业质检效果。

[0049] 在本发明的一个实施例中，异常检测模型通过以下步骤进行异常检测，得到异常检测结果：利用相同的降维方式分别对第二图片集和第一图片集进行降维处理；对降维后的第一图片集和降维后的第二图片集进行K‑S（Kolmogorov‑Smirnov，柯尔莫哥洛夫‑斯米尔诺夫）检验，以得到降维后的第一图片集与降维后的第二图片集间的差异数值；在差异数值小于预设阈值时，确定异常检测结果为第一图片集异常；在差异数值大于或者等于预设阈值时，确定异常检测结果为第一图片集正常。

[0050] 进一步地，异常检测模型可通过YOLO网络结构的backbone主干网络分别对第一图片集和第二图片集进行降维处理。

[0051] 具体而言，首先，异常检测模型通过以下公式（1）对前一个周期内的第二图片集Dn‑1进行降维操作生成Vn‑1：

[0052]                                 （1）

[0053] 其中，Vn‑1表示降维后得到的第二图片集中各个缺陷图片的张量的集合，T为YOLO网络结构的backbone主干网络，Dn‑1表示前一个周期内的第二图片集；通过以下公式（2）对当前周期内的第一图片集Dn进行降维操作生成Vn：

[0054] （2）

[0055] 其中，Vn表示降维后得到的第一图片集中各个缺陷图片的张量的集合，T为YOLO网络结构的backbone主干网络，Dn表示当前周期的第一图片集，也即，对两个图片集进行降维的降维方式保持一致。

[0056] 然后，对降维后的第一图片集和第二图片集进行K‑S检验，此处K‑S检验为双侧（two‑sided）K‑S检验，即通过以下公式（3）进行K‑S检验：

[0057] （3）

[0058] 其中，In 是降维后的第一图片集与降维后的第二图片集间相似性的差异数值，KS（Vn‑1, Vn）表示对Vn‑1与Vn进行K‑S检验。

[0059] 最后，可将差异数值In与预设阈值 进行比较，其中，预设阈值 可以是根据实际需求事先设置的。当In＜ 时，认为Vn‑1和Vn属于同一分布的假设是不正确的，既两个图片集的分布存在显著差异，异常检测模型判定出第一图片集异常；当In≥ 时，异常检测模型判定出第一图片集正常。

[0060] 由此，异常检测模型通过以上方式进行异常检测，可以提高异常检测准确性，可以有效地检测出第一图片集是否异常。

[0061] 在本发明的一个实施例中，离散样本筛选模型通过以下步骤从第一图片集中筛选出离散图片：对当前周期内的第一图片集进行降维处理；确定降维后的第一图片集中每张缺陷图片的张量；通过以下公式（4）计算降维后的第一图片集的簇心：

[0062] （4）

[0063] 其中，c表示簇心，vi表示第一图片集中降维后得到的第i个缺陷图片的张量，i为正整数，1≤i≤m，m表示第一图片集中的缺陷图片个数；通过以下公式（5）计算降维后的每张缺陷图片的张量与簇心之间的距离：

[0064] （5）

[0065] 其中，Li表示第i个缺陷图片的张量与簇心之间的距离；在距离大于或者等于预设距离时，从第一图片集中选取距离对应的离散图片。

[0066] 进一步地，离散样本筛选模型可通过YOLO网络结构的backbone主干网络实现对第一图片集的降维处理。预设距离可通过降维后的各个缺陷图片的张量与簇心之间的距离确定。

[0067] 具体而言，首先，离散样本筛选模型可通过上述公式（2）或者以下公式（6）对第一图片集Dn(d1,d2,…dm)进行降维处理：

[0068]                      （6）

[0069] 其中，Vn表示降维后得到的第一图片集中各个缺陷图片的张量的集合，di表示第一图片集中的第i个缺陷图片，T为YOLO网络结构的backbone主干网络，m表示第一图片集中的缺陷图片个数。

[0070] 然后，离散样本筛选模型通过上述公式（4）计算降维后的第一图片集的簇心，并通过上述公式（5）计算降维后的每张缺陷图片的张量与簇心之间的距离。

[0071] 最后，离散样本筛选模型可判断各个距离是否大于预设距离，其中，预设距离可根据各个距离设定，例如，预设距离可以等于所有距离中的最大距离，也可以小于所有距离中的最大距离、且大于所有距离中的次大距离（是指所有距离中的第二大距离），筛选出其距离大于或者等于预设距离的至少一个缺陷图片作为典型的离散图片，也就是说，筛选出距离簇心最远的至少一个缺陷图片作为离散图片。

[0072] 由此，通过离散样本筛选模型可以可靠地筛选出第一图片集中的离散图片，提升筛选准确性。

[0073] 在将离散图片筛选出之后，执行上述步骤S5和S6，以将异常检测结果和离散图片进行可视化展示，及根据离散图片对质检机进行维护。在进行维护时，以图片能够被有效识别为目的进行维护，具体地，下面通过两个实施例进行说明。

[0074] 在本发明的一个实施例中，上述步骤S6，可包括：根据离散图片，更新用于工业质检的缺陷检测模型；将更新后的缺陷检测模型部署于质检机，以使更新后的缺陷检测模型对工件进行缺陷检测。

[0075] 具体而言，可判断离散图片是否是清晰的，如果是清晰的，则说明异常是由于缺陷检测模型识别有偏差造成的，异常点可能在于较第二图片集产生了新的缺陷或者缺陷尺寸发生了变化，此时，可重新收集数据集作为训练集进行模型训练后部署在质检机上，实现对缺陷检测模型的更新，进而使用更新后的缺陷检测模型进行缺陷识别，从而使得质检机可以正确识别工件缺陷。

[0076] 在本发明的另一个实施例中，上述步骤S6，可包括：根据离散图片调整质检机的光学方案。其中，光学方案是指在进行工业质检的环节中，为了获取样本数据制定的实用的光学拍摄方案。

[0077] 具体而言，如果离散图片不清晰，则说明质检机在拍摄图片时产生了故障，导致拍摄出的缺陷图片不清晰，于是可调整质检机的光学方案，直至质检机可以拍摄出清晰的图片。

[0078] 也即，如果质检机可以正常拍出清晰图片，则只需要更新模型；如果已经无法拍出清晰图片，则需要调整光学方案。

[0079] 由此，可根据离散图片对质检机进行相应维护，使即使在相似性被破坏的情况下，质检机也能够按照工厂的要求检出缺陷工件。

[0080] 在本发明的一个实施例中，工业质检中异常图片的检测方法，还可包括：将差异数值显示于可视化界面。

[0081] 具体地，差异数值为第一图片集与第二图片集间的相似性差异的量化结果，而在差异数值表征出第一图片集异常时，为了使质检人员根据差异数值判断是否有必要进行对应处理，数据处理服务器可将差异数值显示于监控仪表盘的可视化界面，质检人员通过查看差异数值和离散图片进行对应处理。

[0082] 在本发明的一个实施例中，工业质检中异常图片的检测方法，还可包括：当异常检测结果为第一图片集正常时，将异常检测结果显示于可视化界面。

[0083] 具体地，可通过监控仪表盘将异常检测结果进行显示，以方便质检人员随时查看，了解当前检测数据的分布情况。

[0084] 如图2所示，本发明实施例中，首先，数据处理服务器从工业计算机中拉取不合格工件的缺陷图片，生成当前周期内的第一图片集，并获取前一个周期内的第二图片集，之后数据处理服务器调用异常检测模型，异常检测模型可判定出第一图片集是否异常，如果是，则调用离散样本筛选模型，以得到第一图片集中的离散图片，之后，将异常检测结果和离散样本推送至监控仪表盘进行显示；如果第一图片集正常，则将异常检测结果推送至监控仪表盘进行显示。由此，可以帮助质检机供应商在质检机正常工作的前提条件受到影响时，基于数据主动地介入，为工厂客户提供及时的维护服务，而不是在工厂客户报修时被动地进行应对。

[0085] 需要说明的是，如图3所示，质检机和工业计算机可以是相互独立、且相互依赖的，质检机也可以包含工业计算机，具体设置需要依据实际业务。图3中，质检机负责对工件拍图，得到缺陷图片，并放置在工业计算机中，数据处理服务器从工业计算机拉取缺陷图片，并通过中控程序调用模型执行本发明实施例中的图片异常检测任务和离散图片筛选任务。

[0086] 综上所述，本发明实施例让质检机的维护人员在相似性被破坏时有充足的时间介入，及时提供服务维护质检机，满足工厂的质检要求；对于数据分布异常程度的预警方式，通过不同情况判断推送的具体内容，帮助现场实施人员及时了解数据质量状态；能够避免相似性的条件被破坏时，导致的缺陷检测模型无法有效地进行缺陷检测的现象。

[0087] 对应上述实施例的工业质检中异常图片的检测方法，本发明还提出一种工业质检中异常图片的检测装置。

[0088] 图4为本发明实施例的工业质检中异常图片的检测装置的方框示意图。

[0089] 如图4所示，该工业质检中异常图片的检测装置100包括：获取模块10、确定模块20、检测模块30、筛选模块40、显示模块50及维护模块60。

[0090] 其中，获取模块10用于获取当前周期内多个不合格工件的缺陷图片，以得到所述当前周期内的第一图片集；确定模块20用于确定与所述当前周期相邻的前一个周期，并获取所述前一个周期内多个不合格工件的缺陷图片，以得到所述前一个周期内的第二图片集；检测模块30用于调用异常检测模型，并将所述第一图片集和所述第二图片集输入所述异常检测模型，以通过所述异常检测模型进行异常检测，得到异常检测结果；筛选模块40用于当所述异常检测结果为所述第一图片集异常时，调用离散样本筛选模型，并通过所述离散样本筛选模型从所述第一图片集中筛选出至少一个离散图片；显示模块50用于将所述异常检测结果和所述离散图片显示于可视化界面；维护模块60用于根据所述离散图片对质检机进行维护。

[0091] 在本发明的一个实施例中，所述异常检测模型通过以下步骤进行异常检测，得到异常检测结果：利用相同的降维方式分别对所述第二图片集和所述第一图片集进行降维处理；对降维后的所述第一图片集和降维后的所述第二图片集进行K‑S检验，以得到降维后的所述第一图片集与降维后的所述第二图片集间的差异数值；在所述差异数值小于预设阈值时，确定所述异常检测结果为所述第一图片集异常；在所述差异数值大于或者等于所述预设阈值时，确定所述异常检测结果为所述第一图片集正常。

[0092] 在本发明的一个实施例中，所述离散样本筛选模型通过以下步骤从所述第一图片集中筛选出离散图片：对当前周期内的所述第一图片集进行降维处理；确定降维后的第一图片集中每张缺陷图片的张量；通过以下公式计算降维后的所述第一图片集的簇心：

[0093] ；

[0094] 其中，c表示簇心，vi表示第一图片集中降维后得到的第i个缺陷图片的张量，i为正整数，1≤i≤m，m表示第一图片集中的缺陷图片个数；通过以下公式计算降维后的每张缺陷图片的张量与所述簇心之间的距离：

[0095]

[0096] 其中，Li表示第i个缺陷图片的张量与簇心之间的距离；在所述距离大于或者等于预设距离时，从所述第一图片集中选取所述距离对应的所述离散图片，其中，所述预设距离通过降维后的各个缺陷图片的张量与所述簇心之间的距离确定。

[0097] 在本发明的一个实施例中，维护模块60，可包括：更新单元，用于根据所述离散图片，更新用于工业质检的缺陷检测模型；部署单元，用于将更新后的缺陷检测模型部署于质检机，以使更新后的缺陷检测模型对工件进行缺陷检测。

[0098] 在本发明的一个实施例中，维护模块60，可包括：调整单元，用于根据所述离散图片调整质检机的光学方案。

[0099] 在本发明的一个实施例中，所述异常检测模型通过YOLO网络结构的backbone主干网络分别实现对所述第一图片集和所述第二图片集的降维处理。

[0100] 在本发明的一个实施例中，所述离散样本筛选模型通过YOLO网络结构的backbone主干网络实现对所述第一图片集的降维处理。

[0101] 在本发明的一个实施例中，显示模块50，还可用于：将差异数值显示于所述可视化界面。

[0102] 在本发明的一个实施例中，显示模块50，还可用于：当所述异常检测结果为所述第一图片集正常时，将所述异常检测结果显示于所述可视化界面。

[0103] 需要说明的是，该工业质检中异常图片的检测装置的具体实施方式及实施原理可参见上述工业质检中异常图片的检测方法的具体实施方式，为避免冗余，此处不再详细赘述。

[0104] 本发明实施例的工业质检中异常图片的检测装置，有利于避免检测数据和样本训练集的相似性被破坏带来的无法有效检测缺陷的问题，可以改善质检机的工作效果，从而改善工业质检效果。

[0105] 在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

[0106] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

[0107] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

[0108] 应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

[0109] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

[0110] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。