一种基于多源特征的磁芯缺陷检测模型训练方法及系统

摘要

本发明公开一种基于多源特征的磁芯缺陷检测模型训练方法及系统，其中，该方法包括：S101，获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；所述模型训练包括：将两个图片进行位置校正，得到校正后的两个图片；将校正后的两个图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；可得到不同成像之间的关系，解决单一成像的局限性；将第一预设数量个融合特征块进行拼接、分块操作，降低缺陷误检和漏检，采用自注意力机制操作和全卷积操作，得到的特征图具有全局性。并且计算得到当前轮的损失值；S102，重复S101直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型。

权利要求

1.一种基于多源特征的磁芯缺陷检测模型训练方法，其特征在于，包括：

步骤S101，获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；

所述模型训练包括：

步骤S1011，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；

步骤S1012，将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；

步骤S1013，将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；

步骤S102，重复步骤S101直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型；

其中，所述步骤S1013包括：

将所述第一预设数量个融合特征块进行拼接，得到多源特征图；

将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；

将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；

将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；

将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1012包括：

将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；

将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；

根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。

3.根据权利要求2所述的方法，其特征在于：

所述第一预设数量个融合特征块的计算公式为：

T

其中，所述Feature为一个融合特征块；所述Q×K 为一个特征图中每个特征值的相关性，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；

为一个特征图上的每个特征值的位置与它关系最密切的特征值位置；

为一个特征图；Conv为卷积操作，以使一个通道叠加块的通道与所述

校正后的自然光成像图片和红外线成像图片的通道相等。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图包括：将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行卷积操作，以使所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图的大小尺度相等；

将大小尺度相等的所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行融合得到总自注意力特征图。

5.根据权利要求1所述的方法，其特征在于，所述步骤S1011包括：

通过自然目标框对所述自然光成像图片的缺陷进行标定；以及，通过红外目标框对所述红外线成像图片中的缺陷进行标定；

将所述自然目标框和所述红外目标框进行位置校正；以及，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。

6.根据权利要求5所述的方法，其特征在于，所述将所述自然目标框和所述红外目标框进行位置校正包括：将所述自然目标框的宽与高的倾斜角、所述红外目标框的宽与高的倾斜角进行校正，以使两个倾斜角相等；

将所述自然目标框的宽与高的长度、所述红外目标框的宽与高的长度进行校正，以使两个宽相等、两个长相等；

将所述自然目标框的四个坐标和所述红外目标框的四个坐标进行校正，以使两个目标框的四个坐标相等。

7.一种基于多源特征的磁芯缺陷检测模型训练系统，其特征在于，包括：

当前轮训练单元，用于获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；

所述模型训练包括：

校正子单元，用于将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；

融合子单元，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；

检测子单元，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；

重复训练单元，重复所述当前轮训练单元直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型；

其中，所述检测子单元包括：

拼接模块，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；

第一分块模块，用于将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；

第二分块模块，用于将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；

第三分块模块，用于将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；

融合模块，用于将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正图片中磁芯缺陷的位置计算损失值。

8.根据权利要求7所述的系统，其特征在于，所述融合子单元包括：

连接模块，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；

自注意力机制操作模块，用于将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；

卷积操作模块，用于根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。

说明书

一种基于多源特征的磁芯缺陷检测模型训练方法及系统

技术领域

[0001] 本发明涉及磁芯缺陷检测技术领域，具体而言，涉及一种基于多源特征的磁芯缺陷检测模型训练方法及系统。

背景技术

[0002] 常规的磁芯缺陷检测有以下几种方法：一是用单一的成像图片；单一的成像特征均有一定的局限性，二是用多源的成像图片，即同时使用自然光成像图片和红外线成像图片；其中自然光成像具有噪音多现象，容易制作出假的缺陷；红外线成像易受周边温度等影响，多源成像在磁芯缺陷检测十分普遍，但仍然存在以下问题：

[0003] （1）没有找到多源成像之间的相关性；

[0004] （2）将多源成像分别检测，最后再将结果融合，最后检测出的缺陷目标依旧是根据单一的成像图片进行预测，仅在结果具有多源信息，导致检测的特征层具有局限性、误检率高；

[0005] （3）磁芯缺陷检测是小目标检测，容易造成漏检和智能设备需求特别高。

[0006] 针对现有技术中没有找到多源成像之间的相关性、将多源成像分别检测，再将结果融合，导致检测的特征层具有局限性、磁芯缺陷检测是小目标检测，容易造成漏检和智能设备需求特别高的问题，目前尚未提出有效的解决方案。

发明内容

[0007] 本发明实施例中提供一种基于多源特征的磁芯缺陷检测模型训练方法及系统，以解决现有技术中没有找到多源成像之间的相关性、将多源成像分别检测，再将结果融合，导致检测的特征层具有局限性、磁芯缺陷检测是小目标检测，容易造成漏检和智能设备需求特别高的问题。

[0008] 为达到上述目的，一方面，本发明提供了一种基于多源特征的磁芯缺陷检测模型训练方法，该方法包括：步骤S101，获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；所述模型训练包括：步骤S1011，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；步骤S1012，将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；步骤S1013，将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；步骤S102，重复步骤S101直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型。

[0009] 可选的，所述步骤S1012包括：将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。

[0010] 可选的，所述第一预设数量个融合特征块的计算公式为：

[0011]

[0012] 其中，所述 为一个融合特征块；所述 为一个特征图中每个特征值的相关性，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；
为一个特征图上的每个特征值的位置与它关系最密切的特征值位置；
为一个特征图； 为卷积操作，以使一个通道叠加块的通道与
所述校正后的自然光成像图片和红外线成像图片的通道相等。

[0013] 可选的，所述步骤S1013包括：将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值。

[0014] 可选的，所述将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图包括：将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行卷积操作，以使所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图的大小尺度相等；将大小尺度相等的所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行融合得到总自注意力特征图。

[0015] 可选的，所述步骤S1011包括：通过自然目标框对所述自然光成像图片的缺陷进行标定；以及，通过红外目标框对所述红外线成像图片中的缺陷进行标定；将所述自然目标框和所述红外目标框进行位置校正；以及，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。

[0016] 可选的，所述将所述自然目标框和所述红外目标框进行位置校正包括：将所述自然目标框的宽与高的倾斜角、所述红外目标框的宽与高的倾斜角进行校正，以使两个倾斜角相等；将所述自然目标框的宽与高的长度、所述红外目标框的宽与高的长度进行校正，以使两个宽相等、两个长相等；将所述自然目标框的四个坐标和所述红外目标框的四个坐标进行校正，以使两个目标框的四个坐标相等。

[0017] 另一方面，本发明提供了一种基于多源特征的磁芯缺陷检测模型训练系统，该系统包括：当前轮训练单元，用于获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；所述模型训练包括：校正子单元，用于将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；融合子单元，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；检测子单元，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；重复训练单元，重复所述当前轮训练单元直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型。

[0018] 可选的，所述融合子单元包括：连接模块，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；自注意力机制操作模块，用于将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；卷积操作模块，用于根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。

[0019] 可选的，所述检测子单元包括：

[0020] 拼接模块，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；第一分块模块，用于将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；第二分块模块，用于将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；第三分块模块，用于将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；融合模块，用于将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正图片中磁芯缺陷的位置计算损失值。

[0021] 本发明的有益效果：

[0022] 本发明提供了一种基于多源特征的磁芯缺陷检测模型训练方法及系统，其中，该方法采用分块操作，能够有效降低特征损失，提高小目标检出率；多源成像即同时使用自然光成像图片和红外线成像图片，并进行自注意力机制操作以及融合操作，可以得到不同成像之间的关系，解决单一成像的局限性；在磁芯缺陷检测过程中，采用分块操作，降低目标误检和漏检，采用自注意力机制操作和全卷积操作结合，得到的特征图具有全局性。

附图说明

[0023] 图1是本发明实施例提供的一种基于多源特征的磁芯缺陷检测模型训练方法的流程图；

[0024] 图2是本发明实施例提供的得到第一预设数量个融合特征块的流程图；

[0025] 图3是本发明实施例提供的得到当前轮磁芯缺陷检测模型及损失值的流程图；

[0026] 图4是本发明实施例提供的得到校正后的自然光成像图片和校正后的红外线成像图片的流程图；

[0027] 图5是本发明实施例提供的一种基于多源特征的磁芯缺陷检测模型训练系统的结构示意图；

[0028] 图6是本发明实施例提供的融合子单元的结构示意图；

[0029] 图7是本发明实施例提供的检测子单元的结构示意图；

[0030] 图8是本发明实施例提供的校正子单元的结构示意图。

具体实施方式

[0031] 为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0032] 常规的磁芯缺陷检测有以下几种方法：一是用单一的成像图片；单一的成像特征均有一定的局限性，二是用多源的成像图片，即同时使用自然光成像图片和红外线成像图片；其中自然光成像具有噪音多现象，容易制作出假的缺陷；红外线成像易受周边温度等影响，多源成像在磁芯缺陷检测十分普遍，但仍然存在以下问题：

[0033] （1）没有找到多源成像之间的相关性；

[0034] （2）将多源成像分别检测，最后再将结果融合，最后检测出的缺陷目标依旧是根据单一的成像图片进行预测，仅在结果具有多源信息，导致检测的特征层具有局限性、误检率高；

[0035] （3）磁芯缺陷检测是小目标检测，容易造成漏检和智能设备需求特别高。

[0036] 因而，本发明提供了一种基于多源特征的磁芯缺陷检测模型训练方法，图1是本发明实施例提供的一种基于多源特征的磁芯缺陷检测模型训练方法的流程图，如图1所示，该方法包括：

[0037] 步骤S101，获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；

[0038] 所述模型训练包括：

[0039] 步骤S1011，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；

[0040] 具体的，图4是本发明实施例提供的得到校正后的自然光成像图片和校正后的红外线成像图片的流程图，如图4所示，所述步骤S1011包括：

[0041] 步骤S10111，通过自然目标框对所述自然光成像图片的缺陷进行标定；以及，通过红外目标框对所述红外线成像图片中的缺陷进行标定；

[0042] 步骤S10112，将所述自然目标框和所述红外目标框进行位置校正；以及，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。

[0043] 在一个可选的实施方式中，所述将所述自然目标框和所述红外目标框进行位置校正包括：

[0044] 将所述自然目标框的宽与高的倾斜角、所述红外目标框的宽与高的倾斜角进行校正，以使两个倾斜角相等；

[0045] 具体的，可以根据红外目标框的宽与高的倾斜角来调整自然框的宽与高的倾斜角，以使两个倾斜角保持一致；或者可以将红外目标框的宽与高的倾斜角、自然目标框的宽与高的倾斜角都调整到一个预设的角度，以使两个倾斜角保持一致。

[0046] 将所述自然目标框的宽与高的长度、所述红外目标框的宽与高的长度进行校正，以使两个宽相等、两个长相等；

[0047] 具体的，可以根据红外目标框的宽与高的长度来调整自然目标框的宽与高的长度，以使两个目标框的宽相等、两个目标框的高相等；或者可以将红外目标框的宽与高的长度、自然目标框的宽与高的长度都调整到一个预设的长度，以使两个目标框的宽相等、高相等。

[0048] 将所述自然目标框的四个坐标和所述红外目标框的四个坐标进行校正，以使两个目标框的四个坐标相等。

[0049] 具体的，可以根据红外目标框的四个坐标来调整自然目标框的四个坐标，以使两个目标框的坐标保持一致；或者可以将红外目标框的四个坐标、自然目标框的四个坐标都平移到预设的位置，以使两个目标框的坐标保持一致。若红外目标框与自然目标框平移后，其中红外目标框比自然目标框小一点，此时对红外目标框缺少的地方补白边，即本发明中填充其像素为255。

[0050] 当自然目标框与红外目标框的倾斜角、宽度、高度、坐标都保持一致后，再将自然光成像图片和红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。

[0051] 步骤S1012，将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；

[0052] 具体的，图2是本发明实施例提供的得到第一预设数量个融合特征块的流程图；如图2所示，所述步骤S1012包括：

[0053] 步骤S10121，将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；

[0054] 例如：将所述校正后的自然光成像图片分成64块，将所述校正后的红外线成像图片分成64块，所述自然光成像图片为三维结构，分别代表宽（水平方向上）、高（水平方向上）、通道（竖直方向上）；将校正后的自然光成像图片在水平方向上划分，划分成64块，即划分后的64块自然光成像图片块的通道与没有划分时的校正后的自然光成像图片的通道相等。类似的，将校正后的红外线成像图片也如上述一样划分。

[0055] 将划分后的64块自然光成像图片块与划分后的64块红外线成像图片块一一对应按通道连接，即在通道上进行叠加，例如：将64块自然光成像图片块放在64块红外线成像图片块上一一对应连接或将64块红外线成像图片块放在64块自然光成像图片块上一一对应连接；得到64个通道叠加图片块；该通道叠加图片块的通道大于校正后的自然光成像图片或校正后的红外线成像图片的通道。

[0056] 步骤S10122，将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；

[0057] 将64个通道叠加图片块进行自注意力机制操作，得到64个特征图（每个特征图中有多个特征值）、并且得到64个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系。

[0058] 步骤S10123，根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。

[0059] 根据64个特征图中每个特征值的相关性进行卷积操作，以使64个通道叠加图片块的通道压缩，从而使64个通道叠加图片块的通道与校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到64个融合特征块。

[0060] 具体的，所述第一预设数量个融合特征块的计算公式为：

[0061]

[0062] 其中，所述 为一个融合特征块；所述 为一个特征图中每个特征值的相关性，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系（即相似度）； 为一个特征图上的每个特征值的位置与它关系最密切的特
征值位置； 为一个特征图； 为卷积操作，以使一个通道叠加
块的通道与所述校正后的自然光成像图片和红外线成像图片的通道相等；

[0063] 本发明中，通过同时使用自然光成像图片和红外线成像图片，并进行自注意力机制操作以及融合操作，可以得到不同成像之间的关系，解决单一成像的局限性。

[0064] 步骤S1013，将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；

[0065] 具体的，图3是本发明实施例提供的得到当前轮磁芯缺陷检测模型及损失值的流程图；如图3所示，所述步骤S1013包括：

[0066] 步骤S10131，将所述第一预设数量个融合特征块进行拼接，得到多源特征图；

[0067] 在一个可选的实施方式中，将32个融合特征块进行拼接，得到新的具有多源信息的多源特征图。

[0068] 步骤S10132，将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；

[0069] 在一个可选的实施方式中，将所述多源特征图划分为64块，并将64块分别进行自注意力机制操作，得到64个自注意力特征图，将64个自注意力特征图进行融合并进行全卷积操作，得到第一块自注意力特征图。

[0070] 步骤S10133，将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；

[0071] 在一个可选的实施方式中，将所述第一块自注意力特征图划分为16块，并将16块分别进行自注意力机制操作，得到16个自注意力特征图，将16个自注意力特征图进行融合并进行全卷积操作，得到第二块自注意力特征图。

[0072] 步骤S10134，将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；

[0073] 在一个可选的实施方式中，将所述第二块自注意力特征图划分为4块，并将4块分别进行自注意力机制操作，得到4个自注意力特征图，将4个自注意力特征图进行融合并进行全卷积操作，得到第三块自注意力特征图。

[0074] 本发明中，因磁芯缺陷比较小，自然光成像图片、红外线成像图片尺度大，所以多源特征图尺度也大，容易造成磁芯缺陷漏检，所以将多源特征图进行分块操作，可以提高小目标检出率，不会造成误检和漏检。进行融合和全卷积操作使磁芯缺陷具有全局性。

[0075] 步骤S10135，将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值。

[0076] 具体的，所述将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图包括：

[0077] 将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行卷积操作，以使所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图的大小尺度相等；

[0078] 将大小尺度相等的所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行融合得到总自注意力特征图。

[0079] 将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到总注意力特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述总注意力特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值。

[0080] 步骤S102，重复步骤S101直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型。

[0081] 具体的，当损失值在预设范围内（±0.1%）波动，不再进行模型训练，得到目标磁芯缺陷检测模型。

[0082] 需要说明的是，本发明中第一预设数量、第二预设数量、第三预设数量、第四预设数量只是为了更好的说明本发明的实施过程所举的一个例子，本发明对此不作限定。

[0083] 通过本发明，提高了磁芯缺陷检测的准确率，大大降低了错误率；并且保证了磁芯缺陷检测的全局性。

[0084] 图5是本发明实施例提供的一种基于多源特征的磁芯缺陷检测模型训练系统的结构示意图，如图5所示，该系统包括：

[0085] 当前轮训练单元201，用于获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型训练，得到当前轮磁芯缺陷检测模型；

[0086] 所述模型训练包括：

[0087] 校正子单元2011，用于将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片；

[0088] 具体的，图8是本发明实施例提供的校正子单元的结构示意图，如图8所示，所述校正子单元2011包括：

[0089] 目标框标定模块20111，通过自然目标框对所述自然光成像图片的缺陷进行标定；以及，通过红外目标框对所述红外线成像图片中的缺陷进行标定；

[0090] 目标框校正模块20112，将所述自然目标框和所述红外目标框进行位置校正；以及，将所述自然光成像图片和所述红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。

[0091] 在一个可选的实施方式中，所述将所述自然目标框和所述红外目标框进行位置校正包括：

[0092] 将所述自然目标框的宽与高的倾斜角、所述红外目标框的宽与高的倾斜角进行校正，以使两个倾斜角相等；

[0093] 具体的，可以根据红外目标框的宽与高的倾斜角来调整自然框的宽与高的倾斜角，以使两个倾斜角保持一致；或者可以将红外目标框的宽与高的倾斜角、自然目标框的宽与高的倾斜角都调整到一个预设的角度，以使两个倾斜角保持一致。

[0094] 将所述自然目标框的宽与高的长度、所述红外目标框的宽与高的长度进行校正，以使两个宽相等、两个长相等；

[0095] 具体的，可以根据红外目标框的宽与高的长度来调整自然目标框的宽与高的长度，以使两个目标框的宽相等、两个目标框的高相等；或者可以将红外目标框的宽与高的长度、自然目标框的宽与高的长度都调整到一个预设的长度，以使两个目标框的宽相等、高相等。

[0096] 将所述自然目标框的四个坐标和所述红外目标框的四个坐标进行校正，以使两个目标框的四个坐标相等。

[0097] 具体的，可以根据红外目标框的四个坐标来调整自然目标框的四个坐标，以使两个目标框的坐标保持一致；或者可以将红外目标框的四个坐标、自然目标框的四个坐标都平移到预设的位置，以使两个目标框的坐标保持一致。若红外目标框与自然目标框平移后，其中红外目标框比自然目标框小一点，此时对红外目标框缺少的地方补白边，即本发明中填充其像素为255。

[0098] 当自然目标框与红外目标框的倾斜角、宽度、高度、坐标都保持一致后，再将自然光成像图片和红外线成像图片进行位置校正，得到校正后的自然光成像图片和校正后的红外线成像图片。

[0099] 融合子单元2012，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应进行融合，得到第一预设数量个融合特征块；

[0100] 具体的，图6是本发明实施例提供的融合子单元的结构示意图，如图6所示，所述融合子单元2012包括：

[0101] 连接模块20121，用于将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量块，并一一对应按通道连接，得到第一预设数量个通道叠加图片块；

[0102] 例如：将所述校正后的自然光成像图片分成64块，将所述校正后的红外线成像图片分成64块，所述自然光成像图片为三维结构，分别代表宽（水平方向上）、高（水平方向上）、通道（竖直方向上）；将校正后的自然光成像图片在水平方向上划分，划分成64块，即划分后的64块自然光成像图片块的通道与没有划分时的校正后的自然光成像图片的通道相等。类似的，将校正后的红外线成像图片也如上述一样划分。

[0103] 将划分后的64块自然光成像图片块与划分后的64块红外线成像图片块一一对应按通道连接，即在通道上进行叠加，例如：将64块自然光成像图片块放在64块红外线成像图片块上一一对应连接或将64块红外线成像图片块放在64块自然光成像图片块上一一对应连接；得到64个通道叠加图片块；该通道叠加图片块的通道大于校正后的自然光成像图片或校正后的红外线成像图片的通道。

[0104] 自注意力机制操作模块20122，用于将所述第一预设数量个通道叠加图片块进行自注意力机制操作，得到第一预设数量个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系；

[0105] 将64个通道叠加图片块进行自注意力机制操作，得到64个特征图（每个特征图中有多个特征值）、并且得到64个特征图中每个特征值的相关性；其中，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系。

[0106] 卷积操作模块20123，用于根据所述第一预设数量个特征图中每个特征值的相关性进行卷积操作，以使所述第一预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到第一预设数量个融合特征块。

[0107] 根据64个特征图中每个特征值的相关性进行卷积操作，以使64个通道叠加图片块的通道压缩，从而使64个通道叠加图片块的通道与校正后的自然光成像图片或校正后的红外线成像图片的通道相等，得到64个融合特征块。

[0108] 具体的，所述第一预设数量个融合特征块的计算公式为：

[0109]

[0110] 其中，所述 为一个融合特征块；所述 为一个特征图中每个特征值的相关性，所述相关性为特征图中一个位置的特征值与其他位置的特征值的关系（即相似度）； 为一个特征图上的每个特征值的位置与它关系最密切的特
征值位置； 为一个特征图； 为卷积操作，以使一个通道叠加
块的通道与所述校正后的自然光成像图片和红外线成像图片的通道相等。

[0111] 本发明中，通过同时使用自然光成像图片和红外线成像图片，并进行自注意力机制操作以及融合操作，可以得到不同成像之间的关系，解决单一成像的局限性。

[0112] 检测子单元2013，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；将所述多源特征图依次进行分块操作、自注意力机制操作、全卷积操作、卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值；

[0113] 具体的，图7是本发明实施例提供的检测子单元的结构示意图，如图7所示，所述检测子单元2013包括：

[0114] 拼接模块20131，用于将所述第一预设数量个融合特征块进行拼接，得到多源特征图；

[0115] 在一个可选的实施方式中，将32个融合特征块进行拼接，得到新的具有多源信息的多源特征图。

[0116] 第一分块模块20132，用于将所述多源特征图划分为第二预设数量块，并将每一块进行自注意力机制操作，得到第二预设数量个自注意力特征图；将所述第二预设数量个自注意力特征图进行融合并进行全卷积操作得到第一块自注意力特征图；

[0117] 在一个可选的实施方式中，将所述多源特征图划分为64块，并将64块分别进行自注意力机制操作，得到64个自注意力特征图，将64个自注意力特征图进行融合并进行全卷积操作，得到第一块自注意力特征图。

[0118] 第二分块模块20133，用于将所述第一块自注意力特征图划分为第三预设数量块，并将每一块进行自注意力机制操作，得到第三预设数量个自注意力特征图；将所述第三预设数量个自注意力特征图进行融合并进行全卷积操作得到第二块自注意力特征图；

[0119] 在一个可选的实施方式中，将所述第一块自注意力特征图划分为16块，并将16块分别进行自注意力机制操作，得到16个自注意力特征图，将16个自注意力特征图进行融合并进行全卷积操作，得到第二块自注意力特征图。

[0120] 第三分块模块20134，用于将所述第二块自注意力特征图划分为第四预设数量块，并将每一块进行自注意力机制操作，得到第四预设数量个自注意力特征图；将所述第四预设数量个自注意力特征图进行融合并进行全卷积操作得到第三块自注意力特征图；

[0121] 在一个可选的实施方式中，将所述第二块自注意力特征图划分为4块，并将4块分别进行自注意力机制操作，得到4个自注意力特征图，将4个自注意力特征图进行融合并进行全卷积操作，得到第三块自注意力特征图。

[0122] 本发明中，因磁芯缺陷比较小，自然光成像图片、红外线成像图片尺度大，所以多源特征图尺度也大，容易造成磁芯缺陷漏检，所以将多源特征图进行分块操作，可以提高小目标检出率，不会造成误检和漏检。进行融合和全卷积操作使磁芯缺陷具有全局性。

[0123] 融合模块20135，用于将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图；将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述特征图中磁芯缺陷的位置与所述校正图片中磁芯缺陷的位置计算损失值。

[0124] 具体的，所述将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图依次进行卷积操作、融合操作得到总自注意力特征图包括：

[0125] 将所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行卷积操作，以使所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图的大小尺度相等；

[0126] 将大小尺度相等的所述第一块自注意力特征图、所述第二块自注意力特征图、所述第三块自注意力特征图进行融合得到总自注意力特征图。

[0127] 将所述总自注意力特征图输入到所述模型的检测头中进行检测，得到总注意力特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型；根据所述总注意力特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算损失值。

[0128] 重复训练单元202，重复所述当前轮训练单元直至损失值在预设范围内波动，得到目标磁芯缺陷检测模型。

[0129] 具体的，当损失值在预设范围内（±0.1%）波动，不再进行模型训练，得到目标磁芯缺陷检测模型。

[0130] 需要说明的是，本发明中第一预设数量、第二预设数量、第三预设数量、第四预设数量只是为了更好的说明本发明的实施过程所举的一个例子，本发明对此不作限定。

[0131] 通过本发明，提高了磁芯缺陷检测的准确率，大大降低了错误率；并且保证了磁芯缺陷检测的全局性。

[0132] 本发明的有益效果：

[0133] 本发明提供了一种基于多源特征的磁芯缺陷检测模型训练方法及系统，其中，该方法采用分块操作，能够有效降低特征损失，提高小目标检出率；多源成像即同时使用自然光成像图片和红外线成像图片，并进行自注意力机制操作以及融合操作，可以得到不同成像之间的关系，解决单一成像的局限性；在磁芯缺陷检测过程中，采用分块操作，降低目标误检和漏检，采用自注意力机制操作和全卷积操作结合，得到的特征图具有全局性。

[0134] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。