本发明涉及人工智能领域，揭露一种PCB缺陷类别的智能检测方法、装置、电子设备及介质，所述方法包括：获取待检测的PCB图像；将PCB图像输入至训练完成的图像检测模型中进行处理，得到PCB图像的缺陷类别及置信度；根据缺陷类别，提取PCB图像的缺陷特征；将缺陷类别、置信度以及缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到PCB图像的最终缺陷类别，其中，图像类别决策模型的训练数据包括图像检测模型的输出数据。本发明可以实现PCB图像缺陷类别的自动识别，并提高PCB图像缺陷分类的准确率。
1.一种PCB缺陷类别的智能检测方法，其特征在于，所述方法包括：获取待检测的PCB图像；
将所述PCB图像输入至训练完成的图像检测模型中进行处理，得到所述PCB图像的缺陷类别及置信度；
将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，其中，所述图像类别决策模型的训练数据包括所述图像检测模型的输出数据；
所述将所述PCB图像输入至训练完成的图像检测模型中进行处理之前，还包括：
获取训练图像，并标注所述训练图像的真实缺陷区域及其对应的真实缺陷类别；
将所述训练图像输入至所述图像检测模型中，以通过所述图像检测模型计算所述训练图像中候选框区域的缺陷置信度，并根据所述缺陷置信度，生成所述训练图像的预测缺陷区域及其对应的预测缺陷类别，其中，所述候选框区域包括所述训练图像中多个待缺陷检测的区域图像；
根据所述真实缺陷区域和所述预测缺陷区域，及所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的训练损失；
若所述训练损失不满足所述预设条件，则调整所述图像检测模型的参数，并返回执行所述将所述训练图像输入至所述图像检测模型中的步骤；
若所述训练损失满足所述预设条件，得到训练完成的图像检测模型；
所述根据所述真实缺陷区域和所述预测缺陷区域，及所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的训练损失，包括：根据所述真实缺陷区域和所述预测缺陷区域，计算所述图像检测模型的第一损失；
根据所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的第二损失；
根据所述第一损失和所述第二损失，计算所述图像检测模型的训练损失；
其中，利用下述公式计算所述图像检测模型的第一损失：其中，loss1表示第一损失，k表示缺陷区域的数量，i表示缺陷区域的序列号，yi表示第i个真实缺陷区域，yi′表示第i个预测缺陷区域；
其中，losstotal表示最终损失，loss1表示第一损失，loss2表示第二损失；
所述通过所述图像检测模型计算所述训练图像中候选框区域的缺陷置信度，包括：利用所述图像检测模型中的卷积层提取所述训练图像中候选框区域的特征图像；
利用所述图像检测模型中的池化层对所述特征图像进行池化处理；
利用所述图像检测模型中的全连接层对池化处理后的所述特征图像进行缺陷识别，得到所述候选框区域的缺陷区域；
利用所述图像检测模型中的激活函数计算所述缺陷区域的置信度，得到所述候选框区域的缺陷置信度；
所述根据所述缺陷置信度，生成所述训练图像的预测缺陷区域及其对应的预测缺陷类别，包括；
将所述缺陷置信度最大的候选框区域作为所述训练图像的预测缺陷区域，及将所述缺陷置信度最大的候选框区域的缺陷类别作为所述训练图像的预测缺陷类别；
所述根据所述缺陷类别，提取所述PCB图像的缺陷特征，包括：根据所述缺陷类别，识别所述PCB图像的缺陷区域；
将所述缺陷区域的结构化信息作为所述PCB图像的缺陷特征，其中，所述结构化信息包括：缺陷坐标、缺陷面积、缺陷高度、缺陷宽度及缺陷板面；
所述将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，包括：将所述缺陷类别、所述置信度以及所述缺陷特征作为所述PCB图像的图像特征；
利用所述训练完成的图像类别决策模型中的决策层对所述图像特征进行特征分割，得到多个特征分割节点；
利用所述训练完成的图像类别决策模型中的直方图函数计算每个所述特征分割节点中图像特征的梯度增益；
根据所述梯度增益，查找每个所述特征分割节点的最优分裂特征；
根据所述最优分裂特征，利用所述训练完成的图像类别决策模型中的激活函数计算所述PCB图像的缺陷类别概率，得到所述PCB图像的最终缺陷类别；
所述利用所述训练完成的图像类别决策模型中的决策层对所述图像特征进行特征分割，得到多个特征分割节点，包括：从所述图像特征中任意选取一个采样特征，并识别选取的所述采样特征的信息维度；
根据所述信息维度，确定选取的所述采样特征的分割点，得到多个特征分割节点；
其中，f(x,φ)表示缺陷类别概率，x表示最优分裂特征，φ表示特征分割节点的数量，h(x)表示最优分裂特征x的高度函数，E(h(x))表示最优分裂特征的均值函数，c(φ)表示最优分裂特征的标准化函数。
2.一种PCB缺陷类别的智能检测装置，其特征在于，所述装置包括：图像获取模块，用于获取待检测的PCB图像；
图像检测模块，用于将所述PCB图像输入至训练完成的图像检测模型中进行处理，得到所述PCB图像的缺陷类别及置信度；
特征提取模块，用于根据所述缺陷类别，提取所述PCB图像的缺陷特征；
类别决策模块，用于将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，其中，所述图像类别决策模型的训练数据包括所述图像检测模型的输出数据；
所述将所述PCB图像输入至训练完成的图像检测模型中进行处理之前，还包括：
获取训练图像，并标注所述训练图像的真实缺陷区域及其对应的真实缺陷类别；
将所述训练图像输入至所述图像检测模型中，以通过所述图像检测模型计算所述训练图像中候选框区域的缺陷置信度，并根据所述缺陷置信度，生成所述训练图像的预测缺陷区域及其对应的预测缺陷类别，其中，所述候选框区域包括所述训练图像中多个待缺陷检测的区域图像；
根据所述真实缺陷区域和所述预测缺陷区域，及所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的训练损失；
若所述训练损失不满足所述预设条件，则调整所述图像检测模型的参数，并返回执行所述将所述训练图像输入至所述图像检测模型中的步骤；
若所述训练损失满足所述预设条件，得到训练完成的图像检测模型；
所述根据所述真实缺陷区域和所述预测缺陷区域，及所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的训练损失，包括：根据所述真实缺陷区域和所述预测缺陷区域，计算所述图像检测模型的第一损失；
根据所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的第二损失；
根据所述第一损失和所述第二损失，计算所述图像检测模型的训练损失；
其中，利用下述公式计算所述图像检测模型的第一损失：其中，loss1表示第一损失，k表示缺陷区域的数量，i表示缺陷区域的序列号，yi表示第i个真实缺陷区域，yi′表示第i个预测缺陷区域；
其中，losstotal表示最终损失，loss1表示第一损失，loss2表示第二损失；
所述通过所述图像检测模型计算所述训练图像中候选框区域的缺陷置信度，包括：利用所述图像检测模型中的卷积层提取所述训练图像中候选框区域的特征图像；
利用所述图像检测模型中的池化层对所述特征图像进行池化处理；
利用所述图像检测模型中的全连接层对池化处理后的所述特征图像进行缺陷识别，得到所述候选框区域的缺陷区域；
利用所述图像检测模型中的激活函数计算所述缺陷区域的置信度，得到所述候选框区域的缺陷置信度；
所述根据所述缺陷置信度，生成所述训练图像的预测缺陷区域及其对应的预测缺陷类别，包括；
将所述缺陷置信度最大的候选框区域作为所述训练图像的预测缺陷区域，及将所述缺陷置信度最大的候选框区域的缺陷类别作为所述训练图像的预测缺陷类别；
所述根据所述缺陷类别，提取所述PCB图像的缺陷特征，包括：根据所述缺陷类别，识别所述PCB图像的缺陷区域；
将所述缺陷区域的结构化信息作为所述PCB图像的缺陷特征，其中，所述结构化信息包括：缺陷坐标、缺陷面积、缺陷高度、缺陷宽度及缺陷板面；
所述将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，包括：将所述缺陷类别、所述置信度以及所述缺陷特征作为所述PCB图像的图像特征；
利用所述训练完成的图像类别决策模型中的决策层对所述图像特征进行特征分割，得到多个特征分割节点；
利用所述训练完成的图像类别决策模型中的直方图函数计算每个所述特征分割节点中图像特征的梯度增益；
根据所述梯度增益，查找每个所述特征分割节点的最优分裂特征；
根据所述最优分裂特征，利用所述训练完成的图像类别决策模型中的激活函数计算所述PCB图像的缺陷类别概率，得到所述PCB图像的最终缺陷类别；
所述利用所述训练完成的图像类别决策模型中的决策层对所述图像特征进行特征分割，得到多个特征分割节点，包括：从所述图像特征中任意选取一个采样特征，并识别选取的所述采样特征的信息维度；
根据所述信息维度，确定选取的所述采样特征的分割点，得到多个特征分割节点；
其中，f(x,φ)表示缺陷类别概率，x表示最优分裂特征，φ表示特征分割节点的数量，h(x)表示最优分裂特征x的高度函数，E(h(x))表示最优分裂特征的均值函数，c(φ)表示最优分裂特征的标准化函数。
3.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1所述的PCB缺陷类别的智能检测方法。
4.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述的PCB缺陷类别的智能检测方法。
一种PCB缺陷类别的智能检测方法、装置、电子设备及介质
技术领域
[0001] 本发明涉及人工智能领域，尤其涉及一种PCB缺陷类别的智能检测方法、装置、电子设备及介质。
背景技术
[0002] PCB板是电子工业的重要部件之一，为实现电气元件间的互连，只要有集成电路的电子设备都要使用PCB板作为实现导电线路和绝缘底板的基板。由于PCB板生产工艺复杂，包括钻孔、喷锡、化学镍金、金手指、混压、高温压合、跳孔等多道工艺，因此必须及时发现PCB板缺陷并进行报废，不能让缺陷基板继续流入后道制程，浪费生产资源。
[0003] 当前PCB板生产厂商查找缺陷基板，通常采用相机拍摄PCB板，再由专门的判图人员进行人工判图来完成，人工判图的效果依赖于员工技术熟练程度，人工判图还需要高昂的人力成本，因此使用智能化替代人工判图，实现PCB板生产缺陷自动识别和分类是PCB板生产的迫切需求。
[0004] 另外，现有技术中的智能化判图技术主要是利用深度学习对缺陷的图像进行检测与分类，由于判图准确率受限于训练集图像的缺陷分布情况，并且无法学习到图像的结构化信息，从而导致在利用深度学习执行PCB图像缺陷分类时无法保障PCB图像缺陷分类的准确率。
[0005] 基于此，亟待一种PCB板缺陷分类方法，以实现PCB图像缺陷类别的自动识别，并提高PCB图像缺陷分类的准确率。
发明内容
[0006] 为了解决上述技术问题，本发明提供了一种PCB缺陷类别的智能检测方法、装置、电子设备及介质，可以实现PCB图像缺陷类别的自动识别，并提高PCB图像缺陷分类的准确率。
[0007] 第一方面，本发明提供了一种PCB缺陷类别的智能检测方法，包括：
[0008] 获取待检测的PCB图像；
[0009] 将所述PCB图像输入至训练完成的图像检测模型中进行处理，得到所述PCB图像的缺陷类别及置信度；
[0010] 根据所述缺陷类别，提取所述PCB图像的缺陷特征；
[0011] 将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，其中，所述图像类别决策模型的训练数据包括所述图像检测模型的输出数据。
[0012] 在第一方面的一种可能实现方式中，所述将所述PCB图像输入至训练完成的图像检测模型中进行处理之前，还包括：
[0013] 获取训练图像，并标注所述训练图像的真实缺陷区域及其对应的真实缺陷类别；
[0014] 将所述训练图像输入至所述图像检测模型中，以通过所述图像检测模型计算所述训练图像中候选框区域的缺陷置信度，并根据所述缺陷置信度，生成所述训练图像的预测缺陷区域及其对应的预测缺陷类别，其中，所述候选框区域包括所述训练图像中多个待缺陷检测的区域图像；
[0015] 根据所述真实缺陷区域和所述预测缺陷区域，及所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的训练损失；
[0016] 判断所述训练损失是否满足预设条件；
[0017] 若所述训练损失不满足所述预设条件，则调整所述图像检测模型的参数，并返回执行所述将所述训练图像输入至所述图像检测模型中的步骤；
[0018] 若所述训练损失满足所述预设条件，得到训练完成的图像检测模型。
[0019] 可以看出，本发明实施例通过标注训练图像的真实缺陷区域及其对应的真实缺陷类别，以用于与后续通过图像检测模型预测的结果进行比对，实现图像检测模型的监督学习，保障所述图像检测模型的检测能力。
[0020] 在第一方面的一种可能实现方式中，所述通过所述图像检测模型计算所述训练图像中候选框区域的缺陷置信度，包括：
[0021] 利用所述图像检测模型中的卷积层提取所述训练图像中候选框区域的特征图像；
[0022] 利用所述图像检测模型中的池化层对所述特征图像进行池化处理；
[0023] 利用所述图像检测模型中的全连接层对池化处理后的所述特征图像进行缺陷识别，得到所述候选框区域的缺陷区域；
[0024] 利用所述图像检测模型中的激活函数计算所述缺陷区域的置信度，得到所述候选框区域的缺陷置信度。
[0025] 在第一方面的一种可能实现方式中，所述根据所述缺陷置信度，生成所述训练图像的预测缺陷区域及其对应的预测缺陷类别，包括；
[0026] 将所述缺陷置信度最大的候选框区域作为所述训练图像的预测缺陷区域，及将所述缺陷置信度最大的候选框区域的缺陷类别作为所述训练图像的预测缺陷类别。
[0027] 可以看出，本发明实施例通过图像检测模型计算训练图像中候选框区域的缺陷置信度，并将所述缺陷置信度最大的候选框区域作为所述训练图像的预测缺陷区域，可以筛选出符合权重占比最大的候选框区域及缺陷类别，保障候选框区域和缺陷类别获取的准确性。
[0028] 在第一方面的一种可能实现方式中，所述根据所述真实缺陷区域和所述预测缺陷区域，及所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的训练损失，包括：
[0029] 根据所述真实缺陷区域和所述预测缺陷区域，计算所述图像检测模型的第一损失；
[0030] 根据所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的第二损失；
[0031] 根据所述第一损失和所述第二损失，计算所述图像检测模型的训练损失。
[0032] 可以看出，本发明实施例通过第一损失和第二损失计算图像检测模型的训练损失，可以保障所述训练损失的计算全面性，从而可以多维度的监督图像检测模型的学习能力，提高图像检测模型的鲁棒性。
[0033] 在第一方面的一种可能实现方式中，所述根据所述缺陷类别，提取所述PCB图像的缺陷特征，包括：
[0034] 根据所述缺陷类别，识别所述PCB图像的缺陷区域；
[0035] 将所述缺陷区域的结构化信息作为所述PCB图像的缺陷特征，其中，所述结构化信息包括：缺陷坐标、缺陷面积、缺陷高度、缺陷宽度度及缺陷板面。
[0036] 可以看出，本发明实施例将缺陷区域的结构化信息作为PCB图像的缺陷特征，可以全面的获取PCB图像的图像特征信息，保障后续PCB图像的类别决策的准确性。
[0037] 在第一方面的一种可能实现方式中，所述将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，包括：
[0038] 将所述缺陷类别、所述置信度以及所述缺陷特征作为所述PCB图像的图像特征；
[0039] 利用所述训练完成的图像类别决策模型中的决策层对所述图像特征进行特征分割，得到多个特征分割节点；
[0040] 利用所述训练完成的图像类别决策模型中的直方图函数计算每个所述特征分割节点中图像特征的梯度增益；
[0041] 根据所述梯度增益，查找每个所述特征分割节点的最优分裂特征；
[0042] 根据所述最优分裂特征，利用所述训练完成的图像类别决策模型中的激活函数计算所述PCB图像的缺陷类别概率，得到所述PCB图像的最终缺陷类别。
[0043] 可以看出，本发明实施例通过图像类别决策模型对图像检测模型的输出结果进行二次学习，并结合PCB图像的图像特征实现PCB图像的最终类别决策，可以保障PCB图像的缺陷类别的检测准确率。
[0044] 在第一方面的一种可能实现方式中，所述所述利用所述训练完成的图像类别决策模型中的决策层对所述图像特征进行特征分割，得到多个特征分割节点，包括：
[0045] 从所述图像特征中任意选取一个采样特征，并识别选取的所述采样特征的信息维度；
[0046] 根据所述信息维度，确定选取的所述采样特征的分割点，得到多个特征分割节点。
[0047] 可以看出，本发明实施例通过对图像特征进行随机采样，可以保障图像特征后续分割的随机性，从而可以保障后续分割节点划分的可靠性，进而可以保障后续图像决策结果的可靠性。
[0048] 在第一方面的一种可能实现方式中，所述激活函数包括：
[0049]
[0050] 其中，f（x，Φ）表示缺陷类别概率，x表示最优分裂特征，Φ表示特征分割节点的数量，h(x)表示最优分裂特征x的高度函数，E（h(x)）表示最优分裂特征的均值函数，c（Φ）表示最优分裂特征的标准化函数。
[0051] 第二方面，本发明提供了一种PCB缺陷类别的智能检测装置，所述装置包括：
[0052] 图像获取模块，用于获取待检测的PCB图像；
[0053] 图像检测模块，用于将所述PCB图像输入至训练完成的图像检测模型中进行处理，得到所述PCB图像的缺陷类别及置信度；
[0054] 特征提取模块，用于根据所述缺陷类别，提取所述PCB图像的缺陷特征；
[0055] 类别决策模块，用于将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，其中，所述图像类别决策模型的训练数据包括所述图像检测模型的输出数据。
[0056] 第三方面，本发明提供一种电子设备，包括：
[0057] 至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
[0058] 其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，以使所述至少一个处理器能够执行如上述第一方面中任意一项所述的PCB缺陷类别的智能检测方法。
[0059] 第四方面，本发明提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的PCB缺陷类别的智能检测方法。
[0060] 与现有技术相比，本方案的技术原理及有益效果在于：
[0061] 本方案通过图像检测模型检测PCB图像的缺陷类别及置信度，并结合所述PCB图像的缺陷特征，以使得图像类别决策模型对所述PCB图像进行二次学习，修正图像检测模型的缺陷类别判图结果，有效的将图像检测模型与图像类别决策模型相结合，实现了PCB图像的缺陷类别的自动识别，并解决了现有技术中图像检测模型受限于训练集图像的缺陷分布情况，无法保障PCB图像缺陷分类的准确率问题。因此，本发明实施例提出的一种PCB缺陷类别的智能检测方法、装置、电子设备及介质，可以实现PCB图像缺陷类别的自动识别，并提高PCB图像缺陷分类的准确率。
附图说明
[0062] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0063] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0064] 图1为本发明一实施例提供的一种PCB缺陷类别的智能检测方法的流程示意图；
[0065] 图2为本发明一实施例中图1提供的一种PCB缺陷类别的智能检测方法的其中一个步骤的流程示意图；
[0066] 图3为本发明一实施例中图1提供的一种PCB缺陷类别的智能检测方法的另外一个步骤的流程示意图；
[0067] 图4为本发明一实施例提供的一种PCB缺陷类别的智能检测装置的模块示意图；
[0068] 图5为本发明一实施例提供的实现PCB缺陷类别的智能检测方法的电子设备的内部结构示意图。
具体实施方式
[0069] 应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
[0070] 本发明实施例提供一种PCB缺陷类别的智能检测方法，所述PCB缺陷类别的智能检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述PCB缺陷类别的智能检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0071] 参阅图1所示，是本发明一实施例提供的PCB缺陷类别的智能检测方法的流程示意图。其中，图1中描述的PCB缺陷类别的智能检测方法包括：
[0072] S1、获取待检测的PCB图像。
[0073] 本发明实施例中，所述PCB图像是指需要对PCB（印刷电路板）进行缺陷类别检测的图像，所述印刷电路板是重要的电子部件，是电子元器件的支撑体，是电子元器件电气相互连接的载体，只要有集成电路的电子设备都要使用PCB板作为实现导电线路和绝缘底板的基板，由于印刷电路板是生产工艺复杂，包括钻孔、喷锡、化学镍金、金手指、混压、高温压合、跳孔等多道工艺，因此必须及时发现PCB板缺陷并进行报废，不能让缺陷的印刷电路板是继续流入后道制程，造成生产资源的浪费，于是，本发明实施例通过获取待检测的PCB图像，以保障后续印刷电路板的缺陷检测前提，可选的，所述PCB图像可以通过摄像机对印刷电路板进行拍摄得到。
[0074] S2、将所述PCB图像输入至训练完成的图像检测模型中进行处理，得到所述PCB图像的缺陷类别及置信度。
[0075] 本发明实施例中，所述图像检测模型包括深度学习模型，其用于检测所述PCB图像的缺陷类别及置信度，所述缺陷类别可以理解为所述PCB图像对应的PCB所存在的类别缺陷，常见的如板角或板边损失、板面污渍、板面余铜以及擦伤/刮花等，所述置信度可以理解为所检测出来的缺陷类别的可信度。
[0076] 进一步地，本发明实施例将所述PCB图像输入至训练完成的图像检测模型中进行处理之前，需要对所述图像检测模型进行训练，以保证所述图像检测模型的图像检测准确性。可选的，所述图形检测模型可以通过faster‑rcnn、yolo等算法进行构建。
[0077] 请参阅图2，图2示出了本发明实施例提供的训练图像检测模型的示意性流程图。如图3所示，所述图像检测模型的训练过程，可以包括：
[0078] S201、获取训练图像，并标注所述训练图像的真实缺陷区域及其对应的真实缺陷类别；
[0079] S202、将所述训练图像输入至所述图像检测模型中，以通过所述图像检测模型计算所述训练图像中候选框区域的缺陷置信度，并根据所述缺陷置信度，生成所述训练图像的预测缺陷区域及其对应的预测缺陷类别，其中，所述候选框区域包括所述训练图像中多个待缺陷检测的区域图像；
[0080] S203、根据所述真实缺陷区域和所述预测缺陷区域，及所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的训练损失；
[0081] S204、判断所述训练损失是否满足预设条件；
[0082] S205、若所述训练损失不满足所述预设条件，则调整所述图像检测模型的参数，并返回执行所述将所述训练图像输入至所述图像检测模型中的步骤；
[0083] S206、若所述训练损失满足所述预设条件，得到训练完成的图像检测模型。
[0084] 其中，所述训练图像是指已经进行缺陷类别检测的PCB图像，因此，本发明实施例通过标注所述训练图像的真实缺陷区域及其对应的真实缺陷类别，以用于与后续通过所述图像检测模型预测的结果进行比对，实现所述图像检测模型的监督学习，保障所述图像检测模型的检测能力。
[0085] 进一步地，本发明一可选实施例中，所述通过所述图像检测模型计算所述训练图像中候选框区域的缺陷置信度，包括：利用所述图像检测模型中的卷积层提取所述训练图像中候选框区域的特征图像；利用所述图像检测模型中的池化层对所述特征图像进行池化处理；利用所述图像检测模型中的全连接层对池化处理后的所述特征图像进行缺陷识别，得到所述候选框区域的缺陷区域；利用所述图像检测模型中的激活函数计算所述缺陷区域的置信度，得到所述候选框区域的缺陷置信度。
[0086] 进一步地，本发明又一可选实施例中，所述特征图像的提取可以通过所述卷积层中的卷积核实现，其用于提取所述候选框区域的特征信息，提高后续图像的处理速度，所述特征图像的池化处理可以通过所述池化层的激活函数实现，如relu函数，其用于实现所述特征图像的降维，所述特征图像的缺陷识别可以通过所述全连接层的全卷积神经网络实现，所述激活函数包括softmax函数。
[0087] 进一步地，本发明一可选实施例中，所述所述根据所述缺陷置信度，生成所述训练图像的预测缺陷区域及其对应的预测缺陷类别，包括；将所述缺陷置信度最大的候选框区域作为所述训练图像的预测缺陷区域，及将所述缺陷置信度最大的候选框区域的缺陷类别作为所述训练图像的预测缺陷类别。
[0088] 进一步地，本发明一可选实施例中，所述根据所述真实缺陷区域和所述预测缺陷区域，及所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的训练损失，包括：根据所述真实缺陷区域和所述预测缺陷区域，计算所述图像检测模型的第一损失；根据所述真实缺陷类别和所述预测缺陷类别，计算所述图像检测模型的第二损失；根据所述第一损失和所述第二损失，计算所述图像检测模型的训练损失。
[0089] 进一步地，本发明一可选实施例中，利用下述公式计算所述图像检测模型的第一损失：
[0090]
[0091] 其中， loss1表示第一损失， 表示缺陷区域的数量，i表示缺陷区域的序列号，yi表示第i个真实缺陷区域， 表示第i个预测缺陷区域。
[0092] 进一步地，本发明一可选实施例中，所述第二损失的计算公式可以参阅所述第一损失的计算公式，在此不做进一步地赘述。
[0093] 进一步地，本发明一可选实施例中，利用下述公式所述图像检测模型的训练损失：
[0094] losstotal=loss1+loss2
[0095] 其中， losstotal表示最终损失，loss1表示第一损失，loss2表示第二损失[0096] 进一步地，本发明一可选实施例中，所述预设条件可以设置为所述训练损失是否小于预设损失，也可以根据实际业务场景设置，即在所述训练损失不小于所述预设损失时，判断出所述训练损失不满足预设条件，在所述训练损失小于所述预设损失时，判断出所述训练损失满足预设条件，可选的，所述预设损失可以为设置为0.1。
[0097] 进一步地，本发明一可选实施例中，所述图像检测模型的参数包括权重和偏置，所述模型的参数调整可以通过梯度下降算法实现，如随机梯度下降算法。
[0098] 进一步地，本发明实施例通过将所述PCB图像输入至训练完成的图像检测模型中，以通过所述图像检测模型检测出所述PCB图像的缺陷类别及置信度。
[0099] S3、根据所述缺陷类别，提取所述PCB图像的缺陷特征。
[0100] 本发明实施例中，所述根据所述缺陷类别，提取所述PCB图像的缺陷特征，包括：根据所述缺陷类别，识别所述PCB图像的缺陷区域；将所述缺陷区域的结构化信息作为所述PCB图像的缺陷特征，其中，所述结构化信息包括：缺陷坐标、缺陷面积、缺陷高度、缺陷宽度度及缺陷板面。
[0101] S4、将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，其中，所述图像类别决策模型的训练数据包括所述图像检测模型的输出数据。
[0102] 本发明实施例中，所述图像类别决策模型包括机器学习模型，其用于对所述图像检测模型的输出结果进行二次学习，以保障所述PCB图像的缺陷类别的检测准确率。可选的，所述图像类别决策模型可以通过Lightgbm、Xgboost等算法进行构建。需要说明的是，本发明实施例中，所述图像类别决策模型的训练数据包括所述图像检测模型的输出数据，可以拟合所述图像检测模型的输出结果，保障后续所述图像类别模型在对所述图像检测模型的输出结果进行二次学习的可靠性，提高所述图像类别模型的决策能力。
[0103] 作为本发明的一个实施例，参阅图3所示，所述将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，包括：
[0104] S301、将所述缺陷类别、所述置信度以及所述缺陷特征作为所述PCB图像的图像特征；
[0105] S302、利用所述训练完成的图像类别决策模型中的决策层对所述图像特征进行特征分割，得到多个特征分割节点；
[0106] S303、利用所述训练完成的图像类别决策模型中的直方图函数计算每个所述特征分割节点中图像特征的梯度增益；
[0107] S304、根据所述梯度增益，查找每个所述特征分割节点的最优分裂特征；
[0108] S305、根据所述最优分裂特征，利用所述训练完成的图像类别决策模型中的激活函数计算所述PCB图像的缺陷类别概率，得到所述PCB图像的最终缺陷类别。
[0109] 进一步地，本发明一可选实施例中，所述利用所述训练完成的图像类别决策模型中的决策层对所述图像特征进行特征分割，得到多个特征分割节点，包括：从所述图像特征中任意选取一个采样特征，并识别选取的所述采样特征的信息维度，根据所述信息维度，确定选取的所述采样特征的分割点，得到多个特征分割节点。例如，选取的采样特征为PCB图像的板面，其中，该采样特征的信息维度包括：缺陷面积、缺陷高度/宽度、板面余铜以及板面擦伤/刮花，则可以确定该采样特征的板面余铜分割点为：板面余铜是否超过预设阈值，从而得到该采样特征的特征分割节点为板面余铜是否超过预设阈值。
[0110] 进一步地，本发明一可选实施例中，所述直方图函数包括：
[0111]
[0112] 其中，Ci表示图像特征的梯度增益，Ei表示特征分割节点中第i个图像特征，EiT表示征分割节点中第i个图像特征的特征向量协方差，trace（）表示空间滤波函数。
[0113] 进一步地，本发明一可选实施例中，所述激活函数包括：
[0114]
[0115] 其中，f（x，Φ）表示缺陷类别概率，x表示最优分裂特征，Φ表示特征分割节点的数量，h(x)表示最优分裂特征x的高度函数，E（h(x)）表示最优分裂特征的均值函数，c（Φ）表示最优分裂特征的标准化函数。
[0116] 可以看出，本发明实施例通过图像检测模型检测PCB图像的缺陷类别及置信度，并结合所述PCB图像的缺陷特征，以使得图像类别决策模型对所述PCB图像进行二次学习，修正图像检测模型的缺陷类别判图结果，有效的将图像检测模型与图像类别决策模型相结合，实现了PCB图像的缺陷类别的自动识别，并解决了现有技术中图像检测模型受限于训练集图像的缺陷分布情况，无法保障PCB图像缺陷分类的准确率问题。因此，本发明实施例提出的一种PCB缺陷类别的智能检测方法可以实现PCB图像缺陷类别的自动识别，并提高PCB图像缺陷分类的准确率。
[0117] 如图4所示，是本发明PCB缺陷类别的智能检测装置的功能模块图。
[0118] 本发明所述PCB缺陷类别的智能检测装置400可以安装于电子设备中。根据实现的功能，所述PCB缺陷类别的智能检测装置可以包括图像获取模块401、图像检测模块402、特征提取模块403以及类别决策模型404。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0119] 在本发明实施例中，关于各模块/单元的功能如下：
[0120] 所述图像获取模块401，用于获取待检测的PCB图像；
[0121] 所述图像检测模块402，用于将所述PCB图像输入至训练完成的图像检测模型中进行处理，得到所述PCB图像的缺陷类别及置信度；
[0122] 所述特征提取模块403，用于根据所述缺陷类别，提取所述PCB图像的缺陷特征；
[0123] 所述类别决策模块404，用于将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，其中，所述图像类别决策模型的训练数据包括所述图像检测模型的输出数据。
[0124] 详细地，本发明实施例中所述PCB缺陷类别的智能检测装置400中的所述各模块在使用时采用与上述的图1至图3中所述的PCB缺陷类别的智能检测方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
[0125] 如图5所示，是本发明实现PCB缺陷类别的智能检测方法的电子设备的结构示意图。
[0126] 所述电子设备可以包括处理器50、存储器51、通信总线52以及通信接口53，还可以包括存储在所述存储器51中并可在所述处理器50上运行的计算机程序，如PCB缺陷类别的智能检测程序。
[0127] 其中，所述处理器50在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器50是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器51内的程序或者模块（例如执行PCB缺陷类别的智能检测程序等），以及调用存储在所述存储器51内的数据，以执行电子设备的各种功能和处理数据。
[0128] 所述存储器51至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器51在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器51在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（Secure Digital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器51还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器51不仅可以用于存储安装于电子设备的应用软件及各类数据，例如PCB缺陷类别的智能检测程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0129] 所述通信总线52可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器51以及至少一个处理器50等之间的连接通信。
[0130] 所述通信接口53用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI‑FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，所述用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light‑Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0131] 图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0132] 例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器50逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi‑Fi模块等，在此不再赘述。
[0133] 应该了解，所述实施例仅为说明之用，在专利发明范围上并不受此结构的限制。
[0134] 所述电子设备中的所述存储器51存储的PCB缺陷类别的智能检测程序是多个计算机程序的组合，在所述处理器50中运行时，可以实现：
[0135] 获取待检测的PCB图像；
[0136] 将所述PCB图像输入至训练完成的图像检测模型中进行处理，得到所述PCB图像的缺陷类别及置信度；
[0137] 根据所述缺陷类别，提取所述PCB图像的缺陷特征；
[0138] 将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，其中，所述图像类别决策模型的训练数据包括所述图像检测模型的输出数据。
[0139] 具体地，所述处理器50对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
[0140] 进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read‑Only Memory）。
[0141] 本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
[0142] 获取待检测的PCB图像；
[0143] 将所述PCB图像输入至训练完成的图像检测模型中进行处理，得到所述PCB图像的缺陷类别及置信度；
[0144] 根据所述缺陷类别，提取所述PCB图像的缺陷特征；
[0145] 将所述缺陷类别、所述置信度以及所述缺陷特征输入至训练完成的图像类别决策模型中进行处理，得到所述PCB图像的最终缺陷类别，其中，所述图像类别决策模型的训练数据包括所述图像检测模型的输出数据。
[0146] 在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0147] 所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0148] 另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0149] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0150] 因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0151] 需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0152] 以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。
