本发明提供基于生成式对抗网络的FPCB板缺陷检测方法及装置，检测方法包括：采集获取真实FPCB板缺陷图像；将获取的缺陷图像和表示类别信息的条件标签作为具有双层对抗和双输出通道的改进GAN模型的输入，通过生成器和判别器的对抗训练，生成高度近似真实缺陷分布的模拟缺陷图像，并由第一输出通道输出；然后将第一输出通道输出的模拟缺陷图像与真实缺陷图像混合作为FPCB板缺陷样本集，按照一定比例分割成互不交叉的训练集和测试集；对分割好的训练集和测试集数据通过频域高斯滤波等方法进行平滑处理，生成无缺陷数据集，再成对输入到分类定位器中进行对抗性训练，由第二输出通道输出缺陷类别独热码和锚框坐标，实现分类和定位。
1.基于生成式对抗网络的FPCB板缺陷检测方法，其特征在于，包括以下步骤：步骤1.采集获取真实FPCB板缺陷图像；
步骤2.将获取的系列真实FPCB板缺陷图像和表示类别信息的条件标签作为具有双层对抗和双输出通道的改进GAN模型的输入，通过生成器和判别器的对抗训练，生成高度近似真实缺陷分布的模拟缺陷图像，并由第一输出通道输出；然后将第一输出通道输出的模拟缺陷图像与真实缺陷图像混合作为FPCB板缺陷样本集，按照一定比例分割成互不交叉的训练集和测试集；
步骤3.对分割好的所述训练集和测试集数据进行平滑处理，生成无缺陷数据集，再成对输入到分类定位器中进行对抗性训练，由第二输出通道输出缺陷类别独热码和锚框坐标，实现分类和定位，
其中，在所述改进GAN模型中，判别器处设有一个平行的分类定位器，判别器判别图像的真假，其损失函数为LD，逐层求损失函数对判别器每层神经元参数的偏导数，实现参数的迭代更新；分类定位器进行缺陷的分类和定位，其损失函数为LF，进行反向传播更新参数；
所述生成器的参数更新由所述判别器和所述分类定位器的损失函数共同作用。
2.根据权利要求1所述的基于生成式对抗网络的FPCB板缺陷检测方法，其特征在于：其中，所述分类定位器的损失函数公式如下：T
式中，y为真实值，f(x)为预测的概率分布，c为类别标签，y表示y的转置。
3.根据权利要求1所述的基于生成式对抗网络的FPCB板缺陷检测方法，其特征在于：其中，在步骤1中，是采集FPCB板生产线上相机拍摄的FPCB板缺陷图像，并进行预处理得到真实FPCB板缺陷图像。
4.根据权利要求1所述的基于生成式对抗网络的FPCB板缺陷检测方法，其特征在于：其中，采用Adam优化器引导所述改进GAN模型更新参数。
5.基于生成式对抗网络的FPCB板缺陷检测装置，其特征在于，包括：获取部，采集获取真实FPCB板缺陷图像；
改进GAN模型部，与所述获取部通信相连，将真实FPCB板缺陷图像和表示类别信息的条件标签作为具有双层对抗和双输出通道的改进GAN模型的输入，通过生成器和判别器的对抗训练，生成高度近似真实缺陷分布的模拟缺陷图像，并由第一输出通道输出；然后将第一输出通道输出的模拟缺陷图像与真实缺陷图像混合作为FPCB板缺陷样本集，按照一定比例分割成互不交叉的训练集和测试集；对分割好的所述训练集和测试集数据进行平滑处理，生成无缺陷数据集，再成对输入到分类定位器中进行对抗性训练，由第二输出通道输出缺陷类别独热码和锚框坐标，实现缺陷分类和定位；以及控制部，与所述获取部和所述改进GAN模型部通信相连，并控制它们的运行，其中，在所述改进GAN模型中，判别器处设有一个平行的分类定位器，判别器判别图像的真假，其损失函数为LD，逐层求损失函数对判别器每层神经元参数的偏导数，实现参数的迭代更新；分类定位器进行缺陷的分类和定位，其损失函数为LF，进行反向传播更新参数；
所述生成器的参数更新由所述判别器和所述分类定位器的损失函数共同作用。
6.根据权利要求5所述的基于生成式对抗网络的FPCB板缺陷检测装置，其特征在于：其中，所述分类定位器的损失函数公式如下：T
式中，y为真实值，f(x)为预测的概率分布，c为类别标签，y表示y的转置。
7.根据权利要求5所述的基于生成式对抗网络的FPCB板缺陷检测装置，其特征在于：其中，所述获取部通过对FPCB板生产线上相机拍摄的FPCB板缺陷图像进行预处理得到真实FPCB板缺陷图像。
8.根据权利要求5所述的基于生成式对抗网络的FPCB板缺陷检测装置，其特征在于：其中，在所述改进GAN模型部中是采用Adam优化器引导所述改进GAN模型更新参数。
9.根据权利要求5所述的基于生成式对抗网络的FPCB板缺陷检测装置，其特征在于，还包括：
输入显示部，与所述获取部、所述改进GAN模型部、所述控制部均通信相连，用于让用户输入操作指令，并进行相应显示。
10.根据权利要求9所述的基于生成式对抗网络的FPCB板缺陷检测装置，其特征在于：其中，所述输入显示部根据所述改进GAN模型部输出的缺陷类别独热码和锚框坐标，在相应的缺陷图像上显示缺陷位置和缺陷类别。
基于生成式对抗网络的FPCB板缺陷检测方法及装置
技术领域
[0001] 本发明属于计算机视觉缺陷检测技术领域，具体涉及基于生成式对抗网络（GAN模型）的FPCB板缺陷检测方法及装置。
技术背景
[0002] 柔性印刷电路板（Flexible Printed Circuit Board）是一种利用柔性基材制成的具有图形的印刷电路板，由于其具有可连续自动化生产，配线密度高，重量轻、体积小，配
线错误少，可挠性及可弹性改变形状等特性，被广泛应用于军工、国防和消费性电子产品如
数码相机、手表、笔记本电脑等领域。
[0003] FPCB板主要有断路、短路、缺口等六种缺陷类型。当前FPCB板缺陷检测存在大量的人工目检，这种方法效率低下且准确度低。对于这种问题，近年来有很多学者提出了不同的
计算机检测方法，如SIFT及SURF图像匹配算法、基于Faster‑RCNN的机器学习算法、基于ROI
的模板匹配算法，在一定程度上提高了FPCB板缺陷检测的效率。但是，这些方法适用范围狭
窄、可迁移性差，并且对于数据量有严重的依赖性。
发明内容
[0004] 本发明是为了解决上述问题而进行的，目的在于提供一种基于生成式对抗网络的FPCB板缺陷检测方法及装置，不仅能够有效解决缺陷数据样本不足且不均衡等问题，而且
能够有效提高缺陷分类和定位精度。
[0005] 本发明为了实现上述目的，采用了以下方案：
[0006] <方法>
[0007] 本发明提供了基于生成式对抗网络的FPCB板缺陷检测方法，其特征在于，包括以下步骤：
[0008] 步骤1. 采集获取真实FPCB板缺陷图像；
[0009] 步骤2. 将获取的系列真实FPCB板缺陷图像和表示类别信息的条件标签作为具有双层对抗和双输出通道的改进GAN模型的输入，通过生成器和判别器的对抗训练，生成高度
近似真实缺陷分布的模拟缺陷图像，并由第一输出通道输出；然后将第一输出通道输出的
模拟缺陷图像与真实缺陷图像混合作为FPCB板缺陷样本集，按照一定比例分割成互不交叉
的训练集和测试集；
[0010] 步骤3. 对分割好的训练集和测试集数据通过频域高斯滤波等方法进行平滑处理，生成无缺陷数据集，再成对输入到分类定位器中进行对抗性训练，由第二输出通道输出
缺陷类别独热码和锚框坐标，实现分类和定位，
[0011] 其中，在改进GAN模型中，判别器处设有一个平行的分类定位器，判别器判别图像的真假，其损失函数为LD，逐层求损失函数对判别器每层神经元参数的偏导数，实现参数的
迭代更新；分类定位器进行缺陷的分类和定位，其损失函数为LF，进行反向传播更新参数；
生成器的参数更新由判别器和分类定位器的损失函数共同作用。
[0012] 优选地，本发明提供的基于生成式对抗网络的FPCB板缺陷检测方法，还可以具有以下特征：分类定位器的损失函数采用表征两个概率分布之间距离的交叉熵损失函数，其
公式如下：
[0013] ，
[0014] 式中，y为真实值，f(x)为预测的概率分布，c为类别标签，T表示向量y转置。
[0015] 优选地，本发明提供的基于生成式对抗网络的FPCB板缺陷检测方法，还可以具有以下特征：在步骤1中，是采集FPCB板生产线上相机拍摄的FPCB板缺陷图像，并进行预处理
得到真实FPCB板缺陷图像。
[0016] 优选地，本发明提供的基于生成式对抗网络的FPCB板缺陷检测方法，还可以具有以下特征：为使生成式对抗网络加速收敛，改善训练效果，采用Adam优化器引导改进GAN模
型更新参数。
[0017] <装置>
[0018] 进一步，本发明还提供了一种自动实现上述<方法>的基于生成式对抗网络的FPCB板缺陷检测装置，其特征在于，包括：
[0019] 获取部，采集获取真实FPCB板缺陷图像；
[0020] 改进GAN模型部，与获取部通信相连，将真实FPCB板缺陷图像和表示类别信息的条件标签作为具有双层对抗和双输出通道的改进GAN模型的输入，通过生成器和判别器的对
抗训练，生成高度近似真实缺陷分布的模拟缺陷图像，并由第一输出通道输出；然后将第一
输出通道输出的模拟缺陷图像与真实缺陷图像混合作为FPCB板缺陷样本集，按照一定比例
分割成互不交叉的训练集和测试集；对分割好的训练集和测试集数据进行平滑处理，生成
无缺陷数据集，再成对输入到分类定位器中进行对抗性训练，由第二输出通道输出缺陷类
别独热码和锚框坐标，实现缺陷分类和定位；以及
[0021] 控制部，与获取部和改进GAN模型部通信相连，并控制它们的运行，
[0022] 其中，在改进GAN模型中，是将真实缺陷图像和随机噪声以及条件标签共同输入，并将条件标签作为模型的增加约束条件指导生成器和判别器对抗训练，训练完成后，生成
器即可生成模拟缺陷图像；并且，在改进GAN模型中，判别器处设有一个平行的分类定位器，
判别器判别图像的真假，其损失函数为LD，逐层求损失函数对判别器每层神经元参数的偏
导数，实现参数的迭代更新；分类定位器进行缺陷的分类和定位，其损失函数为LF，进行反
向传播更新参数；生成器的参数更新由判别器和分类定位器的损失函数共同作用。
[0023] 优选地，本发明提供的基于生成式对抗网络的FPCB板缺陷检测装置，还可以具有这样的特征：分类定位器的损失函数公式如下：
[0024] ，
[0025] 式中，y为真实值，f(x)为预测的概率分布，c为类别标签，T表示向量y转置。
[0026] 优选地，本发明提供的基于生成式对抗网络的FPCB板缺陷检测装置，还可以具有这样的特征：获取部通过对FPCB板生产线上相机拍摄的FPCB板缺陷图像进行预处理得到真
实FPCB板缺陷图像。
[0027] 优选地，本发明提供的基于生成式对抗网络的FPCB板缺陷检测装置，还可以具有这样的特征：采用Adam优化器引导改进GAN模型更新参数。
[0028] 优选地，本发明提供的基于生成式对抗网络的FPCB板缺陷检测装置，还可以包括：输入显示部，与获取部、改进GAN模型部、控制部均通信相连，用于让用户输入操作指令，并
进行相应显示。
[0029] 优选地，本发明提供的基于生成式对抗网络的FPCB板缺陷检测装置，还可以具有这样的特征：输入显示部根据改进GAN模型部输出的缺陷类别独热码和锚框坐标，在相应的
缺陷图像上显示缺陷位置和缺陷类别。
[0030] 发明的作用与效果
[0031] 与现有技术相比，本发明的有益效果在于：
[0032] 1.本发明使用生成式对抗网络GAN，能够生成大量高度近似的FPCB板缺陷图像，有效解决了真实缺陷样本不足且不均衡等问题，丰富了训练样本集的多样性和随机性，对数
据样本进行了有效增强，避免了过拟合现象。
[0033] 2.本发明对生成式对抗网络进行了双层对抗的改进设计，生成器和判别器的对抗训练能生成高度近似的模拟缺陷图像，缺陷图像（包括真实和模拟的）和平滑处理后的无缺
陷图像成对输入到分类定位器中进行对抗性训练，能有效提高缺陷的分类速度和准确度，
且经过差分操作后能实现缺陷的快速准确定位。
[0034] 3.本发明对生成式对抗网络进行了双输出通道的改进设计，只用训练一个模型就可实现生成模拟图像和对缺陷进行精确分类定位这两种输出功能，大大节省了模型的训练
时间，且能获得较好的生成和识别效果。
附图说明
[0035] 图 1 为本发明涉及的基于生成式对抗网络的FPCB板缺陷检测方法的流程图；
[0036] 图 2 为本发明涉及的改进生成式对抗网络的结构示意图；
[0037] 图 3 为本发明涉及的改进生成式对抗网络模型中生成器网络的结构示意图；
[0038] 图 4 为本发明涉及的改进生成式对抗网络模型中判别器网络的结构示意图；
[0039] 图 5 为本发明涉及的改进生成式对抗网络模型中分类定位器网络的结构示意图。
具体实施方式
[0040] 以下结合附图对本发明涉及的基于生成式对抗网络的FPCB板缺陷检测方法及装置进行详细地说明。
[0041] <实施例>
[0042] 如图1所示，本实施例所提供的基于生成式对抗网络的FPCB板缺陷检测方法包括以下步骤：
[0043] 步骤1：在某FPCB板生产线上采集工业相机拍摄的FPCB板缺陷图像，统一图像为100×100像素，位深度为8，单通道的灰度图，得到真实FPCB板缺陷图像集。
[0044] 步骤2：将采集的真实FPCB板缺陷图像和条件标签c（表示缺陷类别）作为改进GAN的输入，生成器G生成尽量接近真实的图片去欺骗判别器，判别器D尽量把生成器生成的图
片和真实的图片分辨开来。通过生成器和判别器的对抗训练，生成高度近似的模拟缺陷图
像，提取输出通道1（对应生成器G）输出的模拟缺陷图像，与真实图像混合构建FPCB板缺陷
样本集，按照合适的比例分割成互不交叉的训练集和测试集。一般情况下，设置训练集和测
试集的分割比例为70%：30%，如果数据量特别大的话，可设置为98%：2%。
[0045] 步骤3：将分割好的训练集和测试集数据通过频域高斯滤波方法进行平滑处理，生成相对应的无缺陷数据集，再成对输入到分类定位器中进行对抗性训练，由输出通道2（对
应分类定位器F）输出缺陷类别独热码和锚框坐标，实现分类和定位。
[0046] 如图2所示为本发明的改进生成式对抗网络的结构示意图。
[0047] 本发明对原生成式对抗网络模型进行双层对抗和双输出通道的改进设计，得到改进GAN模型：在输入真实缺陷图像和随机噪声z时，一同输入的还有条件标签c，使用条件标
签c对模型增加约束条件，指导生成器G和判别器D对抗训练，生成器G生成高度近似真实数
据分布的模拟数据，由输出通道1输出；在判别器D处增加一个平行的分类定位器F，真实缺
陷图像和模拟缺陷图像混合构建成样本集，经频域高斯滤波进行平滑处理后生成无缺陷样
本集，再将互不交叉的训练集和测试集与平滑后的无缺陷样本集成对输入到分类定位器F
中进行对抗性训练，由输出通道2输出缺陷的类别和位置。
[0048] 分类定位器F的损失函数采用表征两个概率分布之间距离的交叉熵损失函数，其公式如下：
[0049] ，
[0050] 式中，y为真实值，f(x)为预测的概率分布。
[0051] 为使模型加速收敛，改善训练效果，使用Adam优化器引导改进GAN模型更新参数，Adam优化器的数学模型如下：
[0052]
[0053] 其中，β1、β2为超参数，β1t为β1的t次方，β2t为β2的t次方，t为当前批次迭代的总次数，gt为梯度，lr为学习率，ƞt为下降梯度，mt为一阶动量， 为修正后的一阶动量，Vt为二阶
动量， 为修正后的二阶动量。
[0054] 如图3所示为本发明的改进生成式对抗网络模型中生成器网络的结构示意图。先随机生成1000个噪声点，然后扩充为4608个，形成噪音层，接下来把这些数据重塑成6×6×
128的矩阵，然后通过4个反卷积层进行反卷积操作。最后的输出结果是100×100×1的灰度
图像，也就是生成器G所生成的图片。
[0055] 如图4所示为本发明的改进生成式对抗网络模型中判别器网络的结构示意图。判别器D网络的输入是生成器G的输出图片和真实图片，大小为100×100×1，通过6个卷积层
和2个全连接层，最后输出预测结果，为一个2×1的矩阵，对图片的真假性进行判别。
[0056] 如图5所示为本发明的改进生成式对抗网络模型中分类定位器网络的结构示意图。分类定位器F的输入是FPCB板的灰度图像，大小为100×100×1，通过5个卷积层和2个全
连接层，输出一个11×1的矩阵。其中前7位是FPCB板的类别，含有FPCB板是否有缺陷以及缺
陷种类的信息，后4位是锚框的4个边角位置，如果有缺陷的话用于缺陷的定位。
[0057] 进一步，本实施例还提供能够自动实现上述方法的FPCB板缺陷检测装置，该装置包括获取部、改进GAN模型部、输入显示部、控制部。
[0058] 获取部用于对FPCB板生产线上相机拍摄的FPCB板缺陷图像进行预处理得到真实FPCB板缺陷图像。
[0059] 改进GAN模型部与获取部通信相连，将真实FPCB板缺陷图像和表示类别信息的条件标签作为具有双层对抗和双输出通道的改进GAN模型的输入，通过生成器和判别器的对
抗训练，生成高度近似真实缺陷分布的模拟缺陷图像，并由第一输出通道输出；然后将第一
输出通道输出的模拟缺陷图像与真实缺陷图像混合作为FPCB板缺陷样本集，按照一定比例
分割成互不交叉的训练集和测试集；对分割好的训练集和测试集数据进行平滑处理，生成
无缺陷数据集，再成对输入到分类定位器中进行对抗性训练，由第二输出通道输出缺陷类
别独热码和锚框坐标，实现缺陷分类和定位。
[0060] 输入显示部与获取部和改进GAN模型部均通信相连，用于让用户输入操作指令，并进行相应显示。例如，输入显示部能够对获取部获取的拍摄图像和真实缺陷图像进行显示，
还能够根据改进GAN模型部输出的缺陷类别独热码和锚框坐标在相应的缺陷图像上显示缺
陷位置和缺陷类别，并能够对系列图像的缺陷分类情况和缺陷位置信息以表格形式进行显
示。
[0061] 控制部与获取部、改进GAN模型部、输入显示部均通信相连，并控制它们的运行。
[0062] 以上实施例仅仅是对本发明技术方案所做的举例说明。本发明所涉及的基于生成式对抗网络的FPCB板缺陷检测方法及装置并不仅仅限定于在以上实施例中所描述的内容，
而是以权利要求所限定的范围为准。本发明所属领域技术人员在该实施例的基础上所做的
任何修改或补充或等效替换，都在本发明的权利要求所要求保护的范围内。
