一种焊点缺陷鉴别方法

摘要

本发明提出的焊点缺陷鉴别方法中，包括对采集到的焊点图像信息进行特征提取，然后根据特征进行判别、模糊推理及神经网络等方法进行焊点缺陷的鉴别，其过程包含下述步骤：1）基于焊点形态理论，根据正交试验的原理，得到对人工神经网络进行训练用的样本；2）用改进神经网络算法对人工神经网络进行训练，得到用于预测焊点各种缺陷可能度的网络；3）对实际焊点进行图像处理后，提取形态质量特征作为训练好的人工神经网络的输入，利用训练好的网络进行前向计算，实现焊点缺陷的鉴别。本发明将BP神经网络进行了改进，将遗传算法收入到了神经网络算法训练中，解决了神经网络存在收敛性慢及容易陷入局部最优解等缺陷，对网络性能起到一定的改善，从而能实现复杂焊点的缺陷鉴别。

权利要求

1.一种焊点缺陷鉴别方法，包括对采集到的焊点图像信息进行特征提取，然后根据特征通过神经网络等方法进行焊点缺陷的鉴别，其特征在于包含下述步骤：

1)、基于焊点形态理论，选取焊点的缺陷类别，然后根据各类别缺陷焊点的质量特征与焊点缺陷之间的联系，确定对应的焊点主要形态质量特征；以焊点形态质量特征作为输入，焊点缺陷的各种可能度作为输出，建立与之对应的BP神经网络结构；根据正交试验的原理，得到对人工神经网络进行训练用的样本，m n

{(xk,yk)|x∈R,y∈R,k＝1,2,…,N}其中：R表示实数，N表示训练样本个数，输入节点为m个，输出节点为n个，隐节点为p个，yk为焊点形态需要鉴别的焊点缺陷，xk为影响焊点缺陷的主要质量特征；

2)、用采用遗传算法改进的神经网络算法对人工神经网络进行训练，得到用于预测焊点各种缺陷可能度的网络；包括(2.1)数据处理：

将输入xi按下式归一化处理：

说明：

和si分别为第i个输入参数的平均值和标准差， 表示第t个样本的第i个输入参数值；

N:与前面的说明一致，为训练样本个数；

则标准化输入为：

(2.2)BP神经网络结构建立：(2.2.1)输入层和输出层节点个数的选取：输入层节点数为焊点形态参数，输出层节点数为焊点缺陷可能度；

(2.2.2)隐节点数的选取：

m为输入层节点数，n为输出层节点数，p为隐节点数，a为1～10之间的常数，p先从小的开始取值；

(2.3)改进BP神经网络训练：(2.3.1)设置网络的系统精度1e-2，选取最大迭代次数1000次；

1 2 1 2 1 1 2 2

(2.3.2)以E(w,w,θ,θ)作为遗传算法的适应度函数，w、θ、w、θ 为优化变量，

1 2 1 2

利用遗传算法首先对人工神经网络的权值和阈值进行全局寻优，找到E(w,w,θ,θ)的

1 2 1 2

最小值，寻找出满足 E(w,w,θ,θ)为最小值时的权值和阈值作为BP算法训练神经网络的初始连接权值和节点阈值，数学描述如下：

说明：

yk(t)和 分别为神经网络第t个样本的期望输出和实际输出；

1

w 为p×m维矩阵，表示神经网络输入层与中间层的连接权值；

1

θ 为p×1维矩阵，表示神经网络中间层各神经元的连接阈值；

2

w 为n×p维矩阵，表示神经网络隐含层与输出层的连接权值；

2

θ 为n×1维矩阵，表示神经网络输出层各神经元的连接阈值；

1 2 1 2 1 1 2 2

E(w,w,θ,θ)表示变量为w、θ、w、θ 的遗传算法的适应度函数；

p与前面一致，表示隐节点数；

(2.3.3)用(2.3.2)所得的初始连接权值和节点阈值，用LM算法对构建的网络进行训练：(2.3.4)利用训练好的网络预测并验证，当结果满足要求时，进入步骤(2.3.5)，否则重复步骤(2.3.2)～(2.3.4)；若直至终止仍不满足，则修改最大迭代次数；

满足要求是：样本数据中实际和期望输出的结果之95％的差值都在0.2以内；

(2.3.5)得到一个反映系统输入和输出映射关系的网络：m n

F:R →R

该网络的初始连接权值和节点阈值是利用遗传算法寻找到的优化值，并且通过训练和验证，其结果满足要求；

3)、对实际焊点进行图像处理后，提取形态质量特征作为训练好的人工神经网络的输入，利用训练好的网络进行前向计算，实现焊点缺陷的鉴别。

2.根据权利要求1所述的焊点缺陷鉴别方法，其特征是：选取的焊点的缺陷类别包括：空洞、桥连、无焊球、焊球过大、焊球过小、焊球变形，焊点主要形态质量特征包括：焊球面积、焊球周长和空洞面积，作为输入的焊点形态质量特征分别为焊球面积x1，焊球周长x2，空洞面积x3，作为输出的焊点缺陷的各种可能度为空洞可能度y1，桥连可能度y2，无焊球可能度y3，焊球过大可能度y4，焊球过小可能度y5，焊球变形可能度y6。

说明书

一种焊点缺陷鉴别方法

技术领域

[0001] 本发明涉及微电子封装与组装技术，特别是焊点缺陷鉴别方法。

背景技术

[0002] 焊点缺陷鉴别技术，是在不破坏实际焊点形态的前提下，依靠先进的光学或电磁技术，采集得到焊点的图像信息，对采集到的焊点图像信息进行处理，提取影响焊点形态的某些重要特征，并对这些信息进行各种分析、处理、区分和识别，确认其焊点缺陷。目前，对于焊点的缺陷鉴别，主要是通过对采集到的焊点图像信息进行特征提取，然后采用阈值判别、模糊推理及神经网络等方法进行焊点缺陷的鉴别，但是，神经网络存在收敛性慢及容易陷入局部最优解等缺陷。

发明内容

[0003] 本发明的目的是提供一种新的焊点缺陷鉴别方法，通过利用改进后的人工神经网络，实现焊点的缺陷鉴别。

[0004] 本发明提出的焊点缺陷鉴别方法中，包括对采集到的焊点图像信息进行特征提取，然后根据特征进行判别、模糊推理及神经网络等方法进行焊点缺陷的鉴别，其过程包含下述步骤：

[0005] 1)、基于焊点形态理论，根据正交试验的原理，得到对人工神经网络进行训练用的样本；

[0006] 2)、用改进神经网络算法对人工神经网络进行训练，得到用于预测焊点各种缺陷可能度的网络；

[0007] 3)、对实际焊点进行图像处理后，提取形态质量特征作为训练好的人工神经网络的输入，利用训练好的网络进行前向计算，实现焊点缺陷的鉴别。

[0008] 在步骤1)中，包含：

[0009] (1)选取焊点的缺陷类别，然后根据各类别缺陷焊点的质量特征与焊点缺陷之间的联系，确定对应的焊点主要形态质量特征；

[0010] (2)以焊点形态质量特征作为输入，焊点缺陷的各种可能度作为输出，建立与之对应的BP神经网络结构；

[0011] (3)根据正交试验的原理，得到对人工神经网络进行训练用的样本，具体为：

[0012] (3.1)确定该焊点形态需要鉴别的焊点缺陷yk；

[0013] (3.2)根据这些焊点缺陷，选取影响焊点缺陷的主要质量特征xk的设计空间，并结合均匀实验设计表安排设计水平；

[0014] (3.3)使用均匀实验安排，根据IPC相关标准及虚拟焊点缺陷形态，得到用于人工神经网进行训练用的样本：

[0015] {(xk,yk)|x∈Rm,y∈Rn,k＝1,2,…,N}

[0016] 其中：R表示实数，N表示训练样本个数，输入节点为m个，输出节点为n个，隐节点为p个。

[0017] 这里，选取的焊点的缺陷类别包括：空洞、桥连、无焊球、焊球过大、焊球过小、焊球变形，焊点主要形态质量特征包括：焊球面积、焊球周长和空洞面积，作为输入的焊点形态质量特征分别为焊球面积x1，焊球周长x2，空洞面积x3，作为输出的焊点缺陷的各种可能度为空洞可能度y1，桥连可能度y2，无焊球可能度y3，焊球过大可能度y4，焊球过小可能度y5，焊球变形可能度y6。

[0018] 本发明的步骤2)包含：

[0019] (2.1)数据处理：

[0020] 将输入xi按下式归一化处理：

[0021]

[0022]

[0023] 其中：

[0024] 和si分别为第i个输入参数的平均值和标准差， 表示第t个样本的第i个输入参数值，N表示训练样本个数。

[0025] 显然，标准化后的样本数据集的平均值为零，而且消除了物理的影响。

[0026] 则标准化输入为：

[0027]

[0028] (2.2)BP神经网络结构建立：

[0029] (2.2.1)输入层和输出层节点个数的选取：

[0030] 输入层节点数为焊点形态参数，输出层节点数为焊点缺陷可能度；

[0031] (2.2.2)隐节点数的选取：

[0032]

[0033] m为输入层节点数，n为输出层节点数，p为隐节点数，a为1～10之间的常数，p先从小的开始取值；

[0034] (2.3)改进BP神经网络训练：

[0035] (2.3.1)根据相关论文资料和经验，初步设置网络的系统精度1e-2，选取最大迭代次数1000次；

[0036] (2.3.2)遗传算法的利用：利用遗传算法全局性搜索的特点，寻找优化后的较为合适的神经网络初始连接权值和节点阈值。

[0037] 数学描述如下：

[0038]

[0039] 其中：

[0040] yk(t)和 分别为神经网络第t个样本的期望输出和实际输出；1

[0041] w 为p×m维矩阵，表示神经网络输入层与中间层的连接权值；1

[0042] θ 为p×1维矩阵，表示神经网络中间层各神经元的连接阈值；2

[0043] w 为n×p维矩阵，表示神经网络隐含层与输出层的连接权值；2

[0044] θ 为n×1维矩阵，表示神经网络输出层各神经元的连接阈值。

[0045] (2.3.3)用LM算法对构建的网络进行训练；

[0046] (2.3.4)利用训练好的网络预测并验证，当结果满足要求时，进入步骤(2.3.5)，否则重复步骤(2.3.2)～(2.3.4)；若直至终止仍不满足，则修改最大迭代次数；

[0047] 满足要求是：样本数据中实际和期望输出的结果之95％的差值都在0.2以内。

[0048] (2.3.5)得到一个反映系统输入和输出映射关系的网络：m n

[0049] F:R →R。

[0050] 该网络的初始连接权值和节点阈值是利用遗传算法寻找到的优化值，并且通过训练和验证，其结果满足要求。

[0051] 本发明将BP神经网络进行了改进，将遗传算法收入到了神经网络算法训练中，解决了神经网络存在收敛性慢及容易陷入局部最优解等缺陷，对网络性能起到一定的改善，从而能实现复杂焊点的缺陷鉴别。

附图说明

[0052] 图1 焊点缺陷鉴别方法流程图；

[0053] 图2 BP算法的网络结构示意图；

[0054] 图3 a一种实际焊点的图片，b实际焊点a处理后的图片；

[0055] 图4 a一种实际焊点的图片，b实际焊点a处理后的图片；

[0056] 图5 a一种实际焊点的图片，b实际焊点a处理后的图片；

[0057] 图6 a一种实际焊点的图片，b实际焊点a处理后的图片；

[0058] 图7 a一种实际焊点的图片，b实际焊点a处理后的图片；

[0059] 图8 a一种实际焊点的图片，b实际焊点a处理后的图片。

具体实施方式

[0060] 下面对照附图对本发明作详细说明。

[0061] 见图1。本发明分为两大块：网络训练和缺陷鉴别。

[0062] 其中网络训练包括1)、基于焊点形态理论，根据正交试验的原理，得到对人工神经网络进行训练用的样本；2)、用改进神经网络算法对人工神经网络进行训练，得到用于预测焊点各种缺陷可能度的网络。缺陷鉴别包括对实际焊点进行图像处理后，提取形态质量特征作为训练好的人工神经网络的输入，利用训练好的网络进行前向计算，实现焊点缺陷的鉴别。

[0063] 以焊球直径为0.75mm，焊球间距为1.27mm的BGA焊点为例，关键步骤如下：

[0064] 1、给出部分训练样本数据如下：

[0065]

[0066] 2、采用图2的结构，在满足要求的情况时，经过遗传算法(选择种群中个体[0067] 数选为100，最大遗传代数为100代)优化后得到初始网络权值和阈值如下：

[0068] w1＝

[0069] -0.12981 0.062035 -0.86803

[0070] 0.746759 -0.56815 0.104215

[0071] 0.073005 0.620992 0.429394

[0072] -0.28534 0.440992 -0.12339

[0073] 0.719949 -0.80826 -0.57709

[0074] -0.83641 -0.17469 -0.50215

[0075] 0.437675 -0.80839 -0.45137

[0076] -0.31885 0.351566 -0.25818

[0077] 0.691346 0.024856 0.255243

[0078] -0.29679 0.152269 -0.84151

[0079] 0.096654 0.40799 -0.31067

[0080] 0.373603 0.664509 0.19476

[0081] 0.294146 0.769096 -0.70927

[0082] w2＝

[0083] -0.59 0.02 0.37 -0.3 -0.4 0.19 0.57 0.58 0.35 -0.0 -0.1 -0.4 0.52[0084] 856 8556 0581 7213 5633 64 7027 27 0741 9685 069 9737 3453[0085] -0.67 -0.6 0.13 -0.0 0.68 0.52 0.36 0.48 -0.0 -0.7 -0.2 0.55 0.67[0086] 832 3587 1827 1842 9146 0124 2759 3098 7722 7904 7237 9804 1561[0087] -0.25 0.66 0.41 -0.4 -0.5 0.40 -0.0 -0.4 -0.4 0.57 -0.3 0.11 -0.5[0088] 544 8495 7911 2094 4109 9259 9953 3989 7814 9912 3931 262 4453[0089] 0.082 -0.2 0.47 -0.1 -0.6 -0.0 0.59 0.30 0.12 0.22 0.08 0.26 0.48[0090] 288 7606 9852 6621 327 0671 61 2844 7039 0524 0875 876 0118[0091] 0.191 -0.5 -0.3 0.07 -0.7 0.12 0.04 -0.1 0.00 -0.1 0.69 0.06 -0.4[0092] 538 2682 5769 6195 2999 2516 3726 6574 6318 5576 5209 3811 7247[0093] -0.39 -0.4 0.01 0.08 -0.6 0.70 0.29 0.72 0.18 -0.6 0.51 -0.7 0.20[0094] 238 2254 8859 8056 3871 3518 997 0224 8936 3875 6662 6196 0302[0095] θ1＝

[0096] 0.813378

[0097] 0.36631

[0098] -0.51615

[0099] 0.405873

[0100] 0.378133

[0101] -0.21533

[0102] 0.257114

[0103] 0.228537

[0104] -0.35646

[0105] 0.430818

[0106] 0.227965

[0107] -0.11683

[0108] 0.11895

[0109] θ2＝

[0110] -0.05451

[0111] 0.989654

[0112] 0.491879

[0113] -0.09029

[0114] -0.24895

[0115] 0.589785

[0116] 经过LM算法后得到最终的网络权值和阈值如下：

[0117] w1＝

[0118] -0.06948 0.661935 0.128262

[0119] 0.916258 0.139921 0.125699

[0120] 0.288976 0.556074 0.175074

[0121] -0.97327 1.890556 0.220303

[0122] 34.54385 -37.6991 0.262384

[0123] -2.32208 -0.20285 -0.01916

[0124] -58.484 -0.43778 0.006333

[0125] -91.8318 -0.12116 1.076615

[0126] 81.14624 0.517618 2.411006

[0127] -50.3454 -0.00633 -0.00269

[0128] 14.05597 -18.5933 0.074799

[0129] -1.40896 3.85369 0.011999

[0130] 1.489983 0.03584 -0.26476

[0131] w2＝

[0132] -43.7 7.13 2.38 24.8 -0.0 -0.1 0.08 0.85 0.81 -0.0 0.00 0.01 -5.3[0133] 048 7623 2513 3731 4582 5613 6387 3092 3035 6811 6125 3058 1736[0134] 0.026 0.01 -0.0 -0.0 -0.0 -0.0 -1.6 8.12 0.00 0.44 -0.0 -0.0 -0.0[0135] 53 8269 2296 1119 0148 0296 0464 E-05 059 6608 0371 0803 0333[0136] -2.96 -1.0 1.58 -2.2 0.00 -0.0 -0.0 -0.0 0.01 0.06 0.00 -0.0 0.18[0137] 354 8102 8868 9404 4323 3015 6696 0044 4289 8711 2659 2479 3766[0138] 2.142 -0.5 0.04 -1.2 0.00 -1.6 -32. 0.15 0.03 33.9 -0.0 -0.1 -0.0[0139] 126 3523 7778 0521 7665 3647 7938 9917 5924 2166 0404 0272 2816[0140] 31.90 -1.9 -3.1 -16. 0.01 -1.0 0.37 0.02 0.20 -0.4 0.01 -0.0 -1.1[0141] 328 3266 7587 3117 1048 5381 097 4303 8765 1731 2229 2722 044[0142] -180. -12. 28.4 102. -0.6 0.27 -19. 0.09 0.02 20.5 0.53 1.38 2.27[0143] 727 7833 853 003 1604 0682 8488 6912 3535 5183 6243 2455 259[0144] θ1＝

[0145] 2.139161

[0146] 0.981606

[0147] 1.065665

[0148] 3.054207

[0149] 1.781278

[0150] -0.33837

[0151] 52.53681

[0152] 20.41048

[0153] 103.0474

[0154] 45.18897

[0155] 4.077721

[0156] -0.74608

[0157] 1.033438

[0158] θ2＝

[0159] 13.77746

[0160] 0.571364

[0161] 4.400247

[0162] -1.47959

[0163] -11.1473

[0164] 59.20352

[0165] 3、对BGA实际焊点进行图像处理后，提取形态质量特征作为训练好的人工神经网络的输入，利用训练好的网络(实质为一个关于输入形态质量特征的函数)进行前向计算，可以得到实际焊点对应的各种缺陷可能度(大于1的取值为1，小于0的取值为0)，即实现焊点缺陷的鉴别。

[0166] 现给出6个鉴别例子及其结果如下：实际图片为焊球直径为0.75mm，焊球间距为1.27mm时采集到的图像。图3～图8中a为实际图片，b为经过处理后的图片。鉴别给出的焊点缺陷可能度见下表：

[0167]

[0168] 从上表可以看出，鉴别结果显示：序号1的焊点缺陷是空洞，序号1的焊点缺陷是空洞，序号1的焊点缺陷是空洞(对应图3)，序号2的焊点缺陷是空洞(对应图4)，序号3的焊点缺陷是焊球过小(对应图5)，序号4的焊点无缺陷(对应图6)，序号5的焊点缺陷是焊球变形(对应图7)，序号6的焊点缺陷是焊球过大(对应图8)。