本发明公开了一种基于计算机视觉的印刷电路板电子元器一致性检测方法，其包括对测试图进行图像配准；采用结构化随机森林算法和阈值化处理提取配准后的模板图中元器件的边缘；判断模板图对应的模板边缘图中每个元器件所在区域白色像素数量是否至少大于测试边缘图中与模板边缘图对应元器件所在区域白色像素数量的2倍；若大于，则测试边缘图中相应的元器件缺失；否则，提取检测边缘图的检测距离变换图像和检测边缘角度图像；计算检测距离变换图像中元器件相对模板距离变换图像的距离差异和角度差异；当检测边缘角度图像的同一元器件所在区域对应的所有距离差异和角度差异均小于预设阈值时，则表明待检测印刷电路板中相应的元器件不存在替换。
1.基于计算机视觉的印刷电路板电子元器一致性检测方法，其特征在于，包括：采集待检测印刷电路板的测试图，并根据印刷电路板的模板图，采用特征点匹配方法对测试图进行图像配准；
采用结构化随机森林算法和阈值化处理提取配准后的模板图中元器件的边缘形成测试边缘图；
判断模板图对应的模板边缘图中每个元器件所在区域白色像素数量是否至少大于测试边缘图中与模板边缘图对应元器件所在区域白色像素数量的2倍；
若大于，则测试边缘图中相应的元器件缺失；否则，计算检测边缘图内边缘点集中边缘点与背景点集中距离边缘点最近的背景点间的欧式距离，并采用所有的欧式距离形成检测边缘图的检测距离变换图像；
分配检测边缘图的边缘点集中每个边缘点一个不同的角度值，并将边缘点的角度值赋值给检测边缘图的背景点集中距离其最近的背景点，之后采用检测边缘图中所有边缘点和背景点的角度值形成检测边缘角度图像；
计算检测距离变换图像中元器件所在区域像素点的坐标值和模板距离变换图像中与其对应的像素点的坐标值间的距离差异；
计算检测边缘角度图像中元器件所在区域的背景点和模板边缘角度图像中与其对应的背景点的角度值间的角度差异；
当检测边缘角度图像的同一元器件所在区域对应的所有距离差异和角度差异均小于预设阈值时，则表明待检测印刷电路板中相应的元器件不存在替换。
2.根据权利要求1所述的基于计算机视觉的印刷电路板电子元器一致性检测方法，其特征在于，所述根据获取的模板图，采用特征点匹配方法对测试图进行图像配准进一步包括：计算模板图中每个特征点与测试图中所有特征点之间的欧式距离；
选取测试图中与模板图中特征点具有最小欧式距离的特征点，将其与模板图中对应的特征点形成匹配点对；
计算任意两个匹配点对在测试图中的距离与模板图中的距离的比率；
建立一个组成元素与匹配点对个数相等的数组，数组中的元素表征匹配点对的匹配得分，所有元素值的初始值为零；
对所有比率进行排序，记录序列的中位数，并通过比率和中位数计算比率对应的两个匹配点对的相关度；
当相关度大于设定值时，将比率对应的两个匹配点对的匹配得分加一；
遍历数组中的所有元素，删除元素值大于预设值的元素对应的匹配点对；
根据保留的匹配点对的坐标信息计算变换矩阵，并采用变换矩阵对测试图进行透视变换完成图像配准。
3.根据权利要求2所述的基于计算机视觉的印刷电路板电子元器一致性检测方法，其特征在于，所述比率的计算公式为：其中，R(i，j)为比率；vio和vjo为模板图中的特征点；vit和vjt为测试图中的特征点，vio和vit组成匹配点对Vi；vjo和vjt组成匹配点对Vj；||·||为欧式距离计算符。
4.根据权利要求3所述的基于计算机视觉的印刷电路板电子元器一致性检测方法，其特征在于，所述比率对应的两个匹配点对的相关度的计算公式为：其中，Rmed为中位数；ax为相关度。
5.根据权利要求1所述的基于计算机视觉的印刷电路板电子元器一致性检测方法，其特征在于，所述采用结构化随机森林算法和阈值化处理提取配准后的测试图中元器件的边缘形成测试边缘图和模板边缘图进一步包括：采用结构化随机森林算法计算配准后测试图中每个像素点属于边缘像素点的概率值；
将概率值乘以255作为概率值对应像素点的灰度值，得到仅边缘部分灰度值高的灰度图像；
将灰度图像中灰度值大于设定阈值的像素点灰度值设置为255，将灰度值小于设定阈值的像素点的灰度值设置为0，之后将灰度图像进行二值化处理得到边缘图像。
6.根据权利要求1所述的基于计算机视觉的印刷电路板电子元器一致性检测方法，其特征在于，采用结构化森林算法对图像进行处理之前还包括将配准后测试图由RGB色彩空间转换到HSI色彩空间。
7.根据权利要求1所述的基于计算机视觉的印刷电路板电子元器一致性检测方法，其特征在于，还包括：当检测边缘角度图像的同一元器件所在区域对应的所有距离差异和角度差异中存在至少一个大于等于预设阈值时，筛选出距离差异或角度差异对应的像素点或背景点；
采用基于密度的聚类算法对同一元器件所在区域筛选出的所有像素点和背景点进行聚类，判断聚类后的每簇中的元素数量是否大于设定数量；
若每簇中的元素数量均小于，则表明待检测印刷电路板中相应的元器件不存在替换；
8.根据权利要求1所述的基于计算机视觉的印刷电路板电子元器一致性检测方法，其特征在于，分配给检测边缘图的边缘点集中每个边缘点的角度值为过边缘点的切线的倾斜角度。
基于计算机视觉的印刷电路板电子元器一致性检测方法
技术领域
[0001] 本发明涉及检测方法，具体涉及一种基于计算机视觉的印刷电路板电子元器一致性检测方法。
背景技术
[0002] 智能电表印刷电路板电子元器件一致性检测方法目前主要有传统的人工目检；使用X光测量技术进行检测(Automated X-Ray Inspection，AXI检测)和基于机器视觉的自动光学检测(Automatic Optic Inspection，AOI检测)。人工目检依赖于检测人员的经验且判断标准主观，长时间工作会导致检测效率降低，误判率和漏判率大大提高。AXI测量技术的检测手段精度较高，还可以检测产品内部的一些缺陷，但这种检测技术依赖硬件，成本较高，开发时间长，泛用性较差。
[0003] 现有的AOI印刷电路板一致性检测方法多以固定角度采集图像，使用模板匹配方法定位待检样本位置，通过计算待检线路板和标准模板的灰度差异或者颜色信息差异寻找异常，该检测方法具有实时性高和精度高的优点，但由于该方法需要固定角度采集图像，且对光照环境要求很高，使用起来非常不灵活。
发明内容
[0004] 针对现有技术中的上述不足，本发明提供的基于计算机视觉的印刷电路板电子元器一致性检测方法解决了现有检测方法对图像采集角度和环境亮度要求高的问题。
[0005] 为了达到上述发明目的，本发明采用的技术方案为：
[0006] 提供一种基于计算机视觉的印刷电路板电子元器一致性检测方法，其包括：
[0007] 采集待检测印刷电路板的测试图，并根据印刷电路板的模板图，采用特征点匹配方法对测试图进行图像配准；
[0008] 采用结构化随机森林算法和阈值化处理提取配准后的模板图中元器件的边缘形成测试边缘图；
[0009] 判断模板图对应的模板边缘图中每个元器件所在区域白色像素数量是否至少大于测试边缘图中与模板边缘图对应元器件所在区域白色像素数量的2倍；
[0010] 若大于，则测试边缘图中相应的元器件缺失；否则，计算检测边缘图内边缘点集中边缘点与背景点集中距离边缘点最近的背景点间的欧式距离，并采用所有的欧式距离形成检测边缘图的检测距离变换图像；
[0011] 分配检测边缘图的边缘点集中每个边缘点一个不同的角度值，并将边缘点的角度值赋值给检测边缘图的背景点集中距离其最近的背景点，之后采用检测边缘图中所有边缘点和背景点的角度值形成检测边缘角度图像；
[0012] 计算检测距离变换图像中元器件所在区域像素点的坐标值和模板距离变换图像中与其对应的像素点的坐标值间的距离差异；
[0013] 计算检测边缘角度图像中元器件所在区域的背景点和模板边缘角度图像中与其对应的背景点的角度值间的角度差异；
[0014] 当检测边缘角度图像的同一元器件所在区域对应的所有距离差异和角度差异均小于预设阈值时，则表明待检测印刷电路板中相应的元器件不存在替换。
[0015] 优选地，所述根据获取的模板图，采用特征点匹配方法对测试图进行图像配准进一步包括：
[0016] 计算模板图中每个特征点与测试图中所有特征点之间的欧式距离；
[0017] 选取测试图中与模板图中特征点具有最小欧式距离的特征点，将其与模板图中对应的特征点形成匹配点对；
[0018] 计算任意两个匹配点对在测试图中的距离与模板图中的距离的比率；
[0019] 建立一个组成元素与匹配点对个数相等的数组，数组中的元素表征匹配点对的匹配得分，所有元素值的初始值为零；
[0020] 对所有比率进行排序，记录序列的中位数，并通过比率和中位数计算比率对应的两个匹配点对的相关度；
[0021] 当相关度大于设定值时，将比率对应的两个匹配点对的匹配得分加一；
[0022] 遍历数组中的所有元素，删除元素值大于预设值的元素对应的匹配点对；
[0023] 根据保留的匹配点对的坐标信息计算变换矩阵，并采用变换矩阵对测试图进行透视变换完成图像配准。
[0024] 优选地，所述比率的计算公式为：
[0025]
[0026] 其中，R(i，j)为比率；vio和vjo为模板图中的特征点；vit和vjt为测试图中的特征点，vio和vit组成匹配点对Vi；vjo和vjt组成匹配点对Vj；||·||为欧式距离计算符。
[0027] 优选地，所述比率对应的两个匹配点对的相关度的计算公式为：
[0028]
[0029] 其中，Rmed为中位数；ax为相关度。
[0030] 优选地，所述采用结构化随机森林算法和阈值化处理提取配准后的测试图中元器件的边缘形成测试边缘图和模板边缘图进一步包括：
[0031] 采用结构化随机森林算法计算配准后测试图中每个像素点属于边缘像素点的概率值；
[0032] 将概率值乘以255作为概率值对应像素点的灰度值，得到仅边缘部分灰度值高的灰度图像；
[0033] 将灰度图像中灰度值大于设定阈值的像素点灰度值设置为255，将灰度值小于设定阈值的像素点的灰度值设置为0，之后将灰度图像进行二值化处理得到边缘图像。
[0034] 优选地，采用结构化森林算法对图像进行处理之前还包括将配准后测试图由RGB色彩空间转换到HSI色彩空间。
[0035] 优选地，基于计算机视觉的印刷电路板电子元器一致性检测方法还包括：
[0036] 当检测边缘角度图像的同一元器件所在区域对应的所有距离差异和角度差异中存在至少一个大于等于预设阈值时，筛选出距离差异或角度差异对应的像素点或背景点；
[0037] 采用基于密度的聚类算法对同一元器件所在区域筛选出的所有像素点和背景点进行聚类，判断聚类后的每簇中的元素数量是否大于设定数量；
[0038] 若每簇中的元素数量均小于，则表明待检测印刷电路板中相应的元器件不存在替换；否则表明待检测印刷电路板中相应的元器件存在替换。
[0039] 优选地，分配给检测边缘图的边缘点集中每个边缘点的角度值为过边缘点的切线的倾斜角度。
[0040] 本发明的有益效果为：本方案由于在进行检测时首先通过图像配准将各种角度下采集的检测图矫正到和模板图一样的位置，之后在提取电子元器件的边缘，通过边缘的像素点集元器件所在区域内的边缘点和背景点判断元器间是否缺失或被替换；通过这个方式实现电路板上元器件检测时，在图像采集时对图像采集角度和环境亮度没有比较严苛的要求，极大的提高了检测的灵活性和实时性，同时具有高精度性等优良特质。
附图说明
[0041] 图1为基于计算机视觉的印刷电路板电子元器一致性检测方法的流程图。
[0042] 图2为图像配准后的测试图转换到hsi色彩空间的图像示意。
[0043] 图3为边缘点集中每个边缘点附加的角度值示意图。
[0044] 图4为采用结构化随机森林对转换至hsi色彩空间图像进行处理后的图像示意。
[0045] 图5为采用结构化随机森林处理后的图像进行阈值化处理后的图像示意。
[0046] 图6为元器件所在区域内不同情况下的元器件边缘图。
具体实施方式
[0047] 下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0048] 参考图1，图1示出了基于计算机视觉的印刷电路板电子元器一致性检测方法的流程图；如图1所示，该方法100包括步骤101至步骤109。
[0049] 在步骤101中，采集待检测印刷电路板的测试图，并根据印刷电路板的模板图，采用特征点匹配方法对测试图进行图像配准；在进行图像配准时，可以采用现有比较成熟的技术进行图像配准。
[0050] 在本方案中印刷电路板的模板图、模板边缘图、模板距离变换图像、模板边缘角度图像等图像在对电路板检测前已经采用与待检测印刷电路板获取相应图像相同的方法获取，本申请中就不再对得到模板边缘图、模板距离变换图像、模板边缘角度图像等图像的处理方法进行赘述。
[0051] 现有技术中比较成熟的图像配准技术普遍采用特征点特征向量间的欧式距离来作为两幅图像中关键点的相似性判定度量，将特征向量差异最小的两特征点配对是一种目前现有技术中广泛应用的特征点匹配方法。这种特征向量在产生的过程中，只用到了特征点邻域的像素信息，仅仅根据特征向量的相似程度来匹配会产生许多错误匹配对。
[0052] 为了提高匹配正确率，本发明还使用匹配点对间的距离信息对匹配结果做进一步筛选，在视角变化不大的情况下，上述匹配方法的匹配结果中错误的匹配点对数目一般小于总的匹配点对数目的30％，将模板上的点与无关背景上的点配对是很大一部分错误点对产生的原因。
[0053] 对此，为了提高图像配准过程中的准确率，本方案优选所述根据获取的模板图，采用特征点匹配方法对测试图进行图像配准进一步包括步骤201至步骤208。
[0054] 在步骤201中，计算模板图中每个特征点与测试图中所有特征点之间的欧式距离；
[0055] 在步骤202中，选取测试图中与模板图中特征点具有最小欧式距离的特征点，将其与模板图中对应的特征点形成匹配点对；
[0056] 在步骤203中，计算任意两个匹配点对在测试图中的距离与模板图中的距离的比率：
[0057]
[0058] 其中，R(i，j)为比率；vio和vjo为模板图中的特征点；vit和vjt为测试图中的特征点，vio和vit组成匹配点对Vi；vjo和vjt组成匹配点对Vj；||·||为欧式距离计算符。
[0059] 在步骤204中，建立一个组成元素与匹配点对个数相等的数组，数组中的元素表征匹配点对的匹配得分，所有元素值的初始值为零；
[0060] 在步骤205中，对所有比率进行排序，记录序列的中位数，并通过比率和中位数计算比率对应的两个匹配点对的相关度：
[0061]
[0062] 其中，Rmed为中位数；ax为相关度。
[0063] 在步骤206中，当相关度大于设定值(优选设定值大于0.2)时，将比率对应的两个匹配点对的匹配得分加一；
[0064] 在步骤207中，当每个比率和中位数计算比率对应的两个匹配点对的相关度计算完成后，遍历数组中的所有元素，删除元素值大于预设值(预设值优选为匹配点对总个数的三分之一)的元素对应的匹配点对。
[0065] 在步骤208中，根据保留的匹配点对的坐标信息计算变换矩阵，并采用变换矩阵对测试图进行透视变换完成图像配准。
[0066] 步骤208可以进一步细化为：首先将正确匹配点对的坐标信息作为已知量，将透视变换矩阵中系数作为未知量列出方程组；然后进行检算，检算完成后得到透视变换矩阵；最后，对待检测样品图进行透视变换完成图像配准。
[0067] 由于光照条件变化对H色彩通道的数据影响较小，对S通道和I通道的数据影响较大，对此，实施时，本方案优选在得到配准后的测试图后，将配准后测试图由RGB色彩空间转换到HSI色彩空间，转换后的图可以参考图2，之后在进入步骤102中执行相应操作。
[0068] 在步骤102中，采用结构化随机森林算法和阈值化处理提取配准后的模板图中元器件的边缘形成测试边缘图。
[0069] 在本发明的一个实施例中，采用结构化随机森林算法和阈值化处理提取配准后的测试图中元器件的边缘形成测试边缘图和模板边缘图进一步包括：
[0070] 采用结构化随机森林算法计算配准后测试图中每个像素点属于边缘像素点的概率值；
[0071] 将概率值乘以255作为概率值对应像素点的灰度值，得到仅边缘部分灰度值高的灰度图像(如图4所示)；
[0072] 将灰度图像中灰度值大于设定阈值的像素点灰度值设置为255，将灰度值小于设定阈值的像素点的灰度值设置为0，之后将灰度图像进行二值化处理得到边缘图像(如图5所示)。
[0073] 在步骤103中，判断模板图对应的模板边缘图中每个元器件所在区域(每个元器件所在区域为在元器件边缘周围选定一块矩形区域，简称搜索框，元器件边缘包含在这块矩形区域内)白色像素数量是否至少大于测试边缘图中与模板边缘图对应元器件所在区域白色像素数量的2倍，若大于则进入步骤104，否则进入步骤105。
[0074] 在步骤104中，测试边缘图中相应的元器件缺失。
[0075] 在步骤105中，计算检测边缘图内边缘点集中边缘点与背景点集中距离边缘点最近的背景点间的欧式距离，并采用所有的欧式距离形成检测边缘图的检测距离变换图像。
[0076] 下面对步骤105中的距离变换图像的产生过程进行详细描述如下：
[0077] 一幅二值边缘图像I中存在边缘点集E(灰度为255的点集)和背景点集B(灰度为0的点集)，对I中某点x在点集E中寻找距其最近的一点xe，x的距离灰度值D(x)＝||x-xe||，||·||表示欧氏距离计算；I中所有点皆对应一个距离灰度值，所有的距离灰度值组成I对应的距离变换图像。
[0078] 在步骤106中，分配检测边缘图的边缘点集中每个边缘点一个不同的角度值，并将边缘点的角度值赋值给检测边缘图的背景点集中距离其最近的背景点，之后采用检测边缘图中所有边缘点和背景点的角度值形成检测边缘角度图像。
[0079] 实施时，本方案优选分配给检测边缘图的边缘点集中每个边缘点的角度值为过边缘点的切线的倾斜角度。
[0080] 下面对步骤106中的边缘角度图像的产生过程进行详细描述如下：
[0081] 一幅二值边缘图像I中存在边缘点集E(灰度为255的点集)和背景点集B(灰度为0的点集)。首先给I中边缘点集E上的每个点p附加一个边缘点集的角度值Φ(p)＝arctan(klp),p∈E(即p点切线lp的倾斜角度，klp为lp的斜率，如图3所示)来表征边缘线条的形状。
[0082] 然后对点集B上的点pn，在点集E上寻找距其最近的点pn’，将pn’的Φ值赋给pn。I中所有点皆对应一个Φ值，所有的Φ值组成I对应的边缘角度图像。
[0083] Φ(pn)＝Φ(pn′)pn′∈E,pn∈B
[0084] 在步骤107中，计算检测距离变换图像中元器件所在区域像素点的坐标值和模板距离变换图像中与其对应的像素点的坐标值间的距离差异；
[0085] 在步骤108中，计算检测边缘角度图像中元器件所在区域的背景点和模板边缘角度图像中与其对应的背景点的角度值间的角度差异；
[0086] 在步骤109中，当检测边缘角度图像的同一元器件所在区域对应的所有距离差异和角度差异均小于预设阈值时，则表明待检测印刷电路板中相应的元器件不存在替换。
[0087] 步骤104至步骤109中同一元器件所在区域内对应的不同情形的边缘图可以参考图6。
[0088] 下面对步骤107至步骤109中的元器件替换检测的原理进行描述：
[0089] 模板图T和配准后待检测样本图S处理后得到二值边缘图Te和Se；然后根据Te和Se产生两幅边缘角度图像To和So以及模板图像的距离变换图Td。对于Se中边缘线条上点p，距离变换图Td中存在与其像素坐标相同的点pd，To和So中也存在与其像素坐标相同的点pto和pso，点p与Te中同坐标位置点的角度差异Φd(p)定义为：
[0090] Φd(p)＝|Φ(pto)-Φ(pso)|
[0091] 若待检测样品无异常，则在搜索框内元器件边缘Se与模板中元器件边缘Te一致，Se中边缘线条上的每一点p在距离变换图Tdt中对应的距离值DT(pdt)为0，角度差异Φd(p)也为0；若待检测样品存在元器件替换，则Se中元器件边缘与Te中元器件边缘存在差异，Se中边缘线条上的某些点p在距离变换图Td中对应的灰度值D(pd)会大于0，角度差异Φd(p)也会大于
0。
[0092] 由于拍摄角度的变化，即使是正常元器件的边缘和模板中边缘也不完全一致，也会存在少量异常点。对此，实施时，本方案优选基于计算机视觉的印刷电路板电子元器一致性检测方法还包括：
[0093] 当检测边缘角度图像的同一元器件所在区域对应的所有距离差异和角度差异中存在至少一个大于等于预设阈值时，筛选出距离差异或角度差异对应的像素点或背景点；
[0094] 采用基于密度的聚类算法对同一元器件所在区域筛选出的所有像素点和背景点进行聚类，判断聚类后的每簇中的元素数量是否大于设定数量；
[0095] 若每簇中的元素数量均小于，则表明待检测印刷电路板中相应的元器件不存在替换；否则表明待检测印刷电路板中相应的元器件存在替换。
[0096] 本方案通过对不低于50张的无缺陷检测样本和不低于150张的有缺陷检测样本的检测，本发明无论是在检测正确率(无缺陷样本的正确检测率和有缺陷样本的正确检测率之和)指标、误检率指标和漏检率指标都明显优于现有的检测方法。
