本发明公开了一种插件视觉检测识别方法，包括步骤：S10、获取待检测识别的成品线路板的多角度多方位的图片；S20、对所述图片进行畸变并抽取各个元器件的元器件区域图像；S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；S40、得到插件视觉检测识别结果并进行输出。本发明通过采用卷积神经网络快速学习识别成品线路板的插件的各种缺陷，并通过大数据学习训练，可以快速识别出插件的错、漏、反、多、歪斜等缺陷，识别效率高，准确率高。
一种插件视觉检测识别方法、可读存储介质及设备
技术领域
[0001] 本发明涉及插件视觉检测识别技术领域，尤其涉及一种插件视觉检测识别方法、可读存储介质及设备。
背景技术
[0002] 成品线路板(Printed Circuit Board+Assembly，简称PCBA)，即成品线路板为PCBA，PCBA是电子设备的关键部件之一，PCBA是指PCB空板经过SMT上件，再经过DIP插件(某些产品不需要该步骤)得到的电路板，也就是将各种电子元器件通过表面封装工艺组装在
PCB板上。PCBA板上的元器件的位置正反和焊点的短路以及排针的数量情况直接影响电路
板的性能和成品率。因此，PCBA在交付使用前检测产品是否合格成为一个必不可少且非常
重要的环节。
[0003] 当前，现有的PCBA缺陷检测识别(主要有锡膏厚度检测、SMT贴装效果检测、插件效果检测)，大都采用光学原理、逻辑型的锡膏厚度检测(Solder Paste Inspection，SPI)和逻辑型的自动光学检测(Automatic Optic Inspection，AOI)，其中，SPI原理是通过三角测量的方法把印刷在PCB板上的锡膏高度计算出来的一种SMT检测技术；AOI原理是通过RGB三色光从三种不同的角度照射到元件上再反射回来，不同的焊点形态反射不同的色光，参考
位置和设定参数对反射光的颜色和亮度等数据进行矢量分析。SPI和AOI要求高精度的镜头
和特殊设计的光源配合，硬件成本高昂，生产前准备时间长，存在PCBA图像比对误差，误报率高、不能有效杜绝不良品；插件工序目前外观基本依赖人工目视检查，效率低、易漏件，人工成本高，对员工熟练度有较高要求。
[0004] 随着大数据时代的到来，含更多隐含层的深度卷积神经网络(Convolutional neural networks，CNNs)具有更复杂的网络结构，与传统方法相比具有更强大的特征学习
和特征表达能力。通过对不良品的学习，能够在普通光照的情况下，十分准确地识别缺陷样本，利用再学习机制，误判样本能够及时反馈给模型，不断优化识别能力。强大的计算能力，满足工业生产环境实时检测的需求，基于深度学习的检测技术检测高效、优质，可以有效保障产品质量、节省人工成本、助力生产智能化建设。
发明内容
[0005] 本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种插件视觉检测识别方法、可读存储介质及设备。
[0006] 本发明解决其技术问题所采用的技术方案是：根据本发明的一方面，提供一种插件视觉检测识别方法，包括以下步骤：
[0007] S10、获取待检测识别的成品线路板的多角度多方位的图片；
[0008] S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，所述BOM文件包括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或DIP插件工艺；
[0009] 所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和/或正侧面图像；其中，所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括所述成品线路板的任意角度任意方位的图像；
[0010] S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；
[0011] S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；所述插件视觉检测识别包括所述元器件的插件浮高歪斜检测识别、以及所述元器件的插件漏件检
测识别；
[0012] S40、得到所述元器件的插件检测识别结果并进行输出；
[0013] 所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括步骤：
[0014] S201、分别初始化标定每个所述图片的Mark点坐标(x1,y1)、(x2,y2)、(x3,y3)，设置超参数L，所述超参数L为搜索边长，以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个所述圆形的圆点(x1',y1')、(x2',y2')、(x3',y3')作为所述图片的Mark点坐标；
[0015] S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同的元器件的相对位置；所述仿射变
换的计算公式为：
[0016]
[0017] 求解出π,tx,ty；其中，所述π为所述图片的图像旋转缩放变化量，(tx,ty)表示平移量；其中(x',y')表示所述图片的Mark点坐标，其中x'为Mark点在坐标x轴上的数值，其中y'为Mark点在坐标y轴上的数值；其中(x,y)表示所述图片经仿射变换处理后得到变换图像的Mark点坐标，其中x为所述图片经仿射变换处理后得到变换图像的Mark点在坐标x轴上的
数值，其中y为所述图片经仿射变换处理后得到变换图像的Mark点在坐标y轴上的数值；
[0018] S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；
[0019] S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息，并截取所述元器件对应的元器件区域图像，并执行步骤S206；
[0020] S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；
[0021] 所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为xy＝x,yy＝y*cosδ,wy＝w*cosδ,hy＝h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件的中心点及其尺寸信息的变换公式为xx＝x*cosα,y＝y,wx＝w*cosα,hx＝h*cosα；其中h,w为所述斜面图像的高和宽；xy为所述斜面图像的相对于Y轴的斜面变换后的横坐标，yy为所述斜面图像的相对于Y轴的斜
面变换后的纵坐标，wy为所述斜面图像的相对于Y轴的斜面变换后的宽，hy为所述斜面图像的相对于Y轴的斜面变换后的高；xx为所述斜面图像的相对于X轴的斜面变换后的横坐标，yx为所述斜面图像的相对于X轴的斜面变换后的纵坐标，wx为所述斜面图像的相对于X轴的斜
面变换后的宽，hx为所述斜面图像的相对于X轴的斜面变换后的高；
[0022] S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，则获取所述元器件的初始化中人工标注的元器件区域图像。
[0023] 优选的，所述插件漏件检测识别包括所述元器件的插件少件、插件错件和/或插件反件，所述插件少件是指所述元器件区域原本存在的元器件未能正确嵌入到正确位置，导
致所述元器件目标区域为空；所述插件错件是指所述元器件区域中被嵌入了错误的其他类
型的元器件；所述插件反件是指所述元器件区域的元器件的放置方式错误，所述放置方式
错误包括水平翻转和/或垂直翻转；
[0024] 所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
[0025] S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f；
[0026] S312、将所述元器件区域图像的方向梯度直方图特征向量f与数据库内的标准元器件的方向梯度直方图特征向量fpos进行比较，计算方向梯度直方图特征向量之间的欧式
距离e，如果所述欧式距离e大于阈值e0，则认定为所述插件少件，并反馈少件信息，否则进入步骤S313；所述欧式距离e的计算方式为：
[0027]
[0028] 其中，所述f为所述元器件区域图像的方向梯度直方图特征向量，所述fpos为数据库内的标准元器件的方向梯度直方图特征向量；
[0029] S313、使用CTPN文字检测算法提取所述元器件的表面的文字区域，对提取到的所述文字区域进行光学字符识别，得到所述元器件的表面印刷的文字内容；
[0030] S314、将所述元器件的文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和所述数据库内的标准文字内容的长度lword进行计算重叠度overlap＝jedit/lword，如果所述overlap<0.2，则所述元器件的方向正确；否则反馈方向错误信息；所述编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数。
[0031] 所述S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f，包括以下步骤：
[0032] S3111、计算所述元器件区域图像的每个像素点(x,y)的水平方向梯度幅值Cx(x,y)和竖直方向梯度幅值Cy(x,y)；
[0033] Cx(x,y)＝H(x+1,y)‑H(x‑1,y)；
[0034] Cy(x,y)＝H(x,y+1)‑H(x,y‑1)；
[0035] 其中，所述Cx(x,y),Cy(x,y),H(x,y)分别为所述像素点(x,y)的水平方向梯度、竖直方向梯度及其像素值；
[0036] S3112、将所述元器件区域图像划分成预设大小的多个单元图像，并分别计算每个所述单元图像的梯度方向；
[0037] 每个所述像素点(x,y)的梯度幅值C(x,y)和梯度方向β(x,y)分别为：
[0038]
[0039]
[0040] S3113、统计每个所述梯度方向出现的次数得到所述单元图像的特征向量，计算每个所述单元图像的特征向量，最后首尾拼接在一起形成所述元器件区域图像的方向梯度直
方图特征向量f。
[0041] 所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
[0042] S321、获取所述元器件区域图像的正面图像p，与所述数据库内的标准图像ppos使用双线性插值法进行缩放为统一预设固定尺寸；
[0043] 所述双线性插值法的计算公式Dst(x″,y″)为：
[0044] Dst(x″,y″)＝(1‑u)*(1‑v)Src(x,y)+(1‑u)*v*Src(x,y+1)+u*(1‑v)*Src(x+1,y)+u*v*Src(x+1,y+1)；
[0045] 其中，所述(x″,y″)为待插值的数据点的坐标；所述Dst表示目标图像；所述Src表示源图像；所述u,v为以浮点数表示的(x,y)的小数部分；
[0046] S322、将所述元器件区域图像切割划分为n个部分图像pi，所述数据库内的对应的i
标准部分图像为 计算每个所述部分图像的图像直方图h及其对应的标
准部分图像直方图 计算比较得出每个所述部分图像的图像相似度；所述部分图像的
i
图像相似度S的计算公式为：
[0047]
[0048] 其中，所述 为每个所述待测的部分图像和所述数据库内的标准部分图像的图像直方图的取值，其中，RGB图像的直方图有768个取值；
[0049] S323、对n个所述部分图像的图像相似度加权平均得到所述元器件区域图像的图像相似度S；如果所述图像相似度S小于阈值S0，则认定为所述插件少件，并反馈插件少件信息；否则进入步骤S324；
[0050] S324、使用CTPN文字检测算法提取所述元器件的表面的文字区域，对提取到的所述文字区域计算像素间的欧式距离k，如所述欧式距离k大于阈值k0，则反馈方向错误信息；
所述欧式距离k的计算方式为：
[0051]
[0052] 其中，所述f为所述元器件区域图像的方向梯度直方图特征向量，所述fpos为数据库内的标准元器件的方向梯度直方图特征向量。
[0053] 所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
[0054] S331、判断所述元器件区域图像的表面是否有丝印，如有，则进入步骤S332，如无，则进入步骤S337；
[0055] S332、将所述元器件区域图像转化为灰度图，使用基于Wall算法的自适应阈值算法对所述灰度图进行二值化处理得到二值化图；
[0056] S333、使用二维高斯核函数对所述二值化图进行滤波降噪处理去除所述二值化图中的噪点；二维高斯核函数F(a,b)的计算公式为：
[0057]
[0058] 所述A为归一化系数，所述a,b为所述二值化图的中心的坐标值，ua为所述a的均值，σa为所述a的方差，ub为所述y的均值，σb为所述b的方差；
[0059] S334、对滤波降噪处理后的所述二值化图进行膨胀处理，用局部区域的最大值来填充整个区域，使文本区域连接成一个整体，再检测文本区域轮廓，过滤掉不符合要求的区域，保留所述文本区域；膨胀Pst(a′,b′)的计算公式为：
[0060]
[0061] 其中，所述a′,b′为所述局部区域的中心点的坐标值，所述x″′,y″′为所述局部区域的边界与所述中心点的距离；
[0062] S335、截取得到的所述文本区域，在所述二值化图的基础上对所述文本区域进行光学字符识别，得到文字内容；
[0063] S336、将所述文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和所述数据库内的标准文字内容的长度lword进行计算重叠度overlap＝jedit/lword，如果所述overlap<0.2，则认定为所述元器件方向正确；否则反馈方向错误信息；所述最小编辑距离为两个字符串之间，由一个转成另一个所需要的
最少编辑操作次数；
[0064] S337、对所述元器件区域图像进行线性归一化处理，计算所述元器件与所述数据库内的标准元器件的特征距离df，如果所述特征距离df大于阈值df0，则认定为所述元器件出现异常，并反馈错误信息；所述归一化处理的计算公式为：
[0065]
[0066] 其中，所述X为所述元器件区域图像的像素点值，所述X′为线性归一化处理后的所述元器件区域图像的像素点值；
[0067] 所述特征距离df的计算公式为：
[0068]
[0069] 其中，所述h,w为所述元器件区域图像的高和宽，所述Xi为所述元器件区域图像的像素值，所述Yi为所述标准元器件区域图像的像素值。
[0070] 根据本发明另一方面，还提供一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述的插件视觉检测识别方法。
[0071] 根据本发明再一方面，还提供一种插件视觉检测识别设备，包括处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以
使所述处理器执行上述的插件视觉检测识别方法。
[0072] 实施本发明插件视觉检测识别方法、可读存储介质及设备的技术方案，具有如下优点或有益效果：本发明通过采用卷积神经网络快速学习识别成品线路板的插件的各种缺
陷，通过大数据学习训练，可以快速识别出插件浮高、插件的错、漏、反、多、歪斜等缺陷，识别效率高，准确率高。
附图说明
[0073] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附
图，附图中：
[0074] 图1是本发明实施例插件视觉检测识别方法的整体流程示意图；
[0075] 图2是本发明实施例插件视觉检测识别方法的步骤S20流程示意图；
[0076] 图3是本发明实施例插件视觉检测识别方法的插件浮高歪斜检测识别流程示意图；
[0077] 图4是本发明实施例插件视觉检测识别方法的插件漏件检测识别流程示意图。
具体实施方式
[0078] 为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现
本发明可能采用的各种示例性实施例，除非另有表示，不同附图中的相同数字表示相同或
相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施
方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上
的修改，而不会脱离本发明的范围和实质。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
[0079] 在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“厚度”、“上下前后左右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元器件或插件必须具有的特定的方位、以特定的方位构造和操作，
因此，不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接或可以相互通讯连接；可以是直接相连，也可以是通过中间媒介简介相连，可以是两个元件内部的连通或两个元件的相
互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明
中的具体含义。
[0080] 需要说明的是：本发明实施例中的前后、左右、上下及顶部、中部及底部仅是为了便于对实施例的描述而进行的限定，并非通常意义上前后、左右、上下及顶部、中部及底部的方位限定。具体的，前方为平行于生产检测流水线方向的成品线路板的前面，后方为平行于生产检测流水线方向的成品线路板的后面，左右方为垂直于生产检测流水线的方向，X轴方向为与生产检测流水线平行的方向，Y轴方向为与生产检测流水线垂直的方向，Z轴方向为与成品线路板垂直的方向，X轴方向、Y轴方向、Z轴方向均相互垂直，XY平面为与成品线路板平行的平面，YZ平面为与成品线路板垂直的平面。
[0081] 在本发明实施例中，成品线路板分为单面板和双面板，单面板是指在PCB空板的单面经过SMT上件，再经过DIP插件形成的单面PCBA，而双面板是指在PCB空板的双面经过SMT
上件，再经过DIP插件形成的双面PCBA。针对单面板的成品线路板的检测识别，只需正上方、前后左右、斜上方进行拍摄获取线路板图像即可。而对于双面板则还需要获取反面图像，可以在成品线路板下面设置拍摄装置来拍摄，也可以将成品线路板翻转通过设置在顶部的拍
摄装置来拍摄。
[0082] 在本发明实施例中，在PCBA加工过程中，要用到贴片元器件和插件元器件，本发明插件和元器件均为插件元器件，成品线路板要检测识别插件的缺陷具体包括：插件错件、插件少件或多件、插件反向、插件破损、插件浮高歪斜(即为插件浮高或歪斜)等缺陷，主要包括：插件错件(即为安装了错误的元器件)、插件少件或多件(即为PCBA上应该有元器件的位置而没有安装该元器件或者不应该安装的地方安装了元器件)、插件反向(即为元器件安装方向错误)、插件破损(即为元器件表面或侧面有裂痕或者破损)、插件污损(即为元器件表
面有脏污遮盖字符或空白区域)、插件浮高歪斜(即为元器件底部未紧贴PCBA表面或元器件
底部平面与PCBA平面明显不平行)。焊点不良包括：焊点连锡(即为两个或多个独立的焊脚
之间连在一起)、空焊(即为焊点看似焊接了实际焊锡与器件插脚未紧密连接)、多锡(即为
焊锡量过多，出现焊点顶部大或者包焊的现象)、少锡(即为焊点出现孔洞、焊点凹陷或焊锡与焊盘平齐没有明显的爬锡现象)、锡珠锡渣(即为PCBA空白区域出现锡渣或者锡珠)、拉尖(即为插件脚顶部或侧面出现拉丝现象)、字符或图形错误(即为元器件正面或者侧面字符
或图形与标准不符)等可能存在的诸多缺陷。
[0083] 具体的，不同的缺陷需要从不同角度来获取成品线路板的图像，具体包括：(1)从顶部正面拍摄成品线路板，用于采集获取成品线路板的内容包括：插件错件、插件少件或多件、插件反向、插件污损、焊点连锡、空焊、多锡、少锡、锡珠锡渣、拉尖、字符或图形错误等；
(2)从正前后左右拍摄成品线路板，用于采集获取成品线路板的内容包括：插件破损、插件浮高歪斜、字符或图形错误等；(3)从斜上方拍摄成品线路板，用于采集获取成品线路板的内容包括：插件错件、插件浮高歪斜、字符或图形错误等。为此，需要设置不同的拍摄装置来获取成品线路板的上下、左右、前后全方位图像，进而可以更加全面准确的对成品线路板进行检测识别分类。
[0084] 本发明插件视觉检测识别方法实施例，既可用于最终成品线路板的检测，也可用于生产过程中的质量监控；即可用于单面成品线路板，也可用于双面成品线路板等。
[0085] 为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
[0086] 实施例一：
[0087] 如图1所示，本发明提供一种插件视觉检测识别方法实施例，包括以下步骤：
[0088] S10、获取待检测识别的成品线路板的多角度多方位的图片；
[0089] S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；
[0090] S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；所述插件视觉检测识别包括所述元器件的插件浮高歪斜检测识别、以及所述元器件的插件漏件检
测识别；
[0091] S40、得到所述元器件的插件检测识别结果并进行输出。
[0092] 在本实施例中，所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和/或正侧面图像；所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所
述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括成品线路板的任意角度任意方位的图像。
[0093] 在本实施例中，所述S10、获取待检测识别的成品线路板的多角度多方位的图片，之后还包括步骤：
[0094] S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，具体的，包括GERBER映射表(提供GERBER坐标到图像坐标的映射以及元器件在图像上的实际尺寸，所述BOM文件包
括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或
DIP插件工艺。
[0095] 如图2所示，所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括以下步骤：
[0096] S201、分别初始化标定每个所述图片的Mark点坐标(x1,y1)、(x2,y2)、(x3,y3)，设置超参数L，所述超参数L为搜索边长(具体如50‑100px等)，以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个所述圆形的圆点(x1',y1')、(x2',y2')、(x3',y3')作为所述图片的Mark点坐标；
[0097] S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同的元器件的相对位置；所述仿射变
换的计算公式为：
[0098]
[0099] 求解出π,tx,ty；其中，所述π反应了图像旋转缩放变化(即所述π为所述图片的图像旋转缩放变化量)，(tx,ty)表示平移量；其中(x',y')表示所述图片的Mark点坐标，其中x'为Mark点在坐标x轴上的数值，其中y'为Mark点在坐标y轴上的数值；其中(x,y)表示所述图片经仿射变换处理后得到变换图像的Mark点坐标，其中x为所述图片经仿射变换处理后得到变换图像的Mark点在坐标x轴上的数值，其中y为所述图片经仿射变换处理后得到变换
图像的Mark点在坐标y轴上的数值；
[0100] S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；
[0101] S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息(具体位置，元器件矩形区域长宽等)，并截取所述元器件对应的元器件区域图像，并执行步骤S206；
[0102] S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；
[0103] 所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为xy＝x,yy＝y*cosδ,wy＝w*cosδ,hy＝h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件的中心点及其尺寸信息的变换公式为xx＝x*cosα,yx＝y,wx＝w*cosα,hx＝h*cosα；其中h,w为所述斜面图像的高和宽；xy为所述斜面图像的相对于Y轴的斜面变换后的横坐标，yy为所述斜面图像的相对于Y轴的斜
面变换后的纵坐标，wy为所述斜面图像的相对于Y轴的斜面变换后的宽，hy为所述斜面图像的相对于Y轴的斜面变换后的高；xx为所述斜面图像的相对于X轴的斜面变换后的横坐标，yx为所述斜面图像的相对于X轴的斜面变换后的纵坐标，wx为所述斜面图像的相对于X轴的斜
面变换后的宽，hx为所述斜面图像的相对于X轴的斜面变换后的高。
[0104] S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，则获取所述元器件的初始化中人工标注的元器件区域图像。
[0105] 在本实施例中，所述插件浮高歪斜是指在所述元器件区域的所述元器件底部未紧贴PCBA表面或所述元器件底部平面与所述PCBA平面明显不平行；如图3所示，所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别(即插件浮高歪斜检测识
别)，包括以下步骤：
[0106] S301、对所述元器件的所有所述元器件区域图像进行霍夫变换，将所述元器件区域图像进行Canny边缘检测，得到边缘检测的二值图，获取轮廓直线；具体的，初始化(θ,p)空间，N(θ,p)＝0，其中，所述N(θ,p)表示在直线上的像素点的个数，对于每个所述像素点(x,y)，在参数空间中找出令x*cosθ+y*sinθ＝p的(θ,p)坐标，N(θ,p)＝N(θ,p)+1，统计所有所述N(θ,p)的大小，取出N(θ,p)>threshold的参数，其中，所述threshold为预设阈值。
[0107] S302、将所述轮廓直线进行非极大值抑制，去除距离或倾角度数相近的重合直线以及边缘噪音信息；具体包括步骤：
[0108] S3021、将所有的所述轮廓直线汇集成直线集合S；
[0109] S3022、每次随机选择一条所述轮廓直线后将与之倾角度数相差小于阈值的从所述直线集合S中去除；
[0110] S3023、最后获取所述直线集合S中的直线倾角γ1。
[0111] S303、将所述轮廓直线的直线倾角与数据库内的标准轮廓直线进行比对，计算偏离角度γ，γ＝|γ1‑γ2|，所述γ1为所述轮廓直线的直线倾角，所述γ2为所述数据库中的标准图片的轮廓直线的直线倾角，如果所述γ大于阈值γ0，则转到步骤S306，否则转到步骤S304；
[0112] S304、将所述元器件区域图像与所述数据库内的标准元器件区域图像进行高斯模糊平滑去噪，通过二维高斯函数G(x,y)分配权重，对周边点加权求和并获取中心点的高斯
模糊值，重复这个过程得到高斯模糊后的元器件区域图像；具体的，二维高斯函数G(x,y)的计算公式为：
[0113]
[0114] 其中σ表示标准差。
[0115] S305、计算像素级距离d；当所述像素级距离d大于阈值d0，则转到步骤S306；否则认定所述成品线路板为良品；具体的，所述像素级距离的计算公式为：
[0116]
[0117] 其中，p为所述元器件区域图像的像素灰度值，ppos为所述数据库内的标准元器件区域图像的像素灰度值；
[0118] S306、认定为插件浮高，并反馈所述插件浮高位置及浮高方位信息。
[0119] 本发明通过采用卷积神经网络快速学习识别成品线路板，通过大数据学习训练，可以快速识别出插件浮高歪斜等缺陷，识别效率高，准确率高。
[0120] 在本实施例中，所述插件漏件检测识别包括所述元器件的插件少件、插件错件和/或插件反件，所述插件少件是指所述元器件区域原本存在的元器件未能正确嵌入到正确位
置，导致所述元器件目标区域为空；所述插件错件是指所述元器件区域中被嵌入了错误的
其他类型的元器件；所述插件反件是指所述元器件区域的元器件的放置方式错误，所述放
置方式错误包括水平翻转和/或垂直翻转。
[0121] 在本实施例中，S30、根据所述元器件区域图像对所述成品线路板进行漏件检测识别(插件漏件检测识别)，具体包括以下三个方案：
[0122] 方案一：
[0123] 如图4所示，S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
[0124] S311、对所述元器件区域图像进行归一化(contrast‑normalized)处理，计算所述元器件区域图像的方向梯度直方图(Histogram of oriented gradient，HOG)特征向量f；
[0125] S312、将所述元器件区域的直方图特征向量特征f与数据库内的标准元器件的方向梯度直方图特征向量fpos进行行比较，计算方向梯度直方图特征向量之间的欧式距离e，如果e大于阈值e0，则认定为插件少件，并反馈少件信息(Element Lost)，否则进入步骤
S313；所述欧式距离e的计算方式为：
[0126]
[0127] 其中，所述f为所述元器件区域图像的方向梯度直方图特征向量，所述fpos数据库内的标准元器件的方向梯度直方图特征向量；
[0128] S313、使用CTPN(Connectionist Text Proposal Network)文字检测算法提取所述元器件表面的文字区域，对提取到的文字区域进行光学字符识别，得到所述元器件表面
印刷的文字内容；
[0129] S314、将所述元器件的文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和数据库内的文字内容的长度lword进行计算重叠度overlap＝jedit/lword，如果所述overlap<0.2，则所述元器件方向正确；否则反馈方向错误信息；具体的，所述编辑距离(Minimum Edit Distance，MED)，又称Levenshtein距离，是指为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数。
[0130] 具体的，所述S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f，包括以下步骤：
[0131] S3111、计算所述元器件区域图像的每个像素点(x,y)的水平方向梯度幅值Cx(x,y)和竖直方向梯度幅值Cy(x,y)；
[0132] Cx(x,y)＝H(x+1,y)‑H(x‑1,y)；
[0133] Cy(x,y)＝H(x,y+1)‑H(x,y‑1)；
[0134] 其中，所述H(x,y)分别为所述像素点(x,y)的像素值；
[0135] S3112、将所述元器件区域图像划分成预设大小的单元图像，并分别计算每个所述单元图像的梯度方向；
[0136] 具体的，所述像素点(x,y)的梯度幅值C(x,y)和梯度方向β(x,y)分别为：
[0137]
[0138]
[0139] S3113、统计每个梯度方向出现的次数得到所述单元图像的特征向量，计算每个所述单元图像的特征向量，最后收尾拼接在一起形成所述元器件区域图像的方向梯度直方图
特征向量f。
[0140] 方案二：
[0141] 所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
[0142] S321、获取所述元器件区域图像的正面图像p，与数据库内的标准图像ppos使用双线性插值法进行缩放为统一预设固定尺寸；具体的，p是一个三维矩阵，大小为w*h*3，值为
0‑255，从RGB三维信息描述图像内容。
[0143] 具体的，所述双线性插值法的计算公式Dst(x″,y″)为：
[0144] Dst(x″,y″)＝(1‑u)*(1‑v)Src(x,y)+(1‑u)*v*Src(x,y+1)+u*(1‑v)*Src(x+1,y)+u*v*Src(x+1,y+1)；
[0145] 其中，所述(x″,y″)为待插值的数据点的坐标；Dst表示目标图像；Src表示源图像；u,v表示浮点数表示的(x,y)的小数部分；
[0146] S322、将所述元器件区域图像切割划分为n个部分图像pi，所述数据库内的对应的i
标准图像为 计算每个部分图像的图像直方图h及其对应的标准图像直方
图 计算比较得出每个部分图像的图像相似度；
[0147] 具体的，hi是图像直方图，统计了每种颜色出现的次数，是一个向量，lhi是向量里i i的每个数，比如说h＝[1,2,3], 那么len(h)＝3， 分别为3，
3，3再执行求和。
[0148] 具体的，所述部分图像的图像相似度Si的计算公式为：
[0149]
[0150] 其中， 为每个所述待测的部分图像和所述数据库内的标准部分图像的图像直方图的取值，其中，RGB图像的直方图有768个取值(256*3)。
[0151] S323、对n个部分图像的图像相似度加权平均得到所述元器件区域图像的图像相似度S；如果S小于阈值S0，则认定为插件少件，并反馈少件信息；否则进入步骤S324；
[0152] S324、使用CTPN文字检测算法提取元器件表面的文字区域，再对提取到的文字区域计算像素间的欧式距离k，如k大于阈值k0，则反馈错误信息。
[0153] 具体的，所述欧式距离k的计算方式为：
[0154]
[0155] 其中，所述f为所述元器件区域图像的方向梯度直方图特征向量，所述fpos数据库内的标准元器件的方向梯度直方图特征向量。
[0156] 方案三：
[0157] S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
[0158] S331、判断所述元器件区域图像的表面是否有丝印，如有，则进入步骤S332，如无，则进入步骤S337；
[0159] S332、将所述元器件区域图像转化为灰度图，使用基于Wall算法的自适应阈值算法对所述灰度图进行二值化处理得到二值化图；
[0160] S333、使用二维高斯核函数对所述二值化图进行滤波降噪处理去除二值化图中的噪点；具体的，二维高斯核函数F(a,b)的计算公式为：
[0161]
[0162] 其中，所述A为归一化系数，所述a,b为所述二值化图的中心的坐标值，ua为所述a的均值，σa为所述a的方差，ub为所述y的均值，σb为所述b的方差。
[0163] S334、对滤波降噪处理后的所述二值化图进行膨胀处理，用局部区域的最大值来填充整个区域，使文本区域连接成一个整体，再检测文本区域轮廓，过滤掉不符合要求的区域，保留文本区域；具体的，膨胀是形态学术语，是求局部最大值的操作；具体的，膨胀Pst(a′,b′)的计算公式为：
[0164]
[0165] 其中，所述a′,b′为所述局部区域的中心点的坐标值，所述x″′,y″′为所述局部区域的边界与所述中心点的距离；
[0166] 具体的，膨胀与双线性插值不一样，此处的Pst不是方法名，指的是目标图像中的像素点(a′,b′)。
[0167] S335、截取得到的文本区域，在二值化图的基础上对所述文本区域进行光学字符识别，得到文字内容；
[0168] S336、将所述文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit；
[0169] 具体的，根据所述最小编辑距离jedit和数据库内的标准文字内容的长度lword计算重叠度overlap＝jedit/lword，如果所述overlap<0.2，则所述元器件方向正确；否则反馈方向错误信息；所述最小编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数；
[0170] S337、对所述图像进行线性归一化处理，计算所述元器件与所述数据库内的标准元器件的特征距离df，如果所述特征距离df大于阈值df0，则认定为所述元器件出现异常，并反馈错误信息；所述归一化处理的计算公式为：
[0171]
[0172] 其中，所述X为所述元器件区域图像的像素点值，所述X′为线性归一化处理后的所述元器件区域图像的像素点值；
[0173] 所述特征距离df的计算公式为：
[0174]
[0175] 其中，所述h,w为所述元器件区域图像的高和宽，所述Xi为所述元器件区域图像的像素值，所述Yi为所述标准元器件区域图像的像素值。
[0176] 本发明通过采用神经网络算法快速学习识别成品线路板的元器件，通过大数据学习训练，可以快速识别出插件漏件等缺陷，识别效率高，准确率高。
[0177] 实施例二：
[0178] 本发明还提供一种计算机可读的存储介质，该存储介质上存储有计算机程序，所述计算机程序被执行时实现上述实施例一的插件视觉检测识别方法。
[0179] 实施例三：
[0180] 本发明还提供一种插件视觉检测识别设备实施例，包括处理器及存储器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使处理器执行上述实施例一的插件视觉检测识别方法。
[0181] 在阅读完上文描述的内容之后，本领域的普通技术人员应当明白，本文描述的各种特征可通过方法、数据处理设备或计算机程序产品来实现。因此，这些特征可部采用硬件的方式、全部采用软件的方式或者采用硬件和软件结合的方式来表现。此外，上述特征也可采用存储在一种或多种计算机可读存储介质上的计算机程序产品的形式来表现，该计算机
可读存储介质中包含计算机可读程序代码段或者指令，其存储在存储介质中。可读存储介
质被配置为存储各种类型的数据以支持在装置的操作。可读存储介质可以由任何类型的易
失性或非易失性存储设备或者它们的组合实现。如静态硬盘、随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器
(PROM)、只读存储器(ROM)、光存储设备、磁存储设备、快闪存储器、磁盘或光盘和/或上述设备的组合。
[0182] 以上仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的
精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。
