印制电路板缺陷图像配准方法、装置、设备及存储介质

摘要

本发明公开了一种印制电路板缺陷图像配准方法、装置、设备及存储介质，该方法包括：获取印制电路板的产品图片和预设模板图片；将产品图片中的各非变形关键点与预设模板图片中对应的非变形关键点进行匹配，以确定若干非变形配准位置；将产品图片中的若干可变形关键点与预设模板图片中对应的可变形关键点进行匹配，以确定若干可变形配准区域；根据若干非变形配准位置和若干可变形配准区域对所述产品图片进行图像变换，获得印制电路板的缺陷配准图像。本发明通过将非变形关键点和可变形关键点分开匹配，降低了干扰因素的影响，提高了缺陷配准图像的准确度。

权利要求

1.一种印制电路板缺陷图像配准方法，其特征在于，所述方法包括：获取印制电路板的产品图片和预设模板图片；

将所述产品图片中的各非变形关键点与所述预设模板图片中对应的非变形关键点进行匹配，以确定若干非变形配准位置；

将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点进行匹配，以确定若干可变形配准区域；

根据所述若干非变形配准位置和所述若干可变形配准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像；

所述将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点进行匹配，以确定若干可变形配准区域，包括：遍历若干可变形关键点，并根据遍历到的当前可变形关键点的关键点类型确定目标预设卷积神经网络模型；

根据所述当前可变形关键点从所述预设模板图中裁取模板图像块；

根据所述当前可变形关键点从所述产品图片中裁取产品图像块，所述产品图像块的尺寸大于所述模板图像块的尺寸；

将所述模板图像块和所述产品图像块输入所述目标预设卷积神经网络模型，获得所述当前可变形关键点对应的可变形配准区域；

在遍历结束时，获得各可变形关键点对应的可变形配准区域。

2.如权利要求1所述的方法，其特征在于，所述将所述模板图像块和所述产品图像块输入所述目标预设卷积神经网络模型，获得所述当前可变形关键点对应的可变形配准区域，包括：

根据所述模板图像块的尺寸对所述产品图像块进行采样，获得与所述模板图像块的尺寸相同的若干子产品图像块；

在将所述模板图像块输入所述目标预设卷积神经网络模型之后，依次将所述若干子产品图像块输入所述目标预设卷积神经网络模型；

获取所述目标预设卷积神经网络模型输出的各子产品图像块对应的匹配概率值；

根据各子产品图像块对应的匹配概率值确定所述当前可变形关键点的可变形配准区域。

3.如权利要求2所述的方法，其特征在于，所述根据各子产品图像块对应的匹配概率值确定所述当前可变形关键点的可变形配准区域，包括：判断匹配概率值是否大于预设值；

在匹配概率值大于预设值时，根据所述匹配概率值对应的子产品图像块确定所述当前可变形关键点对应的可变形配准区域。

4.如权利要求1所述的方法，其特征在于，所述获取印制电路板的产品图片和预设模板图片之前，所述方法还包括：

通过预设Harris角点检测算法在印制电路板的预设模板图片上提取角点；

通过预设规则在所述预设模板图片上提取特征点；

对所述角点和所述特征点进行去重，并将去重后的角点和特征点设定为关键点，所述关键点包括非变形关键点和可变形关键点。

5.如权利要求1所述的方法，其特征在于，所述获取印制电路板的产品图片和预设模板图片之前，所述方法还包括：

对印制电路板的预设模板图片进行分析，根据分析结果确定所述预设模板图片的可变形关键点的关键点类型；

根据各可变形关键点从所述预设模板图片上裁取对应的图像块；

从所述印制电路板的产品图片上裁取与各关键点类型对应的若干训练图像块；

根据所述关键点类型将所述图像块和对应的训练图像块输入卷积神经网络进行迭代训练，获得符合预设标准的各关键点类型对应的预设卷积神经网络模型。

6.如权利要求1‑5任一项所述的方法，其特征在于，所述根据所述若干非变形配准位置和所述若干可变形配准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像，包括：

根据所述预设模板图片的非变形关键点通过预设优化目标算法将对应的非变形配准位置优化，获得若干非变形变换位置；

根据所述预设模板图片的可变形关键点通过所述预设优化目标算法将对应的可变形配准区域优化，获得若干可变形变换位置；

根据所述若干非变形变换位置和所述若干可变形变换位置对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像。

7.一种印制电路板缺陷图像配准装置，其特征在于，所述装置包括：获取模块，用于获取印制电路板的产品图片和预设模板图片；

非变形关键点匹配模块，用于将所述产品图片中的各非变形关键点与所述预设模板图片中对应的非变形关键点进行匹配，以确定若干非变形配准位置；

可变形关键点匹配模块，用于将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点进行匹配，以确定若干可变形配准区域；

图像变换模块，用于根据所述若干非变形配准位置和所述若干可变形配准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像；

所述可变形关键点匹配模块，还用于遍历若干可变形关键点，并根据遍历到的当前可变形关键点的关键点类型确定目标预设卷积神经网络模型；根据所述当前可变形关键点从所述预设模板图中裁取模板图像块；根据所述当前可变形关键点从所述产品图片中裁取产品图像块，所述产品图像块的尺寸大于所述模板图像块的尺寸；将所述模板图像块和所述产品图像块输入所述目标预设卷积神经网络模型，获得所述当前可变形关键点对应的可变形配准区域；在遍历结束时，获得各可变形关键点对应的可变形配准区域。

8.一种印制电路板缺陷图像配准设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的印制电路板缺陷图像配准程序，所述印制电路板缺陷图像配准程序配置为实现如权利要求1至6中任一项所述的印制电路板缺陷图像配准方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有印制电路板缺陷图像配准程序，所述印制电路板缺陷图像配准程序被处理器执行时实现如权利要求1至6任一项所述的印制电路板缺陷图像配准方法的步骤。

说明书

印制电路板缺陷图像配准方法、装置、设备及存储介质

技术领域

[0001] 本发明涉及缺陷检测技术领域，尤其涉及一种印制电路板缺陷图像配准方法、装置、设备及存储介质。

背景技术

[0002] 在对印制电路板的缺陷图像的进行分类时，需要将实时产生的有缺陷的产品图片与根据设计文件绘制的模板图片进行配准获得配准图像，以根据配准图像对缺陷图像进行
分类，配准图像的准确度决定缺陷图像分类的准确度，现有的图像配准方法受干扰因素影
响较大，导致配准准确度低，因此如何提高图像配准的准确度成为亟待解决的技术问题。

[0003] 上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

[0004] 本发明的主要目的在于提供了一种印制电路板缺陷图像配准方法、装置、设备及存储介质，旨在解决现有技术图像配准的准确度低的技术问题。

[0005] 为实现上述目的，本发明提供了一种印制电路板缺陷图像配准方法，所述方法包括以下步骤:

[0006] 获取印制电路板的产品图片和预设模板图片；

[0007] 将所述产品图片中的各非变形关键点与所述预设模板图片中对应的非变形关键点进行匹配，以确定若干非变形配准位置；

[0008] 将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点进行匹配，以确定若干可变形配准区域；

[0009] 根据所述若干非变形配准位置和所述若干可变形配准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像。

[0010] 可选地，所述将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点进行匹配，以确定若干可变形配准区域，包括：

[0011] 遍历若干可变形关键点，并根据遍历到的当前可变形关键点的关键点类型确定目标预设卷积神经网络模型；

[0012] 根据所述当前可变形关键点从所述预设模板图中裁取模板图像块；

[0013] 根据所述当前可变形关键点从所述产品图片中裁取产品图像块，所述产品图像块的尺寸大于所述模板图像块的尺寸；

[0014] 将所述模板图像块和所述产品图像块输入所述目标预设卷积神经网络模型，获得所述当前可变形关键点对应的可变形配准区域；

[0015] 在遍历结束时，获得各可变形关键点对应的可变形配准区域。

[0016] 可选地，所述将所述模板图像块和所述产品图像块输入所述目标预设卷积神经网络模型，获得所述当前可变形关键点对应的可变形配准区域，包括：

[0017] 根据所述模板图像块的尺寸对所述产品图像块进行采样，获得与所述模板图像块的尺寸相同的若干子产品图像块；

[0018] 在将所述模板图像块输入所述目标预设卷积神经网络模型之后，依次将所述若干子产品图像块输入所述目标预设卷积神经网络模型；

[0019] 获取所述目标预设卷积神经网络模型输出的各子产品图像块对应的匹配概率值；

[0020] 根据各子产品图像块对应的匹配概率值确定所述当前可变形关键点的可变形配准区域。

[0021] 可选地，所述根据各子产品图像块对应的匹配概率值确定所述当前可变形关键点的可变形配准区域，包括：

[0022] 判断匹配概率值是否大于预设值；

[0023] 在匹配概率值大于预设值时，根据所述匹配概率值对应的子产品图像块确定所述目标可变形关键点对应的可变形配准区域。

[0024] 可选地，所述获取印制电路板的产品图片和预设模板图片之前，所述方法还包括：

[0025] 通过预设Harris角点检测算法在印制电路板的预设模板图片上提取角点；

[0026] 通过预设规则在所述预设模板图片上提取特征点；

[0027] 对所述角点和所述特征点进行去重，并将去重后的角点和特征点设定为关键点，所述关键点包括非变形关键点和可变形关键点。

[0028] 可选地，所述获取印制电路板的产品图片和预设模板图片之前，所述方法还包括：

[0029] 对印制电路板的预设模板图片进行分析，根据分析结果确定所述预设模板图片的可变形关键点的关键点类型；

[0030] 根据各可变形关键点从所述预设模板图片上裁取对应的图像块；

[0031] 从所述印制电路板的产品图片上裁取与各关键点类型对应的若干训练图像块；

[0032] 根据所述关键点类型将所述图像块和对应的训练图像块输入卷积神经网络进行迭代训练，获得符合预设标准的各关键点类型对应的预设卷积神经网络模型。

[0033] 可选地，所述根据所述若干非变形配准位置和所述若干可变形配准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像，包括：

[0034] 根据所述预设模板图片的非变形关键点通过预设优化目标算法将对应的非变形配准位置优化，获得若干非变形变换位置；

[0035] 根据所述预设模板图片的可变形关键点通过所述预设优化目标算法将对应的可变形配准区域优化，获得若干可变形变换位置；

[0036] 根据所述若干非变形变换位置和所述若干可变形变换位置对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像。

[0037] 此外，为实现上述目的，本发明还提出一种印制电路板缺陷图像配准装置，所述装置包括：

[0038] 获取模块，用于获取印制电路板的产品图片和预设模板图片；

[0039] 非变形关键点匹配模块，用于将所述产品图片中的各非变形关键点与所述预设模板图片中对应的非变形关键点进行匹配，以确定若干非变形配准位置；

[0040] 可变形关键点匹配模块，用于将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点进行匹配，以确定若干可变形配准区域；

[0041] 图像变换模块，用于根据所述若干非变形配准位置和所述若干可变形配准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像。

[0042] 此外，为实现上述目的，本发明还提出一种印制电路板缺陷图像配准设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的印制电路板缺
陷图像配准程序，所述印制电路板缺陷图像配准程序配置为实现如上文所述的印制电路板
缺陷图像配准方法的步骤。

[0043] 此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有印制电路板缺陷图像配准程序，所述印制电路板缺陷图像配准程序被处理器执行时实现如上文
所述的印制电路板缺陷图像配准方法的步骤。

[0044] 本发明获取印制电路板的产品图片和预设模板图片；将所述产品图片中的各非变形关键点与所述预设模板图片中对应的非变形关键点进行匹配，以确定若干非变形配准位
置；将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点进
行匹配，以确定若干可变形配准区域；根据所述若干非变形配准位置和所述若干可变形配
准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像。由于本发明
是通过将产品图片中的非变形关键点与模板图片中非变形关键点匹配获得若干非变形配
准位置，将产品图片中的可变形关键点与模板图片中的可变形关键点匹配获得若干可变形
配准区域，根据若干非变形配准位置和若干可变形配准区域对产品图片进行图像变换，获
得印制电路板的缺陷配准图像，将非变形关键点和可变形关键点分开匹配，降低了干扰因
素的影响，提高了缺陷配准图像的准确度。

附图说明

[0045] 图1是本发明实施例方案涉及的硬件运行环境的印制电路板缺陷图像配准设备的结构示意图；

[0046] 图2为本发明印制电路板缺陷图像配准方法第一实施例的流程示意图；

[0047] 图3为本发明印制电路板缺陷图像配准方法第二实施例的流程示意图；

[0048] 图4为本发明印制电路板缺陷图像配准装置第一实施例的结构框图。

[0049] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

[0050] 应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0051] 参照图1，图1为本发明实施例方案涉及的硬件运行环境的印制电路板缺陷图像配准设备结构示意图。

[0052] 如图1所示，该印制电路板缺陷图像配准设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储
器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显
示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线
接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真
（Wireless‑Fidelity，WI‑FI）接口）。存储器1005可以是高速的随机存取存储器（Random 
Access Memory，RAM），也可以是稳定的非易失性存储器（Non‑Volatile Memory，NVM），例如
磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

[0053] 本领域技术人员可以理解，图1中示出的结构并不构成对印制电路板缺陷图像配准设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布
置。

[0054] 如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及印制电路板缺陷图像配准程序。

[0055] 在图1所示的印制电路板缺陷图像配准设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明印制电路板缺陷
图像配准设备中的处理器1001、存储器1005可以设置在印制电路板缺陷图像配准设备中，
所述印制电路板缺陷图像配准设备通过处理器1001调用存储器1005中存储的印制电路板
缺陷图像配准程序，并执行本发明实施例提供的印制电路板缺陷图像配准方法。

[0056] 本发明实施例提供了一种印制电路板缺陷图像配准方法，参照图2，图2为本发明印制电路板缺陷图像配准方法第一实施例的流程示意图。

[0057] 本实施例中，所述印制电路板缺陷图像配准方法包括以下步骤：

[0058] 步骤S10：获取印制电路板的产品图片和预设模板图片。

[0059] 需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如平板电脑、个人电脑、手机等，或者是一种能够实现上述
功能的电子设备、印制电路板缺陷图像配准设备等。以下以印制电路板缺陷图像配准设备
为例，对本实施例及下述各实施例进行说明。

[0060] 可以理解的是，产品图片可以是在生产过程中通过影像设备采集到的印制电路板的实时图片；预设模板图片可以是根据要生产的印制电路板的设计文件生成的标准图片。

[0061] 步骤S20：将所述产品图片中的各非变形关键点与所述预设模板图片中对应的非变形关键点进行匹配，以确定若干非变形配准位置。

[0062] 可以理解的是，非变形关键点可以是在生成过程中采集到的印制电路板的产品图片中的关键点与预设模板图片中对应关键点相比，不会发生变形的关键点，非变形关键点
可以是孔的圆心等关键点。

[0063] 应该理解的是，对于非变形关键点的匹配，可根据非变形关键点从产品图片和预设模板图片中裁取对应的图像块，采用NCC算法进行局部小图像块的匹配，以确定各非变形
关键点的非变形配准位置；非变形配准位置可以是产品图片中的非变形关键点经过匹配后
在预设模板图片中的坐标位置。

[0064] 步骤S30：将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点进行匹配，以确定若干可变形配准区域。

[0065] 应该理解的是，可变形关键点可以是在生产过程中采集到的印制电路板的产品图片中的关键点与预设模板图片中对应的关键点相比，会发生形变的关键点，可变形关键点
可以是焊盘铜区域角点、焊盘铜区域边缘和锣槽区域等。

[0066] 可以理解的是，可变形关键点的匹配规则根据可变形关键点的关键点类型确定；可根据不同关键点类型的可变形关键点训练对应的预设卷积神经网络模型，在进行可变形
关键点匹配时，根据关键点类型选取对应的预设卷积神经网络模型进行匹配。

[0067] 应该理解的是，可变形配准区域可以是印制电路板的产品图片中与预设模板图片中的可变形关键点对应的区域；预设模板图片上的一个可变形关键点可配准到产品图片上
一个区域的点，该区域即可变形配准区域。

[0068] 在具体实现中，在进行可变形关键点匹配时，根据可变形关键点的关键点类型选取与所述关键点类型对应的预设卷积神经网络模型，将预设模板图片和产品图片中可变形
关键点对应的一对图像块输入预设卷积神经网络模型，获得该可变形关键点的可变形配准
区域。

[0069] 步骤S40：根据所述若干非变形配准位置和所述若干可变形配准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像。

[0070] 可以理解的是，可根据若干非变形配准位置和若干可变形配准区域求解产品图片到预设模板图片之间的图像变换场，根据求得的图像变换场对产品图片进行图像变换获得
缺陷配准图像；缺陷配准图像可以是将产品图片图像变换至预设模板图片后获得的图片。

[0071] 在具体实现中，获取印制电路板的产品图片和根据印制电路板的设计文件生成的预设模板文件，对于非变形关键点，采用NCC算法进行局部小图像块的匹配，以确定非变形
关键点的非变形配准位置；对于可变形关键点，根据关键点类型选取对应的预设卷积神经
网络模型对可变形关键点进行匹配，获得可变形配准区域；根据获得的非变形配准位置和
可变形配准区域求解产品图片到预设模板图片之间的图像变换场，根据图像变换场将产品
图片变换至预设模板图片，获得缺陷配准图像。

[0072] 进一步地，为了提高生成的缺陷配准图像的准确度，在所述步骤S10之前，所述方法还包括：通过预设Harris角点检测算法在印制电路板的预设模板图片上提取角点；通过
预设规则在所述预设模板图片上提取特征点；对所述角点和所述特征点进行去重，并将去
重后的角点和特征点设定为关键点，所述关键点包括非变形关键点和可变形关键点。

[0073] 可以理解的是，较理想的用于配准的关键点，它的邻域应有足够的能用于定位的信息，即在关键点的一定范围内，关键点自身平移后，关键点对应的图像块的自相关函数有
较良好的唯一的最小值；本实施例通过预设Harris角点检测算法提取角点，对于相同距离
的微移，预设Harris角点检测算法将计算出自相关函数取最大值和最小值时的移动方向，
以及对应的自相关函数变化率 和 ，如果某个点处于边缘位置但不是角点，则仅有 较大
而 较小。如果某个点位于纹理光滑的区域（即附近灰度值不变），则 和 都较小，取 和
都较大的点参与配准，因为他们能被较好地定位到某一个像素。

[0074] 应该理解的是，预设规则可以是预先设定的特征点提取规则，例如预设规则可以是孔的圆心位置；对所述角点和所述特征点进行去重，并将去重后的角点和特征点设定为
关键点可以是将处于角点预设范围内的特征点去除，在某一区域内仅保留一个点作为关键
点；关键点包括非变形关键点和可变形关键点。

[0075] 进一步地，由于预设模板图片中可变形关键点的特征不同，在进行可变形关键点的匹配时，为了针对不同类型的可变形关键点采取相应的模型，以提高缺陷配准图像的准
确度，在所述步骤S10之前，所述方法还包括：对印制电路板的预设模板图片进行分析，根据
分析结果确定所述预设模板图片的可变形关键点的关键点类型；根据各可变形关键点从所
述预设模板图片上裁取对应的图像块；从所述印制电路板的产品图片上裁取与各关键点类
型对应的若干训练图像块；根据所述关键点类型将所述图像块和对应的训练图像块输入卷
积神经网络进行迭代训练，获得符合预设标准的各关键点类型对应的预设卷积神经网络模
型。

[0076] 可以理解的是，对印制电路板的预设模板图片进行分析可以是对预设模板图片进行识别，以获得预设模板图片中可变形关键点的关键点类型；可变形关键点的关键点类型
包括焊盘铜区域角点型、焊盘铜区域边缘型和锣槽区域型。

[0077] 应该理解的是，根据各可变形关键点从所述预设模板图片上裁取对应的图像块可以是根据可变形关键点的关键点类型，对于同一类型的可变形关键点在预设模板图片上裁
取对应的图像块。

[0078] 在具体实现中，例如获得焊盘铜区域角点型的可变形关键点对应的预设卷积神经网络模型，则印制电路板缺陷图像配准设备对预设模板图片进行识别，获得预设模板图片
中各可变形关键点的关键点类型，针对铜区域角点型的可变形关键点在预设模板图片上裁
取预设尺寸的图像块，并从印制电路板的产品图片上裁取与焊盘铜区域角点型关键点对应
的若干图像块作为训练图像块，将图像块和训练图像块输入卷积神经网络模型进行迭代训
练，在迭代次数到达预设次数时，获得焊盘铜区域角点型的可变形关键点对应的预设卷积
神经网络模型，对于其他类型可变形关键点对应的预设卷积神经网络模型的训练过程，可
参照上述过程，本实施例再次不再赘述。

[0079] 进一步地，为了提高缺陷配准图像的准确度，所述步骤S40包括：根据所述预设模板图片的非变形关键点通过预设优化目标算法将对应的非变形配准位置优化，获得若干非
变形变换位置；根据所述预设模板图片的可变形关键点通过所述预设优化目标算法将对应
的可变形配准区域优化，获得若干可变形变换位置；根据所述若干非变形变换位置和所述
若干可变形变换位置对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图
像。

[0080] 可以理解的是，非变形变换位置可以是非变形关键点在预设模板图片中的像素坐标位置；可变形变换位置可以是可变形关键点在预设模板图片中的像素点坐标位置。

[0081] 应该理解的是，由于印制电路板的产品图片通常为线扫描相机成像而得，印制电路板在传送带上不匀速运动可能导致产品图片存在拉伸，除此之外不存在其他导致变形的
因素。

[0082] 应该理解的是，预设优化目标算法可参照下式，根据非变形配准位置，优化非变形关键点到非变形配准位置距离的平方和，获得非变形变换位置；根据可变形配准位置，优化
可变形关键点到可变形配准位置距离的平方和，获得可变形变换位置；根据各非变形变换
位置和各可变形变换位置对产品图片进行图像变换，获得印制电路板的缺陷配准图像。

[0083]

[0084] 式中， 表示预设模板图片中关键点的坐标；i为表示序号的下标；表示在某组网格参数 下，产品图片到预设模板图片的变换场； 表示关键点的
权重。

[0085] 本实施例获取印制电路板的产品图片和预设模板图片；将所述产品图片中的各非变形关键点与所述预设模板图片中对应的非变形关键点进行匹配，以确定若干非变形配准
位置；将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点
进行匹配，以确定若干可变形配准区域；根据所述若干非变形配准位置和所述若干可变形
配准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像。由于本实
施例是通过将产品图片中的非变形关键点与模板图片中非变形关键点匹配获得若干非变
形配准位置，将产品图片中的可变形关键点与模板图片中的可变形关键点匹配获得若干可
变形配准区域，根据若干非变形配准位置和若干可变形配准区域对产品图片进行图像变
换，获得印制电路板的缺陷配准图像，将非变形关键点和可变形关键点分开匹配，降低了干
扰因素的影响，提高了缺陷配准图像的准确度。

[0086] 参考图3，图3为本发明印制电路板缺陷图像配准方法第二实施例的流程示意图。

[0087] 基于上述第一实施例，在本实施例中，所述步骤S30包括：

[0088] 步骤S301：遍历若干可变形关键点，并根据遍历到的当前可变形关键点的关键点类型确定目标预设卷积神经网络模型。

[0089] 在具体实现中，印制电路板缺陷图像配准设备遍历若干可变形关键点，并识别遍历到的当前可变形关键点的关键点类型，根据关键点类型选取与该可变形关键点对应的预
设卷积神经网络模型；不同类型的可变形关键点对应的预设卷积神经网络模型不同；目标
预设卷积神经网络模型可以是与遍历到的可变形关键点对应的预设卷积神经网络模型。

[0090] 步骤S302：根据所述当前可变形关键点从所述预设模板图中裁取模板图像块。

[0091] 在具体实现中，根据当前可变形关键点从预设模板图片中裁取包含该可变形关键点的模板图像块；模板图像块可以是预设模板图片中包含可变形关键点的图像块。

[0092] 步骤S303：根据所述当前可变形关键点从所述产品图片中裁取产品图像块，所述产品图像块的尺寸大于所述模板图像块的尺寸。

[0093] 可以理解的是，产品图像块可以是产品图片中包含可变形关键点的图像块；裁取的可变形关键点的产品图像块的尺寸大于对应的模板图像块的尺寸；图像的尺寸可以用图
像块中像素点的个数表示，例如图像块的尺寸为11*11，则该图像块中包含11*11个像素点。

[0094] 步骤S304：将所述模板图像块和所述产品图像块输入所述目标预设卷积神经网络模型，获得所述当前可变形关键点对应的可变形配准区域。

[0095] 在具体实现中，将模板图像块和对应的产品图像块输入目标预设卷积神经网络模型，目标预设卷积神经网络模型可输出与预设模板图片中可变形关键点匹配的产品图片的
可变形配准区域。

[0096] 步骤S305：在遍历结束时，获得各可变形关键点对应的可变形配准区域。

[0097] 在具体实现中，印制电路板缺陷图像配准设备遍历若干可变形关键点，并根据遍历到的当前可变形关键点的关键点类型选取目标预设卷积神经网络模型；从预设模板图片
中裁取包含当前可变形关键点的模板图像块，从产品图片中裁取包含当前可变形关键点的
尺寸大于模板图像块尺寸的产品图像块，将模板图像块和产品图像块输入目标预设神经网
络模型，目标预设神经网络模型输出产品图片中与模板图片中的当前可变形关键点匹配的
可变形配准区域，在遍历完成时，获得各可变形关键点的可变形配准区域。

[0098] 进一步地，为了实现可变形关键点的配准，以提高缺陷配准图像的准确度，所述步骤S304包括：根据所述模板图像块的尺寸对所述产品图像块进行采样，获得与所述模板图
像块的尺寸相同的若干子产品图像块；在将所述模板图像块输入所述目标预设卷积神经网
络模型之后，依次将所述若干子产品图像块输入所述目标预设卷积神经网络模型；获取所
述目标预设卷积神经网络模型输出的各子产品图像块对应的匹配概率值；根据各子产品图
像块对应的匹配概率值确定所述当前可变形关键点的可变形配准区域。

[0099] 可以理解的是，产品图像块的尺寸大于模板图像块的尺寸，在进行可变形关键点匹配时，需要对产品图像块进行采样，每次采样的子产品图像块的尺寸等于模板图像块的
尺寸。

[0100] 在具体实现中，假如模板图像块的尺寸为11*11，产品图像块的尺寸为20*20，则每次从产品图像块中采样11*11的子产品图像块，将模板图像块输入目标预设卷积神经网络
模型后，依次将子产品图像块输入目标预设卷积神经网络模型，对于其中一个子产品图像
块，模板图像块和子产品图像块经过模型的卷积层，再将它们经卷积提取的每个特征图进
行归一化，相互计算内积，组成一个向量，经过一个线性全连接层计算出一个特征值，经过
sigmoid函数得到处于(0,1)区间的值，该值即作为模板图形块与该子产品图像块的匹配概
率值，根据各子产品图片的匹配概率值确定当前可变形关键点的可变形配准区域。

[0101] 进一步地，为了提高缺陷配准图像的准确度，所述根据各子产品图像块对应的匹配概率值确定所述当前可变形关键点的可变形配准区域，包括：判断匹配概率值是否大于
预设值；在匹配概率值大于预设值时，根据所述匹配概率值对应的子产品图像块确定所述
目标可变形关键点对应的可变形配准区域。

[0102] 在具体实现中，印制电路板缺陷图像配准设备判断匹配概率值是否大于预设值，在大于预设值时，将大于预设值中最大的匹配概率值对应的子产品图像块作为目标可变形
关键点的可变形配准区域。

[0103] 本实施例遍历若干可变形关键点，并根据遍历到的当前可变形关键点的关键点类型确定目标预设卷积神经网络模型；根据所述当前可变形关键点从所述预设模板图中裁取
模板图像块；根据所述当前可变形关键点从所述产品图片中裁取产品图像块，所述产品图
像块的尺寸大于所述模板图像块的尺寸；

[0104] 将所述模板图像块和所述产品图像块输入所述目标预设卷积神经网络模型，获得所述当前可变形关键点对应的可变形配准区域；在遍历结束时，获得各可变形关键点对应
的可变形配准区域。本实施例根据遍历到的当前可变形关键点的关键点类型确定目标预设
卷积神经网络模型，通过目标预设卷积神经网络模型确定产品图片中当前可变形关键点的
可变形配准区域，在遍历结束时，获得各可变形关键点对应的可变形配准区域，能够根据可
变形关键点的类型选取不同的预设卷积神经网络模型确定可变形配准区域，提高了印制电
路板缺陷配准图像的准确度。

[0105] 此外，本发明实施例还提出一种存储介质，所述存储介质上存储有印制电路板缺陷图像配准程序，所述印制电路板缺陷图像配准程序被处理器执行时实现如上文所述的印
制电路板缺陷图像配准方法的步骤。

[0106] 参照图4，图4为本发明印制电路板缺陷图像配准装置第一实施例的结构框图。

[0107] 如图4所示，本发明实施例提出的印制电路板缺陷图像配准装置包括：获取模块10、非变形关键点匹配模块20、可变形关键点匹配模块30和图像变换模块40。

[0108] 所述获取模块10，用于获取印制电路板的产品图片和预设模板图片；

[0109] 所述非变形关键点匹配模块20，用于将所述产品图片中的各非变形关键点与所述预设模板图片中对应的非变形关键点进行匹配，以确定若干非变形配准位置；

[0110] 所述可变形关键点匹配模块30，用于将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点进行匹配，以确定若干可变形配准区域；

[0111] 所述图像变换模块40，用于根据所述若干非变形配准位置和所述若干可变形配准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像。

[0112] 本实施例获取印制电路板的产品图片和预设模板图片；将所述产品图片中的各非变形关键点与所述预设模板图片中对应的非变形关键点进行匹配，以确定若干非变形配准
位置；将所述产品图片中的若干可变形关键点与所述预设模板图片中对应的可变形关键点
进行匹配，以确定若干可变形配准区域；根据所述若干非变形配准位置和所述若干可变形
配准区域对所述产品图片进行图像变换，获得所述印制电路板的缺陷配准图像。由于本实
施例是通过将产品图片中的非变形关键点与模板图片中非变形关键点匹配获得若干非变
形配准位置，将产品图片中的可变形关键点与模板图片中的可变形关键点匹配获得若干可
变形配准区域，根据若干非变形配准位置和若干可变形配准区域对产品图片进行图像变
换，获得印制电路板的缺陷配准图像，将非变形关键点和可变形关键点分开匹配，降低了干
扰因素的影响，提高了缺陷配准图像的准确度。

[0113] 基于本发明上述印制电路板缺陷图像配准装置第一实施例，提出本发明印制电路板缺陷图像配准装置的第二实施例。

[0114] 在本实施例中，所述可变形关键点匹配模块30，还用于遍历若干可变形关键点，并根据遍历到的当前可变形关键点的关键点类型确定目标预设卷积神经网络模型；根据所述
当前可变形关键点从所述预设模板图中裁取模板图像块；根据所述当前可变形关键点从所
述产品图片中裁取产品图像块，所述产品图像块的尺寸大于所述模板图像块的尺寸；将所
述模板图像块和所述产品图像块输入所述目标预设卷积神经网络模型，获得所述当前可变
形关键点对应的可变形配准区域；在遍历结束时，获得各可变形关键点对应的可变形配准
区域。

[0115] 所述可变形关键点匹配模块30，还用于根据所述模板图像块的尺寸对所述产品图像块进行采样，获得与所述模板图像块的尺寸相同的若干子产品图像块；在将所述模板图
像块输入所述目标预设卷积神经网络模型之后，依次将所述若干子产品图像块输入所述目
标预设卷积神经网络模型；获取所述目标预设卷积神经网络模型输出的各子产品图像块对
应的匹配概率值；根据各子产品图像块对应的匹配概率值确定所述当前可变形关键点的可
变形配准区域。

[0116] 所述可变形关键点匹配模块30，还用于判断匹配概率值是否大于预设值；在匹配概率值大于预设值时，根据所述匹配概率值对应的子产品图像块确定所述目标可变形关键
点对应的可变形配准区域。

[0117] 所述获取模块10，还用于通过预设Harris角点检测算法在印制电路板的预设模板图片上提取角点；通过预设规则在所述预设模板图片上提取特征点；对所述角点和所述特
征点进行去重，并将去重后的角点和特征点设定为关键点，所述关键点包括非变形关键点
和可变形关键点。

[0118] 所述获取模块10，还用于对印制电路板的预设模板图片进行分析，根据分析结果确定所述预设模板图片的可变形关键点的关键点类型；根据各可变形关键点从所述预设模
板图片上裁取对应的图像块；从所述印制电路板的产品图片上裁取与各关键点类型对应的
若干训练图像块；根据所述关键点类型将所述图像块和对应的训练图像块输入卷积神经网
络进行迭代训练，获得符合预设标准的各关键点类型对应的预设卷积神经网络模型。

[0119] 所述图像变换模块30，还用于根据所述预设模板图片的非变形关键点通过预设优化目标算法将对应的非变形配准位置优化，获得若干非变形变换位置；根据所述预设模板
图片的可变形关键点通过所述预设优化目标算法将对应的可变形配准区域优化，获得若干
可变形变换位置；根据所述若干非变形变换位置和所述若干可变形变换位置对所述产品图
片进行图像变换，获得所述印制电路板的缺陷配准图像。

[0120] 本发明印制电路板缺陷图像配准装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

[0121] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而
且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有
的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该
要素的过程、方法、物品或者系统中还存在另外的相同要素。

[0122] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

[0123] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下
前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质
（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备(可
以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

[0124] 以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技
术领域，均同理包括在本发明的专利保护范围内。