引线图像识别方法及识别装置以及图像处理用元件数据生成方法及生成装置

摘要

在对利用相机拍摄同一形状的引线以等间距排成一列或多列的元件所得到的图像进行处理而识别上述引线的情况下，沿着在图像的纵向、横向或斜向上设定的多条线对亮度(像素值)的变化图案进行波形分析，将亮度周期性地变化的区域确定为有可能存在上述引线的引线识别对象区域。之后，在引线识别对象区域内对引线进行图像识别。这样一来，即使在引线识别对象区域以外的区域存在容易与引线混淆的形状的金属部分等，也能够防止将该金属部分等误识别为引线，能够使引线的识别精度提高。

权利要求

1.一种引线图像识别方法，对利用相机拍摄同一形状的引线以等间距排成一列或多列的元件所得到的图像进行处理而识别所述引线，所述引线图像识别方法的特征在于，包括：

波形分析处理，沿着在所述图像的纵向、横向或斜向上设定的多条线对亮度的变化图案进行波形分析，将亮度周期性地变化的区域确定为有可能存在所述引线的引线识别对象区域；及图像识别处理，在通过所述波形分析处理确定的所述引线识别对象区域内对所述引线进行图像识别，在所述图像识别处理中，基于根据所述亮度的变化图案的周期性检测出的所述引线的间距、所述引线识别对象区域的平均投影亮度及标准偏差来取得所述引线的列的开始和结束的坐标。

2.根据权利要求1所述的引线图像识别方法，其特征在于，在所述波形分析处理中，使用归一化平方差函数、平均幅度差函数、傅里叶变换中的任一种来确定所述引线识别对象区域。

3.根据权利要求1所述的引线图像识别方法，其特征在于，所述图像识别处理中，使用利用了AdaBoost和Haar-Like特征的检测器来对所述引线进行图像识别。

4.根据权利要求2所述的引线图像识别方法，其特征在于，所述图像识别处理中，使用利用了AdaBoost和Haar-Like特征的检测器来对所述引线进行图像识别。

5.根据权利要求1至4中任一项所述的引线图像识别方法，其特征在于，所述波形分析处理中包含以下的处理：对沿着所述线利用平均幅度差函数计算出的波形进行微分，并对此取得归一化平方差函数。

6.一种引线图像识别装置，对利用相机拍摄同一形状的引线以等间距排成一列或多列的元件所得到的图像进行处理而识别所述引线，所述引线图像识别装置的特征在于，包括：

波形分析单元，沿着在所述图像的纵向、横向或斜向上设定的多条线对亮度的变化图案进行波形分析，将亮度周期性地变化的区域确定为有可能存在所述引线的引线识别对象区域；及图像识别单元，在通过所述波形分析单元确定的所述引线识别对象区域内对所述引线进行图像识别，所述图像识别单元基于根据所述亮度的变化图案的周期性检测出的所述引线的间距、所述引线识别对象区域的平均投影亮度及标准偏差来取得所述引线的列的开始和结束的坐标。

7.根据权利要求6所述的引线图像识别装置，其特征在于，所述波形分析单元使用归一化平方差函数、平均幅度差函数、傅里叶变换中的任一种来确定所述引线识别对象区域。

8.一种图像处理用元件数据生成方法，生成在对由元件安装机安装的带引线的元件进行图像识别时使用的图像处理用元件数据，所述图像处理用元件数据生成方法的特征在于，

使用通过权利要求1至5中任一项所述的引线图像识别方法进行图像识别所得到的引线的识别结果，生成包括引线位置、引线根数、引线间隔、引线宽度、引线长度中的至少一个数据在内的图像处理用元件数据。

9.一种图像处理用元件数据生成装置，生成在对由元件安装机安装的带引线的元件进行图像识别时使用的图像处理用元件数据，所述图像处理用元件数据生成装置的特征在于，

使用由权利要求6或7所述的引线图像识别装置进行图像识别所得到的引线的识别结果，生成包括引线位置、引线根数、引线间隔、引线宽度、引线长度中的至少一个数据在内的图像处理用元件数据。

说明书

引线图像识别方法及识别装置以及图像处理用元件数据生成

方法及生成装置

技术领域

[0001] 本发明是涉及对利用相机拍摄带引线的元件所得到的图像进行处理而识别引线的引线图像识别方法、引线图像识别装置、图像处理用元件数据生成方法及图像处理用元件数据生成装置的发明。

背景技术

[0002] 近年来，如专利文献1(日本特开2011-211088号公报)记载的那样，开发了自动生成在对由元件安装机安装的带引线的元件进行图像识别时使用的图像处理用元件数据的技术。该图像处理用元件数据的自动生成方法中，事先利用相机对与生产中使用的带引线的元件相同规格的元件进行拍摄并进行图像处理，对该元件的形状数据(元件的主体部的尺寸、引线位置、引线根数、引线间隔、引线宽度、引线长度等)进行计测，生成包括该形状数据在内的图像处理用元件数据。并且，在开始生产后，利用相机对吸附于元件安装机的吸嘴的元件进行拍摄并对该元件的形状进行图像识别，将该识别结果与事先生成的图像处理用元件数据进行比较，判定吸附元件的品种、吸附位置、吸附姿势等。

[0003] 专利文献1：日本特开2011-211088号公报

发明内容

[0004] 发明要解决的技术课题

[0005] 通常的带引线的元件为多条引线以等间距(等间隔)排列在两条边或四条边且不存在容易与引线混淆的金属部分的简单的结构，因此即使利用以往的图像识别方法，如图2、图3所示，也能够从所拍摄到的图像中比较精度良好地识别引线，但近年来，存在容易与引线混淆的形状的金属部分等的复杂的结构的带引线的元件正在增加。例如，当利用以往的图像识别方法来识别图4所示的带引线的元件时，有时将所拍摄到的图像中显现的线圈的一部分误识别为引线。另外，当利用以往的图像识别方法来识别图5所示的带引线的连接器元件时，有时将所拍摄到的图像中显现的止动件误识别为引线。如此，在以往的图像识别方法中，在对存在容易与引线混淆的形状的金属部分等的带引线的元件进行图像识别时，有可能无法对容易与引线混淆的形状的金属部分等与引线进行区分，产生引线的误识别率变高的问题。

[0006] 在此，本发明要解决的课题在于，即使在对存在容易与引线混淆的形状的金属部分等的带引线的元件进行图像识别的情况下，也能够防止将容易与引线混淆的形状的金属部分等误识别为引线，能够使引线的识别精度提高。

[0007] 用于解决课题的手段

[0008] 为了解决上述课题，本发明中，在对利用相机拍摄同一形状的引线以等间距排成一列或多列的元件所得到的图像进行处理而识别上述引线的情况下，在沿着上述图像的纵向、横向或斜向上设定的多条线对亮度(像素值)的变化图案进行波形分析而将亮度周期性地变化的区域确定为有可能存在上述引线的引线识别对象区域之后，在该引线识别对象区域内对上述引线进行图像识别。

[0009] 通常，带引线的元件中同一形状的引线以等间距排成一列或多列，因此沿着与拍摄该元件所得到的图像内的引线的列重叠的线的亮度的变化图案成为将与引线的间距相当的长度作为1个波长的周期性的波形图案，但沿着不与引线的列重叠的线的亮度的变化图案不成为周期性的波形图案。

[0010] 着眼于这一点，本发明在沿着图像的多条线对亮度的变化图案进行波形分析而将亮度周期性地变化的区域确定为有可能存在引线的引线识别对象区域之后，在该引线识别对象区域内对引线进行图像识别。这样一来，即使在引线识别对象区域以外的区域存在容易与引线混淆的形状的金属部分等，也能够防止将该金属部分等误识别为引线，能够使引线的识别精度提高。

[0011] 在该情况下，波形分析使用归一化平方差函数、平均幅度差函数、傅里叶变换中的任一种而进行即可，总之进行使用适合评价亮度变化的周期性的函数、分析方法来确定引线识别对象区域的波形分析即可。

[0012] 另外，在生成对由元件安装机安装的带引线的元件进行图像识别时使用的图像处理用元件数据的情况下，使用通过上述的本发明的引线图像识别方法进行图像识别所得到的引线的识别结果，生成包括引线位置、引线根数、引线间隔、引线宽度、引线长度中的至少一个数据在内的图像处理用元件数据即可。如上所述，若使用本发明的引线图像识别方法，则能够防止将容易与引线混淆的形状的金属部分等误识别为引线，因此能够自动生成可靠度比以往高的图像处理用元件数据。

附图说明

[0013] 图1是表示本发明的一实施例的图像处理用元件数据生成装置的结构的框图。

[0014] 图2是表示对在两条边形成有引线的列的元件进行拍摄所得到的图像的一例的图。

[0015] 图3是表示对在四条边形成有引线的列的元件进行拍摄所得到的图像的一例的图。

[0016] 图4是表示对设有引线的列和线圈的元件进行拍摄所得到的图像的一例的图。

[0017] 图5是表示对带引线的连接器元件进行拍摄所得到的图像的一例的图。

[0018] 图6是说明对拍摄带引线的元件所得到的图像设定波形分析线的方法的图。

[0019] 图7是表示利用平均幅度差函数对沿着各线L1、L2的亮度的变化图案进行计算所得到的波形的图。

[0020] 图8是表示对沿着各线L1、L2利用平均幅度差函数计算出的波形进行微分所得到的波形的图。

[0021] 图9是表示沿着各线L1、L2利用归一化平方差函数计算出的波形的图。

[0022] 图10是说明提取存在周期性的线的处理的图。

[0023] 图11是表示图10所示的(A)区域的平均投影亮度和标准偏差的坐标图。

[0024] 图12(a)、(b)是表示将本实施例的引线图像识别方法与以往的引线图像识别方法的引线的识别率、误识别率进行比较的实验结果的图。

具体实施方式

[0025] 以下，说明将用于实施本发明的形态具体化的一实施例。

[0026] 如图1所示，图像处理用元件数据生成装置构成为具备：个人计算机等计算机11；内置对作为图像处理用元件数据的生成对象的元件进行拍摄而取得灰度图像的CMOS传感器等图像传感器的相机12；键盘、鼠标、触摸屏等输入装置13；液晶显示器、CRT等显示装置
14；及存储用于后述的引线图像识别和图像处理用元件数据生成的程序、各种数据等的存储装置15。

[0027] 图像处理用元件数据生成装置可以利用元件安装机的控制系统而构成，或者也可以使用与元件安装机的控制系统另行构成的专用的图像处理用元件数据生成装置(例如组合台式摄像装置和个人计算机)。在利用元件安装机的控制系统而构成图像处理用元件数据生成装置的情况下，相机12使用从吸附于元件安装机的吸嘴的元件的下方对该元件进行拍摄的相机(所谓的零件相机)即可。

[0028] 计算机11作为波形分析单元发挥功能，并且作为图像识别单元发挥功能，而且还作为图像处理用元件数据生成单元发挥功能，其中，该波形分析单元沿着在由相机12拍摄到的图像的纵向、横向(上下左右)方向上设定的多条线对亮度(像素值)的变化图案进行波形分析而将亮度周期性地变化的区域确定为有可能存在引线的引线识别对象区域，该图像识别单元在通过上述波形分析处理确定的引线识别对象区域内对引线进行图像识别，该图像处理用元件数据生成单元使用进行图像识别所得到的引线的识别结果而生成包括引线位置、引线根数、引线间隔、引线宽度、引线长度中的至少一个数据在内的图像处理用元件数据。以下，对这些功能进行说明。

[0029] 通常，带引线的元件中同一形状的引线以等间距排成一列或多列，如图6所示，沿着与拍摄该元件所得到的图像内的引线的列重叠的线L1的亮度的变化图案成为将与引线的间距相当的长度作为1个波长的周期性的波形图案，但沿着不与引线的列重叠的线L2的亮度的变化图案不成为周期性的波形图案。

[0030] 着眼于这一点，在本实施例中，通过计算机11，在沿着拍摄带引线的元件所得到的图像的多条线对亮度的变化图案进行波形分析而将亮度周期性地变化的区域确定为有可能存在引线的引线识别对象区域之后，在该引线识别对象区域内对引线进行图像识别。

[0031] 首先，说明波形分析处理。在本实施例中，说明使用平均幅度差函数或归一化平方差函数的波形分析处理。

[0032] [使用平均幅度差函数的波形分析处理]

[0033] 平均幅度差函数(AMDF：Average Magnitude Difference Function)是表示信号的周期性的强度的函数，在声音识别的领域中用作用于检测间距的方法之一。该平均幅度差函数由下述的[数学式1]的式子定义。

[0034] [数学式1]

[0035]

[0036] 在上述[数学式1]的式子中，D(τ)是滞后τ下的平均幅度差函数，W是进行波形分析的窗口的尺寸，x是图像的X坐标(在作为水平方向的X方向上进行分析的情况)。

[0037] 通过上述[数学式1]的式子计算出的D(τ)的值越大，意味着亮度的变化图案的周期性越强。

[0038] [使用归一化平方差函数的波形分析处理]

[0039] 归一化平方差函数(NSDF：Normalized Square Difference Function)由下述的[数学式2]的式子定义。

[0040] [数学式2]

[0041]

[0042] 在上述[数学式2]的式子中，n'(τ)是滞后τ下的归一化平方差函数，m'(τ)是由后述的[数学式8]的式子定义的函数，r'(τ)是由后述的[数学式4]的式子定义的自相关函数(ACF：Autocorrelation Function)。

[0043] 通过上述[数学式2]的式子计算出的归一化平方差函数n'(τ)的值越大，意味着亮度的变化图案的周期性越强。

[0044] 自相关函数主要有两种，当将这些分类为类型1和类型2时，类型1的自相关函数由下述的[数学式3]的式子定义。

[0045] [数学式3]

[0046]

[0047] 在上述[数学式3]的式子中，r(τ)为滞后τ下的自相关函数，W为进行波形分析的窗口的尺寸的初始值。

[0048] 类型2的自相关函数由下述的[数学式4]的式子定义。

[0049] [数学式4]

[0050]

[0051] 由上述[数学式4]的式子定义的类型2的自相关函数r'(τ)具有随着τ增加而积分范围减小的特征。

[0052] 上述[数学式2]的式子的右边包含的m'(τ)利用平方差函数(SDF：Square Difference Function)求算。该平方差函数也与自相关函数同样地有两种，当将这些分类为类型1和类型2时，类型1的平方差函数由下述的[数学式5]的式子定义。

[0053] [数学式5]

[0054]

[0055] 在上述[数学式5]的式子中，d(τ)是滞后τ下的类型1的平方差函数，W是窗口的尺寸的初始值。

[0056] 同样地，类型2的平方差函数由下述的[数学式6]的式子定义。

[0057] [数学式6]

[0058]

[0059] 在上述[数学式6]的式子中，d'(τ)是滞后τ下的类型2的平方差函数，与前述的类型2的自相关函数r'(τ)同样地，示出随着τ增加而积分范围减小。在类型1和类型2中的任一平方差函数中，在τ＝0时取最小值，相对于此，在自相关函数中，在τ＝0时取最大值。

[0060] 当展开上述[数学式5]的式子时，如下述的[数学式7]的式子所示，在平方差函数的式子中，可知包括自相关函数的式子。

[0061] [数学式7]

[0062]

[0063] 在此，由下述的[数学式8]的式子定义m'(τ)的式子。

[0064] [数学式8]

[0065]

[0066] 当向上述[数学式7]的式子的右边代入[数学式8]的式子和[数学式4]的式子时，导出下述的式子。

[0067] d'(τ)＝m'(τ)-2r'(τ)

[0068] 接着，说明使用归一化平方差函数来确定引线识别对象区域的方法。通常，带引线的元件中大多同一形状的引线以等间距沿水平方向或垂直方向排列。考虑这一点，在本实施例中，将拍摄带引线的元件所得到的图像的垂直/水平方向(纵向/横向)上的亮度的变化图案理解为信号的波形，首先，对应图像的各线的每条线计算归一化平方差函数的值。以下，为了简化说明，对如图6所示在拍摄带引线的元件所得到的图像的水平方向上设定多个波形分析线L1、L2并对水平方向的亮度的变化图案进行波形分析的情况进行说明。

[0069] 在图6中，线L1是与图像显现的引线的列重叠的线，线L2是不与图像内的引线的列重叠的线。图7表示利用平均幅度差函数对沿着各线L1、L2的亮度的变化图案进行计算所得到的波形。图8表示对沿着各线L1、L2利用平均幅度差函数计算出的波形进行微分所得到的波形。图9表示沿着各线L1、L2利用归一化平方差函数计算出的波形。

[0070] 平均幅度差函数由于取使波形错开时的差的绝对值，因此其值始终成为正(参见图7)。相对于此，归一化平方差函数由于负相关不成为负值，因此情况较差。因此，在本实施例中，对沿着各线L1、L2利用平均幅度差函数计算出的波形(参见图7)进行微分(参见图8)，对此，通过取得归一化平方差函数来判定正相关高的部位(参见图9)。

[0071] 能够观察到，与引线的列重叠的线L1中的平均幅度差函数具有某种周期性，但在不与引线的列重叠的线L2中不具有周期性。该对平均幅度差函数的波形进行微分所得到的波形示于图8。在该微分波形中，显然也能够确认与引线的列重叠的线L1的波形的周期性。对该微分波形得到归一化平方差函数的结果为图9所示的结果。在与引线的列重叠的线L1中，可知在第一间距处得到相关性非常高的峰值。如上所述，能够确定亮度周期性地变化的线，但还无法确定引线的列的开始的X坐标、结束的X坐标。以下，说明获得引线的列的开始、结束的X坐标的方法。

[0072] 首先，对于通过上述波形分析判定为存在周期性的区域，进行向X方向(水平方向)的亮度的投影。平均投影亮度T(x)由下述的[数学式9]的式子表示。

[0073] [数学式9]

[0074]

[0075] 在上述[数学式9]的式子中，I(x，y)是坐标(x，y)中的图像的亮度，y1、y2分别是判定为连续地存在周期性的区域的开始及结束的Y坐标。该区域是已判断为存在周期性且也能够检测间距的区域，因此当取得以检测出的间距进行投影的波形数据的标准偏差S(x)时，在存在引线的列的区域中标准偏差S(x)较高，在不是那样的区域中，标准偏差S(x)较低。该标准偏差S(x)由下述的[数学式10]的式子定义。

[0076] [数学式10]

[0077]

[0078] 在上述[数学式10]的式子中，p是检测出的间距，Tav(x)是间距p的区间平均投影亮度。Tav(x)由下述的[数学式11]的式子定义。

[0079] [数学式11]

[0080]

[0081] 图11是表示图10所示的(A)的区域的平均投影亮度和标准偏差的坐标图。通过仅提取标准偏差高的区域，能够取得引线的列的开始及结束的坐标x1、x2。

[0082] 在图2所示的带引线的元件中，引线仅沿元件的左右方向(X方向)延伸，因此上述的波形分析处理仅沿左右方向(X方向)进行即可，但在图3所示的带引线的元件中，引线沿元件的上下左右方向(X方向及Y方向)延伸，因此对图像的纵横两方向(X方向及Y方向)进行同样的处理，分别提取垂直方向(Y方向)的引线的列存在的区域和水平方向(X方向)的引线的列存在的区域。

[0083] 如上所述，在将拍摄带引线的元件所得到的图像内的亮度周期性地变化的区域确定为有可能存在引线的引线识别对象区域之后，在该引线识别对象区域内对引线进行图像识别。此时，引线的图像识别使用利用了在人脸检测中常用的AdaBoost和Haar-Like特征的检测器。除此之外，也可以使用利用了HOG(Histogram of Oriented Gridients：方向梯度直方图)特征的图像识别，但由于引线前端具有比亮度梯度的特征更基于区域的亮度差的特征，因此在使用了HOG特征的图像识别中，与使用了Haar-Like特征的方法相比，存在引线的识别率低的倾向。引线的图像识别不限定于这些方法，例如，也可以使用日本特开2007-142039号公报、日本专利第2941617号公报等记载的方法。

[0084] 对于从拍摄带引线的元件所得到的图像中确定引线识别对象区域而对引线进行图像识别的本实施例的方法和从图像整体对引线进行图像识别的以往方法，本发明人进行了比较引线的识别率、误识别率的实验，因此将其结果示于图12。在此，引线的识别率是指能够准确地识别的引线根数相对于元件整体的总计引线根数的比例，引线的误识别率是指将并非引线的结构错误地识别为引线的比例。实验中使用的图像样品使用了图4、图5所示的存在容易与引线混淆的形状的金属部分等的带引线的元件的图像样品。

[0085] 本实施例的引线的识别率虽然与以往的引线的识别率存在的差异并不大，但确认到误识别率能够从24.5％较大地削减为2.4％。另一方面，识别率从96.8％稍微降低为95.7％，但该原因认为是，在1个元件中存在1～2根程度这样的不具有周期性的引线，通过基于周期性进行区域确定而排除了这些引线。作为整体，1～2根程度的带引线的元件为简单形状的定形元件的情况较多，使用以往方法来对引线进行图像识别即可。

[0086] 使用本实施例的引线的识别结果，对引线位置、引线根数、引线间隔、引线宽度、引线长度进行计测，生成包括这些数据中的至少一个数据在内的图像处理用元件数据。

[0087] 在以上说明的本实施例中，沿着图像的多条线对亮度的变化图案进行波形分析而将亮度周期性地变化的区域确定为有可能存在引线的引线识别对象区域之后，在该引线识别对象区域内对引线进行图像识别，因此即使在引线识别对象区域以外的区域存在容易与引线混淆的形状的金属部分等，也能够防止将该金属部分等误识别为引线，能够使引线的识别精度提高。

[0088] 而且，使用本实施例的引线的识别结果来生成图像处理用元件数据，因此能够防止将容易与引线混淆的形状的金属部分等误识别为引线而自动生成图像处理用元件数据，能够自动生成可靠度比以往高的图像处理用元件数据。

[0089] 此外，作为引线的列沿斜向显现于图像的情况的对策，也可以将进行周期性的波形分析的线设定为图像的倾斜方向(例如，图像的对角方向或从水平方向倾斜45°的方向)。

[0090] 另外，沿着线的周期性的波形分析不限定于使用归一化平方差函数、平均幅度差函数的分析，也可以使用傅里叶变换等，总之使用适合评价亮度变化的周期性的函数、分析方法来确定引线识别对象区域即可。

[0091] 附图标记说明

[0092] 11…计算机(波形分析单元、图像识别单元、图像处理用元件数据生成单元)、12…相机。