形状基础匹配参数的调整装置、调整方法及部件安装装置转让专利

申请号 : CN201110288632.9

文献号 : CN102421279B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 山田和范

申请人 : JUKI株式会社

摘要 :

本发明提供一种形状基础匹配参数的调整装置、形状基础匹配参数的调整方法以及部件安装装置,其用于与形状基础匹配处理中的精度、处理时间、和可靠性等的特性相对应,生成最优化的模板数据。在利用形状基础匹配处理进行电子部件(2)的搭载定位的部件安装装置中,取得检索评价图像,基于该检索评价图像,调整上述参数。此时,首先,设定参数以使得定位处理的精度满足用户指定的要求精度。然后,向定位处理的生产节拍缩短的方向使上述参数渐变,同时进行精度评价,将该精度确保要求精度的临界值作为最佳的参数而取得。该最佳参数取得处理,在部件批次的改变时,与需要相对应地进行。

权利要求 :

1.一种形状基础匹配参数的调整装置,其对在形状基础匹配处理中使用的参数进行调整,其特征在于,具有:指定单元,其指定形状基础匹配处理的要求精度以及要求生产节拍;

评价用图像取得单元,其将对于基准姿势施加了任意变化后的姿势的对象物的图像,作为所述参数的评价用图像而取得;以及参数调整单元,其基于由所述评价用图像取得单元取得的所述评价用图像,对所述参数进行调整,所述参数调整单元具有:

参数设定单元,其自动设定所述参数,以使得形状基础匹配处理的精度满足由所述指定单元指定的所述要求精度;以及参数更新单元,其在利用由所述参数设定单元自动设定的所述参数对所述评价用图像进行形状基础匹配处理的结果是生产节拍没有满足由所述指定单元指定的所述要求生产节拍时,一边使由所述参数设定单元设定的所述参数向所述生产节拍缩短的方向渐变,一边对形状基础匹配处理的精度进行评价,将所述参数更新为所述精度能够确保所述要求精度的临界参数值,该形状基础匹配参数的调整装置具有:

拍摄单元,其对所述对象物进行拍摄;以及

模板图像取得单元,其利用所述拍摄单元对基准姿势的所述对象物进行拍摄,并将拍摄到的所述对象物的图像作为模板图像而取得,所述评价用图像取得单元利用所述拍摄单元,对针对于基准姿势施加了任意变化的姿势的所述对象物进行多次拍摄,将拍摄到的多个图像作为所述评价用图像而取得,所述参数设定单元具有:提取单元,其从由所述评价用图像取得单元取得的同一拍摄条件下的多个评价用图像中,提取出相对的边缘变化量最大的2张评价用图像;

不稳定边缘提取单元,其提取出由所述提取单元提取出的2张评价用图像的边缘一致度比规定的判定阈值低的不稳定边缘;以及参数渐变单元,其一边使所述参数向将与由所述不稳定边缘提取单元提取出的不稳定边缘相对应的边缘部位从形状基础匹配处理的对象中去除的方向渐变,一边对形状基础匹配处理的精度进行评价,将该精度满足所述要求精度的参数值确定为所述参数。

2.根据权利要求1所述的形状基础匹配参数的调整装置,其特征在于,所述参数包含:模板参数,其在利用所述模板图像生成由所述对象物的边缘点的坐标和边缘斜度矢量而构成的模板数据时使用;以及检索用参数,其在基于所述模板数据从检索对象图像中检测所述对象物时使用,所述参数渐变单元,向将与由所述不稳定边缘提取单元提取出的不稳定边缘相对应的边缘部位从所述模板数据中去除的方向,使所述模板参数渐变。

3.根据权利要求1所述的形状基础匹配参数的调整装置,其特征在于,所述参数包含:模板参数,其在利用所述模板图像生成由所述对象物的边缘点的坐标和边缘斜度矢量而构成的模板数据时使用;以及检索用参数,其在基于所述模板数据从检索对象图像中检测所述对象物时使用,所述参数渐变单元,向难以将与由所述不稳定边缘提取单元提取出的不稳定边缘相对应的边缘部位从所述检索对象图像中检测出的方向,使所述检索用参数渐变。

4.根据权利要求2所述的形状基础匹配参数的调整装置,其特征在于,所述参数包含:模板参数,其在利用所述模板图像生成由所述对象物的边缘点的坐标和边缘斜度矢量而构成的模板数据时使用;以及检索用参数,其在基于所述模板数据从检索对象图像中检测所述对象物时使用,所述参数渐变单元,向难以将与由所述不稳定边缘提取单元提取出的不稳定边缘相对应的边缘部位从所述检索对象图像中检测出的方向,使所述检索用参数渐变。

5.根据权利要求1至4中任一项所述的形状基础匹配参数的调整装置,其特征在于,形状基础匹配处理的精度利用重复精度进行评价,该重复精度是对针对所述多个评价用图像进行了形状基础匹配处理的结果进行统计处理而得到的。

6.根据权利要求1至4中任一项所述的形状基础匹配参数的调整装置,其特征在于,所述形状基础匹配处理,对于针对检索对象图像进行边缘检测处理的结果进行粗检索处理,基于该粗检索处理的结果,进行精检索处理,所述参数更新单元,一边向所述边缘检测处理、所述粗检索处理以及所述精检索处理的生产节拍分别缩短的方向,使在该各处理中使用的所述参数渐变,一边对形状基础匹配处理的精度进行评价,将所述参数更新为该精度能够确保所述要求精度的临界参数值。

7.根据权利要求5所述的形状基础匹配参数的调整装置,其特征在于,所述形状基础匹配处理,对于针对检索对象图像进行边缘检测处理的结果进行粗检索处理,基于该粗检索处理的结果,进行精检索处理,所述参数更新单元,一边向所述边缘检测处理、所述粗检索处理以及所述精检索处理的生产节拍分别缩短的方向,使在该各处理中使用的所述参数渐变,一边对形状基础匹配处理的精度进行评价,将所述参数更新为该精度能够确保所述要求精度的临界参数值。

8.一种部件安装装置,其利用吸附嘴吸附电子部件,向基板上的规定位置安装该电子部件,其特征在于,具有:在所述权利要求1至7中任一项所述的形状基础匹配参数的调整装置;

存储单元,其存储在形状基础匹配处理中使用的参数;

检索对象图像取得单元,其对由所述吸附嘴吸附的电子部件的图像进行拍摄,将拍摄到的所述图像作为检索对象图像而取得;

定位单元,其针对由所述检索对象图像取得单元取得的检索对象图像,利用在所述存储单元中存储的参数,进行形状基础匹配处理,进行所述电子部件的搭载定位;

检测单元,其对部件批次的改变进行检测;以及

判断单元,其在由所述检测单元检测出所述部件批次的改变时,判断是否需要对在所述存储单元中存储的参数进行调整,在由所述判断单元判断为需要对所述参数进行调整时,利用所述形状基础匹配参数的调整装置进行所述参数的调整。

说明书 :

形状基础匹配参数的调整装置、调整方法及部件安装装置

技术领域

[0001] 本发明涉及一种在对边缘斜度等形状信息进行比较,从检索对象图像中找出对象物的形状基础匹配中使用的参数的调整装置、该参数的调整方法、以及利用形状基础匹配进行搭载部件的定位的部件安装装置。

背景技术

[0002] 作为利用预先生成的模板数据,找出存在于检索对象图像内的对象物的方法,存在一种对边缘斜度等形状信息进行比较的形状基础匹配方法。在该形状基础匹配方法中,边缘判定用的参数设定非常重要。根据该参数设定的不同,检测出的边缘线的形状会细微地变化,对匹配处理以及利用该处理的位置检测处理中的位置检测精度、处理时间、和可靠性等特性产生影响。
[0003] 这些特性,针对每个对象物而要求特性和调整程度均不同,对于上述的细微的参数调整,当前,用户必须与使用环境相对应而进行调整。在现有装置中,针对边缘检测所涉及的参数,例如最小浓度值、最小边缘强度、滤波尺寸等,设置数值输入功能,或者设置有将边缘的有效/无效利用窗口包围而指定等用户可以利用对话形式进行调整的结构。
[0004] 另外,也存在下述方法,即,执行与进行位置检测处理时的处理性能相关的评价,将评价值最高的模板候补确定为实际的模板等,自动生成模板数据(例如,参照专利文献1)。
[0005] 专利文献1:日本国专利第4470503号公报

发明内容

[0006] 但是,在用户进行如上所述的细微的参数调整的情况下,如果对于位置检测处理的算法和特性不具备经验,则无法适当地设定,存在无法最大限度地发挥性能的问题。另外,也存在下述要求,即,期望在与用途相对应的期望的精度和处理速度下,要极其细致地对形状基础匹配处理进行调整,但在现有装置中难以实现上述要求。
[0007] 另外,在部件安装装置中,在进行使用了形状基础匹配处理的位置检测处理而进行搭载部件的定位的情况下,由于部件批次的改变而导致的部件的材质和颜色等变化,或者由于制造误差而导致的细微的大小变化等,与示教时的模板数据产生差异,因此,有时细微地发生定位精度恶化或者生产节拍延迟等问题。对于没有成为上述误差级别的恶化,如果不仔细观察则无法检测出,难以判断参数再次调整的定时。
[0008] 因此,本发明的课题在于,提供一种形状基础匹配参数的调整装置、形状基础匹配参数的调整方法以及部件安装装置,其用于与形状基础匹配处理中的精度、处理时间、和可靠性等特性相对应,生成最优化的模板数据。
[0009] 为了解决上述课题,技术方案1所涉及的形状基础匹配参数的调整装置,其对在形状基础匹配处理中使用的参数进行调整,其特征在于,具有:指定单元,其指定形状基础匹配处理的要求精度以及要求生产节拍;评价用图像取得单元,其将对于基准姿势施加了任意变化后的姿势的对象物的图像,作为所述参数的评价用图像而取得;以及参数调整单元,其基于由所述评价用图像取得单元取得的所述评价用图像,对所述参数进行调整,所述参数调整单元具有:参数设定单元,其自动设定所述参数,以使得形状基础匹配处理的精度满足由所述指定单元指定的所述要求精度;以及参数更新单元,其在利用由所述参数设定单元自动设定的所述参数对所述评价用图像进行形状基础匹配处理的结果是生产节拍没有满足由所述指定单元指定的所述要求生产节拍时,一边使由所述参数设定单元设定的所述参数向所述生产节拍缩短的方向渐变,一边对形状基础匹配处理的精度进行评价,将所述参数更新为所述精度能够确保所述要求精度的临界参数值。
[0010] 由此,可以自动地设定满足要求精度以及要求生产节拍的形状基础匹配处理中使用的最佳的参数。另外,在不满足要求精度以及要求生产节拍时,可以自动地设定仅满足要求精度的最佳的生产节拍的参数。因此,即使用户对于形状基础匹配处理的算法等不具备经验,也可以适当地进行模板参数的调整,可以进行最佳的模板数据的生成以及检索用参数的设定。另外,用户可以指定要求精度以及要求生产节拍,因此,可以进行与用途相对应的极其细微的参数调整。
[0011] 另外,技术方案2所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案1所涉及的发明中,具有:拍摄单元,其对所述对象物进行拍摄;以及模板图像取得单元,其利用所述拍摄单元对基准姿势的所述对象物进行拍摄,并将拍摄到的所述对象物的图像作为模板图像而取得,所述评价用图像取得单元基于由所述模板图像取得单元取得的所述模板图像,生成对于该模板图像施加了任意的变化量的修正图像,并将所述修正图像作为所述评价用图像而取得。
[0012] 如上所述,对于模板图像内部地施加变动而生成评价用图像,利用生成的评价用图像进行参数调整,因此,可以通过仅拍摄1张模板图像,进行参数调整。因此,可以应对存储拍摄图像的存储器的容量较少的系统、无法准备评价用的实际图像的系统。
[0013] 并且,技术方案3所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案2所涉及的发明中,所述参数设定单元具有:边缘区域提取单元,其提取出由所述模板图像取得单元取得的所述模板图像的边缘区域;以及边缘检测参数设定单元,其基于由所述边缘区域提取单元提取出的所述边缘区域中的边缘特性值的分布,将所述参数中的与边缘检测精度相关的参数,设定为预先设定的多个参数候补值中的可得到最好的边缘检测精度的值。
[0014] 如上所述,通过提取模板图像的边缘区域,测量对比度、边缘强度、边缘比例等的边缘特性值的分布,从而设定最佳的边缘检测参数。由此,以使对于形状基础匹配处理的精度产生较大影响的边缘检测精度成为良好的方式设定参数,可以可靠地进行满足要求精度的参数设定。
[0015] 另外,技术方案4所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案2所涉及的发明中,形状基础匹配处理的精度利用绝对精度进行评价,该绝对精度是以由所述评价用图像取得单元针对所述模板图像施加的所述变化量作为真值的。
[0016] 并且,技术方案5所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案3所涉及的发明中,形状基础匹配处理的精度利用绝对精度进行评价,该绝对精度是以由所述评价用图像取得单元针对所述模板图像施加的所述变化量作为真值的。
[0017] 如上所述,由于可以进行绝对精度评价,所以形状基础匹配处理的精度评价变得容易。
[0018] 另外,技术方案6所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案1所涉及的发明中,具有:拍摄单元,其对所述对象物进行拍摄;以及模板图像取得单元,其利用所述拍摄单元对基准姿势的所述对象物进行拍摄,并将拍摄到的所述对象物的图像作为模板图像而取得,所述评价用图像取得单元利用所述拍摄单元,对针对于基准姿势施加了任意的变化的姿势的所述对象物进行多次拍摄,将拍摄到的多个图像作为所述评价用图像而取得。
[0019] 如上所述,利用在表示实际的检索对象图像的变动范围的多个拍摄条件下的评价用图像,进行参数调整,因此,可以取得可靠性较高的参数。
[0020] 另外,技术方案7所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案6所涉及的发明中,所述参数设定单元具有:提取单元,其从由所述评价用图像取得单元取得的同一拍摄条件下的多个评价用图像中,提取出相对的边缘变化量最大的2张评价用图像;不稳定边缘提取单元,其提取出由所述提取单元提取出的2张评价用图像的边缘一致度比规定的判定阈值低的不稳定边缘;以及参数渐变单元,其一边使所述参数向将与由所述不稳定边缘提取单元提取出的不稳定边缘相对应的边缘部位从形状基础匹配处理的对象中去除的方向渐变,一边对形状基础匹配处理的精度进行评价,将该精度满足所述要求精度的参数值确定为所述参数。
[0021] 如上所述,对于对比度较弱的边缘等由于拍摄条件而边缘检测结果成为不稳定的部位,可以从形状基础匹配处理的对象中去除。因此,可以进行满足要求精度的最佳的参数设定。
[0022] 另外,技术方案8所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案7所涉及的发明中,所述参数包含:模板参数,其在利用所述模板图像,生成由所述对象物的边缘点的坐标和边缘斜度矢量而构成的模板数据时使用;以及检索用参数,其在基于所述模板数据,从检索对象图像中检测所述对象物时使用,所述参数渐变单元,向将与由所述不稳定边缘提取单元提取出的不稳定边缘相对应的边缘部位从所述模板数据中去除的方向,使所述模板参数渐变。
[0023] 如上所述,通过使模板参数中的最小边缘强度增大,或者使边缘比例值减少,从而在利用模板图像生成模板数据时,可以不将不稳定边缘提取出。因此,可以可靠地将不稳定边缘从形状基础匹配处理的对象中去除。
[0024] 另外,技术方案9所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案7所涉及的发明中,所述参数包含:模板参数,其在利用所述模板图像,生成由所述对象物的边缘点的坐标和边缘斜度矢量而构成的模板数据时使用;以及检索用参数,其在基于所述模板数据,从检索对象图像中检测所述对象物时使用,所述参数渐变单元,向难以将与由所述不稳定边缘提取单元提取出的不稳定边缘相对应的边缘部位从所述检索对象图像中检测出的方向,使所述检索用参数渐变。
[0025] 并且,技术方案10所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案8所涉及的发明中,所述参数包含:模板参数,其在利用所述模板图像,生成由所述对象物的边缘点的坐标和边缘斜度矢量而构成的模板数据时使用;以及检索用参数,其在基于所述模板数据,从检索对象图像中检测所述对象物时使用,所述参数渐变单元,向难以将与由所述不稳定边缘提取单元提取出的不稳定边缘相对应的边缘部位从所述检索对象图像中检测出的方向,使所述检索用参数渐变。
[0026] 如上所述,通过使检索用参数中的最小边缘强度减小,或者使边缘比例值增大,从而在利用检索对象图像提取边缘时,可以不将不稳定边缘提取出。由此,可以可靠地将不稳定边缘从形状基础匹配处理的对象中去除。
[0027] 并且,技术方案11所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案6至10中任一项所涉及的发明中,形状基础匹配处理的精度利用重复精度进行评价,该重复精度是对针对所述多个评价用图像进行了形状基础匹配处理的结果进行统计处理而得到的。
[0028] 如上所述,进行重复精度评价,因此可以进行可靠性较高的评价。
[0029] 另外,技术方案12所涉及的形状基础匹配参数的调整装置的特征在于,在技术方案1至11中任一项所涉及的发明中,所述形状基础匹配处理,对于针对检索对象图像进行边缘检测处理的结果进行粗检索处理,基于该粗检索处理的结果,进行精检索处理,所述参数更新单元,一边向所述边缘检测处理、所述粗检索处理以及所述精检索处理的生产节拍分别缩短的方向,使在该各处理中使用的所述参数渐变,一边对形状基础匹配处理的精度进行评价,将所述参数更新为该精度能够确保所述要求精度的临界参数值。
[0030] 如上所述,对形状基础匹配处理中的与各处理的生产节拍相关的参数分别进行调整,因此,可以进一步进行最佳的参数调整。
[0031] 并且,在技术方案13中所述的形状基础匹配参数的调整方法,其对在形状基础匹配处理中使用的参数进行调整,其特征在于,具有下述步骤:指定形状基础匹配处理的要求精度以及要求生产节拍;将对于基准姿势施加了任意变化后的姿势的对象物的图像,作为所述参数的评价用图像而取得;设定所述参数,以使得形状基础匹配处理的精度满足所述要求精度;使用设定的所述参数,针对所述评价用图像进行形状基础匹配处理,并测量生产节拍;以及在测量到的生产节拍没有满足所述要求生产节拍时,一边向该生产节拍缩短的方向使所述参数渐变,一边对形状基础匹配处理的精度进行评价,将所述参数更新为该精度能够确保所述要求精度的临界参数值。
[0032] 由此,可以自动地设定在形状基础匹配处理中使用的最佳的参数。因此,可以成为即使用户对于形状基础匹配处理的算法等不具备经验,也可以进行与用途相对应的极其细微的参数调整的形状基础匹配模板的调整方法。
[0033] 技术方案14中所述的部件安装装置,其利用吸附嘴吸附电子部件,向基板上的规定位置安装该电子部件,其特征在于,具有:
[0034] 在所述权利要求1至12中任一项所述的形状基础匹配参数的调整装置;存储单元,其存储在形状基础匹配处理中使用的参数;检索对象图像取得单元,其对由所述吸附嘴吸附的电子部件的图像进行拍摄,将拍摄到的所述图像作为检索对象图像而取得;定位单元,其针对由所述检索对象图像取得单元取得的检索对象图像,利用在所述存储单元中存储的参数,进行形状基础匹配处理,进行所述电子部件的搭载定位;检测单元,其对部件批次的改变进行检测;以及判断单元,其在由所述检测单元检测出所述部件批次的改变时,判断是否需要进行在所述存储单元中存储的参数的调整,在由所述判断单元判断为需要进行所述参数的调整时,利用所述形状基础匹配参数的调整装置进行所述参数的调整。
[0035] 由此,在生产中对部件批次改变的信息进行检测,判断是否进行参数调整,因此,可以在适当的定时进行参数的再次调整。由此,可以始终利用最佳的参数进行形状基础匹配处理(定位处理),可以进行适当的部件安装。
[0036] 发明的效果
[0037] 根据本发明,可以与形状基础匹配处理中的精度、生产节拍、可靠性等特性相对应,设定最优化的形状基础匹配参数。此时,与用户指定的要求精度以及要求生产节拍相对应,自动地调整参数,因此即使用户对于形状基础匹配处理的算法等不具备经验,也可以与用途相对应地进行极其细微的参数调整。
[0038] 另外,根据本发明所涉及的部件安装装置,检测部件批次的改变,对参数进行再次调整,因此,可以在适当的定时进行参数的再次调整。因此,可以防止在由于部件批次的改变而导致部件的材质和颜色等变化、或者由于制造误差而导致尺寸细微地变化等下,由于与示教时的模板数据产生差异而导致精度细微地恶化或者生产节拍延迟的情况。

附图说明

[0039] 图1是表示本发明中的部件安装装置的结构的框图。
[0040] 图2是表示图像处理装置12内的任务结构的图。
[0041] 图3是表示第1实施方式的最佳参数取得处理流程的流程图。
[0042] 图4是表示最小边缘强度设定处理流程的流程图。
[0043] 图5是表示第2实施方式的模板生成用图像拍摄处理流程的流程图。
[0044] 图6是表示第2实施方式的最佳参数取得处理流程的流程图。
[0045] 图7是表示精度参数调整处理流程的流程图。
[0046] 图8是说明不稳定边缘的提取方法的图。
[0047] 图9是表示生产节拍参数调整处理流程的流程图。
[0048] 图10是表示特征点上的平行移动矢量、放大缩小矢量以及旋转矢量的关系的图。

具体实施方式

[0049] 下面,基于附图,说明本发明的实施方式。
[0050] (第1实施方式)
[0051] (结构)
[0052] 图1是将本发明所涉及的形状基础匹配模板的调整装置使用在部件安装装置中的情况下的框图。
[0053] 图中,标号1为部件安装装置。该部件安装装置1具有:吸附嘴3,其吸附电子部件2;照明装置4,其向利用吸附嘴3的移动而向规定的拍摄位置移动的电子部件2照射光;以及标准照相机5a及高分辨率照相机5b,它们对配置在上述拍摄位置上的电子部件2进行拍摄。另外,部件安装装置1具有:设备控制装置11,其控制吸附嘴3和照明装置4的动作;以及图像处理装置12,其控制照相机5a、5b,并且对照相机5a、5b拍摄到的图像进行处理,对存在于拍摄图像内的对象物(电子部件2)进行位置检测(检索处理),进行电子部件
2的定位。在本实施方式中,在定位处理中使用形状基础匹配处理。
[0054] 设备控制装置11通常根据电子部件2的电极大小,选择进行拍摄的照相机5a或者5b,电子部件2由吸附嘴3吸附后,使吸附嘴3移动,以使电子部件2位于所选择的照相机的拍摄位置。并且,此时,为了可以利用所选择的照相机进行拍摄,设备控制装置11使照明装置4移动并使其亮灯。并且,设备控制装置11与所选择的照相机信道信息一起,向图像处理装置12发送指示定位处理的执行的命令。如果从图像处理装置12接收到相对于该命令发送信息的响应(定位处理结果),则设备控制装置11使吸附嘴3向规定的部件搭载位置移动,将电子部件2搭载在基板上。此时,基于从定位处理结果中得到的电子部件2的吸附位置偏离量以及吸附角度偏离量,决定部件搭载位置。
[0055] 另外,设备控制装置11具有在部件批次改变时向图像处理装置12通知该信息的功能。此时,设备控制装置11发送与在定位处理中使用的模板数据的调整有关的各种命令参数。作为命令参数,包括定位处理的要求精度和要求生产节拍。上述参数可经由与设备控制装置11连接的人机接口6,由操作员指定(指定单元)。
[0056] 图像处理装置12按照从设备控制装置11发送的命令,控制被指定的照相机5a或者5b,对电子部件2的图像进行拍摄,并针对拍摄到的图像进行各种处理。
[0057] 具体地说,图像处理装置12,在从设备控制装置11接收到执行定位处理的命令时,基于照相机信道信息,对照相机5a或者5b进行控制,对位于拍摄位置上的电子部件2进行拍摄(检索对象图像取得单元),针对拍摄图像进行定位处理,并将其结果向设备控制装置11反馈(定位单元)。另外,图像处理装置12在从设备控制装置11接收到生产开始的命令时,从生产开始至规定时间(例如,搭载规定数量的电子部件2的时间)以及每次定位处理时,进行下述处理,即,测量该定位处理的精度以及生产节拍,并将该重复精度以及生产节拍向后述的作业存储器24中保持。并且,图像处理装置12在从设备控制装置11接收到通知部件批次的改变的命令时,进行下述处理(最佳参数取得处理),即,对用于生成在定位处理中使用的模板数据的模板参数以及在检索处理中使用的检索用参数进行调整。
[0058] 图像处理装置12具有A/D变换部21、图像存储器22、运算部23、作业用存储器24、参数存储部25、控制部26、并行运算部27、接口28、以及D/A变换部29。
[0059] A/D变换部21对由照相机5a、5b拍摄到的图像数据进行A/D变换,并作为多值图像数据而向图像存储器22中进行存储。运算部23基于在图像存储器22中存储的图像数据,进行定位处理和最佳参数取得处理。作业用存储器24对由运算部23在处理中生成的处理数据进行存储。参数存储部25存储模板参数、模板数据以及检索用参数。控制部26控制照相机5a、5b。并行运算部27与运算部23中的处理并行地进行滤波运算等要求处理速度的处理。接口28在其与设备控制装置11之间进行信号的接收发送。D/A变换部29将在图像存储器22中存储的图像数据进行D/A变换,将由照相机5a、5b拍摄到的图像在显示器7中显示。
[0060] 图2是表示图像处理装置12内的任务结构的图。
[0061] 如本图2所示,图像处理装置12由命令解析任务12a、图像输入任务12b、识别执行任务12c以及模板调整任务12d构成。
[0062] 命令解析任务12a进行来自设备控制装置11的命令的接收、以及定位处理结果等的响应向设备控制装置11的发送。另外,不需要并行处理的命令的执行由命令解析任务12a进行。
[0063] 在从设备控制装置11接收到定位处理等要求高速的生产节拍的处理的执行命令的情况下,命令解析任务12a向图像输入任务12b、识别执行任务12c分别输出执行要求。因此,在由识别执行任务12a进行定位处理期间,可以由图像输入任务12b对下一个部件图像进行拍摄,可以与图像输入并行地进行定位处理。
[0064] 并且,命令解析任务12a在从设备控制装置11接收到部件批次的改变通知时,向模板调整任务12d输出执行要求,由后台处理进行最佳参数取得处理。
[0065] 下面,说明由图像处理装置12执行的最佳参数取得处理的整体流程。
[0066] 图像处理装置12在从设备控制装置11接收到通知部件批次的改变的命令的情况下,命令解析任务12a将模板调整任务12d起动(检测单元),测量定位处理的精度以及生产节拍,并与在作业用存储器24中保持的值进行比较。在这里,为了对定位处理的精度以及生产节拍进行评价,取得对电子部件2进行拍摄而得到的检索评价图像,针对检索评价图像,利用在该定时在参数存储部25中存储的模板数据以及检索用参数,进行定位处理,从而对精度以及生产节拍进行测量。
[0067] 并且,在测量到的定位处理的精度或者生产节拍相对于在作业用存储器24中保持的值超过某个容许范围而恶化的情况下,判断为必须进行模板数据的调整(最佳参数取得处理),命令解析任务12a将在作业用存储器24中设置的处理标记设为ON(判断单元)。此时,模板调整任务12d暂时成为休止状态。
[0068] 图像输入任务12b如果检测出上述处理标记设为ON,则使生产用的拍摄处理中断,对模板数据调整用的图像(模板图像)进行拍摄,并向图像存储器22中存储。
[0069] 如果通过图像输入任务12b对模板数据调整用的图像进行拍摄,则命令解析任务12a再次将模板调整任务12d起动,开始最佳参数取得处理。此时,模板调整任务12d的优先度,是与精度以及生产节拍的恶化程度相对应而确定的,在紧急度(恶化程度)较低的情况下,在空闲时间下进行处理等,尽可能不使生产效率下降。另一方面,在紧急度(恶化程度)较高的情况下,立刻进行模板的再次调整等,以不会使生产稳定性降低。
[0070] 如果最佳参数取得处理结束,则命令解析任务12a再次测量定位处理的精度以及生产节拍,将在作业用存储器24中保持的值更新,并且将处理标记设为OFF。此时,模板调整任务12d成为休止状态。
[0071] 下面,详细说明由图像处理装置12执行的最佳参数取得处理。
[0072] 图3是表示最佳参数取得处理流程的流程图。
[0073] 该最佳参数取得处理,是在图像输入任务12b检测出上述处理标记为ON的情况下开始执行的。在本实施方式中,是从1个模板图像中进行最佳参数的取得的(模板数据的调整)。
[0074] 首先,在步骤S1中,图像处理装置12对由设备控制装置11指定的照相机5a或者5b进行控制,对基准姿势的对象物(电子部件)2的图像进行拍摄。拍摄到的图像由A/D变换部21进行数字化,并作为模板图像数据而向图像存储器22中存储。
[0075] 然后在步骤S2中,图像处理装置12进行模板参数的初始设定,并将其向参数存储部25中存储,跳转至步骤S3。在本实施方式中,作为模板参数,使用最小浓度值(视为对象物的浓度值的最小值)、最小边缘强度(视为边缘的最小的边缘强度)、边缘比例(边缘斜度的宽度=滤波尺寸)、最大边缘点数(作为模板数据而登录的边缘的点数)。在这里,将各参数的初始值例如设定为最小浓度值=80,最小边缘强度=32、边缘比例=2,边缘点数=1024。
[0076] 在步骤S3中,图像处理装置12针对在图像存储器22中存储的模板图像数据,利用公知的判别分析法,求出将背景区域和对象物区域分离的阈值,将其作为最小浓度值而取得。
[0077] 然后,在步骤S4中,图像处理装置12利用在所述步骤S3中取得的最小浓度值,将模板图像数据二值化。并且,与边缘检测滤波尺寸相对应,进行膨胀处理,调整最小浓度值以使得边缘斜度区间成为对象物区域侧。并且,以调整后的最小浓度值对在参数存储部25中存储的初始值进行更新。
[0078] 然后,在步骤S5中,图像处理装置12针对在图像存储器22中存储的模板图像数据,进行滤波处理,并跳转至步骤S6。在这里,为了精确地得到最好的结果,在预先设定的边缘比例候补值中利用最大的边缘比例值(2.5),进行滤波处理。
[0079] 在步骤S6中,图像处理装置12利用在所述步骤S4中求出的二值化数据,针对在所述步骤S5中求出的滤波输出值,对于背景区域、对象物区域分别进行统计处理,求出各区域的浓度分布的平均值、分散值、最小值、最大值。并且,利用上述值,进行图4所示的处理,取得最小边缘强度MinPwr。
[0080] 如图4所示,首先在步骤S6a中,将最小边缘强度MinPwr设定为背景最大边缘强度a,并跳转至步骤S6b,对背景最大边缘强度a是否比对象物最小边缘强度b小进行判定。并且,在a<b的情况下,跳转至步骤S6c,将最终的最小边缘强度MinPwr设定为背景最大边缘强度a和对象物最小边缘强度b的平均值(a+b)/2,结束处理。
[0081] 另外,在步骤S6b中判断为a≥b的情况下,跳转至步骤S6d,对背景最大边缘强度a是否比对象物平均边缘强度c小进行判定。并且,在a<c的情况下,跳转至步骤S6e,在a≥c的情况下,将最小边缘强度MinPwr保持为在步骤S6a中设定的背景最大边缘强度a,直接结束处理。
[0082] 在步骤S6e中,基于下面公式,计算对象物最小边缘强度b,并跳转至步骤S6f。
[0083] b=c-d·k……(1)
[0084] 在这里,d为对象物分散值,k为校正系数。
[0085] 并且,在步骤S6f中,对背景最大边缘强度a是否比对象物最小边缘强度b小进行判定。并且,在a<b的情况下,跳转至步骤S6g,将最终的最小边缘强度MinPwr设定为背景最大边缘强度a和对象物最小边缘强度b的平均值(a+b)/2,结束处理。
[0086] 另一方面,在步骤S6f中判断为a≥b的情况下,将最小边缘强度MinPwr保持为在步骤S6a中设定的背景最大边缘强度a,直接结束处理。
[0087] 即,在这里,如果在背景最大边缘强度a和对象物最小边缘强度b之间设置阈值(最小边缘强度MinPwr),则可实现最佳的边缘检测,基于这样的思路,进行最小边缘强度取得处理。如上所述,在本实施方式中,提取模板图像的边缘区域,基于对比度、边缘强度、边缘比例等的边缘特性值的分布,设定最佳的边缘检测参数(最小边缘强度)。
[0088] 返回至图3,在步骤S7中,图像处理装置12利用在所述步骤S6中设置的最小边缘强度MinPwr,针对在所述步骤S5中求出的滤波输出值,进行阈值处理,检测边缘点。
[0089] 然后,在步骤S8中,图像处理装置12对边缘比例值的调整是否结束进行判定。在这里,针对在所述步骤S7中检测出的边缘点,利用预先设定的全部的边缘比例候补值,分别进行滤波运算,判定是否针对各滤波运算结果进行了评价(边缘评价)。将边缘比例候补值例如设为1、2、2.5。并且,在判断为全部的边缘评价没有结束的情况下,跳转至步骤S9,在判断为全部的边缘评价结束的情况下,跳转至后述的步骤S12。
[0090] 在步骤S9中,图像处理装置12将边缘比例值切换为没有进行滤波运算的小1级的值,跳转至步骤S10。另外,在初次时,将边缘比例值设为最大值(2.5),将其作为边缘比例基准值。
[0091] 在步骤S10中,图像处理装置12针对所述步骤S7检测出的边缘点,以由所述步骤S9设定的边缘比例值进行滤波运算。
[0092] 然后,在步骤S11中,图像处理装置12针对在所述步骤S10中进行的滤波运算结果(滤波输出值),进行边缘评价,并跳转至所述步骤S8。具体地说,在各边缘点处,对在所述步骤S10中的滤波输出值、和在边缘比例基准值下的滤波输出值进行比较,将滤波输出值较大(滤波的反应较强)者的边缘比例值,作为该边缘点的最佳的边缘比例值而选择。并且,将在最多的边缘点处选出的最佳的边缘比例值,作为模板参数,设为最佳的边缘比例值,并将其作为边缘比例基准值,并且将在参数存储部25中存储的边缘比例值更新为该值。另外,如果滤波尺寸(边缘比例)变大,则滤波输出值也变大,因此,以即使在不同的滤波尺寸下也可以比较大小关系的方式,将各个滤波尺寸的输出值正规化,进行边缘评价。
[0093] 根据以上的处理,完成与定位处理的精度相关的最佳的模板参数值的取得。即,在该定时,模板参数中的与边缘检测精度相关的参数(最小浓度值、最小边缘强度、边缘比例值),成为可在预先设定的参数候补值的范围内得到最好的边缘检测精度的值,成为满足操作员指定的要求精度的状态。
[0094] 因此,在以下的处理中,进行与生产节拍相关的最佳的模板参数值的取得。在这里,向使生产节拍缩短的方向变更模板参数(最大边缘点数),每次进行检索处理并对精度以及生产节拍进行评价。并且,使用将可以保持要求精度的临界生产节拍下的参数值作为最佳的参数值而取得的方法。
[0095] 在步骤S12中,图像处理装置12利用在该定时在参数存储部25中存储的模板参数值,生成模板数据,跳转至步骤S13。在这里,利用模板参数值,检测模板图像的边缘,生成由边缘点的坐标和边缘斜度矢量构成的一览表,并将其作为模板数据。此时,为了不超过最大边缘点数而进行拉长间隔处理,确定向模板数据中登录的边缘点。将生成的模板数据向参数存储部25中存储。
[0096] 在步骤S13中,图像处理装置12生成检索评价用的图像,并向图像存储器22中存储。在这里,针对在图像存储器22中存储的模板图像数据,生成施加了任意变化(平行移动、旋转、放大·缩小)的图像数据,并将其作为检索评价图像。另外,在这里施加的变化量,作为定位处理结果的真值,且作为定位处理的绝对精度评价值而使用。
[0097] 然后,在步骤S14中,图像处理装置12利用在所述步骤S12中生成的模板数据,针对在所述步骤S13中生成的检索评价图像进行检索处理。
[0098] 在这里,简单地说明检索处理流程。
[0099] 本实施方式中的检索处理,是利用金字塔形构造检索的图案匹配处理,基于在参数存储部25中存储的检索用参数,对存在于拍摄图像内的对象物的位置进行检测。作为检索用参数,使用最小浓度值、最小边缘强度、边缘比例值、金字塔形开始层。
[0100] 在金字塔形结构检索中,首先从检索对象图像开始,利用上述检索用参数检索边缘,将该图像以与金字塔形开始层相对应的压缩率进行压缩。然后对于压缩图像进行粗处理(粗检索),检测对象物存在的大致的坐标位置。然后,在检测出的坐标的附近,利用模板数据进行详细处理(精检索),进一步检测正确的位置。该精检索,是随着层级前进,将精度逐渐提高而进行的。如上所述,通过在进行粗检索并确定了大致位置后,基于该结果,在特定的范围内进行详细的检索,从而不必对于图像整体进行详细的检索,可以仅依次精确检查必要的部分,可以使总处理生产节拍缩短。
[0101] 即,在该步骤S14中,将在所述步骤S13中生成的检索评价图像作为上述检索对象图像,进行检索处理。在这里的检索处理中使用的检索用参数是基于在该定时取得的模板数据,利用下述规则而设定的。
[0102] (1)在模板用参数值为默认值的情况下,成为默认值。
[0103] (2)在不是默认值的情况下,比模板用参数宽松(例如,基于表1所示的各参数的候补值,向下1级)地设定。
[0104] (3)金字塔形开始层与对象物的外形大小相对应地设定。
[0105] 【表1】
[0106]项目 默认值 默认值以外
最小浓度 80 从50、80、100中选择
最小边缘强度 32 从16、32、64中选择
边缘比例值 2 从1、2、2.5中选择
金字塔形开始层 3 模板尺寸小于或等于64的情况下为0
[0107] 在步骤S15中,图像处理装置12根据所述步骤S14的检索处理结果,求出生产节拍以及精度(定位处理结果和真值(在所述步骤S13中施加的变化量)的偏离量),将它们作为基准值向作业存储器24中保持。
[0108] 下面,在步骤S16中,进行生产节拍调整处理是否结束的判定。在这里,在作业存储器24中保持的生产节拍达到要求生产节拍的情况下,生产节拍没有比上次值缩短的情况下、和在调整次数超过预先设定的规定次数的情况下,判断为生产节拍调整处理结束。并且,在判断为继续生产节拍调整处理的情况下,跳转至步骤S17,在判断为生产节拍调整处理结束的情况下,跳转至后述的步骤S23。
[0109] 在步骤S17中,图像处理装置12进行最大边缘点数的最优化。定位处理的生产节拍依赖于向模板数据中登录的边缘点的数量。因此,如果使该边缘点数减少,则可以缩短生产节拍。但是精度会恶化。
[0110] 在本实施方式中,通过将向模板数据中登录的边缘点数阶段性地减少,每次对定位处理的精度进行确认,从而取得在可保持要求精度的临界生产节拍下的边缘点数。并且,将该边缘点数作为最佳的边缘点数。在这里,边缘点数的减少,是以将边缘点在边缘线上均等配置的方式,利用拉长间隔处理进行的。即,通过将拉长间隔点数以1、2、3……的顺序增加,从而阶段性地减少边缘点数。
[0111] 在利用模板参数生成模板数据时,以不超过最大边缘点数的方式自动地进行拉长间隔处理,因此,通过将最大边缘点数减少,从而可以进行边缘点数的削减(拉长间隔点数的增加)。因此,在该步骤S17中,将最大边缘点数设定为比在参数存储部25中存储的值小规定值的值。
[0112] 然后,在步骤S18中,图像处理装置12利用在所述步骤S17中设定的模板参数,重新生成模板数据,跳转至步骤S19。
[0113] 在步骤S19中,图像处理装置12利用在所述步骤S18中重新生成的模板数据,针对在所述步骤S13中生成的检索评价图像,进行检索处理,跳转至步骤S20。
[0114] 在步骤S20中,图像处理装置12利用所述步骤S19的检索处理结果,求出生产节拍以及精度,跳转至步骤S21,对在所述步骤S20中求出的定位处理的精度和在作业存储器24中保持的基准值进行比较。并且,在此时的定位处理的精度与基准值比较没有恶化(精度的恶化落在允许范围内)的情况下,跳转至步骤S22,对生产节拍以及精度的基准值进行更新,跳转至所述步骤S16。
[0115] 另一方面,在此时的定位处理的精度与基准值比较而恶化(精度的恶化落在允许范围外)的情况下,将前一个最大边缘点数判断为可以保持要求精度的临界值。因此,在该情况下,跳转至步骤S23,进行检索处理用参数的初始设定。在这里,基于利用至此为止的处理得到的最佳的模板用参数值,利用上述的规则(1)~(3)设定检索处理用参数的初始值。
[0116] 另外,标准照相机5a以及高解析度照相机5b与拍摄单元相对应,参数存储部25与存储单元相对应。另外,在图3中,步骤S1与模板图像取得单元相对应,步骤S3~S5与边缘区域提取单元相对应,步骤S6与边缘检测参数设定单元相对应,步骤S13与评价用图像取得单元相对应。另外,步骤S3~S11与参数设定单元相对应,步骤S12~S22与参数更新单元相对应。
[0117] (动作)
[0118] 下面,说明第1实施方式的动作。
[0119] 当前,在图像处理装置12的参数存储部25中,存储有最佳的模板数据以及最佳的检索用参数。在该状态下部件安装装置1进行电子部件2的搭载处理的情况下,设备控制装置11使吸附嘴3向电子部件供给装置(未图示)的部件供给位置移动,进行电子部件2的吸附。如果吸附电子部件2,则设备控制装置11使吸附嘴3向规定的拍摄位置移动。此时,与吸附部件相对应地选择进行拍摄的照相机5a或者5b,使吸附嘴3移动以使电子部件2位于所选择的照相机的拍摄位置。如果吸附嘴3向拍摄位置移动,则设备控制装置11控制照明装置4,向电子部件2照射照明光,与所选择的照相机信道信息一起,向图像处理装置12发送指示定位处理的执行的命令。
[0120] 图像处理装置12经由接口28接收该命令。然后通过命令解析任务21a将图像输入任务12b起动,控制部26控制照相机,从而对位于拍摄位置上的电子部件2进行拍摄。拍摄到的电子部件2的图像由A/D变换部21数字化,并向图像存储器22中存储。该图像数据成为检索对象图像。另外,此时在图像存储器22中存储的图像数据由D/A变换部29模拟化,并在显示器7中显示。
[0121] 如果完成检索对象图像的准备,则命令解析任务12a将识别执行任务12c起动,利用运算部23以及并行运算部27执行电子部件2的定位处理。在该定位处理中,首先,对检索对象图像施加在参数存储部25中作为检索用参数而存储的与边缘比例相对应的滤波,利用最小边缘强度,进行阈值处理,提取检索对象图像内的边缘点。
[0122] 然后,将该边缘图像以与作为检索用参数的金字塔形开始层相对应的压缩率进行压缩,利用在参数存储部25中存储的模板数据,进行粗检索。在该粗检索中,利用边缘检索、正规化相关检索、一般化Hough变换、几何散列法等已知的检索技术,从检索对象图像中取得对象物的大致的位置以及姿势。
[0123] 然后,对于由粗检索取得的检索区域进行精检索,检测出对象物的详细的位置。该精检索中,将在粗检索中得到的对象物的位置以及姿势作为开始位置以及开始姿势,将由模板数据生成的模板(图案模式)与检索对象图像重合,通过反复进行模板的平行移动或旋转移动、比例变化,从而检测与检索对象图像内的对象物的一致度最高的位置。并且,基于该模板的移动量,取得检索对象图像内的对象物的详细位置。因此,可以得到定位处理结果(针对模板的检索对象图像内的对象物的平行移动量、旋转移动量、比例变化量),可知由吸附嘴3吸附的电子部件2的吸附位置偏离量、吸附角度偏离量,从而可以进行搭载定位。
[0124] 如果定位处理结束,则识别执行任务12c成为休止状态,命令解析任务12a将定位处理结果作为向设备控制装置11发送的响应,经由接口28向设备控制装置11发送。
[0125] 如果从图像处理装置12接收到定位处理结果,则设备控制装置11与该定位处理结果相对应,调整部件搭载位置,将电子部件2向基板上搭载。因此,可以将电子部件2向期望的位置上适当地搭载。
[0126] 然后,如果部件批次改变,则设备控制装置11向图像处理装置12通知该信息。此时,设备控制装置11也向图像处理装置12发送由操作员指定的定位处理的要求精度和要求生产节拍。
[0127] 如果图像处理装置12从设备控制装置11经由接口28接收到部件批次的改变通知,则通过命令解析任务12a将图像输入任务12b起动,控制部26对照相机进行控制,从而对基准姿势的电子部件2的图像进行拍摄。拍摄到的电子部件2的图像由A/D变换部21数字化,并向图像存储器22中存储。然后,命令解析任务12a将模板调整任务12d起动,生成对于在图像存储器22中存储的图像数据施加了任意变化(平行移动、旋转、放大·缩小)的图像数据,并将其向作业存储器24中存储。该图像数据成为用于测量定位处理的精度以及生产节拍并判断是否需要参数调整的检索评价图像。并且,对于生成的检索评价图像,利用在参数存储部25中存储的模板数据,进行检索处理,得到定位处理结果。
[0128] 此时,通过对得到的定位处理结果和真值(在检索评价图像的生成时使用的变化量)进行比较,从而求出定位处理的精度。另外,同时也测量定位处理的生产节拍。并且,将它们与在作业用存储器24中保持的值进行比较,在超过容许范围而恶化的情况下,判断为应对在参数存储部25中存储的模板数据以及检索用参数进行调整,执行最佳参数取得处理。
[0129] 在最佳参数取得处理中,将用于生成模板数据的参数即最小浓度值、最小边缘强度、边缘比例、最大边缘点数调整至最佳的值。在本实施方式中,对模板生成用的图像即模板图像进行拍摄(图3的步骤S1),对该模板图像进行处理,将与定位处理的精度相关的模板参数(最小浓度值、最小边缘强度、边缘比例),设定为精度最好的最优值(步骤S3~S11)。
[0130] 并且,利用基于上述的模板参数生成的模板数据,针对由模板图像生成的检索评价图像,进行检索处理(检索测试),求出定位处理的精度,将其作为基准值而保持(步骤S12~S15)。然后,将与定位处理的生产节拍相关的模板参数(最大边缘点数),从初始值逐渐向生产节拍变好的方向变更,并在每次调整中对精度进行评价,将保持有该精度满足要求精度的上述基准值的临界值作为最佳的参数值而取得(步骤S16~S22)。
[0131] 在现有的模板参数的调整中,操作员实际上进行参数值的数值输入,或者将边缘的有效/无效利用窗口包围而指定等,操作员必须与自身使用环境相对应地进行调整。因此,为了针对每个对象物进行细微的参数调整,必须针对定位处理的算法和特性具备经验,不仅进行高精度且高速的最佳调整,且进行与用途相对应的极其细微的调整非常困难。
[0132] 与此相对,在本实施方式中,可以自动地取得满足要求精度以及要求生产节拍的模板参数,因此可以适当地进行细微的参数调整。另外,由于是操作员可以指示要求精度以及要求生产节拍的结构,所以例如即使多少牺牲精度也可以,因此可以与期望更加高速地进行等用途相对应的调整。
[0133] 另外,在部件批次的改变时判断是否需要参数调整,与要求相对应,进行参数调整,因此即使由于部件批次的改变而引起部件材质、颜色、大小变化的情况下,也可以更新为适当的参数。因此,自动地检测精度以及生产节拍的恶化,并可以自动地将其修复。
[0134] (效果)
[0135] 如上所述,在第1实施方式中,不仅用于生成可以进行位置检测的模板数据,而且可以设定用于生成与在位置检测处理中使用的情况下的位置检测精度、生产节拍、可靠性等特性相对应地最优化的模板数据的参数。另外,与操作员指定的要求精度以及要求生产节拍相对应,自动地调整参数,因此即使操作员对于形状基础匹配处理的算法等不具备经验,也可以进行与用途相对应的极其细微的参数调整。
[0136] 此时,针对模板图像,内部地施加变化,生成检索评价图像,利用生成的检索评价图像进行参数调整,因此,可仅通过拍摄一张模板图像,进行参数调整。因此,可以应对存储拍摄图像的存储器的容量较少的系统、和无法准备评价用的实际图像的系统。另外,可以将对于模板图像施加的变化量作为定位处理结果的真值,且作为定位处理的绝对精度评价值而使用,因此形状基础匹配处理的精度评价容易。
[0137] 并且,在进行参数调整时,首先,以定位处理的精度满足要求精度的方式设定参数。此时,通过提取模板图像的边缘区域,测量对比度、边缘强度、边缘比例等的边缘特性值的分布,从而设定最佳的边缘检测参数(在边缘检测的阈值处理中使用的阈值)。如上所述,可以以边缘检测精度成为最好的方式设定参数,因此,可以可靠地进行满足要求精度的参数设定。
[0138] 另外,在进行参数调整时,将最大边缘点数阶段性地削减,在每次调整时对定位处理的精度进行评价,在确保要求精度的临界节拍下取得必要的边缘点数。如上所述,将最大边缘点数阶段性地削减,因此,可靠地使参数向生产节拍缩短的方向渐变。另外,向生产节拍缩短的方向使参数渐变的同时,对定位处理的精度进行评价,取得最佳的参数值,因此可以进行极其细微的参数调整。
[0139] 并且,在生产中检测部件批次的改变,对是否需要调整参数进行判断,因此,在由于部件批次的切换而导致部件的材质和颜色等变化,或者由于制造误差而导致的细微的大小变化等下与示教时的模板数据之间产生差异的情况下,可以自动地进行参数的再次调整,更新为最佳的参数。因此,可以防止由于部件批次的改变而引起的细微的精度恶化、或者生产节拍的延迟。
[0140] 因此,在上述的部件安装装置中,可以始终进行高精度的部件搭载。
[0141] (第2实施方式)
[0142] 下面,说明本发明的第2实施方式。
[0143] 在所述的第1实施方式中,利用由模板图像生成的检索评价图像,进行最佳参数取得处理,与之相对,该第2实施方式利用实际拍摄到的多个检索评价图像,进行最佳参数取得处理。在生产前的模板初始生成中使用的情况下,考虑在生产时可发生的姿势变化范围、照明变化范围,准备检索评价图像。
[0144] (结构)
[0145] 本实施方式的设备控制装置11,作为与模板数据的调整有关的命令参数,在定位处理中的要求精度、要求生产节拍的基础上,将检索评价图像的拍摄姿势(评价姿势)、拍摄张数、拍摄时的照明亮度等的检索评价图像的拍摄条件向图像处理装置12发送。上述检索评价图像的拍摄条件经由人机接口6,由操作员指定。
[0146] 图5是表示第2实施方式的模板生成用图像拍摄处理流程的流程图。
[0147] 首先,在步骤S31中,图像处理装置12控制由设备控制装置11指定的照相机5a或者5b,对基准姿势的对象物(电子部件)2的图像进行拍摄。拍摄到的图像由A/D变换部21数字化,并作为模板图像数据向图像存储器22中存储。
[0148] 然后,在步骤S32中,图像处理装置12对检索评价图像的拍摄处理是否结束进行判定。在这里,判定是否在由设备控制装置11指定的拍摄条件下对检索评价图像拍摄并结束,在没有结束的情况下,跳转至步骤S33,在结束的情况下,跳转至后述的步骤S34。
[0149] 在步骤S33中,图像处理装置12向设备控制装置11发送下述命令,即,使吸附有对象物(电子部件2)的吸附嘴3向作为拍摄条件的一个评价姿势移动,并且指定该评价姿势下的照明亮度。如果接收到来自设备控制装置11的响应(检索评价图像的拍摄命令),则图像处理装置12对指定的照相机5a或者5b进行控制,对评价姿势下的对象物(电子部件2)进行拍摄。此时,拍摄指定的张数。如果结束一个评价姿势下的检索评价图像的拍摄,则跳转至所述步骤S32。如上所述,通过反复进行步骤S32以及S33的处理,从而在全部的拍摄条件下拍摄检索评价图像。
[0150] 在步骤S34中,图像处理装置12生成拍摄到的检索评价图像的一览表,并将其作为添加数据向图像存储器22中存储。
[0151] 下面,说明本实施方式中的最佳参数取得处理。
[0152] 图6是表示第2实施方式的最佳参数取得处理流程的流程图。
[0153] 首先,在步骤S41中,图像处理装置12进行模板参数的初始设定,并跳转至步骤S42。在这里,将模板参数设定为默认值即最小浓度值=80,最小边缘强度=32,边缘比例=2,边缘点数=1024。设定的模板参数存储在作业用存储器24中。
[0154] 另外,在本步骤S41中,也可以进行如所述的图3所示的最佳参数取得处理,进行模板参数的初始设定。在该情况下,可以将模板参数的初始值设为有用的值,因此,在以下的处理中可以比较容易地将模板参数值收敛为最佳值。
[0155] 在步骤S42中,图像处理装置12利用在作业用存储器24中存储的模板参数,进行模板数据的生成,并跳转至步骤S43。
[0156] 在步骤S43中,图像处理装置12判定是否对于在图5所示的处理中拍摄到的全部的检索评价图像进行了检索处理。并且,在全部的检索处理没有结束的情况下,跳转至步骤S44,在全部的检索处理结束的情况下,跳转至后述的步骤S46。
[0157] 在步骤S44中,图像处理装置12利用在所述步骤S42中生成的模板数据,针对对同一评价姿势的对象物拍摄到的多个检索评价图像,分别进行检索处理,得到定位处理结果。
[0158] 然后,在步骤S45中,图像处理装置12针对在所述步骤S44中求出的定位处理结果,取得统计处理数据,并跳转至所述步骤S43。在这里,被统计处理的定位处理结果数据,为模板的中心坐标(x,y)、最远点坐标(x,y),分别求出平均值以及标准偏差(3σ)。另外,对于生产节拍,也测量总处理生产节拍、边缘检测生产节拍、粗检索生产节拍、精检索生产节拍这4项,并分别求出平均生产节拍、最小生产节拍、最大生产节拍。并且,在这里也求出定位处理结果(检索评价图像内的对象物相对于模板的平行移动量、旋转量、比例变化量)。
[0159] 另外,在步骤S46中,图像处理装置12进行下述评价,即,在所述步骤S45中求出的模板的中心坐标的标准偏差(3σ)和最远点坐标的标准偏差(3σ)是否分别落在与要求精度相对应的规定的容许范围内。
[0160] 并且,在步骤S47中,图像处理装置12在判断为在所述步骤S46中各标准偏差(3σ)落在容许范围内的情况下,不必对与模板数据的精度相关的参数(精度参数)进行调整,并跳转至后述的步骤S52。另一方面,在判断为落在容许范围外的情况下,应对模板数据的精度参数进行调整,跳转至步骤S48。
[0161] 精度参数的调整,是通过对模板参数中的最小边缘强度及边缘比例、以及检索参数中的最小边缘强度及边缘比例进行调整而进行的。在本实施方式中,上述参数的变更方式为,从多个候补值中向精度提高的方向每次1级地变得严格或者每次1级地变得宽松,每次均进行检索处理,对精度进行评价。反复进行该处理直到满足要求精度为止(进行重试)。
[0162] 在步骤S48中,图像处理装置12对精度参数调整的重试次数是否超过预先设定的最大次数进行判定。并且,在没有超过最大次数的情况下,跳转至步骤S49,进行精度参数调整处理。
[0163] 图7是表示在步骤S49中执行的精度参数调整处理流程的流程图。
[0164] 首先,在步骤S49a中,在多张对于检索评价图像数据的统计处理的结果中,提取出差异最大的2张图像。在这里,针对同一拍摄条件(拍摄姿势、照明亮度等)的组,分别进行处理。
[0165] 然后,在步骤S49b中,针对在所述步骤S49a中提取出的2张图像,分别进行边缘检测,并跳转至步骤S49c。
[0166] 在步骤S49c中,首先,基于在所述步骤S45中得到的定位处理结果(平行移动量、旋转量、比例变化量),将在所述步骤S49b中得到的2张检索评价图像的边缘向模板图像的坐标系中变换。并且,如图8所示,将变换后的2张检索评价图像的边缘(a)以及(b)与模板图像的边缘(c)重合,提取出不一致的部位(不稳定边缘)。此时,将重合的3张图像的边缘的一致度比规定的判定阈值低的部分,作为不稳定边缘而提出。最后,针对2张检索评价图像数据和模板图像数据共计3张,分别生成不稳定边缘点的坐标值一览表(不稳定边缘一览表)。此时,针对一览表上的边缘点,将边缘检测参数值(最小边缘强度、边缘比例值)进行关联。
[0167] 下面,在步骤S49d中,判定在所述步骤S49c的图像重合处理的结果中,是否提取出不稳定边缘(差异边缘)。并且,在提取出不稳定边缘的情况下,跳转至步骤S49e,在没有提取出不稳定边缘的情况下,结束精度参数调整处理。
[0168] 在步骤S49e中,对精度参数即最小边缘强度进行调整,以消除不稳定边缘。针对模板参数的最小边缘强度,为了将模板的差异边缘删除,以使其值变大的方式调整。另外,针对检索用参数的最小边缘强度,以使其值变小的方式进行调整,以通过将提取出的边缘点增加,使与模板图像的边缘的一致度提高,从而消除不稳定边缘。另外,最小边缘强度的调整,是通过基于在不稳定边缘一览表中存储的边缘检测参数值,以变得严格1级或者变得宽松1级的方式,从上述的表1中示出的候补值中选出而进行的。
[0169] 下面,在步骤S49f中,为了将不稳定边缘消除的方式,对作为精度参数的边缘比例值进行调整,结束精度参数调整处理。针对模板参数的边缘比例值,为了将模板的差异边缘消除,以使其值变大的方式进行调整。另外,针对检索用参数的边缘比例值,以使其值变小的方式进行调整,以通过使提取的边缘点增加,使与模板图像的边缘的一致度提高,从而将不稳定点消除。另外,边缘比例值的调整,是通过基于在不稳定边缘一览表中存储的边缘检测参数值,以变得严格1级或者变得宽松1级的方式,从上述表1中示出的候补值中选出而进行的。
[0170] 返回图6,在步骤S50中,图像处理装置12使相当于精度参数调整的重试次数的重试计数递增,并跳转至所述步骤S42。
[0171] 另外,在所述步骤S48中,如果判断为精度参数调整的重试次数达到预先设定的最大次数,则跳转至步骤S51,检索处理的精度没有达到要求精度,将该定时的模板参数作为最终的参数而设定。并且,基于该参数生成模板数据,结束最佳参数取得处理。
[0172] 在步骤S52中,图像处理装置12对在所述步骤S45中得到的统计数据进行解析,针对边缘检测生产节拍、粗检索生产节拍、精检索生产节拍这3项,分别判定是否达到目标生产节拍。在这里,各处理的目标生产节拍,是通过以考虑定位处理算法而设定的详细比例,对要求生产节拍值进行分配而设定。并且,在全部的生产节拍达到目标生产节拍的情况下,成功地进行最佳参数的取得,跳转至步骤S53。并且,在步骤S53中,图像处理装置12将该定时的模板参数作为最终的参数而设定,基于该参数生成模板数据后,结束最佳参数取得处理。
[0173] 另一方面,在所述步骤S52中,在判断为上述3个生产节拍中的至少1个生产节拍没有达到目标生产节拍的情况下,跳转至步骤S54,进行生产节拍参数调整处理。
[0174] 图9是表示在步骤S54中执行的生产节拍参数调整处理流程的流程图。
[0175] 首先,在步骤S54a中,对边缘检测生产节拍是否达到目标生产节拍进行判定。并且,在没有达到目标生产节拍的情况下,判断为必须进行边缘检测生产节拍的调整,并跳转至步骤S54b,在达到目标生产节拍的情况下,判断为不需要进行边缘检测生产节拍的调整,跳转至后述的步骤S54c。
[0176] 在步骤S54b中,进行边缘检测生产节拍的调整。边缘检测生产节拍依赖于滤波尺寸和边缘候补点数。因此,在这里,通过将模板参数的边缘比例值变小,并且将模板参数的最小边缘强度增大,从而将边缘检测生产节拍向缩短的方向调整。
[0177] 各参数的调整,是通过以将当前值为基准,以变得严格1级或者变得宽松1级的方式,从上述表1中示出的候补值中选择而进行的。另外,针对检索用参数,可以考虑不必像模板参数那样严格地进行调整。
[0178] 下面,在步骤S54c中,对粗检索生产节拍是否达到目标生产节拍进行判定。并且,在没达到目标生产节拍的情况下,判断为必须进行粗检索生产节拍的调整,跳转至步骤S54d,在达到目标生产节拍的情况下,判断为不需要进行粗检索生产节拍的调整,跳转至后述的步骤S54e。
[0179] 在步骤S54d中,进行粗检索生产节拍的调整。由于粗检索处理是基于特征点对对象物进行检索的,所以粗检索生产节拍依赖于特征点数、即特征点间距离。因此,在这里,通过将作为模板参数而设定的特征点间距离变大,从而将特征点数减少,将粗检索生产节拍向缩短的方向调整。特征点间距离的调整,是通过对当前值加上预先设定的规定的调整用加法值而进行的。另外,此时,以特征点间距离不超过预先设定的上限值的方式进行考虑并调整。
[0180] 然后,在步骤S54e中,对精检索生产节拍是否达到目标生产节拍进行判定。并且,在没达到目标生产节拍的情况下,判断为必须进行精检索生产节拍的调整,跳转至步骤S54f,在达到目标生产节拍的情况下,判断为不需要进行精检索生产节拍的调整,结束生产节拍参数调整处理。
[0181] 在步骤S54f中,进行精检索生产节拍的调整后,结束生产节拍参数调整处理。精检索生产节拍依赖于向模板数据中登录的边缘点数。因此,在这里,通过将模板参数的最大边缘点数减少,从而将精检索生产节拍向缩短的方向调整。最大边缘点数的调整,是通过针对当前值减去预先设定的规定的调整用减法值而进行的。其与以边缘点在边缘线上均等地配置的方式由拉长间隔处理进行边缘点的削减等价,且通过使拉长间隔点数以1、2、3、……的顺序增加,从而阶段地使边缘点数减少。
[0182] 但是,精检索处理如上所述,通过将模板与检索对象图像重合,反复进行模板的平行移动、旋转移动、和比例变化,从而检索出与检索图像内的对象物的一致度最高的位置。
[0183] 某个特征点位于检索对象图像上的边缘的附近时,从图像能量(将图像的浓度数据在x,y方向上分别2阶微分而得到)受到力,向边缘吸引。从该图像能量受到的力,为该特征点的平行移动矢量。如图10所示,将特征点的平行移动矢量g,以将该特征点和模板的重心连结的直线(重心法线)方向为基准,向垂直成分以及水平成分分解时,水平成分成为放大缩小矢量h,垂直成分成为旋转矢量v。在本实施方式中,通过将平行移动矢量g、旋转矢量v以及放大缩小矢量h分别利用规定的校正系数,变换为移动量(平行移动量、旋转角度、比例变化量),从而计算出在1次循环处理中的模板的移动量。移动量基于下述(2)~(4)公式进行计算。
[0184] m=「·γg·∑g………(2)
[0185] θ=「·γθ·∑v/∑Rd………(3)
[0186] scl=「·γscl·∑h/∑Rd………(4)
[0187] 在这里,m为平行移动量(单位:像素),θ为旋转角度(单位:rad),scl为比例变化量(单位:倍率),Rd为重心-特征点间距离。另外,Γ为整体的校正系数(默认值:0.2),γg为平行移动的校正系数(默认值:1.0),γθ为旋转的校正系数(默认值:1.0),γscl为放大缩小的校正系数(默认值:0.007)。
[0188] 并且,直至平行移动矢量g、旋转矢量v以及放大缩小矢量h的大小相加后的能量总和成为小于或等于规定的收敛判定阈值为止,反复进行模板的移动。
[0189] 因此,精检索生产节拍依赖于精检索处理的循环次数、和将移动矢量变换为移动量时的校正系数(Γ、γg、γθ、γscl)。因此,在这里,通过将上述循环次数减少,并且将上述校正系数增大,从而将精检索生产节拍向缩短的方向调整。循环次数以及校正系数的调整,是通过针对当前值减去或者加上规定的调整值而进行。该调整值与使用环境相对应地设定,以循环次数以及校正系数不会达到预先设定的临界值的方式进行考虑并调整。
[0190] 返回图6,在步骤S55中,图像处理装置12利用在当前定时设定的模板参数,进行模板数据的生成。将生成的模板数据向参数存储部25中存储。
[0191] 然后,在步骤S56中,图像处理装置12利用在所述步骤S55中生成的模板数据,判定是否针对全部的检索评价图像结束检索处理。并且,在判断为全部的检索处理没有结束的情况下,跳转至步骤S57,在判断为全部的检索处理结束的情况下,跳转至后述的步骤S60。
[0192] 在步骤S57中,图像处理装置12利用在所述步骤S55中生成的模板数据,对于对同一评价姿势的对象物拍摄到的多个检索评价图像,分别进行检索处理,得到定位处理结果。
[0193] 然后,在步骤S58中,图像处理装置12对在所述步骤S57中的检索处理中的总处理生产节拍、边缘检测生产节拍、粗检索生产节拍、精检索生产节拍这4项进行测量,然后跳转至步骤S59。
[0194] 在步骤S59中,图像处理装置12针对在所述步骤S57中求出的定位处理结果,取得统计处理数据,并跳转至所述步骤S56。在这里,对于模板的中心坐标(x,y)、最远点坐标(x,y),分别求出平均值以及标准偏差(3σ)。另外,也针对在所述步骤S58中测量得的4个生产节拍,分别求出平均生产节拍、最小生产节拍、最大生产节拍。
[0195] 另外,在步骤S60中,图像处理装置12进行下述评价,即,在所述步骤S59中求出的模板的中心坐标的标准偏差(3σ)和最远点坐标的标准偏差(3σ)是否分别落在与要求精度相对应的规定的容许范围内。
[0196] 并且,在步骤S61中,图像处理装置12在所述步骤S60中判断为各标准偏差(3σ)落在容许范围内的情况下,继续进行生产节拍参数调整处理,跳转至所述步骤S52。另一方面,在判断为落在容许范围外的情况下,跳转至步骤S62,在生产节拍达到目标生产节拍之前,使检索处理的精度低于要求精度,将该定时的模板参数作为最终的参数而设定。并且,基于该参数生成模板数据,结束最佳参数取得处理。
[0197] 另外,在图5中,步骤S31与模板图像取得单元相对应,步骤S32~S34与评价用图像取得单元相对应。另外,在图6中,步骤S42~S50与参数设定单元相对应,步骤S52~S61与参数更新单元相对应。并且,在图7中,步骤S49a与提取单元相对应,步骤S49b以及S49c与不稳定边缘提取单元相对应,步骤S49d~49f与参数渐变单元相对应。
[0198] (动作)
[0199] 下面,说明第2实施方式的动作。
[0200] 如果部件批次改变,则设备控制装置11向图像处理装置12通知该信息。此时,设备控制装置11也向图像处理装置12发送定位处理的要求精度和要求生产节拍。
[0201] 如果图像处理装置12经由接口28从设备控制装置11接收到部件批次的改变通知,则与所述的第1实施方式相同地,图像处理装置12测量定位处理的精度以及生产节拍,并与在作业用存储器24中保持的值进行比较。并且,在测量到的精度以及生产节拍相对于在作业用存储器24中保持的值超过容许范围并恶化的情况下,判断为应对在参数存储部25中存储的模板数据以及检索用参数进行调整,执行最佳参数取得处理。
[0202] 在最佳参数取得处理中,将模板参数以及检索用参数调整至最佳的值。在本实施方式中,对模板图像进行拍摄(图5的步骤S31),并且在规定的拍摄条件下对多个检索评价图像进行拍摄(步骤S32以及S33)。并且,使用初始状态的模板数据,针对拍摄到的多个检索评价图像进行检索处理,测量重复精度,对定位处理的精度是否满足要求精度进行判定(图6的步骤S43~S47)。在没有满足要求精度的情况下,为了满足要求精度,调整与定位处理的精度相关的参数(最小边缘强度、边缘比例)(步骤S49)。
[0203] 具体地说,从多个检索评价图像中提取出相对的边缘变化量最大的2张检索评价图像(图7的步骤S49a),通过将该2张检索评价图像和模板图像重合,从而提取出不稳定边缘(步骤S49b以及S49c)。并且,对模板参数的最小边缘强度以及边缘比例进行调整,以将与不稳定边缘相对应的模板的边缘部分消除,并且,对检索用参数的最小边缘强度以及边缘比例进行调整,以利用检索处理将不稳定边缘稳定而可以检索(步骤S49e、S49f)。
[0204] 如果与精度相关的参数的调整结束,则之后进行与生产节拍有关的参数的调整。在这里,对生产节拍是否满足要求生产节拍进行判定(图6的步骤S52),在没有满足要求生产节拍的情况下,对与定位处理的生产节拍有关的参数(最小边缘强度、边缘比例值、特征点间距离、最大边缘点数、循环次数、移动量校正系数)进行调整,以满足要求生产节拍(步骤S54)。
[0205] 具体地说,使最小边缘强度以及边缘比例值逐渐向边缘检测生产节拍缩短的方向变化,将确保要求精度的临界值设为最佳的参数值。另外,使特征点间距离逐渐向粗检索生产节拍缩短的方向变化,将确保要求精度的临界值设为最佳的参数值。并且,使最大边缘点数、循环次数以及移动量校正系数向精检索生产节拍缩短的方向变化,将确保要求精度的临界值设为最佳的参数值。如上所述,以在可确保要求精度的临界生产节拍下进行边缘检测、粗检索以及精检索的方式,对各参数值进行调整(步骤S55~S61)。
[0206] (效果)
[0207] 如上所述,在上述第2实施方式中,在表示实际检索对象图像的变化范围的多个拍摄条件下,对检索评价图像进行拍摄,基于拍摄到的检索评价图像,进行参数调整,因此,可以生成可靠性较高的模板数据。因此,不必对其他的设备调整就可以将模板展开。
[0208] 另外,在进行参数调整时,针对对比度较弱的边缘等、根据拍摄条件边缘检测结果成为不稳定的部位,以从检索处理的对象中去除的方式调整参数。因此,可以进行满足要求精度的最佳的参数设定。
[0209] 此时,将模板参数中的最小边缘强度增大,或者将边缘比例值缩小,因此在从模板图像中生成模板数据时,可以不提取出不稳定边缘,且将不稳定边缘可靠地从检索处理对象中去除。另外,同样地,将检索用参数中的最小边缘强度减小,将边缘比例值增大,因此,可以在从检索对象图像中提取边缘时不提取不稳定边缘,且可以将不稳定边缘可靠地从检索处理的对象中去除。
[0210] 并且,在进行参数调整时,可以将与边缘检测处理、粗检索处理以及精检索处理的生产节拍相关的参数,向使各处理的生产节拍分别缩短的方向调整。因此,可以进一步进行最佳的参数调整。
[0211] 此时,将最小边缘强度增大,或者将边缘比例值缩小,因此可以可靠地缩短边缘检测生产节拍。另外,将特征点间距离增大,因此,可以可靠地将粗检索生产节拍缩短。并且,将最大边缘点数减少,或者将精检索处理的循环次数减少,或者将在精检索处理中将移动矢量变换为移动量时的校正系数增大,因此,可以可靠地将精检索生产节拍缩短。