基板检查装置及其检查逻辑设定方法和检查逻辑设定装置转让专利
申请号 : CN200610057056.6
文献号 : CN100582755C
文献日 : 2010-01-20
发明人 : 片畑隆敏 , 和田洋贵 , 森谷俊洋 , 清水敦 , 仲岛晶
申请人 : 欧姆龙株式会社
摘要 :
基板检查装置及其检查逻辑设定方法和检查逻辑设定装置。本发明的课题是提供一种可以由较少的样本图像而生成在基板检查装置中的基板检查中使用的检查逻辑的技术。作为解决手段，信息处理装置在生成新部件的检查逻辑时，取得所述新部件的拍摄图像；根据所述新部件的拍摄图像而算出表示关注区域的颜色分布趋势的颜色分布趋势数据；分别针对多种过去部件取得颜色分布趋势数据，通过比较与所述新部件相关的颜色分布趋势数据和与所述过去部件相关的颜色分布趋势数据，来选出颜色分布趋势类似的过去部件，从存储装置中读出所选出的过去部件的拍摄图像，并将所述新部件的拍摄图像和所述过去部件的拍摄图像作为训练数据，来生成所述新部件的检查逻辑。
权利要求 :
1.一种生成与新部件相关的检查逻辑的方法，在通过检查基板安装 部件的拍摄图像中的关注区域的颜色来判断所述部件的安装状态的良否 的基板检查中使用，其特征在于，包括以下步骤：把过去处理的部件的拍摄图像存储在存储装置中；
取得所述新部件的拍摄图像；
根据所述新部件的拍摄图像，算出表示关注区域的颜色分布的趋势 的颜色分布趋势数据，所述颜色分布趋势数据是通过表现由关注区域的 像素得到的颜色特征量的值的分布而得到的；
分别针对多个种类的过去部件取得颜色分布趋势数据；
通过比较与所述新部件相关的颜色分布趋势数据和与所述过去部件 相关的颜色分布趋势数据，来选出颜色分布趋势类似的过去部件；
从存储所述过去部件的拍摄图像的存储装置中读出被选出的过去部 件的拍摄图像；以及将所述新部件的拍摄图像和被读出的过去部件的拍摄图像作为训练 数据，来生成与所述新部件相关的检查逻辑。
2.根据权利要求1所述的检查逻辑生成方法，其特征在于：
所述新部件的拍摄图像仅由良品或仅由次品，或由良品和次品两者 的图像构成，所述过去部件的拍摄图像由良品和次品两者的图像构成。
3.根据权利要求1所述的检查逻辑生成方法，其特征在于：
在所述把过去处理的部件的拍摄图像存储在存储装置中的步骤中， 还包括与拍摄图像一起也登记部件的种类的步骤，信息处理装置从与所述新部件的种类相同的过去部件中选出颜色分 布趋势类似的部件。
4.根据权利要求1所述的检查逻辑生成方法，其特征在于：在计算 所述颜色分布趋势数据的步骤中，根据由关注区域的像素得到的颜色特 征量的值在颜色空间上的分布，算出颜色分布趋势数据。
5.据权利要求4所述的检查逻辑生成方法，其特征在于：在计算所 述颜色分布趋势数据的步骤中，通过划分所述颜色空间的区的组合来表 现由关注区域的像素得到的颜色特征量的值的分布，从而计算颜色分布 趋势数据。
6.根据权利要求4或5所述的检查逻辑生成方法，其特征在于：在 所述颜色分布趋势数据的计算中使用的颜色特征量的种类是为了使由良 品中的关注区域的像素得到的颜色特征量的值的分布与由次品中的关注 区域的像素得到的颜色特征量的值的分布之间具有差异而选择的颜色特 征量。
7.根据权利要求1所述的检查逻辑生成方法，其特征在于，还包括 以下步骤：将所述训练数据中的良品中的关注区域的各像素作为对象点，将所 述训练数据中的次品中的关注区域的各像素作为排除点，针对一个或多 个颜色特征量，求出所述对象点和排除点各自的颜色特征量的值的频度 分布；
根据所述一个或多个颜色特征量的值的频度分布，求出将所述对象 点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜 色特征量的值的范围；以及将所述一个或多个颜色特征量的种类和值的范围设定为用于从检查 对象部件的拍摄图像的关注区域中提取特定的颜色区域的颜色条件。
8.根据权利要求7所述的检查逻辑生成方法，其特征在于，还包括 以下步骤：分别从所述训练数据中的良品的关注区域和次品的关注区域中提取 满足所述颜色条件的像素区域；
针对一个或多个特征量，求出所述像素区域各自的特征量的值的频 度分布；
根据所述一个或多个特征量的值的频度分布，求出将良品的特征量 的值和次品的特征量的值最佳地分离开的特征量的值的范围；以及将所述一个或多个特征量的种类和值的范围设定为用于判断检查对 象部件的安装状态的良否的判断条件。
9.一种基板检查装置的检查逻辑设定装置，用于生成在基板检查装 置中使用的检查逻辑，该基板检查装置通过检查基板安装部件的拍摄图 像中的关注区域的颜色来判断所述部件的安装状态的良否，其特征在于， 所述基板检查装置的检查逻辑设定装置具有：图像存储单元，其存储过去部件的拍摄图像；
图像取得单元，其在生成新部件的检查逻辑时，取得所述新部件的 拍摄图像；
颜色分布趋势计算单元，其根据所述新部件的拍摄图像，算出表示 关注区域的颜色分布的趋势的颜色分布趋势数据，所述颜色分布趋势数 据是通过表现由关注区域的像素得到的颜色特征量的值的分布而得到 的；
类似部件选择单元，其分别针对多个种类的过去部件，从所述图像 存储单元中读出拍摄图像，计算颜色分布趋势数据，通过比较与所述新 部件相关的颜色分布趋势数据和与所述过去部件相关的颜色分布趋势数 据，来选出颜色分布趋势类似的过去部件；
训练数据生成单元，其从所述图像存储单元中读出被选出的过去部 件的拍摄图像，根据所述新部件的拍摄图像和被读出的过去部件的拍摄 图像而生成训练数据；以及检查逻辑生成单元，其根据所述训练数据生成所述新部件的检查逻 辑。
10.根据权利要求9所述的基板检查装置的检查逻辑设定装置，其 特征在于：还具备存储部件的种类的部件种类存储单元，
所述类似部件选择单元从与所述新部件种类相同的过去部件中选出 颜色分布趋势类似的过去部件。
11.根据权利要求9所述的基板检查装置的检查逻辑设定装置，其 特征在于：颜色分布趋势计算单元根据由关注区域的像素得到的颜色特 征量的值在颜色空间上的分布来算出所述颜色分布趋势数据。
12.根据权利要求11所述的基板检查装置的检查逻辑设定装置，其 特征在于：颜色分布趋势计算单元通过划分所述颜色空间的区的组合来 表现由关注区域的像素得到的颜色特征量的值的分布，计算所述颜色分 布趋势数据。
13.根据权利要求11所述的基板检查装置的检查逻辑设定装置，其 特征在于：颜色分布趋势计算单元选择颜色特征量，使得由良品中的关 注区域的像素得到的颜色特征量的值的分布和由次品中的关注区域的像 素得到的颜色特征量的值的分布之间具有差异，从而算出所述颜色分布 趋势数据。
14.根据权利要求9所述的基板检查装置的检查逻辑设定装置，其 特征在于，所述检查逻辑生成单元包括：将所述训练数据中的良品的关注区域的各像素作为对象点，将所述 训练数据中的次品的关注区域的各像素作为排除点，针对一个或多个颜 色特征量，求出所述对象点和排除点各自的颜色特征量的值的频度分布 的单元；
根据所述一个或多个颜色特征量的值的频度分布，求出将所述对象 点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜 色特征量的值的范围的单元；以及将所述一个或多个颜色特征量的种类和值的范围设定为用于从检查 对象部件的拍摄图像的关注区域中提取特定的颜色区域的颜色条件的单 元。
15.根据权利要求14所述的基板检查装置的检查逻辑设定装置，其 特征在于，所述检查逻辑生成单元进一步包括：分别从所述训练数据中的良品的关注区域和次品的关注区域中提取 满足所述颜色条件的像素区域的单元；
针对一个或多个特征量，求出所述像素区域各自的特征量的值的频 度分布的单元；
根据所述一个或多个特征量的值的频度分布，求出将良品的特征量 的值和次品的特征量的值最佳地分离开的特征量的值的范围的单元；以 及将所述一个或多个特征量的种类和值的范围设定为用于判断检查对 象部件的安装状态的良否的判断条件的单元。
16.一种基板检查装置，其特征在于，包括：
存储部，其存储由权利要求14所述的检查逻辑设定装置设定的颜色 条件和判断条件；
投光单元，其以不同的入射角向基板上的安装部件照射多种颜色的 光；
区域提取单元，其从拍摄上述光的反射光而得到的图像的关注区域 中提取满足所述颜色条件的区域；以及检查单元，其根据所提取的区域具有的特征量是否满足所述判断条 件，来判断所述部件的安装状态的良否。
说明书 :
技术领域
本发明涉及用于生成在基板检查装置中所用的检查逻辑的技术，尤 其涉及可根据较少的训练数据(teaching data)而生成检查逻辑的技术。
背景技术
现有技术中，提出了用于检查安装了多个电子部件的印刷基板的焊 接安装质量的基板检查装置。在这种印刷基板中，虽然将“将电子部件 的电极部和焊盘进行焊接时的焊锡隆起的形状”称作焊脚，但因电子部 件的电极部的润湿，有时看上去像是形成了焊脚，但是实际上电子部件 和焊脚并未接触。由此，为了检查焊接的良否，需要准确掌握由自由曲 线构成的焊脚的形状。
但是，现有的基板检查装置中，由于在光源中使用单色的单一照明， 所以要对焊脚的三维形状进行图像分析很困难。因此，不能判断焊接的 良否，作为基板检查装置不适合于实用。
为了解决这种问题，本申请人提出了图19所示的方式的基板检查装 置(参考专利文献1)。该方式被称作三色光源色彩增强方式(或简称为 色彩增强方式)，是通过用多种颜色的光源来照射检查对象，作为伪彩色 图像而得到焊脚的三维形状的技术。
实际上可以说在该色彩增强方式技术登场之后才有了印刷基板自动 检查的实用化。尤其，在电子部件小型化的当前，通过目测来判别焊脚 形状很困难，也可以说没有色彩增强方式的基板检查装置，就不能进行 基板检查。
如图19所示，色彩增强方式的基板检查装置包括：以不同的入射角 将三原色光照射到基板110上的检查对象107上的投光部105、拍摄来自 检查对象107的反射光的摄像部106。该投光部105由具有不同的直径、 且根据来自控制处理部的控制信号而同时照射红色光、绿色光和蓝色光 的三个圆环状光源111、112、113构成。各光源111、112、113在检查 对象107的正上方位置处中心对齐，且配置在与从检查对象107看为不 同的仰角对应的方向上。
当通过该结构的投光部105来照射检查对象(焊脚)107时，与检 查对象107的表面的斜率对应的颜色的光入射到摄像部106中。由此， 如图20所示，在电子部件的焊接良好时/部件脱落时/焊锡不足的状态时 等，根据焊脚的形状，在拍摄图像的色彩图形中出现明确的差异。由此， 对焊脚的三维形状进行图像分析变得容易，可以准确地判断电子部件的 有无和焊接的良否。
在色彩增强方式的基板检查装置中，预先设定表示“应为良品的颜 色”和“应为次品的颜色”的颜色条件，从检查图像中提取满足颜色条 件的区域，并根据该提取的区域具有的各种特征量(例如，面积和长度) 来进行良否的判断。因此，在实际检查之前，需要预先设定用于检查的 颜色条件，区分良品和次品用的判断条件等。该颜色条件和判断条件为 检查逻辑的参数。设定/调整检查逻辑一般称作训练(teaching)。
为了提高检查精度，最重要的是设定颜色条件，使得良品所显示的 特征量和次品所显示的特征量之间出现有意且明确的差异。即，可以说 颜色条件的训练的好坏直接左右着检查精度。
因此，本申请人提出了如图21所示，支持色彩增强方式中的颜色条 件的设定用的工具(参考专利文献2)。在该工具中，作为颜色条件，可 以进行多个颜色特征量(红、绿、蓝的各色调比ROP、GOP、BOP和亮度 数据BRT)各自的上限值和下限值的设定。在图21的输入画面上设置了 用于输入颜色条件的设定值的设定部127，同时设置了用于显示根据所设 定的各颜色条件而提取的色彩范围的设定范围显示部128。在该设定范围 显示部128上显示色调图134，该色调图134表示在预定的亮度下得到的 所有色彩，当操作者设定了各颜色特征量的上限值、下限值时，在色调 图134上显示确认区域135，该确认区域135包围根据所设定的颜色条件 而提取的色彩。另外，当按下二值化显示按钮129时，以二值图像的形 式显示基于当前的颜色条件的提取结果。根据该工具，操作者可以边观 看确认区域135和二值图像，边进行颜色条件的追认，直到得到合适的 提取结果。
进一步，本申请人为了使基于手动操作的训练作业高效化，提出了 使用把部件种类和检查对象部位对应起来的库数据的方法(参考专利文 献3)和根据有无相邻部件来自动切换区域提取阈值和检查基准的方法 (参专利文献4)等。
【专利文献1】日本特开平2-78937号公报
【专利文献2】日本特开平9-145633号公报
【专利文献3】日本特开平5-35849号公报
【专利文献4】日本特开平5-35850号公报
基板检查装置具有对于印刷基板的安装质量，一次可以快速且准确 地检查多个检查项目的优点。但是，在进行基板检查装置的实际工作时， 必须针对每个检查项目(每个检查对象的部件的种类、每个不良的种类) 进行检查逻辑的训练，充分提高判断精度，直到不会漏过次品，且将良 品判断为次品的过检被抑制为允许值(预先假定的值)以下。
但是，在色彩增强方式的基板检查装置中，虽然可以实现能够实用 的基板检查，但另一方面，很难进行将次品的漏检和过检抑制到目标值 以下的训练。即使使用上述的颜色条件设定支持工具，最终来说，颜色 条件的追加很大部分上还是依赖于操作者的经验和直觉，所以不能避免 设定错误的发生。并且，无论是多么优秀的操作者也必须尝试性地反复 调整，效率很差，存在需要很大的劳力和调整时间的问题。
另外，为了生成可靠性高的检查逻辑，最好预先准备足够数量的训 练数据(拍摄良品、次品的样本而得到的图像等)，但是在实际的制造现 场中，要在开始新品种的基板的制造前准备足够的训练数据很困难。尤 其对于次品，不能预测在制造时会产生哪种不良，由于不良的变化也有 无数种，所以准备齐将所有的不良都网罗在内的足够数量的样本是不可 能的。
在商品寿命周期不断缩短、变化激烈的制造环境中，强烈希望建立 这样的方法，即训练作业减轻和训练自动化，并且根据较少的样本图像 进行高可靠性的训练。
但是，现有的基板检查装置中，由于在光源中使用单色的单一照明， 所以要对焊脚的三维形状进行图像分析很困难。因此，不能判断焊接的 良否，作为基板检查装置不适合于实用。
为了解决这种问题，本申请人提出了图19所示的方式的基板检查装 置(参考专利文献1)。该方式被称作三色光源色彩增强方式(或简称为 色彩增强方式)，是通过用多种颜色的光源来照射检查对象，作为伪彩色 图像而得到焊脚的三维形状的技术。
实际上可以说在该色彩增强方式技术登场之后才有了印刷基板自动 检查的实用化。尤其，在电子部件小型化的当前，通过目测来判别焊脚 形状很困难，也可以说没有色彩增强方式的基板检查装置，就不能进行 基板检查。
如图19所示，色彩增强方式的基板检查装置包括：以不同的入射角 将三原色光照射到基板110上的检查对象107上的投光部105、拍摄来自 检查对象107的反射光的摄像部106。该投光部105由具有不同的直径、 且根据来自控制处理部的控制信号而同时照射红色光、绿色光和蓝色光 的三个圆环状光源111、112、113构成。各光源111、112、113在检查 对象107的正上方位置处中心对齐，且配置在与从检查对象107看为不 同的仰角对应的方向上。
当通过该结构的投光部105来照射检查对象(焊脚)107时，与检 查对象107的表面的斜率对应的颜色的光入射到摄像部106中。由此， 如图20所示，在电子部件的焊接良好时/部件脱落时/焊锡不足的状态时 等，根据焊脚的形状，在拍摄图像的色彩图形中出现明确的差异。由此， 对焊脚的三维形状进行图像分析变得容易，可以准确地判断电子部件的 有无和焊接的良否。
在色彩增强方式的基板检查装置中，预先设定表示“应为良品的颜 色”和“应为次品的颜色”的颜色条件，从检查图像中提取满足颜色条 件的区域，并根据该提取的区域具有的各种特征量(例如，面积和长度) 来进行良否的判断。因此，在实际检查之前，需要预先设定用于检查的 颜色条件，区分良品和次品用的判断条件等。该颜色条件和判断条件为 检查逻辑的参数。设定/调整检查逻辑一般称作训练(teaching)。
为了提高检查精度，最重要的是设定颜色条件，使得良品所显示的 特征量和次品所显示的特征量之间出现有意且明确的差异。即，可以说 颜色条件的训练的好坏直接左右着检查精度。
因此，本申请人提出了如图21所示，支持色彩增强方式中的颜色条 件的设定用的工具(参考专利文献2)。在该工具中，作为颜色条件，可 以进行多个颜色特征量(红、绿、蓝的各色调比ROP、GOP、BOP和亮度 数据BRT)各自的上限值和下限值的设定。在图21的输入画面上设置了 用于输入颜色条件的设定值的设定部127，同时设置了用于显示根据所设 定的各颜色条件而提取的色彩范围的设定范围显示部128。在该设定范围 显示部128上显示色调图134，该色调图134表示在预定的亮度下得到的 所有色彩，当操作者设定了各颜色特征量的上限值、下限值时，在色调 图134上显示确认区域135，该确认区域135包围根据所设定的颜色条件 而提取的色彩。另外，当按下二值化显示按钮129时，以二值图像的形 式显示基于当前的颜色条件的提取结果。根据该工具，操作者可以边观 看确认区域135和二值图像，边进行颜色条件的追认，直到得到合适的 提取结果。
进一步，本申请人为了使基于手动操作的训练作业高效化，提出了 使用把部件种类和检查对象部位对应起来的库数据的方法(参考专利文 献3)和根据有无相邻部件来自动切换区域提取阈值和检查基准的方法 (参专利文献4)等。
【专利文献1】日本特开平2-78937号公报
【专利文献2】日本特开平9-145633号公报
【专利文献3】日本特开平5-35849号公报
【专利文献4】日本特开平5-35850号公报
基板检查装置具有对于印刷基板的安装质量，一次可以快速且准确 地检查多个检查项目的优点。但是，在进行基板检查装置的实际工作时， 必须针对每个检查项目(每个检查对象的部件的种类、每个不良的种类) 进行检查逻辑的训练，充分提高判断精度，直到不会漏过次品，且将良 品判断为次品的过检被抑制为允许值(预先假定的值)以下。
但是，在色彩增强方式的基板检查装置中，虽然可以实现能够实用 的基板检查，但另一方面，很难进行将次品的漏检和过检抑制到目标值 以下的训练。即使使用上述的颜色条件设定支持工具，最终来说，颜色 条件的追加很大部分上还是依赖于操作者的经验和直觉，所以不能避免 设定错误的发生。并且，无论是多么优秀的操作者也必须尝试性地反复 调整，效率很差，存在需要很大的劳力和调整时间的问题。
另外，为了生成可靠性高的检查逻辑，最好预先准备足够数量的训 练数据(拍摄良品、次品的样本而得到的图像等)，但是在实际的制造现 场中，要在开始新品种的基板的制造前准备足够的训练数据很困难。尤 其对于次品，不能预测在制造时会产生哪种不良，由于不良的变化也有 无数种，所以准备齐将所有的不良都网罗在内的足够数量的样本是不可 能的。
在商品寿命周期不断缩短、变化激烈的制造环境中，强烈希望建立 这样的方法，即训练作业减轻和训练自动化，并且根据较少的样本图像 进行高可靠性的训练。
发明内容
本发明就是鉴于上述实际情况而提出的，其目的是提供一种可由较 少的样本图像而生成在基板检查装置中的基板检查中使用的检查逻辑的 技术。
为了实现上述目的，本发明中，通过下面的手段或处理来生成在基 板检查装置中使用的检查用的检查逻辑，其中所述基板检查装置通过检 查基板安装部件的拍摄图像中的关注区域的颜色，来判断所述部件的安 装状态的良否。另外，通过使信息处理装置根据程序而动作来实现下面 的手段或处理。
在生成新部件的检查逻辑时，图像取得单元取得新部件的拍摄图像； 颜色分布趋势计算单元根据所述新部件的拍摄图像，算出表示关注区域 的颜色分布的趋势的颜色分布趋势数据；类似部件选择单元分别针对多 个种类的过去部件取得颜色分布趋势数据，通过比较与所述新部件相关 的颜色分布趋势数据和与所述过去部件相关的颜色分布趋势数据，来选 出(识别)颜色分布趋势类似的过去部件；训练数据生成单元从存储所 述过去部件的拍摄图像的存储装置中读出所述选出的过去部件的拍摄图 像，根据所述新部件的拍摄图像和所述读出的过去部件的拍摄图像而生 成训练数据。并且，检查逻辑生成单元根据所述训练数据而生成所述新 部件的检查用的检查逻辑。
现有技术中，在生成新部件用的检查逻辑时，需要准备足够数量的 相同部件的良品/次品的样本图像来作为训练数据。与此相对，本发明中， 由于可以将与新部件颜色分布类似的过去部件的图像用于检查逻辑生成 中，所以新部件的样本图像较少就可以。另外，新部件的图像可以仅是 良品的图像，可以仅是次品的图像，也可以是良品和次品两方的图像。 作为过去部件的图像，最好准备良品和次品两方的图像。即，本发明根 据颜色分布趋势来识别与新部件的良/不良的表现方式类似的过去部件， 并利用所识别的过去部件的拍摄图像，来扩充(增加)新部件的拍摄图 像。
这里，在所述存储装置中还登记了部件的种类，优选所述类似部件 选择单元从与所述新部件种类相同的过去部件中选出颜色分布趋势类似 的部件。种类相同的部件之间在关注区域中出现类似趋势的颜色分布的 可能性高，并且很多时候不良情况的发生方式也类似。因此，在沿用过 去的图像时，选择妥当的(新部件和过去部件的适应度高的)图像的可 能性高。
颜色分布趋势数据也可根据根据由关注区域的像素得到的颜色特征 量的值在颜色空间上的分布而算出。作为颜色特征量，例如可以使用颜 色的强度、亮度、彩度、色调、刺激值、色度等。用于颜色分布趋势的 计算的颜色特征量的数目(上述颜色空间的维数)可以是一个也可以多 个。但是颜色特征量的数目越多(颜色空间的维数越高)，颜色分布趋势 数据的表现形式和类似判断处理(识别)可能变得越复杂，所以优选使 颜色特征量的数目是1～3左右。例如，可使用仅蓝色的强度的一维颜色 空间、蓝色的强度和亮度的二维颜色空间、亮度/色调/彩度和红/绿/蓝 这样的三维颜色空间等。
如本发明那样，如果目的为把握良品和次品的颜色分布的不同，则 二维颜色空间已足够。这时，优选在所述颜色分布趋势数据的计算中使 用的颜色特征量的种类是为了使由良品中的关注区域的像素得到的颜色 特征量的值的分布与由次品中的关注区域的像素得到的颜色特征量的值 的分布之间具有差异而选择的颜色特征量。由此，明确出现各种部件的 颜色分布趋势的不同。
颜色分布趋势数据可以是通过划分所述颜色空间的区的组合来表现 由关注区域的像素得到的颜色特征量的值的分布的数据。更优选的是， 所述颜色空间是二维颜色空间，所述区也可以将所述二维颜色空间划分 成网格状。根据这种表现形式，由于单纯化/形式化了颜色分布，所以可 以容易地把握颜色分布的趋势，同时颜色分布趋势的类似判断处理(识 别处理)变得极其简单。另外，通过区的组合来表现的数据相当于将颜 色空间上的像素分布变换为粗略数据，但是这种变换有平滑化效果。因 此，可以缓和像素分布中包含的误差/偏差，作为结果，还有可以提高类 似判断处理的可靠性的优点。
检查逻辑生成单元的检查逻辑生成处理也可按如下这样进行。
对于构成检查逻辑的参数中、作为从检查对象部件的拍摄图像中的 关注区域中提取特定的颜色区域用的参数的颜色条件，信息处理装置将 所述训练数据中的良品中的关注区域的各像素作为对象点，将所述训练 数据中的次品中的关注区域的各像素作为排除点，针对一个或多个颜色 特征量，求出所述多个对象点和排除点各自的颜色特征量的值的频度分 布，根据所述一个或多个颜色特征量的值的频度分布，求出将所述对象 点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜 色特征量的值的范围，将所述一个或多个颜色特征量的种类和值的范围 设定为用于从检查对象部件的拍摄图像的关注区域中提取特定的颜色区 域的颜色条件。由此，能够自动生成颜色条件。
另外，作为这里所用的颜色特征量，可以使用与在颜色分布趋势数 据的计算中所用的相同的颜色特征量。这是因为通过使用与在颜色分布 趋势数据的计算中所用的相同的特征量，可以期待明确地出现对象点的 分布和排除点的分布的差异。
对于构成检查逻辑的参数中、作为判断检查对象部件的安装状态的 良否用的参数的判断条件，信息处理装置分别从所述训练数据中的良品 的关注区域和次品的关注区域中提取满足所述颜色条件的像素区域，针 对一个或多个特征量，求出所述多个像素区域各自的特征量的值的频度 分布，根据所述一个或多个特征量的值的频度分布，求出将良品的特征 量的值和次品的特征量的值最佳地分离开的特征量的值的范围，将所述 一个或多个特征量的种类和值的范围设定为用于判断检查对象部件的安 装状态的良否的判断条件。由此，可以自动生成判断条件。
这里作为特征量，假定了像素区域的面积、面积比、长度、最大宽 度、重心、形状等各种特征。可以根据要通过检查来进行检测的对象， 采用一个或两个以上的优选特征量。
将通过上述处理自动生成的检查逻辑的参数存储在基板检查装置的 存储部中，提供给基板检查处理。
基板检查装置包括：存储部，其存储参数(颜色条件和判断条件)； 投光单元，其以不同的入射角向基板上的安装部件照射多种颜色的光； 区域提取单元，其从拍摄上述光的反射光而得到的图像的关注区域中提 取满足所述颜色条件的区域；以及检查单元，其根据所提取的区域具有 的特征量是否满足所述判断条件，来判断所述部件的安装状态的良否。
另外，本发明可以作为包括上述处理的至少一部分在内的检查逻辑 生成方法或作为用于实现该方法的程序来掌握。另外，本发明也可以作 为具有执行上述处理的装置中的至少一部分的基板检查装置的检查逻辑 设定装置、或具有该装置的基板检查装置来掌握。只要可能，上述各装 置和处理可以通过相互组合来构成本发明。
根据本发明，由于即使是样本数少的新部件，也可自动生成足够数 量的适当的训练数据，所以能够生成可靠性高的检查逻辑。进一步，可 以自动生成检查逻辑，可以实现训练作业的减轻、并进一步实现训练的 自动化。
为了实现上述目的，本发明中，通过下面的手段或处理来生成在基 板检查装置中使用的检查用的检查逻辑，其中所述基板检查装置通过检 查基板安装部件的拍摄图像中的关注区域的颜色，来判断所述部件的安 装状态的良否。另外，通过使信息处理装置根据程序而动作来实现下面 的手段或处理。
在生成新部件的检查逻辑时，图像取得单元取得新部件的拍摄图像； 颜色分布趋势计算单元根据所述新部件的拍摄图像，算出表示关注区域 的颜色分布的趋势的颜色分布趋势数据；类似部件选择单元分别针对多 个种类的过去部件取得颜色分布趋势数据，通过比较与所述新部件相关 的颜色分布趋势数据和与所述过去部件相关的颜色分布趋势数据，来选 出(识别)颜色分布趋势类似的过去部件；训练数据生成单元从存储所 述过去部件的拍摄图像的存储装置中读出所述选出的过去部件的拍摄图 像，根据所述新部件的拍摄图像和所述读出的过去部件的拍摄图像而生 成训练数据。并且，检查逻辑生成单元根据所述训练数据而生成所述新 部件的检查用的检查逻辑。
现有技术中，在生成新部件用的检查逻辑时，需要准备足够数量的 相同部件的良品/次品的样本图像来作为训练数据。与此相对，本发明中， 由于可以将与新部件颜色分布类似的过去部件的图像用于检查逻辑生成 中，所以新部件的样本图像较少就可以。另外，新部件的图像可以仅是 良品的图像，可以仅是次品的图像，也可以是良品和次品两方的图像。 作为过去部件的图像，最好准备良品和次品两方的图像。即，本发明根 据颜色分布趋势来识别与新部件的良/不良的表现方式类似的过去部件， 并利用所识别的过去部件的拍摄图像，来扩充(增加)新部件的拍摄图 像。
这里，在所述存储装置中还登记了部件的种类，优选所述类似部件 选择单元从与所述新部件种类相同的过去部件中选出颜色分布趋势类似 的部件。种类相同的部件之间在关注区域中出现类似趋势的颜色分布的 可能性高，并且很多时候不良情况的发生方式也类似。因此，在沿用过 去的图像时，选择妥当的(新部件和过去部件的适应度高的)图像的可 能性高。
颜色分布趋势数据也可根据根据由关注区域的像素得到的颜色特征 量的值在颜色空间上的分布而算出。作为颜色特征量，例如可以使用颜 色的强度、亮度、彩度、色调、刺激值、色度等。用于颜色分布趋势的 计算的颜色特征量的数目(上述颜色空间的维数)可以是一个也可以多 个。但是颜色特征量的数目越多(颜色空间的维数越高)，颜色分布趋势 数据的表现形式和类似判断处理(识别)可能变得越复杂，所以优选使 颜色特征量的数目是1～3左右。例如，可使用仅蓝色的强度的一维颜色 空间、蓝色的强度和亮度的二维颜色空间、亮度/色调/彩度和红/绿/蓝 这样的三维颜色空间等。
如本发明那样，如果目的为把握良品和次品的颜色分布的不同，则 二维颜色空间已足够。这时，优选在所述颜色分布趋势数据的计算中使 用的颜色特征量的种类是为了使由良品中的关注区域的像素得到的颜色 特征量的值的分布与由次品中的关注区域的像素得到的颜色特征量的值 的分布之间具有差异而选择的颜色特征量。由此，明确出现各种部件的 颜色分布趋势的不同。
颜色分布趋势数据可以是通过划分所述颜色空间的区的组合来表现 由关注区域的像素得到的颜色特征量的值的分布的数据。更优选的是， 所述颜色空间是二维颜色空间，所述区也可以将所述二维颜色空间划分 成网格状。根据这种表现形式，由于单纯化/形式化了颜色分布，所以可 以容易地把握颜色分布的趋势，同时颜色分布趋势的类似判断处理(识 别处理)变得极其简单。另外，通过区的组合来表现的数据相当于将颜 色空间上的像素分布变换为粗略数据，但是这种变换有平滑化效果。因 此，可以缓和像素分布中包含的误差/偏差，作为结果，还有可以提高类 似判断处理的可靠性的优点。
检查逻辑生成单元的检查逻辑生成处理也可按如下这样进行。
对于构成检查逻辑的参数中、作为从检查对象部件的拍摄图像中的 关注区域中提取特定的颜色区域用的参数的颜色条件，信息处理装置将 所述训练数据中的良品中的关注区域的各像素作为对象点，将所述训练 数据中的次品中的关注区域的各像素作为排除点，针对一个或多个颜色 特征量，求出所述多个对象点和排除点各自的颜色特征量的值的频度分 布，根据所述一个或多个颜色特征量的值的频度分布，求出将所述对象 点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜 色特征量的值的范围，将所述一个或多个颜色特征量的种类和值的范围 设定为用于从检查对象部件的拍摄图像的关注区域中提取特定的颜色区 域的颜色条件。由此，能够自动生成颜色条件。
另外，作为这里所用的颜色特征量，可以使用与在颜色分布趋势数 据的计算中所用的相同的颜色特征量。这是因为通过使用与在颜色分布 趋势数据的计算中所用的相同的特征量，可以期待明确地出现对象点的 分布和排除点的分布的差异。
对于构成检查逻辑的参数中、作为判断检查对象部件的安装状态的 良否用的参数的判断条件，信息处理装置分别从所述训练数据中的良品 的关注区域和次品的关注区域中提取满足所述颜色条件的像素区域，针 对一个或多个特征量，求出所述多个像素区域各自的特征量的值的频度 分布，根据所述一个或多个特征量的值的频度分布，求出将良品的特征 量的值和次品的特征量的值最佳地分离开的特征量的值的范围，将所述 一个或多个特征量的种类和值的范围设定为用于判断检查对象部件的安 装状态的良否的判断条件。由此，可以自动生成判断条件。
这里作为特征量，假定了像素区域的面积、面积比、长度、最大宽 度、重心、形状等各种特征。可以根据要通过检查来进行检测的对象， 采用一个或两个以上的优选特征量。
将通过上述处理自动生成的检查逻辑的参数存储在基板检查装置的 存储部中，提供给基板检查处理。
基板检查装置包括：存储部，其存储参数(颜色条件和判断条件)； 投光单元，其以不同的入射角向基板上的安装部件照射多种颜色的光； 区域提取单元，其从拍摄上述光的反射光而得到的图像的关注区域中提 取满足所述颜色条件的区域；以及检查单元，其根据所提取的区域具有 的特征量是否满足所述判断条件，来判断所述部件的安装状态的良否。
另外，本发明可以作为包括上述处理的至少一部分在内的检查逻辑 生成方法或作为用于实现该方法的程序来掌握。另外，本发明也可以作 为具有执行上述处理的装置中的至少一部分的基板检查装置的检查逻辑 设定装置、或具有该装置的基板检查装置来掌握。只要可能，上述各装 置和处理可以通过相互组合来构成本发明。
根据本发明，由于即使是样本数少的新部件，也可自动生成足够数 量的适当的训练数据，所以能够生成可靠性高的检查逻辑。进一步，可 以自动生成检查逻辑，可以实现训练作业的减轻、并进一步实现训练的 自动化。
附图说明
图1是表示本发明的实施方式的基板检查系统的硬件结构的图。
图2是表示基板检查装置的功能结构的图。
图3是表示焊脚的形状和拍摄图形的关系的图。
图4是表示基板检查处理的流程的流程图。
图5是表示良品图像和次品图像中的检查区域的二值化结果的一例 的图。
图6是表示检查逻辑设定装置的训练数据生成部的功能结构的图。
图7是表示训练数据生成处理的流程的流程图。
图8是表示颜色分布趋势数据生成处理的流程的流程图。
图9(a)是表示二维颜色直方图的一例的图，(b)是表示颜色分布 趋势数据的一例的图。
图10是表示颜色分布趋势数据的生成处理的图。
图11是表示颜色分布趋势的类似判断处理的一例的图。
图12是表示颜色分布趋势的类似判断处理的一例的图。
图13是表示检查逻辑设定装置的检查逻辑生成部的功能结构的图。
图14是表示检查逻辑生成处理的流程的流程图。
图15是表示良品图像和次品图像的一例的图。
图16是表示检查区域的提取处理的图。
图17是表示颜色范围的探索处理的图。
图18是表示良品和次品的面积直方图和阈值决定处理的图。
图19是表示色彩增强方式的基板检查装置的结构图。
图20是表示拍摄图像中出现的色彩图形的一例的图。
图21是表示颜色参数的设定支持工具的图。
图2是表示基板检查装置的功能结构的图。
图3是表示焊脚的形状和拍摄图形的关系的图。
图4是表示基板检查处理的流程的流程图。
图5是表示良品图像和次品图像中的检查区域的二值化结果的一例 的图。
图6是表示检查逻辑设定装置的训练数据生成部的功能结构的图。
图7是表示训练数据生成处理的流程的流程图。
图8是表示颜色分布趋势数据生成处理的流程的流程图。
图9(a)是表示二维颜色直方图的一例的图，(b)是表示颜色分布 趋势数据的一例的图。
图10是表示颜色分布趋势数据的生成处理的图。
图11是表示颜色分布趋势的类似判断处理的一例的图。
图12是表示颜色分布趋势的类似判断处理的一例的图。
图13是表示检查逻辑设定装置的检查逻辑生成部的功能结构的图。
图14是表示检查逻辑生成处理的流程的流程图。
图15是表示良品图像和次品图像的一例的图。
图16是表示检查区域的提取处理的图。
图17是表示颜色范围的探索处理的图。
图18是表示良品和次品的面积直方图和阈值决定处理的图。
图19是表示色彩增强方式的基板检查装置的结构图。
图20是表示拍摄图像中出现的色彩图形的一例的图。
图21是表示颜色参数的设定支持工具的图。
具体实施方式
下面，参考附图，示例地详细说明本发明的优选实施方式。
(基板检查系统的结构)
图1表示本发明的实施方式的基板检查系统的硬件结构。
基板检查系统由执行基板检查处理的基板检查装置1、自动生成在该 基板检查装置1的基板检查处理中使用的检查逻辑的检查逻辑设定装置2 构成。基板检查装置1和检查逻辑设定装置2可以经有线或无线网络， 或MO(磁光盘)和DVD等记录介质，进行图像和参数等电子数据的交换。 另外，虽然本实施方式中基板检查装置1和检查逻辑设定装置2为分开 的结构，但是也可在基板检查装置主体中嵌入检查逻辑设定装置的功能 而一体构成。
(基板检查装置的结构)
基板检查装置1是向基板照射彩色光来对其进行拍摄，并使用所拍 摄的图像来自动检查基板20上的安装部件21的安装质量(焊接状态等) 的装置。基板检查装置1大致上具有X载物台22、Y载物台23、投光部 24、摄像部25和控制处理部26。
X载物台22和Y载物台23分别具有根据来自控制处理部26的控制 信号而动作的电机(未图示)。通过这些电机的驱动，X载物台22使投光 部24和摄像部25向X轴方向移动，另外，Y载物台23使支撑基板20的 传送装置27向Y轴方向移动。
投光部24由具有不同的直径、且根据来自控制处理部26的控制信 号而同时照射红色光、绿色光、蓝色光的三个圆环状光源28、29、30构 成。各光源28、29、30在观测位置的正上方位置处中心对齐，且被配置 在从观测位置观看与不同的仰角对应的方向上。通过该配置，投光部24 以不同的入射角将多种颜色的光(本实施方式中为R、G、B三色)照射 到基板20上的安装部件21上。
摄像部25是彩色摄像机，朝向下方被定位在观测位置的正上方位置 上。由此，通过摄像部25来拍摄基板表面的反射光，并转换为三原色的 彩色信号R、G、B，提供给控制处理部26。
控制处理部26由A/D转换部33、图像处理部34、检查逻辑存储部 35、判断部36、摄像控制器31、XY载物台控制器37、存储器38、控制 部(CPU)39、存储部32、输入部40、显示部41、打印机42和通信I/F 43等构成。
A/D转换部33是输入来自摄像部25的彩色信号R、G、B而转换为 数字信号的电路。将各个色调的数字量的浓淡图像数据传送到存储器38 内的图像数据存储区域。
摄像控制器31是具有用于连接控制部39与投光部24及摄像部25 的接口等的电路，根据控制部39的输出，来进行调整投光部24的各光 源28、29、30的光量，或保持摄像部25的各色调光输出的相互平衡等 的控制。
XY载物台控制器37是具有用于连接控制部39与X载物台22及Y 载物台23的接口等的电路，根据控制部39的输出来控制X载物台22和 Y载物台23的驱动。
检查逻辑存储部35是存储用于基板检查处理中的检查逻辑的存储 部。在基板检查装置1中，可以进行检查焊锡形状的焊脚检查和检查部 件的脱落的脱落检查等多种检查处理。检查逻辑是针对每个检查种类而 准备的，由用于规定图像中的检查对象范围(检查区域)的区域条件、 用于从检查区域内的图像中提取预定的色彩图形(像素区域)的颜色条 件、用于判断该色彩图形的良否的判断条件等构成。区域条件是例如“从 引线前端起在与引线垂直的方向上±10像素，沿引线的方向上20像素的 范围”那样，规定图像中的检查区域的位置、大小、范围等的条件。颜 色条件是例如“像素的亮度是150到250之间，且蓝色信号的强度为150 到180之间”那样，规定关注的颜色特征量(在该例中，为亮度和蓝色 信号的强度)及该颜色特征量的值的范围的条件。判断条件是例如如“面 积大于等于检查区域的60％”那样，规定关注的特征量(在该例中为面 积)及该特征量的值的范围(在该例中为阈值)的条件。
图像处理部34是执行如下处理的电路：从拍摄基板20上的部件21 而得到的图像中提取由区域条件规定的检查区域的处理、从检查区域的 图像(检查图像)中提取满足颜色条件的区域的处理、和根据所提取的 区域算出在判断条件中使用的特征量的值。判断部36是执行如下处理的 电路：接收由图像处理部34算出的特征量的值，根据该特征量的值是否 满足判断条件来判断部件的安装状态的良否。
输入部40由输入操作信息和与基板20相关的数据等所需的键盘或 鼠标等构成。将输入的数据提供给控制部39。通信I/F 43用于与检查逻 辑设定装置2和其它的外部装置等之间进行数据的收发。
控制部(CPU)39是执行各种运算处理和控制处理的电路。存储部 32是由硬盘或存储器构成的存储装置，除了存储由控制部39执行的程序 之外，还存储基板的CAD信息、基板检查处理的判断结果等。
图2表示基板检查装置1的功能结构。基板检查装置1具有指示信 息接受功能10、基板搬入功能11、CAD信息读取功能12、载物台操作功 能13、拍摄功能14、检查逻辑读取功能15、检查功能16、判断结果写 入功能17和基板搬出功能18。这些功能是通过控制部39根据在存储部 32中存储的程序来控制上述硬件而实现的。另外，在存储部32的内部设 置有存储CAD信息的CAD信息存储部32a和存储判断结果的判断结果存 储部32b。
(基板检查处理)
接着，描述上述基板检查装置1中的基板检查处理。这里，作为基 板检查处理的一例，说明焊脚检查。所谓焊脚检查是指判断焊脚的形状 是否良好的处理。
如图3的上部分所示，良品的焊脚中，从部件21向着基板20上的 焊盘形成山麓那样的宽的倾斜面。与此相对，若发生焊锡不足，则倾斜 面的面积减小，相反，在焊锡过多的情况下，焊脚成为在焊盘上隆起的 形状。
当由基板检查装置1拍摄这些焊脚时，分别得到如图3的下部分所 示的图像。由于红色、绿色、蓝色的照射光分别以不同的角度入射到焊 脚上，所以根据焊脚的斜率，入射到摄像部25中的反射光的色调发生变 化。即，在斜率急剧的部分入射角度最小的蓝色光的反射光是主导性的， 与此相对，在几乎没有斜率的部分红色光的反射光成为主导。因此，良 品的焊脚中蓝色色调区域大，次品的焊脚中蓝色之外的色调的区域大。
在本实施方式的焊脚检查中，利用这种色彩图形的趋势，根据蓝色 区域的大小(面积)来进行焊脚良否的判断。下面，沿着图4的流程图， 来具体说明焊脚检查的处理的流程。
指示信息接受功能10处于等待状态，直到输入了指示基板检查的执 行的指示信息(步骤S100：否，步骤S101)。当通过输入部40的操作， 或经通信I/F 43从外部设备输入了指示信息时，指示信息接受功能10 将指示信息传送给基板搬入功能11、CAD信息读取功能12和检查逻辑读 取功能15(步骤S100：是)。该指示信息中包含作为检查对象的基板的 信息(型号等)。
另外，基板搬入功能11根据指示信息，从印刷基板搬入部将作为检 查对象的基板20搬入到传送装置27上(步骤S102)，CAD信息读取功能 12从CAD信息存储部32a中读取与基板的型号对应的CAD信息(步骤 S103)。该CAD信息中包含基板20的尺寸、形状，同时包含在基板20上 安装的部件的种类、数量、各自的安装位置的信息。
检查逻辑读取功能15根据从所述CAD信息中取得的部件种类，从检 查逻辑存储部35中读取焊脚检查用的检查逻辑(步骤S104)。检查逻辑 中包含区域条件、颜色条件和判断条件。
接着，载物台操作功能13从所读取的CAD信息中得到基板20的尺 寸、形状、部件的配置等信息，并经由XY载物台控制器37来操作X载 物台22和Y载物台23，使得在基板20上所安装的多个部件21依次对准 观测位置(摄像位置)(步骤S105)。
另一方面，摄像功能14通过摄像控制器31使投光部24的三个光源 28、29、30发光，同时向基板20上照射红色、绿色、蓝色的光。另外， 摄像功能14通过摄像控制器31控制摄像部25，与载物台22、23的操作 相同步地拍摄基板20上的部件21(步骤S106)。将所拍摄的图像取入到 存储器38中。
接着，检查功能16通过图像处理部34从拍摄图像中提取检查区域 (步骤S107)。这里提取的检查区域是由检查逻辑的区域条件规定的区 域。例如利用相对于拍摄图像的相对坐标、相对于拍摄图像中的焊盘区 域或部件区域的相对坐标等来规定区域条件。在本实施方式中，如图5 所示，使用通过相对于焊盘区域72的上下左右的相对坐标(由像素数或 比例来指定)来规定的矩形的区域条件。由区域条件规定的检查区域73 的形状并不限于矩形，也可以是圆形、椭圆形、多边形、自由形状等任 意形状。另外，拍摄图像中的焊盘区域或部件区域的确定例如可以通过 模板匹配来自动进行。
接着，检查功能16使用颜色条件对所提取的检查区域进行二值化 (步骤S108)。并且，这里，假定蓝色信号的强度和亮度都取0到255的 256个等级的值。这里所用的颜色条件由蓝色信号的强度的下限和上限、 亮度的下限和上限4个值构成。二值化处理中，将颜色条件中定义的颜 色范围内包含的像素转换为白色像素，将除此之外的像素转换为黑色像 素。
图5的右侧表示二值化后的检查区域。可知，通过利用颜色条件进 行二值化，作为白色像素而提取出了检查区域中的蓝色系颜色的区域， 明确了良品图像和次品图像之间的差异(特征)。
接着，检查功能16根据判断条件，利用图像处理部34提取白色像 素区域的特征量，并将该值传递到判断部36。判断部36根据该值是否满 足判断条件来进行判断(步骤S109、S110、S111)。在本实施方式中，使 用白色像素区域的面积值作为特征量，若其面积值超过了阈值，则将该 部件21的焊接安装质量判断为良。
判断结果写入功能17将上述判断结果与位置ID(用于确定部件的 信息)一起写入到判断结果存储部32b中(步骤S112)。
若对基板20上的所有的部件进行了检查，则基板搬出功能18通过 印刷基板搬送部来搬出基板20，结束基板检查处理(步骤S113)。
根据以上所述的基板检查处理，由于可以通过在二维图像中出现的 色彩图形来可靠地把握焊脚的三维形状，所以可以准确判断焊接安装质 量(安装状态)的良否。进一步，从拍摄图像中提取明确出现良品和次 品的差异的部位(检查区域)，并使用该检查区域来进行检查，所以可以 得到良好的判断精度。
但是，为了实现不漏过次品、且过检在允许值以下的高判断精度， 必须依据检查对象预先将检查逻辑的颜色条件和判断条件设定为最佳 值。在本实施方式中，检查逻辑的生成(训练)是通过检查逻辑设定装 置2来自动进行的。下面详细进行说明。
(检查逻辑设定装置的结构)
检查逻辑设定装置2如图1所示，由具备CPU、存储器、硬盘等存 储装置、I/O控制部、通信I/F、显示部、信息输入部(键盘或鼠标)等 作为基本硬件的通用计算机(信息处理装置)构成。
检查逻辑设定装置2的功能主要由用于生成在训练中使用的训练图 像信息(训练数据)的训练数据生成部、和用于由训练图像信息而生成 检查逻辑的检查逻辑生成部构成。
(训练数据生成处理)
图6是表示训练数据生成部的功能结构的框图。训练数据生成部具 有指示信息接受功能50、图像取得功能51、颜色分布趋势计算功能52、 类似部件选择功能53和训练数据生成功能54。这些功能是通过由CPU读 入并执行在存储器或存储装置中存储的程序而实现的。
另外，在检查逻辑设定装置2的存储装置内设置有存储过去处理过 的部件的颜色分布趋势数据的颜色分布趋势DB 55、存储通过基板检查装 置1拍摄的部件的图像的部件图像DB 56、和存储训练图像信息的训练图 像信息DB 57。部件图像DB 56中存储了作为训练数据生成处理和检查逻 辑生成处理的对象的部件(新部件)的拍摄图像和过去处理过的部件(过 去部件)的拍摄图像。
参考图7的流程图，来说明训练数据生成处理的流程。
首先，指示信息接受功能50从用户接受与训练数据的生成相关的指 示信息(步骤S200)。该指示信息中包含与作为处理对象的新部件(下面 称作“部件P1”)相关的信息(部件的种类等)、用于指定在部件图像DB 56中存储的部件P1的拍摄图像的信息、和用于指定作为目的的检查的信 息(检查种类等)等。
接着，图像取得功能51从部件图像DB 56中取得部件P1的拍摄图 像(步骤S201)。拍摄图像是通过基板检查装置1拍摄预先准备的部件 P1的多个样本而得到的。
接着，图像取得功能51判断所取得的拍摄图像(即，部件P1的样 本)是否满足生成该检查用的检查逻辑所必需的条件(步骤S202)。具体 的，若分别存在大于等于预定的要求数目的良品样本数(图像数)和次 品样本数(图像数)，则判断为可生成检查逻辑。要求数目的设定虽然是 用户任意所为，但是为了生成可靠性高的检查逻辑，一般最好有几百～ 几千的样本数。
这里，举良品和次品的样本数都没有达到要求数目的情况为例。即， 说明由数量较少的样本图像生成足够数量的训练数据的过程。
在拍摄图像比要求数目少的情况下(步骤S202：否)，颜色分布趋 势计算功能52根据部件P1的拍摄图像而算出颜色分布趋势数据(步骤 S203)。颜色分布趋势数据表示拍摄图像中的关注区域的颜色分布的趋 势。
沿着图8的流程图，来说明颜色分布趋势数据生成处理的流程。
首先，从各拍摄图像中提取关注区域(步骤S300)。将该关注区域 设定为与检查时检查颜色的检查区域相同的范围。按每个检查种类来预 先设定关注区域，例如，若是焊脚检查，则是焊锡部分和焊盘部分，或 者，若是部件的脱落检查，则是部件部分。可以通过模板匹配等图像识 别处理来自动进行关注区域的提取。
接着，求出所提取的关注区域的所有像素的颜色特征量的值在颜色 空间上的分布(步骤S301)。这时，求出良品中的关注区域的像素(下面 称作“良点”)的分布和次品中的关注区域的像素(下面称作“不良点”)， 的分布，以使它们可相互区别。下面，为了具有视觉效果地说明该颜色 分布，使用颜色直方图。所谓颜色直方图是指在以颜色特征量为轴的多 维颜色空间内的各点上记录像素的频度(个数)的图。通过颜色直方图， 可以把握拍摄图像中的关注区域的颜色分布。
一般颜色空间是由三种以上的颜色特征量构成的多维空间。因此， 为了准确把握像素的颜色分布，最好考虑至少两个以上的颜色特征量。 但是，在本实施方式的方式中，由于使用红/绿/蓝三色光源，所以在拍 摄图像上具有特征性地出现各种颜色的情况很多。尤其在发生镜面反射 的部分中，根据该部分的倾斜角度，光源中使用的三种颜色中的任意一 种强烈出现的情况很多。在本实施方式中，在焊脚作为检查对象的情况 下，若为良好，则具有蓝色系颜色强烈出现的趋势，若不良，则具有红 色系颜强烈出现的趋势。因此，若目的是把握良品和次品的颜色分布的 差异，则对于色调，考虑一种颜色(例如蓝色)或两种颜色(例如蓝色 和红色)的颜色特征量即认为足够了。对于颜色特征量的种类，可进行 选择，使得由良品中的关注区域的像素得到的颜色特征量的值的分布和 由次品中的关注区域的像素得到的颜色特征量的值的分布之间出现明确 的差异。这是因为，由此可明确地出现每种部件种类的颜色分布趋势的 不同。因此，在本实施方式中，作为具有在良品的关注区域中包括很多、 且在次品的关注区域中几乎不包括的趋势的色调而选择蓝色，针对每个 蓝色的强度和亮度的组合来计算频度。
图9(a)表示二维颜色直方图的一例。图9(a)的横轴是蓝色的强 度，纵轴是亮度的值，都用0到255的256个等级的数值来表示。对于 蓝色的强度，越接近于0，蓝色信号的强度越弱，即表示像素中不包含蓝 色成分，越接近于255，表示蓝色的强度越强。对于亮度，值越大表示亮 度越强。图中的白圈(○)表示良点的频度大于等于1的点，黑三角(▲) 表示不良点的频度大于等于1的点。另外，白圈和黑三角除了(蓝色的 强度、亮度)之外，还具有频度(具有该颜色的像素的个数)的数据。 但是，由于下面所述的颜色分布趋势数据的计算中不需要频度的信息， 所以在训练数据生成处理时，也可以是(蓝色的强度、亮度)的二维数 据。
也可将图9(a)所示的颜色直方图本身作为颜色分布趋势数据来使 用，但是在本实施方式中，如图9(b)所示，将对颜色直方图进行加工 (舍入处理)而使颜色分布的趋势更单纯化/形式化后得到的结果用作颜 色分布趋势数据。
图10表示颜色分布趋势数据的生成方法。首先，将颜色直方图的二 维颜色空间划分成网格状(步骤S302)。在图10(a)的例子中，划分为 横8×纵8的64个区。下面，将横方向的划分标记为A～H，将纵方向的 划分标记为1～8，并如区A1那样来标记划分A和划分1相交的区。另外， 划分数并不限于8而是任意的。另外，如图10(b)所示，为了在舍入误 差的计算中使用，将区进一步划分为横3×纵3的9个子区。
颜色分布趋势计算功能52调查颜色直方图上的各个像素点属于哪 个区，进一步属于哪个子区。并且，将点所属的区设定为命中检查判断 区，同时，根据点所属的子区的位置(即，良点距区中心的偏移量)在 上述命中检查判断区的周围设定屏蔽区。
所谓命中检查判断区是在后述的类似判断处理(识别处理)中在命 中屏蔽和命中检查判断这两者中使用的区，所谓屏蔽区是指在类似判断 处理中仅用于命中屏蔽的区。这里，在像素点存在于左上的子区中时， 将该区的左/左上/上三个区作为屏蔽区。同样，在像素点存在于中央上 的子区中时，将左上/上/右上三个子区作为屏蔽区，在像素点存在于右 上的子区中时，将上/右上/右三个区作为屏蔽区，在像素点存在于左中 央的子区中时，将左上/左/左下三个区作为屏蔽区，在像素点存在于右 中央的子区中时，将右上/右/右下三个区作为屏蔽区，在像素点存在于 左下的子区中时，将左/左下/下三个区作为屏蔽区，在像素点存在于中 央下的子区中时，将左下/下/右下三个区作为屏蔽区，在像素点存在于 右下的子区中时，将下/右下/右三个区分别选为屏蔽区。这种屏蔽区相 当于像素位置的舍入误差。另外，在像素点存在于区的中央的子区中时， 不设定屏蔽区。
若举具体例，在图10(b)的点X1的情况下，将区F4设定为命中 检查判断区，将区E4、E5、F5设定为屏蔽区。另外，在点X2的情况下， 将区G6设定为命中检查判断区，将区H5、H6、H7设定为屏蔽区。另外， 在对一个区进行多次设定时，使命中检查判断区的设定比屏蔽区优先。
在对所有良点设定了命中检查判断区和屏蔽区后(步骤S303、图10 (c))，接着，对所有不良点设定命中检查判断区和屏蔽区(步骤S304， 图10(d))。但是，在处理不良点时，避开已经用良点进行了设定的区。
对良点和不良点实施舍入处理，生成如图9(b)所示的颜色分布趋 势数据。该颜色分布趋势数据相当于通过区的组合来表现由关注区域的 像素得到的颜色特征量的值在颜色空间上的分布(颜色分布)的数据。 根据这种表现形式，由于像素的颜色分布被单纯化/形式化，所以与观看 颜色直方图上的像素分布相比，可以更容易地把握颜色分布的趋势。尤 其，由于是计算机容易处理的形式，所以颜色分布趋势的类似判断处理 (识别处理)变得极其简单。另外，虽然通过区的组合来表现的数据相 当于将二维颜色空间上的像素分布转换为粗略数据而得到的结果，但是 这种转换具有平滑化效果。因此，可以缓和像素分布中包含的误差/偏差， 结果，还有提高了类似判断处理的可靠性的优点。进一步，上述颜色分 布趋势数据还有与颜色直方图相比，数据量极小的优点。例如，由于一 个区只要取良点的命中检查判断区(带阴影线的白圈所示)、良点的屏蔽 区(黑圈所示)、不良点的命中检查判断区(带阴影线的白三角所示)、 不良点的屏蔽区(黑三角所示)、没有设定这5个状态即可，所以即使对 各状态分配1位，也可以用5位来表示一个区。
将通过上述处理算出的部件P1的颜色分布趋势数据存储在颜色分 布趋势DB 55中。另外，在颜色分布趋势DB 55中，与部件的种类、检 查种类等一起存储了过去处理过的多个部件的颜色分布趋势数据。
接着，类似部件选择功能53比较与部件P1相关的颜色分布趋势数 据和与颜色分布趋势DB 55中登记的过去部件相关的颜色分布趋势数据， 选出颜色分布趋势类似的过去部件(步骤S204)。如下所述来进行颜色分 布趋势的类似判断(识别)。
在将命中检查判断区的集合标记为HB，将命中检查判断区和屏蔽区 的集合标记为MB，将与部件PX相关的集合标记为HBX、MBX的情况下， 若
同时为真，则判断为部件P1和过去部件P2类似，若上述式中的任 意一方为伪，则判断为部件P1、P2不类似。其中，记号“∩”表示两个 集合的积，记号表示右侧的集合是左侧的集合的子集。
即，在本实施方式中，通过求出包含舍入误差的颜色分布范围(MB1、 MB2)的积集合(MB1∩MB2)，大大缩小两部件P1、P2的共同分布范围(命 中屏蔽)，根据在该共同分布范围内是否包含两部件P1、P2的不含有舍 入误差的颜色分布范围(HB1、HB2)来判断类似/不类似。
图11、图12表示类似判断处理的具体例。由于部件P1和部件P2 满足上述式，故判断为类似。另一方面，由于HB1不是(MB1∩MB3)的 子集，所以将部件P1和部件P3判断为不类似。
另外，该类似判断分别对良品的颜色分布、次品的颜色分布独立进 行。若要检索良/不良的颜色分布均类似的部件，只要进行两个分布的类 似判断即可。在仅能准备良品作为新部件P1的样本的情况下，也可仅进 行良品的颜色分布的类似判断。在仅能准备次品作为新部件P1的样本的 情况下，也可仅进行次品的颜色分布的类似判断。另外，由于一般部件 的种类相同(类似)的部件彼此颜色分布趋势也类似，所以也可从与部 件P1种类相同的过去部件中选出颜色分布趋势类似的部件，而不是对在 颜色分布趋势DB 55中登记的所有过去部件进行类似判断。
另外，若发现多个类似的部件，则类似部件选择功能53也可选出这 些所有部件，也可仅选出类似度最高的部件。例如也可通过下式来求出 部件P1和部件P2的类似度。
类似度＝(HB1∩HB2)中包含的区数/(HB1∪HB2)中包含的区数
这样，若选出了与部件P1颜色分布趋势类似的过去部件，则训练数 据生成功能54从部件图像DB 56中读出该过去部件的拍摄图像(步骤 S205)。并且，根据部件P1的拍摄图像和过去部件的拍摄图像而生成部 件P1的检查逻辑生成用的训练图像信息(训练数据)(步骤S206)。训练 图像信息中包含拍摄图像和表示其为良品图像还是次品图像的训练信 息。将所生成的训练图像信息存储在训练图像信息DB 57中。
通过以上所述的处理，根据颜色分布趋势，来识别良/次的出现方式 与新部件P1类似的过去部件，利用(沿用)该识别的过去部件的拍摄图 像，来扩充(增加)部件P1的拍摄图像。由此，即使部件P1的样本数 没有达到要求数目，也可准备对于检查逻辑的生成来说足够数量的训练 图像信息。将这里所生成的训练图像信息提供给检查逻辑生成部中的检 查逻辑生成处理。
(检查逻辑生成处理)
图13是表示检查逻辑生成部的功能结构的框图。检查逻辑生成部具 有指示信息接受功能60、训练图像信息读取功能61、图像取得功能62、 划分功能63、频度计算功能64、颜色范围探索功能65、二值化功能66、 特征量直方图生成功能67、阈值决定功能68、检查逻辑生成功能69、检 查逻辑写入功能70。这些功能是通过由CPU读取并执行在存储器或硬盘 中存储的程序来实现的。
沿着图14的流程图，来说明检查逻辑生成处理的流程。另外，在本 实施方式中，举出生成在上述焊脚检查中使用的检查逻辑的例子。
指示信息接受功能60处于等待的状态，直到输入了指示检查逻辑的 自动生成的指示信息(步骤S400：否，步骤S401)。当从信息输入部输 入了指示信息时，指示信息接受功能60将指示信息传递到训练图像信息 读取功能61(步骤S400；是)。该指示信息中包含用于指定作为检查逻 辑生成的对象的部件P1的训练图像信息的信息、和检查逻辑的种类(检 查类型)等。
训练图像信息读取功能61根据指示信息，从训练图像信息DB 57中 读入与待生成的检查逻辑对应的训练图像信息(步骤S402)。如上所述， 该训练图像信息除了部件P1的图像之外，还包含部件P2的图像。训练 图像信息中包含良品图像(拍摄到了良好形状的焊脚的图像)和次品图 像(拍摄到了不良形状的焊脚的图像)。对这些图像赋予了训练信息。
图15表示良品图像和次品图像的例子。在良品图像中，在部件80 两端的焊盘区域81上形成良好的焊脚。对各个焊盘区域81赋予训练信 息“良”。另一方面，在次品图像中，部件82被斜着安装，在一侧的焊 盘区域83中产生了焊接不良。因此，对该焊盘区域83赋予训练信息“不 良”。另外，对相反侧的焊盘区域84赋予训练信息“忽略”。
若读入了训练图像信息，图像取得功能62从训练图像信息中提取赋 予了训练信息的检查区域(步骤S403)。图像取得功能62如图16所示， 具有由焊盘窗85和部件主体窗86构成的模板，在将模板放大/缩小、或 错开焊盘窗口85和部件主体窗口86的相对位置的同时，使各窗口85、 86与图像中的焊盘区域81、83、84和部件80、82对准。窗口的对准也 可使用例如模板匹配等方法。由此，分别针对良品图像和次品图像确定 了焊盘区域。在本实施方式中，作为关注区域，从焊盘窗口85中提取除 去与部件主体窗口86重合的部分后的部分(参考图16的斜线部分)。另 外，在部件P1和P2的形状、大小等不同的情况下，根据各部件种类来 准备模板。
接着，划分功能63根据训练信息，将所提取的检查区域划分为对象 图像和排除图像(步骤S404)。在本例中，由于目的是良品检测，所以将 赋予了训练信息“良”的检查区域作为对象图像，将赋予了训练信息“不 良”的检查区域作为排除图像。忽略被赋予了训练信息“忽略”的检查 区域。
这里提取的对象图像表示良好的焊脚，另外，排除图像表示不良的 焊脚。由此，生成焊脚检查用的最佳颜色条件等价于求出颜色范围的最 佳解，该颜色范围的最佳解使得尽可能多地包含对象图像的像素的颜色， 且能基本上将排除图像的像素的颜色排除出去。
因此，首先，频度计算功能64求出对象图像和排除图像的所有像素 的颜色特征量的值的频度分布(步骤S405)。这时，将对象图像的像素作 为“对象点”，将排除图像的像素作为“排除点”，以可相互区别的形式 来进行频度的计算。对于这里所使用的颜色直方图，使用具有与训练数 据生成处理中使用的颜色直方图相同的轴的颜色直方图。
图17(a)表示二维颜色直方图的一例。图17(a)的横轴是蓝色的 强度，纵轴是亮度的值，都用0到255的256个等级的数值来表示。对 于蓝色的强度，越接近于0表示蓝色信号的强度越弱，即表示像素中不 包含蓝色成分，越接近于255表示蓝色的强度越强。对于亮度，值越大 表示亮度越强，图中的白圈(○)表示对象图像的像素(对象点)的频 度是大于等于1的点，黑三角(▲)表示排除图像的像素(排除点)的 频度为大于等于1的点。白圈和黑三角保持了(蓝色的强度、亮度、频 度)的三维数据。
接着，颜色范围探索功能65根据如图17(a)所示的对象点和排除 点各自的频度分布，来探索将对象点的颜色分布和排除点的颜色分布最 佳地区分开的颜色范围(步骤S406)。在本实施方式中，为了简化算法， 如图17(a)所示，求出强度的下限(BInf)和上限(BSup)、亮度的下 限(LInf)和上限(LSup)四个值。这里应求出的最佳解是构成尽可能 多地包含对象点(○)、且几乎不包含排除点(▲)的颜色范围的4个值 的组合(BInf、BSup、LInf、LSup)。
具体的，颜色范围探索功能65边改变BInf、BSup、LInf、LSup各 自的值，边对各颜色范围算出频度总计值E(参考式1)，求出频度总计 值E最大的颜色范围。频度总计值E是表示颜色范围中包含的对象点的 数目(频度)和排除点的数目(频度)之差的指标。图17(b)表示频度 总计值E为最大的颜色范围。
【式1】
b：蓝色的强度
l：亮度
S(b，l)：点(b，l)处的对象点的频度
R(b，l)：点(b，l)处的排除点的频度
并且，颜色范围探索功能65将频度总计值E为最大的颜色范围设定 为检查用的颜色条件。这样，根据本实施方式，可自动地生成将对象图 像(对象点)和排除图像(排除点)适当地区分开的颜色特征量和其值 的组合，并设定为颜色条件。
接着，使用上述颜色条件，来执行自动生成检查用的判断条件的处 理。
首先，二值化功能66使用上述颜色条件，将良品图像和次品图像的 所有的检查区域二值化(步骤S407)。在该二值化处理中，将在由颜色条 件所定义的颜色范围内包含的像素转换为白色像素，将除此之外的像素 转换为黑色像素。
当利用上述颜色条件来进行二值化时，良品图像中白色像素的区域 非常大，次品图像中白色像素的区域极小(参考图5)。由此，当利用这 种二值化图像时，定量计算用于识别良品/次品的特征量变得容易。作为 特征量，可举出白色像素区域的面积、面积比、重心、长度、最大宽度、 形状等，但是这里选择面积作为特征量。另外，也优选组合多种特征量， 而不是一种特征量。并且，与上述颜色特征量的情况相同，也可预先决 定特征量的种类，也可对于多个特征量候选进行下面描述的阈值计算处 理，动态地采用可将良品图像和次品图像最佳地分离开的特征量和阈值 的组或它们的组合作为判断条件。
特征量直方图生成功能67为了把握良品图像的特征量的分布趋势 和次品图像的特征量的分布趋势之间的差别，对良品图像、次品图像分 别求出白色像素区域的面积值的频度分布(步骤S408)。这里为了视觉地 表示面积值的频度分布，而使用面积直方图。图18表示良品图像和次品 图像的面积直方图(下面，简称作“良品直方图”、“次品直方图”)的一 例。可以知道良品图像的特征量分布和次品图像的特征量分布出现明确 的不同。
接着，阈值决定功能68根据良品直方图和次品直方图的频度分布， 算出将良品图像的特征量的值和次品图像的特征量的值最佳地分离开的 阈值(步骤S409)。提出了各种将特征量直方图中出现的2个峰最佳地分 离开的方法，这里也可采用任何方法。例如，也可使用大津的判别分析 法，或也可根据经验将离开良品图像的峰端3σ的点决定为阈值。这样， 生成了判断良品和次品用的阈值。
并且，检查逻辑生成功能69根据颜色条件和判断条件而生成检查逻 辑(步骤S410)，检查逻辑写入功能70将该检查逻辑写入到基板检查装 置1的检查逻辑存储部35中(步骤S411)。
根据以上所描述的检查逻辑生成处理，由于自动生成基板检查处理 中所用的检查逻辑，所以可以大幅度削减训练所需的时间和负荷。
并且，由于即使是样本数少的新部件，也可自动生成足够数量的适 当的训练数据(训练图像信息)，所以可以生成可靠性高的检查逻辑。结 果，可以高精度地进行部件安装状态的良否的判断。
<变形例>
上述实施方式不过示例了本发明的一个具体例。本发明的范围并不 限于上述实施方式，可以在其技术思想的范围内进行各种变形。
例如，在上述实施方式中，准备了良品和次品的样本作为新部件P1 的样本，但是实际上还存在准备次品的样本也困难的情况。这时，也可 根据良品的样本图像而生成与良品相关的颜色分布趋势数据，选出良品 的颜色分布趋势类似的过去部件，根据部件P1的良品图像和选出的过去 部件的次品图像而生成部件P1用的训练数据。进一步，在还需要增加良 品图像数量的情况下，也可使用过去部件的良品图像。
另外，在上述实施方式中，直接使用了过去部件的拍摄图像，但是 也可根据需要使用对拍摄图像施加变形或校正后的图像。例如，在新部 件和过去部件中关注区域的形状和大小等不同的情况下，也可通过变形/ 放大/缩小过去部件的拍摄图像来使形状和大小与新部件的拍摄图像相 符。
另外，在上述实施方式中，虽然将焊锡部分(焊盘部分)作为关注 区域，但是关注区域的部位也可根据检查种类等来适当设定。例如，在 根据部件的有/无来检查部件的脱落的情况下，或调查部件主体的边缘的 位置和角度来检查部件的偏移的情况下，将部件主体部分设定为关注区 域。若关注区域中出现了部件主体的颜色，则判断为良品，若出现基板 的颜色，则判断为次品(部件脱落)。在这种检查中，需要用来训练部件 主体的颜色的样本图像和用来训练基板的颜色的样本图像。这种情况下 若新部件的样本数少，或仅有部件主体或基板的样本，与上述实施方式 相同，可以从过去部件中沿用部件主体和基板的颜色分布趋势类似的部 件。
另外，在上述实施方式中，存储/沿用了原图像作为过去部件的拍摄 图像，但是也可将对原图像实施了适当的处理后得到的图像作为拍摄图 像来进行存储/沿用。例如，也可将像素映射后的颜色直方图存储在部件 图像DB中。由此，可以减轻检查逻辑生成处理的负担。即，本发明的拍 摄图像除了原图像本身之外，还包括对原图像实施了(为了成为适合于 存储、沿用、检查逻辑生成处理的数据形式)处理后得到的数据。
另外，在本实施方式中，由亮度的上限值和下限值、蓝色的强度的 上限值和下限值四个颜色参数来构成颜色条件，但是参数也可以是关注 于其它颜色特征量。作为颜色特征量，可以使用蓝、红、绿、青蓝色、 品红、黄等颜色的强度、亮度、彩度、色调、CIEXYZ中的刺激值X、Y、 Z、色度x、y、z、CIELAB中的L*、a*、b*、CIELUV中的L*、u(u’)、 v(v’)等。另外，构成颜色条件的颜色特征量的数目并不限于两种， 也可以是一种，也可组合三种以上。即，可以依据所拍摄的图像中的检 查区域具有的颜色图形的趋势来适当选择颜色条件中采用的颜色参数。 另外，也优选不预先决定颜色参数，而准备多个由一个或多个颜色特征 量构成的颜色特征量候选，对于各个颜色特征量候选进行上述的频度分 布的计算处理和颜色条件计算处理，从中采用最佳的颜色特征量来作为 颜色条件。这时，对于各颜色特征量候选的频度分布，也可求出对象点 和排除点的分离度(在本实施方式中，最大的频度总计值E相当于分离 度)，通过比较相互的分离度，来决定要采用的颜色特征量候选。例如， 也可选择分离度最大的一个颜色特征量候选，也可按分离度的大小顺序 来选择多个颜色特征量候选。另外，作为探索颜色范围的方法，除了上 述方法之外，也可使用判别分析、SVM(Support Vector Machine，支持 向量机)等公知的方法。颜色范围的形状并不限于矩形，也可以是圆形、 多边形、自由曲线图形等。进一步，在使用三个以上的参数的情况下也 同样，也可求出对于各参数的最大值/最小值，并将其组合作为颜色范围， 也可以作为对于两个以上参数的组合的颜色范围表现(例如，在三维空 间内表示球形的范围等)。
另外，在上述实施方式中举例说明了焊脚检查，但是如果是通过颜 色条件来进行区域提取、并通过判断条件来判断该提取的区域具有的一 些特征量的处理，则本发明还可应用于以基板检查处理为首的其它外观 检查处理。
另外，上述实施方式中使用了面积作为特征量，但是作为用于良否 判断的特征量，除此之外，优选可以采用面积比、长度、最大宽度、重 心等。所谓面积比是指在焊盘窗口内进行二值化后的面积的占有率。例 如，当相对于焊盘区域偏移地对部件进行了焊接时，焊锡区域的面积大 小变化，所以面积比变化。若将其作为特征量来掌握，则对部件偏移的 检查有效。另外，所谓长度是指白色像素区域的纵向或横向的长度，最 大长度是白色像素区域的长度中最大的值。另外，所谓重心是指白色像 素区域的重心相对于焊盘窗口的相对位置。
只要是可高精度地判断良否的特征量，可使用任何特征量，为了使 精度提高，也优选组合多种特征量。另外，还可在检查逻辑设定处理中 提取多种特征量，采用其中将良品和次品最佳地分离开的特征量来作为 特征量。另外，在上述实施方式中在判断条件的决定中使用了面积直方 图(面积值直方图)，但是若特征量的种类不同，则使用与其相符的特征 量直方图(面积比直方图、长度直方图、最大宽度直方图、重心直方图 等)。例如，若取代面积值直方图而使用面积比直方图，则由于通过利用 焊盘窗口中的颜色参数进行了二值化后的像素的占有率来执行良否判 断，所以即使在部件偏移或倾斜，使得焊盘窗口的大小变小或变大的情 况下，也能够进行不受焊盘窗口的大小影响的判断处理。
在上述实施方式中，将过去部件的图像和颜色分布趋势数据存储在 检查逻辑设定装置的存储装置中。但是，也优选在与独立于检查逻辑设 定装置的外部存储装置(例如，网络上的数据库)中存储过去部件的图 像和颜色分布数据的结构。这时，检查逻辑设定装置只要根据需要从外 部存储装置中读入过去部件的图像和颜色分布数据即可。另外，在上述 实施方式中，预先准备了过去部件的颜色分布趋势数据，但是也可仅准 备过去部件的图像，在生成检查逻辑时算出过去部件的颜色分布趋势数 据。
在计算机、存储装置或存储介质中存储检查逻辑设定程序的行为、 和转让或受让存储了检查逻辑设定程序的计算机、存储装置或存储介质 的行为也相当于本发明的实施。另外，在网络上的网站上公开检查逻辑 设定程序的行为、和经网络来发送或接收检查逻辑设定程序的行为也相 当于本发明的实施。
(基板检查系统的结构)
图1表示本发明的实施方式的基板检查系统的硬件结构。
基板检查系统由执行基板检查处理的基板检查装置1、自动生成在该 基板检查装置1的基板检查处理中使用的检查逻辑的检查逻辑设定装置2 构成。基板检查装置1和检查逻辑设定装置2可以经有线或无线网络， 或MO(磁光盘)和DVD等记录介质，进行图像和参数等电子数据的交换。 另外，虽然本实施方式中基板检查装置1和检查逻辑设定装置2为分开 的结构，但是也可在基板检查装置主体中嵌入检查逻辑设定装置的功能 而一体构成。
(基板检查装置的结构)
基板检查装置1是向基板照射彩色光来对其进行拍摄，并使用所拍 摄的图像来自动检查基板20上的安装部件21的安装质量(焊接状态等) 的装置。基板检查装置1大致上具有X载物台22、Y载物台23、投光部 24、摄像部25和控制处理部26。
X载物台22和Y载物台23分别具有根据来自控制处理部26的控制 信号而动作的电机(未图示)。通过这些电机的驱动，X载物台22使投光 部24和摄像部25向X轴方向移动，另外，Y载物台23使支撑基板20的 传送装置27向Y轴方向移动。
投光部24由具有不同的直径、且根据来自控制处理部26的控制信 号而同时照射红色光、绿色光、蓝色光的三个圆环状光源28、29、30构 成。各光源28、29、30在观测位置的正上方位置处中心对齐，且被配置 在从观测位置观看与不同的仰角对应的方向上。通过该配置，投光部24 以不同的入射角将多种颜色的光(本实施方式中为R、G、B三色)照射 到基板20上的安装部件21上。
摄像部25是彩色摄像机，朝向下方被定位在观测位置的正上方位置 上。由此，通过摄像部25来拍摄基板表面的反射光，并转换为三原色的 彩色信号R、G、B，提供给控制处理部26。
控制处理部26由A/D转换部33、图像处理部34、检查逻辑存储部 35、判断部36、摄像控制器31、XY载物台控制器37、存储器38、控制 部(CPU)39、存储部32、输入部40、显示部41、打印机42和通信I/F 43等构成。
A/D转换部33是输入来自摄像部25的彩色信号R、G、B而转换为 数字信号的电路。将各个色调的数字量的浓淡图像数据传送到存储器38 内的图像数据存储区域。
摄像控制器31是具有用于连接控制部39与投光部24及摄像部25 的接口等的电路，根据控制部39的输出，来进行调整投光部24的各光 源28、29、30的光量，或保持摄像部25的各色调光输出的相互平衡等 的控制。
XY载物台控制器37是具有用于连接控制部39与X载物台22及Y 载物台23的接口等的电路，根据控制部39的输出来控制X载物台22和 Y载物台23的驱动。
检查逻辑存储部35是存储用于基板检查处理中的检查逻辑的存储 部。在基板检查装置1中，可以进行检查焊锡形状的焊脚检查和检查部 件的脱落的脱落检查等多种检查处理。检查逻辑是针对每个检查种类而 准备的，由用于规定图像中的检查对象范围(检查区域)的区域条件、 用于从检查区域内的图像中提取预定的色彩图形(像素区域)的颜色条 件、用于判断该色彩图形的良否的判断条件等构成。区域条件是例如“从 引线前端起在与引线垂直的方向上±10像素，沿引线的方向上20像素的 范围”那样，规定图像中的检查区域的位置、大小、范围等的条件。颜 色条件是例如“像素的亮度是150到250之间，且蓝色信号的强度为150 到180之间”那样，规定关注的颜色特征量(在该例中，为亮度和蓝色 信号的强度)及该颜色特征量的值的范围的条件。判断条件是例如如“面 积大于等于检查区域的60％”那样，规定关注的特征量(在该例中为面 积)及该特征量的值的范围(在该例中为阈值)的条件。
图像处理部34是执行如下处理的电路：从拍摄基板20上的部件21 而得到的图像中提取由区域条件规定的检查区域的处理、从检查区域的 图像(检查图像)中提取满足颜色条件的区域的处理、和根据所提取的 区域算出在判断条件中使用的特征量的值。判断部36是执行如下处理的 电路：接收由图像处理部34算出的特征量的值，根据该特征量的值是否 满足判断条件来判断部件的安装状态的良否。
输入部40由输入操作信息和与基板20相关的数据等所需的键盘或 鼠标等构成。将输入的数据提供给控制部39。通信I/F 43用于与检查逻 辑设定装置2和其它的外部装置等之间进行数据的收发。
控制部(CPU)39是执行各种运算处理和控制处理的电路。存储部 32是由硬盘或存储器构成的存储装置，除了存储由控制部39执行的程序 之外，还存储基板的CAD信息、基板检查处理的判断结果等。
图2表示基板检查装置1的功能结构。基板检查装置1具有指示信 息接受功能10、基板搬入功能11、CAD信息读取功能12、载物台操作功 能13、拍摄功能14、检查逻辑读取功能15、检查功能16、判断结果写 入功能17和基板搬出功能18。这些功能是通过控制部39根据在存储部 32中存储的程序来控制上述硬件而实现的。另外，在存储部32的内部设 置有存储CAD信息的CAD信息存储部32a和存储判断结果的判断结果存 储部32b。
(基板检查处理)
接着，描述上述基板检查装置1中的基板检查处理。这里，作为基 板检查处理的一例，说明焊脚检查。所谓焊脚检查是指判断焊脚的形状 是否良好的处理。
如图3的上部分所示，良品的焊脚中，从部件21向着基板20上的 焊盘形成山麓那样的宽的倾斜面。与此相对，若发生焊锡不足，则倾斜 面的面积减小，相反，在焊锡过多的情况下，焊脚成为在焊盘上隆起的 形状。
当由基板检查装置1拍摄这些焊脚时，分别得到如图3的下部分所 示的图像。由于红色、绿色、蓝色的照射光分别以不同的角度入射到焊 脚上，所以根据焊脚的斜率，入射到摄像部25中的反射光的色调发生变 化。即，在斜率急剧的部分入射角度最小的蓝色光的反射光是主导性的， 与此相对，在几乎没有斜率的部分红色光的反射光成为主导。因此，良 品的焊脚中蓝色色调区域大，次品的焊脚中蓝色之外的色调的区域大。
在本实施方式的焊脚检查中，利用这种色彩图形的趋势，根据蓝色 区域的大小(面积)来进行焊脚良否的判断。下面，沿着图4的流程图， 来具体说明焊脚检查的处理的流程。
指示信息接受功能10处于等待状态，直到输入了指示基板检查的执 行的指示信息(步骤S100：否，步骤S101)。当通过输入部40的操作， 或经通信I/F 43从外部设备输入了指示信息时，指示信息接受功能10 将指示信息传送给基板搬入功能11、CAD信息读取功能12和检查逻辑读 取功能15(步骤S100：是)。该指示信息中包含作为检查对象的基板的 信息(型号等)。
另外，基板搬入功能11根据指示信息，从印刷基板搬入部将作为检 查对象的基板20搬入到传送装置27上(步骤S102)，CAD信息读取功能 12从CAD信息存储部32a中读取与基板的型号对应的CAD信息(步骤 S103)。该CAD信息中包含基板20的尺寸、形状，同时包含在基板20上 安装的部件的种类、数量、各自的安装位置的信息。
检查逻辑读取功能15根据从所述CAD信息中取得的部件种类，从检 查逻辑存储部35中读取焊脚检查用的检查逻辑(步骤S104)。检查逻辑 中包含区域条件、颜色条件和判断条件。
接着，载物台操作功能13从所读取的CAD信息中得到基板20的尺 寸、形状、部件的配置等信息，并经由XY载物台控制器37来操作X载 物台22和Y载物台23，使得在基板20上所安装的多个部件21依次对准 观测位置(摄像位置)(步骤S105)。
另一方面，摄像功能14通过摄像控制器31使投光部24的三个光源 28、29、30发光，同时向基板20上照射红色、绿色、蓝色的光。另外， 摄像功能14通过摄像控制器31控制摄像部25，与载物台22、23的操作 相同步地拍摄基板20上的部件21(步骤S106)。将所拍摄的图像取入到 存储器38中。
接着，检查功能16通过图像处理部34从拍摄图像中提取检查区域 (步骤S107)。这里提取的检查区域是由检查逻辑的区域条件规定的区 域。例如利用相对于拍摄图像的相对坐标、相对于拍摄图像中的焊盘区 域或部件区域的相对坐标等来规定区域条件。在本实施方式中，如图5 所示，使用通过相对于焊盘区域72的上下左右的相对坐标(由像素数或 比例来指定)来规定的矩形的区域条件。由区域条件规定的检查区域73 的形状并不限于矩形，也可以是圆形、椭圆形、多边形、自由形状等任 意形状。另外，拍摄图像中的焊盘区域或部件区域的确定例如可以通过 模板匹配来自动进行。
接着，检查功能16使用颜色条件对所提取的检查区域进行二值化 (步骤S108)。并且，这里，假定蓝色信号的强度和亮度都取0到255的 256个等级的值。这里所用的颜色条件由蓝色信号的强度的下限和上限、 亮度的下限和上限4个值构成。二值化处理中，将颜色条件中定义的颜 色范围内包含的像素转换为白色像素，将除此之外的像素转换为黑色像 素。
图5的右侧表示二值化后的检查区域。可知，通过利用颜色条件进 行二值化，作为白色像素而提取出了检查区域中的蓝色系颜色的区域， 明确了良品图像和次品图像之间的差异(特征)。
接着，检查功能16根据判断条件，利用图像处理部34提取白色像 素区域的特征量，并将该值传递到判断部36。判断部36根据该值是否满 足判断条件来进行判断(步骤S109、S110、S111)。在本实施方式中，使 用白色像素区域的面积值作为特征量，若其面积值超过了阈值，则将该 部件21的焊接安装质量判断为良。
判断结果写入功能17将上述判断结果与位置ID(用于确定部件的 信息)一起写入到判断结果存储部32b中(步骤S112)。
若对基板20上的所有的部件进行了检查，则基板搬出功能18通过 印刷基板搬送部来搬出基板20，结束基板检查处理(步骤S113)。
根据以上所述的基板检查处理，由于可以通过在二维图像中出现的 色彩图形来可靠地把握焊脚的三维形状，所以可以准确判断焊接安装质 量(安装状态)的良否。进一步，从拍摄图像中提取明确出现良品和次 品的差异的部位(检查区域)，并使用该检查区域来进行检查，所以可以 得到良好的判断精度。
但是，为了实现不漏过次品、且过检在允许值以下的高判断精度， 必须依据检查对象预先将检查逻辑的颜色条件和判断条件设定为最佳 值。在本实施方式中，检查逻辑的生成(训练)是通过检查逻辑设定装 置2来自动进行的。下面详细进行说明。
(检查逻辑设定装置的结构)
检查逻辑设定装置2如图1所示，由具备CPU、存储器、硬盘等存 储装置、I/O控制部、通信I/F、显示部、信息输入部(键盘或鼠标)等 作为基本硬件的通用计算机(信息处理装置)构成。
检查逻辑设定装置2的功能主要由用于生成在训练中使用的训练图 像信息(训练数据)的训练数据生成部、和用于由训练图像信息而生成 检查逻辑的检查逻辑生成部构成。
(训练数据生成处理)
图6是表示训练数据生成部的功能结构的框图。训练数据生成部具 有指示信息接受功能50、图像取得功能51、颜色分布趋势计算功能52、 类似部件选择功能53和训练数据生成功能54。这些功能是通过由CPU读 入并执行在存储器或存储装置中存储的程序而实现的。
另外，在检查逻辑设定装置2的存储装置内设置有存储过去处理过 的部件的颜色分布趋势数据的颜色分布趋势DB 55、存储通过基板检查装 置1拍摄的部件的图像的部件图像DB 56、和存储训练图像信息的训练图 像信息DB 57。部件图像DB 56中存储了作为训练数据生成处理和检查逻 辑生成处理的对象的部件(新部件)的拍摄图像和过去处理过的部件(过 去部件)的拍摄图像。
参考图7的流程图，来说明训练数据生成处理的流程。
首先，指示信息接受功能50从用户接受与训练数据的生成相关的指 示信息(步骤S200)。该指示信息中包含与作为处理对象的新部件(下面 称作“部件P1”)相关的信息(部件的种类等)、用于指定在部件图像DB 56中存储的部件P1的拍摄图像的信息、和用于指定作为目的的检查的信 息(检查种类等)等。
接着，图像取得功能51从部件图像DB 56中取得部件P1的拍摄图 像(步骤S201)。拍摄图像是通过基板检查装置1拍摄预先准备的部件 P1的多个样本而得到的。
接着，图像取得功能51判断所取得的拍摄图像(即，部件P1的样 本)是否满足生成该检查用的检查逻辑所必需的条件(步骤S202)。具体 的，若分别存在大于等于预定的要求数目的良品样本数(图像数)和次 品样本数(图像数)，则判断为可生成检查逻辑。要求数目的设定虽然是 用户任意所为，但是为了生成可靠性高的检查逻辑，一般最好有几百～ 几千的样本数。
这里，举良品和次品的样本数都没有达到要求数目的情况为例。即， 说明由数量较少的样本图像生成足够数量的训练数据的过程。
在拍摄图像比要求数目少的情况下(步骤S202：否)，颜色分布趋 势计算功能52根据部件P1的拍摄图像而算出颜色分布趋势数据(步骤 S203)。颜色分布趋势数据表示拍摄图像中的关注区域的颜色分布的趋 势。
沿着图8的流程图，来说明颜色分布趋势数据生成处理的流程。
首先，从各拍摄图像中提取关注区域(步骤S300)。将该关注区域 设定为与检查时检查颜色的检查区域相同的范围。按每个检查种类来预 先设定关注区域，例如，若是焊脚检查，则是焊锡部分和焊盘部分，或 者，若是部件的脱落检查，则是部件部分。可以通过模板匹配等图像识 别处理来自动进行关注区域的提取。
接着，求出所提取的关注区域的所有像素的颜色特征量的值在颜色 空间上的分布(步骤S301)。这时，求出良品中的关注区域的像素(下面 称作“良点”)的分布和次品中的关注区域的像素(下面称作“不良点”)， 的分布，以使它们可相互区别。下面，为了具有视觉效果地说明该颜色 分布，使用颜色直方图。所谓颜色直方图是指在以颜色特征量为轴的多 维颜色空间内的各点上记录像素的频度(个数)的图。通过颜色直方图， 可以把握拍摄图像中的关注区域的颜色分布。
一般颜色空间是由三种以上的颜色特征量构成的多维空间。因此， 为了准确把握像素的颜色分布，最好考虑至少两个以上的颜色特征量。 但是，在本实施方式的方式中，由于使用红/绿/蓝三色光源，所以在拍 摄图像上具有特征性地出现各种颜色的情况很多。尤其在发生镜面反射 的部分中，根据该部分的倾斜角度，光源中使用的三种颜色中的任意一 种强烈出现的情况很多。在本实施方式中，在焊脚作为检查对象的情况 下，若为良好，则具有蓝色系颜色强烈出现的趋势，若不良，则具有红 色系颜强烈出现的趋势。因此，若目的是把握良品和次品的颜色分布的 差异，则对于色调，考虑一种颜色(例如蓝色)或两种颜色(例如蓝色 和红色)的颜色特征量即认为足够了。对于颜色特征量的种类，可进行 选择，使得由良品中的关注区域的像素得到的颜色特征量的值的分布和 由次品中的关注区域的像素得到的颜色特征量的值的分布之间出现明确 的差异。这是因为，由此可明确地出现每种部件种类的颜色分布趋势的 不同。因此，在本实施方式中，作为具有在良品的关注区域中包括很多、 且在次品的关注区域中几乎不包括的趋势的色调而选择蓝色，针对每个 蓝色的强度和亮度的组合来计算频度。
图9(a)表示二维颜色直方图的一例。图9(a)的横轴是蓝色的强 度，纵轴是亮度的值，都用0到255的256个等级的数值来表示。对于 蓝色的强度，越接近于0，蓝色信号的强度越弱，即表示像素中不包含蓝 色成分，越接近于255，表示蓝色的强度越强。对于亮度，值越大表示亮 度越强。图中的白圈(○)表示良点的频度大于等于1的点，黑三角(▲) 表示不良点的频度大于等于1的点。另外，白圈和黑三角除了(蓝色的 强度、亮度)之外，还具有频度(具有该颜色的像素的个数)的数据。 但是，由于下面所述的颜色分布趋势数据的计算中不需要频度的信息， 所以在训练数据生成处理时，也可以是(蓝色的强度、亮度)的二维数 据。
也可将图9(a)所示的颜色直方图本身作为颜色分布趋势数据来使 用，但是在本实施方式中，如图9(b)所示，将对颜色直方图进行加工 (舍入处理)而使颜色分布的趋势更单纯化/形式化后得到的结果用作颜 色分布趋势数据。
图10表示颜色分布趋势数据的生成方法。首先，将颜色直方图的二 维颜色空间划分成网格状(步骤S302)。在图10(a)的例子中，划分为 横8×纵8的64个区。下面，将横方向的划分标记为A～H，将纵方向的 划分标记为1～8，并如区A1那样来标记划分A和划分1相交的区。另外， 划分数并不限于8而是任意的。另外，如图10(b)所示，为了在舍入误 差的计算中使用，将区进一步划分为横3×纵3的9个子区。
颜色分布趋势计算功能52调查颜色直方图上的各个像素点属于哪 个区，进一步属于哪个子区。并且，将点所属的区设定为命中检查判断 区，同时，根据点所属的子区的位置(即，良点距区中心的偏移量)在 上述命中检查判断区的周围设定屏蔽区。
所谓命中检查判断区是在后述的类似判断处理(识别处理)中在命 中屏蔽和命中检查判断这两者中使用的区，所谓屏蔽区是指在类似判断 处理中仅用于命中屏蔽的区。这里，在像素点存在于左上的子区中时， 将该区的左/左上/上三个区作为屏蔽区。同样，在像素点存在于中央上 的子区中时，将左上/上/右上三个子区作为屏蔽区，在像素点存在于右 上的子区中时，将上/右上/右三个区作为屏蔽区，在像素点存在于左中 央的子区中时，将左上/左/左下三个区作为屏蔽区，在像素点存在于右 中央的子区中时，将右上/右/右下三个区作为屏蔽区，在像素点存在于 左下的子区中时，将左/左下/下三个区作为屏蔽区，在像素点存在于中 央下的子区中时，将左下/下/右下三个区作为屏蔽区，在像素点存在于 右下的子区中时，将下/右下/右三个区分别选为屏蔽区。这种屏蔽区相 当于像素位置的舍入误差。另外，在像素点存在于区的中央的子区中时， 不设定屏蔽区。
若举具体例，在图10(b)的点X1的情况下，将区F4设定为命中 检查判断区，将区E4、E5、F5设定为屏蔽区。另外，在点X2的情况下， 将区G6设定为命中检查判断区，将区H5、H6、H7设定为屏蔽区。另外， 在对一个区进行多次设定时，使命中检查判断区的设定比屏蔽区优先。
在对所有良点设定了命中检查判断区和屏蔽区后(步骤S303、图10 (c))，接着，对所有不良点设定命中检查判断区和屏蔽区(步骤S304， 图10(d))。但是，在处理不良点时，避开已经用良点进行了设定的区。
对良点和不良点实施舍入处理，生成如图9(b)所示的颜色分布趋 势数据。该颜色分布趋势数据相当于通过区的组合来表现由关注区域的 像素得到的颜色特征量的值在颜色空间上的分布(颜色分布)的数据。 根据这种表现形式，由于像素的颜色分布被单纯化/形式化，所以与观看 颜色直方图上的像素分布相比，可以更容易地把握颜色分布的趋势。尤 其，由于是计算机容易处理的形式，所以颜色分布趋势的类似判断处理 (识别处理)变得极其简单。另外，虽然通过区的组合来表现的数据相 当于将二维颜色空间上的像素分布转换为粗略数据而得到的结果，但是 这种转换具有平滑化效果。因此，可以缓和像素分布中包含的误差/偏差， 结果，还有提高了类似判断处理的可靠性的优点。进一步，上述颜色分 布趋势数据还有与颜色直方图相比，数据量极小的优点。例如，由于一 个区只要取良点的命中检查判断区(带阴影线的白圈所示)、良点的屏蔽 区(黑圈所示)、不良点的命中检查判断区(带阴影线的白三角所示)、 不良点的屏蔽区(黑三角所示)、没有设定这5个状态即可，所以即使对 各状态分配1位，也可以用5位来表示一个区。
将通过上述处理算出的部件P1的颜色分布趋势数据存储在颜色分 布趋势DB 55中。另外，在颜色分布趋势DB 55中，与部件的种类、检 查种类等一起存储了过去处理过的多个部件的颜色分布趋势数据。
接着，类似部件选择功能53比较与部件P1相关的颜色分布趋势数 据和与颜色分布趋势DB 55中登记的过去部件相关的颜色分布趋势数据， 选出颜色分布趋势类似的过去部件(步骤S204)。如下所述来进行颜色分 布趋势的类似判断(识别)。
在将命中检查判断区的集合标记为HB，将命中检查判断区和屏蔽区 的集合标记为MB，将与部件PX相关的集合标记为HBX、MBX的情况下， 若
同时为真，则判断为部件P1和过去部件P2类似，若上述式中的任 意一方为伪，则判断为部件P1、P2不类似。其中，记号“∩”表示两个 集合的积，记号表示右侧的集合是左侧的集合的子集。
即，在本实施方式中，通过求出包含舍入误差的颜色分布范围(MB1、 MB2)的积集合(MB1∩MB2)，大大缩小两部件P1、P2的共同分布范围(命 中屏蔽)，根据在该共同分布范围内是否包含两部件P1、P2的不含有舍 入误差的颜色分布范围(HB1、HB2)来判断类似/不类似。
图11、图12表示类似判断处理的具体例。由于部件P1和部件P2 满足上述式，故判断为类似。另一方面，由于HB1不是(MB1∩MB3)的 子集，所以将部件P1和部件P3判断为不类似。
另外，该类似判断分别对良品的颜色分布、次品的颜色分布独立进 行。若要检索良/不良的颜色分布均类似的部件，只要进行两个分布的类 似判断即可。在仅能准备良品作为新部件P1的样本的情况下，也可仅进 行良品的颜色分布的类似判断。在仅能准备次品作为新部件P1的样本的 情况下，也可仅进行次品的颜色分布的类似判断。另外，由于一般部件 的种类相同(类似)的部件彼此颜色分布趋势也类似，所以也可从与部 件P1种类相同的过去部件中选出颜色分布趋势类似的部件，而不是对在 颜色分布趋势DB 55中登记的所有过去部件进行类似判断。
另外，若发现多个类似的部件，则类似部件选择功能53也可选出这 些所有部件，也可仅选出类似度最高的部件。例如也可通过下式来求出 部件P1和部件P2的类似度。
类似度＝(HB1∩HB2)中包含的区数/(HB1∪HB2)中包含的区数
这样，若选出了与部件P1颜色分布趋势类似的过去部件，则训练数 据生成功能54从部件图像DB 56中读出该过去部件的拍摄图像(步骤 S205)。并且，根据部件P1的拍摄图像和过去部件的拍摄图像而生成部 件P1的检查逻辑生成用的训练图像信息(训练数据)(步骤S206)。训练 图像信息中包含拍摄图像和表示其为良品图像还是次品图像的训练信 息。将所生成的训练图像信息存储在训练图像信息DB 57中。
通过以上所述的处理，根据颜色分布趋势，来识别良/次的出现方式 与新部件P1类似的过去部件，利用(沿用)该识别的过去部件的拍摄图 像，来扩充(增加)部件P1的拍摄图像。由此，即使部件P1的样本数 没有达到要求数目，也可准备对于检查逻辑的生成来说足够数量的训练 图像信息。将这里所生成的训练图像信息提供给检查逻辑生成部中的检 查逻辑生成处理。
(检查逻辑生成处理)
图13是表示检查逻辑生成部的功能结构的框图。检查逻辑生成部具 有指示信息接受功能60、训练图像信息读取功能61、图像取得功能62、 划分功能63、频度计算功能64、颜色范围探索功能65、二值化功能66、 特征量直方图生成功能67、阈值决定功能68、检查逻辑生成功能69、检 查逻辑写入功能70。这些功能是通过由CPU读取并执行在存储器或硬盘 中存储的程序来实现的。
沿着图14的流程图，来说明检查逻辑生成处理的流程。另外，在本 实施方式中，举出生成在上述焊脚检查中使用的检查逻辑的例子。
指示信息接受功能60处于等待的状态，直到输入了指示检查逻辑的 自动生成的指示信息(步骤S400：否，步骤S401)。当从信息输入部输 入了指示信息时，指示信息接受功能60将指示信息传递到训练图像信息 读取功能61(步骤S400；是)。该指示信息中包含用于指定作为检查逻 辑生成的对象的部件P1的训练图像信息的信息、和检查逻辑的种类(检 查类型)等。
训练图像信息读取功能61根据指示信息，从训练图像信息DB 57中 读入与待生成的检查逻辑对应的训练图像信息(步骤S402)。如上所述， 该训练图像信息除了部件P1的图像之外，还包含部件P2的图像。训练 图像信息中包含良品图像(拍摄到了良好形状的焊脚的图像)和次品图 像(拍摄到了不良形状的焊脚的图像)。对这些图像赋予了训练信息。
图15表示良品图像和次品图像的例子。在良品图像中，在部件80 两端的焊盘区域81上形成良好的焊脚。对各个焊盘区域81赋予训练信 息“良”。另一方面，在次品图像中，部件82被斜着安装，在一侧的焊 盘区域83中产生了焊接不良。因此，对该焊盘区域83赋予训练信息“不 良”。另外，对相反侧的焊盘区域84赋予训练信息“忽略”。
若读入了训练图像信息，图像取得功能62从训练图像信息中提取赋 予了训练信息的检查区域(步骤S403)。图像取得功能62如图16所示， 具有由焊盘窗85和部件主体窗86构成的模板，在将模板放大/缩小、或 错开焊盘窗口85和部件主体窗口86的相对位置的同时，使各窗口85、 86与图像中的焊盘区域81、83、84和部件80、82对准。窗口的对准也 可使用例如模板匹配等方法。由此，分别针对良品图像和次品图像确定 了焊盘区域。在本实施方式中，作为关注区域，从焊盘窗口85中提取除 去与部件主体窗口86重合的部分后的部分(参考图16的斜线部分)。另 外，在部件P1和P2的形状、大小等不同的情况下，根据各部件种类来 准备模板。
接着，划分功能63根据训练信息，将所提取的检查区域划分为对象 图像和排除图像(步骤S404)。在本例中，由于目的是良品检测，所以将 赋予了训练信息“良”的检查区域作为对象图像，将赋予了训练信息“不 良”的检查区域作为排除图像。忽略被赋予了训练信息“忽略”的检查 区域。
这里提取的对象图像表示良好的焊脚，另外，排除图像表示不良的 焊脚。由此，生成焊脚检查用的最佳颜色条件等价于求出颜色范围的最 佳解，该颜色范围的最佳解使得尽可能多地包含对象图像的像素的颜色， 且能基本上将排除图像的像素的颜色排除出去。
因此，首先，频度计算功能64求出对象图像和排除图像的所有像素 的颜色特征量的值的频度分布(步骤S405)。这时，将对象图像的像素作 为“对象点”，将排除图像的像素作为“排除点”，以可相互区别的形式 来进行频度的计算。对于这里所使用的颜色直方图，使用具有与训练数 据生成处理中使用的颜色直方图相同的轴的颜色直方图。
图17(a)表示二维颜色直方图的一例。图17(a)的横轴是蓝色的 强度，纵轴是亮度的值，都用0到255的256个等级的数值来表示。对 于蓝色的强度，越接近于0表示蓝色信号的强度越弱，即表示像素中不 包含蓝色成分，越接近于255表示蓝色的强度越强。对于亮度，值越大 表示亮度越强，图中的白圈(○)表示对象图像的像素(对象点)的频 度是大于等于1的点，黑三角(▲)表示排除图像的像素(排除点)的 频度为大于等于1的点。白圈和黑三角保持了(蓝色的强度、亮度、频 度)的三维数据。
接着，颜色范围探索功能65根据如图17(a)所示的对象点和排除 点各自的频度分布，来探索将对象点的颜色分布和排除点的颜色分布最 佳地区分开的颜色范围(步骤S406)。在本实施方式中，为了简化算法， 如图17(a)所示，求出强度的下限(BInf)和上限(BSup)、亮度的下 限(LInf)和上限(LSup)四个值。这里应求出的最佳解是构成尽可能 多地包含对象点(○)、且几乎不包含排除点(▲)的颜色范围的4个值 的组合(BInf、BSup、LInf、LSup)。
具体的，颜色范围探索功能65边改变BInf、BSup、LInf、LSup各 自的值，边对各颜色范围算出频度总计值E(参考式1)，求出频度总计 值E最大的颜色范围。频度总计值E是表示颜色范围中包含的对象点的 数目(频度)和排除点的数目(频度)之差的指标。图17(b)表示频度 总计值E为最大的颜色范围。
【式1】
b：蓝色的强度
l：亮度
S(b，l)：点(b，l)处的对象点的频度
R(b，l)：点(b，l)处的排除点的频度
并且，颜色范围探索功能65将频度总计值E为最大的颜色范围设定 为检查用的颜色条件。这样，根据本实施方式，可自动地生成将对象图 像(对象点)和排除图像(排除点)适当地区分开的颜色特征量和其值 的组合，并设定为颜色条件。
接着，使用上述颜色条件，来执行自动生成检查用的判断条件的处 理。
首先，二值化功能66使用上述颜色条件，将良品图像和次品图像的 所有的检查区域二值化(步骤S407)。在该二值化处理中，将在由颜色条 件所定义的颜色范围内包含的像素转换为白色像素，将除此之外的像素 转换为黑色像素。
当利用上述颜色条件来进行二值化时，良品图像中白色像素的区域 非常大，次品图像中白色像素的区域极小(参考图5)。由此，当利用这 种二值化图像时，定量计算用于识别良品/次品的特征量变得容易。作为 特征量，可举出白色像素区域的面积、面积比、重心、长度、最大宽度、 形状等，但是这里选择面积作为特征量。另外，也优选组合多种特征量， 而不是一种特征量。并且，与上述颜色特征量的情况相同，也可预先决 定特征量的种类，也可对于多个特征量候选进行下面描述的阈值计算处 理，动态地采用可将良品图像和次品图像最佳地分离开的特征量和阈值 的组或它们的组合作为判断条件。
特征量直方图生成功能67为了把握良品图像的特征量的分布趋势 和次品图像的特征量的分布趋势之间的差别，对良品图像、次品图像分 别求出白色像素区域的面积值的频度分布(步骤S408)。这里为了视觉地 表示面积值的频度分布，而使用面积直方图。图18表示良品图像和次品 图像的面积直方图(下面，简称作“良品直方图”、“次品直方图”)的一 例。可以知道良品图像的特征量分布和次品图像的特征量分布出现明确 的不同。
接着，阈值决定功能68根据良品直方图和次品直方图的频度分布， 算出将良品图像的特征量的值和次品图像的特征量的值最佳地分离开的 阈值(步骤S409)。提出了各种将特征量直方图中出现的2个峰最佳地分 离开的方法，这里也可采用任何方法。例如，也可使用大津的判别分析 法，或也可根据经验将离开良品图像的峰端3σ的点决定为阈值。这样， 生成了判断良品和次品用的阈值。
并且，检查逻辑生成功能69根据颜色条件和判断条件而生成检查逻 辑(步骤S410)，检查逻辑写入功能70将该检查逻辑写入到基板检查装 置1的检查逻辑存储部35中(步骤S411)。
根据以上所描述的检查逻辑生成处理，由于自动生成基板检查处理 中所用的检查逻辑，所以可以大幅度削减训练所需的时间和负荷。
并且，由于即使是样本数少的新部件，也可自动生成足够数量的适 当的训练数据(训练图像信息)，所以可以生成可靠性高的检查逻辑。结 果，可以高精度地进行部件安装状态的良否的判断。
<变形例>
上述实施方式不过示例了本发明的一个具体例。本发明的范围并不 限于上述实施方式，可以在其技术思想的范围内进行各种变形。
例如，在上述实施方式中，准备了良品和次品的样本作为新部件P1 的样本，但是实际上还存在准备次品的样本也困难的情况。这时，也可 根据良品的样本图像而生成与良品相关的颜色分布趋势数据，选出良品 的颜色分布趋势类似的过去部件，根据部件P1的良品图像和选出的过去 部件的次品图像而生成部件P1用的训练数据。进一步，在还需要增加良 品图像数量的情况下，也可使用过去部件的良品图像。
另外，在上述实施方式中，直接使用了过去部件的拍摄图像，但是 也可根据需要使用对拍摄图像施加变形或校正后的图像。例如，在新部 件和过去部件中关注区域的形状和大小等不同的情况下，也可通过变形/ 放大/缩小过去部件的拍摄图像来使形状和大小与新部件的拍摄图像相 符。
另外，在上述实施方式中，虽然将焊锡部分(焊盘部分)作为关注 区域，但是关注区域的部位也可根据检查种类等来适当设定。例如，在 根据部件的有/无来检查部件的脱落的情况下，或调查部件主体的边缘的 位置和角度来检查部件的偏移的情况下，将部件主体部分设定为关注区 域。若关注区域中出现了部件主体的颜色，则判断为良品，若出现基板 的颜色，则判断为次品(部件脱落)。在这种检查中，需要用来训练部件 主体的颜色的样本图像和用来训练基板的颜色的样本图像。这种情况下 若新部件的样本数少，或仅有部件主体或基板的样本，与上述实施方式 相同，可以从过去部件中沿用部件主体和基板的颜色分布趋势类似的部 件。
另外，在上述实施方式中，存储/沿用了原图像作为过去部件的拍摄 图像，但是也可将对原图像实施了适当的处理后得到的图像作为拍摄图 像来进行存储/沿用。例如，也可将像素映射后的颜色直方图存储在部件 图像DB中。由此，可以减轻检查逻辑生成处理的负担。即，本发明的拍 摄图像除了原图像本身之外，还包括对原图像实施了(为了成为适合于 存储、沿用、检查逻辑生成处理的数据形式)处理后得到的数据。
另外，在本实施方式中，由亮度的上限值和下限值、蓝色的强度的 上限值和下限值四个颜色参数来构成颜色条件，但是参数也可以是关注 于其它颜色特征量。作为颜色特征量，可以使用蓝、红、绿、青蓝色、 品红、黄等颜色的强度、亮度、彩度、色调、CIEXYZ中的刺激值X、Y、 Z、色度x、y、z、CIELAB中的L*、a*、b*、CIELUV中的L*、u(u’)、 v(v’)等。另外，构成颜色条件的颜色特征量的数目并不限于两种， 也可以是一种，也可组合三种以上。即，可以依据所拍摄的图像中的检 查区域具有的颜色图形的趋势来适当选择颜色条件中采用的颜色参数。 另外，也优选不预先决定颜色参数，而准备多个由一个或多个颜色特征 量构成的颜色特征量候选，对于各个颜色特征量候选进行上述的频度分 布的计算处理和颜色条件计算处理，从中采用最佳的颜色特征量来作为 颜色条件。这时，对于各颜色特征量候选的频度分布，也可求出对象点 和排除点的分离度(在本实施方式中，最大的频度总计值E相当于分离 度)，通过比较相互的分离度，来决定要采用的颜色特征量候选。例如， 也可选择分离度最大的一个颜色特征量候选，也可按分离度的大小顺序 来选择多个颜色特征量候选。另外，作为探索颜色范围的方法，除了上 述方法之外，也可使用判别分析、SVM(Support Vector Machine，支持 向量机)等公知的方法。颜色范围的形状并不限于矩形，也可以是圆形、 多边形、自由曲线图形等。进一步，在使用三个以上的参数的情况下也 同样，也可求出对于各参数的最大值/最小值，并将其组合作为颜色范围， 也可以作为对于两个以上参数的组合的颜色范围表现(例如，在三维空 间内表示球形的范围等)。
另外，在上述实施方式中举例说明了焊脚检查，但是如果是通过颜 色条件来进行区域提取、并通过判断条件来判断该提取的区域具有的一 些特征量的处理，则本发明还可应用于以基板检查处理为首的其它外观 检查处理。
另外，上述实施方式中使用了面积作为特征量，但是作为用于良否 判断的特征量，除此之外，优选可以采用面积比、长度、最大宽度、重 心等。所谓面积比是指在焊盘窗口内进行二值化后的面积的占有率。例 如，当相对于焊盘区域偏移地对部件进行了焊接时，焊锡区域的面积大 小变化，所以面积比变化。若将其作为特征量来掌握，则对部件偏移的 检查有效。另外，所谓长度是指白色像素区域的纵向或横向的长度，最 大长度是白色像素区域的长度中最大的值。另外，所谓重心是指白色像 素区域的重心相对于焊盘窗口的相对位置。
只要是可高精度地判断良否的特征量，可使用任何特征量，为了使 精度提高，也优选组合多种特征量。另外，还可在检查逻辑设定处理中 提取多种特征量，采用其中将良品和次品最佳地分离开的特征量来作为 特征量。另外，在上述实施方式中在判断条件的决定中使用了面积直方 图(面积值直方图)，但是若特征量的种类不同，则使用与其相符的特征 量直方图(面积比直方图、长度直方图、最大宽度直方图、重心直方图 等)。例如，若取代面积值直方图而使用面积比直方图，则由于通过利用 焊盘窗口中的颜色参数进行了二值化后的像素的占有率来执行良否判 断，所以即使在部件偏移或倾斜，使得焊盘窗口的大小变小或变大的情 况下，也能够进行不受焊盘窗口的大小影响的判断处理。
在上述实施方式中，将过去部件的图像和颜色分布趋势数据存储在 检查逻辑设定装置的存储装置中。但是，也优选在与独立于检查逻辑设 定装置的外部存储装置(例如，网络上的数据库)中存储过去部件的图 像和颜色分布数据的结构。这时，检查逻辑设定装置只要根据需要从外 部存储装置中读入过去部件的图像和颜色分布数据即可。另外，在上述 实施方式中，预先准备了过去部件的颜色分布趋势数据，但是也可仅准 备过去部件的图像，在生成检查逻辑时算出过去部件的颜色分布趋势数 据。
在计算机、存储装置或存储介质中存储检查逻辑设定程序的行为、 和转让或受让存储了检查逻辑设定程序的计算机、存储装置或存储介质 的行为也相当于本发明的实施。另外，在网络上的网站上公开检查逻辑 设定程序的行为、和经网络来发送或接收检查逻辑设定程序的行为也相 当于本发明的实施。