一种基于视觉的机器人喷涂轨迹校准方法

摘要

本发明属于机器人喷涂相关领域，其公开了一种基于视觉的机器人喷涂轨迹校准方法，包括：对真实摄像机内参数的标定及喷涂机器人与真实摄像机之间的手眼标定；采用所述真实摄像机获取标定工件位于理想位置时的参考图像；采用所述真实摄像机获取待喷涂工件的目标图像；设定虚拟摄像机及获取所述真实摄像机在所述虚拟摄像机的坐标系下的位置及姿态信息；对待喷涂工件的喷涂轨迹进行校准。本发明的机器人喷涂轨迹校准方法利用视觉方法对待喷涂工件进行位姿的标定，进而对喷涂轨迹进行校准，无需对待喷涂工件进行严格定位及设计特定工装夹具，降低了成本，简化了校准流程。

权利要求

1.一种基于视觉的机器人喷涂轨迹校准方法，其特征在于，所述方法包括：

(a)对真实摄像机(4)内参数执行标定，同时对喷涂机器人(1)与该真实摄像机(4)之间执行手眼标定；

(b)将标定工件(3)放置在理想位置，所述标定工件(3)被选择为与待喷涂工件(6)的结构相同，并且所述标定工件(3)上面还设有彼此间隔的多个第一特征点(2)，然后对各个所述第一特征点(2)在世界坐标系下的相对位置进行测量；接着，采用所述真实摄像机(4)拍摄所述标定工件(3)位于所述理想位置下的图像，并以此图像作为参考图像；

(c)将所述待喷涂工件(6)放置于所述真实摄像机(4)的视场之内，并且所述待喷涂工件(6)设有第二特征点(7)且这些第二特征点(7)分别与所述第一特征点(2)一一对应；接着，采用所述真实摄像机(4)对所述待喷涂工件(6)进行拍摄，由此获取反映此待喷涂工件(6)真实位置的目标图像；

(d)在邻近所述待喷涂工件(6)的位置设置虚拟摄像机(5)，并且使得该虚拟摄像机(5)所获取的待喷涂工件(6)的图像与步骤(b)所获取的所述参考图像保持相同；然后，利用图像匹配方式来计算得出反映所述参考图像与所述目标图像之间位姿关系的本质矩阵E；此外，通过分解所述本质矩阵E来获得反映所述虚拟摄像机(5)与所述真实摄像机(4)之间姿态关系的旋转矩阵R，由此获得所述真实摄像机(4)相对所述虚拟摄像机(5)的平移向量t；

(e)基于步骤(d)获取的所述真实摄像机(4)相对所述虚拟摄像机(5)的旋转矩阵R及平移向量t，对所述待喷涂工件(6)的喷涂轨迹进行校准。

2.如权利要求1所述的基于视觉的机器人喷涂轨迹校准方法，其特征在于：所述真实摄像机(4)的内参数与所述虚拟摄像机(5)的内参数相同。

3.如权利要求1所述的基于视觉的机器人喷涂轨迹校准方法，其特征在于：所述图像匹配方式为以下方法中的一种：SURF算法、SIFT算法。

4.如权利要求1所述的基于视觉的机器人喷涂轨迹校准方法，其特征在于：所述本质矩阵E由以下公式获得：E＝KTFK

其中K为所述真实摄像机(4)的内参数矩阵，F为所述参考图像与目标图像之间的基础矩阵。

5.如权利要求1所述的基于视觉的机器人喷涂轨迹校准方法，其特征在于：采用以下公式对待喷涂工件(6)的喷涂轨迹进行校准：其中P′为目标喷涂轨迹点，Rw和tw为所述手眼标定的结果，R为所述真实摄像机(4)相对所述虚拟摄像机(5)的旋转矩阵；t为所述真实摄像机(4)相对所述虚拟摄像机(5)的平移向量；P为理想喷涂轨迹点。

6.如权利要求5所述的基于视觉的机器人喷涂轨迹校准方法，其特征在于：所述理想喷涂轨迹点是在所述标定工件(3)位于所述理想位置的情况下生成的，且所述理想喷涂轨迹点是在世界坐标系下描述的。

说明书

一种基于视觉的机器人喷涂轨迹校准方法

技术领域

[0001] 本发明属于工业机器人喷涂相关领域，更具体地，涉及一种基于视觉的机器人喷涂轨迹校准方法。所述机器人喷涂轨迹校准方法利用视觉方法对待喷涂工件进行位姿的标定，进而对喷涂轨迹进行校准，既无需对待喷涂工件进行严格定位，也无需设计特定工装夹具，降低了成本，简化了喷涂轨迹校准流程。

背景技术

[0002] 随着喷涂行业的迅速发展，对喷涂质量提出了更高的要求。原有的人工喷涂的方式作业效率低下，喷涂质量无法保证，且会对人体会造成明显伤害，已经不适合当前发展的需要。喷涂机器人的出现替代了原有的手工操作，极大提高了作业效率，同时也提高了喷涂质量。

[0003] 喷涂机器人所需的喷涂轨迹一般是由人工示教或者基于工件的理想模型直接生成。喷涂机器人按照生成的理想轨迹进行喷涂作业，为了保证喷涂质量，要求待喷涂工件必须放置于理想位置，也就是说，为了保持待喷涂工件的位置与理想位置重合，需要设计特定的工装夹具来对待喷涂工件进行严格定位。待喷涂工件的定位流程繁琐，并且需要设计特定的工装夹具，周期长、成本较高。相应地，本领域亟需对机器人喷涂轨迹校准方案作进一步的优化，以便满足机器人喷涂中对喷涂质量的更高要求。

发明内容

[0004] 针对现有技术的以上缺陷或改进需求，本发明提供了一种基于视觉的机器人喷涂轨迹校准方法，其结合喷涂工况，在待喷涂工件不需要严格定位的情况下，采用视觉方法对待喷涂工件进行位姿的标定，并对喷涂轨迹进行校准。所述机器人喷涂轨迹校准方法既无需对待喷涂工件进行严格定位，也无需设计特定工装夹具，降低了生产成本，提高了喷涂质量。

[0005] 为实现上述目的，本发明提供了一种基于视觉的机器人喷涂轨迹校准方法，其包括如下步骤：

[0006] (a)对真实摄像机内参数的标定及喷涂机器人与所述真实摄像机之间的手眼标定；

[0007] (b)将设置有两个间隔设置的第一特征点的标定工件设置在理想位置；测量两个所述第一特征点在世界坐标系下的相对位置；采用所述真实摄像机拍摄所述标定工件位于所述理想位置下的图像，以此图像作为参考图像；

[0008] (c)将待喷涂工件放置于所述真实摄像机的视场内的任意位置，所述待喷涂工件与所述标定工件的结构相同，其上设置有两个位置分别与两个所述第一特征点的位置相对应的第二特征点；所述真实摄像机拍摄所述待喷涂工件以获取目标图像；

[0009] (d)在邻近所述待喷涂工件的位置设置一个虚拟摄像机，所述虚拟摄像机获取的所述待喷涂工件的图像与步骤(b)获得的所述参考图像相同；通过图像匹配算法计算所述参考图像与步骤(c)获得的所述目标图像之间的本质矩阵E；通过所述本质矩阵E分解获得所述虚拟摄像机与所述真实摄像机之间的旋转矩阵R，基于所述第一特征点在所述参考图像中的位置，计算所述第一特征点在所述虚拟摄像机坐标系下的坐标，进而获得所述真实摄像机相对所述虚拟摄像机的平移向量t；

[0010] (e)对所述待喷涂工件的喷涂轨迹进行校准。

[0011] 进一步的，所述真实摄像机的内参数与所述虚拟摄像机的内参数相同。

[0012] 进一步的，所述图像匹配算法为以下方法中的一种：SURF算法、SIFT算法

[0013] 进一步的，所述本质矩阵E优选由以下公式获得：

[0014] E＝KTFK

[0015] 其中K为所述真实摄像机的内参数矩阵，F为所述参考图像与目标图像之间的基础矩阵。

[0016] 进一步的，所述本质矩阵E的分解过程基于奇异值分解，依据奇异值分解的结果E＝UDVT，可通过以下公式计算旋转矩阵R的两个取值Ra和Rb：

[0017] Ra＝UWVT，Rb＝UWTVT

[0018] 其中矩阵U和矩阵V为所述奇异值分解E＝UDVT的分解结果，

[0019] 进一步的，所述平移向量t可通过以下公式计算：

[0020] ta1＝K-1(KRaX1-λ′a1x′1)

[0021] ta2＝K-1(KRaX2-λ′a2x′2)

[0022] 或

[0023] tb1＝K-1(KRbX1-λ′b1x′1)

[0024] tb2＝K-1(KRbX2-λ′b2x′2)

[0025] 其中x1′和x′2为所述待喷涂工件上的两个第二特征点在所述目标图像中的像素坐标，K为所述真实摄像机的内参数矩阵，λ′a1、λ′a2、λ′b1、λ′b2、X1和X2优选通过两个所述第一特征点在世界坐标系下的相对位置Δ、Ra和Rb获得。

[0026] 进一步的，对待喷涂工件的喷涂轨迹进行校准优选采用以下公式进行：

[0027]

[0028] 其中P′为目标喷涂轨迹点，Rw和tw为所述手眼标定的结果，P为理想喷涂轨迹点。

[0029] 进一步的，所述理想喷涂轨迹点是在所述标定工件位于所述理想位置的情况下生成的，且所述理想喷涂轨迹点是在世界坐标系下描述的。

[0030] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，采用本发明的基于视觉的机器人喷涂轨迹校准方法，其在待喷涂工件不需要严格定位的情况下，采用视觉方法对待喷涂工件进行位姿的标定，并对喷涂轨迹进行校准；既无需对待喷涂工件进行严格定位，也无需设计特定工装夹具，降低了生产成本，提高了喷涂质量。

附图说明

[0031] 图1是本发明较佳实施方式提供的基于视觉的机器人喷涂轨迹校准方法中的标定工件处于理想位置的示意图。

[0032] 图2是图1中的机器人喷涂轨迹校准方法中的待喷涂工件处于任意位置时的示意图。

[0033] 在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：1-喷涂机器人，2-第一特征点，3-标定工件，4-真实摄像机，5-虚拟摄像机，6-待喷涂工件，7-第二特征点。

具体实施方式

[0034] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

[0035] 请参阅图1及图2，本发明较佳实施方式提供的基于视觉的机器人喷涂轨迹校准方法包括以下步骤：

[0036] 步骤1，真实摄像机4内参数的标定及喷涂机器人1与所述真实摄像机4之间的手眼标定。所谓真实摄像机4，也即现实中用于实际拍摄的摄像机

[0037] 本实施方式中，所述真实摄像机4的内参数的标定方法采用传统摄像机标定方法中的张正友标定法，即将黑白棋盘格放置于所述真实摄像机4的前方，固定所述真实摄像机4，改变所述棋盘格的位置以获取多幅图像；并对所述多幅图像进行角点提取，利用所述角点与所述真实摄像机4的内参数的关系列出矩阵方程，并通过奇异值分解得出所述真实摄像机4的内参数。可以理解，在其他实施方式中，所述真实摄像机4的内参数的标定还可以采用其他方法，如主动视觉摄像机标定方法、摄像机自标定方法等。

[0038] 步骤2，获取标定工件3位于理想位置时的参考图像。具体的，所述标定工作3设置在理想位置，其上设置有两个间隔设置的第一特征点2；测量两个所述第一特征点2在世界坐标系下的相对位置；采用所述真实摄像机4拍摄一幅所述标定工件3位于所述理想位置下的参考图像。可以理解，在其他实施方式中，所诉第一特征点2的数量可以根据实际需要改变，如所述第一特征点2的数量可以为3个。

[0039] 步骤3，获取待喷涂工件6的目标图像。具体的，将所述待喷涂工件6放置于所述真实摄像机4的视场内的任意位置；所述真实摄像机4拍摄所述待喷涂工件6以获取目标图像。

[0040] 本实施方式中，所述待喷涂工件6与所述标定工件3为同一型号的工件，且所述待喷涂工件6上设置有两个第二特征点7，两个所述第二特征点7位于所述待喷涂工件6的位置分别与两个所述第一特征点2位于所述标定工件3的位置相对应，即两个所述第二特征点7分别与两个所述第一特征点2一一对应。可以理解，在其他实施方式中，所述第二特征点7的数量亦可以为其他数量，如3个、4个等。

[0041] 步骤4，设定虚拟摄像机5及获取所述真实摄像机4在所述虚拟摄像机5的坐标系下的位置及姿态信息。所谓所述虚拟摄像机5，即为不真实存在，虚拟的仿实物。具体的，首先，在邻近所述待喷涂工件6的位置设置一个虚拟摄像机5，所述虚拟摄像机5获取的所述待喷涂工件6的图像与所述真实摄像机4拍摄的所述待喷涂工件6位于理想位置时的图像相同，即与所述参考图像相同，本实施方式中，所述真实摄像机4的内参数与所述虚拟摄像机5的内参数相同；其次，通过图像匹配算法计算反映所述参考图像与所述目标图像之间位姿关系的本质矩阵E，所述本质矩阵E优选由以下公式获得；

[0042] E＝KTFK

[0043] 其中K为所述真实摄像机4的内参数矩阵，F为所述参考图像与所述目标图像之间的基础矩阵，所述基础矩阵F通过图像特征匹配算法计算获得，所述图像匹配算法可以为SURF算法、SIFT算法等。

[0044] 之后，基于所述本质矩阵E计算所述真实摄像机4在所述虚拟摄像机5的坐标系下的位置及姿态信息。具体的，通过分解所述本质矩阵E获得反映所述虚拟摄像机5与所述真实摄像机4之间姿态关系的旋转矩阵，所述本质矩阵E的分解过程采用基于奇异值分解方法。所述旋转矩阵R优选通过以下公式计算获得所述旋转矩阵R的两个取值Ra和Rb：

[0045] Ra＝UWVT，Rb＝UWTVT

[0046] 其中矩阵U和矩阵V分别表示对所述奇异值分解E＝UDVT的分解结果，

[0047] 基于所述第一特征点2在所述参考图像中的位置，计算所述第一特征点2在所述虚拟摄像机5坐标系下的坐标，进而求解所述真实摄像机4相对所述虚拟摄像机5的平移向量t。所述平移向量t优选通过以下公式计算：

[0048] ta1＝K-1(KRaX1-λ′a1x′1)

[0049] ta2＝K-1(KRaX2-λ′a2x′2)

[0050] 或

[0051] tb1＝K-1(KRbX1-λ′b1x′1)

[0052] tb2＝K-1(KRbX2-λ′b2x′2)

[0053] 其中x1′和x′2为两个所述第二特征点7在所述目标图像中的像素坐标，K为所述真实摄像机4的内参数矩阵，λ′a1、λ′a2、λ′b1、λ′b2、X1和X2中间值，优选通过两个所述第一特征点2在世界坐标系下的相对位置Δ、Ra和Rb进行求解。

[0054] 在所述参考图像和所述目标图像提取所述第一特征点2及所述第二特征点7的算法可以为颜色识别算法、模版匹配算法等。

[0055] 由以上方法获得的两组可能的旋转矩阵R和平移向量t，可利用以下判据进行筛：

[0056]

[0057] 其中α为一不为零常数，tn为所述本质矩阵奇异值分解E＝UDVT的分解结果中的矩阵U的最后一列。

[0058] 步骤5，对待喷涂工件6的喷涂轨迹进行校准。利用所述虚拟摄像机5与所述真实摄像机4之间的旋转矩阵R和平移向量t，结合所述喷涂机器人1与所述真实摄像机4之间手眼标定的结果，对所述待喷涂工件6的位姿进行标定，进而对喷涂轨迹进行校准。对于任意一个理想喷涂轨迹点，可以按照以下公式进行校准：

[0059]

[0060] 其中P′为目标喷涂轨迹点，Rw和tw为所述手眼标定的结果，P为理想喷涂轨迹点。所述理想喷涂轨迹点在世界坐标系下描述，且所述理想喷涂轨迹点是在所述标定工件3处于所述理想位置的情况下生成。

[0061] 采用本发明的基于视觉的机器人喷涂轨迹校准方法，其在待喷涂工件不需要严格定位的情况下，采用视觉方法对待喷涂工件进行位姿的标定，并对喷涂轨迹进行校准。所述机器人喷涂轨迹校准方法既无需对待喷涂工件进行严格定位，也无需设计特定工装夹具，降低了生产成本，提高了喷涂质量。

[0062] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。