本发明针对焊接现场的复杂情况，提出一种线激光视觉跟踪平面对接焊缝方法。搭建了焊缝跟踪系统，建立了系统各个部分的坐标系模型，采用棋盘格靶标和点激光器完成系统结构标定；线激光被动扫描焊缝，焊缝中心检测技术稳定准确定位激光焊缝中心；用户通过设定延时时间，灵活改变焊点和图像检测距离。该方法可以有效避免弧光，飞溅对图像质量的影响，有效抵抗激光条的微小断裂，在线稳定准确的实现平面对接焊缝的自动跟踪。对实现焊接自动化具有重要意义。
第一步，提取棋盘靶标角点，匹配角点及其世界坐标，标定焊接平面和图像平面之间的投影矩阵H1；
第二步，控制机器臂利用图像采集设备获取4个以上点激光器的像点，得到像点的图像坐标并记录相应位置的机器臂坐标，进一步得到机器臂坐标系到焊接平面的投影矩阵H2；
第三步，设定延时跟踪的延时时间Ts，平动平台的移动速度v，采集线激光光条进行细化处理，对细化后的光条投影，得到焊缝中心，利用矩阵H1，H2转换焊缝中心为机器臂坐标系，利用Ts*v对坐标值进行修正，将该坐标值放入轨迹缓存区；达到设定延时时间后，从轨迹缓存区取坐标送入机器臂焊枪控制器，控制焊枪跟踪焊缝，并实时刷新轨迹缓存区。
2.如权利要求1所述的线激光视觉跟踪平面对接焊缝方法，所述第一步的具体方法为：
2.1、利用改进的Harris算法提取棋盘靶标角点得到所有角点坐标m，对角点做霍夫变换，得到霍夫变换矩阵ρ(i,θ)；
ρmax(θ)=max(ρ(i,θ)),i∈[1,N=R×C]，ρmin(θ)=min(ρ(i,θ)),i∈[1,N=R×C]；
所述2.3中按照给定的区间阈值随机选择其中一种区间划分方式；
2.4、各个区间的标准差D(θ,j)，区间方差和 Dmin(θ)=D(θ0)，在最佳投影方向θ0，D(θ)取得最小值；即D(θ)的最小值Dmin(θ)能够确定θ0；若在第一步中选择第一种区间划分方式获得的θ0为最佳列投影角θ0c，否则为最佳行投影角θ0r；
2.5、对最佳投影角θ0c或θ0r列的ρ值利用K-means算法进行自动聚类，以Mid（j）为各类的初始聚类中心进行聚类；取各类均值，按大小排序完成行或列分类；
2.6、对各类内角点计算l=（X^2+Y^2），对l按照大小排序完成行或列分类；至此确定全部角点的行、列值，实现角点m和世界坐标M的完全匹配；
2.7、M=H1m利用最小二乘解得到H1=Mm’(mm’) 。
3.如权利要求1所述的线激光视觉跟踪平面对接焊缝方法，其特征是第二步中标定机器臂坐标系和焊接平面之间投影矩阵H2的方法为：
3.1、利用点激光器标记焊枪枪头位置，采集点激光光斑，利用边缘算子得到光斑边缘，利用最小二乘法对边缘进行椭圆拟合，得到圆心坐标；移动机器臂得到至少4个激光光斑坐标矩阵mlaser同时记录相应的机械臂坐标Mrt；
3.2、Mrt=H1H2mlaser，其中仅H2未知，根据最小二乘法解得H1H2=Mrt*mlaser’(mlaser*mlaser-1’) 。
4.如权利要求1所述的线激光视觉跟踪平面对接焊缝方法，其特征是所述第三步的具体方法为：
4.1、采集激光光条图像，采用自动双峰法对图像进行二值化，凸显光条，对光条区域为中心的8邻域，记中心点为p1，其邻域的8个点顺时针绕中心点分别为p2，p3，...，p9，其中p2在p1的上方，首先标记同时满足下列条件的边界点：①2≤N(P1)≤6；
其中，N(P1)是p1的非零邻点的个数；S(p1)是以p2，p3，...，p9，p2为序时这些点的值从0到1变化次数；当对所有的边界点都检查完毕后，将所有的标记点除去；算法反复迭代直到没有点满足标记条件，完成光条细化；
4.2、激光光条在焊缝处出现断裂，把细化后的光条垂直投影，统计各个坐标位置投影点个数，检测符合条件的连续零区段，确定该区段端点，将端点对应到细化光条上的点，分别对对应点取x坐标和y坐标的均值，得到焊缝中心点m_dot，则该焊缝中心点在机器臂坐标* *系中的位置为Mrt_dot=H1H2m_dot；
4.3、对Mrt_dot进行坐标修正，对平动平面运动方向平行的坐标Mrt_dot（θ）±Tsv，符号由平动平台运动方向决定：当坐标方向和运动方向一致取加号，反之取减号；将修正完成的坐标点存入轨迹缓存区；
4.4、当达到延时时间后，处理器遵循先入先出的原则，取坐标送入机器臂控制器，开始实时跟踪焊缝，并刷新轨迹缓存区。
线激光视觉跟踪平面对接焊缝方法
技术领域
[0001] 本发明涉及一种线激光视觉跟踪平面对接焊缝方法，用于自动跟踪平面对接焊缝。
背景技术
[0002] 焊接作为材料加工的一种重要手段在工业生产中得到广泛应用。由于诸多因素的推动，如焊接质量的稳定性、应用的灵活性、操作的安全性及经济性等，焊接过程自动化、机器人化已成为趋势。调查表明焊接机器人在制造业技术改造、提高焊接质量、减少工人劳动强度、改善焊接劳动条件等方面显示了比较高的优越性。随着机械、电力与材料等行业的发展，焊接技术已经成为一种非常重要的金属热加工技术。现代化生产对焊接技术提出了进一步的要求，提高效率、优化质量、改善劳动条件等成为必然，焊接自动化就是这种要求的具体体现。工业发达国家如美国、日本、德国的焊接自动化、机械化程度达60％～70％，而我国仅仅为20％～30％。因此，发展和应用新型焊接自动化技术对我国国民经济起到巨大的作用，而焊缝自动跟踪系统正是焊接自动化研究的一个重要方面。
[0003] 目前，焊缝自动跟踪常用的方法是：给定轨迹的目标控制方式或监视焊接点的图像处理方法，前者费时费力，降低生产效率；后者增大了图像处理的难度，影响跟踪精度。主动视觉法是一种利用辅助光源，并基于三角测量原理的测量方法。其光路系统主要由CCD、带通滤光片、激光源和圆柱透镜组成，CCD和光源成已知角度刚性安装在机架上。在进行焊缝跟踪时，激光光源发出的光经过圆柱透镜形成一个平面光照射在工件表面上，这时在焊缝上形成一条宽度很窄的光带。光带经过反射或漫反射，通过带通滤光片，把不需要的波长光过滤掉，最后进入CCD摄像机成像。由于辅助光源是可控的，所获取的图像受环境的干扰可去掉，真实性好，不仅能检测出焊缝的中心位置，并且适合于不同的焊缝和各种焊接方法。
发明内容
[0004] 本发明的目的是提供一种线激光视觉跟踪平面对接焊缝方法，实现在实际焊接现场利用激光扫描平面对接焊缝，视觉采集扫描图像，利用标定完成的坐标系转换关系，完成对平面对接焊缝的跟踪，实现焊接自动化。
[0005] 按照本发明提供的技术方案，所述线激光视觉跟踪平面对接焊缝方法如下：
[0006] 第一步，提取棋盘靶标角点，匹配角点及其世界坐标，标定焊接平面和图像平面的投影矩阵H1；
[0007] 第二步，控制机器臂利用图像采集设备获取4个以上点激光器的像点，得到像点的图像坐标并记录相应位置的机器臂坐标，进一步得到机器臂坐标系到焊接平面的投影矩阵H2；
[0008] 第三步，设定延时跟踪的延时时间Ts，平动平台的移动速度v，采集线激光光条进行细化处理，对细化后的光条投影，得到焊缝中心，利用矩阵H1，H2转换焊缝中心为机器臂坐标系，利用Ts*v对坐标值进行修正，将该坐标值放入轨迹缓存区；达到设定延时时间后，从轨迹缓存区取坐标送入机器臂焊枪控制器，控制焊枪跟踪焊缝，并实时刷新轨迹缓存区。
[0009] 所述第一步的具体方法为：
[0010] 2.1、利用改进的Harris算法提取棋盘靶标角点得到所有角点坐标m，对角点做霍夫变换，得到霍夫变换矩阵ρ(i，θ)；
[0011] 2.2、任意θ方向：
[0012] ρmax(θ)＝max(ρ(i，θ))，i∈[1，N＝R×C]，ρmin(θ)＝min(ρ(i，θ))，i∈[1，N＝R×C]；
[0013] 2.3、任意θ方向，区间划分有两种方式：
[0014] ①分ρ(θ)为C个区间，各个区间为：
[0015]
[0016] ②分ρ(θ)为R个区间，各个区间为：
[0017]
[0018] 记各个区间的中值为Mid(j)；
[0019] 所述第二步中按照给定的阈值自动选择其中一种区间划分方式；
[0020] 2.4、各个区间的标准差D(θ，j)，区间方差和 Dmin(θ)＝D(θ0)，在最佳投影方向θ0，D(θ)取得最小值；即D(θ)的最小值Dmin(θ)能够确定θ0；
若在第一步中选择第一种区间划分方式获得的θ0为最佳列投影角θ0c，否则为最佳行投影角θ0r；
[0021] 2.5、对最佳投影角θ0c或θ0r列的ρ值利用K-means算法进行自动聚类，以Mid(j)为各类的初始聚类中心进行聚类；取各类均值，按大小排序完成行或列分类。
[0022] 2.6、对各类内角点计算l＝(X^2+Y^2)，对l按照大小排序完成行或列分类；至此确定全部角点的行、列值，实现角点m和世界坐标M的完全匹配；
[0023] 2.7、M＝H1*m利用最小二乘解得到H1＝Mm’(mm’)-1。
[0024] 第二步中标定机器臂坐标系和焊接平面之间投影矩阵H2的方法为：
[0025] 3.1、利用点激光器标记焊枪枪头位置，采集点激光光斑，利用边缘算子得到光斑边缘，利用最小二乘法对边缘进行椭圆拟合，得到圆心坐标；移动机器臂得到至少4个激光光斑坐标矩阵mlaser同时记录相应的机器人坐标Mrt；
[0026] 3.2、Mrt＝H1*H2*mlaser其中仅H2未知，解得H1*H2＝Mrtmlaser’(mlasermlaser’)-1。
[0027] 所述第三步的具体方法为：
[0028] 4.1、采集激光光条图像，采用自动双峰法对图像进行二值化，凸显光条，对光条区域为中心的8邻域，记中心点为p1，其邻域的8个点顺时针绕中心点分别为p2，p3，…，p9，其中p2在p1的上方，首先标记同时满足下列条件的边界点：
[0029] ①2≤N(P1)≤6；
[0030] ②S(P1)＝1；
[0031] ③P2*P4*P6＝0；
[0032] ④P4*p6*p8＝0；
[0033] 其中，N(P1)是p1的非零邻点的个数；S(p1)是以p2，p3，...，p9，p2为序时这些点的值从0到1变化次数；当对所有的边界点都检查完毕后，将所有的标记点除去；算法反复迭代直到没有点满足标记条件，完成光条细化；
[0034] 4.2、激光光条在焊缝处出现断裂，把细化后的光条垂直投影，统计各个坐标位置投影点个数，检测符合条件的连续零区段，确定该区段端点，将端点对应到细化光条上的点，分别对对应点取x坐标和y坐标的均值，得到焊缝中心点m_dot，则该焊缝中心点在机器臂坐标系中的位置为Mrt_dot＝H1*H2*m_dot；
[0035] 4.3、对Mrt_dot进行坐标修正，对平动平面运动方向平行的坐标Mrt_dot(θ)±Ts*v，符号由平动平台运动方向决定：当坐标方向和运动方向一致取加号，反之取减号；将修正完成的坐标点存入轨迹缓存区；
[0036] 4.4、当达到延时时间后，处理器遵循先入先出的原则，取坐标送入机器臂焊枪控制器，开始实时跟踪焊缝，并刷新轨迹缓存区。
[0037] 本发明线激光视觉跟踪平面对接焊缝方法与已有技术相比具有以下优点：本发明的延时跟踪技术，使得图像采集点和焊枪跟踪点隔离，从而避免了焊接现场烟尘，弧光对图像质量的影响，焊缝轨迹检测更加稳定；延时时间可由用户自行设定，可按需求自由改变图像采集点和焊枪跟踪点的隔离距离。投影中轴变换后的细化光条，可以在有效抵抗光条细微断裂的情况，更稳定的提取光条中心；标定技术，准确实现相机坐标系，焊缝平面坐标系，机器臂坐标系的转换，保证系统跟踪稳定可靠。
附图说明
[0038] 图1线激光平面对接焊缝跟踪系统界面。
[0039] 图2线激光平面对接焊缝系统结构图。
[0040] 图3线激光平面对接焊缝系统标定原理图。
[0041] 图4焊缝中心检测原理图。
[0042] 图5标定所用的棋盘靶标示意图。
具体实施方式
[0043] 为了提高平面对接焊缝焊接的自动化水平，本发明开发一种线激光视觉跟踪平面对接焊缝方法。该标定技术算法代码量小、运算速度快、精度高、实时性强、稳定性好，能够改善传统测量的弊端、降低成本，提高生产效率。
[0044] 本发明利用带通滤光片和CCD采集激光光条扫描焊缝图像，采用中轴变换算法对光条进行细化，对细化后的骨架进行投影，通过检测连续零区段确定焊缝位置，通过对应连续零区域端点，确定焊缝中心；自动提取棋盘格角点坐标并匹配其自身对应世界坐标，完成相机和焊缝平面的标定，利用点激光器标记焊枪坐标，提取激光光点的图像坐标，记录与之对应的机器臂坐标，完成机器臂坐标系和焊缝平面坐标的标定；修订焊缝中心坐标存入轨迹缓冲区，达到延时时间后，从缓存区提取轨迹坐标送入机器臂焊枪控制器进行实时跟踪并刷新轨迹缓存区。
[0045] 下面结合附图和实施例对本发明作进一步说明。
[0046] 本发明所述焊缝中心检测包括利用带通滤光片和CCD采集激光光条扫描焊缝图像。采用中轴变换原理对激光光条进行细化处理，得到光条细化中心。对光条细化中心进行单向投影，统计各个像素坐标位置的投影像素点个数。查找统计数组的连续零区段，确定连续零区段的端点并对应到光条的细化中心。对光条的细化中心上的对应点取均值，确定焊缝中心。
[0047] 本发明所述焊接系统标定包括焊接平面坐标系、图像坐标系的标定和机器臂坐标系、焊接平面坐标系。利用棋盘格角点的图像坐标和与其对应的世界坐标，采用最小二乘法，得到图像平面和焊接平面的投影矩阵；利用点激光器标记焊枪位置，移动机器臂得到四个以上的点激光光点的图像坐标和对应的机器臂坐标系，采用最小二乘法，得到机器臂坐标系和焊接平面的投影矩阵，完成系统标定。
[0048] 本发明所述延时跟踪技术包括用户设定延时时间，处理器把采集到得光条中心利用投影矩阵转换为机器臂坐标系下的坐标放入轨迹缓存区，当达到延时时间后，处理器遵循先入先出的原则，取坐标送入机器臂焊枪控制器，开始实时跟踪焊缝，并刷新轨迹缓存区。
[0049] 本发明的工作过程具体说明如下：
[0050] 线激光平面对接焊缝跟踪系统包括如图1所示的上位机界面，如图2所示的硬件结构。
[0051] 首先，搭建焊缝跟踪系统，包括：机器臂焊枪1及机器臂焊枪控制器，扫描焊缝的线激光器4，被动扫描的平动平台，图像采集设备2，主控制器；图像采集设备独立固定，图像采集设备通过带通滤光片3获取线激光光条图像，经主控制器得到焊缝中心图像坐标，根据标定参数转换为机器臂坐标送入机器臂焊枪控制器，控制机器臂焊枪进行焊接，如图2所示。其中机器臂焊枪为固定于机器臂上的焊接枪头。
[0052] 所述线激光视觉跟踪平面对接焊缝方法如下：
[0053] 第一步，提取棋盘靶标角点，匹配角点及其世界坐标，标定焊接平面和图像平面的投影矩阵H1；
[0054] 第二步，控制机器臂利用图像采集设备获取4个以上点激光器的像点，利用图像处理方法得到像点的图像坐标并记录相应位置的机器臂焊枪坐标，得到机器臂坐标系到焊接平面的投影矩阵H2；
[0055] 第三步，设定延时跟踪的延时时间Ts，平动平台的移动速度v，采集线激光光条进行细化处理，对细化的激光光条投影，得到焊缝中心，利用H1，H2转换焊缝中心为机器臂坐标系，利用Ts*v对坐标值进行修正，将该坐标值放入轨迹缓存区；达到设定延时时间后，从轨迹缓存区取坐标送入机器臂焊枪控制器，控制焊枪跟踪焊缝，并实时刷新轨迹缓存区。
[0056] 所述提取棋盘靶标角点，匹配角点及其世界坐标，标定焊接平面和图像平面的投影矩阵H1包括以下步骤：
[0057] (2.1)、如图3，棋盘格标定板6放置于焊接平面7，镜头5采集棋盘标定板6上的棋盘靶标图像，棋盘靶标的具体样式如图5所示。利用改进的Harris算法提取棋盘靶标角点得到所有角点坐标m，对角点做霍夫变换，得到霍夫变换矩阵ρ(i，θ)；
[0058] 所述改进的Harris算法详见“白瑞林，李杜，赵晶晶，孟伟，温振市.一种实用的x型靶标亚像素角点提取方法[J].光学技术，2010，36(4)：561-565.”
[0059] (2.2)、任意θ方向：
[0060] ρmax(θ)＝max(ρ(i，θ))，i∈[1，N＝R×C]，ρmin(θ)＝min(ρ(i，θ))，i∈[1，N＝R×C]。
[0061] (2.3)、任意θ方向，区间划分有两种方式(第二步中按照给定的阈值自动选择其中一种区间划分方式)：
[0062] ①分ρ(θ)为C个区间，各个区间为：
[0063]
[0064] ②分ρ(θ)为R个区间，各个区间为：
[0065]
[0066] 记各个区间的中值为Mid(j)。
[0067] (2.4)、各个区间的标准差D(θ，j)，“区间方差和” 则Dmin(θ)＝D(θ0)，在最佳投影方向θ0，D(θ)取得最小值。因此只要找到Dmin(θ)即可确定θ0。若在第一步中选择第一种区间划分方式获得的θ0为最佳列投影角θ0c，否则为最佳行投影角θ0r。
[0068] (2.5)、对最佳投影角θ0c或θ0r列的ρ值利用K-means算法进行自动聚类，为了确保算法准确稳定聚类，以Mid(j)为各类的初始聚类中心进行聚类。取各类均值，按大小排序完成行或列分类。
[0069] (2.6)、对各类内角点计算l＝(X^2+Y^2)，对l按照大小排序完成行或列分类。至此可以全部确定全部角点的行列值，实现角点m和世界坐标M的完全匹配。
[0070] (2.7)、M＝H1*m利用最小二乘解得到H1＝Mm’(mm’)-1。
[0071] 所述标定机器臂坐标系和焊接平面7之间投影矩阵H2的方法包括以下步骤：
[0072] (3.1)、利用点激光器8标记机器臂焊枪位置，采集点激光光斑，利用边缘算子得到光斑边缘，利用最小二乘法对边缘进行椭圆拟合，得到圆心坐标。移动机器臂得到至少4个激光光斑坐标矩阵mlaser，同时记录相应的机器人坐标Mrt；
[0073] (3.2)、Mrt＝H1*H2*mlaser其中仅H2未知，解得H1*H2＝Mrtmlaser’(mlasermlaser’)-1。
[0074] 所述激光光条中心检测及延时跟踪方法包括以下步骤：
[0075] (4.1)、采集激光光条图像，选择自动双峰法对图像进行二值化，凸显光条，对光条区域为中心的8邻域，记中心点为p1，其邻域的8个点顺时针绕中心点分别为p2，p3，……，p9，其中p2在p1的上方，首先标记同时满足下列条件的边界点：
[0076] ①2≤N(P1)≤6；
[0077] ②S(P1)＝1；
[0078] ③P2*P4*P6＝0；
[0079] ④P4*p6*p8＝0；
[0080] 其中，N(P1)是p1的非零邻点的个数；S(p1)是以p2，p3，……，p9，p2为序时这些点的值从0→1变化次数。当对所有的边界点都检查完毕后，将所有的标记点除去。算法反复迭代直到没有点满足标记条件，完成光条细化。
[0081] (4.2)、如图4，激光光条在待焊接工件12的焊缝处出现断裂，把细化的激光条10垂直投影，得到激光条投影曲线11，统计各个坐标位置投影点个数，检测符合条件的连续零区段(可以抵抗光条的细小断裂)，确定该区段端点，将端点对应到细化光条上的点，分别对对应点取x坐标和y坐标的均值，得到焊缝中心点9m_dot，则该焊缝中心点在机器臂坐标系中的位置为Mrt_dot＝H1*H2*m_dot；
[0082] (4.3)、对Mrt_dot进行坐标修正，对平动平面运动方向平行的坐标Mrt_dot(θ)±Ts*v，符号由平动平台运动方向决定：当坐标方向和运动方向一致取加号，反之取减号。将修正完成的坐标点存入轨迹缓存区。
[0083] (4.4)、当达到延时时间后，处理器遵循先入先出的原则，取坐标送入机器臂焊枪控制器，开始实时跟踪焊缝，并刷新轨迹缓存区。
[0084] 本发明针对焊接现场强烈弧光辐射、高温、烟尘、飞溅、表面状态和工件热变形等复杂情况，采用延时跟踪技术。首先利用点激光器标定焊枪位置，确定焊接机器人坐标系和待焊接平面坐标系的投影矩阵；然后利用棋盘格靶标确定图像坐标系和待焊接平面坐标系投影矩阵；设定图像采样处理频率，通过图像细化和光条投影算法获得焊缝中心的图像坐标，根据上述的投影矩阵，转化焊缝中心的图像坐标为焊接机器人坐标，存入轨迹缓存区。设定机器人的延时跟踪时间，当采样时间达到延时跟踪时间，从轨迹缓存区取出数据送给焊接机器人控制器，并刷新轨迹缓存区的数据。避免了焊点弧光辐射，对采集激光扫描图像的影响，获取的焊缝轨迹稳定准确。增加的系统的灵活性和智能性，具有广泛的实用价值。
