一种基于激光视觉的圆孔自动塞焊方法及装置

摘要

本发明涉及焊接技术领域，具体涉及一种基于激光视觉的圆孔自动塞焊方法及装置，包括：焊枪、传感器、机械臂、以及机械臂控制器，所述焊枪和传感器设置在所述机械臂上；所述传感器包括：相机、激光器和焊缝处理器，所述激光器用于发出线激光照射在焊接工件上并扫描焊接工件上的圆形焊孔，所述相机用于拍摄所述焊接工件的激光图像并发送至所述焊缝处理器，所述焊缝处理器用于将所述激光图像的二维坐标转换为圆形焊缝的三维坐标并发送至所述机械臂控制器；所述机械臂控制器用于控制所述机械臂进而带动所述焊枪和传感器动作，还用于计算出焊缝圆的圆心和容积大小以及根据圆形焊缝的圆心坐标和容积控制所述焊枪的焊接位置和焊接时间。本发明可以提高焊缝质量，实现自动化焊接。

权利要求

1.一种基于激光视觉的圆孔自动塞焊装置，其特征在于，包括：焊枪、传感器、机械臂、以及机械臂控制器，所述焊枪和传感器设置在所述机械臂上；

所述传感器包括：相机、激光器和焊缝处理器，所述激光器用于发出线激光照射在焊接工件上并扫描焊接工件上的圆孔焊缝，所述相机用于拍摄所述焊接工件的激光图像并发送至所述焊缝处理器，所述焊缝处理器用于将所述激光图像的二维坐标转换为圆孔焊缝的三维坐标并发送至所述机械臂控制器；所述机械臂控制器用于控制所述机械臂进而带动所述焊枪和传感器动作，还用于计算出圆孔焊缝的圆心和体积大小以及根据圆孔焊缝的圆心坐标和体积控制所述焊枪的焊接位置和焊接时间；所述圆孔焊缝的体积的计算公式为：2

V＝πRh；

其中，R表圆孔焊缝的半径，h表示圆孔焊缝的高度；

所述圆孔焊缝的半径的计算公式为：

其中，(xc，yc)表示圆孔焊缝圆心坐标，(xi，yi)表示圆孔焊缝上的第i个数据点的坐标,N表示坐标点的个数；

所述圆孔焊缝上的坐标的确定方法为：

提取相机采集的当前帧图像，通过灰度阈值对图像进行特征提取，得到特征点；对提取的特征点进行最小二乘法拟合出直线，将拟合直线上靠近端点的点作为圆孔焊缝坐标；

对相机采集的各帧图像重复步骤，得到圆孔焊缝上的所有坐标。

2.根据权利要求1所述的一种基于激光视觉的圆孔自动塞焊装置，其特征在于，还包括焊枪控制器，所述焊枪控制器用于向焊枪提供电流和电压。

3.一种基于激光视觉的圆孔自动塞焊方法，采用根据权利要求1所述的一种基于激光视觉的圆孔自动塞焊装置，其特征在于，包括以下步骤：S1、人工输入起点坐标和终点坐标；

S2、机械臂带动焊枪和传感器运行到起点坐标所在位置，并往终点方向前进；

S3、经过一个圆孔后，通过相机采集的激光图像计算得到圆孔焊缝各个数据点的坐标以及圆心位置，并记录当前所在位置；

S4、通过机械臂带动焊枪运动到圆心所在位置，进行送丝焊接；

S5、焊接完成后，通过机械臂带动焊枪运动到记录的位置；

S6、通过机械臂带动焊枪重新往终点方向前进，并重复步骤S3～S5，直至运动到终点坐标位置，焊接完成。

4.根据权利要求3所述的一种基于激光视觉的圆孔自动塞焊方法，其特征在于，所述步骤S3中，圆心位置的确定方法具体为：camera

S304、获得圆孔焊缝上点在相机坐标系下坐标的矩阵P ，将圆孔焊缝上点在相机坐robot标下坐标转换为机器人坐标系下的坐标P ，转换公式为：其中， 为手眼标定矩阵；

S305、通过圆孔焊缝上点在机器人坐标系下的坐标，利用最小二乘法拟合出圆心坐标(xc，yc)。

5.根据权利要求4所述的一种基于激光视觉的圆孔自动塞焊方法，其特征在于，所述步骤S3中，所述手眼标定矩阵 的计算公式为：base

其中， 表示相机坐标系到机械臂末端坐标系的变换矩阵，P 表示标定板上点在camera机器人坐标系的坐标，P1 表示通过3D相机得到的标定板上对应点的3D坐标。

6.根据权利要求5所述的一种基于激光视觉的圆孔自动塞焊方法，其特征在于，还包括获得手眼标定矩阵的步骤。

7.根据权利要求3所述的一种基于激光视觉的圆孔自动塞焊方法，其特征在于，所述步骤S4中，送丝焊接时，焊接时间为：其中，V表示圆孔焊缝的体积，d表示焊丝直径，v表示送丝速度。

8.根据权利要求3所述的一种基于激光视觉的圆孔自动塞焊方法，其特征在于，所述圆孔焊缝高度的确定方法为：将圆孔焊缝上的点坐标和圆孔焊缝底面的点坐标转换为三维坐标后，进行拟合得到圆孔焊缝的圆心三维坐标以及圆孔焊缝底面的圆心三维坐标，通过两个坐标的距离，得到圆孔焊缝高度。

说明书

一种基于激光视觉的圆孔自动塞焊方法及装置

技术领域

[0001] 本发明涉及焊接技术领域，具体涉及一种基于激光视觉的圆孔自动塞焊方法及装置。

背景技术

[0002] 圆孔塞焊属于焊接的一种工艺，先在钢板上钻一个工艺孔，然后用焊接填起来。常用于平板与平板之间的连接，用螺栓或铆钉连接的地方。圆孔塞焊的焊缝尺寸规定主要是沉入角度和焊缝填充深度，上层板较厚时，常用电钻等打孔，用熔化极焊接方式，通过焊接孔将两张板材熔化形成焊接的方式，常用的有手弧焊二保焊等。

[0003] 目前，现有技术中的焊接装置在塞焊进行有圆形的焊接时，很难对塞焊孔进行有效的定位，达到圆孔塞焊精确焊接，易产生焊偏、咬边等焊接缺陷，以前的圆孔塞焊热输入过大，导致平整性差，变形差。外观很难看，难满足现在市场上对表面要求越来越高的要求，再加上圆孔焊接操作起来不方便，对焊工技能要求也高，很难焊出具有一致性美观的焊缝外观。当工件表面比较粗糙时，算法的准确性必然受到影响。算法需要图像的成像质量要求高，且需要进行繁复的图像平滑处理。现有的算法主要针对直线型焊缝，计算交点或尖点作为特征点，对于弧线上的特征点识别均不适用。

发明内容

[0004] 本发明的目的是克服现有技术的以上不足，提供一种基于激光视觉的圆孔自动塞焊方法及装置，以提高圆孔塞焊的精度，并且通过自动化的方法减小工作人员的劳动强度，提高焊接效率。

[0005] 为了解决以上问题，本发明采用的技术方案为：一种基于激光视觉的圆孔自动塞焊装置，包括：焊枪、传感器、机械臂、以及机械臂控制器，所述焊枪和传感器设置在所述机械臂上；

[0006] 所述传感器包括：相机、激光器和焊缝处理器，所述激光器用于发出线激光照射在焊接工件上并扫描焊接工件上的圆形焊孔，所述相机用于拍摄所述焊接工件的激光图像并发送至所述焊缝处理器，所述焊缝处理器用于将所述激光图像的二维坐标转换为圆形焊缝的三维坐标并发送至所述机械臂控制器；

[0007] 所述机械臂控制器用于控制所述机械臂进而带动所述焊枪和传感器动作，还用于计算出焊缝圆的圆心和容积大小以及根据圆形焊缝的圆心坐标和容积控制所述焊枪的焊接位置和焊接时间。

[0008] 所述的一种基于激光视觉的圆孔自动塞焊装置，还包括焊枪控制器，所述焊枪控制器用于向焊枪提供电流和电压。

[0009] 此外，本发明还提供了一种基于激光视觉的圆孔自动塞焊方法，采用所述的一种基于激光视觉的圆孔自动塞焊装置，包括以下步骤：

[0010] S1、人工输入起点坐标和终点坐标；

[0011] S2、机械臂带动焊枪和传感器运行到起点坐标所在位置，并往终点方向前进；

[0012] S3、经过一个圆孔后，通过相机采集的激光图像计算得到焊缝圆坐标以及圆心位置，并记录当前所在位置；

[0013] S4、通过机械臂带动焊枪运动到圆心所在位置，进行送丝焊接；

[0014] S5、焊接完成后，通过机械臂带动焊枪运动到记录的位置；

[0015] S6、通过机械臂带动焊枪重新往终点方向前进，并重复步骤S3～S5，直至运动到终点坐标位置，焊接完成。

[0016] 所述步骤S3中，焊缝圆坐标的确定方法具体为：

[0017] S301、提取相机采集的当前帧图像，通过灰度阈值对图像进行特征提取，得到特征点；

[0018] S302、对提取的特征点进行最小二乘法拟合出直线，将拟合直线上靠近端点的点作为焊缝圆坐标；

[0019] S303、对相机采集的各帧图像重复步骤S301和S302的操作，得到焊缝圆上的所有坐标。

[0020] 所述步骤S3中，圆心位置的确定方法具体为：

[0021] S304、获得圆孔焊缝上点在相机坐标系下坐标的矩阵Pcamera，将焊缝点在相机坐标robot下坐标转换为机器人坐标系下的坐标P ，转换公式为：

[0022]

[0023] 其中， 为手眼标定矩阵；

[0024] S305、通过焊缝点坐标，利用最小二乘法拟合出圆心坐标(xc，yc)。

[0025] 所述步骤S3中，所述手眼标定矩阵 的计算公式为：

[0026]base

[0027] 其中， 表示相机坐标系到机械臂末端坐标系的变换矩阵，P 表示标定板上camera点在机器人坐标系的坐标，P1 表示通过3D相机得到的标定板上对应点的3D坐标。

[0028] 所述的一种基于激光视觉的圆孔自动塞焊方法，还包括获得手眼标定矩阵的步骤。

[0029] 所述步骤S4中，送丝焊接时，焊接时间为：

[0030]

[0031] 其中，V表示圆孔焊缝的体积，d表示焊丝直径，v表示送丝速度。

[0032] 所述圆孔焊缝的体积的计算公式为：

[0033] V＝πR2h；

[0034] 其中，R表圆孔焊缝的半径，h表示圆孔焊缝的高度；

[0035] 所述圆孔焊缝的半径的计算公式为：

[0036]

[0037] 其中，(xc，yc)表示圆孔焊缝圆心坐标，(xi，yi)表示圆孔焊缝上的第i个数据点的坐标,N表示坐标点的个数。

[0038] 所述圆孔焊缝高度的确定方法为：将焊缝圆上的点坐标和焊缝圆底面的点坐标转换为三维坐标后，进行拟合得到焊缝圆的圆心三维坐标以及焊缝圆底面的圆心三维坐标，通过两个坐标的距离，得到焊缝高度。

[0039] 与现有技术相比，本发明具有以下有益效果：

[0040] 1、本发明提供了一种基于激光视觉的圆孔自动塞焊方法及装置，采用包括相机和线激光器的传感器做引导，保证焊缝检测的高精度；每条焊缝的焊接参数恒定，焊缝质量受人为因素影响较小，降低了对工作人员操作技术的要求。

[0041] 2、本发明采用六轴机器人系统精准定位，焊接效果稳定，整个过程更加智能化；该技术减小了工作人员的劳动强度，改善了工作环境。

[0042] 3、本发明的装置结构简单，操作方便，而且成本低，能适应不同圆孔的塞焊要求，可有效提高焊接的效率。整体算法的计算量小，运行时间短可以快速得到识别结果，节省计算机资源，成本价低，可移植性高实用性强。

附图说明

[0043] 图1为本发明实施例一提供的一种基于激光视觉的圆孔自动塞焊装置外形结构示意图；

[0044] 图2为本发明实施例一提供的一种的基于激光视觉的圆孔自动塞焊装置的电路结构框图；

[0045] 图3为本发明实施例二提供的一种的基于激光视觉的圆孔自动塞焊方法的流程示意图；

[0046] 图4为本发明实施例二中激光线提取点示意图；

[0047] 图5为本发明实施例二中获得的激光图像的示意图；

[0048] 图6为本发明实施例二中拟合得到焊缝圆上的点和焊缝底面上的点的示意图；

[0049] 图7为本发明实施例二中获取圆孔焊缝高度示意图；

[0050] 图8为本发明实施例中不同焊丝直径条件下焊接电流与送丝速度曲线图。

[0051] 图中，1为机械臂控制器，2为焊枪控制器，3为机器人行走地轨，4为机械臂，5为传感器，6为焊接工件，7为机器人安装底座，8为激光观测平面、9为机器人安装轨道，10为焊缝圆，11为激光线，12为焊缝底面。

[0052] 具体实施例方式

[0053] 为使本发明的技术方案和优点更加清楚，下面将结合具体实施例和附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0054] 实施例一

[0055] 如图1～2所示，本发明实施例提供了一种基于激光视觉的圆孔自动塞焊装置，包括：焊枪、传感器、机械臂、以及机械臂控制器，所述焊枪和传感器设置在所述机械臂上。所述传感器包括：相机、激光器和焊缝处理器，所述激光器用于发出线激光照射在焊接工件上并扫描焊接工件上的圆形焊孔，所述相机用于拍摄所述焊接工件的激光图像并发送至所述焊缝处理器，所述焊缝处理器用于将所述激光图像的二维坐标转换为圆形焊缝的三维坐标并发送至所述机械臂控制器；所述机械臂控制器用于控制所述机械臂进而带动所述焊枪和传感器动作，还用于计算出焊缝圆的圆心和容积大小以及根据圆形焊缝的圆心坐标和容积控制所述焊枪的焊接位置和焊接时间。

[0056] 具体地，如图2所示，本实施例的一种基于激光视觉的圆孔自动塞焊装置，还包括焊枪控制器，所述焊枪控制器用于向焊枪提供电流和电压。

[0057] 具体地，本实施例中，所述机械臂为六轴机器人，其可以实现精准定位，进而提高焊接质量。

[0058] 实施例二

[0059] 如图3所示，本发明实施例二提供了一种基于激光视觉的圆孔自动塞焊方法，采用根据实施例所述的一种基于激光视觉的圆孔自动塞焊装置，，包括以下步骤：

[0060] S1、人工输入起点坐标和终点坐标。

[0061] 机器人进入人工示教模式，输入起点坐标、终点坐标。

[0062] S2、机械臂带动焊枪和传感器运行到起点坐标所在位置，并往终点方向前进。

[0063] 焊枪运行到起点坐标所在位置后，传感器中的激光器发出激光，相机拍出激光图像，机械臂带动传感器向终点方向前进，相机可以拍出多帧图像。

[0064] S3、经过一个圆孔后，通过相机采集的激光图像计算得到焊缝圆坐标以及圆心位置，并记录当前所在位置。

[0065] 所述步骤S3中，焊缝圆坐标的确定方法具体为：

[0066] S301、提取相机采集的当前帧图像，通过灰度阈值对图像进行特征提取，得到特征点；

[0067] S302、对提取的特征点进行最小二乘法拟合出直线，将拟合直线上靠近端点的点作为焊缝圆坐标；

[0068] S303、对相机采集的各帧图像重复步骤S301和S302的操作，得到焊缝圆上的所有坐标。

[0069] 本实施例中，传感器5中的相机拍到的激光图像为raw格式，每一帧为一个raw图，raw图中存储图像的每一个像素对应的横坐标x、纵坐标y、灰度值，设置一个阈值，大于这个阈值的灰度值的点为激光线上的点，激光线上提取的点如图4所示，其中点为提取点，×为拟合直线靠近圆孔的端点。

[0070] 具体地，对提取点利用最小二乘法拟合出直线y＝ax+b，其中，x和y分别为横轴坐标，a和b为拟合系数，即给定一系列激光线上点的数据集，记D＝{(x1,y1)，(x2,y2)，(x3,y3)，...,(xn,yn)}，使得f(x)函数尽可能拟合D。最小二乘法拟合函数f(x)的原理和思想关键是平方差之和最小，即使得Q值最小：

[0071] Q＝(ax1+b‑y1)2+(ax2+b‑y2)2+...+(axn+b‑yn)2；  (1)

[0072]

[0073] 因为(x1,y1)，(x2,y2)，(x3,y3)，...,(xn,yn)均是已知变量，问题转换为求解Q＝f(a,b)的最小值，即求解(a,b)点，使得f(a,b)值极小，使用偏导数求解f(a,b)极小值：

[0074]

[0075]

[0076] 整理化简后，a、b值的公式为：

[0077]

[0078]

[0079] 其中， 为xi、yi算术平均值，即：

[0080]

[0081]

[0082] 将a、b带入拟合直线y＝ax+b中，可获得拟合直线，选取拟合直线上靠近圆孔的端点为焊缝圆孔上的点，如图4所示，×为拟合直线靠近圆孔的端点。当扫描完整个圆孔焊缝对应的圆后，多帧图像中的n对激光线可以获得焊缝圆上的所有点。

[0083] 具体地，本实施例中，对每帧图像上的激光线经过多次拟合，获取多条直线，进而得出相应的端点。

[0084] 如图5所示，为其中一帧图像得到的激光图像，图中，上方的两个“×”为焊缝圆上的点，下方的两个“×”为焊缝底面的圆上的点。如图6所示，为将多帧图像结合后得到激光图像，其中，外圈的“×”为焊缝圆上的点的集合，内圈的“×”表示焊缝底面的圆上的点的集合。

[0085] 所述步骤S3中，圆心位置的确定方法具体为：

[0086] S304、获得圆孔焊缝上点在相机坐标系下坐标的矩阵Pcamera，将焊缝点在相机坐标robot下坐标转换为机器人坐标系下的坐标P ，转换公式为：

[0087]

[0088] 其中， 为手眼标定矩阵；所述手眼标定矩阵 的计算公式为：

[0089]base

[0090] 其中， 表示机器人末端到基座坐标系的转换矩阵，P 表示标定板上点在机器camera人坐标系的坐标，P1 表示通过3D相机得到的标定板上对应点的3D坐标。

[0091] 由于相机固定于机械臂末端，此时相机坐标系与机械臂末端坐标系关系固定，而与基座坐标系的变换关系会时刻变化，此时待求量为相机坐标系camera到机械臂末端坐标系end的变换矩阵 根据各个坐标系的关系，可以列出如下的坐标系变换方程：

[0092]

[0093] 其中Pbase代表固定在某个位置的焊板上的点到机器人基座坐标系的坐标，这个坐camera标的计算通过机械臂末端安装的3D相机，直接得到点对应的3D坐标P1 ，加上机器人末端到基座坐标系的转换矩阵 和相机坐标系到机器人末端坐标系的转换矩阵 便base
可以求出标定板上点在机器人坐标系的坐标P 。相机坐标系到机器人末端坐标系的转换矩阵 是我们需要求得的手眼标定矩阵，因此可以得到如式(10)所示的手眼标定矩阵。

[0094] S305、通过焊缝点坐标，利用最小二乘法拟合出圆心坐标(xc，yc)。

[0095] 具体地，本实施例中，焊缝执行机构根据识别出的圆孔焊缝上的点坐标拟合出圆2 2
心坐标，当有一系列的焊缝圆坐标数据点{xi、yi}时，圆方程能够写成(x‑xc) +(y‑yc)＝R ，
2 2 2 2
最小二乘法拟合要求距离的平方和最小，也就是：f＝∑((xi‑xc) +(yi‑yc) ‑R) 最小。(xi，yi)表示圆孔焊缝上的第i个数据点的坐标。

[0096] 定义一个辅助函数：

[0097] g(x,y)＝(x‑xc)2+(y‑yc)2‑R2；  (12)

[0098] 上面式子能够表示为：f＝∑g(xi,yi)2，依照最小二乘法的步骤，可知f取极值时满足以下的条件。

[0099]

[0100] 先化简：

[0101]

[0102] 半径R是不能为0的，所以必定有∑g(xi,yi)＝0，剩下两个式子：

[0103]

[0104]

[0105] 也就是以下两个等式：

[0106]

[0107] 这里设：

[0108]

[0109] 化简式子，定义几个参数：

[0110]

[0111] 上面式子能够写为：

[0112]

[0113] 就能够解出uc和vc了。

[0114]

[0115] 则圆心位置为：

[0116]

[0117] 焊缝圆半径R可以联立方程求得：

[0118] ∑g(xi,yi)＝0；  (23)

[0119] ∑((xi‑xc)2+(yi‑yc)2‑R2)＝0；  (24)

[0120] 求得：

[0121]

[0122] 其中，(xc，yc)表示圆孔焊缝圆心坐标，(xi，yi)表示圆孔焊缝上的第i个数据点的坐标,N表示坐标点的个数

[0123] S4、通过机械臂带动焊枪运动到圆心所在位置，进行送丝焊接。

[0124] 所述步骤S4中，送丝焊接时，焊接时间为：

[0125]

[0126] 其中，V表示圆孔焊缝的体积，d表示焊丝直径，v表示送丝速度。

[0127] 所述圆孔焊缝的体积的计算公式为：

[0128] V＝πR2h；  (27)

[0129] 其中，R表圆孔焊缝的半径，h表示圆孔焊缝的高度，其通过取圆孔焊缝的圆心做底面的垂线得到。如图7所示，取圆孔焊缝的圆心，做焊缝底面的垂线，垂线的长度即为容积的高度。具体地，本实施例中，通过获得的如图6所示的多帧图像中的端点二维坐标，并将其通过手眼标定矩阵转化为三维坐标后，可以进行拟合得到焊缝圆的圆心三维坐标以及焊缝圆底面的圆心三维坐标，通过两个坐标的距离，即可以判断得到焊缝高度。此外，也可以通过其它方式，例如3D相机直接获取焊缝高度。

[0130] S5、焊接完成后，通过机械臂带动焊枪运动到记录的位置；

[0131] S6、通过机械臂带动焊枪重新往终点方向前进，并重复步骤S3～S5，直至运动到终点坐标位置，焊接完成。

[0132] 具体地，本实施例中，送丝速度和焊接电流没有固定的对应关系，如图8所示，它们是正相关的关系，即送丝速度越快焊接电流越大。经过实验测量，1.2mm直径的焊丝的送丝3 2
速度与焊接电流满足公式：y＝‑0.5741x+9.7568x‑13.8951x+185.43，其中，x为送丝速度，单位为m/min，y为焊接电流，单位为A，焊接电压与焊接电流的公式为：焊接电压＝焊接电流×0.05+14。

[0133] 综上所述，本发明提供了一种基于激光视觉的圆孔自动塞焊方法及装置，采用包括相机和线激光器的传感器做引导，保证焊缝检测的高精度；每条焊缝的焊接参数恒定，焊缝质量受人为因素影响较小，降低了对工作人员操作技术的要求。此外，本发明采用六轴机器人系统精准定位，焊接效果稳定，整个过程更加智能化；该技术减小了工作人员的劳动强度，改善了工作环境。而且本发明的装置结构简单，操作方便，而且成本低，能适应不同圆孔的塞焊要求，可有效提高焊接的效率。整体算法的计算量小，运行时间短可以快速得到识别结果，节省计算机资源，成本价低，可移植性高实用性强。

[0134] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例例技术方案的范围。