双波长双目视觉焊缝跟踪方法及跟踪系统

摘要

本发明公开了一种双波长双目视觉焊缝跟踪方法，该方法包括图像采集、数据处理和焊缝跟踪等步骤，本发明同时公开了一种实现该方法的跟踪系统，本系统采用近红外和结构光双波长双目视觉传感系统，同时测量熔池和焊缝不同波长的焊缝区域图像并传输到微型工业控制机中，利用多信息融合算法和焊缝图像三维重建算法准确测量焊缝位置；微型工业控制机根据焊缝位置检测结果应用卡尔曼滤波算法对焊缝跟踪偏差状态进行最优估计，通过伺服驱动器驱动伺服电动机运动从而控制三轴运动工作台产生相应的运动，控制焊炬或激光头进行纠偏，实现焊缝的精确跟踪。该系统可以克服焊接现场的强光、飞溅和电磁干扰，提高焊缝跟踪精度及可靠性。

权利要求

1.一种双波长双目视觉焊缝跟踪系统，包括双波长双目视觉检测系统、三轴伺服驱动焊缝跟踪系统和微型工业控制机，其特征在于：所述双波长双目视觉检测系统包括近红外摄像机(11)、结构光摄像机(4)、结构光激光器(5)和传感器安装板(3)，所述结构光摄像机(4)安装在传感器安装板(3)左前端，所述近红外摄像机(11)安装在传感器安装板(3)右前端，所述结构光激光器(5)位于结构光摄像机(4)和近红外摄像机(11)中间，安装在传感器安装板(3)中端；所述三轴伺服驱动焊缝跟踪系统包括X轴固定架(7)、Y轴固定架(9)和Z轴固定架(2)，所述X轴固定架(7)上表面安装有焊接工作台(15)，焊接件(6)摆放在所述焊接工作台(15)上，X轴伺服电机(13)安装在所述X轴固定架(7)的右端，所述Z轴固定架(2)的下前端与X轴固定架(7)的中后端连接，Z轴伺服电机(1)安装在所述Z轴固定架(2)的顶端，所述Y轴固定架(9)连接在Z轴固定架(2)右侧，Y轴伺服电机(8)安装在所述Y轴固定架(9)的后端，传感器安装板(3)安装在Y轴固定架(9)的前端，所述传感器安装板(3)背面安装有加强筋(16)，焊炬或激光头安装板(10)安装在Y轴固定架(9)的右前端，焊炬或激光头(12)安装在所述焊炬或激光头安装板(10)的正下方。

2.根据权利要求1所述的双波长双目视觉焊缝跟踪系统，其特征在于：所述Z轴固定架(2)右侧表面开有长孔，Z轴伺服电机(1)驱动Y轴固定架(9)在所述长孔中上下运动。

3.根据权利要求1所述的双波长双目视觉焊缝跟踪系统，其特征在于：所述Y轴固定架(9)左侧表面开有长孔，Y轴伺服电机(8)驱动Y轴固定架(9)在所述长孔中前后运动。

4.根据权利要求1所述的双波长双目视觉焊缝跟踪系统，其特征在于：所述X轴伺服电机(13)驱动摆放在焊接工作台(15)上的焊接件(6)左右运动。

5.根据权利要求1所述的双波长双目视觉焊缝跟踪系统，其特征在于：所述双波长双目视觉检测系统与三轴伺服驱动焊缝跟踪系统分别通过总线与微型工业控制机连接。

6.根据权利要求1所述的双波长双目视觉焊缝跟踪系统，其特征在于：所述双波长双目视觉检测系统与三轴伺服驱动焊缝跟踪系统以及微型工业控制机组成的控制系统是闭环控制系统。

说明书

双波长双目视觉焊缝跟踪方法及跟踪系统

技术领域

[0001] 本发明属于焊接技术领域，具体涉及一种双波长双目视觉焊缝跟踪方法及跟踪系统。

背景技术

[0002] 焊接是制造业领域重要的加工技术，具有工作条件恶劣、工作量大及质量要求高等诸多特点。电弧焊和激光焊是焊接工业中较常用的焊接工艺方法，以电弧和激光束作为被控对象实现焊接自动控制是焊接自动化的一个重要手段。其中，精确的焊缝跟踪是保证焊接质量的前提，即在整个焊接过程中必须控制激光束或电弧使其始终与焊缝对中，否则就会造成废品。为此，需精确地自动检测出焊缝的位置并实现自动跟踪。

[0003] 由于焊接是一门复杂的热加工工艺技术，工件在焊接过程中要产生热变形，并且在焊接过程中会出现强烈的辐射、弧光、烟尘、飞溅等干扰，使得在焊接过程中实现焊缝位置的精确检测相当困难。同时，焊接装置机构误差、夹具装配误差和焊接过程焊件热变形等因素造成的焊缝路径实际上是三维曲线焊缝，涉及到较为复杂的三维曲线跟踪问题。并且焊缝间隙小且没有坡口、坐标不在同一平面，自动识别和测量难度极大。

[0004] 目前国内外对于焊缝位置信息的获取主要集中在以下几种方法：（1）结构光视觉传感方法。结构光视觉传感法通过激光源发射结构光对熔池前端的三维曲线焊缝进行扫描，由于焊缝与其两边的钢板一般有高度差，在结构光的照射下会形成焊缝轮廓线，呈现出焊缝的三维信息。目前工业上应用的焊缝跟踪器的工作原理大多数是结构光视觉传感方法。但该方法有其难以克服的缺陷：对于等厚平板对接焊，一般只能有效检测间隙大于0.15mm的焊缝。对于间隙小于0.15mm的焊缝，焊接前通常需要在对接焊缝表面处开微坡口，以使结构光在此处变形。但这无疑增加了加工成本、降低了焊接生产效率。而对于紧密对接、无坡口的焊缝，结构光几乎不产生变形，所以，传统的单波长结构光测量方法难以准确地识别和测量该种焊缝。再加上强烈的弧光和辐射干扰，更容易使得焊缝检测出现误判。
（2）红外传感方法。该方法多用于电弧焊或焊件背面传感激光焊的焊缝识别，焊接熔池及周围形成一定的温度场并伴随红外辐射，使用红外摄像机直接拍摄熔池获取红外热像，对采集到的弧焊区红外热像进行定量分析，可以获得电弧偏离焊缝的量化信息。由于剧烈的熔池和温度变化使得很难获得层次分明的红外图像，再加上红外传感器易受环境干扰，所以该方法存在精度不高等问题。（3）直接图像传感方法。该方法利用摄像机直接拍摄熔池，通过图像处理分析灰度分布，推测焊缝中心偏差信息。由于该方法直接获取熔池图像，很大程度上消除了导前误差。但由于熔池变化剧烈且熔池处的焊缝已经熔化，焊缝信息基本湮没，因此难以从根本上获取焊缝偏差的特征和规律。（4）其它方法。如利用差动变压器作为检测垂直和水平方向偏差的传感器；根据焊缝间隙对声发射波传播有影响的现象，利用声发射-微处理器控制的焊缝检测系统；应用电弧传感器实现带有坡口的V形焊缝检测；利用电涡流方法检测焊缝，但不能准确判断焊缝左右偏差位置；超声波传感方法需要超声变换器与被焊板材的紧密接触，极大地限制了超声波传感器在检测焊缝方面的应用。以上方法在检测小间隙焊缝时都有局限性。

发明内容

[0005] 本发明的主要目的在于克服上述现有焊缝跟踪方法的不足，提供一种检测精度高、运行可靠、简单易用、具有一定通用性的双波长视觉传感和三轴伺服驱动的焊缝跟踪系统。

[0006] 为达到上述目的，本发明提供了一种双波长双目视觉焊缝跟踪方法，该方法包括如下步骤：

[0007] a．图像采集：微型工业控制机发出指令使结构光激光器发射出横跨于焊缝的结构光，同时发出指令启动近红外摄像机、结构光摄像机工作，焊接过程中同步协调近红外摄像机与结构光摄像机通过图像采集卡分别采集熔池区域红外图像与熔池前端焊缝的结构光图像，并将获得的双波长图像传输到微型工业控制机中;

[0008] b．数据处理：应用多信息融合算法对熔池区域红外图像与熔池前端焊缝的结构光图像进行处理，计算出准确的焊缝位置及跟踪纠偏量;

[0009] c．焊缝跟踪：应用卡尔曼滤波对焊缝跟踪偏差状态进行最优估计，找到滤波估计误差与测量误差之间的关系，通过伺服驱动器驱动伺服电动机运动从而控制三轴运动工作台产生相应的运动，实现焊缝的精确跟踪。

[0010] 在上述方案中，所述近红外摄像机摄取的近红外光波长范围为960-990nm；所述结构光摄像机摄取的可视结构光波长范围为640-660nm。

[0011] 为实现该方法，本发明还公开了一种双波长双目视觉焊缝跟踪系统，该系统包括双波长双目视觉检测系统、三轴伺服驱动焊缝跟踪系统和微型工业控制机，该双波长双目视觉检测系统包括近红外摄像机、结构光摄像机、结构光激光器和传感器安装板，所述结构光摄像机安装在传感器安装板左前端，所述近红外摄像机安装在传感器安装板右前端，所述结构光激光器位于结构光摄像机和近红外摄像机中间，安装在传感器安装板中端；所述三轴伺服驱动焊缝跟踪系统包括X轴固定架、Y轴固定架和Z轴固定架，所述X轴固定架上表面安装有焊接工作台，焊接件摆放在所述焊接工作台上，X轴伺服电机安装在所述X轴固定架的右端，所述Z轴固定架的下前端与X轴固定架的中后端连接，Z轴伺服电机安装在所述Z轴固定架的顶端，所述Y轴固定架通过螺栓连接在Z轴固定架右侧，Y轴伺服电机安装在所述Y轴固定架的后端，传感器安装板安装在Y轴固定架的前端，所述传感器安装板背面安装有加强筋，焊炬或激光头安装板通过内六角螺栓安装在Y轴固定架的右前端，焊炬或激光头安装在所述焊炬或激光头安装板的正下方。

[0012] 在上述方案中，所述Z轴固定架右侧表面开有长孔，Z轴伺服电机驱动Y轴固定架在所述长孔中上下运动，通过控制Y轴固定架的上下位置能够调节焊炬距离焊接件的高度或激光焊接时的离焦量的调整。

[0013] 在上述方案中，所述Y轴固定架左侧表面开有长孔，Y轴伺服电机驱动Y轴固定架在所述长孔中前后运动，通过控制Y轴固定架的前后位置能够对焊炬或激光头实现纠偏。

[0014] 在上述方案中，所述X轴伺服电机驱动摆放在焊接工作台上的焊接件左右运动，实现焊接件的进给。

[0015] 在上述方案中，应用近红外光（960-990nm）和可视结构光（640-660nm）分别获取熔池形态及熔池前端焊缝信息，并通过双波长双目视觉传感信息融合技术实现焊缝位置识别。在焊缝位置测量的基础上，建立焊炬或激光头伺服运动控制系统，根据焊缝位置坐标，通过伺服驱动系统控制焊炬或激光头位置以及应用卡尔曼滤波控制使其始终对正和跟踪焊缝，实现电弧焊或激光焊的焊缝跟踪。

[0016] 在上述方案中，以对接、搭接、角焊缝等为应用对象，利用双波长双目视觉传感器定标、双带滤光器特性、焊缝图像增强、熔池形态特征提取技术，在恶劣的工业焊接现场下准确检测出焊缝位置。当进行搭接焊、角焊和较大间隙平板对接焊时，主要根据结构光激光器发射到焊缝的可视变形结构光并通过结构光摄像机检测出焊缝位置。当进行紧密对接焊时，结构光不再变形，此时主要根据近红外摄像机摄取的近红外熔池图像中的热分布特征获取焊缝位置。通过融合不同波段的结构光焊缝图像和近红外熔池图像，实现焊缝位置的测量与跟踪。

[0017] 在上述方案中，针对近红外光辐射下的熔池区域和可视结构光辐射下的焊缝区域，利用双波长图像的特征，增强抗弧光干扰能力。微型工业控制机计算双目视觉传感器测量坐标，进行焊缝图像三维重建，建立焊缝位置测量系统。

[0018] 在上述方案中，建立焊炬或激光头三轴运动及焊缝跟踪控制系统，在此基础上应用卡尔曼滤波进行状态最优估计，准确预测焊缝偏移量和偏移方向，消除过程噪声和测量噪声的随机干扰影响。根据焊缝与电弧或激光头之间的偏移量、偏移方向以及偏移速度等信息，准确预测焊缝状态并构成焊缝跟踪器。

[0019] 与现有焊缝跟踪方法相比，本发明采用的技术方案具有下述有益效果：

[0020] 1）采用近红外和结构光双波长双目视觉传感方法，同时获取熔池和焊缝不同波长的焊缝区域图像，准确测量焊缝三维坐标。该方法可以克服焊接现场的强烈弧光、辐射、飞溅和电磁干扰，提高系统的容错性和可靠性;

[0021] 2）融合视觉跟踪器和伺服驱动器，建立焊炬或激光头三轴运动及焊缝跟踪控制模型，应用卡尔曼滤波算法，消除焊缝图像噪声对测量精度的影响，对焊缝与焊炬或激光头之间的偏差量、偏移方向和偏移速度进行状态最优估计。对于电弧焊接，实现决定电弧位置的焊炬的预测纠偏控制。对于激光焊接，实现决定激光束位置的激光头的预测纠偏控制。

附图说明

[0022] 图1是本发明的立体结构前视图。

[0023] 图2是本发明的立体结构后视图。

[0024] 图3是本发明的工作示意图。

[0025] 图中：1- Z轴伺服电机，2- Z轴固定架，3- 传感器安装板， 4- 结构光摄像机，5- 结构光激光器，6- 焊接件，7- X轴固定架，8- Y轴伺服电机，9- Y轴固定架，10- 焊炬或激光头安装板，11- 近红外摄像机，12- 焊炬或激光头，13- X轴伺服电机，14- 焊缝，15- 焊接工作台，16- 加强筋。

具体实施方式

[0026] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。

[0027] 实施例1：双波长双目视觉焊缝跟踪方法。

[0028] 参照图3所示，图3是本发明双波长双目视觉焊缝跟踪方法的工作示意图。该方法包括如下步骤：

[0029] a．图像采集：微型工业控制机发出指令使结构光激光器发射出横跨于焊缝的结构光，同时发出指令启动近红外摄像机、结构光摄像机工作，焊接过程中同步协调近红外摄像机与结构光摄像机通过图像采集卡分别采集熔池区域红外图像与熔池前端焊缝的结构光图像，并将获得的双波长图像传输到微型工业控制机中;

[0030] b．数据处理：应用多信息融合算法对熔池区域红外图像与熔池前端焊缝的结构光图像进行处理，计算出准确的焊缝位置及跟踪纠偏量;

[0031] c．焊缝跟踪：应用卡尔曼滤波对焊缝跟踪偏差状态进行最优估计，找到滤波估计误差与测量误差之间的关系，通过伺服驱动器驱动伺服电动机运动从而控制三轴运动工作台产生相应的运动，实现焊缝的精确跟踪。

[0032] 在上述方案中，本发明以对接、搭接、角焊缝等为应用对象，通过双波长双目视觉传感器定标、双带滤光器特性分析、焊缝图像增强、熔池形态特征提取、多信息融合以及卡尔曼滤波等技术，在恶劣的工业焊接现场下准确检测出焊缝位置并实现焊缝跟踪。

[0033] 在上述方案中，本发明针对近红外光辐射下的熔池区域和可视结构光辐射下的焊缝区域，同时测量熔池和焊缝不同波长的焊缝区域图像，提取双波长图像的特征，融合得到的特征信息，准确计算出焊缝三维坐标。微型工业控制机计算双目视觉传感器测量坐标，进行焊缝图像三维重建，建立焊缝位置测量系统。应用卡尔曼滤波算法，消除焊缝图像噪声对测量精度的影响，对焊缝与电弧或激光束之间的偏差量、偏移方向和偏移速度进行状态最优估计，实现焊炬或激光头位置的预测纠偏控制。

[0034] 在上述方案中，所述近红外摄像机摄取的近红外光波长范围为960-990nm；所述结构光摄像机摄取的可视结构光波长范围为640-660nm。

[0035] 实施例2：双波长双目视觉焊缝跟踪系统。

[0036] 参照图1和图2所示，一种双波长双目视觉焊缝跟踪系统，包括双波长双目视觉检测系统、三轴伺服驱动焊缝跟踪系统和微型工业控制机，该双波长双目视觉检测系统包括近红外摄像机11、结构光摄像机4、结构光激光器5和传感器安装板3，所述结构光摄像机4安装在传感器安装板3左前端，所述近红外摄像机11安装在传感器安装板3右前端，所述结构光激光器5位于结构光摄像机4和近红外摄像机11中间，安装在传感器安装板3中端；所述三轴伺服驱动焊缝跟踪系统包括X轴固定架7、Y轴固定架9和Z轴固定架2，所述X轴固定架7上表面安装有焊接工作台15，焊接件6摆放在所述焊接工作台15上，X轴伺服电机13安装在所述X轴固定架7的右端，所述Z轴固定架2的下前端与X轴固定架7的中后端连接，Z轴伺服电机1安装在所述Z轴固定架2的顶端，所述Y轴固定架9通过螺栓连接在Z轴固定架2右侧，Y轴伺服电机8安装在所述Y轴固定架9的后端，传感器安装板3安装在Y轴固定架9的前端，所述传感器安装板3背面安装有加强筋16，焊炬或激光头安装板10通过内六角螺栓安装在Y轴固定架9的右前端，焊炬或激光头12安装在所述焊炬或激光头安装板10的正下方。

[0037] 在上述方案中，所述Z轴固定架2右侧表面开有长孔，Z轴伺服电机1驱动Y轴固定架9在所述长孔中上下运动，通过控制Y轴固定架9的上下位置能够调节焊炬距离焊接件6的高度或激光焊接时的离焦量的调整。

[0038] 在上述方案中，所述Y轴固定架9左侧表面开有长孔，Y轴伺服电机8驱动Y轴固定架9在所述长孔中前后运动，通过控制Y轴固定架9的前后位置能够对焊炬或激光头12实现纠偏。

[0039] 在上述方案中，所述X轴伺服电机1驱动摆放在焊接工作台15上的焊接件6左右运动，实现焊接件6的进给。

[0040] 在上述方案中，三轴联动伺服运动平台包括X轴固定架7，X轴工作台15，Y轴固定架9，Z轴固定架2，X轴伺服电机13，Y轴伺服电机8和Z轴伺服电机1；双波长双目视觉传感装置包括传感器安装板3以及安装于其上的结构光摄像机4、结构光激光器5和近红外摄像机11，结构光摄像机4用于获取横跨焊缝的结构光的图像，近红外摄像机11用于获取焊接过程的熔池动态图像。传感器安装板3与Y轴固定架9及焊炬或激光头安装板10固定并可联动。传感器安装板3与Y轴固定架9之间连接有加强筋16以保证装置的刚度。焊炬或激光头安装板10通过内六角螺栓装设于Y轴固定架9上，能够自由更换的焊炬或激光头12通过内六角螺栓装设于焊炬或激光头安装板10上，根据焊接的材料、厚度等特性，焊炬或激光头12可以选择激光焊接头或焊炬。按照与焊炬或激光头12的水平距离由近到远依次安装的是近红外摄像机
11、结构光激光器5和结构光摄像机4，安装时近红外摄像机11轴线与竖直方向成一角度以能够获取熔池区域图像。同理，结构光摄像机4和结构光激光器5也被安装为其轴线与竖直方向成一角度以能够获取结构光图像，结构光图像相对熔池区域图像在焊接方向上有一个导前量。

[0041] 在上述方案中，系统的工作原理如下：近红外摄像机11、结构光摄像机4、结构光激光器5、焊炬或激光头12和伺服驱动器分别与微型工业控制机连接。X轴固定架7用于焊接进给，Y轴固定架9用于焊炬或激光头12的纠偏，Z轴固定架2用于调节焊炬距离焊接件6的高度或激光焊接时的离焦量的调整。使用本发明进行焊缝跟踪时，将焊接件6放置于焊接工作台15上，微型工业控制机同时协调启动近红外摄像机11、结构光摄像机4、结构光激光器5、焊炬或激光头12和伺服驱动器工作。利用双波段滤光系统，滤除杂光，采集近红外光和结构光及周围区域信息。微型工业控制机对焊缝和熔池图像进行动态范围调整，并应用图像三维重建方法建立焊缝位置测量方程。根据焊缝位置测量信息，融合三轴伺服驱动技术，建立焊炬或激光头运动控制模型。通过焊缝视觉信息与焊炬或激光头三轴联动控制系统的融合技术，实现焊缝的跟踪控制。建立以视觉传感和焊炬空间变位一体化的焊缝跟踪控制体系，采用近红外光和结构光双波长双目视觉传感器获取熔池和焊缝图像，焊炬或激光头采用三轴（X，Y，Z）变位控制的方法。微型工业控制机应用卡尔曼滤波对焊缝偏差进行最优估计，为焊炬或激光头12的纠偏运动及时反馈控制参量，实现焊炬或激光头12运动的预测纠偏控制。
该系统可以克服焊接现场的强光、辐射、飞溅和电磁干扰，提高系统的容错性和可靠性。

[0042] 以上所述为本发明的较佳实施例而已，但本发明不应局限于该实施例和附图所公开的内容，所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。